WO2020161947A1 - 身体健康状態映像分析装置、方法並びにシステム - Google Patents

身体健康状態映像分析装置、方法並びにシステム Download PDF

Info

Publication number
WO2020161947A1
WO2020161947A1 PCT/JP2019/032997 JP2019032997W WO2020161947A1 WO 2020161947 A1 WO2020161947 A1 WO 2020161947A1 JP 2019032997 W JP2019032997 W JP 2019032997W WO 2020161947 A1 WO2020161947 A1 WO 2020161947A1
Authority
WO
WIPO (PCT)
Prior art keywords
physical
health
image
dimensional
unit
Prior art date
Application number
PCT/JP2019/032997
Other languages
English (en)
French (fr)
Inventor
媛 李
パン チョウ
宮崎　邦彦
康隆 豊田
晋也 湯田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201980087308.5A priority Critical patent/CN113271848B/zh
Priority to EP19914288.6A priority patent/EP3922176A4/en
Publication of WO2020161947A1 publication Critical patent/WO2020161947A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to an apparatus, a method and a system for analyzing a physical condition of a human body, which systematically supports grasping, maintaining and improving the physical condition of an elderly person in daily life.
  • the market is expanding due to the aging of the population in recent years.
  • the population of the elderly 65 years old or older
  • the proportion of elderly people who need nursing care is 17.4%
  • the proportion of elderly people who do not need non-health care is 29.0%
  • the proportion of healthy elderly people is 53.6%.
  • the nursing care business is expanding its service range from traditional matured nursing care for elderly people requiring nursing care to services for elderly people who do not need nursing care and healthy elderly people.
  • the lack of resources for specialists and caregivers has become a social issue.
  • a technology for measuring a health condition using an IoT device or a sensor and a service for supporting the maintenance or improvement of the health condition are provided.
  • the health status of the elderly can be considered as three health statuses: psychological health status, physiological health status, and physical health status. Techniques for measuring these health conditions have been widely studied. For example, in Non-Patent Document 1, regarding measurement of physiological and psychological health conditions, a wearable sensor is used to measure heart rate, blood pressure, brain waves, and the like. It is reported to measure.
  • Non-Patent Document 2 detects a person's walking action and digitizes it by extracting position information and skeleton information of the person by image processing using Kinect.
  • the walking motion is processed using Kinect described in Patent Document 1.
  • Kinect described in Patent Document 1.
  • this information can also be used for rehabilitation.
  • rehabilitation coordinate information of each joint of a pedestrian can be extracted and information such as walking speed and stride can be displayed without blurring.
  • information such as walking speed and stride can be displayed without blurring.
  • information such as a person's motion and position can be extracted, and the living behavior of an elderly person for care can be grasped.
  • visualizing the information it is possible to predict abnormal behavior such as falls and slips according to the position information and the equipment information, and present it to the caregiver. For example, when it is determined that an elderly person moves to a place where there is a step, it becomes possible to display an assistance for moving the step to the caregiver. It is stated that it is possible to prevent that risk.
  • Patent Document 3 describes that, in order to prevent erroneous recognition of persons other than the elderly, high-precision measurement is performed by identifying the behavior of the elderly.
  • Patent Document 1 Japanese Unexamined Patent Application Publication No. 2005-042241 JP, 2016-66308, A JP, 2005-61577, A
  • the problem to be solved by the present invention is to measure the physical health of a plurality of elderly people with high accuracy by means of video equipment that can be installed in various environments existing in the resident area.
  • Kinect is used to measure the walking style and balance of the elderly.
  • the installation angle of Kinect is horizontal and the installation height is the height of the elderly.
  • the behavior of the elderly who measures For example, gait measurement requires walking in a straight line with the camera. Therefore, in the inventions based on these techniques, the measurement environment is specified, and the elderly person is required to act after the specified pattern is measured. Therefore, when actually applied to daily life, there is a feeling of resistance by the elderly, which causes inconvenience such as preparation for installation and coping with the elderly.
  • the inventions based on these methods have a problem that the processing cost is high because the three-dimensional data is processed in order to maintain the measurement accuracy.
  • Patent Document 3 a three-dimensional model of an action desired to be measured in advance and the actually acquired three-dimensional data are matched to identify the action, but in this method, when measuring a plurality of elderly persons and a plurality of actions, Is not a reality because the processing cost increases.
  • the physical health state of a plurality of subjects can be measured with high accuracy and low cost by the video equipment that can be installed in various environments existing in the resident area in daily life.
  • An object is to provide an image analysis device, method and system.
  • a 2D information acquisition unit that acquires a two-dimensional image by a camera, a 3D information acquisition unit that acquires three-dimensional data by stereo processing from a camera, and a detection target from the acquired two-dimensional image
  • An object classification unit that classifies the person
  • an action identification unit that identifies the action pattern of the detection target person
  • a body feature extraction unit that analyzes the three-dimensional data and extracts the body feature based on the identified action pattern
  • a state analysis unit for analyzing a physical health state using the above characteristics.
  • the management target is acquired as a two-dimensional video
  • the management target is specified from the two-dimensional video
  • the behavior pattern of the monitoring target is specified
  • the management target is acquired as a three-dimensional video.
  • the three-dimensional image is analyzed to extract the physical features, and the physical features are analyzed using the extracted features.
  • the management target is acquired as a two-dimensional video
  • the management target is specified from the two-dimensional video
  • the behavior pattern of the monitoring target is specified
  • the management target is acquired as a three-dimensional video.
  • the 3D image is analyzed to extract the physical features
  • the physical health is analyzed using the extracted features
  • the place where the health condition is analyzed is a physical health condition image analysis system characterized by being connected by communication via a cloud.”
  • the present invention it is possible to measure the physical health of a plurality of subjects with high accuracy and low cost by means of video equipment that can be installed in various environments existing in the resident area in daily life.
  • category part 12 of FIG. The figure which shows the action area
  • FIG. 1 is a diagram showing a configuration example of a body health state image analysis device according to a first embodiment of the present invention.
  • reference numeral 10 is a camera
  • 1 is a body health condition image analysis apparatus according to a first embodiment of the present invention, which is configured by a computer apparatus.
  • processing functions executed by the calculation unit of the computer device are displayed in blocks.
  • the camera 10 may be a combination of monocular cameras or a stereo camera.
  • the monocular camera is composed of an image sensor and a lens.
  • the image sensor is a mechanism including an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) and a CCD (Charge Coupled Device).
  • Lenses include zoomable lenses and fixed lenses.
  • the photographed one is saved in a model such as BMP or JPEG.
  • the shooting information includes RGB information.
  • Stereo camera is a camera that can acquire depth depth by shooting from multiple viewpoints at the same time. Recently, the number of commercially available stereo cameras is increasing. For example, Intel's ReaSense camera is popular. These stereo cameras can acquire 2D images and 3D data at the same time.
  • the present invention exemplifies an analysis of a physical health condition using a stereo camera which is composed of two monocular cameras.
  • the 2D information acquisition unit 11 acquires a two-dimensional image from the camera 10.
  • the acquired video is stored as the image 20 according to the frame rate.
  • the target classification unit 12 in the body health image analyzer 1 recognizes and classifies, for example, an elderly person as a person from the image 20.
  • the elderly person who is an imaging target may be one person or a plurality of persons in daily life. Or it may include non-managed persons such as caregivers. In any case, it is necessary to identify and classify the elderly in order to analyze the physical health status of each person under management.
  • the target classification unit 12 of FIG. 2 detects an existing person using the image 20 acquired from the 2D information acquisition unit 11. That is, a person and a person other than the person are separately grasped from the image, and in this case, the person classified from the image 20 may be one person or plural persons.
  • FIG. 2 shows a more detailed configuration example of the target classification unit 12.
  • the processing function of the target classification unit 12 is divided into an authentication function 12A and a tracking function 12B.
  • the authentication function 12A is a process for identifying and confirming the managed elderly person
  • the tracking function 12B is a process for monitoring the confirmed elderly person in time series.
  • the detection unit 22 detects the face or body region of the elderly person using the image 20.
  • Various methods such as a conventional matching method and a recent DeepLearning technology can be used as the detection method, and the present invention is not limited to this method.
  • the authentication unit 23 uses the detected person's face to collate with the authentication registration database DB1 registered in advance to identify the ID of the detected elderly person. If the ID does not exist, it is registered as a new management target elderly person in the authentication registration database DB1 as necessary.
  • the processing of the main authentication may be performed in all the frames of the image 20, but if the processing speed is taken into consideration, the processing may be performed in the first frame when the elderly person appears or when the elderly person appears again, and the continuous processing is performed. It is better to omit the authentication processing in the subsequent frames.
  • the detection unit 22 of the tracking function 12B continues to detect and track the elderly person in each successive frame of the image 20 for the elderly person who has been authenticated by the authentication unit 23 of the authentication function 12A and has been a management target.
  • the detection unit 22 of the authentication function 12A and the detection unit 22 of the tracking function 12B are illustrated as separate bodies in FIG. 2, they may be integrally configured.
  • the tracking unit 24 determines whether or not there is the same elderly person in the frames detected before and after the successive frames of the image 20.
  • the determined result is stored in the tracking result database DB2 as the tracking result data D1.
  • the tracking result data D1 includes a series of images during the period when an elderly person exists.
  • the tracking may be terminated when the elderly subject to management deviates from the field of view of the fixed camera, or the elderly subject to management by a camera whose visibility can be changed, such as changing the camera angle. It may be something that is followed while doing so.
  • the point is that multiple images can be acquired according to the movement of the elderly person, and the movement of the elderly person can be captured.
  • the format of the tracking result data D1 can be decided according to needs. For a simple one, it is preferable to enter the frame number and information on the frame that can identify the elderly area. Then, the authenticated information can be associated with the tracking result data D1.
  • FIG. 3 is a diagram showing the action area (existence area) of the elderly person in each frame.
  • the IDs of the elderly people and the action area (existence area) in each frame. Can be grasped.
  • These data in FIG. 3 are preferably stored in association with each other as a part of the tracking result data D1 stored in the tracking result database DB2. Further, it is preferable that the tracking result data D1 be stored integrally with the information of the physical health analysis item set by the behavior specifying unit 13 described later.
  • the action identifying unit 13 identifies various actions of the elderly person.
  • the type of behavior depends on the physical health analysis item. For example, when the physical health analysis item is the walking style and the walking style is analyzed, the walking behavior can be specified. In the case of rehabilitation, you can specify the behavior you want to analyze further. For example, if knee rehabilitation is performed as a physical health analysis item, an action specialized for knee bending can be designated. Other actions can be added as needed. In recent years, various DeepLearning methods have been used to identify those actions. Using these techniques, it is possible to identify various behaviors of the elderly. According to recent research, it is known that behavior analysis is performed using the CNN and LSTM methods. For example, “Deep Local Video Feature for Action Recognition", CVPR, 2017.
  • the behaviors specified by the behavior specifying unit 13 can be selected or combined according to the physical health analysis items. For example, in the Time Up and Go (TUG) test, the sitting, standing, and walking behaviors of the elderly are identified, and the behaviors identified by frames are combined.
  • the action specifying unit 13 can be positioned as a function of setting a physical health analysis item in the physical health image analyzer, and provides management information such as a physical health analysis item for each elderly subject to management through an appropriate input means. Is.
  • the 3D information acquisition unit 15 performs stereo processing using the two left and right two-dimensional images 20 of the camera 10 to calculate the three-dimensional information D2.
  • the method of calculating the three-dimensional information D2 will be described below using mathematical expressions.
  • the formula (1) is a formula for calculating the internal parameter matrix K and the external parameter matrix D in the camera.
  • f is the focal length
  • a is the aspect ratio
  • s is the skew
  • (vc, uc) is the center coordinate of the image coordinates.
  • (r11, r12, r13, r21, r22, r23, r31, r32, r33) indicates the orientation of the camera
  • (tx, ty, tz) indicates the world coordinates of the camera installation position.
  • the three-dimensional measurement value of the measured object including the distance can be calculated as in equation (3).
  • f is the focal length
  • B is the distance between the baseline and the camera.
  • formula (3) is organized using parallax d.
  • the same three-dimensional parallax is the difference between the images projected on the left and right cameras, and the difference is the parallax of the three-dimensional parallax.
  • the relationship between the world coordinates and the image coordinates expressed using the parallax d is as shown in equation (4).
  • the 3D information acquisition unit 15 can acquire the three-dimensional information D2 through the above processing flow.
  • a camera such as RealSense can be used as it is when the manufacturer outputs the three-dimensional information D2 as it is.
  • the body feature extraction unit 14 will be described.
  • this information can be obtained from the tracking result data D1 stored in the tracking result database DB2).
  • the characteristic of the identified action is analyzed using the three-dimensional information D2 calculated by the stereo process in the 3D information acquisition unit 15.
  • the features defined here are directly related to physical health.
  • the standing behavior is characterized by the smoothness of the standing motion
  • the walking behavior is characterized by the position, speed, stride, arm width and the like.
  • the body health state analysis unit 16 in FIG. 1 analyzes the body health state using the body features extracted by the body feature extraction unit 14. It is important to make the most of expert knowledge for analysis.
  • various indicators and expert evaluation items for evaluating the health condition of the elderly. For example, there is a TUG index using walking ability as an evaluation index.
  • MMSE Mini Mental State Examination
  • evaluation index that evaluates cognitive function. It is possible to calculate the index based on the features extracted in the previous period.
  • Example 2 the analysis of the physical health of the elderly by evaluating the walking ability of the elderly using a stereo camera will be described with reference to FIG.
  • the stereo camera in the second embodiment includes not only a stereo camera literally, but also a camera realized by a combination of sensors capable of outputting two-dimensional video and three-dimensional information.
  • a stereo camera will be described as an example.
  • the 2D information acquisition unit 11, the target classification unit 12, the action identification unit 13, and the 3D information acquisition unit 15 are the same as those in the first embodiment, and therefore the illustration in FIG. 4 is omitted.
  • the tracking result data D1 from the behavior specifying unit 13 and the three-dimensional information D2 from the 3D information acquisition unit 15 are input to the body feature extraction unit 14.
  • the tracking result data D1 includes various kinds of information, but here, for the walking behavior identified from the image in the behavior identifying unit 13, the area information 26 and 27 of the elderly person illustrated in FIG. 3 is used.
  • the area information 26 and 27 includes image RGB information and human outline information 30.
  • the three-dimensional information D2 from the 3D acquisition information unit 15 is stereo-processed with respect to the area information 26 and 27 of the elderly person illustrated in FIG. Is performed to obtain three-dimensional information D2.
  • the location of the elderly person and the actual contour information 31 can be grasped in the three-dimensional space represented by the XYZ axes.
  • the body feature extraction unit 14 extracts features using the contour information 31 of the elderly in space.
  • the width can be calculated by measuring the distance between the front and rear frames using the contour position information of the foot.
  • necessary characteristics such as speed and acceleration can be calculated and output to the characteristic database 31.
  • the walking speed and the stride are calculated according to the following flow.
  • the skeleton of an elderly person is extracted from the two-dimensional image D1.
  • the Mask R-CNN method is preferably used for extracting the skeleton.
  • Mask R-CNN is an R. Girstick et al. , "Detectron” paper is used. https://github. com/facebooksearch/detectron, 2018. According to this, it is possible to extract 17 joints in the human skeleton. 17 joints are nose, right eye, left eye, right ear, left ear, right shoulder, left shoulder, right hand, left wrist, right wrist, left waist, right hip, left knee, right knee, left ankle, right ankle ..
  • the image information of the 17 joints in the two-dimensional image D1 can be expressed by equation (5).
  • the three-dimensional calculation method can be a stereo method or can be input in advance.
  • center point (v18, u18) is calculated using equation (7) using 17 joints in order to calculate the speed and the stride.
  • the corresponding three-dimensional information is (x, y, z).
  • the speed Speed can be calculated by the equation (8).
  • t0 is set to a time interval, which is 1.5 seconds in the embodiment.
  • the distance d between the left and right feet and the stride length can be calculated by the equation (9).
  • the largest distance in the time zone is calculated as the stride.
  • n is set to 1.0 second.
  • the physical health analysis unit 16 can make various evaluations such as changes in walking and differences with the same age.
  • the result output unit 34 outputs the result in a form visible to the parties concerned.
  • Example 3 shown in FIG. 5 a stereo camera is used to evaluate the physical health of the elderly on a TUG test basis.
  • TUG means Shumway-Cook A, Brauer S, Woollacott M. "Predicating the availability for falls in community-dwelling older adults using the Timed Up & Go Test", Physical Therapy. 2001 Apr;81(4):10601. This is a test in which an elderly person stands up from a chair, walks, and then sits down again, and then measures the standing up time and the time until the person sits down again.
  • the image information 20 is obtained from the 2D information acquisition 40.
  • the elderly person authentication processing step S41, the elderly person tracking processing step S42, and the elderly person behavior analysis processing step S43 are performed from the acquired image information. These series of processes are continuously executed until the series of operations in which the elderly person stands up from the chair, walks, and then sits down again.
  • a sitting motion is determined in processing step S44, and a walking motion is determined in processing step S45. If it is a sitting action, the physical characteristics of sitting are extracted in processing step S47. When the walking action is specified due to the change from the sitting action to the walking action, the time is evaluated in processing step S46. Then, the walking feature is extracted.
  • the characteristics extracted in the processing step S47 are as described in the second embodiment.
  • the features extracted in processing step S47 are stored in the feature database DB3.
  • the physical health state is analyzed in the processing step S49 using the characteristic database DB3. This makes it possible to analyze the time from sitting down to sitting down again, walking characteristics, changes in sitting characteristics, differences from the reference value, and the like.
  • the result is output in a form that can be seen by a person concerned.
  • TUG test it is possible to combine sitting and walking. Further, the combination of specified actions can be changed based on the evaluation index other than TUG.
  • Example 4 will be described with reference to FIG. In Example 4, a stereo camera is used to evaluate the physical health of the elderly on the SIDE test basis.
  • the image information 20 is obtained from the 2D information acquisition 40 in the processing step S50. From the acquired image information, an elderly person authentication processing step S51, an elderly person tracking processing step S52, and an elderly person behavior analysis processing step S53 are performed. This series of processes is continuously executed until the operation of the elderly person standing up from the chair is completed.
  • the processing step S57 acquires the three-dimensional information D2 during this period.
  • processing step S58 the body feature is extracted using the action information D1 and the three-dimensional information D2 obtained by the processing up to this point.
  • the idea of SIDE is introduced in extracting the body feature. According to SIDE, the movement of the lower body is evaluated, so it is possible to reduce the information of the upper body and improve the cost.
  • the width of the foot can be evaluated by actually calculating the distance between the left and right feet in the three-dimensional space based on the action information D1 (foot position) specified on the image.
  • the evaluated features are registered in the feature database DB3. Then, it is possible to analyze the physical health condition of balance of the elderly based on the evaluation of SIDE using the characteristic database DB3. The analysis results are output in a form that makes the elderly visible.
  • gait, TUG, and SIDE are evaluation criteria that are often used for elderly care. Other evaluation criteria can be appropriately implemented according to the present invention.
  • Example 5 will be described with reference to FIG. Example 5 evaluates a physical health state according to time. Using the time setting information, it is possible to adjust the action to be specified and the body feature to be extracted.
  • FIG. 7 can be said to be one in which the action identifying unit 13 is divided into a morning action identifying unit 61, a daytime action identifying unit 62, and a night action identifying unit 63 to function.
  • the body feature extraction unit 14 functions by being divided into a morning body feature extraction unit 64, a daytime body feature extraction unit 65, and a night body feature extraction unit 66.
  • the process in the action identifying unit 13 can be changed to morning and day and night.
  • the morning action identifying unit 61 is executed for the morning hours.
  • a body feature is extracted from the corresponding morning body feature extracting unit 64.
  • the daytime action specifying unit 62 and the daytime body feature extracting unit 65 are used.
  • the night action specifying unit 63 and the night body feature extracting unit 66 are used.
  • the physical condition analyzer 68 can be set more flexibly according to the time of day.
  • time setting information 60 can be changed by the setting on the user side. Accordingly, more efficient analysis and management of physical health can be realized.
  • Example 6 will be described with reference to FIG. In Example 6, the physical health condition is evaluated according to the degree of health of the elderly. Therefore, in FIG. 8, the health degree data 70 is preset and stored in the health degree database DB5.
  • the target classification unit 12 can classify elderly people.
  • the health degree data 70 prepared in advance in the health degree database DB5 and the authentication information prepared in advance can grasp the information about the age and health of the classified elderly. It is possible to select the specified behavior from the degree behavior selection unit 71 according to the information.
  • the behavior identifying unit 13 identifies a region related to the behavior of the foot according to the degree of the foot. Then, the 3D information acquisition unit 15 performs stereo processing on the area and calculates the three-dimensional information D2.
  • the body feature extraction unit 14 extracts body features using the output three-dimensional information D2 and the identified foot action information D1. Finally, based on the physical characteristics extracted by the physical health analysis unit 14, it is possible to judge whether or not the degree of the foot should be improved by the foot rehabilitation. It is also possible to register the current foot level in the health level database again.
  • Example 7 describes a preferred embodiment of the physical health image analyzer 1.
  • a physical health image analysis system is configured.
  • the body health image analyzer 1 illustrated in FIG. 1 is installed in a large hospital as a stand-alone device, and can be operated as a device for managing the situation of nursing facilities in the hospital.
  • the present invention is configured not only for the situation but also for remote management. For example, only cameras are installed in sparsely populated areas where doctors are scarce, and the elderly who pass by are observed daily and the information is sent to the cloud. At least a part of the physical health image analyzer 1 is installed in the hospital where the doctor is located, and the physical health analysis is performed by the doctor at an appropriate timing, and the result is also sent to the cloud. What has been described as at least a part of the physical-health-state image analysis device 1 is that the data may be placed anywhere on the cloud, particularly in the database. In short, the doctor need only be able to perform a health condition analysis. Where and how the data is stored, or where and how the body features are being performed by anyone.
  • the cloud can be accessed by elderly relatives living in sparsely populated areas, who are living in remote places, and the results of the health condition analysis performed by the doctor through a tablet, smartphone 101, etc. on hand can be stored in the camera if necessary. It is desirable to be able to see it together with the action contents grasped in.
  • stereo processing is performed from the two-dimensional image of the camera and three-dimensional processing is performed, there are many selections of cameras to acquire, and the restrictions on installation angle and height are loosened. Then it can be installed daily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

日常生活で居住者区域に存在する様々な環境に設置可能な映像機器により複数の被験者の身体健康状態を高精度、低コストに計測することができる身体健康状態映像分析装置、方法並びにシステムを提供する。カメラにより二次元映像を取得する２Ｄ情報取得部と、カメラからステレオ処理により、三次元データを取得する３Ｄ情報取得部と、取得した二次元映像から検出対象者を分類する対象分類部と、検出対象者の行動パターンを特定する行動特定部と、特定された行動パターンに基づき、三次元データを分析して身体特徴を抽出する身体特徴抽出部と、抽出した特徴を用いて身体健康状態を分析する状態分析部と、を備えることを特徴とする身体健康状態映像分析装置。

Description

身体健康状態映像分析装置、方法並びにシステム
　本発明は、日常生活における例えば高齢者の身体健康状態の把握、維持、改善をシステム的に支援する身体健康状態映像分析装置、方法並びにシステムに関する。
　養老介護ビジネスでは、介護必要高齢者に対して様々なサービスや施設が提供されている。例えば、在宅介護、医療サービスや、介護付き高齢者ホーム、保険施設、療養型設備、グループホーム、デイ・ケアなど、市場としては大変成熟している。高齢者に向けた健康診断、管理、生活の支援などを介護者により行うことは顕在的に存在する。より良い高齢者生活を送ることを目的として、多数の専門家による連携した支援が行われている。たとえば、理学療法士は、高齢者の健康を維持していくために、高齢者の身体状態を目視で評価し、その状態にあった身体運動をアドバイスするという支援が行われている。
　一方、近年高齢化が進んでおり、その市場が拡大している。日本ＳＰセンタの調査によると、２０２０年での高齢者（６５歳以上）人口は３６１３万と予測されている。そのうち、介護必要高齢者の割合は１７．４％で、非健康介護必要ない高齢者の割合は２９．０％、健康な高齢者の割合は５３．６％である。養老介護ビジネスは、従来の成熟している介護必要高齢者向け介護から、介護必要ない高齢者や、健康な高齢者に向けたサービスに、サービス適用範囲を拡大してきている。然るに介護ニーズの増加に伴い、専門家や介護する側のリソースは不足していることが社会課題化している。リソース不足を解消するため、ＩｏＴ機器やセンサを用いた健康状態の計測技術や、健康状態を維持や改善することに支援するサービスが提供されている。
　高齢者の健康状態は、心理的な健康状態、生理的な健康状態、身体的な健康状態の三つの健康状態で考えられる。これらの健康状態を計測する技術は広く研究されており、例えば、非特許文献１では、生理的な、心理的な健康状態の計測に関して、ウェアラブルセンサを用いて、心拍数、血圧、脳波などを計測することが報告されている。
　また身体的な健康状態の把握に関して、非接触的なセンサを用いて、人の動作をデジタル的に計測することが研究されている。例えば、Ｍｏｔｉｏｎ　ｃａｐｔｕｒｅ　技術は、人の関節など体にマーカを装着させて、マーカを検出し、検出したマーカの情報を処理することで、人の動作をデジタル化する。非特許文献２で紹介したＮＥＣ歩行姿勢測定システムは、Ｋｉｎｅｃｔを用いて人物の位置情報、骨格情報を画像処理により抽出することで、人の歩行という行動を検出しデジタル化する。
　また近年、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ技術が発達し、Ｋｉｎｅｃｔのような専用なアクティブセンサの利用による手法に変えて、単眼カメラで撮影した映像から、複数の人の骨格を抽出し、姿勢をデジタルすることが可能となっている。
　これらの技術を使って、特許文献１に記載したＫｉｎｅｃｔを用いて歩行動作を処理する。人の骨格、着地点の位置、移動軌跡情報を抽出することで、歩行状況を評価する情報を提供することが可能となった。
　この情報に基づいて、リハビリテーションにも利用することが可能である。例えばリハビリテーションとして、歩行人の各関節の座標情報を抽出し、歩く速度、歩幅など情報をブレなく表示することができる。また歩行など人の動作・姿勢のデジタル化以外では、生活行動のデジタル化に関するものがある。例えば、特許文献２に記載した複数なセンサを用いて、人物の動作および、位置など情報を抽出することができ、介護向け高齢者の生活行動を把握することができる。更に、その情報を可視化することで、位置情報と設備の情報に合わせて、転倒、滑りなど異常行動を予測し、介護員へ提示することが可能である。例えば、高齢者は段差があるところに移動しようと判断された場合は、段差移動の補助を介護員に表示することが可能となった。そのリスクを予防することが可能と記載されている。
　また、特許文献３は高齢者以外を誤認識することを抑止するため、高齢者行動を特定することで高精度な計測することが記載されている。
特開２０１５－０４２２４１号公報 特開２０１６－６６３０８号公報 特開２０１５－６１５７７号公報
"Ｗｅａｒａｂｌｅ　Ｍｅｄｉｃａｌ　Ｓｅｎｓｏｒ－ｂａｓｅｄ　Ｓｙｓｔｅｍ　Ｄｅｓｉｇｎ：　Ａ　Ｓｕｒｖｅｙ"，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｍｕｌｔｉ－ｓｃａｌｅ　Ｃｏｍｐｕｔｉｎｇ　Ｓｙｓｔｅｍｓ，　Ｖｏｌ．３，　Ｎｏ．２、　２０１７． ＮＥＣ歩行姿勢測定システム
　本発明が解決しようとする課題は、居住者区域に存在する様々な環境に設置可能な映像機器により複数の高齢者の身体的な健康状態を高精度に計測することである。
　近年のこの分野では、Ｋｉｎｅｃｔを用いて、高齢者の歩き方、バランスなどを計測することが多く発明されている。
　これらの発明は、計測精度を維持するため、特定環境での計測を前提としたものである。例えば、Ｋｉｎｅｃｔの設置角度は水平で、設置高さは高齢者の高さである。また、計測する高齢者の行動の制限がある。例えば、歩き方の計測はカメラと直線で歩くことが求められる。このためこれらの手法による発明では、計測環境を特定され、高齢者は特定されたパターンを行動してから計測することが要求される。そのため、実際に日常生活に応用する際には、高齢者の抵抗感があり、設置の準備、高齢者の対応など不便を生じる。
　またこれらの手法による発明では、計測精度を維持するために、三次元データを処理することから、処理コストが高いという課題を有する。
　例えば、特許文献３では、事前に計測したい行動の三次元モデルと、実際に取得した三次元データをマッチングし、行動を特定するが、この方式では、複数高齢者、複数行動を計測する際には、処理コストが増加してしまい、現実ではない。
　以上のことから本発明においては、日常生活で居住者区域に存在する様々な環境に設置可能な映像機器により複数の被験者の身体健康状態を高精度、低コストに計測することができる身体健康状態映像分析装置、方法並びにシステムを提供することを目的とする。
　以上のことから本発明においては、「カメラにより二次元映像を取得する２Ｄ情報取得
部と、カメラからステレオ処理により、三次元データを取得する３Ｄ情報取得部と、取得した二次元映像から検出対象者を分類する対象分類部と、検出対象者の行動パターンを特定する行動特定部と、特定された行動パターンに基づき、三次元データを分析して身体特徴を抽出する身体特徴抽出部と、抽出した特徴を用いて身体健康状態を分析する状態分析部と、を備えることを特徴とする身体健康状態映像分析装置」としたものである。
　また本発明においては、「管理対象者を二次元映像として取得して二次元映像から管理対象者を特定するとともに監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して特定された行動パターンに基づき、三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析することを特徴とする身体健康状態映像分析方法」としたものである。
　また本発明においては、「管理対象者を二次元映像として取得して二次元映像から管理対象者を特定し、かつ監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して特定された行動パターンに基づき、三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析するとともに、少なくとも管理対象者を二次元映像として取得する場所、身体健康状態を分析する場所はクラウドを介して通信により接続されていることを特徴とする身体健康状態映像分析システム」としたものである。
　本発明によれば、日常生活で居住者区域に存在する様々な環境に設置可能な映像機器により複数の被験者の身体健康状態を高精度、低コストに計測することができる。
本発明の実施例１に係る身体健康状態映像分析装置の構成例を示す図。 図１の対象分類部１２のさらに詳細な構成例を示す図。 各フレームにおける高齢者の行動領域（存在領域）を示す図。 本発明の実施例２に係る身体健康状態映像分析装置の構成例を示す図。 計算機で実施する身体健康状態映像分析方法の処理の流れを説明するための図。 ステレオカメラを用いて高齢者のＳＩＤＥテストベースで身体健康状態を評価するときの処理の流れを説明するための図。 本発明の実施例５に係る身体健康状態映像分析装置の構成例を示す図。 本発明の実施例６に係る身体健康状態映像分析装置の構成例を示す図。 本発明の実施例７に係る身体健康状態映像分析装置の構成例を示す図。
　以下、本発明の実施例について、図面を参照して詳細に説明する。なお以下に示す本発明の身体健康状態映像分析装置および方法の実施例の説明においては、高齢者の身体健康状態の分析を例として説明する。
　図１は、本発明の実施例１に係る身体健康状態映像分析装置の構成例を示す図である。図１において１０はカメラ、１は計算機装置により構成された本発明の実施例１に係る身体健康状態映像分析装置である。なお図１の身体健康状態映像分析装置１では、計算機装置の演算部により実行される処理機能をブロック表示している。
　図１では、まずカメラ１０から二次元映像を取得する。カメラ１０は単眼カメラの組合せやステレオカメラでもよい。単眼カメラは、画像センサとレンズで構成されている。画像センサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を含む機構である。レンズには、ズーム可能なレンズや固定レンズがある。撮影されたものはＢＭＰ、ＪＰＧＥなどの型式により保存する。撮影情報には、ＲＧＢ情報が含まれている。
　ステレオカメラは、複数視点から同時に撮影することにより、奥行きＤｅｐｔｈ取得できるカメラである。最近、市販のステレオカメラが増加している。例えば、インテルのＲｅａＳｅｎｓｅカメラはよく利用されている。それらのステレオカメラは二次元映像、三次元データを同時に取得することができる。本発明は二つ単眼カメラを構成したステレオカメラを用いた身体健康状態の分析を例とする。
　計算機装置により構成された身体健康状態映像分析装置１では、最初に２Ｄ情報取得部１１においてカメラ１０から二次元映像を取得する。取得される映像はフレームレートによって画像２０として保存される。
　身体健康状態映像分析装置１内の対象分類部１２では、画像２０から人として例えば高齢者を認識し分類する。この場合に撮像対象である高齢者は、日常生活では、高齢者が一人でいる場合と、複数人でいる場合とがある。あるいは介護人などの非管理対象者を含む場合もある。いずれの場合であっても、管理対象者各自の身体健康状態をそれぞれに分析するためには、高齢者を識別、分類する必要がある。図２の対象分類部１２では、２Ｄ情報取得部１１から取得した画像２０を用いて、存在する人を検知する。つまり画像から人と、人以外を分けて把握し、この場合に画像２０から分類された人は１人でも複数人であってもよい。
　図２は、対象分類部１２のさらに詳細な構成例を示している。対象分類部１２における処理機能は、認証機能１２Ａと追跡機能１２Ｂに分けられる。認証機能１２Ａは管理対象高齢者を識別、確認する処理であり、追跡機能１２Ｂは確認した高齢者を時系列的に監視する処理である。
　最初に対象分類部１２の認証機能１２Ａについて説明する。まず検知部２２では、画像２０を用いて、高齢者の顔や身体領域を検知する。検知する方法は、従来のマッチング手法や近年のＤｅｅｐＬｅａｒｎｉｎｇ技術など様々な手法が利用可能であり、本発明においてはこの手法を限定するものではない。
　次に認証部２３では、検知された人の顔を用いて、事前に登録された認証登録データベースＤＢ１と照合し、検知した高齢者のＩＤを特定する。ＩＤが存在しない場合は、必要に応じて認証登録データベースＤＢ１に新規の管理対象高齢者として登録する。本認証の処理は、画像２０の全てのフレームで実施してもよいが、処理速度を考慮する場合は、高齢者が登場した始めのフレームや、高齢者が再度登場する際に実施し、連続する以後のフレームでの認証処理を割愛するのがよい。
　次に対象分類部１２の追跡機能１２Ｂについて説明する。追跡機能１２Ｂの検知部２２では、認証機能１２Ａの認証部２３で認証し管理対象とした高齢者について、画像２０の連続する各フレームで高齢者を引き続き検知し、追跡する。なお、図２では認証機能１２Ａの検知部２２と追跡機能１２Ｂの検知部２２とを別体のように記載しているが、これは一体に構成されていてもよい。
　追跡部２４では、画像２０の連続するフレームについて、その前後で検知されたフレームで同じ高齢者がいるか、いないかを判断する。判断した結果を追跡結果データＤ１として追跡結果データベースＤＢ２に保存する。追跡結果データＤ１には、高齢者がいる場合にこの間の一連の画像を含んでいる。
　なお本発明において追跡とは、管理対象とした高齢者が固定カメラの視界から外れた時点で終了としてもよく、あるいは視界が変更可能なカメラにより管理対象とした高齢者を、カメラ角度などを変更しながら追っていくものであってもよい。要は高齢者の移動に合わせて複数枚の画像が取得でき、高齢者の動きが撮影できればよい。
　追跡結果データＤ１はニーズによって、フォーマットを決めることが可能である。簡単なものでは、フレーム番号と、高齢者領域を特定できる枠の情報を記入することが良い。そして、追跡結果データＤ１に対して、前記認証した情報を対応つけることができる。
　図３は、各フレームにおける高齢者の行動領域（存在領域）を示す図である。図３によれば、以上の分類処理を実行することによって、高齢者Ａ、Ｂについて、２６、２７に示した結果例のように、高齢者のＩＤおよび各フレームでの行動領域（存在領域）を把握することができる。これらの図３のデータは、例えば追跡結果データベースＤＢ２に保存した追跡結果データＤ１の一部として関連付けされて記憶されるのがよい。さらには追跡結果データＤ１には、後述する行動特定部１３で設定された身体健康分析項目の情報と一体化されて記憶されるのがよい。
　図１に戻り、行動特定部１３では、高齢者の様々な行動を特定する。行動の種類は身体健康分析項目によって異なっている。例えば身体健康分析項目が歩き方であり、歩き方について分析する場合は、歩く行動を特定することが可能である。リハビリテーションの場合は、さらに分析したい行動を具体的に指定することができる。例えば身体健康分析項目として膝のリハビリを行っているのであれば、膝の曲がりに特化した行動を指定することができる。その他の行動もニーズによって追加することが可能である。それらの行動を特定するのに、近年様々なＤｅｅｐＬｅａｒｎｉｎｇ手法がある。それらの手法を用いて、高齢者の様々な行動を特定することが可能である。最近の研究によれば、ＣＮＮ、ＬＳＴＭ手法を用いて行動分析するものが知られている。例えば、“Ｄｅｅｐ　Ｌｏｃａｌ　Ｖｉｄｅｏ　Ｆｅａｔｕｒｅ　ｆｏｒ　Ａｃｔｉｏｎ　Ｒｅｃｏｇｎｉｔｉｏｎ”，　ＣＶＰＲ，　２０１７．と“Ｃｏ－ｏｃｕｕｒｒｅｎｃｅ　Ｆｅａｔｕｒｅ　Ｌｅａｒｎｉｎｇ　ｆｏｒ　Ｓｋｅｌｅｔｏｎ　ｂａｓｅｄ　Ａｃｔｉｏｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｕｓｉｎｇ　Ｒｅｇｕｌａｒｉｚｅｄ　Ｄｅｅｐ　ＬＳＴＭ　Ｎｅｔｗｏｒｋｓ”，　ＡＡＡＩ　２０１６．　人の行動を分析する研究が提案されている。
　行動特定部１３において特定する行動は、身体健康分析項目によって、行動の選別や組合せすることが可能である。例えば、Ｔｉｍｅ　Ｕｐ　ａｎｄ　Ｇｏ　（ＴＵＧ）テスト場合は、高齢者の座る行動、立つ行動、歩く行動を特定し、フレームによって特定する行動を組み合わせることである。なお行動特定部１３は、身体健康状態映像分析装置における身体健康分析項目の設定機能と位置付けることができ、適宜の入力手段を介して管理対象高齢者別に身体健康分析項目などの管理情報を与えるものである。
　図１において３Ｄ情報取得部１５では、カメラ１０の左右二つの二次元画像２０を用いてステレオ処理を行い、三次元情報Ｄ２を算出する。以下数式を用いて三次元情報Ｄ２の算出方法について説明する。
Figure JPOXMLDOC01-appb-M000001
　（１）式は、カメラにおける内部パラメータ行列Ｋと、外部パラメータ行列Ｄの算出式である。なおここで、ｆは焦点距離、ａはアスペクト比、ｓはスキュー、（ｖｃ，ｕｃ）は画像座標の中心座標を示す。また、（ｒ１１，ｒ１２，ｒ１３，ｒ２１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３）はカメラの向きを示し、（ｔｘ，ｔｙ，ｔｚ）はカメラ設置位置の世界座標を示す。
　これら２つのパラメータ行列Ｋ、Ｄ、及び定数λを用いると、画像座標（ｕ，ｖ）と世界座標（Ｘ，Ｙ，Ｚ）は（２）式の関係式により対応付けられる。
Figure JPOXMLDOC01-appb-M000002
　なお、外部パラメータのカメラの向きを示す（ｒ１１，ｒ１２，…ｒ３３）においては、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。そのため、画像座標と世界座標の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個となる。それらのパラメータを用いて、歪み補正、平行化処理を行う。
　距離を含み、計測物の三次元計測値は（３）式のように算出することができる。
Figure JPOXMLDOC01-appb-M000003
　（３）式において、（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）は左右カメラ画像上の画素値であり、平行化処理後、ｙｌ＝ｙｒ＝ｙとなる。なお（３）式において、ｆは焦点距離、Ｂはベースライン、カメラ間の距離である。
　さらに（３）式を、視差ｄを用いて整理する。なお視差ｄについて、同じ三次元上のものはそれぞれ左右カメラに投影した画像間の差分であり、この差分はその三次元上のものの視差である。視差ｄを用いて表現される世界座標と画像座標の関係は、（４）式のようになる。
Figure JPOXMLDOC01-appb-M000004
　３Ｄ情報取得部１５では、以上の処理の流れで三次元情報Ｄ２を取得することが可能である。また、ＲｅａｌＳｅｎｓｅのようなカメラは、メーカ側でそのまま三次元情報Ｄ２を出力される場合は、そのまま利用することが可能である。
　図１に戻り、身体特徴抽出部１４について説明する。身体特徴抽出部１４では、行動特定部１３で特定された行動に対する図３のようなフレーム内容の領域（この情報は追跡結果データベースＤＢ２に保存した追跡結果データＤ１から得ることができる）に対して、３Ｄ情報取得部１５におけるステレオ処理で算出した三次元情報Ｄ２を用いて、特定された行動の特徴を分析する。ここで定義した特徴は直接身体健康状態に関連するものである。例えば立つ行動であれば、立ち上がり動作のスムーズさ、歩く行動であれば、位置、速度、歩幅、腕幅などに特徴がある。
　図１の身体健康状態分析部１６では、身体特徴抽出部１４で抽出した身体の特徴を用いて、身体健康状態を分析する。分析には専門家のノウホウを活かすことが重要である。現在高齢者の健康状態を評価するには様々な指標および専門家の評価項目がある。例えば歩行能力を評価指標としてＴＵＧ指標がある。認知機能を評価するＭＭＳＥ（ミニメンタルステート検査）評価指標がある。前期抽出した特徴に基づいて、指標の算出することを可能である。
　実施例２では、ステレオカメラを用いて高齢者の歩行能力を評価することで高齢者の身体健康状態を分析することについて、図４を用いて説明する。
　なお実施例２においてステレオカメラとは、文字通りステレオカメラである場合以外に、二次元映像と三次元情報を出力できるセンサの組合せで実現されるものを含んでいる。本発明では、ステレオカメラを例として説明する。なお、２Ｄ情報取得部１１、対象分類部１２、行動特定部１３、３Ｄ情報取得部１５は実施例１と同じものであるので、図４における図示を割愛している。
　図４において身体特徴抽出部１４には、行動特定部１３などからの追跡結果データＤ１および３Ｄ情報取得部１５からの三次元情報Ｄ２が入力されている。このうち追跡結果データＤ１は各種の情報を含むが、ここでは行動特定部１３において画像から特定した歩く行動に対して、図３に例示した高齢者の領域情報２６、２７を用いる。領域情報２６、２７には画像のＲＧＢ情報や人の輪郭情報３０が含まれている。
　また３Ｄ取得情報部１５からの三次元情報Ｄ２は、画像から特定した歩く行動に対して、特定された領域についての、図３に例示した高齢者の領域情報２６、２７に対して、ステレオ処理を行い、三次元情報Ｄ２としたものである。三次元情報Ｄ２によれば、ＸＹＺ軸で表現される３次元の空間に対して高齢者の場所および、実際的な輪郭情報３１を把握することができる。
　そのうえで、身体特徴抽出部１４は、空間上における高齢者の輪郭情報３１を用いて、特徴を抽出する。例えば、幅は足元の輪郭位置情報を用いて前後フレームで距離を計測することで歩幅の算出することができる。その他、速度、加速度など必要な特徴を算出し、特徴データベース３１に出力することが可能である。
　以下、具体的な算出手法について説明する。実施例２では、例えば歩き速度と、歩幅を下記流れで算出する。
　まず、２次元画像Ｄ１から、高齢者の骨格を抽出する。骨格の抽出には、Ｍａｓｋ　Ｒ－ＣＮＮ手法を利用するのがよい。Ｍａｓｋ　Ｒ－ＣＮＮは、Ｒ．Ｇｉｒｓｈｉｃｋ　ｅｔ　ａｌ．，　“Ｄｅｔｅｃｔｒｏｎ”論文に記載したものを利用する。ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｆａｃｅｂｏｏｋｒｅｓｅａｒｃｈ／ｄｅｔｅｃｔｒｏｎ、２０１８．　
　これによれば、人の骨格にある１７個の関節を抽出することが可能である。１７個の関節は、鼻、右目、左目、右耳、左耳、右肩、左肩、右手、左手首、右手首、左腰、右腰、左膝、右膝、左足首、右足首である。画像座標の中心座標（ｖｃ、ｕｃ）を用いて、２次元画像Ｄ１による、１７個の関節の画像情報を表すと（５）式で表すことができる。
Figure JPOXMLDOC01-appb-M000005
　（５）式は１７の間接についての特徴を、画像座標において数式化したものである。これを（６）式により、同じ関節に対する世界座標の情報として変換し、１７個の三次元情報として表す。なお、三次元の算出方法は、ステレオ方法や、事前に入力することも可能である。
Figure JPOXMLDOC01-appb-M000006
　なお、速度と、歩幅を算出するため、中心点（ｖ１８、ｕ１８）を、１７個の関節を用いて（７）式で算出する。なお対応する３次元情報は（ｘ，ｙ，ｚ）である。
Figure JPOXMLDOC01-appb-M000007
　１７個の関節についての３次元化情報を用いて、例えば速度Ｓｐｅｅｄは、（８）式で算出することができる。ここでは、ｔ０は時間間隔、実施例では１．５秒に設定する。
Figure JPOXMLDOC01-appb-M000008
　左右足の距離ｄ、並びに歩幅ｌｅｎｇｔｈは（９）式で算出することができる。ここでは、時間帯の一番大きい距離を、歩幅として算出する。ｎは１．０秒に設定する。
Figure JPOXMLDOC01-appb-M000009
　その他、加速度などの必要な特徴はすべて、速度と歩幅を用いて算出するものとなる。算出方法は、論文Ｒｉｓｐｅｎｓ　Ｓ　Ｍ，　ｖａｎ　Ｓｃｈｏｏｔｅｎ　Ｋ　Ｓ，　Ｐｉｊｎａｐｐｅｌｓ　Ｍ，　ｅｔ　ａｌ．，　“Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　ｏｆ　ｆａｌｌ　ｒｉｓｋ　ｐｒｅｄｉｃｔｏｒｓ　ｉｎ　ｄａｉｌｙ　ｌｉｆｅ　ｍｅａｓｕｒｅｍｅｎｔｓ：　ｇａｉｔ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ’　ｒｅｌｉａｂｉｌｉｔｙ　ａｎｄ　ａｓｓｏｃｉａｔｉｏｎ　ｗｉｔｈ　ｓｅｌｆ－ｒｅｐｏｒｔｅｄ　ｆａｌｌ　ｈｉｓｔｏｒｙ”，　Ｎｅｕｒｏｒｅｈａｂｉｌｉｔａｔｉｏｎ　ａｎｄ　ｎｅｕｒａｌ　ｒｅｐａｉｒ，　２９（１）：　５４－６１，　２０１５．を参照して他の歩き方の特徴を算出することが可能である。
　以上の処理により算出された特徴データを用いて、身体健康状態分析部１６では、歩行の変化、同年齢との差分など様々な評価をすることができる。結果出力部３４は、その結果を関係者が可視可能な形にして出力する。
　実施例１、実施例２では、主に身体健康状態映像分析装置を構成することについて説明したが、実施例３では身体健康状態映像分析方法について説明する。図５に示した実施例３では、ステレオカメラを用いて高齢者のＴＵＧテストベースで身体健康状態を評価する。
　ここでＴＵＧとは、Ｓｈｕｍｗａｙ－Ｃｏｏｋ　Ａ，　Ｂｒａｕｅｒ　Ｓ，　Ｗｏｏｌｌａｃｏｔｔ　Ｍ．”Ｐｒｅｄｉｃｔｉｎｇ　ｔｈｅ　ｐｒｏｂａｂｉｌｉｔｙ　ｆｏｒ　ｆａｌｌｓ　ｉｎ　ｃｏｍｍｕｎｉｔｙ－ｄｗｅｌｌｉｎｇ　ｏｌｄｅｒ　ａｄｕｌｔｓ　ｕｓｉｎｇ　ｔｈｅ　Ｔｉｍｅｄ　Ｕｐ　＆　Ｇｏ　Ｔｅｓｔ”，　Ｐｈｙｓｉｃａｌ　Ｔｈｅｒａｐｙ．　２００１　Ａｐｒ；８１（４）：１０６０－１に紹介されている。ここでは高齢者が椅子から立ち上がり、歩くなどをしたのちに再び着座する動作について、立ち上がり時間と再び椅子に座るまでの時間を計測するテストである。
　図５のフローではまず、処理ステップＳ４０において２Ｄ情報取得４０から画像情報２０を所得する。取得した画像情報から高齢者認証処理ステップＳ４１、高齢者追跡処理ステップＳ４２、高齢者行動分析処理ステップＳ４３を行う。これらの一連の処理は、高齢者が椅子から立ち上がり、歩くなどをしたのちに再び着座する一連の動作が完了するまで継続実施される。
　ここまでの一連動作が特定の高齢者について完了した時には、そのうえで、処理ステップＳ４４で座り動作を判別し、処理ステップＳ４５で歩く動作を行ったことを判別する。座る行動であれば、処理ステップＳ４７において座る際の身体特徴を抽出する。座る行動から歩く行動へ変わったことから歩く行動を特定されると、処理ステップＳ４６において時間を評価する。そして、歩く特徴を抽出する。
　処理ステップＳ４７において抽出する特徴は、実施例２に述べた通りのものである。処理ステップＳ４７において抽出した特徴は特徴データベースＤＢ３に記憶する。画像の取得終了であれば、特徴データベースＤＢ３を用いて、処理ステップＳ４９において身体健康状態を分析する。これにより、座るから再び座るまで時間、歩行特徴、座る特徴の変化、および基準値との差などを分析することが可能である。処理ステップＳ４１１においてその結果を関係者などが可視する形に出力する。
　ＴＵＧテストと同じように、座る行動、歩く行動の組合せすることが可能である。またＴＵＧ以外の評価指標に基づいて、特定する行動の組合せは変更することも可能である。
　図６を用いて、実施例４について説明する。実施例４では、ステレオカメラを用いて高齢者のＳＩＤＥテストベースで身体健康状態を評価する。
　ＳＩＤＥについて、寺西利生「病棟における転倒予防：バランス評価尺度Ｓｔａｎｄｉｎｇ　ｔｅｓｔ　ｆｏｒ　Ｉｍｂａｌａｎｃｅ　ａｎｄ　Ｄｉｓｅｑｕｉｌｉｂｒｉｕｍ（ＳＩＤＥ）とその運用」日本転倒予防学会誌Ｖｏｌ．４　Ｎｏ．１　２０１７に紹介されている。
　実施例４は、まず実施例３と同じく、処理ステップＳ５０において２Ｄ情報取得４０から画像情報２０を所得する。取得した画像情報から高齢者認証処理ステップＳ５１、高齢者追跡処理ステップＳ５２、高齢者行動分析処理ステップＳ５３を行う。これらの一連の処理は、高齢者が椅子から立ち上がる動作が完了するまで継続実施される。処理ステップＳ５７は、この間の三次元情報Ｄ２を取得する。
　処理ステップＳ５８では、ここまでの処理で得られた行動情報Ｄ１および、三次元情報Ｄ２を用いて身体特徴を抽出する。処理ステップＳ５８では身体特徴を抽出するにあたりＳＩＤＥの考え方を導入したものであり、ＳＩＤＥによれば、下半身の動きを評価するため、上半身の情報を削減し、コストを向上することが可能である。
　例えば足の幅は画像上で特定された行動情報Ｄ１（足の位置）に基づいて、実際に三次元空間上における左右足の距離を算出することで評価することができる。評価した特徴は特徴データベースＤＢ３に登録される。そして、特徴データベースＤＢ３を用いてＳＩＤＥの評価に基づいて、高齢者のバランスという身体健康状態を分析することが可能である。分析結果を高齢者可視する形に出力する。
　以上に述べた歩行、ＴＵＧ、ＳＩＤＥは高齢者介護によく利用する評価基準である。他の評価基準は本発明に合わせ、適宜実施することが可能である。
　図７を用いて、実施例５について説明する。実施例５は、時間に応じて、身体健康状態を評価するものである。時間設定情報を用いて、特定する行動、抽出する身体特徴の調整は可能である。
　要するに図７の構成は、行動特定部１３が朝行動特定部６１、昼行動特定部６２、夜行動特定部６３に分かれて機能するものということができる。また同様に身体特徴抽出部１４が朝身体特徴抽出部６４、昼身体特徴抽出部６５、夜身体特徴抽出部６６に分かれて機能するものということができる。
　実施例５では、時間設定情報データベースＤＢ４に格納した時間設定情報６０を用いて、行動特定部１３内の処理を朝昼夜に変更することができる。例えば朝時間に対して、朝行動特定部６１を実施する。それに対応する朝身体特徴抽出部６４から身体特徴を抽出する。同じく、昼の場合は、昼行動特定部６２、昼身体特徴抽出部６５となる。夜の場合は、夜行動特定部６３、夜身体特徴抽出部６６となる。それによって時間帯に応じて、身体健康状態分析部６８はよりフレキシブル設定することができる。
　また時間設定情報６０は、ユーザ側の設定で変更することが可能である。それに応じてより効率よく身体健康状態の分析や管理は実現可能となる。
　図８を用いて、実施例６について説明する。実施例６では、高齢者の健康度合いに応じて、身体健康状態を評価する。このため、図８では健康度合いデータベースＤＢ５に健康度合いデータ７０を事前設定されて蓄えている。
　図８において、対象分類部１２は高齢者を分類することができる。その際に、健康度合いデータベースＤＢ５に事前に用意した健康度合いデータ７０と、事前に用意した認証情報により、分類された高齢者の年齢や健康についての情報を把握することができる。それらの情報に応じて、度合い行動選別部７１から、特定する行動を選別することが可能である。
　健康度合いは専門家の情報に基づいて、設定するのが良い。例えば、足の度合いが低下する高齢者は、足のリハビリテーションを評価するため、歩行行動、ＳＩＤＥの立つ行動を選別することができる。足度合いに応じて、行動特定部１３は、足の行動に関する領域を特定する。そして、３Ｄ情報取得部１５は、その領域についてステレオ処理を行い、三次元情報Ｄ２を算出する。
　さらに、身体特徴抽出部１４は、前記出力された三次元情報Ｄ２、特定された足行動情報Ｄ１を用いて、身体特徴を抽出する。最後に、身体健康状態分析部１４が抽出した身体特徴に基づいて、足のリハビリテーションによって、足の度合いは良くなるかなれないかの判断することができる。現状の足の度合いを再び健康度合いデータベースに登録することも可能である。
　そのように、高齢者それぞれの健康度合いに合わせて、サービスを提供することが可能である。
　実施例７では、身体健康状態映像分析装置１の望ましい実施形態について説明する。ここでは、身体健康状態映像分析システムを構成する。
　図１に例示する身体健康状態映像分析装置１は、これ自体が独立した単体の装置として大きな病院に設置され、病院内の介護施設の状況を管理するものとしての運用が可能である。
　身体健康状態映像分析システムでは、本発明を係る状況ばかりでなく、遠隔における管理を可能とするために構成する。例えば医者の少ない過疎地にはカメラのみが設置されていて、通行する高齢者を日常的に観察しその情報はクラウド上に送られる。医者がいる病院には身体健康状態映像分析装置１の少なくとも一部が設置されていて、適宜のタイミングで医者による身体健康分析が実施され、その結果もまたクラウドに送られる。ここで身体健康状態映像分析装置１の少なくとも一部と説明したのは、特にデータベースを中心に、これらのデータはクラウド上のどこに置かれていてもよい。要するに医者は、健康状態分析が行えればよい。データがどこにどのように蓄積され、あるいは身体特徴がどこで、だれにより行われていてもよい。要は医者は健康状態分析結果をクラウド上に保存できることが重要である。またクラウドには、過疎地の高齢者の、離れたところに居住する親類縁者などがアクセス可能であり、手持ちのタブレット、スマホ１０１などを通じて医者が下した健康状態分析結果が、必要であればカメラで把握した行動内容と合わせてみることができるのが望ましい。
　以上詳細に説明した本発明によれば、複数の被験者の特定された行動を三次元データ分析することによるデータ処理量を大幅に削減できるようになる．これにより、単一画像処理チップでの高精度分析が可能となり、様々な環境に設置可能な映像分析機器を提供できる．そして、設置コストを大幅削減することができる。
　また、カメラの二次元映像からステレオ処理を行い、三次元処理を行うため、取得するカメラの選別が多く、設置角度や高さの制限を緩くなる。それで日常設置でも可能となる。
　以上のことから、在宅や介護設備など高齢者向けサービス提供する際には、カメラを高齢者に生活を支障しないところを設置することができる。取得した日常生活の行動を分析することで、高齢者の身体健康状態を計測することが可能になる。
１０：カメラ、１１：２Ｄ情報取得部、１２：対象分類部、１３：行動特定部、１４：身体特徴抽出部、１５：３Ｄ情報取得部、１６：身体健康状態分析部、２０：画像、ＤＢ１：認証登録データベース、２２：検知部、２３：認証部、２４追跡部、ＤＢ２：追跡結果データベース、２６：老人Ａの結果、２７：老人Ｂの結果、ＤＢ３：特徴データベース、ＤＢ４：時間設定情報データベース、６１：朝行動特定部、６２：朝身体特徴抽出部、６３：昼行動特定部、６４：昼身体特徴抽出部、６５：夜行動特定部、６６：夜身体特徴抽出部、ＤＢ５：健康度合いデータベース、７１：度合い行動選別部

Claims (10)

  1. 　カメラにより二次元映像を取得する２Ｄ情報取得部と、カメラからステレオ処理により、三次元データを取得する３Ｄ情報取得部と、取得した二次元映像から検出対象者を分類する対象分類部と、前記検出対象者の行動パターンを特定する行動特定部と、前記特定された行動パターンに基づき、前記三次元データを分析して身体特徴を抽出する身体特徴抽出部と、抽出した特徴を用いて身体健康状態を分析する状態分析部と、を備えることを特徴とする身体健康状態映像分析装置。
  2. 　請求項１に記載の身体健康状態映像分析装置であって、
    　前記特定した行動結果に対してステレオ処理を行い、三次元情報を取得することを特徴とする身体健康状態映像分析装置。
  3. 　請求項１に記載の身体健康状態映像分析装置であって、
    　前記取得した三次元情報を用いて、身体特徴を抽出することを特徴とする身体健康状態映像分析装置。
  4. 　請求項１に記載の身体健康状態映像分析装置であって、
    　前記取得した画像情報、三次元情報を用いて、複数の高齢者の身体健康状態を分析することを特徴とする身体健康状態映像分析装置。
  5. 　請求項１に記載の身体健康状態映像分析装置であって、
    　前記行動特定部において特定する行動は、複数の行動の組合せすることが可能であることを特徴とする身体健康状態映像分析装置。
  6. 　請求項１に記載の身体健康状態映像分析装置であって、
    　時間に応じて、分析する身体健康状態の調整することを特徴とする身体健康状態映像分析装置。
  7. 　請求項１に記載の身体健康状態映像分析装置であって、
    　高齢者の健康度合いに応じて、分析する身体健康状態を調整することを特徴とする身体健康状態映像分析装置。
  8. 　管理対象者を二次元映像として取得して二次元映像から管理対象者を特定するとともに監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して前記特定された行動パターンに基づき、前記三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析することを特徴とする身体健康状態映像分析方法。
  9. 　管理対象者を二次元映像として取得して二次元映像から管理対象者を特定し、かつ監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して前記特定された行動パターンに基づき、前記三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析するとともに、
    　少なくとも管理対象者を二次元映像として取得する場所、前記身体健康状態を分析する場所はクラウドを介して通信により接続されていることを特徴とする身体健康状態映像分析システム。
  10. 　請求項９に記載の身体健康状態映像分析システムであって、
    　前記管理対象者の関係者がいる場所はクラウドを介して通信により接続されており、少なくとも前記身体健康状態の分析結果を確認できることを特徴とする身体健康状態映像分析システム。
PCT/JP2019/032997 2019-02-05 2019-08-23 身体健康状態映像分析装置、方法並びにシステム WO2020161947A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980087308.5A CN113271848B (zh) 2019-02-05 2019-08-23 身体健康状态影像分析装置、方法以及系统
EP19914288.6A EP3922176A4 (en) 2019-02-05 2019-08-23 PHYSICAL HEALTH STATUS IMAGE ANALYSIS DEVICE, METHOD AND SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019018597A JP7169213B2 (ja) 2019-02-05 2019-02-05 身体健康状態映像分析装置、方法並びにシステム
JP2019-018597 2019-02-05

Publications (1)

Publication Number Publication Date
WO2020161947A1 true WO2020161947A1 (ja) 2020-08-13

Family

ID=71947562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032997 WO2020161947A1 (ja) 2019-02-05 2019-08-23 身体健康状態映像分析装置、方法並びにシステム

Country Status (4)

Country Link
EP (1) EP3922176A4 (ja)
JP (1) JP7169213B2 (ja)
CN (1) CN113271848B (ja)
WO (1) WO2020161947A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116989820A (zh) * 2023-09-27 2023-11-03 厦门精图信息技术有限公司 一种智能导航系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130289449A1 (en) * 2012-04-27 2013-10-31 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
JP2017521017A (ja) * 2014-04-21 2017-07-27 ブラスト モーション インコーポレイテッドＢｌａｓｔ Ｍｏｔｉｏｎ Ｉｎｃ． モーション事象認識およびビデオ同期システム並びに方法
JP2017205134A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3655618B2 (ja) * 2003-03-28 2005-06-02 株式会社エヌ・ティ・ティ・データ 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム
JP4667900B2 (ja) * 2005-02-17 2011-04-13 株式会社ユニメック 二次元画像からの三次元解析方法とそれを実行するシステム
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008146583A (ja) * 2006-12-13 2008-06-26 Sanyo Electric Co Ltd 姿勢検知装置および挙動検知装置
JP4985516B2 (ja) * 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009285077A (ja) * 2008-05-28 2009-12-10 Sanyo Electric Co Ltd 生活機能測定装置、生活機能測定プログラム及び生活機能測定システム
CN101571917B (zh) * 2009-06-16 2011-03-16 哈尔滨工程大学 基于视频的正面步态周期检测方法
JP2012079340A (ja) * 2011-12-26 2012-04-19 Toshiba Corp 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム
CN102697508B (zh) * 2012-04-23 2013-10-16 中国人民解放军国防科学技术大学 采用单目视觉的三维重建来进行步态识别的方法
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
JP6090847B2 (ja) * 2013-03-15 2017-03-08 Ｎｅｃソリューションイノベータ株式会社 情報処理装置及び判定方法
JP2015158745A (ja) * 2014-02-21 2015-09-03 日本電信電話株式会社 行動識別器生成装置、行動認識装置及びプログラム
CN104881881B (zh) * 2014-02-27 2018-04-10 株式会社理光 运动对象表示方法及其装置
JP2016015977A (ja) * 2014-07-04 2016-02-01 株式会社リコー 看護支援装置および看護支援方法
JP2017205135A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 個人識別装置、個人識別方法、及び、個人識別プログラム
CN104274179B (zh) * 2014-09-05 2017-04-19 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
US10755817B2 (en) * 2014-11-20 2020-08-25 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for predicting medical events and conditions reflected in gait
JP2016099982A (ja) * 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム
CN104805784B (zh) * 2015-03-30 2017-04-19 苏州华兴致远电子科技有限公司 一种闸机逃票检测系统及方法
US20180300538A1 (en) * 2015-06-10 2018-10-18 Konica Minolta, Inc. Image processing system, image processing apparatus, image processing method, and image processing program
WO2017061371A1 (ja) * 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム
CN105448041B (zh) * 2016-01-22 2018-04-17 苏州望湖房地产开发有限公司 一种人体摔倒智能控制系统及其方法
US10372970B2 (en) * 2016-09-15 2019-08-06 Qualcomm Incorporated Automatic scene calibration method for video analytics
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130289449A1 (en) * 2012-04-27 2013-10-31 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
JP2017521017A (ja) * 2014-04-21 2017-07-27 ブラスト モーション インコーポレイテッドＢｌａｓｔ Ｍｏｔｉｏｎ Ｉｎｃ． モーション事象認識およびビデオ同期システム並びに方法
JP2017205134A (ja) * 2014-08-25 2017-11-24 ノーリツプレシジョン株式会社 体調検出装置、体調検出方法及び体調検出プログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Co-ocuurrence Feature Learning for Skeleton based Action Recognition using Regularized Deep LSTM Networks", AAAI, 2016
"Deep Local Video Feature for Action Recognition", CVPR, 2017
"Wearable Medical Sensor-based System Design: A Survey", IEEE TRANSACTIONS ON MULTI-SCALE COMPUTING SYSTEMS, vol. 3, no. 2, 2017
RISPENS S MVAN SCHOOTEN K SPIJNAPPELS M ET AL.: "Identification of fall risk predictors in daily life measurements: gait characteristics' reliability and association with self-reported fall history", NEUROREHABILITATION AND NEURAL REPAIR, vol. 29, no. 1, 2015, pages 54 - 61
See also references of EP3922176A4
SHUMWAY-COOK ABRAUER SWOOLLACOTT M: "Predicting the probability for falls in community-dwelling older adults using the Timed Up & Go Test", PHYSICAL THERAPY, vol. 81, no. 4, April 2001 (2001-04-01), pages 1060 - 1

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116989820A (zh) * 2023-09-27 2023-11-03 厦门精图信息技术有限公司 一种智能导航系统及方法
CN116989820B (zh) * 2023-09-27 2023-12-05 厦门精图信息技术有限公司 一种智能导航系统及方法

Also Published As

Publication number Publication date
EP3922176A4 (en) 2022-10-26
JP7169213B2 (ja) 2022-11-10
CN113271848B (zh) 2024-01-02
JP2020124367A (ja) 2020-08-20
EP3922176A1 (en) 2021-12-15
CN113271848A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US9710920B2 (en) Motion information processing device
CN113496216B (zh) 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
US9700242B2 (en) Motion information processing apparatus and method
US9996739B2 (en) System and method for automatic gait cycle segmentation
CN112784662A (zh) 基于视频的跌倒风险评价系统
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
WO2018026838A1 (en) Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
WO2021186655A1 (ja) 転倒リスク評価システム
JP6433805B2 (ja) 運動機能診断装置及び方法、並びにプログラム
KR102297110B1 (ko) 보행 분석 시스템 및 방법
Li et al. Gait analysis using stereo camera in daily environment
CN112101235B (zh) 一种基于老年人行为特征的老年人行为识别检测方法
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
CN114999646A (zh) 新生儿运动发育评估系统、方法、装置及存储介质
Yuan et al. Ergonomic assessment based on monocular RGB camera in elderly care by a new multi-person 3D pose estimation technique (ROMP)
WO2020161947A1 (ja) 身体健康状態映像分析装置、方法並びにシステム
CN104331705B (zh) 融合时空信息的步态周期自动检测方法
KR20140057867A (ko) 열화상을 이용한 스트레스 지수 측정 시스템
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
Medina-Quero et al. Computer vision-based gait velocity from non-obtrusive thermal vision sensors
JP2020124367A5 (ja)
Xiang et al. Single camera based gait analysis method with scaled and image coordinate key-points
Oluwadare Gait analysis on a smart floor for health monitoring
Wang Motion analysis for in-home gait and balance assessment using inexpensive video sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914288

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019914288

Country of ref document: EP

Effective date: 20210906