WO2021182713A1 - 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템 - Google Patents

낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템 Download PDF

Info

Publication number
WO2021182713A1
WO2021182713A1 PCT/KR2020/016474 KR2020016474W WO2021182713A1 WO 2021182713 A1 WO2021182713 A1 WO 2021182713A1 KR 2020016474 W KR2020016474 W KR 2020016474W WO 2021182713 A1 WO2021182713 A1 WO 2021182713A1
Authority
WO
WIPO (PCT)
Prior art keywords
gait
subject
mat
unit
hybrid
Prior art date
Application number
PCT/KR2020/016474
Other languages
English (en)
French (fr)
Inventor
이영우
지유강
주재홍
Original Assignee
(주)옵토닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)옵토닉스 filed Critical (주)옵토닉스
Priority to US17/911,236 priority Critical patent/US20230404436A1/en
Priority to CN202080099942.3A priority patent/CN115428050B/zh
Publication of WO2021182713A1 publication Critical patent/WO2021182713A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6892—Mats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Definitions

  • the present invention provides a measurement system based on the gait characteristics of a subject, and a hybrid gait analysis device for fall prevention that enables prediction and prevention of falls by performing customized analysis using the collected information, and fall prevention including the same It is about the management system.
  • the most widely used fall risk assessment includes 'listening of a fall history' and 'assessing gait and balance'.
  • Patent Document 1 Republic of Korea Patent Publication No. 10-2019-0070068
  • Patent Document 2 Korean Patent Registration No. 10-1713263
  • the present invention is to solve the above-mentioned problems, to provide a measurement system based on the walking characteristics of the subject, and to perform a customized analysis using the collected information to prevent falls, which enables prediction and prevention of falls.
  • An object of the present invention is to provide a hybrid gait analysis device for and a fall prevention management system including the same.
  • the hybrid gait analyzer for preventing falls is installed on the floor on which a fall prevention subject walks and is provided with a plurality of pressure sensors that measure the foot pressure during walking, the gait analyzer and ; a depth camera installed to photograph the walking subject and providing a three-dimensional depth image of the subject; and a gait analysis module that analyzes the subject's gait state by synthesizing the foot pressure information of the subject and skeletal information read from the three-dimensional depth image.
  • an automatic user recognizer for analyzing a time when the examinee enters and exits the mat-type gait analyzer by searching for the position of the examinee, respectively.
  • the gait analyzer includes a plurality of unit mat sensors each of a mat type, and the unit mat sensor preferably includes a plurality of pressure sensors in a matrix pattern.
  • the unit mat sensor includes a floor sheet; a first sensor sheet laminated on the upper surface of the bottom sheet and provided with a horizontal axis pressure sensor in a horizontal direction; a conductive material layer laminated on the upper surface of the first sensor sheet and made of a conductive material; a second sensor sheet laminated on the upper surface of the conductive material layer and provided with a vertical pressure sensor along a vertical direction to intersect the horizontal pressure sensor; and a finishing sheet laminated on the upper surface of the second sensor sheet.
  • At least one depth camera is installed along the gait analyzer, and it is preferable to continuously photograph the subject within a section each responsible for.
  • the method further includes a 2D inspection camera that captures the subject as a two-dimensional RGB image and provides it to the gait analysis module, wherein the gait analysis module includes an analysis result of the 3D depth image provided by the depth camera and the inspection It is preferable to extract and interpolate an error frame different from the actual gait state from among the image frames in which the subject is photographed by using the analysis result of the 2D RGB image provided by the camera.
  • the gait analysis module extracts the skeleton and joint images of the subject from the image frame through machine learning, but the position and orientation values of the skeleton and joints It is preferable to analyze the gait state of the subject, including.
  • the gait analysis module includes: an object extracting unit for extracting a gait assisting means used by the examinee while walking from the 3D depth image; a noise removing unit for excluding the extracted walking assistance means from the analysis target image frame; a gait analysis unit that analyzes the gait state of the subject using the analysis target image frame from which the gait assistance means is excluded; and a fall predictor for predicting the risk of a fall by comparing the walking state of the subject with a fall risk factor.
  • the fall prevention management system is a hybrid gait analysis device as described above; an integrated database for recording the subject's personal information and fall test history information; and an app management module that provides an application so that the test result is provided by accessing the integrated database in the terminal device of the examinee.
  • the integrated database provides a customized fall prevention program suitable for the subject.
  • the present invention provides a hybrid type measuring device that comprehensively reflects foot pressure measurement and skeletal information during walking while performing the measurement so as not to be conscious that the test subject is measuring gait.
  • the present invention provides the subject's personal information and fall test history information in real time through the integrated database, and also provides a fall prevention program optimized for each test group.
  • FIG. 1 is a schematic configuration diagram showing a fall prevention management system according to the present invention.
  • FIG. 2 is a block diagram showing a hybrid gait analysis device for fall prevention according to the present invention.
  • 3 is a view showing the mat-type gait analyzer array of the present invention.
  • FIG. 4 is a stacked state diagram of the mat-type gait analyzer of the present invention.
  • FIG. 5 is a diagram illustrating a method for measuring the position of a subject using reception strength according to the present invention.
  • FIG. 6 is a view showing a method for measuring the position of the subject in triangulation using a beacon of the present invention.
  • FIG. 7 is a view showing skeletal information during walking acquired by the depth camera of the present invention.
  • FIG. 8 is a diagram illustrating an error frame removal state in the present invention.
  • FIG. 9 is a block diagram showing a gait analysis module of the present invention.
  • FIGS. 10A and 10B are diagrams illustrating a method of extracting gait information from a captured image in the present invention.
  • FIG. 11 is a diagram illustrating a method for recognizing a unit detection sensor during gait measurement according to an embodiment of the present invention.
  • the fall prevention management system (10, 20, 30) of the present invention includes a hybrid gait analysis device (10), an integrated database (20) and an app management module (30), which are wired and wireless network networks. connected to each other through
  • the hybrid gait analyzer 10 is a detection device for predicting and preventing a subject's fall, and measures the foot pressure during walking with a mat-type gait analyzer 11, and a depth camera 12 with a depth camera. Measure the skeletal movement of poetry.
  • the fall factor of the subject can be analyzed based on objective measurement data, and more diverse gait parameters can be obtained by combining these information. to provide.
  • the above-mentioned subject means a test subject with a greater need for prediction and prevention of falls than the general public, such as the elderly (elderly), the disabled, and the disabled.
  • the integrated database 20 records personal information and fall test history information of the elderly who are subjects, respectively, and receives and records measured data values from the hybrid gait analysis device 10 and provides them to the elderly (subject). In addition, if necessary, it can be provided to related organizations.
  • Such an integrated database 20 may be built alone, but is preferably built together with a web server and may be built as a database server type.
  • the service server may be built as a WAP server or a cloud server to provide a service to a mobile terminal such as a smart phone.
  • the app management module 30 provides an application so that the terminal device of the elderly person who is the examinee accesses the integrated database to receive the test result, and may be installed together in the above-described service server, for example.
  • the service server functions as an application download server.
  • the hybrid gait analysis device 10 of the present invention includes a gait analyzer 11 , a 3D depth camera 12 , and a gait analysis module 13 . Furthermore, as another preferred embodiment, it further includes a user automatic recognizer 14 and a 2D inspection camera 15 .
  • the gait analyzer 11 measures the foot pressure of the elderly person corresponding to the subject, and the depth camera 12 analyzes the skeleton of the subject who is walking through a three-dimensional image, and the gait analysis module 13 collects the measurement information Overall, fall factors are analyzed.
  • the automatic user recognizer 14 detects (searches) the location of an elderly person who is a subject using short-range wireless communication and provides it, thereby detecting whether the subject enters and/or enters the gait analyzer 11 composed of a mat type. to increase the inspection precision.
  • the 2D inspection camera 15 provides a captured image for analyzing the gait of the subject together with the 3D depth camera 12 described above. Therefore, through the advantages of the 3D image and the advantage of the 2D image, an error frame different from the actual walking posture is found and excluded.
  • the gait analyzer 11 measures the foot pressure during walking of a subject, that is, an elderly person, who is a subject of the fall prevention test, and enables gait analysis together with the foot pressure.
  • the gait analyzer 11 is installed on the floor (eg, a hallway or a measurement place) on which the fall prevention subject walks, and a plurality of pressure sensors are provided at regular intervals to measure the foot pressure during walking.
  • the gait analyzer 11 is composed of a plurality of 'unit mat sensors' to provide ease of storage, transport, and assembly according to the environment. At this time, each of the unit mat sensors is manufactured in a mat type in order to induce a natural gait of the elderly.
  • a plurality of unit mat sensors (C1 to Cn) are manufactured to have, for example, a rectangular cross-sectional shape, and a plurality of unit mat sensors (C1 to Cn) connected in a line are connected to the main controller and measured by each pressure sensor. Provide the value to the main controller.
  • the unit mat sensors C1 to Cn are provided in a matrix pattern so that a plurality of pressure sensors have a distribution density greater than or equal to a certain level, the center of pressure (CoP) and the center of pressure (CoM) through measurement of foot pressure during walking Mass), etc., are provided, and gait analysis is performed based on this information.
  • the mat-type unit mat sensors (C1 to Cn) as a preferred embodiment, the bottom sheet (11a), the first sensor sheet (11b), the conductive material layer (11c), the second sensor sheet ( 11d) and a multi-layered structure including a finishing sheet 11e.
  • the bottom sheet 11a is disposed on the lowest layer of the unit mat sensors C1 to Cn, and is provided with an anti-slip means or the like on the bottom surface.
  • an array controller is provided on one side. The array controllers provided in each of the unit mat sensors C1 to Cn are centrally connected to the above-described main controller.
  • the first sensor sheet 11b is stacked on the upper surface of the bottom sheet 11a, and a 'horizontal axis pressure sensor' is provided along the horizontal direction.
  • the horizontal axis pressure sensor is manufactured by forming a linear pattern on a sheet.
  • the 'horizontal' direction means a direction that intersects the 'vertical' of the second sensor sheet 11d to be described later, and the horizontal and vertical directions may differ depending on a position in which the sheet is placed or a viewing direction on a plane.
  • the conductive material layer 11c is laminated on the upper surface of the first sensor sheet 11b and is made of a conductive material.
  • a pressure value can be measured using a pressure sensing cloth called 'velostat' as an embodiment.
  • the second sensor sheet 11d is laminated on the upper surface of the conductive material layer 11c, the first sensor sheet 11b and the second sensor sheet 11d are disposed with the conductive material layer 11c interposed therebetween, 1 A 'vertical layer pressure sensor' is provided along the vertical direction to intersect the horizontal axis pressure sensor of the sensor sheet 11b.
  • the horizontal axis pressure sensor of the first sensor sheet 11b and the vertical axis pressure sensor of the second sensor sheet 11d intersect to form a matrix pattern, and as the foot pressure of the subject is simultaneously measured at each point of the sensor, the above-described CoP and CoM, etc. are precisely measured.
  • the matrix is set at least 0.5′′ (1.27 cm) apart so that the foot pressure area during walking can be divided and detected in detail.
  • the size of the unit mat sensors (C1 to Cn) is designed to be 61cmX61cm (Width, Height) in consideration of the step width.
  • each unit mat sensor (C1 to Cn) is configured to include 2,304 (48X48) pressure sensors.
  • the length of the final mat can be provided in various sizes according to an array in which a plurality of unit mat sensors (C1 to Cn) are connected to each other.
  • the finishing sheet 11e is laminated on the upper surface of the second sensor sheet 11d, and for example, a silicon layer made of a silicon material is used. Therefore, it is possible to prevent slippage while absorbing the shock during measurement by an elderly person who is the subject.
  • the automatic user recognizer 14 recognizes the position of the examinee and analyzes the time when the examinee enters the above-described mat-type gait analyzer 11 and the time of exit, respectively, for example, near field communication. to recognize (search) the user.
  • a short-distance radio signal for recognizing a user typically has a BLE (Bluetooth Low Energy) protocol communication function provided by the mobile terminal devices 14a and 14b, and in this case, the user automatic recognizer 14 is a Bluetooth beacon. am.
  • BLE Bluetooth Low Energy
  • the Bluetooth beacon receives the Bluetooth wireless signal transmitted from the smart phone 14a possessed by the examinee or the wearable device (eg, smart watch or band) 14b worn by the examinee, and the received data packet includes TxPower. information is included.
  • a received signal strength indicator may be calculated using information included in the received data packet, and the subject's approach may be recognized from the calculated RSSI value.
  • the test since the test is started after recognizing the subject through the user automatic recognizer 14 in a state in which the subject is not aware of the start of the examination, the subject does not recognize that the gait is being measured and the gait ability can be evaluated as usual in a natural gait state. be able to
  • a short-range wireless communication means was taken as an example as a means for recognizing a subject, and among them, a beacon for BLE communication has been described.
  • other short-distance recognition means including RFID tags may also be used.
  • the present invention exemplifies the use of RSSI in a beacon as a user recognition method
  • a trilateration algorithm can be used to compensate for the disadvantage that it is difficult to obtain a constant RSSI value due to the propagation characteristics of the beacon.
  • the triangulation algorithm receives the Bluetooth signal emitted from a signal source such as a smart phone from three different beacons, respectively, and applies the reception time and the reception direction to the triangulation technique to predict the user's location. .
  • the recognition threshold is higher than the exact distance value because only approximate values near the start and end points are recognized. It is desirable to determine whether it is included within the range.
  • the depth camera 12 is installed to photograph a walking subject, and corresponds to a computer camera (computational camera) that provides a three-dimensional depth image for the subject. Calculate.
  • the depth camera 12 further reprocesses the image through the operation on the image coming through the lens from the RGB, saturation, and contrast information of the pixel provided by the 2D video image to obtain the skeleton information of the photographed subject. make it possible to express
  • gait analysis parameters using orientation, which is information on a position and a rotation angle of a skeleton joint.
  • orientation is information on a position and a rotation angle of a skeleton joint.
  • gait postures including left-right balance, leg angle, and foot height during walking, through the skeletal information.
  • the present invention further includes a 2D inspection camera 15 , wherein the inspection camera 15 captures the subject as a two-dimensional RGB image and provides it to the gait analysis module 13 . That is, by providing a 2D photographed image together with the 3D depth camera 12, two images of different dimensions are analyzed to provide more accurate gait information.
  • the gait analysis module 13 uses the analysis result of the 3D depth image provided from the depth camera 12 and the analysis result of the 2D RGB image provided from the inspection camera 15 .
  • An error frame different from the actual gait state is extracted from the image frames captured by the subject. Furthermore, it is possible to interpolate the image frames by excluding or correcting the extracted air frame.
  • the skeleton is recognized based on the three-dimensional position and orientation values of each joint measured through the depth camera 12, and in this case, the camera FoV ( Field of View), there is a high probability that errors occur due to overlapping legs, arms, and body or surrounding objects depending on the angle.
  • the camera FoV Field of View
  • the skeleton can be recognized by analyzing the two-dimensional RGB image and the three-dimensional depth image at the same time, and an algorithm and interpolation algorithm for detecting error frames of the depth image are applied to construct the skeleton. make it recognizable
  • the gait analysis module 13 analyzes the subject's gait state by synthesizing the subject's foot pressure information and skeletal information read from the three-dimensional depth image, thereby predicting and preventing falls of the elderly.
  • the gait analysis module 13 may be installed alone in a separate computing terminal device, or may be integrally installed in the gait analyzer 11 . In addition, it may be installed in the service server and receive measurement data transmitted through a wired/wireless communication network and process the process.
  • the gait analysis module 13 extracts a skeleton and joint image of the subject from an image frame through machine learning (ML). Furthermore, the gait state of the subject is analyzed including the position and orientation values of the skeleton and joints.
  • ML machine learning
  • the gait analysis module 13 includes an object extracting unit 13a, a noise removing unit 13b, a gait analysis unit 13c, and a fall prediction unit 13d, and includes a gait parameter ( gait parameters) can be extracted.
  • the user's gait step, stride, stride length, Step Width, single support, double support, flight time, step Velocity, CoP (Center of Pressure), CoM (Center of Mass), etc. are read by an algorithm.
  • the object extraction unit 13a extracts a walking aid used by the examinee while walking from the 3D depth image image.
  • the walking aid means crutches, canes, walkers and walkers used by the elderly.
  • the image representing the walking assistance means in the image frame is treated as a kind of object and removed as follows.
  • the noise removing unit 13b excludes (deletes or ignores) the gait aid extracted in the form of an object from the analysis target image frame, so that only information related to the subject's gait is provided for analysis.
  • the pressure in the area generated by the foot of the subject and the pressure in the area generated by the walking aid means are included in the walking aid. each is detected.
  • the pressure sensed value of the area generated by the subject's feet is stored as raw data and then analyzed through downsampling, and various valid data are generated.
  • the pressure value generated by the walking assistance means is removed by the noise removing unit 13b.
  • the gait analysis unit 13c analyzes the gait state of the subject using the valid analysis target image frame excluding the gait aid as described above, and the fall prediction unit 13d compares the gait state of the subject with a fall risk factor and Predict your fall risk.
  • 3D position and orientation information of a joint is received from the skeletal information obtained through the depth camera 12 for gait analysis, and the fall risk is predicted by combining them and analyzing the gait information of the subject.
  • classification/learning/prediction algorithms are applied through the gait pattern comparison model dataset, the fall risk group classification dataset, and the user-specific fall prediction dataset, and the fall risk is predicted based on the fall risk group classification model and the user's individual gait pattern data. .
  • This other embodiment reflects the identification or arrangement analysis of each of the unit mat sensors C1 to Cn constituting the gait analyzer 11 to be reflected in the measurement of the subject's gait.
  • the hybrid gait analysis device for fall prevention further includes a mat identification unit 16 and a mat side recognizer 17 as a technical configuration added for another embodiment.
  • the mat identification unit 16 provides (transmits) its own unique identification information from the above-described unit mat sensors C1 to Cn, respectively, and a data packet that can be received by the user automatic recognizer 14 for signal transmission. ), the unique identification information is loaded and transmitted.
  • the mat identification unit 16 carries unique identification information on a Bluetooth signal and transmits it.
  • BLE Bluetooth Low Energy
  • the mat identification unit 16 may be mounted on the array controller of the unit mat sensors C1 to Cn, and the unique identification signal is provided to the gait analysis module 13 after being received by the user automatic recognizer 14 to be described later. .
  • a plurality of unit mat sensors C1 to Cn are assembled to form a walking path for measurement, and the mat being used for walking can be identified by referring to the unique identification information.
  • the unit mat sensors C1 to Cn used for walking are ID#1 to ID#6.
  • the gait analysis module 13 can read the gait test progress position of the examinee by matching the identification information of the subject with the identification information of the unit mat sensor.
  • the automatic user recognizer 14 analyzes the signals transmitted from the mat identification unit 16 of the unit mat sensors (C1 to Cn), respectively, the user automatic recognizer 14 and the unit mat sensors (C1 to Cn) It is possible to provide relative position information between the mat identification unit 16 of the unit mat sensors (C1 to Cn), respectively, the user automatic recognizer 14 and the unit mat sensors (C1 to Cn) It is possible to provide relative position information between the mat identification unit 16 of the unit mat sensors (C1 to Cn), respectively, the user automatic recognizer 14 and the unit mat sensors (C1 to Cn) It is possible to provide relative position information between the
  • the gait analysis module 13 reflects the alignment order of the unit mat sensors C1 to Cn read from the relative position information with the unit mat sensors C1 to Cn provided from the user automatic recognizer 14 to reflect the subject's Allows analysis of gait status.
  • the unit mat sensors C1 to Cn are sequentially arranged from ID#1 to ID#6, it is read that the subject is walking sequentially following them, and the foot pressure is analyzed accordingly to predict and prevent falls of the subject. to proceed with the analysis.
  • the mat-side recognizer 17 recognizes the subject by using short-range wireless communication such as the BLE protocol to recognize a mobile terminal possessed by the subject or a wearable device worn by the subject and recognize the approach of the subject.
  • the recognized information is collected and relayed through the user automatic recognizer 14 .
  • the mat-side recognizer 17 is, as an embodiment, among the unit mat sensors C1 to Cn, each of the unit mat sensors C1 to Cn disposed at a position where the examinee enters for an examination (measurement) and a position exits after walking. Cn) is installed.
  • the mat side recognizer is also provided to the unit mat sensors (C1 to Cn) disposed in the middle between the beginning and the end of the movement path. (17) is provided.
  • the mat-side recognizer 17 is installed in the unit mat sensors C1 to Cn disposed at the direction change point existing between the entry point and the exit point of the examinee. to be able to proceed with In addition, it is possible to analyze the assembly pattern or alignment direction of the unit mat sensors (C1 to Cn).
  • the mat-side recognizer 17 when detecting a subject walking through the unit mat sensors C1 to Cn provided with the mat-side recognizer 17 , the mat-side recognizer 17 performs the gait analysis module 13 under the relay of the user automatic recognizer 14 . ) to transmit the mat passing signal.
  • the gait analysis module 13 receiving the mat passage signal analyzes the pressure sensor sensing signal at the time the signal is input, especially when the subject is passing through the unit mat sensors C1 to Cn disposed at the direction change point. to reflect this.
  • the unit mat sensor of ID #4 is disposed at the direction change point, and the alignment of the unit mat sensors is upward based on it. Take bends as an example.
  • the gait analysis module 13 recognizes a sudden change in the subject's gait state in the unit mat sensor of ID #4 as a change of direction, and reflects this to measure the gait state used for prediction and prevention of falls. do.
  • the fall prevention management system of the present invention includes a hybrid gait analysis device 10 , an integrated database 20 and an app management module 30 as described above with reference to FIG. 1 .
  • the hybrid gait analyzer 10 measures the foot pressure during walking with the mat-type gait analyzer 11 to predict and prevent falls of the elderly, and the depth camera 12 installed in the walking path provides skeletal information during walking. acquire
  • the integrated database 20 records the subject's personal information and fall test history information, and provides a user/equipment authentication management function. Therefore, an integrated measurement information analysis data providing system is provided through the management of each user's fall test history.
  • the integrated database 20 provides a customized fall prevention program suitable for the subject.
  • the fall prevention program is provided by selecting the optimal prevention program considering the fall prediction and prevention results for each group through the measurement of the gait state.
  • Prevention programs are designed to prevent physical risks from circulatory, nervous system, musculoskeletal, and visual risks, as well as risks associated with aging, risks from medications taken, risks from living environment factors, and risks from lifestyle habits such as drinking. It can be provided by categorizing it into categories.
  • the app management module 30 provides an application so that the test result is provided by accessing the integrated database in the terminal device of the examinee. Therefore, in the present invention, the app management module 30 provides a function of a kind of app download server.
  • the applications provided by the app management module 30 include various service environments, such as activation of a user automatic recognition function for gait test, confirmation of gait state measurement results, and generation of an interface for requesting a fall prevention program.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템에 관한 것으로, 특히 피검자의 보행 특성을 기반으로 하는 측정 시스템을 제공하고, 수집된 정보를 이용하여 맞춤형 분석을 진행함으로써 낙상 예측 및 예방을 가능하도록 하는 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템에 관한 것이다.

Description

낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템
본 발명은 피검자의 보행 특성을 기반으로 하는 측정 시스템을 제공하고, 수집된 정보를 이용하여 맞춤형 분석을 진행함으로써 낙상 예측 및 예방을 가능하도록 하는 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템에 관한 것이다.
일반적으로 낙상(fall)은 신체적, 심리적, 환경적 요인 등 복합적인 요인에 의하여 발생하기 때문에 사회 심리적 요인을 포함한 통합적인 접근이 필요하다.
낙상을 유발하는 요인은 다양하며 그 요인이 많을수록 낙상의 위험은 높아지므로 낙상 위험도 평가를 위한 선별검사가 필요하다.
현재 적용중인 낙상 위험도 평가로써 가장 많이 활용되고 있는 것으로는 '낙상병력청취' 및 '보행과 균형에 대한 평가'가 있다.
하지만 대부분의 평가 과정이 신체적 요인은 배제하고 지식, 자가효능감, 예방행위, 우울과 같은 심리적 요소를 측정하여 운동효과의 검정력에 한계가 있다.
측정 장비를 사용하지 않고 신체 균형 및 보행 능력을 측정하면 측정과정에서 대상자의 의지나 동작 등에 의해 오차가 발생할 수 있으며, 검사자에 따라 주관적인 견해가 과도하게 포함될 수 있다.
이에 일부 측정에서 신체 능력을 분석하는 장비를 이용하고는 있지만 제한된 내용의 편면적 측정 방법으로는 한계가 있고, 고령자 등이 아닌 일반인을 대상으로 한 것이어서 고령자 등의 특성과 UX에 부합하는 시스템의 개발이 필요한 실정이다.
[선행기술문헌]
[특허문헌
(특허문헌 1) 대한민국 공개특허 제10-2019-0070068호
(특허문헌 2) 대한민국 등록특허 제10-1713263호
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로, 피검자의 보행 특성을 기반으로 하는 측정 시스템을 제공하고, 수집된 정보를 이용하여 맞춤형 분석을 진행함으로써 낙상 예측 및 예방을 가능하게 하는 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템을 제공하고자 한다.
이를 위해 본 발명에 따른 낙상 예방을 위한 하이브리드 보행 분석장치는 낙상 예방 피검자(subject)가 보행하는 바닥에 설치되며 보행시의 족압을 측정하는 다수의 압력센서를 구비하여 족압 정보를 제공하는 보행 분석기와; 상기 보행중인 피검자를 촬영하도록 설치되며, 상기 피검자의 3차원 깊이 영상을 제공하는 깊이 카메라(depth camera); 및 상기 피검자의 족압 정보 및 상기 3차원 깊이 영상으로부터 판독되는 골격 정보를 종합하여 상기 피검자의 보행 상태를 분석하는 보행 분석 모듈;을 포함하는 것을 특징으로 한다.
이때, 상기 피검자의 위치를 탐색하여 상기 피검자가 상기 매트 타입 보행 분석기에 진입하는 시점과 진출하는 시점을 각각 분석하는 사용자 자동 인식기를 더 포함하는 것이 바람직하다.
또한, 상기 보행 분석기는 각각 매트(mat) 타입으로 이루어진 다수의 단위 매트 센서를 포함하되, 상기 단위 매트 센서는 다수의 압력센서가 매트릭스(matrix) 패턴으로 구비되어 있는 것이 바람직하다.
또한, 상기 단위 매트 센서는 바닥 시트와; 상기 바닥 시트의 상면에 적층되며, 수평 방향을 따라 수평축 압력센서가 구비된 제1 센서 시트와; 상기 제1 센서 시트의 상면에 적층되며 전도성 재질로 이루어진 전도성 재질층과; 상기 전도성 재질층의 상면에 적층되며, 상기 수평축 압력센서와 교차하도록 수직 방향을 따라 수직층 압력센서가 구비된 제2 센서 시트; 및 상기 제2 센서 시트의 상면에 적층된 마감 시트;를 포함하는 것이 바람직하다.
또한, 상기 깊이 카메라는 상기 보행 분석기를 따라 적어도 하나 이상 설치되며, 각각 담당하는 구간내에서 상기 피검자를 연속하여 촬영하는 것이 바람직하다.
또한, 상기 피검자를 2차원의 RGB 영상으로 촬영하여 상기 보행 분석 모듈에 제공하는 2D 검사 카메라를 더 포함하되, 상기 보행 분석 모듈은 상기 깊이 카메라에서 제공되는 3D의 깊이 영상에 대한 분석결과와 상기 검사 카메라에서 제공되는 2D의 RGB 영상에 대한 분석 결과를 이용하여 상기 피검자를 촬영한 영상 프레임들 중 실제 보행 상태와 다른 에러 프레임을 추출하고 보간(interpolation)하는 것이 바람직하다.
또한, 상기 보행 분석 모듈은 머신 러닝(machine learning)을 통해 영상 프레임으로부터 피검자의 골격(skeleton) 및 관절(joint) 영상을 추출하되, 상기 골격과 관절의 자세(position) 및 오리엔테이션(orientation) 값을 포함하여 상기 피검자의 보행 상태를 분석하는 것이 바람직하다.
또한, 상기 보행 분석 모듈은 상기 3차원 깊이 영상 중에서 상기 피검자가 보행 중 사용하는 보행 보조수단을 추출하는 오브젝트 추출부와; 상기 추출된 보행 보조수단을 상기 분석 대상 영상 프레임으로부터 제외시키는 노이즈 제거부와; 상기 보행 보조수단이 제외된 분석 대상 영상 프레임을 이용하여 상기 피검자의 보행 상태를 분석하는 보행 분석부; 및 상기 피검자의 보행 상태를 낙상 위험 인자(factor)와 대비하여 낙상 위험도를 예측하는 낙상 예측부;를 포함하는 것이 바람직하다.
한편, 본 발명에 따른 낙상 예방 관리시스템은 이상과 같은 하이브리드 보행 분석장치와; 상기 피검자의 개인 정보 및 낙상검사 이력정보를 기록하는 통합 데이터베이스; 및 상기 피검자의 단말장치에서 상기 통합 데이터베이스에 접속하여 검사 결과를 제공받도록 어플리케이션을 제공하는 앱 관리 모듈;을 포함하는 것을 특징으로 한다.
이때, 상기 통합 데이터베이스는 상기 피검자에게 적합한 맞춤형 낙상 예방 프로그램을 제공하는 것이 바람직하다.
이상과 같은 본 발명은 검사 대상인 피검자가 보행 측정중임을 의식하지 않도록 측정을 진행하면서도 보행 중의 족압 측정과 골격 정보를 종합적으로 반영하는 하이브리드 타입의 측정장치를 제공한다.
또한, 본 발명은 통합 데이터베이스를 통해 피검자의 개인정보 및 낙상검사 이력정보를 실시간으로 제공하고, 더불어 각 검사 그룹별로 최적화된 낙상 예방 프로그램을 제공한다.
따라서, 피검자의 보행 특성을 기반으로 하는 측정 시스템의 제공이 가능하며, 수집된 정보를 이용하여 맞춤형 분석을 진행함으로써 낙상 예측 및 예방이 가능한 통합 시스템을 제공한다.
도 1은 본 발명에 따른 낙상 예방 관리시스템을 나타낸 개략 구성도이다.
도 2는 본 발명에 따른 낙상 예방을 위한 하이브리드 보행 분석장치를 나타낸 구성도이다.
도 3은 본 발명의 매트형 보행 분석기 어레이를 나타낸 도이다.
도 4는 본 발명의 매트형 보행 분석기 적층 상태도이다.
도 5는 본 발명의 수신 강도를 이용한 피검자 위치 측정 방법을 나타낸 도이다.
도 6은 본 발명의 비콘을 이용한 삼면 측량 피검자 위치 측정 방법을 나타낸 도이다.
도 7은 본 발명의 깊이 카메라로 획득한 보행 중의 골격 정보를 나타내 도이다.
도 8은 본 발명에서의 오류 프레임 제거 상태를 나타낸 도이다.
도 9는 본 발명의 보행 분석 모듈을 나타낸 구성도이다.
도 10a 및 도 10b는 본 발명에서 촬영 영상으로부터 보행 정보를 추출하는 방법을 나타낸 도이다.
도 11은 본 발명의 실시예에 따른 보행 측정 중 단위 검출 센서 인식 방법을 나타낸 도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템에 대해 상세히 설명한다.
먼저, 도 1과 같이 본 발명에 따른 하이브리드 보행 분석장치(10)에 대한 상세한 설명에 앞서, 그를 포함하는 낙상 예방 관리시스템(10, 20, 30)이 적용되는 실시예에 대해 간단히 설명한다.
도시된 바와 같이, 본 발명의 낙상 예방 관리시스템(10, 20, 30)은 하이브리드 보행 분석장치(10)와, 통합 데이터베이스(20) 및 앱 관리 모듈(30)을 포함하며, 이들은 유무선 네트워크망을 통해 서로 연결된다.
하이브리드 보행 분석장치(10)는 피검자의 낙상을 예측하고 예방하기 위한 검측장치로 매트(mat) 타입의 보행 분석기(11)로 보행시의 족압을 측정하고, 깊이 카메라(12, depth camera)로는 보행시의 골격 움직임을 측정한다.
보행 분석기(11)와 깊이 카메라(12)로 함께 측정하는 하이브리드 방식을 적용하면 객관적인 측정 데이터에 기반하여 피검자의 낙상 인자를 분석할 수 있고, 이들 정보의 조합으로 더욱 다양한 보행 파라미터(gait parameter)를 제공한다.
이때, 상기한 피검자는 고령자(노인), 장애인 및 거동불편자와 같이 일반인에 비해 낙상에 대한 예측 및 예방의 필요성이 큰 검사 대상자를 의미하는 것으로 이하에서는 주로 고령자를 예로 들어 설명한다.
통합 데이터베이스(20)는 피검자인 고령자들의 개인 정보 및 낙상검사 이력정보를 각각 기록하는 것으로 하이브리드 보행 분석장치(10)로부터 측정 데이터값을 입력받아 기록하고 고령자(피검자)에 제공한다. 또한 필요시는 유관기관에도 제공할 수 있다.
이러한 통합 데이터베이스(20)는 단독으로 구축될 수 있지만, 바람직하게는 웹 서버와 함께 구축되어 데이터베이스 서버 타입으로 구축될 수 있다. 또한 서비스 서버는 스마트 폰과 같은 모바일 단말에 서비스를 제공하도록 왑(WAP)서버나 클라우드 서버로 구축될 수 있다.
*앱 관리 모듈(30)은 피검자인 고령자의 단말장치에서 통합 데이터베이스에 접속하여 검사 결과를 제공받도록 어플리케이션을 제공하는 것으로, 일 예로 상술한 서비스 서버에 함께 설치될 수 있다. 이러한 경우 서비스 서버는 어플리케이션 다운로드 서버로 기능한다.
이하, 도 2를 참조하여 본 발명의 낙상 예방 관리시스템을 구성하는 하이브리드 보행 분석장치(10)에 대해 상세히 설명한다.
도 2와 같이, 본 발명의 하이브리드 보행 분석장치(10)는 보행 분석기(11), 3D의 깊이 카메라(12) 및 보행 분석 모듈(13)을 포함한다. 나아가, 바람직한 다른 실시예로써 사용자 자동 인식기(14) 및 2D의 검사 카메라(15)를 더 포함한다.
여기서, 보행 분석기(11)는 피검자에 해당하는 고령자의 족압을 측정하고 아울러 깊이 카메라(12)는 3차원 영상을 통해 보행중인 피검자의 골격을 분석하게 하며, 보행 분석 모듈(13)은 측정 정보들을 종합하여 낙상 인자를 분석한다.
또한, 사용자 자동 인식기(14)는 근거리 무선통신을 이용하여 피검자인 고령자의 위치를 검출(탐색)하여 제공함으로써 피검자가 매트(mat) 타입으로 구성된 보행 분석기(11)에 진입 및/또는 진출하는지 검출하여 검사 정밀도를 높인다.
2D의 검사 카메라(15)는 상기한 3D의 깊이 카메라(12)와 함께 피검자의 보행을 분석하기 위한 촬영 영상을 제공한다. 따라서, 3차원 영상의 장점과 2차원 영상의 장점을 통해 실제의 보행 자세와 다른 에러 프레임을 찾아 이를 제외하게 한다.
좀더 구체적으로, 상기 보행 분석기(11)는 낙상 예방 검사의 대상자인 피검자(subject), 즉 고령자의 보행 중 족압(foot pressure)을 측정하며, 족압과 함께 보행 분석도 가능하게 한다.
이를 위해 보행 분석기(11)는 낙상 예방 피검자가 보행하는 바닥(예: 복도나 측정 장소)에 설치되며 보행시의 족압을 측정할 수 있도록 다수의 압력센서가 일정 간격으로 구비된다.
또한, 보행 분석기(11)는 보관, 이송 및 환경에 따른 조립 용이성을 제공하도록 다수의 '단위 매트 센서'로 구성된다. 이때 각각의 단위 매트 센서들은 고령자의 자연스러운 보행을 유도하기 위해 매트(mat) 타입으로 제작된다.
도 3과 같이 다수의 단위 매트 센서(C1 내지 Cn)는 일 예로 사각 단면 형상을 갖도록 제작되며, 일렬로 연결된 다수의 단위 매트 센서(C1 내지 Cn)는 메인 컨트롤러에 연결되어 각 압력센서에서 측정한 값을 메인 컨트롤러에 제공한다.
또한, 단위 매트 센서(C1 내지 Cn)는 다수의 압력센서가 일정 이상의 분포 밀도를 갖도록 매트릭스(matrix) 패턴으로 구비되어 있어서, 보행시의 족압 측정을 통해 CoP(Center of Pressure) 및 CoM(Center of Mass) 등의 직관적인 측정정보를 제공하고 이를 기초로 보행 분석이 이루어지게 한다.
도 4에 도시된 바와 같이, 매트 타입의 단위 매트 센서(C1 내지 Cn)는 바람직한 실시예로써 바닥 시트(11a), 제1 센서 시트(11b), 전도성 재질층(11c), 제2 센서 시트(11d) 및 마감 시트(11e)를 포함하는 다층 구조로 구성된다.
그 중 바닥 시트(11a)는 단위 매트 센서(C1 내지 Cn)의 최하층에 배치되는 것으로 저면에는 미끄럼 방지 수단 등을 구비한다. 또한 일측에는 어레이 컨트롤러(array controller)를 구비한다. 단위 매트 센서(C1 내지 Cn)에 각각 구비된 어레이 컨트롤러는 상기한 메인 컨트롤러로 집중 연결된다.
제1 센서 시트(11b)는 바닥 시트(11a)의 상면에 적층되며, 수평 방향을 따라 '수평축 압력센서'가 구비된다. 일 예로 수평축 압력센서는 시트상에 선형 패턴을 형성하여 제작된다.
다만, 상기 '수평' 방향은 후술하는 제2 센서 시트(11d)의 '수직'에 교차하는 방향을 의미하며, 수평과 수직은 평면상에서 시트가 놓이는 위치나 바라보는 방향에 따라 다를 수 있다.
전도성 재질층(11c)은 제1 센서 시트(11b)의 상면에 적층되며 전도성 재질로 이루어진다. 이러한 전도성 재질층(11c)으로는 실시예로써 'velostat'이라는 압력 감지천을 사용하여 압력값을 측정할 수 있게 한다.
제2 센서 시트(11d)는 전도성 재질층(11c)의 상면에 적층됨에 따라 전도성 재질층(11c)을 사이에 두고 제1 센서 시트(11b)와 제2 센서 시트(11d)가 배치되며, 제1 센서 시트(11b)의 수평축 압력센서와 교차하도록 수직 방향을 따라 '수직층 압력센서'가 구비된다.
따라서, 제1 센서 시트(11b)의 수평축 압력센서와 제2 센서 시트(11d)의 수직축 압력센서가 교차하여 매트릭스 패턴을 형성하며, 센서의 각 지점에서 동시에 피검자의 족압을 측정함에 따라 상술한 CoP 및 CoM 등을 정밀하게 측정한다.
위와 같은 매트 타입의 보행 분석기(11)는 실시예로써 보행 중의 족압 영역을 세밀하게 구획하여 감지할 수 있도록 매트릭스는 최소 0.5“(1.27cm) 간격으로 설정된다. 또한 스텝 폭(Step Width)을 감안하여 단위 매트 센서(C1 내지 Cn)의 사이즈를 61cmX61cm(Width, Height)로 설계한다.
따라서, 각 단위 매트 센서(C1 내지 Cn)는 2,304개(48X48)의 압력센서를 포함하여 구성된다. 최종 매트의 길이는 다수개의 단위 매트 센서(C1 내지 Cn)들을 서로 연결한 어레이에 따라 다양한 사이즈로 제공할 수 있게 된다.
마감 시트(11e)는 제2 센서 시트(11d)의 상면에 적층되는 것으로, 일 예로 실리콘 재질로 이루어진 실리콘 층(silicon layer)이 이용된다. 따라서, 피검자인 고령자가 측정시 충격을 흡수하면서도 미끄러짐을 방지할 수 있게 한다.
한편, 사용자 자동 인식기(14)는 피검자의 위치를 인식하여 피검자가 상술한 매트 타입 보행 분석기(11)에 진입하는 시점과 진출하는 시점을 각각 분석하는 것으로, 일 예로 근거리 무선통신(near field communication)을 이용하여 사용자를 인식(탐색)한다.
사용자(피검자)를 인식하는 근거리 무선신에는 대표적으로 모바일 단말장치(14a, 14b)에서 제공되는 BLE(Bluetooth Low Energy) 프로토콜 통신 기능이 있으며, 이러한 경우 사용자 자동 인식기(14)는 블루투스 비콘(beacon)이다.
도 5와 같이, 블루투스 비콘은 피검자가 소지한 스마트 폰(14a)이나 착용한 웨어러블 기기(예: 스마트 와치나 밴드)(14b)에서 송출된 블루투스 무선신호를 수신하고, 수신된 데이터 패킷에는 TxPower에 대한 정보가 포함된다.
따라서 수신된 데이터 패킷에 포함된 정보를 이용하여 수신 강도 세기신호 RSSI(Received Signal Strength Indicator)를 산출하고, 산출된 RSSI 값으로부터 피검자의 접근을 인식할 수 있다.
따라서, 피검자가 검사 개시를 인지하지 못한 상태에서 사용자 자동 인식기(14)를 통해 피검자를 인식한 후 검사가 개시되므로 피검자는 보행 측정 중임을 인식하지 않고 평소와 같이 자연스러운 보행 상태에서 보행 능력을 평가받을 수 있게 된다.
다만, 이상에서는 피검자를 인식하는 수단으로서 근거리 무선통신 수단을 예로 들었으며 그 중에서도 BLE 통신을 하는 비콘에 대해 설명하였다. 그러나 피검자를 인지하는 근거리 무선통신에는 RFID 태그를 비롯하여 다른 근거리 인식 수단도 이용될 수 있다.
또한, 본 발명은 사용자 인식 방법으로 비콘에서의 수신 강도 세기신호(RSSI)를 이용하는 것을 예로 들었지만, 비콘의 전파특성상 일정한 RSSI 값을 구하기 어려운 단점을 보완하기 위하여 삼변측량 알고리즘을 이용할 수 있다.
도 6과 같이, 삼각측량 알고리즘은 3개의 서로 다른 비콘에서 각각 스마트 폰과 같은 신호 발생원에서 방출된 블루투스 신호를 수신하고, 수신 시간 및 수신 방향 등을 삼각 측량 기법에 적용하여 사용자의 위치를 예측한다.
이때, 비콘의 RSSI 정규화를 위해 칼만 필터(Kalman Filter) 알고리즘 적용하고, 비콘을 보행 측정 시작점과 끝점에 설치하면, 시작점과 끝점 근처의 근사 값만으로 인식하기 때문에 정확한 거리 값보다 인식 거리(Recognition Threshold) 범위 안에 포함 유무를 판단하는 것이 바람직하다.
다음, 깊이 카메라(12)는 보행중인 피검자를 촬영하도록 설치되며, 피검자에 대한 3차원 깊이 영상을 제공하는 컴퓨터 카메라(computational camera)에 해당하는 것으로 기존의 2D에서 할 수 없었던 각 픽셀의 깊이 값을 계산한다.
도 7과 같이, 깊이 카메라(12)는 2D 영상 이미지가 제공하는 픽셀의 RGB, 채도 및 콘트라스트 정보들로부터 더 나아가 렌즈를 통해 들어오는 이미지에 대한 연산을 통해 이미지를 재가공함으로써 촬영된 피검자의 골격 정보를 표현할 수 있게 한다.
따라서, 보행 분석기(11)를 따라 깊이 카메라(12)를 적어도 하나 이상 설치하고 각각 담당하는 구간내에서 피검자를 연속하여 촬영하면, 피검자의 골격(skeleton) 및 관절(joint)을 포함한 보행 중의 골격 정보를 제공할 수 있게 된다.
예컨대, 골격 조인트(skeleton joint)의 위치(position) 및 회전각 정보인 오리엔테이션(orientation)을 이용하여 보행 분석 파라미터를 추출할 수 있게 한다. 또한, 골격 정보를 통해 보행 중 좌우 균형, 다리 각도 및 발의 높이 등을 비롯한 다양한 보행 패턴과 보행 자세를 분석할 수 있게 한다.
다만, 본 발명은 2D의 검사 카메라(15)를 더 포함하는 것이 바람직한데, 검사 카메라(15)는 피검자를 2차원의 RGB 영상으로 촬영하여 보행 분석 모듈(13)에 제공한다. 즉, 3D의 깊이 카메라(12)와 함께 2D의 촬영 영상도 함께 제공함으로써 서로 다른 차원의 두 영상을 분석하여 더욱 정확한 보행 정보를 제공한다.
일 예로, 도 8과 같이 보행 분석 모듈(13)은 깊이 카메라(12)에서 제공되는 3D의 깊이 영상에 대한 분석결과와 검사 카메라(15)에서 제공되는 2D의 RGB 영상에 대한 분석 결과를 이용하여 피검자를 촬영한 영상 프레임들 중 실제 보행 상태와 다른 에러 프레임을 추출한다. 나아가 추출된 에어 프레임을 배제하거나 보정하여 영상 프레임들을 보간(interpolation)할 수 있게 한다.
즉, 깊이 카메라(12)를 통하여 측정된 각 관절(joint)의 3차원 위치 및 오리엔테이션값을 기준으로 골격(skeleton)을 인식하고, 이때 깊이(depth) 값을 이용하여 골격을 인식하기에는 카메라 FoV(Field of View), 앵글(angle)에 따라 다리, 팔, 몸 등의 겹침 또는 주변 사물에 의한 오류가 발생할 확률이 많다.
따라서, 이와 같은 오류를 완화하기 위하여 2차원의 RGB 영상과 3차원의 깊이 영상을 동시에 분석하여 골격을 인식할 수 있게 하고, 더불어 깊이 영상의 에러 프레임을 검출하는 알고리즘및 보간 알고리즘을 적용하여 골격을 인식할 수 있게 한다.
다음, 보행 분석 모듈(13)은 피검자의 족압 정보 및 3차원 깊이 영상으로부터 판독되는 골격 정보를 종합하여 피검자의 보행 상태를 분석함으로써 고령자의 낙상을 예측 및 예방할 수 있게 한다.
즉, 피검자의 보행 중 영상 분석을 거쳐 획득된 골격 정보를 통해 보행시 피검자의 좌우 균형, 다리 각도 및 발의 높이 등을 비롯한 다양한 보행 패턴과 보행 자세를 분석하여 낙상을 예측 및 예방한다.
이러한 보행 분석 모듈(13)은 별도의 컴퓨팅 단말장치에 단독으로 설치되거나, 보행 분석기(11)에 일체로 설치될 수 있다. 또한 서비스 서버에 설치되어 유무선 통신망을 통해 전송된 측정 데이터를 입력받아 프로세스를 처리할 수도 있다.
특히, 보행 분석 모듈(13)은 머신 러닝(ML, machine learning)을 통해 영상 프레임으로부터 피검자의 골격(skeleton) 및 관절(joint) 영상을 추출한다. 나아가 골격과 관절의 자세(position) 및 오리엔테이션(orientation) 값을 포함하여 피검자의 보행 상태를 분석한다.
이를 위해, 도 9와 같이 보행 분석 모듈(13)은 오브젝트 추출부(13a)와, 노이즈 제거부(13b)와, 보행 분석부(13c) 및 낙상 예측부(13d)를 포함하여, 보행 파라미터(gait parameter)를 추출할 수 있게 한다.
보행 파라미터는 사용자의 gait step, stride, stride length, Step Width, single support, double support, 체공 시간, step Velocity, CoP(Center of Pressure), CoM(Center of Mass) 등을 알고리즘에 의해 판독한다.
여기서 오브젝트 추출부(13a)는 3차원 깊이 영상 이미지 중에서 피검자가 보행 중 사용하는 보행 보조수단을 추출한다. 보행 보조수단은 고령자가 사용하는 목발, 지팡이, 보행기 및 워커 등을 의미한다.
따라서, 보행 보조수단은 피검자 즉, 고령자의 보행 정보의 분석에서 제외되어야 하므로 영상 프레임 내에서 보행 보조수단을 나타내는 이미지는 일종의 오브젝트로 취급하여 아래와 같이 제거한다.
노이즈 제거부(13b)는 위와 같이 오브젝트 형식으로 추출된 보행 보조수단을 분석 대상 영상 프레임으로부터 제외(삭제나 무시)시킴으로서, 피검자의 보행과 관련된 정보만 분석에 제공되게 한다.
도 10a 및 도 10b와 같이, 매트 타입의 보행 분석기(11) 위를 피검자가 보행하면 보행 보조수단에는 피검자의 발(foot)에 의해 생성되는 영역의 압력과 보행 보조수단에 의해 생성되는 영역의 압력이 각각 검출된다.
피검자의 발에 의해 생성되는 영역의 압력 센싱값은 로우 데이터(raw data)로써 저장한 후 다운 샘플링을 거쳐 분석하고 각종 유효 데이터를 생성한다. 반면 보행 보조수단에 의해 생성되는 압력값은 노이즈 제거부(13b)로 제거한다.
보행 분석부(13c)는 위와 같이 보행 보조수단이 제외된 유효한 분석 대상 영상 프레임을 이용하여 피검자의 보행 상태를 분석하고, 낙상 예측부(13d)는 피검자의 보행 상태를 낙상 위험 인자(factor)와 대비하여 낙상 위험도를 예측한다.
즉, 보행 분석을 위해 깊이 카메라(12)를 통해 획득한 골격 정보에서 관절의 3차원 위치 및 오리엔테이션 정보를 입력받고, 이를 조합하여 피검자의 보행 정보를 분석함으로써 낙상 위험도를 예측한다.
또한, 일반 고령자, 낙상 위험군 대상 낙상 검사를 통한 사용자 보행 분석 정보 수집 및 분석하고, 낙상 위험요인 인자(Factor)의 추출, 처리 및 위험군 분류 알고리즘을 적용한다.
또한, 보행패턴 비교 모델 데이터셋, 낙상 위험군 분류 데이터셋, 사용자별 낙상예측 데이터셋을 통한 분류/학습/예측 알고리즘 적용하고, 낙상위험군 분류 모델과 사용자 개인 보행 패턴 데이터를 기반으로 낙상 위험도를 예측한다.
이하, 본 발명에 따른 낙상 예방을 위한 하이브리드 보행 분석장치에 적용 가능한 다른 실시예에 대해 설명한다.
이러한 다른 실시예는 보행 분석기(11)를 구성하는 단위 매트 센서(C1 내지 Cn)들 각각의 식별이나 이들의 배열 분석을 반영하여 피검자의 보행 측정에 반영할 수 있도록 한다.
이를 위해, 도 2에서 살펴본 바와 같이 본 발명에 따른 낙상 예방을 위한 하이브리드 보행 분석장치는 다른 실시예를 위해 추가된 기술적 구성으로써 매트 식별부(16) 및 매트측 인식기(17)를 더 포함한다.
매트 식별부(16)는 상기한 단위 매트 센서(C1 내지 Cn)들에서 각각 자신의 고유 식별 정보를 제공(송출)하는 것으로, 신호 송출을 위해 사용자 자동 인식기(14)에서 수신 가능한 데이터 패킷(packet)에 고유 식별 정보는 실어 전송한다.
예컨대, 사용자 자동 인식기(14)가 스마트폰과 같은 모바일 단말기와 근거리 무선통신을 하도록 BLE(Bluetooth Low Energy) 프로토콜을 지원하는 경우 매트 식별부(16)는 블루투스 신호에 고유 식별 정보 실어 전송한다.
이러한 매트 식별부(16)는 단위 매트 센서(C1 내지 Cn)의 어레이 컨트롤러에 탑재될 수 있으며, 고유 식별 신호는 후술하는 사용자 자동 인식기(14)에서 수신한 후 보행 분석 모듈(13)에 제공된다.
도 11과 같이, 매트 식별부(16)를 더 포함하면 다수의 단위 매트 센서(C1 내지 Cn)를 조립하여 측정용 보행로를 형성시 고유 식별 정보를 참조하여 보행에 이용 중인 매트를 파악할 수 있게 된다. 예컨대, 보행에 이용중인 단위 매트 센서(C1 내지 Cn)가 ID#1부터 ID#6임을 알 수 있게 한다.
즉, 보행 중인 피검자가 현재 조립된 단위 매트 센서(C1 내지 Cn)들 중 어느 것 위를 걷고 있는지 그 히스토리를 파악할 수 있게 한다. 따라서, 보행 분석 모듈(13)은 피검자의 식별 정보와 단위 매트 센서의 식별 정보를 서로 매칭(matching)하여 피검자의 보행 검사 진행 위치를 판독할 수 있게 된다.
또한, 상기한 사용자 자동 인식기(14)는 단위 매트 센서(C1 내지 Cn)의 매트 식별부(16)로부터 각각 송출되는 신호를 분석하여 사용자 자동 인식기(14)와 단위 매트 센서(C1 내지 Cn)들 사이의 상대 위치 정보를 제공할 수 있다.
송출되는 신호를 분석하여 단위 매트 센서(C1 내지 Cn)들의 상대 위치를 판독하는 방법으로는 상술한 바와 같이 수신 강도 세기신호 RSSI를 이용하거나 삼면 측량 방법 등이 있다.
따라서, 보행 분석 모듈(13)은 사용자 자동 인식기(14)로부터 제공된 단위 매트 센서(C1 내지 Cn)들과의 상대 위치 정보로부터 판독된 단위 매트 센서(C1 내지 Cn)들의 정렬 순서를 반영하여 피검자의 보행 상태를 분석할 수 있게 한다.
예컨대, 단위 매트 센서(C1 내지 Cn)가 ID#1부터 ID#6까지 순차로 배열된 경우, 피검자가 이들을 따라 순차로 보행중임을 판독하고, 그에 따라 족압 등을 분석하여 피검자의 낙상 예측 및 예방 분석을 진행하게 한다.
다음, 매트측 인식기(17)는 피검자를 인식하는 것으로 BLE 프로토콜과 같은 근거리 무선통신을 이용하여 피검자가 소지한 모바일 단말이나 피검자가 착용한 웨어러블 기기를 인식하고 피검자의 접근을 인식한다. 인식된 정보는 사용자 자동 인식기(14)를 통해 수집 및 중계된다.
이러한 매트측 인식기(17)는 일 실시예로써 단위 매트 센서(C1 내지 Cn)들 중 피검자가 검사(측정)를 위해 진입하는 위치와 보행을 마치고 나가는 위치에 배치되는 각각의 단위 매트 센서(C1 내지 Cn)에 설치된다.
또한, 단위 매트 센서(C1 내지 Cn)들을 다수개 조립함에 따라 보행 거리가 길거나 혹은 복잡한 경우에는 그 이동 경로의 처음과 끝 사이의 중간에 배치되는 단위 매트 센서(C1 내지 Cn)에도 상기 매트측 인식기(17)를 구비된다.
특히, 매트측 인식기(17)는 피검자의 진입 지점과 진출 지점 사이에 존재하는 방향 전환 지점에 배치된 단위 매트 센서(C1 내지 Cn)에 설치되는데, 이를 통해 피검자가 방향 전환 중임을 반영하여 보행 검사를 진행할 수 있게 한다. 또한 단위 매트 센서(C1 내지 Cn)들의 조립 패턴이나 정렬 방향을 분석할 수 있게 된다.
구체적으로, 매트측 인식기(17)가 구비되어 있는 단위 매트 센서(C1 내지 Cn)를 보행 중인 피검자를 검출시, 매트측 인식기(17)는 사용자 자동 인식기(14)의 중계하에 보행 분석 모듈(13)로 매트 통과 신호를 전송한다.
매트 통과 신호를 입력받은 보행 분석 모듈(13)은 해당 신호가 입력된 시점의 압력센서 센싱 신호를 분석하게 되며, 특히 피검자가 방향 전환 지점에 배치된 단위 매트 센서(C1 내지 Cn)를 통과중인 경우 이를 반영할 수 있게 한다.
도 11에서는 일 예로 ID#1부터 ID#6까지의 단위 매트 센서(C1 내지 Cn)들 중 ID#4의 단위 매트 센서가 방향 전환 지점에 배치되고, 그를 기준으로 단위 매트 센서들의 정렬이 상측으로 꺽인 것을 예로 들었다.
따라서, 보행 분석 모듈(13)은 ID#4의 단위 매트 센서에서 피검자의 보행 상태가 급격이 변화하더라도 이를 방향 전환으로 인식하고, 이를 반영하여 낙상 예측 및 예방에 이용되는 보행 상태를 측정할 수 있게 한다.
이하, 본 발명에 따른 낙상 예방 관리시스템에 대해 설명한다. 본 발명의 낙상 예방 관리시스템은 위에서 도 1을 참조하여 설명한 바와 같이 하이브리드 보행 분석장치(10), 통합 데이터베이스(20) 및 앱 관리 모듈(30)을 포함한다.
이때, 하이브리드 보행 분석장치(10)는 고령자의 낙상을 예측하고 예방하도록 매트형의 보행 분석기(11)로 보행시의 족압을 측정하고, 보행로에 설치된 깊이 카메라(12)로는 보행시의 골격 정보를 획득한다.
따라서, 피검자의 보행 중 골격 인식을 통해 보행시의 골격, 관절, 좌우 균형, 다리 각도 및 발의 높이 등을 비롯하여 다양한 보행 패턴과 보행 자세를 분석할 수 있게 한다.
통합 데이터베이스(20)는 피검자의 개인 정보 및 낙상검사 이력정보를 기록하고, 사용자/장비의 인증 관리 기능을 제공한다. 따라서 사용자별 낙상 검사 이력의 관리를 통해 통합 측정정보 분석데이터 제공 시스템을 제공한다.
나아가, 통합 데이터베이스(20)는 피검자에게 적합한 맞춤형 낙상 예방 프로그램을 제공한다. 낙상 예방 프로그램은 보행 상태 측정을 통한 그룹별로 낙상 예측 및 예방 결과를 고려하여 최적의 예방 프로그램을 선택하여 제공된다.
예방 프로그램은 순환기, 신경계, 근골격계 및 시각적 위험에 따른 신체적 위험 뿐만 아니라 노화와 관련된 위험, 섭취중인 약물에 따른 위험, 주거 환경 요인에 따른 위험 및 음주와 같은 생활습관에 따른 위험 등을 예방하기 위해 다양한 카테고리로 분류하여 제공할 수 있다.
앱 관리 모듈(30)은 피검자의 단말장치에서 통합 데이터베이스에 접속하여 검사 결과를 제공받도록 어플리케이션을 제공한다. 따라서 본 발명에서 앱 관리 모듈(30)은 일종의 앱 다운로드 서버의 기능을 제공한다.
이러한 앱 관리 모듈(30)에 의해 제공되는 어플리케이션은 보행 검사를 위한 사용자 자동 인식 기능의 활성화, 보행 상태 측정 결과 확인 및 낙상 예방 프로그램 요청을 위한 인터페이스 생성 등 다양한 서비스 환경을 포함한다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
[부호의 설명]
10: 하이브리드 보행 분석장치
11: 보행 분석기(매트형 센서)
12: 3D 깊이 카메라
13: 보행 분석 모듈
14: 사용자 자동 인식기
15: 2D 검사 카메라
16: 매트 식별부
17: 매트측 인식기
20: 통합 데이터베이스
30: 앱 관리 모듈

Claims (13)

  1. 낙상 예방 피검자(subject)가 보행하는 바닥에 설치되며 보행시의 족압을 측정하는 다수의 압력센서를 구비하여 족압 정보를 제공하는 보행 분석기(11)와;
    상기 보행중인 피검자를 촬영하도록 설치되며, 상기 피검자의 3차원 깊이 영상을 제공하는 깊이 카메라(depth camera, 12); 및
    상기 피검자의 족압 정보 및 상기 3차원 깊이 영상으로부터 판독되는 골격 정보를 종합하여 상기 피검자의 보행 상태를 분석하는 보행 분석 모듈(13);을 포함하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  2. 제1항에 있어서,
    상기 피검자의 위치를 탐색하여 상기 피검자가 상기 매트 타입 보행 분석기(11)에 진입하는 시점과 진출하는 시점을 각각 분석하는 사용자 자동 인식기(14)를 더 포함하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  3. 제2항에 있어서,
    상기 보행 분석기(11)는,
    각각 매트(mat) 타입으로 이루어진 다수의 단위 매트 센서(C1 내지 Cn)를 포함하되,
    상기 단위 매트 센서(C1 내지 Cn)는 각각 다수의 압력센서가 매트릭스(matrix) 패턴으로 구비되어 있는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  4. 제3항에 있어서,
    상기 단위 매트 센서(C1 내지 Cn)는,
    바닥 시트(11a)와;
    상기 바닥 시트(11a)의 상면에 적층되며, 수평 방향을 따라 수평축 압력센서가 구비된 제1 센서 시트(11b)와;
    상기 제1 센서 시트(11b)의 상면에 적층되며 전도성 재질로 이루어진 전도성 재질층(11c)과;
    상기 전도성 재질층(11c)의 상면에 적층되며, 상기 수평축 압력센서와 교차하도록 수직 방향을 따라 수직층 압력센서가 구비된 제2 센서 시트(11d); 및
    상기 제2 센서 시트(11d)의 상면에 적층된 마감 시트(11e);를 포함하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  5. 제1항에 있어서,
    상기 깊이 카메라(12)는,
    상기 보행 분석기(11)를 따라 적어도 하나 이상 설치되며, 각각 담당하는 구간내에서 상기 피검자를 연속하여 촬영하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  6. 제5항에 있어서,
    상기 피검자를 2차원의 RGB 영상으로 촬영하여 상기 보행 분석 모듈(13)에 제공하는 2D 검사 카메라(15)를 더 포함하되,
    상기 보행 분석 모듈(13)은,
    상기 깊이 카메라(12)에서 제공되는 3D의 깊이 영상에 대한 분석결과와 상기 검사 카메라(15)에서 제공되는 2D의 RGB 영상에 대한 분석 결과를 이용하여 상기 피검자를 촬영한 영상 프레임들 중 실제 보행 상태와 다른 에러 프레임을 추출하고 보간(interpolation)하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  7. 제1항에 있어서,
    상기 보행 분석 모듈(13)은,
    머신 러닝(machine learning)을 통해 영상 프레임으로부터 피검자의 골격(skeleton) 및 관절(joint) 영상을 추출하되,
    상기 골격과 관절의 자세(position) 및 오리엔테이션(orientation) 값을 포함하여 상기 피검자의 보행 상태를 분석하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  8. 제7항에 있어서,
    상기 보행 분석 모듈(13)은,
    상기 3차원 깊이 영상 중에서 상기 피검자가 보행 중 사용하는 보행 보조수단을 추출하는 오브젝트 추출부(13a)와;
    상기 추출된 보행 보조수단을 상기 분석 대상 영상 프레임으로부터 제외시키는 노이즈 제거부(13b)와;
    상기 보행 보조수단이 제외된 분석 대상 영상 프레임을 이용하여 상기 피검자의 보행 상태를 분석하는 보행 분석부(13c); 및
    상기 피검자의 보행 상태를 낙상 위험 인자(factor)와 대비하여 낙상 위험도를 예측하는 낙상 예측부(13d);를 포함하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  9. 제3항에 있어서,
    상기 다수의 단위 매트 센서(C1 내지 Cn)들에는 각각 자신의 고유 식별 정보를 송출하는 매트 식별부(16)를 더 포함하되,
    상기 매트 식별부(16)의 고유 식별 정보는 상기 사용자 자동 인식기(14)에서 수신 가능한 통신 프로토콜을 따르는 데이터 패킷(packet)으로 송출되며,
    상기 보행 분석 모듈(13)은 상기 피검자의 식별 정보와 상기 단위 매트 센서의 식별 정보를 서로 매칭(matching)하여 상기 피검자의 보행 검사 진행 위치를 판독하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  10. 제9항에 있어서,
    상기 사용자 자동 인식기(14)는,
    상기 단위 매트 센서(C1 내지 Cn)들로부터 각각 송출되는 신호를 분석하여 상기 사용자 자동 인식기(14)와 단위 매트 센서(C1 내지 Cn)들 사이의 상대 위치 정보를 각각 제공하고,
    상기 보행 분석 모듈(13)은,
    상기 사용자 자동 인식기(14)로부터 제공된 상기 단위 매트 센서(C1 내지 Cn)들과의 상대 위치 정보로부터 판독된 상기 단위 매트 센서(C1 내지 Cn)들의 정렬 순서를 반영하여 상기 피검자의 보행 상태를 분석하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  11. 제10항에 있어서,
    상기 단위 매트 센서(C1 내지 Cn)들 중 피검자가 검사를 위해 진입하는 진입 지점과 검사를 마치고 나가는 진출 지점 사이의 방향 전환 지점에 설치된 매트측 인식기(17)를 더 포함하되,
    상기 매트측 인식기(17)가 구비되어 있는 단위 매트 센서(C1 내지 Cn)를 보행 중인 피검자를 검출시, 상기 매트측 인식기(17)는 상기 사용자 자동 인식기(14)의 중계하에 상기 보행 분석 모듈(13)로 매트 통과 신호를 전송하고,
    상기 보행 분석 모듈(13)은 피검자가 상기 방향 전환 지점을 보행 중에 측정된 정보를 반영하여 상기 피검자의 보행 상태를 분석하는 것을 특징으로 하는 낙상 예방을 위한 하이브리드 보행 분석장치.
  12. 제1항 내지 제11항 중 어느 하나의 항과 같은 하이브리드 보행 분석장치(10)와;
    상기 피검자의 개인 정보 및 낙상검사 이력정보를 기록하는 통합 데이터베이스(20); 및
    상기 피검자의 단말장치에서 상기 통합 데이터베이스(20)에 접속하여 검사 결과를 제공받도록 어플리케이션을 제공하는 앱 관리 모듈(30);을 포함하는 것을 특징으로 하는 낙상 예방 관리시스템.
  13. 제12항에 있어서,
    상기 통합 데이터베이스(20)는,
    상기 피검자에게 적합한 맞춤형 낙상 예방 프로그램을 제공하는 것을 특징으로 하는 낙상 예방 관리시스템.
PCT/KR2020/016474 2020-03-13 2020-11-20 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템 WO2021182713A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/911,236 US20230404436A1 (en) 2020-03-13 2020-11-20 Hybrid walking analysis apparatus for fall prevention and fall prevention management system comprising same
CN202080099942.3A CN115428050B (zh) 2020-03-13 2020-11-20 用于预防跌倒的混合型步态分析装置及包含其的跌倒预防管理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200031268A KR102376330B1 (ko) 2020-03-13 2020-03-13 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템
KR10-2020-0031268 2020-03-13

Publications (1)

Publication Number Publication Date
WO2021182713A1 true WO2021182713A1 (ko) 2021-09-16

Family

ID=77672413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016474 WO2021182713A1 (ko) 2020-03-13 2020-11-20 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템

Country Status (4)

Country Link
US (1) US20230404436A1 (ko)
KR (1) KR102376330B1 (ko)
CN (1) CN115428050B (ko)
WO (1) WO2021182713A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396014A (zh) * 2020-11-26 2021-02-23 河北工业大学 基于特征融合的视触融合步态识别方法
CN114176578A (zh) * 2022-02-17 2022-03-15 杭州拜伦医疗科技有限公司 一种步态分析仪

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102389427B1 (ko) * 2021-10-25 2022-04-22 웰트 주식회사 보행 데이터를 이용한 낙상 위험 예방 방법 및 이러한 방법을 수행하는 장치
KR20230097298A (ko) * 2021-12-24 2023-07-03 서울대학교병원 이미지를 이용하여 임상 평가 정보를 제공하는 방법 및 장치
KR102507767B1 (ko) * 2022-02-28 2023-03-07 이상우 낙상을 검출하기 위한 방법, 서버 및 컴퓨터프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216743A (ja) * 2002-01-25 2003-07-31 Nippon Telegr & Teleph Corp <Ntt> 遠隔転倒予防指導支援システム
JP2012523299A (ja) * 2009-04-13 2012-10-04 ウェルセンス テクノロジーズ 褥瘡性潰瘍の防止システムおよび方法
KR101713263B1 (ko) * 2015-04-14 2017-03-09 주식회사 케이엔아이씨 낙상 감지 패드, 및 낙상 감지 장치
KR20180023225A (ko) * 2016-08-25 2018-03-07 정원미 관리 대상자의 상태 인식을 통한 질병 발병 및 위험 상황 방지를 위한 스마트 매트 시스템
US20180125413A1 (en) * 2015-05-15 2018-05-10 J. Brasch Co., Llc A System And Method For Monitoring A Person Via An Analog Multi-Zone Pressure Sensitive Pad
KR101902551B1 (ko) * 2018-06-11 2018-09-28 정재훈 족저 압력과 신체의 움직임 정보를 이용한 신체 부정렬 증후군 진단 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150320352A1 (en) * 2009-04-13 2015-11-12 Enhanced Surface Dynamics, Inc. System and method for preventing decubitus ulcers
US9271665B2 (en) * 2011-05-20 2016-03-01 The Regents Of The University Of California Fabric-based pressure sensor arrays and methods for data analysis
KR20190070068A (ko) 2017-12-12 2019-06-20 고용국 웨어러블 장치를 이용한 낙상 사고 관리 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216743A (ja) * 2002-01-25 2003-07-31 Nippon Telegr & Teleph Corp <Ntt> 遠隔転倒予防指導支援システム
JP2012523299A (ja) * 2009-04-13 2012-10-04 ウェルセンス テクノロジーズ 褥瘡性潰瘍の防止システムおよび方法
KR101713263B1 (ko) * 2015-04-14 2017-03-09 주식회사 케이엔아이씨 낙상 감지 패드, 및 낙상 감지 장치
US20180125413A1 (en) * 2015-05-15 2018-05-10 J. Brasch Co., Llc A System And Method For Monitoring A Person Via An Analog Multi-Zone Pressure Sensitive Pad
KR20180023225A (ko) * 2016-08-25 2018-03-07 정원미 관리 대상자의 상태 인식을 통한 질병 발병 및 위험 상황 방지를 위한 스마트 매트 시스템
KR101902551B1 (ko) * 2018-06-11 2018-09-28 정재훈 족저 압력과 신체의 움직임 정보를 이용한 신체 부정렬 증후군 진단 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396014A (zh) * 2020-11-26 2021-02-23 河北工业大学 基于特征融合的视触融合步态识别方法
CN114176578A (zh) * 2022-02-17 2022-03-15 杭州拜伦医疗科技有限公司 一种步态分析仪

Also Published As

Publication number Publication date
CN115428050A (zh) 2022-12-02
KR102376330B1 (ko) 2022-03-18
US20230404436A1 (en) 2023-12-21
KR20210115450A (ko) 2021-09-27
CN115428050B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
WO2021182713A1 (ko) 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템
KR101729327B1 (ko) 듀얼 카메라를 이용한 체온 추적 모니터링 시스템
KR101806400B1 (ko) 흑체를 이용한 듀얼 카메라 기반 체온 감시 시스템
CN106580294B (zh) 基于多模态成像技术的生理信号远程监控系统及应用
US10102730B2 (en) Monitoring apparatus for monitoring a targets exposure to danger
Zhou et al. Validation of an IMU gait analysis algorithm for gait monitoring in daily life situations
WO2016129917A1 (ko) 사용자 단말 및 이의 제공 방법
WO2016175501A1 (ko) 걸음 인지 시스템 및 그 방법, 그리고 이 방법을 처리하는 프로그램이 기록된 저장 매체
US9760808B2 (en) Image processing system, server device, image pickup device and image evaluation method
JP2013131159A (ja) エリアモニタリングシステム
WO2013133470A1 (ko) 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
WO2012026629A1 (en) Device and method for measuring a moving distance
WO2019194455A1 (en) Apparatus and method for recognizing object in image
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
CN112001953A (zh) 温度检测的方法、装置、设备和计算机设备
WO2020076077A2 (ko) 배회 감지 시스템
WO2013141667A1 (ko) 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법
CN111753636A (zh) 基于面部遮挡条件下的测温识别方法及系统
WO2022145887A1 (ko) 낙상 예방 관리 시스템
CN108986407B (zh) 一种用于独居老人的安全侦测系统及方法
WO2012057392A1 (ko) 복수개의 카메라를 이용한 거리측정 시스템 및 그 방법
WO2022250196A1 (ko) 치매 환자 추적 장치 및 방법
WO2023282389A1 (ko) 두경부 영상 이미지를 이용한 지방량 산출 방법 및 이를 위한 장치
CN212378909U (zh) 一种人脸识别手腕测温终端
WO2019199035A1 (ko) 시선 추적 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20923836

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20923836

Country of ref document: EP

Kind code of ref document: A1