WO2021225249A1 - 보행 분석 시스템 및 방법 - Google Patents

보행 분석 시스템 및 방법 Download PDF

Info

Publication number
WO2021225249A1
WO2021225249A1 PCT/KR2020/019341 KR2020019341W WO2021225249A1 WO 2021225249 A1 WO2021225249 A1 WO 2021225249A1 KR 2020019341 W KR2020019341 W KR 2020019341W WO 2021225249 A1 WO2021225249 A1 WO 2021225249A1
Authority
WO
WIPO (PCT)
Prior art keywords
gait
information
dimensional
walking
pedestrian
Prior art date
Application number
PCT/KR2020/019341
Other languages
English (en)
French (fr)
Inventor
김문상
이덕원
이상협
전국성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to EP20934680.8A priority Critical patent/EP4147637A4/en
Publication of WO2021225249A1 publication Critical patent/WO2021225249A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces

Definitions

  • the present invention relates to a gait analysis system and method that can help an expert present a medical opinion by judging an abnormality in gait.
  • the movement of the center of gravity is affected due to the change in the gait pattern. It progresses smoothly and the movements of the limbs are harmonized, but when walking with or carrying a load such as a bag, irregular movement of the center of gravity appears.
  • the body's adaptation to maintain balance and save energy consumption by bringing the body weight core line, whose position has been changed due to the way the load is carried, to the center of the basal plane to maintain balance, and bring the center line further forward for forward progress. mechanism will appear.
  • Gait analysis is used in clinical decision-making for musculoskeletal disorders, post-treatment evaluation, evaluation of prosthetics and braces, and various biomechanical studies. , kinematic analysis, dynamic electromyography, and energy expenditure measurement.
  • the gait pattern extraction device is used for rehabilitation training to restore the sense of gait of patients suffering from gait disorders caused by damage to the central nervous system such as stroke or cerebral palsy, or for gait correction training of users who need to correct their gait posture. Used a lot.
  • an attached sensor eg, an inertial sensor such as a gyro sensor or an acceleration sensor
  • an attached sensor eg, an inertial sensor such as a gyro sensor or an acceleration sensor
  • the gait analysis method using a single depth camera has a short range in which gait data can be acquired, and the accuracy of kinematic information on the body part that is obscured due to the occlusion phenomenon of the body part being covered by another body part is low. A constraint occurred.
  • an object of the present invention is to provide a gait analysis system and method that can solve the problem that the accuracy of kinematic information of body parts due to the occlusion phenomenon is deteriorated.
  • An object of the present invention is to provide a gait analysis system and method that can solve the problems of the prior art.
  • a gait analysis system for solving the above problem includes an identification unit for confirming the identity of a pedestrian; a gait information acquisition unit for photographing a pedestrian's gait motion in at least one of left, right, and front directions based on the identification signal from the identification unit, and then extracting and providing kinematic information from the captured images; a gait information collection unit that merges and collects kinematic information (three-dimensional and/or two-dimensional skeletal information) of the photographed gait images; a gait parameter extraction and classification unit for extracting at least one gait parameter based on the merged kinematic information (three-dimensional and/or two-dimensional skeletal information) and classifying the gait type; And after determining whether the at least one or more gait parameters deviates from the recommended reference value, is included in the gait parameter range of abnormal gait, or is classified as a type of pathological gait, a gait result notification that provides a corresponding result to a pedestrian or an expert includes wealth.
  • a gait analysis method for solving the above problems is an identification step of confirming the identity of the pedestrian in the identification unit;
  • the gait information collection unit captures the walking motion of a pedestrian in at least one of the left, right, and front directions based on the identification signal from the identification unit, and then extracts and provides kinematic information from the captured images.
  • kinematic information extraction step a merging step of merging kinematic information (three-dimensional and/or two-dimensional skeletal information) of the gait images taken by the gait information collecting unit;
  • a gait parameter extraction and classification step of extracting at least one gait parameter based on the kinematic information (three-dimensional and/or two-dimensional skeletal information) merged in the gait parameter extraction and classification unit and classifying the type of gait; and a gait abnormality determination step of determining the gait abnormality of the pedestrian based on the at least one gait parameter or gait classification result in the gait result notification unit.
  • gait parameters for the pedestrian's stride length, speed, waist curvature, average knee bending angle, etc. are extracted and classified, and the classified gait motion of the pedestrian is analyzed by an expert. It can be provided to be used as a resource to help present an opinion.
  • FIG. 1 is a block diagram illustrating a gait analysis system according to an embodiment of the present invention.
  • FIG. 2 is an exemplary diagram illustrating the configuration of the identification unit shown in FIG. 1 .
  • 3 is an exemplary diagram illustrating an example of motion shape tracking information extracted from depth cameras arranged in parallel.
  • FIG. 4 is a diagram illustrating an example of kinematic information.
  • FIG. 5 is an exemplary diagram illustrating a process of classifying a gait type according to continuous skeletal information using a machine learning model.
  • step length is one of kinematic information in a gait motion image.
  • FIG. 7 is a table comparing changes in skeletal information (ankle) obtained with a single depth camera and a pair of depth cameras.
  • FIG. 8 is a flowchart illustrating a gait analysis method according to an embodiment of the present invention.
  • FIG 9 illustrates an example computing environment in which one or more embodiments disclosed herein may be implemented.
  • a gait analysis system for solving the above problem includes an identification unit for confirming the identity of a pedestrian; a gait information acquisition unit for photographing a pedestrian's gait motion in at least one of left, right, and front directions based on the identification signal from the identification unit, and then extracting and providing kinematic information from the captured images; a gait information collection unit that merges and collects kinematic information (three-dimensional and/or two-dimensional skeletal information) of the photographed gait images; a gait parameter extraction and classification unit for extracting at least one gait parameter based on the merged kinematic information (three-dimensional and/or two-dimensional skeletal information) and classifying the gait type; And after determining whether the at least one or more gait parameters deviates from the recommended reference value, is included in the gait parameter range of abnormal gait, or is classified as a type of pathological gait, a gait result notification that provides a corresponding result to a pedestrian or an expert includes wealth.
  • a gait analysis method for solving the above problems is an identification step of confirming the identity of the pedestrian in the identification unit;
  • the gait information collection unit captures the walking motion of a pedestrian in at least one of the left, right, and front directions based on the identification signal from the identification unit, and then extracts and provides kinematic information from the captured images.
  • kinematic information extraction step a merging step of merging kinematic information (three-dimensional and/or two-dimensional skeletal information) of the gait images taken by the gait information collecting unit;
  • a gait parameter extraction and classification step of extracting at least one gait parameter based on the kinematic information (three-dimensional and/or two-dimensional skeletal information) merged in the gait parameter extraction and classification unit and classifying the type of gait; and a gait abnormality determination step of determining the gait abnormality of the pedestrian based on the at least one gait parameter or gait classification result in the gait result notification unit.
  • first and/or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one element from another element, for example, without departing from the scope of the present invention, a first element may be called a second element, and similarly The second component may also be referred to as the first component.
  • FIG. 1 is a block diagram illustrating a gait analysis system according to an embodiment of the present invention.
  • the gait analysis system 100 includes an identification unit 110 , a gait information acquisition unit 120 , a gait information collection unit 130 , and a gait parameter extraction unit. 140 and a gait abnormality detection unit 150 and a database 160 .
  • the identification unit 110 may be configured to confirm the identity of the pedestrian.
  • the identification unit 110 may confirm the identity using the facial contour and eye information of the pedestrian, or may confirm the identity using the pedestrian's facial contour, eye information, and voice information (voice).
  • the identification unit 110 uses eyeball information, the light irradiation unit 110-1, and the image acquisition unit 110 for detecting redness and pupil dilation information responding to the brightness of the variable light irradiated for a preset period of time -2) and the identification unit 110-3.
  • the light irradiator 110 - 1 irradiates variable light to the eye for a preset time.
  • the variable light may be irradiated with a specific pattern, letter, or number, and the specific pattern, letter, or number may be light having a variable size.
  • the image acquisition unit 110 - 2 detects the iris and pupil regions in the eyeball images collected for a preset time.
  • the identification unit 110-3 detects the iris region and the pupil region from the plurality of eyeball image frames detected for a preset time by the image acquisition unit 110-2, and the color of the iris region according to the variable light. After calculating the degree of variability, it is processed into a color coordinate vector, the relaxation and contraction distances of the iris region and the pupil region according to the variable light are detected, and the size is changed by being projected into the iris region according to the variable light. After detecting the position information of a specific pattern, letter, or number, the color coordinate vector, the relaxation and contraction distance, and the position information may be converted into a two-dimensional code.
  • the identity determining unit 110-3 may determine the identity of the pedestrian by determining the sameness between the converted two-dimensional code and the pre-stored two-dimensional code of the pedestrian.
  • the identification unit 110 may be a reader capable of verifying the identity by identifying the ID card on which pedestrian information is recorded with a QR code or NFC tag.
  • the walking information obtaining unit 110 is configured with a single or a plurality of 2D or depth (Depth, 3D) cameras, and when using a plurality of cameras, the 2D or depth cameras (3D cameras) are the left and right sides of the pedestrian. may be arranged in a line in parallel so that each of them can be photographed.
  • two depth cameras (3D) or 2D cameras on the same axis can be matched to face each other.
  • two or more cameras are not limited to being located on the same axis, and may be randomly arranged in a space to be measured.
  • the depth camera may be Kinect, Realsense, Astra, or the like, and an inertial sensor or motion capture device capable of acquiring 3D spatial information may be used instead of the role.
  • the sensor or equipment acquires kinematic information (2D or 3D skeletal and joint information) of a walking pedestrian.
  • the kinematic information provided by the sensor or equipment may provide skeletal coordinates and skeletal reliability.
  • each depth camera may recognize depth information up to a specific point through at least one or more markers or IR markers attached to the pedestrian's walking path.
  • each depth camera recognizes an axis point (coordinate axis) recorded on a marker located at a preset shooting point.
  • the above-described axial point is used during the calibration (merging) process of kinematic information in the image merging unit to be described later.
  • the gait information acquisition unit 110 is a coordinate sensor for tracking the position (coordinate) of the marker provided at the set shooting point when the shooting position of a plurality of depth (Depth) cameras or 2D camera is changed due to an external factor. may include.
  • the gait information collecting unit 130 provides kinematic information (three-dimensional and/or two-dimensional skeleton) according to the walking of the object obtained from a plurality of depth cameras or 2D cameras, or inertial sensors or motion capture devices. information), the kinematics information (three-dimensional and/or two-dimensional skeletal information) of the depth camera located in the same axial direction is subdivided, and then the kinematics extracted from the captured image located at the same axial point. Information (3D and/or 2D skeletal information) is calibrated (merged and corrected).
  • the calibration (merge correction) process transforms the coordinate axes of each frame based on three or more axis points obtained through the marker, calculates the three-dimensional and/or two-dimensional matrix of the transformed coordinate axes, and then a plurality of images It may be a process of overlapping the kinematics information (three-dimensional and/or two-dimensional skeletal information and joint information) extracted from a single coordinate axis (x, y, z).
  • the depth cameras 1 and 2 are the pedestrians who walked for 0 to 3 seconds. If the kinematics information of (1, 2) and (3, 4) is provided, depth cameras 3 and 4 provide the kinematics information of pedestrians who walked in the 2.5 ⁇ 5.5 generation, respectively, left and right kinematics Information can be merged, and (1,3) (2, 4) kinematic information before/after can be merged.
  • the above-described walking path may be an actual space having a certain length, or may be a device such as a treadmill capable of continuous walking.
  • the gait parameter extraction and classification unit 140 extracts gait parameters from the calibrated kinematic information (three-dimensional and/or two-dimensional skeletal information), and then walks using the extracted gait parameter or continuous skeletal information. It may be a configuration that classifies the type of , or uses it as input data for machine learning.
  • the gait parameter extraction and classification unit 140 uses the extracted gait parameters or continuous skeletal information as a machine learning model, for example, algorithms such as deep neural networks (CNN, RNN), K-NN, K-MEANS, and RANDOM FOREST.
  • Types of gait using, for example, normal gait (Normal gait), analgesic gait (Antlgic gait), joint abnormal gait (Arthrogenic gait), gait due to weakness of the anterior shin muscle (Steppage Gait), gait due to weakness of the gluteus maximus muscle (Lurching Gait), gait due to weakness of the gluteus maxims muscle (Trendelenburg Gait), it can be classified into any one of pathological gait (Pathological Gait).
  • the walking types listed in the present invention are merely exemplary.
  • Arthrogenic Gait there is a high probability of problems with the ankle, knee, or pelvis.
  • pathological gait it can be used as information for recommending a pedestrian to visit a hospital.
  • the gait parameter or continuous skeletal information extracted from the gait parameter extraction and classification unit may be used as a measure for judging abnormal gait by itself.
  • the walking parameters may be stride length, speed, waist curvature, left/right knee angle, ankle angle, pelvis twist angle, and the like.
  • the walking speed is calculated as the movement distance/movement time of the center of the body joint
  • the stride length is calculated as the distance in the z-axis direction between the stopping sections of both ankles (Z-axis direction: walking direction)
  • the knee bending angle is calculated as the thigh joint- It is calculated as the average of the angles between the knee joint and the ankle joint
  • the waist curvature is calculated as the angle formed by the vector with the head-body center during walking on the absolute coordinate system.
  • the gait result notification unit 150 determines whether the at least one gait parameter is outside the recommended reference value or is included in the gait parameter range of abnormal gait, or is classified as pathological gait, and provides the result to a pedestrian or an expert do.
  • the walking result notification unit 150 determines whether the pedestrian is abnormal in gait by using the recommended value for each gait parameter.
  • the gait result notification unit 150 determines whether the gait parameter is different from the recommended value, 2 how much the gait parameter is different from usual, and 3 whether the pedestrian's gait is classified as a pathological gait (total joint information). Alternatively, if the gait parameter is input into the machine learning model, whether the classified result is a pathological gait or a pathological gait when the gait parameter itself is analyzed) can be used as a criterion.
  • the walking result notification unit 150 may determine various gait abnormalities according to the number of gaits.
  • Abnormal gait speed If there is a difference of 20% or more compared to the average gait speed for each age group, an abnormality is detected.
  • Detection Detect when the difference between right and left foot stride length is more than 20cm 4)
  • Front and back curvature Detect when the front/back curvature of the waist is 10 degrees or more 5)
  • Left and right waist curvature When the left/right curve of the waist is more than 10 degrees Detection 6)
  • Gait classification If the classified type of gait is pathological gait, it may be abnormal discrimination.
  • the gait information collection unit 130 may be linked with the database 160 .
  • the gait parameter extractor 140 may be linked with the database 160 .
  • the database 160 may store information collected, extracted, and determined in each configuration, and may upload previously stored information.
  • the database 160 is a relational database management system (RDBMS) such as Oracle, MYSQL, MSSQL, Infomix, Sybase, DB2, Gemston, Orion, O2, etc.
  • RDBMS relational database management system
  • XML Native Database such as object-oriented database management system (OODBMS) and XML Native Database such as Excelon, Tamino, Sekaiju to be implemented for the purpose of the present invention field) or an element.
  • Each field or element may be formed of a field or element of a higher concept or a lower concept.
  • FIG. 6 is a flowchart illustrating a gait analysis method according to an embodiment of the present invention.
  • the gait information acquisition unit 120 extracts the kinematic information of the pedestrian in the gait image (S720).
  • the gait information collecting unit 130 includes kinematic information (three-dimensional and/or two-dimensional skeletal information) according to the gait of the object obtained from a single or a plurality of depth cameras or a 2D camera, an inertial sensor, or a motion capture device. After collecting the kinematic information (3D and/or 2D skeletal information) of the depth camera located in the same axis direction, the kinematic information extracted from the captured image located at the same axis point ( 3D and/or 2D skeletal information) is calibrated (merged correction) (S730).
  • kinematic information three-dimensional and/or two-dimensional skeletal information
  • the calibration (merge correction) process transforms the coordinate axes of each frame based on the three axis points obtained through the marker, calculates the 3D and/or 2D matrix of the transformed coordinate axes, and extracts from a plurality of images It may be a process of overlapping the obtained kinematics information (three-dimensional and/or two-dimensional skeletal information and joint information) with one coordinate axis (x, y, z).
  • the depth cameras 1 and 2 are the pedestrians who walked for 0 to 3 seconds. If the kinematics information of (1, 2) and (3, 4) is provided, depth cameras 3 and 4 provide the kinematics information of pedestrians who walked in the 2.5 ⁇ 5.5 generation, respectively, left and right kinematics Information can be merged, and (1,3) (2, 4) kinematic information before/after can be merged.
  • the process S730 may include a process of calculating the reliability of the coordinates of the skeleton and a merging process using only kinematic information having a reliability of the coordinates equal to or greater than a reference value.
  • the gait parameters are extracted and classified based on the kinematics information (3D and/or 2D skeletal information) calibrated by the gait parameter extraction and classification unit 140 (S740).
  • the S740 process uses the extracted walking parameters or continuous skeletal information with a machine learning model, for example, a deep neural network (CNN, RNN), K-NN, K-MEANS, RANDOM FOREST, etc.
  • a machine learning model for example, a deep neural network (CNN, RNN), K-NN, K-MEANS, RANDOM FOREST, etc.
  • a machine learning model for example, a deep neural network (CNN, RNN), K-NN, K-MEANS, RANDOM FOREST, etc.
  • a machine learning model for example, a deep neural network (CNN, RNN), K-NN, K-MEANS, RANDOM FOREST, etc.
  • the classified type of gait can be of great help when providing expert medical opinion.
  • the classified type of gait when classified as a pathological gait, it can be used as information for recommending a pedestrian to visit a hospital.
  • the extracted gait parameter or continuous skeletal information may be used as a measure for judging abnormal gait by itself, or may be used as an input for a machine learning model.
  • the gait parameter includes at least one of walking speed, height of the pedestrian, hand movement during walking, stride length, front and back curvature, left and right waist curvature, knee bending angle, angle of each joint, stance phase and swing phase time may be included, but is not limited thereto.
  • the walking speed is calculated as the movement distance/movement time of the center of the body joint
  • the stride length is calculated as the distance in the z-axis direction between the stopping sections of both ankles (Z-axis direction: walking direction)
  • the knee bending angle is calculated as the thigh joint- It is calculated as the average of the angles between the knee joint and the ankle joint
  • the waist curvature is calculated as the angle formed by the vector with the head-body center during walking on the absolute coordinate system.
  • the walking result notification unit 150 determines the gait abnormality of the pedestrian based on the walking parameters (S750).
  • the step S750 is a process of determining whether a pedestrian has a gait abnormality using a recommended value for each gait parameter, and is a process of determining various gait abnormalities according to the number of gait.
  • a criterion for determining in the S750 process 1 how much the gait parameter differs from the recommended value, 2 how much the gait parameter is different from usual, 3 whether the pedestrian’s gait is classified as a pathological gait (all joint information or gait parameter Whether the classified result is pathological gait when , is input into the machine learning model, or pathological gait when the gait parameter itself is analyzed) can be used as a criterion.
  • Abnormal gait speed If there is a difference of 20% or more compared to the average gait speed for each age group, an abnormality is detected.
  • Detection Detect when the difference between right and left foot stride length is more than 20cm 4)
  • Front and back curvature Detect when the front/back curvature of the waist is 10 degrees or more 5)
  • Left and right waist curvature When the left/right curve of the waist is more than 10 degrees Detection 6)
  • Gait classification If the classified type of gait is pathological gait, it may be abnormal discrimination.
  • the pedestrian's stride length, speed, waist curvature, average knee bending angle, etc. can be more accurately measured, and based on this, it is determined whether the pedestrian's gait motion is abnormal.
  • computing device 1100 may be a personal computer, server computer, handheld or laptop device, mobile device (mobile phone, PDA, media player, etc.), multiprocessor system, consumer electronics, minicomputer, mainframe computer, distributed computing environments including any of the aforementioned systems or devices, and the like.
  • the computing device 1100 may include at least one processing unit 1110 and a memory 1120 .
  • the processing unit 1110 may include, for example, a central processing unit (CPU), a graphic processing unit (GPU), a microprocessor, an application specific integrated circuit (ASIC), field programmable gate arrays (FPGA), and the like. and may have a plurality of cores.
  • the memory 1120 may be a volatile memory (eg, RAM, etc.), a non-volatile memory (eg, ROM, flash memory, etc.), or a combination thereof.
  • computing device 1100 may include additional storage 1130 .
  • Storage 1130 includes, but is not limited to, magnetic storage, optical storage, and the like.
  • the storage 1130 may store computer readable instructions for implementing one or more embodiments disclosed herein, and other computer readable instructions for implementing an operating system, an application program, and the like. Computer readable instructions stored in storage 1130 may be loaded into memory 1120 for execution by processing unit 1110 . Computing device 1100 may also include input device(s) 1140 and output device(s) 1150 .
  • the input device(s) 1140 may include, for example, a keyboard, mouse, pen, voice input device, touch input device, infrared camera, video input device, or any other input device, or the like.
  • the output device(s) 1150 may include, for example, one or more displays, speakers, printers, or any other output device, or the like.
  • the computing device 1100 may use an input device or an output device included in another computing device as the input device(s) 1140 or the output device(s) 1150 .
  • Computing device 1100 may also include communication connection(s) 1160 that enable computing device 1100 to communicate with another device (eg, computing device 1300 ).
  • communication connection(s) 1160 may be a modem, network interface card (NIC), integrated network interface, radio frequency transmitter/receiver, infrared port, USB connection, or other for connecting computing device 1100 to another computing device. It may include interfaces. Also, the communication connection(s) 1160 may include a wired connection or a wireless connection. Each component of the above-described computing device 1100 may be connected by various interconnections such as a bus (eg, peripheral component interconnection (PCI), USB, firmware (IEEE 1394), optical bus structure, etc.) and may be interconnected by a network 1200 .
  • PCI peripheral component interconnection
  • IEEE 1394 firmware
  • optical bus structure etc.
  • a component can be, but is not limited to being, a process running on a processor, a processor, an object, an executable, a thread of execution, a program, and/or a computer.
  • an application running on a controller and a controller may be a component.
  • One or more components may reside within a process and/or thread of execution, and components may be localized on one computer or distributed between two or more computers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 실시예에 따른 보행 분석 시스템은 보행자의 신원을 확인하는 신원확인부; 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부; 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하는 영상병합부; 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 보행 종류를 분류하는 보행파라미터 추출 및 분류부; 및 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행으로 분류되는지 판단한 후 보행자 또는 전문가에게 그 결과를 제공하는 보행 결과 통보부를 포함한다.

Description

보행 분석 시스템 및 방법
본 발명은 보행의 이상을 판단하여 전문가가 의학적 소견을 제시하는 데 도움을 줄 수 있는 보행 분석 시스템 및 방법에 관한 것이다.
사람은 일상생활을 하면서 신체 내외부 환경과 특수한 과제에 적합한 최적의 자세 조절을 위해 노력을 하고 있으며, 이러한 자세 균형 조절은 우리가 독립적인 생활을 하는데 있어서 필수적이고 중요한 의미를 갖는다.
특히, 자세 균형 조절 능력 중에서 체중심의 이동은 바로 선 자세뿐만 아니라 여러 일상생활 활동 속에서 흔히 볼 수 있는데, 물건을 들거나 가방을 메고 걸어 갈 때와 같은 상황에서 신체에 가해지는 분하는 자세유지 및 균형 유지에 중대한 영향을 미친다.
물건을 운반할 경우 부하가 너무 무겁거나 잘못된 방법으로 휴대하고 보행을 할 경우, 보행 패턴의 변화로 인해 체중심 이동에 영향을 받게 되는데, 정상적인 보행에서는 체중심이 상하, 좌우, 진행 방향을 따라 규칙적으로 부드럽게 진행하고, 사지의 움직임이 조화롭게 이루어지지만, 가방과 같은 부하를 들거나 메고 보행을 할 경우 체중심의 불규칙적인 이동이 나타난다.
또한, 부하를 운반하는 방식으로 인해 위치가 변화된 체중심선을 기저면 중앙으로 가져와 평형을 유지하고, 전방으로의 진행을 위해 중심선을 더욱더 앞으로 가져와서 균형을 유지하고 보행 에너지 소모를 절약하기 위한 인체의 적응 기전이 나타나게 된다.
보행분석(gait analysis)은 근골격 신경계 질환에 대한 임상에서의 의사결정, 치료 후의 평가, 의지와 보장구의평가 및 여러 생체 역학적인 연구 등에 사용되고 있고, 보행의 여러 측면을 측정하여 포괄적인 평가를 하게 되는데, 운동 형상학적 분석(kinematic analysis), 동적 근전도(dynamic electromyography)및 에너지소비량 측정(energy expenditure measurement)등을 포함한다
일반적으로 보행 패턴 추출장치는 뇌졸중, 뇌성마비 등의 중추신경계 손상으로 인한 보행장애를 겪는 환자의 보행 감각을 회복시키는 재활 훈련용, 혹은 보행 자세 교정을 필요로 하는 사용자의 보행 자세 교정 훈련용 등으로 많이 사용된다.
한편, 종래의 보행 분석 방법의 경우, 부착형 센서(예컨대, 자이로센서, 가속도센서 등의 관성센서)를 몸체 붙여 정보를 획득하고, 매 측정마다 부착형 센서를 붙여야 하므로 일상에서 보행을 분석하는데 한계가 있었다.
또한, 단일 깊이 카메라를 사용하는 보행 분석 방법은 보행 데이터를 획득할 수 있는 범위가 짧고, 신체 부위가 다른 신체 부위에 의해 가려지는 가림현상으로 인하여 가려진 신체부위의 운동형상학적 정보의 정확도가 떨어진다는 제약 사항이 발생되었다.
이에 본 발명은 가림현상으로 인한 신체부위의 운동형상학적 정보의 정확성이 떨어지는 문제점을 해결할 수 있는 보행 분석 시스템 및 방법을 제공하고자 한다.
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 보행 분석 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행 분석 시스템은 보행자의 신원을 확인하는 신원확인부; 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부; 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하여 수집하는 보행정보 수집부; 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 보행 종류를 분류하는 보행파라미터 추출 및 분류부; 및 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나, 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행의 종류로 분류되는지를 판단한 후, 보행자 또는 전문가에게 해당 결과를 제공하는 보행 결과 통보부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행 분석 방법은 신원확인부에서 보행자의 신원을 확인하는 신원확인단계; 보행정보 수집부에서 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 운동형상학적 정보 추출단계; 보행정보 수집부에서 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하는 병합단계; 보행파라미터 추출 및 분류부에서 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출 및 보행의 종류를 분류하는 보행 파라미터 추출 및 분류단계; 및 보행 결과 통보부에서 상기 적어도 하나 이상의 보행 파라미터 또는 보행 분류 결과를 기초로 보행자의 보행이상을 판별하는 보행이상 판별단계를 포함한다.
본 발명의 일 실시예에 따른 보행 분석 시스템 및 방법을 이용하면, 보행자의 보폭, 속도, 허리 만곡도, 평균 무릎 굽힘 각도 등에 대한 보행 파라미터를 추출 및 분류하고, 분류된 보행자의 보행동작을 전문가가 의학적 소견을 제시하는 데 도움을 주는 자료로 사용되도록 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행 분석 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 신원확인부의 구성을 나타낸 일 예시도이다.
도 3은 평행하게 배열된 깊이 카메라로부터 추출된 운동형상항적 정보의 일 예를 나타낸 예시도이다.
도 4은 운동형상학적 정보의 일예를 나타낸 도이다.
도 5는 기계학습모델을 이용하여 연속된 골격 정보에 따른 보행 종류를 분류하는 과정을 나타낸 예시도이다.
도 6은 보행동작 영상 내의 운동형상학적 정보 중 하나인 보행파라미터(보폭)의 변화를 나타낸 표이다.
도 7은 단일 깊이 카메라 및 한쌍의 깊이 카메라로 획득한 골격정보(발목)의 변화를 비교한 표이다.
도 8은 본 발명의 일 실시예에 따른 보행 분석 방법을 설명한 흐름도이다.
도 9는 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행 분석 시스템은 보행자의 신원을 확인하는 신원확인부; 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부; 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하여 수집하는 보행정보 수집부; 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 보행 종류를 분류하는 보행파라미터 추출 및 분류부; 및 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나, 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행의 종류로 분류되는지를 판단한 후, 보행자 또는 전문가에게 해당 결과를 제공하는 보행 결과 통보부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행 분석 방법은 신원확인부에서 보행자의 신원을 확인하는 신원확인단계; 보행정보 수집부에서 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 운동형상학적 정보 추출단계; 보행정보 수집부에서 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하는 병합단계; 보행파라미터 추출 및 분류부에서 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출 및 보행의 종류를 분류하는 보행 파라미터 추출 및 분류단계; 및 보행 결과 통보부에서 상기 적어도 하나 이상의 보행 파라미터 또는 보행 분류 결과를 기초로 보행자의 보행이상을 판별하는 보행이상 판별단계를 포함한다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마
찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 보행 분석 시스템 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 보행 분석 시스템을 나타낸 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 보행 분석 시스템(100)은 신원확인부(110), 보행정보 획득부(120), 보행정보 수집부(130), 보행 파라미터 추출부(140) 및 보행 이상 감지부(150) 및 데이터베이스(160)를 포함한다.
상기 신원확인부(110)는 보행자의 신원을 확인하는 구성일 수 있다. 상기 신원확인부(110)는 보행자의 안면윤곽, 안구정보을 이용하여 신원을 확인하거나 또는 보행자의 안면윤곽, 안구정보와 음성정보(목소리)를 이용하여 확인할 수 있다.
일 예로, 신원확인부(110)가 안구정보를 이용할 경우, 기 설정된 시간동안 조사된 가변광의 밝기에 반응하는 홍재 및 동공 확장정보를 검출하기 위한 광 조사부(110-1), 이미지 획득부(110-2) 및 신원판별부(110-3)로 구성될 수 있다.
광 조사부(110-1)는 기 설정된 시간동안 안구로 가변광을 조사한다. 여기서, 상기 가변광은 특정 문양, 글자, 숫자로 조사되고, 상기 특정 문양, 글자, 숫자는 크기가 가변되는 광일 수 있다.
이미지 획득부(110-2)는 기 설정된 시간동안 수집된 안구의 이미지 내에서 상기 홍채 및 동공 영역을 검출한다.
신원판별부(110-3)는 이미지 획득부(110-2)에서 기 설정된 시간동안 검출된 복수 개의 안구 이미지 프레임들에서 홍채 영역 및 동공 영역을 검출하고, 상기 가변광에 따른 상기 홍채 영역의 색상 가변도를 산출한 후, 색좌표 벡터로 가공처리하고, 상기 가변광에 따른 상기 홍채 영역의 및 동공 영역의 이완 및 수축거리를 검출하고, 상기 가변광에 따른 상기 홍채 영역 내에 투영되어 크기가 가변되는 특정 문양, 글자 또는 숫자의 위치정보를 검출한 후, 색좌표 벡터, 상기 이완 및 수축거리, 상기 위치정보를 2차원 코드로 변환할 수 있다.
신원판별부(110-3)는 변환된 2차원 코드와 기 저장된 보행자의 2차원 코드의 동일성을 판단하여 보행자의 신원을 판별할 수 있다.
다른 일 예로, 신원확인부(110)는 보행자 정보가 QR코드 또는 NFC 태그로 기록된 ID 카드를 식별하여 신원을 확인할 수 있는 리더기일 수 있다.
다음으로, 상기 보행정보 획득부(110)는 단수 또는 복수 개의 2D 또는 깊이(Depth, 3D) 카메라로 구성되며, 복수 개의 카메라를 사용할 경우 2D 또는 깊이 카메라(3D 카메라)들은 보행자의 좌측면 및 우측면을 각각 촬영할 수 있도록 평행하게 일렬로 배치될 수 있다. 따라서, 동일 축상에 2개의 깊이 카메라(3D) 또는 2D 카메라가 마주보도록 매치될 수 있다. 그러나 동일 축상에 2개 이상의 카메라가 위치하는데 한정하지 않고, 측정하고자 하는 공간 상에 무작위로 배치될 수도 있다. 여기서, 깊이(Depth) 카메라는 Kinect, Realsense, Astra 등일 수 있으며, 3차원 공간 정보를 획득할 수 있는 관성 센서 또는 모션 캡쳐 장비도 그 역할을 대신하여 사용할 수 있다.
상기 센서 또는 장비는 보행 중인 보행자의 운동형상학적 정보(2차원 또는 3차원골격 및 관절정보)를 획득한다.
상기 센서 또는 장비에서 제공되는 운동형상학적 정보는 골격좌표 및 골격 신뢰도를 제공할 수 있다.
여기서, 각 깊이(Depth) 카메라는 보행자의 보행이동 경로에 부착된 적어도 하나 이상이 마커 또는 IR 마커 등을 통해 특정 점까지의 깊이 정보를 인식할 수 있다.
또한, 각 깊이(Depth) 카메라는 기 설정된 촬영지점에 위치한 마커에 기록된 축점(좌표축)을 인식한다.
상술한 축점은 후술하는 영상병합부에서 운동형상학적 정보들의 캘리브레이션(병합) 과정시에 사용된다.
또한, 상기 보행정보 획득부(110)는 외부요인으로 인하여 복수 개의 깊이(Depth) 카메라 또는 2D 카메라의 촬영위치가 변화될 경우, 설정된 촬영지점에 구비된 마커의 위치(좌표)를 추적하는 좌표센서를 포함할 수 있다.
다음으로, 보행정보 수집부(130)는 복수 개의 깊이(Depth) 카메라 또는 2D 카메라, 또는 관성 센서나 모션 캡쳐 장비에서 획득한 대상체의 보행에 따른 운동형상학적정보(3차원 및/또는 2차원 골격정보)를 수집한 후, 동일 축 방향에 위치한 깊이 카메라의 운동형상학정보(3차원 및/또는 2차원 골격정보)를 세부분류한 후, 동일 축 지점에 위치한 촬영된 영상으로부터 추출된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 캘리브레이션(병합수정)한다.
여기서, 캘리브레이션(병합수정) 과정은 마커를 통해 얻어지는 3개 또는 그 이상의 축점을 기반으로 각 프레임을 좌표축을 변환하고, 변환된 좌표축의 3차원 및/또는 2차원 행렬을 계산한 후, 복수 개의 영상에서 추출된 운동형상학정보(3차원 및/또는 2차원 골격정보 및 관절정보)를 하나의 좌표축(x, y, z)으로 오버랩하는 과정일 수 있다.
일 예로, 기 설정된 보행로의 좌, 우측에 총 4개의 깊이 카메라가 배치되고, 보행자가 0~8초까지 보행로를 보행했다고 가정할 경우, 1, 2번 깊이 카메라는 0~3초대에 보행한 보행자의 운동형상학정보를 제공하고, 3, 4번 깊이 카메라는 2.5~5.5 대에 보행한 보행자의 운동형상학정보를 제공한다면, (1, 2) (3, 4) 각각 좌/우 운동형상학정보를 병합할 수 있고, (1,3) (2, 4) 앞/뒤의 운동형상학정보를 병합할 수 있다.
다른 예로, 기 설정된 보행로의 일측에 총 4개의 깊이 카메라가 일정 간격으로 배치되고, 보행자가 0~8초까지 보행로를 보행했다고 가정할 경우, 1~4 개의 깊이 카메라에서 시간 별로 촬영된 보행자의 운동형상학정보를 앞 뒤로 병합할 수도 있다.
또한, 상술한 보행로는 일정한 길이를 가지는 실제 공간일 수도 있고, 지속적인 보행이 가능한 런닝 머신 등의 기구일 수도 있다.
다음으로, 보행파라미터 추출 및 분류부(140)는 캘리브레이션된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 보행 파라미터를 추출한 후, 추출된 보행파라미터 혹은 연속된 골격정보를 이용하여 보행의 종류를 분류하거나, 기계학습의 입력데이터로 사용하는 구성일 수 있다.
여기서, 보행파라미터 추출 및 분류부(140)는 추출된 보행 파라미터 혹은 연속된 골격 정보를 기계학습 모델, 예컨대, 심층신경망(CNN, RNN), K-NN, K-MEANS, RANDOM FOREST 등의 알고리즘을 이용하여 보행의 종류, 예컨대, 정상 보행(Normal Gait), 진통성 보행(Antlgic Gait), 관절 이상 관련 보행(Arthrogenic Gait), 전방 정강이 근육 약화로 인한 보행(Steppage Gait), 대둔근의 약화로 인한 보행(Lurching Gait), 중둔근의 약화로 인한 보행(Trendelenburg Gait), 병적 보행(Pathological Gait) 중 어느 하나로 분류할 수 있다. 본 발명에서 열거한 보행 종류는 일 예시에 불과하다.
예를 들어, 관절 이상 보행(Arthrogenic Gait)으로 분류된 경우, 발목, 무릎, 또는 골반에 문제가 있을 가능성이 높으므로, 분류된 보행 종류는 전문각가 의학적 소견을 제시할 때 큰 도움을 줄 수 있다. 또한, 병적 보행(Pathological Gait)으로 분류될 경우, 보행자가 병원에 방문할 수 있도록 권유하기 위한 정보로 활용될 수 있다.
또한, 보행 파라미터 추출 및 분류부에서 추출된 보행 파라미터 혹은 연속된 골격 정보는 그 자체만으로도 보행의 이상을 판단하는 척도로 사용할 수 있다. 여기서, 보행 파라미터는 보폭, 속도, 허리만곡도, 왼쪽/오른쪽 무릎각, 발목각 골반뒤틀림각 등일 수 있다.
보행속도는 몸 중심 관절의 이동거리/이동시간으로 산출되고, 보폭은 양 발목의 멈춤 구간 사이의 z 축 방향 거리(Z 축 방향: 보행방향)로 산출되고, 무릎 굽힘 각도는 보행 동안 허벅지 관절-무릎 관절-발목 관절이 이루는 각도의 평균값으로 산출하고, 허리 만곡도는 보행 중 머리-몸 중심을 있는 벡터가 절대 좌표계 상에서 이루는 각도로 산출한다.
상기 보행 결과 통보부(150)는 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판별하거나 또는 병적 보행으로 분류되는지 판단한 후, 보행자 또는 전문가에게 그 결과를 제공한다.
상기 보행 결과 통보부(150)는 보행 파라미터별 권장값을 이용하여 보행자의 보행 이상여부를 판별한다.
상기 보행 결과 통보부(150)는 판별하는 기준으로, ① 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지, ② 보행 파라미터가 평소와 얼마나 달라졌는지, ③ 보행자의 보행이 병적 보행으로 분류되는지(전체 관절 정보 혹은 보행 파라미터를 기계학습모델에 입력하였을 때 분류된 결과가 병적 보행인지 또는 보행 파라미터 자체를 분석하였을 때 병적 보행인지) 등을 기준으로 삼을 수 있다.
예를 들어, “정상 보행”과 “병적 보행”로 2개의 클래스를 나눌 수도 있고, 또는 “정상 보행”, “병적 보행 1”“병적 보행 2”…“병적 보행 n”등과 같이 나눌 수도 있다, 즉, “정상 보행” 범주도 사용자가 원하는 만큼 n개의 클래스로 분류할 수 있으므로, 기준은 상황에 따라 가변될 수 있다.
한편, 보행 결과 통보부(150)는 보행 횟수에 따라 다양한 보행 이상을 판별할 수 있다.
-한번의 보행으로 판별 가능한 예 -
1)보행 속도의 이상: 나이 대 별 평균 보행 속도와 비교하여 20%이상 차이나면 이상 감지 2)보폭 길이 이상: 권장 보폭 (신장 - 1m) 과 비교하여 20%이상 차이나면 감지 3)좌우 보폭 불균형 감지: 오른발 보폭과 왼발 보폭의 차이가 20cm 이상 차이나면 감지 4) 전후 허리 만곡도: 허리의 전/후 만곡도가 10도 이상이면 감지 5) 좌우 허리 만곡도: 허리의 좌/우 만곡도가 10도 이상이면 감지 6) 보행 분류: 분류된 보행의 종류가 병적 보행이면 이상판별 등일 수 있다.
-다수의 보행으로 판별가능한 예 -
1) 보행 속도의 이상: 평소에 걷던 보행 속도와 10% 이상 차이가 나거나 점점 감소하는 경우 2) 보폭 길이 이상: 평소에 걷던 보폭과 10% 이상 차이가 나거나 점점 감소하는 경우 3) 좌우 보폭 불균형 감지: 좌우 보폭의 차이가 평소와 10% 이상 차이나거나 점점 증가하는 경우 4) 전후 허리 만곡도: 허리의 전/후 만곡도가 평소와 10% 이상 차이나거나 점점 증가하는 경우 5) 좌우 허리 만곡도: 허리의 좌/우 만곡도가 평소와 10% 이상 차이나거나 점점 증가하는 경우 6) 무릎 굽힘 각도: 무릎 굽힘 각도가 평소와 10% 이상 차이나거나 점점 감소하는 경우 등일 수 있다.
한편, 본원에 개시한 보행정보 수집부(130), 보행 파라미터 추출부(140) 및 보행 결과 통보부(150)는 데이터베이스(160)와 연동될 수 있다.
데이터베이스(160)는 각 구성에서 수집, 추출, 판단한 정보를 저장하고, 기존 저장된 정보를 업로드할 수 있다.
데이터베이스(160)는 오라클(Oracle), MYSQL, MSSQL, 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이터베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이터베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 목적에 맞게 구현될 수 있도록 필드(field) 또는 엘리먼트를 포함할 수 있다.
각 필드(field) 또는 엘리먼트는 상위 개념 또는 하위 개념의 필드 또는 엘리먼트로 형성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 보행 분석 방법을 설명한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 보행 분석 방법(S700)은 먼저,
보행자의 신원이 확인(S710)되면, 보행정보 획득부(120)에서 보행영상 내의 보행자의 운동형상학적 정보를 추출(S720)한다.
보행정보 수집부(130)는 단일 또는 복수 개의 깊이(Depth) 카메라 또는 2D 카메라 또는 관성 센서 또는 모션 캡처 장비에서 획득한 대상체의 보행에 따른 운동형상학적정보(3차원 및/또는 2차원 골격정보)를 수집한 후, 동일 축 방향에 위치한 깊이 카메라의 운동형상학정보(3차원 및/또는 2차원 골격정보)를 세부분류한 후, 동일 축 지점에 위치한 촬영된 영상으로부터 추출된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 캘리브레이션(병합수정)(S730)한다.
여기서, 캘리브레이션(병합수정) 과정은 마커를 통해 얻어지 3개의 축점을 기반으로 각 프레임을 좌표축을 변환하고, 변환된 좌표축의 3차원 및/또는 2차원 행렬을 계산한 후, 복수 개의 영상에서 추출된 운동형상학정보(3차원 및/또는 2차원 골격정보 및 관절정보)를 하나의 좌표축(x, y, z)으로 오버랩하는 과정일 수 있다.
일 예로, 기 설정된 보행로의 좌, 우측에 총 4개의 깊이 카메라가 배치되고, 보행자가 0~8초까지 보행로를 보행했다고 가정할 경우, 1, 2번 깊이 카메라는 0~3초대에 보행한 보행자의 운동형상학정보를 제공하고, 3, 4번 깊이 카메라는 2.5~5.5 대에 보행한 보행자의 운동형상학정보를 제공한다면, (1, 2) (3, 4) 각각 좌/우 운동형상학정보를 병합할 수 있고, (1,3) (2, 4) 앞/뒤의 운동형상학정보를 병합할 수 있다.
다른 예로, 기 설정된 보행로의 일측에 총 4개의 깊이 카메라가 일정 간격으로 배치되고, 보행자가 0~8초까지 보행로를 보행했다고 가정할 경우, 1~4 개의 깊이 카메라에서 시간 별로 촬영된 보행자의 운동형상학정보를 앞 뒤로 병합할 수도 있다.
한편, S730 과정은 골격의 좌표에 대한 신뢰도를 계산하는 과정 및 좌표의 신뢰도가 기준치 이상인 운동형상학적 정보들만을 이용하여 병합과정을 포함할 수 있다.
이후, S730 과정이 완료되면, 보행파라미터 추출 및 분류부(140)에서 캘리브레이션된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 보행 파라미터를 추출 및 분류(S740)한다.
일 예로, 상기 S740 과정은 추출된 보행파라미터 혹은 연속된 골격정보를 기계학습 모델, 예컨대, 심층신경망(CNN, RNN), K-NN, K-MEANS, RANDOM FOREST 등의 알고리즘을 이용하여 보행 종류, 예컨대, 정상 보행(Normal Gait), 진통성 보행(Antlgic Gait), 관절 이상 관련 보행(Arthrogenic Gait), 전방 전강이 근육 강화로 인한 보행(Steppage Gait), 대둔근의 약화로 인한 보행(Lurching Gait), 중둔근의 약화로 인한 보행(Trendelenburg Gait), 병적 보행(Pathological Gait) 중 어느 하나로 분류하는 과정을 포함한다. 본 발명에서 열거한 보행 종류는 일 예시에 불과하다.
예를 들어, 관절 이상 보행(Arthrogenic Gait)으로 분류된 경우, 발목, 무릎, 또는 골반에 문제가 있을 가능성이 높음으로, 분류된 보행 종류는 전문각가 의학적 소견을 제시할 때 큰 도움을 줄 수 있다. 또한, 병적 보행(Pathological Gait)으로 분류될 경우, 보행자가 병원에 방문할 수 있도록 권유하기 위한 정보로 활용될 수 있다.
또한, 추출된 보행 파라미터 혹은 연속된 골격 정보는 그 자체만으로도 보행의 이상을 판단하는 척도로 사용할 수도 있고, 기계학습 모델의 입력으로 사용할 수도 있다. 여기서, 보행 파라미터는 보행 속도, 보행자의 신장, 보행 중 손의 움직임, 보폭 길이, 전후 허리 만곡도, 좌우 허리 만곡도, 무릎굽힘각, 각 관절의 각도, 입각기 및 유각기의 시간 중 적어도 하나 이상을 포함할 수 있으며, 이에 한정되지는 않는다.
보행속도는 몸 중심 관절의 이동거리/이동시간으로 산출되고, 보폭은 양 발목의 멈춤 구간 사이의 z 축 방향 거리(Z 축 방향: 보행방향)로 산출되고, 무릎 굽힘 각도는 보행 동안 허벅지 관절-무릎 관절-발목 관절이 이루는 각도의 평균값으로 산출하고, 허리 만곡도는 보행 중 머리-몸 중심을 있는 벡터가 절대 좌표계 상에서 이루는 각도로 산출한다.
상기 S740 과정이 완료되면, 보행 결과 통보부(150)에서 보행 파라미터를 기초로 보행자의 보행 이상을 판단(S750)한다.
상기 S750 과정은 보행 파라미터별 권장값을 이용하여 보행자의 보행 이상여부를 판별하는 과정으로, 보행 횟수에 따라 다양한 보행 이상을 판별하는 과정이다.
여기서, 상기 S750 과정에서 판별하는 기준으로, ① 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지, ② 보행 파라미터가 평소와 얼마나 달라졌는지, ③ 보행자의 보행이 병적 보행으로 분류되는지(전체 관절 정보 혹은 보행 파라미터를 기계학습모델에 입력하였을 때 분류된 결과가 병적 보행인지 또는 보행 파라미터 자체를 분석하였을 때 병적 보행인지) 등을 기준으로 삼을 수 있다.
예를 들어, “정상 보행”과 “병적 보행”로 2개의 클래스를 나눌 수도 있고, 또는 “정상 보행”, “병적 보행 1”“병적 보행 2”…“병적 보행 n”등과 같이 나눌 수도 있다, 즉, “정상 보행” 범주도 사용자가 원하는 만큼 n개의 클래스로 분류할 수 있으므로, 기준은 상황에 따라 가변될 수 있다.
-한번의 보행으로 판별가능한 예 -
1)보행 속도의 이상: 나이 대 별 평균 보행 속도와 비교하여 20%이상 차이나면 이상 감지 2)보폭 길이 이상: 권장 보폭 (신장 - 1m) 과 비교하여 20%이상 차이나면 감지 3)좌우 보폭 불균형 감지: 오른발 보폭과 왼발 보폭의 차이가 20cm 이상 차이나면 감지 4) 전후 허리 만곡도 : 허리의 전/후 만곡도가 10도 이상이면 감지 5) 좌우 허리 만곡도 : 허리의 좌/우 만곡도가 10도 이상이면 감지 6) 보행 분류: 분류된 보행의 종류가 병적 보행이면 이상판별 등일 수 있다.
-다수의 보행으로 판별가능한 예 -
1) 보행 속도의 이상: 평소에 걷던 보행 속도와 10% 이상 차이가 나거나 점점 감소하는 경우 2) 보폭 길이 이상: 평소에 걷던 보폭과 10% 이상 차이가 나거나 점점 감소하는 경우 3) 좌우 보폭 불균형 감지: 좌우 보폭의 차이가 평소와 10% 이상 차이나거나 점점 증가하는 경우 4) 전후 허리 만곡도: 허리의 전/후 만곡도가 평소와 10% 이상 차이나거나 점점 증가하는 경우 5) 좌우 허리 만곡도: 허리의 좌/우 만곡도가 평소와 10% 이상 차이나거나 점점 증가하는 경우 6) 무릎 굽힘 각도: 무릎 굽힘 각도가 평소와 10% 이상 차이나거나 점점 감소하는 경우 등일 수 있다.
본 발명의 일 실시예에 따른 보행 분석 시스템 및 방법을 이용하면, 보행자의 보폭, 속도, 허리 만곡도, 평균 무릎 굽힘 각도 등을 보다 정확하게 측정할 수 있고, 이를 토대로, 보행자의 보행동작 이상여부를 판단할 수 있다는 이점이 있다.
도 7은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다. 또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

Claims (17)

  1. 보행자의 신원을 확인하는 신원확인부;
    상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부;
    촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하여 수집하는 보행정보 수집부;
    병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 추출된 보행파라미터 혹은 연속된 골격정보를 이용하여 보행의 종류를 분류하거나, 기계학습의 입력데이터로 사용하는 보행파라미터 추출 및 분류부; 및
    상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행으로 분류되는지 판단한 후, 보행자 또는 전문가에게 그 결과를 제공하는 보행 결과 통보부를 포함하는 보행 분석 시스템.
  2. 제1항에 있어서,
    상기 보행정보 획득부는 하나 또는 복수 개의 깊이 카메라, 또는 2D 카메라 또는 관성 센서 또는 모션 캡처 장비 등 인체의 공간 형상학적 정보를 추출할 수 있는 장치를 이용하여 보행자의 보행 동작을 촬영하는 것을 특징으로 하는 보행 분석 시스템.
  3. 제1항에 있어서,
    상기 보행정보 획득부는
    복수개의 카메라로 보행동작 촬영시 보행로 상에 일정 간격으로 배열된 3개의 축점이 기록된 마커를 인식하고,
    상기 3개의 축점을 기초로 촬영된 운동형상학정보(3차원 및/또는 2차원 골격정보)들 각각의 3차원 및/또는 2차원 변환 행렬을 계산하고, 좌표축을 변환시키는 보행 분석 시스템.
  4. 제3항에 있어서,
    상기 보행정보 수집부는
    복수개의 카메라로 정보 수집시 상기 운동형상학적 정보(3차원 및/또는 2차원 골격정보)의 3개 또는 그 이상의 축점을 기초로 병합하는 것을 특징으로 하는 보행 분석 시스템.
  5. 제4항에 있어서,
    상기 보행정보 수집부는
    복수개의 카메라로 보행동작 촬영시 동일 시간에 측정된 좌/우 또는 앞/뒤 운동형상학정보 중 기준치 이상의 신뢰도를 갖는 운동형상학정보를 병합하는 것을 특징으로 하는 보행 분석 시스템.
  6. 제5항에 있어서,
    상기 보행 파라미터는
    보행 속도, 보행자의 신장, 보행 중 손의 움직임, 보폭 길이, 전후 허리 만곡도, 좌우 허리 만곡도, 무릎굽힘각, 각 관절의 각도, 입각기 및 유각기의 시간 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 보행 분석 시스템.
  7. 제1항에 있어서,
    상기 보행결과 통보부는
    상기 적어도 하나 이상의 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지를 기초로 보행 이상을 판별하는 것을 특징으로 하는 보행 분석 시스템.
  8. 제7항에 있어서,
    상기 보행결과 통보부는
    상기 보행 파라미터가 평소와 얼마나 달라졌는지를 기초로 보행 이상을 판별하는 것을 특징으로 하는 보행 분석 시스템.
  9. 제1항에 있어서,
    상기 보행결과 통보부는
    보행자의 보행이 병적 보행으로 분류되는 지를 기초로 보행 이상을 판별하는 것을 특징으로 하는 보행 분석 시스템.
  10. 신원확인부에서 보행자의 신원을 확인하는 신원확인단계;
    보행정보 수집부에서 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 운동형상학적 정보 추출단계;
    보행정보 수집부에서 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하는 병합단계;
    보행파라미터 추출 및 분류부에서 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출 및 추출된 보행 파라미터 혹은 연속된 골격정보를 이용하여 보행을 분류하거나 기계학습의 입력데이터로 사용하는 보행 파라미터 추출 및 분류단계; 및
    보행 결과 통보부에서 상기 적어도 하나 이상의 보행 파라미터 혹은 분류된 보행의 종류를 기초로 보행자의 보행이상을 판단하는 보행이상 판별단계를 포함하는 보행 분석 방법.
  11. 제10항에 있어서,
    운동형상학적정보 추출단계는 단일 또는 복수 개의 깊이 카메라 또는 2D 카메라 또는 관성 센서나 모션 캡처 장비를 이용하여 보행자의 보행동작을 촬영하는 단계를 포함하는 것을 특징으로 하는 보행 분석 방법.
  12. 제10항에 있어서,
    상기 운동형상학적 정보 추출단계는
    복수개의 카메라로 보행동작 촬영시 보행로 또는 연속적인 보행이 가능한 장치 상에 일정 간격으로 배열된 3개의 축점이 기록된 마커를 인식한 후, 상기 3개의 축점을 기초로 촬영된 운동형상학정보(3차원 및/또는 2차원 골격정보)들 각각의 3차원 변환 행렬을 계산하고, 좌표축을 변환시키는 단계를 포함하는 보행 분석 방법.
  13. 제10항에 있어서,
    상기 병합단계는
    복수개의 카메라로 정보 수집시 상기 운동형상학적 정보(3차원 및/또는 2차원 골격정보)의 3개의 축점을 기초로 병합하는 단계인 것을 특징으로 하는 보행 분석 시스템.
  14. 제13항에 있어서,
    상기 병합단계는
    복수개의 카메라로 보행동작 촬영시 동일 시간에 측정된 좌/우 또는 앞/뒤 운동형상학정보 중 기준치 이상의 신뢰도를 갖는 운동형상학정보를 병합하는 단계를 포함하는 것을 특징으로 하는 보행 분석 방법.
  15. 제10항에 있어서,
    상기 보행이상 판별단계는
    상기 적어도 하나 이상의 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지를 기초로 보행 이상을 판별하는 단계인 것을 특징으로 하는 보행 분석 방법.
  16. 제10항에 있어서,
    상기 보행이상 판별단계는
    상기 보행 파라미터가 평소와 얼마나 달라졌는지를 기초로 보행 이상을 판별하는 단계인 것을 특징으로 하는 보행 분석 방법.
  17. 제10항에 있어서,
    상기 보행이상 판별단계는
    보행자의 보행 분류 결과를 기초로 보행 이상을 판별하는 단계인 것을 특징으로 하는 보행 분석 방법.
PCT/KR2020/019341 2020-05-07 2020-12-29 보행 분석 시스템 및 방법 WO2021225249A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20934680.8A EP4147637A4 (en) 2020-05-07 2020-12-29 GAIT ANALYSIS SYSTEM AND METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0054386 2020-05-07
KR1020200054386A KR102297110B1 (ko) 2020-05-07 2020-05-07 보행 분석 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2021225249A1 true WO2021225249A1 (ko) 2021-11-11

Family

ID=77784811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/019341 WO2021225249A1 (ko) 2020-05-07 2020-12-29 보행 분석 시스템 및 방법

Country Status (3)

Country Link
EP (1) EP4147637A4 (ko)
KR (1) KR102297110B1 (ko)
WO (1) WO2021225249A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477479B1 (ko) * 2021-12-29 2022-12-14 광주과학기술원 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법
KR20240091591A (ko) 2022-12-14 2024-06-21 주식회사 비라이프 영상 객체 인식을 이용한 보행분석 시스템
WO2024135979A1 (ko) * 2022-12-23 2024-06-27 주식회사 리모 근로자의 건강 관리 제공 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100004967A (ko) * 2007-01-30 2010-01-13 파나소닉 전공 주식회사 보행 능력 진단 시스템
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
KR101373628B1 (ko) * 2012-09-28 2014-03-12 주식회사 자세과학 보행 분석 장치
JP2016140591A (ja) * 2015-02-03 2016-08-08 国立大学法人 鹿児島大学 動作解析評価装置、動作解析評価方法、及びプログラム
WO2018066421A1 (ja) * 2016-10-07 2018-04-12 パナソニックＩｐマネジメント株式会社 認知機能評価装置、認知機能評価システム、認知機能評価方法、及び、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130013935A (ko) 2011-07-29 2013-02-06 (주)우리들웰니스 보행자 보법 분석시스템
WO2014112632A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
US20170243354A1 (en) * 2016-02-19 2017-08-24 Xerox Corporation Automatic frontal-view gait segmentation for abnormal gait quantification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100004967A (ko) * 2007-01-30 2010-01-13 파나소닉 전공 주식회사 보행 능력 진단 시스템
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
KR101373628B1 (ko) * 2012-09-28 2014-03-12 주식회사 자세과학 보행 분석 장치
JP2016140591A (ja) * 2015-02-03 2016-08-08 国立大学法人 鹿児島大学 動作解析評価装置、動作解析評価方法、及びプログラム
WO2018066421A1 (ja) * 2016-10-07 2018-04-12 パナソニックＩｐマネジメント株式会社 認知機能評価装置、認知機能評価システム、認知機能評価方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4147637A4 *

Also Published As

Publication number Publication date
EP4147637A4 (en) 2024-05-22
KR102297110B1 (ko) 2021-09-03
EP4147637A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
WO2021225249A1 (ko) 보행 분석 시스템 및 방법
Prakash et al. Passive marker based optical system for gait kinematics for lower extremity
JP6466139B2 (ja) 人間の動きを測定するロボット計測器
CN109919132A (zh) 一种基于骨架检测的行人跌倒识别方法
CN112287759A (zh) 基于关键点的跌倒检测方法
CN110472473A (zh) 基于姿态估计检测扶梯上人跌倒的方法
Martini et al. Enabling gait analysis in the telemedicine practice through portable and accurate 3D human pose estimation
CN116999057A (zh) 基于穿戴式传感器的偏瘫步态识别及偏瘫步态评估方法
Scott et al. From kinematics to dynamics: Estimating center of pressure and base of support from video frames of human motion
Jung et al. Walking-in-place characteristics-based geriatric assessment using deep convolutional neural networks
Verlekar Gait analysis in unconstrained environments
WO2023096394A1 (ko) 자세유형 판별을 위한 서버 및 그 동작방법
CN113271848B (zh) 身体健康状态影像分析装置、方法以及系统
CN114052725B (zh) 基于人体关键点检测的步态分析算法设定方法以及装置
CN115564795A (zh) 一种基于多模态信息的三维人体姿态估计方法
Hellmers et al. Validation of a motion capture suit for clinical gait analysis
CN114495256A (zh) 一种基于深度传感器和机器学习的异常跑姿识别方法
JP2020124367A5 (ko)
Xiang et al. Single camera based gait analysis method with scaled and image coordinate key-points
WO2023149651A1 (ko) 인공지능을 이용한 동영상 및 발바닥 압력기반 자세추출 방법
Armstrong et al. A marker-less human motion analysis system for motion-based biomarker discovery in knee disorders
Yang et al. A video-based method for assessment of hip-knee-ankle coordination during walking
WO2023121376A1 (ko) 이미지를 이용하여 임상 평가 정보를 제공하는 방법 및 장치
WO2022216102A1 (ko) 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법
Liu Video-Based Gait Analysis for Health Monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20934680

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020934680

Country of ref document: EP

Effective date: 20221207