KR20200127647A - 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법 - Google Patents

복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법 Download PDF

Info

Publication number
KR20200127647A
KR20200127647A KR1020190052195A KR20190052195A KR20200127647A KR 20200127647 A KR20200127647 A KR 20200127647A KR 1020190052195 A KR1020190052195 A KR 1020190052195A KR 20190052195 A KR20190052195 A KR 20190052195A KR 20200127647 A KR20200127647 A KR 20200127647A
Authority
KR
South Korea
Prior art keywords
equation
condition
ground
stance
acceleration
Prior art date
Application number
KR1020190052195A
Other languages
English (en)
Other versions
KR102192451B1 (ko
Inventor
박현주
Original Assignee
주식회사 인포웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인포웍스 filed Critical 주식회사 인포웍스
Priority to KR1020190052195A priority Critical patent/KR102192451B1/ko
Priority to US16/919,372 priority patent/US11497443B2/en
Publication of KR20200127647A publication Critical patent/KR20200127647A/ko
Application granted granted Critical
Publication of KR102192451B1 publication Critical patent/KR102192451B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A43B3/0005—
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement

Abstract

본 발명은 스마트 신발 및 이의 데이터 처리 방법에 관한 것으로서, 보다 구체적으로는 보행 동작을 인식하는 과정에서 정지 상태의 속도를 수정하면서 영속도를 보정함으로써, 이를 통해 보행자의 위치 및 방향을 정확하게 추정 가능하도록 하는 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법에 관한 것이다.
이를 위해 본 발명은, 양측 중 일측 발을 기준 발로 하여 상기 기준 발이 지면에서 떼어진 후 다시 지면에 닿는 기간을 보행 주기로 할 때, 기준 발이 지면에 닿는 입각기(stance phase)에 가속도 및 자이로를 검출하기 위한 입각기 측정수단과; 상기 기준 발이 지면으로부터 떨어지는 유각기(swing phase)의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하기 위한 유각기 측정수단과; 입각기 상태의 속도를 구하여 보정하기 위한 PUPT(Predict velocity UPdaTe) 수단;을 포함하는 것을 특징으로 한다.

Description

복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법{SMART SHOES BASED ON RECOGNITION OF COMBINED WALKING ACTION AND DATA PROCESSING METHOD HEREOF}
본 발명은 스마트 신발 및 이의 데이터 처리 방법에 관한 것으로서, 보다 구체적으로는 보행 동작을 인식하는 과정에서 정지 상태의 속도를 수정하면서 영속도를 보정함으로써, 이를 통해 보행자의 위치 및 방향을 정확하게 추정 가능하도록 하는 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법에 관한 것이다.
일반적으로, PDR(Pedestrian Dead Reckoning, 보행항법) 기술분야의 경우 IEZ(INS-EKF-ZUPT) 또는 SHS(Step and Heading System)을 이용하게 되는데, 여기서 IEZ은 여러 보행 항법 기술과 마찬가지로 보행시 발생하는 오차들의 누적으로 인해 시간이 지남에 따라 오차가 커진다는 단점이 존재하며, SHS는 관성센서를 허리 등에 부착하여 동작하는 방식으로 보폭 및 걸음을 정확히 측정하는 것에는 한계가 있다.
따라서, PDR 기술의 경우 오차를 잡는 것, 즉 오차를 줄이는 것이 기술의 정확도를 판단하는 측면에서 매우 중요한 요소라고 볼 수 있음에 따라, 관련 분야에서 보행 모션을 세분화하면서 센서 값을 통해 세분화된 보행 모션에 맞는 알고리즘을 적용하여 오차범위를 줄이는 연구에 주력하고 있다.
그러나 아직까지는 보행 항법에서 서있는 상태, 즉 정지상태에서의 속도를 0으로 보정하여 필터값으로 사용하는 ZUPT(Zero velocity UPdaTe) 방식의 채택이 보편적인 이유로, 보행 정지상태라 할지라도 불안정하게 서있는 상태에 대해서는 보행 모션에 반영되지 않아 근본적으로 PDR 분야에서 오차 범위를 감소시키기에는 한계가 존재하고 있기 때문에, 이를 해결하기 위한 연구가 필요한 실정이다.
대한민국 등록특허공보 제10-1250215호 대한민국 등록특허공보 제10-1522466호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 위치정보를 수신할 수 없는 장소에서도 보행 동작을 인식하여 정지 상태의 속도 수정과 영속도를 보정함에 따라 보행자의 위치 및 방향을 정밀하게 추정할 수 있는 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명은, 양측 중 일측 발을 기준 발로 하여 상기 기준 발이 지면에서 떼어진 후 다시 지면에 닿는 기간을 보행 주기로 할 때, 기준 발이 지면에 닿는 입각기(stance phase)에 가속도 및 자이로를 검출하기 위한 입각기 측정수단과; 상기 기준 발이 지면으로부터 떨어지는 유각기(swing phase)의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하기 위한 유각기 측정수단과; 입각기 상태의 속도를 구하여 보정하기 위한 PUPT(Predict velocity UPdaTe) 수단;을 포함하는 것을 특징으로 한다.
여기서, 상기 입각기 측정수단은 가속도 및 자이로의 크기 및 분산값을 통해 걸음 상태를 판단하는데, 특히 가속도에 대한 에너지, 곱, 합 및 분산값과 자이로에 대한 크기 중 적어도 어느 하나 이상을 통해 임계치를 두고 걸음 상태를 판단하는 것을 특징으로 한다.
더욱 상세하게, 상기 입각기 측정수단은 하기 수학식 1에 의해 가속도에 대한 에너지(Energy) 및 에너지 분산값(VarEnergy)을 취득하고, 하기 수학식 2에 의해 곱(Product) 및 곱의 분산값(VarProduct)을 취득하고, 하기 수학식 3에 의해 합(Sum) 및 합의 분산값(Varsum)을 취득하고, 하기 수학식 4에 의해 자이로에 대한 놈(Norm Gyro) 및 놈의 분산값(VarNg)을 취득하여, 하기 수학식 5에 의해 입각기 걸음 상태(Conditionstance)를 판단하는 것을 특징으로 한다.
수학식 1:
Figure pat00001
Figure pat00002
수학식 2:
Figure pat00003
Figure pat00004
수학식 3:
Figure pat00005
Figure pat00006
수학식 4:
Figure pat00007
Figure pat00008
Figure pat00009
수학식 5: Condition stance = Condition Ve ㆍ Condition Vp ㆍ Condition Vs ㆍCondition Ng ㆍCondition Gy
(여기서,
Figure pat00010
는 신발 진행 방향이고,
Figure pat00011
은 지면에 수직인 방향이고, g는 중력 가속도이고,
Figure pat00012
는 일정시간 동안 저장된 센서 데이터로 현재로부터 임의의 과거 k시점의 데이터 집합을 말하고,
Figure pat00013
는 VarEnergy이고,
Figure pat00014
는 VarProduct이고,
Figure pat00015
는 Varsum이고,
Figure pat00016
는 자이로의 y축 값이고, th는 임계치이며, 걸음 상태(Conditionstance)는 ConditionVe, ConditionVp, ConditionVs, ConditionNg 및 ConditionGy 값의 곱이 1일 때 입각기로 가정함)
또한, 상기 유각기 측정수단은 하기 수학식 6에 의해 가속도 차이(Diffaz)를 검출하여 하기 수학식 7에 의해 유각기 걸음 상태(ConditionHeel)를 판단하는 것을 특징으로 한다.
수학식 6:
Figure pat00017
Figure pat00018
Figure pat00019
수학식 7: Condition Heel = Condition Diff ㆍCondition time
(여기서,
Figure pat00020
는 지면과 수직인 신발 진행방향이고,
Figure pat00021
는 바로 이전의 지면과 수직인 방향이며, th는 임계치임)
상기 PUPT 수단은 센서에 의해 지면에 닿는 신발 밑창의 위치를 설정하여 보정값으로 사용하며, 보행 중 입각기에서 유각기로 위상 변화 시 지면에 닿는 신발의 특정 접촉점을 센서 데이터의 연산을 통해 확인하여 취득된 접촉점에 가해지는 힘(Lever Arm Vector)과 회전각을 곱하여 얻어진 신발의 순간속도를 상기 PUPT 수단에 적용하는 것을 특징으로 한다.
특히 하기 조건 1에 따라 신발 밑창의 위치를 설정하고, 센서 및 밑창 사이의 벡터(rb)는 하기 수학식 8에 의해 취득하고, 보정하고자 하는 속도값(Vb)은 하기 수학식 9에 의해 취득하며, 추정 가속도(Acc)는 하기 수학식 10에 의해 취득하는 것을 특징으로 한다.
조건 1:
Figure pat00022
수학식 8:
Figure pat00023
수학식 9:
Figure pat00024
수학식 10:
Figure pat00025
(여기서, Value1 내지 Value3는 2개의 임계치(th1 및 th2)에 의해 구분된 신발 밑창과 지면이 접촉하는 3개의 접촉점을 나타내고, pitch는 x축 중심 회전 방향이고, roll은 y축 중심 회전이고, r은 lever-arm 벡터로 회전체 및 중심축 사이에 전해지는 토크 벡터를 의미하고, b는 바디(body) 프레임이고, S(Skewsymm)는 반대칭 행렬이고, i는 관성 프레임이고, th는 임계치이고, Vb는 바디의 순간속도이고, gyro는 방향각이고, C는 DCM (Direction Cosine Matrix)이고 이는 회전된 물체의 회전각 값을 갖는 행렬로 자세를 뜻하며, C*는 DCM의 전치행렬이며, g는 중력가속도임)
추가로, 보행자마다 상이한 보행 모션 및 신발 크기에 따른 보행 데이터를 수집 후 딥러닝 방식을 통해 보상값을 분석하기 위한 보행 분석서버에 의해 상기 PUPT 수단이 보정한 입각기 상태의 속도가 필터링되는 것을 특징으로 한다.
한편으로, 본 발명은, 상기 입각기 측정수단이 입각기에서 가속도에 대한 에너지, 곱, 합 및 분산값과 자이로에 대한 크기 중 적어도 어느 하나 이상을 통해 보폭 및 방위각을 예측하는 입각기 예측단계와; 상기 유각기 측정수단이 유각기의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하는 유각기 감지단계와; 상기 PUPT 수단이 입각기 상태의 속도를 보정하여 보폭 및 방위각을 추정한 다음으로 위치를 추정하는 위치 추정단계;를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법은 위치정보를 수신할 수 없는 곳에서도 정지 상태의 속도 수정과 영속도를 보정함에 따라 보행자의 위치 및 방향을 정밀하게 추정하도록 보행 상태를 인식할 수 있다.
예로써, 소방관이 위치 정보를 수신할 수 없는 실내에 진입할지라도, 신발을 통해 보행 상태를 확인하여 소방관의 위치를 실시간으로 탐지할 수 있음에 따라, 결과적으로 여러 소방관들의 위치를 전체적으로 원활하게 모니터링하도록 할 수 있다.
도 1은 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발의 주요 구성요소를 도시한 블록도.
도 2는 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발의 다중 접촉점 모델링을 개략적으로 도시한 도면.
도 3은 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발의 데이터 처리 방법을 도시한 순서도.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조로 하여 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법을 설명하기로 한다.
도 1은 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발의 주요 구성요소를 도시한 블록도이고, 도 2는 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발의 다중 접촉점 모델링을 개략적으로 도시한 도면이다.
본 발명은 기본적으로 입각기(stance phase) 측정수단과, 유각기(swing phase) 측정수단과, PUPT(Predict velocity UPdaTe) 수단을 포함하여 구성된다.
보다 구체적으로, 본 발명은 양측 중 일측 발을 기준 발로 하여 기준 발이 지면에서 떼어진 후 다시 지면에 닿는 기간을 보행 주기로 할 때, 기준 발이 지면에 닿는 입각기에 가속도 및 자이로를 검출하기 위한 입각기 측정수단과, 기준 발이 지면으로부터 떨어지는 유각기의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하기 위한 유각기 측정수단과, 입각기 상태의 속도를 구하여 보정하기 위한 PUPT 수단을 포함하여 이루어진다.
여기서, 상기 보행 주기는 기준 발을 오른발로 할 경우 오른발을 지면에 디딘 상태에서 왼발을 디딘 다음 다시 오른발 뒷꿈치가 지면에 닿는 순간을 의미하며, 일반적인 의미로는 두 걸음을 뜻하게 된다.
또한, 기준 발을 기점으로 상기 입각기는 발이 지면에 닿는 동안을 의미하고, 세부적으로는 발 뒤꿈치 닿기, 발바닥 닿기, 중간 입각기, 발 뒤꿈치 들어올리기, 발끝 밀기로 구분될 수 있으며, 유각기는 발이 지면에서 떨어지는 동안을 의마하고, 세부적으로는 가속기, 중간 유각기, 감속기로 구분될 수 있다.
상기 입각기 측정수단은 가속도 및 자이로의 크기, 분산값을 통해 걸음 상태를 판단하는데, 특히 가속도에 대한 에너지, 곱, 합, 분산값과 자이로에 대한 크기 등을 통해 임계치를 두고 걸음 상태를 판단하게 된다.
더욱 상세하게, 상기 입각기 측정수단은 하기 수학식 1에 의해 가속도에 대한 에너지(Energy) 및 에너지 분산값(VarEnergy)을 취득하고, 하기 수학식 2에 의해 곱(Product) 및 곱의 분산값(VarProduct)을 취득하고, 하기 수학식 3에 의해 합(Sum) 및 합의 분산값(Varsum)을 취득하고, 하기 수학식 4에 의해 자이로에 대한 놈(Norm Gyro) 및 놈의 분산값(VarNg)을 취득하여, 하기 수학식 5에 의해 입각기 걸음 상태(Conditionstance)를 판단하게 된다.
수학식 1:
Figure pat00026
Figure pat00027
수학식 2:
Figure pat00028
Figure pat00029
수학식 3:
Figure pat00030
Figure pat00031
수학식 4:
Figure pat00032
Figure pat00033
Figure pat00034
수학식 5: Condition stance = Condition Ve ㆍ Condition Vp ㆍ Condition Vs ㆍCondition Ng ㆍCondition Gy
(여기서,
Figure pat00035
는 신발 진행 방향이고,
Figure pat00036
은 지면에 수직인 방향이고, g는 중력 가속도이고,
Figure pat00037
는 일정시간 동안 저장된 센서 데이터로 현재로부터 임의의 과거 k시점의 데이터 집합을 말하고,
Figure pat00038
는 VarEnergy이고,
Figure pat00039
는 VarProduct이고,
Figure pat00040
는 Varsum이고,
Figure pat00041
는 자이로의 y축 값이고, th는 임계치이며, 걸음 상태(Conditionstance)는 ConditionVe, ConditionVp, ConditionVs, ConditionNg 및 ConditionGy 값의 곱이 1일 때 입각기로 가정함)
수학식 1 내지 수학식 5에 대해 부연설명 하자면, 첫째로 가속도 관련하여 가속도 방향의 기준은 걸음걸이의 초기 정렬과정에서 방향이 정해질 수 있고, 자이로 x, y, z 방향의 기준도 가속도와 동일(ax: 신발 진행 방향, ay: 신발 바깥 방향으로 진행방향에 수직, az: 지면과 수직인 방향)하고, 둘째로 분산값 관련하여 입각기를 검출하기 위해 수집된 raw 데이터를 가공하고 가공된 데이터의 집합(Bufferk)의 분산을 이용하여 입각기 해당 유무를 검출한다.
또한, 상기 유각기 측정수단은 유각기에서 입각기로 변경되는 말기 유각기를 검출할 수 있고, 지면에 닿을 때 발생하는 가속도의 차이를 통해 이를 감지할 수 있으며, 하기 수학식 6에 의해 가속도 차이(Diffaz)를 검출하여 하기 수학식 7에 의해 유각기 걸음 상태(ConditionHeel)를 판단하게 된다.
수학식 6:
Figure pat00042
Figure pat00043
Figure pat00044
수학식 7: Condition Heel = Condition Diff ㆍCondition time
(여기서,
Figure pat00045
는 지면과 수직인 신발 진행방향이고,
Figure pat00046
는 바로 이전의 지면과 수직인 방향이며, th는 임계치임)
수학식 6 및 수학식 7에 대해 부연설명 하자면, 유각기를 검출하려 할 때 2가지 조건을 고려하게 되는데, 첫째로 발이 수직으로 움직이고 있는가(z축 가속도의 크기가 이전의 값과 차이가 크다는 것은 발이 내려오거나 올라가고 있다는 뜻으로 해석될 수 있음)이고, 둘째로 시간이 지났는가(연속적으로 값을 측정할 경우 z축 가속도 값의 차이가 임계치보다 작게 나타날 수 있으므로 최소 시간 이격을 둠이며, z축 방향의 가속도는 지면과 수직인 방향이고 이는 곧 z축(높이) 방향으로의 이동속성을 나타내는데 쓰인다.
상기 유각기 측정수단은 z축의 이전 가속도 값과 현재 가속도 값이 차이가 날 때로 간주하며, 입각기 및 유각기 사이의 최소 시간이 있으므로 입각기 및 유각기 이후 최소 기준 시간이 지난 다음으로 말기 유각기를 감지할 수 있도록 한다.
종래 IEZ(INS-EKF-ZUPT) 보행 항법 기술은 입각기 상태의 속도를 0으로 간주하는 ZUPT 알고리즘을 사용하지만, 입각기 상태일지라도 보행 특성상 움직임이 0이 아니라 어느 정도의 속도를 갖게 됨에 따라, PUPT 수단을 통해 입각기 상태의 속도를 구하여 보정해 줌으로써 오차를 줄일 수 있는데, 입각기는 말기 유각기 이후로 볼 수 있음에 따라, 발이 지면에 닿게 되는 말기 유각기 이후의 속도를 추정하는 것이 오차를 줄이는 방안이 될 수 있는 이유로, 말기 유각기 이후, 즉 유각기 이후의 속도를 구하기 위해 신발 밑창에 구비되는 센서를 통한 다중 접촉점 모델링에 의해 PUPT를 적용한다.
이를 위해, 상기 PUPT 수단은 센서에 의해 지면에 닿는 신발 밑창의 위치를 설정하여 보정값으로 사용하게 되는데, 보행 중 입각기에서 유각기로 위상 변화 시 지면에 닿는 신발의 특정 접촉점을 센서 데이터의 연산을 통해 확인하여 취득된 접촉점에 가해지는 힘(Lever Arm Vector)과 회전각을 곱하여 얻어진 신발의 순간속도를 PUPT 수단에 적용하게 된다.
특히 하기 조건 1에 따라 신발 밑창의 위치를 설정하고, 센서 및 밑창 사이의 벡터(rb)는 하기 수학식 8에 의해 취득하고, 보정하고자 하는 속도값(Vb)은 하기 수학식 9에 의해 취득하며, 추정 가속도(Acc)는 하기 수학식 10에 의해 취득하게 된다.
조건 1:
Figure pat00047
수학식 8:
Figure pat00048
수학식 9:
Figure pat00049
수학식 10:
Figure pat00050
(여기서, Value1 내지 Value3는 2개의 임계치(th1 및 th2)에 의해 구분된 신발 밑창과 지면이 접촉하는 3개의 접촉점을 나타내고, pitch는 x축 중심 회전 방향이고, roll은 y축 중심 회전이고, r은 lever-arm 벡터로 회전체 및 중심축 사이에 전해지는 토크 벡터를 의미하고, b는 바디(body) 프레임이고, S(Skewsymm)는 반대칭 행렬이고, i는 관성 프레임이고, th는 임계치이고, Vb는 바디의 순간속도이고, gyro는 방향각이고, C는 DCM (Direction Cosine Matrix)이고 이는 회전된 물체의 회전각 값을 갖는 행렬로 자세를 뜻하며, C*는 DCM의 전치행렬이며, g는 중력가속도임)
조건 1과 수학식 8 내지 수학식 10에 대해 부연설명 하자면, 본 발명에서는 다중 접촉점 신발 모델링을 통해 보행 항법의 측위 오차를 줄이는 방법을 사용하면서 이러한 모델링의 일례로 3개의 접촉점을 상정하여 위치를 추정하고 있음에 따라, 신발이 지면에 접촉 시 3개의 접촉점 중 어디에 접촉되었는지 판단하기 위해 자이로 데이터를 사용하고, 여기서 회전체와 중심축 사이에 전해지는 토크를 Lever-Arm이라 하고, Lever-Arm
Figure pat00051
는 관성 센서의 x축에 대한 가속도 성분 값들의 반대칭 행렬에서 다중 접촉점 신발 모델링으로부터 취해진 값을 빼서 구한 것이다(참고로 중심축 = 관성 센서:
Figure pat00052
, 회전체에 가해지는 힘의 지점: contactx으로 표기됨).
유각기를 검출하려 할 때 2가지 조건을 고려하게 되는데, 첫째로 발이 수직으로 움직이고 있는가(z축 가속도의 크기가 이전의 값과 차이가 크다는 것은 발이 내려오거나 올라가고 있다는 뜻으로 해석될 수 있음)이고, 둘째로 시간이 지났는가(연속적으로 값을 측정할 경우 z축 가속도 값의 차이가 임계치보다 작게 나타날 수 있으므로 최소 시간 이격을 둠이며, z축 방향의 가속도는 지면과 수직인 방향이고 이는 곧 z축(높이) 방향으로의 이동속성을 나타내는데 쓰인다.
상술된 바와 같은 상기 PUPT 수단에 따르면, 접촉점을 1개로 일반화 할 경우 보편적인 걸음걸이를 측정하는 것을 전제로 하는 것이므로 다양한 걸음걸이 (포복, 게걸음 등등)에 접목하기 어려우나, 신발에 다중 접촉점 모델링을 적용함에 따라 인해 일반적인 걸음(걸을 때 뒤꿈치를 먼저 땅에 닿게 걸음), 포복(엎드려 기는 자세로 발의 앞 끝이 땅에 먼저 닿음), 게걸음(옆으로 움직이는 자세로, 발의 사이드 또는 바닥 부분이 땅에 먼저 닿음) 등의 다양한 보행 자세를 확인할 수 있게 된다.
이하에서는 보행자별로 상이한 신발 크기, 보행 스타일에 따라 고려되어야 할 사항에 대해 살펴보기로 한다.
1) 신발 크기에 따른 속도 보상의 크기
PUPT 수단에 의해 말기 유각기에 접촉되는 신발의 위치를 감지하고 이에 따라 속도를 보정하게 되지만, 보행자마다 신발의 크기에 따라 센서와 밑창 접촉점 사이의 벡터 크기가 달라지므로 속도 보정 값이 달라져야 함
2) 보행자의 보행 스타일에 따른 접촉점 위치에 대한 문제
보행자의 보행 스타일에 따라 접촉점이 상이할 수 있기 때문에, 보행 모션에 따라 나뉜 접촉점의 위치에서 보행자의 스타일에 의한 미세조정이 이뤄져야 할 필요가 있음
위와 같은 문제를 해결하기 위해, 본 발명은 보행자마다 상이한 보행 모션 및 신발 크기에 따른 보행 데이터를 수집 후 딥러닝 방식을 통해 보상값을 분석하기 위한 보행 분석서버에 의해 PUPT 수단이 보정한 입각기 상태의 속도가 필터링되도록 할 수 있는데, 예로써 보행자의 위치 측위를 위해 보행자의 보행 데이터를 센서를 통해 수신하여 항법 계산을 실행하는 과정에서 빅데이터를 수집하면서 딥러닝을 수행하여 얻은 보상값을 필터에 적용함으로써 더욱 정확한 개인별 보행 항법 상태를 산출할 수 있게 된다.
도 3은 본 발명에 따른 복합 보행 동작 인식 기반 스마트 신발의 데이터 처리 방법을 도시한 순서도이다.
한편으로, 본 발명은 상기 입각기 측정수단이 입각기에서 가속도에 대한 에너지, 곱, 합 및 분산값과 자이로에 대한 크기 등을 통해 보폭 및 방위각을 예측하는 입각기 예측단계와, 유각기 측정수단이 유각기의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하는 유각기 감지단계와, PUPT 수단이 입각기 상태의 속도를 보정하여 보폭 및 방위각을 추정한 다음으로 위치를 추정하는 위치 추정단계를 포함하여 이루어진다.
기술된 바와 같은 본 발명의 과정에 따르면, 위치정보를 수신할 수 없는 곳에서도 정지 상태의 속도 수정과 영속도를 보정할 수 있음에 따라 걸음 상태의 측정 오차를 최소화함으로써 보행자의 위치 및 방향을 더욱 정밀하게 추정하도록 할 수 있으며, 예를 들어 소방관이 위치 정보를 수신할 수 없는 실내에 진입한 상황에서 스마트 신발을 통해 보행 상태를 확인하여 소방관의 위치를 실시간으로 탐지할 수 있음에 따라, 다수의 소방관들 위치를 동시에 모니터링할 수 있게 된다.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 양측 중 일측 발을 기준 발로 하여 상기 기준 발이 지면에서 떼어진 후 다시 지면에 닿는 기간을 보행 주기로 할 때, 기준 발이 지면에 닿는 입각기(stance phase)에 가속도 및 자이로를 검출하기 위한 입각기 측정수단과;
    상기 기준 발이 지면으로부터 떨어지는 유각기(swing phase)의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하기 위한 유각기 측정수단과;
    입각기 상태의 속도를 구하여 보정하기 위한 PUPT(Predict velocity UPdaTe) 수단;을 포함하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.
  2. 청구항 1에 있어서,
    상기 입각기 측정수단은 가속도 및 자이로의 크기 및 분산값을 통해 걸음 상태를 판단하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.
  3. 청구항 2에 있어서,
    상기 입각기 측정수단은 가속도에 대한 에너지, 곱, 합 및 분산값과 자이로에 대한 크기 중 적어도 어느 하나 이상을 통해 임계치를 두고 걸음 상태를 판단하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.
  4. 청구항 3에 있어서,
    상기 입각기 측정수단은 하기 수학식 1에 의해 가속도에 대한 에너지(Energy) 및 에너지 분산값(VarEnergy)을 취득하고, 하기 수학식 2에 의해 곱(Product) 및 곱의 분산값(VarProduct)을 취득하고, 하기 수학식 3에 의해 합(Sum) 및 합의 분산값(Varsum)을 취득하고, 하기 수학식 4에 의해 자이로에 대한 놈(Norm Gyro) 및 놈의 분산값(VarNg)을 취득하여, 하기 수학식 5에 의해 입각기 걸음 상태(Conditionstance)를 판단하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.

    수학식 1:
    Figure pat00053

    Figure pat00054


    수학식 2:
    Figure pat00055

    Figure pat00056


    수학식 3:
    Figure pat00057

    Figure pat00058


    수학식 4:
    Figure pat00059

    Figure pat00060

    Figure pat00061


    수학식 5: Condition stance = Condition Ve ㆍ Condition Vp ㆍ Condition Vs ㆍCondition Ng ㆍCondition Gy
    (여기서,
    Figure pat00062
    는 신발 진행 방향이고,
    Figure pat00063
    은 지면에 수직인 방향이고, g는 중력 가속도이고,
    Figure pat00064
    는 일정시간 동안 저장된 센서 데이터로 현재로부터 임의의 과거 k시점의 데이터 집합을 말하고,
    Figure pat00065
    는 VarEnergy이고,
    Figure pat00066
    는 VarProduct이고,
    Figure pat00067
    는 Varsum이고,
    Figure pat00068
    는 자이로의 y축 값이고, th는 임계치이며, 걸음 상태(Conditionstance)는 ConditionVe, ConditionVp, ConditionVs, ConditionNg 및 ConditionGy 값의 곱이 1일 때 입각기로 가정함)
  5. 청구항 1에 있어서,
    상기 유각기 측정수단은 하기 수학식 6에 의해 가속도 차이(Diffaz)를 검출하여 하기 수학식 7에 의해 유각기 걸음 상태(ConditionHeel)를 판단하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.

    수학식 6:
    Figure pat00069

    Figure pat00070

    Figure pat00071


    수학식 7: Condition Heel = Condition Diff ㆍ Condition time
    (여기서,
    Figure pat00072
    는 지면과 수직인 신발 진행방향이고,
    Figure pat00073
    는 바로 이전의 지면과 수직인 방향이며, th는 임계치임)
  6. 청구항 1에 있어서,
    상기 PUPT 수단은 센서에 의해 지면에 닿는 신발 밑창의 위치를 설정하여 보정값으로 사용하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.
  7. 청구항 6에 있어서,
    보행 중 입각기에서 유각기로 위상 변화 시, 지면에 닿는 신발의 특정 접촉점을 센서 데이터의 연산을 통해 확인하여 취득된 접촉점에 가해지는 힘(Lever Arm Vector)과 회전각을 곱하여 얻어진 신발의 순간속도를 상기 PUPT 수단에 적용하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.
  8. I청구항 7에 있어서,
    상기 PUPT 수단은 하기 조건 1에 따라 신발 밑창의 위치를 설정하고, 센서 및 밑창 사이의 벡터(rb)는 하기 수학식 8에 의해 취득하고, 보정하고자 하는 속도값(Vb)은 하기 수학식 9에 의해 취득하며, 추정 가속도(Acc)는 하기 수학식 10에 의해 취득하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.

    조건 1:
    Figure pat00074


    수학식 8:
    Figure pat00075


    수학식 9:
    Figure pat00076


    수학식 10:
    Figure pat00077

    (여기서, Value1 내지 Value3는 2개의 임계치(th1 및 th2)에 의해 구분된 신발 밑창과 지면이 접촉하는 3개의 접촉점을 나타내고, pitch는 x축 중심 회전 방향이고, roll은 y축 중심 회전이고, r은 lever-arm 벡터로 회전체 및 중심축 사이에 전해지는 토크 벡터를 의미하고, b는 바디(body) 프레임이고, S(Skewsymm)는 반대칭 행렬이고, i는 관성 프레임이고, th는 임계치이고, Vb는 바디의 순간속도이고, gyro는 방향각이고, C는 DCM (Direction Cosine Matrix)이고 이는 회전된 물체의 회전각 값을 갖는 행렬로 자세를 뜻하며, C*는 DCM의 전치행렬이며, g는 중력가속도임)
  9. 청구항 1에 있어서,
    보행자마다 상이한 보행 모션 및 신발 크기에 따른 보행 데이터를 수집 후 딥러닝 방식을 통해 보상값을 분석하기 위한 보행 분석서버에 의해 상기 PUPT 수단이 보정한 입각기 상태의 속도가 필터링되는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발.
  10. 청구항 1 내지 청구항 9 중 어느 한 항에 따른 스마트 신발의 데이터 처리 방법에 있어서,
    상기 입각기 측정수단이 입각기에서 가속도에 대한 에너지, 곱, 합 및 분산값과 자이로에 대한 크기 중 적어도 어느 하나 이상을 통해 보폭 및 방위각을 예측하는 입각기 예측단계와;
    상기 유각기 측정수단이 유각기의 가속도와 지면에 닿는 순간의 가속도 차이를 검출하는 유각기 감지단계와;
    상기 PUPT 수단이 입각기 상태의 속도를 보정하여 보폭 및 방위각을 추정한 다음으로 위치를 추정하는 위치 추정단계;를 포함하는 것을 특징으로 하는 복합 보행 동작 인식 기반 스마트 신발의 데이터 처리 방법.
KR1020190052195A 2019-05-03 2019-05-03 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법 KR102192451B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190052195A KR102192451B1 (ko) 2019-05-03 2019-05-03 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법
US16/919,372 US11497443B2 (en) 2019-05-03 2020-07-02 Smart shoe based on recognition of combined walking action and data processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190052195A KR102192451B1 (ko) 2019-05-03 2019-05-03 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR20200127647A true KR20200127647A (ko) 2020-11-11
KR102192451B1 KR102192451B1 (ko) 2020-12-16

Family

ID=73451357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190052195A KR102192451B1 (ko) 2019-05-03 2019-05-03 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법

Country Status (2)

Country Link
US (1) US11497443B2 (ko)
KR (1) KR102192451B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022013405A (ja) * 2020-07-03 2022-01-18 日本電気株式会社 推定装置、推定方法、プログラム
CN114279441B (zh) * 2021-12-15 2023-12-29 中国科学院深圳先进技术研究院 一种零速区间检测方法、行人导航系统及存储介质
CN115105059A (zh) * 2022-06-10 2022-09-27 深圳前海向纺未来科技有限公司 人体全身姿态的确定方法、其确定装置以及智能鞋

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101250215B1 (ko) 2012-05-31 2013-04-03 삼성탈레스 주식회사 칼만 필터와 보행 상태 추정 알고리즘을 이용한 보행자 관성항법 시스템 및 보행자 관성항법 시스템의 높이 추정 방법
KR20150049310A (ko) * 2013-10-30 2015-05-08 코디스페이스 주식회사 보행자 발의 영속도 상태 검지 장치 및 그 방법, 및 이를 이용한 보행자 관성항법시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101693629B1 (ko) * 2014-12-19 2017-01-09 서울대학교산학협력단 로코모션 인터페이스 장치상에서 보행하는 보행자의 위치 추정 방법 및 장치
US20170225033A1 (en) * 2015-06-23 2017-08-10 Ipcomm Llc Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback
US10172409B1 (en) * 2018-05-31 2019-01-08 Nike, Inc. Intelligent electronic footwear and control logic for automated pedestrian collision avoidance
WO2020105115A1 (ja) * 2018-11-20 2020-05-28 日本電気株式会社 歩容計測システム、歩容計測方法、およびプログラム記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101250215B1 (ko) 2012-05-31 2013-04-03 삼성탈레스 주식회사 칼만 필터와 보행 상태 추정 알고리즘을 이용한 보행자 관성항법 시스템 및 보행자 관성항법 시스템의 높이 추정 방법
KR20150049310A (ko) * 2013-10-30 2015-05-08 코디스페이스 주식회사 보행자 발의 영속도 상태 검지 장치 및 그 방법, 및 이를 이용한 보행자 관성항법시스템
KR101522466B1 (ko) 2013-10-30 2015-05-28 코디스페이스 주식회사 보행자 발의 영속도 상태 검지 장치 및 그 방법, 및 이를 이용한 보행자 관성항법시스템

Also Published As

Publication number Publication date
KR102192451B1 (ko) 2020-12-16
US20200390396A1 (en) 2020-12-17
US11497443B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
KR102192451B1 (ko) 복합 보행 동작 인식 기반 스마트 신발 및 이의 데이터 처리 방법
KR102440358B1 (ko) 관성 기반 항법 장치 및 상대사전적분에 따른 관성 기반 항법 방법
CN106482733B (zh) 行人导航中基于足底压力检测的零速修正方法
US11199421B2 (en) Technologies for pedestrian dead reckoning
CN108634960B (zh) 一种用于外骨骼穿戴者的步态在线检测方法
Ju et al. A pedestrian dead reckoning system using a foot kinematic constraint and shoe modeling for various motions
KR101522466B1 (ko) 보행자 발의 영속도 상태 검지 장치 및 그 방법, 및 이를 이용한 보행자 관성항법시스템
CN110274592B (zh) 一种腰部脚部惯性测量单元信息融合的零速区间确定方法
CN108836344A (zh) 步长步频估算方法和装置及步态检测仪
US11255664B2 (en) Method for estimating the direction of motion of an individual
CN112362057A (zh) 基于零速修正与姿态自观测的惯性行人导航算法
KR101226767B1 (ko) 주행 장치를 위한 위치측정 시스템 및 방법
Chen et al. Pedestrian positioning with physical activity classification for indoors
JP6329915B2 (ja) 測位システム
WO2017158569A1 (en) Kinect based balance analysis using single leg stance (sls) exercise
US20240023834A1 (en) Footwear and method for foot velocity estimation
CN115530815A (zh) 一种基于角速度传感器的步态时相识别方法
US20210321905A1 (en) Apparatus and method for measuring ground reaction force
JP6147446B1 (ja) ソフト制約及びペナルティ機能を使用した慣性センサの初期化
JP5952907B2 (ja) 歩行様式判別システム、歩行様式判別装置及び歩行様式判別方法
JP5958920B2 (ja) 傾斜角度推定システム
US11678139B2 (en) Traveling direction determination device, mobile device, and traveling direction determination method
JP7186414B2 (ja) 移動物体の速度検出システム、速度検出装置及びそのプログラム
CN117577339B (zh) 基于微惯性导航的下肢力线精准建模与定位方法和系统
WO2023108498A1 (zh) 一种零速区间检测方法、行人导航系统及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right