KR102292683B1 - 보행 환경 인식 방법 및 장치 - Google Patents

보행 환경 인식 방법 및 장치 Download PDF

Info

Publication number
KR102292683B1
KR102292683B1 KR1020140121026A KR20140121026A KR102292683B1 KR 102292683 B1 KR102292683 B1 KR 102292683B1 KR 1020140121026 A KR1020140121026 A KR 1020140121026A KR 20140121026 A KR20140121026 A KR 20140121026A KR 102292683 B1 KR102292683 B1 KR 102292683B1
Authority
KR
South Korea
Prior art keywords
gait
data
walking
pattern
environment
Prior art date
Application number
KR1020140121026A
Other languages
English (en)
Other versions
KR20160031246A (ko
Inventor
안성환
심영보
형승용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140121026A priority Critical patent/KR102292683B1/ko
Priority to EP15179279.3A priority patent/EP2997895A1/en
Priority to EP24151733.3A priority patent/EP4331473A2/en
Priority to JP2015155822A priority patent/JP6629543B2/ja
Priority to US14/850,288 priority patent/US11234890B2/en
Priority to CN201510579072.0A priority patent/CN105411593B/zh
Publication of KR20160031246A publication Critical patent/KR20160031246A/ko
Application granted granted Critical
Publication of KR102292683B1 publication Critical patent/KR102292683B1/ko
Priority to US17/586,926 priority patent/US20220142850A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4851—Prosthesis assessment or monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H2003/001—Appliances for aiding patients or disabled persons to walk about on steps or stairways
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012—Control means thereof computer controlled connected to external computer devices or networks using the internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/60—Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG]
    • A61H2230/605—Muscle strain, i.e. measured on the user, e.g. Electromyography [EMG] used as a control parameter for the apparatus
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

보행 환경 인식 방법 및 장치가 개시된다. 일 실시예에 따른 보행 환경 인식 장치는 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하고, 복수 개의 데이터베이스 각각으로부터 추출된 복수 개의 유사 보행 데이터와 보행 패턴과의 유사도를 기초로 보행 패턴의 보행 특징을 생성하고, 미리 정해진 학습 모델에 보행 특징을 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다.

Description

보행 환경 인식 방법 및 장치{METHOD AND APPARATUS FOR GAIT TASK RECOGNITION}
아래의 실시 예들은 보행 환경 인식 방법 및 장치에 관한 것이다.
최근 고령화 사회가 심화됨에 따라서 관절에 문제가 있어서 이에 대한 고통과 불편을 호소하는 사람들이 증가하고 있으며, 관절이 불편한 노인이나 환자들이 보행을 원활하게 할 수 있는 보행 보조 장치에 대한 관심이 높아지고 있다. 또한, 군사용 등의 목적으로 인체의 근력을 강화시키기 위한 보행 보조 장치들이 개발되고 있다.
예를 들어, 보행 보조 장치는, 사용자의 몸통에 장착되는 몸체프레임과, 몸체프레임의 하측에 결합되어 사용자의 골반을 감싸는 골반 프레임과, 사용자의 대퇴부 및 종아리, 발 부위에 장착되는 대퇴부 프레임, 종아리 프레임, 발 프레임으로 구성된다. 골반프레임과 대퇴부 프레임은 고관절부에 의해 회전 가능하도록 연결되고, 프레임과 종아리 프레임은 무릎 관절부에 의해 회전 가능하도록 연결되며, 종아리 프레임과 발 프레임은 발목관절에 의해 회전 가능하도록 연결된다.
최근에는, 보행 보조 장치의 사용성을 향상시키기 위한 연구가 계속되고 있다.
일본특허공개번호 2013-208293(공개일: 2013년 10월 10일)에는 보행 지원 장치를 개시하고 있으며, 구체적으로 공개발명은 보행 지원 대상자의 다리부를 유지하는 보유 수단과, 다리부의 관절로 발생하는 관절 모멘트를 보조하는 어시스트력을 출력하는 어시스트력 출력수단과, 출력한 어시스트력을 보관유지 수단으로 전달하는 전달 수단과, 전달 수단에 의한 전달을 개방하는 개방 수단을 개시하고 있다.
일 실시예에 따른 보행 환경 인식 장치는 센싱 데이터를 이용하여 사용자의 보행 패턴(gait pattern)을 검출하는 보행 패턴 검출부; 복수 개의 보행 환경(gait task)에 대응하는 복수 개의 데이터베이스 각각으로부터 상기 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 상기 보행 패턴과 상기 복수 개의 유사 보행 데이터와의 유사도를 기초로 상기 보행 패턴의 보행 특징(gait feature)을 생성하는 보행 특징 생성부; 미리 정해진 학습 모델에 상기 보행 특징을 적용하여 상기 보행 패턴에 대응하는 보행 환경을 추정하는 보행 환경 추정부; 및 상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는 구동 제어부를 포함할 수 있다.
상기 보행 패턴 검출부는, 상기 센싱 데이터로부터 상기 사용자의 발바닥이 지면에 닿은 상태를 나타내는 힐 스트라이크(heel strike)를 감지하고, 하나의 상기 힐 스트라이크로 구성된 스텝(step) 또는 두 개의 상기 스텝으로 구성된 스트라이드(stride)를 기본 단위로 상기 보행 패턴을 검출할 수 있다.
상기 센싱 데이터는, IMU(Inertial Measurement Unit) 센서에 의해 센싱된 가속도 데이터 또는 각속도 데이터, 포텐셔미터(Potentiometer)에 의해 센싱된 관절 각도 데이터 또는 관절 각속도 데이터 또는 근전도(ElectroMyoGraphy: EMG) 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함할 수 있다.
상기 보행 패턴 검출부는, 상기 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화하는 정규화부를 포함할 수 있다.
상기 보행 특징 생성부는, 상기 보행 패턴과 상기 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터와의 유사도를 연산하고, 상기 복수 개의 보행 데이터와의 유사도를 이용하여 상기 복수 개의 데이터베이스 각각으로부터 상기 복수 개의 유사 보행 데이터를 추출할 수 있다.
상기 보행 특징 생성부는, 상기 보행 패턴과 상기 복수 개의 유사 보행 데이터와의 유사도의 평균값을 계산하고, 상기 평균값을 원소로 하여 상기 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성할 수 있다.
상기 보행 특징 생성부는, 상기 보행 특징 벡터를 정규화하여 상기 보행 특징을 생성할 수 있다.
상기 보행 특징 생성부는, L1 놈(norm), L2 놈, NCC(Normalized Cross Correlation) 또는 DTW(Dynamic Time Warping) 중 적어도 하나를 이용하여 상기 복수 개의 보행 데이터와의 유사도 또는 상기 복수 개의 유사 보행 데이터와의 유사도를 연산할 수 있다.
상기 보행 환경 추정부는, 상기 미리 정해진 학습 모델에 상기 보행 특징을 입력하고, 상기 미리 정해진 학습 모델에 미리 정해진 학습 파라미터를 적용하여 상기 보행 패턴에 대응하는 보행 환경을 추정할 수 있다.
상기 미리 정해진 학습 파라미터는, 상기 미리 정해진 학습 모델을 기초로 상기 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터로부터 추출될 수 있다.
상기 보행 환경 추정부는, 통신 인터페이스를 이용하여 상기 미리 정해진 학습 파라미터를 외부로부터 획득할 수 있다.
상기 보행 환경 추정부는, 상기 보행 특징을 미리 정해진 차원의 특징 공간에 매핑하고, 상기 매핑된 보행 특징을 상기 미리 정해진 학습 모델에 입력할 수 있다.
일 실시예에 따른 보행 환경 인식을 위한 전처리 장치는 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하는 보행 패턴 검출부; 상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 데이터베이스 구축부; 상기 복수 개의 보행 데이터간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하는 보행 특징 생성부; 및 미리 정해진 학습 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 상기 미리 정해진 학습 모델에 대한 학습 파라미터를 추출하는 학습 파라미터 추출부를 포함할 수 있다.
상기 보행 패턴 검출부는, 상기 센싱 데이터로부터 사용자의 발바닥이 지면에 닿은 상태를 나타내는 힐 스트라이크를 감지하고, 하나의 상기 힐 스트라이크로 구성된 스텝 또는 두 개의 상기 스텝으로 구성된 스트라이드를 기본 단위로 상기 보행 패턴을 검출할 수 있다.
상기 센싱 데이터는, IMU 센서에 의해 센싱된 가속도 데이터, 각속도 데이터, 포텐셔미터에 의해 센싱된 관절 각도 데이터, 관절 각속도 데이터 또는 근전도 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함할 수 있다.
상기 보행 패턴 검출부는, 상기 복수 개의 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화하는 정규화부를 포함할 수 있다.
상기 데이터베이스 구축부는, k-d tree 구조를 이용하여 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 데이터베이스 각각에 상기 복수 개의 보행 데이터로 저장할 수 있다.
상기 보행 특징 생성부는, 상기 복수 개의 보행 데이터 각각에 대하여, 상기 복수 개의 데이터베이스 각각으로부터 해당 보행 데이터와 유사한 복수 개의 유사 보행 데이터를 추출하고, 상기 해당 보행 데이터와 상기 복수 개의 유사 보행 데이터와의 유사도를 기초로, 상기 해당 보행 데이터의 보행 특징을 생성할 수 있다.
상기 보행 특징 생성부는, 상기 복수 개의 보행 데이터 각각에 대하여, 상기 해당 보행 데이터와 상기 복수 개의 유사 보행 데이터와의 유사도의 평균값을 계산하고, 상기 평균값을 원소로 하여 상기 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성할 수 있다.
상기 보행 특징 생성부는, 상기 복수 개의 보행 데이터 각각에 대하여, 상기 보행 특징 벡터를 정규화하여 상기 보행 특징을 생성할 수 있다.
상기 학습 파라미터 추출부는, 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 미리 정해진 차원의 특징 공간에 매핑하고, 상기 매핑된 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 상기 미리 정해진 학습 모델에 입력할 수 있다.
상기 학습 파라미터 추출부는, 통신 인터페이스를 이용하여 상기 추출된 학습 파라미터를 외부에 전송할 수 있다.
일 실시예에 따른 보행 환경 인식 장치는 제1 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하는 보행 패턴 검출부; 상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 데이터베이스 구축부; 상기 복수 개의 보행 데이터간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하는 보행 특징 생성부; 미리 정해진 학습 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 상기 미리 정해진 학습 모델에 대한 학습 파라미터를 추출하는 학습 파라미터 추출부; 제2 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하는 사용자 보행 패턴 검출부; 상기 복수 개의 데이터베이스 각각으로부터 상기 사용자의 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 상기 사용자의 보행 패턴과 상기 복수 개의 유사 보행 데이터와의 유사도를 기초로 상기 사용자의 보행 패턴의 보행 특징을 생성하는 사용자 보행 특징 생성부; 상기 미리 정해진 학습 모델에 상기 사용자의 보행 특징을 적용하여 상기 사용자의 보행 패턴에 대응하는 보행 환경을 추정하는 보행 환경 추정부; 및 상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는 구동 제어부를 포함할 수 있다.
일 실시예에 따른 보행 환경 인식 방법은 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하는 단계; 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터 상기 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 상기 보행 패턴과 상기 복수 개의 유사 보행 데이터와의 유사도를 기초로 상기 보행 패턴의 보행 특징을 생성하는 단계; 미리 정해진 학습 모델에 상기 보행 특징을 적용하여 상기 보행 패턴에 대응하는 보행 환경을 추정하는 단계; 및 상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 보행 환경 인식을 위한 전처리 방법은 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하는 단계; 상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 단계; 상기 복수 개의 보행 데이터간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하는 단계; 및 미리 정해진 학습 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 상기 미리 정해진 학습 모델에 대한 학습 파라미터를 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 보행 환경 인식 방법은 제1 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하는 단계; 상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 단계; 상기 복수 개의 보행 데이터간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하는 단계; 미리 정해진 학습 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 상기 미리 정해진 학습 모델에 대한 학습 파라미터를 추출하는 단계; 제2 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하는 단계; 상기 복수 개의 데이터베이스 각각으로부터 상기 사용자의 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 상기 사용자의 보행 패턴과 상기 복수 개의 유사 보행 데이터와의 유사도를 기초로 상기 사용자의 보행 패턴의 보행 특징을 생성하는 단계; 상기 미리 정해진 학습 모델에 상기 사용자의 보행 특징을 적용하여 상기 사용자의 보행 패턴에 대응하는 보행 환경을 추정하는 단계; 및 상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 보행 환경을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 보행 환경 인식을 위한 전처리 장치를 나타낸 블록도이다.
도 3은 일 실시예에 따른 보행 환경 인식 장치를 나타낸 블록도이다.
도 4는 다른 일 실시예에 따른 보행 환경 인식을 위한 전처리 장치를 나타낸 블록도이다.
도 5는 다른 일 실시예에 따른 보행 환경 인식 장치를 나타낸 블록도이다.
도 6은 일 실시예에 따른 센서를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 센싱 데이터를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 보행 패턴의 검출을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 보행 패턴의 정규화를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 데이터베이스를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 보행 환경 인식을 위한 전처리 장치의 보행 특징의 추출을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 보행 특징의 특징 공간으로의 매핑을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 데이터베이스의 검색을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 보행 환경 인식 장치의 보행 특징의 추출을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 보행 환경 인식 장치의 일례를 설명하기 위한 도면이다.
도 16은 다른 일 실시예에 따른 보행 환경 인식 장치의 일례를 설명하기 위한 도면이다.
도 17은 또 다른 일 실시예에 따른 보행 환경 인식 장치를 나타낸 블록도이다.
도 18은 일 실시예에 따른 보행 환경 인식 방법을 나타낸 동작 흐름도이다.
도 19는 일 실시예에 따른 보행 환경 인식을 위한 전처리 방법을 나타낸 동작 흐름도이다.
도 20은 다른 일 실시예에 따른 보행 환경 인식 방법을 나타낸 동작 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 보행 환경을 설명하기 위한 도면이다.
도 1을 참조하면, 보행 보조 장치는 사용자의 하반신에 장착되어 보행 환경에 따라 다른 동작으로 사용자의 보행을 도울 수 있다. 예를 들어, 도 1의 (a)와 같이, 보행 환경이 평지 환경(111), 상향 경사 환경(112), 하향 경사 환경(113), 상향 계단 환경(114) 및 하향 계단 환경(115)의 5개의 보행 환경으로 정의된 경우, 보행 보조 장치는 보행 환경에 따라 보행 동작을 다르게 수행할 수 있다. 도 1 에서는 보행 환경을 5 개로 정의하였지만, 보행 환경은 이에 한정되지 않는다. 일 실시예에서, 보행 보조 장치는 복수의 보행 환경 각각에 대응하는 복수의 동작 모드를 포함할 수 있다. 보행 보조 장치는 사용자가 보행을 할 때마다 보행 환경을 인식할 수 있고, 인식된 보행 환경에 대응하는 동작 모드를 수행할 수 있다.
도 1의 (b)의 예에서, 보행 보조 장치(121)는 평지 환경(111)에 따른 제1 동작 모드로 구동할 수 있다. 보행 보조 장치(121)는 보행 보조 장치(121)에 부착된 센서로부터 사용자의 동작을 센싱하여 지점(131)에서 상향 경사 환경(112)을 인지할 수 있고, 이에 따라, 보행 보조 장치(121)는 동작 모드를 상향 경사 환경(112)에 따른 제2 동작 모드로 변경할 수 있다. 또한, 보행 보조 장치(121)는 지점(132)에서 평지 환경(113)을 인지하여 동작 모드를 제1 동작 모드로 변경할 수 있으며, 지점(133)에서 하향 계단 환경(115)를 인지하여 동작 모드를 하향 경사 환경(115)에 따른 제3 동작 모드로 변경할 수 있다.
도 2는 일 실시예에 따른 보행 환경 인식을 위한 전처리 장치를 나타낸 블록도이다.
도 2를 참조하면, 전처리 장치(210)는 도 3에서 설명할 보행 환경 인식 장치(310)가 보행 환경을 인식하기 위해 이용하는 데이터베이스를 구축하고, 미리 정해진 학습 모델에 대한 학습 파라미터를 추출할 수 있다. 도 2 및 도 3에서, 전처리 장치(210)와 도 3의 보행 환경 인식 장치(310)는 서로 상이한 장치로 표현되었지만, 전처리 장치(210)와 도 3의 보행 환경 인식 장치(310)는 동일한 장치 내에 포함될 수도 있고, 서로 다른 장치로 구현될 수도 있다.
도 2를 참조하면, 전처리 장치(210)는 보행 패턴 검출부(220), 데이터베이스 구축부(230), 보행 특징 생성부(240) 및 학습 파라미터 추출부(250)를 포함한다.
보행 패턴 검출부(220)는 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출할 수 있다. 여기서, 센싱 데이터는 보행 보조 장치에 부착된 센서를 이용하여 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱한 데이터를 의미할 수 있다. 또한, 센싱 데이터는 시뮬레이션을 통해 획득된 모션 데이터에 기초한 가상의 센싱 데이터를 의미할 수도 있다. 또한, 센싱 데이터는 하나의 사용자에 대한 센싱 데이터를 의미할 수도 있고, 복수의 사용자에 대한 센싱 데이터를 의미할 수도 있다. 보행 환경에 따라 센싱 데이터는 고유의 패턴을 가질 수 있다. 일 실시예에서, 센싱 데이터는 IMU(Inertial Measurement Unit) 센서에 의해 센싱된 가속도 데이터, 각속도 데이터, 포텐셔미터(Potentiometer)에 의해 센싱된 관절 각도 데이터, 관절 각속도 데이터 또는 근전도(ElectroMyoGraphy: EMG) 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함할 수 있다. 이 때, 가속도 데이터 또는 각속도 데이터는 X, Y, Z 축 중 적어도 일부의 축에 대한 가속도 데이터 또는 각속도 데이터를 의미할 수 있다. 또한, 관절 각도 데이터 또는 관절 각속도 데이터는 R(Right)축 또는 L(Light)축 중 적어도 일부의 축에 대한 관절 각도 데이터 또는 관절 각속도 데이터를 의미할 수 있다. 또한, 센싱 데이터는 복수 개의 IMU 센서, 복수 개의 포텐셔미터 또는 복수 개의 근전도 센서로부터 추출될 수 있다. 일 실시예에서, 센서는 IMU 센서, 포텐셔미터 또는 근전도 센서에 한정되지 않고, 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱할 수 있는 모든 센서를 포함할 수 있다.
보행 패턴은 보행 환경을 인식하기 위한 패턴을 의미하는 것으로, 보행 패턴의 기본 단위는 스텝(step) 또는 스트라이드(stride)일 수 있다. 여기서, 스텝은 하나의 힐 스트라이크(heel strike)로 구성될 수 있고, 힐 스트라이크는 사용자의 발바닥이 지면에 닿은 상태를 나타낼 수 있다. 또한, 스트라이드는 두 개의 스텝으로 구성될 수 있다. 보행 패턴 검출부(220)는 센싱 데이터를 스텝 또는 스트라이드로 분할하여 복수의 보행 패턴을 추출할 수 있다.
일 실시예에서, 보행 패턴 검출부(220)는 R축 관절 각도 데이터 및 L축 관절 각도 데이터의 각도 차를 이용하여 스텝 구간을 추출할 수 있고, 추출된 스텝 구간에 대한 가속도 데이터를 이용하여 힐 스트라이크를 검출할 수 있다. 예를 들어, 보행 패턴 검출부(220)는 R축 관절 각도 데이터 및 L축 관절 각도 데이터의 각도 차이가 급격히 증가되는 지점 사이를 스텝 구간으로 정의하여 스텝 구간을 추출하고, 추출된 스텝 구간에 대응하는 시간 구간으로 센싱 데이터를 분할하여 복수 개의 스텝을 추출할 수 있다. 보행 패턴 검출부(220)는 각 스텝별로, 각 스텝 구간에 대응하는 시간 구간으로 분할된 가속도 데이터가 하나의 피크(peak)를 포함하는지 여부를 판단할 수 있다. 가속도 데이터가 하나의 피크를 포함하는 경우, 보행 패턴 검출부(220)는 해당 스텝이 힐 스트라이크를 포함한 것으로 판단하여, 해당 스텝을 유효한 스텝으로 확인할 수 있다. 가속도 데이터가 하나의 피크를 포함하지 않는 경우, 보행 패턴 검출부(220)는 해당 스텝이 힐 스트라이크를 포함하지 않을 것으로 판단하여, 해당 스텝을 유효하지 않은 스텝으로 확인할 수 있다.
또한, 보행 패턴 검출부(220)는 복수 개의 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화할 수 있다. 여기서, 시간 축에 대한 정규화는 시간 정규화(time normalization)로 표현될 수 있고, 데이터 축에 대한 정규화는 Z 정규화(Z normalization)로 표현될 수 있다. 복수 개의 보행 패턴 각각은 스텝 또는 스트라이드로 구성되어 있으므로, 복수 개의 보행 패턴의 시간 축에 대한 크기는 서로 상이할 수 있다. 또한, 보행에 따른 운동량은 매번 일정하지 않으므로, 복수 개의 보행 패턴의 데이터 축에 대한 크기 역시 서로 상이할 수 있다. 후술할 바와 같이, 데이터베이스 구축부(230)에서 보행 패턴은 데이터베이스에 저장될 수 있다. 이 때, 보행 패턴이 서로 다른 주기 또는 서로 다른 데이터 범위를 가질 경우, 데이터베이스 검색 속도가 저하될 수 있다. 이에 따라, 보행 패턴 검출부(220)는 데이터베이스 검색의 효율성을 향상시키기 위하여, 복수 개의 보행 패턴에 대하여 시간 정규화 또는 Z 정규화를 수행할 수 있다.
일 실시예에서, 보행 패턴 검출부(220)는 미리 정해진 주기에 따라 복수 개의 보행 패턴의 시간 오차를 보정하여 시간 정규화를 수행할 수 있다. 예를 들어, 보행 패턴 검출부(220)는 미리 정해진 샘플링 레이트(sampling rate)를 기준으로 복수 개의 보행 패턴의 샘플링 레이트를 등간격으로 보정할 수 있다. 또한, 보행 패턴 검출부(220)는 복수 개의 보행 패턴의 선형성을 기초로, 미리 정해진 주기를 기준으로 복수 개의 보행 패턴을 보간(interpolation)할 수 있다.
다른 일 실시예에서, 보행 패턴 검출부(220)는 복수 개의 보행 패턴 각각에 대한 센싱 데이터의 평균 및 표준 편차를 이용하여 Z 정규화를 수행할 수 있다. 예를 들어, 보행 패턴 검출부(220)는 복수 개의 보행 패턴 각각에 대한 센싱 데이터의 평균 및 표준 편차를 연산할 수 있고, 추출한 평균 및 표준 편차를 아래의 수학식 1을 이용하여 정규화할 수 있다.
[수학식 1]
Figure 112014086601156-pat00001

여기서,
Figure 112014086601156-pat00002
는 Z 정규화된 해당 보행 패턴을 나타내고,
Figure 112014086601156-pat00003
는 해당 보행 패턴을 나타내고,
Figure 112014086601156-pat00004
는 해당 보행 패턴에 대한 센싱 데이터의 평균을 나타내고,
Figure 112014086601156-pat00005
는 해당 보행 패턴에 대한 센싱 데이터의 표준 편차를 나타낼 수 있다. 이에 따라, 복수 개의 보행 패턴 각각의 데이터 범위의 차이가 감소될 수 있다. 이는 개인 차이 또는 환경 차이로 인하여 발생하는 복수 개의 보행 패턴 간의 데이터 오차가 감소되는 것을 나타낼 수 있으므로, 도 3의 보행 환경 인식 장치(310)에서의 보행 환경 인식 성능이 향상될 수 있다.
데이터베이스 구축부(230)는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하고, 분류된 복수 개의 보행 패턴을 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하여 복수 개의 데이터베이스를 구축할 수 있다. 여기서, 복수 개의 데이터베이스는 각각 별개의 데이터베이스를 의미할 수도 있고, 하나의 데이터베이스에 속한 복수 개의 서브 데이터베이스를 의미할 수도 있다. 일 실시예에서, 복수 개의 보행 환경은 평지 환경, 상향 경사 환경, 하항 경사 환경, 상향 계단 환경 및 하향 계단 환경을 포함할 수 있다. 또한, 복수 개의 보행 환경은 이에 한정되지 않는다. 예를 들어, 복수 개의 보행 환경은 평지 환경, 상향 경사 환경, 하향 경사 환경의 3 가지 보행 환경으로 정의될 수도 있고, 평지 환경, 15도 상향 경사 환경, 30도 상향 경사 환경, 15도 하항 경사 환경, 30도 하향 경사 환경, 상향 계단 환경 및 하향 계단 환경의 7 가지 보행 환경으로 정의될 수 있다.
데이터베이스 구축부(230)는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류할 수 있다. 예를 들어, 데이터베이스 구축부(230)는 복수 개의 보행 패턴을 구성하는 센싱 데이터가 센싱된 당시의 보행 환경으로 복수 개의 보행 패턴을 분류할 수 있다. 또한, 다른 예에서, 센싱 데이터는 보행 환경에 따라 고유의 패턴을 가질 수 있으므로, 데이터베이스 구축부(230)는 보행 환경에 따른 고유의 패턴을 기초로 복수 개의 보행 패턴을 분석하여 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류할 수 있다.
데이터베이스 구축부(230)는 분류된 복수 개의 보행 패턴을 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다. 이에 따라, 복수 개의 데이터베이스 각각은 ni개의 보행 데이터를 포함할 수 있다. 여기서, i는 보행 환경의 인덱스를 의미할 수 있다.
일 실시예에서, 데이터베이스 구축부(230)는 k-d tree 구조를 이용하여 분류된 복수 개의 보행 패턴을 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다. 이 경우, ni개의 보행 데이터를 k-d tree 구조를 이용하여 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 시간은
Figure 112014086601156-pat00006
의 시간이 소요될 수 있다. 복수 개의 데이터베이스가 k-d tree 구조를 이용함에 따라, 복수 개의 데이터베이스에서 보행 데이터를 검색하는 검색 시간은
Figure 112014086601156-pat00007
의 시간이 소요될 수 있으므로, 이에 따라, 도 3의 보행 환경 인식 장치(310)는 실시간으로 복수 개의 데이터베이스로부터 보행 데이터를 검색할 수 있다. 또한, 이에 한정되지 않고, 데이터베이스 구축부(230)는 k-d tree 구조 외에 데이터베이스를 구축할 수 있는 다른 구조를 이용하여 분류된 복수 개의 보행 패턴을 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다.
보행 특징 생성부(240)는 복수 개의 보행 데이터간의 유사도를 기초로 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성할 수 있다. 일 실시예에서, 보행 특징 생성부(240)는 복수 개의 보행 데이터 각각에 대하여, 복수 개의 데이터베이스 각각으로부터 해당 보행 데이터와 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 이 경우, 보행 특징 생성부(240)는 복수 개의 보행 데이터 각각에 대하여, 해당 보행 데이터와 해당 보행 데이터를 제외한 나머지 보행 데이터 간의 유사도를 추출하고, 추출된 유사도를 기초로, 복수 개의 데이터베이스 각각으로부터 해당 보행 데이터와 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 일 실시예에서, 유사도는 특정 보행 데이터와 다른 보행 데이터 간의 거리뿐만 아니라, 특정 보행 데이터와 다른 보행 데이터간의 유사한 정도를 나타낼 수 있는 모든 지표를 기초로 추출될 수 있다. 예를 들어, 유사도는 특정 보행 데이터의 크기와 다른 보행 데이터의 크기 간의 평균값 또는 중간값, 특정 보행 데이터와 다른 보행 데이터 간의 보행 속도, 스트라이드 길이(stride length), RMS(Root-Mean Square) 오차, 카덴스(cadence, 카덴스는 스텝의 수를 미리 정해진 시간으로 나눈 값을 의미함), 워크 비율(Walk Ratio, 워크 비율은 스텝의 길이를 카덴스로 나눈 값을 의미함) 또는 특정 보행 데이터와 다른 보행 데이터 간의 주파수 영역 정보를 이용하여 계산될 수 있다. 다른 일 실시예에서, 유사도가 특정 보행 데이터와 다른 보행 데이터 간의 거리를 나타낼 경우, 보행 특징 생성부(240)는 L1 놈(norm), L2 놈, NCC(Normalized Cross Correlation) 또는 DTW(Dynamic Time Warping) 중 적어도 하나를 이용하여, 복수 개의 보행 데이터 각각에 대하여, 해당 보행 데이터와 복수 개의 유사 보행 데이터와의 유사도를 추출할 수 있다. 예를 들어, 보행 특징 생성부(240)는 복수 개의 보행 데이터 각각에 대하여, 해당 보행 데이터와 해당 보행 데이터를 제외한 나머지 보행 데이터 간의 DTW 거리를 추출하고, 추출된 DTW 거리가 작은 보행 데이터를 해당 보행 데이터와의 유사도가 높은 보행 데이터로 추출할 수 있다. 보행 특징 생성부(240)는 복수 개의 데이터베이스 각각으로부터 해당 보행 데이터와 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 또한, 보행 특징 생성부(240)는 복수 개의 보행 데이터 각각에 대하여, 해당 보행 데이터와 복수 개의 유사 보행 데이터와의 유사도의 평균값을 계산하고, 계산된 평균값을 원소로 하여 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성할 수 있다. 예를 들어, 보행 환경이 3개로 정의됨에 따라, 데이터베이스의 개수가 3개인 경우, 보행 특징 생성부(240)는 복수 개의 보행 데이터 각각에 대하여, 3개의 데이터베이스 마다, 제1 데이터베이스에 포함된 제1 보행 데이터와의 유사도가 높은 3 개의 유사 보행 데이터를 추출할 수 있다. 보행 특징 생성부(240)는 제1 보행 데이터와 제1 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제1 평균값, 제1 보행 데이터와 제2 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제2 평균값 및 제1 보행 데이터와 제3 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제3 평균값을 연산할 수 있다. 이에 따라, 제1 평균값, 제2 평균값 및 제3 평균값은 각각 제1 보행 환경, 제2 보행 환경 및 제3 보행 환경에 대응하는 제1 보행 데이터의 특징값을 나타낼 수 있다. 보행 특징 생성부(240)는 제1 평균값, 제2 평균값 및 제3 평균값을 원소로 하는 3 ⅹ 1 크기의 보행 특징 벡터를 생성할 수 있다. 보행 특징 생성부(240)는 이러한 특징 벡터를 복수 개의 데이터베이스에 포함된 복수 개의 보행 데이터 각각에 대하여 생성할 수 있다.
또한, 보행 특징 생성부(240)는 복수 개의 보행 데이터 각각에 대하여 생성된 보행 특징 벡터를 정규화하여 보행 특징을 생성할 수 있다. 예를 들어, 보행 특징 생성부(240)는 복수 개의 데이터베이스에 포함된 복수 개의 보행 데이터 각각에 대하여 생성된 보행 특징 벡터를 크기가 동일한 벡터로 정규화하여 보행 특징을 생성할 수 있다.
일 실시예에서, 전처리 장치(210)는 새로운 사용자에 대한 센싱 데이터를 획득한 경우, 센싱 데이터를 이용하여 새로운 사용자에 대한 복수 개의 보행 패턴을 검출하고, 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다. 또한, 다른 일 실시예에서, 전처리 장치(210)는 미리 정해진 시간동안 복수 개의 데이터베이스에 저장된 특정 보행 데이터가 보행 환경 인식에 이용되지 않는 경우, 전처리 장치(210)는 보행 환경 인식에 이용되지 않는 특정 보행 데이터를 삭제할 수 있다.
학습 파라미터 추출부(250)는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 미리 정해진 학습 모델에 대한 학습 파라미터를 추출할 수 있다. 여기서, 미리 정해진 학습 모델은 신경망(Neural Network: NN) 모델, 서포트 벡터 회귀(Support Vector Regression: SVM) 모델 또는 가우시안 프로세스 회귀(Gaussian Process Regression) 모델 중 어느 하나를 포함할 수 있다. 또한, 미리 정해진 학습 모델은 신경망 모델, 서포트 벡터 회귀 모델 및 가우시안 프로세스 회귀 모델이 아니더라도, 특징 벡터를 이용하여 보행 환경을 추정할 수 있는 다른 학습 모델(예를 들어, 패턴 인식(pattern classification) 기반의 학습 모델)을 포함할 수 있다. 또한, 미리 정해진 학습 모델이 신경망 모델일 경우, 미리 정해진 학습 파라미터는 뉴런들 사이의 연결 패턴과 가중치 및 활성화 함수(activation functions)를 포함할 수 있고, 미리 정해진 학습 모델이 서포트 벡터 회귀 모델일 경우, 미리 정해진 학습 파라미터는 커널 함수(kernel functions) 및 페널티 파라미터(penalty parameters)를 포함할 수 있으며, 미리 정해진 학습 모델이 가우시안 프로세스 회귀 모델일 경우, 미리 정해진 학습 파라미터는 커널 함수(kernel functions) 및 하이퍼 파라미터(hyper-parameters)를 포함할 수 있다.
일 실시예에서, 학습 파라미터 추출부(250)는 복수 개의 보행 데이터 각각에 대한 보행 특징을 미리 정해진 차원의 특징 공간에 매핑할 수 있다. 일 예로, 미리 정해진 학습 모델이 서포트 벡터 회귀 모델인 경우, 학습 파라미터 추출부(250)는 호모 지니어스 커널 맵(homogeneous kernel map)을 이용하여 복수 개의 보행 데이터 +각각에 대한 보행 특징을 특징 공간에 매핑할 수 있다. 예를 들어, 학습 파라미터 추출부(250)는 호모 지니어스 커널 맵을 이용하여 5 ⅹ 1 크기를 갖는 보행 특징을 15 ⅹ 1 차원의 특징 공간에 매핑할 수 있다. 학습 파라미터 추출부(250)는 매핑된 복수 개의 보행 데이터 각각에 대한 보행 특징을 미리 정해진 학습 모델에 입력할 수 있다. 학습 파라미터 추출부(250)는 적은 차원 공간에서도 비선형 학습 모델(예를 들어, 비선형 서포트 벡터 회기 모델)에 보행 특징을 적용하여 학습 파라미터를 추출할 수 있고, 이에 따라, 학습 파라미터를 추출하는데 필요한 연산 시간이 감소될 수 있다. 또한, 호모 지니어스 커널 맵 이외에도, 학습 파라미터 추출부(250)는 PCA(Principle Component Analysis) 기법, LDA(Linear Discriminant Analysis) 기법 등을 이용하여 복수 개의 보행 데이터 각각에 대한 보행 특징을 특징 공간에 매핑할 수 있다.
또한, 학습 파라미터 추출부(250)는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 보행 환경의 인식에 적합하도록 학습 파라미터를 피팅(fitting)할 수 있다.
예를 들어, 미리 정해진 학습 모델이 서포트 벡터 회귀 모델인 경우, 학습 파라미터 추출부(250)는 복수 개의 데이터베이스에 포함된 모든 보행 데이터에 대한 보행 특징에 대하여, 해당 보행 특징과 대응하는 보행 환경에 대해서는 +1, 해당 보행 특징과 대응하지 않는 보행 환경에 대해서는 -1로 클래스를 지정하여 학습함으로써, 학습 파라미터를 추출할 수 있다. 이 때, 보행 환경이 5개로 정의된 경우, 학습 파라미터 추출부(250)는
Figure 112014086601156-pat00008
및
Figure 112014086601156-pat00009
와 같은 학습 파라미터를 추출할 수 있다.
일 실시예에서, 학습 파라미터 추출부(250)는 통신 인터페이스를 이용하여 추출된 학습 파라미터를 도 3의 보행 환경 인식 장치(310)에 전송할 수 있다. 이에 따라, 도 3의 보행 환경 인식 장치(310)는 보다 정확하고 신속하게 보행 환경을 인식할 수 있다.
도 3은 일 실시예에 따른 보행 환경 인식 장치를 나타낸 블록도이다.
도 3을 참조하면, 보행 환경 인식 장치(310)는 보행 패턴 검출부(320), 보행 특징 생성부(330), 보행 환경 추정부(340) 및 구동 제어부(350)를 포함한다.
보행 패턴 검출부(320)는 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출할 수 있다. 여기서, 센싱 데이터는 보행 보조 장치에 부착된 센서를 이용하여 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱한 데이터를 의미할 수 있다. 또한, 센싱 데이터는 시뮬레이션을 통해 획득된 모션 데이터에 기초한 가상의 센싱 데이터를 의미할 수도 있다. 보행 환경에 따라 센싱 데이터는 고유의 패턴을 가질 수 있으므로, 보행 환경 인식 장치(310)는 센싱 데이터를 기초로 보행 환경을 추정할 수 있다. 일 실시예에서, 센싱 데이터는 IMU 센서에 의해 센싱된 가속도 데이터, 각속도 데이터, 포텐셔미터에 의해 센싱된 관절 각도 데이터, 관절 각속도 데이터 또는 근전도 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함할 수 있다. 이 때, 가속도 데이터 또는 각속도 데이터는 X, Y, Z축 중 적어도 일부의 축에 대한 가속도 데이터 또는 각속도 데이터를 의미할 수 있다. 또한, 관절 각도 데이터 또는 관절 각속도 데이터는 R(Right)축 또는 L(Light)축 중 적어도 일부의 축에 대한 관절 각도 데이터 또는 관절 각도 데이터를 의미할 수 있다. 또한, 센싱 데이터는 복수 개의 IMU 센서, 복수 개의 포텐셔미터 또는 복수 개의 근전도 센서로부터 추출될 수 있다.
보행 패턴의 기본 단위는 스텝 또는 스트라이드일 수 있다. 여기서, 스텝은 하나의 힐 스트라이크로 구성될 수 있고, 스트라이드는 두 개의 스텝으로 구성될 수 있다. 보행 패턴 검출부(320)는 센싱 데이터를 스텝 또는 스트라이드로 분할하여 사용자의 보행 패턴을 추출할 수 있다.
일 실시예에서, 보행 패턴 검출부(320)는 R축 관절 각도 데이터 및 L축 관절 각도 데이터의 각도 차를 이용하여 스텝 구간을 추출할 수 있고, 추출된 스텝 구간에 대한 가속도 데이터를 이용하여 힐 스트라이크를 검출할 수 있다.
보행 패턴 검출부(320)가 스텝 또는 스트라이드를 기본 단위로 보행 패턴을 검출함에 따라, 사용자의 이동 속도 또는 걸음 변화와 같은 보행 조건이 변경되더라도, 일정한 보행 환경 인식 성능이 기대될 수 있다. 이에 따라, 보행 패턴 검출부(320)는 고정된 시간을 기준으로 보행 패턴을 검출하는 경우보다, 보행 조건 변화에 강인하게 사용자의 보행 패턴을 인식할 수 있다. 또한, 힐 스트라이크는 보행 동작에서 필수적으로 포함되는 것이므로, 스텝이 하나의 힐 스트라이크로 구성됨에 따라, 보행 패턴 인식의 신뢰성이 향상될 수 있다.
일 실시예에서, 보행 환경 인식 장치(310)는 보행 패턴 검출부(320)에서 보행 패턴이 검출된 경우에 보행 환경을 인식할 수 있다. 예를 들어, 사용자가 정지 상태에서 이동하는 경우에, 보행 환경 인식 장치(310)는 두 개의 스텝으로 구성된 스트라이드가 검출된 이후에 보행 환경을 인식할 수 있다. 또한, 보행 환경 인식 장치(310)는 사용자가 연속적으로 보행하는 경우에, 하나의 스텝이 검출될 때 마다, 보행 환경을 인식할 수 있다.
또한, 보행 패턴 검출부(320)는 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화할 수 있다. 여기서, 시간 축에 대한 정규화를 시간 정규화로 나타낼 수 있고, 데이터 축에 대한 정규화를 Z 정규화로 나타낼 수 있다. 보행 패턴은 스텝 또는 스트라이드로 구성되어 있으므로, 보행 패턴마다 시간 축에 대한 크기는 서로 상이할 수 있다. 또한, 사용자가 보행할 때마다, 보행에 따른 운동량이 일정하지 않으므로, 보행 패턴마다 데이터 축에 대한 크기 역시 서로 상이할 수 있다. 보행 특징 생성부(330)는 보행 패턴을 이용하여 도 2의 전처리 장치(210)에서 생성된 데이터베이스를 검색하므로, 데이터베이스 검색의 효율성을 향상시키기 위하여, 보행 패턴에 대하여 시간 정규화 또는 Z 정규화를 수행할 수 있다.
일 실시예에서, 보행 패턴 검출부(320)는 미리 정해진 주기에 따라 보행 패턴의 시간 오차를 보정하여 시간 정규화를 수행할 수 있다. 예를 들어, 보행 패턴 검출부(320)는 미리 정해진 샘플링 레이트를 기준으로 보행 패턴의 샘플링 레이트를 등간격으로 보정할 수 있다. 또한, 보행 패턴 검출부(320)는 보행 패턴의 선형성을 기초로, 미리 정해진 주기를 기준으로 보행 패턴을 보간(interpolation)할 수 있다.
다른 일 실시예에서, 보행 패턴 검출부(220)는 보행 패턴에 대한 센싱 데이터의 평균 및 표준 편차를 이용하여 Z 정규화를 수행할 수 있다. 예를 들어, 보행 패턴 검출부(320)는 보행 패턴에 대한 센싱 데이터의 평균 및 표준 편차를 연산할 수 있고, 추출한 평균 및 표준 편차를 상술한 수학식 1을 이용하여 정규화할 수 있다. Z 정규화가 수행됨에 따라, 환경 차이로 인하여 발생되는 보행 패턴 간의 데이터 오차가 감소될 수 있으므로, 보행 환경 인식 성능이 향상될 수 있다.
보행 특징 생성부(330)는 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도를 기초로 보행 패턴의 보행 특징을 생성할 수 있다.
보행 특징 생성부(330)는 복수 개의 데이터베이스 각각을 검색하여 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 이 경우, 보행 특징 생성부(330)는 보행 패턴과 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터 각각과의 유사도를 추출하고, 추출된 유사도를 기초로, 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 앞서 설명한 바와 같이, 유사도는 특정 보행 데이터와 다른 보행 데이터 간의 거리뿐만 아니라, 특정 보행 데이터와 다른 보행 데이터간의 유사한 정도를 나타내는 모든 지표를 기초로 추출될 수 있다.
또한, 보행 특징 생성부(330)는 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도의 평균값을 연산하고, 계산된 평균값을 원소로 하여 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성할 수 있다. 예를 들어, 보행 환경이 4개로 정의됨에 따라, 데이터베이스의 개수가 4개인 경우, 보행 특징 생성부(330)는 복수 개의 보행 데이터 각각에 대하여, 4개의 데이터베이스 마다, 보행 패턴과의 유사도가 높은 3개의 유사 보행 데이터를 추출할 수 있다. 보행 특징 생성부(330)는 보행 패턴과 제1 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제1 평균값, 보행 패턴과 제2 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제2 평균값, 보행 패턴과 제3 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제3 평균값 및 보행 패턴과 제4 데이터베이스로부터 추출된 3개의 유사 보행 데이터 각각과의 유사도의 평균값인 제4 평균값을 연산할 수 있다. 이에 따라, 제1 평균값, 제2 평균값, 제3 평균값 및 제4 평균값은 각각 제1 보행 환경, 제2 보행 환경, 제3 보행 환경 및 제4 보행 환경에 대응하는 보행 패턴의 특징값을 나타낼 수 있다. 보행 특징 생성부(330)는 제1 평균값, 제2 평균값, 제3 평균값 및 제4 평균값을 원소로 하는 4 ⅹ 1 크기의 보행 특징 벡터를 생성할 수 있다.
일 실시예에서, 보행 특징 생성부(330)는 보행 특징 벡터를 정규화하여 보행 특징을 생성할 수 있다.
보행 환경 추정부(340)는 미리 정해진 학습 모델에 보행 특징을 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다. 상술한 바와 같이, 미리 정해진 학습 모델은 신경망 모델, 서포트 벡터 회귀 모델 또는 가우시안 프로세스 회귀 모델 중 어느 하나를 포함할 수 있다. 또한, 미리 정해진 학습 모델은 신경망 모델, 서포트 벡터 회귀 모델 및 가우시안 프로세스 회귀 모델이 아니더라도, 특징 벡터를 이용하여 보행 환경을 추정할 수 있는 다른 학습 모델(예를 들어, 패턴 인식 기반의 학습 모델)을 포함할 수 있다.
일 실시예에서, 보행 환경 추정부(340)는 보행 특징을 미리 정해진 차원의 특징 공간에 매핑할 수 있다. 일 예로, 미리 정해진 학습 모델이 서포트 벡터 회귀 모델인 경우, 보행 환경 추정부(340)는 호모 지니어스 커널 맵을 이용하여 대한 보행 특징을 특징 공간에 매핑할 수 있다. 보행 환경 추정부(340)는 매핑된 보행 특징을 미리 정해진 학습 모델에 입력할 수 있다. 이에 따라, 보행 환경 추정부(340)는 적은 차원 공간에서도 비선형 학습 모델(예를 들어, 비선형 서포트 벡터 회기 모델)에 보행 특징을 적용하여 보행 환경을 추정함으로써, 보행 환경을 추정하는데 필요한 연산 시간이 감소될 수 있다.
일 실시예에서, 보행 환경 추정부(340)는 미리 정해진 학습 모델에 보행 특징을 입력하고, 미리 정해진 학습 모델에 미리 정해진 학습 파라미터를 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다. 여기서, 미리 정해진 학습 모델은 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터로부터 추출될 수 있다. 예를 들어, 도 2의 전처리 장치(210)는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 보행 환경의 인식에 적합하도록 학습 파라미터를 피팅할 수 있고, 보행 환경 추정부(340)는 미리 정해진 학습 모델에 보행 특징을 입력하고, 도 2의 전처리 장치(210)에서 피팅된 학습 파라미터를 적용하여 보행 환경을 추정할 수 있다. 이 경우, 보행 환경 추정부(340)는 통신 인터페이스를 이용하여 도 2의 전처리 장치(210)로부터 학습 파라미터를 획득할 수 있다. 이에 따라, 보행 환경 추정부(340)는 학습 파라미터 추출을 위한 별도의 학습 과정을 수행하지 않아도 되고, 따라서, 보행 환경 추정부(340)는 보다 신속하고 정확하게 보행 환경을 추정할 수 있다.
예를 들어, 5개의 보행 환경으로 정의되고, 미리 정해진 학습 모델이 서포트 벡터 회귀 모델인 경우, 보행 환경 추정부(340)는 아래의 수학식 2와 같이, 서포트 벡터 회귀 모델에 도 2의 전처리 장치(210)로부터 획득한 모델 파라미터
Figure 112014086601156-pat00010
및
Figure 112014086601156-pat00011
와 보행 특징을 적용할 수 있다.
[수학식 2]
Figure 112014086601156-pat00012

여기서, y는 출력값을 나타내고,
Figure 112014086601156-pat00013
및
Figure 112014086601156-pat00014
는 도 2의 전처리 장치(210)로부터 획득한 모델 파라미터를 나타내고, x는 보행 패턴을 나타내고,
Figure 112014086601156-pat00015
내지
Figure 112014086601156-pat00016
는 제1 보행 환경 내지 제5 보행 환경을 나타낼 수 있다. 보행 환경 추정부(340)는 출력값의 항목 중 최대값을 가지는 항목에 해당하는 보행 환경을 현재의 보행 환경으로 추정할 수 있다.
구동 제어부(350)는 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어할 수 있다. 예를 들어, 5개의 보행 환경이 정의되고, 보행 환경 추정부(340)가 현재 보행 환경으로 제3 보행 환경을 추정한 경우, 구동 제어부(350)는 보행 환경 인식 장치(310)의 동작 모드를 제3 보행 환경에 대응하는 동작 모드로 설정하여 보행 보조 장치의 구동을 제어할 수 있다.
도 4는 다른 일 실시예에 따른 보행 환경 인식을 위한 전처리 장치를 나타낸 블록도이다.
도 4를 참조하면, 전처리 장치(410)는 센싱 데이터 입력부(420), 스텝 검출부(430), 보행 패턴 분할부(440), 정규화부(450), 데이터베이스 구축부(460), 보행 특징 생성부(470) 및 학습 파라미터 추출부(480)를 포함할 수 있다.
센싱 데이터 입력부(420)는 센서로부터 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱한 센싱 데이터를 획득할 수 있다. 여기서, 센싱 데이터는 IMU 센서에 의해 센싱된 3축 가속도 데이터, 3축 각속도 데이터, 포텐셔미터에 의해 센싱된 2축 관절 각도 데이터, 2축 관절 각속도 데이터 또는 근전도 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함할 수 있다. 또한, 센싱 데이터는 복수 개의 IMU 센서, 복수 개의 포텐셔미터 또는 복수 개의 근전도 센서로부터 추출될 수 있다. 일 실시예에서, 센서는 IMU 센서, 포텐셔미터 또는 근전도 센서에 한정되지 않고, 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱할 수 있는 모든 센서를 포함할 수 있다.
스텝 검출부(430)는 센싱 데이터 입력부(420)로부터 센싱 데이터를 입력받을 수 있고, 센싱 데이터를 이용하여 스텝을 검출할 수 있다. 일 실시예에서, 스텝 검출부(430)는 R축 관절 각도 데이터 및 L축 관절 각도 데이터의 각도 차이가 급격히 증가되는 지점 사이를 스텝 구간으로 정의하여 스텝 구간을 추출할 수 있다. 또한, 스텝 검출부(430)는 각 스텝별로, 각 스텝 구간에 대응하는 시간 구간으로 분할된 가속도 데이터가 하나의 피크를 포함하는지 여부를 판단할 수 있다. 가속도 데이터가 하나의 피크를 포함하는 경우, 스텝 검출부(430)는 해당 스텝이 힐 스트라이크를 포함한 것으로 판단하여, 해당 스텝을 유효한 스텝으로 확인할 수 있다.
보행 패턴 분할부(440)는 센싱 데이터 입력부(420)로부터 입력받은 센싱 데이터를 누적하여 저장할 수 있다. 스텝 검출부(430)에서 스텝이 검출되면, 보행 패턴 분할부(440)는 누적된 센싱 데이터를 분할하여 복수 개의 보행 패턴을 추출할 수 있다.
정규화부(450)는 복수 개의 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화할 수 있다. 복수 개의 보행 패턴을 시간 축으로 정규화하는 시간 정규화를 수행할 경우, 정규화부(450)는 미리 정해진 주기에 따라 복수 개의 보행 패턴의 시간 오차를 보정하여 시간 정규화를 수행할 수 있다. 또한, 복수 개의 보행 패턴을 데이터 축으로 정규화하는 Z 정규화를 수행할 경우, 정규화부(450)는 복수 개의 보행 패턴 각각에 대한 센싱 데이터의 평균 및 표준 편차를 연산할 수 있고, 추출한 평균 및 표준 편차를 상술한 수학식 1을 이용하여 정규화할 수 있다.
데이터베이스 구축부(460)는 복수 개의 보행 패턴을 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하여 복수 개의 데이터베이스를 구축할 수 있다. 이 때, 복수 개의 데이터베이스는 복수 개의 보행 환경 각각에 대응할 수 있다. 복수 개의 보행 환경이 i개인 경우, 복수 개의 데이터베이스 각각은 ni개의 보행 데이터를 포함할 수 있다. 일 실시예에서, 데이터베이스 구축부(460)는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하고, 분류된 복수 개의 보행 패턴을 k-d tree 구조를 이용하여 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다. 이 경우, 데이터베이스 구축부(460)가 ni개의 보행 데이터를 k-d tree 구조를 이용하여 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하기 위하여
Figure 112014086601156-pat00017
의 시간이 소요될 수 있다.
보행 특징 생성부(470)는 복수 개의 보행 데이터간의 유사도를 기초로 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성할 수 있다. 이 경우, 보행 특징 생성부(470)는 복수 개의 보행 데이터 각각에 대하여, 해당 보행 데이터와 해당 보행 데이터를 제외한 나머지 보행 데이터 간의 유사도를 추출하여, 복수 개의 데이터베이스 각각으로부터 해당 보행 데이터와 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 보행 특징 생성부(470)는 복수 개의 보행 데이터 각각에 대하여, 해당 보행 데이터와 복수 개의 유사 보행 데이터와의 유사도의 평균값을 계산하고, 계산된 평균값을 원소로 하여 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성할 수 있다. 또한, 보행 특징 생성부(470)는 복수 개의 보행 데이터 각각에 대하여 생성된 보행 특징 벡터를 정규화하여 보행 특징을 생성할 수 있다.
학습 파라미터 추출부(480)는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 미리 정해진 학습 모델에 대한 학습 파라미터를 추출할 수 있다. 일 실시예에서, 학습 파라미터 추출부(480)는 복수 개의 보행 데이터 각각에 대한 보행 특징을 미리 정해진 차원의 특징 공간에 매핑할 수 있고, 매핑된 복수 개의 보행 데이터 각각에 대한 보행 특징을 미리 정해진 학습 모델에 적용하여 보행 환경의 인식에 적합한 학습 파라미터를 추출할 수 있다.
도 5는 다른 일 실시예에 따른 보행 환경 인식 장치를 나타낸 블록도이다.
도 5를 참조하면, 보행 환경 인식 장치(510)는 센싱 데이터 입력부(520), 스텝 검출부(530), 보행 패턴 분할부(540), 정규화부(550), 데이터베이스 검색부(560), 보행 특징 추출부(570), 보행 환경 추정부(580) 및 구동 제어부(590)를 포함할 수 있다.
일 실시예에서, 센싱 데이터 입력부(520), 스텝 검출부(530), 보행 패턴 분할부(540) 및 정규화부(550)는 도 4의 센싱 데이터 입력부(420), 스텝 검출부(430), 보행 패턴 분할부(440) 및 정규화부(450)와 유사한 동작을 수행할 수 있다.
센싱 데이터 입력부(520)는 센서로부터 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱한 센싱 데이터를 획득할 수 있다. 여기서, 센싱 데이터는 IMU 센서에 의해 센싱된 3축 가속도 데이터, 3축 각속도 데이터, 포텐셔미터에 의해 센싱된 2축 관절 각도 데이터, 2축 관절 각속도 데이터 또는 근전도 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함할 수 있다. 또한, 센싱 데이터는 복수 개의 IMU 센서, 복수 개의 포텐셔미터 또는 복수 개의 근전도 센서로부터 추출될 수 있다. 일 실시예에서, 센서는 IMU 센서, 포텐셔미터 또는 근전도 센서에 한정되지 않고, 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱할 수 있는 모든 센서를 포함할 수 있다.
스텝 검출부(530)는 센싱 데이터 입력부(520)로부터 센싱 데이터를 입력받을 수 있고, 센싱 데이터를 이용하여 스텝을 검출할 수 있다.
보행 패턴 분할부(540)는 센싱 데이터 입력부(520)로부터 입력받은 센싱 데이터를 누적하여 저장할 수 있다. 스텝 검출부(530)에서 스텝이 검출되면, 보행 패턴 분할부(540)는 누적된 센싱 데이터를 분할하여 보행 패턴을 추출할 수 있다.
정규화부(550)는 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화할 수 있다. 보행 패턴을 시간 축으로 정규화하는 시간 정규화를 수행할 경우, 정규화부(450)는 미리 정해진 주기에 따라 보행 패턴의 시간 오차를 보정하여 시간 정규화를 수행할 수 있다. 또한, 보행 패턴을 데이터 축으로 정규화하는 Z 정규화를 수행할 경우, 정규화부(450)는 보행 패턴에 대한 센싱 데이터의 평균 및 표준 편차를 연산할 수 있고, 추출한 평균 및 표준 편차를 상술한 수학식 1을 이용하여 정규화할 수 있다.
데이터베이스 검색부(560)는 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 이 경우, 데이터베이스 검색부(560)는 보행 패턴과 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터 각각과의 유사도를 추출하고, 추출된 유사도를 기초로, 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 일 실시예에서, 복수 개의 데이터베이스가 k-d tree 구조를 기초로 구성된 경우, 데이터베이스 검색부(560)가 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하는데 소요되는 시간은
Figure 112014086601156-pat00018
일 수 있다.
보행 특징 추출부(570)는 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도의 평균값을 연산하고, 계산된 평균값을 원소로 하여 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성할 수 있다. 또한, 보행 특징 추출부(570)는 보행 특징 벡터를 정규화하여 보행 특징을 생성할 수 있다.
보행 환경 추정부(580)는 미리 정해진 학습 모델에 보행 특징을 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다. 일 실시예에서, 보행 환경 추정부(580)는 보행 특징을 미리 정해진 차원의 특징 공간에 매핑할 수 있다. 일 예로, 미리 정해진 학습 모델이 서포트 벡터 회귀 모델인 경우, 보행 환경 추정부(580)는 호모 지니어스 커널 맵을 이용하여 대한 보행 특징을 특징 공간에 매핑할 수 있다.
또한, 보행 환경 추정부(580)는 보행 특징을 미리 정해진 학습 모델에 입력하고, 미리 정해진 학습 모델에 미리 정해진 학습 파라미터를 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다. 일 실시예에서, 보행 환경 추정부(580)는 통신 인터페이스를 이용하여 외부(예를 들어, 도 4의 전처리 장치(410))로부터 미리 정해진 학습 파라미터를 수신할 수 있다. 이에 따라, 보행 환경 추정부(580)는 학습 파라미터 추출을 위한 별도의 학습 과정을 수행하지 않음으로써, 보다 신속하고 정확하게 보행 환경을 추정할 수 있다.
구동 제어부(590)는 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어할 수 있다. 보행 환경 인식 장치(510)는 스텝 검출부(530)에서 스텝이 검출될 때 마다 보행 환경을 인식할 수 있으므로, 구동 제어부(590)는 실시간으로 동작 모드를 조절하여 보행 보조 장치의 구동을 제어할 수 있다.
도 6은 일 실시예에 따른 센서를 설명하기 위한 도면이다.
도 6을 참조하면, 보행 보조 장치(610)는 사용자에게 장착되어 사용자의 보행을 도울 수 있다. 도 6에서는 Hip-타입의 보행 보조 장치(610)를 예로 들었지만, 보행 보조 장치(610)는 Hip-타입뿐만 아니라 다른 타입의 보행 보조 장치일 수 있다. 예를 들어, 본원 명세서에서, 보행 보조 장치에 대한 설명은 전신 형태의 보행 보조 장치에도 적용될 수 있다.
보행 보조 장치(610)는 IMU 센서(620) 및 포텐셔미터(630)를 포함할 수 있다. IMU 센서(620)는 사용자의 보행 동작에 따른 X축, Y축, Z축 가속도의 변화량 또는 X축, Y축, Z축 각속도의 변화량 중 적어도 하나를 센싱할 수 있다. 포텐셔미터(630)는 사용자의 보행 동작에 따른 R축, L축 관절 각도의 변화량 또는 R축, L축 관절 각속도의 변화량 중 적어도 하나를 센싱할 수 있다. 일 실시예에서, 보행 보조 장치(610)는 IMU 센서(620) 및 포텐셔미터(630)를 복수 개 포함할 수 있다. 또한, 보행 보조 장치(610)는 IMU 센서(620) 및 포텐셔미터(630)외에, 보행 동작에 따른 사용자의 운동량 또는 생체 신호 등의 변화를 센싱할 수 있는 다른 센서(예를 들어, 근전도 센서)를 포함할 수 있다.
도 7은 일 실시예에 따른 센싱 데이터를 설명하기 위한 도면이다.
도 7을 참조하면, 그래프(710)는 보행 보조 장치에 부착된 센서로부터 추출된 센싱 데이터를 나타낼 수 있다. 그래프(710)의 가로축은 시간을 나타내고, 그래프(710)의 세로축은 해당 센싱 데이터의 크기를 나타낼 수 있다.
X축 가속도 데이터(721)는 상하(up-down) 움직임에 따른 가속도 변화량을 나타내고, Y축 가속도 데이터(722)는 좌우(left-right) 움직임에 따른 가속도 변화량을 나타내고, Z축 가속도 데이터(723)는 전후(forward-backward) 움직임에 따른 가속도 변화량을 나타낼 수 있다. 또한, X축 각속도 데이터(731)는 상하 움직임에 따른 각속도 변화량을 나타내고, Y축 각속도 데이터(732)는 좌우 움직임에 따른 각속도 변화량을 나타내고, Z축 각속도 데이터(733)는 전후 움직임에 따른 각속도 변화량을 나타낼 수 있다. 관절 각도 데이터(741, 742)는 좌우 움직임에 따른 관절 각도의 변화량을 나타낼 수 있다.
일 실시예에서, 보행 환경은 평지 환경(711), 상향 경사 환경(712), 하향 계단 환경(713), 상향 계단 환경(714) 및 하향 경사 환경(715)로 정의될 수 있다. 이 경우, 센싱 데이터는 보행 환경에 따라 고유의 패턴을 가질 수 있고, 이에 따라, 보행 환경에 따라 센싱 데이터의 변화량은 달라질 수 있다. 예를 들어, X축 가속도 데이터(721)는 하향 경사 환경(715)에서 가장 변화량이 클 수 있고, X축 각속도 데이터(731)는 평지 환경(711)에서 가장 변화량이 클 수 있으며, 관절 각도 데이터(741, 742)는 상향 계단 환경(714)에서 가장 변화량이 클 수 있다.
도 8은 일 실시예에 따른 보행 패턴의 검출을 설명하기 위한 도면이다.
도 8을 참조하면, 그래프(800)의 가로축은 시간을 나타내고, 그래프(800)의 세로축은 해당 센싱 데이터의 크기를 나타낼 수 있다.
일 실시예에서, 보행 환경 인식 장치는 가속도 데이터 및 관절 각도 데이터를 이용하여 보행 패턴을 검출할 수 있다. 보행 환경 인식 장치는 R축 관절 각도 데이터 및 L축 관절 각도 데이터의 각도 차(802)를 이용하여 스텝 구간을 추출할 수 있다. 보행 환경 인식 장치는 각도 차(802)가 급격히 증가되는 지점 사이를 스텝 구간으로 정의하여, 스텝들(811, 812, 813, 814, 815, 816)을 추출할 수 있다. 또한, 보행 환경 인식 장치는 각 스텝(811, 812, 813, 814, 815, 816)별로, 각 스텝 구간에 대응하는 시간 구간으로 분할된 가속도 데이터(801)가 하나의 피크를 포함하는지 여부를 판단할 수 있다. 도 8의 예에서, 가속도 데이터(801)는 스텝 구간별로, 하나의 피크(821, 822, 823, 824, 825, 826)를 포함할 수 있다. 이에 따라, 보행 환경 인식 장치는 추출한 스텝들(811, 812, 813, 814, 815, 816)이 유효한 것으로 확인할 수 있다. 또한, 보행 패턴의 기본 단위가 스트라이드인 경우, 보행 환경 인식 장치는 스트라이드들(831, 832, 833, 834, 835)을 추출할 수 있다.
도 9는 일 실시예에 따른 보행 패턴의 정규화를 설명하기 위한 도면이다.
도 9를 참조하면, 보행 환경 인식 장치는 센싱 데이터를 이용하여 보행 패턴들을 추출할 수 있다. 이 경우, 보행 패턴은 스텝 또는 스트라이드로 구성되어 있으므로, 보행 패턴들의 시간 축에 대한 크기는 서로 상이할 수 있다. 또한, 보행에 따른 운동량은 매번 일정하지 않으므로, 보행 패턴들의 데이터 축에 대한 크기 역시 서로 상이할 수 있다. 이에 따라, 보행 환경 인식 장치는 보행 패턴들을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화할 수 있다.
도 9의 (a)에서, 보행 패턴들(911, 912, 913, 914, 915)의 시간 크기는 서로 상이할 수 있다. 보행 환경 인식 장치는 보행 패턴들(911, 912, 913, 914, 915)의 시간 크기가 미리 정해진 시간 크기 ts가 되도록 보정할 수 있다. 일 실시예에서, 보행 환경 인식 장치는 보행 패턴들(911, 912, 913, 914, 915)의 시간 축을 보간하여 시간 정규화를 수행할 수 있다.
도 9의 (b)에서, 그래프의 가로축은 시간을 나타내고, 그래프의 세로축은 센싱 데이터의 크기를 나타낼 수 있다. 보행 패턴들(931, 932, 933)는 서로 다른 시점에서 센싱된, 동일한 보행 환경에서의 센싱 데이터로부터 추출될 수 있다. 도 9의 (b)에서와 같이, 동일한 보행 환경에서도, 사용자의 상황에 따라 보행 패턴들(931, 932, 933)은 서로 다른 데이터 범위를 가질 수 있다. 보행 환경 인식 장치는 보행 환경 인식 장치는 보행 패턴들(931, 932, 933) 각각에 대한 센싱 데이터의 평균 및 표준 편차를 이용하여 Z 정규화를 수행할 수 있다. 예를 들어, 보행 환경 인식 장치는 보행 패턴들(931, 932, 933) 각각에 대한 센싱 데이터의 평균 및 표준 편차를 연산할 수 있고, 추출한 평균 및 표준 편차를 아래의 수학식 1을 이용하여 정규화할 수 있다. Z 정규화에 의하여, 정규화된 보행 패턴들(941, 942, 943)은 서로 유사한 데이터 범위를 가질 수 있다.
도 10은 일 실시예에 따른 데이터베이스를 설명하기 위한 도면이다.
도 10을 참조하면, 전처리 장치는 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)를 구축할 수 있다. 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)는 각각 복수 개의 보행 환경에 대응될 수 있다. 여기서, 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)는 각각 별개의 데이터베이스를 의미할 수도 있고, 하나의 데이터베이스(1000)에 속한 복수 개의 서브 데이터베이스를 의미할 수도 있다.
전처리 장치는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 분류된 복수 개의 보행 패턴을 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)에 보행 데이터로 저장할 수 있다. 예를 들어, 보행 데이터(1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008)은 각각 분류된 복수 개의 보행 패턴에 따른 X축 가속도 데이터, Y축 가속도 데이터, Z축 가속도 데이터, X축 각속도 데이터, Y축 각속도 데이터, Z축 각속도 데이터, R축 관절 각도 데이터 및 L축 관절 각도 데이터를 나타낼 수 있다. 일 실시예에서, 전처리 장치는 보행 데이터(1001, 1002, 1003, 1004, 1005, 1006, 1007, 1008)는 각각 벡터 형태로 저장할 수 있다.
또한, 전처리 장치는 k-d tree 구조를 이용하여 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)를 구성할 수 있다. 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)가 k-d tree 구조를 기초로 구축됨에 따라, 복수 개의 데이터베이스(1010, 1020, 1030, 1040, 1050)에서 보행 데이터를 검색하기 위하여
Figure 112014086601156-pat00019
의 시간이 소요될 수 있다. 이에 따라, 보행 환경 인식 장치는 실시간으로 복수 개의 데이터베이스로부터 보행 데이터를 검색할 수 있다.
도 11은 일 실시예에 따른 보행 환경 인식을 위한 전처리 장치의 보행 특징의 추출을 설명하기 위한 도면이다.
도 11을 참조하면, 전처리 장치는 복수 개의 보행 데이터간의 유사도를 기초로 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성할 수 있다. 예를 들어, 5개의 보행 환경이 정의된 경우, 전처리 장치는 5개의 데이터베이스를 구축할 수 있다. 제1 데이터베이스(1121)에 포함된 제1 보행 데이터(1111)의 보행 특징을 생성하기 위하여, 전처리 장치는 제1 보행 데이터(1111)와 제1 데이터베이스(1121)에서 제1 보행 데이터(1111)를 제외한 나머지 보행 데이터와의 유사도를 연산하여, 연산된 유사도를 기초로 제1 데이터베이스(1121)로부터 제1 보행 데이터(1111)과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 또한, 전처리 장치는 제1 보행 데이터(1111)와 제2 데이터베이스(1122) 내지 제5 데이터베이스(1125) 각각에 포함된 복수 개의 보행 데이터와의 유사도를 연산하여, 연산된 유사도를 기초로 제2 데이터베이스(1122) 내지 제5 데이터베이스(1125) 각각으로부터 복수 개의 유사 보행 데이터를 추출할 수 있다.
또한, 전처리 장치는 제1 데이터베이스(1121) 내지 제5 데이터베이스(1125) 각각으로부터 추출된 복수 개의 유사 보행 데이터와 제1 보행 데이터(1111)간의 유사도의 평균값을 계산하고, 계산된 평균값과의 원소로 하여 제1 보행 특징 벡터를 생성할 수 있다. 예를 들어, 전처리 장치는 제1 데이터베이스(1121) 내지 제5 데이터베이스(1125) 각각에 대응하는 평균값인 제1 평균값 내지 제5 평균값 각각을 제1 보행 특징 벡터의 제1 원소 내지 제5 원소로 구성할 수 있다. 전처리 장치는 제1 보행 특징 벡터를 정규화(1131)하여 제1 보행 특징(1141)을 생성할 수 있다. 또한, 전처리 장치는 제1 보행 데이터(1111)와 마찬가지로, 제2 보행 데이터 내지 제5 보행 데이터 각각에 대응하는 제2 보행 특징(1142) 내지 제5 보행 특징(1145)을 생성할 수 있다.
도 12는 일 실시예에 따른 보행 특징의 특징 공간으로의 매핑을 설명하기 위한 도면이다.
도 12를 참조하면, 입력 공간(1210)은 5 ⅹ 1 크기를 갖는 보행 특징들을 포함할 수 있다. 보행 특징(1211)과 보행 특징(1212)은 서로 다른 보행 환경과 대응될 수 있지만, 입력 공간(1210)에서, 보행 특징(1211)과 보행 특징(1212)은 서로 구분되지 않을 수 있다.
보행 환경 인식 장치는 보행 특징들(1211, 1212)을 미리 정해진 차원의 특징 공간(1220)에 매핑할 수 있다. 보행 환경 인식 장치가 서포트 벡터 회귀 모델을 이용하여 보행 환경을 추정하는 경우, 보행 환경 인식 장치는 호모 지니어스 커널 맵을 이용하여 보행 특징들(1211, 1212)을 15 ⅹ 1 차원의 특징 공간(1220)에 매핑할 수 있다. 보행 특징들(1211, 1221)이 특징 공간(1220)에 매핑됨으로써, 특징 공간(1220)에서, 보행 특징들(1221, 1222)은 서로 구분될 수 있다. 이에 따라, 보행 환경 인식 장치는 적은 차원 공간에서도 비선형 서포트 벡터 회기 모델에 보행 특징을 적용하여 보행 환경을 추정할 수 있고, 이에 따라, 보행 환경의 추정을 위해 필요한 연산 시간이 감소될 수 있다.
도 13은 일 실시예에 따른 데이터베이스의 검색을 설명하기 위한 도면이다.
도 13을 참조하면, 보행 환경 인식 장치는 센싱 데이터를 이용하여 보행 패턴을 추출할 수 있다(1310). 예를 들어, 정지 상태에서 사용자가 보행을 시작할 때, 보행 환경 인식 장치는 센싱 데이터를 이용하여 보행 패턴(1311)을 추출할 수 있다.
또한, 보행 환경 인식 장치는 보행 패턴을 기초로 복수 개의 데이터베이스(1321)를 검색하여, 복수 개의 보행 환경 각각에 대응하는 복수 개의 데이터베이스(1321) 각각으로부터, 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다(1320, 1330). 일 실시예에서, 보행 환경 인식 장치는 k nearest neighborhood search 기법을 이용하여 복수 개의 데이터베이스(1321)를 검색할 수 있다. 이 때, 복수 개의 데이터베이스(1321)가 k-d tree 구조를 기초로 구성된 경우, 복수 개의 데이터베이스(1321)를 검색하는데 소요되는 시간은
Figure 112014086601156-pat00020
일 수 있다. 여기서, ni는 복수 개의 데이터베이스(1321) 각각에 포함된 복수 개의 보행 데이터의 개수를 나타내고, i는 데이터베이스의 인덱스를 의미할 수 있다. 예를 들어, 보행 환경 인식 장치는 복수 개의 데이터베이스(1321) 각각으로부터 5개의 유사 보행 데이터(1331)를 추출할 수 있다.
도 14는 일 실시예에 따른 보행 환경 인식 장치의 보행 특징의 추출을 설명하기 위한 도면이다.
도 14를 참고하면, 보행 환경 인식 장치는 보행 패턴(1410)과 5개의 데이터베이스(1421, 1422, 1423, 1424, 1425) 각각에 포함된 복수 개의 유사 보행 데이터와의 유사도를 추출할 수 있다. 예를 들어, 보행 환경 인식 장치는 5개의 데이터베이스(1421, 1422, 1423, 1424, 1425)마다 보행 패턴(1410)과의 유사도가 높은 5개의 보행 유사 데이터를 추출할 수 있고, 보행 패턴(1410)과 5개의 데이터베이스(1421, 1422, 1423, 1424, 1425) 각각에 포함된 5개의 보행 데이터 각각과의 유사도를 추출할 수 있다.
또한, 보행 환경 인식 장치는 추출한 유사도의 평균값을 연산할 수 있다. 예를 들어, 보행 환경 인식 장치는 보행 패턴(1410)과 제1 데이터베이스(1421)에서 추출된 5개의 보행 유사 데이터와의 유사도의 평균값을 나타내는 제1 평균값(1431)을 추출할 수 있다. 보행 환경 인식 장치는 보행 패턴(1410)과 제2 데이터베이스(1422) 내지 제5 데이터베이스(1425) 각각에서 추출된 5개의 보행 유사 데이터와의 유사도의 평균값을 나타내는 제2 평균값(1432) 내지 제5 평균값(1435)를 추출할 수 있다. 보행 환경 인식 장치는 제1 평균값(1431) 내지 제5 평균값(1435) 각각을 보행 특징 벡터의 제1 원소 내지 제5 원소로 구성할 수 있다. 보행 환경 인식 장치는 보행 특징 벡터를 정규화(1440)하여 보행 특징(1450)을 생성할 수 있다.
도 15는 일 실시예에 따른 보행 환경 인식 장치의 일례를 설명하기 위한 도면이다.
도 15를 참조하면, 보행 환경 인식 장치(1510)는 보행 보조 장치 내에 포함될 수 있다. 사용자가 보행하는 경우, 보행 환경 인식 장치(1510)는 보행 환경 인식 장치(1510)에 포함된 센서로부터 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱한 센싱 데이터를 획득할 수 있다. 보행 환경 인식 장치(1510)는 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하고, 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출할 수 있다. 또한, 보행 환경 인식 장치(1510)는 추출한 유사도를 기초로 보행 패턴의 보행 특징을 생성할 수 있다. 보행 환경 인식 장치(1510)는 미리 정해진 학습 모델에 보행 특징을 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다. 보행 환경 인식 장치(1510)는 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어할 수 있다. 또한, 보행 환경 인식 장치(1510)는 통신 인터페이스를 이용하여 웨어러블 장치(1520) 또는 모바일 단말(1530)과 통신을 수행할 수 있다. 예를 들어, 보행 환경 인식 장치(1510)가 보행 환경을 추정한 경우, 보행 환경 인식 장치(1510)는 웨어러블 장치(1520) 또는 모바일 단말(1530)에 추정된 보행 환경에 대한 정보를 전송할 수 있다.
도 16은 다른 일 실시예에 따른 보행 환경 인식 장치의 일례를 설명하기 위한 도면이다.
도 16을 참조하면, 보행 환경 인식 장치(1610)는 보행 보조 장치 내에 포함될 수 있다. 사용자가 보행하는 경우, 보행 환경 인식 장치(1610)는 보행 환경 인식 장치(1610)에 포함된 센서로부터 보행 동작에 따른 사용자의 운동량 또는 생체 신호등의 변화를 센싱한 센싱 데이터를 획득할 수 있다. 또한, 보행 환경 인식 장치(1610)는 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출할 수 있다. 서버(1620)는 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스를 포함할 수 있다. 일 실시예에서, 복수 개의 데이터베이스는 전처리 장치에 의해 미리 생성된 후, 서버(1620)에 저장될 수 있다. 보행 환경 인식 장치(1610)는 통신 인터페이스를 이용하여, 보행 패턴 기초로 서버(1620)에 포함된 복수 개의 데이터베이스를 검색할 수 있다. 보행 환경 인식 장치(1610)는 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도를 기초로 보행 패턴의 보행 특징을 생성할 수 있다.
또한, 보행 환경 인식 장치(1610)는 서버(1620)로부터 미리 정해진 학습 파라미터를 획득할 수 있고, 보행 환경 인식 장치(1620)는 미리 정해진 학습 모델에 보행 특징을 입력하고, 미리 정해진 학습 모델에 서버(1620)로부터 획득한 미리 정해진 학습 파라미터를 적용하여, 보행 패턴에 대응하는 보행 환경을 추정할 수 있다.
일 실시예에서, 보행 환경 인식 장치(1610)는 통신 인터페이스를 이용하여 추정된 보행 환경에 대한 정보를 서버(1620)에 전송할 수 있다.
도 17은 또 다른 일 실시예에 따른 보행 환경 인식 장치를 나타낸 블록도이다.
도 17을 참조하면, 보행 환경 인식 장치(1710)는 보행 패턴 검출부(1720), 데이터베이스 구축부(1730), 보행 특징 생성부(1740), 학습 파라미터 추출부(1750), 사용자 보행 패턴 검출부(1760), 사용자 보행 특징 생성부(1770), 보행 환경 추정부(1780) 및 구동 제어부(1790)를 포함할 수 있다.
보행 패턴 검출부(1720)는 제1 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출할 수 있다.
데이터베이스 구축부(1730)는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 분류된 복수 개의 보행 패턴을 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다.
보행 특징 생성부(1740)는 복수 개의 보행 데이터간의 유사도를 기초로 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성할 수 있다.
학습 파라미터 추출부(1750)는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 미리 정해진 학습 모델에 대한 학습 파라미터를 추출할 수 있다.
사용자 보행 패턴 검출부(1760)는 제2 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출할 수 있다.
사용자 보행 특징 생성부(1770)는 복수 개의 데이터베이스 각각으로부터 사용자의 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 사용자의 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도를 기초로 사용자의 보행 패턴의 보행 특징을 생성할 수 있다.
보행 환경 추정부(1780)는 미리 정해진 학습 모델에 사용자의 보행 특징을 적용하여 사용자의 보행 패턴에 대응하는 보행 환경을 추정할 수 있다.
구동 제어부(1790)는 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어할 수 있다.
도 17에 도시된 또 다른 일 실시예에 따른 보행 환경 인식 장치에는 도 1 내지 도 16을 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 18은 일 실시예에 따른 보행 환경 인식 방법을 나타낸 동작 흐름도이다.
도 18을 참조하면, 보행 환경 인식 장치는 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출할 수 있다(1810).
또한, 보행 환경 인식 장치는 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도를 기초로 보행 패턴의 보행 특징을 생성할 수 있다(1820).
또한, 보행 환경 인식 장치는 미리 정해진 학습 모델에 보행 특징을 적용하여 보행 패턴에 대응하는 보행 환경을 추정할 수 있다(1830).
또한, 보행 환경 인식 장치는 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어할 수 있다(1840).
도 18에 도시된 일 실시예에 따른 보행 환경 인식 방법에는 도 1 내지 도 16을 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 19는 일 실시예에 따른 보행 환경 인식을 위한 전처리 방법을 나타낸 동작 흐름도이다.
도 19를 참조하면, 전처리 장치는 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출할 수 있다(1910).
또한, 전처리 장치는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 분류된 복수 개의 보행 패턴을 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다(1920).
또한, 전처리 장치는 복수 개의 보행 데이터간의 유사도를 기초로 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성할 수 있다(1930).
또한, 전처리 장치는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 미리 정해진 학습 모델에 대한 학습 파라미터를 추출할 수 있다(1940).
도 19에 도시된 일 실시예에 따른 보행 환경 인식을 위한 전처리 방법에는 도 1 내지 도 16을 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 20은 다른 일 실시예에 따른 보행 환경 인식 방법을 나타낸 동작 흐름도이다.
도 20을 참조하면, 보행 환경 인식 장치는 제1 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출할 수 있다(2010).
또한, 보행 환경 인식 장치는 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 분류된 복수 개의 보행 패턴을 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장할 수 있다(2020).
또한, 보행 환경 인식 장치는 복수 개의 보행 데이터간의 유사도를 기초로 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성할 수 있다(2030).
또한, 보행 환경 인식 장치는 미리 정해진 학습 모델에 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 미리 정해진 학습 모델에 대한 학습 파라미터를 추출할 수 있다(2040).
또한, 보행 환경 인식 장치는 제2 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출할 수 있다(2050).
또한, 보행 환경 인식 장치는 복수 개의 데이터베이스 각각으로부터 사용자의 보행 패턴과 유사한 복수 개의 유사 보행 데이터를 추출하고, 사용자의 보행 패턴과 복수 개의 유사 보행 데이터와의 유사도를 기초로 사용자의 보행 패턴의 보행 특징을 생성할 수 있다(2060).
또한, 보행 환경 인식 장치는 미리 정해진 학습 모델에 사용자의 보행 특징을 적용하여 사용자의 보행 패턴에 대응하는 보행 환경을 추정할 수 있다(2070).
또한, 보행 환경 인식 장치는 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어할 수 있다(2080).
도 20에 도시된 다른 일 실시예에 따른 보행 환경 인식 방법에는 도 1 내지 도 16을 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (27)

  1. 보행 보조 장치는,
    보행 보조 장치를 제어하는 프로그램이 기록된 메모리; 및
    상기 프로그램을 수행하는 프로세서
    를 포함하고,
    상기 프로세서는,
    센싱 데이터를 이용하여 사용자의 보행 패턴(gait pattern)을 검출하고,
    복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터의 복수 개의 유사 보행 데이터 및 상기 보행 패턴에 기초하여 상기 보행 패턴의 보행 특징(gait feature)을 생성하고,
    학습된 모델에 상기 보행 특징을 적용하여 상기 보행 패턴에 대응하는 보행 환경을 추정하고,
    상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는,
    보행 보조 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 센싱 데이터로부터 상기 사용자의 발바닥이 지면에 닿은 상태를 나타내는 힐 스트라이크(heel strike)를 감지하고, 하나의 상기 힐 스트라이크로 구성된 스텝(step) 또는 두 개의 상기 스텝으로 구성된 스트라이드(stride)를 기본 단위로 상기 보행 패턴을 검출하는,
    보행 보조 장치.
  3. 제1항에 있어서,
    상기 센싱 데이터는,
    IMU(Inertial Measurement Unit) 센서에 의해 센싱된 가속도 데이터 또는 각속도 데이터, 포텐셔미터(Potentiometer)에 의해 센싱된 관절 각도 데이터 또는 관절 각속도 데이터 또는 근전도(ElectroMyoGraphy: EMG) 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함하는,
    보행 보조 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화하는,
    보행 보조 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 보행 패턴과 상기 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터와의 유사도를 연산하고, 상기 복수 개의 보행 데이터와의 유사도를 이용하여 상기 복수 개의 데이터베이스 각각으로부터 상기 복수 개의 유사 보행 데이터를 결정하는,
    보행 보조 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 보행 패턴과 상기 복수 개의 유사 보행 데이터와의 유사도의 평균값을 계산하고, 상기 평균값을 원소로 하여 상기 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성하는,
    보행 보조 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 보행 특징 벡터를 정규화하여 상기 보행 특징을 생성하는,
    보행 보조 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    L1 놈(norm), L2 놈, NCC(Normalized Cross Correlation) 또는 DTW(Dynamic Time Warping) 중 적어도 하나를 이용하여 상기 복수 개의 보행 데이터와의 유사도 또는 상기 복수 개의 유사 보행 데이터와의 유사도를 연산하는,
    보행 보조 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 학습된 모델에 상기 보행 특징을 입력하고, 상기 학습된 모델에 미리 정해진 학습 파라미터를 적용하여 상기 보행 패턴에 대응하는 보행 환경을 추정하는,
    보행 보조 장치.
  10. 제9항에 있어서,
    상기 미리 정해진 학습 파라미터는,
    상기 학습된 모델을 기초로 상기 복수 개의 데이터베이스 각각에 포함된 복수 개의 보행 데이터로부터 추출된,
    보행 보조 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    통신 인터페이스를 이용하여 상기 미리 정해진 학습 파라미터를 외부로부터 획득하는,
    보행 보조 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 보행 특징을 미리 정해진 차원의 특징 공간에 매핑하고, 상기 매핑된 보행 특징을 상기 학습된 모델에 입력하는,
    보행 보조 장치.
  13. 보행 환경 인식을 위한 전처리 장치는,
    메모리; 및
    프로세서
    를 포함하고,
    상기 프로세서는,
    센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하고,
    상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 상기 메모리의 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하고,
    상기 복수 개의 보행 데이터 간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하고,
    학습된 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용함으로써 상기 학습된 모델에 대한 학습 파라미터를 추출하는,
    보행 환경 인식을 위한 전처리 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 센싱 데이터로부터 사용자의 발바닥이 지면에 닿은 상태를 나타내는 힐 스트라이크를 감지하고, 하나의 상기 힐 스트라이크로 구성된 스텝 또는 두 개의 상기 스텝으로 구성된 스트라이드를 기본 단위로 상기 보행 패턴을 검출하는,
    보행 환경 인식을 위한 전처리 장치.
  15. 제13항에 있어서,
    상기 센싱 데이터는,
    IMU 센서에 의해 센싱된 가속도 데이터, 각속도 데이터, 포텐셔미터에 의해 센싱된 관절 각도 데이터, 관절 각속도 데이터 또는 근전도 센서로부터 추출된 근전도 데이터 중 적어도 하나를 포함하는,
    보행 환경 인식을 위한 전처리 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    상기 복수 개의 보행 패턴을 시간 축 또는 데이터 축 중 적어도 하나에 대하여 정규화하는,
    보행 환경 인식을 위한 전처리 장치.
  17. 제13항에 있어서,
    상기 프로세서는,
    k-d tree 구조를 이용하여 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 데이터베이스 각각에 상기 복수 개의 보행 데이터로 저장하는,
    보행 환경 인식을 위한 전처리 장치.
  18. 제13항에 있어서,
    상기 프로세서는,
    상기 복수 개의 보행 데이터 각각에 대하여, 상기 복수 개의 데이터베이스 각각으로부터 해당 보행 데이터에 기초하여 복수 개의 유사 보행 데이터를 추출하고, 상기 해당 보행 데이터와 상기 복수 개의 유사 보행 데이터와의 유사도를 기초로, 상기 해당 보행 데이터의 보행 특징을 생성하는,
    보행 환경 인식을 위한 전처리 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 복수 개의 보행 데이터 각각에 대하여, 상기 해당 보행 데이터와 상기 복수 개의 유사 보행 데이터와의 유사도의 평균값을 계산하고, 상기 평균값을 원소로 하여 상기 복수 개의 보행 환경 각각에 대응하는 특징값을 포함하는 보행 특징 벡터를 생성하는,
    보행 환경 인식을 위한 전처리 장치.
  20. 제19항에 있어서,
    상기 프로세서는,
    상기 복수 개의 보행 데이터 각각에 대하여, 상기 보행 특징 벡터를 정규화하여 상기 보행 특징을 생성하는,
    보행 환경 인식을 위한 전처리 장치.
  21. 제13항에 있어서,
    상기 프로세서는,
    상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 미리 정해진 차원의 특징 공간에 매핑하고, 상기 매핑된 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 상기 학습된 모델에 입력하는,
    보행 환경 인식을 위한 전처리 장치.
  22. 제13항에 있어서,
    상기 프로세서는,
    통신 인터페이스를 이용하여 상기 추출된 학습 파라미터를 외부에 전송하는,
    보행 환경 인식을 위한 전처리 장치.
  23. 보행 보조 장치는,
    메모리; 및
    프로세서
    를 포함하고,
    상기 프로세서는,
    제1 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하고
    상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 상기 메모리의 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하고
    상기 복수 개의 보행 데이터 간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하고,
    학습된 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용함으로써 상기 학습된 모델에 대한 학습 파라미터를 추출하고,
    제2 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하고,
    상기 복수 개의 데이터베이스 각각으로부터 상기 사용자의 보행 패턴에 기초하여 복수 개의 유사 보행 데이터를 결정하고, 상기 사용자의 보행 패턴과 상기 복수 개의 유사 보행 데이터 간의 유사도에 기초하여 상기 사용자의 보행 패턴의 보행 특징을 생성하고,
    상기 학습된 모델에 상기 사용자의 보행 특징을 적용하여 상기 사용자의 보행 패턴에 대응하는 보행 환경을 추정하고,
    상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는,
    보행 보조 장치.
  24. 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하는 단계;
    복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각으로부터의 복수 개의 유사 보행 데이터 및 상기 보행 패턴에 기초하여 상기 보행 패턴의 보행 특징을 생성하는 단계;
    학습된 모델에 상기 보행 특징을 적용하여 상기 보행 패턴에 대응하는 보행 환경을 추정하는 단계; 및
    상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는 단계
    를 포함하는,
    보행 보조 방법.
  25. 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하는 단계;
    상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 단계;
    상기 복수 개의 보행 데이터간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하는 단계; 및
    학습된 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 상기 학습된 모델에 대한 학습 파라미터를 추출하는 단계
    를 포함하는,
    보행 환경 인식을 위한 전처리 방법.
  26. 제1 센싱 데이터를 이용하여 복수 개의 보행 패턴을 검출하는 단계;
    상기 복수 개의 보행 패턴을 복수 개의 보행 환경에 따라 분류하여, 상기 분류된 복수 개의 보행 패턴을 상기 복수 개의 보행 환경에 대응하는 복수 개의 데이터베이스 각각에 복수 개의 보행 데이터로 저장하는 단계;
    상기 복수 개의 보행 데이터간의 유사도를 기초로 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 생성하는 단계;
    학습된 모델에 상기 복수 개의 보행 데이터 각각에 대한 보행 특징을 적용하여 상기 학습된 모델에 대한 학습 파라미터를 추출하는 단계;
    제2 센싱 데이터를 이용하여 사용자의 보행 패턴을 검출하는 단계;
    상기 보행 패턴에 기초하여 상기 복수 개의 데이터베이스 각각으로부터 복수 개의 유사 보행 데이터를 결정하고, 상기 사용자의 보행 패턴과 상기 복수 개의 유사 보행 데이터 간의 유사도에 기초하여 상기 사용자의 보행 패턴의 보행 특징을 생성하는 단계;
    상기 학습된 모델에 상기 사용자의 보행 특징을 적용하여 상기 사용자의 보행 패턴에 대응하는 보행 환경을 추정하는 단계; 및
    상기 추정된 보행 환경에 대응하도록 보행 보조 장치의 구동을 제어하는 단계
    를 포함하는,
    보행 보조 방법.
  27. 제24항 내지 제26항 중 어느 하나의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140121026A 2014-09-12 2014-09-12 보행 환경 인식 방법 및 장치 KR102292683B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140121026A KR102292683B1 (ko) 2014-09-12 2014-09-12 보행 환경 인식 방법 및 장치
EP15179279.3A EP2997895A1 (en) 2014-09-12 2015-07-31 Method and apparatus for recognizing gait task
EP24151733.3A EP4331473A2 (en) 2014-09-12 2015-07-31 Method and apparatus for recognizing gait task
JP2015155822A JP6629543B2 (ja) 2014-09-12 2015-08-06 歩行環境認識方法及び装置
US14/850,288 US11234890B2 (en) 2014-09-12 2015-09-10 Method and apparatus for recognizing gait task
CN201510579072.0A CN105411593B (zh) 2014-09-12 2015-09-11 用于识别步态任务的方法和设备
US17/586,926 US20220142850A1 (en) 2014-09-12 2022-01-28 Method and apparatus for recognizing gait task

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140121026A KR102292683B1 (ko) 2014-09-12 2014-09-12 보행 환경 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160031246A KR20160031246A (ko) 2016-03-22
KR102292683B1 true KR102292683B1 (ko) 2021-08-23

Family

ID=54014480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140121026A KR102292683B1 (ko) 2014-09-12 2014-09-12 보행 환경 인식 방법 및 장치

Country Status (5)

Country Link
US (1) US11234890B2 (ko)
EP (2) EP4331473A2 (ko)
JP (1) JP6629543B2 (ko)
KR (1) KR102292683B1 (ko)
CN (1) CN105411593B (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170045746A (ko) * 2014-09-18 2017-04-27 쿠니히로 시이나 레코딩 장치, 휴대 단말, 해석 장치, 프로그램 및 기억 매체
US10052047B2 (en) 2015-08-07 2018-08-21 University Of Virginia Patent Foundation System and method for functional gait re-trainer for lower extremity pathology
CN107536698B (zh) * 2016-06-29 2022-06-03 松下知识产权经营株式会社 行走辅助机器人以及行走辅助方法
CN107960064B (zh) * 2016-08-17 2021-05-11 电力助力国际公司 穿戴型支援机器人装置
KR101940898B1 (ko) * 2017-01-20 2019-01-21 국방과학연구소 외골격 로봇의 하강보행 제어 방법
KR101909743B1 (ko) * 2017-01-26 2018-10-18 주식회사 제윤메디컬 스마트 인솔을 기반의 차량용 전장 기기 제어 방법 및 시스템
KR102624560B1 (ko) * 2017-01-31 2024-01-15 엘지전자 주식회사 청소기
JP6887274B2 (ja) * 2017-03-21 2021-06-16 パナソニック株式会社 歩行支援ロボット及び歩行支援方法
CN107411753A (zh) * 2017-06-06 2017-12-01 深圳市科迈爱康科技有限公司 一种识别步态的可穿戴设备
KR102550887B1 (ko) * 2017-09-20 2023-07-06 삼성전자주식회사 개인화된 보행 정책을 갱신하는 방법 및 장치
KR101972662B1 (ko) * 2017-09-29 2019-04-25 숭실대학교산학협력단 발동작 패턴 분석을 통한 스마트 홈 시스템 및 스마트 홈 서비스 제공방법
KR102566114B1 (ko) 2017-11-10 2023-08-14 삼성전자주식회사 회전 보행을 위한 제어 방법 및 제어 장치
KR102155134B1 (ko) * 2017-11-28 2020-09-11 인하대학교 산학협력단 Emg 신호에 기반한 보행패턴을 이용한 사용자 인식 장치 및 방법
KR101989477B1 (ko) * 2017-12-06 2019-06-14 인하대학교 산학협력단 Emg신호 분석을 위한 tas 특징 추출 장치 및 방법
CN108013998A (zh) * 2017-12-12 2018-05-11 深圳市罗伯医疗科技有限公司 一种下肢康复仪器训练方法和系统
WO2019116255A1 (en) 2017-12-12 2019-06-20 Mindmaze Holding Sa System, apparatus and method for activity classification
KR102085372B1 (ko) * 2017-12-26 2020-03-05 한국산업기술대학교산학협력단 보행 상태 추정 방법 및 장치
CN108014001B (zh) * 2018-01-02 2020-03-17 北京理工大学 一种柔性助行外骨骼
KR102546547B1 (ko) * 2018-01-11 2023-06-22 삼성전자주식회사 보행 보조 방법 및 장치
DE102018206823A1 (de) * 2018-05-03 2019-11-07 Krones Ag Behälterbehandlungsanlage
JP7215489B2 (ja) * 2018-11-16 2023-01-31 日本電気株式会社 負荷軽減装置、負荷軽減方法、及びプログラム
KR20200085083A (ko) * 2019-01-04 2020-07-14 삼성전자주식회사 보행 보조 장치의 제어 방법 및 장치
JP7192528B2 (ja) * 2019-01-24 2022-12-20 株式会社ジェイテクト アシスト装置
KR20200094519A (ko) 2019-01-30 2020-08-07 삼성전자주식회사 정보 처리 장치 및 이의 동작 방법
CN109998551B (zh) * 2019-04-11 2020-09-11 北京航空航天大学 一种分段式局部峰值检测的步态相位分析方法
CN111860063B (zh) * 2019-04-30 2023-08-11 杭州海康威视数字技术股份有限公司 步态数据构建系统、方法及装置
CN110246561A (zh) * 2019-04-30 2019-09-17 华为技术有限公司 一种移动距离计算方法、装置以及系统
KR102304300B1 (ko) * 2019-05-08 2021-09-23 주식회사 비플렉스 머리부 가속도 센서를 통한 보행인자 검출 방법 및 장치
US20220211297A1 (en) * 2019-05-29 2022-07-07 Nec Corporation Information processing device, walking environment determination device, walking environment determination system, information processing method, and storage medium
CN110236523A (zh) * 2019-06-17 2019-09-17 杭州电子科技大学 基于高斯回归的步态-心电rr间隔关联方法
JP7326927B2 (ja) * 2019-06-27 2023-08-16 トヨタ自動車株式会社 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル
JP7243486B2 (ja) * 2019-06-27 2023-03-22 トヨタ自動車株式会社 学習装置、歩行訓練システム、方法、及びプログラム
JP7293915B2 (ja) * 2019-06-28 2023-06-20 トヨタ自動車株式会社 学習装置、歩行訓練装置、システム、方法、プログラム、及び学習済みモデル
EP4025127A4 (en) * 2019-09-06 2023-09-27 The University of Miami QUANTIFICATION OF SYMMETRY AND REPEATABILITY IN A THIGH MOVEMENT TO TREAT ABNORMAL MOVEMENT PATTERNS
CN110710976A (zh) * 2019-10-14 2020-01-21 深圳市迈步机器人科技有限公司 个性化步态生成方法存储介质、控制系统及外骨骼机器人
CN111028374B (zh) * 2019-10-30 2021-09-21 中科南京人工智能创新研究院 基于步态识别的考勤机及考勤系统
KR102345636B1 (ko) * 2019-12-03 2021-12-31 중앙대학교 산학협력단 모터 자동제어시스템을 적용한 가변압박슬리브 및 그 가변압박슬리브의 제어방법
US20230009480A1 (en) * 2019-12-25 2023-01-12 Nec Corporation Estimation device, estimation system, estimation method, and program recording medium
US11216074B2 (en) 2020-03-13 2022-01-04 OnTracMD, LLC Motion classification user library
KR102350633B1 (ko) * 2020-03-26 2022-01-11 한국로봇융합연구원 낙상 유도 장치 및 낙상 유도 방법
KR102350593B1 (ko) * 2020-11-04 2022-01-14 단국대학교 산학협력단 딥러닝 앙상블을 이용한 멀티모달 센서 기반의 보행 패턴 분류를 위한 장치 및 방법
KR102521682B1 (ko) * 2021-05-10 2023-04-13 서강대학교산학협력단 인공신경망을 활용한 표면근전도 기반 보행 환경 분류 방법과 그 장치
CN113762072B (zh) * 2021-07-27 2024-04-19 新绎健康科技有限公司 一种基于互相关性的对步态信号进行识别的方法及系统
WO2024044252A1 (en) * 2022-08-23 2024-02-29 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for detecting and monitoring gait using a portable gait biofeedback system
KR102518801B1 (ko) * 2023-02-11 2023-04-06 엑소아틀레트아시아 주식회사 외골격 장치를 사용하기 위한 보행패턴 획득시스템 및 이를 이용한 보행패턴 획득방법
CN116959035A (zh) * 2023-09-19 2023-10-27 深圳市博锐高科科技有限公司 一种基于步态的身份识别方法、装置、芯片及终端
CN117421605B (zh) * 2023-10-27 2024-04-30 绍兴清研微科技有限公司 一种基于区块链技术的步态识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090265018A1 (en) 2008-04-21 2009-10-22 Vanderbilt University Powered leg prosthesis and control methodologies for obtaining near normal gait
JP2010263934A (ja) 2009-05-12 2010-11-25 Univ Of Tsukuba 動作補助装置、及び該動作補助装置を管理する情報管理装置
US20110112443A1 (en) 2005-05-02 2011-05-12 University Of Virginia Patent Foundation Systems, Devices, and Methods for Interpreting Movement
US20120089330A1 (en) 2010-10-07 2012-04-12 Honeywell International Inc. System and method for wavelet-based gait classification
KR101340085B1 (ko) 2012-11-14 2013-12-09 한국과학기술연구원 보행 패턴 생성 장치 및 방법
US20140094345A1 (en) 2011-04-08 2014-04-03 Yonsei University Wonju Industry-Academic Cooperation Foundation Active robotic gait-training system and method
KR101422669B1 (ko) 2013-07-08 2014-07-24 한국과학기술연구원 보행 주기 검출 시스템

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178186B2 (ja) 2003-08-21 2008-11-12 国立大学法人 筑波大学 装着式動作補助装置、装着式動作補助装置の制御方法および制御用プログラム
JP2005211086A (ja) 2004-01-27 2005-08-11 Yaskawa Electric Corp 歩行訓練装置
US9149222B1 (en) * 2008-08-29 2015-10-06 Engineering Acoustics, Inc Enhanced system and method for assessment of disequilibrium, balance and motion disorders
US10342461B2 (en) * 2007-10-15 2019-07-09 Alterg, Inc. Method of gait evaluation and training with differential pressure system
PL2226006T3 (pl) * 2007-12-27 2018-01-31 Univ Tsukuba Detektor położenia środka ciężkości oraz urządzenie wspomagające ruch typu do noszenia wyposażone w detektor położenia środka ciężkości
JP5309743B2 (ja) 2008-07-14 2013-10-09 大日本印刷株式会社 歩行補助装置
CN101388080B (zh) 2008-10-23 2010-08-11 北京航空航天大学 一种基于多角度步态信息融合的行人性别分类方法
KR100957985B1 (ko) 2008-11-07 2010-05-17 신대섭 보행 보조 로봇의 제어장치
JP5386253B2 (ja) * 2009-07-15 2014-01-15 サンコールエンジニアリング株式会社 歩行診断支援システム、歩行パターン生成装置、歩行パターン生成プログラム、及び歩行パターン生成方法
US9314394B2 (en) 2009-10-21 2016-04-19 Honda Motor Co., Ltd. Motion assisting device, control method therefor, and rehabilitation method
KR101159437B1 (ko) * 2010-04-29 2012-06-22 숭실대학교산학협력단 시각장애인용 보행유도 장치 및 방법
KR101082161B1 (ko) 2010-06-23 2011-11-09 고려대학교 산학협력단 보행 보조 장치
CN102119877B (zh) 2010-12-15 2012-11-07 河北工业大学 建立下肢假肢自动训练专家知识库的方法
KR101224056B1 (ko) 2011-06-27 2013-01-21 엘지전자 주식회사 보행 보조 장치 및 그 작동 제어 방법
KR20130010609A (ko) * 2011-07-19 2013-01-29 한국생산기술연구원 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
US10945641B2 (en) * 2011-10-09 2021-03-16 The Medical Research, Infrastructure and Health Services Fund of the Tel Aviv Medical Center Virtual reality for movement disorder diagnosis and/or treatment
KR101383059B1 (ko) 2012-07-23 2014-04-08 한국과학기술연구원 착용형 진동 자극 장치 및 그 작동 방법
CN103431929B (zh) * 2013-08-29 2016-01-20 电子科技大学 一种力量增强型动力外骨骼行走步态感知方法及装置
CN103462619A (zh) * 2013-09-30 2013-12-25 厦门大学 一种足底压力测量装置及其用于步态模式识别的方法
KR102172954B1 (ko) 2013-11-08 2020-11-02 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
KR102150297B1 (ko) 2014-01-15 2020-09-01 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
CN104008398B (zh) * 2014-06-11 2017-07-07 北京大学 一种基于多传感器信息融合的步态分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110112443A1 (en) 2005-05-02 2011-05-12 University Of Virginia Patent Foundation Systems, Devices, and Methods for Interpreting Movement
US20090265018A1 (en) 2008-04-21 2009-10-22 Vanderbilt University Powered leg prosthesis and control methodologies for obtaining near normal gait
JP2010263934A (ja) 2009-05-12 2010-11-25 Univ Of Tsukuba 動作補助装置、及び該動作補助装置を管理する情報管理装置
US20120089330A1 (en) 2010-10-07 2012-04-12 Honeywell International Inc. System and method for wavelet-based gait classification
US20140094345A1 (en) 2011-04-08 2014-04-03 Yonsei University Wonju Industry-Academic Cooperation Foundation Active robotic gait-training system and method
KR101340085B1 (ko) 2012-11-14 2013-12-09 한국과학기술연구원 보행 패턴 생성 장치 및 방법
KR101422669B1 (ko) 2013-07-08 2014-07-24 한국과학기술연구원 보행 주기 검출 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multiclass Real-Time Intent Recognition of a Powered Lower Limb Prosthesis(IEEE Trans Biomed Eng. 2010.3.)

Also Published As

Publication number Publication date
US20160074272A1 (en) 2016-03-17
EP4331473A2 (en) 2024-03-06
JP2016059795A (ja) 2016-04-25
EP2997895A1 (en) 2016-03-23
KR20160031246A (ko) 2016-03-22
US11234890B2 (en) 2022-02-01
JP6629543B2 (ja) 2020-01-15
CN105411593A (zh) 2016-03-23
CN105411593B (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
KR102292683B1 (ko) 보행 환경 인식 방법 및 장치
US11865709B2 (en) Assisting torque setting method and apparatus
KR102459677B1 (ko) 알고리즘 학습 방법 및 장치
Wang et al. Quantitative assessment of dual gait analysis based on inertial sensors with body sensor network
Li et al. An adaptive and on-line IMU-based locomotion activity classification method using a triplet Markov model
KR20180096241A (ko) 보행 보조 장치의 제어 방법 및 장치
US20220142850A1 (en) Method and apparatus for recognizing gait task
Page et al. Fast embedded feet pose estimation based on a depth camera for smart walker
CN114267088B (zh) 一种步态信息的处理方法、装置及电子设备
Weon et al. Intelligent robotic walker with actively controlled human interaction
Wang et al. Recognition of the Gait Phase Based on New Deep Learning Algorithm Using Multisensor Information Fusion.
Srivises et al. Design of a smart shoe for reliable gait analysis using fuzzy logic
Gutiérrez et al. Human stability assessment and fall detection based on dynamic descriptors
Maruyama et al. Accuracy evaluation of human gait estimation by a sparse set of inertial measurement units
JP6643188B2 (ja) 移動運動解析装置及びシステム並びにプログラム
JP2021083562A (ja) 情報処理装置、計算方法およびプログラム
Lu et al. An Electronic Travel Aid based on multi-sensor fusion using extended Kalman filter
JP7477033B1 (ja) 歩容解析システムおよびその学習手法
KR102265479B1 (ko) 보행 정보를 분석하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
Huang et al. An ANN Based Human Walking Distance Estimation with an Inertial Measurement Unit
Yeaser Development of Waterloo Robotic Rollator (WATRR)
Lin et al. Gait Parameters Analysis Based on Leg-and-shoe-mounted IMU and Deep Learning
US20240133692A1 (en) Pose-driven position and navigation
Vennela et al. Human Gaiting Analysis for Machine Interaction
Paulo et al. Short-range gait pattern analysis for potential applications on assistive robotics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant