KR102365191B1 - 사용자의 동작을 인식하기 위한 장치 및 방법 - Google Patents

사용자의 동작을 인식하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102365191B1
KR102365191B1 KR1020140141512A KR20140141512A KR102365191B1 KR 102365191 B1 KR102365191 B1 KR 102365191B1 KR 1020140141512 A KR1020140141512 A KR 1020140141512A KR 20140141512 A KR20140141512 A KR 20140141512A KR 102365191 B1 KR102365191 B1 KR 102365191B1
Authority
KR
South Korea
Prior art keywords
motion
user
leg
event
recognizing
Prior art date
Application number
KR1020140141512A
Other languages
English (en)
Other versions
KR20160046342A (ko
Inventor
김경록
심영보
안성환
이주석
임복만
장준원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140141512A priority Critical patent/KR102365191B1/ko
Priority to US14/686,323 priority patent/US10835442B2/en
Publication of KR20160046342A publication Critical patent/KR20160046342A/ko
Priority to US17/070,895 priority patent/US11919156B2/en
Application granted granted Critical
Publication of KR102365191B1 publication Critical patent/KR102365191B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus ; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0237—Stretching or bending or torsioning apparatus for exercising for the lower limbs
    • A61H1/0244—Hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H2003/007—Appliances for aiding patients or disabled persons to walk about secured to the patient, e.g. with belts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/12—Driving means
    • A61H2201/1207—Driving means with electric or magnetic drive
    • A61H2201/1215—Rotary drive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5069—Angle sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5084—Acceleration sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5097—Control means thereof wireless
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Rehabilitation Tools (AREA)
  • General Physics & Mathematics (AREA)

Abstract

사용자의 동작을 인식하기 위한 장치 및 방법에 연관된다. 사용자의 동작을 인식하기 위한 장치는 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하고, 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트를 생성하여, 상기 동작 이벤트 및 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식할 수 있다.

Description

사용자의 동작을 인식하기 위한 장치 및 방법{METHOD AND APPARATUS FOR RECOGNIZING USER MOTION}
사용자의 동작을 인식하기 위한 장치 및 방법에 연관된다. 보다 특별하게는 센싱되는 사용자의 생체 데이터에 기반하여 사용자의 동작을 인식하기 위한 장치 및 방법에 연관된다.
운동 보조 장치를 사용하는 사용자에게 사용자의 동작에 따른 구분 없이 일반적인 운동 보조를 제공하는 경우, 사용자에게 효과적인 운동 보조를 제공할 수 없다. 예를 들어, 사용자의 동작에 따른 구분 없이 일반적인 운동 보조를 제공하는 경우, 사용자의 각 동작마다 일괄적으로 설정된 운동 보조만을 제공하여 각 동작의 특성에 따른 운동 보조를 제공할 수 없다.
따라서, 운동 보조 장치를 사용하는 사용자의 동작에 따라 각 동작에 적합한 운동 보조를 제공할 필요가 있다. 이를 통해 사용자의 각 동작마다 불필요한 운동 보조를 피하고, 최적화된 운동 보조를 제공할 필요가 있다.
일측에 따르면, 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하는 단계, 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트를 생성하는 단계 및 상기 동작 이벤트 및 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식하는 단계를 포함하는 사용자의 동작 인식 방법을 제공한다.
일실시예에 따르면, 상기 오른쪽 및 왼쪽 다리의 각도 정보는, 센싱된 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산될 수 있다.
또한, 상기 오른쪽 및 왼쪽 다리의 각도 정보는,상기 오른쪽 및 왼쪽 고관절 각도 정보에서 상기 상체의 각도 정보를 차감하여 계산될 수 있다.
일실시예에 따르면, 상기 동작 이벤트를 생성하는 단계는, 상기 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트의 지속 시간을 확인하는 단계 및상기 지속 시간이 미리 설정된 시간 이상인 경우, 상기 동작 이벤트를 생성하는 단계를 포함할 수 있다.
또한, 상기 동작 이벤트는, 스윙(swing) 이벤트, 상승(ascending) 이벤트, 하강(descending) 이벤트, 굽힘(flexion) 이벤트 및 폄(extension) 이벤트를 포함할 수 있고, 상기 사용자의 동작은, 서 있는 동작(stand), 보행 동작(walk), 앉아 있는 동작(sit), 일어서는 동작(sit to stand) 및 앉는 동작(stand to sit)을 포함할 수 있다.
일실시예에 따르면, 상기 사용자의 동작을 인식하는 단계는, 상기 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용하여 상기 동작을 인식할 수 있다.
또한, 상기 FSM은, 상기 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함하고, 상기 동작 이벤트가 상기 적어도 하나의 상태간 전환 조건으로 설정될 수 있다.
다른 일측에 따르면, 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하는 맵핑부, 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트를 생성하는 동작 이벤트 생성부 및 상기 동작 이벤트 및 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식하는 동작 인식부를 포함하는 사용자의 동작 인식 장치를 제공한다.
일실시예에 따르면, 상기 오른쪽 및 왼쪽 다리의 각도 정보는, 센싱된 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산될 수 있다.
또한, 상기 오른쪽 및 왼쪽 다리의 각도 정보는, 상기 오른쪽 및 왼쪽 고관절 각도 정보에서 상기 상체의 각도 정보를 차감하여 계산될 수 있다.
일실시예에 따르면, 상기 동작 이벤트 생성부는, 상기 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트의 지속 시간을 확인하고, 상기 지속 시간이 미리 설정된 시간 이상인 경우, 상기 동작 이벤트를 생성할 수 있다.
일실시예에 따르면, 상기 동작 인식부는, 상기 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용하여 상기 동작을 인식할 수 있다.
더불어, 상기 FSM은, 상기 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함하고, 상기 동작 이벤트가 상기 적어도 하나의 상태간 전환 조건으로 설정될 수 있다.
또 다른 일측에 따르면, 사용자의 오른쪽 및 왼쪽 고관절을 구동시키는 구동부, 상기 오른쪽 및 왼쪽 고관절 각도 정보를 센싱하는 센서부, 상기 사용자의 상체 각도 정보를 센싱하는 IMU 센서 및 상기 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산되는 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하고, 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트를 생성하고, 상기 동작 이벤트 및 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식하여 상기 구동부를 제어하는 제어부를 포함하는 보행 보조 장치를 제공한다.
일실시예에 따르면, 상기 제어부는, 상기 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 동작 이벤트의 지속 시간을 확인하고, 상기 지속 시간이 미리 설정된 시간 이상인 경우, 상기 동작 이벤트를 생성할 수 있다.
또한, 상기 제어부는, 상기 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용하여 상기 동작을 인식할 수 있다.
도 1은 일실시예에 따른 보행 보조 장치가 사용자에게 착용된 상태의 측면도이다.
도 2는 일실시예에 따른 사용자의 동작 인식 장치의 구성을 나타내는 블록도이다.
도 3은 일실시예에 따른 사용자의 동작을 단순화한 모델을 도시한다.
도 4는 일실시예에 따른 동작 이벤트를 사용자의 오른쪽 및 왼쪽 다리의 각속도에 따라 구분한 그래프이다.
도 5는 일실시예에 따른 각 동작 이벤트를 단순화한 모델을 도시한다.
도 6은 일실시예에 따른 사용자의 동작 인식을 위한 FSM(Finite State Machine)을 도시한다.
도 7은 일실시예에 따른 보행 보조 장치의 구성을 나타내는 블록도이다.
도 8은 일실시예에 따른 사용자의 동작 인식 방법을 나타내는 흐름도이다.
이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
도 1은 일실시예에 따른 보행 보조 장치가 사용자에게 착용된 상태의 측면도이다.
보행 보조 장치는 구동부(110), 센서부(120), IMU(Inertial Measurement Unit) 센서(130) 및 제어부(140)를 포함할 수 있다. 도 1에서는 힙 타입(hip-type)의 보행 보조 장치가 도시되었으나, 이에 제한되는 것은 아니며, 하지 전체를 지원하는 형태와 하지 일부를 지원하는 형태에 모두 적용될 수 있다. 또한, 하지 일부를 지원하는 형태에서 무릎까지 지원하는 형태, 발목까지 지원하는 형태에 모두 적용될 수 있는 등 사용자의 보행 보조를 위한 모든 종류의 보행 보조 장치에 적용될 수 있다. 또한, 사용자의 재활을 보조해 주기 위한 장치에도 적용할 수 있음은 해당 기술 분야의 통상의 기술자에게 있어 명백하다.
구동부(110)는 사용자에게 운동 보조를 제공할 수 있고, 사용자의 오른쪽 및 왼쪽 힙 부분에 위치할 수 있다. 센서부(120)는 보행 시 사용자의 양쪽 고관절 각도 정보를 측정할 수 있다. 센서부(120)는 구동부(110) 내에 위치할 수 있다. 센서부(120)에서 센싱되는 양쪽 고관절 각도 정보는, 양쪽 고관절의 각도, 양쪽 고관절 각도의 차이 및 양쪽 고관절 운동 방향 중 적어도 하나를 포함할 수 있다.
IMU 센서(130)는 사용자가 보행 시 상체의 각도 정보를 측정할 수 있다. IMU 센서(130)에서 측정된 상체의 각도 정보 및 센서부(120)에서 측정된 사용자의 양쪽 고관절 각도 정보에 기초하여 사용자 오른쪽 및 왼쪽 다리의 각도 정보가 계산될 수 있다.
제어부(140)는 사용자의 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하고, 미리 설정된 기준에 따라 컨텍스트 정보에 대응하는 동작 이벤트를 생성할 수 있다. 제어부(140)는 생성된 동작 이벤트 및 사용자의 이전 동작에 기초하여 사용자의 동작을 인식할 수 있다.
제어부(140)는 상술한 바와 같이 사용자의 동작을 인식하여 구동부(110)를 제어하는 제어 신호를 출력할 수 있다. 제어부(140)에서 출력된 제어 신호에 기반하여 구동부(110)는 인식된 사용자의 동작에 적합하게 사용자에게 운동 보조를 제공할 수 있다.
도 2는 일실시예에 따른 사용자의 동작 인식 장치의 구성을 나타내는 블록도이다.
사용자의 동작 인식 장치(200)는 센서부(210), 맵핑부(220), 동작 이벤트 생성부(230) 및 동작 인식부(240)를 포함할 수 있다.
센서부(210)는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보를 센싱할 수 있다. 센서부(210)는 중력 방향을 기준으로 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보를 센싱할 수 있다.
센서부(210)는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보를 각각 별도로 센싱할 수 있다. 예를 들어, 오른쪽 및 왼쪽 고관절 각도 정보는 인코더를 통해 센싱되고, 상체의 각도 정보는 IMU 센서를 통해 센싱될 수 있다. 센서부(210)는 상술한 인코더 및 IMU 센서를 포함할 수 있다.
맵핑부(220)는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산되는 오른쪽 및 왼쪽 다리 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑할 수 있다.
오른쪽 및 왼쪽 다리 각도 정보는 센서부(210)를 통해 직접 센싱되는 것이 아니고, 센서부(210)에서 센싱되는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산될 수 있다. 예를 들어, 오른쪽 및 왼쪽 다리 각도 정보는, 오른쪽 및 왼쪽 고관절 각도 정보에서 상체의 각도 정보를 차감하여 계산될 수 있다.
이와 같이 맵핑부(220)에서는 사용자의 동작 인식을 위해 이용되는 오른쪽 및 왼쪽 다리 각도 정보를 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산될 수 있다.
보행 보조 장치에서 사용자의 동작 인식을 위해 필요한 데이터를 모두 센싱할 수 있는 경우, 상술한 바와 같이 다른 데이터를 통해 간접적으로 필요한 데이터를 획득하는 과정이 불필요할 수도 있다.
다만, 필요한 데이터 모두를 센싱하기 위해서는 보행 보조 장치의 구성이 복잡해질 수 있고, 보행 보조 장치의 각 타입의 구조 상 센싱하지 못하는 데이터가 존재하여 사용자의 동작 인식에 어려움이 발생한다.
따라서, 사용자 동작 인식을 위해 필요한 데이터를 센싱 가능한 데이터에 기초하여 획득하는 경우, 보행 보조 장치의 구성 면에 있어서도 단순해 질 수 있고, 보행 보조 장치의 타입에 관계없이 사용자의 동작 인식을 위해 적용될 수 있다.
오른쪽 및 왼쪽 다리 각도 정보는 오른쪽 및 왼쪽 다리 각도, 오른쪽 및 왼쪽 다리 각속도, 오른쪽 다리 각도와 왼쪽 다리 각도의 차이를 포함할 수 있다. 또한, 오른쪽 및 왼쪽 다리 각도 정보는 추가적으로, 사용자의 동작 이벤트 중 정지 상태를 나타내는 폄 이벤트와 굽힙 이벤트를 구분하기 위해 오른쪽 및 왼쪽 다리의 앉은 각도를 더 포함할 수 있다.
맵핑부(220)는 상술한 오른쪽 및 왼쪽 다리 각도 정보 각각을 미리 설정된 임계치와 비교할 수 있다. 임계치는 오른쪽 및 왼쪽 다리 각도 정보가 사용자의 각 동작에 따라 변화하는 실험적 데이터를 이용하여 설정될 수 있다.
맵핑부(220)는 오른쪽 및 왼쪽 다리 각도 정보 각각을 오른쪽 및 왼쪽 다리 각도 정보 각각에 미리 설정된 임계치와 비교하여 디지털화된 컨텍스트 정보로 맵핑할 수 있다. 예를 들어, 오른쪽 다리 각도 정보가 임계치의 음수 값 보다 작은 경우 -1로 맵핑하고, 오른쪽 다리 각도 정보가 임계치 보다 큰 경우 1로 맵핑하고, 오른쪽 다리 각도 정보가 임계치의 음수 값 이상 임계치 이하인 경우 0으로 맵핑할 수 있다.
이와 같이 맵핑부(220)는 오른쪽 및 왼쪽 다리 각도 정보 각각을 임계치와 비교함으로써, 동작 이벤트 생성을 위한 디지털화된 컨텍스트 정보로 맵핑할 수 있다. 보다 구체적인 컨텍스트 정보로의 맵핑 과정에 대해서는 도 3에서 후술한다.
동작 이벤트 생성부(230)는 미리 설정된 기준에 따라 맵핑부(220)에서 맵핑된 컨텍스트 정보에 대응하는 동작 이벤트를 생성할 수 있다. 동작 이벤트는 스윙(swing) 이벤트, 상승(ascending) 이벤트, 하강(descending) 이벤트, 굽힘(flexion) 이벤트 및 폄(extension) 이벤트를 포함할 수 있다.
동작 이벤트는 사용자의 현재 동작을 인식하기 위하여 센서부(210)에서 센싱된 정보들에 기초하여 인식되는 사용자의 다리의 동작 변화일 수 있다. 다시 말해서, 동작 이벤트 자체가 사용자의 최종 동작으로 인식되는 것이 아니라, 동작 이벤트 및 사용자의 이전 동작을 고려하여 사용자의 현재 동작을 인식할 수 있다.
예를 들어, 사용자의 이전 동작이 서 있는 동작(stand)에서 동작 이벤트로 스윙 이벤트가 발생하는 경우, 사용자의 현재 동작은 보행 동작으로 인식될 수 있다. 또한, 사용자의 이전 동작이 앉아 있는 동작(sit)에서 동작 이벤트로 스윙 이벤트가 발생하는 경우에도 사용자의 현재 동작은 보행 동작으로 인식될 수 있다.
사용자의 동작은 연속적으로 이루어 지는 것이므로 동일한 동작 이벤트가 발생하더라도 사용자의 이전 동작에 따라 현재 사용자의 동작은 다르게 인식될 수 있다. 이와 같이 동작 이벤트는 현재 사용자의 동작을 인식하기 위해 이용되는 사용자의 다리의 동작일 수 있다.
동작 이벤트 생성부(230)는 미리 설정된 기준에 따라 맵핑된 컨텍스트 정보에 대응하는 동작 이벤트를 생성할 수 있다. 동작 이벤트 생성부(230)는 맵핑된 컨텍스트 정보의 조합이 미리 설정된 기준에 따라 특정 동작 이벤트에 대응하는지를 결정할 수 있고, 대응되는 동작 이벤트를 생성할 수 있다.
동작 이벤트 생성부(230)는 대응된 동작 이벤트의 지속 시간을 확인할 수 있다. 지속 시간이 미리 설정된 시간 이상인 경우, 상기 대응된 동작 이벤트를 최종적으로 생성할 수 있다.
이와 같이 대응된 동작 이벤트의 지속 시간을 확인함으로써, 센서부(210)를 통해 센싱되는 데이터의 노이즈나 사용자의 확실하지 않은 동작을 필터링할 수 있다. 또한, 필요 이상으로 잦은 동작 변화 감지를 피할 수 있어 신뢰성 있는 결과를 획득할 수 있다.
동작 이벤트 생성부(230)가 미리 설정된 기준에 따라 컨텍스트 정보의 조합에 대응하는 동작 이벤트를 생성하는 구체적인 방법에 대해서는 도 5에서 후술한다.
동작 인식부(240)는 동작 이벤트 생성부(230)에서 생성된 동작 이벤트 및 사용자의 이전 동작에 기초하여 사용자의 동작을 인식할 수 있다. 상술한 바와 같이 동일한 동작 이벤트가 발생하더라도 사용자의 이전 동작에 따라 현재 사용자의 동작은 다르게 인식될 수 있다. 사용자의 동작은 연속적으로 이루어지는 것이므로, 동일한 동작 이벤트가 생성되더라도 사용자의 이전 동작을 고려할 필요가 있다.
사용자의 동작은 서 있는 동작(stand), 보행 동작(walk), 앉아 있는 동작(sit), 일어서는 동작(sit to stand) 및 앉는 동작(stand to sit)을 포함할 수 있다. 동작 인식부(240)는 상술한 사용자의 동작을 구분하여 인식하기 위하여 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용할 수 있다.
FSM은 상술한 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함할 수 있다. 예를 들어, 서있는 동작, 보행 동작, 앉아 있는 동작, 일어서는 동작 및 앉는 동작 각각이 하나의 상태를 구성할 수 있다.
또한, FSM의 각 상태 간의 전환 조건으로 동작 이벤트가 설정될 수 있다. 상술한 바와 같이 사용자의 동작은 연속적으로 이루어 지는 것이고, 각 동작 간의 전환은 특정 동작 이벤트에 따라 발생될 수 있다. 따라서, 이러한 사용자의 동작 간의 관계를 고려하여 전환 조건이 동작 이벤트로 설정될 수 있다.
예를 들어, 사용자의 이전 동작이 서 있는 동작인 경우, 스윙 이벤트가 발생한 경우 현재 사용자의 동작은 보행 동작으로 인식될 수 있다. 이와는 반대로 하강 이벤트가 발생한 경우 현재 사용자의 동작은 앉는 상태로 인식될 수 있다.
동작 인식부(240)는 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함하고, 동작 이벤트가 상태 간 전환 조건으로 설정되는 FSM을 이용하여 사용자의 동작을 인식할 수 있다. 동작 인식부(240)가 FSM을 이용하여 사용자의 동작을 인식하는 구체적인 방법에 대해서는 도 6에서 후술한다.
이와 같이 사용자의 동작 인식 장치(200)는 센싱되는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체 각도 정보를 이용하여 사용자의 동작을 인식할 수 있다. 사용자의 동작을 인식함으로써, 사용자의 동작에 따른 최적화된 운동 보조를 제공할 수 있다.
도 3은 일실시예에 따른 사용자의 동작을 단순화한 모델을 도시한다.
도 3에서는 고관절을 기준으로 사용자의 상체 및 하체를 단순화하여 도시함으로써, 사용자의 상체 각도 정보, 사용자의 오른쪽 및 왼쪽 고관절 각도 정보 및 사용자의 오른쪽 및 왼쪽 다리 각도 정보를 획득하는 방법을 설명한다.
센서부(210)는 중력 방향을 기준으로 사용자의 상체 각도 정보(310) 및 오른쪽 및 왼쪽 고관절 각도 정보(320)를 센싱할 수 있다. 예를 들어, 오른쪽 및 왼쪽 고관절 각도 정보는 인코더를 통해 센싱되고, 상체의 각도 정보는 IMU 센서를 통해 센싱될 수 있으며, 센싱부(210)는 인코더 및 IMU 센서를 포함할 수 있다.
상체 각도 정보(310)는 상체의 각도 및 상체의 각속도를 포함할 수 있고, 오른쪽 및 왼쪽 고관절 각도 정보(320)는 오른쪽 및 왼쪽 고관절 각도 및 각속도를 포함할 수 있다.
사용자의 동작을 인식하기 위해 이용되는 사용자의 오른쪽 및 왼쪽 다리 각도 정보(330)는 센서부(210)를 통해 직접적으로 센싱되는 것이 아니고, 상체 각도 정보(310) 및 오른쪽 및 왼쪽 고관절 각도 정보(320)에 기초하여 계산될 수 있다. 예를 들어, 오른쪽 및 왼쪽 다리 각도 정보는, 오른쪽 및 왼쪽 고관절 각도 정보에서 상체의 각도 정보를 차감하여 계산될 수 있다.
오른쪽 및 왼쪽 다리 각도 정보(330)는 오른쪽 및 왼쪽 다리 각도, 오른쪽 및 왼쪽 다리 각속도, 오른쪽 다리 각도와 왼쪽 다리 각도의 차이를 포함할 수 있다. 또한, 오른쪽 및 왼쪽 다리 각도 정보는 추가적으로, 사용자의 동작 인식을 위해 오른쪽 및 왼쪽 다리의 앉은 각도를 더 포함할 수 있다.
상술한 바와 같이 보행 보조 장치 등에서 사용자의 동작 인식을 위한 데이터를 직접적으로 센싱할 수 없는 경우, 센싱 가능한 데이터를 이용하여 사용자의 동작 인식을 위한 데이터를 획득할 수 있다.
이를 통하여 보행 보조 장치의 구성 면에서도 단순해 질 수 있고, 보행 보조 장치 등의 타입에 관계 없이 사용자의 동작 인식을 위해 적용될 수 있다.
상술한 방법으로 획득된 사용자의 오른쪽 및 왼쪽 다리 각도 정보는 맵핑부(220)를 통해 미리 설정된 임계치와 비교함으로써, 동작 이벤트 생성을 위한 디지털화된 컨텍스트 정보로 맵핑될 수 있다.
오른쪽 및 왼쪽 다리 각도 정보 각각은 각각에 대해 미리 설정된 임계치와 비교함으로써, 표 1과 같이 오른쪽 및 왼쪽 다리 각도 정보 각각에 대응하는 디지털화된 컨텍스트 정보로 맵핑될 수 있다.
x e x<-e -e=x=e e<x
LA lq 5° -1 0 1
RA rq 5° -1 0 1
LSA lq 45° -1 0 1
RSA rq 45° -1 0 1
DA lq-rq 15° -1 0 1
LW lw 2°/s -1 0 1
RW rw 2°/s -1 0 1
여기에서, LA는 왼쪽 다리의 각도를 나타내고, RA는 오른쪽 다리의 각도를 나타낸다. LSA는 왼쪽 다리의 앉은 각도를 나타내고, RSA는 오른쪽 다리의 앉은 각도를 나타내며, DA는 왼쪽 다리 각도와 오른쪽 다리 각도의 차이를 나타낸다. LW는 왼쪽 다리의 각속도를 나타내고, RW는 오른쪽 다리의 각속도를 나타낸다.
x는 오른쪽 및 왼쪽 다리 각속도 정보를 나타내는 것으로, 실제 임계치와 비교되는 변수를 나타낸다. 여기에서 lq는 왼쪽 다리의 각도를 나타내고, rq는 오른쪽 다리의 각도를 나타낸다. lq-rq는 왼쪽 다리 각도와 오른쪽 다리 각도의 차이를 나타내며, lw는 왼쪽 다리의 각속도를, rw는 오른쪽 다리의 각속도를 나타낸다.
다만, LA와 LSA, RA와 RSA는 동일한 변수로 lq 및 rq를 가지는데 이는 LSA와 RSA가 센서부(210)에서 별도로 센싱하여 계산되는 값이 아니고, 사용자의 동작 이벤트 중 정지 상태를 나타내는 폄 이벤트와 굽힘 이벤트를 구분하기 위해 도입된 컨텍스트 정보이기 때문이다.
따라서, LA와 LSA, RA와 RSA는 동일한 변수를 이용하고, 설정된 임계치만 다르게 하여 LSA와 RSA를 동작 이벤트 구분을 위해 이용되는 컨텍스트 정보로 활용할 수 있다.
e는 오른쪽 및 왼쪽 다리의 각도 정보 각각에 대응하는 미리 설정된 임계치를 나타낸다. 이와 같이 임계치를 설정하는 이유는 사용자가 동작 이벤트에 대응하는 움직임을 의도하지 않은 경우에도, 작은 움직임으로 인해 센서부(210)를 통해 데이터가 센싱될 수 있다. 따라서, 이와 같은 의도하지 않은 작은 움직임을 필터링하기 위해 임계치를 설정할 수 있다. 다만, 상술한 표 1에서의 임계치는 설명의 목적을 위한 일 예일 뿐이며 이에 제한되는 것은 아니며, 사용자의 특성에 적합하게 다르게 설정될 수도 있다.
맵핑부(220)는 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑할 수 있다. 오른쪽 다리 각도 정보가 임계치의 음수 값 보다 작은 경우 -1로 맵핑하고, 오른쪽 다리 각도 정보가 임계치 보다 큰 경우 1로 맵핑하고, 오른쪽 다리 각도 정보가 임계치의 음수 값 이상 임계치 이하인 경우 0으로 맵핑할 수 있다.
예를 들어, 왼쪽 다리 각도(LA)의 경우, 왼쪽 다리 각도(LA)에 대응하는 변수 값인 lq가 미리 설정된 임계치인 5°보다 큰 경우 컨텍스트 정보가 1로 맵핑될 수 있다. 이에 반하여 왼쪽 다리 각도(LA)에 대응하는 변수 값인 lq가 미리 설정된 임계치의 음수 값인 -5°보다 작은 경우, 컨텍스트 정보가 -1로 맵핑될 수 있다. 또한, 왼쪽 다리 각도(LA)에 대응하는 변수 값인 lq가 미리 설정된 임계치의 음수 값인 -5°이상이고, 미리 설정된 임계치인 5°이하인 경우 컨텍스트 정보가 0으로 맵핑될 수 있다.
이와 같이 오른쪽 및 왼쪽 다리 정보 각각은 각각에 대해 미리 설정된 임계치와 비교함으로써, 컨텍스트 정보로 맵핑될 수 있다. 맵핑된 컨텍스트 정보는 동작 이벤트 생성을 위해 이용될 수 있다.
도 4는 일실시예에 따른 동작 이벤트를 사용자의 오른쪽 및 왼쪽 다리의 각속도에 따라 구분한 그래프이다.
도 4에서 도시된 그래프에서는 x 축은 왼쪽 다리의 각속도를 나타내고, y 축은 오른쪽 다리의 각속도를 나타낸다. 이에 따라 사용자의 각 동작 이벤트가 상기 그래프의 각 사분면에 대응될 수 있음을 나타낸다.
예를 들어, 그래프의 2, 4 사분면에서는 사용자의 오른쪽 다리 각속도와 왼쪽 다리 각속도의 부호가 반대이다. 이는 사용자의 오른쪽 다리와 왼쪽 다리가 서로 다른 방향으로 움직이고 있음을 나타낸다. 따라서, 그래프의 2, 4 사분면 영역은 스윙 이벤트에 대응될 수 있다.
그래프의 1, 3 사분면에서는 사용자의 오른쪽 다리 각속도와 왼쪽 다리 각속도의 부호가 동일하다. 이는 사용자의 오른쪽 다리와 왼쪽 다리가 서로 같은 방향으로 움직이고 있음을 나타낸다.
보다 구체적으로, 그래프의 1 사분면에서는 오른쪽 다리 각속도와 왼쪽 다리 각속도가 모두 양의 값을 가진다. 이는 오른쪽 다리 및 왼쪽 다리가 모두 굽혀지는 방향으로 움직이고 있음을 나타낸다. 양쪽 다리가 모두 굽혀지는 방향으로 움직이는 경우의 사용자의 동작은 예를 들어 앉는 동작, 즉 하강하는 동작일 수 있다. 따라서, 그래프의 1 사분면 영역은 하강 이벤트에 대응될 수 있다.
이와는 반대로 그래프의 3 사분면에서는 오른쪽 다리 각속도와 왼쪽 다리 각속도가 모두 음의 값을 가진다. 이는 오른쪽 다리 및 왼쪽 다리가 모두 펴지는 방향으로 움직이고 있음을 나타낸다. 양쪽 다리가 모두 펴지는 방향으로 움직이는 경우의 사용자의 동작은 예를 들어 일어서는 동작, 즉 상승하는 동작일 수 있다. 따라서, 그래프의 3 사분면 영역은 상승 이벤트에 대응될 수 있다.
이와 같이 각 동작 이벤트는 사용자의 오른쪽 및 왼쪽 다리의 각속도의 특성에 따라 구분될 수 있다. 또한, 그래프의 중앙에 표시된 곡선은 각 동작 이벤트에 따른 사용자의 오른쪽 및 왼쪽 각속도의 데이터를 상기 그래프 x 축 및 y 축에 따라 오른쪽 다리 각속도 및 왼쪽 다리 각속도의 관계를 나타낸 것이다. 이를 통해 실제 사용자의 동작 이벤트에 따라 계산되는 사용자의 오른쪽 및 왼쪽 다리 각속도의 관계도 동일한 특성을 반영하고 있음을 알 수 있다.
도 5에서는 이러한 동작 이벤트에 따른 사용자의 오른쪽 및 왼쪽 다리의 각도 정보의 특성에 따라 동작 이벤트를 실제로 구분하고, 대응되는 동작 이벤트를 생성하는 방법에 대해 설명한다.
도 5는 일실시예에 따른 각 동작 이벤트를 단순화한 모델을 도시한다.
동작 이벤트(510, 520, 530, 540, 550)는 스윙(swing) 이벤트, 폄(extension) 이벤트, 상승(ascending) 이벤트, 굽힘(flexion) 이벤트 및 하강(descending) 이벤트를 포함할 수 있다. 도 4에서 사용자의 다리 각도 정보의 특성에 따라 구분되는 스윙 이벤트, 상승 이벤트 및 하강 이벤트 외에 동작 이벤트는 사용자의 정지 상태 이벤트인 폄 이벤트 및 굽힙 이벤트를 더 포함할 수 있다. 표 2는 각 동작 이벤트에 따른 오른쪽 및 왼쪽 다리의 각도 정보의 특성을 나타낸다.
스윙 이벤트 폄 이벤트 상승 이벤트 굽힙 이벤트 하강 이벤트
lq ㆍ < θs ㆍ < θs ㆍ
rq ㆍ < θs ㆍ < θs ㆍ
lq-rq ㆍ ≒0 ≒0 ≒0 ≒0
lw + - ≒0 - ≒0 +
rw - + ≒0 - ≒0 +
duration >tswg >text >tasc >tflx >tdsc
동작 이벤트(510)는 스윙 이벤트를 나타낸다. 스윙 이벤트는 보행 시와 같이 다리를 교차하여 움직이는 이벤트이다. 스윙 이벤트의 경우, 오른쪽 다리와 왼쪽 다리의 각속도(rw, lw)가 반대 방향일 경우이다. 따라서, 오른쪽 다리와 왼쪽 다리의 각속도의 부호가 반대인 경우의 동작 이벤트는 스윙 이벤트로 결정할 수 있다.
동작 이벤트(520)은 폄 이벤트를 나타낸다. 폄 이벤트는 오른쪽 및 왼쪽 다리의 각속도(rw, lw)가 0에 가깝고, 양쪽 다리의 각도(lq, rq)가 모두 특정 각도(θs) 이하로 펴져 있으며, 양쪽 다리의 각도 차이(lq-rq)가 거의 없는 경우이다.
동작 이벤트(530)은 상승 이벤트를 나타낸다. 상승 이벤트는 오른쪽 및 왼쪽 다리의 각속도(rw, lw)가 상승하는 방향(양의 방향)이고, 양쪽 다리의 각도 차이(lq-rq)가 거의 없는 경우이다.
동작 이벤트(540)은 굽힘 이벤트를 나타낸다. 굽힙 이벤트는 오른쪽 및 왼쪽 다리의 각속도(rw, lw)가 0에 가깝고, 양쪽 다리의 각도(lq, rq)가 모두 특정 각도(θs) 이상으로 굽혀져 있으며, 양쪽 다리의 각도 차이(lq-rq)가 거의 없는 경우이다.
동작 이벤트(550)은 하강 이벤트를 나타낸다. 하강 이벤트는 오른쪽 및 왼쪽 다리의 각속도(lw, rw)가 하강하는 방향(음의 방향)이고, 양쪽 다리의 각도 차이(lq-rq)가 거의 없는 경우이다.
또한, 각 동작 이벤트는 각 동작 이벤트마다 설정된 지속 시간 이상 각 동작 이벤트에 따른 각 조건이 유지되어야 생성될 수 있다. 이를 통해 센서부(210)의 노이즈나 사용자의 작은 움직임과 같은 확실하지 않은 동작을 필터링할 수 있다. 또한, 필요이상으로 잦은 동작 변화 감지를 피할 수 있어 신뢰성 있는 결과를 얻을 수 있다.
따라서, 동작 이벤트 생성부(230)는 대응된 동작 이벤트의 지속 시간을 확인할 수 있다. 지속 시간이 미리 설정된 시간 이상인 경우, 상기 대응된 동작 이벤트를 최종적으로 생성할 수 있다.
상술한 바와 같이 각 동작 이벤트는 오른쪽 및 왼쪽 다리 각도 정보에 따라 구분될 수 있고, 맵핑부(220)를 통해 맵핑된 컨텍스트 정보의 조합을 통해 표 3과 같이 동작 이벤트를 간단히 구분할 수 있다.
LA RA LSA RSA DA LW RW Duration
하강 이벤트 1 1 ㆍ ㆍ 0 -1 -1 >20ms
상승 이벤트 1 1 ㆍ ㆍ 0 1 1 >20ms
굽힙 이벤트 ㆍ ㆍ -1 -1 0 0 0 >50ms
폄 이벤트 ㆍ ㆍ 1 1 0 0 0 >50ms
스윙 이벤트 ㆍ ㆍ ㆍ ㆍ ㆍ 1 -1 >20ms
ㆍ ㆍ ㆍ ㆍ ㆍ -1 1
표 3은 각 동작 이벤트에 따른 오른쪽 및 왼쪽 다리의 각도 정보의 특성에 기초하여 컨텍스트 정보가 각 동작 이벤트에 대응하는 조건을 나타낸 것이다. 동작 이벤트 생성부(230)는 상기 표 3과 같은 미리 설정된 조건에 따라 맵핑된 컨텍스트 정보가 대응하는 동작 이벤트를 생성할 수 있다. 생성된 동작 이벤트는 사용자의 현재 동작을 인식하는 데에 이용될 수 있다.
도 6은 일실시예에 따른 사용자의 동작 인식을 위한 FSM(Finite State Machine)을 도시한다.
동작 인식부(220)는 동작 이벤트 생성부(230)에서 생성된 동작 이벤트 및 사용자의 이전 동작에 기초하여 사용자의 동작을 인식할 수 있다. 동일한 동작 이벤트가 발생하더라도 사용자의 이전 동작에 따라 현재 사용자의 동작은 다르게 인식될 수 있으므로 사용자의 이전 동작을 고려할 필요가 있다.
사용자의 동작은 서 있는 동작(stand), 보행 동작(walk), 앉아 있는 동작(sit), 일어서는 동작(sit to stand) 및 앉는 동작(stand to sit)을 포함할 수 있다. 동작 인식부(240)는 상술한 사용자의 동작을 구분하여 인식하기 위하여 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용할 수 있다.
FSM은 상술한 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함할 수 있다. 일어서는 동작(610), 서 있는 동작(620), 보행 동작(630), 앉아 있는 동작(640) 및 앉는 동작(650) 각각이 하나의 상태를 구성할 수 있다.
또한, FSM의 각 상태 간의 전환 조건으로 동작 이벤트가 설정될 수 있다. 상술한 바와 같이 사용자의 동작은 연속적으로 이루어 지는 것이고, 각 동작 간의 전환은 동작 간의 특성에 따른 특정 동작 이벤트에 따라 발생될 수 있다.
사용자의 이전 동작이 일어서는 동작(610)인 경우, 하강 이벤트를 제외한 동작 이벤트가 발생하는 경우 사용자의 동작은 서 있는 동작(620)으로 인식될 수 있다.
사용자의 이전 동작이 서 있는 동작(620)인 경우, 동작 이벤트로 스윙 이벤트가 생성되는 경우, 보행 동작(630)으로 인식될 수 있다. 이에 반하여, 동작 이벤트로 굽힙 이벤트가 생성되는 경우, 앉아 있는 동작(640)으로 인식될 수 있으며, 상승 이벤트가 생성되는 경우, 앉는 동작(650)으로 인식될 수 있다.
사용자의 이전 동작이 보행 동작(630)인 경우, 동작 이벤트로 폄 이벤트가 생성되는 경우, 서 있는 동작(620)으로 인식될 수 있다. 이에 반하여, 동작 이벤트로 굽힘 이벤트가 발생하는 경우 앉아 있는 동작(640)으로 인식될 수 있다.
사용자의 이전 동작이 앉아 있는 동작(640)인 경우, 동작 이벤트로 하강 이벤트가 발생하는 경우 일어 서는 동작(610)으로 인식될 수 있다. 이에 반하여, 동작 이벤트로 폄 이벤트가 발생하는 경우 서 있는 동작(620)으로 인식될 수 있으며, 동작 이벤트로 스윙 이벤트가 발생하는 경우 보행 동작(630)으로 인식될 수 있다.
사용자의 이전 동작이 앉는 동작(650)인 경우, 동작 이벤트로 상승 이벤트를 제외한 동작 이벤트가 발생하는 경우 서 있는 동작(640)으로 인식될 수 있다.
이와 같이 동작 인식부(650)는 생성된 동작 이벤트 및 이전 사용자의 동작에 기초하여 현재 사용자의 동작을 인식할 수 있다. 다만, 상술한 FSM은 설명의 목적을 위한 일 예일 뿐이며 이에 제한되는 것은 아니다. 사용자의 동작 간의 관계를 고려하여 각 상태 및 전환 조건이 다르게 설정될 수 있음은 해당 기술 분야의 통상의 기술자에게 있어 명백하다.
도 7은 일실시예에 따른 보행 보조 장치의 구성을 나타내는 블록도이다.
도 7에서는 보행 보조 장치에 있어서, 사용자의 동작을 인식하는 제어부(710) 및 제어부(710)에서 생성되는 사용자의 동작에 따른 제어 신호에 기반하여 사용자에게 운동 보조를 제공하는 구동부(720)와의 관계를 도시한다.
제어부(710)는 사용자의 동작을 보행 동작, 서 있는 동작, 일어 서는 동작, 앉는 동작 및 앉아 있는 동작으로 구분하여 인식할 수 있다. 또한, 상술한 동작에 해당하지 않는 경우 사용자의 동작을 알 수 없는 상태(unknown)로 인식하여 구동부(720)가 구동하지 않도록 제어할 수 있다.
또한, 제어부(710)는 사용자의 동작이 보행 동작으로 인식된 경우, 상향 경사진 방향으로의 보행(upslope), 하향 경사진 방향으로의 보행(down slope), 계단 오르기 보행(upstair) 및 계단 내려가기 보행(downstair) 등으로 구분하여 각 보행 동작에 따라 적합한 보행 보조를 제공하도록 구동부(720)를 제어할 수 있다.
구동부(720)는 제어부(710)의 제어 신호에 따라 사용자의 각 동작에 적합한 보조를 제공할 수 있다. 구동부(720)는 앉는 동작 및 일어서는 동작으로 사용자의 동작이 인식되는 경우, 각 동작에 적합한 운동 보조를 제공할 수 있다.
구동부(720)는 사용자의 동작이 보행 동작으로 인식되는 경우, 각 보행 동작, 예를 들어 상향 경사진 방향으로의 보행(upslope), 하향 경사진 방향으로의 보행(down slope), 계단 오르기 보행(upstair) 및 계단 내려가기 보행(downstair), 에 적합한 운동 보조를 제공할 수 있다.
도 8은 일실시예에 따른 사용자의 동작 인식 방법을 나타내는 흐름도이다.
단계(810)에서 맵핑부(220)는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산되는 오른쪽 및 왼쪽 다리 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑할 수 있다.
예를 들어, 맵핑부(220)는 오른쪽 다리 각도 정보가 임계치의 음수 값 보다 작은 경우 -1로 맵핑하고, 오른쪽 다리 각도 정보가 임계치 보다 큰 경우 1로 맵핑하고, 오른쪽 다리 각도 정보가 임계치의 음수 값 이상 임계치 이하인 경우 0으로 맵핑할 수 있다.
이와 같이 맵핑부(220)는 오른쪽 및 왼쪽 다리 각도 정보 각각을 임계치와 비교함으로써, 동작 이벤트 생성을 위한 디지털화된 컨텍스트 정보로 맵핑할 수 있다.
단계(820)에서, 동작 이벤트 생성부(230)는 미리 설정된 기준에 따라 맵핑된 컨텍스트 정보에 대응하는 동작 이벤트를 생성할 수 있다. 동작 이벤트 생성부(230)는 맵핑된 컨텍스트 정보의 조합이 미리 설정된 기준에 따라 특정 동작 이벤트에 대응하는지를 결정할 수 있고, 대응되는 동작 이벤트를 생성할 수 있다.
동작 이벤트 생성부(230)는 대응된 동작 이벤트의 지속 시간을 확인할 수 있다. 지속 시간이 미리 설정된 시간 이상인 경우, 상기 대응된 동작 이벤트를 최종적으로 생성할 수 있다.
단계(830)에서, 동작 인식부(240)는 동작 이벤트 생성부(230)에서 생성된 동작 이벤트 및 사용자의 이전 동작에 기초하여 사용자의 동작을 인식할 수 있다. 동일한 동작 이벤트가 발생하더라도 사용자의 이전 동작에 따라 현재 사용자의 동작은 다르게 인식될 수 있다. 사용자의 동작은 연속적으로 이루어지는 것이므로, 동일한 동작 이벤트가 생성되더라도 사용자의 이전 동작을 고려할 필요가 있다.
동작 인식부(240)는 사용자의 동작을 구분하여 인식하기 위하여 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용할 수 있다. FSM은 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함할 수 있다. 예를 들어, 서있는 동작, 보행 동작, 앉아 있는 동작, 일어서는 동작 및 앉는 동작 각각이 하나의 상태를 구성할 수 있다.
또한, FSM의 각 상태 간의 전환 조건으로 동작 이벤트가 설정될 수 있다. 상술한 바와 같이 사용자의 동작은 연속적으로 이루어 지는 것이고, 각 동작 간의 전환은 특정 동작 이벤트에 따라 발생될 수 있다. 따라서, 이러한 사용자의 동작 간의 관계를 고려하여 전환 조건이 동작 이벤트로 설정될 수 있다.
이와 같은 사용자의 동작 인식 방법을 통해 센싱되는 오른쪽 및 왼쪽 고관절 각도 정보 및 상체 각도 정보에 기초하여 사용자의 동작을 인식할 수 있다. 사용자의 동작을 인식함으로써, 사용자의 동작에 따른 최적화된 운동 보조를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 사용자의 동작 인식 장치에 의해 수행되는 사용자의 동작 인식 방법에 있어서,
    상기 사용자의 오른쪽 및 왼쪽 고관절 각도 정보, 및 상기 사용자의 상체의 각도 정보를 센싱하는 단계;
    상기 오른쪽 및 왼쪽 고관절 각도 정보, 및 상기 상체의 각도 정보에 기초하여 오른쪽 및 왼쪽 다리의 각도 정보를 계산하는 단계;
    상기 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하는 단계;
    미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 상기 사용자의 다리의 동작 변화를 인식하는 단계; 및
    상기 사용자의 다리의 동작 변화 및 상기 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식하는 단계를 포함하고,
    상기 오른쪽 다리의 각도 정보는, 오른쪽 다리 각속도와 오른쪽 다리 각도를 포함하고, 상기 왼쪽 다리 각도 정보는, 왼쪽 다리 각속도와 왼쪽 다리 각도를 포함하고,
    상기 사용자의 다리의 동작 변화를 인식하는 단계는,
    상기 오른쪽 다리 각도와 상기 왼쪽 다리 각도 간의 차이 및 상기 오른쪽 다리 각속도의 방향과 상기 왼쪽 다리 각속도의 방향이 서로 같은 방향인지 여부에 기초하여, 상기 사용자의 다리의 동작 변화와 대응되는 동작 이벤트를 상승(ascending) 이벤트 또는 하강(descending) 이벤트로 결정하는 단계; 및
    상기 오른쪽 다리 각속도와 상기 왼쪽 다리 각속도가 서로 반대 방향인 경우, 상기 동작 이벤트를 스윙(swing) 이벤트로 결정하는 단계를 포함하고,
    상기 사용자의 다리의 동작 변화를 인식하는 단계는,
    상기 오른쪽 다리 각속도, 상기 왼쪽 다리 각속도, 상기 왼쪽 다리 각도, 상기 오른쪽 다리 각도, 상기 왼쪽 다리 각도와 상기 오른쪽 다리 간도 간의 각도 차이 및 각 동작 이벤트에 대해 설정된 지속 시간에 기초하여 상기 사용자의 동작 이벤트를 상기 스윙 이벤트, 상기 상승 이벤트, 상기 하강 이벤트, 굽힘(flexion) 이벤트 및 폄(extension) 이벤트 중 어느 하나로 결정하는 단계를 포함하고,
    상기 사용자의 동작을 인식하는 단계는,
    상기 사용자의 이전 동작을 기준으로 상기 결정된 어느 하나의 동작 이벤트에 따라 상기 사용자의 현재 동작을 인식하는 단계를 포함하는,
    사용자의 동작 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 오른쪽 및 왼쪽 다리의 각도 정보는,
    상기 오른쪽 및 왼쪽 고관절 각도 정보에서 상기 상체의 각도 정보를 차감하여 계산되는, 사용자의 동작 인식 방법.
  4. 제1항에 있어서,
    상기 사용자의 다리의 동작 변화를 인식하는 단계는,
    상기 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 상기 사용자의 다리의 동작 변화의 지속 시간을 확인하는 단계; 및
    상기 사용자의 다리의 동작 변화의 지속 시간이 미리 설정된 시간 이상인 경우, 상기 사용자의 다리의 동작 변화를 인식하는 단계
    를 포함하는 사용자의 동작 인식 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 사용자의 동작은,
    서 있는 동작(stand), 보행 동작(walk), 앉아 있는 동작(sit), 일어서는 동작(sit to stand) 및 앉는 동작(stand to sit)을 포함하는, 사용자의 동작 인식 방법.
  7. 제1항에 있어서,
    상기 사용자의 동작을 인식하는 단계는,
    상기 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용하여 상기 동작을 인식하는, 사용자의 동작 인식 방법.
  8. 제7항에 있어서,
    상기 FSM은,
    상기 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함하고,
    상기 동작 이벤트가 상기 적어도 하나의 상태간 전환 조건으로 설정되는, 사용자의 동작 인식 방법.
  9. 사용자의 오른쪽 및 왼쪽 고관절 각도 정보를 센싱하는 제1 센서;
    상기 사용자의 상체의 각도 정보를 센싱하는 제2 센서; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 오른쪽 및 왼쪽 고관절 각도 정보, 및 상기 상체의 각도 정보에 기초하여 오른쪽 및 왼쪽 다리의 각도 정보를 계산하는 동작;
    상기 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하는 동작;
    미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 상기 사용자의 다리의 동작 변화를 인식하는 동작; 및
    상기 사용자의 다리의 동작 변화 및 상기 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식하는 동작을 수행하고,
    상기 오른쪽 다리의 각도 정보는, 오른쪽 다리 각속도와 오른쪽 다리 각도를 포함하고, 상기 왼쪽 다리 각도 정보는, 왼쪽 다리 각속도와 왼쪽 다리 각도를 포함하고,
    상기 사용자의 다리의 동작 변화를 인식하는 동작은,
    상기 오른쪽 다리 각도와 상기 왼쪽 다리 각도 간의 차이 및 상기 오른쪽 다리 각속도의 방향과 상기 왼쪽 다리 각속도의 방향이 서로 같은 방향인지 여부에 기초하여 상기 사용자의 다리의 동작 변화와 대응되는 동작 이벤트를 상승(ascending) 이벤트 또는 하강(descending) 이벤트로 결정하는 동작; 및
    상기 오른쪽 다리 각속도와 상기 왼쪽 다리 각속도가 서로 반대 방향인 경우, 상기 동작 이벤트를 스윙(swing) 이벤트로 결정하는 동작을 포함하고,
    상기 사용자의 다리의 동작 변화를 인식하는 동작은,
    상기 오른쪽 다리 각속도, 상기 왼쪽 다리 각속도, 상기 왼쪽 다리 각도, 상기 오른쪽 다리 각도, 상기 왼쪽 다리 각도와 상기 오른쪽 다리 간도 간의 각도 차이 및 각 동작 이벤트에 대해 설정된 지속 시간에 기초하여 상기 사용자의 동작 이벤트를 상기 스윙 이벤트, 상기 상승 이벤트, 상기 하강 이벤트, 굽힘(flexion) 이벤트 및 폄(extension) 이벤트 중 어느 하나로 결정하는 동작을 포함하고,
    상기 사용자의 동작을 인식하는 동작은,
    상기 사용자의 이전 동작을 기준으로 상기 결정된 어느 하나의 동작 이벤트에 따라 상기 사용자의 현재 동작을 인식하는 동작을 포함하는,
    사용자의 동작 인식 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 오른쪽 및 왼쪽 다리의 각도 정보는,
    상기 오른쪽 및 왼쪽 고관절 각도 정보에서 상기 상체의 각도 정보를 차감하여 계산되는, 사용자의 동작 인식 장치.
  12. 제9항에 있어서,
    상기 프로세서는,
    상기 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 상기 사용자의 다리의 동작 변화의 지속 시간을 확인하고, 상기 사용자의 다리의 동작 변화의 지속 시간이 미리 설정된 시간 이상인 경우, 상기 사용자의 다리의 동작 변화를 인식하는 사용자의 동작 인식 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용하여 상기 동작을 인식하는, 사용자의 동작 인식 장치.
  14. 제13항에 있어서,
    상기 FSM은,
    상기 사용자의 동작에 따라 구분되는 적어도 하나의 상태를 포함하고,
    상기 동작 이벤트가 상기 적어도 하나의 상태간 전환 조건으로 설정되는, 사용자의 동작 인식 장치.
  15. 사용자의 오른쪽 및 왼쪽 고관절을 구동시키는 구동부;
    상기 오른쪽 및 왼쪽 고관절 각도 정보를 센싱하는 센서부;
    상기 사용자의 상체 각도 정보를 센싱하는 IMU 센서; 및
    상기 오른쪽 및 왼쪽 고관절 각도 정보 및 상체의 각도 정보에 기초하여 계산되는 오른쪽 및 왼쪽 다리의 각도 정보 각각을 미리 설정된 임계치와 비교하여 컨텍스트 정보로 맵핑하고, 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 상기 사용자의 다리의 동작 변화를 인식하고, 상기 사용자의 다리의 동작 변화 및 상기 사용자의 이전 동작에 기초하여 상기 사용자의 동작을 인식하여 상기 구동부를 제어하는 프로세서를 포함하고,
    상기 오른쪽 다리의 각도 정보는, 오른쪽 다리 각속도와 오른쪽 다리 각도를 포함하고, 상기 왼쪽 다리 각도 정보는, 왼쪽 다리 각속도와 왼쪽 다리 각도를 포함하고,
    상기 프로세서는,
    상기 오른쪽 다리 각도와 상기 왼쪽 다리 각도 간의 차이 및 상기 오른쪽 다리 각속도의 방향과 상기 왼쪽 다리 각속도의 방향이 서로 같은 방향인지 여부에 기초하여 상기 사용자의 다리의 동작 변화와 대응되는 동작 이벤트를 상승(ascending) 이벤트 또는 하강(descending) 이벤트로 결정하고, 상기 오른쪽 다리 각속도와 상기 왼쪽 다리 각속도가 서로 반대 방향인 경우, 상기 동작 이벤트를 스윙(swing) 이벤트로 결정하고,
    상기 프로세서는,
    상기 오른쪽 다리 각속도, 상기 왼쪽 다리 각속도, 상기 왼쪽 다리 각도, 상기 오른쪽 다리 각도, 상기 왼쪽 다리 각도와 상기 오른쪽 다리 간도 간의 각도 차이 및 각 동작 이벤트에 대해 설정된 지속 시간에 기초하여 상기 사용자의 동작 이벤트를 상기 스윙 이벤트, 상기 상승 이벤트, 상기 하강 이벤트, 굽힘(flexion) 이벤트 및 폄(extension) 이벤트 중 어느 하나로 결정하고,
    상기 사용자의 이전 동작을 기준으로 상기 결정된 어느 하나의 동작 이벤트에 따라 상기 사용자의 현재 동작을 인식하는,
    보행 보조 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 미리 설정된 기준에 따라 상기 컨텍스트 정보에 대응하는 상기 사용자의 다리의 동작 변화의 지속 시간을 확인하고, 상기 사용자의 다리의 동작 변화의 지속 시간이 미리 설정된 시간 이상인 경우, 상기 사용자의 다리의 동작 변화를 인식하는, 보행 보조 장치.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 사용자의 동작 간의 관계에 따라 설정되는 FSM(Finite State Machine)을 이용하여 상기 동작을 인식하는, 보행 보조 장치.
KR1020140141512A 2014-10-20 2014-10-20 사용자의 동작을 인식하기 위한 장치 및 방법 KR102365191B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140141512A KR102365191B1 (ko) 2014-10-20 2014-10-20 사용자의 동작을 인식하기 위한 장치 및 방법
US14/686,323 US10835442B2 (en) 2014-10-20 2015-04-14 Method and apparatus for recognizing user motion
US17/070,895 US11919156B2 (en) 2014-10-20 2020-10-14 Method and apparatus for recognizing user motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140141512A KR102365191B1 (ko) 2014-10-20 2014-10-20 사용자의 동작을 인식하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160046342A KR20160046342A (ko) 2016-04-29
KR102365191B1 true KR102365191B1 (ko) 2022-02-18

Family

ID=55748129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140141512A KR102365191B1 (ko) 2014-10-20 2014-10-20 사용자의 동작을 인식하기 위한 장치 및 방법

Country Status (2)

Country Link
US (2) US10835442B2 (ko)
KR (1) KR102365191B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230054760A (ko) * 2015-06-09 2023-04-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술　절차　아틀라스를　갖는　수술시스템의　구성
EP3373834A4 (en) 2015-11-12 2019-07-31 Intuitive Surgical Operations Inc. SURGICAL SYSTEM WITH TRAINING OR ASSISTANCE FUNCTION
KR20180076759A (ko) 2016-12-28 2018-07-06 삼성전자주식회사 센서 장치 및 센서 장치를 이용하는 보행 보조 장치
CN106737604B (zh) * 2017-02-03 2024-04-02 释空(上海)品牌策划有限公司 方向控制力臂及虚拟现实体验设备
KR102566114B1 (ko) * 2017-11-10 2023-08-14 삼성전자주식회사 회전 보행을 위한 제어 방법 및 제어 장치
KR20200094519A (ko) * 2019-01-30 2020-08-07 삼성전자주식회사 정보 처리 장치 및 이의 동작 방법
CN110555429A (zh) * 2019-10-15 2019-12-10 北京理工大学 一种面向髋关节外骨骼的人体运动模式识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3930399B2 (ja) 2002-08-21 2007-06-13 本田技研工業株式会社 歩行補助装置
JP3950149B2 (ja) 2005-09-02 2007-07-25 本田技研工業株式会社 運動補助装置
JP5189911B2 (ja) * 2008-07-11 2013-04-24 国立大学法人 筑波大学 装着式動作補助装置、基準パラメータデータベース構築装置、装着式動作補助装置における駆動制御方法、基準パラメータデータベース構築方法、及びそのプログラム
ATE531313T1 (de) * 2009-04-07 2011-11-15 Syco Di Hedvig Haberl & C S A S System zur steuerung einer haptischen exoskelettvorrichtung zu rehabilitationszwecken und entsprechende haptische exoskelettvorrichtung
KR101171225B1 (ko) 2009-12-29 2012-08-06 한국생산기술연구원 사용자 의도 추종형 보행보조 로봇용 센서 시스템
KR101633362B1 (ko) * 2010-01-18 2016-06-28 삼성전자 주식회사 인간형 로봇 및 그 보행 제어방법
US9682006B2 (en) * 2010-09-27 2017-06-20 Vanderbilt University Movement assistance devices
US20120101415A1 (en) * 2010-10-21 2012-04-26 Amit Goffer Locomotion assisting apparatus with integrated tilt sensor
US9119762B2 (en) * 2011-05-30 2015-09-01 Honda Motor Co., Ltd. Walking assist device, walking assist method, walking state estimating device and walking state estimating method
JP5501325B2 (ja) * 2011-11-30 2014-05-21 本田技研工業株式会社 歩行補助装置
KR20130063230A (ko) 2011-12-06 2013-06-14 삼성전자주식회사 보행 로봇 및 그 제어 방법
KR101985790B1 (ko) * 2012-02-21 2019-06-04 삼성전자주식회사 보행 로봇 및 그 제어 방법
KR102131277B1 (ko) * 2013-12-30 2020-07-07 삼성전자주식회사 보행 보조 장치 및 보행 보조 장치의 제어 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
국제학술지 Alberto Alvarez-Alvarez, Gracian Trivino, and Oscar Cordon. Human gait modeling using a genetic fuzzy finite state machine. IEEE Transactions on Fuzzy Systems 20.2, pp205-223. (2011.).*
국제학회지 Wang, Letian, et al. Actively controlled lateral gait assistance in a lower limb exoskeleton. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, (2013.)*
단행본 Jacquelin Perry. Gait Analysis: Normal and Pathological Function (2nd edition). New Jersey: SLACK. ISBN: 978-1556427664, SECTION I: Fundamentals. (2010.)*

Also Published As

Publication number Publication date
US11919156B2 (en) 2024-03-05
US10835442B2 (en) 2020-11-17
US20210022945A1 (en) 2021-01-28
US20160106616A1 (en) 2016-04-21
KR20160046342A (ko) 2016-04-29

Similar Documents

Publication Publication Date Title
KR102365191B1 (ko) 사용자의 동작을 인식하기 위한 장치 및 방법
KR102387378B1 (ko) 보행 동작 인식을 위한 장치 및 방법
KR102569009B1 (ko) 보행 동작 인식 장치 및 그 방법
KR102292683B1 (ko) 보행 환경 인식 방법 및 장치
JP7266032B2 (ja) Ｖｒ歩行機構及び仮想現実シーンにおける歩行方法
JP6884526B2 (ja) 起立補助方法及び装置
KR102586196B1 (ko) 보행 보조 장치 및 그 동작 방법
US9073209B2 (en) Walking robot and control method thereof
KR20180096241A (ko) 보행 보조 장치의 제어 방법 및 장치
KR102433931B1 (ko) 움직임 인식 방법 및 움직임 인식 장치
KR20220002822A (ko) 보행 보조를 제어하기 위한 장치 및 그 방법
CN109771225B (zh) 步行辅助装置及其控制方法
KR20180059079A (ko) 보행 상태 인식 장치 및 방법
US20120059518A1 (en) Walking robot and control method thereof
KR20180129140A (ko) 가상 현실 연동을 위한 보행 분석 방법, 가상 현실 연동 방법 및 장치
KR102250265B1 (ko) 토크 패턴을 조정하기 위한 장치 및 방법
TW201939221A (zh) 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體
KR102018416B1 (ko) 사용자의 자세나 자세의 변화에 기초하여 배뇨 또는 사정을 모니터링하기 위한 장치 내지 시스템, 배뇨 또는 사정을 모니터링하는 방법, 그리고 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체
KR20200063378A (ko) 상호 보완형 복합센서를 이용한 인체 동작인식장치 및 인체 동작인식방법
US20170097683A1 (en) Method for determining non-contact gesture and device for the same
KR102575387B1 (ko) 관절 가동 범위 인식을 기반으로 캐릭터를 구현 및 운동 컨텐츠를 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
KR102641788B1 (ko) 사용자의 움직임 파악 방법 및 그 장치
KR20240028264A (ko) 보행 보조를 제어하기 위한 장치 및 그 방법
KR101707001B1 (ko) 손 형태 추정 방법, 이를 수행하기 위한 기록매체 및 장치
CN115213909A (zh) 机器人落脚检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant