KR102427048B1 - 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법 - Google Patents

어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법 Download PDF

Info

Publication number
KR102427048B1
KR102427048B1 KR1020210021924A KR20210021924A KR102427048B1 KR 102427048 B1 KR102427048 B1 KR 102427048B1 KR 1020210021924 A KR1020210021924 A KR 1020210021924A KR 20210021924 A KR20210021924 A KR 20210021924A KR 102427048 B1 KR102427048 B1 KR 102427048B1
Authority
KR
South Korea
Prior art keywords
shoulder
motion
user
exoskeleton device
wearable exoskeleton
Prior art date
Application number
KR1020210021924A
Other languages
English (en)
Inventor
문정환
김태형
허현무
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020210021924A priority Critical patent/KR102427048B1/ko
Application granted granted Critical
Publication of KR102427048B1 publication Critical patent/KR102427048B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6812—Orthopaedic devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/005—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators using batteries, e.g. as a back-up power source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법에 관한 것으로, 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득하는 모션 캡쳐 데이터 획득부, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서(IMU:Inertial Measurement Unit)로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서(FSR:Force Sensitive Resistor)로부터 측정되는 압력 정보 및 근전도 센서(EMG:Electro Myography)로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 사용자 움직임 판단부 및 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 사용자 동작 의도 예측부를 포함한다.

Description

어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법{APPARATUS AND METHOD FOR PREDICTING MOTION INTENTION OF A USER WEARING A SHOULDER-WORN EXOSKELETION DEVICE}
본 발명은 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법에 관한 것으로, 보다 자세하게는 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단한 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법에 관한 것이다.
현재 우리나라의 농촌 고령화가 심각한 수준이며 그에 따른 농업 노동력 감소 문제가 대두되고 있다. 2019년 기준 농촌 인구 10명 중 6명이 60세 이상으로 지속적으로 증가하고 있다. 또한, 농업인이 비농업인에 비해 근골격계 질환을 더 많이 앓고 있으며, 이에 따른 의료비용 또한 4배 이상 더 지출되는 것으로 나타났다.
특히, 국내 과수재배 농가 현황으로는 전체 농가 100% 기준, 44%가 사과 농가로 나타났으며, 연평균 노동시간도 사과재배가 521시간으로 가장 높게 나타났다.
이러한 과수재배 농업인에게 발병하는 근골격계 질환은 부적절한 반복 동작에 기인. 반복되는 동작이 많은 과수 농업인들은 수확물 취득 시 어깨를 위로 올렸다 내렸다 하는 불편한 반복 작업, 고상작목에서의 위보기 작업, 팔을 어깨 높이 위로 올리는 동작 등이 원인이다.
그러나 대부분의 근골격계 질환을 대처 및 예방하기 위한 외골격 장치는 공장 라인 조립 노동자 및 군사용 특히 재활분야에서 하지를 보조하는 장치 개발에 집중되어 있다. 이로 인해 외골격 장치의 크키가 커지고 무거우며 착용자가 평상시 휴대하고 움직이는데 제한적인 문제점이 있었다.
이와 관련하여, 한국공개특허 제2019-0108864호는 "근력 보조 로봇용 자세 복원 유닛"에 관하여 개시하고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치는 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득하는 모션 캡쳐 데이터 획득부; 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서(IMU:Inertial Measurement Unit)로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서(FSR:Force Sensitive Resistor)로부터 측정되는 압력 정보 및 근전도 센서(EMG:Electro Myography)로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 사용자 움직임 판단부; 및 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 사용자 동작 의도 예측부;를 포함한다.
또한, 상기 사용자 움직임 판단부는, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서, 압력 센서 및 근전도 센서 중 적어도 어느 하나로부터 측정되는 인체 운동학 데이터 정보를 획득하는 인체 운동학 데이터 정보 획득부; 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 제1 움직임 판단 정보 비교부; 및 비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중인지 여부를 파악하는 작업 움직임 파악부;를 포함하는 것을 특징으로 한다.
또한, 사용자 동작 의도 예측부는, 사용자의 움직임이 작업중인 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑(mapping)하는 데이터 맵핑부; 및 맵핑 결과를 토대로 사용자의 동작이 팔을 내리려고 하는 동작인지를 파악하는 사용자 동작 파악부;를 포함하는 것을 특징으로 한다.
또한, 사용자의 동작이 팔을 내리려고 하는 동작인 것으로 파악되면, 어깨 착용형 외골격 장치의 모터를 제어하는 모터 제어부를 포함하는 것을 특징으로 한다.
또한, 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환하는 모드 전환부를 포함하며, 상기 모드 전환부는, 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 제2 움직임 판단 정보 비교부; 및 비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 착용중인지 여부를 파악하여 대기 모드로 전환하는 착용 움직임 파악부;를 포함하는 것을 특징으로 한다.
또한, 어깨 착용형 외골격 장치의 배터리 용량을 확인하여, 배터리 용량이 기 설정된 배터리 기준 정보와 비교한 결과에 따라 어깨 착용형 외골격 장치의 운용 여부를 결정하는 배터리 용량 확인부를 포함하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법은 인체 운동학 데이터 획득부에 의해, 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득하는 단계; 사용자 움직임 판단부에 의해, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서(IMU:Inertial Measurement Unit)로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서(FSR:Force Sensitive Resistor)로부터 측정되는 압력 정보 및 근전도 센서(EMG:Electro Myo Graphy)로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 단계; 및 사용자 동작 의도 예측부에 의해, 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 단계;를 포함한다.
또한, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 단계는, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서, 압력 센서 및 근전도 센서 중 적어도 어느 하나로부터 측정되는 인체 운동학 데이터 정보를 획득하는 단계; 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 단계; 및 비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중인지 여부를 파악하는 단계;를 포함하는 것을 특징으로 한다.
또한, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 단계 이후에, 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환하는 단계를 포함하며, 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환하는 단계는, 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 단계; 및 비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 착용중인지 여부를 파악하여 대기 모드로 전환하는 단계;를 포함하는 것을 특징으로 한다.
또한, 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 단계는, 사용자의 움직임이 작업중인 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑(mapping)하는 단계; 맵핑 결과를 토대로 사용자의 동작이 팔을 내리려고 하는 동작인지를 파악하는 단계;를 포함하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법은 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단함으로써, 사용자의 움직임이 착용중인 경우 대기 모드로 전환하여 전력 효율성을 높일 수 있는 효과가 있다.
또한, 본 발명은 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 정확하게 예측하고, 사용자의 동작이 팔을 내리려고 하는 동작인 것으로 파악되면, 어깨 착용형 외골격 장치의 모터를 제어함으로써, 과수 농업인의 작업 부담을 경감하고 관절에 무리가 가지 않도록 하여 근골격계 질환을 예방함에 따라 의료비를 절감하고, 적은 힘으로도 많은 작업이 가능하여 생산성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 어깨 착용형 외골격 장치를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 모터 제어부의 제어 결과를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 사용자 움직임 판단부의 세부 구성을 설명하기 위한 도면이다.
도 5 내지 도 7은 도 4의 사용자 움직임 판단부에 의해 획득되는 인체 운동학 데이터 정보를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 모드 전환부의 세부 구성을 설명하기 위한 도면이다.
도 9는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 사용자 동작 의도 예측부의 세부 구성을 설명하기 위한 도면이다.
도 10 및 도 11은 도 9의 사용자 동작 의도 예측부에 의한 데이터 맵핑 결과를 설명하기 위한 도면이다.
도 12 및 도 13은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 적용되는 알고리즘 검증을 위한 UI 및 분석 방법을 설명하기 위한 도면이다.
도 14는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법의 순서를 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치의 구성을 설명하기 위한 도면이고, 도 2는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 어깨 착용형 외골격 장치를 설명하기 위한 도면이고, 도 3은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 모터 제어부의 결과를 설명하기 위한 도면이다.
도 1을 참조하여 설명하면, 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치는 크게 모션 캡쳐 데이터 획득부(110), 배터리 용량 확인부(115), 사용자 움직임 판단부(120), 모드 전환부(130), 사용자 동작 의도 예측부(140) 및 모터 제어부(150)를 포함할 수 있다.
모션 캡쳐 데이터 획득부(110)는 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득한다.
여기서, 센서 데이터와 움직임 영상은 모션 캡쳐 시스템을 통해 수집된다. 모션 캡쳐 시스템은 인체 운동학적 요소 예를 들어 관절의 궤적에 대한 x,y,z coordinates, 관절의 각도 등을 정확하게 계측하기 위한 것으로, 착용자의 움직임에 대한 253가지의 데이터를 획득할 수 있다. 이를 위해, 상지의 정확한 운동학적 데이터 획들을 위해, 총 27개의 reflective marker를 부착한다.
그리고 모션 캡쳐 데이터 획득부(110)는 기 획득된 모션 켑쳐 데이터에 대하여 착용자의 움직임을 라벨링 하는 과정을 거친다. 즉, 착용자의 움직임 여부와 팔의 위치 (낮음, 중간, 높음와 가까움, 멀리 있음) 또한 함께 라벨링을 한다. 그리고 모션 캡쳐 데이터 획득부(110)는 기 획득된 모션 캡쳐 데이터에 대해 이후 언급되는 사용자의 동작 의도 예측을 위한 입력 값으로 사용되기 위해 인체 모델링을 통해 검증한다. 이는 Plug-in-gait 모델을 통해 인체와 동일하게 모델링을 할 수 있다.
배터리 용량 확인부(115)는 어깨 착용형 외골격 장치의 배터리 용량을 확인하여, 배터리 용량이 기 설정된 배터리 기준 정보와 비교한 결과에 따라 어깨 착용형 외골격 장치의 운용 여부를 결정한다.
배터리 용량 확인부(115)는 배터리 용량이 기 설정된 배터리 기준 정보 이하인 경우 어깨 착용형 외골격 장치를 운용하지 않고, 배터리 용량이 기 설정된 배터리 기준 정보를 초과하는 경우 어깨 착용형 외골격 장치를 운용하도록 한다.
사용자 움직임 판단부(120)는 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서(IMU:Inertial Measurement Unit)로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서(FSR:Force Sensitive Resistor)로부터 측정되는 압력 정보 및 근전도 센서(EMG:Electro Myography)로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단한다.
여기, 어깨 착용형 외골격 장치의 구조는 도 2에 도시된 바와 같이 동작을 보조하는 모터 외에 5개의 파트로 이루어질 수 있다. 어깨 모듈의 경우 2개의 축으로 연동된 조인트 구조이다. 즉, 메인 프레임과 상박 모듈을 연결하는 파트로 어깨 끝단에서 5cm 정도 좌우로 떨어진 구조로 설계하여 자유도 제약을 최소화시킨다. 또한, 상박 모듈의 상하 범위에 따라 어깨 모듈의 홈 길이 및 넓이 고려될 수 있다. 그리고 과수재배 시 어깨 다음으로 불편함을 느끼는 부위가 목으로, 목의 경우 뒤로 재껴질 때의 받침대 역할을 할 수 있는 구조체를 적용함으로써 피로도를 감소할 수 있다. 따라서 앞뒤 각도 조절과 목의 옆회전 운동을 보조하는 축 과 1개의 높낮이 조절 설계가 필요하다. 또한, 착용자마다 각 다른 신체 사이즈 (어깨부터 허리까지의 거리)를 가지고 있기 때문에, 어깨 착용형 외골격 장치의 코어 프레임의 길이가 조절 가능하도록 설계되어야한다. 즉, 어깨로 집중되는 부하를 분산시키며, 외골격 장치의 움직임을 최소화하기 위해 벨트 형태의 고정부가 필요하다. 이 구조의 경우 착용자의 pelvic grindle 위쪽에 위치하도록 설계 되어야한다. 그리고 어깨 착용형 외골격 장치는 무동력 기반으로 최소한의 동력을 모터로부터 보조 받아, 착용자의 작업을 경감시키는 모터가 구비된다. 모터는 2개의 축으로 이루어져 있으며, 도 2에 나타나는 축 1의 경우 z-축을 기준으로 어깨의 최대 회전 자유도를 보장하는 동시에 움직임에 y-축으로의 회전 제약이 받지 않는 Ball-type 조인트로 이루어져 있다. 이에 축 2의 모터는 래칫 휠 기어 메커니즘을 접목한 한방향 프리휠 허브를 적용하여, 래칫 휠의 경우 한쪽 방향으로만 감기고, 반대 방향으로는 감기지 않도록 한다. 따라서 착용자가 팔을 올릴 때는 프리휠 내에 있는 래칫 휠 기어와 폴이 락이걸리지 않으나, 내릴 경우에는 락이 걸려 아웃터링과 인어링 사이가 벌어지지 않도록 한다. 그리고 상박의 움직임에 따른 힘의 값을 획득하여 이에 따른 래칫 휠 내부에 있는 기어의 크기를 선정한다. 추가적으로, 어깨 조인트(축2)에 적용된 래칫 프리휠의 공회전 (프리휠 내부에 있는 기어 및 폴이 감당할 수 있는 힘보다 높은 힘이 가해 질 경우 나타날 수 있음)을 방지하기 위해 반대쪽에 컨베이어벨트 구조의 베어링을 적용하여, 공회전 방지가 가능하도록 한다. 그리고 관절의 움직임을 제한하는 래칫 프리휠 파트에 DC 기어드 모터 브라켓 구조를 설계하여 상박 모듈을 제어할 수 있다. 앞서 설명한 어깨 착용형 외골격 장치의 구조는 설명의 편의상 간략하게 설명한 것으로, 변동 가능하다.
그리고 어깨 착용형 외골격 장치에 구비되는 센서의 경우 4개의 IMU 센서, 2개의 FSR 압력 센서이며, EMG 센서이다. 이때, IMU는 어깨 관절 근처에 각각 1개, 상박을 지지하는 분절 끝에 각각 1개씩 위치하여 총 4개가 삽입되고, 압력 센서의 경우 상박을 받치는 부분에 위치하며 양팔에 각각 1개씩 총 2개가 삽입될 수 있으나, 이에 한정되지는 않는다.
모드 전환부(130)는 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환한다.
사용자 동작 예측 판단부(140)는 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측한다.
사용자 동작 예측 판단부(140)는 사용자의 움직임이 작업중인 것으로 판단되면 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도가 팔을 내리려고 하는 동작인지를 예측한다.
모터 제어부(150)는 사용자의 동작이 팔을 내리려고 하는 동작인 것으로 파악되면, 어깨 착용형 외골격 장치의 모터를 제어한다. 즉, 모터 제어부는 사용자의 동작이 팔을 올리려고 하는 동작인 경우 모터 제어를 통해 레칠휠의 락을 오프(OFF) 시키고, 사용자의 동작이 팔을 내리려고 하는 동작인 경우 모터 제어를 통해 레칠휠의 락을 온(ON) 시킬 수 있다.
도 3에 도시된 바와 같이 Passive 상태에서 모터는 프리롤 상태 (축이 자유롭게 움직이는 상황)이며, 상박 프레임 위로 회전하면 라체트 기어는 시계 반대 방향으로 회전, 이때 리니어 기어가 위로 수직 이동한다. 이때는 모터의 피니언 기어가 리니어 기어의 운동을 방해하지 않도록 설계 및 제어된다. 그리고 Active상태에서는 모터가 시계반대 방향으로 15도 회전하여 리니어 기어를 위쪽으로 수직 이동할 수 있도록 제어하며, 리니어 기어와 라체트 기어의 맞물림 현상을 제거시킨다. 이는 라체트 기어의 회전이 양방향으로 가능해지며 상박과 연결된 프레임의 회전 또한 양방향으로 가능하다.
도 4는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 사용자 움직임 판단부의 세부 구성을 설명하기 위한 도면이고, 도 5 내지 도 7은 도 4의 사용자 움직임 판단부에 의해 획득되는 인체 운동학 데이터 정보를 설명하기 위한 도면이다.
도 4를 참조하여 설명하면, 본 발명에 따른 사용자 움직임 판단부(120)는 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단한다.
이를 위해, 사용자 움직임 판단부(120)는 인체 운동학 데이터 정보 획득부(121), 제1 움직임 판단 정보 비교부(122) 및 작업 움직임 파악부(123)를 포함할 수 있다.
인체 운동학 데이터 정보 획득부(121)는 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서, 압력 센서 및 근전도 센서 중 적어도 어느 하나로부터 측정되는 인체 운동학 데이터 정보를 획득한다.
인체 운동학 데이터 정보 획득부(121)는 관성 측정 센서, 압력 센서 및 근전도 센서의 센싱 정보를 딥 러닝 모델에 적용하여 특징을 추출한 후 인체 운동학 데이터 정보를 획득한다.
인체 운동학 데이터 정보 획득부(121)는 도 5에 도시된 바와 같이 관성 측정 센서를 통해 인체의 가속도, 각속도 및 지자기기반의 위치 정보를 획득할 수 있으며, 도 6에 도시된 바와 같이 압력 센서를 통해 센서가 눌렸을때, 눌리지 않았을 때의 압력 변화를 파악할 수 있고, 도 7에 도시된 바와 같이 팔 올림/내림 동작 시 각 근전도 센서에서 근육 상태 정보를 획득할 수 있다.
제1 움직임 판단 정보 비교부(122)는 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교한다.
작업 움직임 파악부(123)는 비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중인지 여부를 파악한다.
작업 움직임 파악부(123)는 획득된 센서 데이터의 값을 기반으로 상박에 위치한 4개의 압력 센서의 값이 지정된 임계치 값이 예를 들어 10 보다 높을 경우 작업 보조 또는 움직임이 있는 것으로 판단한다.
여기서, 획득된 센서 데이터의 값을 기반으로 상박에 위치한 4개의 압력 센서의 값이 지정된 임계치 값보다 낮은 경우 작업 보조 또는 움직임이 없는 것으로 판단하여 대기 모드로 전환 여부를 파악할 수 있다.
도 8은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 모드 전환부의 세부 구성을 설명하기 위한 도면이다.
도 8을 참조하여 설명하면, 본 발명에 따른 모드 전환부(130)는 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환한다.
이를 위해, 모드 전환부(130)는 제2 움직임 판단 정보 비교부(131) 및 착용 움직임 파악부(132)를 포함할 수 있다.
제2 움직임 판단 정보 비교부(131)는 사용자의 움직임이 작업중이지 않은 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교한다.
착용 움직임 파악부(132)는 비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 착용중인지 여부를 파악하여 대기 모드로 전환한다.
착용 움직임 파악부(132)는 획득된 센서 데이터의 값을 기반으로 상박에 위치한 4개의 압력 센서의 값이 지정된 임계치 값이 예를 들어 5 보다 낮을 경우 움직임이 없는 것으로 판단하여 대기 모드로 전환하고, 획득된 센서 데이터의 값을 기반으로 상박에 위치한 4개의 압력 센서의 값이 지정된 임계치 값이 예를 들어 5 보다 높을 경우 작업 보조(착용중)로 판단한다.
도 9는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 채용되는 사용자 동작 의도 예측부의 세부 구성을 설명하기 위한 도면이고, 도 10 및 도 11은 도 9의 사용자 동작 의도 예측부에 의한 데이터 맵핑 결과를 설명하기 위한 도면이다.
도 9를 참조하여 설명하면, 본 발명에 따른 사용자 동작 의도 예측부(140)는 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측한다.
이를 위해, 사용자 동작 의도 예측부(140)는 데이터 맵핑부(141) 및 사용자 동작 파악부(142)를 포함할 수 있다.
데이터 맵핑부(141)는 사용자의 움직임이 작업중인 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑(mapping)한다.
데이터 맵핑부(141)는 도 10에 도시된 바와 같이 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑하여, 착용자의 팔 동작과 연관성을 파악할 수 있도록 한다. 즉, 도 10에서 hidden unit의 activation 값이 높아질수록 사용자의 동작과 연관성이 높은 것을 의미한다.
사용자 동작 파악부(142)는 맵핑 결과를 토대로 사용자의 동작이 팔을 내리려고 하는 동작인지를 파악한다.
사용자 동작 파악부(142)는 추출한 새로운 weight (W)와 bias (B)값과, 센서로부터 추출한 새로운 x 값을 기반으로 y를 예측한다는 하기의 식을 통해 착용자의 의도를 파악할 수 있다. 이때, y는 착용자의 의도를 0 또는 1로 나타낸 값이다.
[수식]
y (착용자 의도 값) = w (3D 모션 캡쳐 시스템 벡터 1) * x (센서 신호 벡터) + b (3D 모션 캡쳐 시스템 백터 2)
사용자 동작 파악부(142)는 도 11에 도시된 바와 같이 데이터를 맵핑하여 사용자의 동작을 예측하는 경우, 센서 데이터만을 활용하여 사용자의 동작을 예측할 때보다 높은 정확도를 나타냄을 알 수 있다. 즉, 도 11은 모델 정확도는 약 97%로 나타났다.
도 12 및 도 13은 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치에 적용되는 알고리즘 검증을 위한 UI 및 분석 방법을 설명하기 위한 도면이다.
도 12를 참조하여 설명하면, 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치의 UI 착용자 동작 의도 예측 알고리즘, 실시간 동작 동영상 촬영 및 실시간 센서 데이터가 표시되고. 보다 자세하게 장치를 착용한 상태에서 알고리즘 검증 동영상 촬영을 통해 실제 동작 시 알고리즘 결과와 일치 여부를 판독할 수 있다. 이때, 착용형 외골격 장치의 동작 의도 예측 정확도 평가를 위한 실험 결과 동영상에서 팔을 올리는 동작 (팔을 올린 후 holding 하는 동작)은 도 13 (a) 와 같이 라체트 기어와 걸쇠가 락이 걸려 있으며, 팔을 내리는 동작은 도 13의 (b) 와 같이 라체트 기어와 걸쇠 락이 풀리게 되며 팔의 움직임이 자유로워지는 상태로 변환된다.
도 14는 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법의 순서를 설명하기 위한 순서도이다.
도 14를 참조하여 설명하면, 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법은 앞서 설명한 본 발명에 따른 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치를 이용하는 것으로, 이하 중복되는 설명은 생략하기로 한다.
먼저, 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득한다(S100).
S100 단계는 기 획득된 모션 켑쳐 데이터에 대하여 착용자의 움직임을 라벨링 하는 과정을 그리고 사용자의 동작 의도 예측을 위한 입력 값으로 사용되기 위해 인체 모델링을 수행할 수 있다.
S100 단계 이후에, 어깨 착용형 외골격 장치의 배터리 용량을 확인할 수 있다(S105).
S105 단계에서 배터리 용량이 기 설정된 배터리 기준 정보 이하인 경우 어깨 착용형 외골격 장치를 운용하지 않고, 배터리 용량이 기 설정된 배터리 기준 정보를 초과하는 경우 어깨 착용형 외골격 장치를 운용하도록 한다.
S100 단계 이후에, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서, 압력 센서 및 근전도 센서 중 적어도 어느 하나로부터 측정되는 인체 운동학 데이터 정보를 획득한다(S110).
S110 단계는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단한다.
다음, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교한다(S120).
S120 단계는 획득된 센서 데이터의 값을 기반으로 상박에 위치한 4개의 압력 센서의 값이 지정된 임계치 값을 비교한다.
S120 단계의 비교 결과, 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중이지 않은 것으로 판단되면, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교한다(S121).
S121 단계에서 비교 결과, 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 착용중임을 판단하고 대기 모드로 전환한다(S122, S123)
S120 단계의 비교 결과, 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중임을 파악한다(S130).
다음, 사용자의 움직임이 작업중인 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑한다(S140).
S140 단계는 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑하여, 착용자의 팔 동작과 연관성을 파악할 수 있도록 한다.
다음, 맵핑 결과를 토대로 사용자의 동작이 팔을 내리려고 하는 동작인지를 파악한다(S150).
S150 단계에서 사용자의 움직임이 작업중인 것으로 판단되면 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도가 팔을 내리려고 하는 동작인지를 예측하여 어깨 착용형 외골격 장치의 모터를 제어한다(S160).
한편, S150 단계에서 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도가 팔을 내리려고 하는 동작이 아닌 경우, S110 단계로 돌아간다.
이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 또는 이들 중 하나 이상이 조합에서 구현 가능하다.
본 명세서에서 기술하는 주제의 실시형태는 하나 이상이 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상이 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 또는 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 또는 이들 중 하나 이상이 조합일 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 이용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.
컴퓨터 프로그램은 파일 장치의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 또는 다중의 상호 작용하는 파일(예컨대, 하나 이상이 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일) 내에, 또는 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상이 스크립트) 내에 저장될 수 있다.
컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 설정하는 데에도 사용 가능하다.
본 명세서에서 기술하는 프로세스와 논리 흐름은 수신 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.
컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 형태의 디지털 컴퓨터의 어떠한 하나 이상이 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 양자로부터 명령어와 데이터를 수신할 것이다.
컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상이 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기 광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상이 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 또는 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치
110 : 모션 캡쳐 데이터 획득부
115 : 배터리 용량 확인부
120 : 사용자 움직임 판단부
130 : 모드 전환부
140 : 사용자 동작 의도 예측부
150 : 모터 제어부

Claims (10)

  1. 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득하는 모션 캡쳐 데이터 획득부;
    어깨 착용형 외골격 장치에 구비되는 관성 측정 센서(IMU:Inertial Measurement Unit)로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서(FSR:Force Sensitive Resistor)로부터 측정되는 압력 정보 및 근전도 센서(EMG:Electro Myo Graphy)로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 사용자 움직임 판단부; 및
    어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 사용자 동작 의도 예측부;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치.
  2. 제1항에 있어서,
    상기 사용자 움직임 판단부는,
    어깨 착용형 외골격 장치에 구비되는 관성 측정 센서, 압력 센서 및 근전도 센서 중 적어도 어느 하나로부터 측정되는 인체 운동학 데이터 정보를 획득하는 인체 운동학 데이터 정보 획득부;
    획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 제1 움직임 판단 정보 비교부; 및
    비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중인지 여부를 파악하는 작업 움직임 파악부;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치.
  3. 제1항에 있어서,
    사용자 동작 의도 예측부는,
    사용자의 움직임이 작업중인 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑(mapping)하는 데이터 맵핑부; 및
    맵핑 결과를 토대로 사용자의 동작이 팔을 내리려고 하는 동작인지를 파악하는 사용자 동작 파악부;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치.
  4. 제1항에 있어서,
    사용자의 동작이 팔을 내리려고 하는 동작인 것으로 파악되면, 어깨 착용형 외골격 장치의 모터를 제어하는 모터 제어부를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치.
  5. 제1항에 있어서,
    사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환하는 모드 전환부를 포함하며,
    상기 모드 전환부는,
    사용자의 움직임이 작업중이지 않은 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 제2 움직임 판단 정보 비교부; 및
    비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 착용중인지 여부를 파악하여 대기 모드로 전환하는 착용 움직임 파악부;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치.
  6. 제1항에 있어서,
    어깨 착용형 외골격 장치의 배터리 용량을 확인하여, 배터리 용량이 기 설정된 배터리 기준 정보와 비교한 결과에 따라 어깨 착용형 외골격 장치의 운용 여부를 결정하는 배터리 용량 확인부를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치.
  7. 인체 운동학 데이터 획득부에 의해, 대상자의 움직임에 따라 대상자 신체의 각 관절 및 캡쳐 대상의 부위에 고정되는 다수개의 센서 마커로부터 측정되는 센싱 데이터와 모션 캡쳐 카메라를 이용하여 획득된 대상자의 3차원 움직임 영상을 토대로 모션 캡체 데이터를 기 획득하는 단계;
    사용자 움직임 판단부에 의해, 어깨 착용형 외골격 장치에 구비되는 관성 측정 센서(IMU:Inertial Measurement Unit)로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서(FSR:Force Sensitive Resistor)로부터 측정되는 압력 정보 및 근전도 센서(EMG:Electro Myography)로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 단계; 및
    사용자 동작 의도 예측부에 의해, 어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 단계;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법.
  8. 제7항에 있어서,
    어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 단계는,
    어깨 착용형 외골격 장치에 구비되는 관성 측정 센서, 압력 센서 및 근전도 센서 중 적어도 어느 하나로부터 측정되는 인체 운동학 데이터 정보를 획득하는 단계;
    획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 단계; 및
    비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 작업중인지 여부를 파악하는 단계;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법.
  9. 제7항에 있어서,
    어깨 착용형 외골격 장치에 구비되는 관성 측정 센서로부터 측정되는 인체의 가속도 및 각속도 정보, 압력 센서로부터 측정되는 압력 정보 및 근전도 센서로부터 측정되는 근육 상태 정보 중 적어도 어느 하나를 포함하는 인체 운동학 데이터 정보를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임을 판단하는 단계 이후에,
    사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환하는 단계를 포함하며,
    사용자의 움직임이 작업중이지 않은 것으로 파악되면, 대기 모드로 전환하는 단계는,
    사용자의 움직임이 작업중이지 않은 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 설정된 움직임 판단 정보를 비교하는 단계; 및
    비교 결과를 토대로 어깨 착용형 외골격 장치를 착용한 사용자의 움직임이 착용중인지 여부를 파악하여 대기 모드로 전환하는 단계;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법.
  10. 제7항에 있어서,
    어깨 착용형 외골격 장치를 착용한 사용자의 움직임 판단 결과에 따라 기 획득된 모션 캡쳐 데이터를 반영하여 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 단계는,
    사용자의 움직임이 작업중인 것으로 파악되면, 획득된 인체 운동학 데이터 정보와 기 획득된 모션 캡쳐 데이터를 맵핑(mapping)하는 단계;
    맵핑 결과를 토대로 사용자의 동작이 팔을 내리려고 하는 동작인지를 파악하는 단계;
    를 포함하는 것을 특징으로 하는 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 방법.
KR1020210021924A 2021-02-18 2021-02-18 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법 KR102427048B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210021924A KR102427048B1 (ko) 2021-02-18 2021-02-18 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210021924A KR102427048B1 (ko) 2021-02-18 2021-02-18 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102427048B1 true KR102427048B1 (ko) 2022-08-01

Family

ID=82844243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210021924A KR102427048B1 (ko) 2021-02-18 2021-02-18 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102427048B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624240B1 (ko) * 2023-07-27 2024-01-16 주식회사 아임토리 로봇 축 움직임 예측 모델을 통한 로봇 상태 진단 장치및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057081A (ko) * 2010-11-26 2012-06-05 주식회사 바이오닉스 지능형 외골격 로봇기반의 일상생활 보조 및 재활훈련 시스템 및 제어방법
KR20190071510A (ko) * 2017-12-14 2019-06-24 이창규 운동 예측 장치 및 방법
KR20200134502A (ko) * 2019-05-22 2020-12-02 한국과학기술연구원 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
KR102374448B1 (ko) * 2018-11-02 2022-03-15 서울대학교산학협력단 사용자의 의도 예측 방법 및 이를 수행하기 위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057081A (ko) * 2010-11-26 2012-06-05 주식회사 바이오닉스 지능형 외골격 로봇기반의 일상생활 보조 및 재활훈련 시스템 및 제어방법
KR20190071510A (ko) * 2017-12-14 2019-06-24 이창규 운동 예측 장치 및 방법
KR102374448B1 (ko) * 2018-11-02 2022-03-15 서울대학교산학협력단 사용자의 의도 예측 방법 및 이를 수행하기 위한 장치
KR20200134502A (ko) * 2019-05-22 2020-12-02 한국과학기술연구원 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624240B1 (ko) * 2023-07-27 2024-01-16 주식회사 아임토리 로봇 축 움직임 예측 모델을 통한 로봇 상태 진단 장치및 방법

Similar Documents

Publication Publication Date Title
US11096854B2 (en) Human machine interfaces for lower extremity orthotics
Chen et al. A novel gait pattern recognition method based on LSTM-CNN for lower limb exoskeleton
US10307271B2 (en) Control system and method for non-gait ankle and foot motion in human assistance device
US10124484B1 (en) Load-bearing powered exoskeleton using electromyographic control
US20190160321A1 (en) Assist profiling and dynamic torque generation for biomechanical assistive device
JP2015027730A (ja) ロボット変位装置
Diaz et al. Visual terrain identification and surface inclination estimation for improving human locomotion with a lower-limb prosthetic
US20190152047A1 (en) Biomechanical assistive device
Wu et al. Gait phase prediction for lower limb exoskeleton robots
KR102427048B1 (ko) 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법
JP5479875B2 (ja) 動作補助装置
US20210022944A1 (en) Lower-body exoskeleton using electromyography for direct force amplification
CN112674875B (zh) 机械臂力反馈系统、方法、控制方法及控制终端
da Silva et al. Evaluation of embedded platforms for lower limb prosthesis with visual sensing capabilities
Fleischer et al. EMG-driven human model for orthosis control
CN108697377A (zh) 步态分析器系统和方法
Park et al. Data-driven modeling for gait phase recognition in a wearable exoskeleton using estimated forces
Voicu et al. Advanced monitoring & sensing of mobility impaired individuals
Moradi et al. Integrating Human Hand Gestures with Vision Based Feedback Controller to Navigate a Virtual Robotic Arm
Li et al. Gait mode recognition using an inertial measurement unit to control an ankle-foot orthosis during stair ascent and descent
Yodpijit et al. A low-cost portable 3D human motion analysis system: An application of gait analysis
Sun et al. Upper-Body Motion Mode Recognition Based on IMUs for a Dynamic Spine Brace
Grzesiak et al. Predicting ankle moment trajectory with adaptive weighted ensemble of LSTM networks
Akanto et al. Eye Pupil Controlled Transport Riding Wheelchair
CN113962247B (zh) 一种基于标准库匹配的步态预测方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant