KR101563298B1 - 수부 모션인식 기반의 수부 재활치료 시스템 - Google Patents
수부 모션인식 기반의 수부 재활치료 시스템 Download PDFInfo
- Publication number
- KR101563298B1 KR101563298B1 KR1020140093394A KR20140093394A KR101563298B1 KR 101563298 B1 KR101563298 B1 KR 101563298B1 KR 1020140093394 A KR1020140093394 A KR 1020140093394A KR 20140093394 A KR20140093394 A KR 20140093394A KR 101563298 B1 KR101563298 B1 KR 101563298B1
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- module
- pattern
- gesture
- treatment
- Prior art date
Links
- 238000011282 treatment Methods 0.000 claims abstract description 86
- 238000011269 treatment regimen Methods 0.000 claims abstract description 12
- 210000003811 finger Anatomy 0.000 claims description 64
- 238000002560 therapeutic procedure Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 15
- 210000003813 thumb Anatomy 0.000 claims description 13
- 239000011435 rock Substances 0.000 claims description 11
- 210000000707 wrist Anatomy 0.000 claims description 3
- 230000005057 finger movement Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000006378 damage Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000001364 upper extremity Anatomy 0.000 description 5
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 239000004072 C09CA03 - Valsartan Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000009207 exercise therapy Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 238000001584 occupational therapy Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000272 proprioceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
- A61H1/0285—Hand
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2205/00—Devices for specific parts of the body
- A61H2205/06—Arms
- A61H2205/065—Hands
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 발명은 수부 모션인식 기반의 수부 재활치료 시스템에 관한 것이다. 본 발명은, 손가락의 좌표, 모션·제스처를 인식하는 '손가락 인식모듈(Finger Recognition module)', 인식된 손가락의 좌표, 모션·제스처를 활용하는 6가지 '재활치료 패턴 모듈', '데이터베이스 연동모듈(Database Access module)', '치료이력 모듈(Treatment history)'로 구성되는 수부 모션인식 기반의 수부 재활치료 시스템에 있어서, 상기 재활치료 패턴 모듈은, 어깨와 손목 사이의 기능 향상을 위하여 팔을 움직여 하는 운동으로, 업&다운(Up&Down) 패턴 치료, 핸드 플립(Hand flip) 패턴 치료, 그리고 드로잉 서클(Drawing Circle) 패턴 치료를 포함하는 3가지의 '상지관련 재활치료법'과, 손과 손가락의 움직임 기능 향상을 위한 것으로 폴드&언폴드(Fold&Unfold) 패턴 치료, 피아노(Piano) 패턴 치료, 그리고 락&페이퍼(Rock&Paper) 패턴 치료를 포함하는 3가지의 '수부관련 재활치료법'을 실행한다.
이에 의해 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공하는 효과가 있다.
또한, 본 발명은, 손의 움직임을 포착 추적하는데 특화된 디바이스인 립모션을 활용하여 환자 스스로 따라할 수 있는 6가지 수부재활 운동 패턴을 제공하여 환자가 일상생활에서 지속적으로 재활운동을 수행하도록 함으로써 치료의 성과를 향상시키는 효과가 있다.
뿐만 아니라, 본 발명은, 장비의 공간 제약을 받지 않고 가격이 저렴하며 수부의 모션과제스처 인식에 특화된 모션인식 디바이스인 ‘립모션’을 이용하여 가상공간에서 수부를 이용한 다양한 재활치료를 환자 혼자서 진행할 수 있는 효과를 제공한다.
이에 의해 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공하는 효과가 있다.
또한, 본 발명은, 손의 움직임을 포착 추적하는데 특화된 디바이스인 립모션을 활용하여 환자 스스로 따라할 수 있는 6가지 수부재활 운동 패턴을 제공하여 환자가 일상생활에서 지속적으로 재활운동을 수행하도록 함으로써 치료의 성과를 향상시키는 효과가 있다.
뿐만 아니라, 본 발명은, 장비의 공간 제약을 받지 않고 가격이 저렴하며 수부의 모션과제스처 인식에 특화된 모션인식 디바이스인 ‘립모션’을 이용하여 가상공간에서 수부를 이용한 다양한 재활치료를 환자 혼자서 진행할 수 있는 효과를 제공한다.
Description
본 발명은 수부 모션인식 기반의 수부 재활치료 시스템에 관한 것으로, 보다 구체적으로는, 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공하도록 하기 위한 수부 모션인식 기반의 수부 재활치료 시스템에 관한 것이다.
작업 중의 부상으로 신체적, 정신적 손상을 받아 야기된 산업재해나 뇌졸중으로 인한 신체 손상은 생활에 있어서 여러 기능의 장애를 일으킨다. 특히, 일상생활에 있어서 가장 많이 사용되는 손 기능이 저하되면 아주 큰 불편함이 따르게 된다. 손 기능의 저하를 막기 위해 환자는 수부 재활치료를 받게 된다.
보다 구체적으로, '수부 재활치료’란 산업재해로 손가락이 절단되어 봉합 수술을 한 환자, 뇌졸중으로 손에 마비가 오는 환자, 또는 손가락의 뼈가 부러진 환자들이 수술 후 손가락 지관절이 굳어지지 않게 관절을 가능한 한 최대로 굴신 운동을 꾸준히 반복해야 하는 아주 중요한 재활치료이다.
이는 손상 받은 부위의 기능을 향상시키고 건강한 부위의 기능을 강화시킴으로써 신체적 기능을 최대한 회복시키는 것을 목적으로 한다.
이러한 수부 손상을 회복하고자 시행하는 환자의 재활치료는 오래전부터 다양한 방법으로 진행되어 오고 있다. 보바스치료(Bobath treatment), 운동훈련(Exercise training), 과제 지향적 운동(task-oriented movement therapy), 환측 상지의 강제 유도운동치료, 고유수용성신경근촉진법(proprioceptive neuromuscular facilitation), 기능적 전기자극(Functional electric stimulation), 로봇 보조재활(Robotic-assisted rehabilitation), 그리고 양측성 상지 훈련(Bilateral arm training) 등이 효과가 입증되었다.
현재 수부 재활치료는 다양한 장비들을 사용하고 있다. 그중 관절운동 치료기인 CPM(Continuous Passive Motion-수동관절운동)이 있다. 도 1은 장비를 활용한 수부 재활치료로 손가락 CPM 장비(CPM finger device)를 나타내는 도면이다.
CPM 장비는 스스로 운동이 불가능한 환자에게 수술 직후부터 수동적으로 운동을 시작하게 해줌으로써, 통증을 완화하고, 관절의 경직이나 유착 등 움직이지 않음으로 인해 생길 수 있는 부작용을 최소화하기 위해 개발된 운동기구이다. 해당 재활치료 장비는 환자가 능동적으로 수행하지 못할 경우에 장비가 수동적으로 환자의 재활치료를 도와줌으로써 기능회복에는 도움이 될 수 있으나 환자의 재활치료 중에서 중요한 부분인 동기부여가 안 될 경우에는 어려운 점이 많다.
한편, 최근에는 IT 의료 융합 기술에 대한 요구 증대와 사회적 환경 변화에 따라 의료 IT 융합기술 분야 시장이 급속도로 증가하고 있으며, 다양한 u-헬스케어(u-healthcare) 제품들이 개발되고 있다. 재활치료분야에서도 IT 기술을 적용한 사례들이 나오고 있는데, 최근에는 가상현실 기반의 재활치료에 대한 연구와 임상적 적용이 활발해지고 있으며, 시도되고 있는 범위도 넓어지고 있다.
여기서 가상현실은 ‘컴퓨터가 만들어낸 감각몰입이 이루어지는 가상세계에서 이용자가 실시간으로 상호작용을 할 수 있는 인간-컴퓨터 인터페이스’ 라고 정의할 수 있다. 가상현실 재활치료는 화면상에 가상의 3차원 환경을 구성하여 특수한 안경이나 장갑을 사용하여 특정 훈련 및 동작을 수행함으로써 환자의 재활을 돕는 방법이다. 사용자 스스로 재활치료에 대해 흥미롭게 재활운동을 할 수 있게 함으로써 다양한 치료를 수행할 수 있다. 또한 환자의 수부사용 능력에 따라 재활동작에 관한 난이도 설정이 가능하며, 사용자의 재활치료에 대한 동기부여를 할 수 있고 심리적으로 안정적인 재활치료가 가능하다.
또한, 이러한 것은 소프트웨어 기반 수부 재활치료로, 소프트웨어 기반으로 한 다양한 재활치료 방법들이 나오고 있다.
예시적으로, 센서가 부착된 ‘데이터 글러브’를 착용하고 환자가 가상현실을 적용한 컴퓨터 화면에 나타난 물체를 집어서 다양하게 조작하는 재활치료 시스템이 있다. 해당 시스템은 환자가 혼자서 장비 및 시스템을 다루기가 힘들어 재활 도우미의 도움을 받아야 한다. 또한 ‘카메라’를 이용하여 증강현실(AR, Argumented Reality) 환경에서 환자가 가상의 객체를 직접 조작하거나 화면에서 유도하는 움직임을 직접 따라하게 함으로써 반복적인 손동작 재활 운동을 가능하도록 하는 시스템이 있다.
그러나, 해당 시스템은 카메라가 다른 장애물을 인식하지 않게 주변에 장애물이 없는 장소에서 사용해야 하고, 카메라 영상으로 인한 노이즈가 발생한다는 단점이 있다.
또한, 최근 스마트 폰, 태블릿 PC(이하 스마트 디바이스)가 보급화 되면서 스마트 디바이스 수부 재활치료 관련 애플리케이션도 나오고 있다. 스마트 디바이스 화면에 표시된 물체를 화면에서 지정한 손가락으로 멀티 터치를 하도록 하여 손가락의 굴곡 훈련 및 신전 훈련 효과를 주는 재활치료 애플리케이션이다. 동작인식 장비로 각광받고 있는 키넥트(kinect)는 다양한 의료 시스템에 접목한 사례가 많다. 별도의 조이스틱이 요구되지 않은 비접촉식 인터페이스가 장점인 키넥트는 카메라를 이용하여 사물을 감지하고 뎁스(Depth) 정보를 이용하여 실시간으로 사용자의 동작을 인식하고 추적한다. 이를 이용하여 손 모양을 검출하고 손바닥 포즈를 추정할 수 있다. 현재 키넥트를 뇌졸중 상지 재활치료 프로그램에 사용한 사례도 있다. 그러나 키넥트는 노이즈 현상이 자주 일어나므로 주변에 장애물이 없는 환경에서 사용해야 한다는 단점이 있다.
또한, 상술한 장비들은 고가이며 병원이나 전문가 위주로 제공되어 있으므로 병원에 내원 하여야만 이용할 수 있다. 또한 치료를 위한 장애물 없는 장소가 마련되어야 하고 치료사 및 재활치료 도우미가 동행해야만 해당 장비를 이용할 수 있다.
이에 따라, 병원에 치료를 받으면서 지불하는 치료비용은 재활치료는 단기간에 회복되기 힘들다는 점을 감안해보면 환자에게 엄청난 부담이 되며 내원하는 환자들에게 발생하는 이동시간과 노력, 병원에 미리 예약을 해야 하는 불편한 점이 많다.
이러한 공간제약, 고가의 장비, 재활 도우미가 필요하다는 불편한 점으로 인해 환자 개인이 재활치료 시스템을 갖추기는 힘들다. 운동 치료 및 작업 치료는 반복하여 꾸준히 시행하는 것이 가장 중요하며, 재활치료 과정에서 습득한 내용을 일상생활에서 지속적으로 수행하는 것이 재활치료의 목표이자 치료의 성과를 향상시키는 방법이다. 그러므로 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공할 수 있는 수부재활 시스템에 대한 기술개발이 요구된다.
이러한 기술개발의 요구와 함께, 최근에 다른 동작인식 장비로 ‘립모션’이 있으며, 립모션은 손가락 제스처와 모션에 특화된 장비로써 정확하게 손가락 추적이 가능하며 가상의 공간에서 손가락의 제스처, 모션 인식이 가능하다.
이에 따라 본 발명에서는 환자들의 수부 재활치료를 위해 손가락 제스처와 모션에 특화된 립모션을 이용하여 가상공간에서 각종 수부 재활치료를 할 수 있는 시스템을 구현함으로써, 환자가 혼자서 손쉽게 시스템을 이용할 수 있으며, 다른 장비와의 비용 면에서 저렴하며 손가락 모션에 특화되어 있기 때문에 다른 장비들 보다 손가락 인식률의 정확성이 뛰어나도록 하는 기술개발을 위한 것이다.
[관련기술문헌]
1. 모바일 탭 기반의 수부 재활 치료 서비스 제공방법(특허출원번호 제10-2012-0133348호)
2. 손 재활 훈련을 위한 햅틱 그립프 장치 및 그를 이용한 햅틱 시스템의 환자용 클라이언트/의사용 서버/햅틱 그립프 제어 장치와 재활 훈련 방법(특허출원번호 제10-2000-0082268호)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공하도록 하기 위한 수부 모션인식 기반의 수부 재활치료 시스템을 제공하기 위한 것이다.
또한, 본 발명은 손의 움직임을 포착 추적하는데 특화된 디바이스인 립모션을 활용하여 환자 스스로 따라할 수 있는 6가지 수부재활 운동 패턴을 제공하여 환자가 일상생활에서 지속적으로 재활운동을 수행하도록 함으로써 치료의 성과를 향상시키도록 하기 위한 수부 모션인식 기반의 수부 재활치료 시스템을 제공하기 위한 것이다.
또한, 본 발명은 장비의 공간 제약을 받지 않고 가격이 저렴하며 수부의 모션과제스처 인식에 특화된 모션인식 디바이스인 ‘립모션’을 이용하여 가상공간에서 수부를 이용한 다양한 재활치료를 환자 혼자서 진행할 수 있도록 하기 위한 수부 모션인식 기반의 수부 재활치료 시스템을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템은, 손가락의 좌표, 모션·제스처를 인식하는 '손가락 인식모듈(Finger Recognition module)', 인식된 손가락의 좌표, 모션·제스처를 활용하는 6가지 '재활치료 패턴 모듈', '데이터베이스 연동모듈(Database Access module)', '치료이력 모듈(Treatment history)'로 구성되는 수부 모션인식 기반의 수부 재활치료 시스템에 있어서, 상기 재활치료 패턴 모듈은, 어깨와 손목 사이의 기능 향상을 위하여 팔을 움직여 하는 운동으로, 업&다운(Up&Down) 패턴 치료, 핸드 플립(Hand flip) 패턴 치료, 그리고 드로잉 서클(Drawing Circle) 패턴 치료를 포함하는 3가지의 '상지관련 재활치료법'과, 손과 손가락의 움직임 기능 향상을 위한 것으로 폴드&언폴드(Fold&Unfold) 패턴 치료, 피아노(Piano) 패턴 치료, 그리고 락&페이퍼(Rock&Paper) 패턴 치료를 포함하는 3가지의 '수부관련 재활치료법'을 실행한다.
이때, 상기 손가락 인식모듈(Finger Recognition module)은, 상기 립모션 디바이스(Leap motion Device)에 의해 감지한 손가락들의 위치 정보를 인식하고 손가락의 위치 정보의 평균값으로 손바닥의 위치, 크기, 손이 향하는 방향, 손등이 향하는 방향을 인식하는 ‘핑거 인식 수단'; 미리 설정된 제스처를 인식하는 ‘제스처 인식 수단'; 및 상기 재활치료 패턴 모듈에 의한 각 치료 방법에 해당하는 치료 패턴을 분별하는 ‘모션 인식 수단'; 을 포함하는 것이 바람직하다.
또한, 상기 제스처 인식 수단은, 원 그리는 방향, 원주율, 반지름 정보를 알기 위한 '서클(Circle) 제스처'; 제스처가 일어난 위치를 알기 위한 '스크린 탭(Screen Tap) 제스처' 및 '키 탭(Key Tap) 제스처'; 및 제스처의 한 방향(좌↔우) 및 제스처 속도를 알기하는 '스와잎(Swipe) 제스처'; 를 인식하는 것이 바람직하다.
또한, 상기 재활치료 패턴 모듈은, 환자가 모니터에 표시된 절차에 따라 손을 뒤집는 동작을 반복 진행하는 핸드 플립(Hand flip) 패턴 치료를 수행시, 엄지손가락을 제외한 손가락은 임의의 번호로 설정하며 엄지손가락은 항상 마지막 번호로 설정한 뒤, 마지막 번호(엄지손가락)의 X축 좌표값을 손바닥 뒤집기 이전과 이후로 비교하여 마지막 번호(엄지손가락)의 X축 좌표 값이 미리 설정된 범위값(±1) 이상 변한 경우, 손바닥이 뒤집힌 것으로 판단하는 핸드 플립 모듈(Hand flip module); 을 포함하는 것이 바람직하다.
본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템은, 손상 받은 수부의 기능을 향상시키고 회복시키기 위해 능동적인 활동으로 치료를 제공하는 효과가 있다.
또한, 본 발명의 다른 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템은, 손의 움직임을 포착 추적하는데 특화된 디바이스인 립모션을 활용하여 환자 스스로 따라할 수 있는 6가지 수부재활 운동 패턴을 제공하여 환자가 일상생활에서 지속적으로 재활운동을 수행하도록 함으로써 치료의 성과를 향상시키는 효과가 있다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템은, 장비의 공간 제약을 받지 않고 가격이 저렴하며 수부의 모션과제스처 인식에 특화된 모션인식 디바이스인 ‘립모션’을 이용하여 가상공간에서 수부를 이용한 다양한 재활치료를 환자 혼자서 진행할 수 있는 효과를 제공한다.
도 1은 장비를 활용한 수부 재활치료로 손가락 CPM 장비(CPM finger device)를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서 립모션 좌표체계(Cordinate system transformof a leap motion)를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템의 메인화면(Main UI of a Hand Rehabilitation System)을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 업&다운 모듈(Up&Down module)(12a)에 의해 구현되는 업&다운(Up&Down) 패턴 치료를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 핸드 플립 모듈(Hand flip module)(12b)에 의해 구현되는 핸드 플립(Hand flip) 패턴 치료 중 손바닥 아래로 향했을 때(In case palm of hand downward)를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 핸드 플립 모듈(Hand flip module)(12b)에 의해 구현되는 핸드 플립(Hand flip) 패턴 치료 중 손바닥 위로 향했을 때(In case palm of hand upward)를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 드로잉 서클 모듈(Drawing Circle module)(12d)에 의해 구현되는 드로잉 서클(Drawing Circle) 패턴 치료 중 시계 방향으로 원을 그렸을 때(In case drawn a clockwise direction)를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 폴드&언폴드 모듈(Fold&Unfold module)(12c)에 의해 구현되는 폴드&언폴드(Fold&Unfold) 패턴 치료를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 피아노 모듈(Piano module)(12f)에 의해 구현되는 피아노(Piano) 패턴 치료에서 피아노 건반 좌표영역(Range of a piano keyboard)을 나타내는 도면이다.
도 11은 본 발명에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서의 각 패턴 치료를 구현하기 위한 결과를 나타내는 UI 화면이다.
도 12는 본 발명에 따른 수부 모션인식 기반의 수부 재활치료 시스템의 동작 인식 장비인 립모션 디바이스(Leap motion Device)(20)와 다른 동작 인식 장비들을 이용한 수부 재활치료에 대한 장단점을 비교 분석한 도표이다.
도 2는 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서 립모션 좌표체계(Cordinate system transformof a leap motion)를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템의 메인화면(Main UI of a Hand Rehabilitation System)을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 업&다운 모듈(Up&Down module)(12a)에 의해 구현되는 업&다운(Up&Down) 패턴 치료를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 핸드 플립 모듈(Hand flip module)(12b)에 의해 구현되는 핸드 플립(Hand flip) 패턴 치료 중 손바닥 아래로 향했을 때(In case palm of hand downward)를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 핸드 플립 모듈(Hand flip module)(12b)에 의해 구현되는 핸드 플립(Hand flip) 패턴 치료 중 손바닥 위로 향했을 때(In case palm of hand upward)를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 드로잉 서클 모듈(Drawing Circle module)(12d)에 의해 구현되는 드로잉 서클(Drawing Circle) 패턴 치료 중 시계 방향으로 원을 그렸을 때(In case drawn a clockwise direction)를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 폴드&언폴드 모듈(Fold&Unfold module)(12c)에 의해 구현되는 폴드&언폴드(Fold&Unfold) 패턴 치료를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 피아노 모듈(Piano module)(12f)에 의해 구현되는 피아노(Piano) 패턴 치료에서 피아노 건반 좌표영역(Range of a piano keyboard)을 나타내는 도면이다.
도 11은 본 발명에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서의 각 패턴 치료를 구현하기 위한 결과를 나타내는 UI 화면이다.
도 12는 본 발명에 따른 수부 모션인식 기반의 수부 재활치료 시스템의 동작 인식 장비인 립모션 디바이스(Leap motion Device)(20)와 다른 동작 인식 장비들을 이용한 수부 재활치료에 대한 장단점을 비교 분석한 도표이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
그리고 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
도 2는 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템을 나타내는 도면이다. 도 2를 참조하면, 수부 모션인식 기반의 수부 재활치료 시스템(1)은 손가락의 좌표, 모션·제스처를 인식하는 손가락 인식모듈(Finger Recognition module)(11)과 이를 활용하는 6가지 재활치료 패턴 모듈(12), 데이터베이스 연동모듈(Database Access module)(13), 그리고 치료이력 모듈(Treatment history)(14)로 구성된다.
손가락 인식모듈(Finger Recognition module)(11)은 립모션 디바이스(Leap motion Device)(20)가 감지한 손가락들의 위치 정보를 인식하고 손가락의 위치 정보의 평균값으로 손바닥의 위치, 크기, 손이 향하는 방향, 손등이 향하는 방향 등을 알 수 있는 ‘핑거 인식 수단'과 특정 제스처를 인식하는 ‘제스처 인식 수단', 각각의 치료방법에 해당하는 치료 패턴을 분별하는 ‘모션 인식 수단'이 합쳐진 통합 모듈이다.
도 3은 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서 립모션 좌표체계(Cordinate system transformof a leap motion)를 나타내는 도면이다. 즉, 도 3은 립모션 디바이스(20)를 통해 인식된 손가락 위치에 대한 가상좌표체계를 나타내는 도면이다. 가상현실의 좌표체계는 X, Y, Z축 기준으로 3방향으로 손가락 좌표를 정의하며 손이 정중앙에 위치하였을 때 좌표값 (0,0,0)을 가진다. 손의 좌·우 이동은 X±, 상·하 이동은 Y±, 깊이(Depth) 이동은 Z±로 변한다. 손가락 인식모듈(Finger Recognition module)(11)의 ‘제스처 인식 수단’에서는 서클(Circle), 스크린 탭(Screen Tap), 키 탭(Key Tap), 그리고 스와잎(Swipe)과 같이 4종류의 제스처를 인식한다.
서클(Circle) 제스처에서는 원 그리는 방향, 원주율, 반지름 정보를 알 수 있고, 스크린 탭(Screen Tap)과 키 탭(Key Tap) 제스처에서는 제스처가 일어난 위치를 알 수 있으며, 스와잎(Swipe) 제스처에서는 제스처를 한 방향(좌↔우), 제스처 속도를 알 수 있다.
재활치료 패턴 모듈(12)로 업&다운 모듈(Up&Down module)(12a), 핸드 플립 모듈(Hand flip module)(12b), 폴드&언폴드 모듈(Fold&Unfold module)(12c), 드로잉 서클 모듈(Drawing Circle module)(12d), 락&페이퍼 모듈(Rock&Paper module)(12e), 피아노 모듈(Piano module)(12f) 들이 수행된다. 각 패턴모듈에 대한 구체적은 설명은 도 5 내지 도 10을 참조하여 후술하도록 한다.
데이터베이스 연동모듈(Database Access module)(13)은 사용자가 진행한 재활치료 데이터를 데이터베이스에 저장하는 모듈이다. 또한, 본 명세서에서 데이터베이스라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. 데이터베이스는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
치료이력 모듈(Treatment history)(14)은 데이터베이스 연동모듈(Database Access module)(13)에 의해 데이터베이스에 저장된 치료기록을 기반으로 이전에 비해 환자의 상태가 얼마나 호전되고 있는지 각 치료별, 난이도별로 그래프를 보여주는 모듈이다.
도 4는 본 발명의 실시예에 따른 수부 모션인식 기반의 수부 재활치료 시스템의 메인화면(Main UI of a Hand Rehabilitation System)을 나타내는 도면이다.
도 4를 참조하면, 수부 모션인식 기반의 수부 재활치료 시스템에 의한 수부 재활치료법 구현방법은 상지관련 재활치료법 3가지와 수부관련 재활치료법 3가지가 제공된다.
상지관련 재활치료는 어깨와 손목 사이의 기능 향상을 위하여 팔을 움직여 하는 운동으로, 업&다운(Up&Down), 핸드 플립(Hand flip), 드로잉 서클(Drawing Circle) 패턴을 가진다.
수부관련 재활치료는 손과 손가락의 움직임 기능 향상을 위한 것으로 폴드&언폴드(Fold&Unfold), 피아노(Piano), 락&페이퍼(Rock&Paper) 패턴이 있다.
도 5는 본 발명의 실시예에 따른 업&다운 모듈(Up&Down module)(12a)에 의해 구현되는 업&다운(Up&Down) 패턴 치료를 설명하기 위한 도면이다.
업&다운 모듈(Up&Down module)(12a)에 의해 구현되는 업&다운(Up&Down) 패턴 치료는 손을 지정된 높이 이상으로 올렸다가 다시 일정 높이 이하로 내리는 동작을 반복해서 수행하는 치료법으로써 팔과 어깨 근육의 치료 효과를 얻을 수 있다. 이 치료패턴에서 업&다운 모듈(Up&Down module)(12a)은 도 5와 같이 좌표공간에서 Y축 기준으로 상단과 하단(0.4, -0.4)에 사각형 형태의 영역을 설정한다. 사용자의 손의 Y좌표값을 트래킹하면서 사용자의 손이 설정해놓은 Y좌표값 이상 올라왔는지 내려갔는지를 판단한다.
도 6은 본 발명의 실시예에 따른 핸드 플립 모듈(Hand flip module)(12b)에 의해 구현되는 핸드 플립(Hand flip) 패턴 치료 중 손바닥 아래로 향했을 때(In case palm of hand downward)를 설명하기 위한 도면이고, 도 7은 동일한 핸드 플립(Hand flip) 패턴 치료 중 손바닥 위로 향했을 때(In case palm of hand upward)를 설명하기 위한 도면이다.
핸드 플립 모듈(Hand flip module)(12b)에 의해 핸드 플립(Hand flip) 패턴 치료는 환자가 모니터에 표시된 절차에 따라 손을 뒤집는 동작을 반복 진행한다. 핸드 플립 모듈(Hand flip module)(12b)에서는 각각 손가락의 좌표정보를 이용한다. 도 6과 도 7과 같이 엄지손가락을 제외한 손가락은 임의의 번호가 설정되지만, 엄지손가락은 항상 마지막 번호 ‘4‘로 설정된다. 이를 이용하여 감지된 마지막 번호(엄지손가락)의 X축 좌표값을 손바닥 뒤집기 이전과 이후로 비교하여 손바닥이 뒤집혔는지를 판단한다. 즉, 도 6과 도 7에서 엄지손가락의 좌표값은 (-0.61,-0.03,0.71)과 (0.45, 0.12,0.72)이다. 사람들은 보통 손을 뒤집을 때 중지 또는 약지를 기준 삼아 뒤집게 된다. 이때 엄지손가락(손가락 번호 중 가장 마지막)의 X축 좌표 값이 미리 설정된 범위값(±1이상)을 변했을 경우 손바닥을 뒤집었다고 판단한다.
결론적으로, 핸드 플립 모듈(Hand flip module)(12b)은 도 6 및 도 7과 같이 X좌표값의 차이는 1.06의 차이를 가짐으로 손바닥이 뒤집힌 것으로 판단한다.
도 8은 본 발명의 실시예에 따른 드로잉 서클 모듈(Drawing Circle module)(12d)에 의해 구현되는 드로잉 서클(Drawing Circle) 패턴 치료 중 시계 방향으로 원을 그렸을 때(In case drawn a clockwise direction)를 설명하기 위한 도면이다.
드로잉 서클(Drawing Circle) 치료 패턴은 환자가 모니터에 표시되어 나오는 원을 정확히 따라 그리도록 하는 치료법이다. 원은 작은 원과 큰 원 두 종류가 제시되며, 그리는 방향이 시계방향과 반시계방향으로 따라 그리도록 유도한다. 사용자가 손가락 제스처로 원을 그리게 되면 손가락 인식모듈(Finger Recognition module)(11)의 제스처인식 기능을 통해 원의 방향(시계, 반시계), 원주율, 원 반지름 값을 획득할 수 있다. 드로잉 서클 모듈(Drawing Circle module)(12d)은 이 값이 시스템상에서 요구하는 원의 크기와 그리는 방향과 일치하는지를 판단한다. 이에 따라 드로잉 서클 모듈(Drawing Circle module)(12d)은 원이 어느 방향으로 그려졌는지, 반지름은 얼마인지, 몇 바퀴 그렸는지를 확인하는 화면을 구현한다.
다음으로 락&페이퍼 모듈(Rock&Paper module)(12e)에 의해 구현되는 락&페이퍼(Rock&Pape) 패턴 치료는 주먹을 쥐었다 폈다 하는 반복동작을 통해 진행하는 치료법이다. 락&페이퍼 모듈(Rock&Paper module)(12e)은 인식되는 손가락 개수를 이용한다. 립모션 디바이스(Leap motion Device)(20)은 손가락을 폈을 경우 사용자의 손가락 개수를 1부터 5까지 감지한다. 손가락을 다 접었을 경우 손가락 개수는 0으로 감지한다. 도 6 및 도 7을 참조하면, 손가락 개수 5개가 표시되어 있다 (Finger Count: 5). 이에 따라, 락&페이퍼 모듈(Rock&Paper module)(12e)은 손가락 개수가 변화하는 것을 감지하여 사용자가 손을 주먹을 쥐었다가 다시 폈는지를 판단할 수 있다.
도 9는 본 발명의 실시예에 따른 폴드&언폴드 모듈(Fold&Unfold module)(12c)에 의해 구현되는 폴드&언폴드(Fold&Unfold) 패턴 치료를 설명하기 위한 도면이다. 폴드&언폴드(Fold&Unfold) 패턴 치료는 환자가 손을 다 편 상태에서 손가락을 하나씩 차례대로 접고, 다 접으면 다시 하나씩 차례대로 펴는 반복동작을 통해 손가락과 손 근육의 치료 효과를 얻을 수 있다.
폴드&언폴드 모듈(Fold&Unfold module)(12c)은 도 9와 같이 손가락의 개수와 좌표를 이용하여 구현한다. 손가락을 폈을 때 각각 손가락개수와 좌표를 인식하게 되는데, 이때 손가락을 순서대로 펴는지 접는지는 손가락 개수만으로는 알 수가 없다.
립모션 디바이스(Leap motion Device)(20)는 엄지손가락을 제외하고 특정 손가락을 구분할 수 없기 때문에 손가락 개수가 하나씩 줄어들 때마다 각 손가락에 플래그(Flag)를 지정하여 플래그(Flag)에 변화를 줌으로써 손가락이 순서대로 접혔는지 안 접혔는지를 판단할 수 있도록 한다.
이 경우, 모두 다 접게 되었을 경우 손가락 개수는 0개가 되고 좌표는 모두 (0,0,0)로 초기화된다. 폴드&언폴드 모듈(Fold&Unfold module)(12c)은 다시 손가락을 하나씩 펴게 되면 손가락 개수가 증가하며 좌표를 다시 인식하는 점을 이용한 모듈이다.
도 10은 본 발명의 실시예에 따른 피아노 모듈(Piano module)(12f)에 의해 구현되는 피아노(Piano) 패턴 치료에서 피아노 건반 좌표영역(Range of a piano keyboard)을 나타내는 도면이다. 피아노(Piano) 패턴 치료시 피아노 모듈(Piano module)(12f)은 UI 화면에 가상의 피아노 건반을 구현하며, 사용자에 의해 화면 상단에 무작위로 발생되는 번호를 보고 이에 맞는 피아노 건반을 정확하게 터치하도록 피아노(Piano) 패턴 치료를 진행한다.
이에 따라 피아노(Piano) 패턴 치료시 마치 번호에 따라 피아노를 치듯이 손가락을 움직이게 되며, 피아노 건반을 클릭하는 반복동작을 통해 손가락 근육의 치료 효과를 얻을 수 있다.
피아노 모듈(Piano module)(12f)은 도 10에서 도시된 것과 같이 시스템 내부적으로 피아노 건반의 범위(□1~□10)를 X좌표값으로 인식하고 있다. 피아노 모듈(Piano module)(12f)은 환자의 손가락 좌표가 해당 피아노 건반의 설정해둔 좌표 영역(□3)에 들어오고 이때 Y좌표값의 변화가 생기면 해당 건반이 터치된 것으로 인식한다.
도 11은 본 발명에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서의 각 패턴 치료를 구현하기 위한 결과를 나타내는 UI 화면이다.
먼저, 도 11a는 업&다운 모듈(Up&Down module)(12a)에 의한 업&다운(Up&Down) 패턴으로 환자가 손을 내리고 올리는 동작을 할 때마다 무대의 커튼이 올라갔다 내려오는 효과가 나타난다.
도 11b는 핸드 플립 모듈(Hand flip module)(12b)에 의한 핸드 플립(Hand flip) 패턴으로 환자가 손을 뒤집을 때마다 탁자위에 놓인 카드가 뒤집히는 효과가 나타난다.
도 11c는 드로잉 서클 모듈(Drawing Circle module)(12d)에 의한 드로잉 서클(Drawing Circle) 패턴으로 큰 원을 그릴 때는 환자가 우주에 있는 큰 행성을, 작은 원을 그릴 때는 우주에 있는 작은 행성을 지시하는 방향대로 돌리면 된다.
도 11d는 락&페이퍼 모듈(Rock&Paper module)(12e)에 의한 락&페이퍼(Rock&Paper) 패턴으로 환자가 주먹을 쥐었다 펼때마다 전구의 불이 켜졌다 꺼지는 효과가 나타난다.
도 11e는 폴드&언폴드 모듈(Fold&Unfold module)(12c)에 의한 폴드&언폴드(Fold&Unfold) 패턴으로 환자가 손가락을 하나씩 접을 때마다 작은 점등 하나씩이 꺼지고, 다시 손가락을 하나씩펼 때마다 작은 점등 하나씩이 켜지는 효과가 나타난다.
도 11f는 피아노 모듈(Piano module)(12f)에 의한 피아노(Piano) 패턴으로 악보에 나타난 숫자에 맞는 피아노 건반을 누르도록 한다. 피아노 건반에 익숙하지 않은 환자를 위해 건반음 대신 숫자와 숫자가 표시된 건반을 사용하도록 한다.
위의 치료 패턴들에는 모두 성공한 횟수와 실패하였을 때의 알림메시지를 UI 화면으로 구현하며, 각 패턴 치료마다 타이머가 동작하게 된다.
그리고 각 패턴 치료마다 움직임에 따른 적절한 음향효과를 줌으로써 환자가 좀 더 재미를 느끼며 치료에 몰입할 수 있도록 하였다.
도 12의 도표는 동작 인식 장비들을 이용한 수부 재활치료에 대한 장단점을 비교 분석한 것이다. 도 12의 도표를 참조하면, 카메라를 이용하는 경우, 가격과 크기 휴대성에서는 좋지만 RGB 차이 값으로 사람 또는 사물을 인식하기 때문에 노이즈가 발생할 확률이 있으며 인식률도 다른 장비에 비해 떨어진다.
키넥트는 내장된 적외선, RGB, Depth 3가지 값으로 사람을 추적한다. 그러나 다른 장비에 비해 비싸고 휴대하기도 불편하며 주변에 장애물이 없는 장소에서 사용해야 하는 불편한 점이 있다.
이에 반해 본 발명에 따른 수부 모션인식 기반의 수부 재활치료 시스템에서의 립모션 디바이스(Leap motion Device)(20)는 다른 동작 인식 장비에 비해 사용이 간편하며, 노이즈 처리를 따로 할 필요가 없고, 장소에 구애받지 않으며 키넥트에 비해 손가락 트래킹 정밀도가 200배 정확하며 1/100mm의 움직임까지 감지할 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
11: 손가락 인식모듈(Finger Recognition module)
12: 6가지 재활치료 패턴 모듈
12a: 업&다운 모듈(Up&Down module)
12b: 핸드 플립 모듈(Hand flip module)
12c: 폴드&언폴드 모듈(Fold&Unfold module)
12d: 드로잉 서클 모듈(Drawing Circle module)
12e: 락&페이퍼 모듈(Rock&Paper module)
12f: 피아노 모듈Piano module)
13: 데이터베이스 연동모듈(Database Access module)
14: 치료이력 모듈(Treatment history)
20: 립모션 디바이스(Leap motion Device)
12: 6가지 재활치료 패턴 모듈
12a: 업&다운 모듈(Up&Down module)
12b: 핸드 플립 모듈(Hand flip module)
12c: 폴드&언폴드 모듈(Fold&Unfold module)
12d: 드로잉 서클 모듈(Drawing Circle module)
12e: 락&페이퍼 모듈(Rock&Paper module)
12f: 피아노 모듈Piano module)
13: 데이터베이스 연동모듈(Database Access module)
14: 치료이력 모듈(Treatment history)
20: 립모션 디바이스(Leap motion Device)
Claims (4)
- 손가락의 좌표, 모션·제스처를 인식하는 '손가락 인식모듈(Finger Recognition module)', 인식된 손가락의 좌표, 모션·제스처를 활용하는 6가지 '재활치료 패턴 모듈', '데이터베이스 연동모듈(Database Access module)', '치료이력 모듈(Treatment history)'로 구성되는 수부 모션인식 기반의 수부 재활치료 시스템에 있어서,
상기 재활치료 패턴 모듈은, 어깨와 손목 사이의 기능 향상을 위하여 팔을 움직여 하는 운동으로, 업&다운(Up&Down) 패턴 치료, 핸드 플립(Hand flip) 패턴 치료, 그리고 드로잉 서클(Drawing Circle) 패턴 치료를 포함하는 3가지의 '상지관련 재활치료법'과, 손과 손가락의 움직임 기능 향상을 위한 것으로 폴드&언폴드(Fold&Unfold) 패턴 치료, 피아노(Piano) 패턴 치료, 그리고 락&페이퍼(Rock&Paper) 패턴 치료를 포함하는 3가지의 '수부관련 재활치료법'을 실행하되,
상기 손가락 인식모듈(Finger Recognition module)은, 립모션 디바이스(Leap motion Device)에 의해 감지한 손가락들의 위치 정보를 인식하고 손가락의 위치 정보의 평균값으로 손바닥의 위치, 크기, 손이 향하는 방향, 손등이 향하는 방향을 인식하는 ‘핑거 인식 수단'과, 미리 설정된 제스처를 인식하는 ‘제스처 인식 수단' 및, 상기 재활치료 패턴 모듈에 의한 각 치료 방법에 해당하는 치료 패턴을 분별하는 모션 인식 수단'을 포함하는 것을 특징으로 하는 통합 모듈인 것을 특징으로 하는 수부 모션인식 기반의 수부 재활치료 시스템.
- 삭제
- 청구항 1에 있어서, 상기 제스처 인식 수단은,
원 그리는 방향, 원주율, 반지름 정보를 알기 위한 '서클(Circle) 제스처';
제스처가 일어난 위치를 알기 위한 '스크린 탭(Screen Tap) 제스처' 및 '키 탭(Key Tap) 제스처'; 및
제스처의 한 방향(좌↔우) 및 제스처 속도를 알기하는 '스와잎(Swipe) 제스처'; 를 인식하는 것을 특징으로 하는 수부 모션인식 기반의 수부 재활치료 시스템.
- 청구항 1에 있어서, 상기 재활치료 패턴 모듈은,
환자가 모니터에 표시된 절차에 따라 손을 뒤집는 동작을 반복 진행하는 핸드 플립(Hand flip) 패턴 치료를 수행시,
엄지손가락을 제외한 손가락은 임의의 번호로 설정하며 엄지손가락은 항상 마지막 번호로 설정한 뒤, 마지막 번호(엄지손가락)의 X축 좌표값을 손바닥 뒤집기 이전과 이후로 비교하여 마지막 번호(엄지손가락)의 X축 좌표 값이 미리 설정된 범위값(±1) 이상 변한 경우, 손바닥이 뒤집힌 것으로 판단하는 핸드 플립 모듈(Hand flip module); 을 포함하는 것을 특징으로 하는 수부 모션인식 기반의 수부 재활치료 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140093394A KR101563298B1 (ko) | 2014-07-23 | 2014-07-23 | 수부 모션인식 기반의 수부 재활치료 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140093394A KR101563298B1 (ko) | 2014-07-23 | 2014-07-23 | 수부 모션인식 기반의 수부 재활치료 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101563298B1 true KR101563298B1 (ko) | 2015-10-26 |
Family
ID=54428289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140093394A KR101563298B1 (ko) | 2014-07-23 | 2014-07-23 | 수부 모션인식 기반의 수부 재활치료 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101563298B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967057A (zh) * | 2017-11-30 | 2018-04-27 | 西安交通大学 | 一种基于Leap Motion的虚拟装配示教方法 |
| CN109753876A (zh) * | 2018-12-03 | 2019-05-14 | 西北工业大学 | 一种三维手势的提取识别和三维手势交互系统的构建方法 |
| KR20190055517A (ko) * | 2017-11-15 | 2019-05-23 | 호남대학교 산학협력단 | 가상 현실 기반의 수부 재활 치료 시스템 및 수부 재활 치료 방법 |
| KR102483387B1 (ko) * | 2021-09-29 | 2022-12-30 | 한국기술교육대학교 산학협력단 | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 |
| KR20230096222A (ko) | 2021-12-22 | 2023-06-30 | 동서대학교 산학협력단 | 드론 조종연습 기반 재활훈련용 휠체어 |
| EP4216563A4 (en) * | 2021-11-25 | 2024-05-15 | Honor Device Co Ltd | PHOTOGRAPHIC METHOD AND ELECTRONIC DEVICE |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003052769A (ja) * | 2001-08-10 | 2003-02-25 | Shozo Tsujio | 上肢運動療法システム |
| KR100424675B1 (ko) * | 2000-12-26 | 2004-03-27 | 한국전자통신연구원 | 손 재활 훈련을 위한 햅틱 그립프 장치 및 그를 이용한 햅틱 시스템의 환자용 클라이언트/의사용 서버/햅틱 그립프 제어 장치와 재활 훈련 방법 |
| JP4465476B2 (ja) | 2006-03-08 | 2010-05-19 | 国立大学法人秋田大学 | 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法 |
| KR101087135B1 (ko) | 2008-04-03 | 2011-11-25 | 한국전자통신연구원 | 모션 콘텐츠 기반의 학습 장치 및 방법 |
-
2014
- 2014-07-23 KR KR1020140093394A patent/KR101563298B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100424675B1 (ko) * | 2000-12-26 | 2004-03-27 | 한국전자통신연구원 | 손 재활 훈련을 위한 햅틱 그립프 장치 및 그를 이용한 햅틱 시스템의 환자용 클라이언트/의사용 서버/햅틱 그립프 제어 장치와 재활 훈련 방법 |
| JP2003052769A (ja) * | 2001-08-10 | 2003-02-25 | Shozo Tsujio | 上肢運動療法システム |
| JP4465476B2 (ja) | 2006-03-08 | 2010-05-19 | 国立大学法人秋田大学 | 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法 |
| KR101087135B1 (ko) | 2008-04-03 | 2011-11-25 | 한국전자통신연구원 | 모션 콘텐츠 기반의 학습 장치 및 방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190055517A (ko) * | 2017-11-15 | 2019-05-23 | 호남대학교 산학협력단 | 가상 현실 기반의 수부 재활 치료 시스템 및 수부 재활 치료 방법 |
| KR102005029B1 (ko) * | 2017-11-15 | 2019-07-29 | 호남대학교 산학협력단 | 가상 현실 기반의 수부 재활 치료 시스템 및 수부 재활 치료 방법 |
| CN107967057A (zh) * | 2017-11-30 | 2018-04-27 | 西安交通大学 | 一种基于Leap Motion的虚拟装配示教方法 |
| CN107967057B (zh) * | 2017-11-30 | 2020-03-31 | 西安交通大学 | 一种基于Leap Motion的虚拟装配示教方法 |
| CN109753876A (zh) * | 2018-12-03 | 2019-05-14 | 西北工业大学 | 一种三维手势的提取识别和三维手势交互系统的构建方法 |
| KR102483387B1 (ko) * | 2021-09-29 | 2022-12-30 | 한국기술교육대학교 산학협력단 | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 |
| EP4216563A4 (en) * | 2021-11-25 | 2024-05-15 | Honor Device Co Ltd | PHOTOGRAPHIC METHOD AND ELECTRONIC DEVICE |
| KR20230096222A (ko) | 2021-12-22 | 2023-06-30 | 동서대학교 산학협력단 | 드론 조종연습 기반 재활훈련용 휠체어 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101563298B1 (ko) | 수부 모션인식 기반의 수부 재활치료 시스템 | |
| Aggogeri et al. | Robotics for rehabilitation of hand movement in stroke survivors | |
| Mousavi Hondori et al. | A spatial augmented reality rehab system for post-stroke hand rehabilitation | |
| US20200197744A1 (en) | Method and system for motion measurement and rehabilitation | |
| Webster et al. | Systematic review of Kinect applications in elderly care and stroke rehabilitation | |
| Grigorescu et al. | A BCI-controlled robotic assistant for quadriplegic people in domestic and professional life | |
| US20120077163A1 (en) | 3d monocular visual tracking therapy system for the rehabilitation of human upper limbs | |
| CN107789803B (zh) | 一种脑卒中上肢康复训练方法和系统 | |
| Herrera-Luna et al. | Sensor fusion used in applications for hand rehabilitation: A systematic review | |
| Jiang et al. | 3D joystick for robotic arm control by individuals with high level spinal cord injuries | |
| Boulanger et al. | Stroke rehabilitation with a sensing surface | |
| Weiss Cohen et al. | Hand rehabilitation assessment system using leap motion controller | |
| Karime et al. | A fuzzy-based adaptive rehabilitation framework for home-based wrist training | |
| KR20170083429A (ko) | 가상 현실 재활 치료 시스템 및 그 방법 | |
| Rechy-Ramirez et al. | A human–computer interface for wrist rehabilitation: a pilot study using commercial sensors to detect wrist movements | |
| Sheng et al. | Commercial device-based hand rehabilitation systems for stroke patients: State of the art and future prospects | |
| Demoe et al. | Exploring data glove and robotics hand exergaming: lessons learned | |
| Bouteraa et al. | Fuzzy logic-based connected robot for home rehabilitation | |
| Lu et al. | Robotic hand–assisted training for spinal cord injury driven by myoelectric pattern recognition: A case report | |
| McNeill et al. | Immersive virtual reality for upper limb rehabilitation following stroke | |
| Williams | A pilot study into reaching performance after severe to moderate stroke using upper arm support | |
| KR102005029B1 (ko) | 가상 현실 기반의 수부 재활 치료 시스템 및 수부 재활 치료 방법 | |
| Kolsanov et al. | Augmented Reality application for hand motor skills rehabilitation | |
| Gao et al. | Research on the usability of hand motor function training based on VR system | |
| Kuchinke et al. | Technical view on requirements for future development of hand-held rehabilitation devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181001 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191001 Year of fee payment: 5 |