KR101949033B1 - 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법 - Google Patents
가상현실과 햅틱 기반의 재활 치료 시스템 및 방법 Download PDFInfo
- Publication number
- KR101949033B1 KR101949033B1 KR1020170121454A KR20170121454A KR101949033B1 KR 101949033 B1 KR101949033 B1 KR 101949033B1 KR 1020170121454 A KR1020170121454 A KR 1020170121454A KR 20170121454 A KR20170121454 A KR 20170121454A KR 101949033 B1 KR101949033 B1 KR 101949033B1
- Authority
- KR
- South Korea
- Prior art keywords
- haptic
- probe
- virtual object
- handle
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 239000000523 sample Substances 0.000 claims abstract description 113
- 230000033001 locomotion Effects 0.000 claims abstract description 60
- 238000009877 rendering Methods 0.000 claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 40
- 230000037147 athletic performance Effects 0.000 claims description 38
- 238000005259 measurement Methods 0.000 claims description 6
- 238000002560 therapeutic procedure Methods 0.000 claims description 4
- 210000001364 upper extremity Anatomy 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 206010033799 Paralysis Diseases 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000028389 Nerve injury Diseases 0.000 description 1
- 206010040026 Sensory disturbance Diseases 0.000 description 1
- 206010040030 Sensory loss Diseases 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000009207 exercise therapy Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B23/00—Exercising apparatus specially adapted for particular parts of the body
- A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
- A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
- A63B23/16—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1124—Determining motor skills
- A61B5/1125—Grasping motions of hands
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
- A63B21/40—Interfaces with the user related to strength training; Details thereof
- A63B21/4001—Arrangements for attaching the exercising apparatus to the user's body, e.g. belts, shoes or gloves specially adapted therefor
- A63B21/4017—Arrangements for attaching the exercising apparatus to the user's body, e.g. belts, shoes or gloves specially adapted therefor to the upper limbs
- A63B21/4019—Arrangements for attaching the exercising apparatus to the user's body, e.g. belts, shoes or gloves specially adapted therefor to the upper limbs to the hand
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0012—Comparing movements or motion sequences with a registered reference
- A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
- A63B2024/0093—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load the load of the exercise apparatus being controlled by performance parameters, e.g. distance or speed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Physiology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Dentistry (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 시스템은 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부; 상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하며, 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 상기 사용자에게 피드백하는 햅틱 렌더링부; 및 상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 운동 능력 평가부를 포함한다.
Description
본 발명의 실시예들은 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법에 관한 것이다.
마비란 신경이나 근육의 형태의 변화 없이 기능을 잃어버리는 상태로서 감각이 없어지거나 움직임에 장애가 생기는 상태를 말한다. 운동 마비는 뇌의 운동중추로부터 말초신경, 근육섬유까지 이르는 운동의 경로 중 어느 부위에라도 장애가 있을 경우에 일어나며, 마비의 원인에 따라 치료의 방법은 다양하다. 다양한 치료 과정 중에서도 특히, 마비가 온 초기에 재활의학과와의 협진을 통해 재활 운동 치료를 병행하는 것이 향후 후유증을 예방하는 데 도움이 될 수 있으며, 반복적인 재활 운동을 통해 마비 증상의 완화와 운동 기능의 회복을 도울 수 있다.
뇌졸중이나 뇌신경 손상으로 인한 (편)마비 증상은 상하지 기능 및 일상 생활의 동작 수행에 문제를 초래하는 감각운동 장애이며, 일상 생활에서 필요한 동작의 많은 부분이 이루어지는 상지 기능의 손상은 환자의 삶에 밀접한 영향을 끼치게 되므로 마비 환자의 재활 치료에서 가장 중요한 재활 운동 중 하나로 손꼽히고 있다.
특히, 손은 신체 부위 중에서 가장 작은 공간에 많은 관절과 자유도가 포함되어 있는 기관이며, 상지를 이용한 일상 생활의 작업 중 가장 빈번하게 활용되고 복잡한 자세를 구현하는 등 중요한 역할을 한다. 또한, 상지의 가장 말단에 위치하여 뇌졸중, 척추 손상, 뇌성마비 등의 질환 후 가장 장애가 심하게 나타나는 기관이지만, 높은 자유도와 작업의 다양성 등의 어려움 때문에 효과적인 재활 치료가 가장 어려운 부위로 알려져 있다.
환자의 재활 운동은 오래 전부터 다양한 방법으로 시도되어 왔고, 주로 기계적 장치의 도움을 받아 수행되어왔다. 하지만 동일 장애를 가진 환자라도 평가하는 방법에 따라 상이함을 보이지만 의료 기관이나 재활 치료 시설에서는 정량적이며 객관적인 평가 방법이 마련되어있지 않다.
상지 운동기능 장애인의 재활 치료에 대한 지속적인 관심과 훈련의 정량적인 평가가 요구되고 있는 최근에는 가상현실, 증강현실과 같은 디지털 미디어를 통한 심리적, 운동적 요법의 재활 치료를 위한 다양한 시도가 등장하고 있다. 이에 객관적이며 정량적인 평가 및 훈련을 하기 위한 상지 운동 기능 훈련 장치로 가상현실 기술이나 로봇 기술을 응용한 상지 재활 치료 시스템의 개발이 요구되고 있다. 또한 재활 치료를 계속 받아야 하는 환자들의 경제적 부담을 해소하기 위해 로봇 치료의 적용이 효과적인 재활 치료가 될 것으로 전망되고 있다.
관련 선행기술로는 대한민국 공개특허공보 제10-2015-0097333호(발명의 명칭: 재활치료를 위한 햅틱장치의 모션제어 시스템, 공개일자: 2015.08.26)가 있다.
본 발명의 일 실시예는 햅틱 장치를 통해 구성된 가상현실 기반의 재활 치료 기법을 통해 안전한 환경에서 대상자 스스로 흥미롭게 재활 운동을 진행할 수 있도록 함으로써, 기존의 다양한 재활 기법들의 여러 요소들을 아우르는 복합적인 치료를 수행할 수 있으며, 환자의 기능 장애 정도에 따라 재활 동작에 대한 난이도 조절이 가능하며, 뚜렷한 목표 의식과 동기를 유발할 수 있으므로 심리적으로 안정감 있는 재활 치료를 할 수 있도록 하는 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법을 제공한다.
본 발명의 일 실시예는 가상현실 및 햅틱 기반으로 사용자의 운동 능력 평가를 통해 재활 훈련의 성과를 평가할 수 있는 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 시스템은 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부; 상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하며, 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 상기 사용자에게 피드백하는 햅틱 렌더링부; 및 상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 운동 능력 평가부를 포함한다.
상기 햅틱 렌더링부는 상기 햅틱 프루브가 통과할 수 있는 입구, 통로 및 출구를 구비하는 상지재활치료모델을 개발한 후, 3D 모델링 프로그램을 이용하여 상기 상지재활치료모델을 3D 모델링함으로써 상기 가상 물체를 제작할 수 있다.
상기 햅틱 렌더링부는 상기 가상 물체의 제작 시 상기 가상 물체의 통로 내부벽을 리지드(Rigid) 또는 소프트(Soft)하게 구현 가능하며, 상기 가상 물체의 통로 내부벽을 리지드 상태에서 소프트 상태로 변환하거나 소프트 상태에서 리지드 상태로 변환 가능할 수 있다.
상기 운동 능력 평가부는 상기 가상 물체의 통로 내부벽이 소프트 상태인 경우, 상기 충돌에 따른 힘이 미리 설정된 임계값을 초과하면 상기 햅틱 프루브가 상기 가상 물체의 통로 내부벽을 투과한 것으로 판단하고, 상기 판단 결과를 상기 운동 능력의 평가에 반영할 수 있다.
상기 운동 능력 평가부는 상기 햅틱 프루브가 상기 가상 물체를 통과할 때 상기 가상 물체의 입구에서 출구까지 소요되는 이동 시간을 측정하고, 상기 측정된 이동 시간을 토대로 상기 사용자가 재활 치료에 걸리는 시간을 피드백하여 상기 사용자의 운동 능력을 평가할 수 있다.
상기 운동 능력 평가부는 상기 3차원 가상 공간상에서 상기 햅틱 프루브의 이동 좌표 데이터를 저장하고, 상기 이동 좌표 데이터를 토대로 상기 햅틱 프루브의 이동 경로를 파악하여 상기 사용자의 운동 능력을 평가할 수 있다.
상기 운동 능력 평가부는 상기 가상 물체의 입구에서 출구까지의 최단 통과 거리를 미리 계산하고, 상기 햅틱 프루브의 이동 경로를 상기 최단 통과 거리와 비교하여 그 차이 값을 산출하며, 상기 산출된 차이 값에 기초하여 상기 사용자의 운동 능력을 평가할 수 있다.
상기 손잡이에는 상기 사용자의 악력을 측정하기 위한 센서가 구비되고, 상기 운동 능력 평가부는 상기 센서의 악력 측정 결과를 상기 사용자의 운동 능력 평가에 반영할 수 있다.
본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 방법은 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부로부터, 재활 치료 시스템의 햅틱 렌더링부가 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하는 단계; 상기 햅틱 렌더링부가 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하는 단계; 상기 햅틱 렌더링부가 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 상기 사용자에게 피드백하는 단계; 상기 재활 치료 시스템의 운동 능력 평가부가 상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하는 단계; 및 상기 운동 능력 평가부가 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 단계를 포함한다.
상기 운동 능력을 평가하는 단계는 상기 햅틱 프루브가 상기 가상 물체를 통과할 때 상기 가상 물체의 입구에서 출구까지 소요되는 이동 시간을 측정하는 단계; 상기 측정된 이동 시간을 토대로 상기 사용자가 재활 치료에 걸리는 시간을 피드백하여 상기 사용자의 운동 능력을 평가하는 단계를 포함할 수 있다.
상기 운동 능력을 평가하는 단계는 상기 3차원 가상 공간상에서 상기 햅틱 프루브의 이동 좌표 데이터를 저장하는 단계; 및 상기 이동 좌표 데이터를 토대로 상기 햅틱 프루브의 이동 경로를 파악하여 상기 사용자의 운동 능력을 평가하는 단계를 포함할 수 있다.
상기 운동 능력을 평가하는 단계는 상기 가상 물체의 입구에서 출구까지의 최단 통과 거리를 미리 계산하는 단계; 상기 햅틱 프루브의 이동 경로를 상기 최단 통과 거리와 비교하여 그 차이 값을 산출하는 단계; 및 상기 산출된 차이 값에 기초하여 상기 사용자의 운동 능력을 평가하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 햅틱 장치를 통해 구성된 가상현실 기반의 재활 치료 기법을 통해 안전한 환경에서 대상자 스스로 흥미롭게 재활 운동을 진행할 수 있도록 함으로써, 기존의 다양한 재활 기법들의 여러 요소들을 아우르는 복합적인 치료를 수행할 수 있으며, 환자의 기능 장애 정도에 따라 재활 동작에 대한 난이도 조절이 가능하며, 뚜렷한 목표 의식과 동기를 유발할 수 있으므로 심리적으로 안정감 있는 재활 치료를 할 수 있다.
본 발명의 일 실시예에 따르면, 가상현실 및 햅틱 기반으로 사용자의 운동 능력 평가를 통해 재활 훈련의 성과를 평가할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 시스템을 설명하기 위해 도시한 전체 구성도이다.
도 2는 본 발명의 일 실시예에 따라 햅틱 기구부의 손잡이(햅틱 프루브)가 가상 물체를 통과하는 화면을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 햅틱 프루브가 가상 물체의 통로를 통과할 때 햅틱 프루브의 충돌 횟수, 이동 시간 및 이동 좌표 데이터를 기록한 표를 나타낸 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따라 햅틱 프루브가 가상 물체의 통로를 통과할 때 햅틱 프루브의 이동 속도를 다양하게 해보며 비교해 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 방법을 설명하기 위해 도시한 흐름도이다.
도 8은 도 7의 A 과정의 일 실시예를 설명하기 위해 도시한 흐름도이다.
도 9는 도 7의 A 과정의 다른 실시예를 설명하기 위해 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따라 햅틱 기구부의 손잡이(햅틱 프루브)가 가상 물체를 통과하는 화면을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 햅틱 프루브가 가상 물체의 통로를 통과할 때 햅틱 프루브의 충돌 횟수, 이동 시간 및 이동 좌표 데이터를 기록한 표를 나타낸 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따라 햅틱 프루브가 가상 물체의 통로를 통과할 때 햅틱 프루브의 이동 속도를 다양하게 해보며 비교해 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 방법을 설명하기 위해 도시한 흐름도이다.
도 8은 도 7의 A 과정의 일 실시예를 설명하기 위해 도시한 흐름도이다.
도 9는 도 7의 A 과정의 다른 실시예를 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 시스템을 설명하기 위해 도시한 전체 구성도이고, 도 2는 본 발명의 일 실시예에 따라 햅틱 기구부의 손잡이(햅틱 프루브)가 가상 물체를 통과하는 화면을 나타낸 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 시스템(100)은 햅틱 기구부(110), 햅틱 렌더링부(120), 및 운동 능력 평가부(130)를 포함하여 구성될 수 있다.
상기 햅틱 기구부(110)는 회전 관절로 연결된 복수의 로봇 암을 포함할 수 있다. 이때, 상기 로봇 암의 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하게 구성될 수 있고, 상기 로봇 암의 타단부는 손잡이와 연결되게 구성될 수 있다.
상기 햅틱 기구부(110)는 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력할 수 있으며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달할 수 있다.
한편, 상기 햅틱 기구부(110)의 손잡이에는 상기 사용자(101)의 악력을 측정하기 위한 센서가 구비될 수 있다. 상기 센서의 악력 측정 결과는 후술하는 운동 능력 평가부(130)가 상기 사용자(101)의 운동 능력을 평가할 때에 반영될 수 있다. 이에 대해서는 상기 운동 능력 평가부(130)의 설명 시 자세히 살펴보기로 한다.
상기 햅틱 렌더링부(120)는 상기 햅틱 기구부(110)로부터 상기 로봇암의 3차원 회전 각도를 입력받고, 상기 입력된 3차원 회전 각도를 이용하여 상기 손잡이의 위치를 산출할 수 있다. 이때, 상기 햅틱 렌더링부(120)는 상기 입력된 3차원 회전 각도를 이용하여 상기 손잡이의 방향을 더 산출할 수 있다.
상기 햅틱 렌더링부(120)는 상기 산출된 손잡이의 위치, 방향 등을 이용하여, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe)(104) 및 상기 햅틱 프루브(104)가 통과할 수 있는 가상 물체(103)를 포함하는 입체 영상 정보를 생성하고, 상기 생성된 입체 영상 정보를 상기 3차원 가상 공간(102)상에 출력할 수 있다.
상기 햅틱 렌더링부(120)는 상기 3차원 가상 공간(102) 내에서 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간의 충돌 여부를 검사할 수 있다. 이를 위해, 상기 햅틱 렌더링부(120)는 상기 손잡이의 위치 정보(방향을 포함할 수 있음)를 이용할 수 있다. 즉, 상기 햅틱 렌더링부(120)는 미리 정해져 있는 상기 가상 물체(103)의 위치 정보와 상기 손잡이의 위치 정보를 비교하여 일치하는 경우 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간에 충돌이 발생한 것으로 판단할 수 있다.
상기 햅틱 렌더링부(120)는 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간에 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하고 계산된 힘을 상기 사용자(101)에게 피드백(feedback)할 수 있다. 이를 위해, 상기 재활 치료 시스템(100)의 제어부(미도시)는 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간에 충돌이 발생하는 경우, 상기 햅틱 기구부(110)의 모터를 구동하는 제어 신호를 출력할 수 있다.
즉, 상기 재활 치료 시스템(100)의 제어부(미도시)는 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간에 충돌이 발생하는 경우, 상기 햅틱 렌더링부(120)에 의해 상기 사용자(101)에게 피드백된 정보(힘 계산치)에 기초하여 상기 햅틱 기구부(110)의 모터를 구동하는 제어 신호를 출력할 수 있다. 이로써, 상기 햅틱 기구부(110)는 상기 로봇 암의 3축에 구비된 회전 모터를 각각 구동하여 상기 로봇 암을 움직일 수 있으며, 이에 따라 상기 손잡이까지 힘이 미치도록 제어할 수 있다. 또한 사용자(101)는 이를 통해 상기 손잡이[햅틱 프루브(104)]와 상기 가상 물체(103) 간의 충돌을 느낄 수 있다.
도 2에 도시된 바와 같이, 상기 가상 물체(103)는 상기 햅틱 프루브(104)가 통과할 수 있는 입구, 통로 및 출구를 구비하는 상지재활치료모델을 기초로 하여 제작될 수 있다. 이를 위해, 상기 햅틱 렌더링부(120)는 상기 햅틱 프루브(104)가 통과할 수 있는 입구, 통로 및 출구를 구비하는 상지재활치료모델을 개발한 후, 3D 모델링 프로그램을 이용하여 상기 상지재활치료모델을 3D 모델링함으로써 상기 가상 물체(103)를 제작할 수 있다. 여기서, 상기 3D 모델링 프로그램으로는 Auto Inventor Professional 2016 프로그램이 이용될 수 있지만 이에 한정되지 않고 현존하는 다른 3D 모델링 프로그램이 이용될 수도 있다.
상기 햅틱 렌더링부(120)는 상기 가상 물체(103)의 제작 시 상기 가상 물체(103)의 통로 내부벽을 리지드(Rigid) 또는 소프트(Soft)하게 구현할 수 있다. 이때, 상기 햅틱 렌더링부(120)는 상기 가상 물체(103)의 통로 내부벽을 리지드 상태에서 소프트 상태로 변환하거나 소프트 상태에서 리지드 상태로 변환할 수 있다. 상기 가상 물체(103)의 통로 내부벽이 소프트 상태인 경우에는 임계치 이상의 힘(충돌)이 발생하면 상기 햅틱 프루브(104)에 의해 투과될 수 있다. 이때 발생된 힘은 피드백되어 운동 능력을 평가할 때에 반영될 수 있다.
여기서, 상기 가상 물체(103)의 통로 내부벽을 리지드 상태에서 소프트 상태로, 혹은 소프트 상태에서 리지드 상태로 변환하는 이유는 사용자(101)의 성향에 따른 다양한 재활 운동을 유도하기 위함이다. 다시 말해, 어떤 사용자는 상기 가상 물체(103)의 통로 내부벽에 상기 햅틱 프루브(104)가 충돌하게 되면 충돌하지 않는 범위 내에서 상기 햅틱 프루브(104)를 이동시키려고 하는 반면에, 또 다른 어떤 사용자는 상기 가상 물체(103)의 통로 내부벽에 상기 햅틱 프루브(104)가 충돌하게 되면 그 통로 내부벽을 투과하고자 상기 햅틱 프루브(104)를 조작하는 등, 사용자의 정신적 또는 육체적 성향에 다양한 차이가 존재하므로 이를 고려하여 다양한 재활 운동을 유도하기 위함이다.
한편, 도 4 내지 도 6에 도시된 바와 같이 상기 햅틱 프루브(104)가 상기 가상 물체(103)의 통로를 통과할 때 상기 햅틱 프루브(104)의 이동 속도를 다양하게 해보며 비교해보았다. 도 4 내지 도 6에서 가로축은 시간을 나타내고 세로축은 벡터값을 나타낸다. 상기 벡터값은 이동 거리와 이동 방향을 통해 계산될 수 있다. 특히 도 4는 상기 햅틱 프루브(104)를 느리게 이동시키다 빠르게 이동시킨 경우를 나타내고, 도 5는 도 4와는 반대로 상기 햅틱 프루브(104)를 빠르게 이동시키다 느리게 이동시킨 경우를 나타내며, 도 6은 상기 가상 물체(103)의 통로 중간에서 상기 햅틱 프루브(104)의 이동이 없는 경우를 나타낸다.
상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간에 충돌이 발생하는 경우, 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브(104)와 상기 가상 물체(103)의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자(101)의 운동 능력을 평가할 수 있다. 상기 충돌 횟수는 도 3과 같이 주기적으로 누계되어 기록될 수 있다.
즉, 상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)와 상기 가상 물체(103)의 충돌 횟수가 미리 설정된 기준 횟수 이상이면 상기 사용자(101)의 운동 능력이 낮은 것으로 평가할 수 있고, 상기 기준 횟수 미만이면 상기 사용자(101)의 운동 능력이 높은 것으로 평가할 수 있다. 다시 말해, 상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)와 상기 가상 물체(103)의 충돌 횟수가 적을수록 상기 사용자(101)의 운동 능력을 높게 평가할 수 있다.
상기 운동 능력 평가부(130)는 상기 가상 물체(103)의 통로 내부벽이 소프트 상태인 경우, 상기 충돌에 따른 힘이 미리 설정된 임계값을 초과하면 상기 햅틱 프루브(104)가 상기 가상 물체(103)의 통로 내부벽을 투과한 것으로 판단하고, 상기 판단 결과를 상기 운동 능력의 평가에 반영할 수 있다. 이때, 상기 운동 능력 평가부(130)는 상기 판단 결과를 가중치로서 상기 운동 능력의 평가에 반영할 수 있다.
상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)가 상기 가상 물체(103)를 통과할 때 상기 가상 물체(103)의 입구에서 출구까지 소요되는 이동 시간을 측정할 수 있다. 이를 위해, 상기 운동 능력 평가부(130)는 상기 가상 물체(103)의 입구에 해당하는 좌표 값들과 상기 가상 물체(103)의 출구에 해당하는 좌표 값들을 각각 상기 햅틱 프루브(104)가 통과할 때의 시간을 체크하여 그 시간 차이를 상기 이동 시간으로서 측정할 수 있다. 여기서, 상기 이동 시간은 도 3과 같이 주기적으로 기록될 수 있다.
상기 운동 능력 평가부(130)는 상기 측정된 이동 시간을 토대로 상기 사용자(101)가 재활 치료에 걸리는 시간을 피드백하고, 상기 피드백 시간에 기초하여 상기 사용자(101)의 운동 능력을 평가할 수 있다. 즉, 상기 운동 능력 평가부(130)는 상기 피드백 시간이 미리 설정된 기준 시간과 같거나 초과하면 상기 사용자(101)의 운동 능력이 낮은 것으로 평가할 수 있고, 상기 기준 시간 미만이면 상기 사용자(101)의 운동 능력이 높은 것으로 평가할 수 있다. 다시 말해, 상기 운동 능력 평가부(130)는 상기 피드백 시간, 즉 상기 가상 물체(103)의 입구에서 출구까지 소요되는 이동 시간이 짧을수록 상기 사용자(101)의 운동 능력을 높게 평가할 수 있다.
상기 운동 능력 평가부(130)는 상기 3차원 가상 공간(102)상에서 상기 햅틱 프루브(104)의 이동 좌표 데이터를 주기적으로 체크하여 저장하고, 상기 이동 좌표 데이터를 토대로 상기 햅틱 프루브(104)의 이동 경로를 파악하여 상기 사용자(101)의 운동 능력을 평가할 수 있다. 여기서, 상기 이동 좌표 데이터(x, y, z)는 도 3과 같이 주기적으로 기록될 수 있다.
구체적으로, 상기 운동 능력 평가부(130)는 상기 가상 물체(103)의 입구에서 출구까지의 최단 통과 거리를 미리 계산할 수 있다. 상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)의 이동 좌표 데이터를 토대로 상기 햅틱 프루브(104)의 이동 경로를 파악하고, 상기 햅틱 프루브의 이동 경로를 상기 최단 통과 거리와 비교하여 그 차이 값을 산출할 수 있다. 상기 운동 능력 평가부(130)는 상기 산출된 차이 값에 기초하여 상기 사용자(101)의 운동 능력을 평가할 수 있다.
이때, 상기 운동 능력 평가부(130)는 상기 산출된 차이 값이 미리 설정된 기준 값보다 크거나 같으면 상기 사용자(101)의 운동 능력이 낮은 것으로 평가할 수 있고, 상기 기준 값보다 작으면 상기 사용자(101)의 운동 능력이 높은 것으로 평가할 수 있다. 다시 말해, 상기 운동 능력 평가부(130)는 상기 햅틱 프루브의 이동 경로와 상기 최단 통과 거리를 비교하여 산출된 차이 값이 작을수록 상기 사용자(101)의 운동 능력을 높게 평가할 수 있다.
이와 같이 상기 운동 능력 평가부(130)는 상기 충돌 횟수, 이동 시간 및 이동 좌표 데이터를 개별적으로 적용하여 상기 사용자(101)의 운동 능력을 평가할 수도 있지만, 도 3과 같은 기록 데이터를 이용하여 상기 충돌 횟수, 이동 시간 및 이동 좌표 데이터를 종합적으로 적용하여 상기 사용자(101)의 운동 능력을 평가할 수도 있다.
한편, 상기 운동 능력 평가부(130)는 상기 햅틱 기구부(110)의 손잡이에 구비된 센서(미도시)의 악력 측정 결과를 상기 사용자(101)의 운동 능력 평가에 반영할 수 있다. 즉, 상기 운동 능력 평가부(130)는 상기 센서의 악력 측정 결과를 미리 설정된 기준치와 비교하여, 기준치보다 높으면 상기 사용자(101)의 운동 능력이 높은 것으로 평가하고, 기준치보다 낮으면 상기 사용자(101)의 운동 능력이 낮은 것으로 평가할 수 있다. 다시 말해, 상기 운동 능력 평가부(130)는 상기 센서의 악력 측정 결과가 높을수록 상기 사용자(101)의 운동 능력을 높게 평가할 수 있다. 뇌졸중 환자의 경우 상지재활운동 뿐만 아니라 손의 악력을 키우기 위한 재활운동이 필요할 수가 있는데, 상기 운동 능력 평가부(130)는 사용자의 악력을 측정하고 평가함으로써 상지와 손의 재활 운동을 동시에 진행하고 재활 정도를 평가할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 7은 본 발명의 일 실시예에 따른 가상현실과 햅틱 기반의 재활 치료 방법을 설명하기 위해 도시한 흐름도이다.
여기서 설명하는 재활 치료 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
도 1, 도 2 및 도 7을 참조하면, 단계(710)에서 재활 치료 시스템(100)의 햅틱 렌더링부(120)는 햅틱 기구부(110)로부터 로봇암의 3차원 회전 각도를 입력받아 상기 햅틱 기구부(110)의 손잡이의 위치를 산출할 수 있다.
다음으로, 단계(720)에서 상기 햅틱 렌더링부(120)는 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe)(104) 및 상기 햅틱 프루브(104)가 통과할 수 있는 가상 물체(103)를 포함하는 입체 영상 정보를 생성할 수 있다.
다음으로, 단계(730)에서 상기 햅틱 렌더링부(120)는 상기 생성된 입체 영상 정보를 3차원 가상 공간(102)상에 출력할 수 있다.
다음으로, 단계(740)에서 상기 햅틱 렌더링부(120)는 상기 3차원 가상 공간(102) 내에서 상기 햅틱 프루브(104)와 상기 가상 물체(103) 간의 충돌 여부를 검사할 수 있다.
이때 충돌이 발생하는 경우(750의 "예" 방향), 단계(760)에서 상기 햅틱 렌더링부(120)는 상기 충돌에 따른 힘을 계산하여 사용자(101)에게 피드백할 수 있다. 반면 충돌이 발생하지 않은 경우(750의 "아니오" 방향), 본 실시예는 종료된다.
다음으로, 단계(770)에서 상기 재활 치료 시스템(100)의 운동 능력 평가부(130)는 상기 햅틱 프루브(104)가 정상적인 이동 경로에서 벗어난 것으로 판단하여, 상기 햅틱 프루브(104)와 상기 가상 물체(103)의 충돌 횟수를 카운팅할 수 있다.
다음으로, 단계(780)에서 상기 운동 능력 평가부(130)는 상기 충돌 횟수에 기초하여 상기 사용자(101)의 운동 능력을 평가할 수 있다.
도 8은 도 7의 A 과정의 일 실시예를 설명하기 위해 도시한 흐름도이다.
도 1, 도 2 및 도 8을 참조하면, 단계(810)에서 상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)가 상기 가상 물체(103)를 통과할 때 상기 가상 물체(103)의 입구에서 출구까지 소요되는 이동 시간을 측정할 수 있다.
다음으로, 단계(820)에서 상기 운동 능력 평가부(130)는 상기 측정된 이동 시간을 토대로 상기 사용자(101)가 재활 치료에 걸리는 시간을 피드백할 수 있다.
다음으로, 단계(830)에서 상기 운동 능력 평가부(130)는 상기 피드백 정보(시간)에 기초하여 상기 사용자(101)의 운동 능력을 평가할 수 있다.
도 9는 도 7의 A 과정의 다른 실시예를 설명하기 위해 도시한 흐름도이다.
도 1, 도 2 및 도 9를 참조하면, 단계(910)에서 상기 운동 능력 평가부(130)는 상기 가상 물체(103)의 입구에서 출구까지의 최단 통과 거리를 미리 계산할 수 있다.
다음으로, 단계(920)에서 상기 운동 능력 평가부(130)는 상기 3차원 가상 공간(102)상에서 상기 햅틱 프루브(104)의 이동 좌표 데이터를 저장할 수 있다.
다음으로, 단계(930)에서 상기 운동 능력 평가부(130)는 상기 이동 좌표 데이터를 토대로 상기 햅틱 프루브(104)의 이동 경로를 파악할 수 있다.
다음으로, 단계(940)에서 상기 운동 능력 평가부(130)는 상기 햅틱 프루브(104)의 이동 경로를 상기 최단 통과 거리와 비교하여 그 차이 값을 산출할 수 있다.
다음으로, 단계(950)에서 상기 운동 능력 평가부(130)는 상기 산출된 차이 값에 기초하여 상기 사용자(101)의 운동 능력을 평가할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
101: 사용자
102: 3차원 가상 공간
103: 가상 물체
104: 햅틱 프루브
110: 햅틱 기구부
120: 햅틱 렌더링부
130: 운동 능력 평가부
102: 3차원 가상 공간
103: 가상 물체
104: 햅틱 프루브
110: 햅틱 기구부
120: 햅틱 렌더링부
130: 운동 능력 평가부
Claims (12)
- 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부;
상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하며, 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 사용자에게 피드백하는 햅틱 렌더링부; 및
상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 운동 능력 평가부
를 포함하고,
상기 햅틱 렌더링부는
상기 가상 물체의 제작 시 상기 가상 물체의 통로 내부벽을 리지드(Rigid) 또는 소프트(Soft)하게 구현 가능하며, 상기 가상 물체의 통로 내부벽을 리지드 상태에서 소프트 상태로 변환하거나 소프트 상태에서 리지드 상태로 변환 가능한 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 제1항에 있어서,
상기 햅틱 렌더링부는
상기 햅틱 프루브가 통과할 수 있는 입구, 통로 및 출구를 구비하는 상지재활치료모델을 개발한 후, 3D 모델링 프로그램을 이용하여 상기 상지재활치료모델을 3D 모델링함으로써 상기 가상 물체를 제작하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 삭제
- 제1항에 있어서,
상기 운동 능력 평가부는
상기 가상 물체의 통로 내부벽이 소프트 상태인 경우, 상기 충돌에 따른 힘이 미리 설정된 임계값을 초과하면 상기 햅틱 프루브가 상기 가상 물체의 통로 내부벽을 투과한 것으로 판단하고, 상기 판단 결과를 상기 운동 능력의 평가에 반영하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부;
상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하며, 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 사용자에게 피드백하는 햅틱 렌더링부; 및
상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 운동 능력 평가부
를 포함하고,
상기 운동 능력 평가부는
상기 햅틱 프루브가 상기 가상 물체를 통과할 때 상기 가상 물체의 입구에서 출구까지 소요되는 이동 시간을 측정하고, 상기 측정된 이동 시간을 토대로 상기 사용자가 재활 치료에 걸리는 시간을 피드백하여 상기 사용자의 운동 능력을 평가하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부;
상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하며, 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 사용자에게 피드백하는 햅틱 렌더링부; 및
상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 운동 능력 평가부
를 포함하고,
상기 운동 능력 평가부는
상기 3차원 가상 공간상에서 상기 햅틱 프루브의 이동 좌표 데이터를 저장하고, 상기 이동 좌표 데이터를 토대로 상기 햅틱 프루브의 이동 경로를 파악하여 상기 사용자의 운동 능력을 평가하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 제6항에 있어서,
상기 운동 능력 평가부는
상기 가상 물체의 입구에서 출구까지의 최단 통과 거리를 미리 계산하고, 상기 햅틱 프루브의 이동 경로를 상기 최단 통과 거리와 비교하여 그 차이 값을 산출하며, 상기 산출된 차이 값에 기초하여 상기 사용자의 운동 능력을 평가하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부;
상기 햅틱 기구부로부터 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하고, 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하며, 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 사용자에게 피드백하는 햅틱 렌더링부; 및
상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하고, 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 운동 능력 평가부
를 포함하고,
상기 손잡이에는 상기 사용자의 악력을 측정하기 위한 센서가 구비되고,
상기 운동 능력 평가부는
상기 센서의 악력 측정 결과를 상기 사용자의 운동 능력 평가에 반영하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 시스템.
- 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부로부터, 재활 치료 시스템의 햅틱 렌더링부가 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하는 단계;
상기 햅틱 렌더링부가 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하는 단계;
상기 햅틱 렌더링부가 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 사용자에게 피드백하는 단계;
상기 재활 치료 시스템의 운동 능력 평가부가 상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하는 단계; 및
상기 운동 능력 평가부가 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 단계
를 포함하고,
상기 운동 능력을 평가하는 단계는
상기 햅틱 프루브가 상기 가상 물체를 통과할 때 상기 가상 물체의 입구에서 출구까지 소요되는 이동 시간을 측정하는 단계;
상기 측정된 이동 시간을 토대로 상기 사용자가 재활 치료에 걸리는 시간을 피드백하여 상기 사용자의 운동 능력을 평가하는 단계
를 포함하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 방법.
- 삭제
- 회전 관절로 연결된 복수의 로봇 암 중 일단부는 회전 축을 기준으로 이와 직교하는 수평 축과 수직 축의 3축으로 회전 가능하고, 타단부는 손잡이와 연결되며, 상기 손잡이의 운동에 의해 변경된 상기 로봇 암의 3차원 회전 각도를 감지하여 출력하며, 제어 신호에 따라 모터를 구동하여 상기 로봇 암의 3축에 회전 동력을 인가함으로써 상기 손잡이까지 힘을 전달하는 햅틱 기구부로부터, 재활 치료 시스템의 햅틱 렌더링부가 상기 로봇암의 3차원 회전 각도를 입력받아 상기 손잡이의 위치를 산출하는 단계;
상기 햅틱 렌더링부가 상기 손잡이에 대응되는 햅틱 프루브(Haptic Probe) 및 상기 햅틱 프루브가 통과할 수 있는 가상 물체를 포함하는 입체 영상 정보를 생성하여 3차원 가상 공간상에 출력하는 단계;
상기 햅틱 렌더링부가 상기 3차원 가상 공간 내에서 상기 햅틱 프루브와 상기 가상 물체 간의 충돌 여부를 검사하여 충돌이 발생하는 경우, 상기 충돌에 따른 힘을 계산하여 사용자에게 피드백하는 단계;
상기 재활 치료 시스템의 운동 능력 평가부가 상기 충돌이 발생하는 경우 정상적인 이동 경로에서 벗어난 것으로 판단하여 상기 햅틱 프루브와 상기 가상 물체의 충돌 횟수를 카운팅하는 단계; 및
상기 운동 능력 평가부가 상기 충돌 횟수에 기초하여 상기 사용자의 운동 능력을 평가하는 단계
를 포함하고,
상기 운동 능력을 평가하는 단계는
상기 3차원 가상 공간상에서 상기 햅틱 프루브의 이동 좌표 데이터를 저장하는 단계; 및
상기 이동 좌표 데이터를 토대로 상기 햅틱 프루브의 이동 경로를 파악하여 상기 사용자의 운동 능력을 평가하는 단계
를 포함하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 방법.
- 제11항에 있어서,
상기 운동 능력을 평가하는 단계는
상기 가상 물체의 입구에서 출구까지의 최단 통과 거리를 미리 계산하는 단계;
상기 햅틱 프루브의 이동 경로를 상기 최단 통과 거리와 비교하여 그 차이 값을 산출하는 단계; 및
상기 산출된 차이 값에 기초하여 상기 사용자의 운동 능력을 평가하는 단계
를 포함하는 것을 특징으로 하는 가상현실과 햅틱 기반의 재활 치료 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170121454A KR101949033B1 (ko) | 2017-09-20 | 2017-09-20 | 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170121454A KR101949033B1 (ko) | 2017-09-20 | 2017-09-20 | 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101949033B1 true KR101949033B1 (ko) | 2019-02-18 |
Family
ID=65561657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170121454A Active KR101949033B1 (ko) | 2017-09-20 | 2017-09-20 | 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101949033B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110812798A (zh) * | 2019-11-14 | 2020-02-21 | 复旦大学 | 基于vr的前臂内外旋转训练评估系统、方法及存储介质 |
| CN119867928A (zh) * | 2025-03-27 | 2025-04-25 | 延边大学 | 一种基于虚拟现实的微创外科手术模拟方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090014321A (ko) * | 2007-08-05 | 2009-02-10 | 강원대학교산학협력단 | 가상현실 기반의 햅틱 시스템 |
| KR20140111439A (ko) * | 2013-03-11 | 2014-09-19 | 이성규 | 햅틱 기반의 재활 훈련장치 |
-
2017
- 2017-09-20 KR KR1020170121454A patent/KR101949033B1/ko active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090014321A (ko) * | 2007-08-05 | 2009-02-10 | 강원대학교산학협력단 | 가상현실 기반의 햅틱 시스템 |
| KR20140111439A (ko) * | 2013-03-11 | 2014-09-19 | 이성규 | 햅틱 기반의 재활 훈련장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110812798A (zh) * | 2019-11-14 | 2020-02-21 | 复旦大学 | 基于vr的前臂内外旋转训练评估系统、方法及存储介质 |
| CN119867928A (zh) * | 2025-03-27 | 2025-04-25 | 延边大学 | 一种基于虚拟现实的微创外科手术模拟方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6734944B2 (ja) | コンピュータ化された運動装置 | |
| Pehlivan et al. | Minimal assist-as-needed controller for upper limb robotic rehabilitation | |
| JP6956081B2 (ja) | ロボットシステム及びロボットシステムをバックドライブする方法 | |
| KR20160066083A (ko) | 뇌졸중 환자를 위한 재활 로봇 제어방법 | |
| Shahbazi et al. | Position-force domain passivity of the human arm in telerobotic systems | |
| Frisoli et al. | Robotic assisted rehabilitation in virtual reality with the L-EXOS | |
| US20180318648A1 (en) | Robotic physical therapy systems and data analysis of user interactions | |
| KR101949033B1 (ko) | 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법 | |
| JP2022530755A (ja) | 外科手術ロボットの制御システム | |
| Szczurek et al. | Enhanced human–robot interface with operator physiological parameters monitoring and 3d mixed reality | |
| US10806657B2 (en) | Rehabilitation system and method | |
| AU2020372185A1 (en) | Systems for mechanically assisting rehabilitation of a patient | |
| Ramsay et al. | Body pose sonification for a view-independent auditory aid to blind rock climbers | |
| D'Auria et al. | A low-cost haptic system for wrist rehabilitation | |
| KR101751448B1 (ko) | 미러링 재활 로봇 | |
| KR20190031936A (ko) | 랜덤 에러 신호를 이용한 재활 운동 기구 및 이를 제어하는 제어 방법 | |
| EP2660742A1 (en) | Training apparatus | |
| Mashayekhi et al. | EMG-Blased fatigue adaptation in admittance control of hand rehabilitation | |
| Kaluarachchi et al. | Virtual games based self rehabilitation for home therapy system | |
| Guo et al. | A novel motor function training assisted system for upper limbs rehabilitation | |
| Kang et al. | Rehabilitation robot control using the VSD method | |
| Nygaard | High-level control system for remote controlled surgical robots: Haptic guidance of surgical robot | |
| Rodriguez et al. | A 3-D hand rehabilitation system using haptic device | |
| Lioulemes | Adaptive user and haptic interfaces for smart assessment and training | |
| Agas et al. | 3-DOF admittance control robotic arm with a 3D virtual game for facilitated training of the hemiparetic hand |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20170920 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20181026 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20190207 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20190211 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20190211 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20220208 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230102 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231227 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241224 Start annual number: 7 End annual number: 7 |