KR102483387B1 - 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 - Google Patents
손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 Download PDFInfo
- Publication number
- KR102483387B1 KR102483387B1 KR1020210128653A KR20210128653A KR102483387B1 KR 102483387 B1 KR102483387 B1 KR 102483387B1 KR 1020210128653 A KR1020210128653 A KR 1020210128653A KR 20210128653 A KR20210128653 A KR 20210128653A KR 102483387 B1 KR102483387 B1 KR 102483387B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- finger
- patient
- rehabilitation
- rehabilitation training
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 153
- 238000012549 training Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims description 35
- 230000005057 finger movement Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 20
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 210000003128 head Anatomy 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 208000028389 Nerve injury Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008764 nerve damage Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000009529 traumatic brain injury Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Abstract
본 발명에 따른 증강현실 콘텐츠 제공 방법은 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 있어서, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계;를 포함할 수 있다.
Description
본 발명은 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템에 관한 것으로, 보다 상세하게는 재활 치료 전문가에 의해 재활 도구 객체의 이동 포지션 정보가 설정된 증강현실 콘텐츠를 제공하고, 이를 이용하여 환자가 손가락 재활 훈련을 수행하도록 제공함으로써 시간 및 장소에 제약을 받지 않고 재활 훈련을 수행할 수 있도록 하는 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템에 관한 것이다.
일반적으로 뇌졸증 환자나 교통 사고 등에 의한 외상성 뇌손상 환자, 류마티스 환자 또는 말초신경 손상 환자 등은 수부의 운동성이 소실되거나 저하되는 경우가 일반적이다.
이러한 환자들의 경우에는 손의 운동 능력 결여로 많은 문제점을 가지는데, 구체적으로는 관절 수축과 근육의 짧아짐, 및 근육의 탄력성 저하 등의 문제가 발생될 수 있다. 따라서 이와 같은 환자들의 경우에는 손목 관절과 중수지질 관절 중 목적하는 관절에 대한 인위적인 운동과 같은 재활 치료가 반드시 필요하다.
하지만, 수부 운동과 같은 재활 치료는 전문적인 지식을 가진 재활 치료사와 재활 전문 의료 장비에 의해 수행되기 때문에 장소 및 시간의 제약을 받게 되며, 환자나 보호자에게 많은 경제적 부담을 발생시키는 요인으로 작용한다.
이에 재활 치료사와 재활 전문 의료 장비에 의해 수행되어 장소 및 시간의 제약을 받고 환자나 보호자에게 많은 경제적 부담을 발생시키는 손 재활을 자가에서도 편리하게 수행할 수 있는 기술이 요구되는 실정이다.
본 발명의 과제는 재활 치료 전문가에 의해 재활 도구 객체의 이동 포지션 정보가 설정된 증강현실 콘텐츠를 제공하고, 이를 이용하여 환자가 손가락 재활 훈련을 수행하도록 제공함으로써 시간 및 장소에 제약을 받지 않고 재활 훈련을 수행할 수 있도록 하는 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템을 제공함에 있다.
상기의 과제를 달성하기 위한 본 발명에 따른 증강현실 콘텐츠 제공 방법은 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 있어서, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계;를 포함할 수 있다.
또한, 상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고, 상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함할 수 있다.
상기의 과제를 달성하기 위한 본 발명에 따른 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템은 환자의 머리 부위에 착용되어 상기 환자의 손가락 부위를 촬영하고, 상기 촬영되는 손가락에 대응되는 손가락 모델을 생성한 후 이를 증강현실 콘텐츠 상에 반영하여 출력하는 착용형 증강현실 디바이스; 상기 환자의 손가락 재활 훈련을 위한 증강현실 콘텐츠가 저장되고, 상기 착용형 증강현실 디바이스를 이용하여 재활 훈련을 수행하는 상기 환자의 손가락 운동 정보를 저장하는 서버; 및 상기 서버로부터 상기 환자의 손가락 운동 정보를 제공받아 화면에 출력하는 모니터링부;를 포함할 수 있다.
또한, 상기 착용형 증강현실 디바이스는 HMD(Head Mounted Display) 또는 EDG(Eye Glasses-type Display)를 포함할 수 있다.
또한, 착용형 증강현실 디바이스는 상기 환자의 머리 부위에 착용되는 본체부와, 상기 본체부를 착용하였을 때 상기 환자의 양측 눈이 배치되는 부위에 설치되는 광학 투시형 디스플레이(Optical See-Through Display)와, 상기 본체부의 전방에 설치된 비전 센서를 이용하여 상기 환자의 손가락 움직임을 연속적으로 촬영하여 복수의 손가락 영상 프레임을 획득한 후, 상기 손가락 영상 프레임들 간의 화소값 차이를 산출하여 상기 환자의 손가락 움직임 경로를 추적하는 손가락 경로 추적 모듈과, 상기 본체부의 전방에 설치된 RGB-D 카메라를 이용하여 상기 환자가 주시하는 방향을 촬영하는 촬영 모듈과, 상기 서버와 무선 또는 유선 통신을 위한 통신 모듈을 포함할 수 있다.
또한, 상기 서버는 상기 환자의 정보를 입력하기 위한 입력부와, 상기 촬영 모듈로부터 획득한 RGB-D 데이터를 수신하고, 상기 RGB-D 데이터를 ICP(Iterative Closest Point) 알고리즘 또는 SLAM(Simultaneous Localization And Mapping) 알고리즘에 적용하여 상기 착용형 증강현실 디바이스의 자세를 추정하는 자세 추정부와, 상기 증강현실 콘텐츠의 좌표계와, 상기 촬영 모듈에 의해 촬영된 영상의 좌표계를 일치시키는 공간 동기화부와, 상기 손가락 경로 추적 모듈로부터 획득한 데이터를 이용하여 상기 증강현실 콘텐츠에 포함된 가상의 객체와 상호작용을 수행하는 상기 환자의 손가락 움직임 유형을 판단하는 판단부와, 상기 환자의 정보와, 상기 환자의 손가락 운동 정보와, 상기 증강현실 콘텐츠를 저장하는 데이터 저장부와, 상기 착용형 증강현실 디바이스와 무선 또는 유선 통신을 위한 통신 모듈을 포함할 수 있다.
또한, 상기 판단부는 기계 학습(Machine Learning)을 이용하여 손가락 움직임 경로에 따른 손가락 움직임 유형을 분류하고, 상기 손가락 경로 추적 모듈로부터 기설정된 시간 동안 수신된 상기 환자의 손가락 움직임 경로를 상기 기계 학습의 학습 데이로 활용하여 상기 환자의 손가락 움직임 유형을 판단할 수 있다.
또한, 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 있어서, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계; 를 포함하고, 상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고, 상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함하고. 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계에서 배경 객체와 재활 도구 객체를 편집하기 위한 인터페이스를 제공하는 것;을 특징으로 한다.
또한, 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 의해 제공되는 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템에 있어서, 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법은, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계; 를 포함하고, 상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고, 상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함하고. 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계에서 배경 객체와 재활 도구 객체를 편집하기 위한 인터페이스를 제공하고, 상기 증강현실 공간의 좌표계를 생성하는 단계는 특정 장소에 마커를 설치한 후 이를 촬영하고, 촬영된 카메라 영상에 마커를 기준으로 가상 좌표를 생성하는 것;을 특징으로 하고, 손가락 재활 훈련 시스템은, 환자의 머리 부위에 착용되어 상기 환자의 손가락 부위를 촬영하고, 상기 촬영되는 손가락에 대응되는 손가락 모델을 생성한 후 이를 증강현실 콘텐츠 상에 반영하여 출력하는 착용형 증강현실 디바이스; 상기 환자의 손가락 재활 훈련을 위한 증강현실 콘텐츠가 저장되고, 상기 착용형 증강현실 디바이스를 이용하여 재활 훈련을 수행하는 상기 환자의 손가락 운동 정보를 저장하는 서버; 및 상기 서버로부터 상기 환자의 손가락 운동 정보를 제공받아 화면에 출력하는 모니터링부;를 포함하고, 상기 착용형 증강현실 디바이스는 HMD(Head Mounted Display) 또는 EDG(Eye Glasses-type Display)를 포함하고, 착용형 증강현실 디바이스는, 상기 환자의 머리 부위에 착용되는 본체부와, 상기 본체부를 착용하였을 때 환자의 양측 눈이 배치되는 부위에 설치되는 광학 투시형 디스플레이(Optical See-Through Display)와, 상기 본체부의 전방에 설치된 비전 센서를 이용하여 상기 환자의 손가락 움직임을 연속적으로 촬영하여 복수의 손가락 영상 프레임을 획득한 후, 상기 손가락 영상 프레임들 간의 화소값 차이를 산출하여 상기 환자의 손가락 움직임 경로를 추적하는 손가락 경로 추적 모듈과, 상기 본체부의 전방에 설치된 RGB-D 카메라를 이용하여 상기 환자가 주시하는 방향을 촬영하는 촬영 모듈과, 상기 서버와 무선 또는 유선 통신을 위한 통신 모듈;을 포함하고, 상기 서버는, 상기 환자의 정보를 입력하기 위한 입력부와, 상기 촬영 모듈로부터 획득한 RGB-D 데이터를 수신하고, 상기 RGB-D 데이터를 ICP(Iterative Closest Point) 알고리즘 또는 SLAM(Simultaneous Localization And Mapping) 알고리즘에 적용하여 상기 착용형 증강현실 디바이스의 자세를 추정하는 자세 추정부와, 상기 증강현실 콘텐츠의 좌표계와, 상기 촬영 모듈에 의해 촬영된 영상의 좌표계를 일치시키는 공간 동기화부와, 상기 손가락 경로 추적 모듈로부터 획득한 데이터를 이용하여 상기 증강현실 콘텐츠에 포함된 가상의 객체와 상호작용을 수행하는 상기 환자의 손가락 움직임 유형을 판단하는 판단부와, 상기 환자의 정보와, 상기 환자의 손가락 운동 정보와, 상기 증강현실 콘텐츠를 저장하는 데이터 저장부와, 상기 착용형 증강현실 디바이스와 무선 또는 유선 통신을 위한 통신 모듈을 포함하고, 상기 데이터 저장부(250)는 설정 데이터가 저장되는 설정 DB(254)를 포함하고, 상기 설정 데이터는 소리, 하이라이팅 레벨, 배경객체 투명도, 재활 도구 객체와의 상호작용 민감도, 상호작용 난이도, 재활도구 객체와 배경 객체가 자동으로 결합되는 거리값을 포함하고, 상기 판단부는 기계 학습(Machine Learning)을 이용하여 손가락 움직임 경로에 따른 손가락 움직임 유형을 분류하고, 상기 손가락 경로 추적 모듈로부터 기설정된 시간 동안 수신된 상기 환자의 손가락 움직임 경로를 상기 기계 학습의 학습 데이터로 활용하여 상기 환자의 손가락 움직임 유형을 판단하는며, 판단부의 손가락 움직임 유형 분류에 k-NN 알고리즘이 사용되는 것;을 특징으로 한다.
또한, 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 있어서, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계; 를 포함하고, 상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고, 상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함하고. 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계에서 배경 객체와 재활 도구 객체를 편집하기 위한 인터페이스를 제공하는 것;을 특징으로 한다.
또한, 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 의해 제공되는 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템에 있어서, 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법은, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계; 를 포함하고, 상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고, 상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함하고. 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계에서 배경 객체와 재활 도구 객체를 편집하기 위한 인터페이스를 제공하고, 상기 증강현실 공간의 좌표계를 생성하는 단계는 특정 장소에 마커를 설치한 후 이를 촬영하고, 촬영된 카메라 영상에 마커를 기준으로 가상 좌표를 생성하는 것;을 특징으로 하고, 손가락 재활 훈련 시스템은, 환자의 머리 부위에 착용되어 상기 환자의 손가락 부위를 촬영하고, 상기 촬영되는 손가락에 대응되는 손가락 모델을 생성한 후 이를 증강현실 콘텐츠 상에 반영하여 출력하는 착용형 증강현실 디바이스; 상기 환자의 손가락 재활 훈련을 위한 증강현실 콘텐츠가 저장되고, 상기 착용형 증강현실 디바이스를 이용하여 재활 훈련을 수행하는 상기 환자의 손가락 운동 정보를 저장하는 서버; 및 상기 서버로부터 상기 환자의 손가락 운동 정보를 제공받아 화면에 출력하는 모니터링부;를 포함하고, 상기 착용형 증강현실 디바이스는 HMD(Head Mounted Display) 또는 EDG(Eye Glasses-type Display)를 포함하고, 착용형 증강현실 디바이스는, 상기 환자의 머리 부위에 착용되는 본체부와, 상기 본체부를 착용하였을 때 환자의 양측 눈이 배치되는 부위에 설치되는 광학 투시형 디스플레이(Optical See-Through Display)와, 상기 본체부의 전방에 설치된 비전 센서를 이용하여 상기 환자의 손가락 움직임을 연속적으로 촬영하여 복수의 손가락 영상 프레임을 획득한 후, 상기 손가락 영상 프레임들 간의 화소값 차이를 산출하여 상기 환자의 손가락 움직임 경로를 추적하는 손가락 경로 추적 모듈과, 상기 본체부의 전방에 설치된 RGB-D 카메라를 이용하여 상기 환자가 주시하는 방향을 촬영하는 촬영 모듈과, 상기 서버와 무선 또는 유선 통신을 위한 통신 모듈;을 포함하고, 상기 서버는, 상기 환자의 정보를 입력하기 위한 입력부와, 상기 촬영 모듈로부터 획득한 RGB-D 데이터를 수신하고, 상기 RGB-D 데이터를 ICP(Iterative Closest Point) 알고리즘 또는 SLAM(Simultaneous Localization And Mapping) 알고리즘에 적용하여 상기 착용형 증강현실 디바이스의 자세를 추정하는 자세 추정부와, 상기 증강현실 콘텐츠의 좌표계와, 상기 촬영 모듈에 의해 촬영된 영상의 좌표계를 일치시키는 공간 동기화부와, 상기 손가락 경로 추적 모듈로부터 획득한 데이터를 이용하여 상기 증강현실 콘텐츠에 포함된 가상의 객체와 상호작용을 수행하는 상기 환자의 손가락 움직임 유형을 판단하는 판단부와, 상기 환자의 정보와, 상기 환자의 손가락 운동 정보와, 상기 증강현실 콘텐츠를 저장하는 데이터 저장부와, 상기 착용형 증강현실 디바이스와 무선 또는 유선 통신을 위한 통신 모듈을 포함하고, 상기 데이터 저장부(250)는 설정 데이터가 저장되는 설정 DB(254)를 포함하고, 상기 설정 데이터는 소리, 하이라이팅 레벨, 배경객체 투명도, 재활 도구 객체와의 상호작용 민감도, 상호작용 난이도, 재활도구 객체와 배경 객체가 자동으로 결합되는 거리값을 포함하고, 상기 판단부는 기계 학습(Machine Learning)을 이용하여 손가락 움직임 경로에 따른 손가락 움직임 유형을 분류하고, 상기 손가락 경로 추적 모듈로부터 기설정된 시간 동안 수신된 상기 환자의 손가락 움직임 경로를 상기 기계 학습의 학습 데이터로 활용하여 상기 환자의 손가락 움직임 유형을 판단하는며, 판단부의 손가락 움직임 유형 분류에 k-NN 알고리즘이 사용되는 것;을 특징으로 한다.
본 발명에 따르면, 재활 치료 전문가에 의해 재활 도구 객체의 이동 포지션 정보가 설정된 증강현실 콘텐츠를 제공하고, 이를 이용하여 환자가 손가락 재활 훈련을 수행하도록 제공함으로써 시간 및 장소에 제약을 받지 않고 재활 훈련을 수행할 수 있다는 장점이 있다.
또한, 전문 의료 장비 없이도 스스로 재활 훈련이 가능하므로 병원에 다니는 것에 비하여 저비용으로 재활 훈련을 수행할 수 있다는 장점이 있다.
아울러, 다양한 증강현실 콘텐츠를 제공하여 환자로 하여금 흥미를 유발하여 빠른 회복을 도울 수 있다.
.
도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 제공 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템의 구성을 도시한 블록도이다.
도 3은 도 2의 데이터 저장부의 구성을 도시한 블록도이다.
도 4는 도 2의 손가락 재활 훈련 시스템의 구현 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템의 구성을 도시한 블록도이다.
도 3은 도 2의 데이터 저장부의 구성을 도시한 블록도이다.
도 4는 도 2의 손가락 재활 훈련 시스템의 구현 예를 도시한 도면이다.
이하 첨부된 도면을 참조하여, 바람직한 실시예에 따른 콘텐츠 제어용 다종 인터페이스 장치에 대해 상세히 설명하면 다음과 같다. 여기서, 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 발명의 실시형태는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 제공 방법의 순서도이다. 여기서, 증강현실 콘텐츠 제공 방법(S100)은 적어도 하나의 프로세서에 의하여 실행될 수 있으며, 증강현실 콘텐츠 제공 방법(S100)에 의해 생성된 증가현실 콘텐츠는 별도로 마련된 서버(200)에 저장되어 착용형 증강현실 디바이스(100)에 의해 구현될 수 있다.
도 1을 참조하면, 증강현실 콘텐츠 제공 방법(S100)은 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠를 제공하기 위한 것으로서, 증강현실 공간의 좌표계를 생성하는 단계(S110)와, 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계(S120)와, 재활 훈련 보조 프로그램을 생성하는 단계(S130), 및 증강현실 콘텐츠를 생성하는 단계(S140)를 포함할 수 있다.
증강현실 공간의 좌표계를 생성하는 단계(S110)에서는 마커 인식 기반 또는 공간 매핑 등을 이용하여 현실 세계의 특정 장소를 기반으로 하는 가상의 좌표계를 증강현실 공간에 생성할 수 있다. 예를 들어, 특정 장소에 마커를 설치한 후 이를 촬영하고, 촬영된 카메라 영상에 마커를 기준으로 가상의 좌표를 생성하거나, RGB-D 카메라로부터 획득된 연속된 포인트 클라우드를 비교하여 인식된 공간에서 바닥 또는 책상과 같이 비교적 평평한 평면을 기준으로 가상의 좌표를 생성할 수 있다.
배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계(S120)에서는 기설계된 모델링 객체를 이용하여 가상의 배경 객체(10) 및 배경 객체(10)에 결합되는 적어도 하나의 재활 도구 객체(20)를 생성하고, 생성된 배경 객체(10) 및 재활 도구 객체(20)를 증강현실 공간에 불러올 수 있다.
즉, 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계(S120)는 콘텐츠 제작자가 인터페이스를 이용하여 가상의 배경 객체(10) 및 재활 도구 객체(20)를 불러오는 것으로서, 착용형 증강현실 디바이스(100)의 파일 탐색 기능을 이용하여 3D 모델링 도구로부터 생성된 3D 모델을 3D 가상 객체로써 불러오거나, 프리미티브(Primitive) 모델을 이용하여 증강현실 공간에 불러올 수 있다. 이 때 사용되는 3D 모델들은 실제 재활 도구를 촬영한 후 모델링 프로그램을 이용하여 배경 객체(10) 및 재활 도구 객체(20)를 생성하거나 콘텐츠 제작자가 직접 배경 객체(10) 및 재활 도구 객체(20)를 모델링하는 방법으로 생성할 수 있다.
배경 객체(10) 및 재활 도구 객체(20)를 증강현실 공간에 불러온 이후에는 콘텐츠 수행시 재활 도구 객체(20)만 환자와 상호작용이 수행 가능하도록 객체 재활 도구 객체(20)를 상호작용 객체로 결정할 수 있다.
여기서, 생성된 배경 객체(10)에는 다수의 결합홀(10a)이 형성되어 있을 수 있으며, 재활 도구 객체(20)는 배경 객체(10)의 결합홀(10a)에 결합된다. 즉, 배경 객체(10)는 고정된 상태이며, 재활 도구 객체(20)만 콘텐츠 이용시 환자에 의해 이동이 가능해질 수 있는 것이다.
이때, 다수의 결합홀(10a)에 위치되는 복수개의 재활 도구 객체(20)는 다양한 형상을 가질 수 있으며, 환자는 이러한 다수의 재활 도구 객체(20) 중 적합한 재활 도구 객체(20)를 선택 사용할 수 있다. 즉, 다양한 재활 도구 객체(20)를 이용한 재활 훈련을 통해 보다 다양한 근육이 활성화될 수 있도록 한 것이다.
아울러, 재활 훈련 보조 프로그램을 생성하는 단계(S130)에서는 환자가 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성할 수 있다.
예를 들어, 재활 훈련 보조 프로그램을 생성하는 단계(S130)는 착용형 증강현실 디바이스(100)에서 선택된 타겟 재활 도구 객체(20’)에 강조 표시를 설정하는 과정과, 타겟 재활 도구 객체(20’)가 결합되는 배경 객체(10)의 결합부위에 강조 표시를 설정하는 과정과, 타겟 재활 도구 객체(20’)가 배경 객체(10)의 결합부위에 기설정된 거리 이내로 근접한 경우, 타겟 재활 도구 객체(20’)가 배경 객체(10)에 자동으로 결합하도록 설정하는 과정을 포함할 수 있다. 즉, 타겟 재활 도구 객체(20’) 및 배경 객체(10)의 결합부위에 인접하게 할로, 음영 등의 표시자를 렌더링하여 타겟 재활 도구 객체(20’)의 이동경로를 안내할 수 있으며, 타겟 재활 도구 객체(20’)가 배경 객체(10)에 기설정된 거리 이내로 근접한 경우 타겟 재활 도구 객체(20’)가 배경 객체(10)에 자동으로 결합하도록 하여 손가락 재활 훈련에 대한 부담을 덜어 흥미를 유발할 수 있다.
증강현실 콘텐츠를 생성하는 단계(S140)에서는 배경 객체(10) 및 재활 도구 객체(20)의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB(253)에 저장하여 증강현실 콘텐츠를 생성할 수 있다. 예를 들어, 객체들을 편집하기 위한 인터페이스를 이용하여 배경 객체(10) 및 재활 도구 객체(20)를 회전시키고, 크기를 변경하며, 원하는 위치로 이동시켜 초기 위치를 결정하는 방법으로 원하는 콘텐츠 영상을 생성할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템의 구성을 도시한 블록도이고, 도 3은 도 2의 데이터 저장부의 구성을 도시한 블록도이고, 도 4는 도 2의 손가락 재활 훈련 시스템의 구현 예를 도시한 도면이다.
도 2 내지 도 4를 참조하면, 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템(S200)은 착용형 증강현실 디바이스(100)와, 서버(200), 및 모니터링부(300)를 포함할 수 있다. 여기서, 손가락 재활 훈련 시스템(S200)에서 이용되는 증강현실 콘텐츠는 도 1의 증강현실 콘텐츠 제공 방법(S100)에 의해 생성될 수 있다.
착용형 증강현실 디바이스(100)는 환자의 머리 부위에 착용되어 환자의 손가락 부위를 촬영하고, 촬영되는 손가락에 대응되는 손가락 모델을 생성한 후 이를 증강현실 콘텐츠 상에 반영하여 출력할 수 있다. 예를 들어, 착용형 증강현실 디바이스(100)는 HMD(Head Mounted Display) 또는 EDG(Eye Glasses-type Display)를 포함할 수 있으며, 내장된 프로그램을 이용하여 손가락 모델을 생성할 수 있다.
구체적으로, 착용형 증강현실 디바이스(100)는 본체부(110)와, 광학 투시형 디스플레이(120)와, 손가락 경로 추적 모듈(130)과, 촬영 모듈(140)과, 통신 모듈(150)을 포함할 수 있다.
본체부(110)는 안경 또는 고글 형상으로 제공되어 환자의 머리 부위에 착용되는 것으로서, 내부에는 각종 부품을 수납할 수 있도록 수용공간이 형성될 수 있다.
광학 투시형 디스플레이(Optical See-Through Display, 120)는 가상 뷰(virtual view)들을 물리적 장면(physical scene)과 합치기 위한 증강된 현실 시스템의 기술들을 가능하게 하는 것으로서, 본체부(110)를 착용하였을 때 환자의 양측 눈이 배치되는 부위에 설치될 수 있다. 예를 들어, 광학 투시형 디스플레이(120)는 빔스플리터를 통하여 현실 세계의 직접적인 뷰를 제공함으로써 현실 세계의 뷰에 최소한의 영향을 줄 수 있다.
손가락 경로 추적 모듈(130)은 본체부(110)의 전방에 설치된 비전 센서를 이용하여 환자의 손가락 움직임을 연속적으로 촬영하여 복수의 손가락 영상 프레임을 획득한 후, 손가락 영상 프레임들 간의 화소값 차이를 산출하여 환자의 손가락 움직임 경로를 추적할 수 있다. 이렇게 추적된 환자의 손가락 움직임 경로는 후술되는 서버(200)의 손가락 운동 기록 DB에 저장될 수 있다.
촬영 모듈(140)은 본체부(110)의 전방에 설치된 RGB-D 카메라를 이용하여 환자가 주시하는 방향을 촬영할 수 있다. 즉, 촬영 모듈(140)은 착용형 증강현실 디바이스(100)에 설치되어 환자의 시선 방향을 촬영하는 것으로서, 본 실시예에서는 재활 훈련의 대상이 되는 손가락 부위를 촬영할 수 있다. 이와 같이, 촬영 모듈(140)이 RGB-D 카메라를 포함하여 손가락 부위를 촬영함에 따라, 촬영되는 영상에 포함된 손가락 객체와, 손가락 재활 훈련에 이용되는 배경 객체(10) 및 재활 도구 객체(20)에 대한 컬러 포인트 클라우드를 획득할 수 있게 된다.
통신 모듈(150)은 후술되는 서버(200)와 무선 또는 유선 통신을 위한 것으로서, 각각의 노드 상호 간에 정보의 교환이 가능한 네트워크에 접속될 수 있으며, 양방향으로의 데이터 송수신이 가능하도록 형성될 수 있다.
서버(200)는 환자의 손가락 재활 훈련을 위한 증강현실 콘텐츠가 저장되는 것으로서, 착용형 증강현실 디바이스(100)를 이용하여 재활 훈련을 수행하는 환자의 손가락 운동 정보를 저장할 수 있다. 여기서, 손가락 운동 정보는 증강현실 콘텐츠에 포함된 재활 도구 객체(20)와 상호작용을 수행할 때 손가락의 선택 동작, 잡기 동작, 펴기 동작, 상기 각 동작들을 수행할 때의 운동 자세 등을 포함할 수 있다.
구체적으로, 서버(200)는 입력부(210)와, 자세 추정부(220)와, 공간 동기화부(230)와, 판단부(240)와, 데이터 저장부(250)와, 통신 모듈(260)을 포함할 수 있다.
입력부(210)는 환자의 정보를 입력하기 위한 것으로서, PC, 스마트 폰 등으로 구성될 수 있다. 여기서, 환자의 정보는 환자의 이름, 성별, 나이, 고유 ID, 병변 부위, 병명, 손가락 가동 범위 등을 포함할 수 있다.
자세 추정부(220)는 촬영 모듈(140)로부터 획득한 RGB-D 데이터를 수신하고, RGB-D 데이터를 ICP(Iterative Closest Point) 알고리즘 또는 SLAM(Simultaneous Localization And Mapping) 알고리즘에 적용하여 착용형 증강현실 디바이스(100)의 자세를 추정할 수 있다. 여기서, ICP 알고리즘은 현재 수집된 RGB-D 데이터 값과 바로 직전에 수집된 RGB-D 데이터 값을 비교하여 자세를 추정할 수 있으며, SLAM 알고리즘은 촬영되는 객체의 포인트 클라우드를 사용하여 공간맵을 형성하고 현재의 자세를 추정할 수 있다.
이와 같이, 환자의 주시 방향에 따라 달라지는 착용형 증강현실 디바이스(100)의 변화되는 자세를 추적함으로써, 증강현실 콘텐츠에서 변화되는 가상의 카메라 자세를 추적할 수 있게 된다.
공간 동기화부(230)는 증강현실 콘텐츠의 좌표계와, 촬영 모듈(140)에 의해 촬영된 영상의 좌표계를 일치시킬 수 있다. 예를 들어, 증강현실 콘텐츠에서의 가상의 카메라 좌표계와 촬영 모듈(140)의 RGB-D 카메라의 좌표계를 매칭시키는 방법으로 일치시킬 수 있다. 보다 구체적으로는, 증강현실 콘텐츠 상의 AR 마커와 현실 세계의 마커를 매칭하는 방법으로 일치시킬 수 있다.
판단부(240)는 손가락 경로 추적 모듈(130)로부터 획득한 데이터를 이용하여 증강현실 콘텐츠에 포함된 가상의 객체와 상호작용을 수행하는 환자의 손가락 움직임 유형을 판단할 수 있다. 여기서, 손가락 움직임 유형은 증강현실 콘텐츠에 포함된 재활 도구 객체(20)의 종류를 선택하기 위한 선택 동작과, 재활 도구 객체(20)를 파지하기 위한 Grasp 동작 또는 Pinch 동작을 포함하는 잡기 동작과, 재활 도구 객체(20)를 손에서 분리하기 위한 펴기 동작을 포함할 수 있다.
판단부(240)는 기계 학습(Machine Learning)을 이용하여 손가락 움직임 경로에 따른 손가락 움직임 유형을 분류하고, 손가락 경로 추적 모듈(130)로부터 기설정된 시간 동안 수신된 환자의 손가락 움직임 경로를 기계 학습의 학습 데이로 활용하여 환자의 손가락 움직임 유형을 판단할 수 있다. 예를 들어, 0.5 ~ 1초 시간 동안 수집된 손가락 경로 추적 모듈(130)의 데이터를 이용하여 동작을 구분할 수 있으며, k-NN(k-nearest neighbor) 알고리즘을 이용하여 손가락 움직임을 구분함으로써 손가락 움직임 유형을 판단할 수 있다.
데이터 저장부(250)는 환자의 정보와, 환자의 손가락 운동 정보와, 증강현실 콘텐츠가 저장되는 곳으로서, 환자 DB(251)와, 손가락 운동 기록 DB(252)와, 콘텐츠 DB(253), 및 설정 DB(254)를 포함할 수 있다.
환자 DB(251)는 입력부(210)에서 입력된 환자의 정보가 저장되는 것으로서, 증강현실 콘텐츠를 이용하는 환자를 구분하기 위한 환자의 이름, 성별, 나이, 고유 ID, 병변 부위, 병명, 손가락 가동 범위 등이 저장될 수 있다. 여기서, 환자 DB(251)에 저장된 환자의 정보는 입력부(210)를 통해 수정될 수 있다.
손가락 운동 기록 DB(252)는 증강현실 콘텐츠를 이용하는 환자의 손가락 운동 정보가 저장되는 것으로서, 판단부(240)에 의해 분류된 선택 동작, 잡기 동작, 펴기 동작 뿐 아니라 상기 각 동작들을 수행할 때의 손가락 움직임 경로가 저장될 수 있다.
콘텐츠 DB(253)는 증강현실 콘텐츠 제공 방법(S100)에 의해 생성된 증강현실 콘텐츠가 저장될 수 있다.
설정 DB(254)는 증강현실 콘텐츠를 이용하는 환자에게 쾌적한 가상의 재활 환경을 제공하기 위해 소리, 하이라이팅 레벨, 배경 객체(10) 투명도 등의 설정 데이터가 저장될 수 있다. 이 밖에도 재활 도구 객체(20)와의 상호작용 민감도, 상호작용 난이도, 재활 도구 객체(20)와 배경 객체(10)가 자동으로 결합하기 위한 거리값 등이 저장될 수 있다.
통신 모듈(260)은 착용형 증강현실 디바이스(100)와 무선 또는 유선 통신을 위한 것으로서, 각각의 노드 상호 간에 정보의 교환이 가능한 네트워크에 접속될 수 있으며, 양방향으로의 데이터 송수신이 가능하도록 형성될 수 있다.
모니터링부(300)는 서버(200)로부터 환자의 손가락 운동 정보를 제공받아 화면에 출력할 수 있다. 예를 들어, 모니터링부(300)는 증강현실 콘텐츠에 포함된 재활 도구 객체(20)와 상호작용을 수행할 때 손가락의 선택 동작, 잡기 동작, 펴기 동작, 상기 각 동작들을 수행할 때의 환자의 손가락 움직임 경로 등을 분석한 후 이를 처리하여 그래프 등으로 출력할 수 있다.
이 밖에도 모니터링부(300)는 환자의 정보와, 증강현실 콘텐츠 수행시 걸린 시간, 재활 도구 객체(20)가 배경 객체(10)에 정확히 배치되었는지에 대한 정확도 등을 출력할 수 있다. 이에 따라, 환자는 본인이 수행한 손가락 운동 결과를 확인하여 혼자서도 정확한 동작으로 손가락 운동을 수행하는지를 모니터링할 수 있게 된다.
모니터링부(300)는 서버(200)와 무선으로 통신이 가능한 스마트 폰, 태블릿 PC 등으로 제공될 수 있다. 이 경우, 원격지에 위치한 전문 재활 치료사가 환자의 손가락 운동 결과를 확인하여 환자가 정확한 동작으로 손가락 운동을 수행하는지를 모니터링할 수 있게 된다. 이 밖에도 모니터링부(300)를 통해 환자가 증강현실 콘텐츠를 수행하는 것을 실시간으로 모니터링할 수 있도록 제공함으로써, 증강현실 콘텐츠를 이용한 재활 치료시 환자와 재활 치료사 간 정보를 주고받을 수 있도록 할 수도 있다.
도 1 내지 도 4를 참조하여 증강현실 콘텐츠 제공 방법(S100)에 의해 생성된 증강현실 콘텐츠와 손가락 재활 훈련 시스템(S200)의 상호작용을 설명하면 아래와 같다.
먼저, 환자는 착용형 증강현실 디바이스(100)를 머리에 착용한 후, 서버(200)의 콘텐츠 DB(253)에서 기 생성된 손가락 재활 증강현실 콘텐츠를 불러와 실행시킨 후 콘텐츠 제작자가 생성한 증강현실 콘텐츠 좌표계와 동기화 한다. 이때, 증강현실 콘텐츠 좌표계와의 동기화는 서버(200)의 공간 동기화부(230)에서 마커 기반 또는 공간 매핑 등을 이용하여 콘텐츠 생성 시의 좌표계에 매칭시킬 수 있다.
그리고, 환자는 증강현실 콘텐츠 내 복수의 재활 도구 객체(20) 중 하나의 타겟 재활 도구 객체(20’)를 선택하여 배경 객체(10)의 타겟 위치로 이동시키며 손가락 재활 훈련을 수행한다. 이때, 설정 DB(254)에 저장된 타겟 재활 도구 객체(20’) 강조 기능, 배경 객체(10) 강조 기능, 타겟 재활 도구 객체(20’) 자동 결합 기능 등을 통해 환자의 손가락 재활 훈련을 보조할 수 있다. 예를 들어, 타겟 재활 도구 객체(20’) 조작 시, 환자의 원활한 손가락 재활 훈련을 보조하기 위해 선택한 타겟 재활 도구 객체(20’) 및 타겟 재활 도구 객체(20’)의 목적지가 되는 배경 객체(10)를 강조하여 환자의 재활 훈련을 보조할 수 있다. 그리고, 타겟 재활 도구 객체(20’)가 콘텐츠 제작자가 설정한 거리 이하로 배경 객체(10)에 가까워지면 배경 객체(10)에 자동으로 결합하여 환자의 재활을 보조할 수 있다.
모든 재활 도구 객체(20)를 배경 객체(10)로 이동시키는 경우 손가락 재활 훈련은 종료될 수 있다. 이와 같이, 손가락 재활 훈련이 종료되면 재활 훈련 결과는 서버(200)의 손가락 운동 기록 DB(252)에 업로드 되고, 추후 화자 또는 치료사가 확인할 수 있도록 시각화 처리될 수 있다.
전술한 바와 같이, 본 발명은 재활 치료 전문가에 의해 재활 도구 객체(20)의 이동 포지션 정보가 설정된 증강현실 콘텐츠를 제공하고, 이를 이용하여 환자가 손가락 재활 훈련을 수행하도록 제공함으로써 시간 및 장소에 제약을 받지 않고 재활 훈련을 수행할 수 있다는 장점이 있다.
또한, 전문 의료 장비 없이도 스스로 재활 훈련이 가능하므로 병원에 다니는 것에 비하여 저비용으로 재활 훈련을 수행할 수 있다는 장점이 있다.
아울러, 다양한 증강현실 콘텐츠를 제공하여 환자로 하여금 흥미를 유발하여 빠른 회복을 도울 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
100: 착용형 증강현실 디바이스
110: 본체부
120: 광학 투시형 디스플레이
130: 손가락 경로 추적 모듈
140: 촬영 모듈
150: 통신 모듈
200: 서버
210: 입력부
220: 자세 추정부
230: 공간 동기화부
240: 판단부
250: 데이터 저장부
260: 통신 모듈
300: 모니터링부
110: 본체부
120: 광학 투시형 디스플레이
130: 손가락 경로 추적 모듈
140: 촬영 모듈
150: 통신 모듈
200: 서버
210: 입력부
220: 자세 추정부
230: 공간 동기화부
240: 판단부
250: 데이터 저장부
260: 통신 모듈
300: 모니터링부
Claims (7)
- 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 의해 제공되는 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템에 있어서,
손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법은,
증강현실 공간의 좌표계를 생성하는 단계;
모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및
상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계; 를 포함하고,
상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고,
상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함하고.
상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계에서 배경 객체와 재활 도구 객체를 편집하기 위한 인터페이스를 제공하고,
상기 증강현실 공간의 좌표계를 생성하는 단계는 특정 장소에 마커를 설치한 후 이를 촬영하고, 촬영된 카메라 영상에 마커를 기준으로 가상 좌표를 생성하는 것;을 특징으로 하고,
손가락 재활 훈련 시스템은,
환자의 머리 부위에 착용되어 상기 환자의 손가락 부위를 촬영하고, 상기 촬영되는 손가락에 대응되는 손가락 모델을 생성한 후 이를 증강현실 콘텐츠 상에 반영하여 출력하는 착용형 증강현실 디바이스;
상기 환자의 손가락 재활 훈련을 위한 증강현실 콘텐츠가 저장되고, 상기 착용형 증강현실 디바이스를 이용하여 재활 훈련을 수행하는 상기 환자의 손가락 운동 정보를 저장하는 서버; 및
상기 서버로부터 상기 환자의 손가락 운동 정보를 제공받아 화면에 출력하는 모니터링부;를 포함하고,
상기 착용형 증강현실 디바이스는 HMD(Head Mounted Display) 또는 EDG(Eye Glasses-type Display)를 포함하고,
착용형 증강현실 디바이스는, 상기 환자의 머리 부위에 착용되는 본체부와, 상기 본체부를 착용하였을 때 환자의 양측 눈이 배치되는 부위에 설치되는 광학 투시형 디스플레이(Optical See-Through Display)와, 상기 본체부의 전방에 설치된 비전 센서를 이용하여 상기 환자의 손가락 움직임을 연속적으로 촬영하여 복수의 손가락 영상 프레임을 획득한 후, 상기 손가락 영상 프레임들 간의 화소값 차이를 산출하여 상기 환자의 손가락 움직임 경로를 추적하는 손가락 경로 추적 모듈과, 상기 본체부의 전방에 설치된 RGB-D 카메라를 이용하여 상기 환자가 주시하는 방향을 촬영하는 촬영 모듈과, 상기 서버와 무선 또는 유선 통신을 위한 통신 모듈;을 포함하고,
상기 서버는, 상기 환자의 정보를 입력하기 위한 입력부와, 상기 촬영 모듈로부터 획득한 RGB-D 데이터를 수신하고, 상기 RGB-D 데이터를 ICP(Iterative Closest Point) 알고리즘 또는 SLAM(Simultaneous Localization And Mapping) 알고리즘에 적용하여 상기 착용형 증강현실 디바이스의 자세를 추정하는 자세 추정부와, 상기 증강현실 콘텐츠의 좌표계와, 상기 촬영 모듈에 의해 촬영된 영상의 좌표계를 일치시키는 공간 동기화부와, 상기 손가락 경로 추적 모듈로부터 획득한 데이터를 이용하여 상기 증강현실 콘텐츠에 포함된 가상의 객체와 상호작용을 수행하는 상기 환자의 손가락 움직임 유형을 판단하는 판단부와, 상기 환자의 정보와, 상기 환자의 손가락 운동 정보와, 상기 증강현실 콘텐츠를 저장하는 데이터 저장부와, 상기 착용형 증강현실 디바이스와 무선 또는 유선 통신을 위한 통신 모듈을 포함하고,
상기 데이터 저장부(250)는 설정 데이터가 저장되는 설정 DB(254)를 포함하고, 상기 설정 데이터는 소리, 하이라이팅 레벨, 배경객체 투명도, 재활 도구 객체와의 상호작용 민감도, 상호작용 난이도, 재활도구 객체와 배경 객체가 자동으로 결합되는 거리값을 포함하고,
상기 판단부는 기계 학습(Machine Learning)을 이용하여 손가락 움직임 경로에 따른 손가락 움직임 유형을 분류하고, 상기 손가락 경로 추적 모듈로부터 기설정된 시간 동안 수신된 상기 환자의 손가락 움직임 경로를 상기 기계 학습의 학습 데이터로 활용하여 상기 환자의 손가락 움직임 유형을 판단하는며,
판단부의 손가락 움직임 유형 분류에 k-NN 알고리즘이 사용되는 것;을 특징으로 하는, 손가락 재활 훈련 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210128653A KR102483387B1 (ko) | 2021-09-29 | 2021-09-29 | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210128653A KR102483387B1 (ko) | 2021-09-29 | 2021-09-29 | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102483387B1 true KR102483387B1 (ko) | 2022-12-30 |
Family
ID=84538892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210128653A KR102483387B1 (ko) | 2021-09-29 | 2021-09-29 | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102483387B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373614A (zh) * | 2023-12-07 | 2024-01-09 | 深圳市微克科技有限公司 | 基于穿戴产品的手指健康测训方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101563298B1 (ko) * | 2014-07-23 | 2015-10-26 | 동서대학교산학협력단 | 수부 모션인식 기반의 수부 재활치료 시스템 |
| KR20160000873A (ko) * | 2014-06-25 | 2016-01-05 | 한국과학기술원 | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 |
| KR101936082B1 (ko) | 2017-08-29 | 2019-04-03 | 순천향대학교 산학협력단 | 리얼센스 카메라를 이용한 가상현실 기반의 손가락 재활 시스템 및 방법 |
| KR102151265B1 (ko) * | 2019-12-26 | 2020-09-02 | 주식회사 델바인 | Hmd 시스템 및 이를 포함하는 재활훈련 시스템 |
| KR20210069491A (ko) * | 2019-12-03 | 2021-06-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
-
2021
- 2021-09-29 KR KR1020210128653A patent/KR102483387B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160000873A (ko) * | 2014-06-25 | 2016-01-05 | 한국과학기술원 | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 |
| KR101563298B1 (ko) * | 2014-07-23 | 2015-10-26 | 동서대학교산학협력단 | 수부 모션인식 기반의 수부 재활치료 시스템 |
| KR101936082B1 (ko) | 2017-08-29 | 2019-04-03 | 순천향대학교 산학협력단 | 리얼센스 카메라를 이용한 가상현실 기반의 손가락 재활 시스템 및 방법 |
| KR20210069491A (ko) * | 2019-12-03 | 2021-06-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| KR102151265B1 (ko) * | 2019-12-26 | 2020-09-02 | 주식회사 델바인 | Hmd 시스템 및 이를 포함하는 재활훈련 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373614A (zh) * | 2023-12-07 | 2024-01-09 | 深圳市微克科技有限公司 | 基于穿戴产品的手指健康测训方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6675462B2 (ja) | 動作情報処理装置 | |
| US11069144B2 (en) | Systems and methods for augmented reality body movement guidance and measurement | |
| JP6381918B2 (ja) | 動作情報処理装置 | |
| US20150320343A1 (en) | Motion information processing apparatus and method | |
| CN108369653A (zh) | 使用眼睛特征的眼睛姿态识别 | |
| WO2014112632A1 (ja) | 動作情報処理装置及び方法 | |
| KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
| KR20120017948A (ko) | 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 | |
| Khambadkar et al. | GIST: a gestural interface for remote nonvisual spatial perception | |
| KR102483387B1 (ko) | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 | |
| JP2020141806A (ja) | 運動評価システム | |
| CN115115810A (zh) | 一种基于空间姿态捕捉的多人协同病灶定位与增强展示方法 | |
| CN113033526A (zh) | 基于计算机实现的方法、电子设备和计算机程序产品 | |
| CN111539299B (zh) | 一种基于刚体的人体运动捕捉方法、装置、介质及设备 | |
| US11328187B2 (en) | Information processing apparatus and information processing method | |
| McMurrough et al. | Low-cost head position tracking for gaze point estimation | |
| KR20150044243A (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
| AU2020436767B2 (en) | Markerless motion capture of hands with multiple pose estimation engines | |
| JP2020181321A (ja) | 情報処理装置およびデバイス情報導出方法 | |
| JP7360158B2 (ja) | 制御システム及び制御プログラム | |
| JP7345866B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| EP4303824A1 (en) | System and method for monitoring a body pose of a user | |
| WO2021044732A1 (ja) | 情報処理装置、情報処理方法及び記憶媒体 | |
| TW201905836A (zh) | 以ar技術實現穴道視覺化之中醫系統及其方法 | |
| JP2023178798A (ja) | 情報処理装置、コントローラ表示方法およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |