KR20220063906A - Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain - Google Patents

Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain Download PDF

Info

Publication number
KR20220063906A
KR20220063906A KR1020200149842A KR20200149842A KR20220063906A KR 20220063906 A KR20220063906 A KR 20220063906A KR 1020200149842 A KR1020200149842 A KR 1020200149842A KR 20200149842 A KR20200149842 A KR 20200149842A KR 20220063906 A KR20220063906 A KR 20220063906A
Authority
KR
South Korea
Prior art keywords
virtual
patient
image
shape
movement
Prior art date
Application number
KR1020200149842A
Other languages
Korean (ko)
Other versions
KR102446921B1 (en
Inventor
이준서
Original Assignee
이준서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이준서 filed Critical 이준서
Priority to KR1020200149842A priority Critical patent/KR102446921B1/en
Publication of KR20220063906A publication Critical patent/KR20220063906A/en
Priority to KR1020220118671A priority patent/KR102499113B1/en
Application granted granted Critical
Publication of KR102446921B1 publication Critical patent/KR102446921B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0261—Strain gauges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Rehabilitation Tools (AREA)

Abstract

A rehabilitation treatment system using virtual implantation, according to an embodiment of the present invention, comprises: a wearable device which is worn on a second body, which is a body part symmetrical to a first body corresponding to a patient's severed or paralyzed body part, and senses a shape and a movement of a second body according to the movement of the patient; and a processor which generates a virtual body image having a shape and a movement of the second body and a left and right reversed shape and movement based on information sensed by the wearable device; and a head-mounted display (HMD) device configured as a display outputting a virtual body image on one end of the first body together with a virtual reality (VR) or augmented reality (AR) image. The present invention contributes to improving the effectiveness of treatment and rehabilitation training for alleviating phantom pain in patients who have undergone limb amputation.

Description

VR/AR 기반의 가상 이식을 이용한 재활 치료 웨어러블 장치, HMD 장치 및 시스템{WEARABLE APPARATUS, HEAD MOUNTED DISPLAY APPARATUS AND SYSTEM FOR REHABILITATION TREATMENT USING VIRTUAL TRANSPLANT BASED ON VR/AR FOR OVERCOMING PHANTOM PAIN}Rehabilitation therapy using VR/AR-based virtual implantation wearable device, HMD device, and system

본 발명은 VR/AR 기반의 가상 이식을 이용한 재활 치료 웨어러블 장치, HMD 장치 및 시스템에 관한 것이다. The present invention relates to a wearable device for rehabilitation treatment using virtual implantation based on VR/AR, an HMD device, and a system.

당뇨병, 버거병 등 현대 사회와 관련된 질병으로 인하여 팔이나 다리를 절단하는 환자의 수가 매년 증가하고 있다. 이처럼 팔이나 다리를 절단한 사지 절단 환자들의 50% 내지 80%는 환상통(Phantom Pain)을 겪는다. 환상통이란 몸의 특정 부위가 사고나 질병 등의 이유로 물리적으로 없는 상태임에도 있는 것처럼 느끼며 통증을 겪는 질환이다. The number of patients who have their arms or legs amputated due to diseases related to modern society, such as diabetes and Berger's disease, is increasing every year. As such, 50% to 80% of limb amputation patients who have their arms or legs amputated suffer from phantom pain. Phantom pain is a disease in which a certain part of the body feels as if it exists even though it is physically absent due to an accident or disease.

환상통의 치료법으로는 대표적으로 거울 치료법(Mirror Therapy)이 있다. 거울 치료법은 팔이 절단된 환자에게 거울을 이용해 다른 한 팔을 비추어 마치 두 팔이 있는 것처럼 손 운동을 시킴으로써 환상통을 완화시키는 치료 방법이다. 절단 환자들에게 잘려나간 부위의 신체가 통증 없이 움직인다는 시각적 착각을 일으키게 하여 절단된 부위에서 느끼는 환상통을 줄이는 방법으로서 이러한 치료법의 효과는 의학계에서 입증되어 있다. A typical treatment for phantom pain is Mirror Therapy. Mirror therapy is a treatment method that relieves phantom pain by illuminating the other arm with a mirror to a patient with an amputated arm and doing hand movements as if there were two arms. The effectiveness of this treatment has been proven in the medical community as a method of reducing the phantom pain felt at the amputated area by making the amputees create a visual illusion that the body of the amputated area moves without pain.

그러나 거울 치료법은 거울에 대한 환자의 시선이 이루는 각도를 정확하게 맞춘 자세에서 수행해야 하므로 적용이 불편하고, 거울 바로 옆에서 제한적인 범위의 움직임만 가능하여 현실감이 떨어진다는 단점이 있었다. However, mirror therapy has disadvantages in that it is inconvenient to apply because it has to be performed in a position where the angle of the patient's gaze toward the mirror is precisely aligned, and the sense of reality is lowered because only a limited range of movement is possible right next to the mirror.

또한, 거울을 이용한 치료 방법은 다리가 절단된 환자의 경우, 환자의 시선과 거울이 이루는 각도를 현실감 있게 맞추기가 쉽지 않기 때문에 하지가 절단되거나 마비된 환자에게는 적용하기 어려웠다.In addition, the treatment method using a mirror was difficult to apply to a patient with an amputated or paralyzed lower extremity because it is not easy to realistically match the angle between the patient's gaze and the mirror in the case of a patient with an amputated leg.

한국 등록특허공보 제10-200112호: 자이로 센서를 이용한 모션인식 장치 및 그 모션인식 방법Korean Patent Publication No. 10-200112: Motion recognition device using a gyro sensor and its motion recognition method

본 발명의 실시예에서 해결하고자 하는 과제는 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 절단 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 VR/AR 기술 결합 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공하는 것이다.The problem to be solved in the embodiments of the present invention is to make the patients mistake the visual effect that the body of the amputated area moves without pain, thereby reducing the phantom pain felt at the amputation site, while maintaining the treatment concept of the mirror therapy, the patient The goal is to provide a technology that contributes to improving the effectiveness of treatment and rehabilitation training to alleviate phantom pain in limb amputation patients by implementing a combination of VR/AR technology that can perform various movements without a mirror.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical tasks to be achieved by the embodiments of the present invention are not limited to the tasks mentioned above, and various technical tasks may be derived from the contents to be described below within the scope obvious to those skilled in the art.

본 발명의 일 실시예에 따른 가상이식을 이용한 재활 치료 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다. Rehabilitation treatment system using virtual implantation according to an embodiment of the present invention is worn on a second body that is a body part symmetrical with a first body corresponding to the amputated or paralyzed body part of a patient, 2 A wearable device that senses the shape and movement of the body; and a processor for generating a virtual body image having the shape and movement of the second body and the inverted form and movement of the second body based on the information sensed by the wearable device, and VR (Virtual Reality) or AR (Augmented Reality) and a head mounted display (HMD) device configured as a display for outputting the virtual body image to one end of the first body together with an image.

또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 유무선 통신을 통해 상기 HMD 장치에 전송할 수 있다. In addition, the wearable device is configured in a shape corresponding to the second body so that a flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or decreased surrounds the second body and , information on the shape and movement of the second body sensed by the flex film surrounding the second body may be transmitted to the HMD device through wired/wireless communication.

또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다. The processor may further include: generating, by the processor, a plurality of three-dimensional position information constituting the second body shape and motion information based on the information sensed by the wearable device; generating a plurality of pieces of virtual location information in which each of the plurality of three-dimensional location information is face-symmetrical; and generating the virtual body image by 3D rendering the plurality of virtual location information.

또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다. In addition, the processor may perform an operation of specifying a first point at which a tracker worn or displayed on a predetermined point of the first body is located; specifying a location of a second point corresponding to a boundary point between a body part on which the wearable device is worn and a body part on which the wearable device is not worn in the virtual body image; and outputting the virtual body image to the display so that the second point of the virtual body image is connected to the sensed first point.

또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. In addition, the tracker includes a wearable band, the wearable band is a body portion surrounding the patient's wrist or wrist; a sensor unit including a plurality of strain gauges for outputting resistance values that change in response to morphological deformation of the patient's wrist ligament or ankle ligament along a surface facing the patient's body of the main body; and a processor for determining the shape of the user's intended motion based on the pattern of the resistance values of the plurality of strain gauges recognized by the sensor unit, wherein the HMD device is based on the shape of the motion determined by the wearable band A motion corresponding to the virtual body image may be reflected and output.

본 발명의 일 실시예에 따른 가상이식을 이용한 재활 치료 시스템은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라; 및 상기 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함할 수 있다. Rehabilitation treatment system using virtual implantation according to an embodiment of the present invention is a depth camera for sensing the shape and movement of a second body part that is symmetrical with the first body corresponding to the amputated or paralyzed body part of the patient; and a processor for generating a virtual body image having a shape and movement symmetrical to the second body and a shape and movement inverted left and right based on the information sensed by the depth camera, and VR (Virtual Reality) or AR (Augmented) Reality) may include a head mounted display (HMD) device configured as a display for outputting the virtual body information to one end of the first body together with an image.

본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이를 포함할 수 있다. An HMD device according to an embodiment of the present invention includes a memory; wired and wireless communication module; Based on information sensed by a wearable device that is worn on a second body that is a body part symmetrical with the first body corresponding to the amputated or paralyzed body part of the patient and senses the shape and movement of the second body according to the patient's motion a processor for generating a virtual body image having the shape and movement of the second body and the inverted form and movement of the second body; and a display for outputting the virtual body image to one end of the first body together with a virtual reality (VR) or augmented reality (AR) image.

또한, 상기 웨어러블 장치는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 생성할 수 있다. In addition, the wearable device is configured in a shape corresponding to the second body so that a flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or decreased surrounds the second body and , it is possible to generate information about the shape and movement of the second body sensed by the flex film surrounding the second body.

또한, 상기 프로세서는 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다. The processor may further include: generating, by the processor, a plurality of three-dimensional position information constituting the second body shape and motion information based on the information sensed by the wearable device; generating a plurality of pieces of virtual location information in which each of the plurality of three-dimensional location information is face-symmetrical; and generating the virtual body image by 3D rendering the plurality of virtual location information.

또한, 상기 프로세서는 상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력할 수 있다. In addition, the processor may perform an operation of specifying a first point at which a tracker worn or displayed on a predetermined point of the first body is located; specifying a location of a second point corresponding to a boundary point between a body part on which the wearable device is worn and a body part on which the wearable device is not worn in the virtual body image; and outputting the virtual body image to the display so that the second point of the virtual body image is connected to the sensed first point.

또한, 상기 트래커는 웨어러블 밴드를 포함하고, 상기 웨어러블 밴드는 환자의 손목 또는 팔목을 둘러싸는 본체부; 상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고, 상기 HMD 장치는 상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. In addition, the tracker includes a wearable band, the wearable band is a body portion surrounding the patient's wrist or wrist; a sensor unit including a plurality of strain gauges for outputting resistance values that change in response to morphological deformation of the patient's wrist ligament or ankle ligament along a surface facing the patient's body of the main body; and a processor for determining the shape of the user's intended motion based on the pattern of the resistance values of the plurality of strain gauges recognized by the sensor unit, wherein the HMD device is based on the shape of the motion determined by the wearable band A motion corresponding to the virtual body image may be reflected and output.

본 발명의 일 실시예에 따른 HMD 장치는 메모리; 유무선 통신 모듈; 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 기초로 상기 제2 신체와 대칭되는 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상 신체 정보를 출력하는 디스플레이를 포함할 수 있다. An HMD device according to an embodiment of the present invention includes a memory; wired and wireless communication module; Based on the information sensed by the depth camera that senses the shape and movement of the second body that is symmetrical with the first body corresponding to the amputated or paralyzed body part of the patient, the shape and movement symmetrical to the second body and a processor for generating a virtual body image having left and right inverted shapes and movements; and a display for outputting the virtual body information to one end of the first body together with a virtual reality (VR) or augmented reality (AR) image.

본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 치료 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.In the rehabilitation treatment method performed by the HMD device according to an embodiment of the present invention, the method is worn on a second body that is a body part symmetrical with a first body corresponding to an amputated or paralyzed body part of a patient, and the Receiving information sensed by a wearable device that senses a second body shape and movement according to a patient's movement; generating a virtual body image having a shape and movement of the second body and an inverted shape and movement of the second body based on the sensed information; and outputting the virtual body image to one end of the first body together with a virtual reality (VR) or augmented reality (AR) image. In addition, an embodiment of the present invention may include a computer program or computer recording medium including instructions for causing the processor to perform each step of the method.

본 발명의 일 실시예에 따른 HMD 장치가 수행하는 재활 치료 방법에 있어서, 상기 방법은 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체의 형태 및 움직임을 센싱하는 뎁스 카메라가 센싱한 정보를 수신하는 단계; 상기 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 단계; 및 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 단계를 포함할 수 있다. 또한, 상기 방법을 수행하는 프로세서를 포함하는 컴퓨터 프로그램을 포함할 수 있다. 또한, 본 발명의 일 실시예는 프로세서가 상기 방법의 각 단계를 수행하도록 하는 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 기록매체를 포함할 수 있다.In the rehabilitation treatment method performed by the HMD device according to an embodiment of the present invention, the method includes the shape and movement of a second body part that is symmetrical with the first body part corresponding to the amputated or paralyzed body part of the patient. Receiving information sensed by a sensing depth camera; generating a virtual body image having a shape and movement of the second body and an inverted shape and movement of the second body based on the sensed information; and outputting the virtual body image to one end of the first body together with a virtual reality (VR) or augmented reality (AR) image. It may also include a computer program including a processor for performing the method. In addition, an embodiment of the present invention may include a computer program or computer recording medium including instructions for causing the processor to perform each step of the method.

본 발명의 일 실시예에 따른 가상 이식을이용한 재활 치료 장치는, 환자의 절단된거나 마비된 제1 신체에 착용되는 트래커; 상기 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되는 웨어러블 장치; 및 상기 웨어러블 장치가 센싱한 정보를 기초로 제2 신체에 대응하는 가상의 신체 영상을 생성하는 프로세서; 및 환자의 머리에 착용되어 상기 제1 신체의 일단에 상기 프로세서가 생성한 가상의 신체 영상을 출력하여 디스플레이하는 HMD(Head Mounted Display) 장치;를 포함할 수 있다.Rehabilitation treatment apparatus using a virtual implant according to an embodiment of the present invention, a tracker that is worn on the amputated or paralyzed first body of a patient; a wearable device worn on a second body that is a body part symmetrical to the first body; and a processor that generates a virtual body image corresponding to a second body based on information sensed by the wearable device. and a Head Mounted Display (HMD) device that is worn on the patient's head to output and display the virtual body image generated by the processor on one end of the first body.

또한, 상기 웨어러블 장치는 표면의 인장 여부에 따라 변화하는 저항 값을 통해 형태 변화를 센싱하는 플렉스 필름; 및 외부 장치와 유무선 통신을 수행하는 유무선 통신부; 및 상기 제2 신체에 진동을 인가하는 액츄에이터;를 포함할 수 있다.In addition, the wearable device may include: a flex film sensing a shape change through a resistance value that changes depending on whether the surface is stretched; and a wired/wireless communication unit configured to perform wired/wireless communication with an external device. and an actuator that applies vibration to the second body.

또한, 상기 웨어러블 장치는 환자의 손에 착용 가능한 모션캡쳐 장갑, VR 스마트 장갑 또는 모션 인식 장갑 등 어느 하나의 형태로 구비될 수 있다.In addition, the wearable device may be provided in any one form, such as a motion capture glove, a VR smart glove, or a motion recognition glove that can be worn on the patient's hand.

또한, 상기 웨어러블 장치는 양측 단부가 상기 제2 신체의 관절부위 상측 및 하측에 연결되어 상기 제2 신체의 관절부위의 움직임에 따라 저항 값이 변하는 소프트 센서; 상기 소프트센서의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부; 및 상기 접착부의 일측에 구비되어 상기 제2 신체에 진동을 인가하는 액츄에이터를 포함할 수 있다.In addition, the wearable device may include: a soft sensor having both ends connected to upper and lower joint portions of the second body to change a resistance value according to the movement of the joint portion of the second body; Adhesive portions provided at both ends of the soft sensor to be attached to the patient's body; and an actuator provided on one side of the bonding part to apply vibration to the second body.

또한, 상기 프로세서는, 상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작; 사익 복수의3 차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및 상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행할 수 있다.The processor may further include: generating a plurality of three-dimensional position information constituting the second body shape and motion information based on information sensed by the wearable device; generating a plurality of virtual location information in which each of the plurality of three-dimensional location information is face-symmetrical; and generating the virtual body image by 3D rendering the plurality of virtual location information.

또한, 상기 프로세서는, 상기 제1 신체 중 소점 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작; 상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않는 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및 상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행할 수 있다.In addition, the processor may perform an operation of specifying a first point at which a worn or displayed tracker is located at a small point in the first body; specifying a location of a second point corresponding to a boundary point between a body part on which the wearable device is worn and a body part on which the wearable device is not worn in the virtual body image; and outputting the virtual body image to the display so that the second point of the virtual body image is connected to the sensed first point.

본 발명의 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다. According to an embodiment of the present invention, a virtual body may be embodied in the cut part of the patient's body, and in this case, the embodied virtual body may be implemented to have a movement symmetrical to that of the uncut body. Accordingly, while the patient consciously thinks that both hands or both feet perform the same motion, by visually recognizing the movement of the virtual body implemented through virtual reality, a treatment of the same concept as mirror therapy can be performed.

이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like real arms and legs by recognizing that both body movements are the same, and visually recognize body movements in a realistic way, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.

또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same point in time as in real life through a Head Mounted Display (HMD) device, it is possible to vividly recognize it from a natural point of view like a real body.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the movement of the patient is implemented so that the wearable device composed of the FLEX film senses the detailed movement of the arm or leg of the actual patient, so that the movement of the virtual body more accurately reflects the movement of the real body.

더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, by providing a background or object including various missions that the patient can perform with a virtual body as a VR image or an AR image, it is possible to provide treatment content that combines elements of interest to the patient.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects directly or indirectly identified through this document may be provided.

도 1은 본 발명의 일 실시예에 따른 재활 치료 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 HMD 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따라 재활 치료 시스템을 사용하는 환자의 모습을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따라 재활 치료 시스템을 사용하는 동작을 나타낸 예시도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 치료 시스템이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치의 디스플레이에 추가적으로 출력한 콘텐츠의 예시도이다.
도 7은 본 발명의 일 실시예에 따라 재활 치료 시스템을 실제로 착용한 모습과, 웨어러블 장치 내부가 신체 형상을 한 FLEX 필름으로 제작된 모습의 예시도이다.
도 8은 본 발명의 일 실시예에 웨어러블 장치의 착용예를 도시한 도면이다.1 is a block diagram of a rehabilitation treatment system according to an embodiment of the present invention.
2 is a functional block diagram of an HMD device according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a state of a patient using a rehabilitation treatment system according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an operation of using a rehabilitation treatment system according to an embodiment of the present invention.
5 and 6 are exemplary views of content in which the rehabilitation treatment system additionally outputs a background or object to the display of the HMD device by utilizing VR (Virtual Reality) or AR (Augmented Reality) according to an embodiment of the present invention.
7 is an exemplary view of a state in which the rehabilitation treatment system is actually worn according to an embodiment of the present invention, and a state in which the inside of the wearable device is made of a FLEX film having a body shape.
8 is a diagram illustrating an example of wearing a wearable device according to an embodiment of the present invention.

본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and can be implemented in various forms, only these embodiments make the disclosure of the present invention complete, and 　 with ordinary knowledge in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the present invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, a detailed description of a well-known function or configuration will be omitted unless it is actually necessary. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.The functional blocks shown in the drawings and described below are merely examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, although one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be combinations of various hardware and software configurations that perform the same function.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression including certain components is an open expression and merely refers to the existence of the corresponding components, and should not be construed as excluding additional components.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Furthermore, when it is mentioned that a component is connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in the middle.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. Also, expressions such as 'first, second', etc. are used only for distinguishing a plurality of components, and do not limit the order or other characteristics between the components.

본 발명의 실시예에 따른 VR/AR 기반의 가상이식을 이용한 재활 치료 시스템(10)(이하, '재활 치료 시스템(10)'으로 지칭)은 환자들에게 절단된 부위의 신체가 통증 없이 움직인다는 시각적 효과로 착각을 일으키게 하여 잘린 부위에서 느끼는 환상통을 줄인다는 거울 치료법의 치료 개념을 유지하면서, 환자가 거울 없이도 다양한 동작을 수행할 수 있는 치료 방식을 구현하여, 사지 절단 환자의 환상통을 완화하는 치료와 재활 훈련의 효과를 높이는데 기여하는 기술을 제공한다. Rehabilitation treatment system 10 (hereinafter referred to as 'rehabilitation treatment system 10') using VR/AR-based virtual implantation according to an embodiment of the present invention tells patients that the amputated body moves without pain. While maintaining the treatment concept of mirror therapy to reduce the phantom pain felt at the amputated area by creating an illusion with a visual effect, a treatment method that allows the patient to perform various movements without a mirror is implemented, thereby relieving the phantom pain of the amputated patient. It provides technologies that contribute to increasing the effectiveness of treatment and rehabilitation training.

본 발명의 실시예에 따른 재활 치료 시스템(10)은 VR(Virtual Reality) 또는 AR(Augmented Reality) 기술을 통해 환자의 신체가 절단된 부위에 가상의 신체를 구현하고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현할 수 있다. 이를 위해, 본 발명의 실시예에 따른 재활 치료 시스템(10)이 포함하고 있는 구성들과, 각 구성의 동작을 도면들과 함께 설명하도록 한다. Rehabilitation treatment system 10 according to an embodiment of the present invention implements a virtual body in the part where the patient's body is cut through VR (Virtual Reality) or AR (Augmented Reality) technology, wherein the implemented virtual body is It can be implemented to have a movement that is symmetrical to the movement of the uncut body. To this end, the components included in the rehabilitation treatment system 10 according to an embodiment of the present invention and the operation of each component will be described together with the drawings.

도 1은 본 발명의 일 실시예에 따른 재활 치료 시스템(10)의 구성도이다.1 is a block diagram of a rehabilitation treatment system 10 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 재활 치료 시스템(10)은 웨어러블 장치(Wearable Device)(100), HMD(Head Mounted Display) 장치(200), 및 트래커(300)를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 시스템은 뎁스 카메라(400)(Depth Camera)를 추가로 포함하거나, 웨어러블 장치(100)가 뎁스 카메라(400)로 대체되는 실시예를 포함할 수 있다. Referring to FIG. 1 , the rehabilitation treatment system 10 according to an embodiment of the present invention includes a wearable device 100 , a head mounted display (HMD) device 200 , and a tracker 300 . can In addition, the system according to an embodiment of the present invention may include an embodiment in which the depth camera 400 is additionally included or the wearable device 100 is replaced with the depth camera 400 .

웨어러블 장치(100)는 신체에 부착되거나 착용되어 외부 장치와 유무선 통신을 수행하는 장치이다. 웨어러블 장치(100)는 모션캡쳐 장갑, VR 스마트 장갑, 모션인식 장갑을 포함할 수 있고, 환자의 손, 팔, 발, 발목 등 신체의 일부분에 착용될 수 있다. 예를 들어, 웨어러블 장치(100)는 환자의 절단되거나 마비된 신체 부위(이하, "제1 신체(11)"로 지칭)와 대칭되는 신체 부위(이하, "제2 신체(12)"로 지칭)에 착용될 수 있고, 웨어러블 장치(100)는 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The wearable device 100 is a device that is attached to or worn on the body to perform wired/wireless communication with an external device. The wearable device 100 may include a motion capture glove, a VR smart glove, and a motion recognition glove, and may be worn on a part of the body such as a patient's hand, arm, foot, or ankle. For example, the wearable device 100 is a body part symmetrical to the amputated or paralyzed body part (hereinafter, referred to as “first body 11”) of the patient (hereinafter, referred to as “second body 12”). ), and the wearable device 100 may generate information sensing the shape and movement of the second body 12 according to the movement of the patient.

예를 들어, 웨어러블 장치(100)는 표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 표면의 형태 변화를 센싱 가능한 플렉스(flex) 필름을 포함할 수 있다. 플렉스 필름은 제2 신체(12)를 둘러쌀 수 있도록 제2 신체(12)에 대응하는 형태로 구성(ex. 도 7 도면부호 110 참조)될 수 있고, 웨어러블 장치(100)는 제2 신체(12)를 둘러싼 플렉스 필름에 의해 센싱된 제2 신체(12)의 형태 및 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다. For example, the wearable device 100 may include a flex film capable of sensing a change in the shape of the surface through a resistance value that changes as the surface increases or decreases. The flex film may be configured in a shape corresponding to the second body 12 so as to surround the second body 12 (eg, refer to reference numeral 110 in FIG. 7 ), and the wearable device 100 may include a second body ( 12), information on the shape and movement of the second body 12 sensed by the surrounding flex film may be generated and transmitted to the HMD device 200 through wired/wireless communication.

뿐만 아니라, 도 8을 참조하면 웨어러블 장치(100)는 양측 단부가 제2 신체(12)의 관절부위(12a) 상측 및 하측에 연결되어 제2 신체(12)의 관절부위(12a)의 움직임에 따라 저항값이 변하는 소프트 센서(101), 소프트 센서(101)의 양측 단부에 구비되어 환자의 신체에 접착되는 접착부(102) 및 접착부(102)의 일측에 구비되어 제2 신체(12)에 진동을 인가하는 액츄에이터(103)를 포함할 수 있다. 환자가 제2 신체(12)의 관절부위(12a)를 움직이는 경우 소프트 센서(101)의 저항값 변화를 통해 관절부위(12a)의 움직임에 대한 정보를 생성하여 유무선 통신을 통해 HMD 장치(200)로 전송할 수 있다. In addition, referring to FIG. 8 , both ends of the wearable device 100 are connected to the upper and lower sides of the joint portion 12a of the second body 12 so that the movement of the joint portion 12a of the second body 12 is performed. The soft sensor 101, the resistance value of which changes according to the change, is provided at both ends of the soft sensor 101 and is provided on one side of the adhesive part 102 to be attached to the patient's body and the second body 12 vibrates It may include an actuator 103 that applies When the patient moves the joint portion 12a of the second body 12, information on the movement of the joint portion 12a is generated through a change in the resistance value of the soft sensor 101, and the HMD device 200 through wired/wireless communication. can be sent to

뎁스 카메라(400)(Depth Camera)는 복수의 카메라 모듈을 포함하여 객체로부터 얻어지는 이미지 픽셀의 깊이 값을 계산하여 객체의 3차원 깊이 정보를 생성할 수 있는 카메라이다. 뎁스 카메라(400)는 환자의 손, 팔, 발, 발목 등을 촬영할 수 있다. 예를 들어, 뎁스 카메라(400)는 환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체(11)와 대칭되는 신체 부위인 제2 신체(12)를 촬영할 수 있고, 환자의 움직임에 따른 제2 신체(12)의 형태 및 움직임을 센싱한 정보를 생성할 수 있다. The depth camera 400 is a camera capable of generating 3D depth information of an object by calculating a depth value of an image pixel obtained from an object including a plurality of camera modules. The depth camera 400 may photograph a patient's hand, arm, foot, ankle, or the like. For example, the depth camera 400 may photograph the second body 12, which is a body part symmetrical with the first body 11 corresponding to the amputated or paralyzed body part of the patient, and 2 It is possible to generate information sensing the shape and movement of the body 12 .

HMD 장치(200)(Head Mounted Display)는 환자의 안구 주위에 안경처럼 착용될 수 있고, 환자에게 가상 정보를 포함하는 영상을 출력하는 장치이다. 본 발명의 실시예의 HMD 장치(200)는 FMD(Face Mounted Display) 또는 스마트 글래스(Smart Glasses)를 포괄하는 개념이다. The HMD device 200 (Head Mounted Display) is a device that can be worn around the patient's eye like glasses and outputs an image including virtual information to the patient. The HMD device 200 of the embodiment of the present invention is a concept encompassing a face mounted display (FMD) or smart glasses.

도 2는 본 발명의 일 실시예에 따른 HMD 장치(200)의 기능 블록도이다. 도 2를 참조하면, 본 발명의 실시예에 따른 HMD 장치(200)는 프로세서(220), 메모리(210), 및 디스플레이(230)를 포함할 수 있다. 2 is a functional block diagram of an HMD device 200 according to an embodiment of the present invention. Referring to FIG. 2 , the HMD device 200 according to an embodiment of the present invention may include a processor 220 , a memory 210 , and a display 230 .

메모리(210)는 프로세서(220)를 동작하도록 하는 명령어와 프로세서(220)의 동작에 필요한 데이터를 저장할 수 있다. The memory 210 may store instructions for operating the processor 220 and data necessary for the operation of the processor 220 .

프로세서(220)는 중앙 처리 장치(CPU; central processing unit) 등을 포함하여 다양한 데이터의 처리 및 연산을 수행할 수 있다. 프로세서(220)는 웨어러블 장치(100) 또는 뎁스 카메라(400)가 센싱한 정보를 기초로 환자의 제2 신체(12)의 형태/움직임과 좌우가 반전된 형태/움직임을 갖는 가상의 신체 영상에 대한 정보를 생성할 수 있다. The processor 220 may process and operate various data including a central processing unit (CPU) and the like. The processor 220 is a virtual body image having the shape/movement of the patient's second body 12 and the inverted shape/motion of the patient's second body 12 based on the information sensed by the wearable device 100 or the depth camera 400 . information can be created.

디스플레이(230)는 환자에게 가상 정보를 포함하는 영상을 출력할 수 있다. 디스플레이(230)는 환자의 제1 신체(11)의 일단에 프로세서(220)가 생성한 가상의 신체 영상을 VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 출력할 수 있다. The display 230 may output an image including virtual information to the patient. The display 230 may output a virtual body image generated by the processor 220 on one end of the patient's first body 11 together with a virtual reality (VR) or augmented reality (AR) image.

또한, HMD 장치(200)는 외부 장치와 유무선 통신을 수행하는 통신 모듈(도면 미도시) 및 외부 환경을 인식하고 촬영하는 카메라(도면 미도시)를 더 포함할 수 있다. In addition, the HMD device 200 may further include a communication module (not shown) for performing wired/wireless communication with an external device and a camera (not shown) for recognizing and photographing an external environment.

트래커(300)(Tracker)는 HMD 장치(200)가 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위의 경계쪽 신체)을 특정할 수 있도록 표시된 물리적 표식(Mark) 또는 웨어러블 밴드(Wearable Band)를 포함할 수 있다. 웨어러블 밴드(300)는 환자의 제1 신체(11)의 일단(ex. 절단된 신체 부위와 연결된 손목, 팔목, 발목, 무릎 등)에 착용되어, 환자가 절단된 신체를 움직이려고 할 때 변화하는 인대의 움직임을 센싱하여 인대의 움직임에 대한 정보를 생성하고, 인대의 움직임에 대한 정보를 기초로 환자가 의도한 절단 부위의 움직임을 판별할 수 있다. The tracker 300 (Tracker) is a physical mark (Mark) or a wearable band displayed so that the HMD device 200 can specify one end of the patient's first body 11 (eg, a body near the boundary of the amputated body part). (Wearable Band) may be included. The wearable band 300 is worn on one end of the patient's first body 11 (eg, a wrist, wrist, ankle, knee, etc. connected to the amputated body part), a ligament that changes when the patient tries to move the amputated body It is possible to generate information on the movement of the ligament by sensing the movement of the ligament, and determine the movement of the cut site intended by the patient based on the information on the movement of the ligament.

도 3은 본 발명의 일 실시예에 따라 재활 치료 시스템(10)을 사용하는 환자의 모습을 나타낸 예시도이다. 3 is an exemplary diagram illustrating a state of a patient using the rehabilitation treatment system 10 according to an embodiment of the present invention.

도 3을 참조하면, 환자는 제1 신체(11)(도 3 인물의 왼손)가 절단된 상태이다. 이에 따라, 본 발명의 일 실시예에 따른 재활 치료 시스템(10)을 사용하기 위해, 환자는 제2 신체(12)(도 3 인물의 오른손)에 웨어러블 장치(100)를 착용할 수 있다. 또한, 환자는 안구 주위에 HMD 장치(200)를 착용될 수 있다. 또한, 환자는 신체의 절단 부분의 위치를 특정하기 위해, 제1 신체(11)의 일단(도 3 도면 부호 300 부근)에 트래커(300)로서 마크를 표시하거나, 또는 웨어러블 밴드(300)를 착용할 수 있다.Referring to FIG. 3 , the patient is in a state in which the first body 11 (the left hand of the person in FIG. 3 ) is severed. Accordingly, in order to use the rehabilitation treatment system 10 according to an embodiment of the present invention, the patient may wear the wearable device 100 on the second body 12 (the right hand of the person in FIG. 3 ). Also, the patient may wear the HMD device 200 around the eye. In addition, the patient displays a mark as the tracker 300 on one end of the first body 11 (near 300 in FIG. 3 ) in order to specify the position of the cut part of the body, or wears the wearable band 300 . can do.

도 4는 본 발명의 일 실시예에 따라 재활 치료 시스템(10)을 사용하는 동작을 나타낸 예시도이다. 4 is an exemplary diagram illustrating an operation of using the rehabilitation treatment system 10 according to an embodiment of the present invention.

도 4를 참조하면, HMD 장치(200)는 환자의 상지 절단된 부위와 대칭되는 부위의 신체와 좌우가 반전된 움직임을 갖는 가상의 신체 영상을 생성할 수 있다. Referring to FIG. 4 , the HMD apparatus 200 may generate a virtual body image in which the left and right movements of the patient's body are symmetrical with the amputated upper limb.

일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 웨어러블 장치(100)가 환자의 절단된 신체 부위와 대칭되는 부위의 신체에 착용된 웨어러블 장치(100)가 센싱한 정보를 기초로, 제2 신체(12)의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성할 수 있다. According to one embodiment, the processor 220 of the HMD device 200 is based on the information sensed by the wearable device 100 worn on the body of the wearable device 100 is symmetrical to the cut body part of the patient. , a plurality of 3D position information constituting the shape and motion information of the second body 12 may be generated.

이에 따라, 프로세서(220)는 복수의 3차원 위치 정보의 좌우를 반전시킨 복수의 가상 위치 정보를 생성할 수 있다. 예를 들어, 프로세서(220)는 소정의 3차원 면을 기준으로 복수의 3차원 위치 정보 각각을 면대칭시킴으로써, 좌우가 반전된 복수의 가상 위치 정보를 생성할 수 있다. 또는, 프로세서(220)는 복수의 3차원 위치 정보가 3차원 좌표 (x, y, z)로 구성된 경우, 이 중 어느 한 차원 정보의 부호를 반전시킨 3차원 좌표 (-x, y, z)를 생성함으로써 가상 위치 정보를 생성할 수 있다. Accordingly, the processor 220 may generate a plurality of virtual location information in which the left and right sides of the plurality of 3D location information are inverted. For example, the processor 220 may generate a plurality of pieces of virtual location information inverted left and right by plane-symmetrically symmetrical each of the plurality of pieces of 3D location information with respect to a predetermined 3D surface. Alternatively, when the processor 220 includes a plurality of three-dimensional position information consisting of three-dimensional coordinates (x, y, z), the three-dimensional coordinates (-x, y, z) in which the sign of any one dimension information is inverted. By creating , virtual location information can be generated.

이후, 프로세서(220)는 복수의 가상 위치 정보를 3D 렌더링하여 VR 또는 AR 영상에 시각적으로 출력될 수 있는 가상의 신체 영상을 생성할 수 있다. Thereafter, the processor 220 may 3D render a plurality of virtual location information to generate a virtual body image that may be visually output in a VR or AR image.

도 4의 Step 1 내지 Step 3를 참조하면, HMD 장치(200)는 환자의 제1 신체(11)의 일단에 가상의 신체 영상을 VR 영상 또는 AR 영상과 함께 출력할 수 있다. Referring to Step 1 to Step 3 of FIG. 4 , the HMD device 200 may output a virtual body image to one end of the patient's first body 11 together with a VR image or an AR image.

일 실시예에 따르면, HMD 장치(200)의 프로세서(220)는 카메라 또는 통신모듈을 이용하여 환자의 제1 신체(11) 중 소정 지점에 착용 또는 표시된 트래커(300)가 위치하는 제1 지점을 특정할 수 있다. 이후, 프로세서(220)는 카메라 또는 통신모듈을 이용하여 가상의 신체 영상에서 웨어러블 장치(100)가 착용된 신체 부분(도 3의 도면 부호 12)과 착용되지 않은 신체 부분(도 3의 도면 부호 13)의 경계 지점(도 3의 도면 부호 a)에 해당하는 제2 지점의 위치를 특정할 수 있다. 이에 따라, 프로세서(220)는 환자의 제1 지점(300)에 가상의 신체 영상의 제2 지점이 연결되도록 가상의 신체 영상을 디스플레이(230)에 출력할 수 있다. According to an embodiment, the processor 220 of the HMD device 200 uses a camera or a communication module to detect a first point at which the tracker 300 worn or displayed on a predetermined point of the patient's first body 11 is located. can be specified. Thereafter, the processor 220 uses a camera or a communication module to display a body part on which the wearable device 100 is worn (reference numeral 12 in FIG. 3 ) and a non-wearing body part (reference numeral 13 in FIG. 3 ) in a virtual body image by using a camera or a communication module. ), the position of the second point corresponding to the boundary point (reference numeral a in FIG. 3 ) may be specified. Accordingly, the processor 220 may output the virtual body image to the display 230 so that the second point of the virtual body image is connected to the first point 300 of the patient.

더하여, 상기 트래커(300)가 웨어러블 밴드(300)인 경우, 웨어러블 밴드(300)는 환자의 인대의 움직임을 기초로, 환자가 절단된 신체를 움직이려고 의도한 동작을 판별할 수 있다. 이를 위해, 웨어러블 밴드(300)는 환자의 손목 또는 팔목을 둘러싸는 본체부, 상기 본체부가 신체가 접촉하는 면을 따라 환자의 손목 또는 발목 인대 부분의 형태적 변형에 따라 대응하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부, 상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함할 수 있다. HMD 장치(200)는 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 가상의 신체 영상에 대응되는 움직임을 반영하여 출력할 수 있다. 이에 따라, 환자는 신체가 절단되어도 인대의 움직임에 따라 가상의 신체 영상이 움직이는 모습을 시각적으로 확인할 수 있다. In addition, when the tracker 300 is the wearable band 300 , the wearable band 300 may determine an operation intended by the patient to move the amputated body based on the movement of the patient's ligaments. To this end, the wearable band 300 outputs a resistance value corresponding to the shape deformation of the body part surrounding the patient's wrist or wrist, and the ligament part of the patient's wrist or ankle along the surface that the body contacts the body. It may include a sensor unit including a plurality of strain gauges, and a processor for determining the shape of an operation intended by the user based on a pattern of resistance values of the plurality of strain gauges recognized by the sensor unit. The HMD device 200 may reflect and output the motion corresponding to the virtual body image based on the shape of the motion determined by the wearable band. Accordingly, the patient can visually confirm that the virtual body image moves according to the movement of the ligament even when the body is cut.

도 5 및 도 6은 본 발명의 일 실시예에 따라 재활 치료 시스템(10)이 VR(Virtual Reality) 또는 AR(Augmented Reality)을 활용하여 배경 또는 객체를 HMD 장치(200)의 디스플레이(230)에 추가적으로 출력한 콘텐츠의 예시도이다. 5 and 6 show that the rehabilitation treatment system 10 uses VR (Virtual Reality) or AR (Augmented Reality) to display a background or object on the display 230 of the HMD device 200 according to an embodiment of the present invention. It is an example diagram of additionally output contents.

도 5를 참조하면, HMD 장치(200)는 손등을 위로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 옆으로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 손등을 아래로 한 채 손을 접었다 폈다 동작을 반복하는 미션, 각 손가락을 움직이는 미션, 영상에 출력되는 소정 위치의 버튼을 누르는 미션, 영상에 출력되는 소정 위치의 객체를 옮기는 미션, 영상에 출력되는 객체에 그림을 그리는 미션, 영상에 출력되는 객체에 소정의 동작을 취하는 미션 등을 포함하는 콘텐츠를 VR 영상과 함께 출력하고, 환자가 해당 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 5 , the HMD device 200 has a mission of repeating the operation of folding and unfolding the hand with the back of the hand up, a mission of repeating the operation of folding and unfolding the hand with the back of the hand on the side, and a hand with the back of the hand down. A mission to repeat the folding and unfolding operation, a mission to move each finger, a mission to press a button at a predetermined position output on the image, a mission to move an object to a predetermined position outputted on the image, a mission to draw a picture on an object displayed on the image, Content including a mission of taking a predetermined action on an object output on an image may be output together with a VR image, and the patient may be induced to perform the corresponding mission, thereby helping to treat phantom pain.

도 6를 참조하면, HMD 장치(200)는 환자가 위치한 실제 주변 환경에 가상의 신체 영상을 출력한 AR 영상을 생성하여 출력할 수 있고, 상술한 도 5의 콘텐츠와 동일한 미션의 콘텐츠를 제공하여, 환자가 미션들을 수행하도록 유도할 수 있다. 또한, HMD 장치(200)는 영상에 특정한 손 동작이나, 숫자, 또는 수학 문제를 출력하여, 환자가 가상의 신체 영상이 특정한 손 동작을 나타내도록 유도하고, 환자가 취한 손 동작이 콘텐츠에 기 설정된 답 또는 기 설정된 손동작과 같은 것으로 인식되면 환자에게 점수를 부여하는 방식으로, 환자가 미션을 수행하도록 유도하여 환상통 치료를 도울 수 있다. Referring to FIG. 6 , the HMD device 200 may generate and output an AR image outputting a virtual body image in an actual surrounding environment where the patient is located, and provide the content of the same mission as the content of FIG. , may induce the patient to perform the missions. In addition, the HMD device 200 outputs a specific hand motion, number, or math problem to the image to induce the patient to use the virtual body image to represent the specific hand motion, and the hand motion taken by the patient is preset in the content. When it is recognized as an answer or a preset hand gesture, a score is given to the patient, thereby inducing the patient to perform a mission, thereby helping the treatment of phantom pain.

상술한 실시예에 따르면, 환자의 신체 절단 부위에 가상의 신체를 구현할 수 있고, 이때 구현된 가상의 신체는 절단되지 않은 신체가 갖는 움직임과 대칭되는 움직임을 갖도록 구현될 수 있다. 이에 따라, 환자는 의식적으로 양손 또는 양발이 동일한 동작을 한다고 생각하면서, 가상현실을 통해 구현되는 가상의 신체의 움직임을 시각적으로 인지함으로써, 거울 치료법과 같은 개념의 치료를 진행할 수 있다. According to the above-described embodiment, a virtual body may be embodied in the cut part of the patient's body, and in this case, the embodied virtual body may be embodied to have a movement symmetrical to the movement of the uncut body. Accordingly, while the patient consciously thinks that both hands or both feet perform the same motion, by visually recognizing the movement of the virtual body implemented through virtual reality, a treatment of the same concept as mirror therapy can be performed.

이에 따라, 환자는 양 신체의 행동을 동일하게 움직인다는 인지를 통해 가상의 신체를 실제의 팔과 다리처럼 움직이고, 시각적으로 신체의 움직임을 현실감을 있게 인지할 수 있게 되어, 환상통이 완화될 수 있고 재활 훈련의 효과가 향상될 수 있다.Accordingly, the patient can move the virtual body like real arms and legs by recognizing that both body movements are the same, and visually recognize body movements in a realistic way, so that phantom pain can be alleviated. and the effectiveness of rehabilitation training can be improved.

또한, 환자는 HMD(Head Mounted Display) 장치를 통해 실제 생활과 동일한 시점에서 가상의 신체 영상을 눈앞에서 인지하게 되므로, 실제의 신체처럼 자연스러운 시점에서 생동감 있게 인지할 수 있게 된다.In addition, since the patient perceives a virtual body image in front of his/her eyes at the same point in time as in real life through a Head Mounted Display (HMD) device, it is possible to vividly recognize it from a natural point of view like a real body.

더하여, 환자의 움직임은 FLEX 필름으로 구성된 웨어러블 장치가 실제 환자의 팔 또는 다리의 세세한 움직임을 센싱하도록 구현됨으로써, 가상의 신체의 움직임이 보다 정확하게 실제 신체의 움직임을 반영하여 움직이도록 구현될 수 있다.In addition, the movement of the patient is implemented so that the wearable device composed of the FLEX film senses the detailed movement of the arm or leg of the actual patient, so that the movement of the virtual body more accurately reflects the movement of the real body.

더불어, 환자가 가상의 신체로 수행할 수 있는 다양한 미션을 포함하는 배경 또는 객체를 VR 영상 또는 AR 영상으로 제공하여, 환자에게 흥미 요소를 결합한 치료 콘텐츠를 제공할 수 있다. In addition, by providing a background or object including various missions that the patient can perform with a virtual body as a VR image or an AR image, it is possible to provide treatment content that combines elements of interest to the patient.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention may be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of implementation by hardware, the method according to embodiments of the present invention may include one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which a software code or the like is recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.

또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Also, combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in the encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory. It is also possible to produce an article of manufacture containing instruction means for performing the functions described in each block of the block diagram or each step of the flowchart, the instructions stored in the block diagram. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and in each step of the flowchart.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing a specified logical function. It should also be noted that it is also possible for the functions recited in blocks or steps to occur out of order in some alternative embodiments. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .

Claims (5)

환자의 절단되거나 마비된 신체 부위에 해당하는 제1 신체와 대칭되는 신체 부위인 제2 신체에 착용되고, 상기 환자의 움직임에 따른 제2 신체의 형태 및 움직임을 센싱하는 웨어러블 장치; 및
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임과 좌우가 반전된 형태 및 움직임을 갖는 가상의 신체 영상을 생성하는 프로세서 및, VR(Virtual Reality) 또는 AR(Augmented Reality) 영상과 함께 상기 제1 신체의 일단에 상기 가상의 신체 영상을 출력하는 디스플레이로 구성된 HMD(Head Mounted Display) 장치를 포함하는,
가상이식을 이용한 재활 치료 시스템.
a wearable device that is worn on a second body that is a body part symmetrical to the first body corresponding to the amputated or paralyzed body part of the patient, and senses the shape and movement of the second body according to the movement of the patient; and
A processor for generating a virtual body image having the shape and movement of the second body and the inverted form and movement of the second body based on the information sensed by the wearable device, and a Virtual Reality (VR) or Augmented Reality (AR) image and a head mounted display (HMD) device configured as a display for outputting the virtual body image to one end of the first body together with
Rehabilitation treatment system using virtual transplantation.
 제1항에 있어서,
상기 웨어러블 장치는,
표면이 늘어나거나 줄어듬에 따라 변화하는 저항값을 통해 상기 표면의 형태를 센싱 가능한 플렉스(flex) 필름이 상기 제2 신체를 둘러싸도록 상기 제2 신체에 대응하는 형태로 구성되고, 상기 제2 신체를 둘러싼 상기 플렉스 필름에 의해 센싱된 상기 제2 신체의 형태 및 움직임에 대한 정보를 유무선 통신을 통해 상기 HMD 장치에 전송하는,
가상이식을 이용한 재활 치료 시스템.
According to claim 1,
The wearable device,
A flex film capable of sensing the shape of the surface through a resistance value that changes as the surface is stretched or reduced is configured in a shape corresponding to the second body to surround the second body, and the second body Transmitting information about the shape and movement of the second body sensed by the surrounding flex film to the HMD device through wired/wireless communication,
Rehabilitation treatment system using virtual transplantation.
 제1항에 있어서,
상기 프로세서는,
상기 웨어러블 장치가 센싱한 정보를 기초로 상기 제2 신체의 형태 및 움직임 정보를 구성하는 복수의 3차원 위치 정보를 생성하는 동작;
상기 복수의 3차원 위치 정보 각각을 면대칭시킨 복수의 가상 위치 정보를 생성하는 동작; 및
상기 복수의 가상 위치 정보를 3D 렌더링하여 상기 가상의 신체 영상을 생성하는 동작을 수행하는,
가상이식을 이용한 재활 치료 시스템.
According to claim 1,
The processor is
generating a plurality of three-dimensional position information constituting the second body shape and motion information based on the information sensed by the wearable device;
generating a plurality of pieces of virtual location information in which each of the plurality of three-dimensional location information is plane-symmetric; and
generating the virtual body image by 3D rendering the plurality of virtual location information;
Rehabilitation treatment system using virtual transplantation.
 제3항에 있어서,
상기 프로세서는,
상기 제1 신체 중 소정 지점에 착용 또는 표시된 트래커가 위치하는 제1 지점을 특정하는 동작;
상기 가상의 신체 영상에서 상기 웨어러블 장치가 착용된 신체 부분과 착용되지 않은 신체 부분의 경계 지점에 해당하는 제2 지점의 위치를 특정하는 동작; 및
상기 센싱된 제1 지점에 상기 가상의 신체 영상 중 상기 제2 지점이 연결되도록 상기 가상의 신체 영상을 상기 디스플레이에 출력하는 동작을 수행하는
가상이식을 이용한 재활 치료 시스템.
4. The method of claim 3,
The processor is
specifying a first point at which a tracker worn or displayed on a predetermined point of the first body is located;
specifying a location of a second point corresponding to a boundary point between a body part on which the wearable device is worn and a body part on which the wearable device is not worn in the virtual body image; and
outputting the virtual body image to the display so that the second point of the virtual body image is connected to the sensed first point
Rehabilitation treatment system using virtual transplantation.
 제4항에 있어서,
상기 트래커는 웨어러블 밴드를 포함하고,
상기 웨어러블 밴드는,
환자의 손목 또는 팔목을 둘러싸는 본체부;
상기 본체부의 상기 환자의 신체와 마주하는 면을 따라 환자의 손목 인대 또는 발목 인대의 형태적 변형에 대응하여 변화하는 저항 값을 출력하는 복수 개의 스트레인 게이지를 포함하는 센서부; 및
상기 센서부가 인식한 복수 개의 스트레인 게이지의 저항 값의 패턴을 기초로 사용자가 의도한 동작의 모양을 판별하는 프로세서를 포함하고,
상기 HMD 장치는,
상기 웨어러블 밴드에 의해 판별된 동작의 모양을 기초로 상기 가상의 신체 영상에 대응되는 움직임을 반영하여 출력하는,
가상이식을 이용한 재활 치료 시스템. 5. The method of claim 4,
The tracker includes a wearable band,
The wearable band,
a body portion surrounding the patient's wrist or wrist;
a sensor unit including a plurality of strain gauges for outputting resistance values that change in response to morphological deformation of the patient's wrist ligament or ankle ligament along a surface of the body portion facing the patient's body; and
A processor for determining the shape of the user's intended operation based on the pattern of the resistance values of the plurality of strain gauges recognized by the sensor unit,
The HMD device,
Reflecting and outputting a motion corresponding to the virtual body image based on the shape of the motion determined by the wearable band,
Rehabilitation treatment system using virtual transplantation.
KR1020200149842A 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain KR102446921B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200149842A KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
KR1020220118671A KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200149842A KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220118671A Division KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Publications (2)

Publication Number Publication Date
KR20220063906A true KR20220063906A (en) 2022-05-18
KR102446921B1 KR102446921B1 (en) 2022-09-22

Family

ID=81800901

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200149842A KR102446921B1 (en) 2020-11-11 2020-11-11 Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
KR1020220118671A KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220118671A KR102499113B1 (en) 2020-11-11 2022-09-20 Apparatus for rehabilitation using virtual transplant based on vr/ar for overcoming phantom pain

Country Status (1)

Country Link
KR (2) KR102446921B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200112B1 (en) 1994-12-29 1999-06-15 정몽규 Accelerator transmission
KR20140089023A (en) * 2012-12-31 2014-07-14 동의대학교 산학협력단 Apparatus for Rehabilitation Training of Upper Limb of Hemiplegic Patients
JP2015039522A (en) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 Rehabilitation device and assistive device for phantom limb pain treatment
KR102164965B1 (en) * 2019-05-03 2020-10-14 계명대학교 산학협력단 Virtual illusion system for hemiplegic patients using brain stimulation and its way to working

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same
KR101980297B1 (en) 2017-11-14 2019-05-20 고범준 apparatus, method and program for processing 3D VR video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200112B1 (en) 1994-12-29 1999-06-15 정몽규 Accelerator transmission
KR20140089023A (en) * 2012-12-31 2014-07-14 동의대학교 산학협력단 Apparatus for Rehabilitation Training of Upper Limb of Hemiplegic Patients
JP2015039522A (en) * 2013-08-22 2015-03-02 セイコーエプソン株式会社 Rehabilitation device and assistive device for phantom limb pain treatment
KR102164965B1 (en) * 2019-05-03 2020-10-14 계명대학교 산학협력단 Virtual illusion system for hemiplegic patients using brain stimulation and its way to working

Also Published As

Publication number Publication date
KR102446921B1 (en) 2022-09-22
KR102499113B1 (en) 2023-02-10
KR20220131886A (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7091531B2 (en) Methods for physical gesture interface and projection display
KR20210011425A (en) Image processing method and device, image device, and storage medium
US20160131908A1 (en) Visual stabilization system for head-mounted displays
US20170014683A1 (en) Display device and computer program
JP6870264B2 (en) Exercise training equipment and programs
US20160249008A1 (en) Display apparatus, display method, and program
CN109091380B (en) Traditional Chinese medicine system and method for realizing acupoint visualization by AR technology
JP6459184B2 (en) Display system, health appliance, control device and program
JP4025230B2 (en) Pain treatment support device and method for displaying phantom limb images in a virtual space
Katzakis et al. Stylo and handifact: Modulating haptic perception through visualizations for posture training in augmented reality
KR102446922B1 (en) Apparatus for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
Buń et al. Application of professional and low-cost head mounted devices in immersive educational application
KR102446921B1 (en) Wearable apparatus, head mounted display apparatus and system for rehabilitation treatment using virtual transplant based on vr/ar for overcoming phantom pain
KR102253353B1 (en) Method and apparatus for providing rehabilitation content using virtual transplant hand based on vr/ar
Taghian et al. Virtual, augmented reality, and wearable devices for biomedical applications: A review
KR102253352B1 (en) Method and apparatus for providing rehabilitation content using virtual transplant foot based on vr/ar
JP7262763B2 (en) Rehabilitation support device and program
JP2017111537A (en) Head-mounted display and program for head-mounted display
KR102635074B1 (en) Head mounted display apparatus for providing object catching training based on virtual transplant of vr/ar technology, and operation method thereof
Kavakli Gesture recognition in virtual reality
CN219302988U (en) Augmented reality device
Haans et al. Self-attribution and telepresence
JP7450183B2 (en) Phantom limb pain care system, patient device, and program
WO2024095985A1 (en) Epidural anesthesia assistance system, epidural anesthesia training method, and display device control method
JP2022088229A (en) Training support device, training support method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right