KR102365197B1 - Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same - Google Patents

Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same Download PDF

Info

Publication number
KR102365197B1
KR102365197B1 KR1020210039106A KR20210039106A KR102365197B1 KR 102365197 B1 KR102365197 B1 KR 102365197B1 KR 1020210039106 A KR1020210039106 A KR 1020210039106A KR 20210039106 A KR20210039106 A KR 20210039106A KR 102365197 B1 KR102365197 B1 KR 102365197B1
Authority
KR
South Korea
Prior art keywords
rehabilitation
unit
image information
virtual image
user
Prior art date
Application number
KR1020210039106A
Other languages
Korean (ko)
Inventor
박준
Original Assignee
박준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박준 filed Critical 박준
Priority to KR1020210039106A priority Critical patent/KR102365197B1/en
Application granted granted Critical
Publication of KR102365197B1 publication Critical patent/KR102365197B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Child & Adolescent Psychology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Rehabilitation Tools (AREA)

Abstract

A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality according to the present invention comprises: a wearable device provided to be worn on the body of a rehabilitation target user and including a sensor unit for generating user motion data by detecting motion signals generated by the motion of the rehabilitation body part of the rehabilitation target user and neural signals generated by the will for the motion of the rehabilitation body part and a communication unit for transmitting the user motion data; a management server including a database unit for receiving and storing the user motion data transmitted by the wearable device, a data processing unit for generating analysis data by analyzing the motion of the rehabilitation body part that the rehabilitation target user wants to perform through the user motion data, and a virtual image information generating unit for implementing, as virtual image information, the motion of the rehabilitation body part that the rehabilitation target user wants to perform by using the analysis data of the data processing unit; and a head mounted display device provided to be worn on the head of the rehabilitation target user and including a display unit for transmitting an image of the field of view viewed by the rehabilitation target user and an image processing unit for reflecting the virtual image information generated by the virtual image information generating unit on the display unit. Accordingly, it is possible to enable a more effective and hopeful rehabilitation process for the rehabilitation target user.

Description

증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템 및 이를 이용한 재활 심리치료방법{Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same}Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same}

본 발명은 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템 및 이를 이용한 재활 심리치료방법에 관한 것으로서, 보다 상세하게는 증강현실 기술을 활용하여 재활 대상 사용자에게 보다 효과적이고 희망적인 재활 과정이 가능하도록 하는 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템 및 이를 이용한 재활 심리치료방법에 관한 것이다.The present invention relates to a rehabilitation psychotherapy auxiliary system using augmented reality-based artificial intelligence big data and a rehabilitation psychotherapy method using the same, and more particularly, to a more effective and hopeful rehabilitation for a rehabilitation target user using augmented reality technology. It relates to a rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality that makes the process possible, and a rehabilitation psychotherapy method using the same.

재활은 특정한 장애를 가진 사람이 해최적의 신체적, 감각적, 지적, 정신적 및 사회적 기능 수준에 도달하고 유지할 수 있도록 하며, 수준 높은 자립을 달성할 수 있도록 하는 모든 과정을 말한다.Rehabilitation refers to all processes that enable people with specific disabilities to attain and maintain optimal levels of physical, sensory, intellectual, mental and social functioning, and to achieve a high level of independence.

일반적으로 종래의 재활 치료, 특히 신체적인 장애에 대해 이루어지는 재활 치료는 기능이 상실되거나 저하된 해당 신체 부위에 대한 물리적 치료와 함께 반복적인 운동 동작을 수행하여 원래의 기능을 유사하게 복원하는 과정이 동원된다.In general, the conventional rehabilitation treatment, especially the rehabilitation treatment for physical disorders, involves the process of restoring the original function similarly by performing repetitive movement movements along with physical treatment for the body part whose function has been lost or deteriorated. do.

하지만, 재활 대상 환자의 장애 정도가 심해 해당 신체 부위의 운동 동작이 거의 불가능하거나 매우 미미한 수준으로만 동작이 가능한 경우, 재활 대상 환자에 대한 재활 기간이 장기화될 수도 있으며, 나아가 재활 대상 환자가 치료 과정 중 절망감을 느껴 재활에 대한 의지를 놓게 되는 경우도 빈번하다.However, if the degree of disability of the patient to be rehabilitated is so severe that movement of the body part is almost impossible or only to a very insignificant level, the rehabilitation period for the patient may be prolonged, and further, It is often the case that people feel hopeless and give up their will for rehabilitation.

이를 위해 재활 대상 환자에게 희망을 주기 위한 심리적인 치료 과정도 중요하나, 현재까지는 의료인이 단순히 구두로 격려하는 방법밖에 없어 한계가 명확하다는 문제가 있다.To this end, a psychological treatment process to give hope to the rehabilitation target patient is also important, but there is a problem in that there is a clear limitation in the way that medical personnel have only verbal encouragement so far.

따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구된다.Therefore, a method for solving such problems is required.

한국공개특허 제10-2020-0135609호Korean Patent Publication No. 10-2020-0135609

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서, 증강현실 기술을 활용하여 재활 대상 사용자에게 보다 효과적이고 희망적인 재활 과정이 가능하도록 하는 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템과, 이를 이용한 재활 심리치료방법을 제공함에 따라 서비스의 효과를 증대시키기 위한 목적을 가진다.The present invention is an invention devised to solve the above-mentioned problems of the prior art, and utilizes augmented reality-based artificial intelligence big data to enable a more effective and hopeful rehabilitation process for a rehabilitation target user by using augmented reality technology. The purpose of this is to increase the effectiveness of services by providing a rehabilitation psychotherapy auxiliary system and a rehabilitation psychotherapy method using the same.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기한 목적을 달성하기 위한 본 발명의 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템은, 재활 대상 사용자의 몸에 착용하도록 구비되고, 재활 대상 사용자의 재활 신체 부위의 움직임에 의해 발생하는 동작신호 및 재활 신체 부위의 움직임에 대한 의지에 의해 발생하는 신경신호를 감지하여 사용자 동작데이터를 생성하는 센서부와, 상기 사용자 동작데이터를 송신하는 통신부를 포함하는 웨어러블 디바이스, 상기 웨어러블 디바이스에 의해 송신된 사용자 동작데이터를 수신하여 저장하는 데이터베이스부와, 상기 사용자 동작데이터를 통해 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 분석하여 분석데이터를 생성하는 데이터 처리부와, 상기 데이터 처리부의 상기 분석데이터를 이용하여 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 가상 영상정보 생성부를 포함하는 관리서버 및 재활 대상 사용자의 두부에 착용하도록 구비되며, 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 디스플레이부와, 상기 가상 영상정보 생성부에 의해 생성된 가상 영상정보를 상기 디스플레이부에 반영하는 영상처리부를 포함하는 헤드마운트 디스플레이 디바이스를 포함한다.The rehabilitation psychotherapy assistance system using augmented reality-based artificial intelligence big data of the present invention for achieving the above object is provided to be worn on the body of a user for rehabilitation, A wearable device comprising: a sensor unit generating user motion data by sensing motion signals generated and a neural signal generated by the will to the motion of the rehabilitation body part; and a communication unit transmitting the user motion data; to the wearable device A database unit for receiving and storing the user motion data transmitted by the user, a data processing unit for generating analysis data by analyzing the motion of the rehabilitation target user to perform through the user motion data, and the data processing unit A management server including a virtual image information generating unit that implements a motion of a body part that the rehabilitation target user wants to perform as virtual image information by using the analysis data and it is provided to be worn on the head of the rehabilitation target user, and a head-mounted display device including a display unit that transmits an image of a viewing field, and an image processing unit that reflects the virtual image information generated by the virtual image information generator to the display unit.

이때 상기 데이터베이스부는, 상기 디스플레이부로부터 송출되는 송출 영상정보를 수신하여 저장하며, 상기 관리서버는, 상기 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 신체판단부를 더 포함할 수 있다.In this case, the database unit may receive and store the transmitted image information transmitted from the display unit, and the management server may further include a body determination unit for determining whether a rehabilitation body part appears in the transmitted image information.

더불어 상기 영상처리부는, 상기 디스플레이부로부터 송출되는 영상에 재활 신체 부위가 나타난 것으로 판단된 경우에만 상기 가상 영상정보 생성부에 의해 생성된 가상 영상 정보를 상기 디스플레이부에 반영할 수 있다.In addition, the image processing unit may reflect the virtual image information generated by the virtual image information generating unit to the display unit only when it is determined that the rehabilitation body part appears in the image transmitted from the display unit.

그리고 상기 가상 영상정보 생성부는, 상기 데이터 처리부가 상기 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생한 것으로 판단한 경우, 상기 데이터 처리부가 상기 동작신호를 통해 분석한 재활 대상 사용자의 동작 범위에 반비례하여 상기 가상 영상정보를 생성할 수 있다.And the virtual image information generating unit, when the data processing unit determines that actual movement has occurred in the corresponding body part of the rehabilitation target user through the motion signal, the operation range of the rehabilitation target user analyzed by the data processing unit through the motion signal The virtual image information may be generated in inverse proportion to .

이와 같은 경우 상기 가상 영상정보 생성부는, 상기 데이터 처리부가 상기 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 발생한 실제 움직임이 기 설정된 기준동작범위를 만족한 것으로 판단할 경우, 상기 가상 영상정보를 미구현하도록 제어될 수 있다.In this case, the virtual image information generating unit may not implement the virtual image information when the data processing unit determines that the actual motion occurring in the corresponding body part of the user to be rehabilitated satisfies a preset reference motion range through the motion signal. can be controlled to

그리고 상기 데이터베이스부는 상기 가상 영상정보 생성부에 의해 생성된 가상 영상정보를 저장하도록 형성되며, 상기 관리서버는, 상기 데이터베이스부에 저장된 가상 영상정보를 분석 및 가공하여 빅데이터화하는 데이터 후처리부를 더 포함할 수 있다.And the database unit is configured to store the virtual image information generated by the virtual image information generating unit, and the management server further includes a data post-processing unit that analyzes and processes the virtual image information stored in the database unit and converts it into big data. can do.

또한 본 발명은 상기 디스플레이부에 의해 송출되는 영상을 동시에 재생하는 외부 디스플레이 유닛을 더 포함할 수 있다.In addition, the present invention may further include an external display unit that simultaneously reproduces the image transmitted by the display unit.

그리고 상기 웨어러블 디바이스는, 재활 대상 사용자의 재활 신체 부위의 동작을 보조하는 동작 보조부를 더 포함할 수 있다.In addition, the wearable device may further include a motion assistant for assisting the motion of the rehabilitation target user's body part for rehabilitation.

한편 상기 헤드마운트 디스플레이 디바이스는, 상기 디스플레이부를 통해 송출되는 영상을 외부에서 확인 가능하도록 연동되어 영상을 동시 송출하는 보조 디스플레이부를 더 포함할 수 있다.Meanwhile, the head-mounted display device may further include an auxiliary display unit for simultaneously transmitting the image in conjunction with the image transmitted through the display unit so that the external confirmation is possible.

또한 상기 헤드마운트 디스플레이 디바이스는, 재활 대상 사용자의 안면 변화를 인식하는 안면인식부를 더 포함할 수 있다.In addition, the head-mounted display device may further include a face recognition unit for recognizing a change in the face of the user to be rehabilitated.

더불어 상기 관리서버는, 재활 대상 사용자가 재활 신체 부위의 동작을 수행하는 과정에서 발생하는 힘을 계산하여 재활 대상 사용자의 동작을 서포트하기 위한 서포트데이터를 처리 및 출력하는 보조 시스템 처리부를 더 포함할 수 있다.In addition, the management server may further include an auxiliary system processing unit for processing and outputting support data for supporting the operation of the rehabilitation target user by calculating the force generated in the process where the rehabilitation target user performs an operation of the rehabilitation target user there is.

또한 상기한 목적을 달성하기 위한 본 발명의 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법은, 웨어러블 디바이스의 센서부를 통해 재활 대상 사용자의 재활 신체 부위의 움직임에 의해 발생하는 동작신호 및 재활 신체 부위의 움직임에 대한 의지에 의해 발생하는 신경신호를 감지하여 사용자 동작데이터를 생성하는 (a)단계, 관리서버의 데이터베이스부가 상기 사용자 동작데이터를 수신하여 저장하는 (b)단계, 관리서버의 데이터 처리부가 상기 데이터베이스부에 저장된 사용자 동작데이터를 통해 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 분석하여 분석데이터를 생성하는 (c)단계, 관리서버의 가상 영상정보 생성부가 상기 데이터 처리부에 의해 생성된 분석데이터를 기반으로 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 (d)단계 및 헤드마운트 디스플레이 디바이스의 디스플레이부가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 과정에서, 헤드마운트 디스플레이 디바이스의 영상처리부가 상기 가상 영상정보 생성부에 의해 구현된 상기 가상 영상정보를 상기 디스플레이부에 반영하는 (e)단계를 포함한다.In addition, in order to achieve the above object, the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using the augmented reality-based artificial intelligence big data of the present invention for achieving the above object is the movement of the rehabilitation target user's body part through the sensor unit of the wearable device. (a) generating user motion data by detecting motion signals generated by the motion signals and neural signals generated by the will to the movement of the rehabilitation body part, the database unit of the management server receiving and storing the user motion data ( Step b), the data processing unit of the management server analyzes the motion of the rehabilitation target user to perform through the user motion data stored in the database unit to generate analysis data (c) step, the virtual image of the management server (d) in which the information generating unit implements, as virtual image information, the operation of the rehabilitation body part that the rehabilitation target user wants to perform based on the analysis data generated by the data processing unit, and the display unit of the head mounted display device allows the rehabilitation target user In the process of transmitting the image of the viewing field, the image processing unit of the head-mounted display device includes the step (e) of reflecting the virtual image information implemented by the virtual image information generating unit on the display unit.

이때 상기 관리서버는 상기 디스플레이부로부터 송출되는 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 신체판단부를 더 포함하며, 상기 (e)단계는, 상기 디스플레이부가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 (e-1)단계, 상기 데이터베이스부가 상기 디스플레이부로부터 송출되는 송출 영상정보를 수신하여 저장하는 (e-2)단계, 상기 신체판단부가 상기 데이터베이스부에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 (e-3)단계 및 상기 (e-3)단계에 의해 상기 데이터베이스부에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는 것으로 판단된 경우, 상기 영상처리부가 상기 가상 영상정보 생성부에 의해 생성된 가상 영상 정보를 상기 디스플레이부에 반영하는 (e-4)단계를 포함할 수 있다.At this time, the management server further includes a body determination unit for determining whether or not a rehabilitation body part appears in the transmitted image information transmitted from the display unit, wherein the step (e) is, the display unit views the rehabilitation target user (e-1) of transmitting an image of the database unit receiving and storing the transmitted image information transmitted from the display unit (e-2), and the body determination unit is rehabilitated to the transmitted image information stored in the database unit When it is determined that the rehabilitation body part appears in the transmitted image information stored in the database unit by the steps (e-3) and (e-3) of determining whether a body part appears, the image processing unit It may include a step (e-4) of reflecting the virtual image information generated by the virtual image information generating unit to the display unit.

그리고 상기 (d)단계는, 상기 데이터 처리부가 상기 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생하였는지의 여부를 판단하는 (d-1)단계, 상기 (d-1)단계에 의해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생한 것으로 판단한 경우, 해당 신체부위의 운동량을 판단하는 (d-2)단계 및 상기 가상 영상정보 생성부가 상기 (d-2)단계에 의해 판단된 재활 대상 사용자의 해당 신체부위의 운동량에 반비례하여 가상 영상정보를 구현하는 (d-3)단계를 포함할 수 있다.And in the step (d), the data processing unit determines whether actual movement has occurred in the corresponding body part of the user to be rehabilitated through the operation signal (d-1), in the step (d-1) When it is determined that actual movement has occurred in the corresponding body part of the user to be rehabilitated by It may include a step (d-3) of realizing virtual image information in inverse proportion to the amount of motion of the corresponding body part of the target user.

여기서 상기 (d)단계는, 상기 (d-2)단계에 의해 판단된 재활 대상 사용자의 해당 신체부위의 운동량이 기 설정된 기준동작범위를 만족하였을 경우 상기 가상 영상정보를 미구현하도록 하는 (d-4)단계를 더 포함할 수 있다.Here, in step (d), when the amount of exercise of the corresponding body part of the user to be rehabilitated as determined in step (d-2) satisfies the preset reference motion range, the virtual image information is not implemented (d-4) ) may be further included.

또한 상기 데이터베이스부는 가상 영상정보를 분석 및 가공하여 빅데이터화하는 데이터 후처리부를 더 포함하고, 상기 (e)단계 이후에는, 상기 데이터베이스부가 상기 가상 영상정보 생성부에 의해 생성된 가상 영상정보를 저장하는 (f-1)단계 및 상기 데이터 후처리부가 상기 데이터베이스부에 저장된 가상 영상정보를 분석 및 가공하여 빅데이터화하는 (f-2)단계를 포함하는 (f)단계가 더 수행될 수 있다.In addition, the database unit further includes a data post-processing unit that analyzes and processes the virtual image information to make it big data, and after step (e), the database unit stores the virtual image information generated by the virtual image information generating unit. Step (f) including step (f-1) and (f-2) of the data post-processing unit analyzing and processing the virtual image information stored in the database unit into big data may be further performed.

상기한 과제를 해결하기 위한 본 발명의 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템 및 이를 이용한 재활 심리치료방법은, 재활 대상 사용자의 몸에 착용하도록 구비되어 동작신호 및 신경신호를 생성하여 전송하는 웨어러블 디바이스와, 동작신호 및 신경신호를 처리하여 가상 영상정보를 구현하는 관리서버 및 관리서버에 의해 구현된 가상 영상정보를 재활 대상 사용자가 바라보는 실제 시야에 디스플레이하여 나타내는 헤드마운트 디스플레이 디바이스를 포함함에 따라, 재활 대상 사용자가 운동 능력을 상실한 신체 부위에 대한 움직임을 증강현실로 구현하도록 함으로써 재활 대상 사용자에게 보다 효과적이고 희망적인 재활 과정이 가능하도록 할 수 있는 장점이 있다.A rehabilitation psychotherapy auxiliary system using augmented reality-based artificial intelligence big data of the present invention for solving the above problems and a rehabilitation psychotherapy method using the same are provided to be worn on the body of a rehabilitation target user, so that motion signals and nerve signals A wearable device that generates and transmits, a management server that processes motion signals and neural signals to implement virtual image information, and a head mount that displays and displays virtual image information implemented by the management server in the real field of view viewed by the rehabilitation target user As the display device is included, there is an advantage in that a more effective and hopeful rehabilitation process is possible for the rehabilitation target user by realizing the movement of the body part where the rehabilitation target user has lost the exercise ability in augmented reality.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 구성하는 각 구성요소들을 개념적으로 나타낸 도면;
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법의 각 과정을 나타낸 도면;
도 3은 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법에 있어서, (d)단계의 세부 과정을 나타낸 도면;
도 4는 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법에 있어서, (e)단계의 세부 과정을 나타낸 도면; 및
도 5는 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법에 있어서, 추가적으로 수행되는 (f)단계의 세부 과정을 나타낸 도면이다.1 is a diagram conceptually showing each component constituting a rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention;
2 is a view showing each process of a rehabilitation psychotherapy method using a rehabilitation psychotherapy auxiliary system utilizing artificial intelligence big data based on augmented reality according to an embodiment of the present invention;
3 is a view showing the detailed process of step (d) in the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention;
4 is a view showing a detailed process of step (e) in the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention; and
5 is a view showing a detailed process of the additionally performed (f) step in the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention. .

이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention in which the object of the present invention can be specifically realized will be described with reference to the accompanying drawings. In the description of the present embodiment, the same names and the same reference numerals are used for the same components, and an additional description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 구성하는 각 구성요소들을 개념적으로 나타낸 도면이다.1 is a diagram conceptually illustrating each component constituting a rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템은 웨어러블 디바이스(300)와, 관리서버(200)와, 헤드마운트 디스플레이 디바이스(100)를 포함한다.As shown in Fig. 1, the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention is a wearable device 300, a management server 200, and a head mounted display. device 100 is included.

본 실시예에서 웨어러블 디바이스(300)는 재활 대상 사용자의 몸에 착용하도록 구비되고, 재활 대상 사용자의 재활 신체 부위의 움직임에 의해 발생하는 동작신호 및 재활 신체 부위의 움직임에 대한 의지에 의해 발생하는 신경신호를 감지하여 사용자 동작데이터를 생성하는 센서부(310)와, 사용자 동작데이터를 송신하는 통신부(320)를 포함한다.In the present embodiment, the wearable device 300 is provided to be worn on the body of the rehabilitation target user, and a motion signal generated by the movement of the rehabilitation body part of the rehabilitation target user and nerves generated by the will to the motion of the rehabilitation body part It includes a sensor unit 310 that detects a signal to generate user motion data, and a communication unit 320 that transmits user motion data.

이때 웨어러블 디바이스(300)는 재활 대상 사용자가 착용 가능한 형태라면 어떠한 것이라도 적용이 가능하다. 예컨대 웨어러블 디바이스(300)는 재활 대상 사용자의 상체에 착용하는 상의 형태 또는 하체에 착용하는 하의의 형태일 수도 있으며, 손목 등과 같은 관절부에 착용하는 장신구 형태일 수도 있다. 이는 어느 하나의 형태로 제한되지 않는다.At this time, the wearable device 300 can be applied to any type that the rehabilitation target user can wear. For example, the wearable device 300 may be in the form of an upper body worn on the upper body or lower body of the user to be rehabilitated, or in the form of accessories worn on joints such as the wrist. It is not limited to any one form.

그리고 센서부(310)는 재활 대상 사용자의 동작 및 신경신호를 감지하기 위한 다양한 센서를 포함할 수 있으며, 이는 재활 대상 사용자의 재활 신체 부위, 웨어러블 디바이스(300)의 형태 등에 따라 다양한 종류의 센서가 적용될 수 있다.In addition, the sensor unit 310 may include various sensors for detecting the motion and neural signals of the rehabilitation target user, which includes various types of sensors depending on the rehabilitation target user's rehabilitation body part, the shape of the wearable device 300, and the like. can be applied.

또한 통신부(320)는 사용자 동작데이터를 유선 통신 또는 무선 통신 등을 통해 관리서버(200) 측에 송신할 수 있으며, 그 통신 방식은 공지의 다양한 통신 방식과 더불어 향후 개발될 새로운 통신 방식이 적용될 수 있음은 물론이다.In addition, the communication unit 320 may transmit the user operation data to the management server 200 through wired communication or wireless communication, etc., and the communication method may be applied to a new communication method to be developed in addition to various known communication methods. of course there is

이와 더불어 웨어러블 디바이스(300)는 재활 대상 사용자의 재활 신체 부위의 동작을 보조하는 동작 보조부(330)를 더 포함할 수 있다.In addition to this, the wearable device 300 may further include a motion assisting unit 330 that assists the motion of the rehabilitation target user's body part for rehabilitation.

동작 보조부(330)는 별도의 액추에이터 등을 활용하여 재활 대상 사용자의 재활 신체 부위의 동작을 보조하도록 구비될 수 있으며, 이를 통해 재활 대상 사용자의 재활에 필요한 감각을 느낄 수 있도록 보조가 가능하며, 재활 기간을 단축시키도록 할 수 있다.The motion assistance unit 330 may be provided to assist the operation of the rehabilitation target user's rehabilitation body part by using a separate actuator, etc., and through this, assistance is possible so that the rehabilitation target user can feel the senses necessary for rehabilitation. period can be shortened.

관리서버(200)는 웨어러블 디바이스(300)에 의해 송신된 사용자 동작데이터를 수신하여 저장하는 데이터베이스부(210)와, 이와 같은 사용자 동작데이터를 통해 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 분석하여 분석데이터를 생성하는 데이터 처리부(220)와, 데이터 처리부(220)가 생성한 분석데이터를 이용하여 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 가상 영상정보 생성부(230)를 포함한다.The management server 200 receives and stores the user motion data transmitted by the wearable device 300, and the database unit 210, and the user motion data, the rehabilitation target user wants to perform the motion of the body part. The data processing unit 220 that analyzes and generates the analysis data, and the virtual image information generation that implements the operation of the rehabilitation body part that the rehabilitation target user wants to perform as virtual image information using the analysis data generated by the data processing unit 220 part 230 .

즉 데이터 처리부(220)는 사용자 동작데이터를 통해 재활 대상 사용자가 수행하기를 원하는 동작을 예측 분석하며, 가상 영상정보 생성부(230)는 이를 기반으로 하여 해당 동작을 그래픽화하여 기 설정된 초당 프레임으로 재생함에 따라 가상 영상정보를 구현하게 된다.That is, the data processing unit 220 predicts and analyzes the operation that the rehabilitation target user wants to perform through the user movement data, and the virtual image information generator 230 graphically converts the operation based on this to a preset frame per second. As it is played, virtual image information is realized.

그리고 헤드마운트 디스플레이 디바이스(100)는 재활 대상 사용자의 두부에 착용하도록 구비된다.And the head-mounted display device 100 is provided to be worn on the head of the user to be rehabilitated.

본 실시예에서 헤드마운트 디스플레이 디바이스(100)는 세부적으로 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 디스플레이부(110)와, 가상 영상정보 생성부(230)에 의해 생성된 가상 영상정보를 디스플레이부(110)에 반영하기 위해 처리하는 영상처리부(120)를 포함한다.In this embodiment, the head-mounted display device 100 displays the virtual image information generated by the display unit 110 for transmitting an image of the field of view viewed by the user to be rehabilitated in detail, and the virtual image information generating unit 230 . It includes an image processing unit 120 that processes to be reflected in the unit 110 .

즉 디스플레이부(110)는 현재 재활 대상 사용자가 바라보고 있는 시야의 실제 모습을 그대로 송출하되, 영상처리부(120)는 가상 영상정보를 소정의 포맷으로 데이터 처리하여 디스플레이부(110)에 재생함으로써 재활 대상 사용자가 이를 가시적으로 확인할 수 있도록 한다.That is, the display unit 110 transmits the actual view of the field of view currently viewed by the rehabilitation target user as it is, but the image processing unit 120 processes the virtual image information in a predetermined format and reproduces it on the display unit 110 for rehabilitation. Make it visible to the target user.

예컨대 재활 대상 사용자의 재활 대상 신체 부위가 팔 부위이며 재활 대상 사용자가 자신의 팔 부위 바라보고 있다고 가정할 경우, 디스플레이부(110)가 재활 대상 사용자의 현재 시야를 그대로 송출하고, 영상처리부(120)는 팔의 움직임을 구현한 가상 영상정보를 처리하여 디스플레이부(110)에 나타나도록 할 수 있다.For example, if it is assumed that the rehabilitation target user's body part is an arm, and the rehabilitation target user is looking at his/her arm, the display unit 110 transmits the current view of the rehabilitation target user as it is, and the image processing unit 120 can process the virtual image information realizing the movement of the arm to be displayed on the display unit 110 .

이에 따라 본 발명은 재활 대상 사용자가 운동 능력을 상실한 신체 부위에 대한 움직임을 증강현실로 구현하도록 함으로써 재활 대상 환자의 신체적 재활 활동과 더불어 희망을 주기 위한 심리적인 치료 과정을 함께 제공할 수 있는 장점을 가지게 된다.Accordingly, the present invention has the advantage of providing a psychological treatment process to give hope along with the physical rehabilitation activity of the rehabilitation target patient by allowing the rehabilitation target user to implement the movement of the body part that has lost the exercise ability in augmented reality. will have

또한 본 실시예의 경우 재활 대상 사용자가 현재 디스플레이부(110)를 통해 주시하고 있는 장면은 외부 디스플레이 유닛(400)으로 동시에 송출이 가능하도록 하여, 재활 치료를 수행하고 있는 의료자가 함께 확인하도록 할 수도 있다.In addition, in the present embodiment, the scene that the rehabilitation target user is currently watching through the display unit 110 can be simultaneously transmitted to the external display unit 400 so that a medical practitioner performing rehabilitation treatment can check it together. .

한편 본 실시예에서 데이터베이스부(210)는, 디스플레이부(110)로부터 송출되는 송출 영상정보를 수신하여 저장할 수 있으며, 관리서버(200)는, 데이터베이스부(210)에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 신체판단부(240)를 더 포함할 수 있다.Meanwhile, in the present embodiment, the database unit 210 may receive and store transmitted image information transmitted from the display unit 110 , and the management server 200 may add the transmitted image information stored in the database unit 210 to the rehabilitation body. It may further include a body determination unit 240 for determining whether or not a part appears.

그리고 영상처리부(120)는 신체판단부(240)를 통해 디스플레이부(110)로부터 송출되는 영상에 재활 신체 부위가 나타난 것으로 판단된 경우에만 가상 영상정보 생성부(230)에 의해 생성된 가상 영상 정보를 상기 디스플레이부(110)에 반영하도록 할 수 있다.In addition, the image processing unit 120 generates virtual image information generated by the virtual image information generation unit 230 only when it is determined that the rehabilitation body part appears in the image transmitted from the display unit 110 through the body determination unit 240 . may be reflected on the display unit 110 .

이와 같이 하는 것은 재활 신체 부위를 명확하게 식별하여 해당 부위에 덧씌워지는 가상 영상 정보의 영상 싱크로율을 증가시키기 위한 것이다.This is to clearly identify the rehabilitation body part and increase the image synchronization rate of virtual image information overlaid on the relevant part.

더불어 본 실시예에서 가상 영상정보 생성부(230)는 데이터 처리부(220)가 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생한 것으로 판단한 경우, 데이터 처리부(220)가 동작신호를 통해 분석한 재활 대상 사용자의 동작 범위에 반비례하여 가상 영상정보를 생성할 수 있다.In addition, in the present embodiment, when the data processing unit 220 determines that actual movement has occurred in the corresponding body part of the user to be rehabilitated through the operation signal, the virtual image information generation unit 230 generates the data processing unit 220 through the operation signal. Virtual image information may be generated in inverse proportion to the analyzed motion range of the user to be rehabilitated.

즉 재활 대상 사용자의 해당 신체부위가 실제로 큰 범위에 걸쳐 움직임이 발생하였을 경우, 데이터 처리부(220)는 해당 신체부위가 작은 범위에 걸쳐 움직이는 가상 영상정보를 생성하여 목표 움직임까지의 남은 범위를 보상하도록 할 수 있으며, 반대로 재활 대상 사용자의 해당 신체부위가 실제로 작은 범위에 걸쳐 움직임이 발생하였을 경우, 데이터 처리부(220)는 해당 신체부위가 큰 범위에 걸쳐 움직이는 가상 영상정보를 생성하여 목표 움직임까지의 남은 범위를 보상하도록 할 수 있다.That is, when the corresponding body part of the user to be rehabilitated actually moves over a large range, the data processing unit 220 generates virtual image information in which the corresponding body part moves over a small range to compensate for the remaining range up to the target movement. On the other hand, when the corresponding body part of the user to be rehabilitated actually moves over a small range, the data processing unit 220 generates virtual image information in which the corresponding body part moves over a large range, and the remaining until the target movement is reached. range can be compensated.

그리고 가상 영상정보 생성부(230)는, 데이터 처리부(220)가 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 발생한 실제 움직임이 기 설정된 기준동작범위, 즉 목표 움직임을 만족한 것으로 판단할 경우에는, 가상 영상정보를 미구현하도록 제어될 수 있다.In addition, when the virtual image information generating unit 230 determines that the data processing unit 220 satisfies the preset reference motion range, that is, the target motion, the actual motion occurring in the corresponding body part of the user to be rehabilitated through the motion signal. , it can be controlled to not implement virtual image information.

이는 재활 대상 사용자의 해당 신체부위가 실제로 목표 움직임을 만족하였기 때문에, 불필요한 데이터의 생성을 방지하여 데이터의 낭비를 최소화하기 위한 것이다.This is to minimize data wastage by preventing the generation of unnecessary data because the corresponding body part of the user to be rehabilitated actually satisfies the target movement.

또한 본 실시예에서 데이터베이스부(210)는 가상 영상정보 생성부(230)에 의해 생성된 가상 영상정보를 저장하도록 형성될 수 있다.Also, in the present embodiment, the database unit 210 may be configured to store the virtual image information generated by the virtual image information generating unit 230 .

이와 같은 경우 관리서버(200)는, 데이터베이스부(210)에 저장된 가상 영상정보를 분석 및 가공하여 빅데이터화하는 데이터 후처리부(250)를 더 포함할 수 있다. 그리고 데이터 후처리부(250)에 의해 빅데이터화된 데이터들은 추후 가상 영상정보 생성부(230)의 가상 영상정보 생성 과정에 선행 데이터로서 반영될 수 있으며, 인공지능을 통한 학습을 통해 가상 영상정보의 품질을 더욱 높일 수 있도록 한다.In this case, the management server 200 may further include a data post-processing unit 250 that analyzes and processes the virtual image information stored in the database unit 210 into big data. And the data big dataized by the data post-processing unit 250 may be reflected as preceding data in the virtual image information generation process of the virtual image information generating unit 230 later, and the quality of the virtual image information through learning through artificial intelligence to make it higher.

그리고 관리서버(200)는 재활 대상 사용자가 재활 신체 부위의 동작을 수행하는 과정에서 발생하는 힘을 계산하여 재활 대상 사용자의 동작을 서포트하기 위한 서포트데이터를 처리 및 출력하는 보조 시스템 처리부(미도시)를 더 포함할 수도 있다.And the management server 200 is an auxiliary system processing unit (not shown) for processing and outputting support data for supporting the operation of the rehabilitation target user by calculating the force generated in the process of the rehabilitation target user performing the motion of the rehabilitation target user may further include.

이와 같은 보조 시스템 처리부는 재활 대상 사용자가 일정 동작을 취하는 과정에 있어서 일정 부분을 서포트하기 위해, 동작 시 발생하는 힘을 계측한 뒤 필요한 서포트 힘의 양을 산출한 뒤 물리적인 반영 데이터인 서포트데이터를 생성하게 된다.In order to support a certain part of the rehabilitation target user in the process of taking a certain motion, the auxiliary system processing unit measures the force generated during operation, calculates the amount of support force required, and then receives the support data, which is the physical reflection data. will create

한편 본 실시예에서 헤드마운트 디스플레이 디바이스(100)는, 디스플레이부(110)에 의해 송출되는 영상을 동시에 재생하는 외부 디스플레이 유닛을 더 포함할 수도 있다.Meanwhile, in the present embodiment, the head-mounted display device 100 may further include an external display unit that simultaneously reproduces images transmitted by the display unit 110 .

외부 디스플레이 유닛은 재활 대상 사용자가 현재 바라보고 있는 화면을 외부에서 확인할 수 있도록 하여 재활 치료를 수행하고 있는 의료자가 재활 대상 사용자의 현재 수행하고 있는 실제 행동과 더불어 재활 대상 사용자가 주시하고 있는 화면을 동시에 확인하여 치료에 참고할 수 있도록 한다.The external display unit allows the rehabilitation target user to check the currently viewed screen from the outside, so that the medical practitioner performing rehabilitation can simultaneously view the current actual behavior of the rehabilitation target user and the screen the rehabilitation target user is watching Check it out so that it can be used as a reference for treatment.

또한 헤드마운트 디스플레이 디바이스(110)는, 재활 대상 사용자의 안면 변화를 인식하는 안면인식부를 더 포함할 수도 있다.In addition, the head-mounted display device 110 may further include a face recognition unit for recognizing a change in the face of the user to be rehabilitated.

이와 같은 안면인식부는 헤드마운트 디스플레이 디바이스(110)의 내측에 구비되어 재활 대상 사용자의 안면부 동작과 표정 등을 인식할 수 있도록 하나 이상의 센서를 포함할 수 있으며, 의료자는 이를 통해 치료의 보조 정보로 활용이 가능하다.Such a face recognition unit is provided on the inside of the head mounted display device 110 and may include one or more sensors so as to recognize the motion and expression of the face of the user to be rehabilitated. This is possible.

이상으로 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템에 대해 설명하였으며, 이하에서는 이를 이용하여 재활 심리치료를 수행하는 과정에 대해 자세히 설명하도록 한다.As described above, the rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention has been described. Hereinafter, a process of performing rehabilitation psychotherapy using this has been described in detail.

도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법의 각 과정을 나타낸 도면이다.2 is a view showing each process of a rehabilitation psychotherapy method using a rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법은 (a)단계 내지 (e)단계를 포함한다.As shown in Fig. 2, the method of rehabilitation psychotherapy using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention includes steps (a) to (e) do.

먼저 (a)단계는, 웨어러블 디바이스(300)의 센서부(310)를 통해 재활 대상 사용자의 재활 신체 부위의 움직임에 의해 발생하는 동작신호 및 재활 신체 부위의 움직임에 대한 의지에 의해 발생하는 신경신호를 감지하여 사용자 동작데이터를 생성하는 과정이다.First, in step (a), through the sensor unit 310 of the wearable device 300, a motion signal generated by the movement of the rehabilitation body part of the user to be rehabilitated and a neural signal generated by the will to the movement of the rehabilitation body part It is the process of generating user motion data by detecting

이후 (b)단계에서는, 관리서버(200)의 데이터베이스부(210)가 웨어러블 디바이스(300)의 통신부(320)를 통해 송신된 사용자 동작데이터를 수신하여 저장하게 된다.Thereafter, in step (b), the database unit 210 of the management server 200 receives and stores the user operation data transmitted through the communication unit 320 of the wearable device 300 .

그리고 (c)단계에서는, 관리서버(200)의 데이터 처리부(220)가 데이터베이스부(210)에 저장된 사용자 동작데이터를 통해 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 분석하여 분석데이터를 생성한다.And in step (c), the data processing unit 220 of the management server 200 generates analysis data by analyzing the motion of the rehabilitation target user to be performed through the user motion data stored in the database unit 210 . do.

또한 이후 수행되는 (d)단계는 관리서버(200)의 가상 영상정보 생성부(230)가 데이터 처리부(220)에 의해 생성된 분석데이터를 기반으로 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 과정이다.In addition, step (d) performed thereafter is an operation of a rehabilitation body part that the user to be rehabilitated based on the analysis data generated by the data processing unit 220 by the virtual image information generation unit 230 of the management server 200 . is the process of realizing as virtual image information.

다음으로 (e)단계는, 헤드마운트 디스플레이 디바이스(100)의 디스플레이부(110)가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 과정에서, 헤드마운트 디스플레이 디바이스(100)의 영상처리부(120)가 가상 영상정보 생성부(230)에 의해 구현된 가상 영상정보를 디스플레이부(110)에 반영하게 된다.Next, in step (e), the display unit 110 of the head mounted display device 100 transmits the image of the field of view viewed by the rehabilitation target user, the image processing unit 120 of the head mounted display device 100 The virtual image information implemented by the virtual image information generating unit 230 is reflected on the display unit 110 .

이상과 같은 과정을 거쳐, 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료를 수행하는 과정이 이루어진다.Through the above process, a process of performing rehabilitation psychotherapy using a rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention is performed.

한편 도 3은 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법에 있어서, (d)단계의 세부 과정을 나타낸 도면이다.On the other hand, Figure 3 is a view showing the detailed process of step (d) in the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 관리서버(200)의 가상 영상정보 생성부(230)가 데이터 처리부(220)에 의해 생성된 분석데이터를 기반으로 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 과정인 (d)단계는 세부적인 복수 단계를 포함한다.As shown in FIG. 3 , the virtual image information generating unit 230 of the management server 200 performs the operation of the rehabilitation body part that the rehabilitation target user wants to perform based on the analysis data generated by the data processing unit 220 . Step (d), which is a process for implementing as virtual image information, includes a plurality of detailed steps.

구체적으로 본 실시예에서 (d)단계는 데이터 처리부(220)가 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생하였는지의 여부를 판단하는 (d-1)단계와, (d-1)단계에 의해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생한 것으로 판단한 경우, 해당 신체부위의 운동량을 판단하는 (d-2)단계와, 가상 영상정보 생성부(230)가 상기 (d-2)단계에 의해 판단된 재활 대상 사용자의 해당 신체부위의 운동량에 반비례하여 가상 영상정보를 구현하는 (d-3)단계를 포함한다.Specifically, in the present embodiment, step (d) includes a step (d-1) in which the data processing unit 220 determines whether actual movement has occurred in the corresponding body part of the user to be rehabilitated through the motion signal, (d-1), (d- When it is determined that the actual movement has occurred in the corresponding body part of the user to be rehabilitated by step 1), the step (d-2) of determining the amount of exercise of the corresponding body part, and the virtual image information generating unit 230 (d- Step 2) includes a step (d-3) of realizing virtual image information in inverse proportion to the amount of exercise of the body part of the rehabilitation target user determined by step (d-3).

즉 이와 같은 (d)단계의 세부 과정들은 재활 대상 사용자의 해당 신체부위의 실제 움직임과 목표 움직임까지의 남은 범위를 보상하도록 하기 위한 과정이다.That is, the detailed processes of step (d) are a process for compensating for the remaining range up to the actual movement and the target movement of the corresponding body part of the user to be rehabilitated.

또한 이와 더불어, (d)단계는, (d-2)단계에 의해 판단된 재활 대상 사용자의 해당 신체부위의 운동량이 기 설정된 기준동작범위를 만족하였을 경우 상기 가상 영상정보를 미구현하도록 하는 (d-4)단계를 더 포함할 수 있다. 이는 전술한 바와 같이, 데이터의 낭비를 방지하기 위한 것이다.In addition, in step (d), when the amount of exercise of the corresponding body part of the user to be rehabilitated as determined in step (d-2) satisfies the preset reference motion range, the virtual image information is not implemented (d- 4) may further include a step. This is to prevent wastage of data, as described above.

그리고 도 4는 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법에 있어서, (e)단계의 세부 과정을 나타낸 도면이다.And Figure 4 is a view showing the detailed process of step (e) in the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 헤드마운트 디스플레이 디바이스(100)의 디스플레이부(110)가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 과정에서, 헤드마운트 디스플레이 디바이스(100)의 영상처리부(120)가 가상 영상정보 생성부(230)에 의해 구현된 가상 영상정보를 디스플레이부(110)에 반영하는 (e)단계 역시 세부적인 복수 단계를 포함할 수 있다.As shown in FIG. 4 , in the process of the display unit 110 of the head mounted display device 100 transmitting an image of the field of view viewed by the rehabilitation target user, the image processing unit 120 of the head mounted display device 100 . Step (e) of reflecting the virtual image information implemented by the virtual image information generating unit 230 on the display unit 110 may also include a plurality of detailed steps.

구체적으로 본 실시예에서 (e)단계는, 디스플레이부(110)가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 (e-1)단계와, 데이터베이스부(210)가 디스플레이부(110)로부터 송출되는 송출 영상정보를 수신하여 저장하는 (e-2)단계와, 신체판단부(240)가 데이터베이스부(210)에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 (e-3)단계와, (e-3)단계에 의해 데이터베이스부(210)에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는 것으로 판단된 경우, 영상처리부(120)가 가상 영상정보 생성부(230)에 의해 생성된 가상 영상 정보를 디스플레이부(110)에 반영하는 (e-4)단계를 포함한다.Specifically, in the present embodiment, step (e) includes a step (e-1) in which the display unit 110 transmits an image of a field of view viewed by the rehabilitation target user, and a step (e-1) in which the database unit 210 is transmitted from the display unit 110. Step (e-2) of receiving and storing the transmitted image information to be transmitted, and (e-) in which the body determination unit 240 determines whether a rehabilitation body part appears in the transmitted image information stored in the database unit 210 (e-) When it is determined that the rehabilitation body part appears in the transmitted image information stored in the database unit 210 by steps 3) and (e-3), the image processing unit 120 sends the virtual image information generation unit 230 and a step (e-4) of reflecting the generated virtual image information on the display unit 110 .

즉 이와 같은 (e)단계의 세부 과정들은 신체판단부(240)를 통해 디스플레이부(110)로부터 송출되는 영상에 재활 신체 부위가 나타난 것으로 판단된 경우에만 가상 영상정보 생성부(230)에 의해 생성된 가상 영상 정보를 디스플레이부(110)에 반영하도록 하기 위한 과정이다.That is, the detailed processes of step (e) are generated by the virtual image information generation unit 230 only when it is determined that the rehabilitation body part appears in the image transmitted from the display unit 110 through the body determination unit 240 . This is a process for reflecting the virtual image information on the display unit 110 .

도 5는 본 발명의 일 실시예에 따른 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 재활 심리치료방법에 있어서, 추가적으로 수행되는 (f)단계의 세부 과정을 나타낸 도면이다.5 is a view showing a detailed process of the additionally performed (f) step in the rehabilitation psychotherapy method using the rehabilitation psychotherapy auxiliary system using artificial intelligence big data based on augmented reality according to an embodiment of the present invention. .

도 5에 도시된 바와 같이, 본 실시예에서 (e)단계 이후에는 (f)단계가 더 수행될 수 있으며, (f)단계는 세부적으로 데이터베이스부(210)가 가상 영상정보 생성부(230)에 의해 생성된 가상 영상정보를 저장하는 (f-1)단계와, 데이터 후처리부(250)가 데이터베이스부(210)에 저장된 가상 영상정보를 분석 및 가공하여 빅데이터화하는 (f-2)단계를 포함한다.As shown in FIG. 5 , in this embodiment, after step (e), step (f) may be further performed, and step (f) is detailed by the database unit 210 and the virtual image information generating unit 230 . (f-1) of storing the virtual image information generated by include

즉 이와 같은 (e)단계의 세부 과정들은 가상 영상정보를 빅데이터화기 위해 수행되는 과정들이다.That is, the detailed processes of step (e) are processes performed to convert virtual image information into big data.

이와 같이 본 발명은 재활 대상 사용자가 운동 능력을 상실한 신체 부위에 대한 움직임을 증강현실로 구현하도록 함으로써 재활 대상 사용자에게 보다 효과적이고 희망적인 재활 과정이 가능하도록 한다.As described above, the present invention enables a more effective and hopeful rehabilitation process for the rehabilitation target user by realizing the movement of the body part where the rehabilitation target user has lost the exercise ability in augmented reality.

이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.As described above, preferred embodiments according to the present invention have been reviewed, and the fact that the present invention can be embodied in other specific forms without departing from the spirit or scope of the present invention other than the above-described embodiments is a fact having ordinary skill in the art. It is obvious to them. Therefore, the above-described embodiments are to be regarded as illustrative rather than restrictive, and accordingly, the present invention is not limited to the above description, but may be modified within the scope of the appended claims and their equivalents.

100: 헤드마운트 디스플레이 디바이스
110: 디스플레이부
120: 영상처리부
200: 관리서버
210: 데이터베이스부
220: 데이터 처리부
230: 가상 영상정보 생성부
240: 신체판단부
250: 데이터 후처리부
300: 웨어러블 디바이스
310: 센서부
320: 통신부
330: 동작 보조부
400: 외부 디스플레이 유닛100: head mounted display device
110: display unit
120: image processing unit
200: management server
210: database unit
220: data processing unit
230: virtual image information generating unit
240: body judgment unit
250: data post-processing unit
300: wearable device
310: sensor unit
320: communication unit
330: motion auxiliary unit
400: external display unit

Claims (16)

재활 대상 사용자의 몸에 착용하도록 구비되고, 재활 대상 사용자의 재활 신체 부위의 움직임에 의해 발생하는 동작신호 및 재활 신체 부위의 움직임에 대한 의지에 의해 발생하는 신경신호를 감지하여 사용자 동작데이터를 생성하는 센서부와, 상기 사용자 동작데이터를 송신하는 통신부를 포함하는 웨어러블 디바이스;
상기 웨어러블 디바이스에 의해 송신된 사용자 동작데이터를 수신하여 저장하는 데이터베이스부와, 상기 사용자 동작데이터를 통해 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 분석하여 분석데이터를 생성하는 데이터 처리부와, 상기 데이터 처리부의 상기 분석데이터를 이용하여 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 가상 영상정보 생성부를 포함하는 관리서버; 및
재활 대상 사용자의 두부에 착용하도록 구비되며, 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 디스플레이부와, 상기 가상 영상정보 생성부에 의해 생성된 가상 영상정보를 상기 디스플레이부에 반영하는 영상처리부를 포함하는 헤드마운트 디스플레이 디바이스;를 포함하고,
상기 가상 영상정보 생성부는,
상기 데이터 처리부가 상기 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생한 것으로 판단한 경우,
상기 재활 대상 사용자의 해당 신체부위가 실제로 작은 범위에 걸쳐 움직임이 발생하였을 경우, 상기 데이터 처리부는 목표 움직임까지 남은 거리를 보상하도록 해당 신체부위가 큰 범위에 걸쳐 움직이는 가상 영상정보를 생성하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.It is provided to be worn on the body of the rehabilitation target user, and generates user motion data by detecting motion signals generated by the movement of the rehabilitation target user's body parts and neural signals generated by the will of the rehabilitation body parts. a wearable device including a sensor unit and a communication unit transmitting the user motion data;
a database unit for receiving and storing the user motion data transmitted by the wearable device; and a data processing unit for generating analysis data by analyzing the motion of the rehabilitation target user to be performed through the user motion data; a management server including a virtual image information generating unit that implements, as virtual image information, an operation of a body part that a rehabilitation target user wants to perform by using the analysis data of the data processing unit; and
A display unit that is provided to be worn on the head of a rehabilitation target user and transmits an image of a field of view viewed by the rehabilitation target user, and an image processing unit that reflects the virtual image information generated by the virtual image information generating unit to the display unit Including; a head-mounted display device comprising;
The virtual image information generating unit,
When the data processing unit determines that actual movement has occurred in the corresponding body part of the user to be rehabilitated through the operation signal,
When the corresponding body part of the user to be rehabilitated actually moves over a small range, the data processing unit generates virtual image information in which the corresponding body part moves over a large range to compensate for the remaining distance to the target movement,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항에 있어서,
상기 데이터베이스부는,
상기 디스플레이부로부터 송출되는 송출 영상정보를 수신하여 저장하며,
상기 관리서버는,
상기 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 신체판단부를 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
The database unit,
Receives and stores the transmitted image information transmitted from the display unit,
The management server,
Further comprising a body determination unit for determining whether a rehabilitation body part appears in the transmitted image information,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제2항에 있어서,
상기 영상처리부는,
상기 디스플레이부로부터 송출되는 영상에 재활 신체 부위가 나타난 것으로 판단된 경우에만 상기 가상 영상정보 생성부에 의해 생성된 가상 영상 정보를 상기 디스플레이부에 반영하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.3. The method of claim 2,
The image processing unit,
Reflecting the virtual image information generated by the virtual image information generating unit to the display unit only when it is determined that the rehabilitation body part appears in the image transmitted from the display unit,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 삭제delete 삭제delete 제1항에 있어서,
상기 데이터베이스부는 상기 가상 영상정보 생성부에 의해 생성된 가상 영상정보를 저장하도록 형성되며,
상기 관리서버는,
상기 데이터베이스부에 저장된 가상 영상정보를 분석 및 가공하여 빅데이터화하는 데이터 후처리부를 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
The database unit is formed to store the virtual image information generated by the virtual image information generating unit,
The management server,
Further comprising a data post-processing unit to analyze and process the virtual image information stored in the database unit into big data,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항에 있어서,
상기 디스플레이부에 의해 송출되는 영상을 동시에 재생하는 외부 디스플레이 유닛을 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
Further comprising an external display unit that simultaneously reproduces the image transmitted by the display unit,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항에 있어서,
상기 웨어러블 디바이스는,
재활 대상 사용자의 재활 신체 부위의 동작을 보조하는 동작 보조부를 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
The wearable device,
Further comprising a motion assisting unit for assisting the motion of the rehabilitation body part of the user to be rehabilitated,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항에 있어서,
상기 헤드마운트 디스플레이 디바이스는,
상기 디스플레이부를 통해 송출되는 영상을 외부에서 확인 가능하도록 연동되어 영상을 동시 송출하는 보조 디스플레이부를 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
The head mounted display device,
Further comprising an auxiliary display unit that simultaneously transmits the image in conjunction with the image transmitted through the display unit so as to be confirmed from the outside,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항에 있어서,
상기 헤드마운트 디스플레이 디바이스는,
재활 대상 사용자의 안면 변화를 인식하는 안면인식부를 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
The head mounted display device,
Further comprising a face recognition unit for recognizing a change in the face of the rehabilitation target user,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항에 있어서,
상기 관리서버는,
재활 대상 사용자가 재활 신체 부위의 동작을 수행하는 과정에서 발생하는 힘을 계산하여 재활 대상 사용자의 동작을 서포트하기 위한 서포트데이터를 처리 및 출력하는 보조 시스템 처리부를 더 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템.According to claim 1,
The management server,
Further comprising an auxiliary system processing unit for processing and outputting support data for supporting the operation of the rehabilitation target user by calculating the force generated in the process in which the rehabilitation target user performs the motion of the rehabilitation target user,
A rehabilitation psychotherapy assistance system using artificial intelligence big data based on augmented reality. 제1항의 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료 보조시스템을 이용한 증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료방법에 있어서,
웨어러블 디바이스의 센서부를 통해 재활 대상 사용자의 재활 신체 부위의 움직임에 의해 발생하는 동작신호 및 재활 신체 부위의 움직임에 대한 의지에 의해 발생하는 신경신호를 감지하여 사용자 동작데이터를 생성하는 (a)단계;
관리서버의 데이터베이스부가 상기 사용자 동작데이터를 수신하여 저장하는 (b)단계;
관리서버의 데이터 처리부가 상기 데이터베이스부에 저장된 사용자 동작데이터를 통해 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 분석하여 분석데이터를 생성하는 (c)단계;
관리서버의 가상 영상정보 생성부가 상기 데이터 처리부에 의해 생성된 분석데이터를 기반으로 재활 대상 사용자가 수행하고자 하는 재활 신체 부위의 동작을 가상 영상정보로서 구현하는 (d)단계; 및
헤드마운트 디스플레이 디바이스의 디스플레이부가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 과정에서, 헤드마운트 디스플레이 디바이스의 영상처리부가 상기 가상 영상정보 생성부에 의해 구현된 상기 가상 영상정보를 상기 디스플레이부에 반영하는 (e)단계;를 포함하고,
상기 (d)단계는,
상기 데이터 처리부가 상기 동작신호를 통해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생하였는지의 여부를 판단하는 (d-1)단계;
상기 (d-1)단계에 의해 재활 대상 사용자의 해당 신체부위에 실제 움직임이 발생한 것으로 판단한 경우, 해당 신체부위의 운동량을 판단하는 (d-2)단계; 및
상기 재활 대상 사용자의 해당 신체부위가 실제로 작은 범위에 걸쳐 움직임이 발생하였을 경우, 상기 데이터 처리부는 목표 움직임까지 남은 거리를 보상하도록 해당 신체부위가 큰 범위에 걸쳐 움직이는 가상 영상정보를 생성하는 (d-3)단계;
를 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료방법.In the rehabilitation psychotherapy method using augmented reality-based artificial intelligence big data using the rehabilitation psychotherapy auxiliary system using the augmented reality-based artificial intelligence big data of claim 1,
(a) generating user motion data by detecting motion signals generated by the movement of the rehabilitation body part of the user to be rehabilitated through the sensor unit of the wearable device and neural signals generated by the will to the motion of the rehabilitation body part;
(b) receiving and storing the user operation data by the database unit of the management server;
(c) generating, by the data processing unit of the management server, the analysis data by analyzing the operation of the rehabilitation target user to be performed through the user operation data stored in the database unit;
(d) step of the virtual image information generating unit of the management server realizing, as virtual image information, the operation of the rehabilitation target user to be performed on the basis of the analysis data generated by the data processing unit; and
In a process in which the display unit of the head mounted display device transmits the image of the field of view viewed by the rehabilitation target user, the image processing unit of the head mounted display device reflects the virtual image information implemented by the virtual image information generating unit to the display unit (e) step; including;
Step (d) is,
(d-1) step of the data processing unit determining whether actual movement has occurred in the corresponding body part of the user to be rehabilitated through the operation signal;
(d-2) determining the amount of exercise of the body part when it is determined that actual movement has occurred in the corresponding body part of the user to be rehabilitated by the step (d-1); and
When the corresponding body part of the user to be rehabilitated actually moves over a small range, the data processing unit generates virtual image information in which the corresponding body part moves over a large range to compensate for the remaining distance to the target movement (d- 3) step;
containing,
A rehabilitation psychotherapy method using artificial intelligence big data based on augmented reality. 제12항에 있어서,
상기 관리서버는 상기 디스플레이부로부터 송출되는 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 신체판단부를 더 포함하며,
상기 (e)단계는,
상기 디스플레이부가 재활 대상 사용자가 바라보는 시야의 영상을 송출하는 (e-1)단계;
상기 데이터베이스부가 상기 디스플레이부로부터 송출되는 송출 영상정보를 수신하여 저장하는 (e-2)단계;
상기 신체판단부가 상기 데이터베이스부에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는지의 여부를 판단하는 (e-3)단계; 및
상기 (e-3)단계에 의해 상기 데이터베이스부에 저장된 송출 영상정보에 재활 신체 부위가 나타나고 있는 것으로 판단된 경우, 상기 영상처리부가 상기 가상 영상정보 생성부에 의해 생성된 가상 영상 정보를 상기 디스플레이부에 반영하는 (e-4)단계;
를 포함하는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료방법.13. The method of claim 12,
The management server further includes a body determination unit for determining whether a rehabilitation body part appears in the transmitted image information transmitted from the display unit,
Step (e) is,
(e-1) step of the display unit transmitting an image of the field of view viewed by the rehabilitation target user;
(e-2) step of the database unit receiving and storing the transmitted image information transmitted from the display unit;
(e-3) step of the body determination unit determining whether a rehabilitation body part appears in the transmitted image information stored in the database unit; and
When it is determined by the step (e-3) that the rehabilitation body part appears in the transmitted image information stored in the database unit, the image processing unit displays the virtual image information generated by the virtual image information generation unit on the display unit. (e-4) step of reflecting in;
containing,
A rehabilitation psychotherapy method using artificial intelligence big data based on augmented reality. 삭제delete 삭제delete 제12항에 있어서,
상기 데이터베이스부는 가상 영상정보를 분석 및 가공하여 빅데이터화하는 데이터 후처리부를 더 포함하고,
상기 (e)단계 이후에는,
상기 데이터베이스부가 상기 가상 영상정보 생성부에 의해 생성된 가상 영상정보를 저장하는 (f-1)단계; 및
상기 데이터 후처리부가 상기 데이터베이스부에 저장된 가상 영상정보를 분석 및 가공하여 빅데이터화하는 (f-2)단계;
를 포함하는 (f)단계가 더 수행되는,
증강현실 기반의 인공지능 빅데이터를 활용한 재활 심리치료방법.13. The method of claim 12,
The database unit further includes a data post-processing unit that analyzes and processes virtual image information to make it big data,
After step (e),
(f-1) of the database unit storing the virtual image information generated by the virtual image information generating unit; and
(f-2) step of the data post-processing unit analyzing and processing the virtual image information stored in the database unit into big data;
(f) further comprising a step is performed,
A rehabilitation psychotherapy method using artificial intelligence big data based on augmented reality.
KR1020210039106A 2021-03-25 2021-03-25 Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same KR102365197B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210039106A KR102365197B1 (en) 2021-03-25 2021-03-25 Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210039106A KR102365197B1 (en) 2021-03-25 2021-03-25 Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same

Publications (1)

Publication Number Publication Date
KR102365197B1 true KR102365197B1 (en) 2022-02-21

Family

ID=80475103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210039106A KR102365197B1 (en) 2021-03-25 2021-03-25 Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same

Country Status (1)

Country Link
KR (1) KR102365197B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170010157A (en) * 2015-07-15 2017-01-26 (주)블루클라우드 Method for guiding actions of an user in interactive exercise programs and the apparatus thereof
KR20170024636A (en) * 2015-08-25 2017-03-08 (의료)길의료재단 System for helping exercise using gesture recognition
KR20190097396A (en) * 2018-02-12 2019-08-21 호남대학교 산학협력단 Virtual reality based cognitive rehabilitation training system
KR20200036838A (en) * 2020-03-30 2020-04-07 최동훈 System for rehabilitation treatment based on virtual reality(vr) and how to provide virtual reality-based rehabilitation contents to rehabilitation patients using the same system
KR20200135609A (en) 2019-05-22 2020-12-03 (주)대성마리프 Joint-rehabilitation treatment system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170010157A (en) * 2015-07-15 2017-01-26 (주)블루클라우드 Method for guiding actions of an user in interactive exercise programs and the apparatus thereof
KR20170024636A (en) * 2015-08-25 2017-03-08 (의료)길의료재단 System for helping exercise using gesture recognition
KR20190097396A (en) * 2018-02-12 2019-08-21 호남대학교 산학협력단 Virtual reality based cognitive rehabilitation training system
KR20200135609A (en) 2019-05-22 2020-12-03 (주)대성마리프 Joint-rehabilitation treatment system
KR20200036838A (en) * 2020-03-30 2020-04-07 최동훈 System for rehabilitation treatment based on virtual reality(vr) and how to provide virtual reality-based rehabilitation contents to rehabilitation patients using the same system

Similar Documents

Publication Publication Date Title
JP7091531B2 (en) Methods for physical gesture interface and projection display
KR102450362B1 (en) Augmented Reality Systems and Methods for User Health Analysis
US11304023B1 (en) Enhanced hearing system
Chen et al. Review of low frame rate effects on human performance
CN1056259C (en) Visual information system
US20180032126A1 (en) Method and system for measuring emotional state
Lupu et al. Eye tracking mouse for human computer interaction
US20040168117A1 (en) Method and apparatus for providing an environment to a patient
US20160037137A1 (en) Sensory perception enhancement device
Linton Does vision extract absolute distance from vergence?
KR102632408B1 (en) Exercise management system based on wearable device
EP3897388B1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
KR20190048144A (en) Augmented reality system for presentation and interview training
KR102365197B1 (en) Rehabilitation Psychotherapy Assist System Using AI Big Data Based on Augmented Reality and Rehabilitation Psychotherapy Method Using the Same
US20200348756A1 (en) Brain connectivity-based visual perception training device, method and program
KR20200092659A (en) Medical communication virtual training simulation system and method
KR102220837B1 (en) Augmented Reality Based Mirror Exercise System for Exercise Rehabilitation of Patients with Nervous and Musculoskeletal system
JP2000356942A (en) Device and method for teaching motion, and recording medium where motion teaching program is recorded
MANN Technology and human rehabilitation: Prostheses for sensory rehabilitation and/or sensory substitution
EP4325517A1 (en) Methods and devices in performing a vision testing procedure on a person
KR102275379B1 (en) Device, method and program for visual perception training by brain connectivity
US12009097B2 (en) Wireless communication system for remote medical assistance
JP6400258B1 (en) Information presenting apparatus, information presenting system, information presenting method, and information presenting program
JP7531148B2 (en) Concentration value calculation system, concentration value calculation method, and program
WO2024056080A1 (en) Method, computing device, and non-transitory computer-readable recording medium for providing cognitive training

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant