KR20160083411A - Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia - Google Patents

Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia Download PDF

Info

Publication number
KR20160083411A
KR20160083411A KR1020140194732A KR20140194732A KR20160083411A KR 20160083411 A KR20160083411 A KR 20160083411A KR 1020140194732 A KR1020140194732 A KR 1020140194732A KR 20140194732 A KR20140194732 A KR 20140194732A KR 20160083411 A KR20160083411 A KR 20160083411A
Authority
KR
South Korea
Prior art keywords
user
data
augmented reality
module
dementia
Prior art date
Application number
KR1020140194732A
Other languages
Korean (ko)
Inventor
유홍석
윤은경
Original Assignee
경운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경운대학교 산학협력단 filed Critical 경운대학교 산학협력단
Priority to KR1020140194732A priority Critical patent/KR20160083411A/en
Publication of KR20160083411A publication Critical patent/KR20160083411A/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to augmented reality system to cognition improvement for prevention and care of dementia. Augmented reality is realized by using the actual motion of a user and a 3D content of modeling a specific motion developed to improve cognitive ability. The brain cell of the user can be effectively activated by inducing the user to repeatedly imitate the specific motion developed to improve cognitive ability in the augmented reality. Also, the interest of the user is induced so that the user can be trained continuously and spontaneously.

Description

치매 예방 및 치료를 위한 인지향상 증강현실 시스템{Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia}(Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia)

본 발명은 치매 예방 및 치료를 위한 인지향상 증강현실 시스템에 관한 것으로, 특히 인지능력의 향상을 위한 특정한 행위 동작을 3D 콘텐츠화 하여 사용자에게 제공하고 사용자가 증강현실 속에서 그 행위 동작을 따라 하도록 유도함으로써 효과적인 치매 예방 및 치료를 위한 인지향상 증강현실 시스템에 관한 것이다.The present invention relates to a cognitive augmented augmented reality system for the prevention and treatment of dementia, and more particularly to a cognitive augmented augmented reality system for preventing or treating dementia, To a cognitive enhancing augmented reality system for effective prevention and treatment of dementia.

현대 사회가 평균 수명이 증가하여 고령화 사회 또는 초고령화 사회로 진입하게 되면서 뇌졸중, 치매 등과 같은 노인성 질환 인구는 급격히 증가하고 있는 반면, 이에 대한 치료 및 예방 프로그램은 매우 부족한 실정이다.As the average life expectancy of modern society increases and the age of aging society or aging society is increased, the number of geriatric diseases such as stroke and dementia is increasing rapidly, but the treatment and prevention programs are not enough.

노인성 질환 중 치매는 주의집중력, 시공간능력, 기억력, 집행능력, 언어능력, 계산능력 및 소리 인지력 등으로 분류되는 뇌 영역 중 기억력을 포함한 3개 이상의 영역에서 현저한 능력 저하가 나타나 일상생활을 하는데 장애가 발생하는 질환을 말하는 것이다.Among the geriatric diseases, dementia has significant ability deterioration in three or more areas including memory, among the brain areas classified into attention, spatio-temporal ability, memory ability, executive ability, language ability, calculation ability and sound perception Is a disease that affects you.

치매는 뇌세포의 퇴행에 의한 질환이므로 치매의 예방 및 질환의 경과를 늦추는 데에 필수적인 것은 뇌세포를 활성화 하는 것이며, 실제로 퇴행하고 있는 뇌세포의 재활성화는 치매의 예방에 매우 중요하다.Since dementia is a disease caused by degeneration of brain cells, activation of brain cells is essential for prevention of dementia and delay of disease progression. Reactivation of brain cells that are actually degenerating is very important for prevention of dementia.

또한, 치매가 이미 진행된 경우에도 뇌세포의 가소성 측면에서 뇌세포 활성화를 이해할 수 있는데, 즉 특정 부위의 뇌세포가 소실되거나 퇴행하여 그 기능을 하지 못하게 되면 인접하고 있는 부위의 뇌세포의 기능을 강화시켜 소실되거나 퇴행한 특정 부위의 뇌세포의 역할까지 담당할 수 있다는 것이다.In addition, even when dementia has already progressed, brain cell activation can be understood in terms of plasticity of brain cells. That is, if a brain cell in a specific region is lost or regressed, the brain cell function of the adjacent region is strengthened And the role of brain cells in specific regions that have been lost or degenerated.

치매 환자, 특히 요양병원 혹은 요양시설에 있는 치매 환자들은 급성기 재활치료가 끝난 후 장애가 고착된 경우로 치료의 목적보다는 장애의 악화 방지 및 고착 방지를 목적으로 하는 유지기 치료가 필요하지만, 전문화된 재활 치료진 및 치료기구, 시설이 부족하여 치료 및 관리가 가능한 치매 환자가 방치되는 경우가 많은 것이 현실이다.Patients with dementia, especially dementia patients in nursing hospitals or nursing homes, require dementia prevention after the acute phase rehabilitation treatment, which is aimed at prevention of deterioration and prevention of disability rather than treatment purpose. However, specialized rehabilitation Dementia patients who can be treated and managed due to lack of medical staff, treatment facilities and facilities are often left unattended.

이에, 요양병원이나 요양시설에서는 물론 가정에서도 용이하게 사용할 수 있을 뿐만 아니라 인지능력 등을 효율적으로 향상시켜 뇌세포를 활성화하고 사용자의 흥미를 유발하여 지속적이고 자발적으로 훈련을 할 수 있는 치료 및 예방 시스템이 요구되는 상황이다.Therefore, it can be used not only in a nursing home or nursing home, but also at home, but also can improve the cognitive ability efficiently, thereby activating brain cells, inducing user's interest, and providing continuous and voluntary training. Is required.

대한민국 공개특허공보 제10-2009-0067578호(2009년06월25일 공개)Korean Patent Publication No. 10-2009-0067578 (published on June 25, 2009)

본 발명이 해결하고자 하는 과제는, 인지능력의 향상을 위하여 개발된 특정한 행위 동작을 모델링한 3D 콘텐츠와 사용자의 실제 행위 동작을 이용하여 증강현실을 구현하고, 사용자가 증강현실 속에서 인지능력 향상을 위하여 개발된 특정한 행위 동작을 반복적으로 따라하도록 유도함으로써 사용자의 뇌세포를 효과적으로 활성화 할 수 있을 뿐만 아니라 사용자의 흥미를 유발하여 지속적이고 자발적으로 훈련을 할 수 있는 치매 예방 및 치료를 위한 인지향상 증강현실 시스템을 제공하고자 하는 것이다.The object of the present invention is to implement an augmented reality using 3D contents modeling a specific behavioral action developed for the improvement of cognitive ability and actual action behavior of the user and to improve the cognitive ability in augmented reality In order to stimulate the user's brain cells effectively by inducing them to repeatedly follow the specific behavioral action developed for the user, it is also possible to stimulate the user's interest and to continuously and voluntarily train the user. System.

상술한 과제를 해결하기 위한 치매 예방 및 치료를 위한 증강현실 인지향상 시스템은, 사용자를 촬영하는 영상촬영부; 사용자를 향해 방사되는 적외선 레이저의 반사파를 수신하여 사용자의 동작을 추적하는 센서모듈과, 상기 센서모듈에서 추적한 사용자의 동작을 기반으로 사용자의 골격 구조와 동작을 분석하여 데이터를 획득하는 트랙킹모듈을 포함하는 사용자동작인식부; 인지향상을 위한 특정한 행위 동작을 모델링하여 구현한 3D 콘텐츠 데이터와 특정한 행위 동작에 따른 인체의 골격 구조 데이터가 저장되어 있는 데이터베이스와, 상기 영상촬영부에서 촬영한 영상 데이터와 상기 데이터베이스에 저장된 3D 콘텐츠 데이터를 합성하여 증강현실 데이터를 생성하는 디스플레이모듈을 포함하는 서버; 및 상기 서버의 디스플레이모듈로부터 전송되는 증강현실 데이터를 수신하여 외부로 현출하는 디스플레이부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an augmented reality awareness system for prevention and treatment of dementia comprising: an image capturing unit for capturing a user; A tracking module for analyzing the skeletal structure and operation of the user based on the operation of the user tracked by the sensor module and acquiring data by receiving the reflected wave of the infrared laser radiated toward the user and tracking the operation of the user; A user motion recognizing unit including the user motion recognizing unit; A database in which 3D content data implemented by modeling a specific action for recognition improvement and skeleton structure data of a human body according to a specific action operation are stored; And a display module for generating augmented reality data; And a display unit for receiving the augmented reality data transmitted from the display module of the server and externally receiving the augmented reality data.

이때, 상기 서버는, 상기 사용자동작인식부로부터 전송되는 사용자의 동작을 분석한 데이터와 상기 데이터베이스에서 제공되는 인체의 골격 구조 데이터를 비교하여 동작의 일치 정도를 판단하는 판단모듈을 더 포함하는 것을 특징으로 한다.The server may further include a determination module for comparing the analyzed data of the user's operation transmitted from the user's operation recognition unit and the skeleton structure data of the human body provided in the database to determine the coincidence degree of the operation .

또한, 상기 서버의 데이터베이스는, 특정한 행위 동작의 난이도 별로 2이상 다수의 단계로 구분하여 3D 콘텐츠 데이터와 인체의 골격 구조 데이터가 저장되어 있는 콘텐츠DB모듈을 포함하는 것을 특징으로 한다.In addition, the database of the server includes a content DB module in which 3D content data and skeleton structure data of a human body are stored by dividing into two or more steps according to difficulty of a specific action operation.

또한, 상기 서버는, 상기 판단모듈에서 분석한 사용자와 3D 콘텐츠의 동작 일치율이 일정한 일치율 미만일 경우 동일한 3D 콘텐츠를 반복하여 제공하고, 동작 일치율이 일정한 일치율 이상일 경우 다음 난이도 단계의 3D 콘텐츠를 제공하는 단계제공모듈을 더 포함하는 것을 특징으로 한다.The server repeatedly provides the same 3D content when the operation concordance rate of the user analyzed by the determination module is less than a predetermined concordance rate, and provides the 3D content of the next degree of difficulty if the operation concordance rate is equal to or higher than a predetermined concordance rate And a providing module.

또한, 상기 서버의 데이터베이스는, 사용자 별로 단계별 동작 일치율과 다음 단계로 진행하는 데 경과한 시간을 포함한 사용자의 동작 수행 데이터가 저장되어 있는 사용자DB모듈을 더 포함하는 것을 특징으로 한다.The database of the server may further include a user DB module storing operation performance data of the user including the step-by-step operation agreement rate for each user and the elapsed time to proceed to the next step.

본 발명은 적외선 레이저를 이용한 사용자동작인식부를 통하여 사용자의 행위 동작을 분석하고, 인지능력의 향상을 위하여 개발된 특정한 행위 동작을 모델링한 3D 콘텐츠와 사용자의 실제 행위 동작 촬영 데이터를 이용하여 증강 현실을 서버로 구현하여 사용자에게 제공함으로써, 사용자가 흥미를 가지고 자연스럽게 3D 콘텐츠를 따라 특정한 행위 동작을 반복하게 되어 인지능력을 효율적으로 향상시킬 수 있는 장점이 있다.The present invention analyzes an action behavior of a user through a user motion recognition unit using an infrared laser, and generates an augmented reality using 3D content modeled for a specific action developed for improving cognitive ability, Server, and providing it to the user, the user is interested and repeats a specific action operation naturally along with the 3D contents, so that the cognitive ability can be efficiently improved.

또한, 본 발명은 사용자가 증강현실 속에서 3D 콘텐츠를 따라 특정한 행위 동작을 행하면서 3D 콘텐츠로 제공되는 행위 동작과 사용자가 실제 행하는 동작과의 일치 정도를 판단하여 사용자에게 정보를 제공하고, 난이도가 쉬운 단계의 행위 동작을 특정 일치율 이상으로 따라한 경우에 다음 난이도 단계로 넘어가도록 함으로써, 사용자에게 목표 의식을 불어 넣어 훈련 동기를 효과적으로 유발할 수 있을 뿐만 아니라 체계적인 훈련 과정과 그에 따른 훈련 정보를 활용할 수 있는 다른 장점이 있다.In addition, the present invention provides a user with information on a degree of coincidence between an action performed in a 3D content and an action performed by a user while performing a specific action according to 3D content in augmented reality, In the case where the action behavior of the easy step is followed by more than a specific matching rate, the process proceeds to the next difficulty level so that it can induce the goal of consciousness to the user to effectively induce the training motive, and can utilize the systematic training course and the training information There are other advantages.

도 1은 본 발명의 일실시예에 의한 치매 예방 및 치료를 위한 증강현실 인지향상 시스템의 개념도이다.
도 2는 본 발명의 일실시예에 의한 치매 예방 및 치료를 위한 증강현실 인지 향상 시스템의 기능블록도이다.
도 3은 본 발명의 일실시예에 의한 사용자동작인식부의 사시도이다.
도 4는 본 발명의 일실시예에 의한 사용자의 골격 구조와 동작을 분석한 화면을 도시한 것이다
도 5는 본 발명의 일실시예에 의한 3D 콘텐츠를 모델링하는 화면을 도시한 것이다.1 is a conceptual diagram of an augmented reality recognition system for prevention and treatment of dementia according to an embodiment of the present invention.
2 is a functional block diagram of an augmented reality recognition system for prevention and treatment of dementia according to an embodiment of the present invention.
3 is a perspective view of a user motion recognition unit according to an embodiment of the present invention.
4 is a view illustrating a skeleton structure and an operation of a user according to an embodiment of the present invention
FIG. 5 illustrates a screen for modeling 3D contents according to an embodiment of the present invention.

이하에서는 본 발명을 실시하기 위한 구체적인 내용을 첨부된 도면을 참조하여 설명하도록 한다. 본 발명의 구체적인 실시예를 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 구체적인 설명은 생략하도록 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1은 본 발명의 일실시예에 의한 치매 예방 및 치료를 위한 증강현실 인지향상 시스템의 개념도이고, 도 2는 본 발명의 일실시예에 의한 치매 예방 및 치료를 위한 증강현실 인지향상 시스템의 기능블록도이며, 도 3은 본 발명의 일실시예에 의한 사용자동작인식부의 사시도이다.FIG. 1 is a conceptual diagram of an augmented reality perception enhancement system for prevention and treatment of dementia according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating a function of augmented reality perception enhancement system for prevention and treatment of dementia according to an embodiment of the present invention. 3 is a perspective view of a user motion recognition unit according to an embodiment of the present invention.

도 1 내지 도 3을 참조하면, 본 발명의 일실시예에 의한 치매 예방 및 치료를 위한 증강현실 인지향상 시스템은 사용자의 동작을 촬영하는 영상촬영부(100)와, 사용자의 동작을 인식하고 분석하는 사용자동작인식부(200)와, 데이터베이스에 저장된 3D 콘텐츠를 이용하여 증강현실을 구현하는 서버(300)와, 사용자에게 증강현실을 현출하는 디스플레이부(400)를 포함하여 구성된다.1 to 3, the augmented reality perception enhancement system for preventing and treating dementia according to an exemplary embodiment of the present invention includes an image capturing unit 100 for capturing an operation of a user, A server 300 for implementing an augmented reality using 3D contents stored in a database, and a display unit 400 for displaying an augmented reality to a user.

이때, 상기 사용자동작인식부(200)는 적외선 레이저를 이용하여 사용자의 동작을 추적하는 센서모듈(210)과, 상기 센서모듈(210)을 이용하여 사용자의 골격 구조와 동작을 분석하여 데이터를 획득하는 트랙킹모듈(220)을 포함하고 있다.The user operation recognizing unit 200 includes a sensor module 210 for tracking an operation of a user using an infrared laser, and a controller 210 for analyzing the skeletal structure and operation of the user using the sensor module 210, And a tracking module 220 for performing tracking.

상기 센서모듈(210)은 픽셀 단위로 사용자에게 적외선 레이저를 방사하는 적외선 레이저 프로젝터(211)와, 적외선 레이저의 반사파를 픽셀 단위로 수신하여 사용자의 입체적 위치를 추적하는 심도 이미지 센서(212)와, 적외선 레이저의 반사파를 픽셀 단위로 수신하여 사용자의 적외선 이미지를 생성하는 적외선 이미지 센서(213)를 포함하고 있다.The sensor module 210 includes an infrared laser projector 211 that emits an infrared laser to a user on a pixel-by-pixel basis, a depth image sensor 212 that receives a reflected wave of the infrared laser on a pixel-by-pixel basis and tracks the user's three- And an infrared image sensor 213 for receiving the reflected wave of the infrared laser in pixel units and generating an infrared image of the user.

상기 센서모듈(210)에서 수집한 정보를 기반으로 상기 트랙킹모듈(220)에서 사용자의 골격 구조와 동작을 분석하여 데이터를 취득하게 되는데, 도 4에 도시된 바와 같이 인체의 기본 골격 구조를 기초로 하여 사용자의 동작을 분석하여 사용자의 관절 등 기타 주요 지점의 움직임에 관한 데이터를 트랙킹모듈(220)에서 획득하게 되는 것이다.The tracking module 220 obtains data by analyzing the skeletal structure and operation of the user based on the information collected by the sensor module 210. As shown in FIG. 4, based on the basic skeletal structure of the human body, And the tracking module 220 obtains data on movement of the user's joints and other major points by analyzing the motion of the user.

상기 사용자동작인식부(200)는 도 3에 도시된 바와 같이 센서모듈(210) 등이 구비된 본체가 받침대를 기준으로 좌우로 회동하거나 상하로 기울어질 수 있도록 모터 등으로 구동모듈(도면에는 미도시)을 구성하여 사용자의 위치나 신장 등에 맞출 수 있도록 하는 것이 바람직할 것이다.3, the user's operation recognition unit 200 may include a sensor module 210 such as a sensor module or the like. The sensor module 210 may be mounted on a drive module (not shown) by a motor or the like, It is desirable to configure the system so that it can be aligned with the position or height of the user.

한편, 상기 서버(300)는 각종 데이터가 저장되어 있는 데이터베이스(320)를 포함하고 있는데, 상기 데이터베이스(320)에는 사용자의 인지 능력을 향상시키는데 도움이 되는 특정한 행위 동작을 입체적으로 모델링하여 구현한 3D 콘텐츠 데이터가 저장되어 있는 콘텐츠DB모듈(321)이 구비되어 있다.Meanwhile, the server 300 includes a database 320 in which various data are stored. The database 320 includes a 3D model that is implemented by three-dimensionally modeling a specific action to help users' And a content DB module 321 in which content data is stored.

상기 콘텐츠DB모듈(321)에 저장되어 있는 3D 콘텐츠 데이터는 치매 환자의 인지 능력과 함께 신체 능력을 향상시킬 수 있는 특수한 체조 등과 같은 동작을 도 5에 도시된 바와 같은 모델링 작업을 통해 역동적이고 생동감이 있는 3D 비주얼 환경으로 구현한 것이다.The 3D content data stored in the content DB module 321 is dynamic and dynamic in modeling operations as shown in FIG. 5, such as a special exercise for improving the body ability as well as the cognitive ability of the demented patient This is a 3D visual environment.

상기 콘텐츠DB모듈(321)에 저장되어 있는 3D 콘텐츠 데이터는 단순히 콘텐츠가 저장되어 있는 것이 아니라, 각 3D 콘텐츠 데이터가 구현하는 행위 동작의 난이도에 따라 여러 단계로 분류하여 각 단계별로 구조화하여 저장하도록 하여 사용자의 인지 능력에 맞는 단계의 3D 콘텐츠 데이터를 적절하게 제공할 수 있도록 하여 준다.The 3D content data stored in the content DB module 321 is not simply stored in the content, but is classified into various stages according to the degree of difficulty of the action to be performed by each 3D content data, It is possible to appropriately provide the 3D content data of the level matching the cognitive ability of the user.

상기 서버(300)는 상기 콘텐츠DB모듈(321)에 저장된 3D 콘텐츠 데이터를 디스플레이부(400)를 통하여 사용자에게 영상으로 제공하게 되는데, 사용자는 화면에 나타난 영상을 보면서 체조 등과 같은 행위 동작을 따라하게 된다.The server 300 provides the 3D content data stored in the content DB module 321 to the user through the display unit 400 as an image. The user views the image displayed on the screen and performs an action such as gymnastics do.

이때, 단순히 사용자가 디스플레이부(400)의 화면에서 제공되는 영상을 보면서 따라하는 경우, 흥미를 잃게 되고 사용자가 어느 정도 잘 따라 하고 있는지 알 수가 없어 학습 효과도 떨어지게 된다.In this case, if the user merely watches the video provided on the screen of the display unit 400, he / she loses his interest and can not know how well the user is following.

따라서, 상기 서버(300)에서 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에 저장된 3D 콘텐츠 데이터와 별도로 구비된 영상촬영부(100)에서 촬영한 사용자의 영상을 합성하여 증강현실을 구현하도록 하는데, 이를 위하여 상기 서버(300)에 디스플레이모듈(310)을 구비하도록 한다.Accordingly, the server 300 synthesizes the 3D content data stored in the content DB module 321 of the database 320 and the image of the user photographed by the image capturing unit 100 separately, thereby realizing an augmented reality For this purpose, the server 300 is provided with a display module 310.

상기 디스플레이모듈(310)에서는 상기 콘텐츠DB모듈(321)의 3D 콘텐츠 데이터에서 제공되는 영상과 상기 영상촬영부(100)에서 제공되는 영상이 하나의 화면에 분할하여 각각 현출되는 방식 등으로 상기 디스플레이부(400)에 영상 신호로 전송되도록 데이터를 처리할 수 있을 것이다.In the display module 310, the image provided by the 3D content data of the content DB module 321 and the image provided by the image capturing unit 100 are divided into a single screen, It may be possible to process the data to be transmitted as a video signal to the mobile terminal 400.

이와 같이 사용자는 상기 영상촬영부(100)에서 실제로 촬영되고 있는 자신의 모습과 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에서 제공되는 3D 콘텐츠 데이터 영상을 하나의 화면에서 함께 보면서 체조 등과 같은 행위 동작을 따라할 수 있게 되어 사용자의 몰입도를 높일 수 있게 되는 것이다.In this way, the user views the image of the user actually photographed by the image capturing unit 100 and the 3D content data image provided by the content DB module 321 of the database 320 together on a single screen, It is possible to follow the operation and increase the immersion degree of the user.

한편, 상기 서버(300)에 판단모듈(330)을 구비하여 사용자가 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에서 제공되는 3D 콘텐츠 데이터 영상을 따라 얼마나 정확하게 체조 등과 같은 행위 동작을 하는지 판단하도록 한다.The server 300 may include a determination module 330 to determine how accurately the user performs an action such as gymnastics based on the 3D content data image provided by the content DB module 321 of the database 320 do.

이를 위하여 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에는 특정한 행위 동작을 모델링한 3D 콘텐츠 데이터 이외에 특정한 행위 동작에 따른 인체의 골격 구조 데이터를 저장하도록 한다.To this end, the content DB module 321 of the database 320 stores skeleton structure data of the human body according to a specific action operation in addition to 3D content data modeled by a specific action operation.

상기 판단모듈(330)에서는 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에 저장된 골격 구조 데이터와 상기 사용자동작인식부(200)의 트랙킹모듈(220)에서 획득한 사용자의 골격 구조 데이터 등을 실시간으로 비교하여 동작의 일치 정도를 판단하게 된다.The determination module 330 may determine the skeleton structure data stored in the content DB module 321 of the database 320 and the skeleton structure data of the user acquired by the tracking module 220 of the user motion recognition unit 200, And the degree of coincidence of the operation is judged.

상기 판단모듈(330)에서 측정한 동작의 일치 정도는 실시간으로 상기 디스플레이부(400)를 통해 사용자에게 숫자나 문구, 기타 그래픽 등으로 현출하여, 사용자가 자신이 얼마나 체조 등 행위 동작을 잘 따라하고 있는지 시각적으로 알 수 있도록 하여 준다.The degree of coincidence of the actions measured by the determination module 330 may be displayed on the display unit 400 in real time by a number, a phrase, or other graphic to allow the user to follow the action So that it can be visually recognized.

또한, 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에서 제공되는 어느 한 단계의 3D 콘텐츠 데이터의 재생이 완료된 후 전체 행위 동작의 일치율을 상기 판단모듈(330)에서 계산하도록 하고, 상기 서버(300)의 단계제공모듈(340)에서는 동작 일치율이 일정 수준 미만인 경우 동일한 3D 콘텐츠 데이터를 반복하여 제공하도록 하고, 동작 일치율이 일정 수준 이상인 경우에는 다음 난이도 단계의 3D 콘텐츠 데이터를 제공하도록 제어하게 된다.After the completion of the reproduction of the 3D content data at any stage provided by the content DB module 321 of the database 320, the determination module 330 may calculate the coincidence rate of the entire action operation, and the server 300 The step providing module 340 controls the 3D content data to be repeatedly provided when the operation conformity rate is less than a predetermined level and to provide the 3D content data of the next difficulty level if the operation agreement rate is higher than a certain level.

이와 같이 사용자가 증강현실 속에서 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에서 제공되는 3D 콘텐츠 데이터와 함께 특정한 행위 동작을 따라하도록 유도하면서 사용자 자신이 얼마나 잘 따라하는지 실시간으로 확인할 수 있을 뿐만 아니라, 특정한 행위 동작 완료 후 전체적으로 어느 정도 정확하게 따라했는지에 따라 동일한 행위 동작을 반복하게 하거나 다음 단계로 진행하여 고난이도의 행위 동작을 따라하도록 함으로써, 사용자의 흥미를 유발함과 동시에 목표 의식을 고취시켜 훈련의 효과를 극대화시킬 수 있게 되는 것이다.In this way, it is possible not only to confirm in real time how well the user is following, while guiding the user to follow a specific action operation together with the 3D content data provided in the content DB module 321 of the database 320 in the Augmented Reality , It is possible to repeat the same action operation depending on whether or not the specific action action has been completely followed to a certain extent as a whole or to proceed to the next step so as to follow the action action of the user's intention, The effect can be maximized.

한편, 사용자가 상기 데이터베이스(320)의 콘텐츠DB모듈(321)에서 제공되는 3D콘텐츠 데이터를 얼마나 잘 따라 하는지 상기 판단모듈(330)에서 측정한 동작 일치율과, 한 단계의 행위 동작을 특정한 일치율 이상으로 수행하는 데 걸리는 시간 등과 같은 사용자의 동작 수행 데이터를 데이터베이스화하여 상기 데이터베이스(320)의 사용자DB모듈(322)에 저장하여 두는 것이 바람직할 것이다.On the other hand, if the operation conformity rate measured by the determination module 330 as well as how much the user follows the 3D content data provided by the content DB module 321 of the database 320, It is preferable that the user's operation data such as the time taken to perform the operation is stored in the user DB module 322 of the database 320 in a database.

상기 데이터베이스(320)의 사용자DB모듈(322)에 저장된 사용자의 동작 수행 데이터는 사용자가 지속적으로 시스템을 이용하는 경우 데이터가 꾸준히 축적되게 되어 훈련의 효과가 어떻게 나타나는지 앞으로의 훈련 프로그램을 어떻게 구성할 것인지 등에 도움을 주게 될 것이다.If the user continuously uses the system, the data stored in the user DB module 322 of the database 320 may accumulate data continuously so that the effect of the training may be displayed. It will help.

이상에서 본 발명의 기술적 사상에 대한 이해를 돕기 위하여 첨부한 도면과 함께 본 발명을 실시하기 위한 구체적인 내용을 서술하였으나, 이는 본 발명의 바람직한 실시 형태를 예시적으로 설명한 것에 불과한 것이지 이에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형이나 치환 등에 의한 타 실시예가 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art that various modifications, substitutions, and the like can be made without departing from the scope of the present invention.

100 - 영상촬영부
200 - 사용자동작인식부
210 - 센서모듈 211 -적외선 레이저 프로젝터
212 - 심도 이미지 센서 213 - 적외선 이미지 센서
220 - 트랙킹모듈
300 - 서버
310 - 디스플레이모듈
320 - 데이터베이스 321 - 콘텐츠DB모듈
322 - 사용자DB모듈
330 - 판단모듈
340 - 단계제공모듈
400 - 디스플레이부100 -
200 - User motion recognition unit
210 - Sensor module 211 - Infrared laser projector
212 - Depth Image Sensor 213 - Infrared Image Sensor
220 - Tracking module
300-server
310 - Display Module
320 - Database 321 - Content DB module
322 - User DB module
330 - Judgment module
340 - Step Providing Module
400 -

Claims (5)

사용자를 촬영하는 영상촬영부;
사용자를 향해 방사되는 적외선 레이저의 반사파를 수신하여 사용자의 동작을 추적하는 센서모듈과, 상기 센서모듈에서 추적한 사용자의 동작을 기반으로 사용자의 골격 구조와 동작을 분석하여 데이터를 획득하는 트랙킹모듈을 포함하는 사용자동작인식부;
인지향상을 위한 특정한 행위 동작을 모델링하여 구현한 3D 콘텐츠 데이터와 특정한 행위 동작에 따른 인체의 골격 구조 데이터가 저장되어 있는 데이터베이스와, 상기 영상촬영부에서 촬영한 영상 데이터와 상기 데이터베이스에 저장된 3D 콘텐츠 데이터를 합성하여 증강현실 데이터를 생성하는 디스플레이모듈을 포함하는 서버; 및
상기 서버의 디스플레이모듈로부터 전송되는 증강현실 데이터를 수신하여 외부로 현출하는 디스플레이부;를 포함하는 것을 특징으로 하는 치매 예방 및 치료를 위한 증강현실 인지향상 시스템.A video photographing unit for photographing a user;
A tracking module for analyzing the skeletal structure and operation of the user based on the operation of the user tracked by the sensor module and acquiring data by receiving the reflected wave of the infrared laser radiated toward the user and tracking the operation of the user; A user motion recognizing unit including the user motion recognizing unit;
A database in which 3D content data implemented by modeling a specific action for recognition improvement and skeleton structure data of a human body according to a specific action operation are stored; And a display module for generating augmented reality data; And
And a display unit for receiving the augmented reality data transmitted from the display module of the server and externally receiving the augmented reality data. 청구항 1에 있어서,
상기 서버는,
상기 사용자동작인식부로부터 전송되는 사용자의 동작을 분석한 데이터와 상기 데이터베이스에서 제공되는 인체의 골격 구조 데이터를 비교하여 동작의 일치 정도를 판단하는 판단모듈을 더 포함하는 것을 특징으로 하는 치매 예방 및 치료를 위한 증강현실 인지향상 시스템.The method according to claim 1,
The server comprises:
And a determination module for comparing the data analyzed by the user's operation transmitted from the user's operation recognition unit and the skeleton structure data of the human body provided in the database to determine the degree of coincidence of the dementia. Augmented Reality Recognition System for. 청구항 2에 있어서,
상기 서버의 데이터베이스는,
특정한 행위 동작의 난이도 별로 2이상 다수의 단계로 구분하여 3D 콘텐츠 데이터와 인체의 골격 구조 데이터가 저장되어 있는 콘텐츠DB모듈을 포함하는 것을 특징으로 하는 치매 예방 및 치료를 위한 증강현실 인지향상 시스템.The method of claim 2,
The database of the server,
And a content DB module in which 3D content data and skeleton structure data of a human body are stored by dividing into two or more stages according to the degree of difficulty of a specific action operation, and an augmented reality recognition enhancement system for prevention and treatment of dementia. 청구항 3에 있어서,
상기 서버는,
상기 판단모듈에서 분석한 사용자와 3D 콘텐츠의 동작 일치율이 일정한 일치율 미만일 경우 동일한 3D 콘텐츠 데이터를 반복하여 제공하고, 동작 일치율이 일정한 일치율 이상일 경우 다음 난이도 단계의 3D 콘텐츠 데이터를 제공하는 단계제공모듈을 더 포함하는 것을 특징으로 하는 치매 예방 및 치료를 위한 증강현실 인지향상 시스템.The method of claim 3,
The server comprises:
And providing the same 3D content data repeatedly when the operation coincidence rate of the user analyzed with the determination module is less than a predetermined coincidence rate and providing the 3D content data of the next difficulty level when the operation coincidence rate is equal to or higher than a predetermined coincidence rate Wherein the augmented reality recognition system is for a dementia prevention and treatment system. 청구항 4에 있어서,
상기 서버의 데이터베이스는,
사용자 별로 단계별 동작 일치율과 다음 단계로 진행하는 데 경과한 시간을 포함한 사용자의 동작 수행 데이터가 저장되어 있는 사용자DB모듈을 더 포함하는 것을 특징으로 하는 치매 예방 및 치료를 위한 증강현실 인지향상 시스템.The method of claim 4,
The database of the server,
Further comprising a user DB module in which user's operation performance data including a step-by-step motion matching rate for each user and an elapsed time to proceed to the next step is stored.
KR1020140194732A 2014-12-31 2014-12-31 Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia KR20160083411A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140194732A KR20160083411A (en) 2014-12-31 2014-12-31 Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140194732A KR20160083411A (en) 2014-12-31 2014-12-31 Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia

Publications (1)

Publication Number Publication Date
KR20160083411A true KR20160083411A (en) 2016-07-12

Family

ID=56504960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140194732A KR20160083411A (en) 2014-12-31 2014-12-31 Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia

Country Status (1)

Country Link
KR (1) KR20160083411A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128148A (en) * 2017-05-23 2018-12-03 이영선 Method for Providing Child Care Training Service in Network, and Managing Server Used Threrein
KR101961844B1 (en) * 2018-11-29 2019-03-25 (주)인더텍 Augment reality based occupational therapy table device for cognitive training and occupational therapy method
KR101936082B1 (en) * 2017-08-29 2019-04-03 순천향대학교 산학협력단 Vertual reality-based finger rehabilitation system using realsense camera and method thereof
KR101971937B1 (en) 2018-11-08 2019-04-24 주식회사 휴메닉 Mixed reality-based recognition training system and method for aged people
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same
KR20190056759A (en) * 2017-11-17 2019-05-27 고려대학교 산학협력단 Apparatus and method for preventing falling accidents of patients based on a Virtual Reality
KR102071172B1 (en) 2019-04-01 2020-01-29 손근영 Method, system, and non-transitory computer-readable recording medium of virttual reality service providing interactive contents for old man
KR20200071305A (en) * 2018-12-11 2020-06-19 주식회사 씨투몬스터 Dementia patient training system applying interactive technology
WO2021137395A1 (en) * 2019-12-31 2021-07-08 광주과학기술원 Problematic behavior classification system and method based on deep neural network algorithm
KR20210144208A (en) * 2020-05-21 2021-11-30 주식회사 유오케이 Augmented reality based cognitive rehabilitation training system and method
KR102419731B1 (en) * 2022-02-18 2022-07-12 신화건설㈜ Mobile Motion-Sensitive Digital Therapy Device
KR20220169001A (en) 2021-06-17 2022-12-26 고려대학교 산학협력단 Device and method for working memory training based on mobile augmented reality
KR20230054522A (en) * 2021-10-15 2023-04-25 건양대학교산학협력단 Augmented reality rehabilitation training system applied with hand gesture recognition improvement technology
KR20240078761A (en) 2022-11-28 2024-06-04 (주)지에이치랩 Digital cognitive treatment system and apparatus for recognition function improvement of aged people

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090067578A (en) 2007-12-21 2009-06-25 주식회사 비트컴퓨터 Cognition enhancement system and method for dementia prevention

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090067578A (en) 2007-12-21 2009-06-25 주식회사 비트컴퓨터 Cognition enhancement system and method for dementia prevention

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128148A (en) * 2017-05-23 2018-12-03 이영선 Method for Providing Child Care Training Service in Network, and Managing Server Used Threrein
KR101936082B1 (en) * 2017-08-29 2019-04-03 순천향대학교 산학협력단 Vertual reality-based finger rehabilitation system using realsense camera and method thereof
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same
KR20190056759A (en) * 2017-11-17 2019-05-27 고려대학교 산학협력단 Apparatus and method for preventing falling accidents of patients based on a Virtual Reality
KR101971937B1 (en) 2018-11-08 2019-04-24 주식회사 휴메닉 Mixed reality-based recognition training system and method for aged people
KR101961844B1 (en) * 2018-11-29 2019-03-25 (주)인더텍 Augment reality based occupational therapy table device for cognitive training and occupational therapy method
KR20200071305A (en) * 2018-12-11 2020-06-19 주식회사 씨투몬스터 Dementia patient training system applying interactive technology
KR102071172B1 (en) 2019-04-01 2020-01-29 손근영 Method, system, and non-transitory computer-readable recording medium of virttual reality service providing interactive contents for old man
WO2021137395A1 (en) * 2019-12-31 2021-07-08 광주과학기술원 Problematic behavior classification system and method based on deep neural network algorithm
KR20210085978A (en) * 2019-12-31 2021-07-08 광주과학기술원 Anomalies Classification System and Method Based on Deep Neural Network Algorithm
KR20210144208A (en) * 2020-05-21 2021-11-30 주식회사 유오케이 Augmented reality based cognitive rehabilitation training system and method
KR20220169001A (en) 2021-06-17 2022-12-26 고려대학교 산학협력단 Device and method for working memory training based on mobile augmented reality
KR20230054522A (en) * 2021-10-15 2023-04-25 건양대학교산학협력단 Augmented reality rehabilitation training system applied with hand gesture recognition improvement technology
KR102419731B1 (en) * 2022-02-18 2022-07-12 신화건설㈜ Mobile Motion-Sensitive Digital Therapy Device
KR20240078761A (en) 2022-11-28 2024-06-04 (주)지에이치랩 Digital cognitive treatment system and apparatus for recognition function improvement of aged people

Similar Documents

Publication Publication Date Title
KR20160083411A (en) Augmented Reality System To Cognition Improvement For Prevention And Care Of Dementia
JP6666938B2 (en) Enhanced cognition in the presence of attentional diversion and / or obstruction
Kim et al. Locomotor skill acquisition in virtual reality shows sustained transfer to the real world
Arno et al. Auditory coding of visual patterns for the blind
Fasola et al. A socially assistive robot exercise coach for the elderly
Maidenbaum et al. Increasing accessibility to the blind of virtual environments, using a virtual mobility aid based on the" EyeCane": Feasibility study
Lange et al. Visual perception of biological motion by form: A template-matching analysis
Erazo et al. Magic mirror for neurorehabilitation of people with upper limb dysfunction using kinect
Stoll et al. Navigating from a depth image converted into sound
Parsons et al. Neurocognitive and psychophysiological interfaces for adaptive virtual environments
Sucar et al. Gesture therapy: A vision-based system for arm rehabilitation after stroke
WO2016083826A1 (en) Facial exercise system
Lüttgen et al. Robotic guidance benefits the learning of dynamic, but not of spatial movement characteristics
Semblantes et al. Visual feedback framework for rehabilitation of stroke patients
Cavalcanti et al. Usability and effects of text, image and audio feedback on exercise correction during augmented reality based motor rehabilitation
García-Vergara et al. Engaging children in play therapy: The coupling of virtual reality games with social robotics
Luz Maria et al. Enrichment of Human‐Computer Interaction in Brain‐Computer Interfaces via Virtual Environments
Ghisio et al. An open platform for full body interactive sonification exergames
Hadjar et al. Home-based immersive web rehabilitation gaming with audiovisual sensors
Bagalkot et al. Facilitating continuity: exploring the role of digital technology in physical rehabilitation
van Delden et al. Towards an interactive leisure activity for people with PIMD
Lach et al. Rehabilitation of cognitive functions of the elderly with the use of depth sensors-the preliminary results
Ghisio et al. Designing a platform for child rehabilitation exergames based on interactive sonification of motor behavior
Maidenbaum et al. Depth-to-audio sensory substitution for increasing the accessibility of virtual environments
Wu et al. A vibro-tactile system for image contour display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application