KR102313408B1 - Game apparatus for training of cognitive ability - Google Patents

Game apparatus for training of cognitive ability Download PDF

Info

Publication number
KR102313408B1
KR102313408B1 KR1020190077993A KR20190077993A KR102313408B1 KR 102313408 B1 KR102313408 B1 KR 102313408B1 KR 1020190077993 A KR1020190077993 A KR 1020190077993A KR 20190077993 A KR20190077993 A KR 20190077993A KR 102313408 B1 KR102313408 B1 KR 102313408B1
Authority
KR
South Korea
Prior art keywords
game
cognitive
cognitive ability
content
user
Prior art date
Application number
KR1020190077993A
Other languages
Korean (ko)
Other versions
KR20200002009A (en
Inventor
박동균
정은영
은성종
홍현기
Original Assignee
(의료)길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (의료)길의료재단 filed Critical (의료)길의료재단
Publication of KR20200002009A publication Critical patent/KR20200002009A/en
Application granted granted Critical
Publication of KR102313408B1 publication Critical patent/KR102313408B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/0001—Games specially adapted for handicapped, blind or bed-ridden persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/0001—Games specially adapted for handicapped, blind or bed-ridden persons
    • A63F2009/0007—Games with therapeutic effects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

본 발명은 인지 능력 훈련을 위한 게임장치에 관한 것으로, 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 키넥트, 게임 내용을 가상현실로 출력하는 VR 출력장치, 상기 키넥트로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 처리부를 포함한다. 이로 인해, 인지 능력 훈련 대상자가 게임을 통해 흥미를 가지고 인지 능력을 향상할 수 있는 효과가 있다.The present invention relates to a game device for cognitive ability training, a Kinect receiving a motion input value of a subject to be trained in cognitive ability as a motion input value, a VR output device outputting game contents to virtual reality, and the motion input value from the Kinect and a processing unit for processing the cognitive abilities of the cognitive ability training target, such as judgment, memory, agility, and concentration, as a score. For this reason, there is an effect that the cognitive ability trainee can improve their cognitive ability with interest through the game.

Description

인지 능력 훈련을 위한 게임장치{GAME APPARATUS FOR TRAINING OF COGNITIVE ABILITY}GAME APPARATUS FOR TRAINING OF COGNITIVE ABILITY

본 발명은 인지 능력 훈련을 위한 게임장치에 관한 것으로, 더욱 상세하게는, 인지 능력 훈련 대상자의 동작정보를 입력값으로 이용하고 게임 화면을 VR으로 제공하여 인지 능력을 훈련할 수 있는 게임장치에 관한 것이다.The present invention relates to a game device for cognitive ability training, and more particularly, to a game device capable of training cognitive ability by using motion information of a cognitive ability training target as an input value and providing a game screen in VR will be.

사람들의 평균수명이 현저히 연장됨에 따라 노인성 질환의 발생은 급격히 증가하고 있고, 갈수록 치열한 경쟁 환경 속에서 현대인들이 느끼는 과도한 스트레스와 불안감에 대한 반응은 뇌를 자극하고 혹사시켜 치매 초기증상과 같은 인지 기능 저하를 불러 오고 있다As the average life expectancy of people is significantly extended, the incidence of geriatric diseases is rapidly increasing, and in an increasingly competitive environment, the response to excessive stress and anxiety felt by modern people stimulates and overuses the brain, causing cognitive decline such as early symptoms of dementia. is calling

현대 의학에서의 인지 기능의 향상에 있어 효과가 좋은 방법은 운동에 근거한 협응 동작 방법을 제안하고 있으며 이에 대한 게임 콘텐츠가 요구 되고 있는 상황이다. 따라서 치매와 관련한 대표적 인지기능인 판단력, 기억력, 순발력, 집중력 등에 기반한 게임콘텐츠에 협응 동작이 가미된 콘텐츠의 개발이 필요한 실정이다.As an effective method for improving cognitive function in modern medicine, a coordinated action method based on exercise is proposed, and game contents are required for this method. Therefore, there is a need to develop content with coordinated action added to game content based on the representative cognitive functions related to dementia, such as judgment, memory, agility, and concentration.

대한민국 공개특허공보 제10-2015-0097050(박수 게임을 이용한 유아 및 발달장애 아동의 학습 시스템)Republic of Korea Patent Publication No. 10-2015-0097050 (Learning system for infants and children with developmental disabilities using the applause game)

본 발명이 이루고자 하는 기술적 과제는 인지 기능 증진이 필요한 대상자가 흥미를 가지고 인지 능력을 훈련할 수 있는 게임 장치를 제공하여, 대상자의 인지 능력을 향상하기 위한 것이다.An object of the present invention is to improve the cognitive ability of a subject by providing a game device capable of training a cognitive ability with interest to a subject who needs to improve his/her cognitive function.

본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치는 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 입력부, 게임 내용을 가상현실로 출력하는 VR 출력장치, 상기 입력부로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의 인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 처리부를 포함하는 것을 특징으로 한다.A game device for cognitive ability training according to an embodiment of the present invention includes an input unit that receives the motion of a subject for cognitive ability training as a motion input value, a VR output device that outputs game contents to virtual reality, and the motion input value from the input unit. It is characterized in that it comprises a processing unit for receiving the received, cognitive ability training target cognitive ability judgment, memory, agility, and concentration as a score.

바람직하게 VR 출력장치는 입력부로부터 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공한다. 또한 입력부로부터 Pinch 또는 Grab의 손동작을 트리거 포인트로 입력받아 가상 환경에서 3D 오브젝트를 배치하여 동작을 유도한다.Preferably, the VR output device provides the game by linking the coordinate value of the user's hand gesture and the 3D model from the input unit. In addition, a hand gesture of a pinch or grab is input from the input unit as a trigger point, and a 3D object is placed in a virtual environment to induce the movement.

바람직하게 처리부는 상기 동작 입력값을 전달받아 ADL콘텐츠 게임 내용의 사용자 수행도를 사용자 레벨별 인지요소 및 사용자 레벨별 운동 강도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함한다.Preferably, the processing unit receives the motion input value, analyzes the user performance of the ADL content game content, the cognitive factors for each user level and the exercise intensity for each user level, and a feedback module that adjusts the difficulty according to the cognitive factors provided in the ADL content. include

그리고 바람직하게 처리부는 상기 동작 입력값을 전달받아 ADL 콘텐츠 게임 내용의 사용자 수행도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함하며, 상기 피드백 모듈은 정보 제공 시간의 증가 요소, 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 문제 제출 난이도를 낮추는 요소 중 어느 하나를 적용한다.And preferably, the processing unit includes a feedback module that receives the motion input value, analyzes the user performance of the ADL content game content, and adjusts the difficulty according to the cognitive element provided in the ADL content, wherein the feedback module is One of the factors that increases the speed and randomness of the flying object, and reduces the difficulty of submitting the problem is applied.

이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치는, 인지 능력 훈련 대상자가 게임을 통해 흥미를 가지고 인지 능력을 향상할 수 있는 효과가 있다.According to these features, the game device for cognitive ability training according to an embodiment of the present invention has the effect that the cognitive ability training target can be interested in the game and improve cognitive ability.

도 1은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력과 이를 위한 콘텐츠를 매핑한 도면이다.
도 2는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력을 구분한 도면이다.
도 3은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 개발환경을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구조를 개략적으로 나타낸 블록도이다.
도 5는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.
도 6은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.
도 7은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.
도 8은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 ADL콘텐츠 구성을 나타낸 예시도이다.
도 9는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 사용자 동기부여를 위한 맞춤형 게이미피케이션 모델을 설명하기 위한 예시도이다.
도 10은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 맞춤형 콘텐츠 제공을 위한 사용자 수행도 피드백 기능의 처리과정을 나타낸 예시도이다.
도 11은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 게임모델 적용 콘텐츠, 적용하지 않은 콘텐츠의 비교를 EEG 데이터를 통해 비교 분석한 결과를 나타낸 예시도이다.
도 12는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 콘텐츠 수행도 평가를 사전, 사후 수행도 정보를 분석한 결과를 나타낸 예시도이다.
도 13은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구성을 나타낸 예시도이다.1 is a diagram illustrating a mapping between cognitive ability used in a game device for cognitive ability training and contents therefor according to an embodiment of the present invention.
2 is a diagram illustrating cognitive abilities used in a game device for cognitive ability training according to an embodiment of the present invention.
3 is a block diagram schematically illustrating a development environment of a game device for cognitive ability training according to an embodiment of the present invention.
4 is a block diagram schematically showing the structure of a game device for cognitive ability training according to an embodiment of the present invention.
5 is a view showing a play screen of a game device for cognitive ability training according to an embodiment of the present invention.
6 is a view showing a play screen of a game device for cognitive ability training according to an embodiment of the present invention.
7 is a view showing a play screen of a game device for cognitive ability training according to an embodiment of the present invention.
8 is an exemplary diagram illustrating the configuration of ADL contents of a game device for cognitive ability training according to an embodiment of the present invention.
9 is an exemplary diagram for explaining a customized gamification model for user motivation of a game device for cognitive ability training according to an embodiment of the present invention.
10 is an exemplary diagram illustrating a processing process of a user performance feedback function for providing customized contents of a game device for cognitive ability training according to an embodiment of the present invention.
11 is an exemplary diagram illustrating a result of comparative analysis through EEG data of content to which a game model is applied and content not applied to a game device for cognitive ability training according to an embodiment of the present invention.
12 is an exemplary view showing the results of analyzing the performance information before and after the content performance evaluation of the game device for cognitive ability training according to an embodiment of the present invention.
13 is an exemplary diagram showing the configuration of a game device for cognitive ability training according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자의 인지 기능 훈련을 위한 VR(Virtual Reality)기반의 ADL(Activity of Daily Life) 콘텐츠를 제공하여 인지 기능 증진이 필요한 대상자가 흥미를 가지고 인지 능력을 훈련할 수 있는 게임 장치를 제공하여, 대상자의 인지 능력을 향상하기 위한 것이다. 최근 치매와 같은 인지 기능과 신체적인 활동 기능을 포함하여 ADL(Activity of Daily Life)이라는 용어로 설명된다. 이러한 생활 활동의 개념으로 ADL이 제안되고 있으며, 삶의 질을 높일 수 있는 ADL 콘텐츠의 개발이 필요시 되고 있다. 이에 ADL 콘텐츠는 게임의 재미 요소를 접목시켜 노인들이 재미있게 자발적으로 치매 예방 훈련을 할 수 있도록 하는 기능성 치매 예방 게임들로 등장하고 있지만, 인간의 인지적, 신체적, 정서적 특성들이 독립적으로 발달하지 않고 서로 영향을 주며 발달하기 때문에 인지 증진에 효율적으로 하기 위해서는 신체의 운동 기능, 뇌 기능 향상이 같이 이루어 져야 한다. The game device for cognitive ability training according to an embodiment of the present invention provides VR (Virtual Reality)-based Activity of Daily Life (ADL) content for cognitive function training of elderly people, so that subjects who need to improve cognitive function are interested It is to improve the cognitive ability of a subject by providing a game device capable of training cognitive ability with Recently described in terms of activity of daily life (ADL), including cognitive and physical activity functions such as dementia. ADL has been proposed as a concept of life activities, and the development of ADL contents that can improve the quality of life is required. Accordingly, ADL contents are emerging as functional dementia prevention games that allow the elderly to voluntarily train for dementia prevention by combining the fun elements of the game. Because it affects and develops, the body's motor function and brain function must be improved together in order to effectively promote cognition.

본 실시 예에 따른 인지 능력 훈련을 위한 게임장치는 인지 기능 증진에 필요한 프로그램을 제공하며, 판단력, 기억력, 순발력을 높여주는 ADL 콘텐츠로 구성하였다. 그리고 팔의 움직임을 프로그램 입력값으로 반영하여, 인지 기능 증진에 도움이 되는 팔, 손가락 운동의 요소를 추가하였다. 또한 기존 2차원적인 기능성 게임들과는 다르게 사용자의 몰입감을 높이기 위한 요소로 VR(Viretual Reality) 환경 하에 ADL 콘텐츠를 제공한다. 해당 ADL 콘텐츠의 효과성 평가는 복지관 고령자 30명을 대상으로 3개월간 지속적인 테스트를 통하여 검증하였다, 그 결과 전체적인 인지기능 향상 및 만족도를 도출하여 ADL 콘텐츠 개발의 타당성을 확인할 수 있었다.The game device for cognitive ability training according to this embodiment provides a program necessary for cognitive function enhancement, and is composed of ADL content that enhances judgment, memory, and agility. And by reflecting the arm movement as a program input value, an element of arm and finger movement that helps to improve cognitive function was added. In addition, unlike existing two-dimensional functional games, ADL content is provided under a VR (Virtual Reality) environment as an element to increase the user's immersion. The effectiveness evaluation of the ADL contents was verified through continuous testing for 3 months on 30 elderly people in welfare centers.

이하, 도면을 참고하여 설명하기로 한다.Hereinafter, it will be described with reference to the drawings.

도 1은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력과 이를 위한 콘텐츠를 매핑한 도면이고, 도 2는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력을 구분한 도면이고, 도 3은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 개발환경을 개략적으로 나타낸 블록도이고, 도 4는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구조를 개략적으로 나타낸 블록도이고, 도 5는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이고, 도 6은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이고, 도 7은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.1 is a diagram illustrating cognitive ability used in a game device for cognitive ability training according to an embodiment of the present invention and content for the same, and FIG. 2 is a game device for cognitive ability training according to an embodiment of the present invention. 3 is a block diagram schematically showing a development environment of a game device for cognitive ability training according to an embodiment of the present invention, and FIG. 4 is a diagram showing cognitive abilities used in It is a block diagram schematically showing the structure of a game device for cognitive ability training, FIG. 5 is a view showing a play screen of a game device for cognitive ability training according to an embodiment of the present invention, and FIG. 6 is one embodiment of the present invention. It is a view showing a play screen of a game device for cognitive ability training according to an embodiment, and FIG. 7 is a view showing a play screen of a game device for cognitive ability training according to an embodiment of the present invention.

먼저, 도 13은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구성을 나타낸 예시도이다. 도 13에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 입력부(100), VR출력장치(200), 처리부(300)를 포함한다.First, FIG. 13 is an exemplary diagram showing the configuration of a game device for cognitive ability training according to an embodiment of the present invention. As shown in FIG. 13 , a game device for cognitive ability training according to an embodiment of the present invention includes an input unit 100 , a VR output device 200 , and a processing unit 300 .

본 실시예에 따른 인지 능력 훈련을 위한 게임장치의 입력부(100)는 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 키넥트 구성이다. The input unit 100 of the game device for cognitive ability training according to the present embodiment is a Kinect configuration that receives the motion of the cognitive ability training target as a motion input value.

또한 VR 출력장치(200)는 입력부로부터 인지 능력 훈련 대상자의 모션을 동작 입력값으로 하여 게임 내용을 가상현실로 출력하는 구성이다. 이러한 VR 출력장치(200)는 입력부로부터 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공한다. 또한 VR 출력장치는 입력부로부터 Pinch 또는 Grab의 손동작을 트리거 포인트로 입력받아 가상 환경에서 3D 오브젝트를 배치하여 동작을 유도한다.In addition, the VR output device 200 is configured to output the game contents in virtual reality by using the motion of the cognitive ability training target as a motion input value from the input unit. The VR output device 200 provides a game by linking the coordinate value of the user's hand gesture with the 3D model from the input unit. In addition, the VR output device receives a hand gesture of a pinch or grab from the input unit as a trigger point and induces the movement by placing a 3D object in the virtual environment.

그리고 처리부(300)는 입력부로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 구성이다. 이러한 처리부는 동작 입력값을 전달받아 ADL콘텐츠 게임 내용의 사용자 수행도를 사용자 레벨별 인지요소 및 사용자 레벨별 운동 강도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈(310)을 포함한다. 이때, 피드백모듈(310)은 동작 입력값을 전달받아 ADL 콘텐츠 게임 내용의 사용자 수행도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는데 있어, 정보 제공 시간의 증가 요소, 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 문제 제출 난이도를 낮추는 요소 중 어느 하나를 적용한다.And, the processing unit 300 is configured to receive the motion input value from the input unit, and process the cognitive abilities of the cognitive ability training target, such as judgment, memory, agility, and concentration, as a score. This processing unit receives the motion input value, analyzes the user performance of the ADL content game content, the cognitive element for each user level and the exercise intensity for each user level, and a feedback module 310 that adjusts the difficulty according to the cognitive element provided in the ADL content. includes At this time, the feedback module 310 receives the motion input value, analyzes the user performance of the ADL content game content, and adjusts the difficulty according to the cognitive element provided in the ADL content. Either one of factors that reduce the speed and randomness of

도 1에 도시된 바와 같이, 노인의 ADL과 관련된 대표적인 인지기능은 판단력, 기억력, 순발력, 집중력으로 이 기능들을 향상시키면 인지향상에 많은 도움이 된다. 노인용 ADL 콘텐츠는 이러한 판단력, 기억력, 순발력, 집중력을 향상시킬 수 있는 요소를 포함하고 있다. 도 1과 같이 판단력, 기억력, 순발력, 집중력으로 구성해 사용자의 뇌 기능을 판단하고 그에 맞는 훈련과 치료를 통해 인지 기능을 개선할 수 있다. 앞서 언급한 인지기능의 대표적 요소와 매핑하여 인지영역을 기억(Memory)과 논리연산(Logical), 주의력(Attention), 반응속도(Reaction Speed) 등 4 가지 부분으로 구분하여 인지기능 증진 콘텐츠를 개발할 수 있다. 모든 훈련 콘텐츠들은 평가 되는 내용에 따라 주의력(Attention)에는 "2차원 심상 회전 연산"과 "주의 및 집중", 논리연산(Logical)에는 "논리해결"과 "시공간위치파악", 반응속도(Reaction speed)에는 "반응행동"과 "경계판단", 기억력(memory)에는 "인상 기억"과 "위상 기억"으로 나누어진다. 인간의 인지적, 신체적, 정서적 특성들은 서로 독립적이지 않고 영향을 주기 때문에 치매 예방을 좀더 효율적으로 하기 위해서는 마우스 클릭이나 터치 기반의 인지적 기능만으로 구성된 게임이 아닌 동작 기반 형태의 인지, 신체적 기능을 병합하여 사용하는 게임을 활용하는 것이 좀 더 인지 향상에 도움이 된다. 본 실시 예는 이를 위해 VR 환경에서의 손 인식을 입력값으로 활용하여 ADL 콘텐츠를 제공하고자 하였다.As shown in Fig. 1, the representative cognitive functions related to ADL in the elderly are judgment, memory, agility, and concentration. ADL content for the elderly contains elements that can improve judgment, memory, agility, and concentration. 1, it is composed of judgment, memory, agility, and concentration to determine the user's brain function and improve cognitive function through appropriate training and treatment. By mapping the aforementioned representative factors of cognitive function, the cognitive domain can be divided into four parts: Memory, Logical, Attention, and Reaction Speed to develop cognitive function enhancement contents. have. All training contents are "two-dimensional image rotation operation" and "attention and concentration" for Attention, "Logical solution" and "Spatial positioning" for "Logical" and "Reaction speed" according to the content to be evaluated ) is divided into "response behavior" and "boundary judgment", and memory is divided into "impression memory" and "phase memory". Since human cognitive, physical, and emotional characteristics are not independent of each other and affect each other, in order to prevent dementia more effectively, it is not a game consisting of only mouse clicks or touch-based cognitive functions, but rather a motion-based type of cognitive and physical functions. Using the game you are using is helpful in improving your cognition. For this purpose, this embodiment was intended to provide ADL content by using hand recognition in a VR environment as an input value.

도 1 내지 도 7을 참고로 하여 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치를 설명하면, 먼저, 인지 능력 훈련을 위한 게임장치는 판단력, 기억력, 순발력, 집중력을 포함하는 인지기능을 향상하기 위한 게임을 제공하고, 동작 입력값을 게임에 대한 입력값으로 발생하고, 게임 화면을 VR(virtual reality) 화면을 통해 출력한다.A game device for cognitive ability training according to an embodiment of the present invention will be described with reference to FIGS. 1 to 7 . First, the game device for cognitive ability training is a cognitive function including judgment, memory, quickness, and concentration. It provides a game to improve the game, generates a motion input value as an input value for the game, and outputs a game screen through a virtual reality (VR) screen.

인지 능력 훈련을 위한 게임장치는 치매 예방 게임을 제공하고, 인지 증진 효율 증대를 위해, 신체의 운동 기능, 뇌 기능 향상이 함께 진행될 수 있도록 하는 게임 내용을 제공한다.The game device for cognitive ability training provides a game for preventing dementia, and provides game contents so that the motor function of the body and the brain function can be improved together in order to increase the efficiency of cognitive enhancement.

인지 능력 훈련을 위한 게임장치는 동작값 입력장치를 포함하고, 팔, 손가락 운동값을 동작 입력값으로서 생성할 수 있다.The game device for cognitive ability training may include a motion value input device, and may generate arm and finger motion values as motion input values.

동작값 입력장치는 키넥트일 수 있다.The operating value input device may be a Kinect.

인지 능력 훈련을 위한 게임장치는 동작 입력값을 이용하여 처리하는 처리장치를 더 포함하고, 처리장치는 프로세서일 수 있다. 처리장치는 동작 입력값을 인지기능의 대표 요소인 판단력, 기억력, 순발력, 집중력에 매핑하여 기억(Memory), 논리연산(Logical), 주의력(Attention), 반응속도(Reaction Speed)로 구분하여 인지 능력 훈련 대상자에 대해 발생된 동작 입력값을 처리한다.The game device for cognitive ability training may further include a processing device that processes using a motion input value, and the processing device may be a processor. The processing unit maps motion input values to the representative elements of cognitive functions, such as judgment, memory, agility, and concentration, and divides them into memory, logical operation, attention, and reaction speed. Processes the motion input generated for the trainee.

인지 능력 훈련을 위한 게임장치는 게임 콘텐츠를 도 1 및 도 2와 같이 인지능력에 대응시켜 저장한다.The game device for cognitive ability training stores game content in correspondence with cognitive ability as shown in FIGS. 1 and 2 .

인지 능력 훈련을 위한 게임장치는 게임 내용을 입력받아 저장하였다가, 게임 구동 입력신호에 따라 구동 및 게임화면을 출력할 수 있고, 게임 내용은 변경될 수 있으며, 이를 한정하지는 않는다.The game device for cognitive ability training may receive and store game contents, drive and output a game screen according to a game driving input signal, and the game contents may be changed, but is not limited thereto.

인지 능력 훈련을 위한 게임장치는 복수 개의 난이도로 형성된 게임 내용을 저장할 수 있다.The game device for cognitive ability training may store game contents formed with a plurality of difficulty levels.

인지 능력 훈련을 위한 게임장치는 인지 능력 훈련 대상자에 대해 입력된 동작 입력값을 대응시켜 저장하고 이를 처리하며, 대상자 각각에 대한 게임 진행 정도, 게임 난이도, 게임 진행 결과, 판단 및 처리 결과를 대응시켜 저장하며, 저장을 위한 저장부를 더 포함한다.The game device for cognitive ability training matches and stores the motion input value input to the cognitive ability training target, and corresponds to the game progress level, game difficulty, game progress result, judgment and processing result for each target. It stores, and further includes a storage unit for storage.

인지 능력 훈련을 위한 게임장치는 판단 및 처리 결과를 게임 스코어로 출력할 수 있다.The game device for cognitive ability training may output judgment and processing results as a game score.

인지 능력 훈련을 위한 게임장치의 게임 내용, 즉 게임 콘텐츠는 물리 엔진을 적용하여 가상 게임 환경을 조성해주는 프로그래밍 언어인 Unity 3D로 구현될 수 있다.The game content of the game device for cognitive ability training, that is, the game content, can be implemented with Unity 3D, a programming language that creates a virtual game environment by applying a physics engine.

인지 능력 훈련을 위한 게임장치가 Unity 3D로 구현되는 한 예에서, 동작값 입력장치에서 생성한 동작 입력값이 Unity 3D 모델과 연동되어 게임 내용이 제공된다.In an example in which a game device for cognitive ability training is implemented in Unity 3D, the motion input value generated by the motion value input device is linked with the Unity 3D model to provide game contents.

인지 능력 훈련을 위한 게임장치는 Unity 3D 모델과 동작 입력값을 연동하기 위한 로직 및 GUI를 포함할 수 있다.The game device for cognitive ability training may include logic and GUI for linking the Unity 3D model and motion input values.

한 예에서, 인지 능력 훈련을 위한 게임장치는 도 3에 도시한 것처럼 Unity 3D의 플러그인으로 OpenNI Unity3D Wrapper를 사용할 수 있다.In one example, the game device for training cognitive ability may use the OpenNI Unity3D Wrapper as a plug-in of Unity 3D as shown in FIG. 3 .

OpenNI Unity3D Wrapper 는 unitypackage파일이며 본 프로그램에서 사용하기 위해 unity3D 로 불러온다. OpenNI.Net.dll은 OpenNI Runtime Library를 사용할 수 있도록 도와주며, 플러그인과 OpenNI Runtime Library 간의 통신 역할을 지원한다. OpenNI Setting Asset은 런타임 구성을 설정하며, Player Manager Asset은 사용자를 감지하거나 추적할 때 사용하며, Input Controller Asset 은 사용자의 제스처를 읽어 들여 Player Manager로 전송하는 역할을 수행한다.OpenNI Unity3D Wrapper is a unitypackage file and is loaded into unity3D for use in this program. OpenNI.Net.dll helps to use the OpenNI Runtime Library and supports the communication role between the plug-in and the OpenNI Runtime Library. The OpenNI Setting Asset sets runtime configuration, the Player Manager Asset is used to detect or track users, and the Input Controller Asset reads the user's gesture and sends it to the Player Manager.

Unity 3D는 받은 입력값을 가지고 플레이하기 위한 3D 게임을 제공해주는 부분이라고 할 수 있다. Unity 3D can be said to be a part that provides a 3D game to play with the received input value.

인지 능력 훈련을 위한 게임장치는 도 4에 도시한 것처럼, 크게 사용자 인터랙션 레이어, 게임 콘텐츠 레이어, 환자 정보 레이어로 구분한다. 사용자 인터랙션 레이어의 Unity3D와 Kinect Manager를 이용 사용자에게 화면을 출력해주고 모션 입력을 받는 구조로 구성하였다. 게임 콘텐츠 레이어는 사용자 입력을 기반으로 게임을 진행하고 인지와 신체 훈련을 진행하고 이에 대한 피드백을 줄 수 있으며, 동작인식모듈을 운동 실행여부의 확인과 사용자에게 맞는 신체/인지 훈련을 진행 할 수 있도록 콘텐츠를 제공한다. 마지막 사용자 정보 레이어는 신체/인지 기능 측정 시스템을 통해 획득한 정보를 활용하는 기능을 담당한다.As shown in FIG. 4 , the game device for cognitive ability training is largely divided into a user interaction layer, a game content layer, and a patient information layer. Using Unity3D and Kinect Manager of the user interaction layer, the screen was output to the user and it was configured to receive motion input. The game content layer can play a game based on user input, conduct cognition and physical training, and give feedback on it, and use the motion recognition module to check whether exercise is executed and perform body/cognitive training suitable for the user. provide content. The last user information layer is responsible for utilizing the information obtained through the body/cognitive function measurement system.

인지 능력 훈련을 위한 게임장치에서 게임 내용을 출력하는 VR 장치는 VR 인터페이스를 통해 게임 내용을 저장하고 있는 처리장치와 연결될 수 있고, VR 인터페이스는 립모션(Leapmotion)을 기반으로 한다. 일반적으로 ADL(Activity of Daily Life)콘텐츠의 대상이 되는 고령자들은 키보드 및 마우스 등의 입력장비에 대한 숙련도가 많이 낮으므로, 낮은 숙련도의 사용자를 위한 입력장비로 NUI(Natural User Interface)를 사용하고 NUI를 위한 지원기기로 립모션 장비를 활용한다.A VR device that outputs game contents from a game device for cognitive ability training may be connected to a processing device storing game contents through a VR interface, and the VR interface is based on Leapmotion. In general, the elderly who are the target of ADL (Activity of Daily Life) content have very low proficiency in input devices such as keyboard and mouse, so they use NUI (Natural User Interface) as an input device for low-skilled users and use NUI. Leap motion equipment is used as a support device for

인터페이스에서의 Pinch, Grab과 같은 손동작을 Trigger로 활용하였으며, 유니티와 립모션의 연동 구조로 설계한다. 사용자에게 가상 환경에서도 현실세계에서 주로 행하는 행동과 관련된 3D 오브젝트를 배치하여 익숙한 행동을 유도할 수 있도록 구성한다. 실제 사용자가 고령자가 대부분인 것을 감안하여, 마지막까지 완전한 동작을 취하지 않더라도 ADL콘텐츠 플레이시 동작을 마무리 한 것으로 처리해주는 사용자 보정 기능을 지원한다.Hand gestures such as Pinch and Grab in the interface are used as triggers, and it is designed as a linkage structure between Unity and lip motion. It is configured to induce familiar actions by placing 3D objects related to actions mainly performed in the real world even in a virtual environment. Considering that the majority of actual users are elderly people, it supports the user correction function that treats the ADL content as if the action was completed even if you do not take the complete action until the end.

인지 능력 훈련을 위한 게임장치가 게임 내용에 대해 피드백을 제공하는 한 예에서, 사용자의 ADL콘텐츠 수행도를 분석하여, 다음 콘텐츠 사용시 적합한 난이도로 제공할 수 있다.In an example in which the game device for cognitive ability training provides feedback on game content, the user's ADL content performance may be analyzed and provided with an appropriate difficulty level when using the next content.

한 예에서, 해당 사용자 피드백 기능은 도출된 게임 점수에 따라 총 6단계의 난이도로 구분하여 콘텐츠를 제공한다. 난이도의 조정은 ADL콘텐츠 내 제공되는 인지 요소에 대한 조정으로, 기억력 게임의 경우 정보 제공 시간의 증가 요소가 된다. 순발력 게임은 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 판단력 게임은 문제 제출 난이도를 낮추는 요소 등으로 사용자의 맞춤형 콘텐츠 제공을 수행한다. In one example, the corresponding user feedback function provides content by dividing it into six levels of difficulty according to the derived game score. Adjustment of difficulty is an adjustment of cognitive factors provided in ADL content, and in the case of memory games, it becomes a factor of increasing information provision time. The improvisation game provides the user's customized content with factors that reduce the speed and randomness of flying objects, and the judgment game lowers the difficulty of submitting questions.

도 5는 인지 능력 훈련 대상자의 기억력 향상을 위한 게임 내용으로서, 주어진 문제를 기억하여 순서대로 맞추는 게임이다. 일정 시간동안 3개의 색 상자를 보여주고 시간이 지나 물음표 이미지로 변경되면, 인지 능력 훈련 대상자가 앞에서 잠시 보여준 색의 순서대로 집어서 정답상자에 넣으면 정답인지 체크하는 입력값을 생성하여 처리장치에서 이를 판단한다.5 is a game content for improving the memory of a cognitive ability trainee, and is a game in which a given problem is memorized and matched in order. After showing three color boxes for a certain period of time and changing to a question mark image over time, the cognitive ability trainee picks up the colors shown for a while and puts them in the correct answer box. judge

도 6은 인지 능력 훈련 대상자의 순발력 향상을 위한 게임 내용으로서, 날아오는 총알을 타이밍에 맞춰 점프를 하여 피하는 게임이다. 점프의 동작은 립모션으로 사용자 입력값을 받아 처리되고, 사용자 입력은 키넥트의 주먹을 쥐는 행동을 동작 입력값으로 입력받는다.6 is a game for improving the reflexes of the cognitive ability training target, and is a game to avoid flying bullets by jumping in time. The jump motion is processed by receiving a user input value as a lip motion, and the user input receives a clenching action of the Kinect as a motion input value.

도 7은 인지 능력 훈련 대상자의 판단력 향상을 위한 게임 내용으로서, 문제에 쓰여져 있는 글자의 뜻에 맞는 색 상자를 집어서 넣는 게임이다. 보여지는 색 그대로 판단하지 않고 한번 더 생각하도록 게임 내용을 구성한다.7 is a game content for improving the judgment of a subject of cognitive ability training, and is a game in which a color box is inserted according to the meaning of the letters written in the problem. Instead of judging the color as it is, compose the game content to think once more.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자 인지증진 ADL 콘텐츠를 제공하는데 있어서, VR기반의 환경으로 콘텐츠 사용의 몰입도와 인지 학습의 효과성을 높이고자 하였다. 전체 콘텐츠의 구성은 순발력, 판단력, 기억력을 증진시킬 수 있는 인지 게임으로 구성하였다. 도 8은 ADL콘텐츠의 게임 플레이 흐름도를 나타내었다. The game device for cognitive ability training according to an embodiment of the present invention is intended to increase immersion in content use and effectiveness of cognitive learning in a VR-based environment in providing cognitive-enhancing ADL contents to the elderly. The overall content is composed of cognitive games that can improve improvisation, judgment, and memory. 8 is a flowchart showing a game play of ADL content.

도 8에 도시된 바와 같이, ADL콘텐츠 개발내용은 크게 3가지 구성으로 기억력, 순발력, 판단력을 증진시키는 미니게임으로 구성되어 있다. 앞서 언급했던 인지기능 증진 콘텐츠의 훈련 요소를 반영하여 게임 구성을 하였으며, 일반적으로 고령자의 인지적 특성에 대해 지능, 학습능력, 기억력, 사고능력, 문제해결 능력 향상을 위해 제안하였다. 이와 같은 요소를 반영하여 각 게임은 사용자의 인지 기능 증진을 위해 손 동작을 입력값으로 하여 콘텐츠를 사용하게 하였으며, 사용자 인지 판단과 손가락 운동을 동시에 하게 함으로써 인지기능 향상을 가져오는 콘텐츠로 구성하였다. As shown in Fig. 8, the development of ADL contents consists of three main components: mini-games that enhance memory, quickness, and judgment. The game was composed by reflecting the training elements of the cognitive function enhancement contents mentioned above, and in general, the cognitive characteristics of the elderly were suggested to improve intelligence, learning ability, memory, thinking ability, and problem solving ability. Reflecting these factors, each game uses content using hand motion as an input value to enhance the user's cognitive function.

또한 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자의 인지 기능 증진을 위한 맞춤형 게임 요소를 제공하는 것으로, 도 9에 도시된 바와 같이, 사용자 동기부여를 위한 맞춤형 게이미피케이션 모델을 제공할 수 있다. 즉, ADL 콘텐츠의 개인화를 위해 ADL콘텐츠 구성에 목표, 규칙, 피드백 시스템, 자발적 참여 요소를 강조하였다. 초기 ADL콘텐츠 제공은 레벨 1,2,3 (상,중,하)의 난이도로 선택적으로 제공되며, 기본은 레벨 2인 중간 레벨로 제공되게 하였다. 이후 콘텐츠 수행도 분석을 통해 난이도의 조정이 되고, 콘텐츠 세부 구성안에 게임요소에 일부를 반영한다. 스코어 산정에는 경쟁요소 및 보상 등의 요소를 강조하기 위하여 차별화된 상대적 스코어링 방식을 도입하였다. 인지 상태 혹은 게임 수행정도에 따라 차등적으로 게임점수를 부여하여 사용자의 동기부여를 높이고자 하였다.In addition, the game device for cognitive ability training according to an embodiment of the present invention provides a customized game element for improving the cognitive function of the elderly. As shown in FIG. 9 , a customized gamification model for user motivation can provide In other words, goals, rules, feedback system, and voluntary participation factors were emphasized in the composition of ADL contents for personalization of ADL contents. The initial ADL content provision is selectively provided at levels 1, 2, and 3 (high, medium, low) difficulty levels, and the basic level is level 2, intermediate level. After that, the difficulty is adjusted through content performance analysis, and some of the game elements are reflected in the detailed content composition. In the score calculation, a differentiated relative scoring method was introduced to emphasize factors such as competition and rewards. It was attempted to increase the user's motivation by giving the game score differentially according to the cognitive state or the degree of game performance.

또한 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 도 3에 도시된 바와 같이, ADL콘텐츠 개발은 Unity 3D를 활용하여 진행하였다. Unity 3D는 물리 엔진을 적용하여 가상 게임 환경을 조성해주는 프로그래밍 언어로서, 앞서 언급했던 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공해주기 위한 것으로 별도의 게임 로직 및 GUI를 구현하여 게임을 제공할 수 있다. Unity3D안에서 활용된 플러그인으로는 OpenNI Unity3D Wrapper를 사용하였다. OpenNI Unity3D Wrapper는 unitypackage파일이며 본 프로그램에서 사용하기 위해 unity3D 로 불러온다. OpenNI.Net.dll은 OpenNI Runtime Library를 사용할 수 있도록 도와주며, 플러그인과 OpenNI Runtime Library 간의 통신 역할을 지원한다. OpenNI Setting Asset은 런타임 구성을 설정하며, Player Manager Asset은 사용자를 감지하거나 추적할 때 사용하며, Input Controller Asset 은 사용자의 손 동작을 읽어 들여 Player Manager로 전송하는 역할을 수행한다. 전체 시스템 구조도는 크게 사용자 인터랙션 레이어, 게임 콘텐츠 레이어, 사용자 정보 레이어로 구분한다. 게임 콘텐츠 레이어는 사용자 입력을 기반으로 게임을 진행하고 인지와 신체 훈련을 진행하고 이에 대한 피드백을 줄 수 있으며, 동작 인식모듈을 훈련 실행여부의 확인과 사용자에게 맞는 인지 훈련을 진행 할 수 있도록 콘텐츠를 제공한다. In addition, as shown in FIG. 3 , in the game device for cognitive ability training according to an embodiment of the present invention, ADL content development was performed using Unity 3D. Unity 3D is a programming language that creates a virtual game environment by applying a physics engine. It is intended to provide a game by linking the coordinate values of the user's hand gestures and the 3D model mentioned above. can provide As a plug-in used in Unity3D, OpenNI Unity3D Wrapper was used. OpenNI Unity3D Wrapper is a unitypackage file and is loaded into unity3D for use in this program. OpenNI.Net.dll helps to use the OpenNI Runtime Library and supports the communication role between the plug-in and the OpenNI Runtime Library. The OpenNI Setting Asset sets runtime configuration, the Player Manager Asset is used to detect or track users, and the Input Controller Asset reads the user's hand gestures and sends them to the Player Manager. The overall system structure is largely divided into a user interaction layer, a game content layer, and a user information layer. The game content layer can play a game based on user input, conduct cognition and physical training, and give feedback on it. to provide.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 립모션 기반의 VR 인터페이스를 제공한다. ADL콘텐츠 활용시 사용자 입력을 받고 콘텐츠에 따라 적절한 피드백을 주는 것이 인터페이스 모듈이다. 본 ADL콘텐츠에 적용한 VR 인터페이스는 Leapmotion 기반으로 제작하였다. 일반적으로 ADL콘텐츠의 대상이 되는 고령자들은 키보드 및 마우스 등의 입력장비에 대한 숙련도가 많이 낮다. 이처럼 낮은 숙련도의 사용자를 위한 입력장비로 NUI(Natural User Interface)를 사용하였으며, NUI를 위한 지원기기로 Leapmotion 장비를 활용하였다. 인터페이스에서의 Pinch, Grab과 같은 손동작을 Trigger로 활용하였으며, 유니티와 립모션의 연동 구조로 설계하였다. 사용자에게 가상 환경에서도 현실세계에서 주로 행하는 행동과 관련된 3D 오브젝트를 배치하여 익숙한 행동을 유도할 수 있도록 구성하였다. 실제 사용자가 고령자가 대부분인 것을 감안하여, 마지막까지 완전한 동작을 취하지 않더라도 ADL콘텐츠 플레이시 동작을 마무리 한 것으로 처리해주는 사용자 보정 기능을 지원한다.A game device for cognitive ability training according to an embodiment of the present invention provides a lip motion-based VR interface. When using ADL content, it is the interface module that receives user input and gives appropriate feedback according to the content. The VR interface applied to this ADL content was produced based on Leapmotion. In general, the elderly who are the target of ADL contents have very low proficiency in input devices such as keyboard and mouse. NUI (Natural User Interface) was used as an input device for low-skilled users, and Leapmotion equipment was used as a supporting device for NUI. Hand gestures such as Pinch and Grab in the interface were used as triggers, and it was designed as an interlocking structure of Unity and Leap Motion. It is configured to induce familiar behavior by placing 3D objects related to behaviors mainly performed in the real world even in a virtual environment. Considering that the majority of actual users are elderly people, it supports the user correction function that treats the ADL content as if the action was completed even if you do not take the complete action until the end.

또한 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 사용자 수행도를 피드백하는 기능을 포함한다. 사용자의 ADL콘텐츠 수행도를 분석하여, 다음 콘텐츠 사용시 적합한 난이도로 제공하는 기능을 뜻한다. 해당 사용자 피드백 기능은 도출된 게임 점수에 따라 총 6단계의 난이도로 구분하여 콘텐츠를 제공한다. 난이도의 조정은 ADL콘텐츠 내 제공되는 인지 요소에 대한 조정으로, 기억력 게임의 경우 정보 제공 시간의 증가 요소가 된다. 순발력 게임은 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 판단력 게임은 문제 제출 난이도를 낮추는 요소 등으로 사용자의 맞춤형 콘텐츠 제공을 수행한다. 도 10은 이러한 맞춤형 콘텐츠 제공을 위한 사용자 수행도 피드백 기능의 처리과정을 나타내었다. 도 10에 도시된 바와 같이, 사용자 수행도를 피드백 기능을 인지 측정값에 따라 상,중,하로 하고, 문제 해결에 따라 난이도를 조정할 수 있다. In addition, the game device for cognitive ability training according to an embodiment of the present invention includes a function of feeding back user performance. It means the function to analyze the user's ADL content performance and provide the appropriate level of difficulty when using the next content. The user feedback function provides content by dividing it into six levels of difficulty according to the derived game score. Adjustment of difficulty is an adjustment of cognitive factors provided in ADL content, and in the case of memory games, it becomes a factor of increasing information provision time. The improvisation game provides the user's customized content with factors that reduce the speed and randomness of flying objects, and the judgment game lowers the difficulty of submitting questions. FIG. 10 shows the processing process of the user performance feedback function for providing such customized content. As shown in FIG. 10 , the feedback function may be set to high, medium, or low according to the cognitive measurement value for the user performance, and the difficulty level may be adjusted according to problem solving.

본 실시예 따른 인지 능력 훈련을 위한 게임장치의 인지증진 ADL 콘텐츠는 기억력 게임, 순발력 게임, 판단력 게임으로 총 3종의 미니게임으로 구성되어 있다. 먼저 기억력 게임의 경우 주어진 문제를 기억하여 순서대로 맞추는 게임으로 일정 시간동안 3개의 색 상자를 보여주고 시간이 지나면 물음표 이미지로 변경된다. 그리고 앞에서 잠시 보여준 색의 순서대로 집어서 정답상자에 넣으면 정답인지 체크하는 방식으로 게임이 진행된다. 도 5에 도시된 바와 같이 기억력 게임 개발결과 화면을 나타낸다. 도 6에 도시된 바와 같이, 순발력 게임은 날아오는 총알을 타이밍에 맞춰 점프를 하여 피하는 게임으로 점프의 동작은 립모션으로 사용자 입력값을 받아 처리되어진다. 여기서 사용자 입력은 주먹을 쥐는 행동이며, 해당 동작을 통해 손가락 운동과 순발력 등의 기능을 증진시키기 위함이다. 마지막으로 도 7에 도시된 바와 같이, 판단력 게임은 문제에 쓰여져있는 글자의 뜻에 맞는 색 상자를 집어서 넣는 게임으로, 보여지는 색 그대로 판단하지 않고 한번 더 생각하도록 구성하였다.The cognitive-enhancing ADL contents of the game device for cognitive ability training according to this embodiment consist of a total of three mini-games: a memory game, a reflex game, and a judgment game. First, in the case of the memory game, it is a game to memorize a given problem and match it in order. It shows three color boxes for a certain period of time, and then changes to a question mark image after a period of time. The game proceeds in such a way that it is checked whether the answer is correct by picking them up in the order of the colors shown before and putting them in the correct answer box. As shown in FIG. 5 , the memory game development result screen is displayed. As shown in FIG. 6 , the reflex game is a game to avoid flying bullets by jumping at the right timing. Here, the user input is an action of clenching a fist, in order to improve functions such as finger movement and reflexes through the action. Finally, as shown in FIG. 7 , the judgment game is a game that picks up a color box that matches the meaning of the letters written in the problem, and is configured to think once more without judging the color as it is shown.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치를 앞서 제안한 ADL 콘텐츠의 효과성 분석을 위한 성능 평가로, 테스트 모집단을 구성하고 모집단에 대해서 주관적 방법인 만족도 조사와 객관적 방법인 몰입도 및 게임 수행도 평가를 수행하였다. 만족도 조사는 ADL콘텐츠 사용후 리커트 척도 기반의 만족도 조사를 수행하고, 몰입도 조사의 경우 뇌파 반응정도를 분석하여 평가하였다. ADL콘텐츠의 효과성 평가를 위해 30명의 복지관 고령자들을 대상으로 3개월간 파일럿 테스트를 수행하였다. 콘텐츠 성능 평가는 크게 두가지로 뇌파 분석을 통한 방법과 콘텐츠의 사용자 수행도 평가로 이루어진다. 뇌파 분석의 경우 베타파를 통해 집중도 정도를 분석하여 해당 콘텐츠의 몰입도를 평가하였다. 콘텐츠의 수행도 평가는 ADL콘텐츠 게임 플레이의 결과를 비교 분석하여 인지능력 개선정도를 객관적으로 비교하기 위함이고, 추가적으로 만족도 조사를 하여 콘텐츠의 완성도를 평가하고자 하였다. 제안한 ADL콘텐츠의 객관적인 평가로 콘텐츠 사용시 뇌파 분석을 통하여, 게임모델이 적용된 콘텐츠와 적용되지 않은 콘텐츠를 비교하여 몰입도를 평가하였다. ADL콘텐츠의 가장 중요한 요소는 프로그램 사용자의 이탈방지로, 이를 위해 콘텐츠의 맞춤형 난이도 제공기술이 필수적이다. 이에 대한 평가로 도 11에 도시된 바와 같이, 게임모델 적용 콘텐츠, 적용하지 않은 콘텐츠의 비교를 EEG 데이터를 통해 비교 분석하였다. 평가 결과 게임모델을 적용시킨 콘텐츠의 경우 게임 플레이 중반과 후반에 전반적으로 높은 집중도로 평균 17.7% 높은 것으로 확인되었다. 이에 반면에 제안 게임에서 게임모델을 배제하여 수행한 경우 중반에 약한 집중도를 보이며 후반으로 갈수록 떨어지는 결과를 도출하였다. 본 결과는 같이 표시한 베타파형의 그래프를 봐서도 충분히 확인할 수 있다. 하지만 일부의 경우 다음 콘텐츠 사용시 난이도 추천에 부적절한 정보가 제안된 경우 기존 일반적인 콘텐츠보다 집중도가 떨어지는 것을 확인할 수 있었으나, 전반적으로 게임모델이 반영된 ADL콘텐츠의 사용성이 높음을 확인할 수 있었다. A game device for cognitive ability training according to an embodiment of the present invention is a performance evaluation for analysis of the effectiveness of ADL contents previously proposed, composing a test population, subjective method satisfaction survey for the population, and objective method immersion and Game performance was also evaluated. Satisfaction survey was conducted after using ADL contents using Likert scale-based satisfaction survey, and in the case of immersion survey, EEG response level was analyzed and evaluated. To evaluate the effectiveness of ADL contents, a pilot test was conducted for 3 months targeting 30 elderly people in welfare centers. Content performance evaluation consists of two main methods: a method through brain wave analysis and user performance evaluation of content. In the case of brain wave analysis, the degree of concentration was analyzed through beta waves to evaluate the level of immersion in the content. The content performance evaluation is to objectively compare the degree of cognitive ability improvement by comparing and analyzing the results of ADL content game play. As an objective evaluation of the proposed ADL content, the level of immersion was evaluated by comparing the content to which the game model was applied and the content not to which the game model was applied through brain wave analysis when using the content. The most important element of ADL content is to prevent program users from leaving. As an evaluation for this, as shown in FIG. 11 , the comparison of game model applied content and non-applied content was compared and analyzed through EEG data. As a result of the evaluation, it was confirmed that the content to which the game model was applied was 17.7% higher on average due to the overall high concentration in the middle and second half of game play. On the other hand, when the game model was excluded from the proposed game, the result showed a weak concentration in the middle and decreased toward the second half. This result can be sufficiently confirmed by looking at the graph of the beta waveform shown together. However, in some cases, when inappropriate information was suggested for difficulty recommendation when using the next content, it was confirmed that the concentration was lower than that of the existing general content.

또한 도 12에 도시된 바와 같이, 콘텐츠 수행도 평가를 위해 본 발명의 일 실시예에서 제안한 콘텐츠의 사전, 사후 수행도 정보를 분석하였다. 기준은 1개월차의 수행도 점수와 3개월차의 점수를 비교하여, 해당 콘텐츠의 문제 해결 능력의 차이를 비교하고자 하였다. 이는 다양한 인지 기능 증진을 위해 구성된 문제의 풀이 결과 비교 자체로, 인지 기능의 향상을 간접적으로 증명할 수 있는 근거자료로 판단하여 수행하였다. 이는 다음 그림에서도 알수 있듯이 1개월 차(평균 59.05점)와 3개월 차(평균 75.35점)의 콘텐츠 해결능력의 차이를 확연하게 확인할 수 있다.In addition, as shown in FIG. 12 , pre- and post-performance information of content proposed in an embodiment of the present invention was analyzed for content performance evaluation. The standard was to compare the performance score at the 1st month and the score at the 3rd month to compare the difference in problem-solving ability of the corresponding content. This was done by judging the results of solving problems constructed for the enhancement of various cognitive functions by comparing the results of the problem itself, as evidence to indirectly prove the improvement of cognitive functions. As can be seen from the following figure, the difference in content resolution ability between the 1st month (average 59.05 points) and 3 months (average 75.35 points) can be clearly confirmed.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자의 인지 기능 증진에 필요한 ADL콘텐츠를 제공하기 위한 것으로, 고령자의 판단력, 기억력, 순발력을 높여주는 콘텐츠로 구성하였다. 그리고 팔(손가락)의 움직임을 프로그램 입력 값으로 반영하여, 인지 기능 증진에 도움이 되는 인지/운동 요소를 적용하였다. 또한 기존 2차원적인 기능성 게임들과는 다르게 사용자의 몰입감을 높이기 위한 요소로 VR(Viretual Reality) 환경 하에 사용자 맞춤형 게이미피케이션 모델과 적절한 사용자 피드백 기능을 추가하여, 기존의 일반적인 인지 증진 콘텐츠보다 높은 효과를 나타낼수 있었다. 해당 ADL 콘텐츠의 효과성 평가는 복지관 고령자 30명을 대상으로 3개월간 지속적인 테스트를 통하여 검증하였으며, 그 결과 전체적인 인지기능 향상 및 만족도를 도출하여 ADL 콘텐츠 개발의 타당성을 확인할 수 있었다. 제안된 ADL콘텐츠의 가장 큰 특징으로는 사용자 피드백 기능을 들 수 있고, 사용자 맞춤형 모델의 정확도를 높이기 위하여, 난이도 조절에 대한 민감도 팩터를 반영하거나 사용자 수행도 데이터의 학습을 통한 추천기술 등, AI기술을 적용하여 피드백 기능을 향상시킬 수 있다.The game device for cognitive ability training according to an embodiment of the present invention is to provide ADL contents necessary for improving the cognitive function of the elderly, and is composed of contents that increase the judgment, memory, and agility of the elderly. And by reflecting the movement of the arm (finger) as a program input value, cognitive/motor factors that help improve cognitive function were applied. In addition, unlike existing two-dimensional functional games, a user-customized gamification model and an appropriate user feedback function are added under the VR (Virtual Reality) environment as an element to increase the user's immersion, so that it will have a higher effect than the existing general cognitive enhancement content. could The effectiveness evaluation of the ADL contents was verified through continuous testing for 3 months on 30 elderly people in welfare centers. The biggest feature of the proposed ADL content is the user feedback function, and in order to increase the accuracy of the user-customized model, AI technology such as reflecting the sensitivity factor for difficulty adjustment or recommending technology through learning of user performance data can be applied to improve the feedback function.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. is within the scope of the right.

Claims (5)

인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 입력부;
상기 입력부로부터 인지 능력 훈련 대상자의 모션을 동작 입력값으로 하여 게임 내용을 가상현실로 출력하는 VR 출력장치; 및
상기 입력부로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 처리부;를 포함하며,
상기 처리부는 상기 동작 입력값을 전달받아 ADL콘텐츠 게임 내용의 사용자 수행도를 사용자 레벨별 인지요소 및 사용자 레벨별 운동 강도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백 모듈을 포함하며,
상기 피드백 모듈은 사용자 수행도에 따른 피드백 기능을 인지 측정값에 따라 상,중,하로 하고 문제 해결에 따라 난이도를 상승 또는 낮춤으로 조정하는 민감도 팩터를 반영하고 사용자 수행도 데이터 학습을 통해 사용자 수행도를 피드백하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.an input unit receiving the motion of the cognitive ability training target as a motion input value;
a VR output device for outputting game contents in virtual reality by using the motion of the cognitive ability training target as a motion input value from the input unit; and
and a processing unit that receives the motion input value from the input unit and processes the cognitive ability of the subject of cognitive ability training, such as judgment, memory, agility, and concentration, as a score; and
The processing unit receives the motion input value and analyzes the user's performance of the ADL content game content by user level-specific cognitive factors and user level-specific exercise intensity, and includes a feedback module that adjusts the difficulty according to the cognitive elements provided in the ADL content. and
The feedback module reflects the sensitivity factor that adjusts the feedback function according to the user performance to high, medium, or low according to the cognitive measurement value, and to increase or decrease the difficulty according to problem solving, and the user performance through user performance data learning. A game device for cognitive ability training, characterized in that feedback. 제1항에 있어서,
상기 VR 출력장치는 상기 입력부로부터 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.According to claim 1,
The VR output device is a game device for cognitive ability training, characterized in that it provides a game by linking a coordinate value of a user's hand gesture and a 3D model from the input unit. 제1항에 있어서,
상기 VR 출력장치는 상기 입력부로부터 Pinch 또는 Grab의 손동작을 트리거 포인트로 입력받아 가상 환경에서 3D 오브젝트를 배치하여 동작을 유도하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.According to claim 1,
The VR output device receives a hand gesture of a pinch or a grab from the input unit as a trigger point, and places a 3D object in a virtual environment to induce the motion. 삭제delete 제1항에 있어서,
상기 처리부는 상기 동작 입력값을 전달받아 ADL 콘텐츠 게임 내용의 사용자 수행도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함하며,
상기 피드백 모듈은 정보 제공 시간의 증가 요소, 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 문제 제출 난이도를 낮추는 요소 중 어느 하나를 적용하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.According to claim 1,
The processing unit includes a feedback module that receives the motion input value, analyzes the user performance of the ADL content game content, and adjusts the difficulty according to the cognitive element provided in the ADL content,
The feedback module is a game device for cognitive ability training, characterized in that applying any one of a factor for increasing the information provision time, a factor for reducing the speed and randomness of a flying object, and a factor for reducing the difficulty of submitting a problem.
KR1020190077993A 2018-06-28 2019-06-28 Game apparatus for training of cognitive ability KR102313408B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180074725 2018-06-28
KR1020180074725 2018-06-28

Publications (2)

Publication Number Publication Date
KR20200002009A KR20200002009A (en) 2020-01-07
KR102313408B1 true KR102313408B1 (en) 2021-10-15

Family

ID=69153876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077993A KR102313408B1 (en) 2018-06-28 2019-06-28 Game apparatus for training of cognitive ability

Country Status (1)

Country Link
KR (1) KR102313408B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230085640A (en) 2021-12-07 2023-06-14 동의과학대학교산학협력단 Game apparatus for child education

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023046415A (en) * 2020-02-21 2023-04-05 Ｐｓｔ株式会社 Information processing device, method, and program
KR102550724B1 (en) * 2020-05-21 2023-07-03 주식회사 유오케이 Augmented reality based cognitive rehabilitation training system and method
KR102516900B1 (en) * 2020-07-06 2023-04-03 단국대학교 천안캠퍼스 산학협력단 Reinforcement training system and method for prevent dementia
KR102393012B1 (en) * 2020-10-07 2022-05-03 주식회사 헬스맥스 method of testing coordination and agility using VR

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101267118B1 (en) * 2012-03-13 2013-05-24 주식회사 싸이버메딕 Rehabilitation exercising apparatus sensing motion using glove sensor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130034456A (en) * 2011-09-28 2013-04-05 주식회사 엔텔리전트 게임즈 Apparatus and method for providing serious game
KR20150097050A (en) 2014-02-17 2015-08-26 경북대학교 산학협력단 learning system using clap game for child and developmental disorder child
KR20170083429A (en) * 2016-01-08 2017-07-18 서울대학교산학협력단 Virtual impatient rehabilitation system and method the same
KR101802311B1 (en) * 2016-03-25 2017-11-28 (의료)길의료재단 A method and system using 3D virtual reality for treatment of cognitive impairment
KR20180045278A (en) * 2016-10-25 2018-05-04 포항공과대학교 산학협력단 Virtual Reality Recognition Rehabilitation System based on Bio Sensors
KR101918631B1 (en) * 2016-12-13 2018-11-15 (주)인더텍 Mixed reality based cognition and concentration evaluation and training feedback system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101267118B1 (en) * 2012-03-13 2013-05-24 주식회사 싸이버메딕 Rehabilitation exercising apparatus sensing motion using glove sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230085640A (en) 2021-12-07 2023-06-14 동의과학대학교산학협력단 Game apparatus for child education

Also Published As

Publication number Publication date
KR20200002009A (en) 2020-01-07

Similar Documents

Publication Publication Date Title
KR102313408B1 (en) Game apparatus for training of cognitive ability
Vasiljevic et al. Brain–computer interface games based on consumer-grade EEG Devices: A systematic literature review
Sundstedt Gazing at games: An introduction to eye tracking control
Morris et al. Imagery in sport
Bianchi-Berthouze et al. Does body movement engage you more in digital game play? and why?
Yamabe et al. Playful training with augmented reality games: case studies towards reality-oriented system design
Boletsis et al. Augmented reality cubes for cognitive gaming: preliminary usability and game experience testing
Coyle The little book of talent: 52 tips for improving your skills
Carabeo et al. Stroke patient rehabilitation: A pilot study of an android-based game
Bontchev et al. Affect-based adaptation of an applied video game for educational purposes
Norouzi et al. Examining the effectiveness of a PETTLEP imagery intervention on the football skill performance of novice athletes
Postolache et al. Serious games based on kinect and leap motion controller for upper limbs physical rehabilitation
Graff et al. Competing on the Holodeck-The effect of virtual peers and heterogeneity in dynamic tournaments
Fonteles et al. Gesture-controlled interactive musical game to practice hand therapy exercises and learn rhythm and melodic structures
Korn et al. Designing a system for playful coached learning in the STEM curriculum
Pirovano et al. IGER: A game engine specifically tailored to rehabilitation
Lukacs et al. Wrist rehabilitation in carpal tunnel syndrome by gaming using EMG controller
Chartomatsidis et al. Development and evaluation of a motion-based exercise game for balance improvement
Kirginas User Experience Evaluation Methods for Games in Serious Contexts
BIANCHI-BERTHOUZE1a Does body movement affect the player engagement experience?
Milam Game design framework and guidelines based on a theory of visual attention
Eun et al. Design and implementation of ADL content with VR sensor at a smart human-care service
Vieira Study and Development of Custom “Serious Games” for Patients and Users
Pirbabaei et al. Exergames for hand rehabilitation in elders using Leap Motion Controller: A feasibility pilot study
de Oliveira Cecılio Narrative-based Gamification for Physical Therapy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)