KR20200002009A - 인지 능력 훈련을 위한 게임장치 - Google Patents

Abstract

본 발명은 인지 능력 훈련을 위한 게임장치에 관한 것으로, 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 키넥트, 게임 내용을 가상현실로 출력하는 VR 출력장치, 상기 키넥트로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 처리부를 포함한다. 이로 인해, 인지 능력 훈련 대상자가 게임을 통해 흥미를 가지고 인지 능력을 향상할 수 있는 효과가 있다.

Description

인지 능력 훈련을 위한 게임장치{GAME APPARATUS FOR TRAINING OF COGNITIVE ABILITY}

본 발명은 인지 능력 훈련을 위한 게임장치에 관한 것으로, 더욱 상세하게는, 인지 능력 훈련 대상자의 동작정보를 입력값으로 이용하고 게임 화면을 VR으로 제공하여 인지 능력을 훈련할 수 있는 게임장치에 관한 것이다.

사람들의 평균수명이 현저히 연장됨에 따라 노인성 질환의 발생은 급격히 증가하고 있고, 갈수록 치열한 경쟁 환경 속에서 현대인들이 느끼는 과도한 스트레스와 불안감에 대한 반응은 뇌를 자극하고 혹사시켜 치매 초기증상과 같은 인지 기능 저하를 불러 오고 있다

현대 의학에서의 인지 기능의 향상에 있어 효과가 좋은 방법은 운동에 근거한 협응 동작 방법을 제안하고 있으며 이에 대한 게임 콘텐츠가 요구 되고 있는 상황이다. 따라서 치매와 관련한 대표적 인지기능인 판단력, 기억력, 순발력, 집중력 등에 기반한 게임콘텐츠에 협응 동작이 가미된 콘텐츠의 개발이 필요한 실정이다.

대한민국 공개특허공보 제10-2015-0097050(박수 게임을 이용한 유아 및 발달장애 아동의 학습 시스템)

본 발명이 이루고자 하는 기술적 과제는 인지 기능 증진이 필요한 대상자가 흥미를 가지고 인지 능력을 훈련할 수 있는 게임 장치를 제공하여, 대상자의 인지 능력을 향상하기 위한 것이다.

본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치는 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 입력부, 게임 내용을 가상현실로 출력하는 VR 출력장치, 상기 입력부로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의 인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 처리부를 포함하는 것을 특징으로 한다.

바람직하게 VR 출력장치는 입력부로부터 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공한다. 또한 입력부로부터 Pinch 또는 Grab의 손동작을 트리거 포인트로 입력받아 가상 환경에서 3D 오브젝트를 배치하여 동작을 유도한다.

바람직하게 처리부는 상기 동작 입력값을 전달받아 ADL콘텐츠 게임 내용의 사용자 수행도를 사용자 레벨별 인지요소 및 사용자 레벨별 운동 강도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함한다.

그리고 바람직하게 처리부는 상기 동작 입력값을 전달받아 ADL 콘텐츠 게임 내용의 사용자 수행도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함하며, 상기 피드백 모듈은 정보 제공 시간의 증가 요소, 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 문제 제출 난이도를 낮추는 요소 중 어느 하나를 적용한다.

이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치는, 인지 능력 훈련 대상자가 게임을 통해 흥미를 가지고 인지 능력을 향상할 수 있는 효과가 있다.

도 1은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력과 이를 위한 콘텐츠를 매핑한 도면이다.
도 2는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력을 구분한 도면이다.
도 3은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 개발환경을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구조를 개략적으로 나타낸 블록도이다.
도 5는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.
도 6은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.
도 7은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.
도 8은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 ADL콘텐츠 구성을 나타낸 예시도이다.
도 9는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 사용자 동기부여를 위한 맞춤형 게이미피케이션 모델을 설명하기 위한 예시도이다.
도 10은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 맞춤형 콘텐츠 제공을 위한 사용자 수행도 피드백 기능의 처리과정을 나타낸 예시도이다.
도 11은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 게임모델 적용 콘텐츠, 적용하지 않은 콘텐츠의 비교를 EEG 데이터를 통해 비교 분석한 결과를 나타낸 예시도이다.
도 12는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 콘텐츠 수행도 평가를 사전, 사후 수행도 정보를 분석한 결과를 나타낸 예시도이다.
도 13은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구성을 나타낸 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자의 인지 기능 훈련을 위한 VR(Virtual Reality)기반의 ADL(Activity of Daily Life) 콘텐츠를 제공하여 인지 기능 증진이 필요한 대상자가 흥미를 가지고 인지 능력을 훈련할 수 있는 게임 장치를 제공하여, 대상자의 인지 능력을 향상하기 위한 것이다. 최근 치매와 같은 인지 기능과 신체적인 활동 기능을 포함하여 ADL(Activity of Daily Life)이라는 용어로 설명된다. 이러한 생활 활동의 개념으로 ADL이 제안되고 있으며, 삶의 질을 높일 수 있는 ADL 콘텐츠의 개발이 필요시 되고 있다. 이에 ADL 콘텐츠는 게임의 재미 요소를 접목시켜 노인들이 재미있게 자발적으로 치매 예방 훈련을 할 수 있도록 하는 기능성 치매 예방 게임들로 등장하고 있지만, 인간의 인지적, 신체적, 정서적 특성들이 독립적으로 발달하지 않고 서로 영향을 주며 발달하기 때문에 인지 증진에 효율적으로 하기 위해서는 신체의 운동 기능, 뇌 기능 향상이 같이 이루어 져야 한다.

본 실시 예에 따른 인지 능력 훈련을 위한 게임장치는 인지 기능 증진에 필요한 프로그램을 제공하며, 판단력, 기억력, 순발력을 높여주는 ADL 콘텐츠로 구성하였다. 그리고 팔의 움직임을 프로그램 입력값으로 반영하여, 인지 기능 증진에 도움이 되는 팔, 손가락 운동의 요소를 추가하였다. 또한 기존 2차원적인 기능성 게임들과는 다르게 사용자의 몰입감을 높이기 위한 요소로 VR(Viretual Reality) 환경 하에 ADL 콘텐츠를 제공한다. 해당 ADL 콘텐츠의 효과성 평가는 복지관 고령자 30명을 대상으로 3개월간 지속적인 테스트를 통하여 검증하였다, 그 결과 전체적인 인지기능 향상 및 만족도를 도출하여 ADL 콘텐츠 개발의 타당성을 확인할 수 있었다.

이하, 도면을 참고하여 설명하기로 한다.

도 1은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력과 이를 위한 콘텐츠를 매핑한 도면이고, 도 2는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치에서 이용하는 인지능력을 구분한 도면이고, 도 3은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 개발환경을 개략적으로 나타낸 블록도이고, 도 4는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구조를 개략적으로 나타낸 블록도이고, 도 5는 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이고, 도 6은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이고, 도 7은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 플레이 화면을 나타낸 도면이다.

먼저, 도 13은 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치의 구성을 나타낸 예시도이다. 도 13에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 입력부(100), VR출력장치(200), 처리부(300)를 포함한다.

본 실시예에 따른 인지 능력 훈련을 위한 게임장치의 입력부(100)는 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 키넥트 구성이다.

또한 VR 출력장치(200)는 입력부로부터 인지 능력 훈련 대상자의 모션을 동작 입력값으로 하여 게임 내용을 가상현실로 출력하는 구성이다. 이러한 VR 출력장치(200)는 입력부로부터 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공한다. 또한 VR 출력장치는 입력부로부터 Pinch 또는 Grab의 손동작을 트리거 포인트로 입력받아 가상 환경에서 3D 오브젝트를 배치하여 동작을 유도한다.

그리고 처리부(300)는 입력부로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 구성이다. 이러한 처리부는 동작 입력값을 전달받아 ADL콘텐츠 게임 내용의 사용자 수행도를 사용자 레벨별 인지요소 및 사용자 레벨별 운동 강도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈(310)을 포함한다. 이때, 피드백모듈(310)은 동작 입력값을 전달받아 ADL 콘텐츠 게임 내용의 사용자 수행도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는데 있어, 정보 제공 시간의 증가 요소, 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 문제 제출 난이도를 낮추는 요소 중 어느 하나를 적용한다.

도 1에 도시된 바와 같이, 노인의 ADL과 관련된 대표적인 인지기능은 판단력, 기억력, 순발력, 집중력으로 이 기능들을 향상시키면 인지향상에 많은 도움이 된다. 노인용 ADL 콘텐츠는 이러한 판단력, 기억력, 순발력, 집중력을 향상시킬 수 있는 요소를 포함하고 있다. 도 1과 같이 판단력, 기억력, 순발력, 집중력으로 구성해 사용자의 뇌 기능을 판단하고 그에 맞는 훈련과 치료를 통해 인지 기능을 개선할 수 있다. 앞서 언급한 인지기능의 대표적 요소와 매핑하여 인지영역을 기억(Memory)과 논리연산(Logical), 주의력(Attention), 반응속도(Reaction Speed) 등 4 가지 부분으로 구분하여 인지기능 증진 콘텐츠를 개발할 수 있다. 모든 훈련 콘텐츠들은 평가 되는 내용에 따라 주의력(Attention)에는 "2차원 심상 회전 연산"과 "주의 및 집중", 논리연산(Logical)에는 "논리해결"과 "시공간위치파악", 반응속도(Reaction speed)에는 "반응행동"과 "경계판단", 기억력(memory)에는 "인상 기억"과 "위상 기억"으로 나누어진다. 인간의 인지적, 신체적, 정서적 특성들은 서로 독립적이지 않고 영향을 주기 때문에 치매 예방을 좀더 효율적으로 하기 위해서는 마우스 클릭이나 터치 기반의 인지적 기능만으로 구성된 게임이 아닌 동작 기반 형태의 인지, 신체적 기능을 병합하여 사용하는 게임을 활용하는 것이 좀 더 인지 향상에 도움이 된다. 본 실시 예는 이를 위해 VR 환경에서의 손 인식을 입력값으로 활용하여 ADL 콘텐츠를 제공하고자 하였다.

도 1 내지 도 7을 참고로 하여 본 발명의 한 실시예에 따른 인지 능력 훈련을 위한 게임장치를 설명하면, 먼저, 인지 능력 훈련을 위한 게임장치는 판단력, 기억력, 순발력, 집중력을 포함하는 인지기능을 향상하기 위한 게임을 제공하고, 동작 입력값을 게임에 대한 입력값으로 발생하고, 게임 화면을 VR(virtual reality) 화면을 통해 출력한다.

인지 능력 훈련을 위한 게임장치는 치매 예방 게임을 제공하고, 인지 증진 효율 증대를 위해, 신체의 운동 기능, 뇌 기능 향상이 함께 진행될 수 있도록 하는 게임 내용을 제공한다.

인지 능력 훈련을 위한 게임장치는 동작값 입력장치를 포함하고, 팔, 손가락 운동값을 동작 입력값으로서 생성할 수 있다.

동작값 입력장치는 키넥트일 수 있다.

인지 능력 훈련을 위한 게임장치는 동작 입력값을 이용하여 처리하는 처리장치를 더 포함하고, 처리장치는 프로세서일 수 있다. 처리장치는 동작 입력값을 인지기능의 대표 요소인 판단력, 기억력, 순발력, 집중력에 매핑하여 기억(Memory), 논리연산(Logical), 주의력(Attention), 반응속도(Reaction Speed)로 구분하여 인지 능력 훈련 대상자에 대해 발생된 동작 입력값을 처리한다.

인지 능력 훈련을 위한 게임장치는 게임 콘텐츠를 도 1 및 도 2와 같이 인지능력에 대응시켜 저장한다.

인지 능력 훈련을 위한 게임장치는 게임 내용을 입력받아 저장하였다가, 게임 구동 입력신호에 따라 구동 및 게임화면을 출력할 수 있고, 게임 내용은 변경될 수 있으며, 이를 한정하지는 않는다.

인지 능력 훈련을 위한 게임장치는 복수 개의 난이도로 형성된 게임 내용을 저장할 수 있다.

인지 능력 훈련을 위한 게임장치는 인지 능력 훈련 대상자에 대해 입력된 동작 입력값을 대응시켜 저장하고 이를 처리하며, 대상자 각각에 대한 게임 진행 정도, 게임 난이도, 게임 진행 결과, 판단 및 처리 결과를 대응시켜 저장하며, 저장을 위한 저장부를 더 포함한다.

인지 능력 훈련을 위한 게임장치는 판단 및 처리 결과를 게임 스코어로 출력할 수 있다.

인지 능력 훈련을 위한 게임장치의 게임 내용, 즉 게임 콘텐츠는 물리 엔진을 적용하여 가상 게임 환경을 조성해주는 프로그래밍 언어인 Unity 3D로 구현될 수 있다.

인지 능력 훈련을 위한 게임장치가 Unity 3D로 구현되는 한 예에서, 동작값 입력장치에서 생성한 동작 입력값이 Unity 3D 모델과 연동되어 게임 내용이 제공된다.

인지 능력 훈련을 위한 게임장치는 Unity 3D 모델과 동작 입력값을 연동하기 위한 로직 및 GUI를 포함할 수 있다.

한 예에서, 인지 능력 훈련을 위한 게임장치는 도 3에 도시한 것처럼 Unity 3D의 플러그인으로 OpenNI Unity3D Wrapper를 사용할 수 있다.

OpenNI Unity3D Wrapper 는 unitypackage파일이며 본 프로그램에서 사용하기 위해 unity3D 로 불러온다. OpenNI.Net.dll은 OpenNI Runtime Library를 사용할 수 있도록 도와주며, 플러그인과 OpenNI Runtime Library 간의 통신 역할을 지원한다. OpenNI Setting Asset은 런타임 구성을 설정하며, Player Manager Asset은 사용자를 감지하거나 추적할 때 사용하며, Input Controller Asset 은 사용자의 제스처를 읽어 들여 Player Manager로 전송하는 역할을 수행한다.

Unity 3D는 받은 입력값을 가지고 플레이하기 위한 3D 게임을 제공해주는 부분이라고 할 수 있다.

인지 능력 훈련을 위한 게임장치는 도 4에 도시한 것처럼, 크게 사용자 인터랙션 레이어, 게임 콘텐츠 레이어, 환자 정보 레이어로 구분한다. 사용자 인터랙션 레이어의 Unity3D와 Kinect Manager를 이용 사용자에게 화면을 출력해주고 모션 입력을 받는 구조로 구성하였다. 게임 콘텐츠 레이어는 사용자 입력을 기반으로 게임을 진행하고 인지와 신체 훈련을 진행하고 이에 대한 피드백을 줄 수 있으며, 동작인식모듈을 운동 실행여부의 확인과 사용자에게 맞는 신체/인지 훈련을 진행 할 수 있도록 콘텐츠를 제공한다. 마지막 사용자 정보 레이어는 신체/인지 기능 측정 시스템을 통해 획득한 정보를 활용하는 기능을 담당한다.

인지 능력 훈련을 위한 게임장치에서 게임 내용을 출력하는 VR 장치는 VR 인터페이스를 통해 게임 내용을 저장하고 있는 처리장치와 연결될 수 있고, VR 인터페이스는 립모션(Leapmotion)을 기반으로 한다. 일반적으로 ADL(Activity of Daily Life)콘텐츠의 대상이 되는 고령자들은 키보드 및 마우스 등의 입력장비에 대한 숙련도가 많이 낮으므로, 낮은 숙련도의 사용자를 위한 입력장비로 NUI(Natural User Interface)를 사용하고 NUI를 위한 지원기기로 립모션 장비를 활용한다.

인터페이스에서의 Pinch, Grab과 같은 손동작을 Trigger로 활용하였으며, 유니티와 립모션의 연동 구조로 설계한다. 사용자에게 가상 환경에서도 현실세계에서 주로 행하는 행동과 관련된 3D 오브젝트를 배치하여 익숙한 행동을 유도할 수 있도록 구성한다. 실제 사용자가 고령자가 대부분인 것을 감안하여, 마지막까지 완전한 동작을 취하지 않더라도 ADL콘텐츠 플레이시 동작을 마무리 한 것으로 처리해주는 사용자 보정 기능을 지원한다.

인지 능력 훈련을 위한 게임장치가 게임 내용에 대해 피드백을 제공하는 한 예에서, 사용자의 ADL콘텐츠 수행도를 분석하여, 다음 콘텐츠 사용시 적합한 난이도로 제공할 수 있다.

한 예에서, 해당 사용자 피드백 기능은 도출된 게임 점수에 따라 총 6단계의 난이도로 구분하여 콘텐츠를 제공한다. 난이도의 조정은 ADL콘텐츠 내 제공되는 인지 요소에 대한 조정으로, 기억력 게임의 경우 정보 제공 시간의 증가 요소가 된다. 순발력 게임은 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 판단력 게임은 문제 제출 난이도를 낮추는 요소 등으로 사용자의 맞춤형 콘텐츠 제공을 수행한다.

도 5는 인지 능력 훈련 대상자의 기억력 향상을 위한 게임 내용으로서, 주어진 문제를 기억하여 순서대로 맞추는 게임이다. 일정 시간동안 3개의 색 상자를 보여주고 시간이 지나 물음표 이미지로 변경되면, 인지 능력 훈련 대상자가 앞에서 잠시 보여준 색의 순서대로 집어서 정답상자에 넣으면 정답인지 체크하는 입력값을 생성하여 처리장치에서 이를 판단한다.

도 6은 인지 능력 훈련 대상자의 순발력 향상을 위한 게임 내용으로서, 날아오는 총알을 타이밍에 맞춰 점프를 하여 피하는 게임이다. 점프의 동작은 립모션으로 사용자 입력값을 받아 처리되고, 사용자 입력은 키넥트의 주먹을 쥐는 행동을 동작 입력값으로 입력받는다.

도 7은 인지 능력 훈련 대상자의 판단력 향상을 위한 게임 내용으로서, 문제에 쓰여져 있는 글자의 뜻에 맞는 색 상자를 집어서 넣는 게임이다. 보여지는 색 그대로 판단하지 않고 한번 더 생각하도록 게임 내용을 구성한다.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자 인지증진 ADL 콘텐츠를 제공하는데 있어서, VR기반의 환경으로 콘텐츠 사용의 몰입도와 인지 학습의 효과성을 높이고자 하였다. 전체 콘텐츠의 구성은 순발력, 판단력, 기억력을 증진시킬 수 있는 인지 게임으로 구성하였다. 도 8은 ADL콘텐츠의 게임 플레이 흐름도를 나타내었다.

도 8에 도시된 바와 같이, ADL콘텐츠 개발내용은 크게 3가지 구성으로 기억력, 순발력, 판단력을 증진시키는 미니게임으로 구성되어 있다. 앞서 언급했던 인지기능 증진 콘텐츠의 훈련 요소를 반영하여 게임 구성을 하였으며, 일반적으로 고령자의 인지적 특성에 대해 지능, 학습능력, 기억력, 사고능력, 문제해결 능력 향상을 위해 제안하였다. 이와 같은 요소를 반영하여 각 게임은 사용자의 인지 기능 증진을 위해 손 동작을 입력값으로 하여 콘텐츠를 사용하게 하였으며, 사용자 인지 판단과 손가락 운동을 동시에 하게 함으로써 인지기능 향상을 가져오는 콘텐츠로 구성하였다.

또한 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자의 인지 기능 증진을 위한 맞춤형 게임 요소를 제공하는 것으로, 도 9에 도시된 바와 같이, 사용자 동기부여를 위한 맞춤형 게이미피케이션 모델을 제공할 수 있다. 즉, ADL 콘텐츠의 개인화를 위해 ADL콘텐츠 구성에 목표, 규칙, 피드백 시스템, 자발적 참여 요소를 강조하였다. 초기 ADL콘텐츠 제공은 레벨 1,2,3 (상,중,하)의 난이도로 선택적으로 제공되며, 기본은 레벨 2인 중간 레벨로 제공되게 하였다. 이후 콘텐츠 수행도 분석을 통해 난이도의 조정이 되고, 콘텐츠 세부 구성안에 게임요소에 일부를 반영한다. 스코어 산정에는 경쟁요소 및 보상 등의 요소를 강조하기 위하여 차별화된 상대적 스코어링 방식을 도입하였다. 인지 상태 혹은 게임 수행정도에 따라 차등적으로 게임점수를 부여하여 사용자의 동기부여를 높이고자 하였다.

또한 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 도 3에 도시된 바와 같이, ADL콘텐츠 개발은 Unity 3D를 활용하여 진행하였다. Unity 3D는 물리 엔진을 적용하여 가상 게임 환경을 조성해주는 프로그래밍 언어로서, 앞서 언급했던 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공해주기 위한 것으로 별도의 게임 로직 및 GUI를 구현하여 게임을 제공할 수 있다. Unity3D안에서 활용된 플러그인으로는 OpenNI Unity3D Wrapper를 사용하였다. OpenNI Unity3D Wrapper는 unitypackage파일이며 본 프로그램에서 사용하기 위해 unity3D 로 불러온다. OpenNI.Net.dll은 OpenNI Runtime Library를 사용할 수 있도록 도와주며, 플러그인과 OpenNI Runtime Library 간의 통신 역할을 지원한다. OpenNI Setting Asset은 런타임 구성을 설정하며, Player Manager Asset은 사용자를 감지하거나 추적할 때 사용하며, Input Controller Asset 은 사용자의 손 동작을 읽어 들여 Player Manager로 전송하는 역할을 수행한다. 전체 시스템 구조도는 크게 사용자 인터랙션 레이어, 게임 콘텐츠 레이어, 사용자 정보 레이어로 구분한다. 게임 콘텐츠 레이어는 사용자 입력을 기반으로 게임을 진행하고 인지와 신체 훈련을 진행하고 이에 대한 피드백을 줄 수 있으며, 동작 인식모듈을 훈련 실행여부의 확인과 사용자에게 맞는 인지 훈련을 진행 할 수 있도록 콘텐츠를 제공한다.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 립모션 기반의 VR 인터페이스를 제공한다. ADL콘텐츠 활용시 사용자 입력을 받고 콘텐츠에 따라 적절한 피드백을 주는 것이 인터페이스 모듈이다. 본 ADL콘텐츠에 적용한 VR 인터페이스는 Leapmotion 기반으로 제작하였다. 일반적으로 ADL콘텐츠의 대상이 되는 고령자들은 키보드 및 마우스 등의 입력장비에 대한 숙련도가 많이 낮다. 이처럼 낮은 숙련도의 사용자를 위한 입력장비로 NUI(Natural User Interface)를 사용하였으며, NUI를 위한 지원기기로 Leapmotion 장비를 활용하였다. 인터페이스에서의 Pinch, Grab과 같은 손동작을 Trigger로 활용하였으며, 유니티와 립모션의 연동 구조로 설계하였다. 사용자에게 가상 환경에서도 현실세계에서 주로 행하는 행동과 관련된 3D 오브젝트를 배치하여 익숙한 행동을 유도할 수 있도록 구성하였다. 실제 사용자가 고령자가 대부분인 것을 감안하여, 마지막까지 완전한 동작을 취하지 않더라도 ADL콘텐츠 플레이시 동작을 마무리 한 것으로 처리해주는 사용자 보정 기능을 지원한다.

또한 본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 사용자 수행도를 피드백하는 기능을 포함한다. 사용자의 ADL콘텐츠 수행도를 분석하여, 다음 콘텐츠 사용시 적합한 난이도로 제공하는 기능을 뜻한다. 해당 사용자 피드백 기능은 도출된 게임 점수에 따라 총 6단계의 난이도로 구분하여 콘텐츠를 제공한다. 난이도의 조정은 ADL콘텐츠 내 제공되는 인지 요소에 대한 조정으로, 기억력 게임의 경우 정보 제공 시간의 증가 요소가 된다. 순발력 게임은 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 판단력 게임은 문제 제출 난이도를 낮추는 요소 등으로 사용자의 맞춤형 콘텐츠 제공을 수행한다. 도 10은 이러한 맞춤형 콘텐츠 제공을 위한 사용자 수행도 피드백 기능의 처리과정을 나타내었다. 도 10에 도시된 바와 같이, 사용자 수행도를 피드백 기능을 인지 측정값에 따라 상,중,하로 하고, 문제 해결에 따라 난이도를 조정할 수 있다.

본 실시예 따른 인지 능력 훈련을 위한 게임장치의 인지증진 ADL 콘텐츠는 기억력 게임, 순발력 게임, 판단력 게임으로 총 3종의 미니게임으로 구성되어 있다. 먼저 기억력 게임의 경우 주어진 문제를 기억하여 순서대로 맞추는 게임으로 일정 시간동안 3개의 색 상자를 보여주고 시간이 지나면 물음표 이미지로 변경된다. 그리고 앞에서 잠시 보여준 색의 순서대로 집어서 정답상자에 넣으면 정답인지 체크하는 방식으로 게임이 진행된다. 도 5에 도시된 바와 같이 기억력 게임 개발결과 화면을 나타낸다. 도 6에 도시된 바와 같이, 순발력 게임은 날아오는 총알을 타이밍에 맞춰 점프를 하여 피하는 게임으로 점프의 동작은 립모션으로 사용자 입력값을 받아 처리되어진다. 여기서 사용자 입력은 주먹을 쥐는 행동이며, 해당 동작을 통해 손가락 운동과 순발력 등의 기능을 증진시키기 위함이다. 마지막으로 도 7에 도시된 바와 같이, 판단력 게임은 문제에 쓰여져있는 글자의 뜻에 맞는 색 상자를 집어서 넣는 게임으로, 보여지는 색 그대로 판단하지 않고 한번 더 생각하도록 구성하였다.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치를 앞서 제안한 ADL 콘텐츠의 효과성 분석을 위한 성능 평가로, 테스트 모집단을 구성하고 모집단에 대해서 주관적 방법인 만족도 조사와 객관적 방법인 몰입도 및 게임 수행도 평가를 수행하였다. 만족도 조사는 ADL콘텐츠 사용후 리커트 척도 기반의 만족도 조사를 수행하고, 몰입도 조사의 경우 뇌파 반응정도를 분석하여 평가하였다. ADL콘텐츠의 효과성 평가를 위해 30명의 복지관 고령자들을 대상으로 3개월간 파일럿 테스트를 수행하였다. 콘텐츠 성능 평가는 크게 두가지로 뇌파 분석을 통한 방법과 콘텐츠의 사용자 수행도 평가로 이루어진다. 뇌파 분석의 경우 베타파를 통해 집중도 정도를 분석하여 해당 콘텐츠의 몰입도를 평가하였다. 콘텐츠의 수행도 평가는 ADL콘텐츠 게임 플레이의 결과를 비교 분석하여 인지능력 개선정도를 객관적으로 비교하기 위함이고, 추가적으로 만족도 조사를 하여 콘텐츠의 완성도를 평가하고자 하였다. 제안한 ADL콘텐츠의 객관적인 평가로 콘텐츠 사용시 뇌파 분석을 통하여, 게임모델이 적용된 콘텐츠와 적용되지 않은 콘텐츠를 비교하여 몰입도를 평가하였다. ADL콘텐츠의 가장 중요한 요소는 프로그램 사용자의 이탈방지로, 이를 위해 콘텐츠의 맞춤형 난이도 제공기술이 필수적이다. 이에 대한 평가로 도 11에 도시된 바와 같이, 게임모델 적용 콘텐츠, 적용하지 않은 콘텐츠의 비교를 EEG 데이터를 통해 비교 분석하였다. 평가 결과 게임모델을 적용시킨 콘텐츠의 경우 게임 플레이 중반과 후반에 전반적으로 높은 집중도로 평균 17.7% 높은 것으로 확인되었다. 이에 반면에 제안 게임에서 게임모델을 배제하여 수행한 경우 중반에 약한 집중도를 보이며 후반으로 갈수록 떨어지는 결과를 도출하였다. 본 결과는 같이 표시한 베타파형의 그래프를 봐서도 충분히 확인할 수 있다. 하지만 일부의 경우 다음 콘텐츠 사용시 난이도 추천에 부적절한 정보가 제안된 경우 기존 일반적인 콘텐츠보다 집중도가 떨어지는 것을 확인할 수 있었으나, 전반적으로 게임모델이 반영된 ADL콘텐츠의 사용성이 높음을 확인할 수 있었다.

또한 도 12에 도시된 바와 같이, 콘텐츠 수행도 평가를 위해 본 발명의 일 실시예에서 제안한 콘텐츠의 사전, 사후 수행도 정보를 분석하였다. 기준은 1개월차의 수행도 점수와 3개월차의 점수를 비교하여, 해당 콘텐츠의 문제 해결 능력의 차이를 비교하고자 하였다. 이는 다양한 인지 기능 증진을 위해 구성된 문제의 풀이 결과 비교 자체로, 인지 기능의 향상을 간접적으로 증명할 수 있는 근거자료로 판단하여 수행하였다. 이는 다음 그림에서도 알수 있듯이 1개월 차(평균 59.05점)와 3개월 차(평균 75.35점)의 콘텐츠 해결능력의 차이를 확연하게 확인할 수 있다.

본 발명의 일 실시예에 따른 인지 능력 훈련을 위한 게임장치는 고령자의 인지 기능 증진에 필요한 ADL콘텐츠를 제공하기 위한 것으로, 고령자의 판단력, 기억력, 순발력을 높여주는 콘텐츠로 구성하였다. 그리고 팔(손가락)의 움직임을 프로그램 입력 값으로 반영하여, 인지 기능 증진에 도움이 되는 인지/운동 요소를 적용하였다. 또한 기존 2차원적인 기능성 게임들과는 다르게 사용자의 몰입감을 높이기 위한 요소로 VR(Viretual Reality) 환경 하에 사용자 맞춤형 게이미피케이션 모델과 적절한 사용자 피드백 기능을 추가하여, 기존의 일반적인 인지 증진 콘텐츠보다 높은 효과를 나타낼수 있었다. 해당 ADL 콘텐츠의 효과성 평가는 복지관 고령자 30명을 대상으로 3개월간 지속적인 테스트를 통하여 검증하였으며, 그 결과 전체적인 인지기능 향상 및 만족도를 도출하여 ADL 콘텐츠 개발의 타당성을 확인할 수 있었다. 제안된 ADL콘텐츠의 가장 큰 특징으로는 사용자 피드백 기능을 들 수 있고, 사용자 맞춤형 모델의 정확도를 높이기 위하여, 난이도 조절에 대한 민감도 팩터를 반영하거나 사용자 수행도 데이터의 학습을 통한 추천기술 등, AI기술을 적용하여 피드백 기능을 향상시킬 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

1. 인지 능력 훈련 대상자의 모션을 동작 입력값으로 입력받는 입력부;
   상기 입력부로부터 인지 능력 훈련 대상자의 모션을 동작 입력값으로 하여 게임 내용을 가상현실로 출력하는 VR 출력장치; 및
   상기 입력부로부터 상기 동작 입력값을 전달받아, 인지 능력 훈련 대상자의인지능력인 판단력, 기억력, 순발력, 집중력을 스코어로 처리하는 처리부;를 포함하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.
2. 제1항에 있어서,
   상기 VR 출력장치는 상기 입력부로부터 사용자 손 제스처의 좌표값과 3D 모델을 연동하여 게임을 제공하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.
3. 제1항에 있어서,
   상기 VR 출력장치는 상기 입력부로부터 Pinch 또는 Grab의 손동작을 트리거 포인트로 입력받아 가상 환경에서 3D 오브젝트를 배치하여 동작을 유도하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.
4. 제1항에 있어서,
   상기 처리부는 상기 동작 입력값을 전달받아 ADL콘텐츠 게임 내용의 사용자 수행도를 사용자 레벨별 인지요소 및 사용자 레벨별 운동 강도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.
5. 제1항에 있어서,
   상기 처리부는 상기 동작 입력값을 전달받아 ADL 콘텐츠 게임 내용의 사용자 수행도를 분석하여 ADL 콘텐츠 내 제공되는 인지 요소에 따라 난이도를 조정하는 피드백모듈을 포함하며,
   상기 피드백 모듈은 정보 제공 시간의 증가 요소, 날아오는 물체의 속도와 랜덤성을 줄이는 요소, 문제 제출 난이도를 낮추는 요소 중 어느 하나를 적용하는 것을 특징으로 하는 인지 능력 훈련을 위한 게임장치.

Images