KR20190088247A

KR20190088247A - 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램

Info

Publication number: KR20190088247A
Application number: KR1020180006546A
Authority: KR
Inventors: 강동화; 김동호
Original assignee: 재단법인 아산사회복지재단; 울산대학교 산학협력단
Priority date: 2018-01-18
Filing date: 2018-01-18
Publication date: 2019-07-26
Also published as: KR102028036B1; WO2019143186A1; US11249549B2; US20200348756A1

Abstract

본 발명은 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램에 관한 것이다.
본 발명의 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 방법은, 컴퓨터가 헤드마운트 디스플레이 장치에 공간이동영상을 제공하는 단계(S200; 공간이동영상제공단계); 컴퓨터가 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하는 단계(S400; 시지각훈련영상제공단계); 및 컴퓨터가 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신하는 단계(S1000);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.

Description

뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램 {DEVICE, METHOD AND PROGRAM FOR VISUAL PERCEPTION TRAINING BY BRAIN CONNECTIVITY}

본 발명은 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램에 관한 것으로, 보다 자세하게는 뇌 기능 저하 또는 손상에 의해 저하된 시지각 기능을 향상시키는 장치, 방법 및 프로그램에 관한 것이다.

일반적으로 뇌졸중은 단일 질병으로 국내 불구원인 1위로, 상기 뇌졸중으로 인한 뇌기능 손상 중, 시야 장애는 전체 환자의 20~30%의 높은 비율로 나타나는 주요 장애이다. 이러한 시야 장애는 통상적으로 영구결손으로 받아들여지고 있어, 시야 장애 재활치료 시도 자체가 전무한 것이 현실이고, 뇌졸증에 따라 시각피질에 뇌손상을 입은 환자는 특징적으로 병변 반대편에 반측 시야장애(hemianopia)를 보인다. 일례로 좌측 시각피질 부위에 뇌졸중이 발생한 환자는 우측에 반측 시야장애를 보이는데, 이때 환자는 두 눈을 모두 뜨고 정면을 바라보았을 때, 우측시야에 있는 사물이나 움직임을 인식하지 못한다.

그러나 시각피질 부위에 발생한 뇌졸중에 의한 시야 장애 환자 중에는 보이지 않는 시야에서 어떤 움직임이나 형태를 알아차리는 경우도 있는데, 이러한 경우 보이지 않는 시야에 X 또는 O를 보여주며 글자를 맞춰보라고 하면, 환자는 보이지 않는다고 대답하면서도 확률적으로 chance level 이상으로 글자를 맞추고, 심지어 시각자극에 적절한 반응을 보이기도 한다. 이러한 환자는 자극을 시각적으로 지각하지 못하지만, 뇌는 움직임이나 형태를 알아차리는 것이다. 1970년대 Lawrence Weiskrantz가 발견한 이 현상을 맹시(blindsight)라고 불리우고 있는데, 상기 맹시는 보이지 않는데도 알아차리는 현상을 말한다. 상기한 맹시 현상의 존재는 망막을 통해 들어온 시각정보가 시각피질이 아닌 다른 곳을 통해서도 처리될 수 있음을 시사한다.

따라서, 반복적인 시지각 자극 제공을 통해 시지각 학습(훈련)을 수행하여 시지각 기능을 향상시키는 시지각 훈련 방법 및 장치가 필요하다.

본 발명은 시지각훈련영상을 제공하는 제공하는 것과 함께 시각피질과 연결성을 가지는 해마를 훈련함에 따라 시지각 기능 향상효과를 높이는, 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램을 제공하고자 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 방법은, 컴퓨터가 헤드마운트 디스플레이 장치에 공간이동영상을 제공하되, 상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상인, 공간이동영상제공단계; 컴퓨터가 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하는 단계; 및 컴퓨터가 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신하는 단계;를 포함한다.

또한, 다른 일실시예로, 상기 시지각훈련영상제공단계는, 상기 공간이동영상에 이어서 상기 시지각훈련영상을 제공하는 경우, 가상공간 내에서 사용자가 경로이동을 통해 가상공간 내에 존재하는 복수의 공간 중 어느 하나의 공간에 진입하면, 컴퓨터가 각 공간에 부여된 조건을 기반으로 상기 시지각훈련영상을 생성하여 제공하는 것을 특징으로 한다.

또한, 다른 일실시예로, 컴퓨터가 이전 시행과 동일한 공간에 진입하는 제2테스크를 사용자에게 요청하는 단계; 및 사용자가 상기 제2테스크를 성공하면, 컴퓨터가 상기 제2테스크 수행결과를 상기 제1테스크 수행결과에 반영하여 최종결과를 산출하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 상기 시지각훈련영상제공단계는, 상기 공간이동영상과 동시에 상기 시지각훈련영상을 제공하는 경우, 상기 공간이동영상 상에 상기 단위시간 간격으로 생성되는 시지각훈련영상의 프레임을 결합하여 제공하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 제1테스크는, 상기 시지각훈련영상 내의 사용자의 시지각 트레이닝 영역에 표시되며, 사용자가 보행 시에 수행하여야 하는 것이고, 상기 제1테스크 수행결과는, 보행 중인 사용자가 상기 제1테스크에 대응하는 움직임을 수행하는 지 여부이다.

또한, 다른 일실시예로, 상기 시지각훈련영상제공단계는, 상기 공간이동영상 내에 포함된 제1영상프레임과 상기 시지각훈련영상 내에 포함된 제2영상프레임을 결합하여 최종출력영상을 생성하는 것을 특징으로 하고, 상기 제1영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되는 것이고, 상기 제2영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되지 않고 고정되는 것이다.

또한, 다른 일실시예로, 상기 공간이동영상은, 보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 생성되는 것이다.

또한, 다른 일실시예로, 상기 시지각훈련영상은, 상기 시지각훈련영상 내의 사용자의 시지각 트레이닝 영역에 테스크이미지를 표시하는 것이고, 컴퓨터가 상기 테스크이미지가 표시되는 위치에 대응되는 방향에 음향을 출력하는 단계;를 더 포함한다.

또한, 다른 일실시예로, 컴퓨터가 사용자의 시선방향을 획득하는 단계; 및 상기 시선방향을 기준으로 시야범위 내의 트레이닝영역에 상기 시지각훈련영상의 테스크이미지의 표시위치를 결정하는 단계;를 더 포함한다.

본 발명의 다른 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 제공프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 언급된 뇌연결성 기반의 시지각 트레이닝 방법을 실행하며, 매체에 저장된다.

본 발명의 또 다른 일실시예에 따른 뇌연결성 기반의 뇌연결성 기반의 시지각 트레이닝 컴퓨팅 장치는, 헤드마운트 디스플레이 장치에 공간이동영상을 제공하는 통신부; 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고, 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신하여 시지각트레이닝의 최종결과를 산출하는 제어부;를 포함하되, 상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상이다.

또한, 다른 일실시예로, 가상공간 내에서 사용자가 경로이동을 수행함에 따라 상기 공간이동영상을 제공하고, 가상공간 내에 존재하는 복수의 분할공간 중 어느 하나의 공간에 진입함에 따라 상기 공간이동영상에 이어서 상기 시지각훈련영상을 제공하는 경우, 상기 제어부는, 사용자가 진입한 각 분할공간에 부여된 시지각훈련영상 제공조건에 따라 상기 시지각훈련영상을 생성하되, 상기 시지각훈련영상 제공조건은, 각 분할공간에서 시지각훈련영상 제공여부 또는 각 분할공간에서 시지각훈련영상 수행 시에 제공되는 리워드의 수준이다.

또한, 다른 일실시예로, 상기 제어부는, 이전 시행과 동일한 공간에 진입하는 제2테스크를 사용자에게 요청하고, 사용자가 상기 제2테스크를 성공하면 제2테스크 수행결과를 상기 제1테스크 수행결과에 반영하여 최종결과를 산출하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 제어부는, 경로이동을 수행함에 따른 상기 공간이동영상과 제1테스크를 시지각트레이닝 영역에 표시하는 상기 시지각훈련영상을 동시에 제공하고, 경로이동 중에 상기 제1테스트에 대응하는 사용자의 움직임을 수신하여 제1테스크 수행결과를 산출하는 것을 특징으로 한다.

또한, 다른 일실시예로, 상기 제어부는, 보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 상기 공간이동영상을 생성하는 것을 특징으로 한다.

본 발명의 또 다른 일실시예에 따른 헤드마운트 디스플레이 장치는, 상기 헤드마운트 디스플레이 장치의 화면에 공간이동영상을 제공하고, 제1테스크를 포함하는 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고, 상기 시지각훈련영상에 대한 제1테스크 수행결과를 기반으로 시지각트레이닝의 최종결과를 산출하거나 상기 최종결과를 산출하는 컴퓨팅 장치로 상기 제1테스크 수행결과를 전송하되, 상기 제1테스크 수행결과는, 사용자로부터 수신된 사용자조작이 상기 제1테스크와 일치하는지 판단하여 생성되는 것이고, 상기 사용자조작은 상기 헤드마운트 디스플레이 장치와 연결된 컨트롤러를 통해 입력되는 것이고, 상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상이다.

본 발명의 또 다른 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 장치는, 가상공간 내에서 사용자의 경로 이동을 제공하는 공간이동영상을 제공하고, 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고, 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신한다.

상기와 같은 본 발명에 따르면, 뇌연결성을 갖는 시각피질과 해마를 함께 트레이닝함에 따라, 시각피질에 대한 시지각 트레이닝을 수행할 때에 비해 높은 시지각 기능 향상 효과를 제공할 수 있다.

또한, 공간이동과 시지각훈련을 순차적으로 또는 동시에 제공할 수 있어서 시각피질과 해마를 함께 트레이닝하는 다양한 훈련 형태를 제공할 수 있다.

또한, 동일한 공간을 찾아가는 제2테스크를 제공함에 따라 공간이동을 수행한 공간 형태를 기억하도록 하여, 해마 자극 효과를 높일 수 있다.

또한, 공간이동을 수행하는 과정에 시지각 자극에 해당하는 제1테스크를 특정한 동작을 수행하는 지시로 제공할 수 있어서, 재미있는 컨텐츠 형태로 훈련을 제공할 수 있다. 즉, 기존에 비해 시지각 기능 향상 효과(즉, 치료효과)는 높이면서 사용자에게 훈련 시에 재미를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 방법의 순서도이다.
도 2는 본 발명의 일실시예에 따른 공간이동영상을 생성하는 가상공간인 방사형 미로(Radial maze)의 예시도면이다.
도 3(a)는 정상인에게 보이는 시야 범위의 예시도면이다.
도 3(b) 및 도 3(c)는 뇌 손상에 따른 시지각 장애 환자에게 보이는 시야 범위의 예시도면이다.
도 4는 본 발명의 일실시예에 따라 공간이동을 수행한 후 특정한 공간 내에서 제공되는 시지각훈련영상의 예시도면이다.
도 5은 본 발명의 일실시예에 따른 이전 시행과 동일한 공간에 진입하는 제2테스크 수행과정을 더 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법의 순서도이다.
도 6은 본 발명의 일실시예에 따른 테스크이미지 출력방향에서 음향출력을 제공하는 과정을 더 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법의 순서도이다.
도 7은 본 발명의 일실시예에 따른 시선방향에 따라 테스크이미지를 출력위치를 조절하는 과정을 더 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

본 명세서에서 '시지각트레이닝 영역'은 시야범위 내에서 시지각훈련에 의해 시지각 기능이 향상되어야 하는 영역을 의미한다. 예를 들어, 뇌손상에 의한 시야장애 환자의 경우, '시지각트레이닝 영역'은 뇌 손상으로 시야범위 내의 보이지 않는 특정영역일 수 있다.

본 명세서에서 '공간이동영상'은 사용자의 가상공간 내에서의 이동을 표현하는 영상을 의미한다.

본 명세서에서 '시지각훈련영상'은, 시지각 트레이닝을 수행하기 위해 시지각트레이닝 영역에 과제를 제시하는 영상을 의미한다.

본 명세서에서 '제1테스크'는 시지각훈련영상(200) 내에 제공되는 과제를 의미한다.

본 명세서에서 '제2테스크'는 공간이동영상을 통해 사용자에게 제공되는 과제로서, 사용자의 공간기억을 평가하는 과제를 의미한다.이하, 도면을 참조하여, 본 발명의 실시예들에 따른 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램에 대해 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 방법의 순서도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 방법은, 컴퓨터가 헤드마운트 디스플레이 장치에 공간이동영상(100)을 제공하는 단계(S200; 공간이동영상제공단계); 컴퓨터가 시지각훈련영상(200)을 상기 공간이동영상(100)과 동시에 또는 상기 공간이동영상(100)에 이어서 제공하는 단계(S400; 시지각훈련영상제공단계); 및 컴퓨터가 사용자로부터 상기 시지각훈련영상(200)의 제1테스크(210) 수행결과를 수신하는 단계(S1000);를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.

시각피질(Visual cortex)은, 대뇌피질 내에서 직접 시각 정보처리에 관여하는 후두엽에 위치하는 영역이다. 대뇌(cerebrum)겉질의 감각영역에서 촉각, 통각 등의 몸 감각과 시각, 청각, 미각, 후각 등 각각의 감각기관에서 들어온 신호들을 접수하고 처리해 인식하고 지각할 수 있도록 한다. 이 경로 중 한 부분에 문제가 생기게 되면 해당 감각에 대한 지각(Perception)이 불가능하게 될 수 있다. 구체적으로, 사람이 감각자극(예를 들어, 시각자극)을 인식하는 과정은, 감각기(예를 들어, 눈)에 감각자극(예를 들어, 시각자극)이 입력되어 감각 (Sensation)을 수행한 후, 대뇌의 감각영역(예를 들어, 시각피질)이 지각(Perception)하고, 감각표상(예를 들어, 시각표상)을 기억표상으로 연합시켜 의미를 도출하는 인식(Recognition)이 수행된다. 이 때, 시각자극이 감각기가 수용하는 경우에 시각피질이 손상되면, 감각기의 감각과정에는 이상이 없으나 시각자극을 지각하지 못하게 되어 물체를 보지 못하게 된다.

해마(Hippocampus)는 대뇌의 측뇌실하각 바닥면에 돌출하는 대뇌피질의 일부. 시상하부와 밀접한 신경연락을 하며 겉으로는 보이지 않는 영역이다. 해마(Hippocampus)는 장기 기억과 공간 탐색을 하는 데 중요한 역할을 하는 구조물이다. 시각피질이 손상되어 물체를 보지 못하는 환자 중에서, 해마(Hippocampus)가 손상된 시각피질을 보완하여 물체를 인식하게 되는 환자가 존재한다. 즉, 해마(Hippocampus)는 대뇌 시각피질과 밀접한 신경연락을 하여 연결성을 가진다.

따라서, 시각피질(Visual cortex)과 해마(Hippocampus)를 함께 자극함에 따라 손상 또는 저하된 시지각능력을 향상시킬 수 있다. 구체적으로, 인간의 뇌에서, 시공간의 자기중심적(Egocentric: 감각수용기 중심) 처리를 수행하는 뇌영역(예를 들어, 1차 시각영역, parietal lobe, frontal lobe)과 시공간의 타인중심적(Allocentric: 시공간 환경 자체) 처리를 수행하는 해마는 뇌연결성을 가진다. 즉, 시공간 기억력을 담당하는 해마가 시지각 기능에 영향을 준다. 따라서, 시공간 기억을 담당하는 해마(Hippocampus)를 자극하기 위한 내비게이션 트레이닝을 시각 자극을 제공하는 시지각 트레이닝과 함께 제공됨에 따라 시지각 훈련에 따른 효과를 향상시킬 수 있다.

컴퓨터가 헤드마운트 디스플레이 화면에 공간이동영상(100)을 제공한다(S200; 공간이동영상제공단계). 상기 공간이동영상(100)은, 사용자가 가상공간 내에서 경로를 이동하는 영상이다. 상기 공간이동영상(100)은, 일실시예로, 사용자의 조작에 관계없이 가상공간을 이동함에 따라 변경되는 영상일 수 있다. 즉, 공간이동영상(100)이 사용자의 움직임을 수반하지 않고 시각적인 공간의 이동만을 제공할 수 있다. 이를 통해, 컴퓨터는 시각적인 공간변화를 제공하여 사용자 뇌의 해마를 자극할 수 있다.

상기 공간이동영상(100)은, 다른 일실시예로, 사용자의 움직임에 의해 가상공간 내에서 이동되는 영상일 수 있다. 예를 들어, 상기 공간이동영상(100)은, 보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 생성되는 것이다. 상기 보행센싱장치는 사용자가 보행을 수행할 수 있는 가상현실(Virtual Reality; VR) 트레드밀 장치일 수 있다. 이를 통해, 컴퓨터는 사용자가 실제 보행을 수행하도록 하여 현실공간에서 이동하면서 시공간 환경을 인지하는 것과 동일한 가상공간 내 움직임을 통해 해마를 자극할 수 있다.

상기 공간이동영상(100)은 다양한 형태의 공간에서 구현될 수 있다. 일실시예로, 상기 공간이동영상(100)은, 도 2에서와 같이, 방사형 미로(Radial Maze) 형태의 가상공간 내에서 사용자가 이동하는 형태로 구현될 수 있다. 즉, 방사형 미로 형태의 가상공간은 사용자가 움직임을 시작하는 중앙영역이 존재하고, 사용자가 이동 가능한 복수개의 경로가 중앙영역에서부터 연장되어 존재한다. 방사형 미로 형태의 가상공간은 사용자가 각각의 경로를 구별할 수 있는 식별표지(예를 들어, 가상공간의 벽면에 배치되는 특정한 액자, 가상공간 내의 특정한 위치에 세워진 꽃병 등)를 공간 내에 배치할 수 있다. 즉, 컴퓨터는 사용자에게 식별표지를 기반으로 방사형 미로의 특정한 경로를 구별 가능하도록 한다. 또한, 다른 일실시예로, 상기 공간이동영상(100)은 일반 미로(Maze) 형태에서 사용자가 이동하는 영상일 수 있다. 이 때, 일반 미로의 구조는 특정 훈련 주기가 종료된 후에 변경될 수 있다. 예를 들어, 사용자가 1회 훈련을 수행하는 중에는 사용자가 미로 구조를 기억하는 트레이닝을 수행하여야 하므로 일반 미로 구조가 유지되고, 1회 훈련 종료 후에 새로운 훈련이 시작될 때 일반 미로 구조는 변경될 수 있다.

상기 공간이동영상(100)은 이미 생성되어 저장된 프레임을 시간 경과 또는 사용자의 조작에 따라 제공하는 형태로 구현될 수 있다. 또한, 상기 공간이동영상은 특정한 가상공간 내에서 사용자의 위치, 사용자의 주시방향을 기반으로 산출되는 실시간 영상으로 구현될 수도 있다.

컴퓨터가 시지각훈련영상(200)을 상기 공간이동영상(100)과 동시에 또는 상기 공간이동영상(100)에 이어서 제공한다(S400; 시지각훈련영상(200) 제공단계). 상기 시지각훈련영상(200)은 시야범위 내의 시지각 트레이닝이 필요한 영역(즉, 시지각 트레이닝 영역)에 훈련을 위한 테스크(즉, 제1테스크(210))를 제공하는 영상이다.

사용자가 뇌이상에 의한 시지각 장애 환자인 경우, 도 3에서와 같이, 시각피질에 이상이 생겨서 시야범위의 일부영역이 보이지 않게 될 수 있다. 컴퓨터는 시지각훈련영상(200)을 통해 시야범위 내에 보이지 않는 시지각 트레이닝 영역에 테스크를 제공하고 해당 테스크를 맞추도록 하여 시지각 장애를 치료할 수 있다.

또한, 사용자가 시지각 장애가 없는 일반인인 경우, 시지각 기능이 정상범위에는 속하나 시각자극에 대한 반응이 빠르지 않는 등으로 시지각 기능이 떨어져 있을 수 있다. 이 때, 시지각 트레이닝을 수행하여 시지각 기능을 향상시킬 수 있다.

상기 제1테스크(210)는 화면(즉, 시지각훈련영상(200)) 내의 특정영역에 사용자가 맞추어야 하는 문제를 제공하는 것이다. 상기 제1테스크(210)는 다양한 형태로 화면 상에 제공될 수 있다. 일실시예로, 컴퓨터는 상이한 도형 또는 패턴을 구별하는 문제를 제1테스크(210)를 제공한다. 예를 들어, 컴퓨터는 시지각 트레이닝 영역에 가로줄무늬 또는 세로줄무늬를 구별하는 문제를 제1테스크(210)로 제공할 수 있다.

또한, 상기 제1테스크(210)는, 다른 일실시예로, 시지각훈련영상(200)이 공간이동영상(100)과 함께 제공되는 경우, 공간이동영상(100) 내에서 수행하여야 하는 과제가 해당될 수 있다. 예를 들어, 사용자의 실제 보행 움직임을 통해 가상공간의 공간이동영상(100)이 변경되는 경우, 컴퓨터는 시지각훈련영상(200) 내 시지각트레이닝영역에 방향전환 지시(예를 들어, 특정한 방향으로 경로 전환을 지시하는 화살표 또는 방향 전환을 수행하여야 하는 위치에 대한 안내)를 제1테스크(210)로 제공할 수 있다. 컴퓨터는 제1테스크(210)에 대응하는 움직임을 사용자가 수행하는 지 여부를 통해 제1테스크(210)를 인지하였는지 판단할 수 있다. 예를 들어, 사용자가 가상공간 내에서 보행을 수행하는 과정에서 시지각트레이닝영역(예를 들어, 시각피질 손상에 따라 보이지 않는 영역 또는 시지각 능력이 저하되어 있는 영역)에 방향 전환을 안내하는 화살표와 방향 전환을 수행할 때까지 남은 거리를 나타내는 안내정보를 표시하는 경우, 컴퓨터는 사용자가 안내된 방향과 상이한 방향으로 경로전환을 수행하거나 안내된 지점과 다른 위치에서 경로전환을 수행하면 제1테스크를 인식하지 못한 것으로 판단할 수 있다.

또한, 다른 일실시예로, 상기 시지각훈련영상(200) 제공단계(S400)는, 상기 공간이동영상(100)에 이어서 상기 시지각훈련영상(200)을 제공하는 경우, 가상공간 내에서 사용자가 경로이동을 통해 가상공간 내에 존재하는 복수의 공간 중 어느 하나의 공간에 진입하면, 컴퓨터가 각 공간에 부여된 조건을 기반으로 상기 시지각훈련영상(200)을 생성하여 제공한다. 공간이동영상(100)은 복수의 분할된 공간을 포함할 수 있고, 사용자가 가상공간의 구조를 기억함에 따라 공간이동영상(100) 내의 경로를 따라 이동하여 특정한 공간에 진입하는 과정을 통해 해마를 자극한다. 예를 들어, 방사형 미로 상에서 사용자가 경로이동을 수행하는 경우, 컴퓨터는 각각의 경로 끝의 공간(즉, 분할공간)에서 시지각훈련영상을 제공할 수 있다.

이 때, 각각의 분할공간은 각각 시지각훈련영상(200) 제공조건이 부여될 수 있다. 시지각훈련영상(200) 제공조건은, 사용자가 이동하는 가상공간 내의 분할공간에서 시지각훈련영상 제공여부, 시지각훈련영상 제공 시에 제공되는 리워드의 수준 등이 해당될 수 있다. 예를 들어, 컴퓨터는 복수의 분할공간 중에 일부만 시지각훈련영상을 제공하도록 할 수 있다. 시지각훈련을 수행함에 따라 리워드를 제공받는 경우, 컴퓨터는 사용자가 시지각훈련영상을 제공하지 않는 분할공간에 진입하면 리워드를 획득하지 못하도록 설정한다. 또한, 예를 들어, 컴퓨터는 각각의 분할공간이 시지각훈련영상을 제공하되 시지각훈련을 수행함에 따라 획득되는 리워드를 상이하게 설정할 수 있다.

예를 들어, 가상공간 내의 방사형 미로(Radial maze) 상에서 공간이동을 수행하는 경우, 컴퓨터는 복수개의 방사 경로 중에서 특정한 조건(즉, 각 훈련 시마다 설정되는 조건)에 부합하는 경로의 끝에서만 리워드를 제공하는 시지각트레이닝이 수행되도록 하고, 이를 통해 사용자가 조건에 부합하는 경로를 탐색 및 기억하도록 한다.

또한, 예를 들어, 경로탐색을 반복 수행하는 경우, 사용자는 리워드 제공조건에 해당하는 경로를 최초 탐색하고, 다음 시행(예를 들어, 방사형 미로의 중앙에서 다시 경로 탐색을 시작하거나 제1테스트를 제공받은 위치에서 다른 분할공간을 찾아가는 시행)에서 리워드제공조건에 해당하는 동일 또는 상이한 경로를 기억하여 이동을 수행함에 따라 해마(Hippocampus)가 자극될 수 있다. 즉, 사용자에게 경로를 탐색하는 수행하는 제2테스크를 반복적으로 수행하도록 하는 경우, 컴퓨터는 리워드가 제공되는 경로를 동일하게 탐색하면 더 높은 리워드를 제공하거나, 이미 이동하였던 경로에서는 리워드가 제공되지 않도록 하여 사용자의 공간기억을 유도할 수 있다.

컴퓨터는 사용자가 진입한 공간 내에서 상기 제공조건에 따른 시지각훈련영상(200)을 제공함에 따라, 사용자에게 해마를 자극하는 훈련과정에 이어서 시각피질을 자극하는 훈련과정을 제공할 수 있다.또한, 다른 일실시예로, 상기 시지각훈련영상(200) 제공단계(S400)는, 상기 공간이동영상(100)과 동시에 상기 시지각훈련영상(200)을 제공하는 경우, 상기 공간이동영상(100) 상에 상기 단위시간 간격으로 생성되는 시지각훈련영상(200)의 프레임을 결합하여 제공한다. 예를 들어, 컴퓨터는 상기 공간이동영상(100) 내에 포함된 제1영상프레임과 상기 시지각훈련영상(200) 내에 포함된 제2영상프레임을 결합하여 최종출력영상을 생성한다.

이 때, 일실시예로, 상기 제1영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되는 것이고, 상기 제2영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되지 않고 고정되는 것일 수 있다. 사용자가 가상공간에서 이동을 수행하는 과정에서 고개를 움직이거나 시선을 움직이더라도 제1테스크(210)가 시지각트레이닝 영역에 표시되어야 손상된 시각피질 영역을 훈련할 수 있다. 사용자가 고개를 움직이거나 동공을 움직임에 따라 제1테스크(210)의 위치도 변경되게 되면, 사용자는 제1테스크(210)가 시야범위 내의 정상영역에 표시됨에 따라 제1테스크(210)을 확인할 수 있게 된다. 따라서, 제1테스크(210)를 시지각트레이닝영역에 고정하기 위해, 컴퓨터는 시지각훈련영상(200)에 포함된 제2영상프레임을 고개움직임이나 안구움직임에 상관없이 고정되도록 설정한다.

컴퓨터가 사용자로부터 상기 시지각훈련영상(200)의 제1테스크(210) 수행결과를 수신한다(S1000). 컴퓨터가 헤드마운트 디스플레이 화면을 통해 공간이동영상(100)을 제공한 후 시지각훈련영상(200)을 제공하는 경우, 컴퓨터는 사용자가 진입한 공간 내에서 제공되는 시지각훈련영상(200)의 제1테스크(210)에 대해 정답이 입력되는지 여부를 판단한다. 즉, 제1테스크(210)는, 도 4에서와 같이, 2차원 또는 3차원 공간 상의 특정 위치에 제공되는 문제(예를 들어, 여러 도형 중에서 시지각트레이닝 영역에 표시된 도형을 선택하는 문제)일 수 있고, 제1테스크(210) 수행결과는 시지각트레이닝 영역에 표시되는 문제에 대한 입력값이 정답인지 여부이다.

공간이동영상(100)과 시지각훈련영상(200)을 함께 제공하는 경우, 상기 제1테스크(210)는 시지각훈련영상(200) 내 시지각 트레이닝 영역에 표시되며, 사용자가 보행 시에 수행하여야 하는 것이고, 상기 제1테스크(210) 수행결과는 보행 중인 사용자가 상기 제1테스크(210)에 대응하는 움직임을 수행하는 지 여부이다. 즉, 공간이동영상(100)과 시지각훈련영상(200)을 동시에 제공하는 경우, 컴퓨터는 사용자로부터 시지각훈련영상(200) 내의 문제에 대한 답을 입력하도록 할 수 있다.

일실시예로, 컴퓨터는 사용자가 공간이동영상(100)에 대응하는 가상공간 내를 이동하는 중에 일측에 표시되는 제1테스크(210)에 대한 정답을 양손에 파지하는 컨트롤러를 통해 입력받는다. 두 개의 도형 중에서 제1테스크(210)에 포함된 도형을 선택하는 문제인 경우, 컴퓨터는 제1도형을 왼손 컨트롤러에 매칭하고 제2도형을 오른손 컨트롤러에 매칭하여 사용자가 조작하는 컨트롤러 종류에 의해 정답을 입력받을 수 있다.

또한, 다른 일실시예로, 제1테스크(210)가 공간이동영상(100)에 대응하는 가상공간 내를 이동하는 중에 수행하여야 하는 동작 또는 움직임인 경우, 컴퓨터는 제1테스크(210)가 화면 상에 제공된 후에 사용자가 제1테스크(210)에 따른 동작이나 움직임을 수행하는지 여부를 바탕으로 제1테스크(210)를 시각적으로 인지하였는지 판단한다. 예를 들어, 상기 동작 또는 움직임이 사용자의 보행 방향 전환인 경우, 컴퓨터는 사용자가 방향 전환을 수행하였는지 여부로 제1테스크(210)의 시각적 인지를 파악한다. 또한, 예를 들어, 컴퓨터는 사용자의 움직임을 인식하는 비전센서 또는 모션센서를 통해 사용자의 움직임 유형을 판단하고, 제1테스크(210)에 대응되는 동작인지 여부를 판단한다.

컴퓨터는 제1테스크(210) 수행결과를 기반으로 시지각 트레이닝 수행결과를 산출하고, 사용자의 시지각 기능 상태를 파악한다.

또한, 다른 일실시예로, 도 5에서와 같이, 상기 공간이동영상(100)에 이어서 상기 시지각훈련영상(200)을 제공하는 경우, 컴퓨터가 이전 시행과 동일한 공간에 진입하는 제2테스크를 사용자에게 요청하는 단계(S500); 및 사용자가 상기 제2테스크를 성공하면, 컴퓨터가 상기 제2테스크 수행결과를 상기 제1테스크(210) 수행결과에 반영하여 최종결과를 산출하는 단계(S600);를 더 포함한다. 공간이동을 수행하는 것뿐만 아니라 공간을 이동한 경로를 사용자에게 기억한 후 재수행하도록 하여, 컴퓨터는 공간기억을 담당하면서 시지각 기능과 연관된 해마를 자극할 수 있다. 즉, 상기 제2테스크는 공간이동영상(100) 내의 가상공간에서 이전 시행과 동일한 경로를 기억하여 이동하도록 하는 과제이다.

컴퓨터는 이전 시행과 동일한 공간에 다시 진입하는 제2테스크를 사용자에게 요청한다(S500). 예를 들어, 컴퓨터는 복수의 분할공간을 가지는 동일한 가상공간 내에서 공간이동을 시작하는 위치를 변경한 후 동일한 공간을 찾아가도록 요청할 수 있다. 즉, 컴퓨터는 이전 시행 과정에서 가상공간 내를 이동하면서 확인한 공간 구조를 기억하도록 하여 해마를 자극할 수 있고, 뇌연결성을 통해 해마를 자극하여 시지각 기능을 향상시킬 수 있다.

그 후, 컴퓨터는, 사용자가 상기 제2테스크를 성공하면, 컴퓨터가 상기 제2테스크 수행결과를 상기 제1테스크(210) 수행결과에 반영하여 최종결과를 산출한다(S600). 즉, 동일한 공간을 찾아가는 제2테스크를 성공하면 공간기억 수행을 통해 해마 자극이 이루어진 것이므로, 컴퓨터는 제2테스크 성공여부를 특정 공간 내에서 시지각 트레이닝을 수행하는 제1테스크(210) 수행결과와 함께 반영하여 시지각 훈련의 최종결과를 산출한다.

또한, 다른 일실시예로, 도 6에서와 같이, 컴퓨터가 제1테스크(210)(즉, 테스크이미지)가 표시되는 위치에 대응되는 방향에 음향을 출력하는 단계(S700);를 더 포함한다. 뇌손상에 의해 시야범위의 일부가 보이지 않는 환자는 시지각훈련영상(200) 내의 테스크이미지(210)를 시각적으로 인지하지 못할 수 있으므로, 다른 감각을 통해 시지각 자극이 제공되는 방향을 안내할 수 있다. 컴퓨터가 3차원 음향 출력을 통해 테스크이미지(210)가 표시되는 위치에 대응되는 방향에서 음향을 제공하여, 음향이 제공되는 방향의 시야영역에서 테스크이미지(210)를 인지하려는 시도를 통해 시지각 기능이 향상될 수 있다.

또한, 다른 일실시예로, 도 7에서와 같이, 컴퓨터가 사용자의 시선방향을 획득하는 단계(S800); 및 상기 시선방향을 기준으로 시야범위 내의 트레이닝영역에 상기 시지각훈련영상(200)의 테스크이미지(210)의 표시위치를 결정하는 단계(S900);를 더 포함한다. 사용자의 시선이동에 의해 제1테스크(210)(즉, 테스크이미지)가 시지각트레이닝영역(예를 들어, 시지각 손상영역)에 배치되지 않고 정상영역에 위치하게 되는 것을 방지할 필요가 있다. 이를 위해, 사용자의 시선방향을 실시간으로 측정하여 시선방향(즉, 바라보는 방향의 시야중심)을 기준으로 시지각트레이닝영역으로 제1테스크(210)의 위치를 조절한다. 상기 시선방향은 고개움직임과 안구움직임에 의해 결정될 수 있다. 컴퓨터는 사용자의 고개움직임을 헤드마운트 디스플레이 장치 내에 구비된 모션센서를 통해 파악할 수 있다. 또한, 컴퓨터는 사용자의 안구움직임을 헤드마운트 디스플레이 장치에 구비된 아이트래커(Eye-Tracker)를 통해 파악할 수 있다.

구체적으로, 컴퓨터는 헤드마운트 디스플레이 장치 내의 모션센서 또는 아이트래커를 통해 시선방향(즉, 사용자가 바라보는 시야범위의 중심방향)을 획득한다(S800). 그 후, 컴퓨터는 시선방향을 기준으로 시지각트레이닝영역을 판단하여 제1테스크(210)(즉, 테스크이미지(210))의 가상공간 내 표시위치를 조절한다(S900). 예를 들어, 시야중심을 기준으로 좌측 상단영역이 뇌손상에 의해 보이지 않는 영역인 경우, 사용자의 고개움직임 또는 동공움직임에 의해 시선방향이 변경되면, 컴퓨터는 변경된 시선방향을 파악하고, 시선방향을 기준으로 사용자의 시야범위를 결정한 후, 시선방향을 기준으로 시야범위의 좌측상단에 해당되는 범위를 시지각 트레이닝 영역으로 조절하여 제1테스크(210)를 표시한다.

본 발명의 또 다른 일실시예에 따른 헤드마운트 디스플레이 장치는, 상기 헤드마운트 디스플레이 장치의 화면에 공간이동영상을 제공하고, 제1테스크를 포함하는 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고, 상기 시지각훈련영상에 대한 제1테스크 수행결과를 기반으로 시지각트레이닝의 최종결과를 산출하거나 상기 최종결과를 산출하는 컴퓨팅 장치로 상기 제1테스크 수행결과를 전송한다. 상기 제1테스크 수행결과는, 사용자로부터 수신된 사용자조작이 상기 제1테스크와 일치하는지 판단하여 생성되는 것이다. 상기 사용자조작은 상기 헤드마운트 디스플레이 장치와 연결된 컨트롤러를 통해 입력되는 것이다. 상기 컨트롤러는 사용자가 파지하고 사용하는 장치, 사용자가 착석하여 보행을 수행하는 보행센싱장치 등을 포함할 수 있다. 상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상이다.

본 발명의 또 다른 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 컴퓨팅장치는, 헤드마운트 디스플레이 장치 또는 헤드마운트 디스플레이 장치가 연결된 클라이언트 장치에 공간이동영상(100)을 제공하고, 시지각훈련영상(200)을 상기 공간이동영상(100)과 동시에 또는 상기 공간이동영상(100)에 이어서 제공하고, 사용자로부터 상기 시지각훈련영상(200)의 제1테스크(210) 수행결과를 수신한다. 상기 공간이동영상(100)은 사용자가 가상공간 내에서 경로를 이동하는 영상이다.

본 발명의 또 다른 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 컴퓨팅장치는, 통신부; 및 제어부;를 포함한다.

상기 제어부는, 특정한 가상공간에 대한 공간이동영상(100)을 생성하거나 기 저장된 공간이동영상(100)을 실시간으로 추출하는 역할을 수행한다. 상기 공간이동영상(100)은, 사용자가 가상공간 내에서 경로를 이동하는 영상이다. 일실시예로, 상기 공간이동영상(100)은 사용자의 조작에 관계없이 가상공간을 이동함에 따라 변경되는 영상일 수 있다. 즉, 공간이동영상(100)이 사용자의 움직임을 수반하지 않고 시각적인 공간의 이동만을 제공할 수 있다. 이를 통해, 컴퓨터는 시각적인 공간변화를 제공하여 사용자 뇌의 해마를 자극할 수 있다. 다른 일실시예로, 상기 공간이동영상(100)은, 사용자의 움직임에 의해 가상공간 내에서 이동되는 영상일 수 있다. 예를 들어, 상기 공간이동영상(100)은, 보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 생성되는 것이다. 상기 보행센싱장치는 사용자가 보행을 수행할 수 있는 가상현실(Virtual Reality; VR) 트레드밀 장치일 수 있다. 이를 통해, 컴퓨터는 사용자가 실제 보행을 수행하도록 하여 현실공간에서 이동하면서 시공간 환경을 인지하는 것과 동일한 가상공간 내 움직임을 통해 해마를 자극할 수 있다.

또한, 다른 일실시예로, 제어부는 다양한 형태의 공간을 기반으로 하는 공간이동영상(100)을 제공한다. 예를 들어, 제어부는 방사형 미로(Radial Maze) 형태 또는 일반 미로(Maze) 형태에서 사용자가 이동하는 영상을 공간이동영상(100)으로 생성할 수 있다.

또한, 다른 일실시예로, 제어부는, 일반 미로의 구조를 가상공간에 적용하는 경우, 특정 훈련 주기가 종료된 후에 미로 구조를 변경할 수 있다. 예를 들어, 사용자가 1회 훈련을 수행하는 중에는 사용자가 미로 구조를 기억하는 트레이닝을 수행하여야 하므로 일반 미로 구조가 유지되고, 1회 훈련 종료 후에 새로운 훈련이 시작될 때 일반 미로 구조는 변경될 수 있다.

또한, 다른 일실시예로, 제어부는 이미 생성되어 저장된 공간이동영상(100) 프레임을 시간 경과 또는 사용자의 조작에 따라 제공하는 형태로 구현할 수 있다. 또한, 다른 일실시예로, 제어부는 특정한 가상공간 내에서 사용자의 위치, 사용자의 주시방향을 기반으로 산출되는 실시간 영상으로 공간이동영상(100)을 구현할 수도 있다.

또한, 제어부는, 시지각훈련영상(200)을 공간이동영상(100)과 동시에 또는 공간이동영상(100)에 이어서 제공하는 역할을 수행한다. 상기 시지각훈련영상(200)은 시야범위 내의 시지각 트레이닝이 필요한 영역(즉, 시지각 트레이닝 영역)에 훈련을 위한 테스크(즉, 제1테스크(210))를 제공하는 영상이다. 상기 제1테스크(210)는 화면(즉, 시지각훈련영상(200)) 내의 특정영역에 사용자가 맞추어야 하는 문제를 제공하는 것이다.

상기 제1테스크(210)는 다양한 형태로 화면 상에 제공될 수 있다. 일실시예로, 컴퓨터는 상이한 도형 또는 패턴을 구별하는 문제를 제1테스크(210)를 제공한다. 예를 들어, 컴퓨터는 시지각 트레이닝 영역에 가로줄무늬 또는 세로줄무늬를 구별하는 문제를 제1테스크(210)로 제공할 수 있다.

또한, 상기 제1테스크(210)는, 다른 일실시예로, 시지각훈련영상(200)이 공간이동영상(100)과 함께 제공되는 경우, 공간이동영상(100) 내에서 수행하여야 하는 과제가 해당될 수 있다. 예를 들어, 사용자의 실제 보행 움직임을 통해 가상공간의 공간이동영상(100)이 변경되는 경우, 제어부는 시지각훈련영상(200) 내 시지각트레이닝영역에 방향전환 지시(예를 들어, 특정한 방향으로 경로 전환을 지시하는 화살표 또는 방향 전환을 수행하여야 하는 위치에 대한 안내)를 제1테스크(210)로 제공할 수 있다.

또한, 다른 일실시예로, 제어부는, 상기 공간이동영상(100)에 이어서 상기 시지각훈련영상(200)을 제공하는 경우, 가상공간 내에서 사용자가 경로이동을 통해 가상공간 내에 존재하는 복수의 공간 중 어느 하나의 공간에 진입하면, 컴퓨터가 각 공간에 부여된 조건을 기반으로 상기 시지각훈련영상(200)을 생성하여 제공한다. 공간이동영상(100)은 복수의 분할된 공간을 포함할 수 있고, 사용자가 가상공간의 구조를 기억함에 따라 공간이동영상(100) 내의 경로를 따라 이동하여 특정한 공간에 진입하는 과정을 통해 해마를 자극한다. 예를 들어, 방사형 미로 상에서 사용자가 경로이동을 수행하는 경우, 컴퓨터는 각각의 경로 끝의 공간(즉, 분할공간)에서 시지각훈련영상을 제공할 수 있다. 이 때, 각각의 분할공간은 각각 시지각훈련영상 제공조건이 부여될 수 있다. 기설명된 시지각훈련영상 제공조건에 대한 상세한 설명은 생략한다. 제어부는 사용자가 진입한 공간 내에서 상기 제공조건에 따른 시지각훈련영상(200)을 제공함에 따라, 사용자에게 해마를 자극하는 훈련과정에 이어서 시각피질을 자극하는 훈련과정을 제공할 수 있다.

또한, 다른 일실시예로, 가상공간 내에서 사용자가 경로이동을 수행함에 따라 상기 공간이동영상을 제공하고, 가상공간 내에 존재하는 복수의 분할공간 중 어느 하나의 공간에 진입함에 따라 상기 공간이동영상에 이어서 상기 시지각훈련영상을 제공하는 경우, 상기 제어부는, 사용자가 진입한 각 분할공간에 부여된 시지각훈련영상 제공조건에 따라 상기 시지각훈련영상을 생성한다. 상기 시지각훈련영상 제공조건은, 각 분할공간에서 시지각훈련영상 제공여부 또는 각 분할공간에서 시지각훈련영상 수행 시에 제공되는 리워드의 수준이다.

또한, 다른 일실시예로, 제어부는, 상기 공간이동영상(100)과 동시에 상기 시지각훈련영상(200)을 제공하는 경우, 상기 공간이동영상(100) 상에 상기 단위시간 간격으로 생성되는 시지각훈련영상(200)의 프레임을 결합하여 제공하는 역할을 수행한다. 예를 들어, 제어부는 상기 공간이동영상(100) 내에 포함된 제1영상프레임과 상기 시지각훈련영상(200) 내에 포함된 제2영상프레임을 결합하여 최종출력영상을 생성한다. 이 때, 일실시예로, 상기 제1영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되는 것이고, 상기 제2영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되지 않고 고정되는 것일 수 있다. 사용자가 가상공간에서 이동을 수행하는 과정에서 고개를 움직이거나 시선을 움직이더라도 제1테스크(210)가 시지각트레이닝 영역에 표시되어야 손상된 시각피질 영역을 훈련할 수 있다.

또한, 상기 제어부는, 사용자로부터 상기 시지각훈련영상(200)의 제1테스크(210) 수행결과를 수신한다. 제어부는 헤드마운트 디스플레이 장치와 연결된 컨트롤러(Controller) 또는 헤드마운트 디스플레이 장치가 연결된 클라이언트 장치로부터 제1테스트 수행결과를 수신한다. 상기 컨트롤러는 사용자가 파지한 상태에서 조작하는 장치일 수도 있고, 사용자가 착석한 상태에서 보행 등의 움직임을 수행하는 장치일 수도 있다. 예를 들어, 상기 제어부는, 보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 상기 공간이동영상을 생성한다.

구체적으로, 제어부는 사용자가 공간이동영상(100)에 대응하는 가상공간 내를 이동하는 중에 일측에 표시되는 제1테스크(210)에 대한 정답을 양손에 파지하는 컨트롤러를 통해 입력된 제1테스크 수행결과를 수신할 수 있다. 또한, 제어부는 공간이동영상(100)에 대응하는 가상공간 내를 이동하는 중에 수행하여야 하는 동작 또는 움직임을 제1테스크 수행결과로 수신할 수 있다. 즉, 상기 제어부는, 경로이동을 수행함에 따른 상기 공간이동영상과 제1테스크를 시지각트레이닝 영역에 표시하는 상기 시지각훈련영상을 동시에 제공하고, 경로이동 중에 상기 제1테스트에 대응하는 사용자의 움직임을 수신하여 제1테스크 수행결과를 산출한다. 예를 들어, 시지각훈련영상을 사용자의 보행 방향 전환을 명령하는 이미지로 제공하는 경우, 제어부는 사용자가 특정시점에 특정한 방향으로 방향 전환하는 동작 또는 움직임을 제1테스크 수행결과로 수신할 수 있다.

또한, 상기 제어부는 제1테스크 수행결과를 기반으로 시지각 트레이닝 수행결과를 산출하는 역할을 수행한다. 또한, 상기 제어부는 시지각 트레이닝 수행결과를 기반으로 사용자의 시지각 기능 상태를 파악하는 역할을 수행한다.

일실시예로, 제1테스크(210)가 공간이동영상(100)에 대응하는 가상공간 내를 이동하는 중에 수행하여야 하는 동작 또는 움직임인 경우, 제어부는 제1테스크(210)가 화면 상에 제공된 후에 사용자가 제1테스크(210)에 따른 동작이나 움직임을 수행하는지 여부를 바탕으로 제1테스크(210)를 시각적으로 인지하였는지 판단한다. 또한, 다른 일실시예로, 헤드마운트 디스플레이 화면을 통해 공간이동영상(100)을 제공한 후 시지각훈련영상(200)을 제공하는 경우, 제어부는 사용자가 진입한 공간 내에서 제공되는 시지각훈련영상(200)의 제1테스크(210)에 대해 정답이 입력되는지 여부를 판단한다.

상기 통신부는 헤드마운트 디스플레이 장치 또는 헤드마운트 디스플레이 장치가 연결된 클라이언트 장치에 공간이동영상(100)을 제공한다. 상기 컴퓨팅 장치는 서버장치이고, 헤드마운트 디스플레이 장치가 클라이언트 장치에 연결되어 제공된 영상을 표시하는 경우, 통신부는 클라이언트장치로 공간이동영상(100)을 전송한다. 상기 컴퓨팅 장치가 헤드마운트 디스플레이 장치가 연결되는 클라이언트 장치인 경우, 컴퓨팅 장치는 공간이동영상(100)을 생성하여 헤드마운트 디스플레이 장치에 제공한다.본 발명의 또 다른 일실시예에 따른 뇌연결성 기반의 시지각 트레이닝 장치는, 가상공간 내에서 사용자의 경로 이동을 제공하는 공간이동영상을 제공하고, 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고, 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신한다.

일실시예로, 상기 시지각 트레이닝 장치는 제어부를 포함한다. 상기 제어부가 가상공간 내에서 사용자의 경로 이동을 제공하는 공간이동영상을 제공하고, 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하는 역할을 수행한다.

이상에서 전술한 본 발명의 일 실시예에 따른 뇌연결성 기반의 시지각 트레이닝 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

컴퓨터가 헤드마운트 디스플레이 장치에 공간이동영상을 제공하되, 상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상인, 공간이동영상제공단계;
컴퓨터가 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하는 단계; 및
컴퓨터가 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신하는 단계;를 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법.
제1항에 있어서,
상기 시지각훈련영상제공단계는,
상기 공간이동영상에 이어서 상기 시지각훈련영상을 제공하는 경우,
가상공간 내에서 사용자가 경로이동을 통해 가상공간 내에 존재하는 복수의 공간 중 어느 하나의 공간에 진입하면, 컴퓨터가 각 공간에 부여된 조건을 기반으로 상기 시지각훈련영상을 생성하여 제공하는 것을 특징으로 하는, 뇌연결성 기반의 시지각 트레이닝 방법.
제2항에 있어서,
컴퓨터가 이전 시행과 동일한 공간에 진입하는 제2테스크를 사용자에게 요청하는 단계; 및
사용자가 상기 제2테스크를 성공하면, 컴퓨터가 상기 제2테스크 수행결과를 상기 제1테스크 수행결과에 반영하여 최종결과를 산출하는 단계;를 더 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법.
제1항에 있어서,
상기 시지각훈련영상제공단계는,
상기 공간이동영상과 동시에 상기 시지각훈련영상을 제공하는 경우,
상기 공간이동영상 상에 상기 단위시간 간격으로 생성되는 시지각훈련영상의 프레임을 결합하여 제공하는 것을 특징으로 하는, 뇌연결성 기반의 시지각 트레이닝 방법.
제4항에 있어서,
상기 제1테스크는,
사용자가 보행 시에 수행하여야 하는 과제로서, 상기 시지각훈련영상 내의 사용자의 시지각 트레이닝 영역에 표시되고,
상기 제1테스크 수행결과는,
보행 중인 사용자가 상기 제1테스크에 대응하는 움직임을 수행하는 지 여부인, 뇌연결성 기반의 시지각 트레이닝 방법.
제4항에 있어서,
상기 시지각훈련영상제공단계는,
상기 공간이동영상 내에 포함된 제1영상프레임과 상기 시지각훈련영상 내에 포함된 제2영상프레임을 결합하여 최종출력영상을 생성하는 것을 특징으로 하고,
상기 제1영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되는 것이고,
상기 제2영상프레임은 사용자의 고개움직임 또는 동공움직임에 의해 변경되지 않고 고정되는 것인, 뇌연결성 기반의 시지각 트레이닝 방법.
제1항에 있어서,
상기 공간이동영상은,
보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 생성되는 것인, 뇌연결성 기반의 시지각 트레이닝 방법.
제1항에 있어서,
상기 시지각훈련영상은,
상기 시지각훈련영상 내의 사용자의 시지각 트레이닝 영역에 테스크이미지를 표시하는 것이고,
컴퓨터가 상기 테스크이미지가 표시되는 위치에 대응되는 방향에서 음향을 출력하는 단계;를 더 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법.
제1항에 있어서,
컴퓨터가 사용자의 시선방향을 획득하는 단계; 및
상기 시선방향을 기준으로 시야범위 내의 트레이닝영역에 상기 시지각훈련영상의 테스크이미지의 표시위치를 결정하는 단계;를 더 포함하는, 뇌연결성 기반의 시지각 트레이닝 방법.
하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 뇌연결성 기반의 시지각 트레이닝 제공프로그램.
헤드마운트 디스플레이 장치가 연결된 클라이언트 장치 또는 상기 헤드마운트 디스플레이 장치에 공간이동영상을 제공하는 통신부;
시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고, 사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신하여 시지각트레이닝의 최종결과를 산출하는 제어부;를 포함하되,
상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상인, 뇌연결성 기반의 시지각 트레이닝 컴퓨팅 장치.
제11항에 있어서,
가상공간 내에서 사용자가 경로이동을 수행함에 따라 상기 공간이동영상을 제공하고, 가상공간 내에 존재하는 복수의 분할공간 중 어느 하나의 공간에 진입함에 따라 상기 공간이동영상에 이어서 상기 시지각훈련영상을 제공하는 경우,
상기 제어부는,
사용자가 진입한 각 분할공간에 부여된 시지각훈련영상 제공조건에 따라 상기 시지각훈련영상을 생성하되,
상기 시지각훈련영상 제공조건은, 각 분할공간에서 시지각훈련영상 제공여부 또는 각 분할공간에서 시지각훈련영상 수행 시에 제공되는 리워드의 수준인, 시지각 트레이닝 컴퓨팅 장치.
제12항에 있어서,
상기 제어부는,
이전 시행과 동일한 공간에 진입하는 제2테스크를 사용자에게 요청하고,
사용자가 상기 제2테스크를 성공하면 제2테스크 수행결과를 상기 제1테스크 수행결과에 반영하여 최종결과를 산출하는 것을 특징으로 하는, 시지각 트레이닝 컴퓨팅 장치.
제11항에 있어서,
상기 제어부는,
경로이동을 수행함에 따른 상기 공간이동영상과 제1테스크를 시지각트레이닝 영역에 표시하는 상기 시지각훈련영상을 동시에 제공하고,
경로이동 중에 상기 제1테스트에 대응하는 사용자의 움직임을 수신하여 제1테스크 수행결과를 산출하는 것을 특징으로 하는, 시지각 트레이닝 컴퓨팅 장치.
제11항에 있어서,
상기 제어부는,
보행센싱장치에 의해 사용자의 실제 보행을 센싱한 데이터를 기반으로 상기 공간이동영상을 생성하는 것을 특징으로 하는, 시지각 트레이닝 컴퓨팅 장치.
헤드마운트 디스플레이 장치에 있어서,
상기 헤드마운트 디스플레이 장치의 화면에 공간이동영상을 제공하고,
제1테스크를 포함하는 시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고,
상기 시지각훈련영상에 대한 제1테스크 수행결과를 기반으로 시지각트레이닝의 최종결과를 산출하거나 상기 최종결과를 산출하는 컴퓨팅 장치로 상기 제1테스크 수행결과를 전송하되,
상기 제1테스크 수행결과는,
사용자로부터 수신된 사용자조작이 상기 제1테스크와 일치하는지 판단하여 생성되는 것이고,
상기 사용자조작은 상기 헤드마운트 디스플레이 장치와 연결된 컨트롤러를 통해 입력되는 것이고,
상기 공간이동영상은 사용자가 가상공간 내에서 경로를 이동하는 영상인, 헤드마운트 디스플레이 장치.
가상공간 내에서 사용자의 경로 이동을 제공하는 공간이동영상을 제공하고,
시지각훈련영상을 상기 공간이동영상과 동시에 또는 상기 공간이동영상에 이어서 제공하고,
사용자로부터 상기 시지각훈련영상의 제1테스크 수행결과를 수신하는, 뇌연결성 기반의 시지각 트레이닝 장치.