KR20180078619A - 가상 모델을 이용하는 시각 자극 생성 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

시각 자극 생성 방법은 피험자가 위치하는 현실 공간과 대응하도록 정합된 가상 공간 상에 가상 객체 모델을 생성하는 단계와, 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하는 단계와, 예비 자극을 피험자가 인지하였는지 여부에 대한 인지 정보를 입력 받는 단계와, 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하는 단계와, 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성하는 단계를 포함한다.

Description

가상 모델을 이용하는 시각 자극 생성 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND READABLE RECORDING MEDIUM OF CREATING VISUAL STIMULATION USING VIRTUAL MODEL}

본 발명은 시각 자극 생성 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로서, 보다 상세하게는 가상 공간 상의 가상 모델을 이용하여 피험자의 가시 범위에 시각 자극을 생성하여 피험자의 시각적인 인지 범위를 파악할 수 있는 시각 자극 생성 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

시공간 편측 무시는 손상된 뇌 반구의 반대쪽 시공간을 인식하지 못하는 증상으로 뇌 손상 후 흔하게 발생하며, 기능 회복을 심각하게 저해하는 가장 중요한 증상 중 하나이다. 이러한 편측 무시 증상은, 가시 범위 중에서 일측으로 편향된 인지 범위를 가지는 자기 중심성 편측 무시(egocentric neglect)와, 각각의 시각 자극의 일측 부분에 대해서만 인지 범위를 가지는 물체 중심성 편측 무시(allocentric neglect)로 분류될 수 있다.

이러한 편측 무시 증상을 겪는 환자들은 편 마비측 운동 기능이 정상으로 돌아와도 편 마비측 신체를 꾸준히 사용하지 않아 일상 생활 활동에 큰 불편함을 겪는다.

따라서, 편측 무시의 시각적인 문제와 더불어 운동 기능과 관련된 문제점의 개선을 위해 다양한 평가 및 재활 방법이 연구되어 왔다. 그러나, 편측 무시의 평가 및 재활을 위한 종래 시각 자극 생성 방법의 경우, 현실 공간에서 물리적인 자극과 반응을 통해 편측 무시 증상이 평가되기 때문에 정확한 평가를 위해서는 오랜 경험을 가지는 숙련된 평가자가 필요하며, 이 경우에도 충분한 신뢰도가 확보되지 않는 문제점이 있다.

또한, 종래의 시각 자극 생성 방법의 경우 환자 마다 인지 가능한 시야 범위가 상이하고 수행 조건 및 상태가 상이할 수 있어, 평가 결과를 정량화하는 것이 곤란한 문제점이 있다. 따라서, 평가가 이루어지더라도 평가 결과의 실질적인 유효성이 보장되기 어려우며, 나아가 이를 통해 환자의 증상을 완화시키는 재활 과정에 이르기 어렵다.

따라서, 환자의 증상 정도에 대한 정량화가 가능하고, 평가 과정에 환자의 반응을 반영하여 실질적으로 유효한 진단 및 재활을 수반할 수 있는 시각 자극 생성 시스템 및 방법이 요구된다.

본 발명은 전술한 종래의 시각 자극 생성 방법의 문제점을 개선하고자 안출된 것으로, 현실 공간과 정합된 가상 공간 상에 가상 모델을 생성하고 이를 기초로 피험자에게 시각 자극을 생성하며 생성된 자극에 대한 피험자의 반응을 수집하여 가상 모델로써 반영함으로써 피험자의 인지 범위를 결정하고 이를 고려하여 적절한 시각 자극을 생성할 수 있는 시각 자극 생성 방법 및 시스템을 제공하는데 그 목적이 있다.

본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시각 자극 생성 방법은 가상 공간 상의 가상 모델을 이용하며, 피험자가 위치하는 현실 공간과 대응하도록 정합된 상기 가상 공간 상에 가상 객체 모델을 생성하는 단계; 상기 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하는 단계; 상기 예비 자극을 피험자가 인지하였는지 여부에 대한 인지 정보를 입력 받는 단계; 상기 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하는 단계; 및 상기 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성하는 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 입력 자극에 대한 미리 결정된 종류의 피험자의 반응 동작에 따른 반응 정보를 입력 받는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 반응 정보는 상기 입력 자극의 기초가 되는 가상 객체 모델의 가상 공간 상 위치에 대응하는 현실 공간의 위치에 피험자의 신체 중 일부가 도달하였는지 여부에 관한 것일 수 있다.

본 발명의 일 실시예에 따르면, 피험자의 신체와 대응하는 가상 신체 모델을 피험자의 신체 위치와 대응하는 가상 공간 내 위치에 생성하는 단계 및 상기 가상 신체 모델을 기초로 하여 피험자의 인지 범위 내에 피드백 자극을 생성하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 피드백 자극의 위치는 상기 피드백 자극의 기초가 되는 피험자의 신체 위치로부터 요구 편차만큼 이격될 수 있다.

상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 시각 자극 생성 시스템은 가상 공간 상에 가상 객체 모델을 생성하는 가상 모델 생성 모듈; 피험자가 위치하는 현실 공간과 상기 가상 공간을 서로 대응하도록 정합시키는 가상 공간 정합 모듈; 상기 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내에 시각 자극을 생성하는 시각 자극 생성 모듈; 상기 시각 자극에 대한 피험자의 반응 여부를 수집하는 반응 수집 모듈; 및 수집된 반응 여부에 기초한 반응 정보를 분석하는 반응 분석 모듈을 포함하며, 상기 시각 자극 생성 모듈은 상기 가상 공간 정합 모듈에 의해 피험자가 위치하는 현실 공간과 대응하도록 정합된 상기 가상 공간 상에 상기 가상 모델 생성 모듈을 통해 생성된 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하고, 상기 반응 분석 모듈은 상기 반응 수집 모듈에 의해 수집된 상기 예비 자극에 대한 피험자의 인지 여부에 기초한 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하며, 상기 시각 자극 생성 모듈은 상기 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성한다.

본 발명의 일 실시예에 따르면, 상기 시각 자극 생성 모듈은 가상 공간을 시각화된 이미지로 표시하기 위한 가상현실 기기일 수 있다.

본 발명의 일 실시예에 따르면, 상기 반응 수집 모듈은 상기 입력 자극에 대한 미리 결정된 종류의 피험자의 반응 동작을 감지하는 입력 장치일 수 있다.

본 발명의 일 실시예에 따르면, 상기 입력 장치는 RGBD 카메라일 수 있다.

본 발명의 일 실시예에 따르면, 상기 반응 수집 모듈은 기능적 근적외선 분광법을 이용한 촬영 장치일 수 있다.

상기 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 전자 장치 내의 프로세서로써 가상 공간 상의 가상 모델을 이용한 시각 자극의 생성 방법을 수행하게 하기 위한 명령어들을 포함하며, 상기 방법은, 피험자가 위치하는 현실 공간과 대응하도록 정합된 상기 가상 공간 상에 가상 객체 모델을 생성하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하는 단계; 상기 예비 자극을 피험자가 인지하였는지 여부에 대한 인지 정보를 입력 받는 단계; 상기 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하는 단계; 및 상기 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성하는 단계를 포함하는 것을 특징으로 한다.

도 1은 본 발명의 일 실시예에 따른 시각 자극 생성 시스템은 개략적인 구성도이다.
도 2는 도 1의 시각 자극 생성 시스템에 의해 생성된 예비 자극과 피험자의 가시 범위 및 인지 범위를 도시하는 개념도이다.
도 3은 본 발명의 다른 실시예에 따른 시각 자극 생성 방법의 각 단계에 따른 흐름도이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 시각 자극 생성 시스템에 의해 생성된 입력 자극과, 피험자의 반응 동작 및 이에 따른 피드백 자극을 도시하는 개념도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하, 첨부된 도면을 참고로 하여 본 발명에 따른 시각 자극 생성 시스템에 대해 설명하기로 한다.

도 1을 참조하면, 시각 자극 생성 시스템(100)은 가상 모델 생성 모듈(110)과, 가상 공간 정합 모듈(120)과, 시각 자극 생성 모듈(130)과, 반응 수집 모듈(140)과, 반응 분석 모듈(150)을 포함한다.

가상 모델 생성 모듈(110)은 가상 공간 상에 가상 모델을 생성한다. 가상 모델은 제공자가 별도로 모델링함으로써 생성되거나, 별도의 입력 장치, 본 실시예에서는 반응 수집 모듈(140)과 같이 현실 공간의 물체와 그 움직임을 인식할 수 있는 외부의 장치로부터 수집된 정보를 기초로 하여 생성될 수 있다. 가상 모델 생성 모듈(110)은 그밖에 공지의 다양한 방식을 통해 가상 공간 내에 가상 모델을 자유롭게 생성할 수 있다.

가상 공간은 가상 모델이 생성되고, 이동 또는 변형될 수 있는 공간이다. 가상 공간은 소정의 좌표계를 기준으로 가상 공간 상의 각각의 위치에 대한 정보를 포함할 수 있다. 예를 들면, 가상 공간은 2차원 또는 3차원의 공간으로 형성될 수 있다.

가상 모델은 시각 자극에 적합한 임의의 형상을 가지는 가상 객체 모델, 또는 피험자의 신체를 가상 공간 상에 구현한 가상 신체 모델로 생성될 수 있다. 피험자에게 제공할 시각 자극의 종류, 피험자의 상태 등을 고려하여 적절한 가상 모델을 생성할 수 있다. 또한, 가상 모델 생성 모듈(110)은 반응 수집 모듈(140)에 의해 수집된 피험자의 신체의 형상 및 위치를 제공받아 이를 기초로 하여 가상 공간 상에 가상 신체 모델을 생성할 수 있다.

또한, 가상 모델 생성 모듈(110)은 피험자의 신체의 변형 및 이동에 따라 가상 신체 모델을 변형시키거나 이동시킬 수도 있다. 이동하거나 변형되는 가상 신체 모델을 피험자의 신체 위치에 대응하는 가상 공간 상에 배치할 수 있으나, 의도적으로 피험자의 신체 위치에 대응한 위치로부터 미리 설정된 거리만큼 이격된 가상 공간 상에 배치할 수도 있다.

가상 공간 정합 모듈(120)은 피험자가 위치하는 현실 공간과 가상 공간이 서로 대응하도록 각각의 공간을 정합시킨다. 가상 공간 정합 모듈(120)은 피험자의 위치, 특히 피험자의 눈의 위치를 기준으로 하여 피험자의 가시 범위에 포함되는 현실 공간과 피험자의 가시 범위에 표시되는 가상 공간이 서로 대응하도록 각각의 공간을 정합시킬 수 있다.

이로써, 가상 공간 상의 가상 모델을 통해 생성된 시각 자극을 피험자로 하여금 현실 공간 상의 대상물로써 인지하게 할 수 있다. 또한, 피험자로 하여금 피험자 스스로 가상 공간 내에 존재하는 것처럼 느끼게 할 수 있다. 한편, 가상 공간 정합 모듈(120)에 의한 정합을 통해, 사용자가 인지한 시각 자극들이 기초로 하는 가상 객체 모델들의 범위를 가지고 사용자가 시각 자극들을 인지할 수 있는 범위를 추정하는 것이 가능하게 된다.

이러한 가상 공간과 현실 공간의 정합은 RGBD 카메라를 이용하는 공지의 정합 방식을 이용하여 실시간으로 수행될 수 있다. 또한, 미리 설정된 위치에 피험자가 위치하고, 미리 설정된 위치로부터 시각 자극이 생성됨으로써, 시각 자극이 생성되는 위치와 피험자의 위치 및 방향을 고려하여 가상 공간과 현실 공간 간의 좌표 변환 관계를 산출하여 정합시킬 수도 있다.

시각 자극 생성 모듈(130)은 가상 모델 생성 모듈(110)에 의해 생성된 가상 모델을 기초로 하여 피험자가 눈을 통해 시각적인 자극을 감지할 수 있는 피험자의 가시 범위 내에 시각 자극을 생성한다.

시각 자극 생성 모듈(130)은 가상 공간과 현실 공간 간의 위치 관계를 고려하여 피험자의 시야각, 위치 등에 따라 가상 모델의 형상이 적절한 크기, 투시도 등을 가지도록 하여 이를 피험자에게 표시함으로써 시각 자극을 생성할 수 있다.

시각 자극은 피험자의 위치에 대해 상하, 좌우, 또는 전후로 공간 상 다양한 위치에 생성될 수 있다. 예를 들면, 시야각이 상대적으로 넓은 피험자에 대해서 상하 또는 전후로 더 넓은 범위에 시각 자극을 생성할 수 있다. 또한, 피험자의 시력에 따라 시각 자극을 좀 더 가깝거나 좀 더 먼 위치에 생성할 수도 있다. 이와 같이, 피험자의 상태, 자극 조건, 자극의 종류 등을 고려하여 다양한 위치에 시각 자극을 생성할 수 있다.

시각 자극 생성 모듈(130)은 가상 공간을 시각화된 이미지로 표시하기 위한 가상현실 기기일 수 있다. 또한, 시각 자극 생성 모듈(130)은 디스플레이 장치일 수도 있다. 이러한 시각 자극 생성 모듈(130)로는 피험자에게 방향감, 거리감 등을 느끼게 할 수 있는 공지의 장치가 자유롭게 사용될 수 있다.

시각 자극 생성 모듈(130)은 피험자의 가시 범위 중에서 피험자가 시각 자극의 존재를 인지할 수 있는 범위인 인지 범위를 결정하기 위해 예비적으로 제공되는 예비 자극과, 미리 결정된 피험자의 반응을 유도하기 위한 입력 자극을 생성한다.

도 2를 참조하면, 시각 자극 생성 모듈(130)은 가상 객체 모델을 기초로 하여 피험자(1)의 가시 범위(2) 내 복수의 위치에 복수의 예비 자극(4)을 순차적으로 생성한다. 인지 범위(3)를 결정하기 위해 요구되는 예비 자극(4)의 횟수, 넓이, 자극 간 시간적, 공간적 간격 등은 미리 임의로 설정될 수도 있으나, 피험자의 상태가 고려될 수 있도록 이전 예비 자극(4)에 따른 피험자의 반응 여부를 고려하여 자극이 계속됨에 따라 좁은 범위에서 작은 간격을 가지도록 설정되는 것이 바람직하다. 예를 들면, 예비 자극(4)이 순차적으로 생성되고 자극에 대해 피험자가 반응함에 따라, 예상되는 인지 범위(3)의 경계 부근에 집중적으로 예비 자극(4)을 생성함으로써 정확한 인지 범위(3)를 결정할 수 있다.

시각 자극 생성 모듈(130)은 피험자의 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성한다. 이러한 입력 자극은 도 2에 도시된 바와 같이 가시 범위(2)와 인지 범위(3)가 일치하지 않는 피험자에 대해 다양한 양태로 제공되어, 피험자의 인지 범위의 변화를 확인하거나, 인지 범위에서의 신체 활동을 야기할 수도 있다. 이러한 입력 자극의 양태들을 상세하게 후술된다.

반응 수집 모듈(140)은 시각 자극 생성 모듈(130)에 의해 생성된 시각 자극에 대하여 피험자가 이를 인지하였는지에 대한 반응 여부를 수집한다. 예를 들면, 예비 자극들에 대한 반응 여부는 피험자가 예비 자극의 존재 여부를 확인하였는지에 대한 음성, 수신호 등의 신체 동작, 스위치를 누르는 등의 기계적인 응답 등을 통해 수집될 수 있다.

반응 수집 모듈(140)은 현실 공간에서 피험자의 신체, 예를 들면 손의 형상 및 위치를 감지할 수 있다. 반응 수집 모듈(140)은 입력 자극에 대한 미리 결정된 종류의 피험자의 반응 동작을 감지할 수 있다. 반응 수집 모듈(110)는 예를 들면 마이크로소프트 사의 키넥트(Kinect) 또는 아수스 사의 액션 프로(XtionPro)와 같은 RGBD 카메라일 수 있다. 또한, 반응 수집 모듈(140)는 신체의 이동 또는 변형을 감지할 수 있는 공지의 센서일 수도 있다. 이러한 반응 수집 모듈(140)를 통하여 사용자의 손의 외형, 또는 골격 및 관절의 위치, 각도 등을 파악할 수 있다.

한편, 반응 수집 모듈(140)은 뇌로부터 뇌활성도 신호를 얻을 수 있는, 기능적 근적외선 분광법(functional Near-infrared spectroscopy, fNIRS)을 이용한 촬영 장치일 수도 있다. 뇌로부터 직접 신호를 측정함으로써 피험자의 반응을 확인하는 경우 더욱 객관적이고 정확하게 반응을 확인할 수 있어 반응 정보를 정량적으로 파악하는 것이 가능할 수 있다.

반응 분석 모듈(150)은 반응 수집 모듈(140)에 의해 수집된 반응 여부에 기초한 반응 정보를 분석하고, 분석된 정보를 필요에 따라 가상 모델 생성 모듈(110) 또는 시각 자극 생성 모듈(130)에 제공할 수 있다.

반응 분석 모듈(150)은 반응 수집 모듈(140)에 의해 수집된 예비 자극에 대한 피험자의 인지 여부에 따른 인지 정보를 바탕으로 인지 범위를 결정한다. 반응 수집 모듈(140)에 의해 수집되는 반응 정보를 지속적으로 분석하여, 이미 결정된 인지 범위의 변화를 계속하여 추적하고 변경된 인지 범위를 반영하여 가상 모델 및 시각 자극의 위치를 조정할 수 있다.

이하에서는, 상술한 바와 같이 가상 공간 상의 가상 모델을 이용하는 시각 자극 생성 시스템(100)에 의해 시각 자극을 생성하는 본 발명의 다른 실시예에 따른 시각 자극 생성 방법에 대하여 설명하도록 한다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 시각 자극 생성 방법은, 가상 객체 모델을 생성하는 단계(S110)와, 예비 자극을 생성하는 단계(S120)와, 인지 정보를 입력 받는 단계(S130)와, 인지 범위를 결정하는 단계(S140)와, 입력 자극을 생성하는 단계(S150)와, 반응 정보를 입력 받는 단계(S160)를 포함한다. 또한, 본 발명의 일 실시예에 따른 시각 자극 생성 방법은 가상 신체 모델을 생성하는 단계(S170)와, 피드백 자극을 생성하는 단계(S180)를 더 포함할 수 있다.

먼저, 피험자가 위치하는 현실 공간과 대응하도록 정합된 가상 공간 상에 가상 객체 모델을 생성한다(S110).

피험자의 위치, 특히 피험자의 눈의 위치를 기준으로 하여 규정되는 현실 공간과, 시각 자극 생성 모듈(130)을 통해 현실 공간에 표시될 가상 공간 각각의 위치들을 서로 대응시키도록 가상 공간과 현실 공간 간의 공간적 관계를 정합한다.

이와 같이 현실 공간과 정합된 가상 공간 상에 시각 자극을 위한 가상 객체 모델을 생성함으로써 피험자에 대한 시각 자극의 상대적인 위치를 파악할 수 있으며, 인지 범위를 결정함에 있어 요구되는 위치의 자극을 정확하게 생성할 수 있다.

그 다음으로, 상기 단계(S110)에서 생성된 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성한다(S120).

도 2를 다시 참조하면, 복수의 예비 자극(4)이 피험자(1)의 가시 범위(2)에 고르게 분포되어 생성된다. 이러한 각각의 예비 자극(4)은 미리 설정된 지속 시간과 휴지 시간을 두고 순차적으로 생성될 수 있다. 피험자가 인지하는데 요구되는 최소한의 시간을 고려하여 지속 시간을 결정하고, 피험자가 인지 여부를 전달하는데 소요되는 최소한의 시간을 고려하여 휴지 시간을 결정할 수 있다.

한편, 피험자의 가시 범위는 사람의 평균 시야각 및 피험자의 고정된 눈 위치와 시각 자극 생성 모듈(130) 간의 거리를 고려하여 산출할 수 있다. 또한, 반복적인 자극과 반응에 따라 피험자의 실제 가시 범위에 맞도록 조정될 수도 있다.

그 다음으로, 상기 단계(S120)에서 생성된 예비 자극을 피험자가 인지하였는지 여부에 대한 인지 정보를 입력 받는다(S130).

본 단계(S130)에서는 피험자가 예비 자극의 존재 여부를 확인하는 것으로 충분하므로, 음성, 수신호, 또는 버튼의 가압 등의 간단한 방법으로 인지 여부를 신속하게 파악할 수 있다. 피험자로부터 인지 여부가 파악되면 인지된 시각 자극의 위치와 관련된 인지 정보가 반응 수집 모듈(140)에 의해 반응 분석 모듈(150)로 전송된다.

상기 단계(S130)에서 입력된 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정한다(S140).

도 2에 도시된 바와 같이, 가시 범위(2) 내에 복수의 예비 자극(4)이 생성됨에 따라 피험자는 인지 범위(3) 내에 생성된 예비 자극들(4)을 인지하여 반응 수집 모듈(140)을 통해 인지 여부를 전달할 수 있다. 또한, 인지 범위(3) 외측의 예비 자극들(4)에 대해서는 인지할 수 없음에 따른 동작 또는 무반응으로써 인지 여부를 확인할 수 있다.

충분한 수의 예비 자극(4)이 생성되면, 반응 분석 모듈(150)은 시각 자극 생성 모듈(130)에 예비 자극 생성을 중지시키는 신호를 전송하고 반응 수집 모듈(140)에 수집 동작을 중지시키는 신호를 전송할 수 있다. 반응 분석 모듈(150)은 생성된 예비 자극들(4)의 위치와 피험자로부터 전송된 인지 정보를 바탕으로 피험자의 인지 범위를 추정할 수 있다.

상기 단계(S140)에서 결정된 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성한다(S150).

반응 분석 모듈(150)로부터 결정된 인지 범위에 대한 정보가 전송되면, 가상 모델 생성 모듈(110)은 인지 범위 및 인지 불가 범위의 경계와 인접하는 인지 범위에 대응하는 위치에 가상 객체 모델을 생성한다.

생성된 가상 객체 모델은 시각 자극 생성 모듈(130)을 통해 도 4a에 도시된 바와 같이 사용자의 인지 범위에 입력 자극(5)으로 표시된다.

한편, 인지 범위를 고려하여 생성되는 입력 자극은 시각 자극 생성의 목적에 따라 인지 범위 외부, 인지 범위 및 인지 불가 범위의 경계 상, 또는 인지 범위 내부에 다양하게 생성될 수 있다.

상기 단계(S150)에서 생성된 입력 자극에 대한 미리 결정된 종류의 피험자의 반응 동작에 따른 반응 정보를 입력 받는다(S160).

반응 수집 모듈(140)은 입력 자극의 기초가 되는 가상 객체 모델의 가상 공간 상 위치에 대응하는 현실 공간의 위치에 피험자의 신체 중 일부가 도달하였는지 여부에 관한 반응 정보를 수집할 수 있다.

RGBD 카메라 또는 웨어러블 감지 장치 등을 통해 입력 자극에 대한 피험자의 신체 이동을 감지함으로써, 입력 자극의 위치, 또는 가상 객체 모델의 가상 공간 상 위치에 대응하는 입력 자극의 위치와 다른 현실 공간 상의 임의의 위치에 피험자의 신체 부위가 도달하였는지 여부를 확인할 수 있다.

한편, 상술한 반응 정보와 달리, 상기 단계(S130)의 인지 정보와 같이 단순히 입력 자극의 인지 여부만을 확인할 수 있는 반응 정보를 수집할 수도 있다. 또한, 피험자에 의한 다양한 종류의 동작에 따른 반응 정보가 수집될 수 있다는 점이 이해되어야 한다.

이때, 상기 단계(S160)에서 반응 정보로서 입력된 피험자의 신체와 대응하는 가상 신체 모델을, 피험자의 신체 위치와 대응하는 가상 공간 내 위치에 생성할 수 있다(S170).

반응 수집 모듈(140)을 통해 피험자의 신체 부위의 형상 및 위치가 수집되면, 이를 전달 받은 가상 모델 생성 모듈(110)은 대응하는 가상 공간 상의 위치에 가상 신체 모델을 생성할 수 있다.

도 4a를 참조하면, 상기 단계(S170)에서 생성된 가상 신체 모델을 기초로 하여 피험자의 인지 범위(3) 내에 피드백 자극(6)을 생성할 수 있다(S180).

피드백 자극(6)이 생성됨으로써, 피험자(1)는 입력 자극(5)과 함께 피드백 자극(6)을 동시에 인지함으로써 입력 자극(5)에 대해 피험자의 반응 동작이 올바르게 전달되는지를 확인할 수 있다.

한편, 도 4b를 참조하면, 피드백 자극(6)은 피드백 자극(6)의 기초가 되는 피험자의 신체(7)의 위치와 상이한 위치에 생성될 수도 있다. 피험자(1)의 위치를 기준으로 하여, 피드백 자극(6)은 피험자의 신체(7) 위치로부터 요구 편차 θ만큼 이격되도록 생성될 수 있다. 피드백 자극(6)은 입력 자극 생성의 목적에 따라 본 실시예에서와 같이 이 피험자의 신체(7) 위치로부터 인지 범위 및 인지 불가 범위 경계의 반대쪽으로 이격되도록 생성될 수 있다.

이때, 피험자는 입력 자극(5)을 인지하였음을 올바르게 전달하기 위하여 도 4c에 도시된 바와 같이 피드백 자극(6)의 위치가 입력 자극(5)의 위치로 이동하도록 피험자의 신체(7)를 초기 위치로부터 요구 편차 θ만큼 이동시킬 수 있다.

본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는 가상 공간 상의 가상 모델을 이용하여 시각 자극을 생성하기 위하여 전자 장치 내의 프로세서로써 상술한 바와 같은 시각 자극 생성 방법을 수행하게 하기 위한 명령어들을 포함한다. 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록매체에 기록될 수 있다.

상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상술한 바와 같은 본 발명에 의하면, 피험자의 위치에 대해 정확한 위치에 시각 자극을 생성할 수 있으며, 시각 자극에 따른 피험자의 인지 반응을 정량적으로 수집할 수 있고, 피험자의 반응 동작을 피드백 자극으로 생성함으로써 피험자로 하여금 시각 자극과 반응 동작 간의 관계를 인지하게 할 수 있다.

또한, 반응 동작과 일치하지 않도록 요구 편차만큼 이격시켜 피드백 자극을 생성함으로써 피험자로 하여금 인지 범위 외부에 대한 뇌 활성화를 야기시킬 수 있는 점에서, 편측 무시 환자의 진단 및 재활 과정에 적극적으로 활용될 수 있다는 점이 충분히 이해될 수 있을 것이다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110 : 가상 모델 생성 모듈
120 : 가상 공간 정합 모듈
130 : 시각 자극 생성 모듈
140 : 반응 수집 모듈
150 : 반응 분석 모듈
100 : 시각 자극 생성 시스템
1 : 피험자
2 : 가시 범위
3 : 인지 범위
4 : 예비 자극
5 : 입력 자극
6 : 피드백 자극
7 : 피험자의 신체

Claims (11)

1. 가상 공간 상의 가상 모델을 이용한 시각 자극의 생성 방법으로서,
   피험자가 위치하는 현실 공간과 대응하도록 정합된 상기 가상 공간 상에 가상 객체 모델을 생성하는 단계;
   상기 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하는 단계;
   상기 예비 자극을 피험자가 인지하였는지 여부에 대한 인지 정보를 입력 받는 단계;
   상기 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하는 단계; 및
   상기 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성하는 단계를 포함하는 시각 자극 생성 방법.
2. 제1 항에 있어서,
   상기 입력 자극에 대한 미리 결정된 종류의 피험자의 반응 동작에 따른 반응 정보를 입력 받는 단계를 더 포함하는 것을 특징으로 하는 시각 자극 생성 방법.
3. 제2 항에 있어서,
   상기 반응 정보는 상기 입력 자극의 기초가 되는 가상 객체 모델의 가상 공간 상 위치에 대응하는 현실 공간의 위치에 피험자의 신체 중 일부가 도달하였는지 여부에 관한 것인 것을 특징으로 하는 시각 자극 생성 방법.
4. 제3 항에 있어서,
   피험자의 신체와 대응하는 가상 신체 모델을 피험자의 신체 위치와 대응하는 가상 공간 내 위치에 생성하는 단계 및
   상기 가상 신체 모델을 기초로 하여 피험자의 인지 범위 내에 피드백 자극을 생성하는 단계를 더 포함하는 것을 특징으로 하는 시각 자극 생성 방법.
5. 제4 항에 있어서,
   상기 피드백 자극의 위치는 상기 피드백 자극의 기초가 되는 피험자의 신체 위치로부터 요구 편차만큼 이격된 것을 특징으로 하는 시각 자극 생성 방법.
6. 가상 공간 상에 가상 객체 모델을 생성하는 가상 모델 생성 모듈;
   피험자가 위치하는 현실 공간과 상기 가상 공간을 서로 대응하도록 정합시키는 가상 공간 정합 모듈;
   상기 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내에 시각 자극을 생성하는 시각 자극 생성 모듈;
   상기 시각 자극에 대한 피험자의 반응 여부를 수집하는 반응 수집 모듈; 및
   수집된 반응 여부에 기초한 반응 정보를 분석하는 반응 분석 모듈을 포함하며,
   상기 시각 자극 생성 모듈은 상기 가상 공간 정합 모듈에 의해 피험자가 위치하는 현실 공간과 대응하도록 정합된 상기 가상 공간 상에 상기 가상 모델 생성 모듈을 통해 생성된 가상 객체 모델을 기초로 하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하고,
   상기 반응 분석 모듈은 상기 반응 수집 모듈에 의해 수집된 상기 예비 자극에 대한 피험자의 인지 여부에 기초한 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하며,
   상기 시각 자극 생성 모듈은 상기 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성하는 것을 특징으로 하는 시각 자극 생성 시스템.
7. 제6 항에 있어서,
   상기 시각 자극 생성 모듈은 가상 공간을 시각화된 이미지로 표시하기 위한 가상현실 기기인 것을 특징으로 하는 시각 자극 생성 시스템.
8. 제6 항에 있어서,
   상기 반응 수집 모듈은 상기 입력 자극에 대한 미리 결정된 종류의 피험자의 반응 동작을 감지하는 입력 장치인 것을 특징으로 하는 시각 자극 생성 시스템.
9. 제8 항에 있어서,
   상기 입력 장치는 RGBD 카메라인 것을 특징으로 하는 시각 자극 생성 시스템.
10. 제6 항에 있어서,
    상기 반응 수집 모듈은 기능적 근적외선 분광법을 이용한 촬영 장치인 것을 특징으로 하는 시각 자극 생성 시스템.
11. 전자 장치 내의 프로세서로써 가상 공간 상의 가상 모델을 이용한 시각 자극의 생성 방법을 수행하게 하기 위한 명령어들을 포함하는 컴퓨터 판독 가능한 기록 매체로서,
    상기 방법은,
    피험자가 위치하는 현실 공간과 대응하도록 정합된 상기 가상 공간 상에 가상 객체 모델을 생성하여 피험자의 가시 범위 내 복수의 위치에 복수의 예비 자극을 순차적으로 생성하는 단계;
    상기 예비 자극을 피험자가 인지하였는지 여부에 대한 인지 정보를 입력 받는 단계;
    상기 인지 정보를 바탕으로 피험자의 가시 범위 내에서 피험자가 시각 자극을 인지할 수 있는 인지 범위를 결정하는 단계; 및
    상기 인지 범위를 고려하여 피험자에 대해 입력 자극을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.

Images