KR20210056491A

KR20210056491A - 가상현실 상에서의 시각변조를 이용한 사용자 공간지각능력 및 적응능력 평가 방법 및 시스템

Info

Publication number: KR20210056491A
Application number: KR1020190142785A
Authority: KR
Inventors: 유제광
Original assignee: 동국대학교 산학협력단
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2021-05-20
Also published as: KR102302001B1

Abstract

본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법은 사용자가 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 헤드 마운트 장치를 이용하며, 상기 영상 내에서 타겟을 설정하는 단계, 상기 영상의 전원 모드 및 변조 모드를 설정하는 단계, 사용자에게 피드백 과제를 수행하도록 요청하여, 상기 타겟에 대한 사용자 인지정보를 포함하는 사용자 피드백 정보를 수집하는 단계, 및 상기 수집된 사용자 피드백 정보의 분석하는 단계를 포함하고, 상기 각 모드 별로 수집된 상기 사용자 피드백 정보를 비교하여 오차를 분석하는 단계를 포함한다.

Description

가상현실 상에서의 시각변조를 이용한 사용자 공간지각능력 및 적응능력 평가 방법 및 시스템{METHOD AND SYSTEM FOR DIAGNOSING SPATIAL PERCEPTION AND ADAPTATION ABILITY USING VISUAL AND SENSORIMOTOR MODULATION ON VIRTUAL REALITY}

본 발명은 가상현실 상에서 시각변조를 이용한 공간지각능력 및 적응능력 평가 방법 및 시스템에 관한 것이다.

종래의 경우, 공간지각능력 및 적응능력을 측정하기 위해 전문의료장비검사(fMRI, 뇌파)를 실시해야 했다. 이는 비용적 측면에서 실용적이지 못하다는 단점이 있다.

본 발명의 목적은, 사용자의 시각 교란에 따른 공간지각능력 및 적응능력을 평가하는 데 있다.

본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법은 사용자가 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 헤드 마운트 장치, 사용자의 움직임을 센싱하고, 상기 헤드 마운트 장치에서 표시되는 가상 객체의 위치 및 움직임을 제어하는 컨트롤러, 및 상기 헤드 마운트 장치 내의 상기 가상 객체의 위치 정보 및 상기 가상 객체의 움직임 정보를 분석하는 분석 장치를 이용하고, 상기 영상 내에서 타겟을 설정하는 단계, 상기 영상의 전원 모드 및 변조 모드를 설정하는 단계, 사용자에게 피드백 과제를 수행하도록 요청하여, 상기 타겟에 대한 사용자 인지정보를 포함하는 사용자 피드백 정보를 수집하는 단계, 및 상기 수집된 사용자 피드백 정보의 분석하는 단계를 포함하고, 상기 각 모드 별로 수집된 상기 사용자 피드백 정보를 비교하여 오차를 분석하는 단계를 포함한다.

상기 전원 모드 및 변조 모드를 설정하는 단계는 복수의 모드들로 변경 가능하고, 상기 사용자 피드백 정보를 수집하는 단계는 상기 전원 모드 또는 상기 변조 모드가 변경될 때마다 반복 수행된다.

상기 사용자 피드백 정보를 수집하는 단계는, 사용자가 상기 타겟까지 보행하는 보행 피드백 과제를 수행하여, 사용자의 보행 정보를 수집한다.

상기 전원 모드는 on 상태이다.

상기 사용자 피드백 정보는, 상기 영상의 전원 모드가 on 인 상태에서 상기 보행 피드백 과제 수행 전, 사용자가 가늠하는 사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리 정보, 및 상기 영상의 전원 모드가 off 인 상태에서 상기 보행 피드백 과제 수행 후, 사용자가 상기 타겟까지 보행한 실제보행거리 정보를 포함하고, 상기 오차를 분석하는 단계에서, 상기 타겟거리 정보와 상기 실제보행거리 정보의 차이를 분석한다.

상기 변조 모드는, 사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리와 실제보행거리 간의 비율을 조절하는 게인 변조 모드를 포함한다.

상기 변조 모드는, 사용자의 보행 방향이 사용자의 정면 시선으로부터 소정의 각도를 갖도록 상기 영상을 변조시키는 각도 변조 모드를 포함한다.

상기 사용자 피드백 정보를 수집하는 단계는, 상기 영상의 전원 모드가 on 인 상태에서, 사용자와 상기 타겟까지의 거리로 정의되는 타겟거리 정보를 사용자가 가늠하도록 요청하는 단계를 포함한다.

상기 사용자 피드백 정보를 수집하는 단계는, 상기 타겟이 배치된 자리에 서브타겟을 생성하는 단계, 상기 타겟과 상기 서브 타겟 사이의 거리가 사용자와 상기 타겟 사이의 거리와 동일하도록 상기 서브타겟을 이동시키는 명령을 사용자에게 요청하는 단계를 포함한다.

상기 사용자 피드백 정보를 수집하는 단계는 동일 모드에서 복수 차례 반복 가능하다.

본 발명의 실시 예에 따른 사용자 공간감각능력 및 적응능력 평가 시스템은 사용자가 헤드 마운트 디스플레이 장치를 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 디스플레이부, 사용자의 움직임을 센싱하고, 상기 헤드 마운트 디스플레이에 표시되는 가상 객체의 움직임을 제어하는 컨트롤러, 및 상기 헤드 마운트 디스플레이 장치 및 상기 컨트롤러로부터 수신되는 사용자 피드백 정보를 분석하는 분석부를 포함하고, 상기 컨트롤러는, 사용자의 움직임을 센싱하는 센싱부, 상기 가상 객체의 움직임을 제어하는 제어부, 및 상기 사용자의 움직임에 대응하는 상기 영상의 움직임의 속도 및 각도를 변조시키는 변조부를 포함하고, 상기 분석부는 상기 변조부에 의하여 변조된 영상에 반응하는 사용자의 피드백 정보를 분석한다.

상기 변조부는 상기 영상을 복수의 영상 모드들로 변조시키고, 상기 영상 모드들은, 상기 영상의 속도를 조절하는 게인 변조 모드, 및 사용자의 움직임이 상기 영상 속에서 사용자의 정면 방향 시선으로부터 소정의 각도를 갖도록 상기 영상의 각도을 변조시키는 각도 조절 모드를 포함한다.

상기 영상 모드들은 상기 영상의 온/오프를 제어하는 전원 모드를 더 포함한다.

상기 사용자의 피드백 정보는 사용자의 보행 정보를 포함한다.

본 발명에 의하면, 사용자의 시각 교란에 따른 공간지각능력 및 적응능력을 평가할 수 있다.

도 1은 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가장치가 개략적으로 도시된 도면이다.
도 2는 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가 시스템이 도시된 블록도이다.
도 3은 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가 방법의 순서도이다.
도 4는 영상 모드의 종류가 도시된 도면이다.
도 5는 본 발명의 실시 예에 따른 피드백 과제를 통한 사용자 피드백 정보를 수집하는 과정이 도시된 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 사용자 피드백 정보를 수집하는 과정이 도시된 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 피드백 과제가 도시된 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 사용자 피드백 정보를 수집하는 과정이 도시된 도면이다.

이하에서 설명되는 모든 실시 예들은 본 발명의 이해를 돕기 위해 예시적으로 나타낸 것이며, 여기에 설명된 실시 예들과 다르게 변형되어 다양한 실시 형태로 실시될 수 있다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 공지 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명은 생략하도록 한다.

첨부된 도면은 발명의 이해를 돕기 위해서 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있으며, 각 구성요소들에 참조번호를 기재할 때, 동일한 구성요소들에 대해서는 다른 도면에 표시되더라도 가능한 한 동일한 부호로 표시하였다.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 발명에 대한 다양한 변형 실시 예들이 있을 수 있다.

그리고, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

또한, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

또한, 본 출원에서 사용된 단수의 표현은 문맥상 명백히 다른 것을 뜻하지 않는 한, 복수의 표현을 포함한다.

도 1은 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가장치가 개략적으로 도시된 도면이고, 도 2는 본 발명의 실시 예에 따른 공간지각능력 및 적응능력 평가 시스템이 도시된 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 시스템(10)은 디스플레이부(100), 컨트롤러(200), 및 분석부(300)를 포함한다. 이하, 설명의 편의를 위하여, 사용자 공간지각능력 및 적응능력 평가 시스템(10)은 진단 시스템(10)으로 후술한다.

디스플레이부(100), 컨트롤러(200), 및 분석부(300)는 서로 유선 또는 무선으로 연결되어 신호를 주고 받을 수 있다.

도 1에 도시된 바와 같이, 디스플레이부(100)는 사용자의 머리에 착용 가능한 헤드 마운트 장치(HMD, Head Mount device)의 형태로 제공될 수 있다. 디스플레이부(100)는 사용자(UR)가 착용한 상태에서 영상을 표시하여 사용자(UR)에게 가상현실 환경을 제공할 수 있다.

디스플레이부(100)는 복수의 가상 객체들을 표시한다. 디스플레이부(100)는 컨트롤러(200)의 신호에 따라 적어도 하나의 가상 객체의 움직임 변화를 표시할 수 있다. 상기 가상 객체들은 타겟을 포함할 수 있다.

또한, 디스플레이부(100)는 컨트롤러(200)의 입력 신호에 따른 가상 객체의 움직임 정보를 변조하여 영상으로 표시할 수 있다. 변조된 영상에 관하여, 이하 도 4에서 보다 상세히 후술된다.

컨트롤러(200)는 사용자(UR)의 신체의 일부에 착용 가능한 장치 형태로 제공될 수 있다. 예시적으로, 도 1에서는 사용자(UR)의 손에 쥐어진 컨트롤러 장치(200)가 도시되었다. 이 외에도, 컨트롤러(200)는 사용자(UR)의 발, 다리, 팔, 머리 중 적어도 어느 하나에 착용되는 형태로 제공될 수 있다.

컨트롤러(200)는 복수로 제공될 수 있다. 예시적으로, 도 1에서는 하나의 컨트롤러(200)만이 도시되었다.

컨트롤러(200)는 사용자(UR)의 움직임을 센싱하여, 디스플레이부(100)에서 표시되는 가상 객체의 움직임을 제어할 수 있다.

구체적으로, 컨트롤러(200)는 센싱부(210), 제어부(220), 및 변조부(230)를 포함한다.

센싱부(210)는 사용자(UR)의 움직임을 센싱한다. 예시적으로, 센싱부(210)는 변위 센서, 가속도 센서, 자이로센서, 나침반 센서, 블루투스 센서 등 중 적어도 어느 하나를 포함할 수 있다.

제어부(220)는 사용자(UR)의 명령 신호를 수신하여 디스플레이부(100)에 표시되는 가상 객체의 움직임을 제어한다.

명령 신호는 여러가지 형태로 제공될 수 있다. 예시적으로, 명령 신호는 컨트롤러 장치(200)에 형성된 버튼(미도시)을 누르는 형태로 제어부(220)에 제공될 수 있다. 또한, 명령 신호는 컨트롤러 장치(200)의 움직임에 따른 제스쳐 명령 신호 또는 사용자(UR)의 음성 명령 신호일 수 있다. 제스쳐 명령 신호는 센싱부(210)로부터 센싱되어 제어부(220)에 수신된다. 명령 신호가 음성 명령 신호인 경우, 컨트롤러(200)는 마이크(미도시)를 더 포함할 수 있다.

변조부(230)는 영상을 변조한다. 구체적으로, 변조부(230)는 영상의 온/오프, 속도, 및 각도 등을 조절한다. 사용자(UR)는 변조된 영상에 의하여 시각이 교란될 수 있다. 변조부(230)에 관하여, 이하 도 4에서 보다 상세히 후술된다.

분석부(300)는 디스플레이부(100) 및 컨트롤러(200)로부터 수신되는 신호 및 정보를 수집한다. 수신된 신호 및 정보는 사용자 피드백 정보(미도시)로 정의된다. 예시적으로, 분석부(300)는 디스플레이부(100)에 표시되는 가상 객체의 위치 정보 및 움직임 정보 등을 수신할 수 있다. 또한. 분석부(300)는 컨트롤러(200)로부터 센싱된 움직임 신호, 음성 신호, 명령 신호 등을 수신할 수 있다.

분석부(300)는 수집된 사용자 피드백 정보를 분석하여 사용자(UR)의 공간감각능력 및 시각교란에 따른 적응능력을 평가할 수 있다. 사용자(UR)의 피드백 정보를 통하여 산출된 공간감각능력 지수 및 시각교란에 따른 적응능력 지수를 기설정된 공간감각능력 표준 지수 및 시각교란에 의한 적응능력 표준 지수와 비교하여 사용자(UR)의 공간감각능력 및 시각교란에 따른 적응능력을 평가할 수 있다.

도면에 도시되지 않았으나, 본 발명의 실시 예에 따른 진단 시스템(10)은 상기 수집된 사용자 피드백 정보 및 기설정 값을 저장하는 저장부(미도시)를 더 포함할 수 있다.

또한, 도면에 도시되지 않았으나, 진단 시스템(10)은 사용자(UR)가 위치한 장소를 촬영하는 카메라(미도시) 등을 더 포함할 수 있다. 카메라에서 촬영한 영상은 디스플레이부(10)에 동기화될 수 있다. 따라서, 헤드 마운트 장치(100)를 착용한 사용자(UR)는 가상 현실과 실제 장소를 동일하게 인지할 수 있다.

도 3은 본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법의 순서도이고, 도 4는 영상 모드의 종류가 도시된 도면이다.

도 3 및 도 4를 참조하면, 본 발명의 실시 예에 따른 사용자 공간지각능력 및 적응능력 평가 방법은 영상 내에서 타겟을 설정하는 단계(S1), 영상 모드를 설정하는 단계(S2), 사용자에게 피드백 과제를 수행하도록 요청하여, 사용자 피드백 정보를 수집하는 단계(S3) 및 오차를 분석하는 단계(S4)를 포함한다.

타겟을 설정하는 단계(S1)에서, 타겟은 영상 내에 표시되는 가상 객체들 중 어느 하나일 수 있다. 타겟은 사용자(UR, 도 1)와 일정 거리 이격되어 있는 일 객체로 설정하는 것이 바람직하다. 헤드 마운트 장치(100)를 사용자(UR, 도 1)가 착용할 경우, 사용자(UR, 도 1)는 사용자 객체(V0, 도 7)와 목표 객체인 타겟(OB, 도 7)이 사용자에게 시인될 수 있다, 타겟은 다양한 형상으로 표시될 수 있다.

영상 모드를 설정하는 단계(S2)에서, 영상 모드는 전원 모드(on/off 모드)와 변조 모드를 포함한다(도 4). 전원 모드는 영상의 온/오프 상태를 결정한다. 전원 모드가 on 상태일 경우, 사용자(UR, 도 1)에게 영상이 시인되고, 전원 모드가 off 상태일 경우, 사용자(UR, 도 1)에게 영상이 시인되지 않는다.

변조 모드는 영상을 변조하여 사용자(UR, 도 1)로 하여금 시각이 교란되도록 한다. 변조 모드는 전원 모드가 on 상태일 경우에 한하여 설정 가능하다.

변조 모드는 게인 변조 모드 및 각도 변조 모드를 포함한다. 게인 변조 모드 및 각도 변조 모드는 독립적으로 설정 가능하다.

게인 변조 모드는 영상의 속도를 조절한다. 예시적으로, 게인 변조 모드는 3가지 모드를 포함한다. 게인 변조 모드가 1인 경우(G=1), 사용자(UR, 도 1)가 실제로 움직인 속도와 가상 현실 내에서 사용자 객체가 움직인 속도는 동일하다. 즉, 사용자가 실제로 움직인 거리와 가상 현실 내에서 사용자 객체가 움직인 거리가 동일하다. 게인 변조 모드가 1인 경우는 영상이 변조되지 않으므로, 게인 변조 모드가 off 상태인 경우로 병기할 수 있다.

게인 변조 모드가 1보다 큰 경우(G>1), 사용자가 실제로 움직인 속도는 가상 현실 내에서 사용자 객체가 움직인 속도보다 작다. 즉, 사용자가 실제로 움직인 거리는 가상 현실 내에서 사용자 객체가 움직인 거리보다 짧다. 이 때, 사용자는 화면이 상대적으로 빠르게 전환되는 시각적 교란을 느낄 수 있다.

게인 변조 모드가 1보다 작은 경우(G<1), 사용자가 실제로 움직인 속도는 가상 현실 내에서 사용자 객체가 움직인 속도보다 크다, 즉, 사용자가 실제로 움직인 거리는 가상 현실 내에서 사용자 객체가 움직인 거리보다 길다. 이 때, 사용자는 화면이 상대적으로 느리게 전환되는 시각적 교란을 느낄 수 있다.

각도 변조 모드는 이동 방향을 조절한다. 각도 변조 모드가 on 상태일 경우, 가상 현실 내에서 사용자 객체의 이동 방향은 사용자의 정면 시선, 즉, 사용자의 실제 이동 방향과 소정의 각도를 가질 수 있다. 상기 각도는 -30°이상 30°이하 일 수 있다. 그러나, 본 발명은 상기 각도의 크기에 특별히 한정되는 것은 아니다.

사용자 피드백 정보를 수집하는 단계(S3)에서, 사용자 피드백 정보는 사용자로 하여금 피드백 과제를 요청하는 단계가 선행된다. 예시적으로, 피드백 과제는 타겟까지 보행하는 보행 과제, 타겟거리를 가늠하는 타겟거리 정보 요청 과제, 및 타겟을 이동시키는 타겟이동 과제 등일 수 있다.

사용자가 피드백 과제를 수행함으로써, 사용자 피드백 정보가 생성될 수 있다. 사용자 피드백 정보는 사용자의 인지 정보를 포함한다. 보행 과제의 경우, 사용자 피드백 정보는 보행 거리, 보행 각도, 보행 속도 등일 수 있다. 타겟거리 정보 요청 과제의 경우, 사용자 피드백 정보는 타겟와 사용자 객체 사이의 거리로 정의되는 타겟거리 정보일 수 있다. 타겟이동 과제의 경우, 사용자 피드백 정보는 이동 전 타겟의 변위 정보, 이동된 타겟의 변위 정보, 및 사용자 객체의 변위 정보 등일 수 있다. 피드백 과제에 관하여, 이하 도 5 내지 도 8에서 보다 상세히 후술된다.

본 발명의 실시 예에 따르면, 영상 모드를 설정하는 단계(S2) 및 사용자 피드백 정보를 수집하는 단계(S3)는 일련의 단계(SS)로 통합되어 복수 차례 반복될 수 있다. 이하 상기 일련의 단계(SS)는 피드백 단계로 정의한다. 예시적으로, 영상 모드는 복수의 모드들로 변경될 수 있으며, 상기 모드들이 변경될 때마다, 상이한 피드백 정보가 수집될 수 있다. 반복되는 횟수가 증가할수록, 수집되는 사용자 피드백 정보가 증가하므로, 평가를 위한 정보의 신뢰성이 보다 증가할 수 있다.

또한, 본 발명의 실시 예에 따르면, 사용자 피드백 정보를 수집하는 단계(S3)는 동일 영상 모드에서 복수 차례 반복 가능하다.

오차를 분석하는 단계(S4)는 분석부(300)에서 이루어진다. 전술된 바와 같이, 수집된 사용자 피드백 정보를 통하여 산출된 공간감각능력 지수 및 시각교란에 따른 적응능력 지수를 기설정된 공간감각능력 표준 지수 및 시각교란에 따른 적응능력 표준 지수와 비교하여 사용자(UR)의 공간감각능력 및 시각교란에 따른 적응능력을 평가할 수 있다.

본 발명에 따르면, 가상 화면을 변조하여 사용자의 시각을 임의로 교란시킴에 따라, 사용자의 공간감각능력 및 시각 교란에 따른 적응능력을 정량적으로 평가할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 피드백 과제를 통한 피드백 정보를 수집하는 과정이 도시된 도면이다. 도 5에 도시된 피드백 단계(SS-1)의 사용자 피드백 과제는 타겟거리 정보 요청 과제 및 보행 과제를 포함한다.

도 5를 참조하면, 먼저, 영상 모드를 설정하는 단계(S2a)에서, 전원 모드를 on 상태로 설정하고, 게인 변조 모드 및 각도 변조 모드는 off 상태로 설정한다. 이후, 사용자에게 사용자가 가늠하는 타겟거리 정보를 요청한다(S3a). 상기 타겟거리는 사용자 객체(OB, 도 7)와 타겟(OB, 도 7)과의 거리로 정의된다. 가늠된 타겟거리 정보(DT1)는 분석부(300)에 송신된다.

이후, 전원 모드를 off 상태로 변경하고(S2b), 보행 과제를 수행한다(S2b). 사용자는 가상 화면 내의 타겟을 향하여 보행하여, 실제 보행 거리, 보행 각도, 보행 속도 등의 정보(DT1')를 생성하고, 생성된 상기 정보(DT1')는 분석부(300)에 송신된다.

분석부(300)는 송신된 타겟거리 정보(DT1)와 실제 보행거리 정보(DT1')의 오차를 계산하여 거리에 대한 사용자의 공간지각능력을 평가할 수 있다. 구체적으로, 본 실시 예를 통하여 거리에 대한 사용자의 인지 능력 및 상기 인지 능력과 운동 감각 사이의 관계 등을 파악할 수 있다.

도면에 도시되지 않았으나, 본 발명의 실시 예에 따른 피드백 과제(SS-1)는 게인 변조 모드를 on 상태로 변경하여 반복 수행될 수 있다.

도 6은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 피드백 정보를 수집하는 과정이 도시된 도면이다. 도 6에 도시된 피드백 단계(SS-2)의 사용자 피드백 과제는 타겟거리 정보 요청 과제만을 포함한다. 즉, 도 5에서 전술된 보행 과제는 생략될 수 있다.

도 6을 참조하면, 영상 모드를 설정하는 단계(S2)에서, 전원 모드를 on 상태로 설정하고, 게인 변조 모드 및 각도 변조 모드는 off 상태로 설정한다. 이후, 사용자에게 사용자가 가늠하는 타겟거리 정보(DT2)를 요청한다(S3). 분석부(300)는 상기 가늠된 타겟거리 정보(DT2)와 실제 타겟거리 정보(DT2')의 오차를 계산하여 거리에 대한 사용자의 공간지각능력을 평가할 수 있다.

도 7은 본 발명의 다른 실시 예에 따른 피드백 과제가 도시된 도면이다.

도 7에 도시된 피드백 과제는 타겟이동 과제에 해당한다. 먼저, 가상 화면 내에서, 타겟이 배치된 자리에 서브 타겟(OB')을 생성한다. 이 때, 사용자 객체(V0)와 서브타겟(OB') 사이의 거리는 타겟거리(d)와 동일하다.

이후, 사용자에게 서브타겟(OB')과 타겟 사이의 거리(d')가 사용자 객체(V0)와 타겟 사이의 거리와 동일한 조건으로 서브타겟(OB')을 이동시키도록 요청한다. 사용자가 공간감각능력에 이상이 없을 경우, 이동된 서브타겟(OB')의 자취로 정의되는 기준자취(TR)는 타겟(OB)을 중심으로 하고 사용자 객체(OB)를 포함하는 원 형상일 수 있다. 도 7에 도시된 바와 같이, 이동된 서브 타겟(OB')과 타겟(OB) 사이의 거리(d')가 타겟거리(d)와 차이가 있을 경우, 즉, 이동된 서트 타겟(OB')이 기준자취(TR)에 벗어날 경우, 그 차이를 지수화 하여 사용자의 공간감각 능력을 평가할 수 있다.

도 8은 본 발명의 다른 실시 예에 따른 피드백 과제를 통한 피드백 정보를 수집하는 과정이 도시된 도면이다. 도 8에 도시된 피드백 단계(SS-3)의 사용자 피드백 과제는 보행 과제를 포함하며, 각도 변조에 따른 사용자의 적응능력을 평가하는 데 목적이 있다.

도 8을 참조하면, 영상 모드를 설정하는 단계(S2c)에서 전원 모드를 on 상태로 설정하고, 게인 변조 모드를 on 또는 off 상태로 설정한다. 각도 변조 모드는 off 상태로 설정한다.

이후, 보행 과제를 수행한다(S2d). 이는 해당 영상 모드에 대한 사용자의 적응 훈련을 위함이다. 이 때 생성되는 사용자 피드백 정보(DT3)는 분석부(300)에 송신된다.

이후, 전원 모드 및 게인 변조 모드는 동일하게 유지하되, 각도 변조 모드를 on 상태로 변경한다(S2d). 사용자가 보행 과제를 수행할 경우(S3d), 사용자는 실제 보행 방향과 가상 화면의 이동 방향이 상이함을 인지할 수 있다. 이 때 사용자의 피드백 정보(DT3')는 분석부(300)에 송신되며, 상기 사용자 피드백 정보(DT3')은 보행 방향 정보, 보행 속도 정보 등일 수 있다.

본 실시 예에 따르면 각도 변조를 통하여, 사용자의 시각 교란에 대한 적응능력을 평가할 수 있다. 분석부(300)는 각도 변조 모드가 off 상태일 때의 사용자 피드백 정보(DT3)와 각도 변조 모드가 on 상태일 때의 사용자 피드백 정보(DT3')을 비교하여 사용자의 시각 교란에 대한 적응 속도, 적응 정도 등을 파악할 수 있다.

예시적으로, 사용자가 적응능력이 우수한 경우, 사용자는 상대적으로 빠른 시간 안에 가상 화면의 이동 방향을 인지하여 실제 보행 방향을 변경할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10, 20: 평가 시스템
100: 디스플레이부
200: 컨트롤러
300: 분석부

Claims

사용자가 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 헤드 마운트 장치, 사용자의 움직임을 센싱하고, 상기 헤드 마운트 장치에서 표시되는 가상 객체의 위치 및 움직임을 제어하는 컨트롤러, 및 상기 헤드 마운트 장치 내의 상기 가상 객체의 위치 정보 및 상기 가상 객체의 움직임 정보를 분석하는 분석 장치를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법에 있어서,
상기 영상 내에서 타겟을 설정하는 단계;
상기 영상의 전원 모드 및 변조 모드를 설정하는 단계;
사용자에게 피드백 과제를 수행하도록 요청하여, 상기 타겟에 대한 사용자 인지정보를 포함하는 사용자 피드백 정보를 수집하는 단계; 및
상기 수집된 사용자 피드백 정보의 분석하는 단계를 포함하고,
상기 각 모드 별로 수집된 상기 사용자 피드백 정보를 비교하여 오차를 분석하는 단계를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 1 항에 있어서,
상기 전원 모드 및 변조 모드를 설정하는 단계는 복수의 모드들로 변경 가능하고,
상기 사용자 피드백 정보를 수집하는 단계는 상기 전원 모드 또는 상기 변조 모드가 변경될 때마다 반복 수행되는 사용자 공간지각능력 및 적응능력 평가 방법.
제 2 항에 있어서,
상기 사용자 피드백 정보를 수집하는 단계는,
사용자가 상기 타겟까지 보행하는 보행 피드백 과제를 수행하여, 사용자의 보행 정보를 수집하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 3 항에 있어서,
상기 전원 모드는 on 상태인 사용자 공간지각능력 및 적응능력 평가 방법.
제 3 항에 있어서,
상기 사용자 피드백 정보는,
상기 영상의 전원 모드가 on 인 상태에서 상기 보행 피드백 과제 수행 전, 사용자가 가늠하는 사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리 정보, 및 상기 영상의 전원 모드가 off 인 상태에서 상기 보행 피드백 과제 수행 후, 사용자가 상기 타겟까지 보행한 실제보행거리 정보를 포함하고,
상기 오차를 분석하는 단계에서, 상기 타겟거리 정보와 상기 실제보행거리 정보의 차이를 분석하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 3 항에 있어서,
상기 변조 모드는,
사용자와 상기 타겟 사이의 거리로 정의되는 타겟거리와 실제보행거리 간의 비율을 조절하는 게인 변조 모드를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 3 항에 있어서,
상기 변조 모드는,
사용자의 보행 방향이 사용자의 정면 시선으로부터 소정의 각도를 갖도록 상기 영상을 변조시키는 각도 변조 모드를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 1 항에 있어서,
상기 사용자 피드백 정보를 수집하는 단계는,
상기 영상의 전원 모드가 on 인 상태에서, 사용자와 상기 타겟까지의 거리로 정의되는 타겟거리 정보를 사용자가 가늠하도록 요청하는 단계를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 1 항에 있어서,
상기 사용자 피드백 정보를 수집하는 단계는,
상기 타겟이 배치된 자리에 서브타겟을 생성하는 단계;
상기 타겟과 상기 서브 타겟 사이의 거리가 사용자와 상기 타겟 사이의 거리와 동일하도록 상기 서브타겟을 이동시키는 명령을 사용자에게 요청하는 단계를 포함하는 사용자 공간지각능력 및 적응능력 평가 방법.
제 1 항에 있어서,
상기 사용자 피드백 정보를 수집하는 단계는 동일 모드에서 복수 차례 반복 가능한 사용자 공간지각능력 및 적응능력 평가 방법.
사용자가 헤드 마운트 디스플레이 장치를 착용한 상태에서 영상을 표시하여 사용자에게 가상현실 환경을 제공하는 디스플레이부;
사용자의 움직임을 센싱하고, 상기 헤드 마운트 디스플레이에 표시되는 가상 객체의 움직임을 제어하는 컨트롤러; 및
상기 헤드 마운트 디스플레이 장치 및 상기 컨트롤러로부터 수신되는 사용자 피드백 정보를 분석하는 분석부를 포함하고,
상기 컨트롤러는,
사용자의 움직임을 센싱하는 센싱부;
상기 가상 객체의 움직임을 제어하는 제어부; 및
상기 사용자의 움직임에 대응하는 상기 영상의 움직임의 속도 및 각도를 변조시키는 변조부를 포함하고,
상기 분석부는 상기 변조부에 의하여 변조된 영상에 반응하는 사용자의 피드백 정보를 분석하는 사용자 공간지각능력 및 적응능력 평가 시스템.
제 11 항에 있어서,
상기 변조부는 상기 영상을 복수의 영상 모드들로 변조시키고,
상기 영상 모드들은,
상기 영상의 속도를 조절하는 게인 변조 모드; 및
사용자의 움직임이 상기 영상 속에서 사용자의 정면 방향 시선으로부터 소정의 각도를 갖도록 상기 영상의 각도을 변조시키는 각도 변조 모드를 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템.
제 11 항에 있어서,
상기 영상 모드들은 상기 영상의 온/오프를 제어하는 전원 모드를 더 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템.
제 11 항에 있어서,
상기 사용자의 피드백 정보는 사용자의 보행 정보를 포함하는 사용자 공간지각능력 및 적응능력 평가 시스템.