KR102320078B1 - 가상현실을 이용한 시촉각통합 평가 방법 및 장치 - Google Patents

Abstract

가상현실을 이용한 시촉각통합 평가 방법에 있어서, 시촉각통합 평가 장치가, 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉하도록 지원하는 제1 디바이스, 상기 사용자에 착용되어 가상현실의 화면을 상기 사용자에게 제공하는 제2 디바이스 및 상기 사용자의 움직임을 인식하고 추적하여 상기 사용자의 실제 신체 중 일부에 대응하는 가상의 신체를 상기 제2 디바이스의 화면상에 나타나도록 지원하는 제3 디바이스와 연동하고 있는 상태에서, (a) 상기 시촉각통합 평가 장치가, 상기 제1 디바이스로 하여금 상기 소정의 실제 물체가 상기 사용자의 실제 신체에 완전 접촉 또는 근사 접촉되도록 하여 상기 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공하도록 지원하고, 상기 제3 디바이스에 의해 이미지 프로세싱된 상기 가상의 신체에 가상의 물체가 완전 접촉 또는 근사 접촉하는 과정을 가상 시각 자극으로서 상기 제2 디바이스를 통해 상기 사용자에게 제공하도록 지원하는 단계; (b) 상기 시촉각통합 평가 장치가, 상기 소정의 실제 물체가 상기 사용자의 실제의 신체에 완전 접촉 또는 근사 접촉되는 제1 접촉점에 대응되는 시공간 좌표를 제1 입력데이터로서 획득하고, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 제2 접촉점에 대응되는 시공간 좌표를 제2 입력데이터로서 획득하는 단계; (c) 상기 시촉각통합 평가 장치가, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대한 상기 사용자의 반응에 대응되는 시공간 좌표를 제1 출력데이터로서 획득하고, 상기 가상 시각 자극에 대해 상기 사용자의 반응에 대응되는 시공간 좌표를 제2 출력데이터로서 획득하는 단계; 및 (d) 상기 시촉각통합 평가 장치가, 상기 제1 입력데이터, 상기 제1 출력데이터, 상기 제2 입력데이터 및 상기 제2 출력데이터를 참조로 하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장하는 단계;를 포함하는 것을 특징으로 하는 시촉각통합 평가 방법 및 장치가 개시된다.

Description

가상현실을 이용한 시촉각통합 평가 방법 및 장치{METHOD AND DEVICE FOR EVALUATING VISUOTACTILE INTEGRATION USING VIRTUAL REALITY}

본 발명은 가상현실을 이용한 시촉각통합 평가 방법 및 장치에 대한 것이다.

인간의 감각을 측정하여 정량화하려는 시도는 계속되어 왔고, 또한 현대에 들어서는 다양한 분야에서 실험을 통해 연구 중에 있다.

특히 촉각에 대해서는 개인의 신체에 공간적으로 서로 다른 복수의 촉각 자극을 제공한 후 복수의 자극들 사이 간격을 달리하면서 피험자가 어느 시점부터 이를 복수의 자극으로 느끼는지, 단일 자극으로 느끼는지에 대한 실험이 진행되어 다양한 결과가 도출되어 있는 상태이다.

다만, 촉각과 같이 단일 감각에 의존하여 얻은 실험 결과는 다중 감각을 기반으로 한 실험보다 정확도가 떨어진다는 단점이 있고, 단일 감각이라는 종류의 제한 때문에 설계 가능한 실험의 개수가 많지 않은 실정이다. 그리고, 적어도 둘 이상의 감각을 이용하여 실험을 설계할 때는 감각 간에 상호 얽혀있는 유기적 관계를 명확하게 파악하기 어렵고, 파악했다 하더라도 실험 수행시 각각의 감각을 독립적으로 제어하기가 상당히 까다로우며, 사용자의 다중 감각 통합시에만 나타나는 특성을 각 감각의 단일 특성을 단순히 조합하여 나타낼 수 없는 경우가 발생한다는 문제점이 있다. 또한, 공간적 좌표 식별에만 의존하므로 시간적 좌표 식별에 좌우되는 사용자의 감각적 특성에 대해서는 평가가 어렵다는 단점이 있다.

한편, 한국등록특허공보 10-0452093호와 같이, 정신과적 증상을 호소하는 환자에게 증상과 연관된 실제 상황을 가상환경을 통해 그대로 재현시킴으로써 실제의 상황 속에서 느끼는 증상과 동일한 증상을 가상 환경 속에서 경험할 수 있도록 하여, 가상환경과의 반복적 상호 작용을 통한 증상의 호전을 유도하는 등 가상현실을 이용한 치료 방법들이 개발되고 있는 추세이다. 다만, 사용자의 상태를 실시간으로 확인하기 위해 사용자의 심전도, 혈압, 맥박, 뇌파 등의 생체 신호를 감지해야 하는데, 이와 같은 생체 신호를 감지하는 것은 기존의 보편화된 치료 시스템과 크게 다른 점이 없고, 단순 실시간으로 사용자의 상태를 확인할 뿐이다. 즉, 사용자의 다중 감각 간 유기적 결합 관계에 대해 전혀 명시된 바가 없다. 게다가 심전도, 혈압, 맥박, 뇌파 등을 측정하기 위해 전문 장비가 요구되므로 비용이 상승한다는 치명적인 단점이 있다.

따라서, 시각과 촉각을 동시에 제공함으로써 시각과 촉각 간의 유기적 결합 관계를 정량화 할 수 있는 시촉각통합 평가 방법 및 장치가 필요한 실정이다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

또한, 본 발명은, 사용자에게 제공할 시각과 촉각 자극 사이에 시공간적 불일치를 의도적으로 유발하여, 다중감각 통합 처리 과정을 정량화하고, 신경계통 또는 정신질환을 가지는 사용자의 감각 이상 정도를 평가할 수 있도록 하는 것을 다른 목적으로 한다.

또한, 본 발명은, 사용자에게 시각 자극을 제공할 때 가상현실을 이용하기 때문에, 기존의 방식이었던 영상을 미리 촬영하여 편집한 후 시간적 간격을 두어 사용자에게 제공할 때 발생하는 제어 한계를 해결함으로써 감각 평가의 정확도를 향상시키고, 다양한 지표로 평가할 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 본 발명은, 사용자의 생체 정보인 심전도, 혈압, 맥박, 뇌파 등을 측정하기 위한 전문 장비가 요구되지 않고, 가상현실 프로그램의 설정만으로 시촉각통합 처리 과정을 지표화하기 때문에 비용을 절감하고, 사용을 간편화 할 수 있는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 가상현실을 이용한 시촉각통합 평가 방법에 있어서, 시촉각통합 평가 장치가, 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉하도록 지원하는 제1 디바이스, 상기 사용자에 착용되어 가상현실의 화면을 상기 사용자에게 제공하는 제2 디바이스 및 상기 사용자의 움직임을 인식하고 추적하여 상기 사용자의 실제 신체 중 일부에 대응하는 가상의 신체를 상기 제2 디바이스의 화면상에 나타나도록 지원하는 제3 디바이스와 연동하고 있는 상태에서, (a) 상기 시촉각통합 평가 장치가, 상기 제1 디바이스로 하여금 상기 소정의 실제 물체가 상기 사용자의 실제 신체에 완전 접촉 또는 근사 접촉되도록 하여 상기 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공하도록 지원하고, 상기 제3 디바이스에 의해 이미지 프로세싱된 상기 가상의 신체에 가상의 물체가 완전 접촉 또는 근사 접촉하는 과정을 가상 시각 자극으로서 상기 제2 디바이스를 통해 상기 사용자에게 제공하도록 지원하는 단계; (b) 상기 시촉각통합 평가 장치가, 상기 소정의 실제 물체가 상기 사용자의 실제의 신체에 완전 접촉 또는 근사 접촉되는 제1 접촉점에 대응되는 시공간 좌표를 제1 입력데이터로서 획득하고, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 제2 접촉점에 대응되는 시공간 좌표를 제2 입력데이터로서 획득하는 단계; (c) 상기 시촉각통합 평가 장치가, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대한 상기 사용자의 반응에 대응되는 시공간 좌표를 제1 출력데이터로서 획득하고, 상기 가상 시각 자극에 대해 상기 사용자의 반응에 대응되는 시공간 좌표를 제2 출력데이터로서 획득하는 단계; 및 (d) 상기 시촉각통합 평가 장치가, 상기 제1 입력데이터, 상기 제1 출력데이터, 상기 제2 입력데이터 및 상기 제2 출력데이터를 참조로 하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장하는 단계;를 포함하는 것을 특징으로 하는 시촉각통합 평가 방법이 개시된다.

일례로서, 상기 제1 입력데이터는 상기 제1 접촉점의 위치에 대한 정보인 제1 공간 정보를 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점의 위치에 대한 정보인 제2 공간 정보를 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제3 공간 정보를 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제4 공간 정보를 포함하고, 상기 (b) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 공간 정보와 상기 제2 공간 정보 간의 거리 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고, 상기 (d) 단계에서, 상기 제3 공간 정보와 상기 제4 공간 정보 간의 차이가 상기 거리 오프셋과 기설정된 거리 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 방법이 개시된다.

일례로서, 상기 제1 입력데이터는 상기 제1 접촉점에 상기 실제 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제1 시간 정보를 추가적으로 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점에 상기 가상의 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제2 시간 정보를 추가적으로 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제3 시간 정보를 추가적으로 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제4 시간 정보를 추가적으로 포함하고, 상기 (b) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 시간 정보와 상기 제2 시간 정보 간의 시간 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고, 상기 (d) 단계에서, 상기 제3 시간 정보와 상기 제4 시간 정보간의 차이가 상기 시간 오프셋과 기설정된 시간 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 방법이 개시된다.

일례로서, (I) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제1 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고, (II) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제2 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하며, (III) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제3 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고, (IV) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제4 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 방법이 개시된다.

일례로서, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, (i) 상기 제1 입력데이터와 상기 제2 입력데이터간의 공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 공간적 불일치 정도를 표현한 Psychometric curve, (ii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시간적 불일치 정도를 표현한 Psychometric curve 및 (iii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시공간적 불일치 정도를 표현한 Psychometric curve 중 적어도 하나를 추가적으로 획득하고 저장하는 것을 특징으로 하는 시촉각통합 평가 방법이 개시된다.

본 발명의 다른 태양에 따르면, 가상현실을 이용한 시촉각통합 평가 장치에 있어서, 시촉각통합 평가 장치가, 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉하도록 지원하는 제1 디바이스, 상기 사용자에 착용되어 가상현실의 화면을 상기 사용자에게 제공하는 제2 디바이스 및 상기 사용자의 움직임을 인식하고 추적하여 상기 사용자의 실제 신체 중 일부에 대응하는 가상의 신체를 상기 제2 디바이스의 화면상에 나타나도록 지원하는 제3 디바이스와 연동하고 있는 상태에서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서;를 포함하되, 상기 프로세서는, (1) 상기 제1 디바이스로 하여금 상기 소정의 실제 물체가 상기 사용자의 실제 신체에 완전 접촉 또는 근사 접촉되도록 하여 상기 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공하도록 지원하고, 상기 제3 디바이스에 의해 이미지 프로세싱된 상기 가상의 신체에 가상의 물체가 완전 접촉 또는 근사 접촉하는 과정을 가상 시각 자극으로서 상기 제2 디바이스를 통해 상기 사용자에게 제공하도록 지원하는 프로세스, (2) 상기 소정의 실제 물체가 상기 사용자의 실제의 신체에 완전 접촉 또는 근사 접촉되는 제1 접촉점에 대응되는 시공간 좌표를 제1 입력데이터로서 획득하고, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 제2 접촉점에 대응되는 시공간 좌표를 제2 입력데이터로서 획득하는 프로세스, (3) 상기 완전 촉각 자극 또는 근사 촉각 자극에 대한 상기 사용자의 반응에 대응되는 시공간 좌표를 제1 출력데이터로서 획득하고, 상기 가상 시각 자극에 대해 상기 사용자의 반응에 대응되는 시공간 좌표를 제2 출력데이터로서 획득하는 프로세스 및 (4) 상기 제1 입력데이터, 상기 제1 출력데이터, 상기 제2 입력데이터 및 상기 제2 출력데이터를 참조로 하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장하는 프로세스를 수행하는 것을 특징으로 하는 시촉각통합 평가 장치가 개시된다.

일례로서, 상기 제1 입력데이터는 상기 제1 접촉점의 위치에 대한 정보인 제1 공간 정보를 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점의 위치에 대한 정보인 제2 공간 정보를 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제3 공간 정보를 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제4 공간 정보를 포함하고, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 제1 공간 정보와 상기 제2 공간 정보 간의 거리 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고, 상기 (4) 프로세스에서, 상기 제3 공간 정보와 상기 제4 공간 정보 간의 차이가 상기 거리 오프셋과 기설정된 거리 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 장치가 개시된다.

일례로서, 상기 제1 입력데이터는 상기 제1 접촉점에 상기 실제 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제1 시간 정보를 추가적으로 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점에 상기 가상의 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제2 시간 정보를 추가적으로 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제3 시간 정보를 추가적으로 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제4 시간 정보를 추가적으로 포함하고, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 제1 시간 정보와 상기 제2 시간 정보 간의 시간 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고, 상기 (4) 프로세스에서, 상기 제3 시간 정보와 상기 제4 시간 정보간의 차이가 상기 시간 오프셋과 기설정된 시간 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 장치가 개시된다.

일례로서, 상기 프로세서는, (I) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제1 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고, (II) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제2 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하며, (III) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제3 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고, (IV) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제4 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 장치가 개시된다.

일례로서, 상기 프로세서는, 상기 (4) 프로세스에서, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, (i) 상기 제1 입력데이터와 상기 제2 입력데이터간의 공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 공간적 불일치 정도를 표현한 Psychometric curve, (ii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시간적 불일치 정도를 표현한 Psychometric curve 및 (iii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시공간적 불일치 정도를 표현한 Psychometric curve 중 적어도 하나를 추가적으로 획득하고 저장하는 것을 특징으로 하는 시촉각통합 평가 장치가 개시된다.

본 발명에 의하면, 다음과 같은 효과가 있다.

본 발명은, 사용자에게 제공할 시각과 촉각 자극 사이에 시공간적 불일치를 의도적으로 유발하여, 다중감각 통합 처리 과정을 정량화하고, 신경계통 또는 정신질환을 가지는 사용자의 감각 이상 정도를 평가할 수 있는 효과가 있다.

또한, 본 발명은, 사용자에게 시각 자극을 제공할 때 가상현실을 이용하기 때문에, 기존의 방식이었던 영상을 미리 촬영하여 편집한 후 시간적 간격을 두어 사용자에게 제공할 때 발생하는 제어 한계를 해결함으로써 감각 평가의 정확도를 향상시키고, 다양한 지표로 평가할 수 있는 효과가 있다.

또한, 본 발명은, 사용자의 생체 정보인 심전도, 혈압, 맥박, 뇌파 등을 측정하기 위한 전문 장비가 요구되지 않고, 가상현실 프로그램의 설정만으로 시촉각통합 처리 과정을 지표화하기 때문에 비용을 절감하고, 사용을 간편화 할 수 있는 효과가 있다.

도 1은, 본 발명의 일 실시예에 따른 가상현실을 이용한 시촉각통합 평가 장치의 개략적인 구성을 나타내는 도면이다.
도 2는, 본 발명의 일 실시예에 따른 가상현실을 이용한 시촉각통합 평가 방법의 개략적인 순서를 설명하기 위한 도면이다.
도 3a는, 본 발명의 일 실시예에 따른 제1 입력데이터와 제2 입력데이터간의 공간적 불일치 정도와 제1 출력데이터와 제2 출력데이터간의 공간적 불일치 정도를 표현한 Psychometric curve의 예시적인 도면이다.
도 3b는, 본 발명의 일 실시예에 따른 제1 입력데이터와 제2 입력데이터간의 시간적 불일치 정도와 제1 출력데이터와 제2 출력데이터간의 시간적 불일치 정도를 표현한 Psychometric curve의 예시적인 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은, 본 발명의 일 실시예에 따른 시촉각통합 평가 장치(100)의 개략적인 구성을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 시촉각통합 평가 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.

시촉각통합 평가 장치(100)의 메모리(110)는 프로세서(120)의 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 시촉각통합 평가 장치(100)로 하여금 특정의 방식으로 기능하게 하기 위한 목적으로 생성되는 코드로서, 컴퓨터 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 본 발명의 명세서에서 설명되는 기능들을 실행하기 위한 프로세스들을 수행할 수 있다.

그리고, 시촉각통합 평가 장치(100)의 프로세서(120)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

또한, 시촉각통합 평가 장치(100)는 가상현실을 이용하여 사용자의 시촉각통합에 대한 평가를 하는데 사용되는 정보를 포함하는 데이터베이스(900)와 연동될 수 있다. 여기서, 데이터베이스(900)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있으며, 이에 한정되지 않으며 데이터를 저장할 수 있는 모든 매체를 포함할 수 있다. 또한, 데이터베이스(900)는 시촉각통합 평가 장치(100)와 분리되어 설치되거나, 이와는 달리 시촉각통합 평가 장치(100)의 내부에 설치되어 데이터를 전송하거나 수신되는 데이터를 기록할 수도 있고, 도시된 바와 달리 둘 이상으로 분리되어 구현될 수도 있으며, 이는 발명의 실시 조건에 따라 달라질 수 있다.

또한, 시촉각통합 평가 장치(100)는 제1 디바이스(500), 제2 디바이스(600) 및 제3 디바이스(700)와 연동될 수 있다. 이때, 제1 디바이스(500), 제2 디바이스(600) 및 제3 디바이스(700) 각각은 서로 간에도 연동될 수 있을 것이다.

제1 디바이스(500)는, 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉하도록 동작하여 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공하는 장치로, Geomagic Touch와 같은 장치가 사용될 수 있으나 이에 한정되지 않으며 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공할 수 있는 모든 장치가 해당될 수 있을 것이다. 여기서, 완전 접촉이란 물체가 사용자의 신체에 접촉되는 것을 의미하고, 근사 접촉이란 물체가 사용자의 신체에 접촉되지는 않지만 물체가 사용자의 신체에 어느 정도 근접한 것을 의미할 수 있을 것이다. 또한, 완전 촉각 자극이란 완전 접촉되도록 제1 디바이스가 제공하는 자극을 의미하고, 근사 촉각 자극이란 근사 접촉되도록 제1 디바이스가 제공하는 자극을 의미할 수 있을 것이다.

그리고, 제2 디바이스(600)는, 사용자에 착용되어 가상현실의 화면을 사용자에게 제공하는 장치로, HMD(Head-mounted display)가 사용될 수 있으나 이에 한정되는 것은 아닐 것이다.

또한, 제3 디바이스(700)는, 사용자의 움직임을 인식하고 추적하여 사용자의 실제 신체 중 일부에 대응되는 가상의 신체를 제2 디바이스(600)의 화면상에 나타나도록 지원하는 장치로, 립모션이 사용될 수 있으나 이에 한정되지 않으며 사용자의 신체를 인식하여 가상현실 화면상에 나타낼 수 있는 모든 장치가 해당될 수 있을 것이다.

이와 같이 구성된 본 발명의 일 실시예에 따른 시촉각통합 평가 장치(100)를 이용하여 가상현실을 이용한 시촉각통합 평가 방법을 도 2를 참조하여 설명하면 다음과 같다.

도 2는, 본 발명의 일 실시예에 따른 가상현실을 이용한 시촉각통합 평가 방법의 개략적인 순서를 설명하기 위한 도면이다.

먼저, 시촉각통합 평가 장치(100)는, 제1 디바이스(500)로 하여금 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉되도록 하여 상기 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공할 수 있다(S210).

또한, 시촉각통합 평가 장치(100)는, 제3 디바이스(700)에 의해 이미지 프로세싱된 상기 사용자의 실제 신체 중 일부에 대응하는 가상의 신체에 가상의 물체가 완전 접촉 또는 근사 접촉하는 과정을 가상 시각 자극으로서 제2 디바이스(600)를 통해 상기 사용자에게 제공할 수 있다(S220).

그리고, 시촉각통합 평가 장치(100)는, 상기 소정의 실제 물체가 상기 사용자의 실제의 신체에 완전 접촉 또는 근사 접촉되는 제1 접촉점에 대응되는 시공간 좌표를 제1 입력데이터로서 획득하고, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 제2 접촉점에 대응되는 시공간 좌표를 제2 입력데이터로서 획득할 수 있다(S230). 여기서, 제1 접촉점은, 완전 접촉에 의해 실제 물체가 사용자의 실제 신체에 접촉된 지점을 의미할 수도 있고, 근사 접촉에 의한 실제 물체의 정지 지점을 의미할 수도 있을 것이다. 또한, 제2 접촉점은, 완전 접촉에 의해 가상의 물체가 사용자의 가상의 신체에 접촉된 지점을 의미할 수도 있고, 근사 접촉에 의한 가상 물체의 정지 지점 또는 이로부터 연장된 가상의 직선이 접촉하는 신체의 지점을 의미할 수도 있을 것이다.

이때, 상기 제1 입력데이터는 상기 제1 접촉점의 위치에 대한 정보인 제1 공간 정보를 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점의 위치에 대한 정보인 제2 공간 정보를 포함할 수 있다. 여기서, 상기 제1 접촉점 및 상기 제2 접촉점의 위치를 정의하기 위해 월드 좌표계(world coordinate system)가 이용될 수 있으나, 이에 한정되지 않으며 현실 및 가상현실에서 공간좌표를 정의할 수 있는 모든 좌표계가 이용될 수 있을 것이다. 따라서, 상기 제1 공간 정보 및 상기 제2 공간 정보는 [1,2,1]과 같이 표현되는 공간좌표일 수 있을 것이다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1 공간 정보와 상기 제2 공간 정보 간의 거리 오프셋을 조절할 수 있도록 지원할 수 있다.

즉, 시촉각통합 평가 장치(100)는, 상기 제1 접촉적의 위치가 상기 제2 점촉점의 위치와 일치 또는 불일치 되도록 상기 제1 디바이스(500)의 동작을 조절하거나 상기 제2 접촉적의 위치가 상기 제1 점촉점의 위치와 일치 또는 불일치 되도록 상기 제2 디바이스(600)의 화면상에 나타나는 가상의 물체가 이동하는 과정을 조절할 수 있다. 경우에 따라, 상기 제1 디바이스(500)의 동작 및 상기 제2 디바이스(600)의 화면상에 나타나는 가상의 물체가 이동하는 과정을 모두 조절하여 상기 제1 접촉적의 위치와 상기 제2 점촉점의 위치가 일치 또는 불일치 되도록 할 수도 있을 것이다.

또한, 상기 제1 입력데이터는 상기 제1 접촉점에 상기 실제 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제1 시간 정보를 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점에 상기 가상의 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제2 시간 정보를 추가적으로 포함할 수 있다. 여기서, 상기 제1 시간 정보 및 상기 제2 시간 정보는 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되는 타이밍 및 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되는 타이밍 중 먼저 접촉되는 타이밍을 기준점으로 하여 표현될 수 있다.

예를 들어, 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되는 타이밍보다 먼저인 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되는 타이밍인 제1 시간 정보가 [0]으로 표현된다면, 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되는 타이밍인 제2 시간 정보는 [1], [2] 또는 [3] 등으로 표현될 수 있을 것이다. 물론, 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되는 타이밍과 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되는 타이밍이 동일하다면 제1 시간 정보가 및 제2 시간 정보 각각은 [0] [0]으로 같이 동일하게 표현될 수 있을 것이다. 이때, [0] 및 [1] 등으로 표현되는 제1 시간 정보 및 제2 시간 정보간 차이의 정도는 기설정되어 있을 수도 있고, 사용자가 임의로 지정할 수도 있을 것이다.

또한, 상기 시촉각통합 평가 장치(100)는, 상기 제1 시간 정보와 상기 제2 시간 정보 간의 시간 오프셋을 조절할 수 있도록 지원할 수 있다.

즉, 시촉각통합 평가 장치(100)는, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 것보다 상기 실제 물체가 상기 실제 신체에 먼저 완전 접촉 또는 근사 접촉되도록 상기 제1 디바이스(500)의 동작을 조절하거나, 상기 실제 물체가 상기 실제 신체에 완전 접촉 또는 근사 접촉되는 것보다 상기 가상의 물체가 상기 가상의 신체에 먼저 완전 접촉 또는 근사 접촉되는 화면이 보여지도록 상기 제2 디바이스(600)의 화면상에 나타나는 가상의 물체가 이동하는 과정을 조절할 수 있다. 경우에 따라, 상기 제1 디바이스(500)의 동작 및 상기 제2 디바이스(500)의 화면상에 나타나는 가상의 물체가 이동하는 과정을 모두 조절하여 상기 실제 물체가 상기 실제 신체에 완전 접촉 또는 근사 접촉되는 타이밍 및 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 타이밍이 일치 또는 불일치 되도록 할 수도 있을 것이다.

다음으로, 시촉각통합 평가 장치(100)는, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대한 상기 사용자의 반응에 대응되는 시공간 좌표를 제1 출력데이터로서 획득하고, 상기 가상 시각 자극에 대해 상기 사용자의 반응에 대응되는 시공간 좌표를 제2 출력데이터로서 획득할 수 있다(S240).

이때, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제3 공간 정보를 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제4 공간 정보를 포함할 수 있다.

여기서, 상기 제3 공간 정보 및 상기 제4 공간 정보는, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 상기 실제 물체가 접촉되었다고 느끼는 각 지점을 구두보고 형식으로 보고한 위치 및 상기 가상 시각 자극에 대해 상기 사용자가 상기 가상의 물체가 접촉되었다고 느끼는 지점을 구두보고 형식으로 보고한 위치 각각에 대응하는 공간좌표를 일 수 있다. 또한, 상기 제3 공간 정보 및 상기 제4 공간 정보는, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 상기 실제 물체가 접촉되었다고 느끼는 각 지점을 상기 사용자가 화면상에 마킹하거나 모형 또는 상기 사용자의 신체에 마킹한 위치 및 상기 가상 시각 자극 각각에 대해 상기 사용자가 상기 가상의 물체가 접촉되었다고 느끼는 각 지점을 상기 사용자가 화면상에 마킹하거나 모형 또는 상기 사용자의 신체에 마킹한 위치 각각에 대응하는 공간좌표일 수도 있다. 이때, 공간좌표는 상기 제1 입력데이터 및 상기 제2 입력데이터를 정의한 좌표계와 동일한 좌표계가 사용될 수 있을 것이다.

또한, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제3 시간 정보를 추가적으로 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제4 시간 정보를 추가적으로 포함할 수 있다. 여기서, 상기 제3 시간 정보 및 상기 제4 시간 정보는, 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되는 완전 촉각 자극 또는 근사 촉각 자극과 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되는 가상 시각 자극 중 사용자가 먼저 접촉되었다고 느끼는 자극을 기준점으로 하여 표현될 수 있다.

예를 들어, 사용자가 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되었다고 느끼는 타이밍보다 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되었다고 느끼는 타이밍이 더 빠르다고 느낀다면 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되었다고 느끼는 타이밍이 기준이 되어 제3 시간 정보가 [0]으로 표현되고, 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되었다고 느끼는 타이밍인 제4 시간 정보는 [1], [2] 또는 [3] 등으로 표현될 수 있을 것이다. 물론, 가상의 물체가 가상의 신체에 완전 접촉 또는 근사 접촉되었다고 느끼는 타이밍과 실제 물체가 실제 신체에 완전 접촉 또는 근사 접촉되었다고 느끼는 타이밍이 동일하다면 제3 시간 정보가 및 제4 시간 정보 각각은 [0]으로 동일하게 표현될 수 있을 것이다. 이때, [0] 및 [1] 등으로 표현되는 제3 시간 정보 및 제4 시간 정보간 차이의 정도는 기설정되어 있을 수도 있고, 사용자가 임의로 지정할 수도 있을 것이나, 제1 시간 정보 및 제2 시간 정보간 차이의 정도를 결정한 방식과 동일할 수 있을 것이다.

다음으로, 시촉각통합 평가 장치(100)는, 상기 제1 입력데이터, 상기 제1 출력데이터, 상기 제2 입력데이터 및 상기 제2 출력데이터를 참조로 하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장할 수 있다(S250).

이때, 시촉각통합 평가 장치(100)는, 상기 제1 입력데이터와 상가 제2 입력데이터간의 차이 및 상기 제1출력데이터와 상기 제2출력데이터간의 차이를 서로 비교하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단할 수 있을 것이다.

즉, 시촉각통합 평가 장치(100)는, 상기 제1출력데이터에 포함된 상기 제3 공간 정보와 상기 제2 출력데이터에 포함된 상기 제4 공간 정보 간의 차이가 상기 제1 입력데이터에 포함된 제1 공간 정보와 상기 제2 입력데이터에 포함된 제2 공간 정보 간의 거리 오프셋과 기설정된 거리 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단할 수 있다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1출력데이터에 포함된 상기 제3 시간 정보와 상기 제2 출력데이터에 포함된 상기 제4 시간 정보 간의 차이가 상기 제1 입력데이터에 포함된 제1 시간 정보와 상기 제2 입력데이터에 포함된 제2 시간 정보 간의 시간 오프셋과 기설정된 시간 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단할 수 있다.

구체적으로, 시촉각통합 평가 장치(100)는, 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제1 모드로 동작하는 경우, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단할 수 있다.

즉, 시촉각통합 평가 장치(100)는, 사용자에게 완전 촉각 자극 또는 근사 촉각 자극과 가상 시각 자극을 동일한 위치에 동일한 타이밍으로 제공하였을 경우, 사용자가 느끼는 완전 촉각 자극 또는 근사 촉각 자극의 위치와 가상 시각 자극의 위치가 일치하거나 완전 촉각 자극 또는 근사 촉각 자극의 위치와 가상 시각 자극의 위치간에 불일치가 있더라도 그 불일치 정도가 미세하여 동일하다고 할 수 있는 거리 임계치 미만이고, 사용자가 완전 촉각 자극 또는 근사 촉각 자극과 가상 시각 자극이 동일한 타이밍에 사용자에게 접촉했다고 느끼거나 타이밍에 불일치가 있더라도 그 불일치 정도가 미미하여 동일한 타이밍이라고 할 수 있는 시간 임계치 미만이면 사용자의 시촉각통합을 정상으로 판단할 수 있다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제2 모드로 동작하는 경우, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단할 수 있다.

즉, 시촉각통합 평가 장치(100)는, 사용자에게 완전 촉각 자극 또는 근사 촉각 자극과 가상 시각 자극을 시간 오프셋을 조절하여 타이밍을 다르게 하여 동일한 위치에 제공하였을 경우, 사용자가 느끼는 완전 촉각 자극 또는 근사 촉각 자극의 위치와 가상 시각 자극의 위치가 일치하거나 완전 촉각 자극 또는 근사 촉각 자극의 위치와 가상 시각 자극의 위치간에 불일치가 있더라도 그 불일치 정도가 미세하여 동일하다고 할 수 있는 거리 임계치 미만이고, 사용자가 느끼는 실제 촉각 자극 타이밍과 가상 시각 자극 타이밍 간의 차이가 상기 시간 오프셋과 일치하거나 불일치 하더라도 그 불일치 정도가 미미하여 동일하다고 할 수 있을 정도의 시간 임계치 미만이면 사용자의 시촉각통합을 정상으로 판단할 수 있다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제3 모드로 동작하는 경우, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단할 수 있다.

즉, 시촉각통합 평가 장치(100)는, 사용자에게 완전 촉각 자극 또는 근사 촉각 자극과 가상 시각 자극을 거리 오프셋을 조절하여 다른 위치에 동일한 타이밍으로 제공하였을 경우, 사용자가 느끼는 완전 촉각 자극 또는 근사 촉각 자극의 위치와 가상 시각 자극의 위치 간의 차이가 상기 거리 오프셋과 일치하거나 불일치 하더라도 그 불일치 정도가 미세하여 동일하다고 할 수 있는 거리 임계치 미만이고, 사용자가 완전 촉각 자극 또는 근사 촉각 자극과 가상 시각 자극이 동일한 타이밍에 사용자에게 접촉했다고 느끼거나 타이밍에 불일치가 있더라도 그 불일치 정도가 미미하여 동일한 타이밍이라고 할 수 있는 시간 임계치 미만이면 사용자의 시촉각통합을 정상으로 판단할 수 있다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제4 모드로 동작하는 경우, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단할 수 있다.

즉, 시촉각통합 평가 장치(100)는, 사용자에게 완전 촉각 자극 또는 근사 촉각 자극과 가상 시각 자극을 거리 오프셋 및 시간 오프셋을 모두 조절하여 다른 위치에 다른 타이밍으로 제공하였을 경우, 사용자가 느끼는 완전 촉각 자극 또는 근사 촉각 자극의 위치와 가상 시각 자극의 위치 간의 차이가 상기 거리 오프셋과 일치하거나 불일치 하더라도 그 불일치 정도가 미세하여 동일하다고 할 수 있는 거리 임계치 미만이고, 사용자가 느끼는 완전 촉각 자극 또는 근사 촉각 자극의 타이밍과 가상 시각 자극의 타이밍 간의 차이가 상기 시간 오프셋과 일치하거나 불일치 하더라도 그 불일치 정도가 미미하여 동일하다고 할 수 있을 정도의 시간 임계치 미만이면 사용자의 시촉각통합을 정상으로 판단할 수 있다.

한편, 시촉각통합 평가 장치(100)는, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, 상기 제1 입력데이터와 상기 제2 입력데이터간의 공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 공간적 불일치 정도를 표현한 Psychometric curve를 추가적으로 획득하고 저장할 수 있다.

이때, 도 3a를 참조하면, 공간적 불일치 정도를 표현한 Psychometric curve의 X축 및 Z축 상에는 제 1입력데이터와 제 2입력데이터 사이의 공간적 불일치 정도가 표현되고, Y축 상에는 제 1출력데이터와 제 2출력데이터 사이의 공간적 불일치 정도가 표현될 수 있을 것이다. 여기서, 불일치 정도가 클수록 X축의 값, Y축의 값 및 Z축의 값은 증가할 수 있을 것이다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, 상기 제1 입력데이터와 상기 제2 입력데이터간의 시간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시간적 불일치 정도를 표현한 Psychometric curve를 추가적으로 획득하고 저장할 수 있다.

이때, 도 3b를 참조하면, 시간적 불일치 정도를 표현한 Psychometric curve의 X축 상에는 제 1입력데이터와 제 2입력데이터 사이의 시간적 불일치 정도가 표현되고, Y축 상에는 제 1출력데이터와 제 2출력데이터 사이의 시간적 불일치 정도가 표현될 수 있을 것이다. 여기서, 불일치 정도가 클수록 X축의 값 및 Y축의 값은 증가할 수 있을 것이다.

또한, 시촉각통합 평가 장치(100)는, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, 상기 제1 입력데이터와 상기 제2 입력데이터간의 시공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시공간적 불일치 정도를 표현한 Psychometric curve를 추가적으로 획득하고 저장할 수 있다.

이때, 시공간적 불일치 정도를 표현한 Psychometric curve는 공간적 불일치, 시간적 불일치 및 불일치 정도에 따른 사용자의 반응이 모두 나타난 4차원 그래프(미도시)일 수 있다.

이처럼, 본 발명은, 촉각 자극 및 시각 자극이 시공간적으로 일치하는 경우, 촉각 자극 및 시각 자극이 공간적으로만 불일치하는 경우, 촉각 자극 및 시각 자극이 시간적으로만 불일치하는 경우 및 촉각 자극 및 시각 자극이 시공간적으로 모두 불일치하는 경우 중 적어도 하나의 경우에 해당되는 자극을 사용자에게 제공하여 제공된 자극에 대한 사용자의 반응을 통해 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장할 수 있도록 하는 것이다.

또한, 본 발명은, 촉각 자극 및 시각 자극간의 시간적 불일치 및 촉각 자극 및 시각 자극간의 공간적 불일치를 동시에 제공함으로써 촉각 자극 및 시각 자극간의 시간적 불일치 및 촉각 자극 및 시각 자극간의 공간적 불일치 각각을 개별적으로 제공하였을 경우의 사용자의 반응 이외에 촉각 자극 및 시각 자극간의 시간적 불일치 및 촉각 자극 및 시각 자극간의 공간적 불일치 간의 교호작용에서의 이상까지 측정할 수 있다.

예를 들어, 촉각 자극 및 시각 자극간의 시간적 불일치 자극에 대하여 정상판단을 하지만, 촉각 자극 및 시각 자극간의 공간적 불일치 자극에 대하여 비정상적인 판단을 하는 환자1이 있다고 가정할 때, 상기 환자1에게 현실 상에서는 팔에 촉각 자극을 제공하지만, 가상현실 상에서는 다리에 시각 자극을 제공하되(공간적 불일치), 두 자극을 동시에 제공하는(시간적일치) 제1 실험을 한다면, 상기 환자1은 실제로 팔에 자극을 받았지만, 눈에 보이는 것과 동시에 다리에 촉각 자극이 있었다고 반응할 수 있을 것이다.

또한, 상기 환자1에게 현실 및 가상현실에서 모두 팔에 시각, 촉각 자극을 제공하지만(공간적일치), 시간을 다르게 하여 자극을 제공하는(시간적불일치) 제2 실험을 한다면, 상기 환자1은 팔에 자극을 받았다고 대답하지만, 눈에 보이는 것과 시간차가 있었다고 반응할 수 있을 것이다.

따라서, 상기 환자1에게 팔에 촉각 자극을 제공하고, 가상현실 상에서는 피험자의 다리에 시각 자극을 제공하며(공간적불일치), 두 자극을 서로 다른 시각에 도달하도록(시간적불일치) 제공하는 제3 실험을 한다면, 상기 제1 실험 결과 및 상기 제2 실험 결과 대로라면 상기 환자1은 상기 환자1은 다리에 촉각 자극이 있었고 눈에 보이는 것과 시간차가 있었다고 반응해야 하지만 상기 환자1은 실제로 팔에 자극을 받았지만, 눈에 보이는 것과 동시에 다리에 촉각 자극이 있었다고 반응하는 것과 같이 공간 또는 시간의 불일치 정도가 각각 서로에게 영향을 미친 경우도 있을 수 있을 것이다.

또한, 본 발명은, 촉각 자극 및 시각 자극 각각을 완전 접촉 자극 또는 근사 접촉 자극으로 구분하여 제공함으로써, 실제로 물체가 사용자의 신체에 접촉하지 않았음에도 사용자가 접촉했다고 착각하는 환각 현상에 대한 정보도 측정할 수 있을 것이다.

예를 들어, 동일한 사용자에게 실제로 물체가 사용자의 신체가 접촉하는 촉각 자극 및 시각 자극을 시차를 두고 반복적으로 제시하다가, 특정 시점에 실제 물체가 사용자의 신체가 접촉하지 않는 근사 접촉 자극 및 가상의 물체는 사용자의 가상의 신체에 접촉하는 시각 자극을 준다면, 사용자는 반복적인 촉각 자극 및 시각 자극에 대해 기대치가 형성되어 특정 시점에 실제 물체가 실제 신체에 완전 접촉되지 않았음에도 시각 자극으로 인하여 실제로 물체가 접촉했다고 느끼는 환각 현상을 느낄 수 있을 것이다.

이처럼, 본 발명은, 상기 환각 현상이 나타날 당시의 촉각 자극 및 시각 자극의 좌표, 사용자의 반응 등을 수집할 수도 있을 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magnetooptical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

1. 가상현실을 이용한 시촉각통합 평가 방법에 있어서,
   시촉각통합 평가 장치가, 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉하도록 지원하는 제1 디바이스, 상기 사용자에 착용되어 가상현실의 화면을 상기 사용자에게 제공하는 제2 디바이스 및 상기 사용자의 움직임을 인식하고 추적하여 상기 사용자의 실제 신체 중 일부에 대응하는 가상의 신체를 상기 제2 디바이스의 화면상에 나타나도록 지원하는 제3 디바이스와 연동하고 있는 상태에서,
   (a) 상기 시촉각통합 평가 장치가, 상기 제1 디바이스로 하여금 상기 소정의 실제 물체가 상기 사용자의 실제 신체에 완전 접촉 또는 근사 접촉되도록 하여 상기 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공하도록 지원하고, 상기 제3 디바이스에 의해 이미지 프로세싱된 상기 가상의 신체에 가상의 물체가 완전 접촉 또는 근사 접촉하는 과정을 가상 시각 자극으로서 상기 제2 디바이스를 통해 상기 사용자에게 제공하도록 지원하는 단계;
   (b) 상기 시촉각통합 평가 장치가, 상기 소정의 실제 물체가 상기 사용자의 실제의 신체에 완전 접촉 또는 근사 접촉되는 제1 접촉점에 대응되는 시공간 좌표를 제1 입력데이터로서 획득하고, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 제2 접촉점에 대응되는 시공간 좌표를 제2 입력데이터로서 획득하는 단계;
   (c) 상기 시촉각통합 평가 장치가, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대한 상기 사용자의 반응에 대응되는 시공간 좌표를 제1 출력데이터로서 획득하고, 상기 가상 시각 자극에 대해 상기 사용자의 반응에 대응되는 시공간 좌표를 제2 출력데이터로서 획득하는 단계; 및
   (d) 상기 시촉각통합 평가 장치가, 상기 제1 입력데이터, 상기 제1 출력데이터, 상기 제2 입력데이터 및 상기 제2 출력데이터를 참조로 하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장하는 단계;
   를 포함하는 것을 특징으로 하는 시촉각통합 평가 방법.
2. 제1항에 있어서,
   상기 제1 입력데이터는 상기 제1 접촉점의 위치에 대한 정보인 제1 공간 정보를 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점의 위치에 대한 정보인 제2 공간 정보를 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제3 공간 정보를 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제4 공간 정보를 포함하고,
   상기 (b) 단계에서,
   상기 시촉각통합 평가 장치가, 상기 제1 공간 정보와 상기 제2 공간 정보 간의 거리 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고,
   상기 (d) 단계에서,
   상기 제3 공간 정보와 상기 제4 공간 정보 간의 차이가 상기 거리 오프셋과 기설정된 거리 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 방법.
3. 제2항에 있어서,
   상기 제1 입력데이터는 상기 제1 접촉점에 상기 실제 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제1 시간 정보를 추가적으로 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점에 상기 가상의 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제2 시간 정보를 추가적으로 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제3 시간 정보를 추가적으로 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제4 시간 정보를 추가적으로 포함하고,
   상기 (b) 단계에서,
   상기 시촉각통합 평가 장치가, 상기 제1 시간 정보와 상기 제2 시간 정보 간의 시간 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고,
   상기 (d) 단계에서,
   상기 제3 시간 정보와 상기 제4 시간 정보간의 차이가 상기 시간 오프셋과 기설정된 시간 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 방법.
4. 제3항에 있어서,
   (I) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제1 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고,
   (II) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제2 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하며,
   (III) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제3 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고,
   (IV) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제4 모드로 동작하는 경우, 상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 방법.
5. 제1항에 있어서,
   상기 (d) 단계에서, 상기 시촉각통합 평가 장치가, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, (i) 상기 제1 입력데이터와 상기 제2 입력데이터간의 공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 공간적 불일치 정도를 표현한 Psychometric curve, (ii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시간적 불일치 정도를 표현한 Psychometric curve 및 (iii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시공간적 불일치 정도를 표현한 Psychometric curve 중 적어도 하나를 추가적으로 획득하고 저장하는 것을 특징으로 하는 시촉각통합 평가 방법.
6. 가상현실을 이용한 시촉각통합 평가 장치에 있어서,
   시촉각통합 평가 장치가, 소정의 실제 물체가 사용자의 실제 신체에 완전 접촉 또는 근사 접촉하도록 지원하는 제1 디바이스, 상기 사용자에 착용되어 가상현실의 화면을 상기 사용자에게 제공하는 제2 디바이스 및 상기 사용자의 움직임을 인식하고 추적하여 상기 사용자의 실제 신체 중 일부에 대응하는 가상의 신체를 상기 제2 디바이스의 화면상에 나타나도록 지원하는 제3 디바이스와 연동하고 있는 상태에서,
   인스트럭션들을 저장하는 적어도 하나의 메모리; 및
   상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서;
   를 포함하되,
   상기 프로세서는, 상기 제1 디바이스로 하여금 상기 소정의 실제 물체가 상기 사용자의 실제 신체에 완전 접촉 또는 근사 접촉되도록 하여 상기 사용자에게 완전 촉각 자극 또는 근사 촉각 자극을 제공하도록 지원하고, 상기 제3 디바이스에 의해 이미지 프로세싱된 상기 가상의 신체에 가상의 물체가 완전 접촉 또는 근사 접촉하는 과정을 가상 시각 자극으로서 상기 제2 디바이스를 통해 상기 사용자에게 제공하도록 지원하는 (1) 프로세스, 상기 소정의 실제 물체가 상기 사용자의 실제의 신체에 완전 접촉 또는 근사 접촉되는 제1 접촉점에 대응되는 시공간 좌표를 제1 입력데이터로서 획득하고, 상기 가상의 물체가 상기 가상의 신체에 완전 접촉 또는 근사 접촉되는 제2 접촉점에 대응되는 시공간 좌표를 제2 입력데이터로서 획득하는 (2) 프로세스, 상기 완전 촉각 자극 또는 근사 촉각 자극에 대한 상기 사용자의 반응에 대응되는 시공간 좌표를 제1 출력데이터로서 획득하고, 상기 가상 시각 자극에 대해 상기 사용자의 반응에 대응되는 시공간 좌표를 제2 출력데이터로서 획득하는 (3) 프로세스, 및 상기 제1 입력데이터, 상기 제1 출력데이터, 상기 제2 입력데이터 및 상기 제2 출력데이터를 참조로 하여 상기 사용자의 시촉각통합에 대한 정상 여부를 판단하고, 판단한 결과를 저장하는 (4) 프로세스를 수행하는 것을 특징으로 하는 시촉각통합 평가 장치.
7. 제6항에 있어서,
   상기 제1 입력데이터는 상기 제1 접촉점의 위치에 대한 정보인 제1 공간 정보를 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점의 위치에 대한 정보인 제2 공간 정보를 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제3 공간 정보를 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 위치에 대한 정보인 제4 공간 정보를 포함하고,
   상기 프로세서는,
   상기 (2) 프로세스에서,
   상기 제1 공간 정보와 상기 제2 공간 정보 간의 거리 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고,
   상기 (4) 프로세스에서,
   상기 제3 공간 정보와 상기 제4 공간 정보 간의 차이가 상기 거리 오프셋과 기설정된 거리 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 장치.
8. 제7항에 있어서,
   상기 제1 입력데이터는 상기 제1 접촉점에 상기 실제 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제1 시간 정보를 추가적으로 포함하고, 상기 제2 입력데이터는 상기 제2 접촉점에 상기 가상의 물체가 완전 접촉 또는 근사 접촉되는 타이밍에 대한 정보인 제2 시간 정보를 추가적으로 포함하며, 상기 제1 출력데이터는 상기 완전 촉각 자극 또는 근사 촉각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제3 시간 정보를 추가적으로 포함하고, 상기 제2 출력데이터는 상기 가상 시각 자극에 대해 상기 사용자가 반응하는 타이밍에 대한 정보인 제4 시간 정보를 추가적으로 포함하고,
   상기 프로세서는,
   상기 (2) 프로세스에서,
   상기 제1 시간 정보와 상기 제2 시간 정보 간의 시간 오프셋을 조절할 수 있도록 지원하는 것을 것을 특징으로 하고,
   상기 (4) 프로세스에서,
   상기 제3 시간 정보와 상기 제4 시간 정보간의 차이가 상기 시간 오프셋과 기설정된 시간 임계치 미만이면, 상기 사용자의 시촉각통합에 대해 정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 장치.
9. 제8항에 있어서,
   상기 프로세서는,
   (I) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제1 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고,
   (II) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제2 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하며,
   (III) 상기 제1 시간 정보와 상기 제2 시간 정보가 일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제3 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하고,
   (IV) 상기 제1 시간 정보와 상기 제2 시간 정보가 불일치하고, 상기 제1 공간 정보와 상기 제2 공간 정보가 불일치하는 상기 제1 입력데이터 및 상기 제2 입력데이터를 획득하는 제4 모드로 동작하는 경우, 상기 (4) 프로세스에서, 상기 제1 출력데이터와 상기 제2 출력데이터를 서로 비교하여, 상기 제3 시간 정보와 상기 제4 시간 정보간의 불일치 정도와 상기 제1 시간 정보와 상기 제2 시간 정보간의 불일치 정도의 차이가 상기 기설정된 시간 임계치 이상인 경우 및 상기 제3 공간 정보와 상기 제4 공간 정보간의 불일치 정도와 상기 제1 공간 정보와 상기 제2 공간 정보간의 불일치 정도의 차이가 상기 기설정된 거리 임계치 이상인 경우 중 적어도 하나에 해당되면 상기 사용자의 시촉각통합을 비정상으로 판단하는 것을 특징으로 하는 시촉각통합 평가 장치.
10. 제6항에 있어서,
    상기 프로세서는,
    상기 (4) 프로세스에서, 상기 제1 입력데이터와 상기 제2 입력데이터를 비교하고, 상기 제1 출력데이터와 상기 제2 출력데이터를 비교하여, (i) 상기 제1 입력데이터와 상기 제2 입력데이터간의 공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 공간적 불일치 정도를 표현한 Psychometric curve, (ii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시간적 불일치 정도를 표현한 Psychometric curve 및 (iii) 상기 제1 입력데이터와 상기 제2 입력데이터간의 시공간적 불일치 정도 및 상기 제1 출력데이터와 상기 제2 출력데이터간의 시공간적 불일치 정도를 표현한 Psychometric curve 중 적어도 하나를 추가적으로 획득하고 저장하는 것을 특징으로 하는 시촉각통합 평가 장치.

Images