KR101926178B1

KR101926178B1 - 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템

Info

Publication number: KR101926178B1
Application number: KR1020177003594A
Authority: KR
Inventors: 그렉 반 쿠렌; 소민철; 사무엘 파리나 Iii; 소호성
Original assignee: 그렉 반 쿠렌; 소민철; 사무엘 파리나 Iii
Priority date: 2014-08-08
Filing date: 2015-08-07
Publication date: 2018-12-06
Also published as: KR101686576B1; KR20170033340A; US20160041391A1; WO2016021997A1; US9599821B2; KR20160018436A

Abstract

본 발명은, 사용자가 실제 공간에서 실제로 이동하면 가상 공간 내에서 실재하여 이동하고 있는 느낌을 부여함으로써 가상 공간에의 몰입감과 실제 공간에서의 실제 이동을 양립시킬 수 있는 가상 현실 시스템 그리고, 이러한 가상 현실 시스템을 전투 훈련에 적용하여 사용자들이 아군과 적군으로 편을 나누어 실제 전투 훈련장이 아닌 실제 공간에서도 실제 전투 훈련장에서 전투를 하는 것과 같은 느낌을 부여함으로써 전투 훈련 효과를 극대화할 수 있는 전투 훈련 시스템이 개시된다.

Description

가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템{VIRTUAL REALITY SYSTEM ENABLING COMPATIBILITY OF SENSE OF IMMERSION IN VIRTUAL SPACE AND MOVEMENT IN REAL SPACE, AND BATTLE TRAINING SYSTEM USING SAME}

본 발명은 가상 현실 시스템에 관한 것이다.

본 출원은 2014년 08월 08일에 출원된 미국특허출원 14/455,464에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다.

가상 현실 시스템은 전형적으로, 가상 공간을 사용자에게 표시하는 출력 장치와, 사용자의 움직임을 입력받는 입력 장치와, 입력 장치로부터 입력된 사용자의 움직임을 반영하여 가상 공간을 변화시켜 출력 장치에 표시하는 제어 장치(컴퓨터)로 이루어진다.

상기 출력 장치는 전형적으로 인간의 시각을 통해 가상 공간을 느낄 수 있도록 하는 표시 장치로서, 가장 단순하게는 컴퓨터 모니터(스크린)를 들 수 있고, 몰입감을 강화하기 위해 서라운드 스크린, 나아가 헤드 마운트 장치(head mounted device)를 사용하기도 한다. 헤드 마운트 장치는 전형적으로, 사용자의 양안을 감싸도록 머리에 착용하는 장치로서, 좌우 양안 앞에 각각의 디스플레이를 구비하고, 좌우 디스플레이에는 각각 좌안 영상과 우안 영상을 표시함으로써 자연스럽게 3차원 영상을 표시한다. 특히, 헤드 마운트 장치의 경우, 사용자는 좌우안 영상으로 구현되는 3차원 영상인 가상 공간만을 볼 수 있기 때문에, 이 가상 공간 내에 자신이 실재하는 것처럼 느끼게 되어 가상 공간에의 몰입감의 측면에서 다른 어떤 출력 장치보다 우수하다.

또한, 출력 장치는 인간의 청각을 통해 가상 세계를 느낄 수 있도록 음향을 제공하는 스테레오 스피커를 더 포함할 수 있고(이어폰을 통해 사용자에게만 음향을 제공할 수도 있다), 바람이나 안개, 냄새와 같은 후각이나 촉각 자극을 제공하는 송풍기나 분무기 등을 더 포함하여 가상 세계의 현실감을 높일 수도 있다.

상기 입력 장치는 사용자가 가상 공간 내에서 이동하거나 움직이기 위해, 사용자가 실제 공간에서 움직일 때 사용자의 움직임을 감지하는 수단이다. 이 입력 장치로는, 가장 단순하게는 키보드, 마우스, 조이 스틱과 같은 일반적인 컴퓨터 입력 장치부터, 사용자와 분리되어 설치되어 사용자를 촬상하는 카메라 센서, 사용자의 신체에 부착되어 사용자의 움직임을 감지하는 가속도 센서 등의 움직임 센서, 나아가 트레드밀이나 센서가 장착된 의자나 탈것과 같이 사용자의 제자리 보행이나 움직임을 가능하게 하면서 사용자의 보행이나 움직임을 감지하는 특별히 고안된 장치까지 다양한 장치를 사용할 수 있다.

그런데, 상기와 같이 다양한 출력 장치와 입력 장치 중 어느 것을 사용하더라도, 현재까지 개발된 가상 현실 시스템에서는, 사용자가 실제 공간에서 실제로 걷거나 뛰는 등의 이동을 할 수는 없다. 이는, 출력 장치로서 단순 모니터나 서라운드 모니터를 사용하는 경우에는 모니터가 일정 장소에 고정되어 설치될 수밖에 없고, 따라서 모니터 앞을 떠나서는 게임 등을 할 수가 없기 때문이다. 또한, 출력 장치로서 헤드 마운트 장치를 사용하는 경우에는 사용자가 실제 공간에서 이동하더라도 디스플레이가 항상 눈앞에 있기 때문에 이론상으로는 자유롭게 이동할 수 있지만, 사용자는 헤드 마운트 장치의 디스플레이에 의해 표시되는 가상 공간만을 볼 수 있고 헤드 마운트 장치 바깥의 현실 세계(실제 공간)의 지면이나 장애물을 볼 수 없는 상태이므로 실제로 걷거나 뛸 수는 없다.

따라서, 현재까지 헤드 마운트 장치를 이용하는 가상 현실 시스템에서는, 전술한 바와 같이 트레드밀이나 특별한 의자, 탈것과 같은 기껏해야 제자리에서의 움직임이 가능한 입력 장치를 사용하고 있는 실정이지만, 이러한 입력 장치들은 실제 공간에서의 사용자의 보행감이나 이동감을 제대로 반영하지 못하고 있어 게임 등의 재미와 현실감이 떨어지고, 사용자의 실제 운동이나 신체적 훈련에도 별 도움이 되지 못하고 있다.

한편, 최근에 출시된 '구글 글래스'와 같이 사용자의 눈앞에 정보를 표시하는 작은 디스플레이를 제공하여 현실 세계를 보면서 디스플레이에 의해 제공되는 정보도 볼 수 있는 장치가 제안되었다. 이러한 장치를 출력 장치로서 사용하게 되면 사용자는 실제 공간의 지면이나 장애물을 볼 수 있어 걷거나 뛰는 등 실제적인 이동이 가능하다. 그러나, 구글 글래스는 사용자의 시각에 비춰지는 현실 세계에 더해 보조적인 정보를 보여주는 유용한 수단이지만, 이를 이용한 시스템은 전술한 헤드 마운트 장치에 비해 가상 공간(상기 보조적인 정보가 가상 공간의 영상인 경우)에의 몰입성이 현저히 떨어져, 진정한 의미의 가상 현실 시스템이라 할 수 없다.

여기서, 구글 글래스 역시 머리에 착용하는 장치이므로 헤드 마운트 장치라 할 수 있는데, 본 출원에서 '헤드 마운트 장치'라 하면 가상 공간만을 볼 수 있는 장치를 의미하고, 구글 글래스와 같이 현실 세계에 더해 보조적인 정보를 볼 수 있는 장치와 구분이 필요한 경우에는 '몰입형' 헤드 마운트 장치라 칭하기로 한다.

이와 같이 현재까지 개발된 가상 현실 시스템에서는 가상 공간에의 몰입감과 실제 공간에서의 사용자의 실제 이동을 양립시키지 못하고 있다.

본 발명은 사용자가 실제 공간에서 실제로 이동하면 가상 공간 내에서 실재하여 이동하고 있는 느낌을 부여함으로써 가상 공간에의 몰입감과 실제 공간에서의 실제 이동을 양립시킬 수 있는 가상 현실 시스템을 제공한다.

또한, 본 발명은 상기와 같은 가상 현실 시스템을 전투 훈련에 적용하여 사용자들이 아군과 적군으로 편을 나누어 실제 전투 훈련장이 아닌 실제 공간에서도 실제 전투 훈련장에서 전투를 하는 것과 같은 느낌을 부여함으로써 전투 훈련 효과를 극대화할 수 있는 전투 훈련 시스템을 제공한다.

본 발명의 일 측면에 따른 가상 현실 시스템은, 사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 플레이 그라운드; 상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성된 가상 공간의 영상을 표시하는 디스플레이를 구비하고, 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치; 상기 플레이 그라운드 내의 소정 위치, 상기 헤드 마운트 장치 또는 사용자의 신체 중 적어도 하나에 부착되어, 상기 플레이 그라운드 내에서의 사용자의 실제 위치 및 시선 방향을 감지하기 위한 적어도 하나의 센서; 및 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 플레이 그라운드 내에서의 사용자의 실제 위치 및 시선 방향을 산출하고, 사용자의 실제 위치 및 시선 방향에서 바라본 상기 가상 공간의 영상을 상기 디스플레이에 표시하도록 상기 헤드 마운트 장치를 제어하는 제어부;를 포함하여, 사용자가 상기 헤드 마운트 장치를 착용하고 상기 플레이 그라운드 내에서 실제로 이동함에 따라, 사용자에게 상기 가상 공간 내에서 실재하여 이동하고 있는 느낌을 부여한다.

여기서 상기 제어부는, 상기 디스플레이에 표시되는 상기 가상 공간의 영상에, 상기 플레이 그라운드 내에 존재하지 않는 가상 객체의 영상을 더 표시하도록 상기 헤드 마운트 장치를 제어할 수 있고, 상기 가상 객체는 사용자와 대화, 교육, 훈련, 격투, 전투 중 적어도 하나를 통해 상호작용하며 움직이는 가상 캐릭터일 수 있으며, 상기 가상 객체는 상기 가상 공간 내의 소정 위치에 고정되어 존재하는 가상 전시물 등일 수 있다.

또한, 상기 제어부는 사용자와 분리되어 설치되는 컴퓨터로 구현되고, 상기 적어도 하나의 센서와는 무선 통신을 통해 전기적으로 연결될 수 있다.

또는, 상기 제어부는 사용자가 소지 또는 착용하는 컴퓨터로 구현될 수 있고, 나아가 사용자가 소지하는 스마트 폰으로 구현될 수 있으며, 이 경우 상기 적어도 하나의 센서는 상기 스마트 폰에 내장되어 있는 것을 활용할 수 있다.

또한, 상기 적어도 하나의 센서는 상기 헤드 마운트 장치에 장착된 가속도 센서 또는 자이로 센서를 포함하고, 상기 제어부는 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 헤드 마운트 장치의 실제 위치 및 시선 방향을 산출할 수 있다.

또는, 상기 적어도 하나의 센서는 상기 플레이 그라운드 내의 소정 위치에 설치된 카메라 센서를 포함하고, 상기 제어부는 상기 카메라 센서가 촬상한 영상을 입력받아 상기 헤드 마운트 장치의 실제 위치 및 시선 방향을 산출할 수 있다.

나아가, 상기 적어도 하나의 센서는, 상기 헤드 마운트 장치에 장착되고 특정 파장의 전자기파를 방출하는 방출 소자와, 상기 플레이 그라운드 내의 소정 위치에 설치되어 상기 전자기파를 검출하는 적어도 2개의 검출 소자를 포함할 수 있고, 이 경우 상기 방출 소자는 소정 간격 이격되어 장착된 2개의 방출 소자로 이루어지고, 상기 적어도 2개의 검출 소자 각각은 상기 2개의 방출 소자로부터 방출된 전자기파를 모두 검출하여 상기 2개의 방출 소자의 위치를 감지하며, 상기 제어부는 상기 적어도 2개의 검출 소자로부터의 신호를 입력받아 상기 2개의 방출 소자 각각의 위치를 산출하고, 상기 2개의 방출 소자의 위치의 중점을 상기 헤드 마운트 장치의 현재 위치로 산출하고, 상기 2개의 방출 소자의 위치의 수직 이등분선의 방향을 상기 헤드 마운트 장치가 현재 향하고 있는 방향으로 산출할 수 있다.

또한, 상기 적어도 하나의 센서는 사용자의 복수의 신체부위에 각각 부착되는 복수의 움직임 감지 센서를 포함할 수 있다.

또한, 상기 디스플레이는 사용자의 좌우 양안에 각각 대응하는 좌안용 디스플레이와 우안용 디스플레이를 포함하고, 상기 좌안용 디스플레이에는 사용자의 좌안에서 상기 가상 공간을 바라보았을 때의 영상인 좌안 영상을, 상기 우안용 디스플레이에는 사용자의 우안에서 상기 가상 공간을 바라보았을 때의 영상인 우안 영상을 각각 표시하는 것이 바람직하다.

이 경우, 상기 헤드 마운트 장치는, 사용자의 눈동자를 검출하는 수단을 포함하고, 상기 제어부는 상기 눈동자 검출 수단으로부터의 신호를 입력받아 사용자의 눈동자 위치를 산출하고 이로부터 사용자가 현재 주시하는 주시점을 산출하여, 이 주시점에 초점을 맞춘 영상을 상기 디스플레이에 표시하도록 상기 헤드 마운트 장치를 제어할 수 있다.

본 발명의 다른 측면에 따른 가상 현실 기반의 전투 훈련 시스템은, 적어도 둘 이상의 사용자가 각각 소지할 수 있고 격발시 격발 신호를 무선으로 송신하는 총; 상기 적어도 둘 이상의 사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 적어도 하나의 플레이 그라운드 내에서의, 상기 각 사용자의 실제 위치 및 시선 방향을 감지하고, 상기 총의 총구 방향을 감지하기 위한 적어도 하나의 센서; 가상 공간의 영상을 표시하는 디스플레이를 구비하고, 상기 각 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치; 및 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 플레이 그라운드 내에서의 상기 각 사용자의 실제 위치 및 시선 방향을 산출하고, 상기 각 사용자의 실제 위치 및 시선 방향에서 바라본, 상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성한 상기 가상 공간의 영상을, 상기 각 사용자의 상기 헤드 마운트 장치로 전송하는 제어부;를 포함하고, 상기 제어부는, 어느 한 사용자의 실제 위치 및 시선 방향에 대응하는 실제 공간 내에 다른 사용자가 존재하는 경우, 상기 어느 한 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시하고, 또한, 상기 격발 신호 수신시, 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 총구 방향을 산출하고, 상기 가상 공간 내에서 상기 총구 방향에 적군이 위치하는 경우 상기 가상 공간에 상기 적군에 대한 피격 정보를 표시할 수 있다.

상기 적어도 하나의 센서는, 카메라 센서를 포함하고, 상기 제어부는, 상기 카메라 센서에 의해 촬영된 사용자의 영상으로부터 사용자의 형태를 분석하고 그 분석한 사용자의 형태에 대응하는 가상 객체를 상기 가상 공간에 표시할 수 있다.

상기 적어도 하나의 플레이 그라운드는, 서로 떨어져 설치된 동일한 크기 및 구조의 두 개의 플레이 그라운드를 포함하고, 각 플레이 그라운드에는 적어도 하나의 사용자가 위치하며, 상기 제어부는, 각 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 기초하여, 각 플레이 그라운드 내의 사용자의 헤드 마운트 장치로 전송하는 가상 공간에, 다른 플레이 그라운드 내의 사용자에 대응하는 가상 객체를 표시할 수 있다.

상기 제어부는, 어느 한 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 대응하는 다른 플레이 그라운드의 실제 공간에 다른 사용자가 존재하는 경우, 상기 어느 한 플레이 그라운드 내의 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시할 수 있다.

상기 적어도 하나의 센서는 상기 헤드 마운트 장치에 장착된 가속도 센서 또는 자이로 센서를 포함하고, 상기 제어부는 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 헤드 마운트 장치의 실제 위치 및 향하는 방향을 산출하고, 이를 사용자의 실제 위치 및 시선 방향으로 할 수 있다.

상기 적어도 하나의 센서는 상기 총에 장착된 가속도 센서 또는 자이로 센서를 포함하고, 상기 제어부는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 총구 방향을 산출할 수 있다.

또는, 상기 총에는 레이저를 발사하는 레이저 포인터가 설치되고, 상기 적어도 하나의 센서는, 상기 레이저를 인식하기 위한 카메라 센서를 포함하며, 상기 제어부는, 상기 카메라 센서에 의해 촬영된 영상으로부터 상기 레이저의 궤적을 분석하고 그 레이저의 궤적을 상기 총구 방향으로 판단할 수 있다.

상기 적어도 둘 이상의 사용자는, 진동 수단 및 신호 수신부를 포함하는 전투복을 착용하고, 상기 제어부는, 상기 적군에 대응하는 사용자의 전투복의 신호 수신부로 피격에 관한 제어 신호를 전송하며, 상기 진동 수단은, 상기 신호 수신부에서 상기 제어 신호의 수신시 진동을 발생시킬 수 있다.

본 발명에 따르면, 사용자가 실제 공간 내에서 실제 이동하고 움직이면서 가상 공간 내의 풍부한 가상 객체들을 활용할 수 있어, 가상 현실과 실제 세계가 결합된 새로운 차원의 엔터테인먼트 시스템이 가능해 진다.

또한, 본 발명에 따르면, 사용자들은 아군과 적군으로 편을 나누어 실제 전투 훈련이 아닌 실제 공간에서도 실제 전투장에서 전투를 하는 것과 같은 느낌을 받을 수 있어 전투 훈련 효과를 극대화할 수 있다.

본 발명의 다른 추가적인 특징과 유리한 점들은 이하의 구체적인 설명에 의해 명확해 질 것이다.

도 1은 본 발명의 일 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 2는 도 1에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 3은 본 발명의 다른 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 4는 도 3에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 5는 본 발명의 또 다른 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 6은 본 발명의 또 다른 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 7은 도 6에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 가상 현실 시스템의 구성을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 가상 현실 시스템에서 센서 구성의 다른 예를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 전투 훈련을 위한 총 및 조끼의 구성을 개략적으로 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 가상 현실 시스템에 적용되는 눈동자 위치 추적 기능을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 가상 현실 시스템에 대하여 상세히 설명하기로 한다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과하고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

전술한 종래기술에서 가상 공간에의 몰입감과 실제 공간에서의 실제 이동을 양립시키지 못한 가장 근본적인 이유는, 사용자가 몰입형 헤드 마운트 장치를 착용하면 현실 세계를 볼 수 없기 때문이다. 즉, 인간은 현실 세계를 특히 시각으로 감지하면서(더욱 바람직하게는, 사물의 입체감을 느끼는 3차원적 시각으로 감지하면서) 발을 내딛도록 학습되어 있는데, 헤드 마운트 장치는 현실 세계에 대한 시각을 차단한다. 따라서, 헤드 마운트 장치를 착용하고 가상 공간에 몰입하여 게임등을 하는 종래의 가상 현실 시스템은, 사용자가 제자리에서 움직이는 것만을 허용해 왔다.

본 발명은 사용자가 실제 공간에서 실제로 이동하면서도 가상 현실이 제공하는 풍부한 가상 객체(예컨대, 가상의 적군이나 가상의 전시물 등)를 활용할 수 있다. 이렇게 가상 공간에의 몰입감과 실제 공간에서의 실제 이동을 양립시키기 위해서는 헤드 마운트 장치의 디스플레이가 표시하는 가상 공간이 실제 공간과 같은 크기와 시야로 사용자에게 시인되어야 할 필요가 있다. 이를 위한 구체적인 수단과 방법은 후술하기로 하고, 본 발명에 따른 가상 현실 시스템의 구체적인 응용예들을 먼저 설명한다.

본 발명의 가상 현실 시스템은, 이에 한정되지는 않지만, 전형적으로 엔터테인먼트 시스템으로 매우 적합하게 구현될 수 있다. 여기서, 본 발명의 가상 현실을 이용한 '엔터테인먼트 시스템'이라 함은, 좁은 의미의 게임, 오락뿐만 아니라, 운동, 교육/훈련, 관람 등 사용자가 현실 세계에서 움직이면서 느낄 수 있는 모든 형태의 느낌을 가상 공간 내에서 재현할 수 있는 시스템을 포함하는 개념이다.

도 1은, 본 발명에 따른 가상 현실 시스템을 서바이벌 게임 또는 슈팅(shooting) 게임 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.

도 1에 도시된 본 발명의 일 응용예에 따른 가상 현실 시스템은, 현실 세계의 실제 공간 내에 사용자(10)가 실제로 이동 가능한 소정 면적(예컨대, 적어도 가로세로 수 미터)을 가지는 플레이 그라운드(100)를 가진다. 여기서, 플레이 그라운드(100)는, 예컨대 종래의 서바이벌 게임장과 같은 시설을 그대로 이용할 수도 있지만, 최소한의 장애물(110)만을 가지거나, 가장 간단하게는 아무런 장애물 없이 단순히 탁트인 평지로 이루어질 수도 있다. 이렇게 장애물이 없는 평지만으로 플레이 그라운드(100)를 구성하더라도 본 발명에서는 헤드 마운트 장치(300)의 디스플레이에 표시되는 가상 공간의 가상 객체들을 얼마든지 활용할 수 있으므로 실제의 서바이벌 게임과 같은 또는 그 이상의 재미와 운동 효과를 제공할 수 있다. 다만, 플레이 그라운드(100)는, 서바이벌 게임의 속성상 사용자(10)가 몸을 숨기거나 기댈 수 있는 장애물(110)을 가지는 것이 바람직하고, 나아가 평지가 아닌 요철이나 계단(120)과 같은 시설물이나 층 구조를 가질 수 있다.

도 2는, 사용자가 플레이 그라운드(100) 안에서 도 1에 도시된 위치와 방향으로 서 있을 때, 헤드 마운트 장치(300) 내의 디스플레이에 표시되는 가상 공간(200)의 영상의 일예를 도시한 도면이다. 여기서, 가상 공간(200)은 실제 공간, 즉 플레이 그라운드(100) 내의 실제 객체들(지면 구조, 장애물이나 시설물)(110, 120)에 대응하여 실제 공간과 동일한 구조로 구축되어 있다(가상 공간(200)의 구축 방법은 후술한다). 그러나, 도 2에 도시된 바와 같이, 실제 공간(100)과 가상 공간(200)은 기본 구조가 동일하지만, 실제 객체들(110, 120)에 비해 가상 객체들(210, 220)은 훨씬 더 다채로우며, 실제 공간(100)에는 존재하지 않는 고정된 가상 객체(예컨대, 도 2에서 배경을 이루는 빌딩들(230))가 더 존재한다. 나아가, 도 2에는 도시하지 않았지만, 움직이는 가상 캐릭터(예컨대, 가상의 적군이나 아군)인 가상 객체가 더 존재할 수도 있다.

또한, 사용자(10)가 착용하고 있는 헤드 마운트 장치(300)의 디스플레이에 표시되는 가상 공간(200)은 사용자(10)가 실제 공간(100) 내에서 현재 위치와 방향에서 바라보았을 때 그 시야에 들어오는 실제 객체들(110, 120)에 대응되는 가상 객체들(210, 220)이 실제 공간(100)에서의 거리에 비례하는 크기로 실재하는 방향에 표시된다(이러한 표시 방법에 대해서는 후술한다). 즉, 사용자가 고개를 좌우로 돌리거나 위아래로 들거나 내리면, 그에 대응하여 실제 공간(100) 내에서 사용자가 주시하는 방향에 존재하는 지면이나 장애물 등의 실제 객체(110, 120)에 대응되는 가상 객체(210, 220)가 디스플레이의 중앙에 표시된다. 따라서, 사용자는 가상 공간(200)의 지면과 가상 객체(210, 220)를 마치 실제 공간(100)의 실제 지면과 실제 객체(110, 120)처럼 시인하면서 자연스럽게 걷거나 뛰는 등의 이동을 할 수 있게 된다. 이렇게 실제 공간인 플레이 그라운드(100) 내에서 사용자(10)가 이동하게 되면, 후술하는 센서에 의해 변화된 사용자(10)의 현재 위치와 주시하는 방향을 산출하고, 변화된 사용자의 위치와 방향에 대응하는 가상 공간(200)의 영상을 디스플레이에 표시한다.

나아가, 사용자는 가상 공간(200) 내에 가상의 적군이 출현하면 손에 들고 있는 총으로 사격함으로써 게임을 즐길 수 있다. 물론, 현실 세계에서 사용자가 손에 들고 있는 것은 실제로는 사격 여부를 감지하는 센서(410)로서, 현실감을 주기 위해 장난감 총에 방아쇠 모양의 스위치와 총이 향하고 있는 방향을 감지할 수 있는 센서를 부착하여, 현재 총이 향하고 있는 방향을 가상 공간(200) 내에서 조준점으로 표시할 수 있다. 그러면, 사용자는 조준점으로 가상의 적군을 겨냥하여 사격하게 되고 그때의 조준점과 가상의 적군이 일치하면 가상의 적군이 쓰러지도록 프로그래밍함으로써 게임의 재미와 현실감을 배가할 수 있다. 나아가, 디스플레이에 표시되는 가상 공간(200)의 영상에 게임의 현재 상태를 나타내는 정보(240), 예컨대 남은 게임 시간, 남은 총알 수, 남은 적군 수, 쓰러뜨린 적군 수, 피격 여부, 점수 등의 정보를 소정 위치에 표시할 수도 있다.

도 3은 본 발명에 따른 가상 현실 시스템을 복싱 게임 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.

도 3에 도시된 응용예에 따른 가상 현실 시스템에서는, 플레이 그라운드(100')가 실제 복싱 경기에 사용되는 사각 링과 유사한 링으로 구현된다. 물론, 본 예에서 플레이 그라운드는 실제 복싱 링을 그대로 사용할 수 있고, 반대로 단순한 평지로 구성하고, 링의 지주과 로프 등의 실제 객체(110')는 가상 객체(210')로 구현할 수도 있다.

도 4는 사용자가 플레이 그라운드(100') 안에 서 있을 때, 헤드 마운트 장치(300) 내의 디스플레이에 표시되는 가상 공간(200')의 영상의 일예를 도시한 도면이다. 본 예에서도, 가상 공간(200')은 실제 공간, 즉 플레이 그라운드(100') 내의 실제 객체들(플로어, 지주, 로프 등)(110')에 대응하여 실제 공간과 동일한 구조로 구축되어 있다. 그러나, 전술한 응용예에서와 같이, 실제 공간(100')과 가상 공간(200')은 기본 구조가 동일하지만 훨씬 더 다채로우며, 무엇보다도 실제 공간(100')에는 존재하지 않는 움직이는 가상 객체로서 상대 선수나 관중과 같은 가상 캐릭터(230')가 더 존재한다. 특히, 가상 캐릭터(230')로서의 상대 선수는 사용자(10)의 움직임이나 이동에 인터랙티브하게 움직일 수 있고, 사용자가 자신의 레벨에 맞게 선택할 수 있는 것이 바람직하다.

또한, 본 응용예에서도, 사용자(10)가 착용하고 있는 헤드 마운트 장치(300)의 디스플레이에 표시되는 가상 공간(200')은 사용자(10)가 실제 공간(100') 내에서 현재 위치와 방향에서 바라보았을 때 그 시야에 들어오는 실제 객체들(110')에 대응되는 가상 객체들(210')이 실제 공간(100')에서의 거리에 비례하는 크기로 실재하는 방향에 표시되고, 사용자의 움직임이나 이동에 동기하여 가상 공간(200')의 영상이 변화한다. 따라서, 사용자는 가상 공간(200')의 지면과 가상 객체(210')를 마치 실제 공간(100')의 실제 지면과 실제 객체(110')처럼 시인하면서 자연스럽게 스텝을 밟거나 이동할 수 있게 된다.

다만, 본 응용예에서의 가상 캐릭터(230')인 상대 선수는 실제 공간(100')에 대응하는 실체가 없는 가상 객체이다. 따라서, 사용자(10)가 상대 선수(230')를 가격하거나, 반대로 상대 선수가 사용자를 가격하더라도, 실제의 가격감이나 피격감을 느낄 수는 없다. 하지만, 전술한 응용예에서 가상 적군을 명중시켰을 때 가상 적군이 쓰러지도록 하는 것과 마찬가지로, 센서(450)에 의해 감지되는 사용자(10) 주먹의 위치 및 속도 등과 상대 선수(230')의 위치를 감안하여 펀치의 적중률 등을 산출하고, 그에 따라 상대 선수(230')가 넘어지게 하는 등의 영상은 프로그래밍으로 구현 가능하다. 또한, 전술한 응용예에서와 마찬가지로, 가상 공간(200')의 영상의 소정 위치에 가격 또는 피격 펀치의 적중률, 현재 라운드수와 남은 시간 등의 현재 상태 정보를 표시함으로써, 게임의 재미와 현실감을 배가할 수 있다.

이와 같이, 본 발명의 가상 현실 시스템에 따르면, 사용자가 실제 공간 내에서 실제 이동하고 움직이면서 가상 공간 내의 풍부한 가상 객체들을 활용할 수 있어, 가상 현실과 실제 세계가 결합된 새로운 차원의 엔터테인먼트 시스템이 가능해 진다. 특히, 종래의 게임이 주로 앉아서 하거나 제자리에서의 움직임에 그침으로써, 신체발달 단계상 적절한 운동이 필요한 아동이나 청소년의 운동부족과 비정상적인 감성 형성이라는 폐해를 초래했던 것에 반해, 본 발명은 오락성의 부여와 함께 실제 운동을 가능하게 한다.

도 5는, 본 발명에 따른 가상 현실 시스템을 가상 전시 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.

도 5에 도시된 응용예에 따른 가상 현실 시스템에서, 플레이 그라운드(100")는 전시장으로 구현된다. 물론, 본 응용예에서도 플레이 그라운드는 실제 전시장을 그대로 사용할 수 있고, 유명한 박물관이나 미술관의 건물 구조만을 모사하여 구현할 수도 있다. 나아가, 전술한 응용예들과 달리 과격한 이동이 예견되지 않는 본 응용예에서는 특별한 경계나 실제 객체(110")가 없는 단순 평지로 플레이 그라운드를 구현해도 상관없다. 한편, 도 5에서 참조부호 130은 가상 공간 내에서 가상의 전시물이 게시될 위치를 알기 쉽게 나타낸 것으로서, 실제 플레이 그라운드(100") 내에 벽면(110") 상에 구분 가능하게 실재해도 되고, 실재하지 않아도 된다.

본 응용예에서도, 별도로 도시하지는 않았지만, 사용자(10)의 현재 위치와 방향에 따라 가상 공간의 영상이 헤드 마운트 장치(300) 내의 디스플레이에 표시된다. 이 가상 공간에는 실제 공간(100")의 벽면(110")에 대응되는 가상 객체와 전시하고자 하는 가상 객체로서의 가상 전시물이 정해진 위치(130)에 표시된다. 여기서 가상 전시물은 유명한 박물관이나 미술관 등의 소장품을 사용자가 선택할 수도 있다. 그밖에 가상 캐릭터로서 도슨트(docent)나 다른 관람객이 표시될 수도 있다.

또한, 본 응용예에서도, 사용자(10)가 착용하고 있는 헤드 마운트 장치(300)의 디스플레이에 표시되는 가상 공간은 사용자(10)가 실제 공간(100") 내에서 현재 위치와 방향에서 바라보았을 때 그 시야에 들어오는 실제 객체들(110", 130)에 대응되는 가상 객체들이 실제 공간(100")에서의 거리에 비례하는 크기로 실재하는 방향에 표시되고, 사용자의 움직임이나 이동에 동기하여 가상 공간의 영상이 변화한다. 따라서, 사용자는 가상 공간의 지면과 가상 객체를 마치 실제 공간(100")의 실제 지면과 실제 객체(110")처럼 시인하면서 전시장(플레이 그라운드(100")) 안을 자연스럽게 이동하면서 가상 전시물을 관람할 수 있게 된다.

이와 같이, 본 응용예의 가상 현실 시스템에 따르면, 사용자가 실제로 갈 수 없는 유명한 박물관이나 미술관, 박람회장 등을 가상 현실 시스템 내에서 실제로 이동하면서 풍부한 가상 전시물들을 관람할 수 있어, 시공간의 제약을 뛰어 넘어 가상 현실과 실제 세계가 결합된 새로운 차원의 전시, 관람 시스템이 가능해 진다.

도 6은 본 발명에 따른 가상 현실 시스템을 전투 훈련 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.

도 1 내지 도 5를 참조하여 설명한 응용예에서는, 한 명의 사용자(10)가 헤드 마운트 장치(300)를 착용하고 플레이 그라운드 내의 실제 공간에서 실제로 이동하면 가상 공간 내에서 실재하여 이동하고 있는 느낌을 부여한다. 도 6을 참조하여 설명하는 본 응용예에서는 현실 세계의 실제 공간 내에 두 명의 사용자(10, 20)가 소정 면적(예컨대, 적어도 가로세로 수 미터)을 가지는 플레이 그라운드의 실제 공간에 위치한다. 도 1을 참조하여 설명한 응용예에서 한 명의 사용자(10)가 서바이벌 게임 또는 슈팅 게임을 하지만, 도 6을 참조하여 설명하는 본 응용예에서 적어도 두 명의 사용자(10, 20)가 아군과 적군으로 편을 나누거나 같은 편이 되어 플레이 그라운드(100) 내에서 전투 훈련을 한다. 도 6의 플레이 그라운드(100) 및 그 플레이 그라운드(100)의 실제 환경은 도 1을 참조하여 설명한 것과 동일하다.

도 7은, 사용자(10)가 플레이 그라운드(100) 안에서 도 6에 도시된 위치와 방향으로 서 있을 때, 헤드 마운트 장치(300) 내의 디스플레이에 표시되는 가상 공간(200")의 영상의 일예를 도시한 도면이다.

사용자(10)가 착용하고 있는 헤드 마운트 장치(300)의 디스플레이에 표시되는 가상 공간(200")에는, 사용자(10)가 실제 공간(100) 내에서 현재 위치와 방향에서 바라보았을 때, 그 시야에 들어오는 고정된 실제 객체들(110, 120)에 대응하는 가상 객체들(210, 220)과, 그리고 이동하는 다른 사용자(20)에 대응하는 가상 객체(250)가, 실제 공간(100)에서 사용자(10)와의 거리에 비례하는 크기로 실재하는 방향에 표시된다(이러한 표시 방법에 대해서는 후술한다). 즉, 사용자(10)가 고개를 좌우로 돌리거나 위아래로 들거나 내리면, 그에 대응하여 실제 공간(100) 내에서 사용자(10)가 주시하는 방향에 존재하는 지면이나 장애물, 다른 사용자 등의 실제 객체(110, 120, 20)에 대응되는 가상 객체(210, 220, 250)가 디스플레이의 중앙에 표시된다. 따라서, 사용자(10)는 가상 공간(200")의 지면과 가상 객체(210, 220, 250)를 마치 실제 공간(100)의 실제 지면과 실제 객체(110, 120, 20)처럼 시인하면서 자연스럽게 걷거나 뛰는 등의 이동을 할 수 있게 된다.

이와 같은 가상 공간(200")은 사용자(10)뿐만 아니라, 다른 사용자(20)의 헤드 마운트 장치(300)에도, 위에서 설명한 바와 동일한 방식으로 표시된다. 즉 다른 사용자(20)의 헤드 마운트 장치(300)의 디스플레이에, 실제 공간(100) 내의 고정된 실제 객체들(110, 120)에 대응되는 가상 객체들, 그리고 이동하는 사용자(10)에 대응하는 가상 객체가 가상 공간(200")에 표시되는데, 이때 실제 공간(100)에서 사용자(20)와의 거리에 비례하는 크기로 실재하는 방향에 해당 가상 객체들이 가상 공간(200")에 표시된다. 이렇게 실제 공간인 플레이 그라운드(100) 내에서 사용자들(10, 20)이 이동하게 되면, 후술하는 센서에 의해 변화된 사용자(10, 20)의 현재 위치와 주시하는 방향을 산출하고, 변화된 사용자(10, 20)의 위치와 방향에 대응하는 가상 공간(200")의 영상을 각 사용자(10, 20)의 헤드 마운트 장치(300)의 디스플레이에 표시한다.

사용자들(10, 20)은 가상 공간(200") 내에서 총으로 상대방을 사격함으로써 전투 훈련을 할 수 있다. 또는 사용자들(10, 20)은 서로 같은 편이 되어 가상 공간(200") 내에 가상의 적군이 출현하면 손에 들고 있는 총으로 사격함으로써 전투 훈련을 할 수 있다. 사용자들(10, 20)이 현실 세계에서 손에 들고 있는 총은, 도 10의 (a)에 도시된 바와 같이, 실제 총기와 동일한 형상 및 무게를 갖고, 실제 총과 동일하게 방아쇠를 당겨 사격을 할 수 있도록 제작된다. 이러한 총에는, 총구의 방향 및 움직임을 감지하는 센서(410)와, 방아쇠를 당겼을 때 실제 총알이 발사될 때의 반동을 주는 반동 수단(510), 그리고 격발을 감지하여 이에 관한 격발 신호를 송신하는 신호 송신부(520)를 포함할 수 있다. 여기서 반동 수단은, 공기 압축기 및 솔레노이드 밸드 등을 포함할 수 있다. 반동 수단은, 총의 격발시 반동을 주면서 실제 격발시의 음향도 발생시킬 수 있다. 이러한 연습용 총의 반동 수단은 일반적으로 많이 알려져 있으므로 여기서는 상세한 설명을 생략한다. 또한, 총에는 총구의 조준 위치를 표시할 수 있도록 레이저 포인터(530)가 구비될 수 있다. 보다 더 사실적으로 구현하기 위해, 헤드 마운트 장치(300), 또는 도 10의 (b)에 도시된 바와 같이 사용자(10, 20)가 착용하는 전투복(예컨대 조끼)에는, 진동 수단(540)을 구비할 수 있다. 진동 수단(540)은 압전 소자나 진동 모터 등으로 구현될 수 있으며, 전투 훈련시에 사용자가 적군인 다른 사용자 또는 가상의 적군으로부터 피격당한 경우 진동을 발생시킨다. 진동 수단(540)이 전투복에 장착된 경우 전투복에는 신호 수신부(550)를 포함하여, 신호 수신부(550)를 통해 피격당했음을 알리는 제어 신호가 수신되면 진동 수단(540)이 진동을 발생시킨다.

총에 부착된 센서(410)를 통해 총구의 방향을 감지하여 현재 총이 향하고 있는 방향을 가상 공간(200") 내에서 조준점으로 표시할 수 있다. 그러면, 사용자들(10, 20)은 조준점으로 가상의 적군 또는 다른 사용자를 겨냥하여 사격하게 되고, 그때의 조준점과 가상의 적군 또는 다른 사용자가 일치하면 가상의 적군 또는 다른 사용자에 대응하는 가상 객체가 쓰러지도록 프로그래밍함으로써 게임의 재미와 현실감을 배가할 수 있다. 나아가, 디스플레이에 표시되는 가상 공간(200")의 영상에 게임의 현재 상태를 나타내는 정보(240), 예컨대 남은 게임 시간, 남은 총알 수, 남은 적군 수, 쓰러뜨린 적군 수, 피격 여부, 점수 등의 정보를 소정 위치에 표시할 수도 있다.

다음으로, 본 발명에 따른 가상 현실 시스템에 필수적인 가상 공간(200, 200', 200")을 구축하는 방법에 대해 설명한다.

본 발명에 따른 가상 현실 시스템은 현실 세계인 플레이 그라운드(100, 100', 100")를 포함하고, 사용자(10, 20)는 플레이 그라운드(100, 100', 100") 안에서 실제 공간을 보지 않으면서 걷거나 뛰는 등의 이동을 하게 된다. 따라서, 경계조차 없는 평면을 플레이 그라운드로 하는 경우를 제외하고는, 플레이 그라운드(100, 100', 100") 안에 있는 고정된 장애물 등의 실제 객체(110, 120, 110')를 가상 공간(200, 200', 200") 안에서 그에 대응하는 가상 객체(210, 220, 210')로서 표시해야 한다.

따라서, 가상 공간(200, 200', 200")을 구축하는 첫 번째 단계는 실제 공간인 플레이 그라운드(100, 100', 100")와 동일한 구조와 크기의 가상 공간(200, 200', 200")의 프레임을 구축하는 단계이다. 가상 공간(200, 200', 200")의 프레임을 작성하는 단계는, 전술한 바와 같이 헤드 마운트 장치(300)의 디스플레이가 좌우 양안 영상을 각각 표시하여 가상 공간을 3차원 입체 영상으로 표시하는 경우, 3차원 입체 영상 데이터를 구축하는 방법을 사용할 수 있다.

구체적으로, 플레이 그라운드(100, 100', 100")를 스캔하여 실제 공간의 깊이 정보를 구해 깊이 맵을 얻는다. 실제 공간의 깊이 정보를 구하는 가장 일반적인 방법은, 두 대의 카메라를 이용하여 플레이 그라운드(100, 100', 100")를 스캔하여 촬영한 영상을 이용하는 스테레오 정합(stereo matching) 방법으로서, 두 영상에서 동일한 객체에 해당하는 화소간의 변위(disparity) 정보를 구함으로써 객체(실제 객체)들의 깊이 정보를 얻는다. 실제 공간의 깊이 정보를 구하는 다른 일반적인 방법은 실제 공간의 객체들에 대한 거리를 직접 측정하여 실제 공간의 깊이 맵을 얻는 방법이다. 즉, 적외선 또는 광 신호를 방사하는 깊이 카메라(depth camera)를 이용하여 플레이 그라운드(100, 100', 100")를 스캔하여, 반사되어 돌아오는 신호의 위상차로부터 객체들에 대한 거리, 즉 깊이 정보를 얻는다.

이렇게 하여 실제 공간인 플레이 그라운드(100, 100', 100")의 깊이 맵을 얻어 가상 공간의 프레임을 구축한 다음, 프레임 안에 존재하는 객체(아직까지는 실제 객체)들을 수정하고 렌더링(rendering)함으로써 실제 객체들에 대응하지만 훨씬 다채롭고 변화된 객체인 가상 객체들을 생성한다.

이어서, 실제 공간인 플레이 그라운드(100, 100', 100")에 존재하지 않는 순수한 가상 객체들(230, 230')을 만든다. 이 가상 객체들은 가상 공간(200, 200', 200") 내에 고정된 배경 건물(도 2의 230)이나 가상 전시물, 또는 움직이는 가상 캐릭터(도 4의 230') 등을 포함한다. 이러한 순수한 가상 객체들을 만드는 과정은 전형적으로 디자인 작업이다. 또한, 가상 객체, 특히 움직이는 가상 캐릭터의 경우, 사용자(10, 20)의 행위나 움직임에 반응하여 어떻게 움직일 것인지 등을 프로그래밍한다. 이는 전형적으로 인터랙티브한 게임의 프로그래밍 작업과 같다.

이와 같이 구축된 가상 공간의 영상 데이터를 게임이나 관람 프로그램과 함께 제어부의 메모리에 저장함으로써 본 발명에 따른 가상 현실 시스템에서 사용할 수 있는 가상 공간의 구축이 완료된다.

이어서, 본 발명의 가상 현실 시스템을 구성하는 구체적인 요소와, 본 발명의 시스템을 구축하는 수단과 방법에 대해, 도 8을 참조하여 상세히 설명한다.

본 발명의 가상 현실 시스템의 물리적인 구성 요소들은, 크게 플레이 그라운드(100, 100', 100"), 헤드 마운트 장치(300), 적어도 하나의 센서(400), 및 제어부(500)로 대별된다. 여기서, 플레이 그라운드(100, 100', 100")에 대해서는 상술하였으므로 나머지 구성 요소들에 대해 설명한다.

한편, 헤드 마운트 장치(300), 적어도 하나의 센서(400), 및 제어부(500)는 물리적으로 반드시 분리되어 존재하는 요소일 필요는 없고, 후술하는 바와 같이, 하나의 장치에 내장되거나 부착되는 등 일체화할 수 있는 요소들이다. 즉, 이들 요소들의 구분은 논리적인 구분이다.

헤드 마운트 장치(300)는 사용자(10, 20)의 양안을 감싸며 착용되고, 헤드 마운트 장치(300) 안쪽의 사용자의 양안에 대응하는 위치에는 전술한 가상 공간(200, 200', 200")의 영상을 표시하는 디스플레이가 마련되어 있다. 따라서, 사용자(10, 20)가 헤드 마운트 장치(300)를 착용하면, 디스플레이에 표시되는 영상 이외에 현실 세계의 실제 객체들을 볼 수 없게 된다. 또한 헤드 마운트 장치(300)는 적어도 하나 이상의 프로세서와 메모리를 포함하고 그리고 상기 메모리에는 소프트웨어 구성요소로서 운영 체제, 그래픽 모듈(명령어 세트), 게임 프로그램(명령어 세트)이 설치될 수 있다. 운영 체제는 예를 들어 다윈(Darwin), iOS, RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 소프트웨어를 포함한다. 그래픽 모듈은 헤드 마운트 장치(300)의 디스플레이 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션, 2D/3D 데이터 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.

디스플레이는 사용자(10, 20)의 좌우 양안에 각각 대응하는 위치에 마련된 좌안용 디스플레이와 우안용 디스플레이로 구분되어 구현될 수 있다. 이렇게 하면 좌안용 디스플레이에는 사용자(10, 20)의 좌안에서 바라보았을 때의 객체 영상인 좌안 영상을, 우안용 디스플레이에는 사용자(10, 20)의 우안에서 바라보았을 때의 객체 영상인 우안 영상을 각각 표시함으로써, 셔터나 필터를 이용하여 입체표시를 보는 특수한 안경이나 디스플레이 표면에 부착하는 렌티큘러 시트 등의 별도의 수단이 없이도, 간편하게 3차원 입체 표시가 가능하다.

또한, 헤드 마운트 장치(300)는 통신 모듈을 내장하여 제어부(500)와 통신을 수행하여 데이터를 송수신할 수 있다. 통신 모듈은 전자파를 송수신한다. 통신 모듈은 전기 신호를 전자파로 또는 그 반대로 변환하며 이 전자파를 통하여 통신한다. 통신 모듈은 예를 들어 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 등을 포함할 수 있고 이에 한정되지 않는 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다. 통신 모듈은 셀룰러 전화 네트워크, 무선 LAN(Local Area Network) 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 근거리 무선 통신에 의하여 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), Wi-MAX, 블루투스(Bluetooth), 지그비(zigbee), 엔에프씨(NFC:Near Field Communication), 또는 본 출원의 출원 시점에 아직 개발되지 않은 통신 프로토콜을 포함하는 기타 다른 적절한 통신 프로토콜을 포함하지만 이에 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 어느 것을 이용할 수 있다. 또한, 통신 모듈은 HDMI 케이블, USB 케이블 또는 유선 LAN(Local Area Network) 등과 같은 유선 네트워크를 통해 통신을 할 수 있다.

이러한 헤드 마운트 장치(300)는 이미 시판되어 널리 알려져 있으므로 그 기본적인 구성과 원리에 대한 상세한 설명은 생략한다.

한편, 헤드 마운트 장치(300)에는 일반적인 헤드셋과 마찬가지로 이어폰 및/또는 마이크를 부가하여, 시각 이외에도 청각(음향)을 사용자(10, 20)에게 제공하거나, 사용자(10, 20)의 음성을 입력받아 가상 캐릭터와 대화를 하거나 시스템에 명령을 입력할 수도 있다.

참조부호 400으로 통칭되는 센서는 구체적인 응용예에 따라 다양하게 구성할 수 있지만, 기본적으로 사용자(10, 20)의 플레이 그라운드(100, 100', 100") 내에서의 현재 위치 및 향하고 있는 방향(주시하고 있는 방향)을 감지하고, 사용자(10, 20)의 형태 및 움직임을 인식하기 위한 센서를 필요로 한다.

도 8에 도시된 센서(410)는, 전술한 도 1 및 도 6의 응용예에서 사용하는 사격 여부를 감지하고 총이 향하는 방향을 감지할 수 있는 센서이다. 해당 센서(410)는, 후술하는 가속도 센서 또는 자이로 센서를 활용할 수 있다.

도 8에 도시된 센서(450)는, 움직임 센서이다. 움직임 센서(450)는 전술한 바 있는 가속도 센서 또는 자이로 센서로 구현될 수 있다. 이러한 움직임 센서(450)는 도 3에 도시된 바와 같이 사용자(10)가 손에 파지하거나, 또는 복수의 관절 부위에 착용함으로써 사용자(10)의 손 움직임이나 골격의 움직임을 감지할 수 있고, 이렇게 감지된 사용자(10)의 움직임을 반영하여 가상 캐릭터(예컨대, 도 4의 가상의 상대 선수(230'))의 행동을 변화시킬 수 있다. 또한 움직임 센서(450)는 사용자(10, 20)의 복수의 관절 부위에 착용됨으로써, 사용자(10, 20)들의 형태를 인식할 수 있다.

도 8에 도시된 센서(420)는 가속도 센서 또는 자이로 센서로서 사용자의 현재 위치 및 방향을 감지하기 위해 사용된다. 가속도 센서 또는 자이로 센서는 헤드 마운트 장치(300)에 내장 또는 부착된다. 가속도 센서는 사용자(10, 20)가 움직임에 따라 헤드 마운트 장치(300)가 움직이면 그 가속도를 감지하는 센서로서, 이를 이용하여 사용자(10, 20)의 플레이 그라운드(100, 100', 100") 내에서의 현재 위치 및 향하고 있는 방향을 산출할 수 있다. 구체적으로, 헤드 마운트 장치(300)가 움직이면 가속도 센서(420)는 그 가속도를 감지하여 x, y, z축 방향의 성분으로 분해하여 신호를 생성할 수 있고, 이를 적분하면 x, y, z축 방향의 속도를 산출할 수 있으며, 이를 다시 적분하면 헤드 마운트 장치(300)의 현재 위치, 즉 원점(초기 위치, 예컨대 도 1 및 도 5에서는 플레이 그라운드(100, 100")의 입구, 도 3에서는 플레이 그라운드(100')인 복싱 링의 특정 코너)을 기준으로 한 x, y, z축 상의 좌표를 구할 수 있다. 또한, 가속도와 속도는 크기와 방향을 가지는 물리량(즉, 벡터)이므로, 원점에서부터 현재까지 움직인 이력을 추적하면 헤드 마운트 장치(300)가 현재 향하고 있는 방향, 즉 사용자가 보고 있는 방향을 산출할 수 있다. 한편, 자이로 센서는, 헤드 마운트 장치(300)가 움직이면 회전축(x, y, z축)을 중심으로 회전한 각운동량이나 각속도를 측정하여 이를 전기적 신호로 출력하는 센서로서, 상기의 가속도 센서와 마찬가지로 사용자, 즉 헤드 마운트 장치(300)의 현재 위치와 향하고 있는 방향을 산출할 수 있다.

물론, 이를 위해 사용자(10, 20)가 원점에서 정면 또는 미리 정해진 특정 기준 방향을 향해 섰을 때, 초기화, 즉 실제 공간의 좌표축과 가속도 센서 또는 자이로 센서(420)의 좌표축을 일치시키는 캘리브레이션(calibration) 과정을 수행할 필요가 있다. 이러한 초기화 과정과, 사용자의 현재 위치 및 방향의 산출은 제어부(500)가 가속도 센서 또는 자이로 센서(420)로부터의 신호를 입력받아 수행한다.

도 8에 도시된 센서(430)는 카메라 센서이다. 카메라 센서(430)는 사용자(10, 20)의 현재 위치 및 방향을 감지할 수 있고, 또한 사용자(10, 20)의 형태 및 움직임을 인식하며, 또한 가상 공간을 구축하기 위해 사용된다. 카메라 센서(430)는 플레이 그라운드(100, 100', 100") 내의 특정 위치에 또는 헤드 마운트 장치(300)에 적어도 하나 이상 설치될 수 있는데, 사각지대를 고려하고 정확한 위치 및 방향 감지를 위해 복수개 설치되는 것이 바람직하다.

카메라 센서(430)는 깊이 카메라, 색상 카메라, 마이크로폰을 포함할 수 있다. 상기 깊이 카메라는 물체의 깊이를 측정하는 카메라로서 깊이 정보를 측정하여 깊이 영상을 출력한다. 바람직하게는 깊이 카메라는 적외선 패턴에 의하여 깊이 정보를 측정하는 카메라이다. 깊이 카메라는 적외선 송출부와 적외선 수신부로 구성되어 송출부에서 송출된 적외선이 물체에 맞고 반사되면, 수신부에서 반사되는 적외선을 수신하여 물체의 깊이를 측정한다. 색상 카메라는 통상의 RGB 카메라로서 물체의 색상 영상을 출력한다. 마이크로폰은 음성을 수신하여 전기 신호로 변환하는 장치이다.

카메라 센서(430)는 그 시야 범위 내의 영상을 촬상하여 제어부(500)로 보낸다. 그러면 제어부(500)는 카메라 센서(430)로부터 받은 영상으로부터 사용자 및 헤드 마운트 장치(300)를 인식하고, 영상 내에서의 위치와 크기 및 형태로부터 헤드 마운트 장치(300)의 플레이 그라운드(100, 100', 100") 내의 현재 위치와 방향을 산출한다. 이러한 과정은 화상 인식 알고리즘을 이용하여 수행되며, 화상 인식 알고리즘은 이미 널리 알려져 있으므로 그 상세한 설명은 생략한다. 실제 객체 간의 거리를 측정하는 대표적인 예로서, 스테레오 이미지들의 삼각법 분석 방법을 들 수 있다.

카메라 센서(430)는 레이저 검출 카메라를 포함할 수 있다. 레이저 검출 카메라는, 전투 훈련 시스템에서 활용될 수 있다. 레이저 검출 카메라는, 사용자(10, 20)가 소지하는 총에서 발사되는 레이저를 인식하기 위한 필터가 부착된 CCD 카메라일 수 있다. 레이저 검출 카메라에서 촬영된 영상은 제어부(500)로 전송되고, 제어부(500)는 레이저 검출 카메라에서 촬영된 영상을 분석하여 레이저의 탄착점 또는 궤적의 좌표를 분석한다. 제어부(500)는 가상 적군 객체 또는 전투 상대인 실제 사용자의 위치와 레이저의 탄착점 또는 궤적의 좌표가 매칭되는 경우, 가상 적군 객체 또는 전투 상태인 실제 사용자가 피격된 것으로 판단한다.

사용자의 현재 위치 및 방향을 감지하기 위한 센서의 또 다른 구성으로는, 도 8 및 도 9에 도시된 바와 같이, 헤드 마운트 장치(300)에 장착되고 특정 파장의 전자기파(전형적으로 적외선)를 방출하는 방출 소자(311, 312)와, 플레이 그라운드(100, 100', 100") 내의 소정 위치에 설치되어 방출 소자(311, 312)로부터의 전자기파(적외선)를 검출하는 적어도 2개의 검출 소자(441, 442)를 포함하는 구성을 들 수 있다. 여기서, 상기 방출 소자는 헤드 마운트 장치(300)의 바깥 표면에서 사용자의 양안에 대략 대응하는 위치에 각각 장착된 2개의 방출 소자(311, 312)로 이루어질 수 있다. 그리고, 2개의 검출 소자(441, 442)는 2개의 방출 소자(311, 312)로부터의 전자기파를 각각 검출하여 그로부터 2개의 방출 소자(311, 312) 각각의 위치를 감지한다. 그러면, 제어부(500)는 2개의 검출 소자(441, 442)로부터의 신호를 입력 받아 2개의 방출 소자(311, 312) 각각의 위치를 산출하고, 산출된 2개의 방출 소자(311, 312)의 위치의 중점을 헤드 마운트 장치(300)의 현재 위치로 산출하고, 또한 2개의 방출 소자(311,312)의 위치의 수직 이등분선의 방향을 헤드 마운트 장치(300)가 현재 향하고 있는 방향, 즉 사용자가 보고 있는 방향으로 산출할 수 있다.

전술한 센서(410, 420, 430, 441, 442, 450) 중 사용자의 현재 위치 및 시선 방향을 산출하기 위한 센서(420, 430, 441, 442) 중 어느 하나의 구성만을 독립적으로 활용할 수도 있지만, 응용예에 따라서 또는 정확도의 향상을 위해 2 이상의 센서 구성을 조합하여 활용할 수도 있다.

이와 같이, 센서(420, 430, 441, 442)를 이용하여 실제 공간(100, 100', 100") 내에서 사용자(10, 20)의 실제 위치와 향하고 있는 방향(주시하고 있는 방향)을 산출하면, 실제 공간(100, 100', 100") 내에서의 실제 위치와 향하고 있는 방향에 대응하는 가상 공간(200, 200', 200") 내에서의 위치로부터 현재 주시하고 있는 방향에 있는 가상 공간의 가상 객체들을 헤드 마운트 장치(300)의 디스플레이에 표시함으로써, 사용자(10, 20)는 실제 공간(100, 100', 100")에 대응하는 가상 공간(200, 200', 200") 내에 실재하는 느낌을 갖고, 실제 공간(100, 100', 100") 내에서 이동하면 가상 공간(200, 200', 200") 내에서도 동일하게 이동하는 느낌을 갖게 된다.

도 5에 도시된 가상 전시 시스템에서 사용자(10)는 걸어다니면서 가상 전시물을 관람하는 동작만을 행할 뿐이므로, 도 5의 시스템에서 필요한 센서(400)는 실제 공간(100, 100', 100") 내에서 사용자(10)의 실제 위치와 향하고 있는 방향을 산출하는 센서(420, 430, 441, 442)만으로 충분하다. 하지만, 도 1 내지 도 4 그리고 도 6에 도시된 시스템에서는, 단순한 관람 이외에 사용자(10)의 적극적인 행위(도 1 및 도 6에서는 사격 행위, 도 3에서는 펀치를 날리는 행위 등)가 필요하다. 따라서, 전술한 바와 같이 총구의 방향과 움직임을 감지하고 또한 사용자의 행위나 움직임을 감지하는 센서(410, 450)가 더 필요하다.

제어부(500)는 전형적으로, 사용자(10, 20)와 분리되어 플레이 그라운드(100, 100', 100") 내부 또는 바깥에 설치되는 컴퓨터 또는 서버 장치로 구현될 수 있다. 여기서, 컴퓨터 또는 서버 장치라 함은, 적어도 프로세서, 메모리, 입출력 인터페이스, 통신 회로를 구비하는 정보처리장치를 의미한다. 보다 구체적으로, 제어부(500)는 메모리, 메모리 제어기, 하나 이상의 프로세서, 주변 인터페이스, 입출력(I/O) 서브시스템, 디스플레이 장치, 입력 장치 및 통신 회로를 포함할 수 있다. 이러한 제어부(500)의 구성요소는 하나 이상의 통신 버스 또는 신호선을 통하여 통신하고, 그 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.

메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 일부 실시예에서, 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로, LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 더 포함할 수 있다. 프로세서 및 주변 인터페이스와 같은 구성요소에 의한 메모리로의 액세스는 메모리 제어기에 의하여 제어될 수 있다.

상기 주변 인터페이스는 제어부(500)의 입출력 주변 장치를 프로세서 및 메모리와 연결한다. 하나 이상의 프로세서는 다양한 소프트웨어 프로그램 및/또는 메모리에 저장되어 있는 명령어 세트를 실행하여 제어부(500)를 위한 여러 기능을 수행하고 데이터를 처리한다. 일부 실시예에서, 주변 인터페이스, 프로세서 및 메모리 제어기는 단일 칩 상에서 구현될 수 있고, 또는 별개의 칩으로 구현될 수 있다. 적어도 하나의 프로세서는 예를 들어 메모리로부터 검색된 명령어들을 이용하여, 제어부(500)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다. 메모리에는 운영 체제, 가상 현실 동작 프로그램(명령어 세트) 등이 설치될 수 있다.

제어부(500)는, 메모리 내에 본 발명에 따른 가상 현실 시스템의 가상 공간에 관한 정보 및 데이터와, 동작 프로그램 등을 저장해 두고, 프로세서를 통해 실행함으로써 사용자(10, 20)가 본 발명에 따른 가상 현실 시스템을 즐길 수 있도록 한다. 구체적으로, 제어부(500)는 전술한 센서(400)로부터의 신호를 입력받아 플레이 그라운드(100, 100', 100") 내에서의 사용자(10, 20)의 실제 위치 및 향하고 있는 방향을 산출하고, 사용자(10, 20)의 실제 위치 및 향하고 있는 방향에서 바라본 가상 공간(200, 200', 200")의 영상을 헤드 마운트 장치(300)의 디스플레이에 표시하도록 헤드 마운트 장치를 제어한다. 또한, 동작 프로그램에 따라 가상 캐릭터나 가상 전시물 등의 가상 객체를 디스플레이에 표시하고, 센서(400)로부터의 신호를 입력받아 사용자(10, 20)의 움직임을 감지하고 그에 대응하여 가상 객체의 변화된 영상을 디스플레이에 표시한다.

이와 같이, 제어부(500)를 분리된 컴퓨터 또는 서버 장치로 구현하는 경우, 헤드 마운트 장치(300)나 센서(400)와의 입출력 인터페이스는, 사용자(10)의 자유로운 이동을 보장하는 측면에서 무선 통신으로 구현되는 것이 바람직하다. 이러한 무선 통신으로는 널리 알려진 원거리 무선 통신, 근거리 무선 통신, 적외선 통신 등을 활용할 수 있다.

또는, 무선 통신으로는 고속의 대량 데이터 전송이 불가능한 경우에는, 제어부(500)를 사용자(10, 20)가 소지 또는 착용(예컨대, 배낭에 넣어 짊어지는 등)하는 휴대용 컴퓨터로 구현할 수도 있다. 이 경우 제어부(500)와 헤드 마운트 장치(300) 및 센서(400)는 고속의 대량 데이터 전송이 가능한 유선으로 연결될 수 있다.

나아가, 제어부(500)는 사용자가 소지하는 스마트 폰이나 태블릿 PC로 구현할 수도 있다. 즉, 스마트 폰은 메모리, 프로세서, 입출력 인터페이스를 갖추고 있기 때문에 실질적으로 컴퓨터라고 할 수 있으며, 응용예에 따라서는 상대적으로 저용량의 프로그램과 데이터로 구성되는 가상 현실 시스템을 제어하는 제어부가 될 수 있다. 이 경우, 최근의 스마트 폰에 내장된 가속도 센서 또는 자이로 센서를 활용할 수 있다. 도 3의 응용예에서 사용자(10)는 스마트 폰을 센서(450)로서 들고 권투를 할 수 있고, 스마트 폰에 내장된 가속도 센서 또는 자이로 센서로 사용자(10)의 움직임을 분석할 수 있다. 또한, 카메라 센서(430), 총에 설치되는 센서(410) 또는 헤드 마운트 장치(300)와 유선 또는 무선 인터페이스로 연결하고 필요한 응용 프로그램을 스마트 폰에 인스톨함으로써 본 발명의 가상 현실 시스템을 구현할 수 있다.

그밖에 본 발명에 따른 가상 현실 시스템을 구성하는 부가적인 물리적 요소들로는, 전술한 이어폰이나 스피커, 마이크, 송풍기나 분무기 등을 들 수 있다. 또한, 사용자는 슈팅 게임이나 복싱 게임 등과 같은 격투, 전투 게임에서의 피격감을 느낄 수 있도록 앞서 설명한 바와 같이 압전 소자나 진동 모터 등이 부착된 특수한 복장을 착용할 수도 있다.

다음으로, 본 발명에 따른 가상 현실 시스템을 즐기는 방법, 즉 한 명의 사용자(10)가 홀로 가상 현실 시스템을 즐기는 방법의 동작에 대해 설명한다.

먼저, 사용자(10)는 헤드 마운트 장치(300)와 필요한 센서(400)를 착용하고, 본격적인 게임이나 관람을 시작하기 전에, 전술한 캘리브레이션 과정을 수행한다. 즉, 플레이 그라운드(100, 100', 100")의 입구 또는 정해진 위치에서 정면 또는 정해진 방향을 향해 서서 소정 시간 동안 움직이지 않으면, 제어부(500)는 실제 공간(100, 100', 100")의 좌표축과 센서(400)의 좌표축을 일치시킨다.

본격적인 게임이나 관람을 시작하면, 즉 사용자(10)가 플레이 그라운드(100, 100', 100") 안에서 움직이거나 이동을 하게 되면, 제어부(500)는 센서(400)로부터의 입력 신호로부터 사용자, 즉 헤드 마운트 장치(300)의 실제 위치와 향하는 방향(주시하는 방향)을 산출한다. 이어서, 헤드 마운트 장치(300)의 실제 위치와 방향이 산출되면, 동일한 구조와 크기를 가지는 가상 공간(200, 200') 내의 동일한 위치와 방향에서 바라본 가상 공간의 영상을 생성하여 헤드 마운트 장치(300)의 디스플레이에 표시한다. 이 가상 공간의 영상을 생성하는 과정은 3차원 입체 애니메이션을 제작하는 과정과 동일한데, 구축된 가상 공간 내의 상기 위치에 상기 방향을 향하도록 가상의 카메라를 배치하고 가상의 카메라를 이용하여 그 시야에 들어오는 가상 공간의 영상을 캡쳐한다. 이때, 가상의 카메라는 3차원 입체 표시를 행하는 경우, 좌우 양안의 거리만큼 이격된 2대의 카메라로부터 각각 좌안 영상과 우안 영상을 캡쳐한다. 또한, 가상 카메라의 배율을, 실제 공간 내의 동일한 위치와 방향에서 인간의 시각으로 관찰되는 객체의 크기와 가상 카메라에 의해 캡쳐되는 영상에서의 가상 객체의 크기가 동일하게 되도록 조정해 둔다. 또한, 가상 공간의 영상을 캡쳐할 때, 적절한 조명 효과를 부여하여 가상 공간을 더욱 다채롭게 꾸밀 수 있다.

이렇게 캡쳐된 사용자(10)의 현재 위치와 방향에서 본 가상 공간의 영상을 헤드 마운트 장치(300)의 디스플레이에 표시한다. 이때, 효과 음향 등을 이용하여 가상 공간에의 몰입감이나 현실감을 배가할 수도 있다.

이후, 실시간으로 또는 헤드 마운트 장치(300)의 움직임이 감지될 때마다, 헤드 마운트 장치(300)의 실제 위치와 향하는 방향을 산출하고, 그에 대응되는 가상 공간(200, 200')의 영상을 생성하여 디스플레이에 표시하는 과정을 반복함으로써, 사용자(10)가 플레이 그라운드(100, 100', 100") 안에서 움직이거나 이동하는 것과 가상 공간(200, 200') 안에서 움직이거나 이동하는 것을 동기시킨다.

한편, 게임 등의 프로그램의 진행 정도 및 센서(400)에 의해 감지되는 사용자(10)의 행위나 움직임에 따라 가상 캐릭터를 가상 공간 내에 등장시키고, 사용자의 행위나 움직임에 인터랙티브하게 변화시킬 수 있다.

이로써, 본 발명에 의하면, 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립시키고 몰입감과 현실감을 극대화할 수 있다.

다음으로, 본 발명에 따른 가상 현실 시스템을 즐기는 다른 방법, 즉 적어도 두 명의 사용자(10, 20)가 전투 훈련 시스템을 즐기는 방법의 동작에 대해 설명한다.

먼저, 사용자(10, 20)는 헤드 마운트 장치(130)와 위치 및 시선 방향을 감지하기 위한 센서(400)를 착용하고, 본격적인 게임을 하기 전에, 전술한 캘리브레이션 과정을 수행한다. 즉, 적어도 두 명의 사용자(10, 20)가 플레이 그라운드(100)의 입구 또는 정해진 위치에서 정면 또는 정해진 방향을 향해 서서 소정 시간 동안 움직이지 않으면, 제어부(500)는 실제 공간(100)의 좌표축과 센서의 좌표축을 일치시킨다. 이때 적어도 두 명의 사용자(10, 20)가 함께 전투 훈련을 하므로 각 사용자(10, 20)는 서로 중첩되지 않는 위치에 선다. 이때 두 명의 사용자(10, 20)는 같은 편일 수 있고, 또는 서로 싸우는 상대일 수 있다.

카메라 센서(430)를 이용하여 사용자(10, 20)의 위치 및 시선 방향을 분석하는 경우 전술한 과정을 수행하지 않을 수 있다. 가상 공간은 실제 공간이 플레이 그라운드와 동일한 구조와 크기로 구축되어 있으므로, 카메라 센서(430)에 의해 촬영된 영상들의 분석을 통해 플레이 그라운드 내의 사용자(10, 20)의 위치 및 시선 방향을 분석할 수 있다. 한편, 두 명의 사용자(10, 20)는 서로 떨어진 두 개의 플레이 그라운드에 각각 위치할 수 있다. 이 경우, 사용자(10, 20)들은 최초에 서 있는 위치가 플레이 그라운드 내에서 중첩되지만 않으면 된다. 즉 제 1 플레이 그라운드에서 사용자(10)가 제 1 지정 위치(X1, Y1)에 서 있는다면, 제 2 플레이 그라운드에서 사용자(20)는 제 2 지정 위치(X2, Y2)에 서 있는다. 방출 소자 및 검출 소자(311, 312, 441, 442)를 이용하여 사용자(10, 20)의 위치 및 시선 방향을 분석할 경우에도 검출 소자(441, 442)의 위치는 알려진 고정된 위치이므로 초기 캘리브레이션 과정은 불필요할 수 있고, 카메라 센서(430)와 마찬가지로 사용자(10, 20)들은 최초에 서 있는 위치가 플레이 그라운드 내에서 중첩되지만 않으면 된다.

한편, 카메라 센서(430)를 이용하여 각 사용자(10, 20)를 촬영하고 각 사용자(10, 20)의 형태를 분석하여 사용자(10, 20)에 대응하는 가상 객체를 생성한다. 각 사용자(10, 20)에 대응하는 가상 객체를 형성하는 방법은, 앞서 가상 공간을 구축할 때와 동일한 방식으로, 각 사용자(10, 20)를 스캔하여 깊이 정보를 얻은 후 그 깊이 정보를 이용하여 각 사용자(10, 20)의 형태를 분석하고 이에 대응하는 3차원 가상 객체를 생성한다. 이때 카메라 센서(430) 이외 사용자(10, 20)의 각 관절에 설치된 움직임 센서(450)를 통해 사용자(10, 20)의 형태를 분석할 수 있다.

본격적인 전투 훈련을 시작하면, 즉 사용자(10, 20)가 플레이 그라운드(100) 안에서 움직이거나 이동을 하게 되면, 제어부(500)는 센서(예컨대, 가속도 센서나 자이로 센서(420), 또는 카메라 센서(430) 또는 방출 소자 및 검출 소자(311, 312, 441, 442))로부터의 입력 신호로부터 사용자, 즉 헤드 마운트 장치(300)의 실제 위치와 향하는 방향(주시하는 방향)을 산출한다.

이어서, 제어부(500)는 헤드 마운트 장치(130)의 실제 위치와 방향이 산출되면, 동일한 구조와 크기를 가지는 가상 공간(200") 내의 동일한 위치와 방향에서 바라본 가상 공간의 영상을 생성하여 헤드 마운트 장치(300)로 전송하여 헤드 마운드 장치(300)의 디스플레이에 표시되도록 한다.

각 사용자(10, 20)의 헤드 마운트 장치(300)의 디스플레이에는 각 사용자(10, 20)의 현재 위치와 시선 방향에서 바라본 가상 공간(200")이 표시된다. 이때, 가상 공간(200")에는 각 사용자(10, 20)의 현재 위치와 시선 방향에서 본 실제 공간, 즉 플레이 그라운드(100) 내에 있는 고정된 실제 객체(110, 120)에 대응하는 가상 객체(210, 220)가 실제 공간에서의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 또한 각 사용자(10, 20)의 현재 위치와 시선 방향에서 바라본 실제 공간에 다른 사용자(10, 20)가 실재하고 있는 경우, 가상 공간(200")에는 다른 사용자(10, 20)에 대응하는 가상 객체(250)가 실제 공간에서의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 각 사용자(10, 20)의 실제 공간 내에서의 현재 위치와 시선 방향이 전술한 바와 같이 산출되므로, 실제 공간에서 제 1 사용자의 시선 방향에 제 2 사용자가 있고 움직이는 경우, 제 1 사용자의 디스플레이에 표시되는 가상 공간(200")에는 제 2 사용자에 대응하는 가상 객체가 실제 움직임에 동기되어 표시되며 움직인다. 이때, 효과 음향 등을 이용하여 가상 공간에의 몰입감이나 현실감을 배가할 수도 있다.

이후, 실시간으로 또는 사용자(10, 20)의 움직임이 감지될 때마다, 제어부(500)는 헤드 마운트 장치(300)의 실제 위치와 향하는 방향을 산출하고, 그에 대응되는 가상 공간(200")의 영상을 생성하여 헤드 마운트 장치(300)의 디스플레이에 표시하는 과정을 반복함으로써, 사용자(10, 20)가 플레이 그라운드(100) 안에서 움직이거나 이동하는 것과 가상 공간(200") 안에서 움직이거나 이동하는 것을 동기시킨다. 한편, 전투 훈련 등의 프로그램의 진행 정도 및 센서에 의해 감지되는 사용자(10, 20)의 행위나 움직임에 따라 가상 캐릭터를 가상 공간 내에 등장시키고, 사용자의 행위나 움직임에 인터랙티브하게 변화시킬 수 있다.

또한, 사용자(10, 20)가 가상 공간(200") 내에서 적군을 발견하여 실제 소지하고 있는 총의 방아쇠를 당기는 경우, 총의 반동 수단에서는 실제 총알이 발사되는 것과 같은 반동을 발생시키고, 총에 구비되는 신호 송신부는 격발 신호를 무선으로 제어부(500)로 전송한다. 격발 신호를 수신한 제어부(500)는, 총에 설치된 센서(410)로부터 수신된 신호를 분석하여 총구의 방향을 분석하고 그 총구의 방향과 적군의 위치가 일치하는 경우 해당 적군이 피격된 것으로 판단한다. 또는 격발 신호를 수신한 제어부(500)는 카메라 센서(430)로부터 수신되는 영상을 분석하여 총으로부터 송출된 레이저의 궤적을 분석하고 레이저의 궤적과 적군의 위치가 일치하는 경우 해당 적군이 피격된 것으로 판단할 수 있다. 제어부(500)는 가상 공간(200") 내에서 적군 객체가 쓰러지는 표시를 한다. 또한 적군이 실제 사용자이고 해당 사용자가 진동 수단을 포함하는 조끼를 착용하고 있는 경우 제어부(500)는 사용자의 조끼로 진동 제어 신호를 전송하여 해상 사용자가 피격되었음을 몸으로 느낄 수 있도록 한다. 나아가, 제어부(500)는 가상 공간(200")의 영상에 전투의 현재 상태를 나타내는 정보(240), 예컨대 남은 총알 수, 남은 적군/아군 수, 쓰러뜨린 적군/아군 수 등의 정보를 소정 위치에 표시할 수도 있다.

이로써, 본 발명에 의하면, 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립시키고 몰입감과 현실감을 극대화함으로써 전투 훈련의 효과를 극대화할 수 있다.

한편, 인간의 시각은 매우 발달되어 있어, 최근에 3차원 입체 표시 기술이 눈부시게 발전했다고는 하지만, 여전히 인간의 시각에는 미치지 못하고 있다. 따라서, 본 발명의 실시예에서는 가상 공간의 현실감을 더욱 높일 수 있도록 눈동자 위치 추적 기술을 활용한다.

눈동자 위치 추적 기술은, 도 11의 (a)에 도시된 바와 같이, 좌안과 우안 각각의 눈동자(L, R)를 검출하고, 그로부터 도 11의 (b)에 도시된 바와 같이, 사용자가 주시하는 주시점을 산출하는 기술이다.

인간은 물체를 볼 때 보통 주시점이 얼굴의 정면 중앙, 즉 시야의 중앙에 들어오도록 주시점을 향해 고개를 돌린다. 그러나, 고개를 돌리지 않고 안구만을 굴려 시야의 모퉁이에 있는 주시점(P3)을 바라볼 수도 있다. 이때 좌우 양안의 눈동자(L, R)는 양안 각각의 중앙에서 주시점(P3)의 방향으로 이동하게 된다(L3, R3 참조).

나아가, 주시하는 방향은 동일하지만 그 방향에서 가까운 곳의 물체를 볼 때와 먼 곳의 물체를 볼 때에는 주시점이 서로 다르다(P1과 P2). 즉, 주시점이 먼 경우(P1)보다 가까운 경우(P2)에 양안의 눈동자간의 거리는 더 가까워진다(L1 및 R1에서 L2 및 R2로). 이러한 인간 시각의 특성으로부터, 좌우 양안의 눈동자(L, R) 위치를 검출함으로써 현재의 주시점을 파악할 수 있다.

또한, 인간의 눈은 먼 곳을 볼 때는 수정체를 얇게 하고, 가까운 곳을 볼 때는 수정체를 두껍게 하여 주시점의 거리에 따라 수정체의 초점거리를 조절하고, 그에 따라 망막에 맺히는 상의 초점이 달라진다.

따라서, 본 발명의 실시예에서는 사용자(10, 20)의 주시점을 산출하고, 그에 따라 가상 공간의 가상 카메라로부터 가상 공간의 영상을 생성할 때, 산출된 사용자의 주시점에 초점을 맞춘 영상을 생성하여 디스플레이에 표시하도록 한다.

이를 위해, 헤드 마운트 장치(300)는 사용자(10, 20)의 눈동자를 검출하는 수단을 포함한다. 구체적으로, 눈동자 검출 수단은 헤드 마운트 장치(300) 안쪽의 좌우 양안 각각의 앞쪽에 카메라(바람직하게는 적외선 카메라)를 장착한다. 그리고, 제어부(500)는 이 카메라로부터 얻은 영상에서 전술한 화상 인식 알고리즘 등을 이용하여 좌우 양안의 눈동자 위치를 검출한다. 이렇게 검출된 양안의 눈동자 위치로부터 현재의 주시점을 산출한다. 이어서, 제어부(500)는 전술한 바와 같이, 가상 공간의 가상 카메라로부터 가상 공간을 캡쳐할 때, 산출된 사용자의 주시점에 초점을 맞춘 영상을 생성하여 디스플레이에 표시하도록 한다.

이로써 인간의 시각 특성에 더욱 가까운 가상 공간의 영상을 제공함으로써 가상 공간의 현실감을 더욱 높일 수 있다.

한편, 이러한 눈동자 위치 추적 기능을 적용하는 경우, 본 발명에 따른 가상 현실 시스템을 즐기기 위한 초기화, 즉 캘리브레이션 단계에서는, 사용자(10, 20)의 양안의 눈동자의 초기 위치를 검출해 두고 이를 기초로 주시점을 산출한다. 이때 초기 위치는 디스플레이에 표시되는 초기 영상의 복수의 점(예컨대, 상하좌우 모서리, 중앙 등)을 주시하도록 한 후 그때의 양안 눈동자 위치를 검출하여 복수의 초기 위치를 검출해 두는 것이 좋다.

이상과 같이 본 발명의 가상 현실 시스템이 설명되었다. 본 발명은 실시예에 의해 본 발명이 설명되었으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상으로부터 벗어나지 않는 범위에서 다양하게 변형이 가능함은 물론이다. 따라서, 본 발명은 아래에 기재되는 특허청구범위보다 좁은 범위로 제한되어서는 아니 된다.

Claims

가상 현실 시스템으로서,
사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 플레이 그라운드;
상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성된 가상 공간의 영상을 표시하는 디스플레이를 구비하고, 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치;
상기 플레이 그라운드 내의 소정 위치, 상기 헤드 마운트 장치 또는 사용자의 신체 중 적어도 하나에 부착되어, 상기 플레이 그라운드 내에서의 사용자의 실제 위치 및 시선 방향을 감지하기 위한 적어도 하나의 센서; 및
상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 플레이 그라운드 내에서의 사용자의 실제 위치 및 시선 방향을 산출하고, 사용자의 실제 위치 및 시선 방향에서 바라본 상기 가상 공간의 영상을 상기 디스플레이에 표시하도록 상기 헤드 마운트 장치를 제어하는 제어부;를 포함하여,
사용자가 상기 헤드 마운트 장치를 착용하고 상기 플레이 그라운드 내에서 실제로 이동함에 따라, 사용자에게 상기 가상 공간 내에서 실재하여 이동하고 있는 느낌을 부여하되,
상기 적어도 하나의 센서는, 상기 헤드 마운트 장치에 장착되고 특정 파장의 전자기파를 방출하는 방출 소자와, 상기 플레이 그라운드 내의 소정 위치에 설치되어 상기 전자기파를 검출하는 적어도 2개의 검출 소자를 포함하고,
상기 방출 소자는 소정 간격 이격되어 장착된 2개의 방출 소자로 이루어지고, 상기 적어도 2개의 검출 소자 각각은 상기 2개의 방출 소자로부터 방출된 전자기파를 모두 검출하여 상기 2개의 방출 소자의 위치를 감지하며,
상기 제어부는 상기 적어도 2개의 검출 소자로부터의 신호를 입력받아 상기 2개의 방출 소자 각각의 위치를 산출하고, 상기 2개의 방출 소자의 위치의 중점을 상기 헤드 마운트 장치의 현재 위치로 산출하고, 상기 2개의 방출 소자의 위치의 수직 이등분선의 방향을 상기 헤드 마운트 장치가 현재 향하고 있는 방향으로 산출하는 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 제어부는, 상기 디스플레이에 표시되는 상기 가상 공간의 영상에, 상기 플레이 그라운드 내에 존재하지 않는 가상 객체의 영상을 더 표시하도록 상기 헤드 마운트 장치를 제어하는 것을 특징으로 하는 가상 현실 시스템.
제 2 항에 있어서,
상기 가상 객체는 사용자와 대화, 교육, 훈련, 격투, 전투 중 적어도 하나를 통해 상호작용하며 움직이는 가상 캐릭터인 것을 특징으로 하는 가상 현실 시스템.
제 2 항에 있어서,
상기 가상 객체는 상기 가상 공간 내의 소정 위치에 고정되어 존재하는 가상 전시물인 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 제어부는 사용자와 분리되어 설치되는 컴퓨터로 구현되고, 상기 적어도 하나의 센서와는 무선 통신을 통해 전기적으로 연결되어 있는 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 제어부는 사용자가 소지 또는 착용하는 컴퓨터로 구현되는 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 제어부는 사용자가 소지하는 스마트 폰으로 구현되고, 상기 적어도 하나의 센서는 상기 스마트 폰에 내장되어 있는 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 적어도 하나의 센서는 상기 헤드 마운트 장치에 장착된 가속도 센서 또는 자이로 센서를 포함하고,
상기 제어부는 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 헤드 마운트 장치의 실제 위치 및 시선 방향을 산출하는 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 적어도 하나의 센서는 상기 플레이 그라운드 내의 소정 위치에 설치된 카메라 센서를 포함하고,
상기 제어부는 상기 카메라 센서가 촬상한 영상을 입력받아 상기 헤드 마운트 장치의 실제 위치 및 시선 방향을 산출하는 것을 특징으로 하는 가상 현실 시스템.
삭제
삭제
제 1 항에 있어서,
상기 적어도 하나의 센서는 사용자의 복수의 신체부위에 각각 부착되는 복수의 움직임 감지 센서를 포함하는 것을 특징으로 하는 가상 현실 시스템.
제 1 항에 있어서,
상기 디스플레이는 사용자의 좌우 양안에 각각 대응하는 좌안용 디스플레이와 우안용 디스플레이를 포함하고, 상기 좌안용 디스플레이에는 사용자의 좌안에서 상기 가상 공간을 바라보았을 때의 영상인 좌안 영상을, 상기 우안용 디스플레이에는 사용자의 우안에서 상기 가상 공간을 바라보았을 때의 영상인 우안 영상을 각각 표시하는 것을 특징으로 하는 가상 현실 시스템.
제 13 항에 있어서,
상기 헤드 마운트 장치는, 사용자의 눈동자를 검출하는 수단을 포함하고,
상기 제어부는 상기 눈동자 검출 수단으로부터의 신호를 입력받아 사용자의 눈동자 위치를 산출하고 이로부터 사용자가 현재 주시하는 주시점을 산출하여, 이 주시점에 초점을 맞춘 영상을 상기 디스플레이에 표시하도록 상기 헤드 마운트 장치를 제어하는 것을 특징으로 하는 가상 현실 시스템.
가상 현실 기반의 전투 훈련 시스템으로서,
적어도 둘 이상의 사용자가 각각 소지할 수 있고 격발시 격발 신호를 무선으로 송신하는 총;
상기 적어도 둘 이상의 사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 적어도 하나의 플레이 그라운드 내에서의, 상기 각 사용자의 실제 위치 및 시선 방향을 감지하고, 상기 총의 총구 방향을 감지하기 위한 적어도 하나의 센서;
가상 공간의 영상을 표시하는 디스플레이를 구비하고, 상기 각 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치; 및
상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 플레이 그라운드 내에서의 상기 각 사용자의 실제 위치 및 시선 방향을 산출하고, 상기 각 사용자의 실제 위치 및 시선 방향에서 바라본, 상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성한 상기 가상 공간의 영상을, 상기 각 사용자의 상기 헤드 마운트 장치로 전송하는 제어부;를 포함하고,
상기 제어부는,
어느 한 사용자의 실제 위치 및 시선 방향에 대응하는 실제 공간 내에 다른 사용자가 존재하는 경우, 상기 어느 한 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시하고,
또한, 상기 격발 신호 수신시, 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 총구 방향을 산출하고, 상기 가상 공간 내에서 상기 총구 방향에 적군이 위치하는 경우 상기 가상 공간에 상기 적군에 대한 피격 정보를 표시하며,
상기 적어도 하나의 플레이 그라운드는, 서로 떨어져 설치된 동일한 크기 및 구조의 두 개의 플레이 그라운드를 포함하고, 각 플레이 그라운드에는 적어도 하나의 사용자가 위치하며,
상기 제어부는,
각 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 기초하여, 각 플레이 그라운드 내의 사용자의 헤드 마운트 장치로 전송하는 가상 공간에, 다른 플레이 그라운드 내의 사용자에 대응하는 가상 객체를 표시하는 것을 특징으로 하는 전투 훈련 시스템.
제 15 항에 있어서,
상기 적어도 하나의 센서는, 카메라 센서를 포함하고,
상기 제어부는, 상기 카메라 센서에 의해 촬영된 사용자의 영상으로부터 사용자의 형태를 분석하고 그 분석한 사용자의 형태에 대응하는 가상 객체를 상기 가상 공간에 표시하는 것을 특징으로 하는 전투 훈련 시스템.
삭제
제 15 항에 있어서,
상기 제어부는,
어느 한 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 대응하는 다른 플레이 그라운드의 실제 공간에 다른 사용자가 존재하는 경우, 상기 어느 한 플레이 그라운드 내의 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시하는 것을 특징으로 하는 전투 훈련 시스템.
제 15 항에 있어서,
상기 적어도 하나의 센서는 상기 헤드 마운트 장치에 장착된 가속도 센서 또는 자이로 센서를 포함하고,
상기 제어부는 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 헤드 마운트 장치의 실제 위치 및 향하는 방향을 산출하고, 이를 사용자의 실제 위치 및 시선 방향으로 하는 것을 특징으로 하는 전투 훈련 시스템.
제 15 항에 있어서,
상기 적어도 하나의 센서는 상기 총에 장착된 가속도 센서 또는 자이로 센서를 포함하고,
상기 제어부는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 총구 방향을 산출하는 것을 특징으로 하는 전투 훈련 시스템.
제 15 항에 있어서,
상기 총에는 레이저를 발사하는 레이저 포인터가 설치되고,
상기 적어도 하나의 센서는, 상기 레이저를 인식하기 위한 카메라 센서를 포함하며,
상기 제어부는, 상기 카메라 센서에 의해 촬영된 영상으로부터 상기 레이저의 궤적을 분석하고 그 레이저의 궤적을 상기 총구 방향으로 판단하는 것을 특징으로 하는 전투 훈련 시스템.
제 15 항에 있어서,
상기 적어도 둘 이상의 사용자는, 진동 수단 및 신호 수신부를 포함하는 전투복을 착용하고,
상기 제어부는, 상기 적군에 대응하는 사용자의 전투복의 신호 수신부로 피격에 관한 제어 신호를 전송하고,
상기 진동 수단은, 상기 신호 수신부에서 상기 제어 신호의 수신시 진동을 발생시키는 것을 특징으로 하는 전투 훈련 시스템.