KR101389894B1

KR101389894B1 - 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법

Info

Publication number: KR101389894B1
Application number: KR1020120078404A
Authority: KR
Inventors: 권순재; 송영재
Original assignee: 주식회사 도담시스템스
Priority date: 2012-07-18
Filing date: 2012-07-18
Publication date: 2014-04-29
Also published as: KR20140011688A

Abstract

본 발명에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.인체의 상체와 팔에 장착된 복수개의 상체 장착 동작 인식 센서, 상기 인체의 하체와 다리에 장착된 복수개의 하체 장착 동작 인식 센서, 상기 인체의 헤드에 착용 가능하며 1인칭 가상현실을 디스플레이 하는 영상시현기, 상기 인체의 손 및 손가락에 착용되며 상기 손과 손가락의 움직임을 감지하는 복수개의 손가락 동작 인식 센서를 구비하는 감지장갑, 상기 인체에 착용 가능하며, 상기 상체 장착 동작 인식 센서와 상기 하체 장착 동작 인식 센서와 상기 감지장갑에서 감지한 동작인식 데이터를 처리하여 상기 영상시현기에 상기 인체 동작을 따라 움직이는 아바타가 표시되는 가상 현실 영상을 출력하는 착용형 컴퓨터를 구비한다.

Description

모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법{Virtual reality simulation apparatus and method using motion capture technology and }

본 발명은 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법에 관한 것으로, 더욱 상세하게는 가상 현실 기술을 이용하여 훈련 시뮬레이션을 수행할 수 있도록 하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법에 관한 것이다.

모션 캡쳐 기술은 스포츠와 엔터테인먼트 분야 및 의료 부분에서 널리 사용된다. 스포츠 분야의 경우 널리 사용되는 것 중에 실내 골프 연습을 위한 모션 캡쳐 기술의 경우 사용자의 스윙 상태를 모션 캡쳐 기술로 수집하여 분석하기도 한다. 그리고 의료 분야의 경우 외과적 재활 훈련시 모션 캡쳐를 이용하여 환자의 재활 치료 상태에 대한 정보를 제공하도록 할 수 있다. 그리고 영화 및 애니메이션 분야에서는 배우의 움직임 및 표정을 컴퓨터 모델링으로 기록 및 표현하도록 하기 위하여 사용된다.

한편, 가상 현실 기술(virtual reality technologies)은 사용자가 컴퓨터-시뮬레이션 환경에서 반응할 수 있도록 한다. 가상 현실 기술을 이용하여 다양한 훈련 시뮬레이터 장치가 개발되어 있다.

예를 들어 한국공개특허 10-2011-0068544, "가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 장치 및 그 방법"는 현장의 교육 및 훈련 상황을 실시간 시뮬레이션을 기반으로 디지털 컨텐츠로 구현하고, 사용자가 직접 컨텐츠와 상호작용할 수 있는 입출력 인터페이스 장치를 구비하고 있다. 이러한 종래의 모션 캡쳐 기술과 가상 현실 기술은 복수 사용자 간의 협업에 의한 실감 환경을 제공할 수 없는 문제점이 있다.

한국공개특허 10-2011-0068544, "가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 장치 및 그 방법"

본 발명의 목적은 복수 사용자 간의 협업에 의한 실감 환경을 제공하도록 하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법을 제공하기 위한 것이다.

본 발명에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치는 인체의 상체와 팔에 장착된 복수개의 상체 장착 동작 인식 센서, 상기 인체의 하체와 다리에 장착된 복수개의 하체 장착 동작 인식 센서, 상기 인체의 헤드에 착용 가능하며 1인칭 가상현실을 디스플레이 하는 영상시현기, 상기 인체의 손 및 손가락에 착용되며 상기 손과 손가락의 움직임을 감지하는 복수개의 손가락 동작 인식 센서를 구비하는 감지장갑, 상기 인체에 착용 가능하며, 상기 상체 장착 동작 인식 센서와 상기 하체 장착 동작 인식 센서와 상기 감지장갑에서 감지한 동작인식 데이터를 처리하여 상기 영상시현기에 상기 인체 동작을 따라 움직이는 아바타가 표시되는 가상 현실 영상을 출력하는 착용형 컴퓨터를 구비한다.

상기 착용형 컴퓨터는 상기 상체 장착 동작 인식 센서에서 감지한 감지 데이터와 상기 하체 장착 동작 인식 센서에서 감지한 감지 데이터를 분리하는 동작인식 데이터 분리부와, 상기 동작인식 데이터 분리부에서 분리된 데이터 중에서 상체 동작인식 데이터를 처리하는 상체 동작인식 데이터 처리부와, 상기 동작인식 데이터 분리부에서 분리된 데이터 중에서 하체 동작인식 데이터를 처리하는 하체 동작인식 데이터 처리부를 구비하는 동작인식 데이터 처리부를 구비할 수 있다.

상기 착용형 컴퓨터는 제 1통신부를 구비하고, 상기 제 1통신부는 상기 착용형 컴퓨터에서 출력하는 상기 인체의 동작인식 데이터를 무선 통신으로 상기 인체 외부의 서버 컴퓨터로 송신하고, 상기 서버 컴퓨터는 상기 착용형 컴퓨터로부터 수신한 상기 인체의 동작인식 데이터를 가상 현실 영상으로 디스플레이 장치를 이용하여 출력하는 서버 컴퓨터를 포함할 수 있다.

상기 서버 컴퓨터는 상기 착용형 컴퓨터에 상기 인체 주변의 가상 현실 환경에 대한 데이터를 무선 통신으로 전송할 수 있다.

상기 인체에 착용 가능한 마이크와 스피커를 구비하고, 상기 착용형 컴퓨터에는 상기 마이크와 스피커에 연결되어 음성을 입출력하는 음성 입출력부를 구비할 수 있다.

상기 인체의 손에 의하여 취부되는 전기적 동작이 가능한 도구가 구비되고, 상기 착용형 컴퓨터는 상기 도구의 동작 데이터를 처리하는 도구동작 데이터 처리부를 구비할 수 있다.

상기 상체 동작 인식 센서와 상기 하체 동작 인식 센서와 상기 손가락 동작 인식 센서는 상기 인체의 관절 부위에 장착되는 가속도 센서 또는 자이로 센서 중의 어느 하나로 구비될 수 있다.

본 발명에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작 방법은 인체의 상체와 팔에 장착된 복수개의 상체 장착 동작 인식 센서와 상기 인체의 하체와 다리에 장착된 복수개의 하체 장착 동작 인식 센서로부터 동작인식 데이터를 무선으로 수신하고, 상기 상체 장착 동작 인식 센서에서 감지한 감지 데이터와 상기 하체 장착 동작 인식 센서에서 감지한 감지 데이터를 분리하고, 상기 분리된 데이터 중에서 상체 동작인식 데이터를 처리하여 상체 동작을 표시하기 위한 가상 현실 영상을 디스플레이 하기 위한 데이터를 출력하고, 상기 분리된 데이터 중에서 하체 동작인식 데이터를 처리하여 하체 동작을 표시하기 위한 가상 현실을 디스플레이 하기 위한 데이터를 출력한다.

상기 인체의 손 및 손가락에 착용되며 상기 손과 손가락의 움직임을 감지하는 복수개의 손가락 동작 인식 센서로부터 감지된 동작인식 데이터를 처리하여 출력할 수 있다.

상기 인체에 착용된 마이크와 스피커를 구비하고, 상기 상기 마이크와 스피커로 음성 데이터를 입출력할 수 있다.

외부의 서버 컴퓨터로부터 다른 사용자의 동작인식 데이터를 수신하여 상기 영상시현기에서 상기 다른 사용자의 아바타를 디스플레이 하도록 할 수 있다.

본 발명에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 서버 컴퓨터의 동작 방법은 동작 인식을 위한 동작 인식 센서와 상기 동작 인식 센서에서 감지한 동작인식 데이터를 처리하는 착용형 컴퓨터와 1인칭 가상현실을 디스플레이 하는 영상시현기를 착용한 복수의 사용자가 소정의 현실 공간 내부에 위치한 상태에서 상기 각각의 사용자의 움직임에 대한 동작인식 데이터를 상기 착용형 컴퓨터로부터 수신하는 단계, 상기 각각의 사용자의 움직임에 대한 동작인식 데이터를 처리하여 상기 각각의 사용자의 상기 영상시현기에서 개별 가상 현실 영상 출력을 위한 처리 데이터를 상기 착용형 컴퓨터로 전송하는 단계를 구비한다.

상기 전송하는 단계에서 전송되는 상기 처리 데이터는 상기 사용자 중 해당 사용자에 대한 동작인식 데이터 외에 다른 사용자에 대한 동작인식 데이터를 포함할 수 있다.

상기 처리 데이터는 가상 현실 환경에 대한 영상 처리 데이터가 포함될 수 있다.

상기 착용형 컴퓨터로부터 수신한 상기 가상 현실 영상에 대한 데이터를 가상 현실 영상으로 디스플레이 장치를 이용하여 출력할 수 있다.

본 발명에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법은 실제 환경을 가상 현실로 대체하여 특정 훈련을 수행할 수 있도록 함으로써 동일한 실제 훈련 시스템을 구축 하는데 필요한 비용을 최소화할 수 있고, 훈련 과정 및 성과에 대한 정확한 진단이 가능하고, 또한 다양한 가상 현실 공간을 구현하여 다양한 형태의 환경에 대한 교육 훈련이 가능하게 함으로써 사용자의 숙련도의 향상에 기여할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구현을 위하여 사용자가 착용한 상태를 개념적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구현을 위한 장갑을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구현을 위한 동작인식 데이터 처리부를 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 서버 컴퓨터의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치를 훈련용 시뮬레이션 장치로 구현한 상태를 도시한 예시도이다.
도 8은 도 7의 훈련용 시뮬레이션 장치에서 사용될 수 있는 훈령용 총기를 예시적으로 도시한 도면이다.

이하에서 설명하는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법에 대한 실시예를 도면을 참조하여 설명하도록 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 이하에서 설명되는 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

도 1은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구현을 위하여 사용자가 착용한 상태를 개념적으로 도시한 도면이다.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치는 사용자의 인체(H)의 각 관절 부분에 설치되는 복수개의 동작 인식 센서(100)(200)를 포함한다. 동작 인식 센서(100)(200)는 사용자의 인체(H) 중 상체와 팔의 관절 부분에 장착되는 복수개의 상체 장착 동작 인식 센서(100)와 사용자의 인체(H)중 하체와 다리의 관절 부분에 장착되는 복수개의 하체 장착 동작 인식 센서(200)를 포함한다.

인체(H)의 팔과 다리 등의 관절부분에 설치되는 동작 인식 센서(100)(200)들은 의복에 매립 설치되거나 또는 벨크로(Velcro) 밴드 형태로 인체에 착용될 수 있다. 그리고 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치는 사용자 인체(H)의 머리 부분에 착용되는 영상 시현기(300)(Head Mounted Display, 또는 Helmet Mounted Display)를 구비한다.

이 영상 시현기(300)에는 인체(H)의 머리 부분의 움직임을 감지하는 헤드 동작 동작 인식 센서가 함께 설치된다. 영상 시현기(300)는 동작을 제어하는 제어보드와 양안에 화면을 제공하는 미소 시현소자(Micro display) 그리고 광학 시스템으로 구성된다. 본 발명의 실시예에서 영상 시현기(300)는 FOV(Field of View) 60의 환경과 1280x1024의 해상도를 제공할 수 있다.

그리고 사용자의 손에 착용되는 감지장갑(400)을 구비한다. 도 2는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구현을 위한 장갑을 도시한 도면이다.

도 2에 도시된 바와 같이 이 감지장갑(400)의 손부분과 손가락의 각 관절 부분에는 손과 손가락의 움직을 감지하기 위한 손움직임 동작 인식 센서(410)가 설치된다. 이 감지장갑(400)은 훈련시에 수신호 연동 환경을 동작인식환경으로 제공할 수 있도록 한다.

한편 상술한 모든 동작 인식 센서들은 자이로 센서(gyro sensor) 또는 가속도 센서로 구비될 수 있고, 다른 실시예로 하나의 동작 인식 센서에 자이로 센서와 가속도 센서를 함께 설치하여 실시할 수 있다. 자이로 센서와 가속도 센서를 함께 사용하면 사용자의 동작 인식에 대한 속도와 각도를 보다 정밀하게 감지할 수 있다.

그리고 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치는 사용자의 등과 같은 인체(H)의 일부위에 착용 가능한 착용형 컴퓨터(500)를 구비하고, 착용형 컴퓨터(500)에는 동력을 제공하기 위한 전원부(580)가 설치된다. 착용형 컴퓨터(500)에도 별도의 동작 인식 센서가 설치될 수 있다.

착용형 컴퓨터(500)에 저장된 가상 현실 환경에 대한 프로그래밍은 JAVA 3D, OpenGL, DirectX 등과 같은 언어를 이용하여 제작할 수 있고, 또는 DELMIA사의 ENVISION과 같은 소프트웨어를 사용하여 제작할 수 있다. 이러한 소프트웨어는 가상 현실에서 3차원 환경 및 구조물과 기계적 시스템 그리고 인간을 포함하는 시스템의 디자인과 3차원 환경을 제공하도록 할 수 있다.

그리고 가상 현실 소프트 웨어의 구동을 위한 착용형 컴퓨터(500)의 사양은 2.2GHz 급 이상의 CPU, DDR3 4GB 이상의 메모리, 128GB 이상의 저장장치, Geforce 9600GT 1GB 이상의 그래픽 카드로 구현될 수 잇다.

한편, 전술한 동작 인식 센서들은 모두가 독립적으로 설치되어 와아파이(wifi) 또는 블루투스(bluetooth)와 같은 근거리 무선통신 또는 USB, LAN, HDMI 등과 같은 유선통신 방법으로 착용형 컴퓨터(500)와 통신할 수 있고, 다른 실시예로 특정 인체(H) 부위 및 설치 위치별로 군집화된 동작 인식 센서중의 어느 하나의 동작 인식 센서가 호스트 노드(Host node)로 기능하여 착용형 컴퓨터(500)와 통신하도록 할 수 있으며, 또는 유선으로 착용형 컴퓨터(500)와 각각의 동작 인식 센서들이 독립적으로 통신할 수 있다.

그리고 동작 인식 센서들이 신체 부위별로 군집화되어 감지 동작을 수행하는 경우에, 상체 장착 동작 인식 센서(100)들은 상체 장착 동작 인식 센서(100)들 만이 무선 또는 유선으로 연결되어 데이터 교환 및 착용형 컴퓨터(500)와 통신이 가능하게 될 수 있고, 하체 장착 동작 인식 센서(200)들은 하체 장착 동작 인식 센서(200)들 만이 유선 또는 무선으로 연결되어 데이터 교환 및 착용형 컴퓨터(500)와 통신이 가능하게 되어 있을 수 있다.

한편, 감지장갑(400)은 감지장갑(400)에 설치된 동작 인식 센서(410)들 만이 유선으로 연결되어 착용형 컴퓨터(500)에 데이터를 전송하도록 할 수 있고, 영상 시현기(300)에 설치된 동작 인식 센서(미부호)와 착용형 컴퓨터(500)에 설치된 동작 인식 센서는 독립적으로 착용형 컴퓨터(500)와 통신할 수 있다.

또한, 사용자는 별도로 충격 발생용 조끼(미도시)를 착용할 수 있다. 충격 발생용 조끼는 가상 현실에서 발생한 인체에 대한 충격을 직접 진동으로 사용자의 몸에 전달하도록 할 수 있다.

도 3은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구성을 도시한 블록도이다.

도 3에 도시된 바와 같이 사용자가 착용한 착용형 컴퓨터(500)와 통신하여 가상 현실 시뮬레이션 장치를 통제 및 관리하는 서버 컴퓨터(900)를 포함한다. 그리고 사용자가 착용하는 착용형 컴퓨터(500)는 시스템의 동작과 제어를 위한 제어부(590)를 구비한다. 제어부(590)에는 서버 컴퓨터(900)와 착용형 컴퓨터(500) 상호 간의 무선 통신을 위한 제 1통신부(510)가 구비된다. 그리고 인체(H)에 착용된 동작 인식 센서(100)(200)(410)로부터 제공되는 신호를 수신하기 위한 제 2통신부(520)가 구비된다.

제 1통신부(510)의 통신 방법은 와이파이와 같은 근거리 무선통신으로 수행될 수 있다. 그리고 제 2통신부(520)는 유선 또는 무선으로 통신할 수 있다. 제 2통신부(520)가 무선으로 통신하는 경우에는 블루투스, 지그비, 와이파이, LAN과 같은 근거리 통신 방법을 이용할 수 있다.

한편, 제 2통신부(520)에는 동작인식 데이터 처리부(550)가 연결된다. 동작인식 데이터 처리부(550)는 모든 동작 인식 센서(100)(200)(410)로부터 수신한 동작인식 데이터를 처리하여 그 결과값을 제어부(590)로 전송한다.

도 5는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치의 구현을 위한 동작인식 데이터 처리부를 도시한 블록도이다. 도 5에 도시된 바와 같이 동작인식 데이터 처리부(550)는 상체 장착 동작 인식 센서(100)에서 감지한 감지 데이터와 하체 장착 동작 인식 센서(200)에서 감지한 감지 데이터를 분리하는 동작인식 데이터 분리부(551)를 구비한다.

그리고 동작인식 데이터 처리부(550)는 동작인식 데이터 분리부(551)에서 분리된 데이터 중에서 상체 동작인식 데이터를 처리하는 상체 동작인식 데이터 처리부(552)(550)와, 동작인식 데이터 분리부(551)에서 분리된 데이터 중에서 하체 동작인식 데이터를 처리하는 하체 동작인식 데이터 처리부(553)(550)를 구비한다. 따라서 제어부(590)에는 상체와 하체 동작인식 데이터를 분리하여 처리한 데이터가 전달된다.

한편, 동작인식 데이터 처리부(550)는 도면에 도시하지 않았지만 사용자의 머리 부분에 설치된 동작 인식 센서와, 착용형 컴퓨터(500) 또는 사용자의 인체중 몸체에 부착된 동작 인식 센서 그리고 사용자의 손에 부착된 동작 인식 센서로부터 전송되는 동작인식 데이터를 분리하여 처리할 수 있다.

그리고 도 3에 도시된 바와 같이 착용형 컴퓨터(500)에는 감지장갑(400)에서 제공하는 데이터를 처리하는 감지장갑 동작 데이터 처리부(530)와 사용자가 가상 현실 상황에서 사용하는 각종 도구(800)에 대한 동작 데이터를 처리하는 도구동작 데이터 처리부(570)를 구비한다.

감지장갑(400)은 유선으로 감지장갑 동작 데이터 처리부(530)와 연결되고, 도구(800)는 무선으로 제 2통신부(520)와 통신하며, 도구(800)의 사용으로 얻어지는 동작 데이터는 제 2통신부(520)을 통하여 도구동작 데이터 처리부(570)로 전송되어 처리된다. 그리고 감지장갑 동작 데이터 처리부(530)와 도구동작 데이터 처리부(570)에서 처리된 동작인식 데이터 처리값은 제어부(590)로 전달된다.

또한 착용형 컴퓨터(500)에는 영상 시현기(300)로 영상을 제공하기 위한 영상 출력부(540)가 구비된다. 영상 출력부(540)는 영상 시현기(300)에 1인칭 시점의 3차원 가상 현실 영상을 제공한다. 그리고 영상 시현기(300)에는 마이크(600)와 스피커(700)가 설치될 수 있고, 이 마이크(600)와 스피커(700)의 동작을 제어하기 위한 음성 입출력부(560)가 착용형 컴퓨터(500)에 설치된다. 음성 입출력부(560)는 블루투스와 같은 근거리 무선 통신으로 마이크(600)와 스피커(700)로 음성 데이터를 전송하거나 또는 음성 데이터를 수신 받을 수 있다.

착용형 컴퓨터(500)는 가상 현실 영상을 제공하기 위한 데이터 베이스(591)와 영상 시현기(300)와 제어부(590)에 전원을 공급하기 위한 전원부(580)를 구비한다. 그리고 착용형 컴퓨터(500)의 제어부(590)에는 가상 현실 영상을 출력하기 위한 저작 시스템(authoring system)이 설치되어 있고, 데이터 베이스(591)에는 가상 현실에 대한 각종 환경 데이터가 저장되어 있다.

또한, 착용형 컴퓨터(500)는 제 1통신부(510)에 의하여 외부의 서버 컴퓨터(900)와 통신한다. 그리고 서버 컴퓨터(900)는 제어부(590)에서 제공하는 사용자의 동작 인식 데이터를 수신하여 외부의 디스플레이 장치(910)에서 영상이 출력되도록 할 수 있다.

이 서버 컴퓨터(900)에서 제공하는 영상은 3인칭 관찰자 시점의 가상 현실 영상일 수 있고, 또는 필요한 경우 복수의 아바타들에 대한 1인칭 시점의 가상 현실 영상을 출력할 수 있다. 즉, 서버 컴퓨터(900)는 복수의 사용자에 대한 동작 및 상태 정보를 출력할 수 있다. 또한 서버 컴퓨터(900)는 복수의 사용자들이 동시에 가상 현실 시스템에 접속한 경우 각자의 사용자들에게 구분된 가상 현실 영상 정보를 전송할 수 있다.

이하에서는 본 발명의 실시에에 따른 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치를 훈련용 시뮬레이션 장치의 동작 방법에 대한 실시예를 설명한다.

도 5는 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작을 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 서버 컴퓨터의 동작을 설명하기 위한 도면이다.

도 5과 도 6에 도시된 바와 같이 현실 공간에서 동작 인식 센서와 영상 시현기(300) 그리고 착용형 컴퓨터(500)와 도구(800)를 구비한 사용자가 상체와 하체를 움직이게 되면, 착용형 컴퓨터(500)는 인체(H)의 상체와 팔에 장착된 복수개의 상체 장착 동작 인식 센서(100)와 인체(H)의 하체와 다리에 장착된 복수개의 하체 장착 동작 인식 센서(200)로부터 동작인식 데이터를 무선으로 제 2통신부(520)에서 수신한다(S100).

동작인식 데이터는 동작인식 데이터 처리부(550)에서 상체와 하체의 동작을 각각 분리한다. 이를 위하여 상체 장착 동작 인식 센서(100)들은 디지털 패킷을 전송한다(S110). 이 디지털 패킷은 프리앰블 검출(Preamble Detect) 필드, 프리앰블(Preamble) 필드, 구분문자(Delimiter) 필드, 어드레스(Address), 감지값(Detecing value) 필드, CRC(Cyclic Redundancy Check) 필드를 포함할 수 있다.

프리앰블 검출 필드는 프리앰블의 검출을 위한 필드로써 변조되지 않는 일정한 반송파로 구성된다. 프리앰블 필드는 NRZ(Non-Return to Zero) 형식으로 맨체스터 코드를 사용할 수 있다. 구분문자 필드는 데이터의 시작을 알리는 필드로써 여러 가지 구분문자가 입력될 수 있다.

어드레스 필드는 동작 인식 센서(100)(200)의 설치위치에 대한 정보를 포함한다. 즉 어드레스 필드에 포함되는 정보는 동작 인식 센서(100)(200)가 상체와 하체 어느 부위에 설치된 것인지와 또한 각 관절위치에 대한 정보를 포함한다. 하지만 상, 하체를 구분한 정보 외에 보다 세부적인 정보는 감지값 필드에 포함될 수 있다.

감지값 필드는 각각의 동작 인식 센서(100)(200)들이 감지한 감지값에 대한 정보를 포함하고, CRC 필드는 데이터 전송 과정에서 발생하는 오류를 검출하기 위하여 순환 이진 부호가 입력되는 필드이다. 각 필드의 배치는 예시적인 것으로 필드의 위치와 디지털 패킷의 구조는 변형 실시될 수 있다.

따라서 동작인식 데이터 처리부(550)의 동작인식 데이터 분리부(551)는 동작 인식 센서(100)(200)들이 전송한 디지털 패킷의 어드레스 정보를 분석하여 상체 동작 인식 센서(100) 또는 하체 동작 인식 센서(200) 인지를 구분하고, 또한 각각의 동작 인식 센서(100)(200)들이 위치한 관절이나 세부 위치에 대한 정보를 분석한 후 상체 동작 인식 센서(100)인 경우에는 상체 동작인식 데이터 처리부(552)에서 아바타의 동작을 위한 출력값을 생성하고, 또한 하체 동작 인식 센서(200)인 경우에는 하체 동작인식 데이터 처리부(553)에서 아바타의 동작을 위한 출력값을 생성한다.

이와 같이 상체와 하체 동작을 구분하여 감지하게 되면 가상 현실 영상에서 아바타의 앉기, 엎드리기, 포복 등의 동작을 보다 자연스럽고 정확하게 표현할 수 있다.

그리고 상체 및 하체 동작 시뮬레이션 데이터 출력부(554)(555)는 상체와 하체 각각의 움직임에 대한 데이터를 처리하여 아바타의 상체와 하체 움직임에 대한 영상 출력 데이터를 상체와 하체를 각각 구분하여 출력하고(S120)(S130), 제어부(590)는 이에 대한 데이터를 전달받아 영상 출력부(540)를 통하여 최종 출력한다.

영상 출력부(540)에서 출력되는 영상은 영상 시현기(300)로 전송되고, 사용자가 착용한 영상 시현기(300)에서 가상 현실의 1인칭 시점으로 디스플레이 되도록 한다. 또한 제어부(590)는 이때의 데이터를 외부 서버 컴퓨터(900)에 제 1통신부(510)를 통하여 전송하며 서버 컴퓨터(900)는 외부의 디스플레이 장치(910)에 표시되는 사용자의 아바타에 대한 행동 정보를 출력하여 표시한다.

사용자의 동작과 함께 사용자가 조작하는 도구(800)의 동작 인식에 대한 데이터는 무선으로 제 2통신부(520)를 통하여 수신한다. 그리고 제 2통신부(520)에서 수신한 도구(800)에 대한 동작인식 데이터는 도구동작 데이터 처리부(570)에서 처리된 후 제어부(590)를 통하여 도구(800)의 동작이 반영된 가상 현실 영상이 영상 출력부(540)에서 출력되어 영상 시현기(300)에 제공된다.

또한 이 도구(800)에 대한 동작인식 데이터는 제 1통신부(510)를 통하여 서버 컴퓨터(900)에도 제공된다. 서버 컴퓨터(900)는 도구의 동작인식 데이터를 반영하여 외부 디스플레이 장치(910)에 표시한다.

그리고 이와 함께 음성 입출력부(560)를 통하여 도구(800)의 동작에 대한 음성 신호를 출력하여 가상 현실 환경에 대한 소리 환경을 사용자가 착용한 스피커(700)를 통하여 출력한다. 또한 사용자가 손가락 동작을 하면 손가락 동작에 대한 동작인식 데이터를 생성하여 사용자의 손가락 동작에 대한 가상 현실 상황에서의 아바타 영상을 생성하여 출력한다.

이러한 착용형 컴퓨터(500)에서 처리되는 동작인식 데이터는 이미 언급한 바와 같이 모두 서버 컴퓨터(900)로 전송된다. 그리고 서버 컴퓨터(900)는 해당 사용자의 동작인식 데이터를 수신하여 외부 디스플레이 장치(910)에 표시한다(S200). 또한 서버 컴퓨터(900)는 각자의 사용자가 착용한 착용형 컴퓨터(500)에 해당 착용형 컴퓨터(500)를 착용한 사용자 외에 훈련 공간에 위치하는 다른 사용자에 대한 동작인식 데이터를 전송한다(S210).

이 동작인식 데이터는 각각의 사용자가 착용한 착용형 컴퓨터(500)에서 가공하여 각자의 영상 시현기(300)에 제공한다. 따라서 각각의 사용자의 영상 시현기(300)에는 훈련에 참여하는 다른 사용자의 가상 현실 이미지인 아바타가 표시된다. 따라서 각각의 사용자는 함께 훈련에 참여하는 다른 사용자의 아바타가 움직이는 동작을 시각적으로 인식하여 가상 현실에서 협업형 훈련을 수행할 수 있다.

이러한 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치는 시뮬레이션 된 환경과의 상호작용이 가능하게 처리될 수 있다. 예를 들어 가상 현실 시뮬레이터 장치는 충돌 감지 소프트웨어를 포함하여 가상 현실에 있는 건물, 벽체, 타 사용자의 아바타, 총기 충격 등에 대하여 충돌이 발생하였다는 것을 사용자에게 피드백 할 수 있다.

도 7은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치를 훈련용 시뮬레이션 장치로 구현한 상태를 도시한 예시도이고, 도 8는 도 7의 훈련용 시뮬레이션 장치에서 사용될 수 있는 훈련용 총기를 예시적으로 도시한 도면이다.

도 7과 도 8에 도시된 바와 같이 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치는 군인의 훈련용으로 사용될 수 있다. 그리고 다수의 군인이 동시에 참가하여 개인전 또는 단체전과 같은 전투 상황의 훈련을 독립적으로 또는 협업형으로 수행할 수 있다.

그리고 도구(800)는 모의 총기(810)와 액션 키패드(820)를 사용할 수 있다. 모의 총기(810)는 도 8에 도시된 바와 같이 모의 총기(810)는 탄창 재장전 스위치와 동작 인식 센서 그리고 격발 스위치를 구비하고, 탄창 재장전, 총기의 동작인식 격발에 대한 일련의 동작은 착용형 컴퓨터(500)의 도구 동작 데이터 처리부(570)에서 처리한다.

또한 액션 키패드(820)는 수류탄, 망원경, 조명탄 등과 같이 실제 전장에서 사용될 수 있는 각종 도구(800)들의 동작 및 사용을 가상 현실 환경에서 실행되도록 한다. 이 액션 키패드(820)에 대한 일련의 동작은 착용형 컴퓨터(500)의 도구동작 데이터 처리부(570)에서 처리된다.

그리고 모의 총기(810)와 액션 키패드(820)의 동작에 대한 데이터는 서버 컴퓨터(900)로 전송되고, 서버 컴퓨터(900)에서는 특정 사용자의 도구(800) 동작에 대한 데이터를 다른 사용자가 인지할 수 있도록 가상 현실 환경에 대한 변경 정보를 각각의 사용자가 착용한 착용형 컴퓨터(500)에 전송한다. 그리고 착용형 컴퓨터(500)는 이 변경된 정보를 반영한 가상 현실 영상을 각각의 사용자가 착용한 영상 시현기(300)를 통하여 디스플레이 하도록 한다.

한편, 훈련 상황은 다양한 환경에서 진행될 수 있다. 예를 들어 도심이나 건물에서 전투 상황을 가상 현실로 연출하고, 다수의 군인들이 부대 단위로 구분되어 훈련을 진행할 수 있다.

이와 같은 본 발명의 실시예에 따른 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법은 실제 환경을 가상 현실로 대체하여 특정 훈련을 수행할 수 있도록 함으로써 동일한 실제 훈련 시스템을 구축 하는데 필요한 비용을 최소화할 수 있다. 또한 훈련 과정 및 성과에 대한 정확한 진단이 가능하고, 다양한 가상 현실 공간을 구현하여 다양한 형태의 환경에 대한 교육 훈련이 가능하게 함으로써 사용자의 숙련도의 향상에 기여할 수 있다.

이상에서 설명한 본 발명의 실시예들은 단지 예시와 설명을 위한 것일 뿐이며, 본 발명을 설명된 형태로 한정하려는 것이 아니다. 또한, 본 명세서의 상세한 설명이 본 발명의 범위를 제한하는 것은 아니며, 상세한 설명에 설명되며 첨부된 청구항에 의해 정의된 발명의 사상 및 범위 내에서, 다양한 변화 및 변경을 할 수 있음은 본 발명이 속하는 분야의 당업자에게 자명하다.

100, 200...동작 인식 센서
300...영상 시현기
400...감지장갑
500...착용형 컴퓨터
800...도구
900...서버 컴퓨터

Claims

인체의 상체와 팔에 장착된 복수개의 상체 장착 동작인식 센서;
상기 인체의 하체와 다리에 장착된 복수개의 하체 장착 동작인식 센서;
상기 인체의 헤드에 착용 가능하며 1인칭 가상현실을 디스플레이 하는 영상시현기;
상기 인체의 손 및 손가락에 착용되며 상기 손과 손가락의 움직임을 감지하는 복수개의 손가락 동작인식 센서를 구비하는 감지장갑;
상기 인체에 착용 가능하며, 상기 상체 장착 동작인식 센서와 상기 하체 장착 동작인식 센서와 상기 감지장갑에서 감지한 동작인식 데이터를 처리하여 상기 영상시현기에 상기 인체 동작을 따라 움직이는 아바타가 표시되는 가상 현실 영상을 출력하는 착용형 컴퓨터를 구비하고,
상기 동작인식 데이터에는 상기 상체 장착 동작인식 센서와 상기 하체 장착 동작인식 센서들 각각이 상기 인체의 상체와 하체의 설치 위치에 대한 정보를 표시하는 어드레스 정보와 움직임에 대한 감지값에 대한 정보가 포함되고,
상기 착용형 컴퓨터는 상기 상체 장착 동작인식 센서에서 감지한 상기 동작인식 데이터와 상기 하체 장착 동작인식 센서에서 감지한 상기 동작인식 데이터로부터 상기 어드레스 정보를 확인하여 분리하는 동작인식 데이터 분리부와, 상기 동작인식 데이터 분리부에서 분리된 데이터 중에서 상체 동작인식 데이터를 처리하는 상체 동작인식 데이터 처리부와, 상기 동작인식 데이터 분리부에서 분리된 데이터 중에서 하체 동작인식 데이터를 처리하는 하체 동작인식 데이터 처리부를 구비하는 동작인식 데이터 처리부를 구비하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.
삭제
제 1항에 있어서, 상기 착용형 컴퓨터는 제 1통신부를 구비하고, 상기 제 1통신부는 상기 착용형 컴퓨터에서 출력하는 상기 인체의 동작인식 데이터를 무선 통신으로 상기 인체 외부의 서버 컴퓨터로 송신하고, 상기 서버 컴퓨터는 상기 착용형 컴퓨터로부터 수신한 상기 인체의 동작인식 데이터를 가상 현실 영상으로 디스플레이 장치를 이용하여 출력하는 서버 컴퓨터를 포함하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.
제 3항에 있어서, 상기 서버 컴퓨터는 상기 착용형 컴퓨터에 상기 인체 주변의 가상 현실 환경에 대한 데이터를 무선 통신으로 전송하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.
제 1항에 있어서, 상기 인체에 착용 가능한 마이크와 스피커를 구비하고, 상기 착용형 컴퓨터에는 상기 마이크와 스피커에 연결되어 음성을 입출력하는 음성 입출력부를 구비하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.
제 1항에 있어서, 상기 인체의 손에 의하여 취부되는 전기적 동작이 가능한 도구가 구비되고, 상기 착용형 컴퓨터는 상기 도구의 동작 데이터를 처리하는 도구동작 데이터 처리부를 구비하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.
제 1항에 있어서, 상기 상체 동작 인식 센서와 상기 하체 동작 인식 센서와 상기 손가락 동작 인식 센서는 상기 인체의 관절 부위에 장착되는 가속도 센서 또는 자이로 센서 중의 어느 하나로 구비되는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치.
인체의 상체와 팔에 장착된 복수개의 상체 장착 동작인식 센서와 상기 인체의 하체와 다리에 장착된 복수개의 하체 장착 동작인식 센서로부터 상기 상체 장착 동작인식 센서와 상기 하체 장착 동작인식 센서들 각각이 전송하는 상기 인체의 상체와 하체의 설치 위치에 대한 정보를 표시하는 어드레스 정보와 움직임에 대한 감지값에 대한 정보가 포함하는 동작인식 데이터를 무선으로 수신하고,
상기 상체 장착 동작인식 센서에서 감지한 감지 데이터와 상기 하체 장착 동작인식 센서에서 감지한 감지 데이터로부터 상기 어드레스 정보를 확인하여 분리하고,
상기 분리된 데이터 중에서 상체 동작인식 데이터를 처리하여 상체 동작을 표시하기 위한 가상 현실 영상을 디스플레이 하기 위한 데이터를 출력하고,
상기 분리된 데이터 중에서 하체 동작인식 데이터를 처리하여 하체 동작을 표시하기 위한 가상 현실을 디스플레이하기 위한 데이터를 출력하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작 방법.
제 8항에 있어서, 상기 인체의 손 및 손가락에 착용되며 상기 손과 손가락의 움직임을 감지하는 복수개의 손가락 동작 인식 센서로부터 감지된 동작인식 데이터를 처리하여 출력하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작 방법.
제 8항에 있어서, 상기 인체에 착용된 마이크와 스피커를 구비하고, 상기 상기 마이크와 스피커로 음성 데이터를 입출력하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작 방법.
제 8항에 있어서, 외부의 서버 컴퓨터로부터 다른 사용자의 동작인식 데이터를 수신하여 상기 인체에 착용된 영상시현기에서 상기 다른 사용자의 아바타를 디스플레이 하도록 하는 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션을 위한 착용형 컴퓨터의 동작 방법.
삭제
삭제
삭제
삭제