KR20120044461A - 융합 현실을 이용한 가상 훈련 장치 및 방법 - Google Patents

융합 현실을 이용한 가상 훈련 장치 및 방법 Download PDF

Info

Publication number
KR20120044461A
KR20120044461A KR1020100105745A KR20100105745A KR20120044461A KR 20120044461 A KR20120044461 A KR 20120044461A KR 1020100105745 A KR1020100105745 A KR 1020100105745A KR 20100105745 A KR20100105745 A KR 20100105745A KR 20120044461 A KR20120044461 A KR 20120044461A
Authority
KR
South Korea
Prior art keywords
image
virtual
user
fusion
reality
Prior art date
Application number
KR1020100105745A
Other languages
English (en)
Inventor
한명원
심원도
우태정
강전훈
채비룡
Original Assignee
(주)브이엔에스텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)브이엔에스텍 filed Critical (주)브이엔에스텍
Priority to KR1020100105745A priority Critical patent/KR20120044461A/ko
Publication of KR20120044461A publication Critical patent/KR20120044461A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft

Abstract

융합 현실을 이용한 가상 훈련 장치 및 방법이 제공된다.
본 발명의 실시예에 따른 융합 현실을 이용한 가상 훈련 장치는, 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 실제 영상 생성부; 상기 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 가상 영상 생성부; 상기 생성된 실제 영상과 상기 생성된 가상 영상을 융합하여 융합 영상을 생성하는 영상 융합부를 포함한다.
본 발명의 실시예에 따른 융합 현실을 이용한 가상 훈련 장치 및 방법에 의하면, 기존의 HMD 착용에 의해 발생되는 주변의 비시각화를 해소할 수 있으며, 모션 감지 센서를 활용하여 기존의 프로젝션 시스템에서 구현되는 가상 현실의 단점인 공간적 제약을 해소할 수 있으며, 고품질의 영상을 제공할 수 있다.

Description

융합 현실을 이용한 가상 훈련 장치 및 방법 {The simulated training apparatus and method using mixed reality}
본 발명은 융합 현실을 이용한 가상 훈련 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 가상 현실을 반영한 가상 영상과 실제 현실을 반영한 실제 영상을 융합하여 융합 영상을 생성하고 이를 이용하여 모의 훈련을 가능하게 하는, 융합 현실을 이용한 가상 훈련 장치 및 방법에 관한 것이다.
가상 현실(Virtual Reality; VR)은 컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 사람의 감각기관을 통해 사용자가 몰입감을 느끼고 상호작용하게 하는 기술을 말한다. 즉, 인간의 오감을 자극하여 현실과 유사한 또 다른 현실을 창조하는 활동이라 할 수 있을 것이다. 가상 현실의 한 분류로서, 사용자가 직접 지각할 수 있는 대상물에 대해서 컴퓨터가 더 많은 정보를 부가?제시하는 경우에는 증강 현실(Augmented Reality; AR)로 불린다. 또한, 가상 공간 영상에 현실 세계의 영상을 덧붙여서 제시하는 경우에는 융합 현실(Mixed Reality; MR)로 불린다.
한편, 컴퓨터 시뮬레이션(simulation)은 실제로 실행하기 어려운 실험을 컴퓨터를 이용하여 실제 또는 가상의 동적 시스템 모형을 생성하여 행하는 모의 실험을 의미한다. 예로서, 풍동(風洞)을 써서 항공기의 비행 중 상태를 조사하거나, 물탱크 안에서 배의 항행 중 상태를 조사하는 실험 등이 있으며, 최근에는 자동차 운전자의 훈련용 운전석 모형, 비행기 조종사 훈련용의 콕피트(cock-pit) 모형, 우주비행사 훈련용 캡슐 모형 등의 시뮬레이터가 많이 개발되어 이용되고 있는 실정이다.
그런데, 현재 가상현실 기술을 활용한 훈련용 시뮬레이터는 CAVE(Computer Assisted Virtual Environment) 기반의 시뮬레이터가 많이 사용되고 있다. 이는 영상의 프로젝션을 바탕으로 사용자가 영상을 인식하여 훈련을 진행하는 형태이다.
하지만, 프로젝션 기반의 시뮬레이터는 영상 인식의 범위가 단방향이어서 현실감이 떨어진다는 문제가 있다.
또한, 프로젝션을 이용한 시뮬레이션 시스템에서는 전방에 설치된 스크린에 영상을 디스플레이 하기 때문에 적당한 화면크기 및 사용자의 활동 공간 등을 고려하여 상당한 공간이 요구되며, 고해상도 영상 구현을 위해 고가의 비용이 소요된다는 문제가 있다.
게다가, 헤드 마운트 디스플레이(Head Mounted Display; HMD)를 얼굴에 착용하는 경우에는 사용자가 조작하는 훈련 장치나 주변 사물을 제대로 인식할 수 없다는 문제가 있다.
따라서, 상술한 문제점을 해결하기 위하여 본 발명이 해결하고자 하는 과제는, 사용자의 시야에 들어오는 실제 사물을 캡쳐 카메라를 사용하여 캡쳐한 실제 영상과 컴퓨터에 의해 생성된 가상 영상을 융합한 융합 영상을 HMD에 디스플레이 함으로써 기존의 HMD 착용에 의해 발생되는 주변의 비시각화를 해소할 수 있는, 융합 현실을 이용한 가상 훈련 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 기술적 과제는, 모션 감지 센서를 활용하여 기존의 프로젝션 시스템에서 구현되는 가상 현실의 단점인 공간적 제약을 해소할 수 있는, 융합 현실을 이용한 가상 훈련 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 또 다른 기술적 과제는, 실제 눈으로 보는 것과 동일한 영상을 가상 영상과 융합하여 사용자에게 최종적으로 제공함으로써 고품질의 영상을 제공할 수 있는, 융합 현실을 이용한 가상 훈련 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 융합 현실을 이용한 가상 훈련 장치는, 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 실제 영상 생성부; 상기 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 가상 영상 생성부; 상기 생성된 실제 영상과 상기 생성된 가상 영상을 융합하여 융합 영상을 생성하는 영상 융합부를 포함한다.
또한, 전술한 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 융합 현실을 이용한 가상 훈련 방법은, 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 가상 영상 생성 단계; 상기 사용자의 이마 부분에 착용되어 상기 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 실제 영상 생성 단계; 상기 생성된 가상 영상과 상기 생성된 실제 영상을 융합하여 융합 영상을 생성하는 영상 융합 단계; 상기 생성된 융합 영상을 수신하여 디스플레이 하는 표시 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 실시예에 따른 융합 현실을 이용한 가상 훈련 장치 및 방법에 의하면, 다음과 같은 효과가 하나 이상 존재한다.
첫째, 사용자의 시야에 들어오는 실제 사물을 캡쳐 카메라를 사용하여 캡쳐한 실제 영상과 컴퓨터에 의해 생성된 가상 영상을 융합한 융합 영상을 HMD에 디스플레이 함으로써 기존의 HMD 착용에 의해 발생되는 주변의 비시각화를 해소할 수 있다.
즉, 종래의 HMD를 적용한 시뮬레이터의 경우 대부분 HMD에 입력되는 가상 영상 이외에 사용자는 다른 어떤 개인 장비도 볼 수도 조작할 수도 없다는 한계점이 있었다. 설사 이러한 개인 장비를 가상 영상에 만들어 넣는다 하더라도 실제 장비와의 불일치로 인해 혼란만 가중시키는 경우가 대부분이었다. 본 발명의 실시예에 따른 가상 훈련 장치는 이러한 한계를 극복하기 위해 캡쳐 카메라에서 캡쳐되는 실제 영상을 융합해서 제공함으로써 개인 장비의 조작 및 운용에 아무런 제한이 없다.
둘째, 헤드 마운트 디스플레이(HMD), 모션 감지 센서, 영상 융합 기술을 활용하여 기존의 프로젝션 시스템에서 구현되는 가상 현실의 단점인 공간적 제약을 해소할 수 있다. 즉, 종래의 복잡한 프로젝션 시스템이 본 발명의 실시예에 따른 가상 훈련 장치에서 빠져 있기에 프로젝션으로 인한 공간상의 제약을 해소할 수 있다.
셋째, 고품질의 영상을 제공할 수 있으며, 360도 전방향에 대해 가상 환경을 제공할 수 있다.
즉, 종래에는 사용자가 프로젝션 되는 한쪽 벽면 만을 보고 훈련을 진행하는데 프로젝션 되는 영역과 아닌 영역의 구분으로 인해 훈련 환경의 현실감이 저하되었다. 이에 반해, 본 발명의 실시예에서는 사용자의 시선을 감지하는 모션 감지 센서와 HMD를 활용함으로써 사용자가 응시할 수 있는 360도 전 방향으로 가상 환경을 제공할 수 있어 가상 환경의 현실감을 높일 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 이용하여 융합 영상을 생성하는 개념을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치의 전체 블록도이다.
도 3은 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 방법의 전체 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 착용하여 블루 스크린 공간에서 실제로 가상 훈련을 수행하는 것을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 이용하여 자동차 운전석 모형에서 주행 훈련을 수행하는 것을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 이용하여 비행기 조종석(cock-pit) 모형에서 비행 훈련을 수행하는 것을 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
이하, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명에 따른 실시예들을 첨부 도면을 참조하면서 보다 상세하게 설명하고자 한다. 본 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 이용하여 융합 영상을 생성하는 개념을 나타내는 도면이다.
상기 도 1을 참조하면, 가상의 거리에서 총을 들고 사격 모의 훈련을 실시하는 사용자(훈련자)(100)가 본 발명의 실시예에 따른 가상 훈련 장치를 활용하여 가상 훈련을 수행하는 것을 예시하고 있다.
가상 영상 생성 컴퓨터(210)에 의해 생성된 가상 영상(10)이 사용자의 머리 부분에 장착된 캡쳐 카메라에 의해 생성된 실제 영상(20)과 함께 크로마키(Chroma Key) 처리를 통해 융합되어 융합 영상(30)을 생성하게 된다. 사용자(100)는 이러한 융합 영상(30)을 얼굴에 착용한 디스플레이 장비를 통해 보면서 모의 훈련을 수행하게 되는 것이다. 즉, 사용자(100)는 훈련용 총을 실제로 들고 가상 현실에서 자신의 훈련용 총을 실제로 보면서 모의 사격 연습을 수행할 수 있는 것이다.
상기 도 1에 도시된 융합 영상(30)을 디스플레이 하기 위해 HMD를 기본 디스플레이 장비로 사용함으로써 훈련자(100)의 눈 가까이에서 좀 더 효과적으로 현실감을 제공할 수 있다. 또한, 이러한 현실감 획득과 훈련 장비의 운용성 확보를 위해 사용자(100)의 시야에 들어오는 훈련 장비(예를 들어, 사용자가 들고 있는 훈련용 총이나 시뮬레이터 조작 기기판 등)를 촬영할 캡쳐 카메라와 사용자(100)의 시야 방향을 감지할 수 있는 모션 감지 센서를 상기 디스플레이 장비에 결합시킬 수 있다. 결과적으로, 융합 영상(30)을 보는 사용자(100)는 캡쳐 카메라에 의해 획득된 실제 영상(20)이 융합된 융합 영상(30)을 통해 훈련 장비에 대한 조작이 가능하고 전체적인 훈련 상황을 알 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치의 전체 블록도이다.
상기 도 2를 참조하여 본 발명의 실시예에 따른 가상 훈련 장치의 구성을 설명하기로 한다.
가상 영상 생성부(210)는 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 역할을 수행할 수 있다. 가상 현실을 반영한 가상 영상을 생성하기 위해서는 3차원 영상 엔진을 기반으로 훈련 지형과 지물에 대한 데이터베이스를 구축하고, 훈련에 필요한 각종 객체의 생성 및 환경 설정이 가능한 소프트웨어를 이용할 수 있다.
실제 영상 생성부(110)는 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 역할을 수행할 수 있다. 사용자의 시선이 향하는 객체를 캡쳐해야 하므로, 실제 영상 생성부(110)는 캡쳐 카메라의 형태로 사용자의 눈 부근에 위치할 수 있으며, 본 발명의 실시예에서는 사용자의 이마 부분에 장착되는 것이 바람직하다. 또한, 영상 캡쳐는 자연스러운 영상을 제공하기 위해 최소 해상도 640*480, 20 프레임 이상의 갱신율로 촬영될 수 있다.
영상 융합부(220)는 실제 영상 생성부(110)로부터 캡쳐 이미지를 수신하여 생성한 실제 영상과 가상 영상 생성부(210)에 의해 생성된 가상 영상을 크로마키(Chroma Key) 기법을 이용하여 융합함으로써 융합 영상을 생성하고, 생성된 융합 영상을 사용자가 착용하고 있는 디스플레이부(120)로 전송하는 역할을 수행할 수 있다.
크로마키 기법이란 두가지 영상을 입력받아 융합할 때 하나의 영상에서 특정 분포의 색깔 부분을 투명화 처리하여 겹쳐지는 영상이 보이도록 하는 기술이다. 일반적으로 크로마키를 처리하기 위해서 고비용의 영상 믹싱장치를 사용하는 경우가 많은데, 본 발명의 실시예에서는 고비용의 믹싱 장치를 대체하기 위해 3차원 영상화 기술 중 현재 가장 각광받고 있는 쉐이더(Shader) 기술을 사용할 수 있다. 이러한 쉐이더 기술은 3차원 영상화 기술 중 특수효과를 좀 더 빠르고 효과적으로 표현하기 위한 기술로서 이미지의 픽셀까지 제어할 수 있다.
디스플레이부(120)는 영상 융합부(220)로부터 상기 융합 영상을 수신하여 디스플레이 하는 역할을 수행할 수 있다. 디스플레이부(120)는 사용자가 직접 융합 영상을 보면서 훈련을 수행해야 하므로, 사용자의 눈으로부터 일정 거리 이격된 위치에서 사용자의 안면에 착탈되는 형태를 가질 수 있다. 이로써, 기존의 CAVE(Computer Assisted Virtual Environment) 기반의 훈련용 시뮬레이터가 가지는 단방향성을 해소하고 360도 전방향에 대해 가상 훈련을 수행할 수 있게 된다.
모션 감지 센서(130)는 사용자의 머리 부분의 움직임을 감지하여 사용자 머리의 회전값 및 위치값을 생성하는 역할을 수행할 수 있다. 이를 위해서는 상기 사용자의 머리 부분의 최상단 중앙에 장착되는 것이 바람직하며, 사용자 머리의 회전값(Heading, Pitch, Rolling) 및 위치값(x, y, z)을 초당 10회 내지 50회 생성할 수 있으며, 바람직하게는 20회 이상으로 생성할 수 있다.
통합 신호 처리부(230)는 모션 감지 센서(130)에 의해 생성된 회전값 및 위치값을 시리얼 통신을 통해 수신하여 신호 처리하는 역할을 수행할 수 있다. 통합 신호 처리부(230)는 본 발명의 실시예에 따른 가상 훈련 장치에서 발생하는 다양한 입력 정보를 받아서 통합적으로 분석하여 시뮬레이션부(240)로 전달하는 역할을 한다. 이는 시뮬레이션부(240)의 입력 처리에 대한 부담을 줄일 수 있다.
시뮬레이션부(240)는 훈련자의 훈련 신호 데이터와 상호작용하며 가상 환경을 시뮬레이션하고, 통합 신호 처리부(230)에 의해 신호 처리된 회전값 및 위치값에 따라 상기 생성된 가상 영상의 상태를 갱신하거나 또는 사용자의 입력에 의해 가상 영상의 상태를 갱신하는 역할을 수행할 수 있다.
또한, 시뮬레이션부(240)는 사용자와의 상호 작용을 유발할 수 있는 각종 이벤트를 발생시켜 시뮬레이션의 효과를 극대화 할 수 있다. 또한, 훈련 종료 후 훈련에 대한 사후 강평이 가능하도록 사용자의 입력에 대한 모든 기록을 저장 및 제공할 수 있다.
한편, 전술한 가상 영상 생성부(210), 영상 융합부(220), 통합 신호 처리부(230) 및 시뮬레이션부(240)는 근거리 통신망(Local Area Network; LAN)을 통해 상호 연결될 수 있다.
또한, 전술한 실제 영상 생성부(110), 디스플레이부(120) 및 모션 감지 센서(130)는 상기 도 2에서 도시된 바와 같이, 일체로 구성되어 사용자의 머리에 착탈될 수 있는 헤드셋 형태를 가질 수 있다. 상기 헤드셋은 HMD로 구현될 수 있는 디스플레이부(120)에 캡쳐 카메라로 구현되는 실제 영상 생성부(110)와 모션 감지 센서(130)를 부착하여 제조할 수 있는데, 이 경우 캡쳐 카메라와 모션 감지 센서(130)가 부착되는 위치에 따라 융합 영상에 대한 현실감이 달라질 수 있다.
한편, 전술한 가상 훈련 장치를 이용하여 사용자가 블루 스크린 공간에서 가상 훈련을 하는 예시가 도 4 내지 도 6에 나타나 있다.
도 4는 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 착용하여 블루 스크린 공간에서 실제로 가상 훈련을 수행하는 것을 나타내는 도면이다.
블루 스크린 공간 내에서 모션 감지 센서와 캡쳐 카메라와 헤드 마운트 디스플레이로 구성된 헤드셋을 착용한 훈련자가 모션 감지 센서(130)의 값에 따라 변화되는 가상 영상과 캡쳐 카메라에서 캡쳐되어 오는 실제 영상이 융합된 융합 영상을 제공받는다. 그러면, 사용자는 가상 영상 내의 가상 환경을 보며 가상으로 발생하는 상황을 인식하여 반응하고 캡쳐 카메라에서 캡쳐된 실제 영상을 보며 블루 스크린 공간 외부의 통제 테이블의 제어를 받으면서 가상 훈련을 수행하게 되는 것이다.
블루 스크린 공간은 캡쳐 카메라로 캡쳐되는 실제 영상 중 가상 환경이 들어가야 될 부분을 식별하기 위해 훈련 공간 전체에 블루스크린 기법을 적용하여 구성된 공간이다. 사용자는 본 발명의 실시예에 따른 헤드셋을 착용하고 블루스크린 공간 내에서 모의 훈련을 진행하게 된다. 한편, 블루 스크의 색은 일반적으로 색 처리가 용이한 블루와 그린이 많이 사용되지만, 본 발명의 실시예에서는 일반적인 색 분포율이 가장 낮은 마젠타 색을 적용할 수 있다.
결과적으로, 헤드 마운트 디스플레이 장비를 통해 훈련자가 360도 전방향에 대해 실제 움직이면서 동시에 눈으로는 융합 영상을 보면서 가상 훈련을 수행할 수 있기에 훈련의 현실감이 극대화될 수 있는 것이다.
도 5는 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 이용하여 자동차 운전석 모형에서 주행 훈련을 수행하는 것을 나타내는 도면이다.
자동차 가상 훈련 시뮬레이터에서는 융합 현실 기반의 기술을 이용하여 기존의 운전 시뮬레이터와 차별되게 차 밖으로 머리를 내밀어 바퀴의 구동 상태를 본다거나, 장애물 등의 상황을 확인할 수 있는 상황을 시뮬레이션 할 수 있을 것이다.
도 6은 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 장치를 이용하여 비행기 조종석(cock-pit) 모형에서 비행 훈련을 수행하는 것을 나타내는 도면이다.
자동차 가상 훈련 시뮬레이터와 동일하게 항공기 훈련 시뮬레이터의 경우 복잡한 항공기 조종석을 모사하는 조종석(Cock-pit)이 대부분 포함되는 형태로 제작되는데, 이 경우 훈련을 위한 가상 영상을 사용자에게 제공하기가 어려웠는데, 본 발명의 실시예에 따른 가상 훈련 장치를 활용하면, HMD를 통해 가상 영상을 손쉽게 제공함과 동시에 조종석의 운용 또한 가능하게 된다.
이제, 전술한 본 발명의 실시예에 따른 가상 훈련 장치를 이용한 가상 훈련 방법을 도 3을 참조하여 살펴보기로 한다.
도 3은 본 발명의 일 실시예에 따른 융합 현실을 이용한 가상 훈련 방법의 전체 흐름도이다.
먼저, 가상 영상 생성부(210)는 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성한다(S110).
다음으로, 모션 감지 센서(130)는 사용자의 머리 부분의 움직임을 감지하여 회전값 및 위치값을 생성한다(S120).
모션 감지 센서(130)에 의해 생성된 회전값 및 위치값은 초당 10회 내지 50회 생성될 수 있으며, 통합 신호 처리부(230)로 입력되어 사용자의 시선 변경에 따라 가상 환경이 변화하게 된다.
다음으로, 시뮬레이션부(240)는 통합 신호 처리부(230)에 의해 신호 처리된 회전값 및 위치값에 따라 상기 생성된 가상 영상의 상태를 갱신하거나 또는 사용자의 입력에 의해 가상 영상의 상태를 갱신한다(S130).
다음으로, 실제 영상 생성부(110)는 상기 사용자의 이마 부분에 부착되어 사용자의 시야에 들어오는 모든 객체를 캡쳐하여 실제 영상을 생성하게 된다(S140). 여기서, 캡쳐되는 객체는 사용자가 소지하고 있는 훈련 장비(예를 들어, 소총이나 조종 계기판 등)를 의미한다. 이렇게 캡쳐된 실제 영상은 융합 영상을 생성하기 위한 하나의 입력으로 사용될 수 있다.
다음으로, 영상 융합부(220)는 생성된 가상 영상과 실제 영상을 융합하여 융합 영상을 생성한다(S150).
마지막으로, 디스플레이부(120)는 생성된 융합 영상을 수신하여 디스플레이 하게 된다(S160). 이 경우, 사용자의 눈으로부터 일정 거리 이격된 위치에서 사용자의 안면에 착탈되는 헤드 마운트 디스플레이 장치를 이용하여 디스플레이 할 수도 있다.
한편, 본 발명의 실시예에 따른 융합 현실을 이용한 가상 훈련 방법은 이 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체에 저장되어서도 구현 가능하다.
이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.
10: 가상 영상 20: 실제 영상
30; 융합 영상 110: 실제 영상 생성부
120; 디스플레이부 130: 모션 감지 센서
210; 가상 영상 생성부 220; 영상 융합부
230: 통합 신호 처리부 240: 시뮬레이션부

Claims (13)

  1. 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 실제 영상 생성부;
    상기 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 가상 영상 생성부;
    상기 생성된 실제 영상과 상기 생성된 가상 영상을 융합하여 융합 영상을 생성하는 영상 융합부를 포함하는, 융합 현실을 이용한 가상 훈련 장치.
  2. 제 1 항에 있어서,
    상기 영상 융합부로부터 상기 융합 영상을 수신하여 디스플레이 하는 디스플레이부를 더 포함하는, 융합 현실을 이용한 가상 훈련 장치.
  3. 제 2 항에 있어서,
    상기 사용자의 머리 부분의 움직임을 감지하여 회전값 및 위치값을 생성하는 모션 감지 센서를 더 포함하는, 융합 현실을 이용한 가상 훈련 장치.
  4. 제 3 항에 있어서,
    상기 모션 감지 센서에 의해 생성된 회전값 및 위치값을 수신하여 신호 처리하는 통합 신호 처리부;
    상기 신호 처리된 회전값 및 위치값에 따라 상기 생성된 가상 영상의 상태를 갱신하거나 상기 사용자의 입력에 의해 상기 가상 영상의 상태를 갱신하는 시뮬레이션부를 더 포함하는, 융합 현실을 이용한 가상 훈련 장치.
  5. 제 1 항에 있어서,
    상기 실제 영상 생성부는 상기 사용자의 이마 부분에 장착되는, 융합 현실을 이용한 가상 훈련 장치.
  6. 제 2 항에 있어서,
    상기 디스플레이부는 상기 사용자의 눈으로부터 일정 거리 이격된 위치에서 상기 사용자의 안면에 착탈되는 형태를 가지는, 융합 현실을 이용한 가상 훈련 장치.
  7. 제 3 항에 있어서,
    상기 모션 감지 센서는,
    상기 사용자의 머리의 최상단 중앙에 장착되며, 상기 머리의 회전값 및 위치값을 초당 10회 내지 50회 생성하는, 융합 현실을 이용한 가상 훈련 장치.
  8. 제 3 항에 있어서,
    상기 실제 영상 생성부, 상기 디스플레이부 및 상기 모션 감지 센서는 일체로 구성되어 상기 사용자의 머리에 착탈될 수 있는 헤드셋을 형성하는, 융합 현실을 이용한 가상 훈련 장치.
  9. 사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 가상 영상 생성 단계;
    상기 사용자의 이마 부분에 착용되어 상기 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 실제 영상 생성 단계;
    상기 생성된 가상 영상과 상기 생성된 실제 영상을 융합하여 융합 영상을 생성하는 영상 융합 단계;
    상기 생성된 융합 영상을 수신하여 디스플레이 하는 표시 단계를 포함하는, 융합 현실을 이용한 가상 훈련 방법.
  10. 제 9 항에 있어서,
    상기 가상 영상 생성 단계 이후에,
    사용자의 머리 부분의 움직임을 감지하여 회전값 및 위치값을 생성하는 모션 감지 단계;
    상기 생성된 회전값 및 위치값에 따라 상기 가상 영상의 상태를 갱신하거나, 상기 사용자의 입력에 의해 상기 가상 영상의 상태를 갱신하는 가상 영상 갱신 단계를 더 포함하는, 융합 현실을 이용한 가상 훈련 방법.
  11. 제 10 항에 있어서,
    상기 모션 감지 단계는,
    상기 사용자의 머리의 회전값 및 위치값을 초당 10회 내지 50회 생성하는, 융합 현실을 이용한 가상 훈련 방법.
  12. 제 9 항에 있어서,
    상기 표시 단계는,
    상기 사용자의 눈으로부터 일정 거리 이격된 위치에서 상기 사용자의 안면에 착탈되는 헤드 마운트 디스플레이 장치를 이용하여 디스플레이 하는, 융합 현실을 이용한 가상 훈련 방법.
  13. 융합 현실을 이용한 가상 훈련 방법을 수행하기 위한 프로그램을 기록한 전산 장치로 판독 가능한 기록매체로서, 상기 방법은,
    사용자의 가상 훈련을 위한 가상 현실을 반영한 가상 영상을 생성하는 가상 영상 생성 단계;
    상기 사용자의 이마 부분에 착용되어 상기 사용자의 시야에 들어오는 객체를 캡쳐하여 실제 영상을 생성하는 실제 영상 생성 단계;
    상기 생성된 가상 영상과 상기 생성된 실제 영상을 융합하여 융합 영상을 생성하는 영상 융합 단계;
    상기 생성된 융합 영상을 수신하여 디스플레이 하는 표시 단계를 포함하는, 기록매체.
KR1020100105745A 2010-10-28 2010-10-28 융합 현실을 이용한 가상 훈련 장치 및 방법 KR20120044461A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100105745A KR20120044461A (ko) 2010-10-28 2010-10-28 융합 현실을 이용한 가상 훈련 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100105745A KR20120044461A (ko) 2010-10-28 2010-10-28 융합 현실을 이용한 가상 훈련 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120044461A true KR20120044461A (ko) 2012-05-08

Family

ID=46264232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100105745A KR20120044461A (ko) 2010-10-28 2010-10-28 융합 현실을 이용한 가상 훈련 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120044461A (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400362A (zh) * 2013-07-30 2013-11-20 中国人民解放军第三军医大学第三附属医院 事故近景图与航拍图像相融合获取清晰场景图的方法
KR20150030993A (ko) * 2013-09-13 2015-03-23 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
WO2015129966A1 (en) * 2014-02-27 2015-09-03 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
KR20150118281A (ko) 2014-04-11 2015-10-22 에이알비전 (주) 모의수류탄, 모의크레모어 및 이벤트 컨트롤용 키패드부를 이용한 모의전투훈련 시스템
KR20150132681A (ko) * 2014-05-15 2015-11-26 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
WO2016021997A1 (ko) * 2014-08-08 2016-02-11 쿠렌그렉 반 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
WO2016111470A1 (ko) * 2015-01-07 2016-07-14 삼성전자 주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
KR101689330B1 (ko) 2016-02-22 2016-12-26 조세희 가상 현실 시뮬레이션 시스템
KR101695365B1 (ko) * 2015-09-14 2017-01-11 주식회사 인디고엔터테인먼트 전방향 인식 및 이동이 가능한 트레드밀 모션 트레킹 장치
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
KR20180064153A (ko) * 2016-12-05 2018-06-14 주식회사 포스코 고로 공정 가상 현실 교육 시스템
KR101987050B1 (ko) * 2018-08-01 2019-06-10 양영용 Vr드론실기실감체험 형성장치
KR20190084803A (ko) 2018-01-09 2019-07-17 한국과학기술원 맞춤형 가이드 정보를 출력하는 가구 디자인 장치
KR20190116601A (ko) * 2018-04-03 2019-10-15 (주)다울디엔에스 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템
CN111988535A (zh) * 2020-08-10 2020-11-24 山东金东数字创意股份有限公司 光学定位融合画面的系统和方法
KR20220097352A (ko) 2020-12-31 2022-07-07 주식회사 후본 확장현실 기반의 가상 훈련 제공 방법 및 시스템
KR20230047579A (ko) * 2021-10-01 2023-04-10 대한민국(환경부 화학물질안전원장) 가상현실 훈련 시스템

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400362A (zh) * 2013-07-30 2013-11-20 中国人民解放军第三军医大学第三附属医院 事故近景图与航拍图像相融合获取清晰场景图的方法
CN103400362B (zh) * 2013-07-30 2015-11-25 中国人民解放军第三军医大学第三附属医院 事故近景图与航拍图像相融合获取清晰场景图的方法
US9236032B2 (en) 2013-09-13 2016-01-12 Electronics And Telecommunications Research Institute Apparatus and method for providing content experience service
KR20150030993A (ko) * 2013-09-13 2015-03-23 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
WO2015129966A1 (en) * 2014-02-27 2015-09-03 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
KR20150118281A (ko) 2014-04-11 2015-10-22 에이알비전 (주) 모의수류탄, 모의크레모어 및 이벤트 컨트롤용 키패드부를 이용한 모의전투훈련 시스템
KR20150132681A (ko) * 2014-05-15 2015-11-26 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
WO2016021997A1 (ko) * 2014-08-08 2016-02-11 쿠렌그렉 반 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
KR20160018436A (ko) * 2014-08-08 2016-02-17 그렉 반 쿠렌 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
WO2016111470A1 (ko) * 2015-01-07 2016-07-14 삼성전자 주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
US10437055B2 (en) 2015-01-07 2019-10-08 Samsung Electronics Co., Ltd. Master device, slave device, and control method therefor
KR101695365B1 (ko) * 2015-09-14 2017-01-11 주식회사 인디고엔터테인먼트 전방향 인식 및 이동이 가능한 트레드밀 모션 트레킹 장치
KR101689330B1 (ko) 2016-02-22 2016-12-26 조세희 가상 현실 시뮬레이션 시스템
KR20180064153A (ko) * 2016-12-05 2018-06-14 주식회사 포스코 고로 공정 가상 현실 교육 시스템
KR20190084803A (ko) 2018-01-09 2019-07-17 한국과학기술원 맞춤형 가이드 정보를 출력하는 가구 디자인 장치
KR20190116601A (ko) * 2018-04-03 2019-10-15 (주)다울디엔에스 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템
KR101987050B1 (ko) * 2018-08-01 2019-06-10 양영용 Vr드론실기실감체험 형성장치
CN111988535A (zh) * 2020-08-10 2020-11-24 山东金东数字创意股份有限公司 光学定位融合画面的系统和方法
KR20220097352A (ko) 2020-12-31 2022-07-07 주식회사 후본 확장현실 기반의 가상 훈련 제공 방법 및 시스템
KR20230047579A (ko) * 2021-10-01 2023-04-10 대한민국(환경부 화학물질안전원장) 가상현실 훈련 시스템

Similar Documents

Publication Publication Date Title
KR20120044461A (ko) 융합 현실을 이용한 가상 훈련 장치 및 방법
US7804507B2 (en) Face-mounted display apparatus for mixed reality environment
US5584696A (en) Hang gliding simulation system with a stereoscopic display and method of simulating hang gliding
CN104932677B (zh) 互动式多驾乘者虚拟现实驾乘系统
JP4950834B2 (ja) 画像処理装置、画像処理方法
US8368721B2 (en) Apparatus and method for on-field virtual reality simulation of US football and other sports
KR101279869B1 (ko) 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
US10701344B2 (en) Information processing device, information processing system, control method of an information processing device, and parameter setting method
KR102188313B1 (ko) Vr을 이용한 다기종 비행 훈련 시뮬레이터
CN107810634A (zh) 用于立体增强现实的显示器
CN109961520B (zh) 一种基于第三视角技术的vr/mr教室及其构建方法
US20220375358A1 (en) Class system, viewing terminal, information processing method, and program
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
JPH09138637A (ja) 模擬視界装置
US20180033328A1 (en) Immersive vehicle simulator apparatus and method
CN113689756A (zh) 基于增强现实的座舱重构系统及实现方法
CN113941138A (zh) 一种ar交互控制系统、装置及应用
GB2535729A (en) Immersive vehicle simulator apparatus and method
Le Ngoc et al. Evaluating usability of amplified head rotations on base-to-final turn for flight simulation training devices
KR20200058872A (ko) Hmd 기반의 크로마키 기술을 적용한 몰입형 비행전술 시뮬레이터 영상시스템
Segura et al. Interaction and ergonomics issues in the development of a mixed reality construction machinery simulator for safety training
Walko Integration of augmented-reality-glasses into a helicopter simulator with front projection
KR20170009304A (ko) 항공 시뮬레이션 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E601 Decision to refuse application