KR20210072902A - 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 - Google Patents
복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 Download PDFInfo
- Publication number
- KR20210072902A KR20210072902A KR1020190163211A KR20190163211A KR20210072902A KR 20210072902 A KR20210072902 A KR 20210072902A KR 1020190163211 A KR1020190163211 A KR 1020190163211A KR 20190163211 A KR20190163211 A KR 20190163211A KR 20210072902 A KR20210072902 A KR 20210072902A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- user
- users
- augmented reality
- information
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 207
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 70
- 230000000694 effects Effects 0.000 claims abstract description 72
- 230000003993 interaction Effects 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 239000003550 marker Substances 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 22
- 210000003128 head Anatomy 0.000 claims description 13
- 230000000644 propagated effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract 2
- 230000036544 posture Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 13
- 239000011521 glass Substances 0.000 description 2
- 241000262745 Pachycereus militaris Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
- F41A33/00—Adaptations for training; Gun simulators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 관한 것으로서, 보다 구체적으로는 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 훈련 콘텐츠의 진행에 따라 상기 증강현실 전술 훈련에 참여하는 복수의 사용자 사이에 서로 연동된 증강현실을 각각의 사용자에게 최적화하여 제공하는 복수의 머리 착용형 디스플레이 장치를 포함하며, 상기 머리 착용형 디스플레이 장치는, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께, 상기 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성하는 피드백 생성부; 상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트가 상기 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자와 공유되도록 전파받는 피드백 공유부; 및 상기 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이로 전송 제어하되, 상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트, 또는 상기 피드백 공유부를 통해 전파받은 다른 사용자에 의해 생성된 피드백 정보 및 이펙트를 상기 사용자의 상황에 최적화하여 상기 훈련 콘텐츠와 연동해 상기 사용자에게 제공되도록 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유하되, 피드백 정보 및 이펙트를 각 사용자의 상황에 최적화하여 제공함으로써, 복수의 사용자가 훈련 콘텐츠 내에서 시계를 공유하여 효과적으로 전술 훈련을 할 수 있다.
또한, 본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 증강현실 전술 훈련에 참여하는 각 사용자의 위치와 자세에 따라, 사용자를 기준으로 훈련 오브젝트의 크기, 위치 및 자세를 최적화해 제공하면서, 피드백 정보 및 이펙트를 훈련 오브젝트에 반영하여 제공함으로써, 복수의 사용자가 연동된 훈련 콘텐츠를 이용해 훈련하면서, 각각의 사용자에게 최적화된 영상을 통해 실감 나는 훈련을 할 수 있다.
본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유하되, 피드백 정보 및 이펙트를 각 사용자의 상황에 최적화하여 제공함으로써, 복수의 사용자가 훈련 콘텐츠 내에서 시계를 공유하여 효과적으로 전술 훈련을 할 수 있다.
또한, 본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 증강현실 전술 훈련에 참여하는 각 사용자의 위치와 자세에 따라, 사용자를 기준으로 훈련 오브젝트의 크기, 위치 및 자세를 최적화해 제공하면서, 피드백 정보 및 이펙트를 훈련 오브젝트에 반영하여 제공함으로써, 복수의 사용자가 연동된 훈련 콘텐츠를 이용해 훈련하면서, 각각의 사용자에게 최적화된 영상을 통해 실감 나는 훈련을 할 수 있다.
Description
본 발명은 전술 훈련 시스템에 관한 것으로서, 보다 구체적으로는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
한편, 최근에는 군사 훈련에도 가상현실, 증강현실 등이 사용되고 있다. 군사 훈련은 준비 및 실행에 큰 비용이 소요되므로, 가상현실이나 증강현실을 이용하면, 적은 비용으로 효과적으로 군사 훈련을 하면서도, 보다 유연하게 다양한 시나리오에 따라 군사 훈련을 할 수 있는 장점이 있다.
그러나 복수의 병사들이 훈련에 참여하는 경우 가상현실이나 증강현실을 이용해 실감 나는 군사 훈련을 구현하는 것은 쉽지 않다. 즉, 여러 병사의 훈련 내용 사이에 충돌이 발생할 수 있고, 복수의 병사들이 서로 협력하는 등의 효율적인 훈련이 불가능한 문제가 있다. 따라서 여러 병사가 함께 군사 훈련을 수행할 때, 시계를 공유하여 효과적으로 훈련을 수행할 수 있으면서도, 각 사용자에게 최적화된 화면을 제공해 실감 나는 훈련을 할 수 있는 기술의 개발이 필요한 실정이다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1653735호(발명의 명칭: 모의수류탄, 모의크레모어 및 이벤트 컨트롤용 키패드부를 이용한 모의전투훈련 시스템, 등록일자: 2016년 08월 29일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유하되, 피드백 정보 및 이펙트를 각 사용자의 상황에 최적화하여 제공함으로써, 복수의 사용자가 훈련 콘텐츠 내에서 시계를 공유하여 효과적으로 전술 훈련을 할 수 있는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 증강현실 전술 훈련에 참여하는 각 사용자의 위치와 자세에 따라, 사용자를 기준으로 훈련 오브젝트의 크기, 위치 및 자세를 최적화해 제공하면서, 피드백 정보 및 이펙트를 훈련 오브젝트에 반영하여 제공함으로써, 복수의 사용자가 연동된 훈련 콘텐츠를 이용해 훈련하면서, 각각의 사용자에게 최적화된 영상을 통해 실감 나는 훈련을 할 수 있는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템은,
복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 훈련 콘텐츠의 진행에 따라 상기 증강현실 전술 훈련에 참여하는 복수의 사용자 사이에 서로 연동된 증강현실을 각각의 사용자에게 최적화하여 제공하는 복수의 머리 착용형 디스플레이 장치를 포함하며,
상기 머리 착용형 디스플레이 장치는,
사용자가 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;
상기 광학계를 통해 투과되어 보이는 실제 세계와 함께, 상기 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이;
상기 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성하는 피드백 생성부;
상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트가 상기 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자와 공유되도록 전파받는 피드백 공유부; 및
상기 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이로 전송 제어하되, 상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트, 또는 상기 피드백 공유부를 통해 전파받은 다른 사용자에 의해 생성된 피드백 정보 및 이펙트를 상기 사용자의 상황에 최적화하여 상기 훈련 콘텐츠와 연동해 상기 사용자에게 제공되도록 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 훈련 정보는,
가상 적군 및 타격 대상을 포함하는 군에서 선택된 적어도 하나 이상의 훈련 오브젝트를 포함할 수 있다.
더욱 바람직하게는,
상기 사용자의 위치 및 자세를 포함하는 상황을 인식하는 센서부를 더 포함하며,
상기 제어부는, 상기 센서부에서 인식한 사용자의 상황에 따라 상기 피드백 정보 및 이펙트를 최적화하여 상기 사용자에게 제공되도록 제어할 수 있다.
더더욱 바람직하게는, 상기 제어부는,
상기 사용자의 위치 및 자세에 따라, 상기 사용자를 기준으로 훈련 오브젝트의 크기, 위치 및 자세를 최적화해 제공하되, 상기 피드백 정보 및 이펙트를 상기 훈련 오브젝트에 반영하여 제공할 수 있다.
바람직하게는, 상기 훈련 콘텐츠는,
목표 타격 훈련, 모의 전투 훈련, 또는 모의 전술 훈련 중 어느 하나를 위한 콘텐츠일 수 있다.
바람직하게는,
상기 피드백 생성부는, 그래픽, 사운드 및 햅틱을 포함하는 군에서 선택된 적어도 하나 이상의 종류의 이펙트를 생성하고,
상기 제어부는, 상기 이펙트의 종류에 따라 상기 디스플레이, 상기 머리 착용형 디스플레이 장치와 연결된 음향 출력 장치 및 햅틱 출력 장치 중 적어도 어느 하나와 연동하여 상기 이펙트가 사용자에게 제공되도록 제어할 수 있다.
바람직하게는,
상기 HMD 프레임에 장착되어 사용자의 시선 방향의 영상을 촬영하고, 마커를 인식하기 위한 카메라를 더 포함하며,
상기 제어부는, 인식한 마커의 정보에 따른 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이로 전송 제어할 수 있다.
바람직하게는,
상기 제어부의 제어 하에 상기 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치와 상기 피드백 정보 및 이펙트를 송수신하기 위한 데이터 통신을 수행하는 통신부를 더 포함하며,
상기 통신부는,
복수의 사용자 중 어느 하나에 의해 마커가 비치되면, 상기 마커의 위치가 상기 훈련 정보로 사용자에게 제공되도록 상기 마커의 위치를 수신할 수 있다.
본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유하되, 피드백 정보 및 이펙트를 각 사용자의 상황에 최적화하여 제공함으로써, 복수의 사용자가 훈련 콘텐츠 내에서 시계를 공유하여 효과적으로 전술 훈련을 할 수 있다.
또한, 본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 증강현실 전술 훈련에 참여하는 각 사용자의 위치와 자세에 따라, 사용자를 기준으로 훈련 오브젝트의 크기, 위치 및 자세를 최적화해 제공하면서, 피드백 정보 및 이펙트를 훈련 오브젝트에 반영하여 제공함으로써, 복수의 사용자가 연동된 훈련 콘텐츠를 이용해 훈련하면서, 각각의 사용자에게 최적화된 영상을 통해 실감 나는 훈련을 할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서, 사용자 장치의 구성을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템의 머리 착용형 디스플레이 장치의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 제공되는 훈련 콘텐츠에서 사용자와 훈련 오브젝트의 위치를 표시한 지도.
도 7은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서, 두 개의 머리 착용형 디스플레이 장치에 훈련 콘텐츠가 제공되는 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 피드백 정보 및 이펙트가 공유되는 모습을 예를 들어 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서, 사용자 장치의 구성을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템의 머리 착용형 디스플레이 장치의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 제공되는 훈련 콘텐츠에서 사용자와 훈련 오브젝트의 위치를 표시한 지도.
도 7은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서, 두 개의 머리 착용형 디스플레이 장치에 훈련 콘텐츠가 제공되는 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 피드백 정보 및 이펙트가 공유되는 모습을 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템을 도시한 도면이다. 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템은, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 훈련 콘텐츠의 진행에 따라 증강현실 전술 훈련에 참여하는 복수의 사용자 사이에 서로 연동된 증강현실을 각각의 사용자에게 최적화하여 제공하는 복수의 머리 착용형 디스플레이 장치(100)를 포함하여 구성될 수 있다. 머리 착용형 디스플레이 장치(100)에서는, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트가 생성되는데, 도 3에 도시된 바와 같이, 머리 착용형 디스플레이 장치(100)들이 피드백 정보 및 이펙트를 서로 공유함으로써, 효율적으로 시계를 공유하여 여러 사용자가 협력하여 군사 훈련이 가능하도록 할 수 있다.
여기서, 훈련 콘텐츠는, 목표 타격 훈련, 모의 전투 훈련, 또는 모의 전술 훈련 중 어느 하나를 위한 콘텐츠일 수 있으며, 군사 훈련의 목적에 따라 다양한 훈련 콘텐츠가 개발 및 제공될 수 있다.
머리 착용형 디스플레이 장치(100)에서, 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 제공된다는 것은, 훈련 콘텐츠에 따라 사용자가 인식할 수 있는 훈련 정보가 제공되는 것을 의미하는데, 훈련 정보는 가상 적군 및 타격 대상을 포함하는 군에서 선택된 적어도 하나 이상의 훈련 오브젝트를 포함할 수 있으며, 주변 상황 지도, 다른 사용자의 위치 정보, 현재 시각, 사용 가능한 수류탄이나 탄환 등 무기의 수, 지시사항, 가상 장애물, 가상 참호 등 다양한 정보를 더 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서, 사용자 장치의 구성을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서는, 효과적인 훈련을 위해 머리 착용형 디스플레이 장치(100) 이외에도, 배터리나 컴퓨터 등이 수납된 배낭, 훈련 콘텐츠와의 상호 작용을 위한 총 등의 사용자 장치를 더 포함할 수 있다. 즉, 증강현실 전술 훈련에 참여하는 사용자는, 머리 착용형 디스플레이 장치(100)와 배낭을 착용하고, 총을 이용해 전술 훈련을 수행할 수 있다. 그밖에, 센서나 햅틱 액추에이터가 부착된 수트 등 웨어러블 장치를 더 포함하여 다양한 피드백 및 이펙트를 제공할 수 있고, 총 이외의 수류탄 등의 무기를 더 포함할 수도 있다. 이때, 총이나 수류탄은, 실제 작동하는 무기가 아닌 훈련 콘텐츠와의 상호 작용을 위해 제작된 것일 수 있다.
도 5는 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템의 머리 착용형 디스플레이 장치(100)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템의 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 디스플레이(130), 피드백 생성부(140), 피드백 공유부(150) 및 제어부(160)를 포함하여 구성될 수 있으며, 센서부(170), 카메라(180), 상호 작용 인식부(190), 전원 공급부(200), 스위치부(210) 및 통신부(220)를 더 포함하여 구성될 수 있다.
HMD 프레임(110)은, 증강현실 전술 훈련을 위해 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(130) 프레임(미도시) 구조로 구성될 수 있으며, 헬멧은 안전한 군사 작전 수행을 위한 군모 형태일 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서, 가시광선 영역의 빛을 투과 및 반사시킬 수 있는 재질의 렌즈, 미러, 빔스플리터 등으로 구성될 수 있다.
디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께, 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(160)의 제어 하에, 훈련 콘텐츠에 따른 훈련 정보를 증강현실 기반으로 출력하면서, 사용자와 훈련 콘텐츠의 상호 작용에 따른 피드백 정보 및 이펙트가 사용자에게 제공되도록 영상 광을 출력할 수 있다.
도 6은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 제공되는 훈련 콘텐츠에서 사용자와 훈련 오브젝트(20)의 위치를 표시한 지도이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 사용자에게 제공되는 훈련 콘텐츠는, 실제 전술 훈련이 실시되는 지역의 전자 지도를 기반으로, 훈련 오브젝트(20) 등 위치 설정이 필요한 훈련 정보의 위치가 설정되어 있을 수 있다. 도 6에서 삼각형 표시는 훈련 오브젝트(20) 중 가상 적군을 의미하며, 검정색 원은 사용자의 위치를 나타낸다. 전술 훈련이 실시되는 지역이 동일하더라도, 훈련 목적이나 필요, 시나리오 등에 따라 훈련 오브젝트(20)의 종류, 위치, 표시 시각, 그 밖의 훈련 정보 등은 서로 상이할 수 있다. 이하에서는, 도 6에 도시된 바와 같은 지역에서 두 사용자 A와 B가 전술 훈련을 하는 것을 예를 들어 설명하도록 한다.
도 7은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서, 두 개의 머리 착용형 디스플레이 장치(100)에 훈련 콘텐츠가 제공되는 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서는, 각 사용자가 광학계(120)를 통해 보는 실제 세계에, 도 6에 도시된 바와 같은 지도 기반으로 각각의 사용자의 상황에 따라 훈련 오브젝트(20)의 크기, 위치, 자세 등을 조절하여 훈련 정보가 최적화될 수 있다. 사용자는 실제 세계와 디스플레이(130)에서 출력되는 훈련 정보에 대응하는 영상 광이 결합된 뷰 필드(10)를 각각 제공받을 수 있다.
도 7에서, 사용자 A와 사용자 B의 위치와 바라보는 방향, 자세 등이 서로 다르므로 각 사용자의 시야를 통한 실제 세계가 서로 상이한데, 예를 들어, 사용자 A는 사용자 B를 바라보고 걸어가고 있으므로 광학계(120)를 통해 주변 풍경과 사용자 B의 모습을 볼 수 있다. 도 6에 도시된 바와 같은 두 사용자와 훈련 오브젝트(20)의 위치 관계를 고려하여, 사용자 A와 사용자 B에게 각각 가상 적군의 크기와 방향, 자세 등을 최적화하여 제공할 수 있다. 따라서 사용자 A에게는 오른쪽으로 걸어가는 가상 적군의 모습, 사용자 B에게는 정면에서 다가오는 가상 적군의 모습이 훈련 정보로 제공될 수 있다.
훈련 콘텐츠에는, 훈련 오브젝트(20)인 가상 적군의 위치와 자세, 이동속도, 이동 방향뿐 아니라, 가상 장애물이나 가상 참호의 위치, 자세, 특징 등이 설정되어 있을 수 있다. 추후 상세히 설명할 제어부(160)는, 훈련 콘텐츠의 진행에 따라서, 머리 착용형 디스플레이 장치(100)를 착용한 사용자들의 현재 위치 정보와 자세를 고려해, 최적화된 영상 정보가 제공되도록 디스플레이(130)를 제어할 수 있다.
피드백 생성부(140)는, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성할 수 있다. 여기서, 피드백 정보 및 이펙트는, 사용자와 훈련 콘텐츠와의 상호 작용의 종류에 따라 서로 상이할 수 있다. 또한, 피드백 정보는, 상호 작용의 종류, 성패, 위치 및 결과를 포함하는 군에서 선택된 적어도 하나 이상을 포함할 수 있으며, 피드백 생성부(140)는, 그래픽, 사운드 및 햅틱을 포함하는 군에서 선택된 적어도 하나 이상의 종류의 이펙트를 생성할 수 있다.
예를 들어, 사용자가 가상 적군을 타격한 경우, 피드백 정보는 타격 성공 여부, 타격 위치, 적군 부상/사망 결과 등을 포함할 수 있으며, 이펙트는 가상 적군이 쓰러지거나 피를 흘리는 그래픽, 총소리와 비명 등의 사운드, 총을 쏘는 타격감 등의 햅틱 등을 포함할 수 있다.
피드백 공유부(150)는, 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트가 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 사용자와 공유되도록 전파받아 제어부(160)에 전달할 수 있다. 즉, 도 3에 도시된 바와 같이, 머리 착용형 디스플레이 장치(100)들 사이에 피드백 정보와 이펙트를 공유할 수 있는데, 각각의 머리 착용형 디스플레이 장치(100)의 피드백 공유부(150)가 직접 통신부(220)를 통해 통신하여 데이터의 공유 처리를 할 수 있으며, 서버와의 통신으로 공유 처리를 할 수도 있다.
제어부(160)는, 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 디스플레이(130)로 전송 제어하되, 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트, 또는 피드백 공유부(150)를 통해 전파받은 다른 사용자에 의해 생성된 피드백 정보 및 이펙트를 사용자의 상황에 최적화하여 훈련 콘텐츠와 연동해 사용자에게 제공되도록 제어할 수 있다.
도 8은 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서 피드백 정보 및 이펙트가 공유되는 모습을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에서는, 사용자 A가 훈련 오브젝트(20)인 가상 적군의 타격에 성공하면, 타격 성공, 가상 적군 사망의 피드백 정보와 타격점 생성, 가상 적군 쓰러짐의 그래픽 이펙트가 생성되고, 도 8의 좌측 사용자 A의 뷰 필드(10)에서 확인할 수 있는 바와 같이 이러한 피드백 정보 및 이펙트가 사용자 A에게 제공될 수 있다(도 8에서 ⓐ로 표시). 사용자 A에 의해 생성된 피드백 정보 및 이펙트는 피드백 공유부(150)를 통해 사용자 B와 공유되어, 사용자 B도 뷰 필드(10)에서 사용자 A에 의한 피드백 정보 및 이펙트를 확인할 수 있다(도 8에서 ⓑ로 표시).
이때, 제어부(160)는, 사용자의 위치 및 자세에 따라, 사용자를 기준으로 훈련 오브젝트(20)의 크기, 위치 및 자세를 최적화해 제공하되, 피드백 정보 및 이펙트를 훈련 오브젝트(20)에 반영하여 제공할 수 있다. 따라서 도 8에서 확인할 수 있는 바와 같이, 사용자 A에게 제공된 이펙트와 사용자 B에게 제공된 이펙트는, 가상 적군이 쓰러지는 모습 등이 서로 다르게 표시될 수 있다.
또한, 제어부(160)는, 이펙트의 종류에 따라 디스플레이(130), 머리 착용형 디스플레이 장치(100)와 연결된 음향 출력 장치 및 햅틱 출력 장치 중 적어도 어느 하나와 연동하여 이펙트가 사용자에게 제공되도록 제어할 수 있다. 즉, 피드백 정보와 이펙트 중 그래픽으로 제공되는 것은, 제어부(160)가 디스플레이(130)를 통해 사용자에게 제공되도록 제어할 수 있다. 또한, 이펙트 중에는, 사운드나 햅틱으로 제공되는 이펙트가 포함되므로, 제어부(160)는 이펙트의 종류에 따라 출력 장치를 선택하여 제공할 수 있다. 이때, 머리 착용형 디스플레이 장치(100)는 청각적 이펙트 제공을 위해 HMD 프레임(110)에 스피커 등을 더 포함할 수 있고, 다른 사용자와 음성 통신으로 서로 교신이 가능한 마이크도 포함할 수 있다. 또한, 수트나 배낭 등의 웨어러블 장치, 총 등을 햅틱 출력 장치로 사용하여, 촉각적 이펙트를 사용자에게 제공할 수도 있다.
센서부(170)는, 사용자의 위치 및 자세를 포함하는 상황을 인식할 수 있다. 센서부(170)는, 사용자의 위치 및 자세 파악을 위해 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈, 자세 파악을 위한 IMU 센서 등을 포함할 수 있으며, 실시예에 따라서는 사용자 주변의 화학 성분 측정을 위한 센서, 거리 센서 등 필요에 따라 다양한 센서를 더 포함할 수 있다.
제어부(160)는, 센서부(170)에서 인식한 사용자의 상황에 따라 피드백 정보 및 이펙트를 최적화하여 사용자에게 제공되도록 제어할 수 있다. 보다 구체적으로, 제어부(160)는, 센서부(170)에서 인식한 사용자의 위치 및 자세에 따라, 사용자를 기준으로 훈련 오브젝트(20)의 크기, 위치 및 자세를 최적화해 제공하되, 피드백 정보 및 이펙트를 훈련 오브젝트(20)에 반영하여 제공할 수 있다. 예를 들어, 도 7 및 도 8에 도시된 바와 같은 예에서, 센서부(170)의 IMU 센서나 카메라(180) 등에 의해 사용자 A가 앉아있는 자세인 것이 인식되면, 제어부(160)는 훈련 오브젝트(20)의 각도를 조절하여 아래에서 올려다보는 모습으로 가상 적군의 이미지를 최적화해 제공할 수 있다.
카메라(180)는, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하고, 마커를 인식할 수 있다. 훈련 필요에 따라 실제 세계에 마커가 비치될 수 있는데, 카메라(180)는 비치된 마커를 인식하여 제어부(160)에 전달할 수 있다. 제어부(160)는, 인식한 마커의 정보에 따른 훈련 정보가 제공되도록 영상 정보를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 예를 들어, 특정 위치에 QR코드, 바코드, 로고 등의 마커를 비치하고, 사용자가 해당 마커가 비치된 영역을 바라볼 때, 카메라(180)가 마커를 인식하여 제어부(160)에 전달하면, 대응하는 훈련 정보가 사용자에게 제공되도록 할 수 있다. 이때, 훈련 정보는 훈련 오브젝트(20), 상황 정보 등을 포함할 수 있다.
상호 작용 인식부(190)는, 사용자와 훈련 콘텐츠와의 상호 작용을 인식하여 피드백 생성부(140)에 전달할 수 있다. 보다 구체적으로, 상호 작용 인식부(190)는, 카메라(180) 및 센서부(170)에서 수집된 정보를 이용해, 사용자와 훈련 콘텐츠와의 상호 작용을 인식할 수 있으며, 실시예에 따라서는 총이나 배낭 등 사용자 장치에 구비된 센서를 더 이용할 수 있다.
한편, 본 발명의 일실시예에 따른 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템의 머리 착용형 디스플레이 장치(100)는, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(200), 전원 공급부(200)의 온/오프를 위한 스위치부(210), 및 제어부(160)의 제어 하에 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치(100)와 피드백 정보 및 이펙트를 송수신하기 위한 데이터 통신을 수행하는 통신부(220)를 더 포함하여 구성될 수 있다. 여기서, 스위치부(210)는 전원 공급부(200)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스 즉, 배낭 등에 형성될 수 있다.
또한, 통신부(220)는 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(220)와 연동하여 연결 접속되고, 피드백 정보 및 이펙트가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 실시예에 따라서는, 복수의 머리 착용형 디스플레이 장치(100)의 통신부(220)는, 서버를 통해 피드백 정보 및 이펙트가 서로 공유되도록 데이터 통신을 수행할 수도 있다. 여기서, 통신부(220)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
특히, 통신부(220)는, 복수의 사용자 중 어느 하나에 의해 마커가 비치되면, 마커의 위치가 훈련 정보로 사용자에게 제공되도록 마커의 위치를 수신할 수 있다. 즉, 마커는 전술 훈련을 하는 실제 세계에 미리 비치될 수 있으나, 훈련 콘텐츠를 이용한 전술 훈련 도중에 필요에 따라 사용자에 의해 비치될 수도 있다. 예를 들어, 마커를 비치한 사용자가 착용한 머리 착용형 디스플레이 장치(100)의 센서부(170)에서 수집된 위치 정보를 통신부(220)를 통해 다른 사용자와 공유함으로써, 마커의 위치를 공유하여 증강현실 전술 훈련에 참여하는 복수의 사용자가 마커의 위치를 확인하고 훈련에 활용할 수 있다. 이때, 마커는 훈련 정보의 제공을 위한 것일 수 있으며, 각종 정보의 공유, 훈련에 필요한 전략적 위치 표시 등의 역할을 할 수도 있다. 마커는, QR코드, 바코드, 로고 등일 수 있으나, 비콘 장치일 수도 있다.
본 발명에서 제안하고 있는 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치(100)를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유하되, 피드백 정보 및 이펙트를 각 사용자의 상황에 최적화하여 제공함으로써, 복수의 사용자가 훈련 콘텐츠 내에서 시계를 공유하여 효과적으로 전술 훈련을 할 수 있다. 또한, 증강현실 전술 훈련에 참여하는 각 사용자의 위치와 자세에 따라, 사용자를 기준으로 훈련 오브젝트(20)의 크기, 위치 및 자세를 최적화해 제공하면서, 피드백 정보 및 이펙트를 훈련 오브젝트(20)에 반영하여 제공함으로써, 복수의 사용자가 연동된 훈련 콘텐츠를 이용해 훈련하면서, 각각의 사용자에게 최적화된 영상을 통해 실감 나는 훈련을 할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 뷰 필드
20: 훈련 오브젝트
100: 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 피드백 생성부
150: 피드백 공유부
160: 제어부
170: 센서부
180: 카메라
190: 상호 작용 인식부
200: 전원 공급부
210: 스위치부
220: 통신부
20: 훈련 오브젝트
100: 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 피드백 생성부
150: 피드백 공유부
160: 제어부
170: 센서부
180: 카메라
190: 상호 작용 인식부
200: 전원 공급부
210: 스위치부
220: 통신부
Claims (8)
- 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 훈련 콘텐츠의 진행에 따라 상기 증강현실 전술 훈련에 참여하는 복수의 사용자 사이에 서로 연동된 증강현실을 각각의 사용자에게 최적화하여 제공하는 복수의 머리 착용형 디스플레이 장치(100)를 포함하며,
상기 머리 착용형 디스플레이 장치(100)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께, 상기 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
상기 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성하는 피드백 생성부(140);
상기 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트가 상기 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자와 공유되도록 전파받는 피드백 공유부(150); 및
상기 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이(130)로 전송 제어하되, 상기 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트, 또는 상기 피드백 공유부(150)를 통해 전파받은 다른 사용자에 의해 생성된 피드백 정보 및 이펙트를 상기 사용자의 상황에 최적화하여 상기 훈련 콘텐츠와 연동해 상기 사용자에게 제공되도록 제어하는 제어부(160)를 포함하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제1항에 있어서, 상기 훈련 정보는,
가상 적군 및 타격 대상을 포함하는 군에서 선택된 적어도 하나 이상의 훈련 오브젝트(20)를 포함하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제2항에 있어서,
상기 사용자의 위치 및 자세를 포함하는 상황을 인식하는 센서부(170)
를 더 포함하며,
상기 제어부(160)는, 상기 센서부(170)에서 인식한 사용자의 상황에 따라 상기 피드백 정보 및 이펙트를 최적화하여 상기 사용자에게 제공되도록 제어하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제3항에 있어서, 상기 제어부(160)는,
상기 사용자의 위치 및 자세에 따라, 상기 사용자를 기준으로 훈련 오브젝트(20)의 크기, 위치 및 자세를 최적화해 제공하되, 상기 피드백 정보 및 이펙트를 상기 훈련 오브젝트(20)에 반영하여 제공하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제1항에 있어서, 상기 훈련 콘텐츠는,
목표 타격 훈련, 모의 전투 훈련, 또는 모의 전술 훈련 중 어느 하나를 위한 콘텐츠인 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제1항에 있어서,
상기 피드백 생성부(140)는, 그래픽, 사운드 및 햅틱을 포함하는 군에서 선택된 적어도 하나 이상의 종류의 이펙트를 생성하고,
상기 제어부(160)는, 상기 이펙트의 종류에 따라 상기 디스플레이(130), 상기 머리 착용형 디스플레이 장치(100)와 연결된 음향 출력 장치 및 햅틱 출력 장치 중 적어도 어느 하나와 연동하여 상기 이펙트가 사용자에게 제공되도록 제어하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제1항에 있어서,
상기 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하고, 마커를 인식하기 위한 카메라(180)를 더 포함하며,
상기 제어부(160)는, 인식한 마커의 정보에 따른 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이(130)로 전송 제어하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
- 제1항에 있어서,
상기 제어부(160)의 제어 하에 상기 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치(100)와 상기 피드백 정보 및 이펙트를 송수신하기 위한 데이터 통신을 수행하는 통신부(220)를 더 포함하며,
상기 통신부(220)는,
복수의 사용자 중 어느 하나에 의해 마커가 비치되면, 상기 마커의 위치가 상기 훈련 정보로 사용자에게 제공되도록 상기 마커의 위치를 수신하는 것을 특징으로 하는, 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190163211A KR102305409B1 (ko) | 2019-12-10 | 2019-12-10 | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 |
| PCT/KR2020/017989 WO2021118237A1 (ko) | 2019-12-10 | 2020-12-10 | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190163211A KR102305409B1 (ko) | 2019-12-10 | 2019-12-10 | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210072902A true KR20210072902A (ko) | 2021-06-18 |
| KR102305409B1 KR102305409B1 (ko) | 2021-09-29 |
Family
ID=76328953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190163211A KR102305409B1 (ko) | 2019-12-10 | 2019-12-10 | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102305409B1 (ko) |
| WO (1) | WO2021118237A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023027208A1 (ko) * | 2021-08-25 | 2023-03-02 | 삼성전자 주식회사 | 복수의 디바이스를 그룹핑 하는 방법 및 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117130492B (zh) * | 2023-10-27 | 2024-01-23 | 中国电子科技集团公司第十五研究所 | 基于混合实现的训练态势可视化系统及其实现方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101501632B1 (ko) * | 2013-11-29 | 2015-03-12 | 주식회사 비주얼리액터 | 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치 |
| KR101689330B1 (ko) * | 2016-02-22 | 2016-12-26 | 조세희 | 가상 현실 시뮬레이션 시스템 |
| JP2019128757A (ja) * | 2018-01-24 | 2019-08-01 | セイコーエプソン株式会社 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
| KR20190117415A (ko) * | 2019-08-30 | 2019-10-16 | 엘지전자 주식회사 | Ar 장치 및 그 제어 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9256987B2 (en) * | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
-
2019
- 2019-12-10 KR KR1020190163211A patent/KR102305409B1/ko active IP Right Grant
-
2020
- 2020-12-10 WO PCT/KR2020/017989 patent/WO2021118237A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101501632B1 (ko) * | 2013-11-29 | 2015-03-12 | 주식회사 비주얼리액터 | 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치 |
| KR101689330B1 (ko) * | 2016-02-22 | 2016-12-26 | 조세희 | 가상 현실 시뮬레이션 시스템 |
| JP2019128757A (ja) * | 2018-01-24 | 2019-08-01 | セイコーエプソン株式会社 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
| KR20190117415A (ko) * | 2019-08-30 | 2019-10-16 | 엘지전자 주식회사 | Ar 장치 및 그 제어 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023027208A1 (ko) * | 2021-08-25 | 2023-03-02 | 삼성전자 주식회사 | 복수의 디바이스를 그룹핑 하는 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021118237A1 (ko) | 2021-06-17 |
| KR102305409B1 (ko) | 2021-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455137B2 (en) | Systems and methods for virtual and augmented reality | |
| US11666825B2 (en) | Mixed reality gaming system | |
| US9779633B2 (en) | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same | |
| KR101926178B1 (ko) | 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템 | |
| US9843093B2 (en) | Spatial location presentation in head worn computing | |
| JP5961736B1 (ja) | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム | |
| US10030931B1 (en) | Head mounted display-based training tool | |
| JP6459421B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
| US20120156652A1 (en) | Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction | |
| CN104076513A (zh) | 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统 | |
| CN104380347A (zh) | 视频处理设备、视频处理方法和视频处理系统 | |
| KR102305409B1 (ko) | 복수의 사용자에게 최적화된 증강현실 시계 공유 전술 훈련 시스템 | |
| CN110709898A (zh) | 视频透视式显示系统 | |
| JP2015026286A (ja) | 表示装置、表示システムおよび表示装置の制御方法 | |
| KR102305408B1 (ko) | 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템 | |
| KR102299346B1 (ko) | 머리 착용형 디스플레이 장치의 시야를 공유하는 전술 훈련 시스템 | |
| JP2017041019A (ja) | ヘッドマウントディスプレイシステム制御プログラム | |
| JP2018064836A (ja) | バーチャルゲーム装置 | |
| JP6598575B2 (ja) | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム | |
| JP2019179434A (ja) | プログラム、情報処理装置、及び情報処理方法 | |
| JP2019021347A (ja) | ヘッドマウントディスプレイシステム制御プログラム | |
| WO2011075061A1 (en) | Device for measuring distance to real and virtual objects | |
| KR20230119304A (ko) | 착용형 증강현실 장치를 이용한 불-가시 영역에 대한 조준 시스템 및 방법 | |
| KR101986808B1 (ko) | 착용형 게임 장치 | |
| CN117427342A (zh) | 一种ar虚拟射击光学系统、ar虚拟射击枪及显示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |