KR102305408B1 - Tactical training system to share a feedback in augmented reality - Google Patents

Tactical training system to share a feedback in augmented reality Download PDF

Info

Publication number
KR102305408B1
KR102305408B1 KR1020190163209A KR20190163209A KR102305408B1 KR 102305408 B1 KR102305408 B1 KR 102305408B1 KR 1020190163209 A KR1020190163209 A KR 1020190163209A KR 20190163209 A KR20190163209 A KR 20190163209A KR 102305408 B1 KR102305408 B1 KR 102305408B1
Authority
KR
South Korea
Prior art keywords
training
user
feedback
augmented reality
users
Prior art date
Application number
KR1020190163209A
Other languages
Korean (ko)
Other versions
KR20210072900A (en
Inventor
최치원
배영헌
정희재
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190163209A priority Critical patent/KR102305408B1/en
Publication of KR20210072900A publication Critical patent/KR20210072900A/en
Application granted granted Critical
Publication of KR102305408B1 publication Critical patent/KR102305408B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41A—FUNCTIONAL FEATURES OR DETAILS COMMON TO BOTH SMALLARMS AND ORDNANCE, e.g. CANNONS; MOUNTINGS FOR SMALLARMS OR ORDNANCE
    • F41A33/00—Adaptations for training; Gun simulators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

본 발명은 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 관한 것으로서, 보다 구체적으로는 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 상기 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공되는 훈련 콘텐츠에 따른 증강현실을 제공하는 복수의 머리 착용형 디스플레이 장치를 포함하며, 상기 머리 착용형 디스플레이 장치는, 사용자가 머리에 착용할 수 있는 HMD 프레임; 상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 상기 광학계를 통해 투과되어 보이는 실제 세계와 함께, 상기 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 상기 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성하는 피드백 생성부; 상기 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이로 전송 제어하되, 상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트가 상기 훈련 콘텐츠와 연동하여 상기 사용자에게 제공되도록 제어하는 제어부; 및 상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트가 상기 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자와 공유되도록 전파받아 상기 제어부에 전달하는 피드백 공유부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유함으로써, 복수의 사용자가 모두 동일한 훈련 콘텐츠에 따라 훈련을 하면서도, 피드백이 서로 공유되어 협동 훈련을 하는 것과 유사한 훈련 효과를 낼 수 있다.
또한, 본 발명에서 제안하고 있는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 따르면, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일한 훈련 콘텐츠를 제공하되, 모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트가 제공되도록 함으로써, 하나의 훈련 콘텐츠를 개발하는 것만으로 쉽게 여러 사용자가 증강현실 전술 훈련을 할 수 있고, 개별 사용자에 따른 영상 제어를 최소화하여 신속하게 훈련 콘텐츠를 진행하면서도 피드백을 제공할 수 있다.The present invention relates to a tactical training system for sharing feedback according to training in augmented reality, and more particularly, to be worn on each user's body for augmented reality tactical training in which a plurality of users participate, the augmented reality tactics A plurality of head-wearable display devices that provide augmented reality according to training content provided equally to all users participating in training, wherein the head-wearable display device includes: an HMD frame that the user can wear on the head; an optical system disposed in front of both eyes of a user wearing the HMD frame and allowing the real world to be transmitted through the user's field of view; a display for outputting image light so that training information according to the training content can be provided on a screen optimized to the user along with the real world transmitted through the optical system; a feedback generator configured to generate feedback information and an effect according to an interaction between the user and the training content; A control unit that generates image information to provide training information recognizable to the user and controls transmission to the display, and controls the feedback information and effects generated by the feedback generator to be provided to the user in conjunction with the training content ; and the feedback information and effects generated by the feedback generator are propagated to be shared with other users participating in the augmented reality tactical training, and the feedback information and effects generated according to the interaction between the other users and the training content are transmitted to the user. It is characterized in that it includes a feedback sharing unit that receives the propagation to be shared with the control unit and transmits it to the control unit.
According to the tactical training system for sharing feedback according to training in augmented reality proposed in the present invention, a head-mounted display device that provides augmented reality according to training content for augmented reality tactical training in which a plurality of users participate is provided. By sharing feedback information and effects worn by each user and generated according to the user's interaction with the training content with other users, a plurality of users can all train according to the same training content, while the feedback is shared and collaboration A training effect similar to that of training can be achieved.
In addition, according to the tactical training system for sharing feedback according to training in augmented reality proposed in the present invention, the same training content is provided to all users participating in augmented reality tactical training, but the same size, location and By providing the training object of posture, multiple users can easily train augmented reality tactics just by developing one training content, and provide feedback while rapidly progressing training content by minimizing image control according to individual users can do.

Description

증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템{TACTICAL TRAINING SYSTEM TO SHARE A FEEDBACK IN AUGMENTED REALITY}TACTICAL TRAINING SYSTEM TO SHARE A FEEDBACK IN AUGMENTED REALITY

본 발명은 전술 훈련 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 관한 것이다.The present invention relates to a tactical training system, and more particularly, to a tactical training system for sharing feedback according to training in augmented reality.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.Various wearable devices are being developed according to the trend of weight reduction and miniaturization of digital devices. A head mounted display, which is a type of wearable device, refers to various devices that a user can wear on the head to receive multimedia contents. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. Such a head mounted display (HMD) is divided into a see-through type and a see-closed type, and the transparent type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.1 is a diagram illustrating a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-type head mounted display (HMD). As shown in FIGS. 1 and 2, a general head-mounted display in the form of glasses or a band is worn on the user's face or head and is transmitted through a lens that projects augmented reality (AR) image information to the real world. will be provided to the user.

한편, 최근에는 군사 훈련에도 가상현실, 증강현실 등이 사용되고 있다. 군사 훈련은 준비 및 실행에 큰 비용이 소요되므로, 가상현실이나 증강현실을 이용하면, 적은 비용으로 효과적으로 군사 훈련을 하면서도, 보다 유연하게 다양한 시나리오에 따라 군사 훈련을 할 수 있는 장점이 있다.On the other hand, recently, virtual reality, augmented reality, etc. are being used for military training. Since military training requires a large amount of preparation and execution, virtual or augmented reality has the advantage of being able to conduct military training more flexibly according to various scenarios while effectively training military at a low cost.

그러나 복수의 병사들이 훈련에 참여하는 경우 가상현실이나 증강현실을 이용해 실감 나는 군사 훈련을 구현하는 것은 쉽지 않다. 즉, 여러 병사가 같은 공간에서 훈련할 때, 훈련 내용 사이에 충돌이 발생하는 등 효율적인 훈련이 불가능한 문제가 있다. 따라서 여러 병사가 같은 공간에서 동시에 군사 훈련을 수행할 때, 서로 충돌 없이 효과적으로 훈련을 수행할 수 있으면서도, 영상 처리 등에 많은 시간이 걸리지 않고 신속하게 군사 훈련을 진행할 수 있는 기술의 개발이 필요한 실정이다.However, when multiple soldiers participate in the training, it is not easy to implement realistic military training using virtual reality or augmented reality. That is, when several soldiers train in the same space, there is a problem in that efficient training is impossible, such as conflicts between training contents. Therefore, when several soldiers simultaneously perform military training in the same space, there is a need to develop a technology that can perform training effectively without colliding with each other, and can rapidly conduct military training without taking a lot of time for image processing, etc.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1653735호(발명의 명칭: 모의수류탄, 모의크레모어 및 이벤트 컨트롤용 키패드부를 이용한 모의전투훈련 시스템, 등록일자: 2016년 08월 29일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Registered Patent No. 10-1653735 (Title of the invention: simulated grenade, simulated cremore and simulated combat training system using keypad unit for event control, registration date: August 29, 2016) etc. have been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유함으로써, 복수의 사용자가 모두 동일한 훈련 콘텐츠에 따라 훈련을 하면서도, 피드백이 서로 공유되어 협동 훈련을 하는 것과 유사한 훈련 효과를 낼 수 있는, 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and provides a head-wearable display device that provides augmented reality according to training content for augmented reality tactical training in which a plurality of users participate. By sharing the feedback information and effects that the user wears and the user interacts with the training content with other users, a plurality of users can all train according to the same training content, while the feedback is shared with each other for cooperative training. An object of the present invention is to provide a tactical training system that shares feedback according to training in augmented reality, which can produce a training effect similar to that of

또한, 본 발명은, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일한 훈련 콘텐츠를 제공하되, 모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트가 제공되도록 함으로써, 하나의 훈련 콘텐츠를 개발하는 것만으로 쉽게 여러 사용자가 증강현실 전술 훈련을 할 수 있고, 개별 사용자에 따른 영상 제어를 최소화하여 신속하게 훈련 콘텐츠를 진행하면서도 피드백을 제공할 수 있는, 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides the same training content to all users participating in augmented reality tactical training, but by providing a training object of the same size, position, and posture to all users, it is easy to develop only one training content A tactical training system that allows multiple users to perform augmented reality tactical training, minimizes image control for individual users, and provides feedback while rapidly progressing training content. It serves another purpose to provide.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템은,A tactical training system for sharing feedback according to training in augmented reality according to a feature of the present invention for achieving the above object,

복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 상기 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공되는 훈련 콘텐츠에 따른 증강현실을 제공하는 복수의 머리 착용형 디스플레이 장치를 포함하며,A plurality of head-wearing types that are worn on the body of each user for augmented reality tactical training in which a plurality of users participate, and provide augmented reality according to the training content provided equally to all users participating in the augmented reality tactical training display device;

상기 머리 착용형 디스플레이 장치는,The head-wearable display device,

사용자가 머리에 착용할 수 있는 HMD 프레임;HMD frame that can be worn on the user's head;

상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계;an optical system disposed in front of both eyes of a user wearing the HMD frame and allowing the real world to be transmitted through the user's field of view;

상기 광학계를 통해 투과되어 보이는 실제 세계와 함께, 상기 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이;a display for outputting image light so that training information according to the training content can be provided on a screen optimized to the user along with the real world transmitted through the optical system;

상기 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성하는 피드백 생성부;a feedback generator configured to generate feedback information and an effect according to an interaction between the user and the training content;

상기 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이로 전송 제어하되, 상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트가 상기 훈련 콘텐츠와 연동하여 상기 사용자에게 제공되도록 제어하는 제어부; 및A control unit that generates image information to provide training information recognizable to the user and controls transmission to the display, and controls the feedback information and effects generated by the feedback generator to be provided to the user in conjunction with the training content ; and

상기 피드백 생성부에서 생성된 피드백 정보 및 이펙트가 상기 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자와 공유되도록 전파받아 상기 제어부에 전달하는 피드백 공유부를 포함하는 것을 그 구성상의 특징으로 한다.The feedback information and effects generated by the feedback generator are propagated to be shared with other users participating in the augmented reality tactical training, and the feedback information and effects generated according to the interaction between other users and the training content are communicated with the user. It is characterized in that it includes a feedback sharing unit that receives the propagation to be shared and transmits it to the control unit.

바람직하게는, 상기 훈련 정보는,Preferably, the training information,

가상 적군 및 타격 대상을 포함하는 군에서 선택된 적어도 하나 이상의 훈련 오브젝트를 포함할 수 있다.It may include at least one or more training objects selected from a group including a virtual enemy group and a target to be hit.

더욱 바람직하게는, 상기 훈련 콘텐츠는,More preferably, the training content comprises:

모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트를 제공하여, 상기 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공될 수 있다.By providing a training object of the same size, position, and posture to all users, the same may be provided to all users participating in the augmented reality tactical training.

바람직하게는, 상기 훈련 콘텐츠는,Preferably, the training content comprises:

목표 타격 훈련, 모의 전투 훈련, 또는 모의 전술 훈련 중 어느 하나를 위한 콘텐츠일 수 있다.It may be content for any one of target hitting training, simulated combat training, or simulated tactical training.

바람직하게는,Preferably,

상기 피드백 생성부는, 그래픽, 사운드 및 햅틱을 포함하는 군에서 선택된 적어도 하나 이상의 종류의 이펙트를 생성하고,The feedback generator generates at least one or more types of effects selected from the group including graphics, sound and haptics,

상기 제어부는, 상기 이펙트의 종류에 따라 상기 디스플레이, 상기 머리 착용형 디스플레이 장치와 연결된 음향 출력 장치 및 햅틱 출력 장치 중 적어도 어느 하나와 연동하여 상기 이펙트가 사용자에게 제공되도록 제어할 수 있다.The controller may control the effect to be provided to the user by interworking with at least one of the display, the sound output device connected to the head mounted display device, and the haptic output device according to the type of the effect.

바람직하게는,Preferably,

상기 HMD 프레임에 장착되어 사용자의 시선 방향의 영상을 촬영하고, 마커를 인식하기 위한 카메라를 더 포함하며,It is mounted on the HMD frame to take an image in the user's gaze direction, further comprising a camera for recognizing a marker,

상기 제어부는, 인식한 마커의 정보에 따른 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이로 전송 제어할 수 있다.The controller may generate image information to provide training information according to the recognized marker information and control transmission to the display.

바람직하게는,Preferably,

상기 사용자와 상기 훈련 콘텐츠와의 상호 작용을 인식하여 상기 피드백 생성부에 전달하는 상호 작용 인식부를 더 포함할 수 있다.It may further include an interaction recognition unit for recognizing an interaction between the user and the training content and transmitting it to the feedback generator.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head mounted display device,

상기 HMD 프레임에 장착되어 위치 정보를 제공하기 위한 GPS 모듈;a GPS module mounted on the HMD frame to provide location information;

상기 머리 착용형 디스플레이 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부;a power supply unit for supplying power for driving the head mounted display device;

상기 전원 공급부의 온/오프를 위한 스위치부; 및a switch unit for on/off of the power supply unit; and

상기 제어부의 제어 하에 상기 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치와 상기 피드백 정보 및 이펙트를 송수신하기 위한 데이터 통신을 수행하는 통신부를 더 포함하여 구성할 수 있다.It may be configured to further include a communication unit that performs data communication for transmitting and receiving the feedback information and the effect with another head-wearable display device participating in the augmented reality tactical training under the control of the control unit.

본 발명에서 제안하고 있는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유함으로써, 복수의 사용자가 모두 동일한 훈련 콘텐츠에 따라 훈련을 하면서도, 피드백이 서로 공유되어 협동 훈련을 하는 것과 유사한 훈련 효과를 낼 수 있다.According to the tactical training system for sharing feedback according to training in augmented reality proposed in the present invention, a head-mounted display device that provides augmented reality according to training content for augmented reality tactical training in which a plurality of users participate is provided. By sharing feedback information and effects worn by each user and generated according to the user's interaction with the training content with other users, a plurality of users can all train according to the same training content, while the feedback is shared and collaboration A training effect similar to that of training can be achieved.

또한, 본 발명에서 제안하고 있는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 따르면, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일한 훈련 콘텐츠를 제공하되, 모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트가 제공되도록 함으로써, 하나의 훈련 콘텐츠를 개발하는 것만으로 쉽게 여러 사용자가 증강현실 전술 훈련을 할 수 있고, 개별 사용자에 따른 영상 제어를 최소화하여 신속하게 훈련 콘텐츠를 진행하면서도 피드백을 제공할 수 있다.In addition, according to the tactical training system for sharing feedback according to training in augmented reality proposed in the present invention, the same training content is provided to all users participating in augmented reality tactical training, but the same size, location and By providing the training object of posture, multiple users can easily train augmented reality tactics just by developing one training content, and provide feedback while rapidly progressing training content by minimizing image control according to individual users can do.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서, 사용자 장치의 구성을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템의 머리 착용형 디스플레이 장치의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서, 두 개의 머리 착용형 디스플레이 장치에 훈련 콘텐츠가 제공되는 모습을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템의 두 개의 머리 착용형 디스플레이 장치에서 피드백 정보 및 이펙트가 공유되는 모습을 예를 들어 도시한 도면.1 is a view showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a diagram illustrating a schematic configuration of a general band-type head mounted display (HMD).
3 is a diagram illustrating a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention.
4 is a diagram illustrating, for example, a configuration of a user device in a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention.
5 is a diagram illustrating a detailed configuration of a head-mounted display device of a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention.
6 is a diagram illustrating, for example, a state in which training content is provided to two head-wearable display devices in a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention.
7 is a diagram illustrating, for example, a state in which feedback information and effects are shared in two head-wearable display devices of a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 3은 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템은, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공되는 훈련 콘텐츠에 따른 증강현실을 제공하는 복수의 머리 착용형 디스플레이 장치(100)를 포함하여 구성될 수 있다. 사용자와 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트가 생성되는데, 머리 착용형 디스플레이 장치(100)들이 피드백 정보 및 이펙트를 서로 공유함으로써, 복수의 사용자가 동일한 훈련 포맷에 따라 훈련을 하면서도, 피드백이 서로 공유되어 협동 훈련을 하는 것과 유사한 훈련 효과를 낼 수 있다.3 is a diagram illustrating a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention. As shown in FIG. 3 , the tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention is applied to each user's body for augmented reality tactical training in which a plurality of users participate. It may be worn, and may be configured to include a plurality of head-wearable display devices 100 that provide augmented reality according to training content provided equally to all users participating in augmented reality tactical training. Feedback information and effects are generated according to the interaction between the user and the training content. As the head mounted display devices 100 share the feedback information and effects with each other, a plurality of users while training according to the same training format, the feedback These are shared with each other and can produce a training effect similar to that of cooperative training.

여기서, 훈련 콘텐츠는, 목표 타격 훈련, 모의 전투 훈련, 또는 모의 전술 훈련 중 어느 하나를 위한 콘텐츠일 수 있으며, 군사 훈련의 목적에 따라 다양한 훈련 콘텐츠가 개발 및 제공될 수 있다.Here, the training content may be content for any one of target strike training, simulated combat training, and simulated tactical training, and various training content may be developed and provided according to the purpose of military training.

머리 착용형 디스플레이 장치(100)에서, 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 제공된다는 것은, 훈련 콘텐츠에 따라 사용자가 인식할 수 있는 훈련 정보가 제공되는 것을 의미하는데, 훈련 정보는 가상 적군 및 타격 대상을 포함하는 군에서 선택된 적어도 하나 이상의 훈련 오브젝트를 포함할 수 있으며, 주변 상황 지도, 다른 사용자의 위치 정보, 현재 시각, 사용 가능한 수류탄이나 탄환 등 무기의 수, 지시사항, 가상 장애물, 가상 참호 등 다양한 정보를 더 포함할 수 있다.In the head-wearable display device 100 , that training information according to the training content is provided to the user means that training information that can be recognized by the user is provided according to the training content, and the training information includes a virtual enemy and a target. It may include at least one or more training objects selected from the group containing It may include more information.

도 4는 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서, 사용자 장치의 구성을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서는, 효과적인 훈련을 위해 머리 착용형 디스플레이 장치(100) 이외에도, 배터리나 컴퓨터 등이 수납된 배낭, 훈련 콘텐츠와의 상호 작용을 위한 총 등의 사용자 장치를 더 포함할 수 있다. 즉, 증강현실 전술 훈련에 참여하는 사용자는, 머리 착용형 디스플레이 장치(100)와 배낭을 착용하고, 총을 이용해 전술 훈련을 수행할 수 있다. 그밖에, 센서나 햅틱 액추에이터가 부착된 수트 등 웨어러블 장치를 더 포함하여 다양한 피드백 및 이펙트를 제공할 수 있고, 총 이외의 수류탄 등의 무기를 더 포함할 수도 있다. 이때, 총이나 수류탄은, 실제 작동하는 무기가 아닌 훈련 콘텐츠와의 상호 작용을 위해 제작된 것일 수 있다.4 is a diagram illustrating, for example, a configuration of a user device in a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention. 4, in the tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention, in addition to the head mounted display device 100 for effective training, a battery or computer, etc. It may further include user devices such as a stowed backpack, a gun for interaction with training content, and the like. That is, a user participating in the augmented reality tactical training may wear the head-mounted display device 100 and a backpack, and perform tactical training using a gun. In addition, various feedback and effects may be provided by further including a wearable device such as a suit having a sensor or a haptic actuator attached thereto, and a weapon such as a grenade may be further included in addition to a gun. In this case, the gun or the grenade may not be a weapon that actually works, but may be made for interaction with training content.

도 5는 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템의 머리 착용형 디스플레이 장치(100)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템의 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110), 광학계(120), 디스플레이(130), 피드백 생성부(140), 제어부(150) 및 피드백 공유부(160)를 포함하여 구성될 수 있으며, 카메라(170), 상호 작용 인식부(180), GPS 모듈(190), 전원 공급부(200), 스위치부(210) 및 통신부(220)를 더 포함하여 구성될 수 있다.5 is a diagram illustrating a detailed configuration of a head-wearable display device 100 of a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention. As shown in FIG. 5 , the head-wearable display device 100 of the tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention includes an HMD frame 110 and an optical system 120 . ), the display 130 , the feedback generating unit 140 , the control unit 150 and the feedback sharing unit 160 , the camera 170 , the interaction recognition unit 180 , and the GPS module 190 . ), a power supply unit 200 , a switch unit 210 and a communication unit 220 may be further included.

HMD 프레임(110)은, 증강현실 전술 훈련을 위해 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있으며, 헬멧은 안전한 군사 작전 수행을 위한 군모 형태일 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.The HMD frame 110 is a frame configuration of the head wearable display device 100 that can be worn on the user's head for augmented reality tactical training. The HMD frame 110 may be configured in the form of a helmet or goggles having a frame structure through which light can enter while being worn on the user's head. Here, when the HMD frame 110 is made in the form of a helmet, it may be composed of a helmet (not shown) worn on the user's head and a display frame (not shown) disposed in front of the helmet, and the helmet is used for safe military operations. It may be in the form of a military cap for performance. In addition, when the HMD frame 110 is configured in the form of goggles, it may be composed of a band frame (not shown) that can be worn on a user's head, and a goggles frame (not shown) that is fastened and fixed to the band frame.

광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서, 가시광선 영역의 빛을 투과 및 반사시킬 수 있는 재질의 렌즈, 미러, 빔스플리터 등으로 구성될 수 있다.The optical system 120 is disposed in front of both eyes of the user wearing the HMD frame 110 and is configured to allow the real world to be transmitted through the user's field of view. The optical system 120 is a glass type through which the real world can be seen through the user's field of view, and may be composed of a lens, a mirror, a beam splitter, etc. made of a material capable of transmitting and reflecting light in the visible ray region.

디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께, 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(150)의 제어 하에, 훈련 콘텐츠에 따른 훈련 정보를 증강현실 기반으로 출력하면서, 사용자와 훈련 콘텐츠의 상호 작용에 따른 피드백 정보 및 이펙트가 사용자에게 제공되도록 영상 광을 출력할 수 있다.The display 130 may output the image light so that training information according to the training content can be provided on a screen optimized to the user along with the real world transmitted through the optical system 120 . The display 130 displays an image such that, under the control of the controller 150, which will be described later, feedback information and effects according to the interaction between the user and the training content are provided to the user while outputting training information according to the training content based on augmented reality. light can be output.

또한, 각 사용자에게 제공되는 훈련 콘텐츠는 모두 동일할 수 있다. 보다 구체적으로는, 모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트를 제공하여, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공될 수 있다.In addition, training content provided to each user may be the same. More specifically, by providing a training object of the same size, position, and posture to all users, the same may be provided to all users participating in the augmented reality tactical training.

도 6은 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서, 두 개의 머리 착용형 디스플레이 장치(100)에 훈련 콘텐츠가 제공되는 모습을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서는, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일한 훈련 콘텐츠를 제공할 수 있다. 따라서 사용자의 뷰 필드(10)에서 실제 세계는 각 사용자에 따라 서로 상이하지만, 훈련 콘텐츠에 포함된 훈련 오브젝트(20)는 동일할 수 있다. 즉, 도 6에서, 사용자 A와 사용자 B의 위치와 바라보는 방향이 서로 다르므로, 뷰 필드(10) 내에서 두 사용자의 시야를 통한 실제 세계는 서로 상이하지만, 훈련 콘텐츠의 진행에 따라 두 사용자에게 동시에 제공되는 훈련 오브젝트(20)인 가상 적군은, 각 사용자를 기준으로 크기, 위치, 자세가 서로 동일하게, 뷰 필드(10) 내의 좌측에서 각 사용자를 마주 보도록 제공될 수 있다. 따라서 사용자 A가 보는 훈련 오브젝트(20)와 사용자 B가 보는 훈련 오브젝트(20)는 서로 동일하나 배경인 실제 세계는 서로 상이하게 된다.6 is an example of a state in which training content is provided to two head-wearable display devices 100 in a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention. It is a drawing. As shown in FIG. 6 , in the tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention, the same training content can be provided to all users participating in augmented reality tactical training. . Accordingly, although the real world in the user's field of view 10 is different for each user, the training object 20 included in the training content may be the same. That is, in FIG. 6 , since the positions and viewing directions of user A and user B are different from each other, the real world through the field of view of the two users in the field of view 10 is different from each other, but as the training content progresses, the two users The virtual enemy, which is the training object 20 simultaneously provided to the user, may be provided to face each user from the left in the field of view 10 with the same size, position, and posture with respect to each user. Accordingly, the training object 20 viewed by the user A and the training object 20 viewed by the user B are identical to each other, but the background real world is different from each other.

따라서, 하나의 훈련 콘텐츠를 개발하는 것만으로 쉽게 여러 사용자가 동시에 증강현실 전술 훈련을 할 수 있고, 개별 사용자의 위치나 상황 등에 의한 훈련 오브젝트(20)의 세부적인 영상 제어를 최소화하여 신속하게 훈련 콘텐츠를 진행하면서도, 각 사용자에 의한 피드백을 다른 사용자와 공유할 수 있다.Therefore, multiple users can easily perform augmented reality tactical training at the same time just by developing one training content, and by minimizing the detailed image control of the training object 20 by the location or situation of individual users, the training content can be quickly In the process, feedback by each user can be shared with other users.

피드백 생성부(140)는, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성할 수 있다. 여기서, 피드백 정보 및 이펙트는, 사용자와 훈련 콘텐츠와의 상호 작용의 종류에 따라 서로 상이할 수 있다. 또한, 피드백 정보는, 상호 작용의 종류, 성패, 위치 및 결과를 포함하는 군에서 선택된 적어도 하나 이상을 포함할 수 있으며, 피드백 생성부(140)는, 그래픽, 사운드 및 햅틱을 포함하는 군에서 선택된 적어도 하나 이상의 종류의 이펙트를 생성할 수 있다.The feedback generator 140 may generate feedback information and an effect according to an interaction between the user and the training content. Here, the feedback information and the effect may be different from each other according to the type of interaction between the user and the training content. In addition, the feedback information may include at least one selected from the group including the type of interaction, success or failure, location, and result, and the feedback generator 140 is selected from the group including graphics, sound, and haptics. At least one or more types of effects may be created.

예를 들어, 사용자가 가상 적군을 타격한 경우, 피드백 정보는 타격 성공 여부, 타격 위치, 적군 부상/사망 결과 등을 포함할 수 있으며, 이펙트는 가상 적군이 쓰러지거나 피를 흘리는 그래픽, 총소리와 비명 등의 사운드, 총을 쏘는 타격감 등의 햅틱 등을 포함할 수 있다.For example, when the user hits a virtual enemy, the feedback information may include whether the hit was successful, the location of the hit, the result of the enemy's injury/death, etc., and the effect is a graphic of the virtual enemy falling or bleeding, gunshots and scream It may include a sound such as a back, a haptic such as a feeling of shooting a gun, and the like.

제어부(150)는, 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 디스플레이(130)로 전송 제어하되, 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트가 훈련 콘텐츠와 연동하여 사용자에게 제공되도록 제어할 수 있다. 즉, 피드백 정보와 이펙트 중 그래픽으로 제공되는 것은, 제어부(150)가 디스플레이(130)를 통해 사용자에게 제공되도록 제어할 수 있다.The controller 150 generates image information to provide training information recognizable to the user and transmits and controls the transmission to the display 130 , but the feedback information and effects generated by the feedback generator 140 are linked with the training content. You can control what is provided to the user. That is, among the feedback information and the effect, which is provided as a graphic, the controller 150 may control to provide it to the user through the display 130 .

또한, 제어부(150)는, 이펙트의 종류에 따라 디스플레이(130), 머리 착용형 디스플레이 장치(100)와 연결된 음향 출력 장치 및 햅틱 출력 장치 중 적어도 어느 하나와 연동하여 이펙트가 사용자에게 제공되도록 제어할 수 있다. 즉, 이펙트 중에는, 사운드나 햅틱으로 제공되는 이펙트가 포함되므로, 제어부(150)는 이펙트의 종류에 따라 출력 장치를 선택하여 제공할 수 있다. 이때, 머리 착용형 디스플레이 장치(100)는 청각적 이펙트 제공을 위해 HMD 프레임(110)에 스피커 등을 더 포함할 수 있고, 다른 사용자와 음성 통신으로 서로 교신이 가능한 마이크도 포함할 수 있다. 또한, 수트나 배낭 등의 웨어러블 장치, 총 등을 햅틱 출력 장치로 사용하여, 이펙트를 사용자에게 제공할 수 있다.In addition, the controller 150 may control the effect to be provided to the user by interworking with at least one of the display 130 , the sound output device connected to the head mounted display device 100 , and the haptic output device according to the type of effect. can That is, since effects provided as sound or haptics are included among the effects, the controller 150 may select and provide an output device according to the type of effect. In this case, the head mounted display device 100 may further include a speaker in the HMD frame 110 to provide an auditory effect, and may also include a microphone capable of communicating with other users through voice communication. In addition, an effect may be provided to a user by using a wearable device such as a suit or a backpack, a gun, or the like as a haptic output device.

피드백 공유부(160)는, 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트가 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 사용자와 공유되도록 전파받아 제어부(150)에 전달할 수 있다. 즉, 도 3에 도시된 바와 같이, 머리 착용형 디스플레이 장치(100)들 사이에 피드백 정보와 이펙트를 공유할 수 있는데, 각각의 머리 착용형 디스플레이 장치(100)의 피드백 공유부(160)가 직접 통신부(220)를 통해 통신하여 데이터의 공유 처리를 할 수 있으며, 서버와의 통신으로 공유 처리를 할 수도 있다.The feedback sharing unit 160 propagates the feedback information and effects generated by the feedback generation unit 140 to be shared with other users participating in the augmented reality tactical training, and is generated according to interaction with other users and training content. The feedback information and the effect may be transmitted to the control unit 150 by being propagated to be shared with the user. That is, as shown in FIG. 3 , feedback information and effects can be shared between the head mounted display devices 100 , and the feedback sharing unit 160 of each head worn display device 100 is directly Data sharing may be performed by communicating through the communication unit 220 , and sharing processing may be performed through communication with a server.

도 7은 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템의 두 개의 머리 착용형 디스플레이 장치(100)에서 피드백 정보 및 이펙트가 공유되는 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에서는, 사용자 A가 훈련 오브젝트(20)인 가상 적군의 타격에 성공하면, 타격 성공, 가상 적군 사망의 피드백 정보와 타격점 생성, 가상 적군 쓰러짐의 그래픽 이펙트가 생성되고, 도 7의 좌측 사용자 A의 뷰 필드(10)에서 확인할 수 있는 바와 같이 이러한 피드백 정보 및 이펙트가 사용자 A에게 제공될 수 있다(도 7에서 ⓐ로 표시). 사용자 A에 의해 생성된 피드백 정보 및 이펙트는 피드백 공유부(160)를 통해 실시간으로 사용자 B와 공유되어, 사용자 B도 뷰 필드(10)에서 사용자 A에 의한 피드백 정보 및 이펙트를 확인할 수 있다(도 7에서 ⓑ로 표시). 즉, 사용자 B는 가상 적군의 타격에 성공한 바가 없어도, 사용자 A에 의한 피드백 정보 및 이펙트가 공유되어 사용자 B에게 제공되므로, 두 사용자가 훈련 콘텐츠로 각자 훈련을 하면서도 서로 협동 훈련을 하는 것과 유사한 경험을 할 수 있고, 이를 통해 전술 훈련의 효과를 높일 수 있다. 사용자 B에게 사용자 A의 피드백 정보 및 이펙트를 제공할 때에, 제어부(150)는 사용자 A에 의해 공유된 정보라는 것을 사용자 B의 뷰 필드(10)에 “사용자 A의 타격 성공” 등으로 알려주어, 본인에 의해 생성된 피드백 정보 및 이펙트와 구분되도록 할 수 있다.7 is an example showing how feedback information and effects are shared in two head-wearable display devices 100 of a tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention. it is one drawing As shown in FIG. 7 , in the tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention, if the user A succeeds in hitting the virtual enemy, which is the training object 20, strike Feedback information of success, virtual enemy death, and the creation of hitting points, and graphic effects of virtual enemy collapse are generated, and as can be seen in the field of view 10 of user A on the left of FIG. 7 , these feedback information and effects are sent to user A may be provided (indicated by ⓐ in FIG. 7 ). Feedback information and effects generated by user A are shared with user B in real time through the feedback sharing unit 160, so that user B can also check feedback information and effects by user A in the field of view 10 (Fig. 7 to ⓑ). That is, even if user B has never successfully hit the virtual enemy, feedback information and effects from user A are shared and provided to user B. This can increase the effectiveness of tactical training. When providing user A's feedback information and effects to user B, the control unit 150 informs the user B's field of view 10 that it is information shared by user A with “successful hitting of user A”, etc., It can be distinguished from feedback information and effects generated by the user.

카메라(170)는, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하고, 마커를 인식할 수 있다. 훈련 필요에 따라 실제 세계에 마커가 비치될 수 있는데, 카메라(170)는 비치된 마커를 인식하여 제어부(150)에 전달할 수 있다. 제어부(150)는, 인식한 마커의 정보에 따른 훈련 정보가 제공되도록 영상 정보를 생성하여 디스플레이(130)로 전송 제어할 수 있다. 예를 들어, 특정 위치에 QR코드, 바코드, 로고 등의 마커를 비치하고, 사용자가 해당 마커가 비치된 영역을 바라볼 때, 카메라(170)가 마커를 인식하여 제어부(150)에 전달하면, 대응하는 훈련 정보가 사용자에게 제공되도록 할 수 있다. 이때, 훈련 정보는 훈련 오브젝트(20), 상황 정보 등을 포함할 수 있다.The camera 170 may be mounted on the HMD frame 110 to capture an image in the user's gaze direction and recognize the marker. A marker may be provided in the real world according to training needs, and the camera 170 may recognize the provided marker and transmit it to the controller 150 . The controller 150 may generate image information to provide training information according to information on the recognized marker, and may transmit and control the image information to the display 130 . For example, when a marker such as a QR code, a barcode, or a logo is provided at a specific location, and the user looks at the area where the corresponding marker is provided, the camera 170 recognizes the marker and delivers it to the control unit 150, Corresponding training information may be provided to the user. In this case, the training information may include the training object 20 , context information, and the like.

상호 작용 인식부(180)는, 사용자와 훈련 콘텐츠와의 상호 작용을 인식하여 피드백 생성부(140)에 전달할 수 있다. 보다 구체적으로, 상호 작용 인식부(180)는, 카메라(170), 센서 등을 이용해, 사용자와 훈련 콘텐츠와의 상호 작용을 인식할 수 있으며, 실시예에 따라서는 총이나 배낭 등 사용자 장치에 구비된 센서를 더 이용할 수 있다.The interaction recognition unit 180 may recognize an interaction between the user and the training content and transmit it to the feedback generator 140 . More specifically, the interaction recognition unit 180 may recognize the interaction between the user and the training content by using the camera 170, a sensor, etc. More sensors can be used.

한편, 본 발명의 일실시예에 따른 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템의 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(190), 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(200), 전원 공급부(200)의 온/오프를 위한 스위치부(210), 및 제어부(150)의 제어 하에 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치(100)와 피드백 정보 및 이펙트를 송수신하기 위한 데이터 통신을 수행하는 통신부(220)를 더 포함하여 구성될 수 있다.On the other hand, the head-mounted display device 100 of the tactical training system for sharing feedback according to training in augmented reality according to an embodiment of the present invention is mounted on the HMD frame 110 to provide location information GPS The module 190, the power supply unit 200 for supplying power for driving the head mounted display device 100, the switch unit 210 for on/off of the power supply unit 200, and the control unit 150 It may be configured to further include a communication unit 220 that performs data communication for transmitting and receiving feedback information and effects with another head-wearable display device 100 participating in augmented reality tactical training under the control of .

또한, GPS 모듈(190)은 증강현실 전술 훈련에 참여하는 사용자의 현재 위치 정보를 제공할 수 있다. 또한, 스위치부(210)는 전원 공급부(200)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스 즉, 배낭 등에 형성될 수 있다. 또한, 통신부(220)는 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(220)와 연동하여 연결 접속되고, 피드백 정보 및 이펙트가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 실시예에 따라서는, 복수의 머리 착용형 디스플레이 장치(100)의 통신부(220)는, 서버를 통해 피드백 정보 및 이펙트가 서로 공유되도록 데이터 통신을 수행할 수도 있다. 여기서, 통신부(220)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.In addition, the GPS module 190 may provide current location information of the user participating in the augmented reality tactical training. In addition, the switch unit 210 installs a switch for on/off of the power supply unit 200 on one side of the HMD frame 110 or a separate device connected to the HMD frame 110 by wire, that is, a backpack. may be formed. In addition, the communication unit 220 is connected and connected with the communication unit 220 of the other head-wearable display device 100 participating in the augmented reality tactical training, and performs data communication so that feedback information and effects can be shared with each other. can According to an embodiment, the communication unit 220 of the plurality of head mounted display devices 100 may perform data communication so that feedback information and effects are shared with each other through a server. Here, the communication unit 220 may be understood that various wireless communication methods including 3G/4G/5G and LTE capable of Internet access are applied.

본 발명에서 제안하고 있는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 따르면, 복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 훈련 콘텐츠에 따른 증강현실을 제공하는 머리 착용형 디스플레이 장치를 각각의 사용자가 착용하고, 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성되는 피드백 정보 및 이펙트를 다른 사용자와 공유함으로써, 복수의 사용자가 모두 동일한 훈련 콘텐츠에 따라 훈련을 하면서도, 피드백이 서로 공유되어 협동 훈련을 하는 것과 유사한 훈련 효과를 낼 수 있다.According to the tactical training system for sharing feedback according to training in augmented reality proposed in the present invention, a head-mounted display device that provides augmented reality according to training content for augmented reality tactical training in which a plurality of users participate is provided. By sharing feedback information and effects worn by each user and generated according to the user's interaction with the training content with other users, a plurality of users can all train according to the same training content, while the feedback is shared and collaboration A training effect similar to that of training can be achieved.

또한, 본 발명에서 제안하고 있는 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템에 따르면, 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일한 훈련 콘텐츠를 제공하되, 모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트(20)가 제공되도록 함으로써, 하나의 훈련 콘텐츠를 개발하는 것만으로 쉽게 여러 사용자가 증강현실 전술 훈련을 할 수 있고, 개별 사용자에 따른 영상 제어를 최소화하여 신속하게 훈련 콘텐츠를 진행하면서도 피드백을 제공할 수 있다.In addition, according to the tactical training system for sharing feedback according to training in augmented reality proposed in the present invention, the same training content is provided to all users participating in augmented reality tactical training, but the same size, location and By providing the training object 20 of the posture, multiple users can easily perform augmented reality tactical training just by developing one training content, and while rapidly progressing training content by minimizing image control according to individual users You can provide feedback.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

10: 뷰 필드
20: 훈련 오브젝트
100: 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 피드백 생성부
150: 제어부
160: 피드백 공유부
170: 카메라
180: 상호 작용 인식부
190: GPS 모듈
200: 전원 공급부
210: 스위치부
220: 통신부10: Field of View
20: training object
100: head worn display device
110: HMD frame
120: optical system
130: display
140: feedback generator
150: control unit
160: feedback sharing unit
170: camera
180: interaction recognition unit
190: GPS module
200: power supply
210: switch unit
220: communication department

Claims (8)

복수의 사용자가 참여하는 증강현실 전술 훈련을 위해 각각의 사용자의 신체에 착용되어, 상기 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공되는 훈련 콘텐츠에 따른 증강현실을 제공하는 복수의 머리 착용형 디스플레이 장치(100)를 포함하며,
상기 머리 착용형 디스플레이 장치(100)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께, 상기 훈련 콘텐츠에 따른 훈련 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
상기 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 피드백 정보 및 이펙트를 생성하는 피드백 생성부(140);
상기 사용자가 인식할 수 있는 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이(130)로 전송 제어하되, 상기 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트가 상기 훈련 콘텐츠와 연동하여 상기 사용자에게 제공되도록 제어하는 제어부(150); 및
상기 피드백 생성부(140)에서 생성된 피드백 정보 및 이펙트가 상기 증강현실 전술 훈련에 참여하는 다른 사용자와 공유되도록 전파하고, 다른 사용자와 상기 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자와 공유되도록 전파받아 상기 제어부(150)에 전달하는 피드백 공유부(160)를 포함하며,
상기 훈련 정보는,
가상 적군 및 타격 대상을 포함하는 군에서 선택된 적어도 하나 이상의 훈련 오브젝트(20)를 포함하고,
상기 훈련 콘텐츠는,
목표 타격 훈련, 모의 전투 훈련, 또는 모의 전술 훈련 중 어느 하나를 위한 콘텐츠이고, 모든 사용자에게 동일한 크기, 위치 및 자세의 훈련 오브젝트(20)를 제공하여, 상기 증강현실 전술 훈련에 참여하는 모든 사용자에게 동일하게 제공되어, 개별 사용자의 상황에 따른 영상 제어를 최소화하며,
상기 피드백 생성부(140)는,
그래픽, 사운드 및 햅틱을 포함하는 군에서 선택된 적어도 하나 이상의 종류의 이펙트를 생성하고,
상기 제어부(150)는,
상기 이펙트의 종류에 따라 상기 디스플레이(130), 상기 머리 착용형 디스플레이 장치(100)와 연결된 음향 출력 장치 및 햅틱 출력 장치 중 적어도 어느 하나와 연동하여 상기 이펙트가 사용자에게 제공되도록 제어하며,
상기 HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하고, 마커를 인식하기 위한 카메라(170)를 더 포함하며,
상기 제어부(150)는,
인식한 마커의 정보에 따른 훈련 정보가 제공되도록 영상 정보를 생성하여 상기 디스플레이(130)로 전송 제어하고,
상기 사용자와 상기 훈련 콘텐츠와의 상호 작용을 인식하여 상기 피드백 생성부(140)에 전달하는 상호 작용 인식부(180);
상기 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(190);
상기 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(200);
상기 전원 공급부(200)의 온/오프를 위한 스위치부(210); 및
상기 제어부(150)의 제어 하에 상기 증강현실 전술 훈련에 참여하는 다른 머리 착용형 디스플레이 장치(100)와 상기 피드백 정보 및 이펙트를 송수신하기 위한 데이터 통신을 수행하는 통신부(220)를 더 포함하여 구성하며,
상기 제어부(150)는,
피드백 공유부(160)에 의해 전파받은 다른 사용자와 훈련 콘텐츠와의 상호 작용에 따라 생성된 피드백 정보 및 이펙트가 상기 사용자에게 제공되도록 제어할 때, 다른 사용자에 의해 공유된 피드백 정보 및 이펙트임을 알려주어, 본인에 의해 생성된 피드백 정보 및 이펙트와 구분되도록 하는 것을 특징으로 하는, 증강현실 내에서 훈련에 따른 피드백을 공유하는 전술 훈련 시스템.A plurality of head-wearing types that are worn on the body of each user for augmented reality tactical training in which a plurality of users participate, and provide augmented reality according to the training content provided equally to all users participating in the augmented reality tactical training It includes a display device 100,
The head-wearable display device 100,
HMD frame 110 that can be worn on the user's head;
an optical system 120 disposed in front of both eyes of a user wearing the HMD frame 110 and allowing the real world to be transmitted through the user's field of view;
a display 130 for outputting image light so that training information according to the training content can be provided to the user along with the real world transmitted through the optical system 120;
a feedback generator 140 for generating feedback information and effects according to the interaction between the user and the training content;
The image information is generated and transmitted to the display 130 so that the training information recognizable by the user is provided, but the feedback information and the effect generated by the feedback generator 140 are linked with the training content to the user a control unit 150 for controlling to be provided to; and
The feedback information and effects generated by the feedback generator 140 are propagated to be shared with other users participating in the augmented reality tactical training, and feedback information and effects generated according to interactions with other users and the training content are and a feedback sharing unit 160 that receives propagation to be shared with the user and transmits it to the control unit 150,
The training information is
Containing at least one or more training objects 20 selected from the group including the virtual enemy and the target,
The training content is
It is content for any one of target hitting training, simulated combat training, or simulated tactical training, and provides training objects 20 of the same size, position, and posture to all users, to all users participating in the augmented reality tactical training Provided in the same way, it minimizes image control according to each user's situation,
The feedback generating unit 140,
generating at least one or more kinds of effects selected from the group including graphics, sound, and haptics;
The control unit 150,
Controls so that the effect is provided to the user by interworking with at least one of the display 130, the sound output device connected to the head mounted display device 100, and the haptic output device according to the type of the effect,
It is mounted on the HMD frame 110 to take an image in the user's gaze direction, further comprising a camera 170 for recognizing a marker,
The control unit 150,
Transmission control to the display 130 by generating image information to provide training information according to the recognized marker information,
an interaction recognition unit 180 for recognizing an interaction between the user and the training content and transmitting it to the feedback generator 140;
a GPS module 190 mounted on the HMD frame 110 to provide location information;
a power supply unit 200 for supplying power for driving the head wearable display device 100;
a switch unit 210 for on/off of the power supply unit 200; and
It further comprises a communication unit 220 that performs data communication for transmitting and receiving the feedback information and effect with another head-wearable display device 100 participating in the augmented reality tactical training under the control of the control unit 150, and ,
The control unit 150,
When controlling the feedback information and effects generated according to the interaction between the training content and other users propagated by the feedback sharing unit 160 to be provided to the user, it informs that the feedback information and effects shared by other users are , A tactical training system for sharing feedback according to training in augmented reality, characterized in that it is distinguished from the feedback information and effects generated by the user. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190163209A 2019-12-10 2019-12-10 Tactical training system to share a feedback in augmented reality KR102305408B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190163209A KR102305408B1 (en) 2019-12-10 2019-12-10 Tactical training system to share a feedback in augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163209A KR102305408B1 (en) 2019-12-10 2019-12-10 Tactical training system to share a feedback in augmented reality

Publications (2)

Publication Number Publication Date
KR20210072900A KR20210072900A (en) 2021-06-18
KR102305408B1 true KR102305408B1 (en) 2021-09-29

Family

ID=76623258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163209A KR102305408B1 (en) 2019-12-10 2019-12-10 Tactical training system to share a feedback in augmented reality

Country Status (1)

Country Link
KR (1) KR102305408B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939370A (en) * 2022-04-01 2023-10-24 北京字跳网络技术有限公司 Shooting control method for multiple devices and VR head display device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501632B1 (en) * 2013-11-29 2015-03-12 주식회사 비주얼리액터 Interactive 5D Rider fly Battle Racing device.
KR101689330B1 (en) * 2016-02-22 2016-12-26 조세희 Virtual reality simulation system
JP2019128757A (en) * 2018-01-24 2019-08-01 セイコーエプソン株式会社 Head-mounted display device and control method therefor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270114B2 (en) * 2019-08-30 2022-03-08 Lg Electronics Inc. AR device and method for controlling the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501632B1 (en) * 2013-11-29 2015-03-12 주식회사 비주얼리액터 Interactive 5D Rider fly Battle Racing device.
KR101689330B1 (en) * 2016-02-22 2016-12-26 조세희 Virtual reality simulation system
JP2019128757A (en) * 2018-01-24 2019-08-01 セイコーエプソン株式会社 Head-mounted display device and control method therefor

Also Published As

Publication number Publication date
KR20210072900A (en) 2021-06-18

Similar Documents

Publication Publication Date Title
US11455137B2 (en) Systems and methods for virtual and augmented reality
US11298288B2 (en) Providing enhanced images for navigation
KR102305409B1 (en) Tactical training system optimized for multiple users to share a watch in augmented reality
JP5483761B2 (en) Video output device, stereoscopic video observation device, video presentation system, and video output method
US10108013B2 (en) Indirect-view augmented reality display system
WO2014002346A1 (en) Video processing device, video processing method, and video processing system
JP2020511687A (en) Video see-through display system
JP2015026286A (en) Display device, display system and control method of display device
KR100713024B1 (en) Projection type head mounted display apparatus
KR102305408B1 (en) Tactical training system to share a feedback in augmented reality
KR100586818B1 (en) Head mounted display using augmented reality
JP6331374B2 (en) Head-mounted display device
KR102299346B1 (en) Tactical training system sharing the view field of head mounted display apparatus
JP6598575B2 (en) Method and program for controlling head mounted display system
KR20210116943A (en) An optical device with wider field of view using concave lens and a head mounted display apparatus having thereof
JP2019179434A (en) Program, information processing device, and information processing method
JP6394174B2 (en) Head-mounted display device, image display system, method for controlling head-mounted display device, and computer program
KR101986808B1 (en) Wearable game device
JP6659793B1 (en) Program, method and information processing device
KR20230119304A (en) Aiming system and method for invisible area using wearable ar device
CN117427342A (en) AR virtual shooting optical system, AR virtual shooting gun and display method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant