KR20210065287A - Heavy Equipment Training Simulator based on Immersive Virtual Reality - Google Patents

Heavy Equipment Training Simulator based on Immersive Virtual Reality Download PDF

Info

Publication number
KR20210065287A
KR20210065287A KR1020190153789A KR20190153789A KR20210065287A KR 20210065287 A KR20210065287 A KR 20210065287A KR 1020190153789 A KR1020190153789 A KR 1020190153789A KR 20190153789 A KR20190153789 A KR 20190153789A KR 20210065287 A KR20210065287 A KR 20210065287A
Authority
KR
South Korea
Prior art keywords
training
user
content
heavy equipment
information
Prior art date
Application number
KR1020190153789A
Other languages
Korean (ko)
Other versions
KR102278900B1 (en
Inventor
김기태
전재현
이승민
Original Assignee
주식회사 토즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토즈 filed Critical 주식회사 토즈
Priority to KR1020190153789A priority Critical patent/KR102278900B1/en
Publication of KR20210065287A publication Critical patent/KR20210065287A/en
Application granted granted Critical
Publication of KR102278900B1 publication Critical patent/KR102278900B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Abstract

The present invention relates to a heavy equipment simulation training apparatus based on immersive virtual reality to provide realistic physical training to trainees of heavy equipment such as dozers and loaders. The physical component of the present invention comprises: a head mounted display device; a motion sensor device based on a leap motion; a 3D sound speaker; a user UI/UX device implementing haptic effects; and a client server linking multi-content. In addition, the content component of the present invention comprises: 3D realistic video/sound content based on VR; an interface based on a leap motion; an immersive haptic effector; and a multi-content linked client.

Description

몰입형 가상 현실 기반 중장비 훈련 장치{Heavy Equipment Training Simulator based on Immersive Virtual Reality}Heavy Equipment Training Simulator based on Immersive Virtual Reality

본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 가상 현실 기반 중장비 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련, 자율 훈련, 국가 자격 실기 훈련 및 상황 훈련을 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것이다.The present invention relates to a virtual reality-based heavy equipment training device for providing realistic physical training to heavy equipment trainees such as dozers and loaders, 3D image and sound media, lip motion-based gesture recognition control function, It relates to an immersive virtual reality-based heavy equipment simulation training device that provides educational training, autonomous training, national qualification practical training, and situational training as user services by using a haptic manipulation device that provides senses as a component of a simulator.

몰입형(Immersive) VR은 3D 영상과 3D 사운드, 실제 상황과 동일하게 극사실화 되어 운영되는 오감형 햅틱 이펙터 등을 시뮬레이터 사용자 인터페이스(UI/UX)로 제공하여 사용자가 마치 실제 상황에 처해있는 듯한 몰입감을 체험할 수 있도록 하는 극사실적인 가상 현실 기술이다.Immersive VR provides 3D images, 3D sound, and five-sensory haptic effectors that are operated in the same way as in real situations as a simulator user interface (UI/UX), giving the user an immersive feeling as if they were in a real situation. It is a hyper-realistic virtual reality technology that allows you to experience

건설 현장에서 주로 쓰이는 로더(Loader)와 도저(Dozer) 중장비는 산업 인력 관리 공단의 국가 자격 시험을 통해 운행 자격을 취득할 수 있는 장비로, 많은 훈련생들이 현장 실습을 통해 주행과 동작 실기를 연습하고 자격을 취득하여 현장에 배치된다.The loader and dozer heavy equipment mainly used at construction sites are equipment that can acquire operating qualifications through the National Qualification Test of the Industrial Human Resources Management Corporation. Many trainees practice driving and movement skills through field training. Qualified and deployed to the field.

그러나 이러한 현장 훈련만으로는 시간과 공간상의 제약이 심할 뿐 아니라 실제 건설 현장의 다양한 돌발이나 안전 상황에 대처하기에는 경험이 부족하게 되고, 자격 실기를 취득하였다 하여도 실기 시험에 포함되지 않은 다양한 상황에서 조작과 경험이 미숙해지는 단점이 있다.However, such on-site training alone is not only severely limited in time and space, but also lacks experience to cope with various unexpected or safety situations at the actual construction site. The downside is the lack of experience.

이에 실제와 유사한 도저와 로더 사용자 조작 장치를 가지고 화면상에서 주행과 동작에 대한 조작 훈련을 할 수 있도록 하는 가상 현실 기반 VR 훈련 시뮬레이션 장치들이 도입되기 시작하였으며 굴삭, 토취에 관련된 실제 상황을 시뮬레이션에 적용하기 위한 동작 계산법 등이 선행 특허 문헌 1의 대한민국 특허 등록번호 제10-1789523호 (굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램)을 통해 제시된 바 있다.Accordingly, virtual reality-based VR training simulation devices that allow operation training for driving and motion on the screen with a dozer and loader user operation device similar to the real one have started to be introduced, and the actual situation related to excavation and discharging has been applied to the simulation. For the operation calculation method, etc., it has been suggested through Korean Patent Registration No. 10-1789523 (excavator maximum digging force simulation method, an apparatus for executing the same, and a digging force simulation computer program stored in a recording medium) of Prior Patent Document 1).

VR 게임 시장에서는 증강 현실, 4D 효과, 햅틱 이펙터 등을 통해 현실 세계를 극사실적으로 표현하는 몰입형 VR 기술이 등장하고 있으며 이를 위해 HMD(Head Mounted Display), 3D 스피커, 오감형 햅틱 이펙터 등의 사용자 장비 기술들이 출현하고 있다. 그러나 이러한 기술들은 아직 레이싱이나 아케이드 게임을 위한 콘텐츠들로서, 컴퓨터 그래픽이 주는 효과와 몰입형 VR 콘텐츠를 적용한 오락성에 중점을 두어 제작하고 있는 실정으로 선행 특허 문헌 2의 대한민국 특허 등록번호 제10-1501632호 (인터랙티브 오감형 라이더 비행 배틀 레이싱 장치)를 통해 참고할 수 있다. In the VR game market, immersive VR technology that realistically expresses the real world through augmented reality, 4D effects, and haptic effectors is emerging. Equipment technologies are emerging. However, these technologies are still being produced as content for racing or arcade games, focusing on the effects of computer graphics and entertainment by applying immersive VR content. Korean Patent Registration No. 10-1501632 of Prior Patent Document 2 (Interactive Five Senses Rider Flight Battle Racing Device) can be used as a reference.

도저, 로더 중장비 훈련생들이 실제 훈련장과 동일한 시나리오로 현실 세계의 상황을 극사실적으로 표현한 몰입형 VR 시뮬레이션을 체험한다면, 훈련생 입장에서 볼 때 중장비 훈련을 보다 효과적으로 진행할 수 있을 뿐 아니라 교육 훈련 환경의 개선으로 장비 운행 경험을 확대하여 단기간에 높은 숙련도 달성을 기대할 수 있다.If trainees of heavy equipment dozer and loader experience an immersive VR simulation that realistically expresses real-world situations in the same scenario as the actual training ground, they can conduct heavy equipment training more effectively from the trainee’s point of view, as well as improve the educational and training environment. It can be expected to achieve high proficiency in a short period of time by expanding the equipment operation experience.

선행문헌 1. 대한민국 등록특허 등록번호 제10-1789523호(굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램)Prior Document 1. Republic of Korea Patent Registration No. 10-1789523 (Excavator maximum digging force simulation method, apparatus for executing the same, and digging force simulation computer program stored in a recording medium) 선행문헌 2. 대한민국 등록특허 등록번호 제10-1501632호(인터랙티브 오감형 라이더 비행 배틀 레이싱 장치)Prior Document 2. Republic of Korea Patent Registration No. 10-1501632 (Interactive Five Senses Rider Flight Battle Racing Device)

본 발명은 목적은 도저, 로더 중장비 훈련에 있어 고효율 3D 미디어와 오감형 햅틱 물리 환경 구축을 통해 사용자의 몰입감을 극대화하여 주변 환경이 현실이라고 느끼게 하는 몰입형 가상 현실 중장비 시뮬레이션 훈련 장치를 구현하여 중장비 교육 훈련의 질을 개선하고 훈련자의 숙련도를 단기간에 개선할 수 있도록 하고자 한다.The purpose of the present invention is to implement an immersive virtual reality heavy equipment simulation training device that maximizes the user's immersion through the construction of high-efficiency 3D media and five-sensory haptic physical environment in training dozer and loader heavy equipment to make the surrounding environment feel real, thereby providing heavy equipment education It aims to improve the quality of training and improve the skill level of trainees in a short period of time.

본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련, 자율 훈련, 국가 자격 실기 훈련 및 상황 훈련을 사용자 서비스로 제공함을 특징으로 한다.The present invention relates to an immersive virtual reality-based heavy equipment simulation training apparatus for providing realistic physical training to heavy equipment trainees such as dozers and loaders, 3D image and sound media, lip motion-based gesture recognition control function, and polarization to the user It is characterized by providing educational training, autonomous training, national qualification practical training and situational training as user services by using a haptic manipulation device that provides realistic five senses as a component of the simulator.

본 발명은 상기된 발명의 목적을 달성하기 위하여 3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치, 사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치, 훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커,몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 시뮬레이션 사용자 조작 장치, 협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버를 물리적 구성 요소로 하고, VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 영상/사운드 콘텐츠, 사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스, 제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터, 멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트를 콘텐츠 구성 요소로 하고, 중장비 도저, 로더의 기본 장비 운용을 교육하는 교육 훈련, 사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련, 산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련, 날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련 등을 중장비 도저와 로더에 대한 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 훈련 장치를 구현함으로써 본 발명의 목적을 실현한다.In order to achieve the object of the present invention, a head mounted display (HMD - Head Mounted Display) device for providing visual content information that is composed of a 3D image and expresses a real situation in a hyper-realistic way, user authentication, training content Leap motion-based motion sensor device that recognizes and communicates by recognizing user gestures for interactive selection of training content, 3D sound speaker for three-dimensional expression of training situations, and interlocking with content providing server to realize immersive VR A simulation user manipulation device that implements a haptic effect that provides users with hyper-realistic five senses, used as a multi-content link client to implement a collaborative training situation, used for simulation control unit, UI/UX interaction control, and synchronization between devices VR-based 3D realistic video/sound content created to be selected and applied according to the training model and training situation, and the user's gestures, by using the simulation server as a physical component, dividing the VR-based 3D video into a story, and separating it by package. A lip motion-based interface that recognizes and selects or controls a training program, and enables interaction with virtual objects in the training situation during training, provides 3D content and user's device operation, and synchronizes with 3D sound to provide a hyper-realistic experience to the user. Realistic haptic effector to deliver training effects through the five senses, multi-content training based on collaboration between multi-users, or acting as a content client to support story-based training such as unexpected or disaster situations to synchronize multi-party training situations With the interlocking client as a content component, training to teach basic equipment operation of heavy-duty dozers and loaders, and training such as device operation, terrain adaptation, and obstacle avoidance in a game format so that users can become familiar with the device It consists of the same as the scenario of the national qualification practice training for heavy equipment such as autonomous training, dozers and loaders of the Human Resources Development Service of the Human Resources Development Service of Korea. Immersive virtual reality that considers national qualification training that provides training and evaluation, weather and terrain conditions, and safety emergencies, and provides situational training according to multilateral collaboration scenarios as user services for heavy equipment dozers and loaders Realize the object of the present invention by implementing a base heavy equipment training device.

본 발명의 몰입형 가상 현실 중장비 시뮬레이션 훈련 장치를 통해서 종래에 현장 훈련으로 진행되던 도저 로더 중장비의 교육 훈련을 실제와 극사실적으로 유사한 가상 훈련 시뮬레이터를 통해 진행할 수 있도록 함으로써 중장비 교육 훈련의 질을 개선하고 훈련자의 숙련도를 단기간에 개선할 수 있다. 교육 시나리오 상에서 게임적인 요소와 레벨 평가를 통하여 숙련 레벨의 성취도를 평가할 수 있고, 날씨, 안전, 지형 요소들에 관련된 돌발 상황을 가정하여 다양한 체험을 할 수 있어 현장 훈련 만으로 극복할 수 없는 다양한 상황 대처 방법을 경험으로 체득할 수 있다. Through the immersive virtual reality heavy equipment simulation training device of the present invention, the education and training of dozer loader heavy equipment, which was conventionally conducted as field training, can be conducted through a virtual training simulator similar to the real thing, thereby improving the quality of heavy equipment education and training. It can improve the skill level of the trainee in a short period of time. In the educational scenario, it is possible to evaluate the achievement of the skill level through game elements and level evaluation, and it is possible to experience various situations by assuming unexpected situations related to weather, safety, and terrain factors, so that various situations that cannot be overcome by field training alone can be dealt with. method can be learned through experience.

또한, 상기 장치의 대중화를 통해 장소/시간/환경에 구애받지 않는 경제적 훈련 환경 조성으로 수요가 많은 중장비 교육 시장의 활성화와, 교육의 전문성 향상을 기대할 수 있다.In addition, through the popularization of the device, it is possible to revitalize the heavy equipment education market in high demand by creating an economical training environment irrespective of place/time/environment, and to improve the professionalism of education.

도 1은 본 발명에 따른 몰입형 가상 현실 기반 중장비 훈련 장치의 물리적 구성도
도 2는 본 발명에 따른 몰입형 가상 현실 기반 중장비 훈련 장치의 구성 및 서비스 개념도
도 3은 본 발명에 따른 시뮬레이션 콘텐츠 구성도
도 4는 본 발명에 따른 오감형 햅틱 사용자 조작 장치 구성도1 is a physical configuration diagram of an immersive virtual reality-based heavy equipment training device according to the present invention;
2 is a configuration and service conceptual diagram of an immersive virtual reality-based heavy equipment training device according to the present invention;
3 is a configuration diagram of simulation content according to the present invention;
4 is a configuration diagram of a five-sensory haptic user manipulation device according to the present invention;

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고, 상세한 설명을 통해 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성 요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described with reference to the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

본 발명은 중장비 훈련생에게 실제와 거의 동일한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 훈련 장치에 있어서,The present invention provides an immersive virtual reality-based heavy equipment training device for providing physical training almost identical to the real one to heavy equipment trainees,

도 1에 도시한 바와 같이 중장비 도저와 로더의 실제 기종과 동일하게 구현되고 콘텐츠 정합의 오차를 최소화 한 사용자 조작 장치를 갖춘 시뮬레이션 사용자 장비(100)를 구성함에 있어,As shown in Fig. 1, in configuring the simulation user equipment 100 having a user manipulation device that is implemented the same as the actual model of the heavy equipment dozer and loader and minimizes the error in content matching,

몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 시뮬레이션 사용자 조작 장치(101),A simulation user manipulation device 101 that implements a haptic effect that provides hyper-realistic five senses to the user in conjunction with a content providing server to realize immersive VR;

사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치(102),A lip motion-based motion sensor device 102 that recognizes and communicates a user's gesture for user authentication, selection of training content, and interaction in training content progress;

3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치(103),A head mounted display (HMD - Head Mounted Display) device 103 for providing visual content information that is composed of a 3D image and expresses a real situation in a hyper-realistic way;

훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커(104),3D sound speaker 104 for three-dimensional expression of the training situation,

협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버(105)를 물리적 구성 요소로 포함함을 특징으로 한다.It is used as a multi-content interworking client for implementing a collaborative training situation, and it is characterized by including a simulation control unit, UI/UX interaction control, and a simulation server 105 used for device-to-device synchronization as a physical component.

상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자에게 극사실화된 실감 미디어와 오감형 체험 기능, 제스처 기반 제어를 제공하기 위한 콘텐츠 구성 요소(200)로서 도 2에 도시한 바와 같이As shown in FIG. 2, the immersive virtual reality-based heavy equipment training device is a content component 200 for providing hyper-realistic sensory media, five-sensory experience function, and gesture-based control to the user.

VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 콘텐츠(210),VR-based 3D immersive content 210, which is made to story the VR-based 3D image, separate it by package, and select and apply it according to the training model and training situation;

사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스(220),A lip motion-based interface 220 that selects or controls a training program by recognizing a user's gesture, and allows interaction with virtual objects in a training situation during training;

제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터(230),Realistic haptic effector 230 for delivering hyper-realistic training effects to the user through the five senses in synchronization with the provided 3D content, user's device manipulation, and 3D sound;

멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트(240)를 콘텐츠 구성 요소로 포함함을 특징으로 한다.It includes a multi-content linkage client 240 that synchronizes multi-party training situations by acting as a content client to support training based on collaboration among multi-users or story-based training such as unexpected or disaster situations as a content component. do it with

상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 VR 기반 3D 실감 콘텐츠는 도 3에 도시한 바와 같이 사람 및 장애물, 지형, 작업을 위한 토착물, 토사, 시멘트 구조물 등의 액티브 객체를 구현한 가상 객체 DB(211),Among the content components of the immersive virtual reality-based heavy equipment training device, VR-based 3D realistic content implements active objects such as people, obstacles, terrain, indigenous objects for work, soil, and cement structures, as shown in FIG. Virtual object DB (211),

실제 환경을 사실적으로 묘사한 배경, 날씨, 백그라운드 지형, 객체의 질감 등을 묘사한 환경 객체 DB(212),Environment object DB 212 depicting the background, weather, background terrain, object texture, etc. depicting the real environment realistically,

훈련 상황 중에 사용자와 직접 상호 작용함으로써 훈련 상황을 제어하고 진행하며, 사용자와 인터랙션 하게 되는 논플레이어(NPC) 물리 객체 DB(213),A non-player (NPC) physical object DB 213 that controls and progresses the training situation by directly interacting with the user during the training situation, and interacts with the user,

상기 객체들 간의 조합과 상호 연동을 통해 훈련 상황을 구성하고 사용자의 UI/UX 장치를 통해 입출력된 정보들과 동기화하기 위한 구성 모듈 간 상호 연동 정보(214)로 구성되고,Consists of interworking information 214 between configuration modules for configuring a training situation through combination and interworking between the objects and synchronizing with information input/output through the user's UI/UX device,

상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 립모션 입력 모듈은 도 3에 도시한 바와 같이 모션 센서를 통해 입력된 사용자의 제스처를 분석하여 사용자 입력 신호로 변환하는 제스처 인식(221),Among the content components of the immersive virtual reality-based heavy equipment training device, the lip motion input module analyzes the user's gesture input through the motion sensor and converts it into a user input signal as shown in FIG. 3 , a gesture recognition 221 ,

입력된 사용자의 제스처 정보를 훈련 시뮬레이션 상의 콘텐츠 진행 내용과 동기화하여 선택, 인증, 상호 인터랙션 정보 등으로 활용하여 시뮬레이션 상황을 진행하기 위해 정보 형태로 구성하는 콘텐츠 동기화(222),Synchronize the input user's gesture information with the progress of the content in the training simulation and use it as selection, authentication, mutual interaction information, etc. to configure the content in the form of information to proceed with the simulation (222);

입력된 사용자 제스처 정보를 시뮬레이션 콘텐츠 정보와 결합하여 가상 객체와 인터랙션하고 이를 실시간으로 응답하여 사용자에게 피드백 함으로써 사용자와 가상 객체들 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상 객체와의 인터랙션(223),Interaction 223 with a virtual object to naturally and realistically describe the interaction between the user and the virtual objects by combining the input user gesture information with the simulation content information to interact with the virtual object, and respond in real time to feedback to the user ),

립모션으로 입력되는 사용자 신호에 대한 시뮬레이션 진행 상황에서 그 결과를 시뮬레이터의 특정 사용자 UI/UX를 통해 출력하고 응답함으로써 사용자가 즉각적으로 직관적인 방식으로 소통할 수 있도록 시뮬레이터 물리 장치들을 동기화하고 제어하는 시뮬레이터 연동 기능(224)을 포함하고,A simulator that synchronizes and controls the simulator physics devices so that the user can immediately and intuitively communicate by outputting and responding to the result through the specific user UI/UX of the simulator in the progress of the simulation for the user signal input through leap motion including an interlocking function 224;

상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 실감형 햅틱 인터페이스 모듈은 도 3에 도시한 바와 같이 시뮬레이션 제어 유닛(SCU - Simulation Control Unit)과 인터페이스 하여 사용자에 전달할 응답 정보와 오감 신호를 추출하는 SCU 인터페이스(231),Among the content components of the immersive virtual reality-based heavy equipment training device, the immersive haptic interface module interfaces with a simulation control unit (SCU) as shown in FIG. 3 to extract response information and five sense signals to be delivered to the user. SCU interface 231,

사용자에게 전달할 오감 신호를 사용자가 현재 진행하고 있는 시뮬레이션 상황의 시각적, 청각적 멀티미디어 콘텐츠 정보 및 제스처 응답 정보와 실시간 동기함으로써 사용자에게 극사실적인 몰입형 VR를 체험할 수 있도록 하는 콘텐츠 동기화(232),Content synchronization 232, which allows the user to experience a hyper-realistic immersive VR by synchronizing the five sense signals to be delivered to the user in real time with the visual and auditory multimedia content information and gesture response information of the simulation situation that the user is currently running;

사용자에게 전달되는 오감 정보를 시뮬레이션 상황과 콘텐츠 특성에 맞게 샘플링하여 멀티 콘텐츠 정보로 조합하고 합성한 후 정보 DB로 저장하고 시뮬레이터의 요청에 응답하는 햅틱 기반 실감 인터랙션(233),Haptic-based sensory interaction (233) that samples the five sense information delivered to the user according to the simulation situation and content characteristics, combines and synthesizes it into multi-content information, stores it as an information DB, and responds to a request from the simulator;

상기 오감 출력 정보가 사용자가 진행하는 훈련 상황의 시각적, 청각적 정보와 실시간으로 타임 동기되어 출력되도록 제어하는 콘텐츠 연동 조작 제어 기능(234)을 포함하여 사용자가 오감으로 훈련 상황을 실제와 비슷하게 몰입하여 체험할 수 있도록 구현하고,Including a content link operation control function 234 that controls the output information of the five senses to be output in real time synchronized with the visual and auditory information of the training situation conducted by the user, so that the user can immerse the training situation with the five senses similarly to reality. Implement it to experience

상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 멀티 콘텐츠 연동 클라이언트는 도 3에 도시한 바와 같이,As shown in FIG. 3, the multi-content interworking client among the content components of the immersive virtual reality-based heavy equipment training device is,

스마트 패드 또는 제스처 동작을 통해 훈련 상황을 모니터링하며 돌발이나 비상 상황 발생시 시뮬레이션을 종료하거나 중지할 수 있도록 하는 시뮬레이션 제어(241),A simulation control 241 that monitors the training situation through a smart pad or gesture action and allows the simulation to be terminated or stopped in case of an unexpected or emergency situation;

시뮬레이션 진행 동안 사용자의 UI/UX 응답 시간과 반응 속도를 관리하며 모니터링 하는 UI/UX 관리(242),UI/UX management (242), which manages and monitors the user's UI/UX response time and reaction speed during the simulation process;

다자 간 협업 시나리오 같은 멀티 사용자 환경에서 현재 사용자의 동작 정보를 NPC 물리 객체와 하여 클라이언트 형태로 서버로 전달하고, 서버로부터 다른 사용자의 진행 상황 정보를 현재 사용자의 NPC 물리 객체 정보로 실시간 변환하여 시뮬레이션 진행 상황을 통제하는 NPC 물리 객체 정보 처리(243),In a multi-user environment such as a multi-party collaboration scenario, the current user's motion information is transferred to the server in the form of a client with the NPC physical object, and the progress information of other users from the server is converted into the current user's NPC physical object information in real time to proceed with the simulation NPC physical object information processing to control the situation (243),

훈련 상황의 모니터링 정보를 통해 훈련자의 훈련 진행 상태 정보를 통계 정보로 수집하여 평가하고 DB 형태로 관리하는 평가 DB(244)를 구성 요소로 포함하여 본 발명의 목적을 실현한다.The object of the present invention is realized by including the evaluation DB 244 that collects and evaluates the training progress status information of the trainee as statistical information through the monitoring information of the training situation and manages it in the form of a DB as a component.

상기 몰입형 가상 현실 기반 중장비 훈련 장치의 시스템 구성 요소 중 시뮬레이션을 위한 사용자 UI/UX 중장비 조작 장치는 도 4에 도시한 바와 같이Among the system components of the immersive virtual reality-based heavy equipment training device, the user UI/UX heavy equipment operation device for simulation is shown in FIG.

로더 시뮬레이터를 위한 사용자 UI/UX 중장비 조작 장치(110a)로서 기존 자동차 핸들과 조향 방식 동일하게 동작하는 원형 조향 핸들(111), As a user UI/UX heavy equipment operation device 110a for a loader simulator, a circular steering wheel 111 that operates in the same manner as an existing car handle,

앞으로 밀 경우 전진, 중앙에 둘 경우 중립, 뒤로 당길 경우 후진으로 동작하는 핸들 좌측 스틱(112), Left handle stick (112) that moves forward when pushed forward, neutral when placed in the center, and reversed when pulled back,

레버를 위로 밀 경우 버켓을 하강하고 아래로 당길 경우 버켓을 상승하는 좌측 레버(113),Left lever (113) that lowers the bucket when the lever is pushed up and raises the bucket when pulled down,

레버를 위로 및 경우 붐 하강하고, 아래로 당길 경우 붐 상승하는 우측 레버(114),Right lever (114), which raises the lever up and down, lowers the boom, and raises the boom when pulled down;

왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 엑셀러레이터로 작동하는 운행 페달(115)로 구성하고,It consists of a driving pedal 115 that operates as a brake when the left pedal is depressed and as an accelerator when the right pedal is depressed,

도저 시뮬레이터를 위한 사용자 UI/UX 중장비 조작 장치(110b)로서As a user UI / UX heavy equipment operation device 110b for the dozer simulator

레버를 위로 및 경우 차량을 직진하고 아래로 당길 경우 차량을 후진하고 좌측으로 밀 경우 차량을 좌측으로 회전시키고 우측으로 밀 경우 차량을 우측으로 회전시키도록 동작하는 좌측 레버(116),Left lever 116 operable to move the vehicle straight forward when the lever is pushed up and down, reverse the vehicle when pulled down, rotate the vehicle to the left when pushed to the left, and rotate the vehicle to the right when pushed to the right;

레버를 위로 및 경우 블레이드를 하강시키고 아래로 당길 경우 블레이드를 상승시키고, 좌측으로 밀 경우 블레이드를 좌측으로 회전시키고 우측으로 밀 경우 블레이드를 우측으로 회전시키도록 동작하는 우측 레버(117),a right lever 117 operable to lower the blade when the lever is up and down and raise the blade when pulled down, rotate the blade to the left when pushed to the left and rotate the blade to the right when pushed to the right,

왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 주차 브레이크로 작동하도록 하는 운행 페달(118)로 구성되어,It consists of a driving pedal 118 that operates as a brake when the left pedal is depressed and operates as a parking brake when the right pedal is depressed,

실제 로더 또는 도저의 기종과 동일한 조작 환경을 제공하고, 실감형 햅틱 이펙터(230)로부터 오감형 콘텐츠 정보를 연동하여 사용자 UI/UX에 진동, 상하 좌석 움직임, 장치의 흔들림, 충격 효과 등을 제어하여 사용자가 오감으로 느낄 수 있는 실제 상황과 동일한 균형감과 충격감을 체험할 수 있도록 하여 몰입형 가상 현실 훈련 서비스를 구현한다.It provides the same operating environment as that of the actual loader or dozer, and controls vibration, up-and-down seat movement, shaking of the device, impact effect, etc. to the user UI/UX by linking the five sense content information from the realistic haptic effector 230. It implements an immersive virtual reality training service by allowing users to experience the same sense of balance and shock as in real situations that can be felt with the five senses.

상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자 서비스로서 실감 컨텐츠(210)와 오감형 햅틱 이펙터(230)를 사용하여 레벨에 따라 구성된 훈련 미션을 시나리오로 제공하여 사용자가 게임을 즐기듯 훈련 과정의 숙련도를 연마해 나갈 수 있도록 한다. 상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자에게 제공하는 훈련 서비스로서 도 2에 도시한 바와 같이,The immersive virtual reality-based heavy equipment training apparatus provides a training mission configured according to the level as a scenario using the sensory content 210 and the five sense haptic effector 230 as a user service, so that the user enjoys the game. so that it can be polished. As shown in FIG. 2, the immersive virtual reality-based heavy equipment training device is a training service provided to a user,

중장비 도저, 로더의 기본 장비 운용과 사용자 장치의 조작법을 훈련하는 교육 훈련(310), Educational training 310 for training basic equipment operation of heavy equipment dozer and loader and operation of user equipment,

사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어질 수 있도록 하는 자율 훈련(320), Autonomous training 320 for training such as device manipulation, terrain adaptation, and obstacle avoidance in a game format so that the user can become familiar with the device;

산업인력공단의 도저와 로더 등 중장비 국가 자격 실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가 자격 실기 훈련(330), National Qualification Practical Training (330), which is configured in the same way as the national qualification training scenario for heavy equipment such as dozers and loaders of Human Resources Development Service and provides training and evaluation for qualification acquisition;

날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련(340) 등을 중장비 도저와 로더에 대한 사용자 서비스로 포함함을 특징으로 한다. It is characterized in that it considers weather and terrain conditions, safety emergency situations, etc., and includes situational training 340 according to a multilateral collaboration scenario as a user service for heavy equipment dozers and loaders.

상기 몰입형 가상 현실 기반 중장비 훈련 장치는 상기된 물리적 장치 구성과 콘텐츠 요소 구성을 통하여 사용자에게 서비스를 제공함에 있어서, The immersive virtual reality-based heavy equipment training device provides a service to a user through the above-described physical device configuration and content element configuration,

도저, 로더의 기본 장비 운용을 교육하는 교육 훈련(310)으로서, 사용자 장치 조작 훈련, 화면의 지시 사항에 따르는 기초 운행 훈련, 주행 코스와 지형 지정 훈련, 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 매뉴얼화하여 제공하고,As an educational training 310 for educating the operation of basic equipment of the dozer and loader, user equipment operation training, basic operation training according to the instructions on the screen, training course and terrain designation training, loader operation, soil excavation, loading, etc. , Dozer provides manual functions such as operation, cutting, filling, and backfill rotation,

사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련(320)으로서 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 레벨별로 콘텐츠화 하여 제공하고,As an autonomous training 320 that allows training such as operation of the device, terrain adaptation, obstacle avoidance, etc. to be performed in a game format so that the user can become familiar with the device, the loader operates, soil excavation, loading, etc. functions, the dozer operates, Functions such as cutting, filling, and backfill rotation are provided by leveling the contents,

산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련(330)으로서 As the national qualification practice training 330 that is configured in the same way as the national qualification training scenario for heavy equipment such as dozers and loaders of Human Resources Development Service, it provides training and evaluation for qualification acquisition.

로더는 버킷을 들어 올린 후 성토장으로 전진 - 버킷 수평조작 후 흙 굴토 - 붐과 버킷을 조작하여 흙을 평적이상 채운 후 후진 - 적재장소(덤프트럭)으로 주행하여 흙을 채움 - 출발 전 장비 위치에 주차 순으로,After lifting the bucket, the loader moves forward to the filling site - After leveling the bucket, excavates the soil - Manipulates the boom and bucket to fill the soil above the floor level and then moves backwards - Drives to the loading site (dump truck) and fills the soil - Equipment location before departure in order of parking,

도저는 전진 주행 후 전진 절삭(절토) - 블레이드를 들어 올린 후 성토를 넘어감 - 도착선을 통과 후 180도 회전 - 작업시작 지점까지 전진 되메우기 - 종료선 통과 후 180도 회전 - 출발 전 장비위치로 정차 순으로 진행하여,Dozer moves forward and cuts forward (cut) - Lifts the blade and crosses the fill - Turns 180 degrees after passing the arrival line - Forwards backfill to the work start point - Turns 180 degrees after passing the finish line - Back to the equipment position before departure Proceed in order of stopping,

산업인력공단의 중장비 면허 실기 시험에 준용한 내용을 시나리오로 적용하고, The contents applied mutatis mutandis to the heavy equipment license practical test of the Human Resources Development Service of Korea are applied as a scenario,

날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련(340)으로서,As the situation training 340 according to the multilateral collaboration scenario, taking into account the weather and terrain situation, the emergency situation in safety, etc.,

낙석, 바람, 장비의 균형 잃음, 인적 사고 등의 안전 돌발 상황을 시뮬레이션하여 대처하고, 눈/비 등으로 인한 폭우/폭설, 지반 침하, 토사 덮침 등의 자연 재해와 기상 상황을 시뮬레이션 하여 대처하고, 건설 현장의 협업 상황을 통제하는 대처 서비스 등을 시나리오화하여 중장비 도저와 로더에 대한 사용자 서비스(300)로 제공함을 특징으로 한다.Simultaneously respond to safety emergencies such as falling rocks, wind, equipment out of balance, and human accidents by simulating natural disasters and weather conditions such as heavy rain/heavy snow caused by snow/rain, subsidence of the ground, and landslides, It is characterized in that it is provided as a user service 300 for heavy equipment dozers and loaders by making scenarios such as coping services that control the cooperative situation of the construction site.

001: 몰입형 가상 현실 기반 중장비 훈련 장치
100: 물리적 구성 요소
110a: 시뮬레이션 사용자 조작 장치 - 로더
111: 조향핸들
112: 좌측스틱
113:좌측레버
114:우측레버
115:페달
110b:시뮬레이션 사용자 조작 장치 - 도저
116:좌측레버
117:우측레버
118:페달
120: 립모션 기반 모션 센서 장치
130: 3D 사운드 스피커
140: 중장비 사용자 UI/UX 조작 장치
150: 시뮬레이션 서버
200: 콘텐츠 구성 요소
210: VR 기반 3D 실감 영상/사운드 콘텐츠
211: 가상 객체
212: 환경 객체
213: NPC 물리 객체
214: 구성 모듈 간 상호 연동
220: 제스처(립모션) 기반 인터페이스
221: 모션 센서를 통한 제스처 인식
222: 콘텐츠 동기화
223: 가상 객체와의 인터랙션
224: 시뮬레이터와 연동
230: 실감형 햅틱 오감 이펙터
231: SCU 인터페이스
232: 콘텐츠 동기화
233: 햅틱 기반 실감 인터랙션
234: 콘텐츠 연동 조작 제어
240: 멀티 콘텐츠 연동 클라이언트
241: 시뮬레이션 제어 SCU(System Control Unit)
242: UI/UX 관리
243: NPC 물리 객체
244: 평가 DB
300: 사용자 서비스 구성 요소
310: 교육 훈련
320: 자율 훈련
330: 국가자격실기 훈련
340: 상황 훈련001: Immersive virtual reality-based heavy equipment training device
100: physical component
110a: Simulation User Control Unit - Loader
111: steering wheel
112: left stick
113: left lever
114: right lever
115: pedal
110b: Simulated User Control Unit - Dozer
116: left lever
117: right lever
118: pedal
120: lip motion-based motion sensor device
130: 3D sound speaker
140: heavy equipment user UI / UX operation device
150: simulation server
200: content component
210: VR-based 3D realistic video/sound content
211: virtual object
212: environment object
213: NPC physics object
214: Interworking between configuration modules
220: gesture (lip motion) based interface
221: gesture recognition through motion sensor
222: content sync
223: interaction with virtual object
224: Interlocking with the simulator
230: realistic haptic five sense effector
231: SCU interface
232: content sync
233: Haptic-based realistic interaction
234: content link operation control
240: multi-content linked client
241: Simulation Control SCU (System Control Unit)
242: UI/UX Management
243: NPC physics object
244: evaluation DB
300: user service component
310: education training
320: autonomous training
330: National Qualification Practical Training
340: situational training

Claims (4)

중장비 훈련생에게 실제와 거의 동일한 물리적 훈련을 제공하기 위한 가상 현실 기반 중장비 훈련 장치에 있어서,
중장비 도저와 로더의 실제 기종과 동일하게 구현되고 콘텐츠 정합의 오차를 최소화 한 사용자 조작 장치를 갖춘 시뮬레이션 사용자 장비(100)를 구성함에 있어,
3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치(110),
사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치(120),
훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커(130),
몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 시뮬레이션 사용자 조작 장치(140),
협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버(150)를 물리적 구성 요소(100)로 하고,

VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 영상/사운드 콘텐츠(210),
사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스(220),
제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터(230),
멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트(240)를 콘텐츠 구성 요소(200)로 하여,

중장비 도저, 로더의 기본 장비 운용을 교육하는 교육 훈련(310),
사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련(320),
산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련(330),
날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련(340) 등을 중장비 도저와 로더에 대한 사용자 서비스(300)로 제공하는
몰입형 가상 현실 기반 중장비 훈련 장치.
In the virtual reality-based heavy equipment training device for providing substantially the same physical training to the heavy equipment trainees,
In constructing the simulation user equipment 100 with a user manipulation device that is implemented the same as the actual model of the heavy equipment dozer and loader and minimized the error of content matching,
A head mounted display (HMD - Head Mounted Display) device 110 for providing visual content information that is composed of a 3D image and expresses a real situation in a hyper-realistic way to the user;
A lip motion-based motion sensor device 120 that recognizes and communicates a user's gesture for user authentication, selection of training content, and interaction in training content progress;
3D sound speaker 130 for three-dimensional expression of the training situation,
A simulation user manipulation device 140 that implements a haptic effect that provides hyper-realistic five senses to the user by interworking with a content providing server to realize immersive VR;
The physical component 100 is the simulation server 150 used as a multi-content interworking client for implementing a collaborative training situation, and used for simulation control unit, UI/UX interaction control, and synchronization between devices,

VR-based 3D immersive video/sound content 210, which is made to story the VR-based 3D video, separate it by package, and select and apply it according to the training model and training situation;
A lip motion-based interface 220 that selects or controls a training program by recognizing a user's gesture, and allows interaction with virtual objects in a training situation during training;
Realistic haptic effector 230 for delivering hyper-realistic training effects to the user through the five senses in synchronization with the provided 3D content, user's device manipulation, and 3D sound;
Using a multi-content interworking client 240 that synchronizes multi-party training situations by acting as a content client to support training based on collaboration between multi users or story-based training such as unexpected or disaster situations as a content component 200 ,

Educational training 310 to teach basic equipment operation of heavy equipment dozers and loaders,
Autonomous training 320 that enables training such as device manipulation, terrain adaptation, and obstacle avoidance in a game format so that the user can become familiar with the device;
National Qualification Practical Training (330), which is configured in the same way as the national qualification training scenario for heavy equipment such as dozers and loaders of Human Resources Development Service, provides training and evaluation for qualification acquisition;
Considering the weather and terrain conditions, safety emergencies, etc., and providing situational training 340 according to a multilateral collaboration scenario as a user service 300 for heavy equipment dozers and loaders
An immersive virtual reality-based heavy-duty training device.
 제1항에 있어서,
상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 VR 기반 3D 실감 콘텐츠는 사람 및 장애물, 지형, 작업을 위한 토착물, 토사, 시멘트 구조물 등의 액티브 객체를 구현한 가상 객체 DB(211),
실제 환경을 사실적으로 묘사한 배경, 날씨, 백그라운드 지형, 객체의 질감 등을 묘사한 환경 객체 DB(212)훈련 상황 중에 사용자와 직접 상호 작용함으로써 훈련 상황을 제어하고 진행하며, 사용자와 인터랙션 하게 되는 논플레이어(NPC) 물리 객체 DB(213),
상기 객체들 간의 조합과 상호 연동을 통해 훈련 상황을 구성하고 사용자의 UI/UX 장치를 통해 입출력된 정보들과 동기화하기 위한 구성 모듈 간 상호 연동 정보(214)로 구성되고,
상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 립모션 입력 모듈은 모션 센서를 통해 입력된 사용자의 제스처를 분석하여 사용자 입력 신호로 변환하는 제스처 인식(221),
입력된 사용자의 제스처 정보를 훈련 시뮬레이션 상의 콘텐츠 진행 내용과 동기화하여 선택, 인증, 상호 인터랙션 정보 등으로 활용하여 시뮬레이션 상황을 진행하기 위해 정보 형태로 구성하는 콘텐츠 동기화(222),
입력된 사용자 제스처 정보를 시뮬레이션 콘텐츠 정보와 결합하여 가상 객체와 인터랙션하고 이를 실시간으로 응답하여 사용자에게 피드백 함으로써 사용자와 가상 객체들 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상 객체와의 인터랙션(223),
립모션으로 입력되는 사용자 신호에 대한 시뮬레이션 진행 상황에서 그 결과를 시뮬레이터의 특정 사용자 UI/UX를 통해 출력하고 응답함으로써 사용자가 즉각적으로 직관적인 방식으로 소통할 수 있도록 시뮬레이터 물리 장치들을 동기화하고 제어하는 시뮬레이터 연동 기능(224)을 포함하고,

상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 실감형 햅틱 인터페이스 모듈은 시뮬레이션 제어 유닛(SCU - Simulation Control Unit)과 인터페이스 하여 사용자에 전달할 응답 정보와 오감 신호를 추출하는 SCU 인터페이스(231),
사용자에게 전달할 오감 신호를 사용자가 현재 진행하고 있는 시뮬레이션 상황의 시각적, 청각적 멀티미디어 콘텐츠 정보 및 제스처 응답 정보와 실시간 동기함으로써 사용자에게 극사실적인 몰입형 VR를 체험할 수 있도록 하는 콘텐츠 동기화(232),
사용자에게 전달되는 오감 정보를 시뮬레이션 상황과 콘텐츠 특성에 맞게 샘플링하여 멀티 콘텐츠 정보로 조합하고 합성한 후 정보 DB로 저장하고 시뮬레이터의 요청에 응답하는 햅틱 기반 실감 인터랙션(233),
상기 오감 출력 정보가 사용자가 진행하는 훈련 상황의 시각적, 청각적 정보와 실시간으로 타임 동기되어 출력되도록 제어하는 콘텐츠 연동 조작 제어 기능(234)을 포함하여 사용자가 오감으로 훈련 상황을 실제와 비슷하게 몰입하여 체험할 수 있도록 구현하고,
상기 몰입형 가상 현실 기반 중장비 훈련 장치의 콘텐츠 구성 요소 중 멀티 콘텐츠 연동 클라이언트는 스마트 패드 또는 제스처 동작을 통해 훈련 상황을 모니터링하며 돌발이나 비상 상황 발생시 시뮬레이션을 종료하거나 중지할 수 있도록 하는 시뮬레이션 제어(241),
시뮬레이션 진행 동안 사용자의 UI/UX 응답 시간과 반응 속도를 관리하며 모니터링 하는 UI/UX 관리(242),
다자 간 협업 시나리오 같은 멀티 사용자 환경에서 현재 사용자의 동작 정보를 NPC 물리 객체와 하여 클라이언트 형태로 서버로 전달하고, 서버로부터 다른 사용자의 진행 상황 정보를 현재 사용자의 NPC 물리 객체 정보로 실시간 변환하여 시뮬레이션 진행 상황을 통제하는 NPC 물리 객체 정보 처리(243),
훈련 상황의 모니터링 정보를 통해 훈련자의 훈련 진행 상태 정보를 통계 정보로 수집하여 평가하고 DB 형태로 관리하는 평가 DB(244)를 구성 요소로 포함하는
몰입형 가상 현실 기반 중장비 훈련 장치.
According to claim 1,
Among the content components of the immersive virtual reality-based heavy equipment training device, VR-based 3D realistic content is a virtual object DB 211 realizing active objects such as people and obstacles, terrain, indigenous objects for work, soil, and cement structures;
The environment object DB 212 depicting the background realistically depicting the real environment, weather, background terrain, and object texture, etc. Controls and proceeds with the training situation by directly interacting with the user during the training situation, and the discussion that interacts with the user Player (NPC) physics object DB (213),
Consists of interworking information 214 between configuration modules for configuring a training situation through combination and interworking between the objects and synchronizing with information input/output through the user's UI/UX device,
Among the content components of the immersive virtual reality-based heavy equipment training device, the lip motion input module analyzes a user's gesture input through a motion sensor and converts it into a user input signal, a gesture recognition 221,
Synchronize the input user's gesture information with the progress of the content in the training simulation and use it as selection, authentication, mutual interaction information, etc. to configure the content in the form of information to proceed with the simulation (222);
Interaction 223 with a virtual object to naturally and realistically describe the interaction between the user and the virtual objects by combining the input user gesture information with the simulation content information to interact with the virtual object, and respond in real time to feedback to the user ),
A simulator that synchronizes and controls the simulator physics devices so that the user can immediately and intuitively communicate by outputting and responding to the result through the specific user UI/UX of the simulator in the progress of the simulation for the user signal input through leap motion including an interlocking function 224;

Among the content components of the immersive virtual reality-based heavy equipment training device, the immersive haptic interface module interfaces with a simulation control unit (SCU) to extract response information and five sense signals to be transmitted to the user SCU interface 231,
Content synchronization 232, which allows the user to experience a hyper-realistic immersive VR by synchronizing the five sense signals to be delivered to the user in real time with the visual and auditory multimedia content information and gesture response information of the simulation situation that the user is currently running;
Haptic-based sensory interaction (233) that samples the five sense information delivered to the user according to the simulation situation and content characteristics, combines and synthesizes it into multi-content information, stores it as an information DB, and responds to a request from the simulator;
Including a content link operation control function 234 that controls the output information of the five senses to be output in real time synchronized with the visual and auditory information of the training situation conducted by the user, so that the user can immerse the training situation with the five senses similarly to reality. Implement it to experience
Among the content components of the immersive virtual reality-based heavy equipment training device, the multi-content interlocking client monitors the training situation through a smart pad or gesture operation and controls the simulation 241 to end or stop the simulation in case of an unexpected or emergency situation. ,
UI/UX management (242), which manages and monitors the user's UI/UX response time and reaction speed during the simulation process;
In a multi-user environment such as a multi-party collaboration scenario, the current user's motion information is transferred to the server in the form of a client with the NPC physical object, and the progress information of other users from the server is converted into the current user's NPC physical object information in real time to proceed with the simulation NPC physical object information processing to control the situation (243),
The evaluation DB 244, which collects and evaluates the training progress information of the trainee as statistical information through the monitoring information of the training situation, and manages it in the form of a DB as a component
An immersive virtual reality-based heavy-duty training device.
 제1항에 있어서,
상기 몰입형 가상 현실 기반 중장비 훈련 장치의 시스템 구성 요소 중 시뮬레이션을 위한 사용자 UI/UX 중장비 조작 장치는
로더 시뮬레이터를 위한 사용자 UI/UX 중장비 조작 장치(110a)로서
기존 자동차 핸들과 조향 방식 동일하게 동작하는 원형 조향 핸들(111),
앞으로 밀 경우 전진, 중앙에 둘 경우 중립, 뒤로 당길 경우 후진으로 동작하는 핸들 좌측 스틱(112),
레버를 위로 밀 경우 버켓을 하강하고 아래로 당길 경우 버켓을 상승하는 좌측 레버(113),
레버를 위로 및 경우 붐 하강하고, 아래로 당길 경우 붐 상승하는 우측 레버(114),
왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 엑셀러레이터로 작동하는 운행 페달(115)로 구성하고,

도저 시뮬레이터를 위한 사용자 UI/UX 중장비 조작 장치(110b)로서
레버를 위로 및 경우 차량을 직진하고 아래로 당길 경우 차량을 후진하고 좌측으로 밀 경우 차량을 좌측으로 회전시키고 우측으로 밀 경우 차량을 우측으로 회전시키도록 동작하는 좌측 레버(116),
레버를 위로 및 경우 블레이드를 하강시키고 아래로 당길 경우 블레이드를 상승시키고, 좌측으로 밀 경우 블레이드를 좌측으로 회전시키고 우측으로 밀 경우 블레이드를 우측으로 회전시키도록 동작하는 우측 레버(117),
왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 주차 브레이크로 작동하도록 하는 운행 페달(118)로 구성되어,
실제 로더 또는 도저의 기종과 동일한 조작 환경을 제공하는 몰입형 가상 현실 기반 중장비 훈련 장치를 위한 시뮬레이터 사용자 UI/UX 중장비 조작 장치(110).
According to claim 1,
Among the system components of the immersive virtual reality-based heavy equipment training device, the user UI/UX heavy equipment operation device for simulation is
As a user UI / UX heavy equipment operation device (110a) for the loader simulator
A circular steering wheel 111 that operates in the same way as an existing car steering wheel,
Left handle stick (112) that moves forward when pushed forward, neutral when placed in the center, and reversed when pulled back,
Left lever (113) that lowers the bucket when the lever is pushed up and raises the bucket when pulled down,
Right lever (114), which raises the lever up and down, lowers the boom, and raises the boom when pulled down;
It consists of a driving pedal 115 that operates as a brake when the left pedal is depressed and as an accelerator when the right pedal is depressed,

As a user UI / UX heavy equipment operation device 110b for the dozer simulator
Left lever 116 operable to move the vehicle straight forward when the lever is pushed up and down, reverse the vehicle when pulled down, rotate the vehicle to the left when pushed to the left, and rotate the vehicle to the right when pushed to the right;
a right lever 117 operable to lower the blade when the lever is up and down and raise the blade when pulled down, rotate the blade to the left when pushed to the left and rotate the blade to the right when pushed to the right,
It consists of a driving pedal 118 that operates as a brake when the left pedal is depressed and operates as a parking brake when the right pedal is depressed,
Simulator user UI / UX heavy equipment operation device 110 for an immersive virtual reality-based heavy equipment training device that provides the same operation environment as that of a real loader or dozer.
 제1항에 있어서,
상기 몰입형 가상 현실 기반 중장비 훈련 장치는 상기된 물리적 장치 구성과 콘텐츠 요소 구성을 통하여 사용자에게 서비스를 제공함에 있어서,
도저, 로더의 기본 장비 운용을 교육하는 교육 훈련(310)으로서, 사용자 장치 조작 훈련, 화면의 지시 사항에 따르는 기초 운행 훈련, 주행 코스와 지형 지정 훈련, 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 매뉴얼화하여 제공하고,

사용자가 장치에 익숙해질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어질 수 있도록 하는 자율 훈련(320)으로서 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 레벨별로 콘텐츠화하여 제공하고,

산업인력공단의 도저와 로더 등 중장비 국가 자격 실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가 자격 실기 훈련(330)으로서
로더는 버킷을 들어 올린 후 성토장으로 전진 - 버킷 수평조작 후 흙 굴토 - 붐과 버킷을 조작하여 흙을 평적 이상 채운 후 후진 - 적재 장소(덤프트럭)으로 주행하여 흙을 채움 - 출발 전 장비 위치에 주차 순으로,
도저는 전진 주행 후 전진 절삭(절토) - 블레이드를 들어 올린 후 성토를 넘어감 - 도착선을 통과 후 180도 회전 - 작업 시작 지점까지 전진 되메우기 - 종료선 통과 후 180도 회전 - 출발 전 장비 위치로 정차 순으로 진행하여,
산업인력공단의 중장비 면허 실기 시험에 준용한 내용을 시나리오로 적용하고,

날씨 및 지형 상황, 안전상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련(340)으로서,
낙석, 바람, 장비의 균형 잃음, 인적 사고 등의 안전 돌발 상황을 시뮬레이션하여 대처하고, 눈/비 등으로 인한 폭우/폭설, 지반 침하, 토사 덮침 등의 자연 재해와 기상 상황을 시뮬레이션 하여 대처하고, 건설 현장의 협업 상황을 통제하는 대처 서비스 등을 시나리오화하여 중장비 도저와 로더에 대한 사용자 서비스(300)로 제공하는
몰입형 가상 현실 기반 중장비 훈련 장치.
According to claim 1,
The immersive virtual reality-based heavy equipment training device provides a service to a user through the above-described physical device configuration and content element configuration,
As an educational training 310 for educating the operation of basic equipment of the dozer and loader, user equipment operation training, basic operation training according to the instructions on the screen, training course and terrain designation training, loader operation, soil excavation, loading, etc. , Dozer provides manual functions such as operation, cutting, filling, and backfill rotation,

As an autonomous training 320 that enables training such as device manipulation, terrain adaptation, and obstacle avoidance in a game format so that the user can become familiar with the device, the loader operates, soil excavation, loading, etc. functions, and the dozer operates and cuts , fill, backfill rotation, etc. are provided as content for each level,

As a national qualification practical training 330 that is configured in the same way as the national qualification practical training scenario for heavy equipment such as dozers and loaders of Human Resources Development Service, it provides training and evaluation for qualification acquisition.
After lifting the bucket, the loader moves forward to the filling site - After leveling the bucket, excavates the soil - Manipulates the boom and bucket to fill the soil above the floor level and then moves backwards - Drives to the loading area (dump truck) and fills the soil - Equipment location before departure in order of parking,
Dozer travels forward and then cuts (cut) - Raises blades and then overfills - Turns 180 degrees after crossing the finish line - Forward backfill to work start point - Turns 180 degrees after passing finish line - Back to machine position before departure Proceed in order of stopping,
The contents applied mutatis mutandis to the heavy equipment license practical test of the Human Resources Development Service of Korea are applied as a scenario,

As the situation training 340 according to the multilateral collaboration scenario, taking into account the weather and terrain situation, the safety emergency situation, etc.,
Simultaneously respond to safety emergencies such as falling rocks, wind, equipment out of balance, and human accidents by simulating natural disasters and weather conditions such as heavy rain/heavy snow caused by snow/rain, subsidence of the ground, and landslides, It provides a user service 300 for heavy equipment dozers and loaders by making scenarios such as coping services that control the collaborative situation of the construction site.
An immersive virtual reality-based heavy-duty training device.
KR1020190153789A 2019-11-26 2019-11-26 Heavy Equipment Training Simulator based on Immersive Virtual Reality KR102278900B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153789A KR102278900B1 (en) 2019-11-26 2019-11-26 Heavy Equipment Training Simulator based on Immersive Virtual Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153789A KR102278900B1 (en) 2019-11-26 2019-11-26 Heavy Equipment Training Simulator based on Immersive Virtual Reality

Publications (2)

Publication Number Publication Date
KR20210065287A true KR20210065287A (en) 2021-06-04
KR102278900B1 KR102278900B1 (en) 2021-07-20

Family

ID=76391511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153789A KR102278900B1 (en) 2019-11-26 2019-11-26 Heavy Equipment Training Simulator based on Immersive Virtual Reality

Country Status (1)

Country Link
KR (1) KR102278900B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961080A (en) * 2021-11-09 2022-01-21 南京邮电大学 Three-dimensional modeling software framework based on gesture interaction and design method
KR20230046584A (en) * 2021-09-30 2023-04-06 대우조선해양 주식회사 Warship Integrated Solution System Using Digital Platform
KR102531830B1 (en) * 2022-09-05 2023-05-12 주식회사 유토비즈 A xr driving education and training system for vr type towing a aircraft
WO2024025037A1 (en) * 2022-07-28 2024-02-01 주식회사 거비메타 System having heavy equipment two-way non-face-to-face training platform, and training data transmission and driving evaluation method using same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240039260A (en) 2022-09-19 2024-03-26 배재대학교 산학협력단 Virtual reality-based construction machine practice system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123334A (en) * 2010-05-07 2011-11-15 (주)코아블루 Making tool and method for virtual reality education system
KR101501632B1 (en) 2013-11-29 2015-03-12 주식회사 비주얼리액터 Interactive 5D Rider fly Battle Racing device.
KR20170005971A (en) * 2015-07-07 2017-01-17 임진국 Training simulator and method for special vehicles using argmented reality technology
KR101789523B1 (en) 2015-08-13 2017-11-21 한서대학교 산학협력단 Excavator maximum tool forces simulation method, apparatus performing the same and tool forces simulation computer program
KR20170132515A (en) * 2016-05-24 2017-12-04 (주)이노시뮬레이션 Apparatus and method for simulating car

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123334A (en) * 2010-05-07 2011-11-15 (주)코아블루 Making tool and method for virtual reality education system
KR101501632B1 (en) 2013-11-29 2015-03-12 주식회사 비주얼리액터 Interactive 5D Rider fly Battle Racing device.
KR20170005971A (en) * 2015-07-07 2017-01-17 임진국 Training simulator and method for special vehicles using argmented reality technology
KR101789523B1 (en) 2015-08-13 2017-11-21 한서대학교 산학협력단 Excavator maximum tool forces simulation method, apparatus performing the same and tool forces simulation computer program
KR20170132515A (en) * 2016-05-24 2017-12-04 (주)이노시뮬레이션 Apparatus and method for simulating car

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230046584A (en) * 2021-09-30 2023-04-06 대우조선해양 주식회사 Warship Integrated Solution System Using Digital Platform
CN113961080A (en) * 2021-11-09 2022-01-21 南京邮电大学 Three-dimensional modeling software framework based on gesture interaction and design method
CN113961080B (en) * 2021-11-09 2023-08-18 南京邮电大学 Three-dimensional modeling software framework based on gesture interaction and design method
WO2024025037A1 (en) * 2022-07-28 2024-02-01 주식회사 거비메타 System having heavy equipment two-way non-face-to-face training platform, and training data transmission and driving evaluation method using same
KR102531830B1 (en) * 2022-09-05 2023-05-12 주식회사 유토비즈 A xr driving education and training system for vr type towing a aircraft

Also Published As

Publication number Publication date
KR102278900B1 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
KR102278900B1 (en) Heavy Equipment Training Simulator based on Immersive Virtual Reality
JP3625212B1 (en) Three-dimensional virtual space simulator, three-dimensional virtual space simulation program, and computer-readable recording medium recording the same
CN106601062A (en) Interactive method for simulating mine disaster escape training
CN105807922A (en) Implementation method, device and system for virtual reality entertainment driving
JP3635729B2 (en) Image processing method, image processing apparatus, and simulated experience apparatus
Rostami et al. The metaverse and beyond: Implementing advanced multiverse realms with smart wearables
KR101608342B1 (en) Unmanned booth type sensible motion riding system and operating method thereof
RU2730796C2 (en) Simulating device for crane, construction machine or floor-type transport means
KR20170102758A (en) Apparatus and method for providing virtual experience based on interactive actual rail coaster
CN111819520A (en) Spatialized haptic device force feedback
KR102264045B1 (en) The Story-based VR Heavy Equipment Training System With Multi-Party Sessions, And The Method For Cooperation Synchronizing Using The Same
CN101452651A (en) Shipping nacelle virtual reality emulation system
US20110124413A1 (en) Haptic-simulation home-video game
KR102446842B1 (en) Immersive Virtual Reality Based Heavy Equipment Training Simulator System To Provide Reduced Motion Sickness And Pitch Vibration
KR20210085266A (en) National Competency Standards-based Construction Machine Loader Training System and Training Method therefor
CN112843683B (en) Virtual character control method and device, electronic equipment and storage medium
WO2016135472A1 (en) Immersive vehicle simulator apparatus and method
KR20220058111A (en) Vr based heavy equipment training system with tactical training map for cooperation
KR20160099075A (en) Image Simulating System, Apparatus for Controlling Platform and Method for Controlling Platform
CN101226695A (en) Training system for simulating operation of digging machine
US20090029325A1 (en) Virtual locomotive simulation system and method
JP2008033964A (en) Image generating apparatus and information storage medium
Johns et al. Unreal editor as a virtual design instrument in landscape architecture studio
Vince Handbook of computer animation
JP2000039836A (en) Hydraulic excavator simulator

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant