KR102278900B1 - Heavy Equipment Training Simulator based on Immersive Virtual Reality - Google Patents
Heavy Equipment Training Simulator based on Immersive Virtual Reality Download PDFInfo
- Publication number
- KR102278900B1 KR102278900B1 KR1020190153789A KR20190153789A KR102278900B1 KR 102278900 B1 KR102278900 B1 KR 102278900B1 KR 1020190153789 A KR1020190153789 A KR 1020190153789A KR 20190153789 A KR20190153789 A KR 20190153789A KR 102278900 B1 KR102278900 B1 KR 102278900B1
- Authority
- KR
- South Korea
- Prior art keywords
- training
- user
- content
- information
- situation
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 159
- 238000004088 simulation Methods 0.000 claims abstract description 48
- 238000012797 qualification Methods 0.000 claims abstract description 23
- 239000012636 effector Substances 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000006978 adaptation Effects 0.000 claims abstract description 5
- 230000003993 interaction Effects 0.000 claims description 17
- 239000002689 soil Substances 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000009412 basement excavation Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 230000001953 sensory effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 239000004568 cement Substances 0.000 claims description 2
- 230000010485 coping Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000036632 reaction speed Effects 0.000 claims description 2
- 239000011435 rock Substances 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000010287 polarization Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000000994 depressogenic effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000036421 sense of balance Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련, 자율 훈련, 국가 자격 실기 훈련 및 상황 훈련을 사용자 서비스로 제공함을 특징으로 한다.
본 발명은 상기된 발명의 목적을 달성하기 위하여 사용자에게 3D 영상으로 구성된 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD) 장치, 시뮬레이션 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치, 3D 사운드 스피커, 몰입형 VR을 실현하기 위해 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 사용자 조작장치, 멀티 콘텐츠 연동 클라이언트서버를 물리적 구성 요소로 하고, VR 기반 3D 실감 영상/사운드 콘텐츠, 립모션 기반 인터페이스, 실감형 햅틱 이펙터, 멀티 콘텐츠 연동 클라이언트를 콘텐츠 구성 요소로 하고, 중장비 도저, 로더의 기본 장비 운용을 교육하는 교육 훈련, 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련, 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가 자격 실기 훈련, 날씨 및 지형 상황, 안전상의 돌발 상황에 대한 대처를 위한 상황 훈련 등을 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 훈련 장치를 구현함으로써 본 발명의 목적을 실현한다.The present invention relates to an immersive virtual reality-based heavy equipment simulation training apparatus for providing realistic physical training to heavy equipment trainees such as dozers and loaders, 3D image and sound media, lip motion-based gesture recognition control function, and polarization to the user It is characterized by providing educational training, autonomous training, national qualification practical training and situational training as user services by using a haptic manipulation device that provides realistic five senses as a component of the simulator.
In order to achieve the object of the present invention, a head-mounted display (HMD) device for providing visual content information composed of 3D images to a user, a lip motion-based device that recognizes and communicates a user's gesture for interactive simulation in progress A motion sensor device, a 3D sound speaker, a user manipulation device that implements a haptic effect that provides hyper-realistic five senses to realize immersive VR, and a multi-content interlocking client server are physical components, and VR-based 3D realistic video/ Using sound content, lip motion-based interface, realistic haptic effector, and multi-content interlocking client as content components, training to teach basic equipment operation of heavy equipment dozers and loaders, terrain adaptation, obstacle avoidance, etc. It provides user services such as autonomous training, national qualification practice training that provides training and evaluation for qualification acquisition, and situational training to cope with weather and terrain situations, and safety emergencies, which are configured in the same way as the national qualification training scenario. The object of the present invention is realized by implementing an immersive virtual reality-based heavy equipment training device provided by
Description
본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 가상 현실 기반 중장비 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련모드, 자율 훈련모드, 국가자격 실기 훈련모드 및 상황 훈련모드를 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것이다.The present invention relates to a virtual reality-based heavy equipment training device for providing realistic physical training to heavy equipment trainees such as dozers and loaders, 3D image and sound media, lip motion-based gesture recognition control function, It relates to an immersive virtual reality-based heavy equipment simulation training device that provides an educational training mode, an autonomous training mode, a national qualification practical training mode, and a situation training mode as a user service by using a haptic manipulation device that provides senses as a component of the simulator.
몰입형(Immersive) VR은 3D 영상과 3D 사운드, 실제 상황과 동일하게 극사실화 되어 운영되는 오감형 햅틱 이펙터 등을 시뮬레이터 사용자 인터페이스(UI/UX)로 제공하여 사용자가 마치 실제 상황에 처해있는 듯한 몰입감을 체험할 수 있도록 하는 극사실적인 가상 현실 기술이다.Immersive VR provides a simulator user interface (UI/UX) with 3D images, 3D sound, and five-sensory haptic effectors that are realistically operated in the same way as in real situations, giving users an immersive feeling as if they were in a real situation. It is a hyper-realistic virtual reality technology that allows you to experience
건설 현장에서 주로 쓰이는 로더(Loader)와 도저(Dozer) 중장비는 산업 인력 관리 공단의 국가 자격 시험을 통해 운행 자격을 취득할 수 있는 장비로, 많은 훈련생들이 현장 실습을 통해 주행과 동작 실기를 연습하고 자격을 취득하여 현장에 배치된다.The loader and dozer heavy equipment mainly used at construction sites are equipment that can acquire operating qualifications through the National Qualification Test of the Industrial Human Resources Management Corporation. Many trainees practice driving and movement skills through on-site training. Qualified and deployed to the field.
그러나 이러한 현장 훈련만으로는 시간과 공간상의 제약이 심할 뿐 아니라 실제 건설 현장의 다양한 돌발이나 안전 상황에 대처하기에는 경험이 부족하게 되고, 자격 실기를 취득하였다 하여도 실기 시험에 포함되지 않은 다양한 상황에서 조작과 경험이 미숙해지는 단점이 있다.However, such on-site training alone is not only severely limited in time and space, but also lacks experience to deal with various unexpected or safety situations at the actual construction site. The downside is the lack of experience.
이에 실제와 유사한 도저와 로더 사용자 조작 장치를 가지고 화면상에서 주행과 동작에 대한 조작 훈련을 할 수 있도록 하는 가상 현실 기반 VR 훈련 시뮬레이션 장치들이 도입되기 시작하였으며 굴삭, 토취에 관련된 실제 상황을 시뮬레이션에 적용하기 위한 동작 계산법 등이 선행 특허 문헌 1의 대한민국 특허 등록번호 제10-1789523호 (굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램)을 통해 제시된 바 있다.Accordingly, virtual reality-based VR training simulation devices that enable operation training for driving and motion on the screen with a dozer and loader user operation device similar to the real one have started to be introduced, and the actual situation related to excavation and discharging has been applied to the simulation. For the operation calculation method, etc., it has been suggested through Korean Patent Registration No. 10-1789523 (excavator maximum digging force simulation method, an apparatus for executing the same, and a digging force simulation computer program stored in a recording medium) of Prior Patent Document 1).
VR 게임 시장에서는 증강 현실, 4D 효과, 햅틱 이펙터 등을 통해 현실 세계를 극사실적으로 표현하는 몰입형 VR 기술이 등장하고 있으며 이를 위해 HMD(Head Mounted Display), 3D 스피커, 오감형 햅틱 이펙터 등의 사용자 장비 기술들이 출현하고 있다. 그러나 이러한 기술들은 아직 레이싱이나 아케이드 게임을 위한 콘텐츠들로서, 컴퓨터 그래픽이 주는 효과와 몰입형 VR 콘텐츠를 적용한 오락성에 중점을 두어 제작하고 있는 실정으로 선행 특허 문헌 2의 대한민국 특허 등록번호 제10-1501632호 (인터랙티브 오감형 라이더 비행 배틀 레이싱 장치)를 통해 참고할 수 있다. In the VR game market, immersive VR technology that realistically expresses the real world through augmented reality, 4D effects, and haptic effectors is emerging. Equipment technologies are emerging. However, these technologies are still produced for racing or arcade games, focusing on the effects of computer graphics and entertainment by applying immersive VR content. Korean Patent Registration No. 10-1501632 of Prior Patent Document 2 (Interactive Five Senses Rider Flight Battle Racing Device) can be used as a reference.
도저, 로더 중장비 훈련생들이 실제 훈련장과 동일한 시나리오로 현실 세계의 상황을 극사실적으로 표현한 몰입형 VR 시뮬레이션을 체험한다면, 훈련생 입장에서 볼 때 중장비 훈련을 보다 효과적으로 진행할 수 있을 뿐 아니라 교육 훈련 환경의 개선으로 장비 운행 경험을 확대하여 단기간에 높은 숙련도 달성을 기대할 수 있다.If the dozer and loader heavy equipment trainees experience an immersive VR simulation that realistically expresses the real world situation with the same scenario as the actual training ground, from the trainee’s point of view, heavy equipment training can be conducted more effectively and the training environment will be improved. It can be expected to achieve high proficiency in a short period of time by expanding the equipment operation experience.
본 발명은 목적은 도저, 로더 중장비 훈련에 있어 고효율 3D 미디어와 오감형 햅틱 물리 환경 구축을 통해 사용자의 몰입감을 극대화하여 주변 환경이 현실이라고 느끼게 하는 몰입형 가상 현실 중장비 시뮬레이션 훈련 장치를 구현하여 중장비 교육 훈련의 질을 개선하고 훈련자의 숙련도를 단기간에 개선할 수 있도록 하고자 한다.The purpose of the present invention is to implement an immersive virtual reality heavy equipment simulation training device that maximizes the user's immersion through the construction of high-efficiency 3D media and five-sensory haptic physical environment in training dozer and loader heavy equipment to make the surrounding environment feel real. It aims to improve the quality of training and improve the skill level of trainees in a short period of time.
본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련모드, 자율 훈련모드, 국가자격 실기 훈련모드 및 상황 훈련모드를 사용자 서비스로 제공함을 특징으로 한다.The present invention relates to an immersive virtual reality-based heavy equipment simulation training apparatus for providing realistic physical training to heavy equipment trainees such as dozers and loaders, 3D image and sound media, lip motion-based gesture recognition control function, and polarization to the user It is characterized by providing educational training mode, autonomous training mode, national qualification practical training mode and situation training mode as user services by using a haptic manipulation device that provides realistic five senses as a component of the simulator.
본 발명은 상기된 발명의 목적을 달성하기 위하여 3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치, 사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치, 훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커,몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 시뮬레이션 사용자 조작 장치, 협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버를 물리적 구성 요소로 하고, VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 영상/사운드 콘텐츠, 사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스, 제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터, 멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트를 콘텐츠 구성 요소로 하고, 중장비 도저, 로더의 기본 장비 운용을 교육하는 교육 훈련, 사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련, 산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련, 날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련 등을 중장비 도저와 로더에 대한 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 훈련 장치를 구현함으로써 본 발명의 목적을 실현한다.In order to achieve the object of the present invention, a head mounted display (HMD - Head Mounted Display) device, user authentication, training content for providing visual content information that is composed of a 3D image and expresses a real situation in a hyper-realistic way to the user Leap motion-based motion sensor device that recognizes and communicates by recognizing user gestures for interactive selection of training content, 3D sound speaker for three-dimensional expression of training situations, and interlocking with content providing server to realize immersive VR A simulation user manipulation device that implements a haptic effect that provides users with hyper-realistic five senses, is used as a multi-content linkage client to implement a collaborative training situation, and is used for simulation control unit, UI/UX interaction control, and synchronization between devices. VR-based 3D immersive video/sound content created to be selected and applied according to the training model and training situation, and user gestures are made by using the simulation server as a physical component, dividing the VR-based 3D video into a story and separating it by package. A lip motion-based interface that recognizes and selects or controls a training program, and allows interaction with virtual objects in a training situation during training, provides 3D content and user's device manipulation, and synchronizes with 3D sound to provide a hyper-realistic experience to the user. Realistic haptic effector to deliver training effects through the five senses, multi-content training based on collaboration between multi-users, or acting as a content client to support story-based training such as unexpected or disaster situations to synchronize multi-party training situations With the interlocking client as a content component, training to teach basic equipment operation of heavy-duty dozers and loaders, and training such as device operation, terrain adaptation, and obstacle avoidance in a game format so that users can become familiar with the device It consists of the same training scenario for national qualification training for heavy equipment such as autonomous training, dozers and loaders of the Human Resources Development Service of Korea, and Immersive virtual reality that considers national qualification training that provides training and evaluation, weather and terrain conditions, and safety emergencies, and provides situational training according to multilateral collaboration scenarios as user services for heavy equipment dozers and loaders The object of the present invention is realized by implementing a base heavy equipment training device.
본 발명의 몰입형 가상 현실 중장비 시뮬레이션 훈련 장치를 통해서 종래에 현장 훈련으로 진행되던 도저 로더 중장비의 교육 훈련을 실제와 극사실적으로 유사한 가상 훈련 시뮬레이터를 통해 진행할 수 있도록 함으로써 중장비 교육 훈련의 질을 개선하고 훈련자의 숙련도를 단기간에 개선할 수 있다. 교육 시나리오 상에서 게임적인 요소와 레벨 평가를 통하여 숙련 레벨의 성취도를 평가할 수 있고, 날씨, 안전, 지형 요소들에 관련된 돌발 상황을 가정하여 다양한 체험을 할 수 있어 현장 훈련 만으로 극복할 수 없는 다양한 상황 대처 방법을 경험으로 체득할 수 있다. Through the immersive virtual reality heavy equipment simulation training device of the present invention, the education and training of dozer loader heavy equipment, which was conventionally conducted as field training, can be conducted through a virtual training simulator similar to the real one, thereby improving the quality of heavy equipment education and training. It can improve the skill level of the trainee in a short period of time. In the educational scenario, it is possible to evaluate the achievement of the skill level through game elements and level evaluation, and various experiences can be made assuming unexpected situations related to weather, safety, and terrain factors, so that various situations that cannot be overcome by field training alone can be dealt with. method can be learned through experience.
또한, 상기 장치의 대중화를 통해 장소/시간/환경에 구애받지 않는 경제적 훈련 환경 조성으로 수요가 많은 중장비 교육 시장의 활성화와, 교육의 전문성 향상을 기대할 수 있다.In addition, through the popularization of the device, it is possible to revitalize the heavy equipment education market in high demand by creating an economical training environment irrespective of place/time/environment, and to improve professionalism in education.
도 1은 본 발명에 따른 몰입형 가상 현실 기반 중장비 훈련 장치의 물리적 구성도
도 2는 본 발명에 따른 몰입형 가상 현실 기반 중장비 훈련 장치의 구성 및 서비스 개념도
도 3은 본 발명에 따른 시뮬레이션 콘텐츠 구성도
도 4는 본 발명에 따른 오감형 햅틱 사용자 조작 장치 구성도1 is a physical configuration diagram of an immersive virtual reality-based heavy equipment training device according to the present invention;
2 is a configuration and service conceptual diagram of an immersive virtual reality-based heavy equipment training device according to the present invention;
3 is a configuration diagram of simulation content according to the present invention;
4 is a configuration diagram of a five-sensory haptic user manipulation device according to the present invention;
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고, 상세한 설명을 통해 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성 요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described with reference to the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
본 발명은 중장비 훈련생에게 실제와 거의 동일한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 훈련 장치에 있어서,The present invention provides an immersive virtual reality-based heavy equipment training device for providing physical training almost identical to the real one to heavy equipment trainees,
도 1에 도시한 바와 같이 중장비 도저와 로더의 실제 기종과 동일하게 구현되고 콘텐츠 정합의 오차를 최소화 한 사용자 조작 장치를 갖춘 시뮬레이션 사용자 장비(100)를 구성함에 있어,As shown in FIG. 1, in configuring the
3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치(110),A head mounted display (HMD - Head Mounted Display)
사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치(120),A lip motion-based
훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커(130),
몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 사용자 조작 장치(140),In order to realize immersive VR, a
협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버(150)를 물리적 구성 요소로 포함함을 특징으로 한다.It is used as a multi-content interworking client for implementing a collaborative training situation, and it is characterized by including a simulation control unit, UI/UX interaction control, and a
상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자에게 극사실화된 실감 미디어와 오감형 체험 기능, 제스처 기반 제어를 제공하기 위한 콘텐츠 구성요소(200)는 도 2에 도시한 바와 같이,As shown in FIG. 2 , the immersive virtual reality-based heavy equipment training device is a
VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 콘텐츠(210),VR-based 3D
사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스(220),A lip motion-based
제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터(230),Realistic
멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트(240)를 포함한다. It includes a
상기 VR 기반 3D 실감 콘텐츠는 도 3에 도시한 바와 같이 사람 및 장애물, 지형, 작업을 위한 토착물, 토사, 시멘트 구조물 등의 액티브 객체를 구현한 가상 객체 DB(211),The VR-based 3D realistic content includes a virtual object DB 211 realizing active objects such as people, obstacles, terrain, indigenous objects for work, soil, and cement structures, as shown in FIG. 3 ,
실제 환경을 사실적으로 묘사한 배경, 날씨, 백그라운드 지형, 객체의 질감 등을 묘사한 환경 객체 DB(212),
훈련 상황 중에 사용자와 직접 상호 작용함으로써 훈련 상황을 제어하고 진행하며, 사용자와 인터랙션 하게 되는 논플레이어(NPC) 물리 객체 DB(213),A non-player (NPC)
상기 객체들 간의 조합과 상호 연동을 통해 훈련 상황을 구성하고 사용자의 UI/UX 장치를 통해 입출력된 정보들과 동기화하기 위한 상호 연동모듈(214)로 구성되고,It consists of an
상기 립모션 입력 인터페이스(220)는 도 3에 도시한 바와 같이 모션 센서를 통해 입력된 사용자의 제스처를 분석하여 사용자 입력 신호로 변환하는 제스처 인식모듈(221),The lip
입력된 사용자의 제스처 정보를 훈련 시뮬레이션 상의 콘텐츠 진행 내용과 동기화하여 선택, 인증, 상호 인터랙션 정보 등으로 활용하여 시뮬레이션 상황을 진행하기 위해 정보 형태로 구성하는 콘텐츠 동기화모듈(222),A
입력된 사용자 제스처 정보를 시뮬레이션 콘텐츠 정보와 결합하여 가상 객체와 인터랙션하고 이를 실시간으로 응답하여 사용자에게 피드백 함으로써 사용자와 가상 객체들 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상 객체와의 인터랙션모듈(223),An interaction module with a virtual object to naturally and realistically describe the interaction between the user and the virtual objects by combining the input user gesture information with the simulation content information to interact with the virtual object, responding to it in real time and feeding it back to the user ( 223),
립모션으로 입력되는 사용자 신호에 대한 시뮬레이션 진행 상황에서 그 결과를 시뮬레이터의 특정 사용자 UI/UX를 통해 출력하고 응답함으로써 사용자가 즉각적으로 직관적인 방식으로 소통할 수 있도록 시뮬레이터 물리 장치들을 동기화하고 제어하는 시뮬레이터 연동모듈(224)을 포함하고,A simulator that synchronizes and controls the simulator physics devices so that the user can communicate immediately and intuitively by outputting and responding to the result through the specific user UI/UX of the simulator in the progress of simulation for the user signal input through leap motion including an
상기 실감형 햅틱 이펙터(230)는 도 3에 도시한 바와 같이 시뮬레이션 제어 유닛(SCU - Simulation Control Unit)과 인터페이스하여 사용자에 전달할 응답 정보와 오감 신호를 추출하는 SCU 인터페이스(231),The realistic
사용자에게 전달할 오감 신호를 사용자가 현재 진행하고 있는 시뮬레이션 상황의 시각적, 청각적 멀티미디어 콘텐츠 정보 및 제스처 응답 정보와 실시간 동기함으로써 사용자에게 극사실적인 몰입형 VR를 체험할 수 있도록 하는 콘텐츠 동기화모듈(232),A
사용자에게 전달되는 오감 정보를 시뮬레이션 상황과 콘텐츠 특성에 맞게 샘플링하여 멀티 콘텐츠 정보로 조합하고 합성한 후 정보 DB로 저장하고 시뮬레이터의 요청에 응답하는 햅틱 기반 실감 인터랙션모듈(233),A haptic-based
상기 오감 출력 정보가 사용자가 진행하는 훈련 상황의 시각적, 청각적 정보와 실시간으로 타임 동기되어 출력되도록 제어하는 콘텐츠 연동 조작 제어모듈(234)을 포함하여 사용자가 오감으로 훈련 상황을 실제와 비슷하게 몰입하여 체험할 수 있도록 구현하고,Including a content link
상기 멀티 콘텐츠 연동 클라이언트(240)는 도 3에 도시한 바와 같이,As shown in FIG. 3, the
스마트 패드 또는 제스처 동작을 통해 훈련 상황을 모니터링하며 돌발이나 비상 상황 발생시 시뮬레이션을 종료하거나 중지할 수 있도록 하는 시뮬레이션 제어모듈(241),A
시뮬레이션 진행 동안 사용자의 UI/UX 응답 시간과 반응 속도를 관리하며 모니터링 하는 UI/UX 관리모듈(242),UI/
다자 간 협업 시나리오 같은 멀티 사용자 환경에서 현재 사용자의 동작 정보를 NPC 물리 객체와 하여 클라이언트 형태로 서버로 전달하고, 서버로부터 다른 사용자의 진행 상황 정보를 현재 사용자의 NPC 물리 객체 정보로 실시간 변환하여 시뮬레이션 진행 상황을 통제하는 NPC 물리 객체 정보 처리모듈(243),In a multi-user environment such as a multi-party collaboration scenario, the current user's motion information is transferred to the server in the form of a client with the NPC physics object, and the progress information of other users from the server is converted into the current user's NPC physical object information in real time to proceed with the simulation NPC physical object
훈련 상황의 모니터링 정보를 통해 훈련자의 훈련 진행 상태 정보를 통계 정보로 수집하여 평가하고 DB 형태로 관리하는 평가 DB(244)를 구성 요소로 포함하여 본 발명의 목적을 실현한다.The object of the present invention is realized by including the
상기 사용자 조작 장치(140)는 도 4에 도시한 바와 같다. 즉,The
로더 시뮬레이터를 위한 사용자 조작 장치(140a)는 기존 자동차 핸들과 조향 방식 동일하게 동작하는 조향 핸들(141), The
앞으로 밀 경우 전진, 중앙에 둘 경우 중립, 뒤로 당길 경우 후진으로 동작하는 핸들 좌측 스틱(142), Left handle stick (142) that moves forward when pushed forward, neutral when placed in the center, and reversed when pulled back,
레버를 위로 밀 경우 버켓을 하강하고 아래로 당길 경우 버켓을 상승하는 좌측 레버(143),Left lever (143) that lowers the bucket when the lever is pushed up and raises the bucket when pulled down,
레버를 위로 및 경우 붐 하강하고, 아래로 당길 경우 붐 상승하는 우측 레버(144),Right lever (144), which raises the lever up and down, lowers the boom, and raises the boom when pulled down;
왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 엑셀러레이터로 작동하는 운행 페달(145)로 구성하고,It consists of a driving
도저 시뮬레이터를 위한 사용자 조작 장치(140b)는The
레버를 위로 및 경우 차량을 직진하고 아래로 당길 경우 차량을 후진하고 좌측으로 밀 경우 차량을 좌측으로 회전시키고 우측으로 밀 경우 차량을 우측으로 회전시키도록 동작하는 좌측 레버(146),
레버를 위로 및 경우 블레이드를 하강시키고 아래로 당길 경우 블레이드를 상승시키고, 좌측으로 밀 경우 블레이드를 좌측으로 회전시키고 우측으로 밀 경우 블레이드를 우측으로 회전시키도록 동작하는 우측 레버(147),a right lever (147) operative to lower the blade when the lever is up and down and raise the blade when pulled down, rotate the blade to the left when pushed to the left and rotate the blade to the right when pushed to the right,
왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 주차 브레이크로 작동하도록 하는 운행 페달(148)로 구성되어,It consists of a driving
실제 로더 또는 도저의 기종과 동일한 조작 환경을 제공하고, 실감형 햅틱 이펙터(230)로부터 오감형 콘텐츠 정보를 연동하여 사용자 UI/UX에 진동, 상하 좌석 움직임, 장치의 흔들림, 충격 효과 등을 제어하여 사용자가 오감으로 느낄 수 있는 실제 상황과 동일한 균형감과 충격감을 체험할 수 있도록 하여 몰입형 가상 현실 훈련 서비스를 구현한다.It provides the same operating environment as that of the actual loader or dozer, and controls vibration, up-and-down seat movement, shaking of the device, shock effect, etc. to the user UI/UX by linking the five sense content information from the realistic
상기 몰입형 가상 현실 기반 중장비 훈련 장치에서 제공하는 가상현실 훈련서비스는 실감 컨텐츠(210)와 오감형 햅틱 이펙터(230)를 사용하여 레벨에 따라 구성된 훈련 미션을 시나리오로 제공하여 사용자가 게임을 즐기듯 훈련 과정의 숙련도를 연마해 나갈 수 있도록 한다. 상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자에게 제공하는 훈련 서비스로서 도 2에 도시한 바와 같이,The virtual reality training service provided by the immersive virtual reality-based heavy equipment training device provides a training mission configured according to the level using the
중장비 도저, 로더의 기본 장비 운용과 사용자 장치의 조작법을 훈련하는 교육 훈련모드(310),
사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어질 수 있도록 하는 자율 훈련모드(320),
산업인력공단의 도저와 로더 등 중장비 국가 자격 실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격 실기 훈련모드(330), National qualification training mode (330), which is configured the same as the national qualification training scenario for heavy equipment such as dozers and loaders of Human Resources Development Service and provides training and evaluation for qualification acquisition;
날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련모드(40) 등을 중장비 도저와 로더에 대한 사용자 서비스로 포함함을 특징으로 한다. It is characterized in that it considers the weather and terrain conditions, safety emergency situations, etc., and includes a situation training mode 40 according to a multilateral collaboration scenario as a user service for heavy equipment dozers and loaders.
상기 몰입형 가상 현실 기반 중장비 훈련 장치는 상기된 물리적 장치 구성과 콘텐츠 요소 구성을 통하여 사용자에게 서비스를 제공함에 있어서, The immersive virtual reality-based heavy equipment training device provides a service to a user through the above-described physical device configuration and content element configuration,
도저, 로더의 기본 장비 운용을 교육하는 교육 훈련모드(310)는, 사용자 장치 조작 훈련, 화면의 지시 사항에 따르는 기초 운행 훈련, 주행 코스와 지형 지정 훈련, 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 매뉴얼화하여 제공하고,The
사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련모드(320)에 있어서 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 레벨별로 콘텐츠화 하여 제공하고,In the
산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련모드(330)에 있어서, In the national
로더는 버킷을 들어 올린 후 성토장으로 전진 - 버킷 수평조작 후 흙 굴토 - 붐과 버킷을 조작하여 흙을 평적이상 채운 후 후진 - 적재장소(덤프트럭)으로 주행하여 흙을 채움 - 출발 전 장비 위치에 주차 순으로,After lifting the bucket, the loader moves forward to the filling site - After leveling the bucket, excavates the soil - Manipulates the boom and bucket to fill the soil above the floor level and then moves backwards - Drives to the loading site (dump truck) and fills the soil - Equipment location before departure in order of parking,
도저는 전진 주행 후 전진 절삭(절토) - 블레이드를 들어 올린 후 성토를 넘어감 - 도착선을 통과 후 180도 회전 - 작업시작 지점까지 전진 되메우기 - 종료선 통과 후 180도 회전 - 출발 전 장비위치로 정차 순으로 진행하여 산업인력공단의 중장비 면허 실기 시험에 준용한 내용을 시나리오로 적용하고, Dozer moves forward and cuts (cut) - Lifts the blade and crosses the fill - Turns 180 degrees after passing the arrival line - Forward backfill to the work start point - Turns 180 degrees after passing the finish line - Back to the machine position before departure Proceed in the order of stopping, apply the contents applied mutatis mutandis to the heavy equipment license practical test of Human Resources Development Service as a scenario,
삭제delete
날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련모드(40)는 낙석, 바람, 장비의 균형 잃음, 인적 사고 등의 안전 돌발 상황을 시뮬레이션하여 대처하고, 눈/비 등으로 인한 폭우/폭설, 지반 침하, 토사 덮침 등의 자연 재해와 기상 상황을 시뮬레이션 하여 대처하고, 건설 현장의 협업 상황을 통제하는 대처 서비스 등을 시나리오화하여 중장비 도저와 로더에 대한 사용자 서비스(300)로 제공한다. Considering weather and terrain conditions, safety emergencies, etc., the situation training mode 40 according to a multilateral collaboration scenario simulates and responds to safety emergencies such as falling rocks, wind, equipment loss, and human accidents, snow /User services for heavy equipment dozers and loaders by simulating natural disasters and weather conditions such as heavy rain/heavy snow caused by rain, subsidence of ground, and landslides, and coping services that control cooperation situations at construction sites, etc. (300).
삭제delete
001: 몰입형 가상 현실 기반 중장비 훈련 장치
100: 시뮬레이션 사용자 조작장비
110 : HMD장치
120: 립모션 기반 모션 센서 장치
130: 3D 사운드 스피커
140a, 140b: 사용자 조작 장치
141: 로더용 조향핸들
142: 로더용 좌측스틱
143: 로더용 좌측레버
144: 로더용 우측레버
145: 로더용 페달
146: 도저용 좌측레버
147: 도저용 우측레버
148: 도저용 페달
150: 시뮬레이션 서버
200: 콘텐츠 구성 요소
210: VR 기반 3D 실감 영상/사운드 콘텐츠
211: 가상 객체 DB
212: 환경 객체 DB
213: NPC 물리 객체 DB
214: 구성 모듈 간 상호 연동모듈
220: 제스처(립모션) 기반 인터페이스
221: 모션 센서를 통한 제스처 인식모듈
222: 콘텐츠 동기화모듈
223: 가상 객체와의 인터랙션 모듈
224: 시뮬레이터와 연동모듈
230: 실감형 햅틱 오감 이펙터
231: SCU 인터페이스
232: 콘텐츠 동기화 모듈
233: 햅틱 기반 실감 인터랙션 모듈
234: 콘텐츠 연동 조작 제어모듈
240: 멀티 콘텐츠 연동 클라이언트
241: 시뮬레이션 제어 SCU모듈
242: UI/UX 관리모듈
243: NPC 물리 객체정보 처리모듈
244: 평가 DB
300: 사용자 서비스
310: 교육 훈련모드
320: 자율 훈련모드
330: 국가자격실기 훈련모드
340: 상황 훈련모드001: Immersive virtual reality-based heavy equipment training device
100: simulation user manipulation equipment
110: HMD device
120: lip motion-based motion sensor device
130: 3D sound speaker
140a, 140b: user operated device
141: steering wheel for loader
142: left stick for loader
143: left lever for the loader
144: right lever for loader
145: pedal for loader
146: left lever for dozer
147: right lever for dozer
148: pedal for dozer
150: simulation server
200: content component
210: VR-based 3D realistic video/sound content
211: virtual object DB
212: environment object DB
213: NPC physics object DB
214: interworking module between configuration modules
220: gesture (lip motion) based interface
221: gesture recognition module through motion sensor
222: content synchronization module
223: interaction module with virtual object
224: simulator and interworking module
230: realistic haptic five sense effector
231: SCU interface
232: content synchronization module
233: Haptic-based realistic interaction module
234: content interlocking operation control module
240: multi-content linked client
241: simulation control SCU module
242: UI/UX management module
243: NPC physical object information processing module
244: evaluation DB
300: user service
310: education training mode
320: autonomous training mode
330: national qualification practice training mode
340: situation training mode
Claims (4)
사용자의 제스처를 인식하여 소통하기 위한 립모션 기반 모션 센서 장치(120),
훈련상황의 입체감 있는 표현을 위한 3D 사운드 스피커(130),
몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 사용자 조작 장치(140a, 140b) 및, 협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되면서 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어 및 장치간 동기화를 위한 시뮬레이션 서버(150)를 포함하는 시뮬레이션 사용자 장비(100);와
VR기반 3D영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR기반 3D실감 콘텐츠(210),
사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스(220),
상기 VR기반 3D실감 컨텐츠 및 상기 사용자 조작장치와 동기화되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하는 실감형 햅틱 이펙터(230) 및
멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트(240)를 포함하는 콘텐츠 구성요소(200)를 구비하되,
상기 VR기반 3D실감 콘텐츠(210)는
사람, 장애물, 지형, 작업을 위한 토착물, 토사 및 시멘트 구조물의 액티브 객체를 구현한 가상 객체 DB(211),
실제 환경을 사실적으로 묘사한 배경, 날씨, 백그라운드 지형, 객체의 질감을 묘사한 환경 객체 DB(212),
훈련 상황 중에 사용자와 직접 상호 작용함으로써 훈련 상황을 제어하고 진행하며, 사용자와 인터랙션 하게 되는 논플레이어(NPC) 물리 객체 DB(213),
상기 객체들 간의 조합과 상호 연동을 통해 훈련 상황을 구성하고 사용자의 UI/UX 장치를 통해 입출력된 정보들과 동기화하기 위한 상호연동 모듈(214)을 포함하고,
상기 립모션 입력 인터페이스(220)는
모션 센서를 통해 입력된 사용자의 제스처를 분석하여 사용자 입력 신호로 변환하는 제스처 인식모듈(221),
입력된 사용자의 제스처 정보를 훈련 시뮬레이션 상의 콘텐츠 진행 내용과 동기화하여 선택, 인증, 상호 인터랙션 정보로 활용하여 시뮬레이션 상황을 진행하기 위해 정보 형태로 구성하는 콘텐츠 동기화모듈(222),
입력된 사용자 제스처 정보를 시뮬레이션 콘텐츠 정보와 결합하여 가상 객체와 인터랙션하고 이를 실시간으로 응답하여 사용자에게 피드백 함으로써 사용자와 가상 객체들 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상 객체와의 인터랙션 모듈(223) 및
립모션으로 입력되는 사용자 신호에 대한 시뮬레이션 진행 상황에서 그 결과를 시뮬레이터의 특정 사용자 UI/UX를 통해 출력하고 응답함으로써 사용자가 즉각적으로 직관적인 방식으로 소통할 수 있도록 시뮬레이터 물리 장치들을 동기화하고 제어하는 시뮬레이터 연동 모듈(224)을 포함하며,
상기 실감형 햅틱 이펙터(230)는
시뮬레이션 제어 유닛(SCU)과 인터페이스 하여 사용자에 전달할 응답 정보와 오감 신호를 추출하는 SCU 인터페이스(231),
사용자에게 전달할 오감 신호를 사용자가 현재 진행하고 있는 시뮬레이션 상황의 시각적, 청각적 멀티미디어 콘텐츠 정보 및 제스처 응답 정보와 실시간 동기함으로써 사용자에게 극사실적인 몰입형 VR를 체험할 수 있도록 하는 콘텐츠 동기화 모듈(232),
사용자에게 전달되는 오감 정보를 시뮬레이션 상황과 콘텐츠 특성에 맞게 샘플링하여 멀티 콘텐츠 정보로 조합하고 합성한 후 정보 DB로 저장하고 시뮬레이터의 요청에 응답하는 햅틱 기반 실감 인터랙션 모듈(233) 및
상기 오감 정보가 사용자가 진행하는 훈련 상황의 시각적, 청각적 정보와 실시간으로 타임 동기되어 출력되도록 제어하는 콘텐츠 연동 조작 제어모듈(234)을 포함하고,
상기 멀티 콘텐츠 연동 클라이언트(240)는
스마트 패드 또는 제스처 동작을 통해 훈련 상황을 모니터링하며 돌발이나 비상 상황 발생시 시뮬레이션을 종료하거나 중지할 수 있도록 하는 시뮬레이션 제어모듈(241),
시뮬레이션 진행 동안 사용자의 UI/UX 응답 시간과 반응 속도를 관리하며 모니터링 하는 UI/UX 관리모듈(242),
다자 간 협업 시나리오 같은 멀티 사용자 환경에서 현재 사용자의 동작 정보를 NPC 물리 객체와 하여 클라이언트 형태로 서버로 전달하고, 서버로부터 다른 사용자의 진행 상황 정보를 현재 사용자의 NPC 물리 객체 정보로 실시간 변환하여 시뮬레이션 진행 상황을 통제하는 NPC 물리 객체 정보 처리모듈(243) 및
훈련 상황의 모니터링 정보를 통해 훈련자의 훈련 진행 상태 정보를 통계 정보로 수집하여 평가하고 DB 형태로 관리하는 평가 DB(244)를 포함하여,
중장비 도저, 로더의 기본 장비 운용을 교육하는 교육훈련모드(310),
사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응과 장애물 회피의 훈련이 이루어 질 수 있도록 하는 자율훈련모드(320),
중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련모드(330),
날씨 및 지형 상황, 안전 상의 돌발 상황을 고려하고, 다자 간 협업 시나리오에 따른 상황훈련모드(340)를 사용자 서비스(300)로 제공하는 것을 특징으로 하는
몰입형 가상현실 기반 중장비 훈련 장치.
A head mounted display (HMD) device 110 for providing a user with hyper-realistically expressed visual content information;
Leap motion-based motion sensor device 120 for recognizing and communicating a user's gesture;
3D sound speaker 130 for three-dimensional expression of the training situation,
In order to realize immersive VR, user manipulation devices 140a and 140b that implement haptic effects that provide hyper-realistic five senses to users by interworking with a content providing server, and multi-content interworking clients for implementing collaborative training situations Simulation user equipment 100 including a simulation control unit, UI / UX interaction control, and a simulation server 150 for device-to-device synchronization while being used; and
VR-based 3D immersive content 210, which is made to story the VR-based 3D image, separates it by package, and selects and applies it according to the training model and training situation;
A lip motion-based interface 220 that selects or controls a training program by recognizing a user's gesture, and allows interaction with virtual objects in a training situation during training;
A realistic haptic effector 230 that is synchronized with the VR-based 3D realistic content and the user manipulation device to deliver a hyper-realistic training effect to the user through the five senses; and
A content component 200 including a multi-content interworking client 240 that synchronizes multi-party training situations by acting as a content client to train based on collaboration among multi-users, or to support story-based training such as unexpected or disaster situations provided, but
The VR-based 3D realistic content 210 is
A virtual object DB 211 that implements active objects of people, obstacles, terrain, indigenous objects for work, soil, and cement structures;
Background depicting the real environment realistically, weather, background terrain, environment object DB 212 depicting the texture of the object,
A non-player (NPC) physical object DB 213 that controls and progresses the training situation by directly interacting with the user during the training situation, and interacts with the user,
and an interworking module 214 for configuring a training situation through combination and interworking between the objects and synchronizing with information input/output through a user's UI/UX device,
The lip motion input interface 220 is
A gesture recognition module 221 that analyzes a user's gesture input through a motion sensor and converts it into a user input signal;
A content synchronization module 222 that synchronizes the input user's gesture information with the content progress in the training simulation and uses it as selection, authentication, and mutual interaction information to configure the information in the form of information to proceed with the simulation situation;
Interaction module with virtual objects to describe interactions between users and virtual objects naturally and realistically by combining input user gesture information with simulation content information to interact with virtual objects and responding to them in real-time to give feedback to the user ( 223) and
A simulator that synchronizes and controls the simulator physics devices so that the user can communicate immediately and intuitively by outputting and responding to the result through the specific user UI/UX of the simulator in the progress of simulation for the user signal input through leap motion Includes an interlocking module 224,
The realistic haptic effector 230 is
SCU interface 231 that interfaces with the simulation control unit (SCU) to extract response information and five sense signals to be delivered to the user;
A content synchronization module 232 that allows the user to experience a hyper-realistic immersive VR by synchronizing the five sense signals to be delivered to the user in real time with the visual and auditory multimedia content information and gesture response information of the simulation situation that the user is currently running. ,
A haptic-based sensory interaction module 233 that samples the five sense information delivered to the user according to the simulation situation and content characteristics, combines and synthesizes it into multi-content information, stores it as an information DB, and responds to the request of the simulator; and
and a content interlocking operation control module 234 for controlling the five senses information to be output in real-time time-synchronized with visual and auditory information of the training situation conducted by the user,
The multi-content interworking client 240 is
A simulation control module 241 that monitors the training situation through a smart pad or gesture action and terminates or stops the simulation in case of an unexpected or emergency situation;
UI/UX management module 242, which manages and monitors the user's UI/UX response time and reaction speed during simulation;
In a multi-user environment such as a multi-party collaboration scenario, the current user's motion information is transferred to the server in the form of a client with the NPC physics object, and the progress information of other users from the server is converted into the current user's NPC physical object information in real time to proceed with the simulation NPC physical object information processing module 243 that controls the situation and
Including the evaluation DB 244 that collects and evaluates the training progress information of the trainee as statistical information through monitoring information of the training situation and manages it in the form of a DB,
Training mode 310 to educate basic equipment operation of heavy equipment dozers and loaders,
Autonomous training mode 320 that enables training of device manipulation, terrain adaptation, and obstacle avoidance in a game format so that the user can become familiar with the device;
The national qualification training mode 330, which is configured in the same way as the heavy equipment national qualification training scenario, provides training and evaluation for qualification acquisition;
Considering the weather and terrain situation, safety emergency situation, and providing the situation training mode 340 according to the multilateral collaboration scenario as the user service 300
An immersive virtual reality-based heavy equipment training device.
상기 사용자 조작 장치(140a)는
로더의 방향을 조작하는 조향 핸들(141),
로더의 전후진을 위한 좌측 스틱(142),
로더의 버켓의 승강을 조작하는 좌측 레버(143),
로더의 붐의 승하강을 조작하는 우측 레버(144) 및
브레이크 페달과 가속페달로 이루어진 운행 페달(145)을 포함하여,
실제 로더의 기종과 동일한 조작 환경을 제공하는 몰입형 가상현실 기반 중장비 훈련 장치.
According to claim 1,
The user manipulation device 140a is
Steering handle 141 for operating the direction of the loader,
Left stick 142 for forward and backward of the loader,
Left lever 143 for operating the lifting and lowering of the bucket of the loader,
The right lever 144 for operating the lifting and lowering of the boom of the loader and
Including a driving pedal 145 consisting of a brake pedal and an accelerator pedal,
An immersive virtual reality-based heavy equipment training device that provides the same operating environment as that of a real loader.
상기 교육 훈련모드(310)는
사용자 장치 조작 훈련, 화면의 지시 사항에 따르는 기초 운행 훈련, 주행 코스와 지형 지정 훈련, 로더는 운행, 흙 굴토, 적재 기능, 도저는 운행, 절삭, 성토와 되메우기 회전 기능을 매뉴얼화하여 제공하고,
상기 자율 훈련모드(320)는
중장비의 각 기능을 레벨별로 콘텐츠화하여 제공하되 사용자가 장치에 익숙해질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 훈련이 이루어질 수 있도록 하고,
상기 국가자격실기 훈련모드(330)는
중장비 국가자격 실기훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하고,
상기 상황 훈련모드(340)는
낙석, 바람, 장비의 균형 잃음, 인적 사고의 안전 돌발 상황, 그리고 눈/비로 인한 폭우/폭설, 지반 침하, 토사 덮침의 자연 재해와 기상 상황을 시뮬레이션하여 대처하고, 건설 현장의 협업 상황을 통제하는 대처 서비스를 시나리오화한 것을 특징으로 하는
몰입형 가상현실 기반 중장비 훈련 장치.According to claim 1,
The education and training mode 310 is
Manually provide user device operation training, basic operation training following the instructions on the screen, training course and terrain designation training, loader operation, soil excavation, loading function, dozer operation, cutting, filling and backfill rotation functions,
The autonomous training mode 320 is
Each function of heavy equipment is provided as content by level, but in a game format so that users can become accustomed to the device, training to operate the device, adapt the terrain, and avoid obstacles
The national qualification practice training mode 330 is
It is composed in the same way as the heavy equipment national qualification practical training scenario, providing training and evaluation for qualification acquisition,
The situation training mode 340 is
Simultaneous response to natural disasters and weather conditions such as falling rocks, wind, equipment out of balance, safety emergencies of human accidents, heavy rain/heavy snow caused by snow/rain, ground subsidence, and landslide, and to control the collaborative situation of construction sites. Coping service is characterized by a scenario
An immersive virtual reality-based heavy equipment training device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190153789A KR102278900B1 (en) | 2019-11-26 | 2019-11-26 | Heavy Equipment Training Simulator based on Immersive Virtual Reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190153789A KR102278900B1 (en) | 2019-11-26 | 2019-11-26 | Heavy Equipment Training Simulator based on Immersive Virtual Reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210065287A KR20210065287A (en) | 2021-06-04 |
| KR102278900B1 true KR102278900B1 (en) | 2021-07-20 |
Family
ID=76391511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190153789A KR102278900B1 (en) | 2019-11-26 | 2019-11-26 | Heavy Equipment Training Simulator based on Immersive Virtual Reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102278900B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240039260A (en) | 2022-09-19 | 2024-03-26 | 배재대학교 산학협력단 | Virtual reality-based construction machine practice system |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102624228B1 (en) * | 2021-09-30 | 2024-01-12 | 한화오션 주식회사 | Warship Integrated Solution System Using Digital Platform |
| CN113961080B (en) * | 2021-11-09 | 2023-08-18 | 南京邮电大学 | Three-dimensional modeling software framework based on gesture interaction and design method |
| KR102693887B1 (en) * | 2022-04-11 | 2024-08-09 | 중앙대학교 산학협력단 | Method, device and program for safety training using learner's behavior data |
| KR20240016140A (en) * | 2022-07-28 | 2024-02-06 | 주식회사 거비메타 | System with heavy-duty interactive non-face-to-face training platform, and Training data transmission and driving evaluation method using the same |
| KR102531830B1 (en) * | 2022-09-05 | 2023-05-12 | 주식회사 유토비즈 | A xr driving education and training system for vr type towing a aircraft |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101501632B1 (en) | 2013-11-29 | 2015-03-12 | 주식회사 비주얼리액터 | Interactive 5D Rider fly Battle Racing device. |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110123334A (en) * | 2010-05-07 | 2011-11-15 | (주)코아블루 | Making tool and method for virtual reality education system |
| KR102097180B1 (en) * | 2015-07-07 | 2020-04-09 | 임진국 | Training simulator and method for special vehicles using argmented reality technology |
| KR101789523B1 (en) | 2015-08-13 | 2017-11-21 | 한서대학교 산학협력단 | Excavator maximum tool forces simulation method, apparatus performing the same and tool forces simulation computer program |
| KR101850038B1 (en) * | 2016-05-24 | 2018-06-07 | (주)이노시뮬레이션 | Apparatus and method for simulating car |
-
2019
- 2019-11-26 KR KR1020190153789A patent/KR102278900B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101501632B1 (en) | 2013-11-29 | 2015-03-12 | 주식회사 비주얼리액터 | Interactive 5D Rider fly Battle Racing device. |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240039260A (en) | 2022-09-19 | 2024-03-26 | 배재대학교 산학협력단 | Virtual reality-based construction machine practice system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210065287A (en) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102278900B1 (en) | Heavy Equipment Training Simulator based on Immersive Virtual Reality | |
| JP3625212B1 (en) | Three-dimensional virtual space simulator, three-dimensional virtual space simulation program, and computer-readable recording medium recording the same | |
| Rostami et al. | The metaverse and beyond: Implementing advanced multiverse realms with smart wearables | |
| Craig et al. | Developing virtual reality applications: Foundations of effective design | |
| KR102097180B1 (en) | Training simulator and method for special vehicles using argmented reality technology | |
| KR102264045B1 (en) | The Story-based VR Heavy Equipment Training System With Multi-Party Sessions, And The Method For Cooperation Synchronizing Using The Same | |
| KR101608342B1 (en) | Unmanned booth type sensible motion riding system and operating method thereof | |
| KR102346002B1 (en) | National Competency Standards-based Construction Machine Loader Training System and Training Method therefor | |
| RU2730796C2 (en) | Simulating device for crane, construction machine or floor-type transport means | |
| KR102446842B1 (en) | Immersive Virtual Reality Based Heavy Equipment Training Simulator System To Provide Reduced Motion Sickness And Pitch Vibration | |
| KR102409370B1 (en) | Vr based heavy equipment training system with tactical training map for cooperation | |
| KR20170102758A (en) | Apparatus and method for providing virtual experience based on interactive actual rail coaster | |
| US20180033328A1 (en) | Immersive vehicle simulator apparatus and method | |
| GB2535729A (en) | Immersive vehicle simulator apparatus and method | |
| KR101814869B1 (en) | A Small Ship Simulator Applied Equations of Motion for Real Ship | |
| KR20160099075A (en) | Image Simulating System, Apparatus for Controlling Platform and Method for Controlling Platform | |
| CN114053693B (en) | Object control method and device in virtual scene and terminal equipment | |
| WO2021261593A1 (en) | Aircraft vr training system, aircraft vr training method, and aircraft vr training program | |
| US20090029325A1 (en) | Virtual locomotive simulation system and method | |
| Johns et al. | Unreal editor as a virtual design instrument in landscape architecture studio | |
| CN108333956A (en) | Anti- solution linkage algorithm for movement simulation platform | |
| CN211181201U (en) | Simulation flight science popularization experience equipment | |
| JP2000039836A (en) | Hydraulic excavator simulator | |
| JP7548644B1 (en) | Correspondence education system, correspondence education providing method, and correspondence education providing program | |
| KR20190025241A (en) | Virtual Reality exploration interaction using head mounted display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |