KR102446842B1 - 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템 - Google Patents

멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템 Download PDF

Info

Publication number
KR102446842B1
KR102446842B1 KR1020200157940A KR20200157940A KR102446842B1 KR 102446842 B1 KR102446842 B1 KR 102446842B1 KR 1020200157940 A KR1020200157940 A KR 1020200157940A KR 20200157940 A KR20200157940 A KR 20200157940A KR 102446842 B1 KR102446842 B1 KR 102446842B1
Authority
KR
South Korea
Prior art keywords
training
simulator
heavy equipment
virtual reality
content
Prior art date
Application number
KR1020200157940A
Other languages
English (en)
Other versions
KR20220070902A (ko
Inventor
박민아
전재현
김동우
Original Assignee
주식회사 토즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토즈 filed Critical 주식회사 토즈
Priority to KR1020200157940A priority Critical patent/KR102446842B1/ko
Publication of KR20220070902A publication Critical patent/KR20220070902A/ko
Application granted granted Critical
Publication of KR102446842B1 publication Critical patent/KR102446842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 있어서, 상기 몰입형 가상현실 중장비 운용 시뮬레이션 시스템은 시뮬레이터(100)와 3D 훈련 콘텐츠 제공수단(200)를 구비하되, 상기 시뮬레이터(100)는, 중장비의 실제 기종과 동일하게 구현된 좌우 조향레버 및 페달을 갖춘 사용자 조작장치(110), 실장비와 거의 유사한 탑승감을 제공하기 위해 훈련생의 시뮬레이터 운용 정보에 따라 회전 및 진동을 제공하는 어트랙션 무빙체어(120), 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 모션센서 장치(170), 사용자에게 실제 상황을 극사실적으로 표현한 3D 영상의 시각 콘텐츠 정보를 제공하기 위한 HMD(Head Mounted Display)장치(130), 상기 사용자 조작장치(110) 및 모션센서장치(130)와 연동하여 훈련 모드별로 인터랙션에 따른 지형변환을 적용한 VR 기반 고효율 360°3D 훈련용 콘텐츠를 제공하는 시뮬레이터 통제장치(140)를 포함하는 것을 특징으로 하는, 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템이다.

Description

멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템{Immersive Virtual Reality Based Heavy Equipment Training Simulator System To Provide Reduced Motion Sickness And Pitch Vibration}
본 발명은 굴삭기, 그레이더 등과 같은 중장비 훈련생에게 실제와 유사한 훈련 환경에서 국가기술자격검정 실기훈련, 자율훈련 및 협업훈련을 서비스로 제공하기 위해 가상현실 구현 기술을 이용하여 중장비 훈련용 시뮬레이터 시스템을 구현하는 것으로, 어트랙션 무빙 체어, 실장비와 유사한 형태로 제작된 레버 및 페달, 모션 센서, VR 디바이스 등을 주요 구성요소로 하며, 감각불일치(Sensory Conflict)현상으로 인한 VR 멀미현상을 최소화하고 굴삭 또는 평탄화 작업 시 중장비에 발생하는 피칭(pitching) 현상을 적용하여 훈련의 현실감을 향상시킨 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 관한 것이다.
몰입형(Immersive) VR은 인간의 오감 중 시각 자극을 극대화하여 몰입을 유도하는 360°3D 영상과 3D공간감을 재현할 수 있는 바이노럴 사운드, 실세계과 동일하게 극사실화되어 운영되는 오감형 햅틱 이펙터 등을 통해 사용자로 하여금 실제로 보고 만지는 것 같은 감각적 효과를 느끼게 함으로써 생생한 환경에 몰입하도록 하는 극사실적인 가상 현실 기술이다.
건설 및 복구현장에서 주로 사용되는 중장비를 운용하기 위해서는 한국산업인력공단의 국가기술자격 검정시험을 통해 그 자격을 취득할 수 있으며, 많은 훈련생들이 학원 등의 훈련기관에서 주행 및 조종 훈련 후 자격을 취득하고 현장에 배치된다.
그러나 이러한 자격증 취득 위주의 교육은 시간과 공간상의 제약이 심할 뿐 아니라 실제 건설 및 복구현장의 다양한 돌발 상황 또는 안전 상황에 대처하기 위한 훈련과정이 부족하고, 자격을 취득하였다 하여도 실기 시험에 포함되지 않은 다양한 상황에서 조작이 미숙해지는 단점이 있다.
한편 공병병과의 경우 군 복무단축 및 연계학교 교육기간 축소로 실장비 실습시간이 부족하고, 고위험성 장비에 대한 안전사고, 유류 및 정비, 예산 등의 제한사항과 대규모 훈련 상황 묘사 및 전술훈련장 부지 부재로 다양한 전술상황을 고려한 협업훈련이 부족한 실정이다.
이에 실제와 유사한 사용자 조작 장치를 가지고 화면상에서 주행과 조종 훈련을 할 수 있도록 하는 가상현실 기반 VR 훈련 시뮬레이션 장치들이 도입되기 시작하였으며 굴삭, 토취에 관련된 실제 상황을 시뮬레이션에 적용하기 위한 동작 계산법 등이 선행문헌 1의 대한민국 특허 등록번호 제10-1789523호 (굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램), 건설기계 자격증 취득을 위한 가상현실 교육장치가 선행문헌 2의 대한민국 특허 등록번호 제10-1950698 (건설기계 가상현실 교육 장치 및 그를 이용한 건설기계 가상현실 교육/평가 방법)을 통해 제시된 바 있다.
그러나 이러한 중장비 관련 VR교육은 자격증 취득을 위한 기능으로만 구성되어 다양한 환경조건에서의 숙달 훈련이 제한되며, 조향레버 조작 시 무빙 체어의 회전이 제공되지 않아 전정신경계의 전정감각과 시각자극의 불일치로 발생하는 감각불일치(Sensory Conflict)현상으로 인한 VR 멀미현상이 유발되고, 버킷이 지면과 충돌했을 때 가해지는 부하로 인한 중장비의 피칭 진동 기능을 제공하지 못하므로 실장비 운용과의 싱크로율이 부족한 문제점이 있다.
VR게임 시장에서는 현실 세계를 극사실적으로 표현하는 몰입형 VR 기술이 등장하고 있으며 이를 위해 HMD(Head Mounted Display), 3D 스피커, 오감형 햅틱 이펙터, 무빙 체어 등 다양한 제품들이 출시되고 있다. 그러나 이러한 제품들은 화려한 CG 효과와 몰입형 VR 콘텐츠를 적용한 오락성에 중점을 두고 제작된 레이싱, 슈팅 또는 로봇 게임에 주로 적용되는 실정으로 을 선행문헌 3의 대한민국 특허 등록번호 제10-1501632호 (인터랙티브 오감형 라이더 비행 배틀 레이싱 장치)를 통해 참고할 수 있다.
실세계의 다양한 상황을 극사실적으로 표현하고, 멀미 저감 및 피칭 진동 기능을 제공하는 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템을 통해, 보다 효율적인 훈련을 진행할 수 있을 뿐 아니라 건설장비 운행 경험을 확대하여 단기간에 높은 숙련도 달성을 기대할 수 있다.
선행문헌 1. 대한민국 등록특허 등록번호 제10-1789523호 선행문헌 2. 대한민국 등록특허 등록번호 제10-1950698호 선행문헌 3. 대한민국 등록특허 등록번호 제10-1501632호
본 발명의 목적은 굴삭기, 그레이더 등과 같은 중장비 운용 훈련에 있어 서, 교육 훈련의 효율성을 개선하고 훈련생의 숙련도를 단기간에 향상시킬 수 있도록 실장비와 유사한 형태로 제작된 레버 및 페달, 모션센서, 어트랙션 무빙 체어 등으로 구성된 물리 환경과 3D 바이노럴 사운드 및 인터랙션으로 인한 지형변환을 포함하는 고효율 360°3D 훈련 콘텐츠, 복수의 시뮬레이터를 통하여 멀미 저감 및 피칭 진동 기능을 가지는 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템을 제공하는 것이다.
본 발명은 훈련 중장비 훈련용 시뮬레이터(100)를 구비한 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 있어서,
상기 몰입형 가상현실 중장비 운용 시뮬레이션 시스템은 시뮬레이터(100)와 3D 훈련 콘텐츠 제공수단(200)를 구비하되,
상기 시뮬레이터(100)는,
중장비의 실제 기종과 동일하게 구현된 좌우 조향레버 및 페달을 갖춘 사용자 조작장치(110),
실장비와 거의 유사한 탑승감을 제공하기 위해 훈련생의 시뮬레이터 운용 정보에 따라 회전 및 진동을 제공하는 어트랙션 무빙 체어(120),
사용자에게 실제 상황을 극사실적으로 표현한 3D 영상의 시각 콘텐츠 정보를 제공하기 위한 HMD(Head Mounted Display)장치(130),
훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션(Leap Motion) 기반의 모션센서 장치(170),
상기 사용자 조작장치(110) 및 모션센서장치(170)와 연동하여 훈련 모드별로 인터랙션에 따른 지형변환을 적용한 VR 기반 고효율 360도 3D훈련용 콘텐츠를 제공하는 시뮬레이터 통제장치(140)를 포함한다.
또한 본 발명은 네트워크를 통해 물리적으로 연결된 복수의 중장비 시뮬레이터를 연동하여 동시 훈련을 지원하기 위한 훈련통제 서버를 물리적 구성 요소로 하되,
다양한 장애물이 있는 시가지를 주행하며 장애물 회피 및 제거 등의 훈련을 제공하는 중장비 운용을 위한 훈련 모드; 운용 능력을 숙달하기 위해 구릉, 언덕, 나무 등으로 구성된 전술훈련장에서 정해진 시나리오 없이 자유롭게 중장비의 기능을 연습하는 자율훈련모드; 한국산업인력공단의 중장비 국가기술자격검정 실기 시험을 위한 시험장 및 시험절차와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가기술자격 검정훈련모드; 언덕, 구릉, 암석, 나무 등으로 구성된 전술훈련장에서 주어진 과업 달성을 위해 복수의 시뮬레이터가 동시에 접속하여 수행하는 협업훈련 모드;를 포함하는 것이다.
본 발명의 콘텐츠 제공수단은 가상객체 제어모듈을 구비하여 조향레버와 페달의 조작에 따른 중장비의 회전, 전후진, 이동 및 버킷과 지면의 충돌에 따른 부하를 어트랙션 무빙체어에 반영함으로써, 기상, 장애물, 지형 등 다양한 훈련 환경에서 중장비 운용을 위한 가상 훈련을 함에 있어서, 각종 다양한 작업환경에 따른 충격이나, 경사각도 등을 고려하여 어트랙션 무빙체어를 작동시킴으로써, 사용자의 현장감을 극대화한 것으로서, 굴삭기, 그레이더 등과 같은 중장비 훈련생에게 실제와 유사한 가상의 훈련환경을 제공하기 위해 복수의 시뮬레이터를 연동하여 동시 훈련을 지원하기 위한 훈련통제 서버, 어트랙션 무빙 체어, 실장비와 유사한 형태로 제작된 레버 및 페달, 모션 센서, VR 디바이스 등을 주요 구성요소로 하는 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 관한 것으로, 국가기술자격검정 실기훈련, 자율훈련 및 협업훈련을 사용자 서비스로 제공하며, 어트랙션 무빙 체어에 회전 기능을 부가함으로써, 굴삭 또는 평탄화 작업 시 중장비에 발생하는 피칭(pitching) 현상을 체험할 수 있도록 하는 것이다.
본 발명의 3D 훈련콘텐츠 제공수단은, 사람, 장애물, 지형, 작업을 위한 토착물, 토사, 나무 및 암석을 포함하는 액티브 객체를 구현한 가상객체 DB와 기상 및 시간에 따른 광원과 가시거리를 구현하기 위한 환경 DB, 3D공간감을 제공하기 위해 실세계의 음원DB를 포함하는 훈련 모드별 360도 3D실감 콘텐츠(210), 상기 가상환경에서 훈련 콘텐츠의 선택 및 훈련 상황 설정의 선택, 훈련 콘텐츠의 시작/종료의 선택에 따른 실감 콘텐츠의 동작을 제어하는 실감 콘텐츠 제어모듈(220), 조향 레버와 페달의 조작에 따른 중장비의 회전과 전후진, 이동 또는 작업 시 버킷이 지면과 충돌했을 때 가해지는 부하로 인한 중장비의 피칭 진동에 따른 가상객체의 움직임을 제어하고 동기화하기 위한 가상객체 제어 모듈(230), 가상객체 제어 모듈로부터 중장비의 위치좌표 및 피칭 진동 정보를 수신하여 어트랙션 무빙 체어의 움직임을 제어하는 등 훈련자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 시뮬레이터 연동모듈(240), 훈련생의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상객체들과 인터랙션 할 수 있도록 하는 모션센서 연동모듈(250), 훈련생의 제스처 정보 및 가상객체 정보를 시각화하여 훈련 콘텐츠의 진행 내용과 동기화하고 훈련생과 가상객체 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상객체 정합모듈(260), 협업훈련 시 훈련에 참여한 다른 훈련생의 시뮬레이터 운용 정보와 동기화를 통해 상호작용을 지원하기 위해 훈련통제 서버와 실시간으로 시뮬레이터 운용 정보를 송수신하기 위한 네트워크 통신모듈(270)을 구성요소로 포함한다.
본 발명의 콘텐츠 제공수단은 시뮬레이터 연동모듈을 구비하여, 동일한 종류의 중장비, 또는 서로 다른 중장비를 이용하는 복수의 시뮬레이터들이 상호 연동하도록 구현할 수 있게 됨으로써, 상호 협업훈련이 가능하게 되는 것이다. 또한, 복수개의 중장비 시뮬레이터(100)들에 구비된 각각의 시뮬레이터 통제장치(140)와, 상기 복수개의 시뮬레이터 통제장치들을 동시에 물리적 네트워크에 의해서 연결되되 협업훈련의 시작/종료를 관리하고 협업훈련에 참여한 시뮬레이터의 운용정보를 관리하기 위한 훈련통제서버(400)를 더 포함하여, 복수개의 중장비 시뮬레이터들이 연동되도록 하되, 상기 훈련통제서버(400)는 시뮬레이션의 제어, 인터랙션 제어, 장치 간 동기화를 위하여 활용되고, 상기 복수개의 시뮬레이터 통제장치(140)들은 복수의 사용자들이 협업훈련 상황을 구현하기 위해 활용되도록 한다.
삭제
도 1은 본 발명에 따른 멀미 저감 및 피칭 진동 기능을 제공하는 몰입형 가상현실 기반 중장비 운용 시뮬레이터의 물리적 구성도
도 2는 본 발명에 따른 시스템의 구성 및 서비스 개념도
도 3는 본 발명에 따른 국가기술자격검정 및 협업훈련 절차도
도 4는 본 발명에 따른 오감형 햅틱 사용자 조작 장치 구성도
도 5는 본 발명에 따른 어트랙션 무빙체어의 일 실시예 개념도
도 6는 도 5의 어트랙션 무빙체어의 경사조절체 개념도
도 7 및 도 8은 본 발명에 따른 모션센서장치와 HMD장치의 트랙킹센서의 연동에 의한 보여지는 HMD상의 VR 화면 일실시예
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고, 상세한 설명을 통해 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성 요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 중장비 훈련생에게 실세계와 거의 동일한 물리적 훈련 환경을 제공하기 위한 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 관한 것으로서,
도 1는 중장비 실제 기종과 동일하게 구현된 좌우조향 레버 및 페달을 갖춘 시뮬레이터(100)의 일 실시예를 도시한 것으로, 본 발명은 이와 같은 복수개의 시뮬레이터(100)와 동시 훈련을 지원하기 위한 훈련통제서버(400)를 네트워크를 통해 물리적으로 연결하여 복수의 중장비 시뮬레이터를 연동되도록 함으로써, 훈련 참여자가 각 중장비 시뮬레이터를 통해서 중장비 상호 협업을 훈련할 수 있도록 구성된 것이다.
구체적으로 각 중장비 시뮬레이터(100)는,
몰입형 가상훈련 환경을 제공하기 위해 훈련 콘텐츠 통제 장비와 연동하여 사용자에게 극사실적인 피드백을 제공하는 햅틱 효과를 구현한 사용자 조작 장치(110)와 이를 포함하는 어트랙션 무빙체어(120),
훈련 모드의 선택, 훈련 상황 설정(주/야, 맑음/우천), 훈련 콘텐츠의 시작/종료, 훈련 콘텐츠 진행 상의 인터랙션을 위해 사용자의 제스처를 인식하기 위한 모션센서장치(160),
상기 사용자 조작 장치 및 모션 센서 장치와 연동하여 훈련 모드별로 인터랙션에 따른 지형변환을 적용한 VR 기반 고효율 360°3D 훈련 콘텐츠를 제공하는 시뮬레이터 통제장치(140),
상기 모션센서장치(160)와 연동되는 트랙킹 센서를 구비하여 실제 상황을 극사실적으로 표현함으로써 시각 자극의 극대화를 통해 사용자의 몰입을 유도하는 VR 기반 3D 실감 콘텐츠를 표시하는 HMD(Head Mounted Display)(130) 및
훈련생의 시점에서 보이는 가상환경을 동일하게 외부에 디스플레이하기 위한 모니터링 장치(150)를 구비한다.
또한 협업훈련 모드에 의해서 상기 시뮬레이터 통제장치(140)는 선택적으로 상기 복수의 시뮬레이터간(100)의 동기화를 위해 네트워크로 훈련통제서버(400)에 물리적으로 연결될 수 있다.
즉, 협업훈련 모드는 서로 다른 중장비, 또는 동일 종류의 복수 중장비들이 서로 연계하여 협업할 수 있도록 한다. 굴착기 시뮬레이터와 트럭 시뮬레이터 사이의 협업, 또는 굴착기와 땅을 고르는 그레이더 사이의 협업 등을 위해 이들 복수개의 시뮬레이터들은 각각 훈련통제서버(400)에 물리적 네트워크에 연결되어 연동되도록 한다.
도 2에 도시한 바와 같이, 상기 몰입형 가상현실 기반 중장비 운용 시뮬레이터는 훈련생에게 극사실화된 실감 미디어, 오감형 체험기능 및 제스처 기반 제어를 제공하기 위한 훈련 콘텐츠 제공수단(200)을 포함하되, 상기 훈련 콘텐츠 제공수단(200)은,
사람 및 장애물, 지형, 작업을 위한 토착물, 토사, 나무, 암석 등 액티브 객체를 구현한 가상객체 DB, 기상 및 시간에 따른 광원과 가시거리를 구현하기 위한 가상환경 DB 및 청각적 공간감을 제공하기 위한 음원 DB을 포함하는 360°의 3D 훈련용 콘텐츠 DB(210),
상기 훈련 콘텐츠의 선택 및 훈련 상황 설정(주/야, 맑음/우천) 선택, 훈련 콘텐츠의 시작/종료 선택에 따른 실감 콘텐츠의 동작을 제어하는 실감 콘텐츠 제어모듈(220),
조향 레버와 페달의 조작에 따른 중장비의 회전과 전후진, 이동 또는 작업 시 버킷이 지면과 충돌했을 때 가해지는 부하로 인한 중장비의 피칭 진동에 따른 가상객체의 움직임을 제어하고 동기화하기 위한 가상객체 제어모듈(230),
가상객체 제어 모듈로부터 중장비의 위치좌표 및 피칭 진동 정보를 수신하여 어트랙션 무빙 체어를 제어하는 시뮬레이터 연동모듈(240),
상기 모션센서장치를 통해서 훈련생의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상객체들과 인터랙션 할 수 있도록 하는 모션센서 연동모듈(250),
상기 모션센서장치에 의해서 수신된 훈련생의 제스처 정보 및 상기 가상객체 DB의 가상객체를 시각화하여 훈련 콘텐츠의 진행 내용과 동기화하고 훈련생의 모션과 가상객체 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상객체 정합모듈(260),
협업훈련 시 훈련에 참여한 다른 훈련생의 시뮬레이터 운용 정보와 동기화를 통해 상호작용을 지원하기 위해 훈련통제 서버와 실시간으로 시뮬레이터 운용 정보를 송수신하기 위한 네트워크 통신 모듈(270)을 구성요소로 포함한다.
한편, 상기 가상객체 제어모듈(230)은, 중장비 버킷의 움직임 속도, 버킷과 충돌이 발생하는 가상객체의 종류에 따라서 중장비에 작용하는 반작용을 계산하는 알고리즘에 의해서 사용자가 탑승하고 있는 어트랙션 무빙체어에 반작용력을 전달하도록 한다. 나아가 상기 가상객체 제어모듈(230)은 중장비 버킷의 움직임, 버킷과 가상객체의 충돌에 의한 충격감 뿐만 아니라 중장비가 이동하는 지형의 형태에 따라서 중장비의 기울기를 측정함으로써, 시뮬레이터 연동모듈(240)에 의해서 어트랙션 무빙체어를 지지하는 복수개의 유압실린더로 이루어진 경사실린더를 작동시켜 사용자에게 현실감을 제공한다.
상기 어트랙션 무빙체어(120)는, 도 5 및 도 6과 같이, 사용자가 착석할 수 있도록 구비된 착석부; 상기 착석부을 가동시키기 위하여 상기 착석부의 하부에 무빙부재(125);를 포함하되, 상기 무빙부재(125)는, 흔들림이 없도록 바닥면에 고정되는 몸체(121); 상기 몸체(121)의 구비되는 회전모터(127); 상기 회전모터(127)에 의해서 회전되되 상기 몸체(121)의 상면에서 회전되는 회전판(123); 상기 회전판(123)의 사방에 복수개의 경사실린더(124);를 구비하되, 상기 경사실린더(124)의 본체 하단부는 상기 회전판(123)에 힌지결합되고, 상기 경사실린더(124)의 로드 상단부는 반구형상의 경사조절체(126)의 사방 측면에 힌지결합되며, 상기 경사조절체(126)의 상부에는 상기 착석부가 고정됨으로써, 상기 경사실린더(124)는 상기 시뮬레이터 연동모듈(240)에 의해서 좌우로 회전가능하면서 동시에 소정의 경사각을 갖도록 무빙(MOVING)될 수 있게 제어된다.
또한, 협업훈련의 시작/종료를 관리하고 협업훈련에 참여한 시뮬레이터의 운용정보를 관리하기 위한 훈련 통제서버(400)는 구성요소로서, 협업훈련 환경(시간, 기상, 훈련장 맵)을 설정하고 시작과 종료를 관리하기 위한 훈련 통제모듈(410), 협업훈련에 참여하는 복수의 시뮬레이터의 실시간 동기화를 위해 운용 정보를 관리하는 다중체험 관리모듈(420), 협업훈련 환경을 협업훈련에 참여한 모든 시뮬레이터로 협업훈련 환경 정보를 브로드캐스팅하고, 시뮬레이터의 운용정보를 실시간으로 송수신하기 위한 네트워크 모듈(430)을 포함한다.
상기 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 있어서,
상기 사용자 조작 장치는 도 4에 도시한 바와 같이
굴삭기 시뮬레이터를 위한 사용자 조작 장치(110a)로서 기존 자동차 핸들의 조향 방식과 동일하게 동작하는 원형 조향 핸들(111), 붐의 상하 이동과 버킷의 오무림 및 펼침을 제어하기 위한 좌측 레버(112), 암의 오무림과 펼침 및 좌우 스윙을 제어하기 위한 우측 레버(113), 왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 엑셀러레이터로 작동하는 운행 페달(114)로 구성되고,
상기 사용자 조작장치(110)의 조작정보는 실장비와 거의 유사한 탑승감을 제공하도록 어트랙션 무빙 체어(120)를 제어하도록 시뮬레이터 운용 정보에 따라 회전 및 진동을 부여한다.
한편, 그레이더 시뮬레이터를 위한 사용자 조작 장치(110a)로서 기존 자동차 핸들과 조향 방식 동일하게 동작하는 원형 조향 핸들(116), 블레이드 좌측 리프트 실린더의 상하 이동, 블레이드의 좌측 측면 이동, 블레이드의 회전을 제어하는 좌측 레버(117), 그레이드 우측 리프트의 상하 이동, 블레이드의 각도, 블레이드의 우측 측면 이동을 제어하는 우측 레버 (118), 왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 주차 브레이크로 작동하도록 하는 운행 페달(119)로 구성되고, 실장비와 거의 유사한 탑승감을 제공하기 위해 훈련생의 시뮬레이터 운용 정보에 따라 회전 및 진동을 제공하는 어트랙션 무빙 체어(120)로 구성한다.
실제 굴삭기 또는 그레이더의 기종과 동일한 조작 환경을 제공하고, 물리적 햅틱 장치를 제외한 조종석의 다양한 버튼, 게이지 등은 가상현실로 구현되어 시뮬레이터 연동 모듈(240)로부터 오감형 콘텐츠 정보를 연동하여 시뮬레이터 운용에 따른 진동, 상하 좌석 움직임, 흔들림, 충격 효과 등을 제어하여 실제 상황과 동일한 균형감과 충격감을 체험할 수 있도록 하여 몰입형 가상현실 기반 훈련 모드를 구현한다.
상기 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템은 사용자 서비스로서 컨텐츠 제공수단(200)과 오감형 햅틱 시뮬레이터 사용자 조작 장치(100)를 사용하여 다양한 환경에서 중장비의 모든 기능에 대해 게임을 즐기듯 훈련 과정의 숙련도를 연마해 나갈 수 있도록 한다. 상기 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템은 훈련생에게 다양한 사용자 훈련모드를 제공할 수 있는데, 상기 사용자 훈련 모드는 도 2에 도시한 바와 같이,
한국산업인력공단의 중장비 국가기술자격검정 실기 시험을 위한 시험장 및 시험절차와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가기술자격검정훈련모드(310),
다양한 장애물이 있는 시가지를 주행하며 장애물 회피 및 제거 등의 훈련을 제공하는 주행훈련모드(320),
운용 능력을 숙달하기 위해 구릉, 언덕, 나무 등으로 구성된 전술훈련장에서 정해진 시나리오 없이 자유롭게 중장비의 기능을 연습하는 자율훈련(330),
언덕, 구릉, 암석, 나무 등으로 구성된 전술훈련장에서 주어진 과업 달성을 위해 복수의 시뮬레이터가 동시에 접속하여 수행하는 협업훈련모드(340)을 포함함을 특징으로 한다.
사용자 서비스 중 국가기술자격검정훈련모드는 도 3에 도시한 바와 같이
훈련생이 국가기술자격검정 모드를 선택하여 승인요청을 하는 단계;
통제관은 훈련통제 서버에서 이를 확인 후 시간과 기상을 설정한 후 훈련을 승인하는 단계;
통제관이 설정한 시간과 기상정보가 훈련생의 시뮬레이터 통제 장비로 전송된 후 시야각과 가시거리가 적용된 실감 콘텐츠가 구동되어 한국산업인력공단의 중장비 국가가격검정 실기 시나리오와 동일한 절차로 훈련이 시작되는 단계;를 포함한다.
협업훈련모드는 도 3에 도시한 바와 같이,
훈련생이 협업훈련 모드를 선택하여 승인요청을 하는 단계;
통제관은 훈련통제 서버에서 이를 확인 후 시간과 기상, 훈련장 맵을 설정한 후 훈련을 승인하는 단계;
통제관이 설정한 시간과 기상정보, 훈련장 맵 정보가 훈련생의 시뮬레이터 통제 장비로 다운로드되는 단계;
다운로드된 시간, 기상정보, 맵 정보에 기초하여 시야각과 가시거리가 적용된 실감 콘텐츠가 구동되어 주어진 과업을 해결하기 위해 다양한 운용을 수행하는 절차로 훈련이 시작되는 단계;를 포함한다.
도 7 및 도 8은 본 발명에 따른 모션센서장치와 HMD장치의 트랙킹센서의 연동에 의한 보여지는 HMD상의 VR 화면 일실시예를 도시한 것이다. 모션센서장치는 사용자의 손동작의 위치를 감지하고, HMD를 통해서 보여지는 VR화면에서 손가락의 위치를 선택 메뉴와 동기화시키게 된다.
본 발명의 중장비 운용 시뮬레이션 시스템은 H/W 물리적 장치 구성, 콘텐츠 제공수단 및 훈련통제 서버를 구성요소로 하되, 시간, 기상에 따른 시야각과 가시거리를 차등 적용하여 제공하고, 시뮬레이터 운용에 따른 굴착, 절삭, 성토, 평탄화, 장애물 이동 등의 지형변환을 사실적으로 콘텐츠화하여 제공하고, 어트랙션 무빙 체어의 회전 기능을 통한 VR 멀미현상을 최소화하고, 이동 및 작업시 발생하는 진동, 상하 좌석 움직임, 장치의 흔들림, 충격 효과 등을 실장비와 유사하게 제공함을 특징으로 한다.
100: 시뮬레이터
110a: 굴삭기 시뮬레이션 사용자 조작 장치
111: 조향핸들
112: 좌측레버
113: 우측레버
114: 페달
115: 어트랙션 무빙 체어
110b: 그레이더 시뮬레이션 사용자 조작 장치
116:조향레버
117:좌측레버
118:우측레버
119: 페달
120: 어트랙션 무빙체어
130: HMD
140: 시뮬레이터 통제장치
150: 모니터링 장치
160: 모션센서 거치대
170: 모션센서 장치
200: 콘텐츠 제공수단
210: 콘텐츠 DB
220: 실감콘텐츠 제어모듈
230: 가상객체 제어모듈
240: 시뮬레이터 연동모듈
250: 모션센서 연동모듈
260: 가상객체 정합모듈
270: 네트워크 통신모듈
300: 사용자 서비스모드
310: 국가기술자격검정모드
320: 주행훈련모드
330: 자율훈련모드
340: 협업훈련모드
400 : 훈련 통제서버
410: 훈련 통제모듈
420: 다중체험 관리모듈
430: 네트워크 통신모듈

Claims (4)

  1. 훈련 중장비 훈련용 시뮬레이터(100)를 구비한 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템에 있어서,
    상기 몰입형 가상현실 중장비 운용 시뮬레이션 시스템은 시뮬레이터(100)와 3D 훈련콘텐츠 제공수단(200)를 구비하되,
    상기 시뮬레이터(100)는,
    중장비의 실제 기종과 동일하게 구현된 좌우 조향레버 및 페달을 갖춘 사용자 조작장치(110),
    실장비와 거의 유사한 탑승감을 제공하기 위해 훈련생의 시뮬레이터 운용 정보에 따라 회전 및 진동을 제공하는 어트랙션 무빙체어(120),
    사용자에게 실제 상황을 극사실적으로 표현한 3D 영상의 시각 콘텐츠 정보를 제공하기 위한 HMD(Head Mounted Display)장치(130),
    훈련 콘텐츠 진행상의 인터랙션을 위해 사용자의 제스처를 인식하기 위한 모션센서 장치(170),
    상기 사용자 조작장치(110) 및 모션센서장치(170)와 연동하여 훈련 모드별로 인터랙션에 따른 지형변환을 적용한 VR 기반 고효율 360°3D 훈련용 콘텐츠를 제공하는 시뮬레이터 통제장치(140)를 포함하고,
    상기 3D 훈련콘텐츠 제공수단은,
    사람, 장애물, 지형, 작업을 위한 토착물, 토사, 나무 및 암석을 포함하는 액티브 객체를 구현한 가상객체 DB와 기상 및 시간에 따른 광원과 가시거리를 구현하기 위한 환경 DB, 3D공간감을 제공하기 위해 실세계의 음원DB를 포함하는 훈련 모드별 360°3D 실감 콘텐츠(210),
    상기 가상환경에서 훈련 콘텐츠의 선택 및 훈련 상황 설정의 선택, 훈련 콘텐츠의 시작/종료의 선택에 따른 실감 콘텐츠의 동작을 제어하는 실감 콘텐츠 제어모듈(220),
    조향 레버와 페달의 조작에 따른 중장비의 회전과 전후진, 이동 또는 작업 시 버킷이 지면과 충돌했을 때 가해지는 부하로 인한 중장비의 피칭 진동에 따른 가상객체의 움직임을 제어하고 동기화하기 위한 가상객체 제어 모듈(230),
    가상객체 제어 모듈로부터 중장비의 위치좌표 및 피칭 진동 정보를 수신하여 어트랙션 무빙 체어의 움직임을 제어하는 등 훈련자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 시뮬레이터 연동모듈(240),
    훈련생의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상객체들과 인터랙션 할 수 있도록 하는 모션센서 연동모듈(250),
    훈련생의 제스처 정보 및 가상객체 정보를 시각화하여 훈련 콘텐츠의 진행 내용과 동기화하고 훈련생과 가상객체 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상객체 정합모듈(260),
    협업훈련 시 훈련에 참여한 다른 훈련생의 시뮬레이터 운용 정보와 동기화를 통해 상호작용을 지원하기 위해 훈련통제 서버와 실시간으로 시뮬레이터 운용 정보를 송수신하기 위한 네트워크 통신모듈(270)을 구성요소로 포함하는 것을 특징으로 하는 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템.
  2. 제1항에 있어서,
    복수개의 중장비 시뮬레이터(100)들에 구비된 각각의 시뮬레이터 통제장치(140)들을 동시에 물리적 네트워크에 의해서 연결되어 협업훈련의 시작/종료를 관리하고 협업훈련에 참여한 시뮬레이터의 운용정보를 관리하기 위한 훈련통제 서버(400)를 더 포함하여, 복수개의 중장비 시뮬레이터들이 연동되도록 하되,

    상기 복수개의 시뮬레이터 통제장치(140)들은 복수의 사용자들이 협업훈련 상황을 구현하기 위하여 활용되고,
    상기 훈련통제서버(400)는 상기 시뮬레이터 통제장치(140)간 동기화를 위하여 활용되는 것을 특징으로 하는
    몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템.
  3. 삭제
  4. 제2항에 있어서,
    상기 시뮬레이터 통제장치(140)는 상기 복수의 시뮬레이터간(100)의 동기화를 위해 선택적으로 훈련통제서버(400)와 네트워크로 연결되되,
    상기 훈련통제서버(400)는,
    시간, 기상, 훈련장 맵을 포함하는 협업훈련 환경을 설정하고 시작과 종료를 관리하기 위한 훈련통제 모듈(410),
    협업훈련에 참여한 모든 시뮬레이터의 실시간 동기화를 위해 운용 정보를 관리하여 다중체험 관리 모듈(420),
    협업훈련 환경을 협업훈련에 참여한 모든 시뮬레이터로 협업훈련 환경 정보를 브로드캐스팅하고, 시뮬레이터의 운용정보를 실시간으로 송수신하기 위한 네트워크 모듈(430)을 구성요소로 하는 것을 특징으로 하는 몰입형 가상현실 기반 중장비 운용 시뮬레이션 시스템.
KR1020200157940A 2020-11-23 2020-11-23 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템 KR102446842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200157940A KR102446842B1 (ko) 2020-11-23 2020-11-23 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200157940A KR102446842B1 (ko) 2020-11-23 2020-11-23 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템

Publications (2)

Publication Number Publication Date
KR20220070902A KR20220070902A (ko) 2022-05-31
KR102446842B1 true KR102446842B1 (ko) 2022-09-23

Family

ID=81780766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200157940A KR102446842B1 (ko) 2020-11-23 2020-11-23 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템

Country Status (1)

Country Link
KR (1) KR102446842B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240016140A (ko) * 2022-07-28 2024-02-06 주식회사 거비메타 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501632B1 (ko) 2013-11-29 2015-03-12 주식회사 비주얼리액터 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123334A (ko) * 2010-05-07 2011-11-15 (주)코아블루 가상현실 교육 시스템 제작 도구 및 방법
KR20160133320A (ko) * 2015-05-12 2016-11-22 두산인프라코어 주식회사 휠 로더의 제어 방법
KR102097180B1 (ko) * 2015-07-07 2020-04-09 임진국 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR101789523B1 (ko) 2015-08-13 2017-11-21 한서대학교 산학협력단 굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램
KR101850038B1 (ko) * 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR101950698B1 (ko) 2017-10-10 2019-02-21 김종민 건설기계 가상현실 교육 장치 및 그를 이용한 건설기계 가상현실 교육/평가 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501632B1 (ko) 2013-11-29 2015-03-12 주식회사 비주얼리액터 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치

Also Published As

Publication number Publication date
KR20220070902A (ko) 2022-05-31

Similar Documents

Publication Publication Date Title
KR102278900B1 (ko) 몰입형 가상 현실 기반 중장비 훈련 장치
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
Cheng et al. Turkdeck: Physical virtual reality based on people
CN109311639B (zh) 用于起重机、施工机械和/或托盘搬运车的遥控装置
Craig et al. Developing virtual reality applications: Foundations of effective design
CN105807922A (zh) 一种虚拟现实娱乐驾驶的实现方法、装置及系统
KR101608342B1 (ko) 무인 부스 형태의 체감형 모션 라이딩 시스템과 그의 작동방법
CN106652625A (zh) 交互式虚拟现实消防训练系统
JP2846252B2 (ja) ３次元シミュレータ装置及び画像合成方法
KR102346002B1 (ko) 국가직무능력표준(ncs) 기반 건설기계 로우더 실습교육 시스템 및 이를 이용한 실습방법
CN106530892A (zh) 模拟三维场景六自由度传感的飞行模拟器及飞行模拟方法
KR102264045B1 (ko) 스토리 기반 다자 참여형 vr　중장비 훈련　시스템 및 이를 이용한 협업 동기화 방법
KR102446842B1 (ko) 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템
KR20150135154A (ko) 가상현실 시뮬레이터
JPH10513593A (ja) 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム
KR20160082658A (ko) 5dof 엑츄에이터를 활용한 인터렉티브 체감형 가상현실 스노우보드 트레이닝 시스템
WO2021261595A1 (ja) 航空機のｖｒ訓練システム、航空機のｖｒ訓練方法及び航空機のｖｒ訓練プログラム
WO2016135472A1 (en) Immersive vehicle simulator apparatus and method
GB2535729A (en) Immersive vehicle simulator apparatus and method
CN112489523A (zh) 一种空间探测移动载人虚拟仿真系统
CN101226695A (zh) 一种挖掘机模拟操作培训系统
KR20160099075A (ko) 영상 시뮬레이팅 시스템, 플랫폼 제어 장치 및 플랫폼 제어 방법
KR102409370B1 (ko) 협업 기반 전술 훈련장 맵을 이용한 vr 중장비 훈련 시스템
KR102509275B1 (ko) 국가직무능력표준(ncs) 기반 건설기계 기중기 실습교육 시스템
Stavrev Natural user interface for education in virtual environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right