WO2017122944A1 - 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템 - Google Patents

원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템 Download PDF

Info

Publication number
WO2017122944A1
WO2017122944A1 PCT/KR2016/015001 KR2016015001W WO2017122944A1 WO 2017122944 A1 WO2017122944 A1 WO 2017122944A1 KR 2016015001 W KR2016015001 W KR 2016015001W WO 2017122944 A1 WO2017122944 A1 WO 2017122944A1
Authority
WO
WIPO (PCT)
Prior art keywords
training system
virtual training
remote
pipe
training
Prior art date
Application number
PCT/KR2016/015001
Other languages
English (en)
French (fr)
Inventor
정광모
박병하
신춘성
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2017122944A1 publication Critical patent/WO2017122944A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Definitions

  • the present invention relates to a virtual training system, and more particularly, to a pipe disassembly assembly training system for performing virtual training on pipe disassembly by participating in a networked remote multi-trainer.
  • Virtual reality is an artificially created virtual reality, and the representative purpose of virtual reality technology is to allow a user to obtain a virtual experience. In other words, the user can experience a virtual scenario that is the same as or physically impossible.
  • This virtual training system was initially developed as a system that can be used by a single trainer. However, due to the development of technology and the expansion of the application field, virtual training systems have been developed for incorporating technologies or industries requiring multilateral collaboration. .
  • the virtual training system in the defense sector has a variety of live-virtual-constructive (LVC) -based multilateral training models and systems, but most of the private sector, for example, vehicle driving training, machine assembly / manipulation training, etc. In the industry, single-user virtual training systems still dominate.
  • LVC live-virtual-constructive
  • Patent Document 1 Republic of Korea Patent Publication No. 10-1401656
  • an object of the present invention is to provide a pipe disassembly assembly virtual training system that can be performed jointly by a multi-trainer remotely participated in the present invention
  • another object of the present invention is a trainer using a real tool equipped with a marker (a motion recognition based workbench type virtual training system trainer) and a motion recognition based trainer through a network interworking method based on the virtual training system standard of the defense field. It is to provide a remote multi-trainer participant pipe disassembly virtual training system that can perform virtual pipe disassembly training by sharing and interacting with one virtual training content among (Cave type virtual training system trainers).
  • Another object of the present invention is to provide a remote multi-trainer participant pipe disassembly virtual training system that allows the instructor wearing the HMD device to remotely monitor the pipe disassembly assembly virtual training situation of the trainers.
  • the remote multi-trainer participant pipe disassembly assembly virtual training system includes a workbench type virtual training system and a cave type virtual training system that can be interconnected through a remote network.
  • the workbench type virtual training system senses the movement of a real tool equipped with a marker through a plurality of vision cameras to match the movement of a tool object on a pipe disassembly training content, and displays the movement sensing data of the tool in a remote interworking network middleware.
  • the cave type virtual training system recognizes the hand and arm movements of the trainer in front of the screen through a motion recognition sensor and displays the match with the movement of the tool object on the training content, and remotely networked middleware of the recognized hand and arm movement sensing data. Through the transmission to the workbench virtual training system characterized in that.
  • a deformable remote multi-trainer participant pipe disassembly and assembly virtual training system that can be connected to the remote network in addition to the above-described configuration, and senses the movement of the tool in each of the workbench type virtual training system and the cave type virtual training system through a remote interlocking network middleware.
  • the present invention further includes an instructor monitoring system that receives training data including data and hand and arm motion sensing data of the trainer and displays training content execution status information.
  • the instructor monitoring system is characterized in that the monitoring system based on HMD (Head Mount Display),
  • the remote interworking network middleware is characterized in that the remote interworking network middleware based on the HLA (High Level Architecture) Run Time Infrastructure (RTI) standard, which is an interlocking standard of the virtual field training system.
  • HLA High Level Architecture
  • RTI Run Time Infrastructure
  • the pipe disassembly training content includes a plurality of training procedures for pipe disassembly, the plurality of training procedures workbench-type virtual training system using the training procedures and tools for the cave-type virtual training system using a trainer hand Dragon training procedures.
  • the present invention through the network interworking method based on the virtual training system standards of the defense sector, the joint trainers located in the remote by interacting while sharing one virtual training content to disassemble the virtual pipe Have the effect of training,
  • Instructors wearing HMD devices can also remotely monitor real-time training of pipe disassembly and assembly training.
  • FIG. 1 is an exemplary configuration of a virtual multi-trainer participant pipe disassembly assembly virtual training system according to an embodiment of the present invention.
  • Figure 2 is an exemplary pipe disassembly virtual training procedure of the virtual training system according to an embodiment of the present invention.
  • FIG. 1 illustrates a block diagram of a remote multi-trainer participant pipe disassembly assembly virtual training system according to an embodiment of the present invention
  • Figure 2 illustrates a pipe disassembly assembly virtual training procedure of a virtual training system according to an embodiment of the present invention. It is.
  • the remote multi-trainer participant pipe disassembly and assembly virtual training system includes a workbench type virtual training system 100 and a cave type virtual training system 200 that can be connected through a remote network. Include.
  • the remote multi-trainer participatory pipe disassembly virtual training system according to the present disclosure may further include an instructor monitoring system 300.
  • the workbench type virtual training system 100 senses the movement of a real tool equipped with a marker through a plurality of, for example, three vision cameras, and displays and matches the movement of the tool object on the pipe disassembly training content.
  • the sensing data is transmitted to the cave type virtual training system 200 or the cave type virtual training system 200 and the instructor monitoring system 300 through a remote interworking network middleware.
  • the cave type virtual training system 200 recognizes the hand and arm movements of the trainer in front of the screen through the motion recognition sensor Kinect2 and displays matching with the movement of the tool object on the training content, and recognizes the hand and arm movement sensing data of the recognized trainer. It is transmitted to the workbench type virtual training system 100 or the workbench type virtual training system 100 and the instructor monitoring system 300 through a remote interworking network middleware.
  • the instructor monitoring system 300 can be connected to a remote network and the motion sensing data of the tool and the hand of the trainer in the workbench-type virtual training system 100 and the cave-type virtual training system 200 through a remote interworking network middleware. And receiving training data including arm motion sensing data to display training content execution status information.
  • the instructor monitoring system 300 may be a monitoring system based on a head mount display (HMD).
  • HMD head mount display
  • the remote interworking network middleware is a remote interworking network middleware based on a High Level Architecture (HLA) / Run Time Infrastructure (RTI) standard, which is an interlocking standard of a defense training virtual training system.
  • HLA High Level Architecture
  • RTI Run Time Infrastructure
  • the pipe disassembly training content includes a plurality of training procedures for pipe disassembly (12 steps in this embodiment), and the plurality of training procedures include training procedures and tools for a cave type virtual training system using a trainer's hand. Training procedures for a workbench-type virtual training system using a.
  • the training procedure for the workbench type virtual training system includes one or more training procedures of locking the valve by hand, replacing the pipe by hand, opening the valve by hand, locking the pipe valve by hand, and opening the pipe valve by hand.
  • Training procedures for the virtual training system include one or more of the following procedure: removing the screw from the pipe holder with a screwdriver, cutting the seam with a saw, drilling with a hammer, drilling a hole with a screw, inserting a screw with a screwdriver, removing a nut with a wrench, and tightening a nut with a wrench. do.
  • FIG. 2 illustrates a pipe disassembly virtual training procedure of a virtual training system according to an embodiment of the present invention.
  • Trainers using the workbench type virtual training system 100 and the cave type virtual training system 200 may jointly perform pipe disassembly training through a remote network.
  • the training stages “0" through “12” is a sequence of a series of pipe disassembly assembly training procedures.
  • the valve is locked by hand (step 1), the pipe is replaced by hand (step 5), the valve is opened by hand (step 8), the T pipe valve is locked by hand (step 9) and the T pipe valve is opened by hand (
  • Step 12) shows the training procedure for the workbench virtual training system, with a screwdriver for removing the pipe holder screws (step 2), cutting the seam with a saw (step 3), hammering the price (step 4), drilling with a drill ( Step 6), inserting the screw with the screwdriver (step 7), removing the nut with the wrench (step 10) and tightening the nut with the wrench (step 11) represent the training procedure for the cave type virtual training system.
  • the joint trainer performing the pipe disassembly virtual training executes the training content installed in each system and clicks the start button (step 0).
  • the trainer using the cave type virtual training system 200 to perform the first training step sees the valve animation as a synchronization item and takes the action of locking the valve by hand.
  • the motion is recognized by the motion recognition sensor, and the hand and arm motion sensing data of the recognized trainer is transmitted to the workbench-type virtual training system 100 and the instructor monitoring system 300 through a remote interworking network middleware.
  • step 2 is performed to remove the screw of the pipe holder.
  • the trainer using the workbench type virtual training system 100 removes the screw of the pipe holder using a screwdriver which is a tool.
  • the workbench type virtual training system 100 senses the movement of the marker-marked driver through the vision camera to match the movement of the tool object on the pipe disassembly training content, and displays the movement data of the tool through a remote interworking network middleware. Transmission to the cave-type virtual training system 200 and the instructor monitoring system 300.
  • the cave-type virtual training system 200 trainers and instructors can observe the training step performance of the joint participation trainers located at each remote location, and performs the training step by step for the training step to be performed by them.
  • the trainer using the workbench type virtual training system 100 removes the pipe holder screw with a screwdriver (step 2), cuts the seam with a saw (step 3), and costs the pipe twice with a hammer according to the training step indicated.
  • Step 4 drill a hole to create the cradle screw hole (step 6), insert a screw with a screwdriver to insert the cradle screw (step 7), remove the nut with a wrench to remove the nut on the T-shaped pipe (step 10), and performs a training procedure such as tightening the nut with a wrench (step 11) in order to insert the T-shaped pipe nut, and the motion sensing data of the tool according to the training procedure performed at this time are respectively cave type virtual training system 200 And is sent to the instructor monitoring system 300 is shared.
  • the trainer using the cave type virtual training system 200 also locks the valve by hand in accordance with the training step indicated (step 1), replaces the pipe by hand (step 5) to replace the damaged pipe, and hands to release the valve.
  • step 1 replaces the pipe by hand (step 5) to replace the damaged pipe, and hands to release the valve.
  • step 8 To the valve opening (step 8), the T pipe valve locking by hand to lock the T-pipe valve (step 9) and the T pipe valve opening by hand (step 12) to open the T-pipe valve.
  • the hand and arm motion sensing data of the trainer generated when performing each training procedure are transmitted to the workbench-type virtual training system 100 and the instructor monitoring system 300 and shared as described above.
  • the instructor can monitor the pipe disassembly and training of the trained joint participants through the HMD-based monitoring system 300 in real time, the workbench type virtual training system 100 and the cave type virtual training system 200 trainers They share and interact with one virtual training content so that they can perform virtual pipe disassembly training normally.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 네트워크로 연결된 원격 다중 훈련자가 참여하여 파이프 분해조립에 대한 가상 훈련을 수행하는 파이프 분해조립 가상 훈련 시스템에 관한 것으로, 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템으로 전송하는 워크벤치형 가상 훈련 시스템과, 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송하는 케이브형 가상 훈련 시스템을 포함함을 특징으로 한다.

Description

원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템
본 발명은 가상 훈련 시스템에 관한 것으로, 특히 네트워크로 연결된 원격 다중 훈련자가 참여하여 파이프 분해조립에 대한 가상 훈련을 수행하는 파이프 분해조립 가상 훈련 시스템에 관한 것이다.
가상 현실은 인공적으로 만들어낸 가상의 현실로 가상 현실 기술의 대표적인 목적은 가상의 경험을 사용자가 얻을 수 있도록 하는 것이다. 즉, 현실의 상황과 동일하거나 물리적으로 불가능한 가상의 시나리오를 사용자가 체험할 수 있도록 하는 것이다.
실제 도구를 이용한 기존의 훈련 방법은 소모성 재료의 사용, 제한된 훈련 공간, 부대 시설 관리 문제, 초보자의 안전사고 위험 및 훈련에 대한 소극적 대응 등 많은 어려움이 존재한다. 즉, 현장에서는 고도의 숙련된 작업자를 요구하고 있지만, 앞에서 열거한 문제점들은 효율적인 훈련 과정 수행에 걸림돌이 되고 있다. 이러한 문제점들을 해결하기 위해, 실제 작업 환경과 동일한 가상의 환경을 조성하고, 조성된 가상의 환경에서 상기한 문제점들로 인해 발생하는 어려움을 최소화하면서 작업자가 훈련을 수행할 수 있도록 하는 가상 훈련 시스템들이 각 산업분야에서 활발히 도입되고 있다.
이러한 가상 훈련 시스템은 초기에는 단일 훈련자 위주로 사용할 수 있는 시스템으로 개발되었으나, 기술발전과 적용 분야의 확장으로 인해 다자간 협업을 필요로 하는 기술 혹은 산업 분야에 접목하기 위한 가상 훈련 시스템들도 개발되기에 이르렀다.
하지만, 국방 분야의 가상 훈련 시스템은 LVC(Live-Virtual-Constructive) 기반의 다자 훈련 모델 및 시스템이 다양하게 존재하는데 반하여, 민간 분야, 예를 들면 수송체 운전 훈련, 기계조립/조작 훈련 등 대부분의 산업 분야에서는 아직도 단일 사용자 위주의 가상 훈련 시스템이 주를 이루고 있다.
이에 원격에 위치하는 다수의 훈련자가 하나의 훈련 콘텐츠를 공유하며 상호작용 방식을 통해 가상 훈련을 진행하는 원격 다중 훈련자 참여형 가상 훈련 시스템의 개발이 필요하다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 등록특허공보 제10-1401656
이에 본 발명의 목적은 상술한 필요성에 따라 창안된 발명으로서, 원격의 다중 훈련자가 참여하여 공동으로 수행할 수 있는 파이프 분해조립 가상 훈련 시스템을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 국방 분야의 가상 훈련 시스템 규격에 기반한 네트워크 연동방식을 통하여, 마커 장착한 실제 공구를 사용하는 훈련자(움직임 인식기반 워크벤치형 가상 훈련 시스템 훈련자)와 동작인식 기반 훈련자(케이브형 가상 훈련 시스템 훈련자) 간에 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 수행할 수 있는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 HMD 장치를 착용한 교수자가 원격으로 훈련자들의 파이프 분해조립 가상 훈련 상황을 모니터할 수 있는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템을 제공함에 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 원격 네트워크를 통해 상호 연결 가능한 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템을 포함하되,
상기 워크벤치형 가상 훈련 시스템은 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 케이브형 가상 훈련 시스템으로 전송하며,
상기 케이브형 가상 훈련 시스템은 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송함을 특징으로 한다.
변형 가능한 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템으로서 상술한 구성 외에 상기 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시하는 교수자 모니터링 시스템을 더 포함함을 또 다른 특징으로 한다.
상기 교수자 모니터링 시스템은 HMD(Head Mount Display) 기반의 모니터링 시스템임을 특징으로 하며,
상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture) RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어임을 특징으로 한다.
또한 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함함을 특징으로 한다.
상술한 과제 해결 수단에 따르면, 본 발명은 국방 분야의 가상 훈련 시스템 규격에 기반한 네트워크 연동방식을 통하여, 원격에 위치하는 공동의 훈련자들이 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 수행할 수 있는 효과가 있으며,
HMD 장치를 착용한 교수자 역시 원격으로 훈련자들의 파이프 분해조립 가상 훈련 상황을 실시간 모니터할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차 예시도.
이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템의 구성도를 예시한 것이며, 도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차를 예시한 것이다.
도 1에 도시한 바와 같이 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 원격 네트워크를 통해 연결 가능한 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200)을 포함한다. 변형 가능한 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 교수자 모니터링 시스템(300)을 더 포함할 수 있다.
워크벤치형 가상 훈련 시스템(100)은 복수, 예를 들면 3대의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템(200) 혹은 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송한다.
케이브형 가상 훈련 시스템(200)은 동작인식 센서(Kinect2)를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템(100) 혹은 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송한다.
교수자 모니터링 시스템(300)은 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200) 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시한다. 이러한 교수자 모니터링 시스템(300)은 HMD(Head Mount Display) 기반의 모니터링 시스템일 수 있다.
상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture)/RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어이다.
아울러 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수(본 실시예에서는 12단계)의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함한다.
상기 워크벤치형 가상 훈련 시스템용 훈련절차는 손으로 밸브를 잠금, 손으로 파이프 교체, 손으로 밸브 개방, 손으로 파이프 밸브 잠금, 손으로 파이프 밸브개방 중 하나 이상의 훈련절차를 포함하며, 상기 케이브형 가상 훈련 시스템용 훈련절차는 드라이버로 파이프 거치대 나사 제거, 톱으로 이음새 절단, 망치로 가격, 드릴로 구멍 뚫음, 드라이버로 나사 삽입, 렌치로 너트 제거, 렌치로 너트 조임 중 하나의 이상의 훈련절차를 포함한다.
이하 도 2를 참조하여 상술한 파이프 분해조립 훈련 콘텐츠에 따른 파이프 분해조립 가상 훈련 시스템의 동작을 부연 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차를 예시한 것이다. 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자는 원격 네트워크를 통해 공동으로 파이프 분해조립 훈련을 실시할 수 있다.
도 2를 참조하면, 훈련 단계 "0"부터 "12"는 일련의 파이프 분해조립 훈련절차를 순서적으로 나열한 것이다. 이러한 훈련 단계 중 손으로 밸브를 잠금(단계 1), 손으로 파이프 교체(단계 5), 손으로 밸브 개방(단계 8), 손으로 T 파이프 밸브 잠금(단계 9), 손으로 T 파이프 밸브개방(단계 12)는 워크벤치형 가상 훈련 시스템용 훈련절차를 나타낸 것이며, 드라이버로 파이프 거치대 나사 제거(단계 2), 톱으로 이음새 절단(단계 3), 망치로 가격(단계 4), 드릴로 구멍 뚫음(단계 6), 드라이버로 나사 삽입(단계 7), 렌치로 너트 제거(단계 10), 렌치로 너트 조임(단계 11)은 케이브형 가상 훈련 시스템용 훈련절차를 나타낸 것이다.
보다 구체적으로, 파이프 분해조립 가상 훈련을 수행하는 공동의 훈련자는 각 시스템에 설치된 훈련 콘텐츠를 실행시켜 시작버튼을 클릭(단계 0)한다.
첫 번째 훈련 단계(단계 1)를 수행하기 위해 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자는 동기화 항목인 밸브 애니메이션을 보고 손으로 밸브를 잠그는 행위를 취한다. 이러한 동작은 동작인식센서에 의해 인식되며, 인식된 훈련자의 손과 팔 동작 센싱 데이터는 원격 연동 네트워크 미들웨어를 통해 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송된다.
밸브 잠금이 완료되면 파이프 거치대의 나사를 제거하기 위한 단계 2가 수행된다. 이러한 경우 워크벤치형 가상 훈련 시스템(100)을 이용하는 훈련자는 공구인 드라이버를 이용하여 파이프 거치대의 나사를 제거하는 행위를 한다. 이때 워크벤치형 가상 훈련 시스템(100)은 비젼 카메라를 통해 마커 표시된 드라이버의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송한다.
이에 케이브형 가상 훈련 시스템(200) 훈련자 및 교수자는 각각 원격에 위치하는 공동 참여 훈련자의 훈련 단계 수행행위를 관찰할 수 있으며, 자신이 수행해야 하는 훈련 단계에 대해 훈련을 단계적으로 수행한다.
즉, 워크벤치형 가상 훈련 시스템(100)을 이용하는 훈련자는 지시하는 훈련 단계에 맞춰 드라이버로 파이프 거치대 나사를 제거(단계 2), 톱으로 이음새 절단(단계 3), 망치로 파이프를 2회 가격(단계 4), 거치대 나사 구멍을 생성하기 위해 드릴로 구멍 뚫음(단계 6), 거치대 나사를 삽입하기 위해 드라이버로 나사 삽입(단계 7), T자형 파이프의 너트를 제거하기 위해 렌치로 너트 제거(단계 10), T자형 파이프 너트를 삽입하기 위해 렌치로 너트 조임(단계 11)과 같은 훈련 절차를 수행하며, 이때의 훈련절차 수행행위에 따른 공구의 움직임 센싱 데이터는 각각 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송되어 공유된다.
한편, 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자 역시 지시하는 훈련 단계에 맞춰 손으로 밸브를 잠금(단계 1), 손상된 파이프를 교체하기 위해 손으로 파이프 교체(단계 5), 밸브를 풀기 위해 손으로 밸브 개방(단계 8), T파이프 밸브를 잠그기 위해 손으로 T 파이프 밸브 잠금(단계 9), T파이프 밸브를 개방하기 위해 손으로 T 파이프 밸브개방(단계 12)과 같은 훈련 절차를 수행한다. 각 훈련 절차 수행시 발생되는 훈련자의 손과 팔 동작 센싱 데이터는 앞서 설명한 바와 같이 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송되어 공유된다.
이로써, 교수자는 HMD 기반의 모니터링 시스템(300)을 통해 원격 공동 참여한 훈련자들의 파이프 분해조립 훈련상황을 실시간 모니터링 할 수 있으며, 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200) 훈련자들은 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 정상적으로 수행할 수 있게 되는 것이다.
이상은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (6)

  1. 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템이 원격 네트워크를 통해 연결되는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템에 있어서,
    상기 워크벤치형 가상 훈련 시스템은 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 케이브형 가상 훈련 시스템으로 전송하며,
    상기 케이브형 가상 훈련 시스템은 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
  2. 청구항 1에 있어서, 상기 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시하는 교수자 모니터링 시스템;을 더 포함함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
  3. 청구항 2에 있어서, 상기 교수자 모니터링 시스템은 HMD(Head Mount Display) 기반의 모니터링 시스템임을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
  4. 청구항 1 내지 청구항 3중 어느 한 항에 있어서, 상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture) RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어임을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
  5. 청구항 1 내지 청구항 3중 어느 한 항에 있어서, 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
  6. 청구항 5에 있어서, 상기 워크벤치형 가상 훈련 시스템용 훈련절차는 손으로 밸브를 잠금, 손으로 파이프 교체, 손으로 밸브 개방, 손으로 파이프 밸브 잠금, 손으로 파이프 밸브개방 중 하나 이상의 훈련절차를 포함하고, 상기 케이브형 가상 훈련 시스템용 훈련절차는 드라이버로 파이프 거치대 나사 제거, 톱으로 이음새 절단, 망치로 가격, 드릴로 구멍 뚫음, 드라이버로 나사 삽입, 렌치로 너트 제거, 렌치로 너트 조임 중 하나의 이상의 훈련절차를 포함함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
PCT/KR2016/015001 2016-01-11 2016-12-21 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템 WO2017122944A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0003136 2016-01-11
KR1020160003136A KR102113997B1 (ko) 2016-01-11 2016-01-11 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템

Publications (1)

Publication Number Publication Date
WO2017122944A1 true WO2017122944A1 (ko) 2017-07-20

Family

ID=59311214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/015001 WO2017122944A1 (ko) 2016-01-11 2016-12-21 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템

Country Status (2)

Country Link
KR (1) KR102113997B1 (ko)
WO (1) WO2017122944A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141056A1 (en) * 2017-02-01 2018-08-09 Adga Group Consultants Inc System and method for virtual reality vehicle training field
CN110267028A (zh) * 2019-06-24 2019-09-20 中冶智诚(武汉)工程技术有限公司 一种用于五面led-cave的信号同步显示系统
WO2020077500A1 (en) * 2018-10-15 2020-04-23 Midea Group Co., Ltd. System and method for providing real-time product interaction assistance
CN111564086A (zh) * 2020-05-26 2020-08-21 江西电力职业技术学院 泵的教学拆装装置
CN112908081A (zh) * 2021-01-29 2021-06-04 武汉烽火技术服务有限公司 一种基于虚拟化切片的网络教学实训系统及其使用方法
WO2023088757A1 (de) * 2021-11-17 2023-05-25 Volkswagen Aktiengesellschaft Verfahren, computerprogramm und vorrichtung zum erproben eines einbaus oder ausbaus zumindest eines bauteils

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594249B1 (ko) 2020-11-18 2023-10-26 한국전자통신연구원 실감 인터랙션 기반의 가상 훈련 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099698A (ja) * 2001-09-21 2003-04-04 Toshiba Corp シミュレーションシステム
KR20100086128A (ko) * 2009-01-22 2010-07-30 서경대학교 산학협력단 혼합 현실 상황 훈련 시스템
KR20120048787A (ko) * 2010-11-08 2012-05-16 국방과학연구소 함정 전투 체계의 실시간 시뮬레이션 자동 분석 장치 및 방법
KR101333147B1 (ko) * 2012-06-19 2013-11-26 에이알비전 (주) 융합 현실을 이용한 실내 집단훈련 지원시스템
KR20150132681A (ko) * 2014-05-15 2015-11-26 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR101401656B1 (ko) 2012-12-27 2014-06-02 전자부품연구원 동작인식 기반의 가상훈련 시스템 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099698A (ja) * 2001-09-21 2003-04-04 Toshiba Corp シミュレーションシステム
KR20100086128A (ko) * 2009-01-22 2010-07-30 서경대학교 산학협력단 혼합 현실 상황 훈련 시스템
KR20120048787A (ko) * 2010-11-08 2012-05-16 국방과학연구소 함정 전투 체계의 실시간 시뮬레이션 자동 분석 장치 및 방법
KR101333147B1 (ko) * 2012-06-19 2013-11-26 에이알비전 (주) 융합 현실을 이용한 실내 집단훈련 지원시스템
KR20150132681A (ko) * 2014-05-15 2015-11-26 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141056A1 (en) * 2017-02-01 2018-08-09 Adga Group Consultants Inc System and method for virtual reality vehicle training field
US11990060B2 (en) 2017-02-01 2024-05-21 Adga Group Consultants Inc. System and method for virtual reality vehicle training field
GB2574526A (en) * 2017-02-01 2019-12-11 Adga Group Consultants Inc System and method for virtual reality vehicle training field
US11749129B2 (en) 2017-02-01 2023-09-05 Adga Group Consultants Inc. System and method for virtual reality vehicle training field
GB2574526B (en) * 2017-02-01 2022-07-06 Adga Group Consultants Inc System and method for virtual reality vehicle training field
CN112771472A (zh) * 2018-10-15 2021-05-07 美的集团股份有限公司 提供实时产品交互协助的系统和方法
US11106327B2 (en) 2018-10-15 2021-08-31 Midea Group Co., Ltd. System and method for providing real-time product interaction assistance
US11175790B2 (en) 2018-10-15 2021-11-16 Midea Group Co., Ltd. System and method for providing real-time product interaction assistance
CN112771472B (zh) * 2018-10-15 2022-06-10 美的集团股份有限公司 提供实时产品交互协助的系统和方法
WO2020077500A1 (en) * 2018-10-15 2020-04-23 Midea Group Co., Ltd. System and method for providing real-time product interaction assistance
CN110267028B (zh) * 2019-06-24 2021-04-30 中冶智诚(武汉)工程技术有限公司 一种用于五面led-cave的信号同步显示系统
CN110267028A (zh) * 2019-06-24 2019-09-20 中冶智诚(武汉)工程技术有限公司 一种用于五面led-cave的信号同步显示系统
CN111564086A (zh) * 2020-05-26 2020-08-21 江西电力职业技术学院 泵的教学拆装装置
CN112908081A (zh) * 2021-01-29 2021-06-04 武汉烽火技术服务有限公司 一种基于虚拟化切片的网络教学实训系统及其使用方法
WO2023088757A1 (de) * 2021-11-17 2023-05-25 Volkswagen Aktiengesellschaft Verfahren, computerprogramm und vorrichtung zum erproben eines einbaus oder ausbaus zumindest eines bauteils

Also Published As

Publication number Publication date
KR102113997B1 (ko) 2020-05-22
KR20170083807A (ko) 2017-07-19

Similar Documents

Publication Publication Date Title
WO2017122944A1 (ko) 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템
CN106055113B (zh) 一种混合现实的头盔显示系统及控制方法
CN106707810B (zh) 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
US9538131B2 (en) Remote behavior navigation system and processing method thereof
KR101671320B1 (ko) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
CN111292572A (zh) 一种基于沉浸式虚拟现实的井控模拟系统
CN101964151A (zh) 一种基于远程访问和视频会议系统的远程实训方法
WO2020054905A1 (ko) 스마트글라스를 활용한 증강현실 설비 조립 가이드 시스템
KR20160041879A (ko) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
CN108831237A (zh) 沉浸式虚拟现实的机车乘务员非正常行车实训考核系统
CN108109460A (zh) 一种具有增强现实功能化工厂的教学参观设备
WO2019074139A1 (ko) 가상 건설 현장에서의 시뮬레이션 실행 방법 및 이에 사용되는 관리 서버
CN111161574A (zh) 一种图形编程在线教学系统及在线分组教学方法
CN104407583A (zh) 多电子实体协作系统
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
CN212256622U (zh) 一种基于沉浸式虚拟现实的井控模拟系统
CN112331004A (zh) 核电厂全运行值培训考核系统
CN110930810A (zh) 基于混合现实的挂弹车模拟培训系统
KR102564579B1 (ko) 함정체계 시뮬레이션을 위한 관성항법 시뮬레이션 장치 및 방법
CN111341163A (zh) 一种基于vr技术的建筑安全教育多人在线培训系统及方法
KR101741566B1 (ko) 사이버 훈련 환경에서의 공격단계 및 공격진행상황을 인지하는 방법 및 시스템
WO2020130406A1 (ko) Tbm 운용 시뮬레이션 장비 및 이를 이용하여 tbm 기기 운용 능력을 측정하는 방법
RU2606148C1 (ru) Тренажёр для подготовки экипажей военных гусеничных машин, не имеющих в техническом оснащении собственного программного обеспечения
CN211237270U (zh) 基于混合现实的挂弹车模拟培训系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16885255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16885255

Country of ref document: EP

Kind code of ref document: A1