WO2021070984A1 - Vr 훈련 시스템 및 방법 - Google Patents

Vr 훈련 시스템 및 방법 Download PDF

Info

Publication number
WO2021070984A1
WO2021070984A1 PCT/KR2019/013238 KR2019013238W WO2021070984A1 WO 2021070984 A1 WO2021070984 A1 WO 2021070984A1 KR 2019013238 W KR2019013238 W KR 2019013238W WO 2021070984 A1 WO2021070984 A1 WO 2021070984A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
data
agent
management server
state
Prior art date
Application number
PCT/KR2019/013238
Other languages
English (en)
French (fr)
Inventor
이아백
Original Assignee
주식회사 포더비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포더비전 filed Critical 주식회사 포더비전
Priority to US17/254,109 priority Critical patent/US20230316946A1/en
Publication of WO2021070984A1 publication Critical patent/WO2021070984A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Definitions

  • Exemplary embodiments relate to a job training technology using VR content.
  • VR Virtual Reality
  • cases of incorporating VR technology in industrial sites are increasing.
  • the use of VR technology in industrial sites is gradually increasing, such as providing safety education experiences using VR technology in industrial sites, or experiences of operating facilities in industrial sites using VR technology.
  • Exemplary embodiments are intended to reflect various situations and characteristics in an industrial field by interlocking with a state machine in a process of performing job training using VR content, and to improve the efficiency of job training.
  • a state machine that determines a next state according to a present state of each data point according to a state-based logical relationship between data points of each set virtual objects.
  • a VR agent that executes the VR content as the content data corresponding to the VR content requested from the user is received from the education management server, and receives initial states of data pointers in the VR content from the state machine; And receiving the initial state from the VR agent, visualizing output data according to the initial state through a display device, and displaying user interaction data collected while the VR content is being executed according to the output data.
  • a VR content terminal that transmits current states of data pointers in the corresponding VR content to the VR agent, wherein the state machine determines that the current state corresponding to the interaction data is an abnormal state that does not fit the logical relationship. If yes, the VR content change request message is transmitted to the VR agent, and the VR content terminal receives the VR content change request message from the VR agent and transmits it to the education management server, from the education management server.
  • a VR training system for dynamically loading the changed VR content by receiving the resource of the changed VR content.
  • the education management server manages a plurality of VR contents, and the VR agent receives a list of VR contents accessible to the user when the user logs in, from the education management server, and a list of the VR contents from the user
  • the VR contents may be executed as contents data corresponding to the inputted VR contents is received from the education management server.
  • Each of the VR contents may be VR contents for different types of job training.
  • the job training may include a job procedure based on a set EOP (Emergency Operations Plan) or SOP (Standard Operating Procedure).
  • the VR content terminal transmits progress data of the VR content to the VR agent while the VR content is being executed according to the output data, and the state machine transmits the VR content corresponding to the progress data from the VR agent.
  • the next state according to the current state of my data pointers may be received and reflected in the VR content currently being executed.
  • the VR agent When execution of the VR content is terminated, the VR agent receives states of data pointers in the VR content from the VR content terminal when execution of the VR content is terminated, and execution of the VR content is terminated. Progress data including states of data pointers in the VR content at the time point may be transmitted to the education management server.
  • the education management server may manage progress data for each user and analyze the progress data for each user based on artificial intelligence (AI) to derive improvements of the VR content.
  • AI artificial intelligence
  • the education management server transmits improvement data for simulating the improvement items to the state machine, and the state machine changes the logical relationship based on the improvement data, and transmits change data according to the changed logical relationship. It is transmitted to the education management server, and the education management server may change the VR content based on the change data.
  • the education management server may change contents or job procedures in the VR contents.
  • the state machine When it is determined that the current state corresponding to the interaction data is a normal state according to the logical relationship, the state machine transfers the next state according to the logical relationship to the VR agent, and the VR content terminal, the VR agent The next state may be received from and reflected in the VR content currently being executed.
  • a VR training method using a state machine that generates output data according to a current state of each data point according to a state-based logic logic between set data points of each virtual object In the VR agent, executing the VR content as the content data corresponding to the VR content requested from the user is received from the education management server; Receiving, by the VR agent, initial states of data pointers in the VR content from the state machine; At a VR content terminal, receiving the initial state from the VR agent; Visualizing output data according to the initial state through a display device in the VR content terminal; Transmitting, by the VR content terminal, a current state of data pointers in the VR content corresponding to user interaction data collected while the VR content is being executed according to the output data to the VR agent; Transmitting, in the state machine, a change request message of the VR content to the VR agent when it is determined that the current state corresponding to the interaction data is an abnormal state that does not meet the logical relationship; Receiving, at the VR content terminal, a request message for changing the VR content from the
  • the education management server manages a plurality of VR contents, and the step of executing the VR contents includes receiving a list of VR contents accessible to the user when the user logs in, from the education management server, and receiving the VR contents from the user.
  • the VR contents may be executed by receiving contents data corresponding to the inputted VR contents from the education management server.
  • Each of the VR contents may be VR contents for different types of job training.
  • the job training may include a job procedure based on a set EOP (Emergency Operations Plan) or SOP (Standard Operating Procedure).
  • the VR training method may include, after the step of visualizing the output data, transmitting, in the VR content terminal, progress data of the VR content to the VR agent while the VR content is being executed according to the output data; Receiving, in the state machine, current states of data pointers in the VR content corresponding to the progress data from the VR agent; Transmitting, in the state machine, a next state according to the current state of data pointers in the VR content to the VR agent based on the logical relationship; And receiving, at the VR content terminal, a next state according to the current state of data pointers in the VR content from the VR agent and reflecting it on the currently executed VR content.
  • the VR training method includes: receiving, by the VR agent, states of data pointers in the VR content from the VR content terminal when the execution of the VR content ends; Transmitting, by the VR agent, progress data including states of data pointers in the VR content to the education management server at a point in time when the execution of the VR content is terminated; And managing progress data for each user in the education management server.
  • the education management server manages progress data for each user, and progress data for each user based on artificial intelligence (AI). It may further include the step of deriving the improvement of the VR content by analyzing the.
  • AI artificial intelligence
  • the VR training method may include, after the step of deriving improvements of the VR content, transmitting, in the education management server, improvement data for simulating the improvements to the state machine; In the state machine, changing the logical relationship based on the enhancement data; Transmitting, in the state machine, change data according to the changed logical relationship to the education management server; And changing the VR content based on the change data in the education management server.
  • the content or job procedure in the VR content may be changed.
  • the VR training method After transferring the current state of data pointers in the VR content corresponding to the interaction data to the VR agent, it is determined that the current state corresponding to the interaction data is a normal state according to the logical relationship. If so, transferring the next state according to the logical relationship to the VR agent; And the VR content terminal receiving the next state from the VR agent and reflecting it on the currently executed VR content.
  • VR contents are not played according to a single predetermined job procedure, but the contents and job procedures of VR contents are dynamically changed according to the situation, thereby making it more diverse. And it can maximize the effectiveness of job training by reflecting the characteristics of complex actual industrial sites.
  • the VR contents are changed accordingly to improve the efficiency of job training. Can be improved.
  • Fig. 1 is a detailed configuration diagram of a VR training system according to an exemplary embodiment.
  • FIG. 2 is an illustration of a training ground according to an exemplary embodiment
  • FIG. 3 is an illustration of VR content according to an exemplary embodiment
  • Fig. 4 is a flow chart for explaining a process of first executing VR content according to an exemplary embodiment
  • Fig. 5 is a flow chart illustrating a process in which VR content is performed according to a predetermined job procedure according to an exemplary embodiment.
  • Fig. 6 is a flow chart illustrating a process in which VR content proceeds according to user interaction, according to an exemplary embodiment.
  • Fig. 7 is a flow chart for explaining a process of ending VR content according to an exemplary embodiment
  • Fig. 8 is a flow chart illustrating a process of determining an error occurrence in a job training process and changing VR content in real time when an error occurs, according to an exemplary embodiment
  • Fig. 9 is a flow chart for explaining a process of deriving improvements to the contents of VR contents and job procedures and changing VR contents accordingly according to an exemplary embodiment
  • Fig. 10 is an example of dynamically changing VR content according to an exemplary embodiment
  • Fig. 11 is a diagram for explaining a data flow between a VR agent and a state machine when there are multiple users, according to an exemplary embodiment
  • Fig. 12 is an illustration of an Emergency Operations Plan (EOP) according to an exemplary embodiment
  • FIG. 13 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • Fig. 1 is a detailed configuration diagram of a VR training system 100 according to an exemplary embodiment.
  • the VR training system 100 is a system for performing job training using VR technology, for example, an emergency operation plan (EOP) or a standard work procedure (SOP) in an industrial site. Standard Operating Procedure) can support the implementation of job training.
  • EOP emergency operation plan
  • SOP standard work procedure
  • Standard Operating Procedure can support the implementation of job training.
  • a virtual environment similar to the actual industrial site is built by digital transformation of the space of the industrial site, various facilities or environments at the industrial site, and the user It refers to the act of virtually training job-related work procedures while performing various interactions in. Users can perform various interactions while staring at VR contents for job training through HMD (Head Mounted Display).
  • HMD Head Mounted Display
  • the industrial site may be, for example, a power plant, a mine, a factory, a construction site, and the like.
  • the job training may be, for example, a generator maintenance work in a power plant, an electrical equipment work in a construction site, etc., but the type of job training is not particularly limited.
  • job training does not necessarily have to be limited to industrial sites, and all actions of training and educate workers and trainees in sequential work procedures in a specific field may be included in the above-described job training.
  • the existing VR technology in the industrial site has limitations in reflecting various situations and characteristics in the industrial site as the user simply experiences the VR content of a single predetermined scenario. Accordingly, the exemplary embodiments are linked with a state machine in the process of performing job training using VR content to reflect various situations and characteristics in an industrial site and improve the efficiency of job training.
  • this will be described in more detail with reference to FIG. 1.
  • the VR training system 100 includes a state machine 102, a first database 104, a VR content terminal 106, a VR agent 108, a second database 110, and a display device 112. ), an interaction collection device 114, an education management server 116, and a third database 118.
  • the state machine 102 determines and outputs a next state according to a present state of each data point according to a state-based logical relationship between data points of each of the set virtual objects. That is, the state machine 102 is a logical machine that outputs the state change of data points according to external data input to the outside, and defines and manages the state of the data points and the situation to occur in the future so that simulation is possible. to be.
  • the virtual object is an object in the VR content corresponding to the real world, that is, various facilities, equipment, parts, or environments constituting an industrial site, and may be, for example, an object representing an actuator, a valve, or a pump in the VR content. have.
  • a data point is a smallest unit of an object capable of having two or more different states that are incompatible, and may be a virtual object itself or a component constituting a virtual object.
  • the valve may be a virtual object and a data point having two states of lock/unlock.
  • the actuator is a virtual object, and a motor constituting the actuator may be a data point having two states of on/off.
  • VR content may include a plurality of virtual objects and a plurality of data points, and the data points may affect other data points according to their current state.
  • the states of the data points change, various situations may occur according to the state change.
  • a logical relationship between each data pointer may be predefined by an administrator, and such a logical relationship may be stored in the first database 104 to be described later.
  • the logical relationship means an input/output relationship or logic according to the state of each node.
  • the state machine 102 receives an initial state of the data pointers in the VR content from the VR agent 108 to execute the VR content, and accordingly sets the initial state of the data pointers in the VR content to the VR agent. You can pass it to (108).
  • the state machine 102 may receive the current state of the data pointers in the VR content from the VR agent 108 to proceed with the VR content, and transmit the next state according to the logical relationship to the VR agent 108. .
  • the state machine 102 receives the current state of the data pointers in the VR content according to the interaction from the VR agent 108 when a user interaction occurs while the VR content is being executed, and responds to the received interaction data. It is determined whether or not the current state to be used is a normal state according to the above logic relationship.
  • the state machine 102 compares the state of each data point stored in the first database 104 with the current state of each data point according to the interaction to determine whether the current state is a normal state according to the logical relationship. It can be determined whether or not.
  • the state machine 102 may transfer the next state according to the logical relationship to the VR agent 108.
  • the state machine 102 If it is determined that the current state corresponding to the received interaction data is an abnormal state that does not fit the logical relationship, the state machine 102 records the current error state and sends the VR content change request message to the VR agent ( 108).
  • the state machine 102 may receive improvement data for simulating the improvements of VR contents from the education management server 116 after execution of the VR contents is finished, and perform a simulation based on the improvement data.
  • the state machine 102 may change the logical relationship based on the improvement data, and transmit change data according to the changed logical relationship to the education management server 116.
  • the first database 104 is a storage in which information of each data point and a state-based logical relationship between the data points are stored.
  • the state machine 102 may refer to the first database 104 to determine a next state according to the current state of each data point.
  • the VR content terminal 106 is a terminal on which the VR agent 108 is installed, and may be, for example, a desktop, a laptop computer, or a tablet PC.
  • the VR content terminal 106 may be interconnected with the state machine 102, the education management server 116, the display device 112, and the interaction collection device 114 through a network.
  • the VR agent 108 is software that processes various data related to VR content, or a computer-readable storage medium on which the software is mounted, and may be mounted on the VR content terminal 106.
  • the VR agent 108 performs functions such as managing the execution of VR contents, managing access rights of users, collecting authentication and logs, relaying data related to VR contents, managing the progress of VR contents, and managing the education score of each user (trainer). can do.
  • the VR agent 108 manages the execution of VR content and the user's access authority.
  • the VR agent 108 may provide a user interface (UI) for user login.
  • the user can log in through the UI.
  • the VR agent 108 transmits the user's information, that is, the login information, to the education management server 116, and receives a list of VR contents accessible to the user from the education management server 116 to a screen. Can be displayed on.
  • the VR agent 108 receives a list of contents a to d when user A logs in from the education management server 116 Can be displayed on the screen. The user can select one of the VR contents in the list.
  • the VR agent 108 may request content data corresponding to the selected VR content to the education management server 116 and receive the content data from the education management server 116.
  • the content data may be the type, name, and identification number of the selected VR content.
  • the VR agent 108 executes the VR content through the VR content terminal 106, and accordingly receives a request from the VR content terminal 106 for initial states of data pointers in the VR content.
  • the VR agent 108 may request the initial state from the state machine 102, receive the initial state from the state machine 102, and transmit it to the VR content terminal 106. Thereafter, the VR content terminal 106 visualizes the output data according to the initial state through the display device 112, and accordingly, the VR content may be displayed on the display device 112.
  • the VR agent 108 receives progress data of the VR content from the VR content terminal 106 in real time and transmits it to the state machine 102.
  • the progress data of the VR content is data indicating to what stage the VR content is currently being executed and the current state of each data point.
  • the state machine 102 may determine a next state based on the current state of each data point included in the progress data, and then transmit a corresponding value to the VR agent 108.
  • the VR agent 108 may transmit the next state to the VR content terminal 106, and the VR content terminal 106 may reflect this to the VR content.
  • the VR content terminal 106 visualizes output data according to the next state through the display device 112, and accordingly, the VR content corresponding to the next state may be displayed on the display device 112.
  • the VR agent 108 receives the user's interaction data from the VR content terminal 106 and transmits it to the state machine 102 when the user's interaction is made while the VR content is being executed.
  • the interaction data is data input by an interaction such as, for example, a user's voice, touch, click, gesture, manipulation of a manipulation tool (not shown), movement, gaze, etc., and the current of each data point according to the interaction It can contain states.
  • the state machine 102 may determine whether the current state corresponding to the interaction data is a normal state according to the logical relationship.
  • the VR agent 108 may receive the next state according to the logical relationship from the state machine 102. .
  • the VR agent 108 may receive a change request message of the VR content from the state machine 102. have. In this case, the VR agent 108 may transmit the VR content change request message to the education management server 116 and the VR content terminal 106, respectively.
  • the VR agent 108 receives the states of the data pointers in the VR content from the VR content terminal 106 when the execution of the VR content is terminated, and the VR content
  • the progress data including the states of the data pointers in the VR content at the time when the execution of is completed is transmitted to the education management server 116.
  • the education management server 116 manages progress data for each user, and based on this, may derive improvements of VR content.
  • the second database 110 is a storage in which user login information (ID, password, etc.), execution and access rights of each user for VR contents, billing information, and the like are stored.
  • the display device 112 is a device for displaying VR content, and may be, for example, a head mounted display (HMD). However, the type of the display device 112 is not particularly limited thereto.
  • HMD head mounted display
  • the interaction collection device 114 collects user interaction data while VR content is being executed.
  • the interaction refers to a process in which a user gives an input to VR content for job training and outputs a corresponding output from the VR content.
  • the interaction collection device 114 may be, for example, a sensor, a manipulation tool, a camera, or the like, and may be disposed at various locations such as located at a set point in the training ground or attached to the display device 112.
  • the education management server 116 is a device that manages VR contents, contents of VR contents (ie, contents itself), job procedures, user information, and the like.
  • the education management server 116 may include a writing tool (not shown), and may generate VR content through the writing tool.
  • the education management server 116 may receive VR content from a content provider (not shown).
  • the third database 118 may store VR content, user information, and the like, and the education management server 116 may manage VR content and user information in conjunction with the third database 118.
  • the education management server 116 may receive the user's login information from the VR agent 108 when the user logs in, and transmit a list of VR contents accessible to the user to the VR agent 108. .
  • the education management server 116 may manage a plurality of VR contents, and each VR contents managed by the education management server 116 may be VR contents for different types of job training.
  • each of the VR contents may be, for example, VR contents for training generator maintenance work at a power plant, VR contents for training electric equipment work at a construction site, and the like.
  • the job training may include a set EOP or SOP-based job procedure.
  • the education management server 116 transmits the contents data corresponding to the input VR contents to the VR agent 108 I can.
  • the education management server 116 may manage progress data of each of the VR contents for each user.
  • the education management server 116 receives progress data including states of data pointers in the VR content at the time when the execution of the VR content is terminated from the VR agent 108, and This may be stored in the third database 118. Thereafter, when the execution of the VR content is requested again by the user, the education management server 116 may transmit the progress data to the VR agent 108. In this case, the user can participate again from the portion corresponding to the point in time when the VR content ends.
  • the education management server 116 may analyze the progress data for each user based on artificial intelligence (AI) to derive improvements of the VR content.
  • the progress data may include a process step of the VR content at a point in time when the execution of the VR content is terminated, states of data pointers in the VR content, an error occurrence history, and the like.
  • the education management server 116 may derive improvements of the VR content through a big data analysis method.
  • the education management server 116 displays a guide sign at a specific point in the corresponding work environment. You can derive improvements in the content you add.
  • the education management server 116 is a specific point in the work environment.
  • the education management server 116 can derive the improvement of the contents that completely change the job procedure in the VR content. . In this way, the education management server 116 may derive improvements in the contents of the VR contents or the contents of changing job procedures through the big data analysis method.
  • the education management server 116 may transmit improvement data for simulating the improvement to the state machine 102.
  • the state machine 102 may perform a simulation based on the improvement data.
  • the state machine 102 may change the logical relationship based on the improvement data, and transmit change data according to the changed logical relationship to the education management server 116.
  • the third database 118 is a storage in which data related to VR content is stored.
  • the third database 118 may store VR content, user information, and progress information of VR content.
  • the third database 118 may store 3D digital assets (eg, virtual objects, data points, etc.) constituting VR content, emergency operation plan (EOP), standard operation procedure (SOP), and the like. .
  • EOP emergency operation plan
  • SOP standard operation procedure
  • Fig. 2 is an illustration of a training ground according to an exemplary embodiment.
  • a VR content terminal 106, a display device 112, and an interaction collection device 114 may be disposed in the training ground.
  • the user ie, the trainer
  • the VR content terminal 106 includes a VR agent (not shown), and may provide a UI for executing VR content through the VR agent.
  • a plurality of users can simultaneously perform job training for one VR content, and in this case, a VR agent exists for each user.
  • each user can perform an interaction for job training in a virtual space, and the interaction data of each user is collected by the interaction collecting device 114.
  • the interaction collection device 114 includes, for example, a motion detection sensor attached to the floor of the training ground, a manipulation tool used to manipulate facilities in a virtual space while the user holds it in hand, and an image of each user in the training ground. It may be a camera for photographing pictures, an eye tracking device for tracking the user's gaze in the display device 112.
  • a training assistant for assisting job training of each user may be arranged in the training ground.
  • the training assistant may monitor the VR content, the interaction of each user on the VR content, and the progress of the currently playing VR content in real time through the manager terminal. At this time, even with the same VR content, the current viewing point may be different for each user, and the training assistant may monitor the scene of the VR content for each user's viewpoint in real time through the manager terminal.
  • Fig. 3 is an illustration of VR content according to an exemplary embodiment.
  • a user may stare at VR content while wearing an HMD or perform various interactions on the VR content.
  • the VR content is a virtual environment implemented in a form similar to an actual industrial site by digitally converting a space of an industrial site, various facilities or environments at the industrial site, and may include a UI for interaction with a user.
  • the user can perform various interactions (eg, gestures, clicks, touches, etc.) for job training while viewing VR contents.
  • the user may lock the valve by touching a valve (ie, a virtual object) in VR content or operating a separate manipulation tool.
  • Fig. 4 is a flow chart illustrating a process of first executing VR content according to an exemplary embodiment.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or shown. One or more steps that have not been performed may be added and performed.
  • step S102 the VR agent 108 receives a login request from the user.
  • the VR agent 108 receives an ID, password, etc. for login from the user, and performs a login procedure of the user using the input.
  • step S104 the VR agent 108 transmits login information (ie, user information) to the education management server 116 when the user's login is completed.
  • login information ie, user information
  • step S106 the education management server 116 selects a list of VR contents accessible to the user based on the login information.
  • step S108 the education management server 116 delivers the list of VR contents to the VR agent 108.
  • step S110 the VR agent 108 receives one of the VR contents in the list of VR contents from the user.
  • step S112 the VR agent 108 requests the content data corresponding to the input VR content to the education management server 116.
  • step S114 the education management server 116 transmits the input content data corresponding to the VR content to the VR agent 108.
  • step S116 the VR agent 108 executes the VR content through the VR content terminal 106.
  • step S118 the VR content terminal 106 requests the VR agent 108 for initial states of data pointers in the VR content.
  • step S120 the VR agent 108 requests the initial state to the state machine 102.
  • step S122 the state machine 102 transfers the initial state to the VR agent 108.
  • step S124 the VR agent 108 transmits the initial state to the VR content terminal 106.
  • step S126 the VR content terminal 106 controls the display device 112 to visualize the output data according to the initial state.
  • step S128 the display device 112 displays the VR content according to the output data.
  • Fig. 5 is a flow chart illustrating a process in which VR content is performed according to a predetermined job procedure according to an exemplary embodiment.
  • step S202 the VR content terminal 106 continuously progresses the VR content (ie, maintains execution of the VR content) after step S128 of FIG. 4.
  • step S204 the VR content terminal 106 transmits progress data of the VR content to the VR agent 108 while the VR content is being executed.
  • step S206 the VR agent 108 transmits the current state of each data point included in the progress data to the state machine 102.
  • step S208 the state machine 102 determines a next state according to the current state of each of the data points according to a predefined logical relationship, and transmits the next state to the VR agent 108.
  • step S210 the VR agent 108 transmits the next state to the VR content terminal 106.
  • step S212 the VR content terminal 106 reflects the next state to the currently executed VR content.
  • step S214 the VR content terminal 106 controls the display device 112 to visualize the output data according to the next state.
  • step S216 the display device 112 displays the VR content according to the output data.
  • Fig. 6 is a flow chart illustrating a process in which VR content proceeds according to user interaction, according to an exemplary embodiment.
  • step S302 the interaction collection device 114 collects user interaction data while the VR content is being executed, and transmits the data to the VR content terminal 106.
  • step S304 the VR content terminal 106 transmits the interaction data to the VR agent 108.
  • step S306 the VR agent 108 transmits the current states of data pointers in the VR content corresponding to the interaction data to the state machine 102.
  • step S308 the state machine 102 determines whether the current state corresponding to the interaction data is a normal state according to the logic relationship.
  • step S310 when the current state corresponding to the interaction data is a normal state according to the logical relationship as a result of the determination in step S308, the state machine 102 transfers the next state according to the logical relationship to the VR agent 108 do.
  • step S312 the VR agent 108 transmits the next state to the VR content terminal 106.
  • step S314 the VR content terminal 106 reflects the next state to the currently executed VR content.
  • step S316 the VR content terminal 106 controls the display device 112 to visualize the output data according to the next state.
  • step S318 the display device 112 displays the VR content according to the output data.
  • Fig. 7 is a flowchart illustrating a process of ending VR content according to an exemplary embodiment.
  • step S402 the interaction collection device 114 collects a request for terminating the VR content from the user, and transmits the request to the VR content terminal 106.
  • the request to end the VR content is a kind of interaction described above, and may be input by, for example, a user's voice, touch, click, gesture, manipulation of a manipulation tool (not shown), movement, and gaze.
  • step S404 the VR content terminal 106 transmits a request to terminate the VR content to the VR agent 108.
  • step S406 the VR content terminal 106 terminates the execution of the VR content according to the request for terminating the VR content.
  • step S408 in response to receiving the request to terminate the VR content, the VR agent 108 stores progress data including states of data pointers in the VR content at the time when the execution of the VR content is terminated. ).
  • step S410 the education management server 116 stores progress data for each user.
  • Fig. 8 is a flow chart illustrating a process of determining an error occurrence in a job training process and changing VR content in real time when an error occurs, according to an exemplary embodiment.
  • step S502 the interaction collection device 114 collects user interaction data while the VR content is being executed, and transmits the data to the VR content terminal 106.
  • step S504 the VR content terminal 106 transmits the interaction data to the VR agent 108.
  • step S506 the VR agent 108 transmits the current state of data pointers in the VR content corresponding to the interaction data to the state machine 102.
  • step S508 the state machine 102 determines whether the current state corresponding to the interaction data is a normal state according to the logic relationship.
  • step S510 the state machine 102 records a current error state when the current state corresponding to the interaction data is an abnormal state that does not fit the logical relationship as a result of the determination in step S808.
  • the current error state may include a stage of VR content at a time when an error occurs, a current state of each data point, and the like.
  • step S512 the state machine 102 transmits the VR content change request message to the VR agent 108.
  • step S514 the VR agent 108 transmits the VR content change request message to the education management server 116.
  • step S516 the education management server 116 records the improvements of the VR content, and changes the VR content by referring to the third database 118. For example, when an error occurs in step S510 when the job procedure in VR content proceeds to 1 ⁇ 2 ⁇ 3, the education management server 116 sends the VR content change request message in step S514 to the VR agent 108 ), the job procedure in VR content can be changed from A ⁇ B ⁇ C. Accordingly, the job procedure in the VR content is changed in real time as follows.
  • Such changes may be previously stored in the third database 118.
  • contents of VR content, job procedures, etc. to be changed according to an error occurring in each step may be stored in advance.
  • the contents of VR contents, job procedures, etc. to be changed as described above may be determined through the above-described big data analysis method. This will be described later with reference to FIG. 9.
  • step S5128 the VR agent 108 transmits the VR content change request message to the VR content terminal 106.
  • step S520 the VR content terminal 106 requests a resource for changing the VR content to the education management server 116.
  • step S522 the education management server 116 delivers the resource for the VR content to be changed to the VR content terminal 106.
  • the education management server 116 may deliver the VR content resource for the job procedure A ⁇ B ⁇ C to the VR content terminal 106.
  • step S524 the VR content terminal 106 dynamically loads the changed VR content by using the resource received from the education management server 116.
  • step S526 the VR content terminal 106 controls the display device 112 to visualize the output data of the changed VR content.
  • Fig. 9 is a flow chart for explaining a process of deriving improvements to VR contents and job procedures, and changing VR contents accordingly, according to an exemplary embodiment.
  • step S602 when the execution of the VR content is terminated, the VR agent 108 transmits progress data including states of data pointers in the VR content at the time when the execution of the VR content is terminated, to the education management server 116. To pass.
  • step S604 the education management server 116 stores progress data for each user in the third database 118.
  • step S606 the education management server 116 derives improvements of the VR content by analyzing the progress data for each user based on artificial intelligence.
  • step S608 the education management server 116 transmits the improvement data for simulating the improvement to the state machine 102.
  • step S610 the state machine 102 performs a simulation based on the improvement data.
  • step S612 when it is determined that the improvement items are appropriate as a result of the simulation in step S610, the state machine 102 transmits change data on the logical relationship to be changed according to the improvement data to the education management server 116.
  • step S614 the education management server 116 changes the VR content based on the change data.
  • the education management server 116 may change the content or job procedure in the VR content based on the change data.
  • the changed VR content may be applied in the next VR training, and may also be applied in real time in the preceding step S516 while the VR content is being executed.
  • step S616 the state machine 102 changes the logical relationship based on the improvement data.
  • Fig. 10 is an example of dynamically changing VR content according to an exemplary embodiment.
  • the trainee can turn off the C facility in a virtual environment to perform task #1, for example. Due to this interaction, the state of each data point changes, and accordingly, the next task to be performed is determined as task #2. If the trainer lowers the temperature of facility A or turns off facility B to perform task #1, the next task to be performed is changed to a task other than task #2 (for example, task #5). can do. In addition, in task #3, if the trainer does not perform this despite having to turn on facility C, task #3 can be maintained as it is as the next task to be performed.
  • the job procedure in VR contents can be changed from task #1 ⁇ task #2 ⁇ task #3 ⁇ task #3 according to the user's interaction.
  • the change of the job procedure varies according to the user's interaction, and if a different type of interaction is performed from that in FIG. 6, the job procedure may be changed to task #1 ⁇ task #5 ⁇ task #4 ⁇ task #3.
  • the dynamic change of the job procedure is made through real-time interworking with the state machine 102, and accordingly, a customized job procedure according to the situation can be provided to the user.
  • FIG. 11 is a diagram for explaining a data flow between the VR agent 108 and the state machine 102 when a plurality of users exist, according to an exemplary embodiment.
  • a plurality of users can simultaneously perform job training for one VR content, and in this case, a VR agent exists for each user.
  • a first VR agent 108-1 for a first user a second VR agent 108-2 for a second user, and a third VR agent 108-3 for a third user, respectively
  • Each of the VR agents 108-1, 108-2, and 108-3 are all connected to one state machine 102.
  • Each VR agent (108-1, 108-2, 108-3) delivers the interaction data of each user to the state machine 102, and the state machine 102 combines the interaction data of each user to match the VR content. It is possible to judge whether job training is being performed normally.
  • the state machine 102 compares the state of each data point stored in the first database 104 with the current state of each data point included in the interaction data to determine the current state of each data point. It is possible to determine whether or not it is a normal state according to the relationship.
  • the state machine 102 may transfer the next state according to the logical relationship to the VR agent 108.
  • the state machine 102 may record a current error state and transmit a request message for changing the VR content to the VR agent 108.
  • Fig. 12 is an illustration of an Emergency Operations Plan (EOP) according to an exemplary embodiment.
  • the EOP may be, for example, a procedure document describing a procedure for supplying CO 2 in a generator in case of an emergency situation.
  • the EOP may include a sequential job procedure.
  • FIG. 13 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those not described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • the computing device 12 may be the VR training system 100, or one or more components included in the VR training system 100.
  • the computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18.
  • the processor 14 may cause the computing device 12 to operate in accordance with the aforementioned exemplary embodiments.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16.
  • the one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.
  • the computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14.
  • the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by the computing device 12 and store desired information, or a suitable combination thereof.
  • the communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer readable storage medium 16.
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24.
  • the input/output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22.
  • the exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device.
  • Input devices and/or output devices such as display devices, printers, speakers, and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

VR 훈련 시스템 및 방법이 제공된다. 예시적인 실시예들은 VR 컨텐츠를 활용한 직무 훈련을 실시하는 과정에서 스테이트 머신(state machine)과 연동하여 산업현장에서의 다양한 상황 및 특성을 반영하고 직무 훈련의 효율을 향상시키기 위한 것이다.

Description

VR 훈련 시스템 및 방법
예시적인 실시예들은 VR 컨텐츠를 활용한 직무 훈련 기술에 관한 것이다.
최근, VR(Virtual Reality) 기술이 발전함에 따라 산업현장에서 VR 기술을 접목시키는 사례가 증가하고 있다. 일 예시로서, 산업현장에서 VR 기술을 활용하여 안전교육 체험을 실시하거나, VR 기술을 활용하여 산업현장의 설비를 조작해보는 체험을 실시하는 등 산업현장에서의 VR 기술의 활용도가 점차 증가하고 있다.
그러나, 기존 산업현장에서의 VR 기술은 사용자가 미리 정해진 단일 시나리오의 VR 컨텐츠를 단순 체험하는 데 그쳐 산업현장에서의 다양한 상황 및 특성을 반영하는 데 한계가 있었으며, 이에 따라 실제 현장상황이나 복합적인 위험상황을 구현하는 데 어려움이 있었다.
[선행기술문헌]
[특허문헌]
한국공개특허공보 제10-2019-0004088호(2019.01.11)
예시적인 실시예들은 VR 컨텐츠를 활용한 직무 훈련을 실시하는 과정에서 스테이트 머신(state machine)과 연동하여 산업현장에서의 다양한 상황 및 특성을 반영하고 직무 훈련의 효율을 향상시키기 위한 것이다.
예시적인 실시예에 따르면, 설정된 각 가상 오브젝트들의 데이터 포인트 간의 스테이트(state) 기반 논리 관계에 따라 각 데이터 포인트들의 현재 스테이트(present state)에 따른 다음 스테이트(next state)를 결정하는 스테이트 머신(state machine); 사용자로부터 요청된 VR 컨텐츠에 대응되는 컨텐츠 데이터를 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시키고, 상기 스테이트 머신으로부터 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 전달 받는 VR 에이전트; 및 상기 VR 에이전트로부터 상기 초기 스테이트를 수신하고, 디스플레이 기기를 통해 상기 초기 스테이트에 따른 출력 데이터를 가시화하고, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 수집되는 사용자의 인터랙션 데이터(interaction data)에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 상기 VR 에이전트에 전달하는 VR 컨텐츠 단말을 포함하며, 상기 스테이트 머신은, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우 상기 VR 컨텐츠의 변경 요청 메시지를 상기 VR 에이전트로 전달하고, 상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 VR 컨텐츠의 변경 요청 메시지를 수신하여 상기 교육 관리 서버로 전달하며, 상기 교육 관리 서버로부터 변경된 VR 컨텐츠의 리소스를 전달 받아 상기 변경된 VR 컨텐츠를 동적으로 로딩하는, VR 훈련 시스템이 제공된다.
상기 교육 관리 서버는, 다수의 VR 컨텐츠를 관리하며, 상기 VR 에이전트는, 상기 사용자의 로그인시 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 상기 교육 관리 서버로부터 수신하고, 상기 사용자로부터 상기 VR 컨텐츠의 리스트에 있는 VR 컨텐츠 중 하나를 입력 받는 경우 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 상기 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시킬 수 있다.
상기 각 VR 컨텐츠는, 서로 다른 종류의 직무 훈련을 위한 VR 컨텐츠일 수 있다.
상기 직무 훈련은, 설정된 EOP(Emergency Operations Plan) 또는 SOP(Standard Operating Procedure) 기반의 직무 절차를 포함할 수 있다.
상기 VR 컨텐츠 단말은, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 상기 VR 컨텐츠의 진행 데이터를 상기 VR 에이전트로 전달하고, 상기 스테이트 머신은, 상기 VR 에이전트로부터 상기 진행 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 수신하고, 상기 논리 관계에 기초하여 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 상기 VR 에이전트로 전달하고, 상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영할 수 있다.
상기 VR 에이전트는, 상기 VR 컨텐츠의 실행이 종료되는 경우 상기 VR 컨텐츠 단말로부터 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 수신하고, 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 상기 교육 관리 서버로 전달할 수 있다.
상기 교육 관리 서버는, 각 사용자별 진도 데이터를 관리하고, 인공지능(AI : Artificial Intelligence)을 기초로 상기 각 사용자별 진도 데이터를 분석하여 상기 VR 컨텐츠의 개선사항을 도출할 수 있다.
상기 교육 관리 서버는, 상기 개선사항을 시뮬레이션하기 위한 개선 데이터를 상기 스테이트 머신으로 전달하고, 상기 스테이트 머신은, 상기 개선 데이터를 토대로 상기 논리 관계를 변경하고, 변경된 상기 논리 관계에 따른 변경 데이터를 상기 교육 관리 서버로 전달하며, 상기 교육 관리 서버는, 상기 변경 데이터를 토대로 상기 VR 컨텐츠를 변경할 수 있다.
상기 교육 관리 서버는, 상기 VR 컨텐츠 내의 내용이나 직무절차를 변경할 수 있다.
상기 스테이트 머신은, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우 상기 논리 관계에 따른 다음 스테이트를 상기 VR 에이전트로 전달하고, 상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영할 수 있다.
다른 예시적인 실시예에 따르면, 설정된 각 가상 오브젝트들의 데이터 포인트 간의 스테이트(state) 기반 논리 로직에 따라 각 데이터 포인트들의 현재 스테이트에 따른 출력 데이터를 생성하는 스테이트 머신(state machine)을 이용한, VR 훈련 방법으로서, VR 에이전트에서, 사용자로부터 요청된 VR 컨텐츠에 대응되는 컨텐츠 데이터를 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시키는 단계; 상기 VR 에이전트에서, 상기 스테이트 머신으로부터 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 전달 받는 단계; VR 컨텐츠 단말에서, 상기 VR 에이전트로부터 상기 초기 스테이트를 수신하는 단계; 상기 VR 컨텐츠 단말에서, 디스플레이 기기를 통해 상기 초기 스테이트에 따른 출력 데이터를 가시화하는 단계; 상기 VR 컨텐츠 단말에서, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 수집되는 사용자의 인터랙션 데이터(interaction data)에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 상기 VR 에이전트에 전달하는 단계; 상기 스테이트 머신에서, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우 상기 VR 컨텐츠의 변경 요청 메시지를 상기 VR 에이전트로 전달하는 단계; 상기 VR 컨텐츠 단말에서, 상기 VR 에이전트로부터 상기 VR 컨텐츠의 변경 요청 메시지를 수신하여 상기 교육 관리 서버로 전달하는 단계; 및 상기 VR 컨텐츠 단말에서, 상기 교육 관리 서버로부터 변경된 VR 컨텐츠의 리소스를 전달 받아 상기 변경된 VR 컨텐츠를 동적으로 로딩하는 단계를 포함하는, VR 훈련 방법이 제공된다.
상기 교육 관리 서버는, 다수의 VR 컨텐츠를 관리하며, 상기 VR 컨텐츠를 실행시키는 단계는, 상기 사용자의 로그인시 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 상기 교육 관리 서버로부터 수신하고, 상기 사용자로부터 상기 VR 컨텐츠의 리스트에 있는 VR 컨텐츠 중 하나를 입력 받는 경우 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 상기 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시킬 수 있다.
상기 각 VR 컨텐츠는, 서로 다른 종류의 직무 훈련을 위한 VR 컨텐츠일 수 있다.
상기 직무 훈련은, 설정된 EOP(Emergency Operations Plan) 또는 SOP(Standard Operating Procedure) 기반의 직무 절차를 포함할 수 있다.
상기 VR 훈련 방법은, 상기 출력 데이터를 가시화하는 단계 이후에, 상기 VR 컨텐츠 단말에서, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 상기 VR 컨텐츠의 진행 데이터를 상기 VR 에이전트로 전달하는 단계; 상기 스테이트 머신에서, 상기 VR 에이전트로부터 상기 진행 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 수신하는 단계; 상기 스테이트 머신에서, 상기 논리 관계에 기초하여 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 상기 VR 에이전트로 전달하는 단계; 및 상기 VR 컨텐츠 단말에서, 상기 VR 에이전트로부터 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영하는 단계를 더 포함할 수 있다.
상기 VR 훈련 방법은, 상기 VR 에이전트에서, 상기 VR 컨텐츠의 실행이 종료되는 경우 상기 VR 컨텐츠 단말로부터 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 수신하는 단계; 상기 VR 에이전트에서, 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 상기 교육 관리 서버로 전달하는 단계; 및 상기 교육 관리 서버에서, 각 사용자별 진도 데이터를 관리하는 단계를 더 포함할 수 있다.
상기 VR 훈련 방법은, 상기 각 사용자별 진도 데이터를 관리하는 단계 이후, 상기 교육 관리 서버에서, 각 사용자별 진도 데이터를 관리하고, 인공지능(AI : Artificial Intelligence)을 기초로 상기 각 사용자별 진도 데이터를 분석하여 상기 VR 컨텐츠의 개선사항을 도출하는 단계를 더 포함할 수 있다.
상기 VR 훈련 방법은, 상기 VR 컨텐츠의 개선사항을 도출하는 단계 이후, 상기 교육 관리 서버에서, 상기 개선사항을 시뮬레이션하기 위한 개선 데이터를 상기 스테이트 머신으로 전달하는 단계; 상기 스테이트 머신에서, 상기 개선 데이터를 토대로 상기 논리 관계를 변경하는 단계; 상기 스테이트 머신에서, 변경된 상기 논리 관계에 따른 변경 데이터를 상기 교육 관리 서버로 전달하는 단계; 및 상기 교육 관리 서버에서, 상기 변경 데이터를 토대로 상기 VR 컨텐츠를 변경하는 단계를 더 포함할 수 있다.
상기 VR 컨텐츠를 변경하는 단계는, 상기 VR 컨텐츠 내의 내용이나 직무절차를 변경할 수 있다.
상기 VR 훈련 방법은, 상기 인터랙션 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 상기 VR 에이전트에 전달하는 단계 이후, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우 상기 논리 관계에 따른 다음 스테이트를 상기 VR 에이전트로 전달하는 단계; 및 상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영하는 단계를 더 포함할 수 있다.
예시적인 실시예에 따르면, VR 컨텐츠를 활용한 직무 훈련을 실시하는 과정에서 VR 컨텐츠가 미리 정해진 단일의 직무절차대로 플레이되는 대신, VR 컨텐츠의 내용 및 직무절차를 상황에 맞게 동적으로 변화시킴으로써 보다 다양하고 복잡한 실제 산업현장의 특성을 반영하여 직무 훈련의 효과를 극대화시킬 수 있다.
또한, 예시적인 실시예에 따르면, 직무 훈련 과정에서의 에러 발생을 판단하고 에러 발생시 VR 컨텐츠를 실시간으로 변경함으로써, 보다 다양한 훈련 상황을 구현하고 직무 훈련의 내용을 좀 더 풍부하게 할 수 있다.
또한, 예시적인 실시예에 따르면, 각 사용자별 진도 데이터 및 에러 발생 이력을 빅데이터 분석하여 VR 컨텐츠의 내용 및 직무절차에 대한 개선사항을 도출하고, 이에 따라 VR 컨텐츠를 변경하여 직무 훈련의 효율을 향상시킬 수 있다.
도 1은 예시적인 실시예에 따른 VR 훈련 시스템의 상세 구성도
도 2는 예시적인 실시예에 따른 훈련장의 예시
도 3은 예시적인 실시예에 따른 VR 컨텐츠의 예시
도 4는 예시적인 실시예에 따른 VR 컨텐츠를 최초로 실행하는 과정을 설명하기 위한 흐름도
도 5는 예시적인 실시예에 따른 VR 컨텐츠가 미리 정해진 직무절차에 따라 진행되는 과정을 설명하기 위한 흐름도
도 6은 예시적인 실시예에 따른 VR 컨텐츠가 사용자 인터랙션에 따라 진행되는 과정을 설명하기 위한 흐름도
도 7은 예시적인 실시예에 따른 VR 컨텐츠가 종료되는 과정을 설명하기 위한 흐름도
도 8은 예시적인 실시예에 따라 직무 훈련 과정에서의 에러 발생을 판단하고 에러 발생시 VR 컨텐츠를 실시간으로 변경하는 과정을 설명하기 위한 흐름도
도 9는 예시적인 실시예에 따라 VR 컨텐츠의 내용 및 직무절차에 대한 개선사항을 도출하고, 이에 따라 VR 컨텐츠를 변경하는 과정을 설명하기 위한 흐름도
도 10은 예시적인 실시예에 따른 VR 컨텐츠가 동적으로 변화하는 예시
도 11은 예시적인 실시예에 따른 사용자가 복수 명 존재하는 경우 VR 에이전트와 스테이트 머신 간의 데이터 흐름을 설명하기 위한 도면
도 12는 예시적인 실시예에 따른 EOP(Emergency Operations Plan)의 예시
도 13은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 예시적인 실시예에 따른 VR 훈련 시스템(100)의 상세 구성도이다. 예시적인 실시예에 따른 VR 훈련 시스템(100)은 VR 기술을 활용하여 직무 훈련을 실시하기 위한 시스템으로서, 예를 들어 산업현장에서 비상운영계획서(EOP : Emergency Operations Plan) 또는 표준작업절차서(SOP : Standard Operating Procedure)에 따른 직무 훈련의 실시를 지원할 수 있다.
여기서, VR 기술을 활용한 직무 훈련은 산업현장의 공간, 산업현장에서의 각종 설비들 또는 환경들을 디지털 변환(digital transformation)하여 실제 산업현장과 유사한 형태의 가상환경을 구축하고, 사용자가 상기 가상환경에서 각종 인터랙션(interaction)을 수행하면서 직무 관련 작업 절차를 가상으로 훈련하는 행위를 의미한다. 사용자는 HMD(Head Mounted Display)를 통해 직무 훈련을 위한 VR 컨텐츠를 응시하면서 각종 인터랙션을 수행할 수 있다.
이때, 산업현장은 예를 들어, 발전소, 광산, 공장, 건설현장 등이 될 수 있다. 또한, 직무 훈련은 예를 들어, 발전소에서의 발전기 정비 작업, 건설현장에서의 전기설비 작업 등이 될 수 있으나, 직무 훈련의 종류가 특별히 한정되는 것은 아니다. 또한, 직무 훈련이 반드시 산업현장에 국한될 필요는 없으며, 특정 분야에서 작업자, 교육생 등을 대상으로 순차적인 작업 절차를 훈련, 교육시키는 모든 행위가 상술한 직무 훈련에 포함될 수 있다.
한편, 상술한 바와 같이 기존 산업현장에서의 VR 기술은 사용자가 미리 정해진 단일 시나리오의 VR 컨텐츠를 단순 체험하는 데 그쳐 산업현장에서의 다양한 상황 및 특성을 반영하는 데 한계가 있었다. 이에, 예시적인 실시예들은 VR 컨텐츠를 활용한 직무 훈련을 실시하는 과정에서 스테이트 머신(state machine)과 연동하여 산업현장에서의 다양한 상황 및 특성을 반영하고 직무 훈련의 효율을 향상시킬 수 있도록 하였다. 이하에서는, 도 1을 참조하여 이에 대해 보다 자세히 설명하기로 한다.
도 1을 참조하면, VR 훈련 시스템(100)은 스테이트 머신(102), 제1 데이터베이스(104), VR 컨텐츠 단말(106), VR 에이전트(108), 제2 데이터베이스(110), 디스플레이 기기(112), 인터랙션 수집장치(114), 교육 관리 서버(116) 및 제3 데이터베이스(118)를 포함한다.
스테이트 머신(102, state machine)은 설정된 각 가상 오브젝트들의 데이터 포인트 간의 스테이트(state) 기반 논리 관계에 따라 각 데이터 포인트들의 현재 스테이트(present state)에 따른 다음 스테이트(next state)를 결정하여 출력한다. 즉, 스테이트 머신(102)은 외부의 데이터 입력에 따른 데이터 포인트들의 스테이트 변화를 외부로 출력해주는 논리 머신으로서, 시뮬레이션이 가능하도록 데이터 포인트들의 스테이트 및 이에 따라 미래에 발생될 상황을 정의, 관리하는 장치이다. 여기서, 가상 오브젝트는 현실세계, 즉 산업현장을 구성하는 각종 설비, 장비, 부품, 또는 환경에 대응되는 VR 컨텐츠 내 객체로서, 예를 들어 VR 컨텐츠 내에서 액츄에이터, 밸브, 펌프 등을 나타내는 객체일 수 있다. 또한, 데이터 포인트는 양립 불가능한 둘 이상의 서로 다른 스테이트(state)를 가질 수 있는 최소 단위의 객체로서, 가상 오브젝트 그 자체가 될 수도 있고 가상 오브젝트를 구성하는 일 구성요소가 될 수도 있다. 일 예시로서, 밸브는 가상 오브젝트이면서 잠금/풀림 두 개의 스테이트를 갖는 데이터 포인트일 수 있다. 다른 예시로서, 액츄에이터는 가상 오브젝트이며, 액츄에이터를 구성하는 모터는 온(on)/오프(off) 두 개의 스테이트를 갖는 데이터 포인트일 수 있다.
VR 컨텐츠는 다수의 가상 오브젝트 및 다수의 데이터 포인트를 포함할 수 있으며, 데이터 포인트들은 자신의 현재 스테이트에 따라 다른 데이터포인트에 영향을 줄 수 있다. 또한, 데이터 포인트들의 스테이트가 변화하는 경우, 스테이트 변화에 따른 다양한 상황이 발생될 수 있다. 이러한 데이터 포인트들의 스테이트를 기반으로 각 데이터 포인터 간의 논리 관계가 관리자에 의해 미리 정의될 수 있으며, 이러한 논리 관계는 후술할 제1 데이터베이스(104)에 저장될 수 있다. 여기서, 논리 관계는 데이터 포인트 각각을 일 노드(node)라 칭하였을 때 각 노드의 스테이트에 따른 입출력 관계 또는 로직(logic)을 의미한다.
후술할 바와 같이, 스테이트 머신(102)은 VR 컨텐츠의 실행을 위해 VR 에이전트(108)로부터 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 요청 받고, 이에 따라 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 VR 에이전트(108)로 전달할 수 있다.
또한, 스테이트 머신(102)은 VR 컨텐츠의 진행을 위해 VR 에이전트(108)로부터 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 수신하고, 상기 논리 관계에 따른 다음 스테이트를 VR 에이전트(108)로 전달할 수 있다.
또한, 스테이트 머신(102)은 VR 컨텐츠가 실행되는 동안 사용자의 인터랙션이 이루어진 경우 VR 에이전트(108)로부터 상기 인터랙션에 따른 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 수신하고, 수신된 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인지의 여부를 판단한다. 스테이트 머신(102)은 예를 들어, 제1 데이터베이스(104)에 저장된 각 데이터 포인트의 스테이트와 상기 인터랙션에 따른 각 데이터 포인트의 현재 스테이트를 서로 비교하여 상기 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인지의 여부를 판단할 수 있다.
만약, 수신된 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우, 스테이트 머신(102)은 상기 논리 관계에 따른 다음 스테이트를 VR 에이전트(108)로 전달할 수 있다.
만약, 수신된 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우, 스테이트 머신(102)은 현재 에러 상태를 기록하고 상기 VR 컨텐츠의 변경 요청 메시지를 VR 에이전트(108)로 전달할 수 있다.
또한, 스테이트 머신(102)은 VR 컨텐츠의 실행이 종료된 이후 교육 관리 서버(116)로부터 VR 컨텐츠의 개선사항을 시뮬레이션하기 위한 개선 데이터를 수신하고, 상기 개선 데이터를 토대로 시뮬레이션을 수행할 수 있다. 시뮬레이션 결과 개선사항이 적절한 것으로 판단되는 경우, 스테이트 머신(102)은 상기 개선 데이터를 토대로 상기 논리 관계를 변경하고, 변경된 상기 논리 관계에 따른 변경 데이터를 교육 관리 서버(116)로 전달할 수 있다.
제1 데이터베이스(104)는 각 데이터 포인트들의 정보 및 상기 각 데이터 포인트 간 스테이트 기반 논리 관계가 저장되는 저장소이다. 스테이트 머신(102)은 제1 데이터베이스(104)를 참조하여 각 데이터 포인트들의 현재 스테이트에 따른 다음 스테이트를 결정할 수 있다.
VR 컨텐츠 단말(106)은 VR 에이전트(108)가 설치되는 단말로서, 예를 들어 데스크톱, 노트북, 태플릿 PC 등이 될 수 있다. VR 컨텐츠 단말(106)은 스테이트 머신(102), 교육 관리 서버(116), 디스플레이 기기(112) 및 인터랙션 수집장치(114)와 네트워크를 통해 상호 연결될 수 있다.
VR 에이전트(108)는 VR 컨텐츠와 관련된 각종 데이터를 처리하는 소프트웨어, 또는 상기 소프트웨어가 탑재된 컴퓨터 판독 가능 저장 매체로서, VR 컨텐츠 단말(106)에 탑재될 수 있다. VR 에이전트(108)는 VR 컨텐츠의 실행 관리, 사용자의 접근 권한 관리, 인증 및 로그 수집, VR 컨텐츠와 관련된 데이터 중계, VR 컨텐츠의 진도 관리, 각 사용자(훈련자)의 교육 점수 관리 등의 기능을 수행할 수 있다.
먼저, VR 에이전트(108)는 VR 컨텐츠의 실행 및 사용자의 접근 권한을 관리한다. 이를 위해, VR 에이전트(108)는 사용자 로그인을 위한 사용자 인터페이스(UI : User Interface)를 제공할 수 있다. 사용자는 상기 UI를 통해 로그인을 수행할 수 있다. VR 에이전트(108)는 상기 사용자의 로그인시 상기 사용자의 정보, 즉 로그인 정보를 교육 관리 서버(116)로 전달하고, 교육 관리 서버(116)로부터 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 전달 받아 화면에 디스플레이할 수 있다. 일 예시로서, A 사용자가 a ~ d 컨텐츠에 대한 접근 권한을 갖고 있다고 가정할 경우, VR 에이전트(108)는 A 사용자가 로그인한 경우 a ~ d 컨텐츠에 대한 리스트를 교육 관리 서버(116)로부터 수신하여 화면에 디스플레이할 수 있다. 사용자는 상기 리스트에 있는 VR 컨텐츠 중 하나를 선택할 수 있다. VR 에이전트(108)는 선택된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 교육 관리 서버(116)로 요청하고, 교육 관리 서버(116)로부터 상기 컨텐츠 데이터를 수신할 수 있다. 여기서, 컨텐츠 데이터는 선택된 상기 VR 컨텐츠의 종류, 이름, 식별번호 등이 될 수 있다. VR 에이전트(108)는 VR 컨텐츠 단말(106)을 통해 VR 컨텐츠를 실행시키고, 이에 따라 VR 컨텐츠 단말(106)로부터 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 요청 받는다. VR 에이전트(108)는 스테이트 머신(102)에 상기 초기 스테이트를 요청하고, 스테이트 머신(102)으로부터 상기 초기 스테이트를 수신하여 VR 컨텐츠 단말(106)로 전달할 수 있다. 이후, VR 컨텐츠 단말(106)은 디스플레이 기기(112)를 통해 상기 초기 스테이트에 따른 출력 데이터를 가시화하고, 이에 따라 VR 컨텐츠가 디스플레이 기기(112)에서 디스플레이될 수 있다.
또한, VR 에이전트(108)는 VR 컨텐츠가 실행된 이후 VR 컨텐츠 단말(106)로부터 VR 컨텐츠의 진행 데이터를 실시간으로 수신하여 스테이트 머신(102)으로 전달한다. 여기서, VR 컨텐츠의 진행 데이터는 VR 컨텐츠가 실행된 이후 현재 어느 단계까지 진행되었는지, 각 데이터 포인트들의 현재 스테이트가 어떠한지를 나타내는 데이터이다. 스테이트 머신(102)은 상기 진행 데이터에 포함된 각 데이터 포인트들의 현재 스테이트를 기반으로 다음 스테이트를 결정한 후 해당 값을 VR 에이전트(108)로 전달할 수 있다. VR 에이전트(108)는 상기 다음 스테이트를 VR 컨텐츠 단말(106)로 전달하고, VR 컨텐츠 단말(106)은 이를 VR 컨텐츠에 반영할 수 있다. VR 컨텐츠 단말(106)은 디스플레이 기기(112)를 통해 상기 다음 스테이트에 따른 출력 데이터를 가시화하고, 이에 따라 다음 스테이트에 대응되는 VR 컨텐츠가 디스플레이 기기(112)에서 디스플레이될 수 있다.
또한, VR 에이전트(108)는 VR 컨텐츠가 실행되는 동안 사용자의 인터랙션이 이루어진 경우 VR 컨텐츠 단말(106)로부터 사용자의 인터랙션 데이터를 수신하여 스테이트 머신(102)으로 전달한다. 여기서, 인터랙션 데이터는 예를 들어, 사용자의 음성, 터치, 클릭, 제스처, 조작도구(미도시)의 조작, 움직임, 시선 등과 같은 인터랙션에 의해 입력되는 데이터로서, 상기 인터랙션에 따른 각 데이터 포인트들의 현재 스테이트를 포함할 수 있다. 스테이트 머신(102)은 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인지의 여부를 판단할 수 있다.
만약, 수신된 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우, VR 에이전트(108)는 스테이트 머신(102)으로부터 상기 논리 관계에 따른 다음 스테이트를 수신할 수 있다.
만약, 수신된 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우, VR 에이전트(108)는 스테이트 머신(102)으로부터 상기 VR 컨텐츠의 변경 요청 메시지를 수신할 수 있다. 이 경우, VR 에이전트(108)는 상기 VR 컨텐츠의 변경 요청 메시지를 교육 관리 서버(116)와 VR 컨텐츠 단말(106)에 각각 전달할 수 있다.
또한, VR 에이전트(108)는 상기 VR 컨텐츠의 실행이 종료되는 경우 VR 컨텐츠 단말(106)로부터 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 수신하고, 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 교육 관리 서버(116)로 전달한다. 후술할 바와 같이, 교육 관리 서버(116)는 각 사용자별 진도 데이터를 관리하고, 이를 기초로 VR 컨텐츠의 개선사항을 도출할 수 있다.
제2 데이터베이스(110)는 사용자의 로그인 정보(아이디, 패스워드 등), VR 컨텐츠에 대한 각 사용자의 실행 및 접근 권한, 과금 정보 등이 저장되는 저장소이다.
디스플레이 기기(112)는 VR 컨텐츠가 디스플레이되는 장치로서, 예를 들어 HMD(Head Mounted Display)일 수 있다. 다만, 디스플레이 기기(112)의 종류가 특별히 이에 한정되는 것은 아니다.
인터랙션 수집장치(114)는 VR 컨텐츠가 실행되는 동안 사용자의 인터랙션 데이터를 수집한다. 여기서, 인터랙션은 사용자가 직무 훈련을 위해 VR 컨텐츠에 어떠한 입력을 주면 VR 컨텐츠에서 이에 대응되는 출력을 해주는 과정을 의미한다. 인터랙션 수집장치(114)는 예를 들어, 센서, 조작도구, 카메라 등이 될 수 있으며, 훈련장 내 설정된 지점에 위치하거나 디스플레이 기기(112)에 부착되는 등 다양한 위치에 배치될 수 있다.
교육 관리 서버(116)는 VR 컨텐츠, VR 컨텐츠의 내용(즉, 컨텐츠 자체) 및 직무절차, 사용자 정보 등을 관리하는 장치이다. 교육 관리 서버(116)는 저작도구(미도시)를 구비할 수 있으며, 상기 저작도구를 통해 VR 컨텐츠를 생성할 수 있다. 또한, 교육 관리 서버(116)는 컨텐츠 제공자(미도시)로부터 VR 컨텐츠를 제공 받을 수도 있다. 제3 데이터베이스(118)에는 VR 컨텐츠, 사용자 정보 등이 저장될 수 있으며, 교육 관리 서버(116)는 제3 데이터베이스(118)와 연동하여 VR 컨텐츠, 사용자 정보 등을 관리할 수 있다.
상술한 바와 같이, 교육 관리 서버(116)는 사용자의 로그인시 VR 에이전트(108)로부터 상기 사용자의 로그인 정보를 수신하고, 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 VR 에이전트(108)로 전달할 수 있다. 교육 관리 서버(116)는 다수의 VR 컨텐츠를 관리할 수 있으며, 교육 관리 서버(116)에서 관리하는 각 VR 컨텐츠는 서로 다른 종류의 직무 훈련을 위한 VR 컨텐츠일 수 있다. 일 예시로서, 상기 각 VR 컨텐츠는, 예를 들어 발전소에서의 발전기 정비 작업을 훈련하기 위한 VR 컨텐츠, 건설현장에서의 전기설비 작업을 훈련하기 위한 VR 컨텐츠 등이 될 수 있다. 이때, 상기 직무 훈련은 설정된 EOP 또는 SOP 기반의 직무 절차를 포함할 수 있다. VR 에이전트(108)가 상기 사용자로부터 상기 VR 컨텐츠의 리스트에 있는 VR 컨텐츠 중 하나를 입력 받는 경우, 교육 관리 서버(116)는 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 VR 에이전트(108)로 전달할 수 있다.
또한, 교육 관리 서버(116)는 사용자별 상기 각 VR 컨텐츠의 진도 데이터를 관리할 수 있다. 교육 관리 서버(116)는 상기 VR 컨텐츠의 실행이 종료되는 경우 VR 에이전트(108)로부터 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 수신하고, 이를 제3 데이터베이스(118)에 저장할 수 있다. 이후, 상기 사용자에 의해 상기 VR 컨텐츠의 실행이 재요청되는 경우, 교육 관리 서버(116)는 상기 진도 데이터를 VR 에이전트(108)로 전달할 수 있다. 이 경우, 사용자는 상기 VR 컨텐츠가 종료된 시점에 대응되는 부분부터 다시 참여할 수 있게 된다.
또한, 교육 관리 서버(116)는 인공지능(AI : Artificial Intelligence)을 기초로 상기 각 사용자별 진도 데이터를 분석하여 상기 VR 컨텐츠의 개선사항을 도출할 수 있다. 상기 진도 데이터는 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠의 진행 단계, 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트, 에러 발생 이력 등을 포함할 수 있다. 교육 관리 서버(116)는 빅데이터 분석기법을 통해 상기 VR 컨텐츠의 개선사항을 도출할 수 있다.
일 예시로서, 사용자가 직무 훈련을 수행하는 작업 환경에서 추락 위험에 대한 안내 표지판이 없어 사용자가 특정 지점에서 반복적으로 추락하여 에러가 발생되는 경우, 교육 관리 서버(116)는 해당 작업 환경의 특정 지점에 안내 표지판을 추가하는 내용의 개선사항을 도출할 수 있다. 다른 예시로서, 사용자가 직무 훈련을 수행하는 작업 환경에서 사용자를 위한 경로표시 안내가 잘못되어 사용자가 잘못된 경로로 계속 지나감으로써 에러가 발생되는 경우, 교육 관리 서버(116)는 해당 작업 환경의 특정 지점에 위치한 경로표시 안내를 수정하는 내용의 개선사항을 도출할 수 있다. 다른 예시로서, 다수의 사용자가 멀티훈련을 진행할 때 1번 사용자는 3번 사용자가 위치한 지점에 가서 특정 테스크(task)를 수행하고 이와 동시에 3번 사용자는 1번 사용자가 위치한 지점에 가서 특정 테스크를 수행하여야 하는데 1번 사용자와 3번 사용자가 달려가는 시간이 서로 달라 테스크 수행이 동시에 이루어지지 않는 경우, 교육 관리 서버(116)는 VR 컨텐츠 내 직무절차를 아예 바꾸는 내용의 개선사항을 도출할 수 있다. 이와 같이, 교육 관리 서버(116)는 빅데이터 분석기법을 통해 VR 컨텐츠 내의 내용이나 직무절차를 변경하는 내용의 개선사항을 도출할 수 있다.
이후, 교육 관리 서버(116)는 상기 개선사항을 시뮬레이션하기 위한 개선 데이터를 스테이트 머신(102)으로 전달할 수 있다. 스테이트 머신(102)은 상기 개선 데이터를 토대로 시뮬레이션을 수행할 수 있다. 시뮬레이션 결과 개선사항이 적절한 것으로 판단되는 경우, 스테이트 머신(102)은 상기 개선 데이터를 토대로 상기 논리 관계를 변경하고, 변경된 상기 논리 관계에 따른 변경 데이터를 교육 관리 서버(116)로 전달할 수 있다.
제3 데이터베이스(118)는 VR 컨텐츠와 관련된 데이터가 저장되는 저장소이다. 제3 데이터베이스(118)에는 VR 컨텐츠, 사용자 정보, VR 컨텐츠의 진도 정보 등이 저장될 수 있다. 또한, 제3 데이터베이스(118)에는 VR 컨텐츠를 구성하는 3차원 디지털 자산(예를 들어, 가상 오브젝트, 데이터 포인트 등), 비상운영계획서(EOP), 표준작업절차서(SOP) 등이 저장될 수 있다.
도 2는 예시적인 실시예에 따른 훈련장의 예시이다.
도 2를 참조하면, 훈련장 내에는 VR 컨텐츠 단말(106), 디스플레이 기기(112) 및 인터랙션 수집장치(114)가 배치될 수 있다. 이때, 사용자(즉, 훈련자)는 디스플레이 기기(112)를 통해 VR 컨텐츠를 응시하면서 직무 훈련을 수행할 수 있다. 또한, VR 컨텐츠 단말(106)은 VR 에이전트(미도시)를 구비하며, 상기 VR 에이전트를 통해 VR 컨텐츠의 실행을 위한 UI를 제공할 수 있다. 이때, 복수의 사용자가 하나의 VR 컨텐츠에 대한 직무 훈련을 동시에 수행할 수 있으며, 이 경우 VR 에이전트가 각 사용자별로 존재하게 된다. 이러한 멀티유저 훈련 환경에서 각 사용자는 가상 공간에서 직무 훈련을 위한 인터랙션을 수행할 수 있으며, 인터랙션 수집장치(114)에서 상기 각 사용자의 인터랙션 데이터가 수집된다. 여기서, 인터랙션 수집장치(114)는 예를 들어, 훈련장의 바닥에 부착된 움직임 감지 센서, 사용자가 손에 쥐면서 가상 공간의 설비 등을 조작하는 데 사용되는 조작 도구, 훈련장 내에서 각 사용자의 영상을 촬영하는 카메라, 디스플레이 기기(112)에서 사용자의 시선을 추적하기 위한 안구 추적 장치 등이 될 수 있다.
또한, 도 2에 도시된 바와 같이, 훈련장 내에는 각 사용자들의 직무 훈련을 보조하기 위한 훈련 도우미가 배치될 수 있다. 훈련 도우미는 관리자 단말을 통해 VR 컨텐츠 및 상기 VR 컨텐츠 상에서의 각 사용자의 인터랙션, 현재 플레이되고 있는 VR 컨텐츠의 진도 등을 실시간으로 모니터링할 수 있다. 이때, 동일한 VR 컨텐츠라도 각 사용자별로 현재 보고 있는 지점이 상이할 수 있으며, 훈련 도우미는 관리자 단말을 통해 각 사용자 시점별 VR 컨텐츠의 장면(scene)을 실시간으로 모니터링할 수 있다.
도 3은 예시적인 실시예에 따른 VR 컨텐츠의 예시이다.
도 3을 참조하면, 사용자는 HMD를 착용한 채 VR 컨텐츠를 응시하거나 상기 VR 컨텐츠 상에서 각종 인터랙션을 수행할 수 있다. 상기 VR 컨텐츠는 산업현장의 공간, 산업현장에서의 각종 설비들 또는 환경들이 디지털 변환됨으로써 실제 산업현장과 유사한 형태로 구현된 가상환경으로서, 사용자와의 인터랙션을 위한 UI를 구비할 수 있다. 사용자는 VR 컨텐츠를 보면서 직무 훈련을 위한 각종 인터랙션(예를 들어, 제스쳐, 클릭, 터치 등)을 수행할 수 있다. 일 예시로서, 사용자는 VR 컨텐츠 내 밸브(즉, 가상 오브젝트)를 터치하거나 별도 조작도구를 조작함으로써 상기 밸브를 잠글 수 있다.
도 4는 예시적인 실시예에 따른 VR 컨텐츠를 최초로 실행하는 과정을 설명하기 위한 흐름도이다. 이하의 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
S102 단계에서, VR 에이전트(108)는 사용자로부터 로그인 요청을 입력 받는다. VR 에이전트(108)는 사용자로부터 로그인을 위한 아이디, 패스워드 등을 입력 받고, 이를 이용하여 사용자의 로그인 절차를 수행한다.
S104 단계에서, VR 에이전트(108)는 사용자의 로그인이 완료된 경우 로그인 정보(즉, 사용자 정보)를 교육 관리 서버(116)로 전달한다.
S106 단계에서, 교육 관리 서버(116)는 상기 로그인 정보를 기반으로 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 선별한다.
S108 단계에서, 교육 관리 서버(116)는 상기 VR 컨텐츠의 리스트를 VR 에이전트(108)로 전달한다.
S110 단계에서, VR 에이전트(108)는 상기 사용자로부터 상기 VR 컨텐츠의 리스트에 있는 VR 컨텐츠 중 하나를 입력 받는다.
S112 단계에서, VR 에이전트(108)는 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 교육 관리 서버(116)로 요청한다.
S114 단계에서, 교육 관리 서버(116)는 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 VR 에이전트(108)로 전달한다.
S116 단계에서, VR 에이전트(108)는 VR 컨텐츠 단말(106)을 통해 VR 컨텐츠를 실행시킨다.
S118 단계에서, VR 컨텐츠 단말(106)은 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 VR 에이전트(108)로 요청한다.
S120 단계에서, VR 에이전트(108)는 상기 초기 스테이트를 스테이트 머신(102)으로 요청한다.
S122 단계에서, 스테이트 머신(102)은 상기 초기 스테이트를 VR 에이전트(108)로 전달한다.
S124 단계에서, VR 에이전트(108)는 상기 초기 스테이트를 VR 컨텐츠 단말(106)로 전달한다.
S126 단계에서, VR 컨텐츠 단말(106)은 상기 초기 스테이트에 따른 출력 데이터를 가시화하기 위해 디스플레이 기기(112)를 제어한다.
S128 단계에서, 디스플레이 기기(112)는 상기 출력 데이터에 따라 상기 VR 컨텐츠를 디스플레이한다.
도 5는 예시적인 실시예에 따른 VR 컨텐츠가 미리 정해진 직무절차에 따라 진행되는 과정을 설명하기 위한 흐름도이다.
S202 단계에서, VR 컨텐츠 단말(106)은 도 4의 S128 단계 이후 VR 컨텐츠를 계속적으로 진행(즉, VR 컨텐츠의 실행을 유지)시킨다.
S204 단계에서, VR 컨텐츠 단말(106)은 상기 VR 컨텐츠가 실행되는 동안 상기 VR 컨텐츠의 진행 데이터를 VR 에이전트(108)로 전달한다.
S206 단계에서, VR 에이전트(108)는 상기 진행 데이터에 포함된 각 데이터 포인트들의 현재 스테이트를 스테이트 머신(102)으로 전달한다.
S208 단계에서, 스테이트 머신(102)은 기 정의된 논리 관계에 따라 상기 각 데이터 포인트들의 현재 스테이트에 따른 다음 스테이트를 결정하고, 상기 다음 스테이트를 VR 에이전트(108)로 전달한다.
S210 단계에서, VR 에이전트(108)는 상기 다음 스테이트를 VR 컨텐츠 단말(106)로 전달한다.
S212 단계에서, VR 컨텐츠 단말(106)은 상기 다음 스테이트를 현재 실행되고 있는 VR 컨텐츠에 반영한다.
S214 단계에서, VR 컨텐츠 단말(106)은 상기 다음 스테이트에 따른 출력 데이터를 가시화하기 위해 디스플레이 기기(112)를 제어한다.
S216 단계에서, 디스플레이 기기(112)는 상기 출력 데이터에 따라 상기 VR 컨텐츠를 디스플레이한다.
도 6은 예시적인 실시예에 따른 VR 컨텐츠가 사용자 인터랙션에 따라 진행되는 과정을 설명하기 위한 흐름도이다.
S302 단계에서, 인터랙션 수집장치(114)는 상기 VR 컨텐츠가 실행되는 동안 사용자의 인터랙션 데이터를 수집하고, 이를 VR 컨텐츠 단말(106)로 전달한다.
S304 단계에서, VR 컨텐츠 단말(106)은 상기 인터랙션 데이터를 VR 에이전트(108)로 전달한다.
S306 단계에서, VR 에이전트(108)는 상기 인터랙션 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 스테이트 머신(102)에 전달한다.
S308 단계에서, 스테이트 머신(102)은 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인지의 여부를 판단한다.
S310 단계에서, 스테이트 머신(102)은 상기 S308 단계에서의 판단 결과 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 경우 상기 논리 관계에 따른 다음 스테이트를 VR 에이전트(108)로 전달한다.
S312 단계에서, VR 에이전트(108)는 상기 다음 스테이트를 VR 컨텐츠 단말(106)로 전달한다.
S314 단계에서, VR 컨텐츠 단말(106)은 상기 다음 스테이트를 현재 실행되고 있는 VR 컨텐츠에 반영한다.
S316 단계에서, VR 컨텐츠 단말(106)은 상기 다음 스테이트에 따른 출력 데이터를 가시화하기 위해 디스플레이 기기(112)를 제어한다.
S318 단계에서, 디스플레이 기기(112)는 상기 출력 데이터에 따라 상기 VR 컨텐츠를 디스플레이한다.
도 7은 예시적인 실시예에 따른 VR 컨텐츠가 종료되는 과정을 설명하기 위한 흐름도이다.
S402 단계에서, 인터랙션 수집장치(114)는 사용자로부터 상기 VR 컨텐츠의 종료 요청을 수집하고, 이를 VR 컨텐츠 단말(106)로 전달한다. 상기 VR 컨텐츠의 종료 요청은 앞서 설명한 인터랙션의 일종으로서, 예를 들어, 사용자의 음성, 터치, 클릭, 제스처, 조작도구(미도시)의 조작, 움직임, 시선 등에 의해 입력될 수 있다.
S404 단계에서, VR 컨텐츠 단말(106)은 상기 VR 컨텐츠의 종료 요청을 VR 에이전트(108)로 전달한다.
S406 단계에서, VR 컨텐츠 단말(106)은 상기 VR 컨텐츠의 종료 요청에 따라 상기 VR 컨텐츠의 실행을 종료시킨다.
S408 단계에서, VR 에이전트(108)은 상기 VR 컨텐츠의 종료 요청을 수신함에 따라 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 교육 관리 서버(116)로 전달한다.
S410 단계에서, 교육 관리 서버(116)는 각 사용자별 진도 데이터를 저장한다.
도 8은 예시적인 실시예에 따라 직무 훈련 과정에서의 에러 발생을 판단하고 에러 발생시 VR 컨텐츠를 실시간으로 변경하는 과정을 설명하기 위한 흐름도이다.
S502 단계에서, 인터랙션 수집장치(114)는 상기 VR 컨텐츠가 실행되는 동안 사용자의 인터랙션 데이터를 수집하고, 이를 VR 컨텐츠 단말(106)로 전달한다.
S504 단계에서, VR 컨텐츠 단말(106)은 상기 인터랙션 데이터를 VR 에이전트(108)로 전달한다.
S506 단계에서, VR 에이전트(108)는 상기 인터랙션 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 스테이트 머신(102)에 전달한다.
S508 단계에서, 스테이트 머신(102)은 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인지의 여부를 판단한다.
S510 단계에서, 스테이트 머신(102)은 상기 S808 단계에서의 판단 결과 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 경우 현재 에러 상태를 기록한다. 여기서, 현재 에러 상태는 에러가 발생된 시점에서의 VR 컨텐츠의 단계, 각 데이터 포인트들의 현재 상태 등을 포함할 수 있다.
S512 단계에서, 스테이트 머신(102)은 상기 VR 컨텐츠의 변경 요청 메시지를 VR 에이전트(108)로 전달한다.
S514 단계에서, VR 에이전트(108)는 상기 VR 컨텐츠의 변경 요청 메시지를 교육 관리 서버(116)로 전달한다.
S516 단계에서, 교육 관리 서버(116)는 VR 컨텐츠의 개선사항을 기록하고, 제3 데이터베이스(118)를 참조하여 VR 컨텐츠를 변경한다. 예를 들어, VR 컨텐츠 내 직무절차가 ①→②→③ 으로 진행될 때 S510 단계에서 에러 발생이 기록되는 경우, 교육 관리 서버(116)는 S514 단계에서 상기 VR 컨텐츠의 변경 요청 메시지를 VR 에이전트(108)로부터 수신함에 따라 VR 컨텐츠 내 직무절차를 A→B→C 로 변경할 수 있다. 이에 따라, VR 컨텐츠 내 직무절차는 아래와 같이 실시간으로 변경된다.
변경 전 : ①→②→③
변경 후 : A→B→C
이와 같은 변경 내용은 제3 데이터베이스(118)에 미리 저장되어 있을 수 있다. 예를 들어, 제3 데이터베이스(118)에는 각 단계별 발생 에러에 따라 변경되어야 할 VR 컨텐츠의 내용, 직무절차 등이 미리 저장되어 있을 수 있다. 또한, 이와 같이 변경되어야 할 VR 컨텐츠의 내용, 직무절차 등은 상술한 빅데이터 분석기법을 통해 정해질 수 있다. 이에 대해서는 도 9를 참조하여 후술하기로 한다.
S518 단계에서, VR 에이전트(108)는 상기 VR 컨텐츠의 변경 요청 메시지를 VR 컨텐츠 단말(106)로 전달한다.
S520 단계에서, VR 컨텐츠 단말(106)은 VR 컨텐츠의 변경을 위한 리소스를 교육 관리 서버(116)로 요청한다.
S522 단계에서, 교육 관리 서버(116)는 변경되어야 할 VR 컨텐츠에 대한 리소스를 VR 컨텐츠 단말(106)로 전달한다. 위 예시를 참조하면, 교육 관리 서버(116)는 직무절차 A→B→C 에 대한 VR 컨텐츠의 리소스를 VR 컨텐츠 단말(106)로 전달할 수 있다.
S524 단계에서, VR 컨텐츠 단말(106)은 교육 관리 서버(116)로부터 수신된 리소스를 이용하여 변경된 VR 컨텐츠를 동적으로 로딩한다.
S526 단계에서, VR 컨텐츠 단말(106)은 상기 변경된 VR 컨텐츠의 출력 데이터를 가시화하기 위해 디스플레이 기기(112)를 제어한다.
S528 단계에서, 디스플레이 기기(112)는 상기 출력 데이터에 따라 상기 VR 컨텐츠를 디스플레이한다.
도 9는 예시적인 실시예에 따라 VR 컨텐츠의 내용 및 직무절차에 대한 개선사항을 도출하고, 이에 따라 VR 컨텐츠를 변경하는 과정을 설명하기 위한 흐름도이다.
S602 단계에서, VR 에이전트(108)는 상기 VR 컨텐츠의 실행이 종료되는 경우 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 교육 관리 서버(116)로 전달한다.
S604 단계에서, 교육 관리 서버(116)는 각 사용자별 진도 데이터를 제3 데이터베이스(118)에 저장한다.
S606 단계에서, 교육 관리 서버(116)는 인공지능을 기초로 상기 각 사용자별 진도 데이터를 분석하여 상기 VR 컨텐츠의 개선사항을 도출한다.
S608 단계에서, 교육 관리 서버(116)는 상기 개선사항을 시뮬레이션하기 위한 개선 데이터를 스테이트 머신(102)으로 전달한다.
S610 단계에서, 스테이트 머신(102)은 상기 개선 데이터를 토대로 시뮬레이션을 수행한다.
S612 단계에서, 스테이트 머신(102)은 S610 단계에서의 시뮬레이션 결과 개선사항이 적절한 것으로 판단되는 경우 개선 데이터에 따라 변경되어야 할 논리 관계에 대한 변경 데이터를 교육 관리 서버(116)로 전달한다.
S614 단계에서, 교육 관리 서버(116)는 상기 변경 데이터를 기초로 VR 컨텐츠를 변경한다. 교육 관리 서버(116)는 상기 변경 데이터를 기초로 상기 VR 컨텐츠 내의 내용이나 직무절차를 변경할 수 있다. 이와 같이 변경된 VR 컨텐츠는 다음 VR 훈련에서 적용될 수 있으며, 또한 VR 컨텐츠가 실행되는 동안에 앞선 S516 단계에서 실시간으로 적용될 수도 있다.
S616 단계에서, 스테이트 머신(102)은 상기 개선 데이터를 토대로 상기 논리 관계를 변경한다.
도 10은 예시적인 실시예에 따른 VR 컨텐츠가 동적으로 변화하는 예시이다.
도 10을 참조하면, VR 컨텐츠의 실행시 각 데이터 포인트의 초기 스테이트가 아래와 같다고 가정한다.
A 설비 온도 : HIGH
B 설비 동작여부 : OFF
C 설비 동작여부 : ON
또한, VR 컨텐츠 내 직무절차에서 최초로 수행되어야 할 직무가 task #1인 경우, 훈련자는 예를 들어 task #1의 수행을 위해 가상환경에서 C 설비를 OFF 조작할 수 있다. 이와 같은 인터랙션으로 인해, 각 데이터 포인트의 스테이트가 변화하고, 이에 따라 다음으로 수행되어야 할 직무가 task #2로 결정된다. 만약, 훈련자가 task #1의 수행을 위해 A 설비의 온도를 내리거나 B 설비를 OFF 조작하는 경우 다음으로 수행되어야 할 직무가 task #2가 아닌 다른 task(예를 들어, task #5)로 변화할 수 있다. 또한, task #3에서 훈련자가 C 설비를 ON 조작해야 함에도 불구하고 이를 수행하지 않은 경우, 다음으로 수행되어야 할 직무로서 task #3이 그대로 유지될 수 있다.
즉, 사용자의 인터랙션에 따라 VR 컨텐츠 내 직무절차가 task #1 → task #2 → task #3 → task #3 으로 변화할 수 있다. 이러한 직무절차의 변화는 사용자의 인터랙션에 따라 달라지며, 만약 도 6에서와 다른 형태의 인터랙션이 이루어지는 경우 직무절차가 task #1 → task #5 → task #4 → task #3 으로 변할 수도 있다. 이러한 직무절차의 동적 변화는 스테이트 머신(102)과의 실시간 연동을 통해 이루어지며, 이에 따라 상황에 따른 맞춤형 직무절차가 사용자에게 제공될 수 있다.
도 11은 예시적인 실시예에 따른 사용자가 복수 명 존재하는 경우 VR 에이전트(108)와 스테이트 머신(102) 간의 데이터 흐름을 설명하기 위한 도면이다. 상술한 바와 같이, 복수의 사용자가 하나의 VR 컨텐츠에 대한 직무 훈련을 동시에 수행할 수 있으며, 이 경우 VR 에이전트가 각 사용자별로 존재하게 된다.
일 예시로서, 제1 사용자를 위한 제1 VR 에이전트(108-1), 제2 사용자를 위한 제2 VR 에이전트(108-2), 제3 사용자를 위한 제3 VR 에이전트(108-3)가 각각 구비될 수 있으며, 각 VR 에이전트(108-1, 108-2, 108-3)는 하나의 스테이트 머신(102)에 모두 연결된다. 각 VR 에이전트(108-1, 108-2, 108-3)는 각 사용자의 인터랙션 데이터를 스테이트 머신(102)으로 전달하고, 스테이트 머신(102)은 각 사용자의 인터랙션 데이터를 조합하여 VR 컨텐츠에 따른 직무 훈련이 정상적으로 이루어지고 있는지 판단할 수 있다. 예를 들어, 스테이트 머신(102)은 제1 데이터베이스(104)에 저장된 각 데이터 포인트의 스테이트와 인터랙션 데이터들에 포함된 각 데이터 포인트의 현재 스테이트를 비교하여 각 데이터 포인트의 현재 스테이트가 미리 정의된 논리 관계에 따른 정상적인 스테이트인것인지의 여부를 판단할 수 있다.
만약, 상기 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우, 스테이트 머신(102)은 상기 논리 관계에 따른 다음 스테이트를 VR 에이전트(108)로 전달할 수 있다.
만약, 상기 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우, 스테이트 머신(102)은 현재 에러 상태를 기록하고 상기 VR 컨텐츠의 변경 요청 메시지를 VR 에이전트(108)로 전달할 수 있다.
도 12는 예시적인 실시예에 따른 EOP(Emergency Operations Plan)의 예시이다. 도 12를 참조하면, EOP는 예를 들어, 긴급상황 발생시 발전기 내 CO 2 를 공급하는 절차를 기술한 절차서일 수 있다. 도 12에 도시된 바와 같이, EOP는 순차적인 직무 절차를 포함할 수 있다.
도 13은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 VR 훈련 시스템(100), 또는 VR 훈련 시스템(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
[부호의 설명]
10 : 컴퓨팅 환경
12 : 컴퓨팅 장치
14 : 프로세서
16 : 컴퓨터 판독 가능 저장 매체
18 : 통신 버스
20 : 프로그램
22 : 입출력 인터페이스
24 : 입출력 장치
26 : 네트워크 통신 인터페이스
100 : 직무절차 동적 생성 시스템
102 : 스테이트 머신
104 : 제1 데이터베이스
106 : VR 컨텐츠 단말
108 : VR 에이전트
110 : 제2 데이터베이스
112 : 디스플레이 기기
114 : 인터랙션 수집장치
116 : 교육 관리 서버
118 : 제3 데이터베이스

Claims (20)

  1. 설정된 각 가상 오브젝트들의 데이터 포인트 간의 스테이트(state) 기반 논리 관계에 따라 각 데이터 포인트들의 현재 스테이트(present state)에 따른 다음 스테이트(next state)를 결정하는 스테이트 머신(state machine);
    사용자로부터 요청된 VR 컨텐츠에 대응되는 컨텐츠 데이터를 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시키고, 상기 스테이트 머신으로부터 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 전달 받는 VR 에이전트; 및
    상기 VR 에이전트로부터 상기 초기 스테이트를 수신하고, 디스플레이 기기를 통해 상기 초기 스테이트에 따른 출력 데이터를 가시화하고, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 수집되는 사용자의 인터랙션 데이터(interaction data)에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 상기 VR 에이전트에 전달하는 VR 컨텐츠 단말을 포함하며,
    상기 스테이트 머신은, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우 상기 VR 컨텐츠의 변경 요청 메시지를 상기 VR 에이전트로 전달하고,
    상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 VR 컨텐츠의 변경 요청 메시지를 수신하여 상기 교육 관리 서버로 전달하며, 상기 교육 관리 서버로부터 변경된 VR 컨텐츠의 리소스를 전달 받아 상기 변경된 VR 컨텐츠를 동적으로 로딩하는, VR 훈련 시스템.
  2. 청구항 1에 있어서,
    상기 교육 관리 서버는, 다수의 VR 컨텐츠를 관리하며,
    상기 VR 에이전트는, 상기 사용자의 로그인시 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 상기 교육 관리 서버로부터 수신하고, 상기 사용자로부터 상기 VR 컨텐츠의 리스트에 있는 VR 컨텐츠 중 하나를 입력 받는 경우 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 상기 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시키는, VR 훈련 시스템.
  3. 청구항 2에 있어서,
    상기 각 VR 컨텐츠는, 서로 다른 종류의 직무 훈련을 위한 VR 컨텐츠인, VR 훈련 시스템.
  4. 청구항 3에 있어서,
    상기 직무 훈련은, 설정된 EOP(Emergency Operations Plan) 또는 SOP(Standard Operating Procedure) 기반의 직무 절차를 포함하는, VR 훈련 시스템.
  5. 청구항 1에 있어서,
    상기 VR 컨텐츠 단말은, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 상기 VR 컨텐츠의 진행 데이터를 상기 VR 에이전트로 전달하고,
    상기 스테이트 머신은, 상기 VR 에이전트로부터 상기 진행 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 수신하고, 상기 논리 관계에 기초하여 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 상기 VR 에이전트로 전달하고,
    상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영하는, VR 훈련 시스템.
  6. 청구항 1에 있어서,
    상기 VR 에이전트는, 상기 VR 컨텐츠의 실행이 종료되는 경우 상기 VR 컨텐츠 단말로부터 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 수신하고, 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 상기 교육 관리 서버로 전달하는, VR 훈련 시스템.
  7. 청구항 6에 있어서,
    상기 교육 관리 서버는, 각 사용자별 진도 데이터를 관리하고, 인공지능(AI : Artificial Intelligence)을 기초로 상기 각 사용자별 진도 데이터를 분석하여 상기 VR 컨텐츠의 개선사항을 도출하는, VR 훈련 시스템.
  8. 청구항 7에 있어서,
    상기 교육 관리 서버는, 상기 개선사항을 시뮬레이션하기 위한 개선 데이터를 상기 스테이트 머신으로 전달하고,
    상기 스테이트 머신은, 상기 개선 데이터를 토대로 상기 논리 관계를 변경하고, 변경된 상기 논리 관계에 따른 변경 데이터를 상기 교육 관리 서버로 전달하며,
    상기 교육 관리 서버는, 상기 변경 데이터를 토대로 상기 VR 컨텐츠를 변경하는, VR 훈련 시스템.
  9. 청구항 8에 있어서,
    상기 교육 관리 서버는, 상기 VR 컨텐츠 내의 내용이나 직무절차를 변경하는, VR 훈련 시스템.
  10. 청구항 1에 있어서,
    상기 스테이트 머신은, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우 상기 논리 관계에 따른 다음 스테이트를 상기 VR 에이전트로 전달하고,
    상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영하는, VR 훈련 시스템.
  11. 설정된 각 가상 오브젝트들의 데이터 포인트 간의 스테이트(state) 기반 논리 로직에 따라 각 데이터 포인트들의 현재 스테이트에 따른 출력 데이터를 생성하는 스테이트 머신(state machine)을 이용한, VR 훈련 방법으로서,
    VR 에이전트에서, 사용자로부터 요청된 VR 컨텐츠에 대응되는 컨텐츠 데이터를 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시키는 단계;
    상기 VR 에이전트에서, 상기 스테이트 머신으로부터 상기 VR 컨텐츠 내 데이터 포인터들의 초기 스테이트를 전달 받는 단계;
    VR 컨텐츠 단말에서, 상기 VR 에이전트로부터 상기 초기 스테이트를 수신하는 단계;
    상기 VR 컨텐츠 단말에서, 디스플레이 기기를 통해 상기 초기 스테이트에 따른 출력 데이터를 가시화하는 단계;
    상기 VR 컨텐츠 단말에서, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 수집되는 사용자의 인터랙션 데이터(interaction data)에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 상기 VR 에이전트에 전달하는 단계;
    상기 스테이트 머신에서, 상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 맞지 않는 비정상적인 스테이트인 것으로 판단되는 경우 상기 VR 컨텐츠의 변경 요청 메시지를 상기 VR 에이전트로 전달하는 단계;
    상기 VR 컨텐츠 단말에서, 상기 VR 에이전트로부터 상기 VR 컨텐츠의 변경 요청 메시지를 수신하여 상기 교육 관리 서버로 전달하는 단계; 및
    상기 VR 컨텐츠 단말에서, 상기 교육 관리 서버로부터 변경된 VR 컨텐츠의 리소스를 전달 받아 상기 변경된 VR 컨텐츠를 동적으로 로딩하는 단계를 포함하는, VR 훈련 방법.
  12. 청구항 11에 있어서,
    상기 교육 관리 서버는, 다수의 VR 컨텐츠를 관리하며,
    상기 VR 컨텐츠를 실행시키는 단계는, 상기 사용자의 로그인시 상기 사용자가 접근 가능한 VR 컨텐츠의 리스트를 상기 교육 관리 서버로부터 수신하고, 상기 사용자로부터 상기 VR 컨텐츠의 리스트에 있는 VR 컨텐츠 중 하나를 입력 받는 경우 입력된 상기 VR 컨텐츠에 대응되는 컨텐츠 데이터를 상기 교육 관리 서버로부터 수신함에 따라 상기 VR 컨텐츠를 실행시키는, VR 훈련 방법.
  13. 청구항 12에 있어서,
    상기 각 VR 컨텐츠는, 서로 다른 종류의 직무 훈련을 위한 VR 컨텐츠인, VR 훈련 방법.
  14. 청구항 13에 있어서,
    상기 직무 훈련은, 설정된 EOP(Emergency Operations Plan) 또는 SOP(Standard Operating Procedure) 기반의 직무 절차를 포함하는, VR 훈련 방법.
  15. 청구항 11에 있어서,
    상기 출력 데이터를 가시화하는 단계 이후에,
    상기 VR 컨텐츠 단말에서, 상기 출력 데이터에 따라 상기 VR 컨텐츠가 실행되는 동안 상기 VR 컨텐츠의 진행 데이터를 상기 VR 에이전트로 전달하는 단계;
    상기 스테이트 머신에서, 상기 VR 에이전트로부터 상기 진행 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 수신하는 단계;
    상기 스테이트 머신에서, 상기 논리 관계에 기초하여 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 상기 VR 에이전트로 전달하는 단계; 및
    상기 VR 컨텐츠 단말에서, 상기 VR 에이전트로부터 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트에 따른 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영하는 단계를 더 포함하는, VR 훈련 방법.
  16. 청구항 11에 있어서,
    상기 VR 에이전트에서, 상기 VR 컨텐츠의 실행이 종료되는 경우 상기 VR 컨텐츠 단말로부터 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 수신하는 단계;
    상기 VR 에이전트에서, 상기 VR 컨텐츠의 실행이 종료된 시점에서의 상기 VR 컨텐츠 내 데이터 포인터들의 스테이트를 포함하는 진도 데이터를 상기 교육 관리 서버로 전달하는 단계; 및
    상기 교육 관리 서버에서, 각 사용자별 진도 데이터를 관리하는 단계를 더 포함하는, VR 훈련 방법.
  17. 청구항 16에 있어서,
    상기 각 사용자별 진도 데이터를 관리하는 단계 이후,
    상기 교육 관리 서버에서, 인공지능(AI : Artificial Intelligence)을 기초로 상기 각 사용자별 진도 데이터를 분석하여 상기 VR 컨텐츠의 개선사항을 도출하는 단계를 더 포함하는, VR 훈련 방법.
  18. 청구항 17에 있어서,
    상기 VR 컨텐츠의 개선사항을 도출하는 단계 이후,
    상기 교육 관리 서버에서, 상기 개선사항을 시뮬레이션하기 위한 개선 데이터를 상기 스테이트 머신으로 전달하는 단계;
    상기 스테이트 머신에서, 상기 개선 데이터를 토대로 상기 논리 관계를 변경하는 단계;
    상기 스테이트 머신에서, 변경된 상기 논리 관계에 따른 변경 데이터를 상기 교육 관리 서버로 전달하는 단계; 및
    상기 교육 관리 서버에서, 상기 변경 데이터를 토대로 상기 VR 컨텐츠를 변경하는 단계를 더 포함하는, VR 훈련 방법.
  19. 청구항 18에 있어서,
    상기 VR 컨텐츠를 변경하는 단계는, 상기 VR 컨텐츠 내의 내용이나 직무절차를 변경하는, VR 훈련 방법.
  20. 청구항 11에 있어서,
    상기 인터랙션 데이터에 대응되는 상기 VR 컨텐츠 내 데이터 포인터들의 현재 스테이트를 상기 VR 에이전트에 전달하는 단계 이후,
    상기 인터랙션 데이터에 대응되는 현재 스테이트가 상기 논리 관계에 따른 정상적인 스테이트인 것으로 판단되는 경우 상기 논리 관계에 따른 다음 스테이트를 상기 VR 에이전트로 전달하는 단계; 및
    상기 VR 컨텐츠 단말은, 상기 VR 에이전트로부터 상기 다음 스테이트를 수신하여 현재 실행되고 있는 상기 VR 컨텐츠에 반영하는 단계를 더 포함하는, VR 훈련 방법.
PCT/KR2019/013238 2019-10-07 2019-10-08 Vr 훈련 시스템 및 방법 WO2021070984A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/254,109 US20230316946A1 (en) 2019-10-07 2019-10-08 System and method for vr training

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0124086 2019-10-07
KR1020190124086A KR102051558B1 (ko) 2019-10-07 2019-10-07 Vr 훈련 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2021070984A1 true WO2021070984A1 (ko) 2021-04-15

Family

ID=69002409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013238 WO2021070984A1 (ko) 2019-10-07 2019-10-08 Vr 훈련 시스템 및 방법

Country Status (3)

Country Link
US (1) US20230316946A1 (ko)
KR (1) KR102051558B1 (ko)
WO (1) WO2021070984A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554911A (zh) * 2021-06-29 2021-10-26 广州市高速公路有限公司 一种建筑施工安全教学系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210200A (zh) * 2020-01-05 2020-05-29 湖南翰坤实业有限公司 一种基于vr技术的建筑安全教育多人在线培训系统
CN111739352A (zh) * 2020-06-03 2020-10-02 长沙理工大学 一种中央空调虚拟维修训练系统的仿真方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153940A (ja) * 1997-11-20 1999-06-08 Kubota Corp プラント運転訓練シミュレーションシステム
KR20120052783A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR20160041879A (ko) * 2016-03-30 2016-04-18 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR101780949B1 (ko) * 2016-12-30 2017-09-21 비즈 주식회사 가상현실을 활용한 방사능 방재 훈련 시스템
JP2018159949A (ja) * 2013-03-11 2018-10-11 リンカーン グローバル，インコーポレイテッド 仮想現実オービタルパイプ溶接シミュレータ及びセットアップ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988110B1 (ko) 2017-07-03 2019-09-30 포항공과대학교 산학협력단 생체신호연동 가상현실 교육 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11153940A (ja) * 1997-11-20 1999-06-08 Kubota Corp プラント運転訓練シミュレーションシステム
KR20120052783A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
JP2018159949A (ja) * 2013-03-11 2018-10-11 リンカーン グローバル，インコーポレイテッド 仮想現実オービタルパイプ溶接シミュレータ及びセットアップ
KR20160041879A (ko) * 2016-03-30 2016-04-18 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR101780949B1 (ko) * 2016-12-30 2017-09-21 비즈 주식회사 가상현실을 활용한 방사능 방재 훈련 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554911A (zh) * 2021-06-29 2021-10-26 广州市高速公路有限公司 一种建筑施工安全教学系统

Also Published As

Publication number Publication date
US20230316946A1 (en) 2023-10-05
KR102051558B1 (ko) 2019-12-05

Similar Documents

Publication Publication Date Title
WO2021070983A1 (ko) Vr 훈련 시스템 및 방법
WO2021070984A1 (ko) Vr 훈련 시스템 및 방법
WO2013085146A1 (en) System and method of page sharing by a device
WO2018082484A1 (zh) 一种电子设备的截屏方法、系统及电子设备
WO2015037851A1 (ko) 스크린 샷 처리 디바이스 및 그 방법
WO2022050652A1 (en) Method, apparatus, and computer readable storage medium for controlling account
WO2015008971A1 (en) Mobile terminal and method of determining and displaying power efficiency of an application
WO2014027836A1 (en) Method and electronic device for editing content
WO2015041436A1 (en) Method of managing control right, client device therefor, and master device therefor
WO2014065444A1 (ko) 개방형 공중망을 이용한 협업 시스템
WO2020111532A1 (ko) 복수 챗봇의 협업에 의한 대화형 정보제공 시스템 및 그 방법
WO2017111197A1 (ko) 학습 분석에서 빅데이터 시각화 시스템 및 방법
WO2017126740A1 (ko) 단말 장치, 원격 제어 시스템 및 제어 방법
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2014123341A1 (en) System and method of providing object for service of service provider
WO2020032655A1 (en) Method for executing function based on voice and electronic device supporting the same
WO2015194799A1 (ko) 교육용 컨텐츠 관리 장치 및 방법
WO2016035979A1 (en) Method and system for controlling operation of image forming apparatus by using wearable device
WO2020222347A1 (ko) 가상 머신 배치 방법 및 이를 구현하는 가상 머신 배치 장치
WO2014092293A1 (ko) 사용자의 입력에 즉각적인 결과를 제공할 수 있는 서비스 제공 방법, 이를 위한 시스템 및 장치
WO2021085714A1 (ko) 블록체인 관리 시스템 및 그 방법
WO2016195196A1 (ko) 평가 대상에 대한 평가 결과를 정량화하는 방법
WO2014092289A1 (ko) 클라우드 서비스 제공 방법, 이를 위한 시스템 및 장치
WO2016153189A1 (ko) 데이터베이스를 이용한 장비 배치상태 관리방법
WO2016108431A1 (ko) 화면 공유 시스템 및 화면 공유 방법과 관리서버 및 관리서버의 운영방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19948490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06.09.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19948490

Country of ref document: EP

Kind code of ref document: A1