WO2024025037A1 - 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법 - Google Patents

중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법 Download PDF

Info

Publication number
WO2024025037A1
WO2024025037A1 PCT/KR2022/016719 KR2022016719W WO2024025037A1 WO 2024025037 A1 WO2024025037 A1 WO 2024025037A1 KR 2022016719 W KR2022016719 W KR 2022016719W WO 2024025037 A1 WO2024025037 A1 WO 2024025037A1
Authority
WO
WIPO (PCT)
Prior art keywords
training
heavy equipment
server
face
virtual
Prior art date
Application number
PCT/KR2022/016719
Other languages
English (en)
French (fr)
Inventor
신대영
Original Assignee
주식회사 거비메타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 거비메타 filed Critical 주식회사 거비메타
Publication of WO2024025037A1 publication Critical patent/WO2024025037A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/048—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories

Definitions

  • the present invention relates to a system equipped with a heavy equipment two-way non-face-to-face training platform, and more specifically, to a system equipped with a heavy equipment two-way non-face-to-face training platform that can perform non-face-to-face virtual heavy equipment training.
  • the number of accidents that occurred during tower crane work in the past 10 years is a total of 437 (Korea Occupational Safety and Health Agency), including 343 (78.5%) accidents during lifting work, 81 (18.5%) during installation and dismantling work, and 81 (18.5%) during maintenance work. There were 13 accidents (3%) during work, and accidents occur frequently, especially during lifting work.
  • This existing technology story-based multi-participatory VR heavy equipment training system includes multiple simulation user equipment and a simulation operation server as its main components.
  • Multiple simulation user equipment is a simulation user operation device that implements a haptic effect that provides hyper-realistic five senses to the user in conjunction with a content provision server to realize immersive VR, and Leap Motion that recognizes the user's gestures and communicates.
  • Based motion sensor device head-mounted display (HMD) device to provide users with visual content information that realistically expresses actual situations, 3D sound speaker for three-dimensional expression of training situations, and multi-content to implement collaborative training situations. It is used as an interlocking client and includes a simulation control unit, UI/UX interaction control, and a simulation server for synchronization between devices.
  • HMD head-mounted display
  • the simulation operation server converts virtual reality (VR)-based 3D images into stories, separates them into packages, and creates VR-based 3D realistic content that can be selected and applied according to the training model and training situation. It recognizes the user's gestures and provides training programs.
  • a Leap Motion-based interface that allows you to select or control and interact with virtual objects in the training situation during training, and supports realistic haptic effectors and story-based training to deliver hyper-realistic training effects to users through all five senses.
  • a multi-party collaborative training situation that includes content components to provide hyper-realistic realistic media, five-sensory experience functions, and gesture-based control to users, including a multi-content interlocking client that operates as a content client to synchronize multi-party training situations. Controls session creation while controlling .
  • simulation operation servers and multiple simulation user equipment are connected to a network through wired and wireless sharing devices.
  • the simulation operation server is connected to a collaboration scenario DB in which collaboration content is stored, a plurality of client servers 300a to n that can download collaboration content from the collaboration scenario DB, and join a session according to the downloaded collaboration content, so that the client When an event occurs from one of the servers 300a to n, it is immediately processed as NPC object information and provided to all other client servers, and content synchronization information between client servers is transmitted.
  • Each client server interacts with the user by treating other user objects other than the client server user object the same as NPC (Non Player Character) objects operating within the training program, but only one client receives the training simulation service alone. If you want to train a collaborative situation in a single content situation, place virtual client content on the simulation operation server and perform collaborative training in the form of a program NPC.
  • NPC Non Player Character
  • the purpose of the present invention to solve the above problems is to provide a heavy equipment two-way non-face-to-face training platform that can proceed with detailed supervision of heavy equipment training through two-way non-face-to-face, and can sufficiently increase the training effect of heavy equipment compared to the existing one. providing a system.
  • the configuration of the present invention for achieving the above object includes a training platform server on which a training platform for virtual training of heavy equipment is mounted;
  • the training platform server performs one or more of hydraulic circuit analysis, electrical circuit analysis, mechanical analysis, dynamics analysis, and mechanical dynamics analysis that simulate actual heavy equipment elements to implement mechanism operations of virtual heavy equipment elements input from the outside,
  • a mechanism analysis engine that generates mechanism information for digital twin operation of virtual heavy equipment elements based on the analysis;
  • a motion data generator that generates time-dependent motion position and posture data of the virtual heavy equipment elements in conjunction with the mechanism information of the mechanism analysis engine;
  • it provides a system equipped with a heavy equipment two-way non-face-to-face training platform, including training data according to the analysis results of the mechanism operation of the virtual heavy equipment elements of the mechanism analysis engine, and a training DB containing training scenarios.
  • the training platform server is connected to the training platform server through a network so that the training platform server can be used, and training inspection and guidance are possible for a trainee who is connected to the training platform and performs virtual training of heavy equipment.
  • a training check server with an interface to do so; and one or more training servers connected to the training platform server and the training check server through a network and having an interface connected to the training platform, wherein the training DB includes the trainee's driving score, the trainer's personal history, and It may further include the instructor's personal history input through the training check server.
  • a plurality of operating devices that input the operation of the virtual heavy equipment element to each of the interfaces are connected to the training check server and the training server, and interpret the mechanism transmitted from the training platform server.
  • One or more displays may be provided to output information on virtual heavy equipment elements and driving scores generated by the engine.
  • motion position and posture data of the virtual heavy equipment elements are transmitted from the motion data generator, and the virtual heavy equipment It further includes a virtual reality implementation unit storing a virtual reality program that implements the virtual reality as an image, and the virtual reality implementation unit may be linked to the mechanism analysis engine and the motion data generation unit.
  • the virtual reality implementation unit is mounted on the training platform server, or on one or more of the training check server and the training server, wherein the virtual reality implementation unit is mounted on one of the training check server and the training server.
  • the training check server and the training server can receive the motion position and posture data from the training platform server and implement an operating image of the virtual heavy equipment linked to the mechanism analysis engine.
  • the training scenario includes simple movement training that performs training on one operating device among the plurality of operating devices, complex action training that performs complex training on the plurality of operating devices, and trainee It may include a training scenario database that includes standardized simple construction work training in which instructors communicate and train, and on-site close work training that frequently occurs in the actual work process in which trainers and instructors communicate and train.
  • the driving score includes: a simple operation score related to the simple movement training; Complex operation score related to the complex movement training; Simple construction score for the simple construction work training; And it can be prepared as a score database containing field close work scores related to the field close work training.
  • the training platform server includes a score evaluation unit that evaluates and stores the driving scores, respectively; And a score correction unit may be provided to correct the driving score stored by the score evaluation unit by reflecting the instructor's evaluation information about the trainee.
  • the virtual heavy equipment may include one or more of wheel excavators, track excavators, forklifts, wheel loaders, AT cranes, tower cranes, and drilling machines.
  • the network includes a web application firewall connecting the training check server and the training server; One or more web servers connected to the web application firewall; And it may include one or more web application servers connecting the one or more web servers and the training platform server.
  • a configuration according to another embodiment of the present invention is to use a system equipped with the heavy-duty two-way non-face-to-face training platform, where a trainer operates a control device connected to a training server or an instructor operates a control device connected to a training check server. operating the device; Transmitting operation information of the operation device to a training platform server through a network; A mechanism analysis engine of the training platform server interprets the manipulation information to generate mechanism information of virtual heavy equipment; The motion data generator generating time-dependent motion position and posture data of the virtual heavy equipment elements based on the mechanism information; The virtual reality implementation unit generating a series of images of virtual heavy equipment corresponding to the motion position and posture data; and outputting the virtual heavy equipment image and driving information through a display equipped with the training check server and the training server. It provides a training data transmission and driving evaluation method of a system equipped with a heavy equipment two-way non-face-to-face training platform.
  • the training platform server transmits the motion position and posture data to one or more of the training server and the training check server through the network; And it may further include generating the motion position and posture data information as a series of images of virtual heavy equipment using the virtual reality implementation unit on which one or more of the training server and the training check server are mounted.
  • the training platform server stores the operation information corresponding to one or more of the trainer and instructor as a personal history of the instructor or trainer; generating a driving score by the training platform server evaluating the instructor or trainer based on personal history data of the instructor or trainer; And it may further include the step of transmitting an image of virtual heavy equipment according to the trainer's operation information to the training check server and implementing it separately.
  • one of the training platform server and the training server transmits an operating image of virtual heavy equipment according to the trainer's operation information to the training check server;
  • the training check server transmitting the instructor's evaluation information about the operation image of the virtual heavy equipment according to the trainer's operation information to the training platform server;
  • it may further include the step of the training platform server finally reflecting the evaluation information to correct the trainee's driving score.
  • one of the training platform server and the training check server compares the motion image of the virtual heavy equipment according to the trainer's operation information with the standard motion image, and then generates a corrected motion image It may further include transmitting to the training server.
  • the corrected motion image may be generated through a virtual reality implementation unit provided in any one of the training platform server and the training check server based on manipulation information input through the manipulation device. .
  • the training platform server divides the driving score into a simple manipulation score for the simple motion training, a complex manipulation score for the complex motion training, a simple construction score for the simple construction work training, and
  • the on-site close work training is divided into and stored as on-site close work scores, and the scores, together with the ability to evaluate the trainee's training maturity for actual work based on the data of the scores, are stored in the training server and training check server. Can be transmitted.
  • Another configuration of the present invention can provide a recording medium on which the training data transmission and driving evaluation algorithm of the system equipped with the heavy equipment two-way non-face-to-face training platform are recorded.
  • the effect of the present invention according to the above configuration is that heavy equipment training can be carried out while closely supervising the heavy equipment training through two-way non-face-to-face, and provides a system equipped with a heavy equipment two-way non-face-to-face training platform that can sufficiently increase the heavy equipment training effect compared to the existing system. can do.
  • Figure 1 is a first conceptual diagram of a system equipped with a heavy equipment two-way non-face-to-face training platform according to an embodiment of the present invention, in which a virtual reality implementation unit is mounted on a training platform server.
  • Figure 2 is a training flowchart of a system equipped with a heavy equipment two-way non-face-to-face training platform according to an embodiment of the present invention.
  • Figure 3 is a second conceptual diagram of a system equipped with a heavy equipment two-way non-face-to-face training platform according to another embodiment of the present invention, in which a virtual reality implementation unit is mounted on a training check server and a training server.
  • a preferred embodiment of the present invention for achieving the above object is a training platform server on which a training platform for virtual training of heavy equipment is mounted;
  • the training platform server performs one or more of hydraulic circuit analysis, electrical circuit analysis, mechanical analysis, dynamics analysis, and mechanical dynamics analysis that simulate actual heavy equipment elements to implement mechanism operations of virtual heavy equipment elements input from the outside,
  • a mechanism analysis engine that generates mechanism information for digital twin operation of virtual heavy equipment elements based on the analysis;
  • a motion data generator that generates time-dependent motion position and posture data of the virtual heavy equipment elements in conjunction with the mechanism information of the mechanism analysis engine;
  • it provides a system equipped with a heavy equipment two-way non-face-to-face training platform, including training data according to the analysis results of the mechanism operation of the virtual heavy equipment elements of the mechanism analysis engine, and a training DB containing training scenarios.
  • heavy equipment for virtual training of heavy equipment may include one or more of wheel excavators, track excavators, forklifts, wheel loaders, AT cranes, tower cranes, and drilling machines.
  • Figure 1 is a system equipped with a heavy equipment two-way non-face-to-face training platform according to an embodiment of the present invention, and is a first conceptual diagram in which a virtual reality implementation unit is mounted on a training platform server, and Figure 2 is a heavy equipment according to an embodiment of the present invention.
  • This is a training flowchart of a system equipped with a two-way non-face-to-face training platform.
  • a system equipped with a heavy equipment two-way non-face-to-face training platform mainly includes a training platform server 100, a training check server 110, and training servers 120 and 121. Included in the composition.
  • the training platform server 100 is operated with a training platform for virtual training of heavy equipment, and can be equipped with a number of high-performance server-class computers for high-speed processing of data and calculations.
  • the training platform mounted on the training platform server 100 is provided to implement mechanism operations of virtual heavy equipment elements input through the interface 130, and is software that includes a database for systematic training management.
  • This training platform is an application of digital twin technology to simulate and perform movements according to the mechanisms of actual heavy equipment, and is a mechanism analysis engine that performs one or more of hydraulic circuit analysis, electrical circuit analysis, mechanism analysis, dynamics analysis, and mechanism dynamics analysis.
  • a motion data generator 102 that generates time-dependent motion position and posture data of virtual heavy equipment elements in conjunction with the mechanism information of the mechanism analysis engine 101, and a virtual machine of the mechanism analysis engine 101
  • the mechanism analysis engine 101 performs one or more of hydraulic circuit analysis, electric circuit analysis, mechanism analysis, dynamics analysis, and mechanism dynamics analysis that simulate actual heavy equipment elements to implement the mechanism operation of virtual heavy equipment elements input from the outside. do.
  • the mechanism analysis engine 101 performs hydraulic circuit analysis, electrical circuit analysis, mechanical analysis, dynamics analysis, and mechanism dynamics analysis that simulate actual heavy equipment elements, thereby creating virtual heavy equipment elements corresponding to external manipulation inputs.
  • the output movement is performed close to more than 90% of that of actual heavy equipment.
  • This mechanism analysis engine 101 generates mechanism information for digital twin operation of virtual heavy equipment elements based on the above-described analysis.
  • the mechanism analysis engine 101 includes a motion data generator 102 that generates time-dependent motion position and posture data of virtual heavy equipment elements to operate the virtual heavy equipment elements in conjunction with the mechanism analysis engine 101. It is prepared.
  • the motion data generation unit 102 is linked to the virtual reality implementation unit 160, which will be described later, which implements the movements of virtual heavy equipment elements like actual heavy equipment elements based on motion position and posture data.
  • the training check server 110 is a computer accessed by an instructor who checks and supervises the training situation and results of the heavy equipment trainer. It connects to the training platform server 100 and connects to the training platform server 100 so that the training platform can be used. It is connected through the network 170 and is provided with an interface 130 connected to the training platform to enable training inspection and guidance for trainers performing virtual training on heavy equipment.
  • the training servers 120 and 121 are computers that heavy equipment trainers connect to for training. They are connected to the training platform server 100 and the training check server 110 via the network 170, and are used by trainers to perform virtual training of heavy equipment. An interface 130 connected to a training platform is provided to enable training.
  • the training check server 110 and the training servers 120 and 121 are connected to a plurality of operating devices 140 that input the operation of virtual heavy equipment elements to the interface 130, and the virtual heavy equipment by the mechanism analysis engine 101
  • One or more displays 150 are provided to display the mechanism of the elements and the driving score.
  • the operating device 140 may be provided by simulating the working environment of actual heavy equipment, such as a joystick or pedal equipped with buttons for performing various operations.
  • the virtual reality implementation unit 160 may be selectively mounted on the training platform server 100.
  • This virtual reality implementation unit 160 stores a virtual reality program that implements the virtual reality of the virtual heavy equipment as an image by the operating device 140, and may be arranged to dynamically drive the virtual reality program.
  • it is linked to the motion data generator 102 that generates time-dependent motion position and posture data of virtual heavy equipment elements for operating the virtual heavy equipment elements.
  • the virtual reality implementation unit 160 is mounted on the training platform server 100, thereby reducing the load of data and calculation processing on the training check server 110 and the training servers 120 and 121.
  • the training check server 110 and the training servers 120 and 121 may be provided with low-specification computers.
  • Network 170 includes a web application firewall 180 connecting the training check server 110 and the training servers 120 and 121, one or more web servers 181 connected to the web application firewall 180, and one or more web servers. It may include one or more web application servers 182 that connect the server 181 and the training platform server 100. At this time, if the network 170 is used only for transmitting image data, multiple firewalls 180 may be simplified or omitted.
  • This network 170 can protect the training platform by being composed of a plurality of firewalls that prevent external intrusion and exposure of data during two-way transmission of data.
  • the training scenario of the training DB 105 includes simple movement training that performs training on one operating device 140 among a plurality of operating devices 140, and multiple manipulations.
  • Complex movement training that performs complex training on the device 140, standardized simple construction work training that trains while the trainer and instructor communicate, and on-site close work that frequently occurs in the actual work process that trains while the trainer and instructor communicate. It is prepared as a training scenario database including training.
  • the driving score is prepared as a score database that includes a simple operation score for simple movement training, a complex operation score for complex movement training, a simple construction score for simple construction work training, and a close field work score for close field work training. It can be.
  • the driving score can be calculated by the score evaluation unit 190 and the score correction unit 195 that are provided to be linked in the training DB 105.
  • the training platform server 100 includes a score evaluation unit 190 that evaluates and stores the driving scores, and a driving score stored by the score evaluation unit 190 that is corrected by reflecting the instructor's evaluation information about the trainee.
  • a score correction unit 195 may be provided.
  • the score evaluation unit 190 may include evaluation items such as work time, work accuracy, depth, overlay, fuel efficiency, impact, bucket movement, and manipulator movement.
  • Figure 3 is a second conceptual diagram of a system equipped with a heavy equipment two-way non-face-to-face training platform according to another embodiment of the present invention, in which a virtual reality implementation unit is mounted on a training check server and a training server.
  • the virtual reality implementation unit 160 may be mounted only on the training check server 110 and the training servers 120 and 121.
  • This virtual reality implementation unit 160 may also store a virtual reality program that implements the virtual reality of the virtual heavy equipment as a dynamic image by the operating device 140, and may be arranged to drive it. At this time, the virtual reality implementation unit 160 may be linked to the mechanism analysis engine 101.
  • the virtual reality implementation unit 160 is connected to and interoperates with the motion data generation unit 102 through a network, which generates time-dependent motion position and posture data of virtual heavy equipment elements for operating the virtual heavy equipment elements.
  • the motion position and posture data generated in the motion data generation unit 102 are transmitted to the remote virtual reality implementation unit 160 through the network, and the training check server 110 and the training servers 120 and 121
  • the virtual reality implementation unit 160 implements the operations of virtual heavy equipment elements based on the motion position and posture data.
  • motion data according to time is transmitted from the training platform server 100 to the training check server 110 and the training servers 120 and 121, and is not greatly limited by the transmission speed of the network, and the dynamic control of virtual heavy equipment elements is not limited by network transmission speed. Data for implementing images can be transmitted smoothly.
  • the training platform server 100 may operate at a significant remote location relative to the training check server 110 and the training servers 120 and 121, and the training check server 110 and the training servers 120 and 121 is equipped with only a software virtual reality implementation unit 160, enabling training and teaching of heavy equipment.
  • the virtual reality implementation unit 160 may be provided to trainers and instructors through a virtual reality implementation app that can be downloaded from the training platform server 100 or a recording medium.
  • the web application firewall 180, web server 181, and web application server 182 of the network 170 may be configured in the same manner as above.
  • training scenario score evaluation unit 190, and score correction unit 195 of the training DB 105 may be applied in the same manner as above.
  • the training data transmission and driving evaluation method of a system equipped with a heavy equipment two-way non-face-to-face training platform uses a system equipped with the heavy equipment two-way non-face-to-face training platform.
  • Virtually training heavy equipment where a trainee operates the operating device 140 connected to the training servers 120 and 121 or the instructor operates the operating device 140 connected to the training check server 110.
  • a mechanism analysis engine 101 of the training platform server 100 interprets the operation information to generate mechanism information of virtual heavy equipment;
  • a motion data generating unit 102 interoperating based on the mechanism analysis engine 101 generating time-dependent motion position and posture data of virtual heavy equipment elements that operate the virtual heavy equipment elements;
  • the training platform server 100 generates an image of virtual heavy equipment based on motion position and posture data information or mechanism information and transmits it to one or more of the training servers 120 and 121 and the training check server 110 through the network 170.
  • the training check server 110 and the training servers 120 and 121 are the virtual reality implementation unit. 160 is omitted, and motion image data is received and output on the display 150.
  • the training data transmission and driving evaluation method includes the steps of the training platform server 100 storing operation information corresponding to one or more of the trainer and the instructor as the instructor or the trainer's personal history, the training platform server (100) generates a driving score by evaluating the instructor or trainer based on the instructor's or trainee's personal history data, and an image of virtual heavy equipment according to the trainer's operation information is transmitted to the training check server 110 and implemented separately. Additional steps may be included.
  • one of the training platform server 100 and the training servers 120 and 121 performs a training check on an operation image of virtual heavy equipment according to the operator's operation information. transmitting to the server 110; The training check server 110 transmitting the instructor's evaluation information about the operation image of the virtual heavy equipment according to the trainer's operation information to the training platform server 100; And a step of the training platform server 100 finally reflecting the evaluation information to correct the trainee's driving score may be further included.
  • one of the training platform server 100 and the training check server 110 converts the motion image of the virtual heavy equipment according to the operator's operation information into a standard motion image. After comparing with , a step of generating a corrected motion image and transmitting it to the training servers 120 and 121 may be further included.
  • the above-corrected motion image may be generated through the virtual reality implementation unit 160 provided in either the training platform server 100 or the training check server 110 based on the manipulation information input through the manipulation device. .
  • the virtual reality implementation unit 160 provided in the training platform server 100 is used.
  • the training platform server 100 divides the driving score into a simple operation score for simple movement training, a complex operation score for complex movement training, a simple construction score for simple construction work training, and
  • the on-site close work training is divided into field close work scores and stored, and the scores and the ability to evaluate the trainee's training maturity for actual work based on the scores' data are stored in the training servers 120 and 121 and the training check server. It can be sent to (110).
  • the virtual reality implementation unit 160 may be mounted only on the training check server 110 and the training servers 120 and 121.
  • the virtual reality implementation unit 160 is linked to the motion data generation unit 102, which generates time-dependent motion position and posture data of virtual heavy equipment elements for operating the virtual heavy equipment elements.
  • the motion position and posture data generated in the motion data generation unit 102 are transmitted to the remote virtual reality implementation unit 160 through the network, and the training check server 110 and the training servers 120 and 121
  • the virtual reality implementation unit 160 implements the operations of virtual heavy equipment elements based on the motion position and posture data.
  • motion data according to time is transmitted from the training platform server 100 to the training check server 110 and the training servers 120 and 121, and is not greatly limited by the transmission speed of the network, and the dynamic control of virtual heavy equipment elements is not limited by network transmission speed. Data for implementing images can be transmitted smoothly.
  • a recording medium on which training data transmission and an algorithm for a driving evaluation method of a system equipped with a heavy equipment two-way non-face-to-face training platform are recorded can be provided.
  • recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. It includes specially configured hardware devices to store and execute program instructions, such as magneto-optical media and ROM, RAM, and flash memory.
  • Examples of program instructions may include machine language, such as that created by a compiler, as well as high-level languages that can be executed by a computer using an interpreter, etc. These hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention can be implemented as computer-readable code on a computer-readable recording medium.
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices, and can also be implemented in the form of a carrier wave (e.g., transmission via the Internet).
  • ROM read-only memory
  • RAM random access memory
  • CD-ROM compact disc-read only memory
  • magnetic tape magnetic tape
  • floppy disk magnetic tape
  • optical data storage devices e.g., optical data storage devices
  • optical data storage devices e.g., optical data storage devices
  • carrier wave e.g., transmission via the Internet
  • computer-readable code may be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers in the technical field to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 일 실시 예는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 제공한다. 본 발명의 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템은 중장비의 가상 훈련을 위한 훈련 플랫폼이 탑재되는 훈련 플랫폼 서버; 훈련 플랫폼 서버를 사용 가능하도록 훈련 플랫폼 서버에 네트워크를 통해 연결되며, 중장비의 가상 훈련을 수행하는 훈련자에 대한 훈련 점검과 지도가 가능하도록 디스플레이가 마련되되, 훈련 플랫폼에 연결되는 인터페이스가 구비된 훈련 체크 서버; 및 훈련 플랫폼 서버와 훈련 체크 서버에 네트워크를 통해 연결되며, 중장비의 가상 훈련을 수행하는 훈련자의 훈련이 가능하도록 인터페이스가 마련되되, 훈련 플랫폼에 연결되는 하나 이상의 훈련 서버를 포함한다. <대표도> 도 1

Description

중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법
본 발명은 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템에 관한 것으로, 더욱 상세하게는, 비대면의 가상으로 중장비 훈련을 수행할 수 있는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템에 관한 것이다.
현재, 국내 건설산업은 타 산업에 비해 고령화 속도가 빠르며, 건설 산업 고령화는 숙련 노동자의 감소로 이어져 생산성 저하를 불러오고, 숙련공 부족은 건설산업의 경쟁력을 약화시키며, 지속적인 안전사고 발생을 유발하고 있다.
예를 들어, 최근 10년간 타워크레인 작업 중 발생한 재해 건수는 총 437건(안전보건공단)이며, 양중 작업 시 재해가 343건(78.5%), 설치 해체 작업 시 81건(18.5%), 보수 유지 작업 시 13건(3%)의 재해가 발생했으며, 특히 양중 작업 시에 재해가 다발적으로 발생하고 있다.
이에, 생산성은 유지하면서 운전자의 안전을 도모하는 운전자 훈련보조시스템이 요구되고 있다. 훈련보조시스템에 관한 기술로서는, 예를 들어 중장비 훈련 시스템이 있다. 기존의 중장비 훈련 시스템으로서 다음과 같은 기술이 있다.
한국등록특허 제10-2264045호에는 “스토리 기반 다자 참여형 VR　중장비 훈련　시스템 및 이를 이용한 협업 동기화 방법”이 개시되어 있다.
이러한 기존 기술의 스토리 기반 다자 참여형 VR　중장비 훈련　시스템은, 복수의 시뮬레이션 사용자 장비와 시뮬레이션 운영 서버를 주요 구성으로 포함한다.
복수의 시뮬레이션 사용자 장비는, 몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 시뮬레이션 사용자 조작 장치, 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치, 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD)장치, 훈련상황의 입체감 있는 표현을 위한 3D 사운드 스피커 및 협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어 및 장치 간 동기화를 위한 시뮬레이션 서버를 포함한다.
또한 시뮬레이션 운용 서버는, 가상현실(VR)기반 3D영상을 스토리화하여 패키지 별로 분리하고 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 콘텐츠, 사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스, 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터 및 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트를 포함하여 사용자에게 극사실화된 실감 미디어, 오감형 체험 기능과 제스처 기반 제어를 제공하기 위한 콘텐츠 구성 요소를 포함하면서 다자간 협업훈련 상황을 제어하면서 세션을 생성 제어한다.
이러한 시뮬레이션 운영 서버와 복수의 시뮬레이션 사용자장비는 유무선 공유장치에 의해 네트워크로 연결된다.
시뮬레이션 운영 서버는, 협업 콘텐츠가 저장된 협업 시나리오 DB, 상기 협업 시나리오 DB로부터 협업 콘텐츠를 다운로드할 수 있고, 다운로드 받은 협업 콘텐츠에 따라 세션에 합류하는 복수의 클라이언트 서버(300a~n)와 연결되어, 클라이언트 서버(300a~n) 중 어느 하나로부터 이벤트가 발생한 경우 이를 NPC 객체 정보로 즉시 처리하여 다른 모든 클라이언트 서버에 제공하고, 클라이언트 서버간 콘텐츠 동기화 정보를 전송한다.
각 클라이언트 서버는, 당해 클라이언트 서버 사용자 객체를 제외한 다른 사용자 객체들은 훈련 프로그램 내에서 동작하는 NPC(Non Player Character) 객체와 동일하게 취급하여 사용자와 인터랙션하되, 하나의 클라이언트가 단독으로 훈련 시뮬레이션을 서비스받는 싱글 콘텐츠 상황에서 협업 상황을 훈련하고자 할 경우, 시뮬레이션 운영 서버에 가상 클라이언트 콘텐츠를 두어 프로그램 NPC 형태로 협업 훈련을 수행한다.
이러한 기존 기술의 스토리 기반 다자 참여형 VR　중장비 훈련　시스템은, 가상 공간에서 개인들이 NPC를 통해 중장비 작업 훈련을 실감나게 진행할 수 있으며, 다양한 훈련 콘텐츠를 통해 개인 및 협업 훈련을 진행할 수 있는 장점이 있지만, 훈련 교사와 양방향으로 소통하면서 훈련 교사의 지시나 감독을 충분히 받으면서 훈련을 세세하게 진행하기 어려운 측면이 있었기에, 개인의 중장비 훈련에는 적합하지 못하였다.
(선행특허문헌) 한국등록특허 제10-2264045호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 양방향 비대면을 통해 중장비 훈련을 세세하게 감독하면서 진행할 수 있으며, 기존에 비해 중장비의 훈련 효과를 충분히 높일 수 있는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 중장비의 가상 훈련을 위한 훈련 플랫폼이 탑재되는 훈련 플랫폼 서버; 상기 훈련 플랫폼 서버는, 외부에서 입력되는 가상 중장비 요소들의 메커니즘 동작을 구현하도록 실제 중장비 요소들을 모사하는 유압회로해석, 전기회로해석, 기구해석, 동력학해석, 및 기구동력학해석 중 하나 이상을 수행하되, 상기 해석을 기초로 가상 중장비 요소들의 디지털 트윈 동작을 위한 메커니즘 정보를 생성하는 메커니즘 해석엔진; 상기 메커니즘 해석엔진의 메커니즘 정보를 기반으로 연동하여 상기 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부; 및 상기 메커니즘 해석엔진의 상기 가상 중장비 요소들의 메커니즘 동작에 대한 해석 결과에 따른 훈련데이터, 및 훈련 시나리오가 포함된 훈련DB를 포함하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 제공한다.
본 발명의 일 실시 예에 있어서, 상기 훈련 플랫폼 서버를 사용 가능하도록 상기 훈련 플랫폼 서버에 네트워크를 통해 연결되며, 상기 훈련 플랫폼에 연결되며 중장비의 가상 훈련을 수행하는 훈련자에 대한 훈련 점검과 지도가 가능하도록 인터페이스가 구비된 훈련 체크 서버; 및 상기 훈련 플랫폼 서버와 훈련 체크 서버에 네트워크를 통해 연결되며, 상기 훈련 플랫폼에 연결되는 인터페이스가 구비된 하나 이상의 훈련 서버를 더 포함하며, 상기 훈련DB는 훈련자의 운전 스코어, 훈련자의 개인이력, 및 상기 훈련 체크 서버를 통해 입력되는 교습자의 개인이력을 더 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 훈련 체크 서버와 훈련 서버에는, 각각의 상기 인터페이스에 상기 가상 중장비 요소의 동작을 입력하는 복수의 조작장치가 연결되며, 상기 훈련 플랫폼 서버에서 전송된 상기 메커니즘 해석엔진에 의한 가상 중장비 요소들의 정보와 운전 스코어를 출력하는 하나 이상의 디스플레이가 구비될 수 있다.
본 발명의 일 실시 예에 있어서, 상기 조작장치를 통해 입력되는 상기 가상 중장비 요소들의 대상 동작에 기초하여, 상기 모션 데이터 생성부로부터 상기 가상 중장비 요소들의 모션 위치와 자세 데이터를 전송받고, 상기 가상 중장비의 가상현실을 이미지로 구현하는 가상현실 프로그램이 저장된 가상현실 구현부를 더 포함하며, 상기 가상현실 구현부는 상기 메커니즘 해석엔진과 모션 데이터 생성부에 연동될 수 있다.
본 발명의 일 실시 예에 있어서, 상기 가상현실 구현부는 상기 훈련 플랫폼 서버에 탑재되거나, 상기 훈련 체크 서버와 훈련 서버 중 하나 이상에 탑재되되, 상기 가상현실 구현부가 상기 훈련 체크 서버와 훈련 서버 중 하나 이상에 탑재되면, 상기 훈련 체크 서버와 훈련 서버는 상기 훈련 플랫폼 서버로부터 상기 모션 위치와 자세 데이터를 전송받고, 상기 메커니즘 해석엔진에 연동되는 상기 가상 중장비의 동작 이미지를 구현할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 훈련 시나리오는, 상기 복수의 조작장치 중 한가지 조작장치에 대한 훈련을 수행하는 단순 동작 훈련, 상기 복수의 조작장치에 대한 복합 훈련을 수행하는 복합 동작 훈련, 훈련자와 교습자가 소통하면서 훈련하는 표준화된 단순 건설작업훈련, 및 훈련자와 교습자가 소통하면서 훈련하는 실제 작업과정에서 빈번하게 발생되는 현장 밀착작업훈련을 포함하는 훈련 시나리오 데이터베이스를 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 운전 스코어는, 상기 단순 동작 훈련에 관한 단순 조작 스코어; 상기 복합 동작 훈련에 관한 복합 조작 스코어; 상기 단순 건설작업훈련에 관한 단순 건설 스코어; 및 상기 현장 밀착작업훈련에 관한 현장 밀착작업 스코어를 포함하는 스코어 데이터 베이스로 마련될 수 있다.
본 발명의 일 실시 예에 있어서, 상기 훈련 플랫폼 서버에는, 상기 운전 스코어를 각각 평가하여 저장하는 스코어 평가부; 및 상기 스코어 평가부에 의해 저장된 운전 스코어를 교습자의 훈련자에 대한 평가정보를 반영하여 보정하는 스코어 보정부가 마련될 수 있다.
본 발명의 일 실시 예에 있어서, 상기 가상 중장비는 휠 굴착기, 트랙 굴착기, 지게차, 휠 로더, AT 크레인, 타워크레인, 및 천공기 중 하나 이상을 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 네트워크는, 상기 훈련 체크 서버 및 훈련 서버를 연결하는 웹 어플리케이션 방화벽; 상기 웹 어플리케이션 방화벽에 연결되는 하나 이상의 웹 서버; 및 상기 하나 이상의 웹 서버와 상기 훈련 플랫폼 서버를 연결하는 하나 이상의 웹 어플리케이션 서버를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 구성은, 상기 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 사용하는 것으로서, 훈련자가 훈련 서버에 연결되어 있는 조작장치를 조작하거나 교습자가 훈련 체크 서버에 연결되어 있는 조작장치를 조작하는 단계; 상기 조작장치의 조작 정보가 네트워크를 통해 훈련 플랫폼 서버에 전송되는 단계; 상기 훈련 플랫폼 서버의 메커니즘 해석엔진이 상기 조작정보를 해석하여 가상 중장비의 메커니즘 정보를 생성하는 단계; 상기 모션 데이터 생성부가 상기 메커니즘 정보를 기반으로 상기 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 단계; 상기 가상현실 구현부가 상기 모션 위치와 자세 데이터에 대응하는 일련의 가상 중장비의 이미지를 생성하는 단계; 및 상기 훈련 체크 서버와 훈련 서버가 구비되는 디스플레이를 통해 상기 가상 중장비 이미지와 운전 정보를 출력하는 단계를 포함하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법을 제공한다.
본 발명의 다른 실시 예에 있어서, 상기 훈련 플랫폼 서버가 탑재되는 상기 가상현실 구현부를 사용하여 상기 모션 위치와 자세 데이터를 일련의 가상 중장비의 이미지로 생성하는 단계; 및 상기 훈련 플랫폼 서버가 일련의 가상 중장비의 이미지를 상기 네트워크를 통해 상기 훈련 서버 및 상기 훈련 체크 서버 중 하나 이상에 전송하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 있어서, 상기 훈련 플랫폼 서버가 상기 모션 위치와 자세 데이터를 상기 네트워크를 통해 상기 훈련 서버 및 상기 훈련 체크 서버 중 하나 이상에 전송하는 단계; 및 상기 훈련 서버 및 상기 훈련 체크 서버 중 하나 이상이 탑재되는 상기 가상현실 구현부를 사용하여 상기 모션 위치와 자세 데이터 정보를 일련의 가상 중장비의 이미지로 생성하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 있어서, 상기 훈련 플랫폼 서버가 상기 훈련자 및 교습자 중 하나 이상에 대응하는 상기 조작 정보를 상기 교습자 또는 훈련자의 개인이력으로 저장하는 단계; 상기 훈련 플랫폼 서버가 상기 교습자 또는 훈련자의 개인이력 데이터를 기초로 상기 교습자 또는 훈련자를 평가하여 운전 스코어를 생성하는 단계; 및 상기 훈련 체크 서버에 상기 훈련자의 조작정보에 따른 가상 중장비의 이미지가 전송되어 별도로 구현되는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 있어서, 상기 훈련 플랫폼 서버 및 훈련 서버 중 어느 하나가 상기 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지를 상기 훈련 체크 서버에 전송하는 단계; 상기 훈련 체크 서버가 상기 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지에 대한 상기 교습자의 평가정보를 상기 훈련 플랫폼 서버에 전송하는 단계; 및 상기 훈련 플랫폼 서버가 상기 평가정보를 최종 반영하여 상기 훈련자의 운전 스코어를 보정하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 있어서, 상기 훈련 플랫폼 서버 및 상기 훈련 체크 서버 중 어느 하나가 상기 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지를 표준 동작 이미지와 비교한 후, 보정된 동작 이미지를 생성하여 상기 훈련 서버에 전송하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 있어서, 상기 보정된 동작 이미지는 상기 조작 장치를 통해 입력된 조작 정보에 기초하여 상기 훈련 플랫폼 서버 및 훈련 체크 서버 중 어느 하나에 마련되는 가상현실 구현부를 통해 생성될 수 있다.
본 발명의 일 실시 예에 있어서, 상기 훈련 플랫폼 서버는 상기 운전 스코어를 상기 단순 동작 훈련에 관한 단순 조작 스코어, 상기 복합 동작 훈련에 관한 복합 조작 스코어, 상기 단순 건설작업훈련에 관한 단순 건설 스코어, 및 상기 현장 밀착작업훈련에 관한 현장 밀착작업 스코어로 구분하여 저장하되, 상기 스코어들과 함께 상기 스코어들의 데이터를 기초로 훈련자의 실제 작업에 대한 훈련 성숙도를 평가한 능력치를 상기 훈련 서버 및 훈련 체크 서버에 전송할 수 있다.
본 발명의 또 다른 구성은 상기 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법의 알고리즘이 기록된 기록매체를 제공할 수 있다.
상기와 같은 구성에 따른 본 발명의 효과는, 양방향 비대면을 통해 중장비 훈련을 세세하게 감독하면서 진행할 수 있으며, 기존에 비해 중장비 훈련 효과를 충분히 높일 수 있는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 제공할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템으로서, 가상현실 구현부가 훈련 플랫폼 서버에 탑재된 제1 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련 순서도이다.
도 3은 본 발명의 다른 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템으로서, 가상현실 구현부가 훈련 체크 서버와 훈련 서버에 탑재된 제2 개념도이다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 일실시예는은, 중장비의 가상 훈련을 위한 훈련 플랫폼이 탑재되는 훈련 플랫폼 서버; 상기 훈련 플랫폼 서버는, 외부에서 입력되는 가상 중장비 요소들의 메커니즘 동작을 구현하도록 실제 중장비 요소들을 모사하는 유압회로해석, 전기회로해석, 기구해석, 동력학해석, 및 기구동력학해석 중 하나 이상을 수행하되, 상기 해석을 기초로 가상 중장비 요소들의 디지털 트윈 동작을 위한 메커니즘 정보를 생성하는 메커니즘 해석엔진; 상기 메커니즘 해석엔진의 메커니즘 정보를 기반으로 연동하여 상기 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부; 및 상기 메커니즘 해석엔진의 상기 가상 중장비 요소들의 메커니즘 동작에 대한 해석 결과에 따른 훈련데이터, 및 훈련 시나리오가 포함된 훈련DB를 포함하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 제공한다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
하기 본 실시 예들에서 중장비의 가상 훈련을 위한 중장비는 휠 굴착기, 트랙 굴착기, 지게차, 휠 로더, AT 크레인, 타워크레인, 및 천공기 중 하나 이상을 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템으로서, 가상현실 구현부가 훈련 플랫폼 서버에 탑재된 제1 개념도이며, 도 2는 본 발명의 일 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련 순서도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템은, 훈련 플랫폼 서버(100), 훈련 체크 서버(110), 및 훈련 서버(120, 121)를 주요 구성으로 포함한다.
훈련 플랫폼 서버(100)는, 중장비의 가상 훈련을 위한 훈련 플랫폼이 탑재되어 운용되는 것으로서, 데이터와 연산의 고속 처리를 위한 다수의 고성능 서버급 컴퓨터로 마련될 수 있다.
훈련 플랫폼 서버(100)에 탑재되는 훈련 플랫폼은, 인터페이스(130)를 통해 입력되는 가상 중장비 요소들의 메커니즘 동작을 구현하도록 마련되며, 체계적인 훈련관리를 위한 데이터베이스가 포함된 소프트웨어이다.
이러한 훈련 플랫폼은 실제 중장비의 메커니즘에 따른 동작을 모사하여 수행하도록 디지털 트윈 기술이 적용된 것으로서, 유압회로해석, 전기회로해석, 기구해석, 동력학해석, 및 기구동력학해석 중 하나 이상을 수행하는 메커니즘 해석엔진(101), 메커니즘 해석엔진(101)의 메커니즘 정보를 기반으로 연동하여 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부(102), 및 메커니즘 해석엔진(101)의 가상 중장비 요소들의 메커니즘 동작에 대한 해석 결과에 따른 훈련자의 운전 스코어, 교습자의 개인이력, 훈련자의 개인이력, 훈련데이터 관리, 및 훈련 시나리오가 포함된 훈련DB(105)를 포함한다.
메커니즘 해석엔진(101)는 외부에서 입력되는 가상 중장비 요소들의 메커니즘 동작을 구현하도록 실제 중장비 요소들을 모사하는 유압회로해석, 전기회로해석, 기구해석, 동력학해석, 및 기구동력학해석 중 하나 이상을 수행하게 된다.
본 실시 예에서는, 메커니즘 해석엔진(101)이 실제 중장비 요소들을 모사하는 유압회로해석, 전기회로해석, 기구해석, 동력학해석, 및 기구동력학해석을 수행함으로써, 외부 조작 입력에 대응하는 가상 중장비 요소들의 출력 움직임이 실제 중장비의 90프로 이상에 가깝게 수행된다.
이러한 메커니즘 해석엔진(101)는 전술한 해석을 기초로 가상 중장비 요소들의 디지털 트윈 동작을 위한 메커니즘 정보를 생성한다. 또한, 메커니즘 해석엔진(101)에는 메커니즘 해석엔진(101)을 기반으로 연동하여 가상 중장비 요소들을 동작시키기 위한 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부(102)가 마련된다. 모션 데이터 생성부(102)는 모션 위치와 자세 데이터를 기반으로 가상 중장비 요소들의 동작을 실제 중장비 요소들처럼 구현하는 후술되는 가상현실 구현부(160)에 연동된다.
훈련 체크 서버(110)는, 중장비 훈련자의 훈련 상황과 결과를 체크하여 감독 지도하는 교습자가 접속하는 컴퓨터로서, 훈련 플랫폼 서버(100)에 접속하여 훈련 플랫폼을 사용 가능하도록 훈련 플랫폼 서버(100)에 네트워크(170)를 통해 연결되며, 중장비의 가상 훈련을 수행하는 훈련자에 대한 훈련 점검과 지도가 가능하도록 훈련 플랫폼에 연결되는 인터페이스(130)가 구비된다.
훈련 서버(120, 121)는 중장비 훈련자가 훈련하기 위해서 접속하는 컴퓨터로서, 훈련 플랫폼 서버(100)와 훈련 체크 서버(110)에 네트워크(170)를 통해 연결되며, 중장비의 가상 훈련을 수행하는 훈련자의 훈련이 가능하도록 훈련 플랫폼에 연결되는 인터페이스(130)가 구비된다.
훈련 체크 서버(110)와 훈련 서버(120, 121)에는, 인터페이스(130)에 가상 중장비 요소의 동작을 입력하는 복수의 조작장치(140)가 연결되며, 메커니즘 해석엔진(101)에 의한 가상 중장비 요소들의 메커니즘과 운전 스코어를 출력하는 하나 이상의 디스플레이(150)가 구비된다. 조작장치(140)는 다양한 동작 수행을 위한 버튼들이 구비된 조이스틱, 페달 등 실제 중장비의 작업 환경을 모사하여 마련될 수 있다.
먼저, 본 발명의 일 실시 예에 따르면, 훈련 플랫폼 서버(100)에 가상현실 구현부(160)가 선택적으로 탑재될 수 있다. 이러한 가상현실 구현부(160)는, 조작장치(140)에 의한 가상 중장비의 가상현실을 이미지로 구현하는 가상현실 프로그램이 저장되고, 이를 동적으로 구동하도록 마련될 수 있다. 이때, 가상 중장비 요소들을 동작시키기 위한 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부(102)에 연동된다.
도 1에서 같이, 가상현실 구현부(160, SAV)가 훈련 플랫폼 서버(100)에 탑재됨으로써 훈련 체크 서버(110), 및 훈련 서버(120, 121)에 대한 데이터 및 연산 처리의 부하가 줄어들게 된다. 이에 따라 훈련 체크 서버(110), 및 훈련 서버(120, 121)는 낮은 사양의 컴퓨터로 마련될 수 있다.
도 1과 같이, 가상현실 구현부(160)가 훈련 플랫폼 서버(100)에 탑재된 경우, 훈련 체크 서버(110)와 훈련 서버(120, 121)는 가상현실 구현부(160)가 생략되며, 훈련 플랫폼 서버(100)로부터 동작 이미지 데이터를 전송받아 디스플레이(150)에 출력하게 된다.
이때는 훈련 플랫폼 서버(100)와 훈련 체크 서버(110) 및 훈련 서버(120, 121) 사이에 대용량의 이미지 데이터가 통신되는 것으로, 데이터 부하가 작용하여 통신 라인의 속도가 원활치 않을 경우, 원격에서는 가상 중장비의 동작 이미지 구현이 느려질 수 있다.
네트워크(170)는 훈련 체크 서버(110) 및 훈련 서버(120, 121)를 연결하는 웹 어플리케이션 방화벽(180), 웹 어플리케이션 방화벽(180)에 연결되는 하나 이상의 웹 서버(181), 및 하나 이상의 웹 서버(181)와 훈련 플랫폼 서버(100)를 연결하는 하나 이상의 웹 어플리케이션 서버(182)를 포함할 수 있다. 이때 네트워크(170)가 이미지 데이터의 전송에만 사용되는 경우, 다중의 방화벽(180)이 간소화되거나 생략될 수 있다.
이러한 네트워크(170)는, 데이터의 양방향 전송에서 외부 침입과 데이터의 노출을 방지하는 복수의 방화벽으로 구성됨으로써 훈련 플랫폼을 보호할 수 있다.
한편, 도 1과 도 2를 더 참조하면, 상기 훈련DB(105)의 훈련 시나리오는, 복수의 조작장치(140) 중 한가지 조작장치(140)에 대한 훈련을 수행하는 단순 동작 훈련, 복수의 조작장치(140)에 대한 복합 훈련을 수행하는 복합 동작 훈련, 훈련자와 교습자가 소통하면서 훈련하는 표준화된 단순 건설작업훈련, 및 훈련자와 교습자가 소통하면서 훈련하는 실제 작업과정에서 빈번하게 발생되는 현장 밀착작업훈련을 포함하는 훈련 시나리오 데이터베이스로 마련된다.
운전 스코어는 단순 동작 훈련에 관한 단순 조작 스코어, 복합 동작 훈련에 관한 복합 조작 스코어, 단순 건설작업훈련에 관한 단순 건설 스코어, 및 현장 밀착작업훈련에 관한 현장 밀착작업 스코어를 포함하는 스코어 데이터 베이스로 마련될 수 있다. 운전 스코어는 훈련DB(105)에서 연동하도록 마련되는 스코어 평가부(190)와 스코어 보정부(195)에서 산출될 수 있다.
즉, 훈련 플랫폼 서버(100)에는, 운전 스코어를 각각 평가하여 저장하는 스코어 평가부(190), 및 스코어 평가부(190)에 의해 저장된 운전 스코어를 교습자의 훈련자에 대한 평가정보를 반영하여 보정하는 스코어 보정부(195)가 마련될 수 있다.
스코어 평가부(190)의 평가 항목으로서, 스코어 평가부(190)에는 작업시간, 작업 정확도, 깊이, 중첩(Overlay), 연비, 충격, 버킷 움직임, 조작기 움직임 등의 평가 항목이 포함될 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템으로서, 가상현실 구현부가 훈련 체크 서버와 훈련 서버에 탑재된 제2 개념도이다.
도 3을 참조하면, 본 발명의 다른 실시 예에 따르면, 훈련 체크 서버(110)와 훈련 서버(120, 121)에만 가상현실 구현부(160, SAV)가 탑재될 수 있다.
이러한 가상현실 구현부(160) 또한 조작장치(140)에 의한 가상 중장비의 가상현실을 동적 이미지로 구현하는 가상현실 프로그램이 저장되고, 이를 구동하도록 마련될 수 있다. 이때, 가상현실 구현부(160)는 메커니즘 해석엔진(101)에 연동될 수 있다.
가상현실 구현부(160)는 가상 중장비 요소들을 동작시키기 위한 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부(102)에 네트워크로 연결되어 연동된다.
즉, 모션 데이터 생성부(102)에서 생성된 모션 위치와 자세 데이터는 네트워크를 통해 원격에 있는 가상현실 구현부(160)에 전송되며, 훈련 체크 서버(110)와 훈련 서버(120, 121)의 가상현실 구현부(160)는 이러한 모션 위치와 자세 데이터를 기반으로 가상 중장비 요소들의 동작을 구현하게 된다.
이때는 훈련 플랫폼 서버(100)에서 훈련 체크 서버(110), 및 훈련 서버(120, 121) 측으로 시간에 따른 모션 데이터를 전송하는 경우로서, 네크워크의 전송 속도에 크게 제한 받지 않고, 가상 중장비 요소들의 동적 이미지를 구현하기 위한 데이터가 원활하게 전송될 수 있다.
실질적으로, 훈련 플랫폼 서버(100)가 훈련 체크 서버(110), 및 훈련 서버(120, 121)에 대해 상당한 원격지에서 운용될 수 있으며, 훈련 체크 서버(110), 및 훈련 서버(120, 121)는 소프트웨어적인 가상현실 구현부(160)만 탑재되어 중장비의 훈련과 교습이 가능하게 된다. 가상현실 구현부(160)는 훈련 플랫폼 서버(100)에서 다운로드 가능한 가상현실 구현 앱이나, 기록 매체를 통해 훈련자와 교습자에게 제공될 수 있다.
네트워크(170)의 웹 어플리케이션 방화벽(180), 웹 서버(181), 및 웹 어플리케이션 서버(182)는 상기와 동일하게 구성될 수 있다.
또한, 상기 훈련DB(105)의 훈련 시나리오, 스코어 평가부(190), 및 스코어 보정부(195)는 상기와 동일하게 적용될 수 있다.
이하에서는, 본 발명의 실시 예들에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법에 대해서 설명한다.
도 1 내지 도 3을 참조하면, 본 발명의 실시 예들에 따른 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법은, 상기 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 사용하여 중장비를 가상적으로 훈련하는 것으로서, 훈련자가 훈련 서버(120, 121)에 연결되어 있는 조작장치(140)를 조작하거나 교습자가 훈련 체크 서버(110)에 연결되어 있는 조작장치(140)를 조작하는 단계; 조작장치(140)의 조작 정보가 네트워크(170)를 통해 훈련 플랫폼 서버(100)에 전송되는 단계; 훈련 플랫폼 서버(100)의 메커니즘 해석엔진(101)이 조작정보를 해석하여 가상 중장비의 메커니즘 정보를 생성하는 단계; 메커니즘 해석엔진(101)을 기반으로 연동하는 모션 데이터 생성부(102)가 가상 중장비 요소들을 동작시키는 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 단계; 훈련 플랫폼 서버(100)가 모션 위치와 자세 데이터 정보나 메커니즘 정보에 따른 가상 중장비의 이미지를 생성하여 네트워크(170)를 통해 훈련 서버(120, 121) 및 훈련 체크 서버(110) 중 하나 이상에 전송하는 단계; 훈련 서버(120, 121) 및 훈련 체크 서버(110) 중 하나 이상에 메커니즘 정보에 따른 가상 중장비의 이미지가 구현되는 단계; 및 훈련 체크 서버(110)와 훈련 서버(120, 121)가 구비되는 디스플레이(150)를 통해 가상 중장비 요소들의 메커니즘과 운전 스코어를 출력하는 단계를 포함한다.
전술한 도 1과 같이, 일 실시 예에 따른 가상현실 구현부(160)가 훈련 플랫폼 서버(100)에 탑재된 경우, 훈련 체크 서버(110)와 훈련 서버(120, 121)는 가상현실 구현부(160)가 생략되며, 동작 이미지 데이터를 전송받아 디스플레이(150)에 출력하게 된다.
본 발명의 일 실시 예에 따른 훈련데이터 전송 및 운전 평가방법에는, 훈련 플랫폼 서버(100)가 훈련자 및 교습자 중 하나 이상에 대응하는 조작 정보를 교습자 또는 훈련자의 개인이력으로 저장하는 단계, 훈련 플랫폼 서버(100)가 교습자 또는 훈련자의 개인이력 데이터를 기초로 교습자 또는 훈련자를 평가하여 운전 스코어를 생성하는 단계, 및 훈련 체크 서버(110)에 훈련자의 조작정보에 따른 가상 중장비의 이미지가 전송되어 별도로 구현되는 단계가 더 포함될 수 있다.
또한 본 발명의 일 실시 예에 따른 훈련데이터 전송 및 운전 평가방법에는, 훈련 플랫폼 서버(100) 및 훈련 서버(120, 121) 중 어느 하나가 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지를 훈련 체크 서버(110)에 전송하는 단계; 훈련 체크 서버(110)가 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지에 대한 교습자의 평가정보를 훈련 플랫폼 서버(100)에 전송하는 단계; 및 훈련 플랫폼 서버(100)가 평가정보를 최종 반영하여 훈련자의 운전 스코어를 보정하는 단계가 더 포함될 수 있다.
또한 본 발명의 일 실시 예에 따른 훈련데이터 전송 및 운전 평가방법에는, 훈련 플랫폼 서버(100) 및 훈련 체크 서버(110) 중 어느 하나가 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지를 표준 동작 이미지와 비교한 후, 보정된 동작 이미지를 생성하여 훈련 서버(120, 121)에 전송하는 단계가 더 포함될 수 있다.
상기에서 보정된 동작 이미지는 조작 장치를 통해 입력된 조작 정보에 기초하여 훈련 플랫폼 서버(100) 및 훈련 체크 서버(110) 중 어느 하나에 마련되는 가상현실 구현부(160)를 통해 생성될 수 있다. 이때는 훈련 플랫폼 서버(100)에 마련되는 가상현실 구현부(160)를 사용한다.
한편, 도 1과 도 2를 참조하면, 훈련 플랫폼 서버(100)는 운전 스코어를 단순 동작 훈련에 관한 단순 조작 스코어, 복합 동작 훈련에 관한 복합 조작 스코어, 단순 건설작업훈련에 관한 단순 건설 스코어, 및 현장 밀착작업훈련에 관한 현장 밀착작업 스코어로 구분하여 저장하되, 스코어들과 함께 스코어들의 데이터를 기초로 훈련자의 실제 작업에 대한 훈련 성숙도를 평가한 능력치를 훈련 서버(120, 121) 및 훈련 체크 서버(110)에 전송할 수 있다.
도 3을 참조하면, 전술한 본 발명의 다른 실시 예에 따르면, 훈련 체크 서버(110)와 훈련 서버(120, 121)에만 가상현실 구현부(160)가 탑재될 수 있다. 이러한 경우, 가상현실 구현부(160)는 가상 중장비 요소들을 동작시키기 위한 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부(102)에 연동된다.
즉, 모션 데이터 생성부(102)에서 생성된 모션 위치와 자세 데이터는 네트워크를 통해 원격에 있는 가상현실 구현부(160)에 전송되며, 훈련 체크 서버(110)와 훈련 서버(120, 121)의 가상현실 구현부(160)는 이러한 모션 위치와 자세 데이터를 기반으로 가상 중장비 요소들의 동작을 구현하게 된다.
이때는 훈련 플랫폼 서버(100)에서 훈련 체크 서버(110), 및 훈련 서버(120, 121) 측으로 시간에 따른 모션 데이터를 전송하는 경우로서, 네크워크의 전송 속도에 크게 제한 받지 않고, 가상 중장비 요소들의 동적 이미지를 구현하기 위한 데이터가 원활하게 전송될 수 있다.
본 발명의 또 다른 실시 예에 따르면, 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법의 알고리즘이 기록된 기록매체를 제공할 수 있다.
예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이처럼 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함하는 외에, 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
<부호의 설명>
100: 훈련 플랫폼 서버
101: 메커니즘 해석엔진
102: 모션 데이터 생성부
105: 훈련DB
110: 훈련 체크 서버
120: 훈련 서버
130: 인터페이스
140: 조작장치
150: 디스플레이
160: 가상현실 구현부
170: 네트워크
180: 웹 어플리케이션 방화벽
181: 웹 서버
182: 웹 어플리케이션 서버
190: 스코어 평가부
195: 스코어 보정부

Claims (19)

  1. 중장비의 가상 훈련을 위한 훈련 플랫폼이 탑재되는 훈련 플랫폼 서버;
    상기 훈련 플랫폼 서버는,
    외부에서 입력되는 가상 중장비 요소들의 메커니즘 동작을 구현하도록 실제 중장비 요소들을 모사하는 유압회로해석, 전기회로해석, 기구해석, 동력학해석, 및 기구동력학해석 중 하나 이상을 수행하되, 상기 해석을 기초로 가상 중장비 요소들의 디지털 트윈 동작을 위한 메커니즘 정보를 생성하는 메커니즘 해석엔진;
    상기 메커니즘 해석엔진의 메커니즘 정보를 기반으로 연동하여 상기 가상 중장비 요소들을 동작시키는 상기 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 모션 데이터 생성부; 및
    상기 메커니즘 해석엔진의 상기 가상 중장비 요소들의 메커니즘 동작에 대한 해석 결과에 따른 훈련데이터, 및 훈련 시나리오가 포함된 훈련DB를 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  2. 청구항 1에 있어서,
    상기 훈련 플랫폼 서버를 사용 가능하도록 상기 훈련 플랫폼 서버에 네트워크를 통해 연결되며, 상기 훈련 플랫폼에 연결되며 중장비의 가상 훈련을 수행하는 훈련자에 대한 훈련 점검과 지도가 가능하도록 인터페이스가 구비된 훈련 체크 서버; 및
    상기 훈련 플랫폼 서버와 훈련 체크 서버에 네트워크를 통해 연결되며, 상기 훈련 플랫폼에 연결되는 인터페이스가 구비된 하나 이상의 훈련 서버를 더 포함하며,
    상기 훈련DB는 훈련자의 운전 스코어, 훈련자의 개인이력, 및 상기 훈련 체크 서버를 통해 입력되는 교습자의 개인이력을 더 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  3. 청구항 2에 있어서,
    상기 훈련 체크 서버와 훈련 서버에는, 각각의 상기 인터페이스에 상기 가상 중장비 요소의 동작을 입력하는 복수의 조작장치가 연결되며, 상기 훈련 플랫폼 서버에서 전송된 상기 메커니즘 해석엔진에 의한 가상 중장비 요소들의 정보와 운전 스코어를 출력하는 하나 이상의 디스플레이가 구비되는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  4. 청구항 3에 있어서,
    상기 조작장치를 통해 입력되는 상기 가상 중장비 요소들의 대상 동작에 기초하여, 상기 모션 데이터 생성부로부터 상기 가상 중장비 요소들의 모션 위치와 자세 데이터를 전송받고, 상기 가상 중장비의 가상현실을 이미지로 구현하는 가상현실 프로그램이 저장된 가상현실 구현부를 더 포함하며,
    상기 가상현실 구현부는 상기 메커니즘 해석엔진과 모션 데이터 생성부에 연동되는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  5. 청구항 4에 있어서,
    상기 가상현실 구현부는 상기 훈련 플랫폼 서버에 탑재되거나, 상기 훈련 체크 서버와 훈련 서버 중 하나 이상에 탑재되되,
    상기 가상현실 구현부가 상기 훈련 체크 서버와 훈련 서버 중 하나 이상에 탑재되면, 상기 훈련 체크 서버와 훈련 서버는 상기 훈련 플랫폼 서버로부터 상기 모션 위치와 자세 데이터를 전송받고, 상기 메커니즘 해석엔진에 연동되는 상기 가상 중장비의 동작 이미지를 구현하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  6. 청구항 4에 있어서,
    상기 훈련 시나리오는, 상기 복수의 조작장치 중 한가지 조작장치에 대한 훈련을 수행하는 단순 동작 훈련, 상기 복수의 조작장치에 대한 복합 훈련을 수행하는 복합 동작 훈련, 훈련자와 교습자가 소통하면서 훈련하는 표준화된 단순 건설작업훈련, 및 훈련자와 교습자가 소통하면서 훈련하는 실제 작업과정에서 빈번하게 발생되는 현장 밀착작업훈련을 포함하는 훈련 시나리오 데이터베이스를 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  7. 청구항 6에 있어서,
    상기 운전 스코어는,
    상기 단순 동작 훈련에 관한 단순 조작 스코어;
    상기 복합 동작 훈련에 관한 복합 조작 스코어;
    상기 단순 건설작업훈련에 관한 단순 건설 스코어; 및
    상기 현장 밀착작업훈련에 관한 현장 밀착작업 스코어를 포함하는 스코어 데이터 베이스로 마련되는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  8. 청구항 4에 있어서,
    상기 훈련 플랫폼 서버에는,
    상기 운전 스코어를 각각 평가하여 저장하는 스코어 평가부; 및
    상기 스코어 평가부에 의해 저장된 운전 스코어를 교습자의 훈련자에 대한 평가정보를 반영하여 보정하는 스코어 보정부가 마련되는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  9. 청구항 1에 있어서,
    상기 가상 중장비는 휠 굴착기, 트랙 굴착기, 지게차, 휠 로더, AT 크레인, 타워크레인, 및 천공기 중 하나 이상을 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  10. 청구항 1에 있어서,
    상기 네트워크는,
    상기 훈련 체크 서버 및 훈련 서버를 연결하는 웹 어플리케이션 방화벽;
    상기 웹 어플리케이션 방화벽에 연결되는 하나 이상의 웹 서버; 및
    상기 하나 이상의 웹 서버와 상기 훈련 플랫폼 서버를 연결하는 하나 이상의 웹 어플리케이션 서버를 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템.
  11. 청구항 4에 따른 상기 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템을 사용하는 것으로서,
    훈련자가 훈련 서버에 연결되어 있는 조작장치를 조작하거나 교습자가 훈련 체크 서버에 연결되어 있는 조작장치를 조작하는 단계;
    상기 조작장치의 조작 정보가 네트워크를 통해 훈련 플랫폼 서버에 전송되는 단계;
    상기 훈련 플랫폼 서버의 메커니즘 해석엔진이 상기 조작정보를 해석하여 가상 중장비의 메커니즘 정보를 생성하는 단계;
    상기 모션 데이터 생성부가 상기 메커니즘 정보를 기반으로 상기 가상 중장비 요소들의 시간에 따른 모션 위치와 자세 데이터를 생성하는 단계;
    상기 가상현실 구현부가 상기 모션 위치와 자세 데이터에 대응하는 일련의 가상 중장비의 이미지를 생성하는 단계; 및
    상기 훈련 체크 서버와 훈련 서버가 구비되는 디스플레이를 통해 상기 가상 중장비 이미지와 운전 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  12. 청구항 11에 있어서,
    상기 훈련 플랫폼 서버가 탑재되는 상기 가상현실 구현부를 사용하여 상기 모션 위치와 자세 데이터를 일련의 가상 중장비의 이미지로 생성하는 단계; 및
    상기 훈련 플랫폼 서버가 일련의 가상 중장비의 이미지를 상기 네트워크를 통해 상기 훈련 서버 및 상기 훈련 체크 서버 중 하나 이상에 전송하는 단계를 더 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  13. 청구항 11에 있어서,
    상기 훈련 플랫폼 서버가 상기 모션 위치와 자세 데이터를 상기 네트워크를 통해 상기 훈련 서버 및 상기 훈련 체크 서버 중 하나 이상에 전송하는 단계; 및
    상기 훈련 서버 및 상기 훈련 체크 서버 중 하나 이상이 탑재되는 상기 가상현실 구현부를 사용하여 상기 모션 위치와 자세 데이터 정보를 일련의 가상 중장비의 이미지로 생성하는 단계를 더 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  14. 청구항 11에 있어서,
    상기 훈련 플랫폼 서버가 상기 훈련자 및 교습자 중 하나 이상에 대응하는 상기 조작 정보를 상기 교습자 또는 훈련자의 개인이력으로 저장하는 단계;
    상기 훈련 플랫폼 서버가 상기 교습자 또는 훈련자의 개인이력 데이터를 기초로 상기 교습자 또는 훈련자를 평가하여 운전 스코어를 생성하는 단계; 및
    상기 훈련 체크 서버에 상기 훈련자의 조작정보에 따른 가상 중장비의 이미지가 전송되어 별도로 구현되는 단계를 더 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  15. 청구항 11에 있어서,
    상기 훈련 플랫폼 서버 및 훈련 서버 중 어느 하나가 상기 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지를 생성하여 상기 훈련 체크 서버에 전송하는 단계;
    상기 훈련 체크 서버가 상기 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지에 대한 상기 교습자의 평가정보를 상기 훈련 플랫폼 서버에 전송하는 단계; 및
    상기 훈련 플랫폼 서버가 상기 평가정보를 최종 반영하여 상기 훈련자의 운전 스코어를 보정하는 단계를 더 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  16. 청구항 15에 있어서,
    상기 훈련 플랫폼 서버 및 상기 훈련 체크 서버 중 어느 하나가 상기 훈련자의 조작 정보에 따른 가상 중장비의 동작 이미지를 표준 동작 이미지와 비교한 후, 보정된 동작 이미지를 생성하여 상기 훈련 서버에 전송하는 단계를 더 포함하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  17. 청구항 16에 있어서,
    상기 보정된 동작 이미지는 상기 조작 장치를 통해 입력된 조작 정보에 기초하여 상기 훈련 플랫폼 서버 및 훈련 체크 서버 중 어느 하나에 마련되는 가상현실 구현부를 통해 생성되는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  18. 청구항 11 있어서,
    상기 훈련 플랫폼 서버는 상기 운전 스코어를 상기 단순 동작 훈련에 관한 단순 조작 스코어, 상기 복합 동작 훈련에 관한 복합 조작 스코어, 상기 단순 건설작업훈련에 관한 단순 건설 스코어, 및 상기 현장 밀착작업훈련에 관한 현장 밀착작업 스코어로 구분하여 저장하되,
    상기 스코어들과 함께 상기 스코어들의 데이터를 기초로 훈련자의 실제 작업에 대한 훈련 성숙도를 평가한 능력치를 상기 훈련 서버 및 훈련 체크 서버에 전송하는 것을 특징으로 하는 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법.
  19. 청구항 11에 따른 상기 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템의 훈련데이터 전송 및 운전 평가방법의 알고리즘이 기록된 기록매체.
PCT/KR2022/016719 2022-07-28 2022-10-28 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법 WO2024025037A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220094281A KR20240016140A (ko) 2022-07-28 2022-07-28 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법
KR10-2022-0094281 2022-07-28

Publications (1)

Publication Number Publication Date
WO2024025037A1 true WO2024025037A1 (ko) 2024-02-01

Family

ID=84358118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016719 WO2024025037A1 (ko) 2022-07-28 2022-10-28 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법

Country Status (4)

Country Link
US (1) US20240038090A1 (ko)
EP (1) EP4312203A1 (ko)
KR (1) KR20240016140A (ko)
WO (1) WO2024025037A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005971A (ko) * 2015-07-07 2017-01-17 임진국 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR20170072029A (ko) * 2015-12-16 2017-06-26 (주)세이프텍리서치 모터보트 조종을 위한 가상 훈련시스템
KR20170129395A (ko) * 2016-05-17 2017-11-27 (주)토탈소프트뱅크 천장크레인 시뮬레이터의 훈련 평가 장치
KR20180109339A (ko) * 2017-03-27 2018-10-08 임진국 3차원 형상정보와 가상현실시스템을 이용한 정비교육방법 및 그 장치
KR20180130978A (ko) * 2017-05-31 2018-12-10 (주)토탈소프트뱅크 기중기 운전 훈련장치
KR20210065287A (ko) * 2019-11-26 2021-06-04 주식회사 토즈 몰입형 가상 현실 기반 중장비 훈련 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164476B2 (en) * 2018-05-29 2021-11-02 Cse Software Inc. Heavy equipment simulation system and methods of operating same
KR102264045B1 (ko) 2019-11-29 2021-06-14 주식회사 토즈 스토리 기반 다자 참여형 vr　중장비 훈련　시스템 및 이를 이용한 협업 동기화 방법
KR102446842B1 (ko) * 2020-11-23 2022-09-23 주식회사 토즈 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005971A (ko) * 2015-07-07 2017-01-17 임진국 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR20170072029A (ko) * 2015-12-16 2017-06-26 (주)세이프텍리서치 모터보트 조종을 위한 가상 훈련시스템
KR20170129395A (ko) * 2016-05-17 2017-11-27 (주)토탈소프트뱅크 천장크레인 시뮬레이터의 훈련 평가 장치
KR20180109339A (ko) * 2017-03-27 2018-10-08 임진국 3차원 형상정보와 가상현실시스템을 이용한 정비교육방법 및 그 장치
KR20180130978A (ko) * 2017-05-31 2018-12-10 (주)토탈소프트뱅크 기중기 운전 훈련장치
KR20210065287A (ko) * 2019-11-26 2021-06-04 주식회사 토즈 몰입형 가상 현실 기반 중장비 훈련 장치

Also Published As

Publication number Publication date
EP4312203A1 (en) 2024-01-31
US20240038090A1 (en) 2024-02-01
KR20240016140A (ko) 2024-02-06

Similar Documents

Publication Publication Date Title
Gonzalez-Franco et al. Immersive mixed reality for manufacturing training
Adami et al. Effectiveness of VR-based training on improving construction workers’ knowledge, skills, and safety behavior in robotic teleoperation
Jeelani et al. Development of immersive personalized training environment for construction workers
CN116070464B (zh) 一种虚拟现实的钻井井场仿真系统
CN111341166A (zh) 应急演练系统的控制方法及系统
WO2024025037A1 (ko) 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법
CN113990169A (zh) 一种分布式虚拟仿真地震应急演练系统
Tate et al. Using AI Planning Technology for Army Small Unit Operations.
CN110570709A (zh) 一种专业设备操作技师训练系统
WO2020130406A1 (ko) Tbm 운용 시뮬레이션 장비 및 이를 이용하여 tbm 기기 운용 능력을 측정하는 방법
Liu et al. Towards a collaborative future in construction robotics: A human-centered study in a multi-user immersive operation and communication system for excavation
Strazdins et al. Virtual reality using gesture recognition for deck operation training
WO2023033420A1 (ko) 비주얼 스크립트를 이용한 디지털 트윈 구축 시스템, 방법 및 이를 위한 장치
CN210072934U (zh) 铁路列车技检培训系统
WO2020060123A1 (ko) 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법
Luimula et al. Unlimited Safety Productivity-A Finnish Perspective Using Virtual Learning Methods to Improve Quality and Productivity in the Construction Industry
CN114550525B (zh) 一种基于混合现实技术的机车部件检修实训系统
CN115631668A (zh) 一种用于铁路电务的虚拟实景综合实训系统
CN101188070A (zh) 听障学生学习计算机程序设计语言的仿真教学系统
CN115206153A (zh) 基于虚拟现实的铁路人身安全数字化实训考核系统
CN116052522A (zh) 一种沉浸式自动化钻机虚拟仿真培训系统
Zhang et al. Design and application of electric power skill training platform based on virtual reality technology
CN210181838U (zh) 铁路货车制动培训系统
Dong et al. Research and development of distributed bridge crane training system based on virtual reality
Holbert et al. A signal processing laboratory employing on-line teaming for remote experiments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953262

Country of ref document: EP

Kind code of ref document: A1