WO2020105221A1 - 訓練教材提示システムおよび訓練教材提示方法 - Google Patents

訓練教材提示システムおよび訓練教材提示方法

Info

Publication number
WO2020105221A1
WO2020105221A1 PCT/JP2019/029594 JP2019029594W WO2020105221A1 WO 2020105221 A1 WO2020105221 A1 WO 2020105221A1 JP 2019029594 W JP2019029594 W JP 2019029594W WO 2020105221 A1 WO2020105221 A1 WO 2020105221A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
display
input
information
display screens
Prior art date
Application number
PCT/JP2019/029594
Other languages
English (en)
French (fr)
Inventor
貴之 藤原
慎太郎 土屋
健太郎 大西
克朗 菊地
賀仁 成田
Original Assignee
株式会社日立システムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立システムズ filed Critical 株式会社日立システムズ
Priority to CN202310087370.2A priority Critical patent/CN115841777A/zh
Priority to CN201980045885.8A priority patent/CN112400197B/zh
Publication of WO2020105221A1 publication Critical patent/WO2020105221A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Definitions

  • the present invention relates to a training material presentation system and a training material presentation method for presenting a training material for maintenance work of a target device to a trainee.
  • the training is conducted to let the workers understand the procedure / contents of the maintenance work.
  • the training is conducted in the form of group education in which the instructor explains the structure of the target device and the procedure / contents of maintenance work using the actual target device.
  • Patent Document 1 discloses a maintenance education and training system for a plant, which prepares and prepares teaching materials for maintenance work, necessary tools, multimedia data such as drawings, images, texts, and sounds that provide work contents and uses them as teaching materials. ing.
  • Patent Document 1 the conventional plant maintenance education and training system described in Patent Document 1 is based on the premise that the trainee has a certain degree of specialized knowledge about the target equipment for the maintenance work. No consideration was given to making a person understand the procedure and contents of the maintenance work even if the person does not have the specialized knowledge of the target device of the maintenance work.
  • the present invention has been made in order to solve the above problems, and allows a trainee to easily and accurately grasp a work procedure without an actual machine, even if the trainee does not have specialized knowledge about a target device for maintenance work. It is an object of the present invention to provide a maintenance work training system and a maintenance work training method capable of performing the above.
  • the training material presentation system presents training material including a three-dimensional image related to the maintenance work of the target device (401) together with the work space display, while each stage of the maintenance work.
  • a work target part (402) of the maintenance work and a tool (404) used for the maintenance work are stored as a plurality of operation target images (400, 403) that can be displayed and selected, and the simulation work is performed.
  • each of the one or more display screens has an instruction display area for requesting a selection operation of a tool or a work target site or an operation input to a selected work target site, and the display content thereof. Since it includes an operation target image display area capable of executing a specific operation target image selection operation or simulated work operation input corresponding to, the screen display contents are sequentially changed according to the user's operation input for each screen. You can easily and accurately grasp the work procedure without using an actual machine.
  • the information input device includes the first input information, which is information on the operation input of the selection operation or the simulated work by the instructor (3), and the trainee (4). It is possible to acquire the selection operation or the second input information that is the information of the operation input of the simulated work, and the output information generation device, based on the first input information, the procedure of the operation input of the simulated work.
  • the predetermined output condition corresponding to the above may be set.
  • the output information generation device based on the first input information, the specific tool to be selected on the one or more display screens, and the one or more display screens.
  • the target part of the specific process to be selected on the screen and the content of the reference operation input of the simulated work to be executed on the one or more display screens are set as part of the predetermined output conditions. It may be configured.
  • the training material presentation system of the present invention on the one or more display screens, the specific tool to be selected and operated on the one or more display screens and the one or more display screens to be selected It may be configured to have a teaching material presenting function for guiding and displaying the work target part of the specific process and the contents of the reference operation input of the simulated work to be executed on the one or more display screens.
  • the training material presentation system of the present invention requests the selection operation on the one or more display screens in the instruction display area on the one or more display screens, or While executing instruction display requesting execution of operation input of the simulated work, input contents of the selection operation on the one or more display screens, or operation input of the simulated work on the one or more display screens Content from the second input information, the specific tool set based on the first input information, the work target part of the specific process and the reference operation input content of the simulated work, and The presentation content of the training material in the instruction display area and the operation target image display area is changed according to the content of the selection operation or the operation input of the simulated work acquired from the second input information, and the training is performed. It may be configured to have a training material presentation function that allows a person to execute the simulation work.
  • the output information generation device displays the selection operation on the one or more display screens or the one or more display screens for at least a part of the maintenance work.
  • the operation input of the simulated work is acquired from the second input information, and the content of the operation input of the selected operation or the simulated work is selected and operated on the one or more display screens.
  • the work target site of the specific process to be selected on the one or more display screens, and the content of the operation input of the simulated work to be executed on the one or more display screens It may be configured to have a function of evaluating the proficiency level of the simulated work and a function of managing an evaluation result of the proficiency level of the simulated work by the trainee.
  • the degree of proficiency of the trainee in maintenance work can be evaluated and managed, so that the motivation of the trainee can be increased and appropriate instruction can be given to the trainee.
  • the training material presentation method of the present invention presents the training material including the three-dimensional image related to the maintenance work of the target device together with the work space display, and at the same time, inputs the operation of the simulated work corresponding to each stage of the maintenance work.
  • a method of presenting training material according to the method comprising: an information input step (S1, S9) for obtaining information of operation input of the simulated work; a work target part of the maintenance work and the maintenance.
  • a tool used for work is stored as a plurality of operation target images that can be displayed and selected, and a storage step (S2, S3) that stores a procedure of operation input of the simulated work, and a storage step are stored.
  • Each of the display screens has an instruction display area for requesting the selection operation or the operation input, and a specific operation target image corresponding to the display content of the instruction display area among the plurality of operation target images. And an operation target image display area for executably displaying the selection operation or the operation input of the simulated work with respect to.
  • each of the one or more display screens has an instruction display area for requesting a selection operation of a tool or a work target portion or an operation input to the selected work target portion, and the display content thereof. Since it includes an operation target image display area capable of executing a specific operation target image selection operation or simulated work operation input corresponding to, the screen display contents are sequentially changed according to the user's operation input for each screen. It is possible to grasp the work procedure easily and accurately without using an actual machine.
  • a training material presentation system and a training material presentation method that allow a trainee to easily and accurately grasp a work procedure without an actual machine, even if the trainee does not have specialized knowledge about a target device for maintenance work. be able to.
  • FIG. 2 It is a block diagram of the training material presentation system which concerns on embodiment of this invention. It is a block diagram of the operation acquisition terminal shown in FIG. It is a block diagram of the work information recording database shown in FIG. 2 is a configuration diagram of a training material generation server shown in FIG. 1.
  • FIG. It is a block diagram of the template database shown in FIG. It is a block diagram of the training material execution terminal shown in FIG. It is a block diagram of the execution information recording database shown in FIG.
  • FIG. 1 It is a figure which shows the structure (education mode) of the display screen of a training material execution terminal. It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. It is a figure which shows the structure (exercise mode) of the display screen of a training material execution terminal. It is a figure which shows the example of a display (education mode) of the screen of a training material execution terminal. It is a figure which shows the example of a display of the training material execution terminal (exercise mode). It is a figure which shows the example of a display of the training material execution terminal (exercise mode).
  • the training material presentation system 1 is a system for presenting to a trainee a training material for learning the technique of the maintenance work of the target device, especially the work procedure.
  • an exercise bike registered trademark
  • the target device for the maintenance work is not limited to this.
  • the training material presentation system 1 presents a training material including a three-dimensional image (3DCG (Three-dimensional computer graphics) data) related to the maintenance work of the target device 401 together with the work space display, while performing the maintenance work.
  • the presentation content of the training material is changed according to the operation input of the simulated work corresponding to each stage.
  • the training material presentation system 1 includes a motion acquisition terminal 10, a training material generation server 20, and a training material execution terminal 30, which are connected via a communication network 40.
  • the training material presentation system 1 may have a configuration not via the communication network 40, and integrates any two combinations of the motion acquisition terminal 10, the training material generation server 20, and the training material execution terminal 30. It may be realized as one device (or a server or a terminal), or three devices may be integrated into one device.
  • the motion acquisition terminal 10 is a tablet terminal, a personal computer (PC), a smartphone, or the like, and is configured to acquire information for generating (authoring) training material for maintenance work.
  • the operation acquisition terminal 10 is configured to acquire information (referred to as first input information) on the selection operation or operation input by the instructor 3 in the simulated work corresponding to each stage of the maintenance work.
  • the motion acquisition terminal 10 corresponds to the information input device and the output information generation device of the present invention.
  • the "selection operation / operation input" of the simulated work corresponding to the console removal stage of the exercise bike is the selection operation of the tool (tool) to be used, the operation target to use the tool.
  • the tool for example, an operation for selecting a part (for example, a hexagonal bolt), an operation input for moving the console in a specific direction, and removing it.
  • the motion acquisition terminal 10 may acquire information such as an image, a moving image, a sound of the instructor 3 in the simulated work, a movement of the body, and position information of the work place. By analyzing these pieces of information by image processing or the like, it is possible to obtain information on the selection operation / operation input in the simulation work.
  • FIG. 2 is a configuration diagram showing a configuration of the action acquisition terminal 10.
  • the operation acquisition terminal 10 includes a control unit 100, a memory 110 storing various processing programs, a storage 120 storing various databases, a communication unit 101, a sensing unit 102, a recording unit 103, a recording unit 104, A display unit 105, an operation unit 106, and a power supply unit 107 are provided, and these are connected by a connection line (or bus) 130.
  • the control unit 100 may be configured to use a computer having a CPU, a ROM, a RAM, an input / output interface, an external storage device, and the like, and some or all of the functions of the control unit 100 can execute various processing programs stored in the memory 110. It can be realized by executing on a CPU.
  • the communication unit 101 communicates with the training material generation server 20 and the training material execution terminal 30 via the communication network 40.
  • the recording unit 103 is equipped with a microphone and is adapted to record the voice of the instructor 3 during work, the sound emitted from the work target device, the ambient sound, and the like.
  • the recording unit 104 includes a camera or a video camera, and records the work, for example, by reflecting the target device and the arm of the instructor 3.
  • the display unit 105 is, for example, a liquid crystal display, and includes a display unit such as a personal computer (PC) or a tablet terminal.
  • a display unit such as a personal computer (PC) or a tablet terminal.
  • the operation unit 106 includes, for example, a keyboard, a mouse, a touch panel, etc., and can detect an input operation from the instructor 3.
  • the sensing unit 102 includes a ToF (Time Of Flight) sensor, and measures the distance between the work target device and the instructor 3 to detect the spatial positional relationship of the instructor 3 with respect to the work target device. .. Thereby, for example, the contact between the instructor 3 and the work target device can be detected.
  • the sensing unit 102 can detect the position of the motion acquisition terminal 10 by GPS (Global Positioning System).
  • the power supply unit 107 supplies the power necessary to drive the motion acquisition terminal 10.
  • the memory 110 stores various processing programs constituting the operation totalization processing unit 111, the teaching material generation processing unit 112, and the information transmission / reception processing unit 113. By executing these processing programs by the CPU of the control unit 100, respective processing functions can be realized.
  • the operation totalization processing unit 111 acquires information about the operation (selection operation / operation input) of the instructor 3 by the processing program being executed by the CPU of the control unit 100, and totalizes the information. Information on the operation of the instructor 3 is stored in the work information recording database 121 stored in the storage 120.
  • the teaching material generation processing unit 112 is configured to execute processing for creating training material (content) using the 3DCG engine by the processing program being executed by the CPU of the control unit 100.
  • the information transmission / reception processing unit 113 executes a processing program executed by the CPU of the control unit 100, thereby driving and controlling the communication unit 101 to perform processing of transmitting / receiving information to / from the training material generation server 20 or the training material execution terminal 30. It is supposed to do.
  • a work information recording database 121 is stored in the storage 120.
  • FIG. 3 is a configuration diagram showing the configuration of the work information recording database 121.
  • items recorded in each record (row) of the work information recording database 121 are instructor number, work number, procedure number, tool number, work target part, operation, recorded moving image, and recorded voice. Is.
  • the instructor number is an identification number uniquely assigned to each instructor 3.
  • the work number is a number uniquely assigned to identify the work.
  • the procedure number is a number that identifies which of the work procedures for the work identified by the work number.
  • the tool number used is an identification number uniquely assigned to the tool used in the process specified by the work number and the procedure number.
  • the work target site is the target site operated by the tool used.
  • the operation indicates the content of the operation performed by using the tool to be used as the work target portion.
  • the recorded moving image has the name of the moving image file recording the work, and the recorded moving image separately stored in the storage 220 of the training material generation server 20 can be accessed.
  • As the recorded voice a voice file name in which the voice is recorded at the time of work is described, and the recorded voice separately stored in the storage 220 or the like of the training material generation server 20 can be accessed.
  • the recorded moving image and recorded sound are recorded when the instructor 3 performs a selection operation using the operation unit 106 on an image that is selectably or operably displayed on the display unit 105 of the motion acquisition terminal 10. There is no need for moving images or recorded sounds.
  • Record (row) data is added to the work information recording database 121 every time the instructor 3 carries out a work process specified by a work number and a procedure number.
  • Training material generation server 20 Next, the training material generation server 20 will be described.
  • FIG. 4 is a block diagram of the training material generation server 20.
  • the training material generation server 20 includes a control unit 200, a memory 210 storing various processing programs, a storage 220 storing various databases, a communication unit 201, a display unit 205, an operation unit 206, and power supply.
  • the unit 207 is provided, and these are connected by a connection line (or bus) 230.
  • the training material generation server 20 corresponds to the output information generation device of the present invention
  • the storage 220 corresponds to the storage device of the present invention.
  • the control unit 200 may be configured to use a computer having a CPU, a ROM, a RAM, an input / output interface, an external storage device, and the like, and some or all of the functions of the training material generation server 20 are stored in the memory 210. It can be realized by executing various processing programs by the CPU.
  • the communication unit 201 communicates with the motion acquisition terminal 10 and the training material execution terminal 30 via the communication network 40.
  • the display unit 205 is composed of a liquid crystal display or the like, and is capable of displaying the training material, the work video of the instructor 3, the management status of the training material presentation system, and the like.
  • the operation unit 206 includes, for example, a keyboard, a mouse, a touch panel, etc., and can detect an input operation from the operator.
  • the power supply unit 207 is configured to supply the power required to drive the training material generation server 20.
  • the memory 210 stores various processing programs constituting the motion totaling processing unit 211, the teaching material generation processing unit 212, and the information transmission / reception processing unit 213. By executing these processing programs by the CPU of the control unit 200, respective processing functions can be realized.
  • the action totalization processing unit 211 is configured to perform a totalization process of the work information transmitted from the action acquisition terminal 10 by executing the processing program by the CPU of the control unit 200.
  • the teaching material generation processing unit 212 executes the processing program by the CPU of the control unit 200, so that the training material generation processing is performed using the 3DCG engine based on the work information transmitted from the motion acquisition terminal 10. ing.
  • the information transmission / reception processing unit 213 executes a processing program executed by the CPU of the control unit 200, thereby driving and controlling the communication unit 201 to execute a process of transmitting / receiving information to / from the operation acquisition terminal 10 or the training material execution terminal 30. It is like this.
  • a template database 221 and a training material database 222 are stored in the storage 220.
  • FIG. 5 is a configuration diagram showing the configuration of the template database 221. As shown in FIG. 5, the items recorded in each record (row) of the template database 221 are a template number, a progress pattern number, and a screen configuration number.
  • the template number is an identification number uniquely assigned to the template used by the training material.
  • the progress pattern number is an identification number uniquely assigned to a pattern in which the display screen advances in response to an operation input from the trainee 4. For example, when the progress pattern number is 1, the screen configuration displayed on the display unit 205 changes like screen configuration number 1 ⁇ screen configuration number 2 ⁇ screen configuration number 4 every time there is an operation input from the trainee 4. (Progress)
  • the screen configuration number is an identification number uniquely assigned to the screen configuration displayed on the display unit 205.
  • the screen configuration number 1 has an instruction display area 501 at the upper right of the screen, an operation target image display area 502 at the lower right of the screen, and a guide display area 503 at the left of the screen.
  • the layout pattern in which the operation target image 400 showing the target device 401 is displayed in the image display area 502 is shown.
  • the teaching material generation processing unit 212 can specify the progress pattern of the training screen by designating the template number registered in the template database 221.
  • the training material database 222 stores the training material generated by the material generation processing unit 212.
  • the training materials are linked to each other by the material number uniquely assigned to each material, the target device name, the work content, etc., and can be searched and acquired based on the information such as the material number.
  • the training material execution terminal 30 is, for example, a tablet terminal, a PC, or the like.
  • the training material execution terminal 30 corresponds to the information input device and the display output device of the present invention.
  • FIG. 6 is a configuration diagram showing the configuration of the training material execution terminal 30.
  • the training material execution terminal 30 includes a control unit 300, a memory 310 storing various processing programs, a storage 320 storing various databases, a communication unit 301, a display unit 305, an operation unit 306, and power supply.
  • the unit 307 is provided.
  • the control unit 300 may be configured to use a computer having a CPU, a ROM, a RAM, an input / output interface, an external storage device, and the like, and a part or all of the functions of the control unit 300 can execute various processing programs stored in the memory 310. It can be realized by executing on a CPU.
  • the communication unit 301 communicates with the training material generation server 20 and the operation acquisition terminal 10 via the communication network 40.
  • the display unit 305 is, for example, a liquid crystal display, and includes a display unit such as a tablet terminal or a PC.
  • the operation unit 306 includes, for example, a keyboard, a mouse, a touch panel, etc., and can detect an input operation from the trainee 4.
  • the power supply unit 307 supplies the electric power required to drive the training material execution terminal 30.
  • the memory 310 stores various processing programs forming the teaching material execution processing unit 311, the execution data totaling processing unit 312, and the information transmission / reception processing unit 313. By executing these processing programs by the CPU of the control unit 300, each processing function can be realized.
  • the teaching material execution processing unit 311 is configured to execute the processing for executing the training teaching material distributed from the training teaching material generation server 20 by executing the processing program by the CPU of the control unit 300.
  • the implementation of the training material means displaying the display screen included in the training material on the display unit 305 and proceeding with the exercise and education according to the operation input from the trainee 4 to the operation unit 306.
  • the execution data totalization processing unit 312 acquires the information of the selection operation / operation input executed by the trainee 4 by the execution of the processing program by the CPU of the control unit 300 and totals the information.
  • the execution information of the trainee 4 is stored in the execution information recording database 321 stored in the storage 320.
  • the information transmission / reception processing unit 313 executes a processing program executed by the CPU of the control unit 300, thereby driving and controlling the communication unit 301 to execute a process of transmitting / receiving information to / from the training material generation server 20 or the operation acquisition terminal 10. It is like this.
  • An execution information recording database 321 is stored in the storage 320.
  • FIG. 7 is a configuration diagram showing the configuration of the execution information recording database 321.
  • the items recorded in each record (row) of the execution information recording database 321 are the trainee number, the work number, the procedure number, the tool number, the work target part, the operation, the correctness, and the proficiency level. Is.
  • the trainee number is an identification number uniquely assigned to each trainee 4.
  • the work number is a number uniquely assigned to identify the work.
  • the procedure number is a number that identifies which of the work procedures for the work identified by the work number.
  • the tool number used is a number uniquely assigned to the tool used in the process specified by the work number and the procedure number.
  • the work target site is the target site operated by the tool used.
  • the operation indicates the content of the operation performed by using the tool to be used as the work target portion.
  • the correctness indicates whether the work content (tools used, work target parts, operation) by the trainee 4 matches the work content of the instructor 3. For example, a circle indicates a match, and a cross indicates a mismatch.
  • the proficiency level indicates the proficiency level of the work of the trainee 4, and is ranked according to the degree of agreement between the work content (tool used, work target part, operation) by the trainer 4 and the work content of the instructor 3.
  • the proficiency level is represented by, for example, three levels of A, B, and C (A> B> C). In FIG. 7, two of the steps 1 to 3 are correct and one is incorrect, so the proficiency level is intermediate. It is assumed to be B.
  • the record (row) data is added to the execution information recording database 321 every time the trainee 4 performs the work specified by the work number and the procedure number.
  • FIG. 8 is a flowchart of the training material presentation method according to the present embodiment. First, the generation stage of the training material will be described.
  • the instructor 3 performs a simulated work in the motion acquisition terminal 10 and acquires information on the operation input in the simulated work (S1). Specifically, the instructor 3 operates the image of the 3DCG data of the target device operably displayed on the display screen of the motion acquisition terminal 10 using the operation unit 106 such as a mouse, a keyboard, a touch panel, The operation acquisition terminal 10 acquires the information of the operation input.
  • the operation unit 106 such as a mouse, a keyboard, a touch panel
  • the information of the operation input in the simulated work may be acquired by using image processing or the like based on the video image of the simulated work taken by the instructor 3.
  • the training material generation server 20 stores the work target part of the maintenance work and the tools used for the maintenance work in the storage 220 as a plurality of operation target images that can be displayed and selected (S2), and in step S1.
  • the procedure of the operation input of the simulated work is stored in the storage 220 based on the acquired operation input information (S3).
  • the training material generation server 20 generates a display screen of the training material including the first to third display screens so that the display screen can be output based on the stored information stored in steps S2 and S3 (S4).
  • the first display screen (70A in FIG. 16) is a screen that displays a specific tool required for any step of the maintenance work among the plurality of operation target images stored in step S2.
  • the second display screen (70B in FIG. 17) is a screen for displaying the work target part of the specific process among the plurality of operation target images.
  • the third display screen (70C in FIG. 18) is a screen on which the operation input of the simulation work for the work target portion of the specific process can be executed.
  • each of the first display screen, the second display screen, and the third display screen includes the instruction display area (701) and the operation target image display area (702).
  • the instruction display area is a display area for requesting a selection operation or an operation input.
  • the operation target image display area is a display area that displays a specific operation target image corresponding to the display content of the instruction display area among the plurality of operation target images so that a selection operation for the operation target image or an operation input of simulated work can be executed. Is.
  • the trainee 4 inputs the device name and the training menu to be subjected to the maintenance work to the training material execution terminal 30 (S5).
  • the training menu items include, for example, an education mode and an exercise mode.
  • the device name and the training menu information input by the trainee 4 are transmitted to the training material generation server 20 (S6).
  • the training material generation server 20 searches for the corresponding training material (content) based on the device name and the training menu information received from the training material execution terminal 30, and distributes the training material found by the search to the training material execution terminal 30. Yes (S7).
  • the training material execution terminal 30 displays and outputs the first display screen, the second display screen, and the third display screen of the delivered training material on the display screen of the display unit 305 according to predetermined output conditions. (S8).
  • the trainee 4 operates using the operation unit 306 according to the instruction displayed in the instruction display area of the display screen of the training material execution terminal 30, and the training material execution terminal 30 acquires the information of this operation input in the simulated work. Yes (S9).
  • step S10 it is determined whether or not the training or process is completed. If not completed, the process returns to step S8, and if completed, the process proceeds to step S11.
  • step S11 the operation input of the trainee 4 acquired in step S9 is compared with the operation input by the instructor 3 acquired in step 1 of the training material generation step, and the maintenance work proficiency level is determined according to the degree of coincidence. Is evaluated (S11).
  • the proficiency level may be ranked by A, B, C (the proficiency level is A> B> C) or an integer of 1 to 10 (the higher the proficiency level, the higher the proficiency level).
  • the training material execution terminal 30 records and manages the proficiency level of the trainee 4 regarding maintenance work in the execution information recording database 321 of the storage 320 (S12).
  • FIG. 9, FIG. 10 and FIG. 11 explain a part of the training material in the education mode, and are diagrams showing the configuration of the display screen of the display unit 305 of the training material execution terminal 30.
  • the education mode display screen 50A includes an instruction display area 501, an operation target image display area 502, and a guide display area 503.
  • the instruction display area 501 is an area in which the instruction content for the trainee 4 is displayed, and for example, “Please click“ Valve replacement ”” is displayed.
  • the operation target image display area 502 is an area in which an image of the work target device 401 is displayed, and for example, the image of the target device 401 specified by the device name A is displayed.
  • the guide display area 503 is an area for displaying training guide information, and displays information such as device names, training menu modes, work contents, work procedures, and the like.
  • the target device 401 in the operation target image 400 displayed in the operation target image display area 502 is displayed.
  • the display color of the corresponding part (work target part 402) is changed.
  • the display screen 50B of FIG. 10 is displayed, and the instruction display area 501 displays "Click (1) Remove cover".
  • the corresponding work target part 402 (screw) of the target device 401 in the operation target image 400 displayed in the operation target image display area 502 is displayed in a blinking manner.
  • a tool image 403 showing a tool 404 (screwdriver) is displayed near the work target portion 402. Further, it is possible to know that the item for which the operation is completed by clicking in the guide display area 503 is completed by the display such as a color change, underlining, bolding, or the like. In this state, the trainee 4 clicks “(1) Remove cover” in the guide display area 503 with a mouse or the like.
  • FIG. 13, and FIG. 14 are views for explaining a part of the training material in the exercise mode, and are diagrams showing the configuration of the display screen of the display unit 305 of the training material execution terminal 30.
  • the training mode display screen 60A includes an instruction display area 601, an operation target image display area 602, a guide display area 603, and a tool display area 604.
  • the instruction display area 601 is an area in which the instruction content for the trainee 4 is displayed, and for example, “Please select a tool necessary for removing the cover” is displayed.
  • the operation target image display area 602 is an area in which an image of the work target device 401 is displayed, and for example, the image of the target device 401 specified by the device name A is displayed.
  • the guide display area 503 is an area for displaying training guide information, and displays information such as device names, training menu modes, work contents, work procedures, and the like.
  • images 403a, 403b, 403c, 403d, ... Of tools used for maintenance work are displayed in a horizontally scrollable manner.
  • the trainee 4 selects a tool to be used among the tools displayed in the tool display area 604 according to the instruction in the instruction display area 601 with a mouse or the like.
  • the instruction display area 601 displays "Please click the positions of the screws required to remove the cover for the number of screws".
  • an image of the 3DCG model of the target device 401 in which the work target part 402 (screw) is embedded is displayed.
  • the trainee 4 clicks the required number of mouses or the like if the clicked position is the work target part, "correct answer” is displayed, and if incorrect, "wrong answer” is displayed. That is, the process proceeds to the display screen 60C of FIG.
  • the instruction display area 601 displays “Please select the purpose for removing the cover”.
  • Answer texts 606a, 606b, 606c are displayed in the answer display area 605.
  • the trainee 4 clicks and selects the answer sentence that is correct. If the answer sentence selected by the trainee 4 is correct, “correct answer” is displayed, and if incorrect, “incorrect answer” is displayed, and the next display screen is displayed. In this way, the trainee 4 can solve the exercises of the maintenance work only by performing the selection operation according to the instruction displayed in the instruction display area 601.
  • the display screen of the display unit 305 of the training material execution terminal 30 will be described when the target device 401 is an exercise bike as an example.
  • FIG. 15 is a diagram showing a display screen 80 of the training material execution terminal 30 in the education mode.
  • the display screen 80 includes an instruction display area 801, an operation target image display area 802, guide display areas 803 and 805, and a caution display area 804.
  • the work items are listed in the guide display area 803, and the item “(1) Loosen the fixing screw” in “Exchange the drive belt” is selected by the trainee 4.
  • the selected item is highlighted such as changing the character color, adding an underline, and converting to bold.
  • the guide display area 805 is an area for displaying which procedure (work) is being performed in maintenance work, and is displayed as, for example, “procedure: drive belt replacement”.
  • the operation target image display area 802 In the operation target image display area 802, the operation target image 400 showing the exercise bike, which is the target device 401, is displayed.
  • a warning display area 804 is overlapped with the operation target image display area 802, and "Caution: Loosen the screw a little, do not remove it.” And "(1) Loosen the fixing screw” It is designed to inform the trainee 4 of the points.
  • the fixing screw which is the operation target portion, may be blinked, or the display color may be changed to emphasize the display.
  • Instructions for the trainee 4 are displayed in the instruction display area 801, and here, “User operation: Please click after confirming.” Is displayed. The trainee 4 understands the operation target site in “(1) Loosen the fixing screw” in “Exchange of the drive belt” and the precautions of the work, and “(2) Loosen the belt tension pulley” which is the next operation. Click. The trainee 4 clicks on the screen to advance to the next display screen.
  • the display screen of the display unit 305 of the training material execution terminal 30 will be described when the target device 401 is an exercise bike as an example.
  • FIG. 16 is a diagram showing a display screen 70A of the training material execution terminal 30 in the exercise mode.
  • the display screen 70A includes an instruction display area 701, an operation target image display area 702, a guide display area 703, and a tool display area 704.
  • the display screen 70A corresponds to the display screen of the present invention.
  • Work items are listed in the guide display area 703, and the “console replacement” item is selected by the trainee 4.
  • the selected item is highlighted such as changing the character color, adding an underline, and converting to bold.
  • tools (tools) 404a, 404b, 404c, 404d it is like this.
  • FIG. 16 another tool image can be displayed by horizontally scrolling.
  • tool images may be prepared for all tools used for the maintenance work of the stationary bike and displayed in the tool display area 704.
  • “User operation: Please select a tool when removing the console” is displayed as an instruction to the trainee 4.
  • the trainee 4 selects a tool to be used when the console is removed from the tool group displayed in the tool display area 704.
  • the selection can be performed by clicking with a pointing device such as a mouse indicating a selection target.
  • FIG. 17 is a diagram showing a display screen 70B for the next question.
  • an operation target image 400 showing an exercise bike, which is the target device 401 is displayed.
  • an instruction for the trainee 4 is displayed as “user operation: click the positions of the hexagon bolts for removing the console for the number of times”.
  • the trainee 4 clicks and selects all the positions of the hexagon bolts (work target part 402) in the operation target image 400 showing a part of the exercise bike displayed in the operation target image display area 702. If all the positions of the clicked hexagon bolts are correct, "correct answer” is displayed, and if even one is incorrect, "wrong answer” is displayed, and then proceed to the next problem display screen shown in FIG. Is becoming
  • the display screen 70B corresponds to the second display screen of the present invention.
  • FIG. 18 is a diagram showing a display screen 70C of the next problem.
  • the operation target image 400 showing the console part of the exercise bike, which is the target device 401, is displayed. Near the console, three arrows indicating the direction in which the console is moved when it is removed are displayed.
  • an instruction for the trainee 4 is "User operation: When removing the console from the post, first select the direction in which the console is to be moved.”
  • Trainee 4 clicks and selects an arrow, which he / she thinks is correct, out of the arrows indicating the direction to remove the exercise bike console displayed in operation target image display area 702. If the direction indicated by the clicked arrow is correct, "correct answer” is displayed, and if it is incorrect, "incorrect answer” is displayed, and then the screen for the next question is displayed. In this way, the trainee 4 can carry out the exercise of the maintenance work only by performing the selection operation or the operation input according to the instruction displayed in the instruction display area 701.
  • the display screen 70C corresponds to the third display screen of the present invention.
  • the training material database 222 includes the first display screen 70A that displays the specific tool 404 required for any step of the maintenance work among the plurality of operation target images, and the specific step of the plurality of operation target images.
  • the configuration is such that the second display screen 70B that displays the work target site 402 and the third display screen 70C that is a screen on which the operation input 405 of the simulated work for the work target site 402 of the specific process can be executed are generated. Is not limited to this.
  • the training material database 222 is based on the storage information of the storage 220 (storage device), a specific tool 404 required for any process of maintenance work among a plurality of operation target images, and a specific process among the plurality of operation target images. Of one or more display screens capable of displaying or executing any one or more of the work target part 402 of the above and the operation input 405 of the simulated work for the work target part 402 of the specific process are generated so that they can be output respectively. May be
  • a specific tool 404 required for any process of maintenance work among the plurality of operation target images and a work target site 402 of the specific process among the plurality of operation target images are displayed. You may do it.
  • a specific tool 404 required for any process of maintenance work among the plurality of operation target images, and a work target site 402 of the specific process among the plurality of operation target images are displayed.
  • the operation input 405 of the simulated work for the work target portion 402 of the specific process may be displayed so as to be executable. In this case, the number of display screens generated for the specific process may be one.
  • the work target part 402 of the specific process among the plurality of operation target images is displayed on the second display screen 70B, and the operation input 405 of the simulated work for the work target part 402 of the specific process is displayed in an executable manner. May be.
  • the presentation contents of the training material are changed on each of the display screens 70A, 70B, and 70C according to the operation input or selection operation of the simulated work corresponding to each stage of the maintenance work.
  • FIG. 19 is a diagram showing an example of another display screen of the display unit 305 of the training material execution terminal 30.
  • FIG. 19A an image of the assembled exercise bike is displayed on the display unit 305.
  • the trainee 4 performs a predetermined operation using the operation unit 306, for example, an operation of clicking an arbitrary place on the display screen, an exploded view as shown in FIG. 19B is displayed.
  • the exercise bike or its component group may be rotated in the drag direction by dragging the mouse.
  • the exercise bike or its component group can be viewed from any direction, and the structure of the target device can be more easily understood.
  • each of the first to third display screens 70A, 70B, and 70C has a tool (tool) 404 or a work target portion 402.
  • Region 702. With this configuration, the screen display contents are sequentially changed according to the user's operation input on each screen, and the work procedure can be easily and accurately grasped without an actual machine.
  • the motion acquisition terminal 10 can acquire the first input information which is the information of the operation input of the selection operation by the instructor 3 or the simulated work
  • the training material execution terminal. 30 can acquire the second input information which is the information of the selection operation by the trainee 4 or the operation input of the simulated work
  • the training material generating server 20 operates the simulated work based on the first input information.
  • a predetermined output condition corresponding to the input procedure is set.
  • the training teaching material generation server 20 selects the specific tool 404 to be selected on the first display screen 70A based on the first input information by the instructor 3, and the second display.
  • the work target part 402 of the specific process to be selected on the screen 70B and the content of the standard operation input 405 of the simulated work to be executed on the third display screen 70C are set as part of predetermined output conditions. Is becoming With this configuration, it is possible to easily and quickly create an accurate training material or exercise material based on the model operation input of the instructor 3.
  • the training material presentation system 1 has, on the display screen, a specific tool 404 to be selected and operated on the first display screen 70A and a work target part of a specific process to be selected on the second display screen 70B. It has a teaching material presentation function for guiding and displaying 402 and the contents of the reference operation input 405 of the simulated work to be executed on the third display screen 70C. With this configuration, the trainee 4 can easily and accurately grasp the maintenance work procedure without the actual machine by learning based on the guidance display.
  • the training material presentation system 1 requests the instruction display area 701 on the display screen for a selection operation on the first display screen 70A or the second display screen 70B or on the third display screen 70C.
  • the instruction display requesting execution of the operation input of the simulated work is executed, and the input content of the selection operation on the first display screen 70A or the second display screen 70B or the operation input of the simulated work on the third display screen 70C.
  • the specific tool set based on the first input information, the work target part of the specific process, and the content of the reference operation input of the simulated work, and the second input
  • the presentation contents of the training material in the instruction display area 701 and the operation target image display area 702 are changed according to the content of the selection operation or the operation input of the simulated work acquired from the information, and the trainee performs the exercise of the simulated work. It has the function of presenting teaching materials for exercises. With this configuration, the trainee 4 can easily and accurately grasp the maintenance work procedure without an actual machine by executing the exercise.
  • the training material generation server 20 performs the selection operation or the third display on the first display screen 70A to the third display screen 70C for at least a part of the maintenance work.
  • the content of the operation input of the simulated work on the screen 70C is acquired from the second input information by the trainee 4, and the content of the operation input of the selected operation or the simulated work is specified to be selected on the first display screen 70A.
  • the present invention has the effect that the trainee can easily and accurately grasp the work procedure without the actual machine even if the trainee does not have the specialized knowledge of the maintenance target device. It is useful for presentation systems and training materials presentation methods in general.
  • Training Material Presentation System 3 Instructor 4 Trainer 10 Action Acquisition Terminal (Information Input Device) 20 Training material generation server (output information generation device) 30 Training material execution terminal (information input device, display output device) 40 communication network 50A, 50B, 50C, 60A, 60B, 60C display image 70A first display screen 70B second display screen 70C third display screen 100, 200, 300 control unit 101, 201, 301 communication unit 102 sensing unit 103 recording Part 104 Recording part 105, 205, 305 Display part 106, 206, 306 Operation part 107, 207, 307 Power supply part 110, 210, 310 Memory 111, 211 Motion totalization processing part 112, 212 Teaching material generation processing part 113, 213, 313 Information transmission / reception processing unit 120, 220, 320 Storage (storage device) 121 Work Information Recording Database 221 Template Database 222 Training Material Database 311 Teaching Material Execution Processing Unit 312 Execution Data Aggregation Processing Unit 321 Execution Information Recording Database 400 Operation Target Image 401 Target Device 402

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

模擬作業の操作入力の情報を取得する情報入力装置10,30と、保守作業の作業対象部位と使用するツールと操作入力の手順を記憶する記憶装置と、記憶装置の記憶情報に基づいて、保守作業に必要なツール、作業対象部位、および作業対象部位に対する操作入力のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面を生成する出力情報生成装置20と、該1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置30と、を備え、該1又は複数の表示画面の各画面が、選択操作等を要求するインストラクション表示領域と、操作対象画像を選択操作など実行可能に表示する操作対象画像表示領域とを、含んでいる。

Description

訓練教材提示システムおよび訓練教材提示方法
 本発明は、対象機器の保守作業向け訓練教材を訓練者に提示する訓練教材提示システムおよび訓練教材提示方法に関する。
 対象機器の保守作業が実施される前に、作業者に保守作業の手順・内容を理解させるための訓練が行われている。通常、訓練は、インストラクタが対象機器の構造、保守作業の手順・内容などを実際の対象機器を用いて説明する、集合教育の形式で行われている。
 一方、集合教育の代わりに、或いは併用して、コンピュータを利用して作業者を個別に訓練するための訓練システムも既に知られている(例えば、特許文献1参照)。
 特許文献1には、保守作業における準備作業、必要工具、作業内容を提供する図面、画像、テキスト、音声などのマルチメディアデータを編集して教材とする、プラント用の保守教育訓練システムが開示されている。
特開平10-268746号公報
 しかしながら、特許文献1に記載の従来のプラント用の保守教育訓練システムにあっては、保守作業の対象機器について訓練者がある程度の専門知識を有していることを前提としたものであり、訓練者に保守作業の対象機器についての専門知識がなくても保守作業の手順・内容を理解させることに関して、何ら考慮されていなかった。
 本発明は、上述のような課題を解決するためになされたものであり、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができる保守作業訓練システムおよび保守作業訓練方法を提供することを目的とする。
 本発明に係る訓練教材提示システムは、上記目的を達成するため、対象機器(401)の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示システム(1)であって、前記模擬作業の操作入力の情報を取得する情報入力装置(10,30)と、前記保守作業の作業対象部位(402)と前記保守作業に使用するツール(404)とを表示可能かつ選択操作可能な複数の操作対象画像(400,403)として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶装置(220)と、前記記憶装置の記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール(404)、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成装置(20)と、表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置(30)と、を備え、前記1又は複数の表示画面の各画面が、前記選択操作または前記操作入力を要求するインストラクション表示領域(701)と、前記複数の操作対象画像のうち前記インストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する前記選択操作または前記模擬作業の操作入力を実行可能に表示する操作対象画像表示領域(702)とを、含んでいることを特徴としている。
 この構成により、訓練教材提示システムは、1又は複数の表示画面の各画面が、ツールや作業対象部位の選択操作または選択済み作業対象部位への操作入力を要求するインストラクション表示領域と、その表示内容に対応する特定の操作対象画像の選択操作または模擬作業操作入力を実行可能な操作対象画像表示領域とを含んでいるので、各画面に対するユーザの操作入力に応じて画面表示内容が順次変更されていき、作業手順を実機無しで容易・的確に把握することができる。
 また、本発明の訓練教材提示システムでは、前記情報入力装置が、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報である第1の入力情報と、訓練者(4)による前記選択操作もしくは前記模擬作業の操作入力の情報である第2の入力情報とを取得可能であり、前記出力情報生成装置が、前記第1の入力情報に基づいて、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定する構成であってもよい。
 この構成により、インストラクタの模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。
 また、本発明の訓練教材提示システムでは、前記出力情報生成装置が、前記第1の入力情報に基づき、前記1又は複数の表示画面で選択すべき前記特定のツールと、前記1又は複数の表示画面で選択すべき前記特定工程の作業対象部位と、前記1又は複数の表示画面で実行すべき前記模擬作業の基準操作入力の内容とを、前記所定の出力条件の一部として、それぞれ設定する構成であってもよい。
 この構成により、インストラクタの模範操作入力を基に、的確な訓練教材や演習教材を容易・迅速に作成可能となる。
 また、本発明の訓練教材提示システムは、前記1又は複数の表示画面上に、前記1又は複数の表示画面で選択操作すべき前記特定のツールと、前記1又は複数の表示画面で選択すべき前記特定工程の作業対象部位と、前記1又は複数の表示画面で実行すべき前記模擬作業の基準操作入力の内容とを、それぞれ案内表示する教育用教材提示機能を有する構成であってもよい。
 この構成により、訓練者が案内表示に基づき学習することで保守作業手順を実機無しで容易・的確に把握することができる。
 また、本発明の訓練教材提示システムは、前記1又は複数の表示画面上の前記インストラクション表示領域に、前記1又は複数の表示画面での前記選択操作を要求しまたは前記1又は複数の表示画面での前記模擬作業の操作入力の実行を要求するインストラクション表示を実行するとともに、前記1又は複数の表示画面での前記選択操作の入力内容または前記1又は複数の表示画面での前記模擬作業の操作入力の内容を前記第2の入力情報から取得し、前記第1の入力情報に基づいて設定された前記特定のツール、前記特定工程の作業対象部位および前記模擬作業の基準操作入力の内容と、前記第2の入力情報から取得した前記選択操作または前記模擬作業の操作入力の内容とに応じて、前記インストラクション表示領域および前記操作対象画像表示領域とにおける前記訓練教材の提示内容を変化させ、前記訓練者に前記模擬作業の演習を実行させる演習用教材提示機能を有する構成であってもよい。
 この構成により、訓練者が演習を実行することで保守作業手順を実機無しで容易・的確に把握することができる。
 また、本発明の訓練教材提示システムは、前記出力情報生成装置が、前記保守作業の少なくとも一部の段階について、前記1又は複数の表示画面での前記選択操作または前記1又は複数の表示画面での前記模擬作業の操作入力の内容を前記第2の入力情報から取得し、該選択操作または該模擬作業の操作入力の内容を、前記1又は複数の表示画面で選択操作すべき前記特定のツール、前記1又は複数の表示画面で選択すべき前記特定工程の作業対象部位、および前記1又は複数の表示画面で実行すべき前記模擬作業の操作入力の内容と比較して、前記訓練者による前記模擬作業の習熟度合いを評価する機能と、前記訓練者による前記模擬作業の習熟度合いの評価結果を管理する機能とを有する構成であってもよい。
 この構成により、保守作業について訓練者の習熟度合いを評価および管理することができるので、訓練者のモチベーションを高めるとともに、訓練者に対して適切な指導を行うことができる。
 また、本発明の訓練教材提示方法は、対象機器の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示方法であって、前記模擬作業の操作入力の情報を取得する情報入力ステップ(S1,S9)と、前記保守作業の作業対象部位と前記保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶ステップ(S2,S3)と、前記記憶ステップで記憶された記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成ステップ(S4)と、表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力ステップ(S8)と、を備え、前記1又は複数の表示画面の各画面が、前記選択操作または前記操作入力を要求するインストラクション表示領域と、前記複数の操作対象画像のうち前記インストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する前記選択操作または前記模擬作業の操作入力を実行可能に表示する操作対象画像表示領域とを、含んでいることを特徴としている。
 この構成により、訓練教材提示方法は、1又は複数の表示画面の各画面が、ツールや作業対象部位の選択操作または選択済み作業対象部位への操作入力を要求するインストラクション表示領域と、その表示内容に対応する特定の操作対象画像の選択操作または模擬作業操作入力を実行可能な操作対象画像表示領域とを含んでいるので、各画面に対するユーザの操作入力に応じて画面表示内容が順次変更されていき、作業手順を実機無しで容易・的確に把握することとができる。
 本発明によれば、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができる訓練教材提示システムおよび訓練教材提示方法を提供することができる。
本発明の実施形態に係る訓練教材提示システムの構成図である。 図1に示された動作取得端末の構成図である。 図2に示された作業情報記録データベースの構成図である。 図1に示された訓練教材生成サーバの構成図である。 図4に示されたテンプレートデータベースの構成図である。 図1に示された訓練教材実行端末の構成図である。 図6に示された実行情報記録データベースの構成図である。 本実施形態に係る訓練教材提示方法のフローチャートである。 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。 訓練教材実行端末の表示画面の構成(教育モード)を示す図である。 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。 訓練教材実行端末の表示画面の構成(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(教育モード)を示す図である。 訓練教材実行端末の画面の表示例(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(演習モード)を示す図である。 訓練教材実行端末の画面の表示例(機器構造説明用)を示す図である。 訓練教材実行端末の画面の表示例(機器構造説明用)を示す図である。
 以下、本発明の実施形態に係る訓練教材提示システムについて、図面を参照して説明する。
 本実施形態に係る訓練教材提示システム1は、対象機器の保守作業の技術、特に作業手順を習得するための訓練教材を訓練者に提示するためのシステムである。以下では、対象機器の例としてエアロバイク(登録商標)を用いて説明するが、保守作業の対象機器がこれに限定されないことは勿論である。
 本実施形態に係る訓練教材提示システム1は、対象機器401の保守作業に関連する3次元画像(3DCG(Three-dimensional computer graphics)データ)を含む訓練教材を作業空間表示と共に提示する一方、保守作業の各段階に対応する模擬作業の操作入力に応じて訓練教材の提示内容を変化させるようになっている。
 図1は、本発明の実施形態に係る訓練教材提示システム1の構成を示す構成図である。図1に示すように、訓練教材提示システム1は、動作取得端末10と、訓練教材生成サーバ20と、訓練教材実行端末30とを備え、それらが通信ネットワーク40を介して接続されている。
 訓練教材提示システム1は、通信ネットワーク40を介さない構成であってもよく、また、動作取得端末10と訓練教材生成サーバ20と訓練教材実行端末30とのうち任意の2つの組合せを統合して1つの装置(或いはサーバ又は端末)として実現してもよいし、3つを統合して1つの装置としてもよい。
(動作取得端末)
 まず、動作取得端末10について説明する。
 動作取得端末10は、タブレット端末、パーソナルコンピュータ(PC)、スマートフォンなどであり、保守作業の訓練教材を生成(オーサリング)するための情報を取得するようになっている。具体的には、動作取得端末10は、保守作業の各段階に対応する模擬作業における、インストラクタ3による選択操作もしくは操作入力の情報(第1の入力情報という)を取得するようになっている。なお、動作取得端末10は本発明の情報入力装置および出力情報生成装置に対応する。
 例えば、保守作業の対象機器がエアロバイクの場合、エアロバイクのコンソール取り外し段階に対応する模擬作業の「選択操作・操作入力」は、使用するツール(工具)の選択操作、ツールを使用する作業対象部位(例えば六角ボルト)の選択操作、コンソールを特定方向に移動させて取り外す操作入力などである。
 動作取得端末10は、模擬作業におけるインストラクタ3の画像、動画、音声、身体の動き、作業場所の位置情報などの情報を取得するようにしてもよい。これらの情報を画像処理等により分析することにより、模擬作業における選択操作・操作入力の情報を得ることができる。
 図2は、動作取得端末10の構成を示す構成図である。図2に示すように、動作取得端末10は、制御部100、各種処理プログラムを格納したメモリ110、各種データベースを格納したストレージ120、通信部101、センシング部102、録音部103、録画部104、表示部105、操作部106、および電源供給部107を備えており、これらが接続ライン(或いはバス)130により接続されている。
 制御部100は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ110に記憶された各種処理プログラムをCPUで実行することにより実現することができる。
 通信部101は、通信ネットワーク40を介して訓練教材生成サーバ20および訓練教材実行端末30と通信を行うようになっている。
 録音部103は、マイクを備え、作業時のインストラクタ3の音声、作業対象機器から発する音、周囲の音などを録音するようになっている。
 録画部104は、カメラまたはビデオカメラを備え、例えば、作業対象機器とインストラクタ3の腕が映り込むようにして、作業を録画するようになっている。
 表示部105は、例えば液晶ディスプレイであり、パーソナルコンピュータ(PC)、タブレット端末などの表示部で構成される。
 操作部106は、例えばキーボード、マウス、タッチパネルなどを備え、インストラクタ3からの入力操作を検知できるようになっている。
 センシング部102は、ToF(Time Of Flight)センサを備え、作業対象機器とインストラクタ3との距離を測定することにより、作業対象機器に対するインストラクタ3の空間的な位置関係を検知するようになっている。これにより、例えば、インストラクタ3と作業対象機器との接触を検知できるようになっている。また、センシング部102は、GPS(Global Positioning System)により動作取得端末10の位置を検出できるようになっている。
 電源供給部107は、動作取得端末10を駆動するのに必要な電力を供給するようになっている。
 メモリ110には、動作集計処理部111、教材生成処理部112、および情報送受信処理部113を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部100のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。
 動作集計処理部111は、制御部100のCPUにより処理プログラムが実行されることにより、インストラクタ3の動作(選択操作・操作入力)の情報を取得し、集計するようになっている。インストラクタ3の動作の情報は、ストレージ120に格納された作業情報記録データベース121に記憶されるようになっている。
 教材生成処理部112は、制御部100のCPUにより処理プログラムが実行されることにより、3DCGエンジンを用いて訓練教材(コンテンツ)を作成する処理を実行するようになっている。
 情報送受信処理部113は、制御部100のCPUにより処理プログラムが実行されることにより、通信部101を駆動、制御して訓練教材生成サーバ20または訓練教材実行端末30と情報を送受する処理を実行するようになっている。
 ストレージ120には、作業情報記録データベース121が格納されている。
 図3は、作業情報記録データベース121の構成を示す構成図である。図3に示すように、作業情報記録データベース121の各レコード(行)に記録される項目は、インストラクタ番号、作業番号、手順番号、使用工具番号、作業対象部位、操作、記録動画、および記録音声である。
 インストラクタ番号は、各インストラクタ3に一意に割り当てられた識別番号である。作業番号は、作業を特定するために一意に割り当てられた番号である。手順番号は、作業番号で特定される作業についての作業手順のうち、どの手順かを特定する番号である。
 使用工具番号は、作業番号、手順番号により特定される工程に使用された工具に一意に割り当てられた識別番号である。作業対象部位は、使用工具により操作された対象部位である。操作は、使用工具を作業対象部位に用いて行う操作の内容を示している。
 記録動画は、作業を記録した動画ファイル名が記載されており、訓練教材生成サーバ20のストレージ220等に別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時に音声を記録した音声ファイル名が記載されており、訓練教材生成サーバ20のストレージ220等に別途保存された記録音声にアクセスできるようになっている。
 なお、記録動画、記録音声は、インストラクタ3が動作取得端末10の表示部105に選択可能または操作可能に表示された画像に対して、操作部106を用いて選択操作を行う場合には、記録動画、記録音声は無くてもよい。
 作業情報記録データベース121には、インストラクタ3が作業番号と手順番号で特定される作業工程を実施するごとに、レコード(行)データが追加されるようになっている。
(訓練教材生成サーバ)
 次に、訓練教材生成サーバ20について説明する。
 図4は、訓練教材生成サーバ20の構成図である。図4に示すように、訓練教材生成サーバ20は、制御部200、各種処理プログラムを格納したメモリ210、各種データベースを格納したストレージ220、通信部201、表示部205、操作部206、および電源供給部207備えており、これらが接続ライン(或いはバス)230により接続されている。
 なお、訓練教材生成サーバ20が本発明の出力情報生成装置に対応し、ストレージ220が、本発明の記憶装置に対応する。
 制御部200は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、訓練教材生成サーバ20の機能の一部または全部は、メモリ210に記憶された各種処理プログラムをCPUで実行することにより実現することができる。
 通信部201は、通信ネットワーク40を介して動作取得端末10および訓練教材実行端末30と通信を行うようになっている。
 表示部205は、液晶ディスプレイ等で構成され、訓練教材、インストラクタ3の作業映像、訓練教材提示システムの管理状況等を表示できるようになっている。
 操作部206は、例えばキーボード、マウス、タッチパネルなどを備え、操作者からの入力操作を検知できるようになっている。
 電源供給部207は、訓練教材生成サーバ20を駆動するのに必要な電力を供給するようになっている。
 メモリ210には、動作集計処理部211、教材生成処理部212、および情報送受信処理部213を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部200のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。
 動作集計処理部211は、制御部200のCPUにより処理プログラムが実行されることにより、動作取得端末10から送信された作業情報の集計処理を行うようになっている。
 教材生成処理部212は、制御部200のCPUにより処理プログラムが実行されることにより、動作取得端末10から送信された作業情報を基に3DCGエンジンを用いて訓練教材の生成処理を行うようになっている。
 情報送受信処理部213は、制御部200のCPUにより処理プログラムが実行されることにより、通信部201を駆動、制御して動作取得端末10または訓練教材実行端末30と情報を送受する処理を実行するようになっている。
 ストレージ220には、テンプレートデータベース221、および訓練教材データベース222が格納されている。
 図5は、テンプレートデータベース221の構成を示す構成図である。図5に示すように、テンプレートデータベース221の各レコード(行)に記録される項目は、テンプレート番号、進行パターン番号、および画面構成番号である。
 テンプレート番号は、訓練教材が用いるテンプレートに一意に割り当てられた識別番号である。進行パターン番号は、訓練者4からの操作入力により表示画面が進行するパターンに一意的に割り当てられた識別番号である。例えば、進行パターン番号が1の場合、表示部205に表示される画面構成は、訓練者4からの操作入力がある度に画面構成番号1→画面構成番号2→画面構成番号4のように変化(進行)していく。
 画面構成番号は、表示部205に表示される画面構成に一意的に割り当てられた識別番号である。例えば、画面構成番号1は、図9に示すように、画面右上にインストラクション表示領域501と、画面右下に操作対象画像表示領域502と、画面左にガイド表示領域503とを有し、操作対象画像表示領域502に対象機器401を示す操作対象画像400が表示される配置パターンを示す。
 教材生成処理部212は、テンプレートデータベース221に登録されているテンプレート番号を指定することにより、訓練画面の進行パターンを特定することができる。
 新たな進行パターンが考案されるごとに、レコード(行)データが追加されるようになっている。
 訓練教材データベース222は、教材生成処理部212により生成された訓練教材を記憶したものである。訓練教材は、各教材に一意に割り当てられた教材番号、対象機器名、作業内容等によって紐付けられており、教材番号等の情報を基に検索、取得できるようになっている。
(訓練教材実行端末)
 次に訓練教材実行端末30について説明する。
 訓練教材実行端末30は、例えば、タブレット端末、PCなどである。なお、訓練教材実行端末30は本発明の情報入力装置、および表示出力装置に対応する。
 図6は、訓練教材実行端末30の構成を示す構成図である。図6に示すように、訓練教材実行端末30は、制御部300、各種処理プログラムを格納したメモリ310、各種データベースを格納したストレージ320、通信部301、表示部305、操作部306、および電源供給部307を備えている。
 制御部300は、CPU、ROM、RAM、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ310に記憶された各種処理プログラムをCPUで実行することにより実現することができる。
 通信部301は、通信ネットワーク40を介して訓練教材生成サーバ20および動作取得端末10と通信を行うようになっている。
 表示部305は、例えば液晶ディスプレイであり、タブレット端末、PCなどの表示部で構成される。
 操作部306は、例えばキーボード、マウス、タッチパネルなどを備え、訓練者4からの入力操作を検知できるようになっている。
 電源供給部307は、訓練教材実行端末30を駆動するのに必要な電力を供給するようになっている。
 メモリ310には、教材実行処理部311、実行データ集計処理部312、および情報送受信処理部313を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部300のCPUにより実行されることにより、それぞれの処理機能を実現できるようになっている。
 教材実行処理部311は、制御部300のCPUにより処理プログラムが実行されることにより、訓練教材生成サーバ20から配信された訓練教材を実施する処理を実行するようになっている。訓練教材の実施とは、訓練教材に含まれる表示画面を表示部305に表示し、操作部306に対する訓練者4からの操作入力に従って演習や教育を進行していくことである。
 実行データ集計処理部312は、制御部300のCPUにより処理プログラムが実行されることにより、訓練者4が実行した選択操作・操作入力の情報を取得し、集計するようになっている。訓練者4の実行情報は、ストレージ320に格納された実行情報記録データベース321に記憶されるようになっている。
 情報送受信処理部313は、制御部300のCPUにより処理プログラムが実行されることにより、通信部301を駆動、制御して訓練教材生成サーバ20または動作取得端末10と情報を送受する処理を実行するようになっている。
 ストレージ320には、実行情報記録データベース321が格納されている。
 図7は、実行情報記録データベース321の構成を示す構成図である。図7に示すように、実行情報記録データベース321の各レコード(行)に記録される項目は、訓練者番号、作業番号、手順番号、使用工具番号、作業対象部位、操作、正誤、および習熟度である。
 訓練者番号は、各訓練者4に一意に割り当てられた識別番号である。作業番号は、作業を特定するために一意に割り当てられた番号である。手順番号は、作業番号で特定される作業についての作業手順のうち、どの手順かを特定する番号である。
 使用工具番号は、作業番号、手順番号により特定される工程に使用された工具に一意に割り当てられた番号である。作業対象部位は、使用工具により操作された対象部位である。操作は、使用工具を作業対象部位に用いて行う操作の内容を示している。
 正誤は、訓練者4による作業内容(使用工具、作業対象部位、操作)がインストラクタ3の作業内容と一致しているか否かを示す。例えば、○印は一致を示し、×印は不一致を示す。
 習熟度は、訓練者4の作業の習熟度を示し、訓練者4による作業内容(使用工具、作業対象部位、操作)とインストラクタ3の作業内容との一致度合いに応じてランク付けされている。習熟度は例えばA,B,Cの3段階(A>B>C)で表し、図7では、手順1~3のうち2つが正解で、1つが不正解であったので、習熟度は中間のBとされている。
 実行情報記録データベース321には、訓練者4が作業番号と手順番号で特定される作業を行うごとに、レコード(行)データが追加されるようになっている。
 次に、本実施形態に係る訓練教材提示方法を説明する。
 図8は、本実施形態に係る訓練教材提示方法のフローチャートである。まず、訓練教材の生成段階について説明する。
 訓練教材の生成段階では、動作取得端末10において、インストラクタ3が模擬作業を行い、模擬作業における操作入力の情報を取得する(S1)。具体的には、インストラクタ3が、動作取得端末10の表示画面に操作可能に表示された対象機器の3DCGデータの画像に対して、マウス、キーボード、タッチパネルなどの操作部106を用いて操作し、その操作入力の情報を動作取得端末10が取得する。
 模擬作業での操作入力の情報は、インストラクタ3による模擬作業を撮影した映像を基に画像処理等を用いて取得するようにしてもよい。
 一方、訓練教材生成サーバ20は、保守作業の作業対象部位と保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像としてストレージ220に記憶するとともに(S2)、ステップS1で取得した操作入力の情報を基に模擬作業の操作入力の手順をストレージ220に記憶する(S3)。
 次に、訓練教材生成サーバ20が、ステップS2、S3で記憶された記憶情報に基づいて、第1~第3表示画面を含めて訓練教材の表示画面を表示出力可能に生成する(S4)。第1表示画面(図16の70A)は、ステップS2で記憶した複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定のツールを表示する画面である。第2表示画面(図17の70B)は、複数の操作対象画像のうち特定工程の作業対象部位を表示する画面である。第3表示画面(図18の70C)は、特定工程の作業対象部位に対する模擬作業の操作入力を実行可能な画面である。
 上述したように、第1表示画面、第2表示画面および第3表示画面の各画面は、インストラクション表示領域(701)と操作対象画像表示領域(702)とを含んでいる。インストラクション表示領域は、選択操作または操作入力を要求する表示領域である。操作対象画像表示領域は、複数の操作対象画像のうちインストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する選択操作または模擬作業の操作入力を実行可能に表示する表示領域である。
 次に、訓練教材の実行段階について説明する。
 図8に示すように、まず、訓練者4が保守作業の対象となる機器名および訓練メニューを訓練教材実行端末30に入力する(S5)。訓練メニューの項目としては、例えば、教育モード、演習モードがある。
 次に、訓練者4が入力した機器名および訓練メニューの情報が訓練教材生成サーバ20に送信される(S6)。
 訓練教材生成サーバ20は、訓練教材実行端末30から受信した機器名および訓練メニューの情報を基に対応する訓練教材(コンテンツ)を検索し、検索で見つかった訓練教材を訓練教材実行端末30に配信する(S7)。
 次いで、訓練教材実行端末30が、表示部305の表示画面上に、配信された訓練教材の第1表示画面、第2表示画面および第3表示画面の各画面を所定の出力条件に従って表示出力する(S8)。
 訓練者4は、訓練教材実行端末30の表示画面のインストラクション表示領域に表示された指示に従って、操作部306を用いて操作を行い、訓練教材実行端末30は模擬作業におけるこの操作入力の情報を取得する(S9)。
 ステップS10では、訓練或いは工程が終了したか否かを判断し、未終了の場合はステップS8に戻り、終了の場合はステップS11に進む。
 ステップS11では、ステップS9において取得した訓練者4の操作入力と、訓練教材の生成段階のステップ1で取得したインストラクタ3による操作入力とを比較判定し、その一致度合に応じて保守作業の習熟度を評価する(S11)。例えば、習熟度をA,B,C(習熟度はA>B>C)や、1~10の整数(大きいほど習熟度大)によりランク付けしてもよい。
 訓練教材実行端末30は、保守作業についての訓練者4の習熟度をストレージ320の実行情報記録データベース321に記録し管理する(S12)。
 次に、訓練教材実行端末30における訓練教材の実行について、表示部305の表示画面を参照して説明する。
 まず、訓練メニューのモードが「教育」の場合について説明する。
 図9、図10、図11は、教育モードでの訓練教材の一部を説明するものであり、訓練教材実行端末30の表示部305の表示画面の構成を示す図である。図9に示すように、教育モードの表示画面50Aは、インストラクション表示領域501、操作対象画像表示領域502、およびガイド表示領域503を含む。
 インストラクション表示領域501は、訓練者4に対する指示内容が表示される領域であり、例えば、「「バルブ交換」をクリックしてください」などと表示される。
 操作対象画像表示領域502は、作業の対象機器401の画像が表示される領域であり、例えば、機器名Aにより特定される対象機器401の画像が表示される。
 ガイド表示領域503は、訓練のガイド情報を表示する領域であり、機器名、訓練メニューのモード、作業内容、作業手順などの情報が表示される。
 図9の表示画面50Aにおいて、訓練者4がガイド表示領域503に記載された「バルブ交換」をマウスでクリックすると、操作対象画像表示領域502に表示された操作対象画像400内の対象機器401の対応する部品(作業対象部位402)の表示色が変わるようになっている。
 次いで、図10の表示画面50Bに進み、インストラクション表示領域501に「「(1)カバーを外す」をクリックしてください」と表示される。操作対象画像表示領域502に表示された操作対象画像400内の対象機器401の対応する作業対象部位402(ネジ)が点滅して表示される。また、作業対象部位402の近くに工具404(ネジまわし)が映った工具画像403が表示される。また、ガイド表示領域503内でクリックされて操作が完了した項目は、色が変わるか、下線が付されるか、太字にされるかなどの表示により完了したことが分かるようになっている。この状態で、訓練者4は、ガイド表示領域503内の「(1)カバーを外す」をマウス等でクリックする。
 次いで、図11の表示画面50Cに進む。インストラクション表示領域501に「「(3)バルブを外す」をクリックしてください」と表示される。また、操作対象画像表示領域502に重なるようにして注意喚起表示領域504が表示される。注意喚起表示領域504には、「取り外す前の回転方向に注意」などと点滅表示され、バルブを取り外す際の回転方向に注意するよう訓練者4に伝える。訓練者4がガイド表示領域503内の「(3)バルブを外す」をマウス等でクリックすると、さらに次の表示画面に進んでいく。このようにして、訓練者4は、インストラクション表示領域501に表示された指示に従ってガイド表示領域503の項目をクリックしていくだけで、保守作業の手順・内容を理解できるようになっている。
 次に、訓練メニューのモードが「演習」の場合について説明する。
 図12、図13、図14は、演習モードでの訓練教材の一部を説明するものであり、訓練教材実行端末30の表示部305の表示画面の構成を示す図である。図12に示すように、訓練モードの表示画面60Aは、インストラクション表示領域601、操作対象画像表示領域602、ガイド表示領域603、およびツール表示領域604を含む。
 インストラクション表示領域601は、訓練者4に対する指示内容が表示される領域であり、例えば、「カバーの取り外しに必要な工具を選択してください」などと表示される。
 操作対象画像表示領域602は、作業の対象機器401の画像が表示される領域であり、例えば、機器名Aにより特定される対象機器401の画像が表示される。
 ガイド表示領域503は、訓練のガイド情報を表示する領域であり、機器名、訓練メニューのモード、作業内容、作業手順などの情報が表示される。
 ツール表示領域604には、保守作業に使用される工具の画像403a、403b、403c、403d、・・・が横方向にスクロール可能に表示される。訓練者4は、インストラクション表示領域601の指示に従ってツール表示領域604に表示された工具のうち使用する工具をマウス等で選択する。
 訓練者4が選択した工具が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされて、図13の表示画面60Bに進む。不正解の場合は、正解するまで選択操作を繰り返すようにしてもよい。
 図13の表示画面60Bでは、インストラクション表示領域601に、「カバー取り外しに必要なネジの位置を本数分クリックしてください」と表示されている。
 操作対象画像表示領域602には、作業対象部位402(ネジ)が埋め込まれた対象機器401の3DCGモデルの画像が表示される。訓練者4が必要な本数分マウス等でクリックすると、そのクリックした位置が作業対象部位であれば、「正解」の表示がされ、間違っていれば「不正解」の表示がされ、次の問題、すなわち図14の表示画面60Cに進む。
 図14の表示画面60Cでは、インストラクション表示領域601に、「カバー取り外す目的を選択してください」と表示されている。
 解答表示領域605には解答文章606a、606b、606cが表示される。訓練者4は、解答文章のうち正しいと思うものをクリックして選択する。訓練者4が選択した解答文章が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされて、次の表示画面に進んでいく。このようにして、訓練者4は、インストラクション表示領域601に表示された指示に従って選択操作を行っていくだけで、保守作業の演習問題を解答できるようになっている。
 次に、例として対象機器401がエアロバイクの場合について、訓練教材実行端末30の表示部305の表示画面を説明する。
 図15は、教育モードにおいて訓練教材実行端末30の表示画面80を示す図である。図15に示すように、表示画面80は、インストラクション表示領域801、操作対象画像表示領域802、ガイド表示領域803、805、および注意喚起表示領域804を含む。
 ガイド表示領域803には作業項目が列挙されており、「ドライブベルトの交換」における「(1)固定ネジを緩める」項目が訓練者4により選択された状態となっている。選択された項目は、文字色の変更、下線の付加、太字変換などの強調表示が施されている。
 ガイド表示領域805は保守作業のうちどの手順(作業)を行っているのかを表示する領域であり、例えば「手順:ドライブベルトの交換」などと表示される。
 操作対象画像表示領域802には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。また、操作対象画像表示領域802には注意喚起表示領域804が重ねて設けられており、「注意 ネジは少し緩めるだけ、外さないこと。」などと「(1)固定ネジを緩める」作業における注意点を訓練者4に知らせるようになっている。また、操作対象部位である固定ネジを点滅させるか、或いは表示色を変更して強調表示するようにしてもよい。
 インストラクション表示領域801には、訓練者4に対する指示が表示されており、ここでは「ユーザ操作:確認したらクリックしてください。」などと表示される。訓練者4は、「ドライブベルトの交換」における「(1)固定ネジを緩める」作業における操作対象部位や作業の注意点を理解して、次の操作である「(2)ベルトテンションプーリを緩める」をクリックする。訓練者4のクリック操作により、次の表示画面に進むようになっている。
 次に、例として対象機器401がエアロバイクの場合について、訓練教材実行端末30の表示部305の表示画面を説明する。
 図16は、演習モードにおける、訓練教材実行端末30の表示画面70Aを示す図である。図16に示すように、表示画面70Aは、インストラクション表示領域701、操作対象画像表示領域702、ガイド表示領域703、およびツール表示領域704を含む。なお、この表示画面70Aは、本発明の表示画面に対応する。
 ガイド表示領域703には作業項目が列挙されており、「コンソール交換」項目が訓練者4により選択された状態である。選択された項目は、文字色の変更、下線の付加、太字変換などの強調表示が施されている。
 操作対象画像表示領域702には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。
 ツール表示領域704には、複数の工具(ツール)404a、404b、404c、404d、・・・がそれぞれ映った複数の工具(ツール)画像403a、403b、403c、403d、・・・が表示されるようになっている。図16では、4個の工具画像が表示されているが、横スクロールすることにより別の工具画像を表示させることができる。例えば、エアロバイクの保守作業に用いられるすべての工具について工具画像を用意しておき、ツール表示領域704に表示するようにしてもよい。
 インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソール取り外し時の工具を選択してください」と表示されている。訓練者4は、ツール表示領域704に表示された工具群の中から、コンソール取り外し時に使用する工具を選択する。選択は、マウスなどのポインティングデバイスで選択対象を指示した状態でクリック操作することにより行うことができる。
 訓練者4が選択した工具が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされた後、図17に示す次の問題の表示画面に進むようになっている。
 図17は、次の問題の表示画面70Bを示す図である。
 操作対象画像表示領域702には、対象機器401であるエアロバイクが映った操作対象画像400が表示されている。インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソールを外すための六角ボルトの位置を本数分クリックしてください。」と表示されている。
 訓練者4は、操作対象画像表示領域702に表示されたエアロバイクの一部が映った操作対象画像400内の六角ボルト(作業対象部位402)の位置をすべてクリック選択する。クリックした六角ボルトの位置がすべて正しければ「正解」の表示がされ、1つでも間違っていれば「不正解」の表示がされた後、図18に示す次の問題の表示画面に進むようになっている。なお、この表示画面70Bは、本発明の第2表示画面に対応する。
 図18は、次の問題の表示画面70Cを示す図である。
 操作対象画像表示領域702には、対象機器401であるエアロバイクのコンソールの部分が映った操作対象画像400が表示されている。コンソールの近くには、コンソールを取り外すときに移動させる方向を示す矢印が3つ表示されている。インストラクション表示領域701には、訓練者4に対する指示として「ユーザ操作:コンソールをポストから外すとき、最初にコンソールを移動する方向を選択してください。」と表示されている。
 訓練者4は、操作対象画像表示領域702に表示されたエアロバイクのコンソールを取り外す方向を示す矢印のうち、正しいと思った矢印をクリック選択する。クリックした矢印が示す方向が正しければ「正解」の表示がされ、間違っていれば「不正解」の表示がされた後、次の問題の表示画面に進むようになっている。このようにして、訓練者4は、インストラクション表示領域701に表示された指示に従って選択操作或いは操作入力を行っていくだけで、保守作業の演習を行うことができるようになっている。なお、この表示画面70Cは、本発明の第3表示画面に対応する。
 上記説明では、訓練教材データベース222は、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404を表示する第1表示画面70A、複数の操作対象画像のうち特定工程の作業対象部位402を表示する第2表示画面70B、および特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能な画面である第3表示画面70Cを生成する構成であったが、構成はこれに限定されない。訓練教材データベース222は、ストレージ220(記憶装置)の記憶情報に基づいて、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404、複数の操作対象画像のうち特定工程の作業対象部位402、および特定工程の作業対象部位402に対する模擬作業の操作入力405のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面を、それぞれ表示出力可能に生成する構成であってもよい。
 例えば、第1表示画面70Aに、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404と、複数の操作対象画像のうち特定工程の作業対象部位402とを表示するようにしてもよい。また、例えば、第1表示画面70Aに、複数の操作対象画像のうち保守作業のいずれかの工程に必要な特定の工具404と、複数の操作対象画像のうち特定工程の作業対象部位402とを表示するとともに、特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能に表示してもよい。この場合、当該特定工程に対して生成される表示画面は1つであってもよい。また、例えば、第2表示画面70Bに、複数の操作対象画像のうち特定工程の作業対象部位402を表示し、かつ特定工程の作業対象部位402に対する模擬作業の操作入力405を実行可能に表示してもよい。いずれの場合も、各表示画面70A、70B、70Cにおいて、保守作業の各段階に対応する模擬作業の操作入力または選択操作に応じて訓練教材の提示内容が変化していくようになっている。
 図19は、訓練教材実行端末30の表示部305の別の表示画面の例を示す図である。図19Aに示すように、表示部305には組み立てられたエアロバイクの画像が表示されている。訓練者4が操作部306を用いて所定の操作、例えば表示画面内の任意の場所をクリックする操作を行うと、図19Bに示すような分解図が示されるようになっている。
 図19A、図19Bにおいて、マウスをドラッグ操作等することによりエアロバイク或いはその部品群をドラッグ方向に回転できるようにしてもよい。このようにすることで、任意の方向からエアロバイク或いはその部品群を見ることができ、対象機器の構造がより理解しやすくなる。
 次に、作用・効果について説明する。
 上述のように、本実施形態に係る訓練教材提示システム1および訓練教材提示方法は、第1ないし第3表示画面70A、70B、70Cの各画面が、工具(ツール)404や作業対象部位402の選択操作または選択済み作業対象部位への操作入力405を要求するインストラクション表示領域701と、その表示内容に対応する特定の操作対象画像400の選択操作または模擬作業操作入力を実行可能な操作対象画像表示領域702とを含んでいる。この構成により、各画面に対するユーザの操作入力に応じて画面表示内容が順次変更されていき、作業手順を実機無しで容易・的確に把握することができる。
 また、本実施形態に係る訓練教材提示システム1では、動作取得端末10が、インストラクタ3による選択操作もしくは模擬作業の操作入力の情報である第1の入力情報を取得可能であり、訓練教材実行端末30が、訓練者4による選択操作もしくは模擬作業の操作入力の情報である第2の入力情報を取得可能であり、訓練教材生成サーバ20が、第1の入力情報に基づいて、模擬作業の操作入力の手順に対応する所定の出力条件を設定するようになっている。この構成により、インストラクタ3の模範操作入力を基に、所要の保守作業手順に則した訓練教材や演習教材を容易・迅速に作成可能となる。
 また、本実施形態に係る訓練教材提示システム1では、訓練教材生成サーバ20が、インストラクタ3による第1の入力情報に基づき、第1表示画面70Aで選択すべき特定のツール404と、第2表示画面70Bで選択すべき特定工程の作業対象部位402と、第3表示画面70Cで実行すべき模擬作業の基準操作入力405の内容とを、所定の出力条件の一部として、それぞれ設定するようになっている。この構成により、インストラクタ3の模範操作入力を基に、的確な訓練教材や演習教材を容易・迅速に作成可能となる。
 また、本実施形態に係る訓練教材提示システム1は、表示画面上に、第1表示画面70Aで選択操作すべき特定のツール404と、第2表示画面70Bで選択すべき特定工程の作業対象部位402と、第3表示画面70Cで実行すべき模擬作業の基準操作入力405の内容とを、それぞれ案内表示する教育用教材提示機能を有している。この構成により、訓練者4が案内表示に基づき学習することで保守作業手順を実機無しで容易・的確に把握することができる。
 また、本実施形態に係る訓練教材提示システム1は、表示画面上のインストラクション表示領域701に、第1表示画面70Aまたは第2表示画面70Bでの選択操作を要求しまたは第3表示画面70Cでの模擬作業の操作入力の実行を要求するインストラクション表示を実行するとともに、第1表示画面70Aまたは第2表示画面70Bでの選択操作の入力内容または第3表示画面70Cでの模擬作業の操作入力の内容を訓練者4による第2の入力情報から取得し、第1の入力情報に基づいて設定された特定のツール、特定工程の作業対象部位および模擬作業の基準操作入力の内容と、第2の入力情報から取得した選択操作または模擬作業の操作入力の内容とに応じて、インストラクション表示領域701および操作対象画像表示領域702とにおける訓練教材の提示内容を変化させ、訓練者に模擬作業の演習を実行させる演習用教材提示機能を有している。この構成により、訓練者4が演習を実行することで保守作業手順を実機無しで容易・的確に把握することができる。
 また、本実施形態に係る訓練教材提示システム1は、訓練教材生成サーバ20が、保守作業の少なくとも一部の段階について、第1表示画面70Aないし第3表示画面70Cでの選択操作または第3表示画面70Cでの模擬作業の操作入力の内容を訓練者4による第2の入力情報から取得し、該選択操作または該模擬作業の操作入力の内容を、第1表示画面70Aで選択操作すべき特定のツール、第2表示画面70Bで選択すべき特定工程の作業対象部位、および第3表示画面70Cで実行すべき模擬作業の操作入力の内容と比較して、訓練者4による模擬作業の習熟度合いを評価する機能と、訓練者4による模擬作業の習熟度合いの評価結果を管理する機能とを有している。この構成により、保守作業について訓練者の習熟度合いを評価および管理することができるので、訓練者4の訓練に対するモチベーションを高めるとともに、訓練者4に対して適切な指導を行うことができる。
 以上説明したように、本発明は、訓練者に保守作業の対象機器についての専門知識がなくても、作業手順を実機なしで容易・的確に把握させることができるという効果を有し、訓練教材提示システムおよび訓練教材提示方法の全般に有用である。
 1 訓練教材提示システム
 3 インストラクタ
 4 訓練者
 10 動作取得端末(情報入力装置)
 20 訓練教材生成サーバ(出力情報生成装置)
 30 訓練教材実行端末(情報入力装置、表示出力装置)
 40 通信ネットワーク
 50A、50B、50C、60A、60B、60C 表示画像
 70A 第1表示画面
 70B 第2表示画面
 70C 第3表示画面
 100、200、300 制御部
 101、201、301 通信部
 102 センシング部
 103 録音部
 104 録画部
 105、205、305 表示部
 106、206、306 操作部
 107、207、307 電源供給部
 110、210、310 メモリ
 111、211 動作集計処理部
 112、212 教材生成処理部
 113、213、313 情報送受信処理部
 120、220、320 ストレージ(記憶装置)
 121 作業情報記録データベース
 221 テンプレートデータベース
 222 訓練教材データベース
 311 教材実行処理部
 312 実行データ集計処理部
 321 実行情報記録データベース
 400 操作対象画像
 401 対象機器
 402 作業対象部位
 403 工具画像
 404 工具(ツール)
 405a、405b、405c 操作入力
 501、601、701、801 インストラクション表示領域
 502、602、702、802 操作対象画像表示領域
 503、603、703、803、805 ガイド表示領域
 504、804 注意喚起表示領域
 604、704 ツール表示領域
 605 解答表示領域
 606a、606b、606c 解答文章
 

Claims (7)

  1.  対象機器(401)の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示システム(1)であって、
     前記模擬作業の操作入力の情報を取得する情報入力装置(10,30)と、
     前記保守作業の作業対象部位(402)と前記保守作業に使用するツール(404)とを表示可能かつ選択操作可能な複数の操作対象画像(400,403)として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶装置(220)と、
     前記記憶装置の記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール(404)、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成装置(20)と、
     表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力装置(30)と、
    を備え、
     前記1又は複数の表示画面の各画面が、前記選択操作または前記操作入力を要求するインストラクション表示領域(701)と、前記複数の操作対象画像のうち前記インストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する前記選択操作または前記模擬作業の操作入力を実行可能に表示する操作対象画像表示領域(702)とを、含んでいることを特徴とする訓練教材提示システム。
  2.  前記情報入力装置が、インストラクタ(3)による前記選択操作もしくは前記模擬作業の操作入力の情報である第1の入力情報と、訓練者(4)による前記選択操作もしくは前記模擬作業の操作入力の情報である第2の入力情報とを取得可能であり、
     前記出力情報生成装置が、前記第1の入力情報に基づいて、前記模擬作業の操作入力の手順に対応する前記所定の出力条件を設定することを特徴とする請求項1に記載の訓練教材提示システム。
  3.  前記出力情報生成装置が、前記第1の入力情報に基づき、前記1又は複数の表示画面で選択すべき前記特定のツールと、前記1又は複数の表示画面で選択すべき前記特定工程の作業対象部位と、前記1又は複数の表示画面で実行すべき前記模擬作業の基準操作入力の内容とを、前記所定の出力条件の一部として、それぞれ設定することを特徴とする請求項2に記載の訓練教材提示システム。
  4.  前記1又は複数の表示画面上に、前記1又は複数の表示画面で選択操作すべき前記特定のツールと、前記1又は複数の表示画面で選択すべき前記特定工程の作業対象部位と、前記1又は複数の表示画面で実行すべき前記模擬作業の基準操作入力の内容とを、それぞれ案内表示する教育用教材提示機能を有することを特徴とする請求項2または3に記載の訓練教材提示システム。
  5.  前記1又は複数の表示画面上の前記インストラクション表示領域に、前記1又は複数の表示画面での前記選択操作を要求しまたは前記1又は複数の表示画面での前記模擬作業の操作入力の実行を要求するインストラクション表示を実行するとともに、
     前記1又は複数の表示画面での前記選択操作の入力内容または前記1又は複数の表示画面での前記模擬作業の操作入力の内容を前記第2の入力情報から取得し、
     前記第1の入力情報に基づいて設定された前記特定のツール、前記特定工程の作業対象部位および前記模擬作業の基準操作入力の内容と、前記第2の入力情報から取得した前記選択操作または前記模擬作業の操作入力の内容とに応じて、前記インストラクション表示領域および前記操作対象画像表示領域とにおける前記訓練教材の提示内容を変化させ、前記訓練者に前記模擬作業の演習を実行させる演習用教材提示機能を有することを特徴とする請求項2または3に記載の訓練教材提示システム。
  6.  前記出力情報生成装置が、前記保守作業の少なくとも一部の段階について、前記1又は複数の表示画面での前記選択操作または前記1又は複数の表示画面での前記模擬作業の操作入力の内容を前記第2の入力情報から取得し、該選択操作または該模擬作業の操作入力の内容を、前記1又は複数の表示画面で選択操作すべき前記特定のツール、前記1又は複数の表示画面で選択すべき前記特定工程の作業対象部位、および前記1又は複数の表示画面で実行すべき前記模擬作業の操作入力の内容と比較して、前記訓練者による前記模擬作業の習熟度合いを評価する機能と、前記訓練者による前記模擬作業の習熟度合いの評価結果を管理する機能とを有することを特徴とする請求項5に記載の訓練教材提示システム。
  7.  対象機器の保守作業に関連する3次元画像を含む訓練教材を作業空間表示と共に提示する一方、前記保守作業の各段階に対応する模擬作業の操作入力に応じて前記訓練教材の提示内容を変化させる訓練教材提示方法であって、
     前記模擬作業の操作入力の情報を取得する情報入力ステップ(S1,S9)と、
     前記保守作業の作業対象部位と前記保守作業に使用するツールとを表示可能かつ選択操作可能な複数の操作対象画像として記憶するとともに、前記模擬作業の操作入力の手順を記憶する記憶ステップ(S2,S3)と、
     前記記憶ステップで記憶された記憶情報に基づいて、前記複数の操作対象画像のうち前記保守作業のいずれかの工程に必要な特定のツール、前記複数の操作対象画像のうち特定工程の作業対象部位(402)、および前記特定工程の作業対象部位に対する前記模擬作業の操作入力(405)のうちいずれか1つ以上を表示或いは実行可能な1または複数の表示画面(70A,70B,70C)を、それぞれ表示出力可能に生成する出力情報生成ステップ(S4)と、
     表示画面上に、前記1又は複数の表示画面の各画面を所定の出力条件に従って表示出力する表示出力ステップ(S8)と、
    を備え、
     前記1又は複数の表示画面の各画面が、前記選択操作または前記操作入力を要求するインストラクション表示領域と、前記複数の操作対象画像のうち前記インストラクション表示領域の表示内容に対応する特定の操作対象画像を該操作対象画像に対する前記選択操作または前記模擬作業の操作入力を実行可能に表示する操作対象画像表示領域とを、含んでいることを特徴とする訓練教材提示方法。
     
PCT/JP2019/029594 2018-11-20 2019-07-29 訓練教材提示システムおよび訓練教材提示方法 WO2020105221A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310087370.2A CN115841777A (zh) 2018-11-20 2019-07-29 培训教材展示系统以及培训教材展示方法
CN201980045885.8A CN112400197B (zh) 2018-11-20 2019-07-29 培训教材展示系统以及培训教材展示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018217702A JP7014698B2 (ja) 2018-11-20 2018-11-20 訓練教材提示システムおよび訓練教材提示方法
JP2018-217702 2018-11-20

Publications (1)

Publication Number Publication Date
WO2020105221A1 true WO2020105221A1 (ja) 2020-05-28

Family

ID=70773987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029594 WO2020105221A1 (ja) 2018-11-20 2019-07-29 訓練教材提示システムおよび訓練教材提示方法

Country Status (3)

Country Link
JP (2) JP7014698B2 (ja)
CN (2) CN115841777A (ja)
WO (1) WO2020105221A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065524A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 智能工作台管理系统、智能工作台、方法、设备及介质
CN117745496B (zh) * 2024-02-19 2024-05-31 成都运达科技股份有限公司 一种基于混合现实技术的智能考评方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120270196A1 (en) * 2011-04-21 2012-10-25 Applied Computer Education Services, Inc. Systems and methods for virtual wound modules
US20150243013A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10293525A (ja) * 1996-12-24 1998-11-04 Toko Seiki Kk 知的教育訓練方法及びそのシステム
JP2001318584A (ja) * 2000-05-11 2001-11-16 Mitsubishi Electric Corp 擬似修理装置および記録媒体
JP2002073600A (ja) * 2000-09-01 2002-03-12 Shimadzu Corp ガイド記憶学習用ソフトウエアを記憶した記憶装置
JP2002304112A (ja) * 2001-04-06 2002-10-18 Mitsubishi Heavy Ind Ltd プラントデザイン装置、プラントデザイン方法、および、プログラム
US20030001903A1 (en) 2001-06-08 2003-01-02 Michael Duffy Software-based system for educational tools
JP2006099558A (ja) * 2004-09-30 2006-04-13 Seiko Epson Corp 生産ナビゲーションシステムおよびナビゲーション端末
JP2006139163A (ja) * 2004-11-15 2006-06-01 Osaka Gas Co Ltd 保安作業訓練システム
JP5803861B2 (ja) * 2012-03-19 2015-11-04 カシオ計算機株式会社 学習装置及び学習プログラム
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
JP6159217B2 (ja) * 2013-10-11 2017-07-05 三菱重工業株式会社 プラント運転訓練装置、制御方法、プログラム及びプラント運転訓練システム
JP6272249B2 (ja) * 2015-02-09 2018-01-31 株式会社日立製作所 組立ナビゲーションシステム及び組立ナビゲーション方法
JP6736298B2 (ja) * 2016-01-25 2020-08-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106157725A (zh) * 2016-08-31 2016-11-23 安徽伟合电子科技有限公司 一种虚拟仿真教学训练系统
CN106571078A (zh) * 2016-09-23 2017-04-19 江西洪都航空工业集团有限责任公司 一种飞机地勤维护虚拟训练装置
CN107886453A (zh) * 2017-12-26 2018-04-06 广州水镜信息科技有限公司 教育培训管理系统及教育培训方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120270196A1 (en) * 2011-04-21 2012-10-25 Applied Computer Education Services, Inc. Systems and methods for virtual wound modules
US20150243013A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Tracking objects during processes

Also Published As

Publication number Publication date
JP7393445B2 (ja) 2023-12-06
CN112400197B (zh) 2023-04-14
CN112400197A (zh) 2021-02-23
JP2020086041A (ja) 2020-06-04
CN115841777A (zh) 2023-03-24
JP2022064925A (ja) 2022-04-26
JP7014698B2 (ja) 2022-02-01

Similar Documents

Publication Publication Date Title
Carruth Virtual reality for education and workforce training
Lampen et al. Combining simulation and augmented reality methods for enhanced worker assistance in manual assembly
Fiorentino et al. Augmented reality on large screen for interactive maintenance instructions
Chan et al. VR and AR virtual welding for psychomotor skills: a systematic review
Webel et al. An augmented reality training platform for assembly and maintenance skills
Brough et al. Towards the development of a virtual environment-based training system for mechanical assembly operations
JP7393445B2 (ja) 訓練教材提示システムおよび訓練教材提示方法
US20030228560A1 (en) Applied instructional system
WO1998052175A2 (en) Machining tool operator training system
US10198957B2 (en) Computer-based virtual trainer
Ruipérez-Valiente et al. Ideating and developing a visualization dashboard to support teachers using educational games in the classroom
EP2689407A1 (en) Learning behavior optimization protocol
Webel et al. Design recommendations for augmented reality based training of maintenance skills
Wang et al. Multi-person collaborative augmented reality assembly process evaluation system based on hololens
Ikeda et al. An AR debugging tool for robotics programmers
Heibel et al. Virtual reality in welding training and education: A literature review
CN110942519B (zh) 一种计算机组装虚拟实验系统及其实现方法
WO2016151533A4 (fr) Procédé d'évaluation progressive de capacité à executer une tache, et plateforme de mise en oeuvre
Vahdatikhaki et al. Feedback support system for training of excavator operators
Grandi et al. A training methodology based on virtual reality to promote the learning-by-doing approach
Hsieh Lessons learned from remote access 3-D printing machine for manufacturing education
JP7012632B2 (ja) 訓練教材提示システムおよび訓練教材提示方法
Huber et al. Tool-supported teaching of UML diagrams in software engineering education-A systematic literature review
KR20220053939A (ko) 가상현실기반 항공정비 훈련용 시스템을 활용한 훈련 방법
CN108416496A (zh) 基于数据分析的教学评估方法、存储介质及服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19888106

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19888106

Country of ref document: EP

Kind code of ref document: A1