WO2020003547A1 - コンテンツ提示システムおよびコンテンツ提示方法 - Google Patents

コンテンツ提示システムおよびコンテンツ提示方法 Download PDF

Info

Publication number
WO2020003547A1
WO2020003547A1 PCT/JP2018/031354 JP2018031354W WO2020003547A1 WO 2020003547 A1 WO2020003547 A1 WO 2020003547A1 JP 2018031354 W JP2018031354 W JP 2018031354W WO 2020003547 A1 WO2020003547 A1 WO 2020003547A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
content
worker
training
information
Prior art date
Application number
PCT/JP2018/031354
Other languages
English (en)
French (fr)
Inventor
慎太郎 土屋
貴之 藤原
健太郎 大西
克朗 菊地
賀仁 成田
Original Assignee
株式会社日立システムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立システムズ filed Critical 株式会社日立システムズ
Priority to EP18924092.2A priority Critical patent/EP3637389A4/en
Priority to US16/626,031 priority patent/US11367365B2/en
Publication of WO2020003547A1 publication Critical patent/WO2020003547A1/ja
Priority to US17/747,560 priority patent/US11817003B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0069—Engineering, e.g. mechanical, electrical design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a content presentation system and a content presentation method for presenting content to workers and trainees on site.
  • on-site work Before workers perform on-site maintenance and inspection work (on-site work), training is conducted to allow them to acquire required skills and knowledge. Usually, the training is performed in the form of group training in which the instructor explains the danger spots and points to be checked in the field work. In the training, the instructor may explain using the equipment to be actually worked.
  • Patent Document 1 discloses a system that comprehensively supports on-site operations, dealing with abnormal situations, and training on-site workers. Specifically, on-site work and training are performed using a database including information for supporting on-site work and information on abnormal situations assumed for on-site work.
  • Unforeseen accidents may occur and on-site work may fail at site work.
  • the accidents and work failures that occurred on the site are fed back to the training site in reports and the like.
  • the information on accidents and failures described in the report is stored in a database so that workers can use it.
  • the present invention has been made in order to solve the above-described problems, and a content presentation system that can efficiently reflect a failure or the like that occurred in a field work in training content and that facilitates maintenance of training content. And a content presentation method.
  • a content presentation system presents training content based on three-dimensional shape information of a work target device and a work procedure to a trainee (3), and provides a three-dimensional shape of the work target device.
  • a content presentation system (1) for presenting a work procedure using augmented reality based on information, wherein the training content including three-dimensional shape information of the work target device and an evaluation criterion for a work operation of the work procedure
  • a first content output device (430) having a storage unit for storing information and an output unit for outputting the training content so that it can be presented to the trainee, and extended based on the three-dimensional shape information of the work target device
  • a second content output device (330) showing a work procedure based on reality; and a three-dimensional movement during the work of the worker (2) at the site is at least measured with physical movement information.
  • a motion measuring device (117) that obtains the work operation; a determination device (335) that determines success or failure of the work based on evaluation criterion information for evaluating the work operation based on the measurement information of the work operation; And a content creation device (340) that creates and updates the training content based on the measurement information of the determination device and the determination result of the determination device.
  • a predetermined body movement of the worker it is determined whether or not the work has failed based on the measurement information of the work movement at a specific stage during the work of the model worker until the body movement is reached.
  • the content creation device or the first content output device may be configured to suppress the cause of the failure when the determination result of the determination device is determined to be a failure of the work. It is characterized in that to update the training content.
  • the motion measuring device in the motion measuring device, the three-dimensional motion during the work of the worker at the site is obtained as at least measurement information of the body motion, and the determination device is configured to perform the operation based on the measurement information of the work motion. It is determined whether the work has failed based on the evaluation criterion information for evaluating the work operation. Then, when it is determined that the work has failed, the content creation device updates the training content so as to suppress the cause of the failure. That is, the work site and the training can be efficiently and organically linked.
  • the determination device performs the work at a specific stage during the work of the model worker up to the body motion. It is determined whether the operation has failed based on the measurement information of the operation. Then, the content creation device or the first content output device updates the training content so as to suppress the cause of the failure when the determination result of the determination device is that the operation has failed.
  • failures failures
  • the training content is updated to suppress the cause of the failure when the determination result is determined to be the failure of the work. Failures (hereinafter collectively referred to as failures) can be efficiently reflected in training contents used in training education, and maintenance of training contents becomes easy.
  • the determination device compares measurement information of the work according to the work procedure of the worker from the motion measurement device with measurement information of the work by the model worker.
  • the content creation device or the first content output device updates the training content so as to increase the consistency according to the determination result of the determination device. It may be.
  • the training content can be updated so as to effectively teach the trainee the work operation of the model worker.
  • the determination device when it is determined that the degree of consistency is equal to or less than a predetermined value for the work operation of the specific stage, the determination of the worker corresponding to the work operation of the specific stage
  • the determination as to whether or not the work has failed may be made based on measurement information including the three-dimensional displacement of the specific part and the work time.
  • the content presentation system of the present invention further includes a worker terminal (10) used by the worker and a management server (30, 40), wherein the movement measuring device is provided in the worker terminal,
  • the content output device, the second content output device, the determination device, and the content creation device may be configured by the management server connected to the worker terminal via a network.
  • the content presentation method of the present invention presents training content based on the three-dimensional shape information of the work target device and the work procedure to the trainee (3), and uses the augmented reality based on the three-dimensional shape information of the work target device.
  • a content creation step wherein in the determination step, when a predetermined body movement of the worker is detected based on the measurement information acquired in the movement measurement step, a model work up to the body movement It is determined whether or not the work has failed based on the measurement information of the work operation at a specific stage during the work of the user, and in the content creation step or the content output step, the determination result in the determination step indicates that the work has failed.
  • the training content is determined to be, the training content is updated so as to suppress the cause of the failure.
  • the training content is updated so as to suppress the cause of the failure.
  • Etc. can be efficiently reflected in training content used in training education, and maintenance of training content is also facilitated.
  • the present invention it is possible to provide a content presentation system that can efficiently reflect a failure that has occurred in on-site work in training content and that can easily maintain training content.
  • FIG. 1 is a configuration diagram of a content presentation system according to an embodiment of the present invention.
  • 1 is a configuration diagram of a content presentation system connected to a network according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of a worker terminal shown in FIG. 1. It is a block diagram of the trainee terminal shown in FIG.
  • FIG. 2 is a configuration diagram of a system management server shown in FIG. 1.
  • FIG. 2 is a configuration diagram of a training content management server shown in FIG. 1.
  • FIG. 4 is a configuration diagram of a work behavior information recording database shown in FIG. 3.
  • FIG. 4 is a configuration diagram of a worker information recording database shown in FIG. 3.
  • FIG. 4 is a configuration diagram of a work target device information recording database shown in FIG. 3.
  • FIG. 3 is a configuration diagram of a work target device information recording database shown in FIG. 3.
  • FIG. 5 is a configuration diagram of a training terminal database shown in FIG. 4.
  • FIG. 6 is a configuration diagram of a work analysis result database shown in FIG. 5.
  • FIG. 7 is a configuration diagram of a training content database shown in FIG. 6.
  • FIG. 3 is a sequence diagram of a site work performed using the content presentation system according to the embodiment of the present invention. It is a sequence diagram of the work analysis process performed using the content presentation system according to the embodiment of the present invention. It is a sequence diagram of the training performed using the content presentation system concerning embodiment of this invention.
  • 5 is a flowchart illustrating a content presentation method according to an embodiment of the present invention. It is an explanatory view showing a display example (at the time of normal) of a screen of an operator terminal.
  • the content presentation system 1 presents necessary information such as a work procedure to a worker 2 performing work such as maintenance and inspection of equipment on site and a trainee 3 at a training site, and also provides the trainee 3 with the necessary information. It is a system that presents training content.
  • the content presentation system 1 presents the trainer 3 with training content based on the three-dimensional shape information of the device (work target device) 4 on which work is to be performed and the work procedure. Further, the content presentation system 1 presents the work procedure to the worker 2 and the trainee 3 on the site using the augmented reality based on the three-dimensional shape information of the work target device 4 and the corresponding training target device 5. It has become.
  • FIG. 1 is a configuration diagram showing a configuration of a content presentation system 1 according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of the content presentation system 1 connected to the network.
  • the content presentation system 1 includes an operator terminal 10, a trainer terminal 20, a system management server 30, and a training content management server 40. Connected through.
  • the content presentation system 1 may have a configuration not via a network, and the system management server 30 and the training content management server 40 may be integrated to form one management server. May be.
  • the worker terminal 10 is, for example, a head-mounted display (HMD), a smartphone, a tablet terminal, or the like. Further, the worker terminal 10 acquires biological information from a biological sensor attached to the worker 2. Examples of the biological information include a heart rate, blood pressure, body temperature, and perspiration.
  • HMD head-mounted display
  • the worker terminal 10 acquires biological information from a biological sensor attached to the worker 2. Examples of the biological information include a heart rate, blood pressure, body temperature, and perspiration.
  • FIG. 3 is a configuration diagram illustrating a configuration of the worker terminal 10.
  • the worker terminal 10 includes a control unit 100, a memory 101 storing various processing programs, a terminal internal storage 102 storing various databases, a communication unit 107, a recording unit 106, a recording unit 105, and a display unit. 103, an audio output unit 104, an authentication unit 108, a space recognition unit 109, a position detection unit 110, an external device connection unit 111, and a power supply unit 112.
  • the control unit 100 may be configured to use a computer having a CPU, a ROM, a RAM, an input / output interface, an external storage device, and the like, and some or all of the functions may be implemented by various processing programs stored in the memory 101. It can be realized by executing by a CPU.
  • the communication unit 107 communicates with the system management server 30 and the training content management server 40 via a network.
  • the recording unit 106 includes a microphone, and records a voice of the worker 2 at the time of work, a sound emitted from the work target device 4, a surrounding sound, and the like.
  • the recording unit 105 includes a camera or a video camera, and records the work so that the work target device 4 and the arm of the worker 2 are reflected, for example.
  • the display unit 103 displays work content including a work procedure using augmented reality technology, and is specifically configured by a display unit such as a head-mounted display (HMD), a smartphone, and a tablet terminal.
  • a display unit such as a head-mounted display (HMD), a smartphone, and a tablet terminal.
  • HMD head-mounted display
  • smartphone a smartphone
  • tablet terminal a tablet terminal
  • the audio output unit 104 includes a speaker. For example, when the work content including the work procedure is displayed on the display unit 103 using the augmented reality technology, or independently, the work procedure is performed to the worker 2 by voice. And alert by voice.
  • the authentication unit 108 checks the use qualification of the worker 2 by using a known authentication method, and only the worker 2 having the use qualification can use the worker terminal 10.
  • the space recognition unit 109 includes a ToF (Time ⁇ Of ⁇ Flight) sensor, and detects a spatial positional relationship of the worker 2 with respect to the work target device 4 by measuring a distance between the work target device 4 and the worker 2. It has become. Thereby, for example, contact between the worker 2 and the work target device 4 can be detected.
  • ToF Time ⁇ Of ⁇ Flight
  • the position detection unit 110 can detect the position of the worker terminal 10 by GPS (Global Positioning System).
  • GPS Global Positioning System
  • the external device connection unit 111 is connected to external devices such as a monitor device, a printer device, and an external storage device as needed.
  • the power supply unit 112 supplies power necessary to drive the worker terminal 10.
  • a video recording processing unit 113 In the memory 101, a video recording processing unit 113, an audio recording processing unit 114, an information superimposition processing unit 115, an information transmission / reception processing unit 116, a three-dimensional motion detection processing unit 117, a position information processing unit 118, a space recognition processing unit 119, an image
  • processing programs constituting the recognition unit 121, the user biometric information acquisition unit 122, and the site determination unit 127 are stored. These processing programs are executed by the CPU of the control unit 100 so that the respective processing functions can be realized.
  • the image recording processing unit 113 drives and controls the recording unit 105 to execute a process of recording (recording) a work image by executing a processing program by the CPU of the control unit 100.
  • the sound recording processing unit 114 drives and controls the recording unit 106 to execute a process of recording a working sound by executing a processing program by the CPU of the control unit 100.
  • the information superimposition processing unit 115 is configured to execute, for example, a process of superimposing and displaying work procedure information on an augmented reality screen by executing a processing program by the CPU of the control unit 100.
  • the information transmission / reception processing unit 116 executes processing for driving and controlling the communication unit 107 to transmit / receive information to / from the system management server 30 or the training content management server 40 by executing a processing program by the CPU of the control unit 100. It has become. If the biosensor attached to the worker 2 has a wireless communication function and can transmit biometric information, the information transmission / reception processing unit 116 drives and controls the communication unit 107 to control the work transmitted from the biosensor. The biometric information of the person 2 may be received.
  • the three-dimensional motion detection processing unit 117 When the processing program is executed by the CPU of the control unit 100, the three-dimensional motion detection processing unit 117 performs work on the site based on the work video, the image recognition result, the space recognition result, the three-dimensional shape information of the work target device 4, and the like. The processing for measuring and detecting the three-dimensional movement during the work of the user 2 is executed.
  • the three-dimensional motion can be detected, for example, as information of a change in position in a three-dimensional space with respect to a feature point (joint, fingertip, or the like) of a specific part (arm, wrist, or the like) of the body of the worker 2.
  • the three-dimensional motion detection processing unit 117 corresponds to the motion measuring device of the present invention.
  • the position information processing section 118 drives and controls the position detection section 110 to execute processing for detecting the position of the worker terminal 10 by executing a processing program by the CPU of the control section 100. .
  • the space recognition processing unit 119 drives and controls the space recognition unit 109 to execute a process of measuring the distance between the work target device 4 and the worker 2. It has become.
  • the image recognizing unit 121 executes an image recognizing process on the image recorded by the recording unit 105 by executing the processing program by the CPU of the control unit 100, and performs the work target device 4 and the worker 2 (arm, And the work tool 6 can be recognized.
  • the user biometric information acquisition unit 122 can acquire biometric information of the worker 2 from a biometric sensor attached to the worker 2 by executing a processing program by the CPU of the control unit 100.
  • the site determination unit 127 determines whether the three-dimensional operation of the worker 2 at the site deviates from the reference three-dimensional operation in the corresponding procedure by executing the processing program by the CPU of the control unit 100. It is determined whether or not this is the case.
  • the reference three-dimensional operation is a three-dimensional operation when the model worker performs a work, and measures and acquires information in advance. Further, when the site determination unit 127 determines that the deviation of the three-dimensional operation of the worker 2 in the site work is larger than the reference three-dimensional operation, the display unit 103 of the worker terminal 10 displays an alert. You may do so.
  • the terminal internal storage 102 stores a work behavior information record database 123, a worker information record database 124, and a work target device information record database 125.
  • FIG. 7 is a configuration diagram showing the configuration of the work behavior information recording database 123.
  • items recorded in each record (row) of the work behavior information recording database 123 include worker No., observation part (specific part), work No., procedure No., normal operation No., recording and recording, The recorded voice, the degree of operation consistency, the change of the work position, and the work time.
  • the worker No. is an identification number uniquely assigned to each worker.
  • the observation site is, for example, an arm, a wrist, a foot, or the like of the worker 2, and the site to be observed is determined according to the work content.
  • the work No. is a number uniquely assigned to specify the work.
  • the procedure No. is a number that specifies which of the work procedures for the work specified by the work No.
  • the normal operation No. is a number uniquely assigned to specify a normal operation (reference operation).
  • the recorded moving image describes the name of the moving image file in which the work is recorded, and allows access to the recorded moving image separately stored in the storage 302 or the like of the system management server 30.
  • the recording sound describes the name of the sound file in which the sound was recorded at the time of work, and allows access to the recording sound separately stored in the storage 302 of the system management server 30 or the like.
  • the degree of operation matching is an index indicating how much the three-dimensional operation of the model worker matches the three-dimensional reference operation (normal operation) with respect to the three-dimensional operation.
  • the work position shift is obtained by recording the position shift of the feature point of the observation site with respect to the motion of the target having a low degree of motion consistency. For example, in FIG. 7, the third record (row) and the seventh record (row) from the top have the operation consistency of 20% and 60%, respectively, which is lower than the others. In such a case, the position shift of the characteristic point of the arm of the worker 2 as the observation site is recorded.
  • the work time is the time required for the work.
  • FIG. 8 is a configuration diagram showing the configuration of the worker information recording database 124.
  • items recorded in each record (row) of the worker information recording database 124 are a worker No., a work No., a procedure No., a heart rate, a blood pressure, a body temperature, a sweat, and a work time.
  • the worker No., the work No., the procedure No., and the work time are the same as those of the work behavior information record database 123.
  • the heart rate, blood pressure, body temperature, and perspiration are information acquired from a biological sensor attached to the worker 2.
  • the work in which an accident or failure has occurred can be extracted.
  • the third record (row) from the top in FIG. 8 has more heart rate, blood pressure, and sweating than others.
  • the seventh record (row) from the top has a lower body temperature than others. From these information, it is possible to estimate the work and the cause (whether it is an artificial cause or not) in which the accident or the failure has occurred.
  • the record (row) data is added to the worker information record database 124 every time the worker 2 performs the work specified by the work No. and the procedure No.
  • FIG. 9 is a configuration diagram showing a configuration of the work target device information recording database 125.
  • items recorded in each record (row) of the work target device information recording database 125 include a worker No., an observation device, a work No., a procedure No., a normal operation No., a recording moving image, a recording sound, The operation consistency degree and the model.
  • the worker No., the work No., the procedure No., the normal operation No., the recorded moving image, the recorded sound, and the degree of operation consistency are the same as those of the work behavior information recording database 123.
  • Observation device indicates a device to be worked or a device to be observed (for example, a screw, a wire, a cover, a handle, a keyboard, etc.) specified by the procedure No. of the work No.
  • a 3D model file name including three-dimensional shape information of the work target device 4 is described, and a 3D model file separately stored in the terminal internal storage 102 or the like can be accessed.
  • the 3D model file may be stored in the storage 302 of the system management server 30 or the training content storage 402 of the training content management server 40, or may be stored in one of the storages and transferred when used in another. You may do so.
  • Each record (row) of the work object device information recording database 125 stores information acquired by the worker terminal 10.
  • Each record (row) of the work target device information recording database 125 also stores information to be delivered to the display unit 103 of the worker terminal 10 or the like.
  • the record (row) data is added to the work target device information recording database 125 every time the worker 2 performs the work specified by the work No. and the procedure No.
  • the trainee terminal 20 is, for example, a head-mounted display (HMD), a smartphone, a tablet terminal, or the like. Further, the trainee terminal 20 acquires the biological information of the trainee 3 from the biological sensor attached to the trainee 3. Examples of the biological information include a heart rate, blood pressure, body temperature, and perspiration.
  • HMD head-mounted display
  • the trainee terminal 20 acquires the biological information of the trainee 3 from the biological sensor attached to the trainee 3. Examples of the biological information include a heart rate, blood pressure, body temperature, and perspiration.
  • FIG. 4 is a configuration diagram illustrating a configuration of the trainee terminal 20.
  • the trainee terminal 20 includes a control unit 200, a memory 201 storing various processing programs, a training content storage 202 storing various databases, a communication unit 207, a recording unit 206, a recording unit 205, and a display. It includes a unit 203, an audio output unit 204, an authentication unit 208, a space recognition unit 209, a position detection unit 210, an external device connection unit 211, and a power supply unit 212.
  • the unit 210, the external device connection unit 211, and the power supply unit 212 have the same functions as the corresponding components of the worker terminal 10, and thus a detailed description will be omitted.
  • the memory 201 includes a video recording processing unit 213, an audio recording processing unit 214, an information superimposition processing unit 215, an information transmission / reception processing unit 216, a three-dimensional motion detection processing unit 217, a position information processing unit 218, a space recognition processing unit 219, and an image.
  • Various processing programs constituting the recognition unit 221, the user biometric information acquisition unit 222, and the site determination unit 227 are stored. These processing programs are executed by the CPU of the control unit 200 so that the respective processing functions can be realized.
  • the above-mentioned processing program realizes the same function as the corresponding processing program of the worker terminal 10, and thus the detailed description is omitted.
  • the training content storage 202 includes a training action information recording database 223, a trainee information recording database 224, a training target device information recording database 225, and a training terminal database 226.
  • the training action information record database 223, the trainee information record database 224, and the training target device information record database 225 are the same as the corresponding database structure of the worker terminal 10 except that the worker is replaced by the trainee. Detailed description is omitted.
  • FIG. 10 is a configuration diagram showing the configuration of the training terminal database 226.
  • items recorded in each record (row) of the training terminal database 226 include an operator No, a target device, a target part, a procedure No, a display specification definition No, a display content, a work video, and a work voice. It is.
  • Work No. is a number uniquely assigned to identify a work.
  • the target device indicates a device (for example, a screw, a wire, a cover, a keyboard, etc.) used in the training.
  • the target part is, for example, an arm, a wrist, or the like of the worker 2, and is determined according to the work content.
  • the procedure No. is a number that specifies which of the work procedures for the work specified by the work No.
  • the display specification definition number is a number uniquely assigned to specify the display specification definition that defines the display specification of the screen.
  • the display contents indicate, for example, whether to give an alert or explain a procedure.
  • the work moving image describes the moving image file name of the work moving image to be presented to the trainee at the time of training, so that the work moving image separately stored in the storage 402 or the like of the training content management server 40 can be accessed.
  • the work voice describes a voice file name in which the work voice to be presented to the trainee at the time of the training is recorded, so that the work voice separately stored in the storage 402 or the like of the training content management server 40 can be accessed.
  • FIG. 5 is a configuration diagram of the system management server 30.
  • the system management server 30 includes a control unit 300, a memory 301 storing various processing programs, a storage 302 storing various databases, a communication unit 307, a display unit 303, an authentication unit 308, an external device connection unit. 311, a power supply unit 312, a work terminal management unit 330, a work analysis / analysis unit 335, and a training content management unit 340.
  • the work terminal management unit 330 corresponds to the second content output device of the present invention
  • the work analysis / analysis unit 335 corresponds to the determination device of the present invention
  • the training content management unit 340 corresponds to the content creation device of the present invention. Corresponding.
  • the control unit 300 may be configured to use a computer having a CPU, a ROM, a RAM, an input / output interface, an external storage device, and the like. Some or all of the functions of the system management server 30 are stored in the memory 301. It can be realized by executing various processing programs by the CPU.
  • the communication unit 307 communicates with the worker terminal 10 and the training content management server 40 via a network.
  • the display unit 303 is constituted by a liquid crystal display or the like, and is capable of displaying a work image of the worker 2, a management status of the system, and the like.
  • the authentication unit 308 checks the use qualification of the user using a known authentication method, and only the user having the use qualification can use the system management server 30.
  • the external device connection unit 311 can be connected to external devices such as a monitor device, a printer device, and an external storage device as needed.
  • the power supply unit 312 supplies power required to drive the system management server 30.
  • the memory 301 includes a video data processing unit 313, an audio data processing unit 314, an information superimposition processing unit 315, an information transmission / reception processing unit 316, a three-dimensional data processing unit 317, a position data processing unit 318, a spatial data processing unit 319, and image processing.
  • Various processing programs constituting the unit 321 and the voice recognition / analysis unit 322 are stored. These processing programs are executed by the CPU of the control unit 300, thereby realizing the respective processing functions.
  • the video data processing unit 313 performs various data processing on work video data transmitted from the worker terminal 10 by executing a processing program by the CPU of the control unit 300.
  • the audio data processing unit 314 performs various data processing on work audio data transmitted from the worker terminal 10 by executing a processing program by the CPU of the control unit 300.
  • the information superimposition processing unit 315 is configured to execute, for example, a process of superimposing and displaying information of a work procedure on an augmented reality screen by executing a processing program by the CPU of the control unit 300.
  • the information transmission / reception processing unit 316 executes processing for driving and controlling the communication unit 307 and transmitting / receiving information to / from the worker terminal 10 or the training content management server 40 by executing a processing program by the CPU of the control unit 300. It has become.
  • the three-dimensional data processing unit 317 When the processing program is executed by the CPU of the control unit 300, the three-dimensional data processing unit 317 considers the three-dimensional shape information of the work target device 4 when creating or changing the training content or analyzing the work record. Various data processing is performed on the three-dimensional data. For example, data processing for recognizing the three-dimensional movement of the worker 2 is performed.
  • the position data processing unit 318 executes various data processing on the position data transmitted from the worker terminal 10 by executing a processing program by the CPU of the control unit 300.
  • the spatial data processing unit 319 executes various data processing on space (distance) data transmitted from the worker terminal 10 by executing a processing program by the CPU of the control unit 300. .
  • the image processing unit 321 executes data processing such as image recognition by executing a processing program by the CPU of the control unit 300.
  • image recognition for example, the work target device 4, the arm or hand of the worker 2, the work tool 6, and the like can be recognized.
  • the voice recognition / analysis unit 322 executes data processing such as voice recognition on voice data transmitted from the worker terminal 10 by executing a processing program by the CPU of the control unit 300. I have.
  • voice recognition for example, the voice of the worker 2 and the sound emitted from the work target device 4 can be recognized.
  • the work terminal management unit 330 includes a work content distribution unit 331 and a device state management unit 332. Note that the work terminal management unit 330 corresponds to the second content output device of the present invention.
  • the work content distribution unit 331 distributes work content to the worker terminals 10.
  • the work content distribution unit 331 is configured to present the work procedure to the worker 2 on the site in augmented reality based on the three-dimensional shape information of the work target device 4.
  • the work content is configured to include an image displayed by being superimposed on an actual image of the work site on the display unit 103 of the worker terminal 10 using augmented reality, and an audio output from the audio output unit 104. Is done.
  • the work content may be video only or audio only.
  • the work content includes, for example, a display of a description of the work procedure on the display unit 103 of the worker terminal 10, a display of an alert, and a display of environmental information and status information.
  • a display "Procedure 3: Fix the wire with screws” may be given.
  • the environmental information includes, for example, the temperature and humidity of the site environment.
  • the status information includes the degree of procedure consistency, the degree of work progress, the elapsed time, the physical condition of the worker, and the like.
  • the display of the alert is, for example, "Procedure is wrong!”.
  • the site determination unit 127 has a large deviation between the three-dimensional operation of the worker 2 in the site work compared to the reference three-dimensional operation. May be displayed on the display unit 103.
  • the device state management unit 332 stores and manages the specifications and states of devices related to the work including the work target device 4 and information on the environment of the work site.
  • the work analysis / analysis unit 335 includes a work action record totaling unit 336, a behavior factor analysis unit 337, a work record analysis unit 338, and an analysis result output unit 339. Note that the work analysis / analysis unit 335 corresponds to the determination device of the present invention.
  • the work action record totaling unit 336 acquires records of work actions by the worker 2 and totals them. Information on the work behavior of the worker 2 is stored in the work behavior information recording database 323 stored in the storage 302.
  • the behavior factor analysis unit 337 analyzes a factor of a work behavior, for example, a factor of a work failure. It is necessary to analyze the cause of the work failure from various viewpoints, such as whether the condition is due to the physical condition of the worker, if there is no problem with the physical condition, whether it is due to carelessness, a contact error, or a problem with the work procedure or manual. is there.
  • the factor of the work failure may be analyzed and input by the worker 2 or his supervisor.
  • the work record analysis unit 338 converts work records (work behavior information, worker information, work target device information, etc.) into operation consistency, suitability of a tool to be used, work time, presence / absence of contact with the work target device, biological information, and the like. In order to determine the success or failure of the work, the analysis is performed from the viewpoint of the above.
  • the measurement information of the work of the worker 2 from the three-dimensional movement detection processing unit 117 of the worker terminal 10 is compared with the measurement information of the work of the model worker to calculate the degree of consistency between the two work movements. May be.
  • the degree of matching is determined based on, for example, a three-dimensional position shift of a characteristic point (for example, a joint part) of a specific part (an arm, a wrist, a foot, or the like) of the model worker for the same work.
  • the feature point may be obtained by calculating a deviation from the reference of the three-dimensional position shift of the feature point.
  • the degree of matching may be calculated at the start or end of the operation, may be calculated several times at a predetermined interval between the start and end of the work, or an average thereof may be calculated. If the deviation exceeds a predetermined reference value, it may be determined that the operation has failed.
  • the tool 6 used by the worker 2 may be identified by image recognition of a work image, and it may be determined whether a tool suitable for the work is used. If an inappropriate tool is used, it may be determined that the operation has failed.
  • Whether or not the worker 2 is performing work in accordance with the work procedure may be determined by image recognition of the work video of the worker 2. If it is determined that the operation procedure is not in accordance with the instructed procedure such as a procedure error (an error in the order) or a missing procedure, it may be determined that the operation has failed.
  • a procedure error an error in the order
  • a missing procedure it may be determined that the operation has failed.
  • the reference time can be appropriately set to, for example, twice the average work time based on the work time of the model worker and the work times of other workers.
  • the worker 2 or the tool 6 used by the worker 2 is moved to the work target device 4 by image recognition of the work video of the worker 2. May be determined. In this determination, in addition to the image recognition information or alone, the spatial data (distance information from the worker 2 to the work target device 4) acquired by the space recognition unit 109 of the worker terminal 10 is used. Contact determination may be performed. If they are in contact, it may be determined that the operation has failed.
  • the analysis result output unit 339 outputs the analysis result of the work record to the work analysis result database 326 or the like.
  • the work analysis / analysis unit 335 as a determination device has a storage unit, and stores evaluation criterion information for evaluating the work operation based on measurement information of the work operation in the field.
  • the evaluation criterion information may be obtained by acquiring, as measurement information, a work operation of a model worker who executes a work in advance, and creating a work operation at a specific stage in the work based on the measurement information.
  • the site determination unit 127 of the worker terminal 10 determines that the three-dimensional movement of the body of the worker 2 in the site work deviates from the reference three-dimensional movement
  • the work record analysis is performed.
  • the unit 338 may determine whether or not the work has failed based on measurement information (i.e., evaluation criterion information) of the work movement at a specific stage during the work of the model worker up to the physical movement. Good.
  • measurement information i.e., evaluation criterion information
  • work that is highly likely to have failed is selected, and the work analysis / analysis unit 335 of the system management server 30 accurately determines whether or not the work has failed, thereby efficiently performing the work. You can make a decision.
  • the training content management unit 340 includes a training content matching unit 341 and a training content creation / update unit 342. Note that the training content management unit 340 corresponds to the content creation device of the present invention.
  • the training content collation unit 341 is configured to collate the site work on which the work analysis has been performed with the corresponding training content stored in the training content management server 40.
  • the training content creating / updating unit 342 newly creates training content when there is no training content corresponding to the field work on which the work analysis has been performed as a result of the matching by the training content matching unit 341. Further, when there is already training content corresponding to the field work on which the work analysis has been performed, the training content creating / updating unit 342 changes the training content so as to reflect the correction content based on the analysis / judgment result.
  • the training content creating / updating unit 342 updates the training content so as to suppress the cause of the failure when the result of the determination by the work analyzing / analyzing unit 335 is determined to be the failure of the work. It has become.
  • the training content may be updated by, for example, the training content management unit 440 or the training terminal management unit 430 on the training content management server 40 side.
  • the training content creating / updating unit 342 may update the training content so as to increase the degree of matching according to the result of the determination of the degree of matching by the work analysis / analysis unit 335.
  • the updating of the training content may be performed by, for example, the training content management unit 440 or the training terminal management unit 430 on the training content management server 40 side.
  • the training content creating / updating unit 342 reflects the changed information.
  • the training content may be changed.
  • Information on the specifications of the devices and the environment of the work site is stored in the device state management unit 332 of the work terminal management unit 330.
  • the training content creating / updating unit 342 may change the training content with reference to the device state managing unit 332.
  • the storage 302 stores a work behavior information record database 323, a worker information record database 324, a work target device information record database 325, and a work analysis result database 326.
  • the work behavior information record database 323, the worker information record database 324, and the work target device information record database 325 are the same as the corresponding database structures of the worker terminal 10, and therefore, detailed description is omitted.
  • FIG. 11 is a configuration diagram showing a configuration of the work analysis result database 326.
  • items recorded in each record (row) of the work analysis result database 326 include work No., target device, target part, correction procedure No., correction target, correction category, correction content, recorded moving image, Recorded voice, work position change, and model.
  • the target device is a device to be worked, for example, a wire or a keyboard.
  • the target part is a target part for performing work analysis, and is, for example, a wrist or an arm of a worker.
  • the correction procedure number indicates a procedure number corrected as a result of the work analysis.
  • the correction target indicates a target corrected as a result of the correction analysis.
  • the correction category is obtained by categorizing corrections, and includes, for example, “insert before” and “change”.
  • the correction content indicates the specific content of the correction, and includes, for example, an alert or a specification change.
  • the recorded moving image describes the name of a moving image file in which the work is recorded, so that the recorded moving image separately stored in the storage 302 of the system management server 30 can be accessed.
  • the recording sound describes the name of the sound file in which the sound at the time of the work is recorded, so that the recording sound separately stored in the storage 302 or the like can be accessed.
  • Work position shift indicates the position shift of the feature point of the target part.
  • a 3D model file name including three-dimensional shape information of the work target device 4 is described, and a 3D model file separately stored in the storage 302 or the like can be accessed.
  • the system management server 30 determines the work procedure to be corrected and the content to be corrected based on the result of the work analysis, and stores it in the work analysis result database 326.
  • the contents to be corrected include addition of a danger display, addition of a warning display, change of device specification information, change of site environment information, and the like.
  • Training content management server 40 Next, the training content management server 40 will be described.
  • FIG. 6 is a configuration diagram of the training content management server 40.
  • the training content management server 40 includes a control unit 400, a memory 401 storing various processing programs, a storage 402 storing various databases, a communication unit 407, a display unit 403, an authentication unit 408, and an external device connection.
  • the training terminal management unit 430 corresponds to the first content output device of the present invention.
  • the control unit 400 may be configured to use a computer having a CPU, a ROM, a RAM, an input / output interface, an external storage device, and the like. Some or all of the functions of the training content management server 40 are stored in the memory 401. It can be realized by executing the various processing programs by the CPU.
  • the communication unit 407 communicates with the trainer terminal 20, the worker terminal 10, and the system management server 30 via the networks 8, 9.
  • the display unit 403 is configured by a liquid crystal display or the like, and can display information necessary for content management such as a training content management status, in addition to training videos.
  • the authentication unit 408 checks the user's use qualification by using a known authentication method, and only the user having the use qualification can use the training content management server 40.
  • the external device connection unit 411 can be connected to external devices such as a monitor device, a printer device, and an external storage device as needed.
  • the power supply unit 412 supplies power required to drive the training content management server 40.
  • the memory 401 includes a video data processing unit 413, an audio data processing unit 414, an information superimposition processing unit 415, an information transmission / reception processing unit 416, a three-dimensional data processing unit 417, a position data processing unit 418, a spatial data processing unit 419, and image recognition.
  • Various processing programs constituting the unit 421 and the user biometric information acquisition unit 422 are stored. These processing programs are executed by the CPU of the control unit 400 so that the respective processing functions can be realized.
  • the video data processing unit 413 performs various data processing on the training video data transmitted from the trainee terminal 20 by executing the processing program by the CPU of the control unit 400.
  • the voice data processing unit 414 executes data processing such as voice recognition on the training voice data transmitted from the trainee terminal 20 by executing the processing program by the CPU of the control unit 400. I have.
  • voice recognition for example, the voice of the trainee 3 and the sound emitted from the training target device can be recognized.
  • the information superimposition processing unit 415 is configured to execute a process of superimposing and displaying work procedure information on a virtual reality or augmented reality screen, for example, by executing a processing program by the CPU of the control unit 400. I have.
  • the information transmission / reception processing unit 416 drives and controls the communication unit 407 by executing the processing program by the CPU of the control unit 400, and transmits / receives information to / from the trainer terminal 20, the worker terminal 10, or the system management server 30. The processing is executed.
  • the three-dimensional data processing unit 417 uses the three-dimensional shape information of the training target device to create and change training contents and analyze training records.
  • Various data processing is performed on the dimensional data. For example, data processing for recognizing the three-dimensional movement of the trainee 3 may be performed.
  • the position data processing unit 418 executes various data processing on the position data transmitted from the trainee terminal 20 by executing the processing program by the CPU of the control unit 400.
  • the spatial data processing unit 419 executes various data processing on the spatial (distance) data transmitted from the trainee terminal 20 by executing the processing program by the CPU of the control unit 400. .
  • the image recognition unit 421 executes data processing such as image recognition by executing a processing program by the CPU of the control unit 400.
  • image recognition for example, the training target device 5, the arm and hand of the trainee 3, the work tool 6, and the like can be recognized.
  • the user biometric information acquisition unit 422 can acquire the biometric information of the trainee 3 from the biometric sensor attached to the trainee 3 by executing the processing program by the CPU of the control unit 400.
  • the training terminal management section 430 includes a training content distribution section 431 and a device state management section 432. Note that the training terminal management unit 430 corresponds to the first content output device of the present invention.
  • the training content distribution unit 431 includes an output unit, and distributes the training content to the trainer terminal 20 so that the training content can be presented to the trainee 3.
  • the training content includes a video superimposed on an actual video of the training site on the display unit 203 of the trainee terminal 20 using augmented reality, and a voice output from the voice output unit 204. Is done.
  • the training content may be configured to include a video displayed on the display unit 203 of the trainee terminal 20 using virtual reality and a sound output from the sound output unit 204.
  • the training content may be video only or audio only.
  • the training content includes, for example, a display of a description of a work procedure on the display unit 203 of the trainee terminal 20, a warning, a display of environmental information, and a display of status information.
  • a display "Procedure 3: Fix the wire with screws” may be given.
  • the environmental information includes, for example, the temperature and humidity of the work site.
  • the status information includes the degree of procedure consistency, the degree of work progress, the elapsed time, the physical condition of the trainee, and the like.
  • the training content distribution unit 431 includes a storage unit, and stores training content including the three-dimensional shape information of the work target device 4 and evaluation criterion information on the work operation of the work procedure. Note that the training content distribution unit 431 corresponds to the output unit and the storage unit of the first content output device of the present invention.
  • the device state management unit 432 stores and manages specifications and states of devices related to the training including the training target device 5 and information on the training environment.
  • the training analysis / analysis unit 435 includes a training action record aggregation unit 436, a behavior factor analysis unit 437, a training record analysis unit 438, and an analysis result output unit 439.
  • the training action record totaling unit 436 acquires and totals the records of the training actions by the trainee 3.
  • the behavior factor analysis unit 437 analyzes a factor of the guidance behavior, for example, a factor of the failure of the training work.
  • the factor of the training work failure may be analyzed and input by the trainee or his supervisor.
  • the training record analysis unit 438 converts the training records (training behavior information, trainee information, training target device information, and the like) into operation consistency, suitability of tools to be used, work time, presence / absence of contact with the training target device, biological information, and the like. In order to determine the success or failure of training. This determination method is the same as the determination method of the success or failure of the work by the work record analysis unit 338.
  • the analysis result output unit 439 is configured to appropriately output the analysis result of the training record to the training content management unit 440 described later and the display unit 203 of the trainee terminal 20.
  • the training content management unit 440 includes a proficiency management unit 441, a performance result totaling unit 442, and a training content creation / update unit 443.
  • the proficiency management unit 441 manages the proficiency of the trainee 3 for a specific task. Specifically, the work No., the identification number of the trainee 3, and the proficiency are stored and managed in association with each other.
  • the performance result totaling unit 442 totals the performance results of the training of the trainee 3 based on the analysis result of the training record sent from the analysis result output unit 439 and the like.
  • the structure of the training content creating / updating unit 443 is the same as that of the training content creating / updating unit 342 of the system management server 30 except that a worker is replaced by a trainee, and thus a detailed description is omitted.
  • the storage 402 stores a training action information recording database 423, a trainee information recording database 424, a training target device information recording database 425, and a training content database 426.
  • the training action information record database 423, the trainee information record database 424, and the training target device information record database 425 are the same as the corresponding database structures of the worker terminal 10 except that the worker is replaced by the trainee. Therefore, detailed description is omitted.
  • FIG. 12 is a configuration diagram showing the configuration of the training content database 426.
  • items recorded in each record (row) of the training content database 426 include work No., target device, target part, procedure No., display use definition No., display content, correction content, work video, Work voice, position change, and model.
  • Work No. is a number uniquely assigned to identify a work.
  • the target device is a device to be trained, for example, a screw, a wire, a cover, a keyboard, and the like.
  • the target part is a target part for which the training analysis is performed, for example, a wrist or an arm of the worker.
  • the procedure No. is a number that specifies which of the work procedures for the work specified by the work No.
  • the display specification definition number is a number uniquely assigned to specify the display specification definition that defines the display specification of the screen.
  • the display contents indicate, for example, whether to give an alert or explain a procedure.
  • the correction content indicates the specific content of the correction, and includes, for example, an alert or a specification change.
  • the work moving image describes the moving image file name of the work moving image to be presented to the trainee at the time of training, so that the work moving image separately stored in the storage 402 or the like can be accessed.
  • As the work voice a voice file name in which the work voice to be presented to the trainee at the time of the training is recorded, and the work voice separately stored in the storage 402 or the like can be accessed.
  • Position shift indicates shift of the position coordinates of the feature point of the target part.
  • a 3D model file name including three-dimensional shape information of the training target device is described, and a 3D model file separately stored in the storage 402 or the like can be accessed.
  • the existing training content stored in the training content database 426 of the training content management server 40 is updated based on the result analyzed by the system management server 30.
  • FIG. 13 is a sequence diagram of a site operation performed using the content presentation system 1.
  • the worker terminal 10 inquires of the system management server 30 about a work procedure (S1).
  • the system management server 30 that has received the inquiry distributes the information on the work procedure to the worker terminal 10 (S2).
  • the worker 2 starts and executes the work in accordance with the work procedure (S3), and the worker terminal 10 photographs the working environment by the recording unit 105, and obtains biometric information from a biometric sensor attached to the worker 2. Is acquired (S4).
  • the site determination unit 127 of the worker terminal 10 determines whether the three-dimensional movement of the worker 2 deviates from the reference three-dimensional movement by the three-dimensional movement detection processing unit 117 (S5). If the determination is NO, the process proceeds to step S8. If the result of the determination is YES, the captured video data and the like are transmitted to the system management server 30 (S6). The system management server 30 receives the photographing data and the like transmitted from the worker terminal 10 (S7). The photographing data and the like are used for analysis of work failure.
  • step S8 it is determined whether or not it is the last procedure. If it is not the last procedure (NO), the process returns to step S3 to start and execute the work of the next procedure. In the case of the last procedure (YES), the on-site work ends.
  • FIG. 14 is a sequence diagram of a work analysis process performed using the content presentation system 1.
  • the system management server 30 receives photographing data and the like from the worker terminal 10 (S7).
  • the work analysis / analysis unit 335 of the system management server 30 analyzes the cause of the failure (S10).
  • the work record analysis unit 338 analyzes the biological information (S13). If it is not artificial (NO), the work record analysis unit 338 analyzes the three-dimensional data (S12).
  • the importance of the cause of the failure is determined (S14).
  • the importance may be ranked in advance by numerical values in consideration of the degree of influence of the result caused by the failure such as poor physical condition, carelessness, communication error, and manual error of the worker.
  • the training content matching unit 341 checks the training content stored in the training content management server 40 against the training content (S15), and identifies the update location (S16).
  • the training content is updated by the training content creating / updating unit 342 (S17).
  • the updated training content is sent to the training content management server 40 and stored in the training content database 426.
  • FIG. 15 is a sequence diagram of training performed using the content presentation system 1.
  • the trainee terminal 20 inquires of the training content management server 40 about the training procedure (S20).
  • the training content management server 40 that has received the inquiry distributes information on the training procedure to the trainee terminal 20 (S21).
  • the trainee 3 starts and executes the training work according to the training procedure (S22), and the trainee terminal 20 photographs the working environment by the recording unit 205, and obtains the biological information from the biological sensor attached to the trainee 3. Is acquired (S23).
  • the on-site determination unit 227 of the trainee terminal 20 determines whether or not the three-dimensional motion of the trainee 3 deviates from the reference three-dimensional motion by the three-dimensional motion detection processing unit 217 (S24). If the determination is NO, the process proceeds to step S26. If the result of the determination is YES, an alert display such as an alert is displayed on the display unit 203 of the trainee terminal 20 (S25), and the process returns to step S22.
  • step S26 it is determined whether or not it is the last procedure. If it is not the last procedure (NO), the procedure returns to step S22 to start and execute the work of the next procedure.
  • the last procedure YES
  • the information on the training result is transmitted to the training content management server 40 (S27), and the information on the training result is received by the training content management server 40 (S28).
  • the information on the training result is used for counting the training results of the trainee 3 and the like.
  • FIG. 16 is a flowchart of the content presentation method according to the present embodiment.
  • the work procedure is displayed on the display unit 103 of the worker terminal 10 by augmented reality (S30).
  • the three-dimensional motion detection processing unit 117 of the worker terminal 10 measures the three-dimensional motion of the worker 2 performing the work indicated in the work procedure (S31).
  • the work analysis / analysis unit 335 of the system management server 30 determines whether the work of the worker 2 has failed (S32). Specifically, when a predetermined body movement of the worker 2 is detected based on measurement information obtained by measuring the three-dimensional movement of the worker 2, the work of the model worker until reaching the body movement It is determined whether the work has failed based on the measurement information (three-dimensional reference operation) of the work operation at the specific stage in the middle.
  • the system management server 30 The work analysis / analysis unit 335 more precisely compares the change of the position of the characteristic point of the specific part of the worker 2 with the change of the position of the characteristic point of the corresponding specific part of the model worker in the same work. , And the degree of operation matching. By comprehensively determining the degree of operation consistency, the physical condition of the worker 2, the suitability of the tool used, the elapsed time, and the like, it is determined whether the operation has failed.
  • the training content management unit 340 of the system management server 30 updates the training content so as to suppress the cause of the failure (S33). For example, a warning is issued on the screen in a failed work procedure. If there is no corresponding training content, a new training content is created. The changed or created training content is stored in the training content database 426 of the training content management server 40.
  • the training content management unit 340 may update the training content so as to reflect the change information of the specification of the work target device 4 and the change information of the site environment.
  • the training terminal management unit 430 of the training content management server 40 presents the changed training content to the trainee 3 and executes the training of the worker 2 (S34).
  • the training content is updated so as to suppress the cause of the failure. And maintenance of the training content becomes easy.
  • FIG. 17 is an explanatory diagram illustrating a display example of the screen of the display unit 103 of the worker terminal 10 when the on-site work is performed normally.
  • the procedure display is displayed on the upper part of the screen and the environmental information / status display is superimposed on the left part of the screen by augmented reality on the video actually photographing the work site.
  • FIG. 18 shows the state of the worker terminal 10 when the worker 2 is in an abnormal operation, for example, when the job site determination unit 127 of the worker terminal 10 determines that the work operation of the worker 2 deviates from the reference operation.
  • FIG. 9 is an explanatory diagram illustrating a display example of a screen of a display unit 103.
  • augmented reality superimposes the procedure display at the top of the screen, the environmental information / status display at the left of the screen, and the alert display at the center of the screen by augmented reality on the image of the actual work site. Is displayed.
  • the display of the alert is, for example, "! The procedure is wrong !".
  • FIG. 19 is an explanatory diagram showing a display example of the screen of the display unit 203 of the trainee terminal 20 when training is performed normally.
  • augmented reality superimposes the procedure display at the top of the screen, the environmental information / status display on the left side of the screen, and the alert display on the right side of the screen by augmented reality on the video actually shooting the training site. Is displayed.
  • the display of the alert is, for example, "This is a procedure in which a mistake is often made. Please be careful at hand.”
  • the display of the alert is to reflect the information when the worker 2 has failed in the on-site work in the training content and suppress the cause of the failure.
  • FIG. 20 shows the state of the trainee terminal 20 when the trainee 3 is in an abnormal operation, for example, when the site determination unit 227 of the trainee terminal 20 determines that the work operation of the trainee 3 deviates from the reference operation.
  • FIG. 9 is an explanatory diagram illustrating a display example of a screen of a display unit 203.
  • augmented reality superimposes the procedure display at the top of the screen, the environmental information / status display at the left of the screen, and the alert display at the center of the screen by augmented reality on the image of the actual training site. Is displayed.
  • the display of the alert is, for example, "! The procedure is wrong !!".
  • FIGS. 19 and 20 show the training content in augmented reality, it goes without saying that the training content may be presented in virtual reality.
  • an alert is displayed so that the cause of the failure is suppressed when the same work procedure is performed in the same work in the training.
  • the alert may be performed by voice together with the display on the screen or instead of the display.
  • the three-dimensional motion detection processing unit 117 of the worker terminal 10 uses the three-dimensional motion during the work of the worker 2 at the site as at least measurement information of the body motion.
  • the work analysis / analysis unit 335 of the system management server 30 analyzes the three-dimensional movement of the worker based on the evaluation criterion information for evaluating the work movement based on the measurement information of the work movement. Determine whether it is a failure. Then, when it is determined that the work has failed, the training content management unit 340 of the system management server 30 updates or creates the training content so as to suppress the cause of the failure. That is, the work site and the training can be efficiently and organically linked.
  • the work analysis / analysis unit 335 of the system management server 30 detects a predetermined physical movement of the worker based on the measurement information from the three-dimensional movement detection processing unit 117 of the worker terminal 10, It is determined whether or not the work has failed based on the measurement information of the work movement at a specific stage during the work of the model worker up to the physical movement. Then, the training content management unit 340 of the system management server 30 updates the training content so as to suppress the cause of the failure when the determination result in the work analysis / analysis unit 335 is that the work has failed.
  • the training content is updated so as to suppress the cause of the failure. And maintenance of the training content becomes easy.
  • the work analysis / analysis unit 335 of the system management server 30 performs the work according to the work procedure of the worker 2 from the three-dimensional operation detection processing unit 117 of the worker terminal 10.
  • the measurement information of the operation is compared with the measurement information of the operation by the model worker to determine the degree of matching between the two operations, and the training content management unit 340 of the system management server 30 determines the degree of matching according to the determination result.
  • the training content is configured to be updated to increase the training content.
  • the training content can be updated so as to effectively teach the trainee 3 the work operation of the model worker.
  • the work analysis / analysis unit 335 of the system management server 30 determines that the matching degree of the work operation in the specific stage is equal to or less than the predetermined value, and the work in the specific stage It is configured to determine whether or not the work has failed based on the measurement information including the three-dimensional displacement of the specific part of the trainee 3 corresponding to the movement and the work time.
  • the content presentation system 1 includes a worker terminal 10 used by a worker, a trainer terminal 20 used by a trainee 3, a system management server 30, and a training content management server 40. Network connection.
  • the present invention can efficiently reflect a failure or the like that has occurred in a field work in training content, has an effect that maintenance of training content is easy, and provides a content presentation system and a content presentation method. Is generally useful.

Abstract

現場作業の失敗を効率的に訓練コンテンツに反映することができ、訓練コンテンツのメンテナンスが容易なコンテンツ提示システムを提供するため、作業対象機器４の３次元形状情報を含む訓練コンテンツを訓練者に提示する訓練コンテンツ配信機能４３１と、拡張現実による作業手順を示す作業内容配信機能３３１と、現場作業者の３次元動作を検出するユーザ動作検出部１２０と、評価基準情報を基に作業の成否を判定する作業記録分析機能３３８と、判定結果に基づいて訓練コンテンツを更新等するコンテンツ作成／更新機能３４２とを備える。作業記録分析機能は、作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業動作の測定情報を基に作業が失敗か否かを判定する。コンテンツ作成／更新機能は、判定結果が作業の失敗であるとき、失敗の要因を抑制するよう訓練コンテンツを更新する。

Description

コンテンツ提示システムおよびコンテンツ提示方法
　本発明は、現場の作業者や訓練者にコンテンツを提示するコンテンツ提示システムおよびコンテンツ提示方法に関する。
　作業者が現場で保守・点検等の作業（現場作業）を行う前に、作業者に所要の技能・知識を習得させるための訓練が行われている。通常、訓練は、講師が現場作業における危険個所やチェックすべきポイントを説明する集合教育の形式で行われる。訓練では、実際に作業対象となる機器を使って講師が説明することもある。
　一方、現場作業では、作業手順の情報、作業対象機器の情報、使用する作業工具の情報など、様々な情報が必要となる。現場で作業する作業者に必要な情報を提供して現場作業を支援する支援システムは既に知られている（例えば、特許文献１参照）。
　特許文献１には、現場業務、異常事態への対処、現場作業者の訓練を総合的に支援するシステムが開示されている。具体的には、現場業務を支援する情報と現場業務に想定される異常事態に関する情報を備えるデータベースを利用して、現場作業や訓練を行うようになっている。
　現場作業では予期せぬ事故が発生したり、作業を失敗することもある。現場で発生した事故や作業の失敗は、報告書などで訓練現場にフィードバックされている。そして、報告書に記載の事故や失敗の情報をデータベースに蓄積し、作業者が利用できるようにしている。
特開２００１－３３１２１６号公報
　しかしながら、特許文献１に記載の従来の支援システムにあっては、現場作業で発生した失敗等を効率的に訓練コンテンツに反映することは何ら考慮されていなかった。また、従来の支援システムでは、訓練コンテンツを作成した後に、現場に導入された機器の仕様や現場環境が変わった場合、訓練コンテンツをメンテナンスすることに多くの工数がかかっていた。
　本発明は、上述のような課題を解決するためになされたものであり、現場作業で発生した失敗等を訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスが容易なコンテンツ提示システムおよびコンテンツ提示方法を提供することを目的とする。
　本発明に係るコンテンツ提示システムは、上記目的を達成するため、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示システム（１）であって、前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶する記憶部と前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部とを有する第１のコンテンツ出力装置（４３０）と、前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力装置（３３０）と、現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定装置（１１７）と、前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に作業の成否を判定する判定装置（３３５）と、前記作業動作の測定情報および前記判定装置の判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成装置（３４０）と、を備え、前記判定装置は、前記動作測定装置からの前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、前記コンテンツ作成装置または前記第１のコンテンツ出力装置は、前記判定装置での判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴としている。
　上述のように、本コンテンツ提示システムは、動作測定装置が、現場の作業者の作業中の３次元動作を少なくとも身体動作の測定情報として取得し、判定装置が、作業動作の測定情報に基づいて作業動作を評価するための評価基準情報を基に、作業が失敗か否かを判定する。そして、作業が失敗であると判定されたとき、コンテンツ作成装置が、失敗の要因を抑制するように訓練用コンテンツを更新する。すなわち、作業現場と訓練が効率的かつ有機的に連携できるシステムとなっている。
　具体的には、判定装置は、動作測定装置からの測定情報に基づいて作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業中の特定段階の作業動作の測定情報を基に作業が失敗か否かを判定する。そして、コンテンツ作成装置または第１のコンテンツ出力装置は、判定装置での判定結果が作業の失敗であると判定されたとき、失敗の要因を抑制するよう訓練用コンテンツを更新する。
　この構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業で発生した事故、手順ミス、使用工具の間違いなどの作業の失敗（以下、失敗と総称する）を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。
　また、本発明のコンテンツ提示システムでは、前記判定装置は、前記動作測定装置からの前記作業者の前記作業手順に従った前記作業の測定情報を、前記模範作業者による前記作業の測定情報と比較して、両作業動作の整合度合を判定し、前記コンテンツ作成装置または第１のコンテンツ出力装置は、前記判定装置の判定結果に応じて、前記整合度合を高めるよう前記訓練用コンテンツを更新するようにしてもよい。
　この構成により、模範作業者の作業動作を効果的に訓練者に教えるように、訓練コンテンツを更新することができる。
　また、本発明のコンテンツ提示システムでは、前記判定装置は、前記特定段階の作業動作について前記整合度合が所定値以下であると判定されたとき、前記特定段階の作業動作に対応する前記作業者の特定部位の３次元の変移および作業時間を含む測定情報を基に前記作業の失敗か否かを判定するようにしてもよい。
　この構成により、作業者の作業の失敗を確実に検知することができるので、訓練コンテンツに効率的に反映することができる。
　また、本発明のコンテンツ提示システムは、前記作業者が用いる作業者端末（１０）と管理サーバ（３０、４０）とをさらに含み、前記動作測定装置が前記作業者端末に備えられ、前記第１のコンテンツ出力装置、前記第２のコンテンツ出力装置、前記判定装置、および前記コンテンツ作成装置が、それぞれ前記作業者端末にネットワーク接続される前記管理サーバで構成されていてもよい。
　この構成により、作業現場と訓練現場が離れている場合であっても、作業者の作業の失敗の情報を訓練コンテンツに効率的に反映することができる。
　また、本発明のコンテンツ提示方法は、作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示方法であって、前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶するとともに、前記訓練用コンテンツを前記訓練者に提示可能に出力する第１のコンテンツ出力ステップと、前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力ステップと、現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定ステップと、前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に、作業の成否を判定する判定ステップと、前記作業動作の測定情報および前記判定ステップの判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成ステップと、を備え、前記判定ステップでは、前記動作測定ステップで取得された前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、前記コンテンツ作成ステップまたはコンテンツ出力ステップでは、前記判定ステップでの判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴としている。
　この構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業の失敗（例えば、手順ミス、使用工具の間違い、事故、作業の失敗など）の情報を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。
　本発明によれば、現場作業で発生した失敗を効率的に訓練コンテンツに反映することができ、訓練コンテンツのメンテナンスが容易なコンテンツ提示システムを提供することができる。
本発明の実施形態に係るコンテンツ提示システムの構成図である。 本発明の実施形態に係るコンテンツ提示システムのネットワーク接続された構成図である。 図１に示される作業者端末の構成図である。 図１に示される訓練者端末の構成図である。 図１に示されるシステム管理サーバの構成図である。 図１に示される訓練コンテンツ管理サーバの構成図である。 図３に示される作業行動情報記録データベースの構成図である。 図３に示される作業者情報記録データベースの構成図である。 図３に示される作業対象機器情報記録データベースの構成図である。 図４に示される訓練端末データベースの構成図である。 図５に示される作業分析結果データベースの構成図である。 図６に示される訓練コンテンツデータベースの構成図である。 本発明の実施形態に係るコンテンツ提示システムを用いて行う現場作業のシーケンス図である。 本発明の実施形態に係るコンテンツ提示システムを用いて行う作業分析処理のシーケンス図である。 本発明の実施形態に係るコンテンツ提示システムを用いて行う訓練のシーケンス図である。 本発明の実施形態に係るコンテンツ提示方法を説明するフローチャートである。 作業者端末の画面の表示例（正常時）を示す説明図である。 作業者端末の画面の表示例（異常時）を示す説明図である。 訓練者端末の画面の表示例（正常時）を示す説明図である。 訓練者端末の画面の表示例（異常時）を示す説明図である。
　以下、本発明の実施形態に係るコンテンツ提示システムについて、図面を参照して説明する。
　本実施形態に係るコンテンツ提示システム１は、現場で機器の保守・点検等の作業を行う作業者２や訓練現場の訓練者３に作業手順などの必要な情報を提示するとともに、訓練者３に訓練コンテンツを提示するシステムである。
　具体的には、コンテンツ提示システム１は、作業を行う対象の機器（作業対象機器）４の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者３に提示するようになっている。また、コンテンツ提示システム１は、現場の作業者２や訓練者３に、作業対象機器４やそれに対応する訓練対象機器５の３次元形状情報を基に拡張現実を用いて作業手順を提示するようになっている。
　図１は、本発明の実施形態に係るコンテンツ提示システム１の構成を示す構成図である。図２は、ネットワーク接続されたコンテンツ提示システム１の構成図である。図１および図２に示すように、コンテンツ提示システム１は、作業者端末１０と、訓練者端末２０と、システム管理サーバ３０と、訓練コンテンツ管理サーバ４０とを備え、それらがネットワーク８、９を介して接続されている。
　本発明の実施形態に係るコンテンツ提示システム１は、ネットワークを介さない構成であってもよく、また、システム管理サーバ３０と訓練コンテンツ管理サーバ４０とが統合されて１つの管理サーバを構成するようにしてもよい。
（作業者端末）
　まず、作業者端末１０について説明する。
　作業者端末１０は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートフォン、タブレット端末などである。また、作業者端末１０は、作業者２に取り付けられた生体センサから生体情報を取得するようになっている。生体情報としては、例えば、心拍数、血圧、体温、発汗量などが挙げられる。
　図３は、作業者端末１０の構成を示す構成図である。
　図３に示すように、作業者端末１０は、制御部１００、各種処理プログラムを格納したメモリ１０１、各種データベースを格納した端末内部ストレージ１０２、通信部１０７、録音部１０６、録画部１０５、表示部１０３、音声出力部１０４、認証部１０８、空間認識部１０９、位置検出部１１０、外部機器接続部１１１、および電源供給部１１２を備えている。
　制御部１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、その機能の一部または全部は、メモリ１０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。
　通信部１０７は、ネットワークを介してシステム管理サーバ３０および訓練コンテンツ管理サーバ４０と通信を行うようになっている。
　録音部１０６は、マイクを備え、作業時の作業者２の音声、作業対象機器４から発する音、周囲の音などを録音するようになっている。
　録画部１０５は、カメラまたはビデオカメラを備え、例えば、作業対象機器４と作業者２の腕が映り込むようにして、作業を録画するようになっている。
　表示部１０３は、作業手順を含んだ作業コンテンツを、拡張現実の技術により表示するものであり、具体的には、ヘッドマウントディスプレイ（ＨＭＤ）、スマートフォン、タブレット端末など表示部で構成される。
　音声出力部１０４は、スピーカを備え、例えば、作業手順を含んだ作業コンテンツを拡張現実の技術により表示部１０３に表示する際に併せて、または単独で、作業者２に対して音声により作業手順を案内したり、音声により注意喚起をするようになっている。
　認証部１０８は、公知の認証方法を用いて作業者２の利用資格を確認するものであり、利用資格を有する作業者２のみが作業者端末１０を利用できるようになっている。
　空間認識部１０９は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサを備え、作業対象機器４と作業者２との距離を測定することにより、作業対象機器４に対する作業者２の空間的な位置関係を検知するようになっている。これにより、例えば、作業者２と作業対象機器４との接触を検知できるようになっている。
　位置検出部１１０は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）により作業者端末１０の位置を検出できるようになっている。
　外部機器接続部１１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続するようになっている。
　電源供給部１１２は、作業者端末１０を駆動するのに必要な電力を供給するようになっている。
　メモリ１０１には、映像記録処理部１１３、音声記録処理部１１４、情報重畳処理部１１５、情報送受信処理部１１６、３次元動作検出処理部１１７、位置情報処理部１１８、空間認識処理部１１９、画像認識部１２１、ユーザ生体情報取得部１２２、および現場判定部１２７を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部１００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。
　映像記録処理部１１３は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、録画部１０５を駆動、制御して作業の映像を記録（録画）する処理を実行するようになっている。
　音声記録処理部１１４は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、録音部１０６を駆動、制御して作業中の音声を記録する処理を実行するようになっている。
　情報重畳処理部１１５は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、例えば、拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。
　情報送受信処理部１１６は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、通信部１０７を駆動、制御してシステム管理サーバ３０または訓練コンテンツ管理サーバ４０と情報を送受する処理を実行するようになっている。また、作業者２に取り付けられた生体センサが無線通信機能を有し、生体情報を送信できる場合には、情報送受信処理部１１６が通信部１０７を駆動、制御して生体センサから送信された作業者２の生体情報を受信するようにしてもよい。
　３次元動作検出処理部１１７は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、作業映像、画像認識結果、空間認識結果、作業対象機器４の３次元形状情報などにより、現場の作業者２の作業中の３次元動作を測定、検出する処理を実行するようになっている。３次元動作は、例えば、作業者２の身体の特定部位（腕、手首など）の特徴点（関節、指先など）についての、３次元空間内の位置の変移の情報として検出できる。なお、３次元動作検出処理部１１７が本発明の動作測定装置に対応する。
　位置情報処理部１１８は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、位置検出部１１０を駆動、制御して作業者端末１０の位置を検出する処理を実行するようになっている。
　空間認識処理部１１９は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、空間認識部１０９を駆動、制御して作業対象機器４と作業者２との距離を測定する処理を実行するようになっている。
　画像認識部１２１は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、録画部１０５により録画された画像に対し、画像認識処理を実行し、作業対象機器４や作業者２（腕、手首など）や作業工具６を認識できるようになっている。
　ユーザ生体情報取得部１２２は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、作業者２に取り付けられた生体センサから作業者２の生体情報を取得できるようになっている。
　現場判定部１２７は、制御部１００のＣＰＵにより処理プログラムが実行されることにより、現場での作業者２の作業の３次元動作が、対応する手順での基準の３次元動作から乖離しているか否かを判定するようになっている。基準の３次元動作は、模範作業者が作業を行ったときの３次元動作であり、事前に測定し情報を取得しておく。また、現場判定部１２７が、基準の３次元動作に比べて現場作業における作業者２の３次元動作の乖離が大きいと判定したとき、作業者端末１０の表示部１０３に注意喚起の表示を行うようにしてもよい。
　端末内部ストレージ１０２には、作業行動情報記録データベース１２３、作業者情報記録データベース１２４、および作業対象機器情報記録データベース１２５が格納されている。
　図７は、作業行動情報記録データベース１２３の構成を示す構成図である。図７に示すように、作業行動情報記録データベース１２３の各レコード（行）に記録される項目は、作業者Ｎｏ、観察部位（特定部位）、作業Ｎｏ、手順Ｎｏ、正常動作Ｎｏ、記録録画、記録音声、動作整合度、作業位置変移、および作業時間である。
　作業者Ｎｏは、各作業者に一意に割り当てられた識別番号である。観察部位は、例えば、作業者２の腕、手首、足などであり、作業内容により観察すべき部位が定められる。作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。手順Ｎｏは、作業Ｎｏで特定される作業についての作業手順のうち、どの手順かを特定する番号である。正常動作Ｎｏは、正常動作（基準動作）を特定するために一意に割り当てられた番号である。
　記録動画は、作業を記録した動画ファイル名が記載されており、システム管理サーバ３０のストレージ３０２等に別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時に音声を記録した音声ファイル名が記載されており、システム管理サーバ３０のストレージ３０２等に別途保存された記録音声にアクセスできるようになっている。
　動作整合度は、模範作業者の３次元動作を３次元基準動作（正常動作）とし、３次元基準動作に対して作業者の３次元動作がどの程度整合しているかを示す指標である。作業位置変移は、動作整合度の低い対象の動作に対して、観察部位の特徴点の位置変移を記録したものである。例えば、図７において、上から３番目のレコード（行）と７番目のレコード（行）は動作整合度がそれぞれ２０％と６０％となっており、他と比較して低いことが分かる。このような場合に、観察部位である作業者２の腕の特徴点の位置変移を記録しておく。作業時間は、作業に要した時間である。
　作業行動情報記録データベース１２３には、作業者２が作業Ｎｏと手順Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。
　図８は、作業者情報記録データベース１２４の構成を示す構成図である。図８に示すように、作業者情報記録データベース１２４の各レコード（行）に記録される項目は、作業者Ｎｏ、作業Ｎｏ、手順Ｎｏ、心拍数、血圧、体温、発汗、作業時間である。
　作業者Ｎｏ、作業Ｎｏ、手順Ｎｏ、作業時間は、作業行動情報記録データベース１２３と同じである。心拍数、血圧、体温、発汗は、作業者２に取り付けられた生体センサから取得した情報である。
　作業全体の平均値と比較して大きく乖離している項目を見つけることにより、事故や失敗の発生した作業を抽出することができる。例えば、図８の上から３番目のレコード（行）は、他と比べて、心拍数、血圧、発汗が多いことが分かる。また、上から７番目のレコード（行）は、体温が他と比べて低いことが分かる。これらの情報から、事故や失敗の発生した作業および原因（人為的な原因か否か等）を推定することができる。
　作業者情報記録データベース１２４には、作業者２が作業Ｎｏと手順Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。
　図９は、作業対象機器情報記録データベース１２５の構成を示す構成図である。図９に示すように、作業対象機器情報記録データベース１２５の各レコード（行）に記録される項目は、作業者Ｎｏ、観察機器、作業Ｎｏ、手順Ｎｏ、正常動作Ｎｏ、記録動画、記録音声、動作整合度、およびモデルである。
　作業者Ｎｏ、作業Ｎｏ、手順Ｎｏ、正常動作Ｎｏ、記録動画、記録音声、動作整合度は、作業行動情報記録データベース１２３と同じである。
　観察機器は、作業Ｎｏの手順Ｎｏで特定される作業の対象となる機器あるいは観察対象となる機器（例えば、ねじ、ワイヤ、カバー、ハンドル、キーボードなど）を示す。モデルは、作業対象機器４の３次元形状情報を含んだ３Ｄモデルファイル名が記載されており、端末内部ストレージ１０２等に別途保存された３Ｄモデルファイルにアクセスできるようになっている。３Ｄモデルファイルは、システム管理サーバ３０のストレージ３０２や、訓練コンテンツ管理サーバ４０の訓練コンテンツストレージ４０２に格納しておいてもよいし、いずれかのストレージに格納し、他で使用する場合は転送するようにしてもよい。
　作業対象機器情報記録データベース１２５の各レコード（行）には、作業者端末１０で取得された情報が格納されている。また、作業対象機器情報記録データベース１２５の各レコード（行）には、作業者端末１０の表示部１０３などに配信する情報も格納されている。
　作業対象機器情報記録データベース１２５には、作業者２が作業Ｎｏと手順Ｎｏで特定される作業を行うごとに、レコード（行）データが追加されるようになっている。
（訓練者端末）
　次に訓練者端末２０について説明する。
　訓練者端末２０は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートフォン、タブレット端末などである。また、訓練者端末２０は、訓練者３に取り付けられた生体センサから訓練者３の生体情報を取得するようになっている。生体情報としては、例えば、心拍数、血圧、体温、発汗量などが挙げられる。
　図４は、訓練者端末２０の構成を示す構成図である。
　図４に示されるように、訓練者端末２０は、制御部２００、各種処理プログラムを格納したメモリ２０１、各種データベースを格納した訓練コンテンツストレージ２０２、通信部２０７、録音部２０６、録画部２０５、表示部２０３、音声出力部２０４、認証部２０８、空間認識部２０９、位置検出部２１０、外部機器接続部２１１、および電源供給部２１２を備えている。
　訓練者端末２０の制御部２００、各種処理プログラムを格納したメモリ２０１、通信部２０７、録音部２０６、録画部２０５、表示部２０３、音声出力部２０４、認証部２０８、空間認識部２０９、位置検出部２１０、外部機器接続部２１１、および電源供給部２１２は、作業者端末１０の対応する構成要素と同じ機能を有するので、詳細な説明は省略する。
　メモリ２０１には、映像記録処理部２１３、音声記録処理部２１４、情報重畳処理部２１５、情報送受信処理部２１６、３次元動作検出処理部２１７、位置情報処理部２１８、空間認識処理部２１９、画像認識部２２１、ユーザ生体情報取得部２２２、および現場判定部２２７を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部２００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。上記処理プログラムは、作業者端末１０の対応する処理プログラムと同様の機能を実現するので、詳細な説明は省略する。
　訓練コンテンツストレージ２０２には、訓練行動情報記録データベース２２３、訓練者情報記録データベース２２４、訓練対象機器情報記録データベース２２５、および訓練端末データベース２２６が備えられている。
　訓練行動情報記録データベース２２３、訓練者情報記録データベース２２４、訓練対象機器情報記録データベース２２５については、作業者が訓練者に代わった点を除き、作業者端末１０の対応するデータベース構造と同じであるので、詳細な説明は省略する。
　図１０は、訓練端末データベース２２６の構成を示す構成図である。図１０に示すように、訓練端末データベース２２６の各レコード（行）に記録される項目は、作業者Ｎｏ、対象機器、対象部位、手順Ｎｏ、表示仕様定義Ｎｏ、表示内容、作業動画、作業音声である。
　作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。対象機器は、訓練で使用する機器（例えば、ねじ、ワイヤ、カバー、キーボードなど）を示す。対象部位は、例えば、作業者２の腕、手首などであり、作業内容によって定められる。手順Ｎｏは、作業Ｎｏで特定される作業についての作業手順のうち、どの手順かを特定する番号である。
　表示仕様定義Ｎｏは、画面の表示仕様を定めた表示仕様定義を特定するために一意に割り当てられた番号である。表示内容は、例えば、注意喚起を行うのか、手順の説明を行うのか等の表示内容を示す。
　作業動画は、訓練時に訓練者に提示する作業動画の動画ファイル名が記載されており、訓練コンテンツ管理サーバ４０のストレージ４０２等に別途保存された作業動画にアクセスできるようになっている。作業音声は、訓練時に訓練者に提示する作業音声を記録した音声ファイル名が記載されており、訓練コンテンツ管理サーバ４０のストレージ４０２等に別途保存された作業音声にアクセスできるようになっている。
　訓練コンテンツ管理サーバ４０から、訓練に必要なデータだけが配信され、訓練端末データベース２２６に格納されるようになっている。
（システム管理サーバ）
　次に、システム管理サーバ３０について説明する。
　図５は、システム管理サーバ３０の構成図である。
　図５に示すように、システム管理サーバ３０は、制御部３００、各種処理プログラムを格納したメモリ３０１、各種データベースを格納したストレージ３０２、通信部３０７、表示部３０３、認証部３０８、外部機器接続部３１１、電源供給部３１２、作業端末管理部３３０、作業分析／解析部３３５、および訓練コンテンツ管理部３４０を備えている。
　なお、作業端末管理部３３０が本発明の第２のコンテンツ出力装置に対応し、作業分析／解析部３３５が本発明の判定装置に対応し、訓練コンテンツ管理部３４０が本発明のコンテンツ作成装置に対応する。
　制御部３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、システム管理サーバ３０の機能の一部または全部は、メモリ３０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。
　通信部３０７は、ネットワークを介して作業者端末１０および訓練コンテンツ管理サーバ４０と通信を行うようになっている。
　表示部３０３は、液晶ディスプレイ等で構成され、作業者２の作業映像やシステムの管理状況等を表示できるようになっている。
　認証部３０８は、公知の認証方法を用いてユーザの利用資格を確認するものであり、利用資格を有するユーザのみがシステム管理サーバ３０を利用できるようになっている。
　外部機器接続部３１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続できるようになっている。
　電源供給部３１２は、システム管理サーバ３０を駆動するのに必要な電力を供給するようになっている。
＜メモリ＞
　メモリ３０１には、映像データ処理部３１３、音声データ処理部３１４、情報重畳処理部３１５、情報送受信処理部３１６、３次元データ処理部３１７、位置データ処理部３１８、空間データ処理部３１９、画像処理部３２１、および音声認識／解析部３２２を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部３００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。
　映像データ処理部３１３は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された作業映像データに対して、各種データ処理を行うようになっている。
　音声データ処理部３１４は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された作業音声データに対して、各種データ処理を行うようになっている。
　情報重畳処理部３１５は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、例えば、拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。
　情報送受信処理部３１６は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、通信部３０７を駆動、制御して作業者端末１０または訓練コンテンツ管理サーバ４０と情報を送受する処理を実行するようになっている。
　３次元データ処理部３１７は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、訓練コンテンツの作成、変更や作業記録の分析などにおいて、作業対象機器４の３次元形状情報を考慮しつつ、３次元データに対して、各種データ処理を実行するようになっている。例えば、作業者２の３次元動作を認識するためのデータ処理などを行う。
　位置データ処理部３１８は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された位置データに対して、各種データ処理を実行するようになっている。
　空間データ処理部３１９は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された空間（距離）データに対して、各種データ処理を実行するようになっている。
　画像処理部３２１は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、画像認識等のデータ処理を実行するようになっている。画像認識により、例えば、作業対象機器４、作業者２の腕や手、作業工具６などを認識することができる。
　音声認識／解析部３２２は、制御部３００のＣＰＵにより処理プログラムが実行されることにより、作業者端末１０から送信された音声データに対して、音声認識等のデータ処理を実行するようになっている。音声認識により、例えば、作業者２の音声、作業対象機器４の発する音などを認識することができる。
＜作業端末管理部＞
　作業端末管理部３３０は、作業コンテンツ配信部３３１、および機器状態管理部３３２を備えている。なお、作業端末管理部３３０が、本発明の第２のコンテンツ出力装置に対応している。
　作業コンテンツ配信部３３１は、作業コンテンツを作業者端末１０に配信するようになっている。別言すれば、作業コンテンツ配信部３３１は、作業対象機器４の３次元形状情報を基に拡張現実により作業手順を現場の作業者２に提示するようになっている。作業コンテンツは、作業者端末１０の表示部１０３に作業現場の実際の映像の上に拡張現実を用いて重畳されて表示される映像と、音声出力部１０４より出力される音声とを含んで構成される。作業コンテンツは、映像だけでもよいし、音声だけでもよい。
　具体的には、作業コンテンツは、例えば、作業者端末１０の表示部１０３への作業手順の説明の表示、注意喚起の表示、環境情報およびステータス情報の表示を含む。作業手順の説明としては、例えば「手順３：ワイヤーをねじで固定してください」という表示が挙げられる。環境情報としては、例えば現場環境の温度、湿度が挙げられる。ステータス情報としては、手順整合度、作業の進捗度、経過時間、作業者の体調などが挙げられる。
　注意喚起の表示は、例えば「手順が間違っています！！」などであり、例えば、現場判定部１２７が、基準の３次元動作に比べて現場作業における作業者２の３次元動作の乖離が大きいと判定したとき、表示部１０３に表示するようにしてもよい。
　機器状態管理部３３２は、作業対象機器４を含めて作業に関係する機器の仕様およびその状態、ならびに作業現場の環境に関する情報を記憶し、管理するようになっている。
＜作業分析／解析部＞
　作業分析／解析部３３５は、作業行動記録集計部３３６、行動要因分析部３３７、作業記録分析部３３８、および分析結果出力部３３９を備えている。なお、作業分析／解析部３３５が本発明の判定装置に対応する。
　作業行動記録集計部３３６は、作業者２による作業行動の記録を取得し、集計するようになっている。作業者２の作業行動の情報は、ストレージ３０２に格納された作業行動情報記録データベース３２３に記憶されている。
　行動要因分析部３３７は、作業行動の要因、例えば作業の失敗の要因を分析するようになっている。作業の失敗の要因は、作業者の体調によるものか、体調に問題なければ、不注意によるものか、連絡ミスか、作業手順やマニュアルに問題があるのか、など様々な観点から分析する必要がある。作業の失敗の要因は、作業者２あるいはその監督者が分析して入力するようにしてもよい。
　作業記録分析部３３８は、作業記録（作業行動情報、作業者情報、作業対象機器情報など）を、動作整合度、使用工具の適否、作業時間、作業対象機器との接触の有無、生体情報などの観点から分析し、作業の成否を判断するようになっている。
　例えば、作業者端末１０の３次元動作検出処理部１１７からの作業者２の作業の測定情報を、模範作業者による作業の測定情報と比較して、両作業動作の整合度合を算出するようにしてもよい。
　整合度合は、例えば、同一の作業について模範作業者の特定部位（腕、手首、足など）の特徴点（例えば関節部位）の３次元位置変移を基準に、作業者２の対応する特定部位の特徴点の３次元位置変移の基準からの乖離を算出することにより取得するようにしてもよい。整合度合は、動作の開始時や終了時で算出してもよいし、作業の開始時と終了時の間で所定間隔で数回算出するようにしてもよいし、その平均を算出してもよい。乖離が所定の基準値を超えた場合に、作業の失敗であると判定するようにしてもよい。
　また、作業者２が使用する工具６を作業映像の画像認識により識別して、その作業に適した工具を使用しているか否かを判定するようにしてもよい。不適切な工具を使用している場合には、作業の失敗であると判定するようにしてもよい。
　また、作業者２の作業映像の画像認識により、作業手順に従った作業をしているか否かを判定するようにしてもよい。手順ミス（順番の誤り）、手順抜けなど指示された作業手順に従っていないことが判明すると、作業の失敗であると判定するようにしてもよい。
　また、作業者２の作業にかかった時間が、基準時間を超えると、作業の失敗であると判定するようにしてもよい。基準時間は、模範作業者の作業時間および他の作業者の作業時間を基に、例えば平均作業時間の２倍等に適宜に設定することができる。
　また、作業対象機器４またはその一部が高温等の理由で接触不可の場合、作業者２の作業映像の画像認識により、作業者２または作業者２が使用する工具６が、作業対象機器４に接触したか否かを判定するようにしてもよい。この判定において、画像認識の情報に加えて、または単独で、作業者端末１０の空間認識部１０９が取得した空間データ（作業者２から作業対象機器４までの距離の情報）を利用して、接触判定をおこなってもよい。接触している場合には、作業の失敗であると判定するようにしてもよい。
　分析結果出力部３３９は、作業記録の分析結果を作業分析結果データベース３２６等に出力するようになっている。
　また、判定装置としての作業分析／解析部３３５は、記憶部を有し、現場での作業動作の測定情報に基づいて作業動作を評価するための評価基準情報を記憶している。評価基準情報は、作業を予め実行する模範作業者の作業動作を測定情報として取得し、該測定情報に基づき該作業のうち特定段階の作業動作について作成しておいてもよい。
　具体的には、例えば、作業者端末１０の現場判定部１２７が、現場作業における作業者２の身体の３次元動作が基準の３次元動作から乖離していると判定した場合に、作業記録分析部３３８は、該身体動作に及ぶまでの模範作業者の該作業中の特定段階の作業動作の測定情報（すなわち評価基準情報）を基に該作業が失敗か否かを判定するようにしてもよい。作業者端末１０において、失敗した可能性の高い作業を選別し、その作業についてシステム管理サーバ３０の作業分析／解析部３３５が精密に作業の失敗か否かを判定することにより、効率的に失敗判定をすることができる。
＜訓練コンテンツ管理部＞
　訓練コンテンツ管理部３４０は、訓練コンテンツ照合部３４１、および訓練コンテンツ作成／更新部３４２を備えている。なお、訓練コンテンツ管理部３４０が本発明のコンテンツ作成装置に対応する。
　訓練コンテンツ照合部３４１は、作業分析を行った現場作業について、訓練コンテンツ管理サーバ４０に格納されている対応する訓練コンテンツと照合するようになっている。
　訓練コンテンツ作成／更新部３４２は、訓練コンテンツ照合部３４１による照合の結果、作業分析を行った現場作業に対応する訓練コンテンツが無い場合、新たに訓練コンテンツを作成する。また、訓練コンテンツ作成／更新部３４２は、作業分析を行った現場作業に対応する訓練コンテンツが既に有る場合、分析・判定結果に基づく修正内容を反映させるように訓練コンテンツを変更する。
　具体的には、訓練コンテンツ作成／更新部３４２は、作業分析／解析部３３５による判定結果が当該作業の失敗であると判定されたとき、失敗の要因を抑制するように訓練用コンテンツを更新するようになっている。訓練用コンテンツの更新は、訓練コンテンツ管理サーバ４０側の、例えば訓練コンテンツ管理部４４０や訓練端末管理部４３０が行うようにしてもよい。
　また、訓練コンテンツ作成／更新部３４２は、作業分析／解析部３３５による整合度合の判定結果に応じて、整合度合を高めるよう訓練用コンテンツを更新するようにしてもよい。この訓練用コンテンツの更新は、訓練コンテンツ管理サーバ４０側の、例えば訓練コンテンツ管理部４４０や訓練端末管理部４３０が行うようにしてもよい。
　また、訓練コンテンツ作成／更新部３４２は、作業対象機器４を含めて作業に関与する機器の仕様が変更された場合、あるいは作業現場の環境が変更された場合、その変更情報を反映させるように訓練コンテンツを変更するようにしてもよい。機器の仕様および作業現場の環境に関する情報は、作業端末管理部３３０の機器状態管理部３３２に記憶されている。制御部３００の制御下で、機器仕様等が変更されると、訓練コンテンツ作成／更新部３４２が、機器状態管理部３３２を参照して、訓練コンテンツの変更を行うようにしてもよい。
＜ストレージ＞
　ストレージ３０２には、作業行動情報記録データベース３２３、作業者情報記録データベース３２４、作業対象機器情報記録データベース３２５、および作業分析結果データベース３２６が格納されている。
　作業行動情報記録データベース３２３、作業者情報記録データベース３２４、作業対象機器情報記録データベース３２５については、作業者端末１０の対応するデータベース構造と同じであるので、詳細な説明は省略する。
　図１１は、作業分析結果データベース３２６の構成を示す構成図である。図１１に示すように、作業分析結果データベース３２６の各レコード（行）に記録される項目は、作業Ｎｏ、対象機器、対象部位、修正手順Ｎｏ、修正対象、修正カテゴリ、修正内容、記録動画、記録音声、作業位置変移、およびモデルである。
　作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。対象機器は、作業対象の機器であり、例えば、ワイヤやキーボードなどである。対象部位は、作業分析を行う対象部位であり、例えば、作業者の手首や腕などである。
　修正手順Ｎｏは、作業分析の結果、修正された手順Ｎｏを示す。修正対象は、修正分析の結果、修正された対象を示す。修正カテゴリは、修正をカテゴライズしたものであり、例えば、「前に挿入」、「変更」などがある。修正内容は、修正の具体的な内容を示し、例えば、注意喚起や仕様変更などが挙げられる。
　記録動画は、作業を記録した動画ファイル名が記載されており、システム管理サーバ３０のストレージ３０２などに別途保存された記録動画にアクセスできるようになっている。記録音声は、作業時の音声を記録した音声ファイル名が記載されており、ストレージ３０２などに別途保存された記録音声にアクセスできるようになっている。
　作業位置変移は、対象部位の特徴点の位置変移を示す。モデルは、作業対象機器４の３次元形状情報を含んだ３Ｄモデルファイル名が記載されており、ストレージ３０２などに別途保存された３Ｄモデルファイルにアクセスできるようになっている。
　システム管理サーバ３０は、作業分析の結果を基に、修正対象の作業手順、および修正する内容を決定し、作業分析結果データベース３２６に格納する。修正する内容として、危険表示の追加、注意喚起の表示の追加、機器の仕様情報の変更、現場環境の情報の変更などが挙げられる。
（訓練コンテンツ管理サーバ）
　次に、訓練コンテンツ管理サーバ４０について説明する。
　図６は、訓練コンテンツ管理サーバ４０の構成図である。
　図６に示すように、訓練コンテンツ管理サーバ４０は、制御部４００、各種処理プログラムを格納したメモリ４０１、各種データベースを格納したストレージ４０２、通信部４０７、表示部４０３、認証部４０８、外部機器接続部４１１、電源供給部４１２、訓練端末管理部４３０、訓練分析／解析部４３５、および訓練コンテンツ管理部４４０を備えている。
　なお、訓練端末管理部４３０が、本発明の第１のコンテンツ出力装置に対応する。
　制御部４００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、外部記憶装置等を有するコンピュータを用いる構成であってもよく、訓練コンテンツ管理サーバ４０の機能の一部または全部は、メモリ４０１に記憶された各種処理プログラムをＣＰＵで実行することにより実現することができる。
　通信部４０７は、ネットワーク８、９を介して訓練者端末２０、作業者端末１０およびシステム管理サーバ３０と通信を行うようになっている。
　表示部４０３は、液晶ディスプレイ等で構成され、訓練の映像に加えて、訓練コンテンツの管理状況等、コンテンツ管理に必要な情報を表示できるようになっている。
　認証部４０８は、公知の認証方法を用いてユーザの利用資格を確認するものであり、利用資格を有するユーザのみが訓練コンテンツ管理サーバ４０を利用できるようになっている。
　外部機器接続部４１１は、必要に応じて、例えば、モニター装置、プリンタ装置、外部記憶装置などの外部機器と接続できるようになっている。
　電源供給部４１２は、訓練コンテンツ管理サーバ４０を駆動するのに必要な電力を供給するようになっている。
　メモリ４０１には、映像データ処理部４１３、音声データ処理部４１４、情報重畳処理部４１５、情報送受信処理部４１６、３次元データ処理部４１７、位置データ処理部４１８、空間データ処理部４１９、画像認識部４２１、およびユーザ生体情報取得部４２２を構成する各種処理プログラムが格納されている。これらの処理プログラムは、制御部４００のＣＰＵにより実行されることにより、それぞれの処理機能を実現できるようになっている。
　映像データ処理部４１３は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された訓練映像データに対して、各種データ処理を行うようになっている。
　音声データ処理部４１４は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された訓練音声データに対して、音声認識等のデータ処理を実行するようになっている。音声認識により、例えば、訓練者３の音声、訓練対象機器の発する音などを認識することができる。
　情報重畳処理部４１５は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、例えば、仮想現実または拡張現実の画面において作業手順の情報を重畳して表示する処理を実行するようになっている。
　情報送受信処理部４１６は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、通信部４０７を駆動、制御して訓練者端末２０、作業者端末１０またはシステム管理サーバ３０と情報を送受する処理を実行するようになっている。
　３次元データ処理部４１７は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練コンテンツの作成、変更や訓練記録の分析などにおいて、訓練対象機器の３次元形状情報を用いつつ、３次元データに対して、各種データ処理を実行するようになっている。例えば、訓練者３の３次元動作を認識するためのデータ処理を行ってもよい。
　位置データ処理部４１８は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された位置データに対して、各種データ処理を実行するようになっている。
　空間データ処理部４１９は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者端末２０から送信された空間（距離）データに対して、各種データ処理を実行するようになっている。
　画像認識部４２１は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、画像認識等のデータ処理を実行するようになっている。画像認識により、例えば、訓練対象機器５、訓練者３の腕や手、作業工具６などを認識することができる。
　ユーザ生体情報取得部４２２は、制御部４００のＣＰＵにより処理プログラムが実行されることにより、訓練者３に取り付けられた生体センサから訓練者３の生体情報を取得できるようになっている。
＜訓練端末管理部＞
　訓練端末管理部４３０は、訓練コンテンツ配信部４３１、および機器状態管理部４３２を備えている。なお、訓練端末管理部４３０が、本発明の第１のコンテンツ出力装置に対応している。
　訓練コンテンツ配信部４３１は、出力部を備え、訓練コンテンツを訓練者３に提示可能に訓練者端末２０に配信するようになっている。訓練コンテンツは、訓練者端末２０の表示部２０３に訓練現場の実際の映像の上に拡張現実を用いて重畳されて表示される映像と、音声出力部２０４より出力される音声とを含んで構成される。或いは、訓練コンテンツは、訓練者端末２０の表示部２０３に仮想現実を用いて表示される映像と、音声出力部２０４より出力される音声とを含んで構成されるようにしてもよい。訓練コンテンツは、映像だけでもよいし、音声だけでもよい。
　具体的には、訓練コンテンツは、例えば、訓練者端末２０の表示部２０３への作業手順の説明の表示、注意喚起の表示、環境情報およびステータス情報の表示を含む。作業手順の説明としては、例えば「手順３：ワイヤーをねじで固定してください」という表示が挙げられる。環境情報としては、例えば作業現場の温度、湿度が挙げられる。ステータス情報としては、手順整合度、作業の進捗度、経過時間、訓練者の体調などが挙げられる。
　また、訓練コンテンツ配信部４３１は、記憶部を備え、作業対象機器４の３次元形状情報を含む訓練用コンテンツ、および作業手順の作業動作についての評価基準情報を記憶するようになっている。なお、訓練コンテンツ配信部４３１が、本発明の第１のコンテンツ出力装置の出力部および記憶部に対応している。
　機器状態管理部４３２は、訓練対象機器５を含めて訓練に関連する機器の仕様および状態、ならびに訓練環境に関する情報を記憶し、管理するようになっている。
＜訓練分析／解析部＞
　訓練分析／解析部４３５は、訓練行動記録集計部４３６、行動要因分析部４３７、訓練記録分析部４３８、および分析結果出力部４３９を備えている。
　訓練行動記録集計部４３６は、訓練者３による訓練行動の記録を取得、集計するようになっている。
　行動要因分析部４３７は、訓導行動の要因、例えば訓練作業の失敗の要因を分析するようになっている。訓練作業の失敗の要因は、訓練者あるいはその監督者が分析して入力するようにしてもよい。
　訓練記録分析部４３８は、訓練記録（訓練行動情報、訓練者情報、訓練対象機器情報など）を、動作整合度、使用工具の適否、作業時間、訓練対象機器との接触の有無、生体情報などの観点から分析し、訓練の成否を判断するようになっている。この判断手法については、作業記録分析部３３８による作業の成否の判断手法と同じである。
　分析結果出力部４３９は、訓練記録の分析結果を、後で説明する訓練コンテンツ管理部４４０や、訓練者端末２０の表示部２０３に適宜出力するようになっている。
＜訓練コンテンツ管理部＞
　訓練コンテンツ管理部４４０は、習熟度管理部４４１、成績結果集計部４４２、および訓練コンテンツ作成／更新部４４３を備えている。
　習熟度管理部４４１は、特定の作業について訓練者３の習熟度を管理するようになっている。具体的には、作業Ｎｏと訓練者３の識別番号と習熟度とを関連付けて記憶し、管理するようになっている。
　成績結果集計部４４２は、分析結果出力部４３９から送られた訓練記録の分析結果等に基づいて、訓練者３の訓練の成績結果を集計するようになっている。
　訓練コンテンツ作成／更新部４４３については、作業者が訓練者に代わった点を除き、システム管理サーバ３０の訓練コンテンツ作成／更新部３４２と構成が同じであるので、詳細な説明は省略する。
＜ストレージ＞
　ストレージ４０２には、訓練行動情報記録データベース４２３、訓練者情報記録データベース４２４、訓練対象機器情報記録データベース４２５、および訓練コンテンツデータベース４２６が格納されている。
　訓練行動情報記録データベース４２３、訓練者情報記録データベース４２４、および訓練対象機器情報記録データベース４２５については、作業者が訓練者に代わった点を除き、作業者端末１０の対応するデータベース構造と同じであるので、詳細な説明は省略する。
　図１２は、訓練コンテンツデータベース４２６の構成を示す構成図である。図１２に示すように、訓練コンテンツデータベース４２６の各レコード（行）に記録される項目は、作業Ｎｏ、対象機器、対象部位、手順Ｎｏ、表示使用定義Ｎｏ、表示内容、修正内容、作業動画、作業音声、位置変移、およびモデルである。
　作業Ｎｏは、作業を特定するために一意に割り当てられた番号である。対象機器は、訓練対象の機器であり、例えば、ねじ、ワイヤ、カバー、キーボードなどである。対象部位は、訓練分析を行う対象部位であり、例えば、作業者の手首や腕などである。手順Ｎｏは、作業Ｎｏで特定される作業についての作業手順のうち、どの手順かを特定する番号である。
　表示仕様定義Ｎｏは、画面の表示仕様を定めた表示仕様定義を特定するために一意に割り当てられた番号である。表示内容は、例えば、注意喚起を行うのか、手順の説明を行うのか等の表示内容を示す。修正内容は、修正の具体的な内容を示し、例えば、注意喚起や仕様変更などが挙げられる。
　作業動画は、訓練時に訓練者に提示する作業動画の動画ファイル名が記載されており、ストレージ４０２等に別途保存された作業動画にアクセスできるようになっている。作業音声は、訓練時に訓練者に提示する作業音声を記録した音声ファイル名が記載されており、ストレージ４０２等に別途保存された作業音声にアクセスできるようになっている。
　位置変移は、対象部位の特徴点の位置座標の変移を示す。モデルは、訓練対象機器の３次元形状情報を含んだ３Ｄモデルファイル名が記載されており、ストレージ４０２等に別途保存された３Ｄモデルファイルにアクセスできるようになっている。
　訓練コンテンツ管理サーバ４０の訓練コンテンツデータベース４２６に格納された既存の訓練コンテンツは、システム管理サーバ３０が分析した結果に基づいて更新されるようになっている。
　次に、コンテンツ提示システム１の動作シーケンスについて説明する。
　図１３は、コンテンツ提示システム１を用いて行う現場作業のシーケンス図である。
　まず、作業者端末１０は、システム管理サーバ３０に作業手順を問い合わせる（Ｓ１）。問い合わせを受けたシステム管理サーバ３０は、作業手順の情報を作業者端末１０に配信する（Ｓ２）。
　次いで、作業者２は、作業手順に従って作業を開始、実行するとともに（Ｓ３）、作業者端末１０は、録画部１０５により作業環境を撮影するとともに、作業者２に取り付けられた生体センサから生体情報を取得する（Ｓ４）。
　次いで、作業者端末１０の現場判定部１２７は、３次元動作検出処理部１１７により作業者２の３次元動作が基準の３次元動作から乖離しているか否かを判断する（Ｓ５）。判断結果がＮＯの場合、ステップＳ８に進む。判断結果がＹＥＳの場合、撮影した映像データ等をシステム管理サーバ３０に送信する（Ｓ６）。システム管理サーバ３０は、作業者端末１０から送信された撮影データ等を受信する（Ｓ７）。この撮影データ等は作業の失敗の分析に用いられる。
　ステップＳ８では、最後の手順か否かを判断する。最後の手順でない場合（ＮＯ）、ステップＳ３に戻り、次の手順の作業を開始、実行する。最後の手順の場合（ＹＥＳ）、現場作業を終了する。
　図１４は、コンテンツ提示システム１を用いて行う作業分析処理のシーケンス図である。
　まず、システム管理サーバ３０は、作業者端末１０から撮影データ等を受信する（Ｓ７）。
　次いで、システム管理サーバ３０の作業分析／解析部３３５により、失敗の原因の解析を行う（Ｓ１０）。
　次いで、失敗の原因が人為的か否かを判断する（Ｓ１１）。人為的である場合（ＹＥＳ）、作業記録分析部３３８により生体情報の解析を行う（Ｓ１３）。人為的でない場合（ＮＯ）、作業記録分析部３３８により３次元データの解析を行う（Ｓ１２）。
　次いで、失敗の原因の重要度を判定する（Ｓ１４）。重要度は、作業者の体調不良、不注意、連絡ミス、マニュアルの間違いなどの失敗の原因がもたらす結果の影響度を考慮して、予め数値でランク付けしておいてもよい。
　次いで、訓練コンテンツ照合部３４１により、訓練コンテンツ管理サーバ４０に格納されている訓練コンテンツとの照合を行い（Ｓ１５）、更新箇所の同定を行う（Ｓ１６）。
　次いで、訓練コンテンツ作成／更新部３４２により訓練コンテンツの更新を行う（Ｓ１７）。更新された訓練コンテンツは、訓練コンテンツ管理サーバ４０に送られ、訓練コンテンツデータベース４２６に格納される。
　図１５は、コンテンツ提示システム１を用いて行う訓練のシーケンス図である。
　まず、訓練者端末２０は、訓練コンテンツ管理サーバ４０に訓練手順を問い合わせる（Ｓ２０）。問い合わせを受けた訓練コンテンツ管理サーバ４０は、訓練手順の情報を訓練者端末２０に配信する（Ｓ２１）。
　次いで、訓練者３は、訓練手順に従って訓練作業を開始、実行するとともに（Ｓ２２）、訓練者端末２０は、録画部２０５により作業環境を撮影し、訓練者３に取り付けられた生体センサから生体情報を取得する（Ｓ２３）。
　次いで、訓練者端末２０の現場判定部２２７は、３次元動作検出処理部２１７により訓練者３の３次元動作が基準の３次元動作から乖離しているか否かを判断する（Ｓ２４）。判断結果がＮＯの場合、ステップＳ２６に進む。判断結果がＹＥＳの場合、注意喚起等のアラート表示を訓練者端末２０の表示部２０３に表示し（Ｓ２５）、ステップ２２に戻る。
　ステップＳ２６では、最後の手順か否かを判断する。最後の手順でない場合（ＮＯ）、ステップＳ２２に戻り、次の手順の作業を開始、実行する。最後の手順の場合（ＹＥＳ）、訓練結果の情報を訓練コンテンツ管理サーバ４０に送信し（Ｓ２７）、該訓練結果の情報を訓練コンテンツ管理サーバ４０が受信する（Ｓ２８）。この訓練結果の情報は、訓練者３の訓練成績の集計等に用いられる。
　次に、本実施形態に係るコンテンツ提示方法を説明する。
　図１６は、本実施形態に係るコンテンツ提示方法のフローチャートである。
　まず、作業対象機器４の３次元形状情報を基に、作業者端末１０の表示部１０３に拡張現実により作業手順を表示する（Ｓ３０）。
　次いで、作業者端末１０の３次元動作検出処理部１１７により、作業手順で示された作業を行う作業者２の３次元動作を測定する（Ｓ３１）。
　次いで、システム管理サーバ３０の作業分析／解析部３３５により、作業者２の作業が失敗か否かを判定する（Ｓ３２）。具体的には、作業者２の３次元動作を測定して得られた測定情報に基づいて作業者２の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業中の特定段階の作業動作の測定情報（３次元基準動作）を基に作業が失敗か否かを判定する。
　さらに具体的には、例えば、作業者端末１０の現場判定部１２７により、作業者２の３次元動作が３次元基準動作より所定値以上乖離していると判定されると、システム管理サーバ３０の作業分析／解析部３３５により、さらに精密に、作業者２の特定部位の特徴点の位置の変移を、同一作業における模範作業者の対応する特定部位の特徴点の位置の変移と比較することにより、動作整合度を算出する。この動作整合度と作業者２の体調、使用工具の適否、経過時間などを総合的に判断することにより、作業が失敗か否かを判定する。
　次いで、作業が失敗であると判定されたとき、システム管理サーバ３０の訓練コンテンツ管理部３４０が、失敗の要因を抑制するように訓練用コンテンツを更新する（Ｓ３３）。例えば、失敗した作業手順において画面上で注意喚起する。対応する訓練用コンテンツが存在しない場合は、訓練用コンテンツを新たに作成する。変更または作成された訓練用コンテンツは、訓練コンテンツ管理サーバ４０の訓練コンテンツデータベース４２６に格納される。
　訓練コンテンツ管理部３４０は、作業対象機器４の仕様の変更情報や、現場環境の変更情報も反映するように、訓練用コンテンツを更新してもよい。
　次いで、訓練コンテンツ管理サーバ４０の訓練端末管理部４３０は、変更された訓練用コンテンツを訓練者３に提示して作業者２の訓練を実行する（Ｓ３４）。
　上記構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業の失敗を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。
　次に、コンテンツの変更内容を説明するために、作業者端末１０の表示部１０３の画面表示例を説明する。
　図１７は、現場作業が正常に行われている時における作業者端末１０の表示部１０３の画面の表示例を示す説明図である。
　画面には、作業現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が重畳されて表示されている。
　図１８は、作業者２の異常動作時、例えば、作業者端末１０の現場判定部１２７が作業者２の作業動作が基準の動作から乖離していると判定した時における、作業者端末１０の表示部１０３の画面の表示例を示す説明図である。
　画面には、作業現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が、画面中央部に注意喚起の表示が重畳されて表示されている。注意喚起の表示は、例えば、「！！手順が間違っています！！」などである。
　図１９は、訓練が正常に行われている時における訓練者端末２０の表示部２０３の画面の表示例を示す説明図である。
　画面には、訓練現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が、画面右部に注意喚起の表示が重畳されて表示されている。注意喚起の表示は、例えば、「よく間違いが起こる手順です。手元に注意してください。」などである。この注意喚起の表示は、現場作業において作業者２が作業を失敗したときの情報を訓練用コンテンツに反映し、失敗の要因を抑制するものである。
　図２０は、訓練者３の異常動作時、例えば、訓練者端末２０の現場判定部２２７が訓練者３の作業動作が基準の動作から乖離していると判定した時における、訓練者端末２０の表示部２０３の画面の表示例を示す説明図である。
　画面には、訓練現場を実際に撮影している映像の上に拡張現実により、画面上部に手順表示が、画面左部に環境情報／ステータス表示が、画面中央部に注意喚起の表示が重畳されて表示されている。注意喚起の表示は、例えば、「！！手順が間違っています！！」などである。なお、図１９、図２０は訓練用コンテンツを拡張現実により提示しているが、仮想現実により提示するようにしてもよいことはもちろんである。
　上記のように、現場作業で失敗があった場合、訓練において同一作業で同一の作業手順の時に、失敗の要因を抑制するように、注意喚起を表示させるようにしている。注意喚起は画面上の表示とともに、或いはそれに代えて音声で行ってもよい。
　次に、作用・効果について説明する。
　上述のように、本実施形態に係るコンテンツ提示システム１は、作業者端末１０の３次元動作検出処理部１１７が、現場の作業者２の作業中の３次元動作を少なくとも身体動作の測定情報として取得し、システム管理サーバ３０の作業分析／解析部３３５が、作業動作の測定情報に基づいて作業動作を評価するための評価基準情報を基に、作業者の３次元動作を分析し、作業が失敗か否かを判定する。そして、作業が失敗であると判定されたとき、システム管理サーバ３０の訓練コンテンツ管理部３４０が、失敗の要因を抑制するように訓練用コンテンツを更新または作成する。すなわち、作業現場と訓練が効率的かつ有機的に連携できるシステムとなっている。
　具体的には、システム管理サーバ３０の作業分析／解析部３３５は、作業者端末１０の３次元動作検出処理部１１７からの測定情報に基づいて作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の作業中の特定段階の作業動作の測定情報を基に作業が失敗か否かを判定する。そして、システム管理サーバ３０の訓練コンテンツ管理部３４０は、作業分析／解析部３３５での判定結果が作業の失敗であると判定されたとき、失敗の要因を抑制するよう訓練用コンテンツを更新する。
　この構成により、判定結果が作業の失敗であると判定されたとき失敗の要因を抑制するよう訓練用コンテンツを更新するため、現場作業の失敗を、訓練教育で使用している訓練コンテンツに効率的に反映することができ、訓練コンテンツのメンテナンスも容易になる。
　また、本実施形態に係るコンテンツ提示システム１では、システム管理サーバ３０の作業分析／解析部３３５は、作業者端末１０の３次元動作検出処理部１１７からの作業者２の作業手順に従った作業動作の測定情報を、模範作業者による作業動作の測定情報と比較して、両作業動作の整合度合を判定し、システム管理サーバ３０の訓練コンテンツ管理部３４０は、判定結果に応じて、整合度合を高めるよう訓練用コンテンツを更新するように構成されている。
　この構成により、模範作業者の作業動作を効果的に訓練者３に教えるように、訓練コンテンツを更新することができる。
　また、本実施形態に係るコンテンツ提示システム１では、システム管理サーバ３０の作業分析／解析部３３５は、特定段階の作業動作について整合度合が所定値以下であると判定されたとき、特定段階の作業動作に対応する訓練者３の特定部位の３次元の変移および作業時間を含む測定情報を基に作業の失敗か否かを判定するように構成されている。
　この構成により、作業者の作業の失敗を確実に検知することができるので、訓練コンテンツに効率的に反映することができる。
　また、本実施形態に係るコンテンツ提示システム１は、作業者が用いる作業者端末１０と、訓練者３が用いる訓練者端末２０と、システム管理サーバ３０と、訓練コンテンツ管理サーバ４０を含み、それらがネットワーク接続されている。
　この構成により、作業現場と訓練現場が離れている場合であっても、作業者２の作業の失敗を訓練コンテンツに効率的に反映することができる。
　以上説明したように、本発明は現場作業で発生した失敗等を効率的に訓練コンテンツに反映することができ、訓練コンテンツのメンテナンスが容易であるという効果を有し、コンテンツ提示システムおよびコンテンツ提示方法の全般に有用である。
　１　コンテンツ提示システム
　１０　作業者端末
　２０　訓練者端末
　３０　システム管理サーバ（管理サーバ）
　４０　訓練コンテンツ管理サーバ（管理サーバ）
　１１７　３次元動作検出処理部（動作測定装置）
　３３０　作業端末管理部（第２のコンテンツ出力装置）
　３３５　作業分析／解析部（判定装置）
　３４０　訓練コンテンツ管理部（コンテンツ作成装置）
　４３０　訓練端末管理部（第１のコンテンツ出力装置） 

Claims (5)

  1. 　作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示システム（１）であって、
    　前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶する記憶部と前記訓練用コンテンツを前記訓練者に提示可能に出力する出力部とを有する第１のコンテンツ出力装置（４３０）と、
    　前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力装置（３３０）と、
    　現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定装置（１１７）と、
    　前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に作業の成否を判定する判定装置（３３５）と、
    　前記作業動作の測定情報および前記判定装置の判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成装置（３４０）と、を備え、
    　前記判定装置は、前記動作測定装置からの前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、
    　前記コンテンツ作成装置または前記第１のコンテンツ出力装置は、前記判定装置での判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴とするコンテンツ提示システム。
  2. 　前記判定装置は、前記動作測定装置からの前記作業者の前記作業手順に従った前記作業の測定情報を、前記模範作業者による前記作業の測定情報と比較して、両作業動作の整合度合を判定し、
    　前記コンテンツ作成装置または第１のコンテンツ出力装置は、前記判定装置の判定結果に応じて、前記整合度合を高めるよう前記訓練用コンテンツを更新することを特徴とする請求項１に記載のコンテンツ提示システム。
  3. 　前記判定装置は、前記特定段階の作業動作について前記整合度合が所定値以下であると判定されたとき、前記特定段階の作業動作に対応する前記作業者の特定部位の３次元の変移および作業時間を含む測定情報を基に前記作業の失敗か否かを判定することを特徴とする請求項２に記載のコンテンツ提示システム。
  4. 　前記作業者が用いる作業者端末（１０）と管理サーバ（３０、４０）とをさらに含み、前記動作測定装置が前記作業者端末に備えられ、前記第１のコンテンツ出力装置、前記第２のコンテンツ出力装置、前記判定装置、および前記コンテンツ作成装置が、それぞれ前記作業者端末にネットワーク接続される前記管理サーバで構成されていることを特徴とする請求項１ないし３のいずれか一項に記載のコンテンツ提示システム。
  5. 　作業対象機器の３次元形状情報と作業手順に基づく訓練用コンテンツを訓練者（３）に提示し、前記作業対象機器の３次元形状情報を基に拡張現実を用いて作業手順を提示するコンテンツ提示方法であって、
    　前記作業対象機器の３次元形状情報を含む前記訓練用コンテンツおよび前記作業手順の作業動作についての評価基準情報を記憶するとともに、前記訓練用コンテンツを前記訓練者に提示可能に出力する第１のコンテンツ出力ステップと、
    　前記作業対象機器の３次元形状情報を基に拡張現実による作業手順を示す第２のコンテンツ出力ステップと、
    　現場の作業者（２）の作業中の３次元動作を少なくとも身体動作の測定情報として取得する動作測定ステップと、
    　前記作業動作の測定情報に基づいて前記作業動作を評価するための評価基準情報を基に、作業の成否を判定する判定ステップと、
    　前記作業動作の測定情報および前記判定ステップの判定結果に基づいて前記訓練用コンテンツを作成および更新するコンテンツ作成ステップと、を備え、
    　前記判定ステップでは、前記動作測定ステップで取得された前記測定情報に基づいて前記作業者の所定の身体動作が検出されたとき、該身体動作に及ぶまでの模範作業者の前記作業中の特定段階の作業動作の測定情報を基に前記作業が失敗か否かを判定し、
    　前記コンテンツ作成ステップまたは第１のコンテンツ出力ステップでは、前記判定ステップでの判定結果が前記作業の失敗であると判定されたとき、前記失敗の要因を抑制するよう前記訓練用コンテンツを更新することを特徴とするコンテンツ提示方法。 
PCT/JP2018/031354 2018-06-29 2018-08-24 コンテンツ提示システムおよびコンテンツ提示方法 WO2020003547A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18924092.2A EP3637389A4 (en) 2018-06-29 2018-08-24 CONTENT PRESENTATION SYSTEM AND METHOD
US16/626,031 US11367365B2 (en) 2018-06-29 2018-08-24 Content presentation system and content presentation method
US17/747,560 US11817003B2 (en) 2018-06-29 2022-05-18 Content presentation system and content presentation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-124690 2018-06-29
JP2018124690A JP7210169B2 (ja) 2018-06-29 2018-06-29 コンテンツ提示システムおよびコンテンツ提示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/626,031 A-371-Of-International US11367365B2 (en) 2018-06-29 2018-08-24 Content presentation system and content presentation method
US17/747,560 Continuation US11817003B2 (en) 2018-06-29 2022-05-18 Content presentation system and content presentation method

Publications (1)

Publication Number Publication Date
WO2020003547A1 true WO2020003547A1 (ja) 2020-01-02

Family

ID=68986262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/031354 WO2020003547A1 (ja) 2018-06-29 2018-08-24 コンテンツ提示システムおよびコンテンツ提示方法

Country Status (4)

Country Link
US (2) US11367365B2 (ja)
EP (1) EP3637389A4 (ja)
JP (1) JP7210169B2 (ja)
WO (1) WO2020003547A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586725A1 (en) * 2018-06-28 2020-01-01 Koninklijke Philips N.V. Blood pressure measurement analysis method and system
JP7210169B2 (ja) * 2018-06-29 2023-01-23 株式会社日立システムズ コンテンツ提示システムおよびコンテンツ提示方法
CA3206975A1 (en) * 2020-12-31 2022-07-07 Schneider Electric Systems Usa, Inc. Systems and methods for providing operator variation analysis for transient operation of continuous or batch wise continuous processes
JP7361985B2 (ja) 2021-03-09 2023-10-16 三菱電機株式会社 Ａｒコンテンツ表示装置、ａｒコンテンツ表示システム、ａｒコンテンツ表示方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0392719A (ja) * 1989-09-05 1991-04-17 Toshiba Corp 設備保守作業支援装置
JPH0652145A (ja) * 1992-07-28 1994-02-25 Toshiba Corp 保修支援装置
JPH10333543A (ja) * 1997-06-04 1998-12-18 Mitsubishi Electric Corp 訓練装置
JP2001331216A (ja) 2000-05-18 2001-11-30 Central Res Inst Of Electric Power Ind 現場業務支援システム
JP2017064831A (ja) * 2015-09-29 2017-04-06 日立Ｇｅニュークリア・エナジー株式会社 遠隔作業支援システム及び遠隔作業支援方法
US20180061269A1 (en) * 2016-09-01 2018-03-01 Honeywell International Inc. Control and safety system maintenance training simulator

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2386724A (en) * 2000-10-16 2003-09-24 Tangis Corp Dynamically determining appropriate computer interfaces
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
US9566004B1 (en) * 2011-11-22 2017-02-14 Kinevid, Llc. Apparatus, method and system for measuring repetitive motion activity
US20150185731A1 (en) * 2013-12-26 2015-07-02 Hyundai Motor Company Work-in-process inspection system using motion detection, and method thereof
US20150277416A1 (en) * 2014-03-31 2015-10-01 Mitsubishi Electric Research Laboratories, Inc. Method for Anomaly Detection in Discrete Manufacturing Processes
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
US9305216B1 (en) * 2014-12-15 2016-04-05 Amazon Technologies, Inc. Context-based detection and classification of actions
US9665960B1 (en) * 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
JP6452092B2 (ja) * 2015-04-28 2019-01-16 パナソニックＩｐマネジメント株式会社 コンテンツ提供支援方法、及び、サーバ装置
EP3104241B1 (en) 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
US20170148214A1 (en) 2015-07-17 2017-05-25 Ivd Mining Virtual reality training
US9824437B2 (en) * 2015-12-11 2017-11-21 Daqri, Llc System and method for tool mapping
CN108604393B (zh) * 2016-03-04 2022-12-30 日铁系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质
US20170344919A1 (en) * 2016-05-24 2017-11-30 Lumo BodyTech, Inc System and method for ergonomic monitoring in an industrial environment
WO2018187748A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
JP2019049780A (ja) * 2017-09-07 2019-03-28 富士通株式会社 教師データ作成プログラム、教師データ作成装置、及び教師データ作成方法
WO2019055821A1 (en) * 2017-09-14 2019-03-21 Vrsim, Inc. SIMULATOR FOR TRAINING ORIENTED TO ACQUIRE SKILLS
US11482126B2 (en) * 2017-10-03 2022-10-25 ExtendView, Inc. Augmented reality system for providing movement sequences and monitoring performance
US11227439B2 (en) * 2018-03-29 2022-01-18 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
JP7210169B2 (ja) * 2018-06-29 2023-01-23 株式会社日立システムズ コンテンツ提示システムおよびコンテンツ提示方法
JP7289190B2 (ja) * 2018-06-29 2023-06-09 株式会社日立システムズ コンテンツ提示システム
JP7191560B2 (ja) * 2018-06-29 2022-12-19 株式会社日立システムズ コンテンツ作成システム
US11107236B2 (en) * 2019-04-22 2021-08-31 Dag Michael Peter Hansson Projected augmented reality interface with pose tracking for directing manual processes
US11442429B2 (en) * 2019-12-06 2022-09-13 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for advance anomaly detection in a discrete manufacturing process with a task performed by a human-robot team
US11216656B1 (en) * 2020-12-16 2022-01-04 Retrocausal, Inc. System and method for management and evaluation of one or more human activities

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0392719A (ja) * 1989-09-05 1991-04-17 Toshiba Corp 設備保守作業支援装置
JPH0652145A (ja) * 1992-07-28 1994-02-25 Toshiba Corp 保修支援装置
JPH10333543A (ja) * 1997-06-04 1998-12-18 Mitsubishi Electric Corp 訓練装置
JP2001331216A (ja) 2000-05-18 2001-11-30 Central Res Inst Of Electric Power Ind 現場業務支援システム
JP2017064831A (ja) * 2015-09-29 2017-04-06 日立Ｇｅニュークリア・エナジー株式会社 遠隔作業支援システム及び遠隔作業支援方法
US20180061269A1 (en) * 2016-09-01 2018-03-01 Honeywell International Inc. Control and safety system maintenance training simulator

Also Published As

Publication number Publication date
EP3637389A1 (en) 2020-04-15
JP7210169B2 (ja) 2023-01-23
JP2020003708A (ja) 2020-01-09
US20210358327A1 (en) 2021-11-18
US11817003B2 (en) 2023-11-14
EP3637389A4 (en) 2021-03-10
US11367365B2 (en) 2022-06-21
US20220351641A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US11817003B2 (en) Content presentation system and content presentation method
JP7184511B2 (ja) 対話形式で認知する作業支援システム及び方法
US20130010068A1 (en) Augmented reality system
WO2017169276A1 (ja) プラント管理システム、プラント管理方法、プラント管理装置、および、プラント管理プログラム
US20200388177A1 (en) Simulated reality based confidence assessment
WO2005066744A1 (en) A virtual control panel
US20210335148A1 (en) Content presentation system
US20200000414A1 (en) Monitors for movements of workers
US11138805B2 (en) Quantitative quality assurance for mixed reality
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
US10593223B2 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
US20220051579A1 (en) Content creation system
US20210264813A1 (en) Work support device and work supporting method
WO2017017739A1 (ja) 作業管理システム、作業管理方法、情報処理装置および作業管理プログラム
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法
US20240104456A1 (en) Work action recognition system and work action recognition method
JP2020091556A (ja) 作業支援装置、作業支援システム、作業支援方法及びプログラム
KR20230079932A (ko) 객체인식을 이용한 휴대용 군정비 교육 시스템
JP2024055651A (ja) Ａｒコンテンツ更新システム、およびａｒコンテンツ更新方法
WO2020136924A1 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
Marino et al. Assessing user performance in augmented reality assembly guidance for industry 4.0 operators
WO2017017741A1 (ja) モニタ方法、情報処理装置およびモニタプログラム
JP2022015794A (ja) 作業評価システムおよび方法
WO2017017737A1 (ja) 表示方法、モニタ結果出力方法、情報処理装置および表示プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018924092

Country of ref document: EP

Effective date: 20200109

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924092

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE