WO2019087951A1 - 検査作業管理システム及び検査作業管理方法 - Google Patents

検査作業管理システム及び検査作業管理方法 Download PDF

Info

Publication number
WO2019087951A1
WO2019087951A1 PCT/JP2018/039811 JP2018039811W WO2019087951A1 WO 2019087951 A1 WO2019087951 A1 WO 2019087951A1 JP 2018039811 W JP2018039811 W JP 2018039811W WO 2019087951 A1 WO2019087951 A1 WO 2019087951A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
work
unit
result
inspector
Prior art date
Application number
PCT/JP2018/039811
Other languages
English (en)
French (fr)
Inventor
遠藤　久
裕 吉川
敏広 山田
修弘 掛布
英也 井坂
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2019087951A1 publication Critical patent/WO2019087951A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management

Definitions

  • the present invention relates to an inspection operation management system and the like.
  • nondestructive inspection such as ultrasonic flaw detection is also performed in addition to visual observation based on surface observation of the inspection object and penetration flaw detection method and magnetic particle flaw detection method.
  • inspection omission for example, the technology described in Patent Document 1 is known.
  • this invention makes it a subject to provide the inspection operation management system etc. which manage inspection operation appropriately.
  • the present invention is the above-mentioned based on comparison of three-dimensional measurement data of a test subject which is a subject of a test by an inspector, and design data of apparatus containing the test subject.
  • the inspection object specifying means for specifying the inspection object
  • the inspection work content recognition means for recognizing the work content of the inspection by the inspector
  • the recording means for recording at least the recognition result of the inspection work content recognition means
  • the inspection work content recognition means is attached to the inspector, and a photographing unit for photographing the vicinity of an area included in the visual field of the inspector, and the inspection object specified by the inspection object specifying means,
  • a work location recognition unit that recognizes a work location on which an inspection is performed by the inspector based on a result of shooting by the shooting unit, and a shooting result of the shooting unit and the work item
  • An inspection result evaluation unit that evaluates the performance of the work content based on comparison between the work content specified by using at least the recognition result of the recognition unit and predetermined test specification data set in advance. It
  • work appropriately can be provided.
  • the inspection operation management system concerning a 1st embodiment of the present invention it is a wave form diagram of a sensor probe in the state where a sensor probe is applied to piping.
  • the inspection operation management system concerning a 1st embodiment of the present invention it is a wave form diagram of a sensor probe in the state where a sensor probe is not applied to piping.
  • FIG. 1 is an explanatory view showing a state of inspection work in the inspection work management system 100 according to the first embodiment.
  • the inspection work management system 100 is a system that manages the inspection work of the inspection object by the inspector.
  • the first embodiment as an example, a case where an inspector inspects the pipe G (object to be inspected) using the sensor probe P (sensor for inspection) will be described.
  • the sensor probe P is a device for measuring the thickness of the pipe G by transmitting / receiving an ultrasonic wave, or checking whether the pipe G is damaged.
  • the sensor probe P transmits an ultrasonic wave to the pipe G, and outputs the measurement data of the reflected wave from time to time to the inspection device 40.
  • the inspection operation management system 100 includes the three-dimensional measurement sensor 10 shown in FIG. 1, a line-of-sight camera 20 (shooting unit), a motion sensor 30 (acceleration sensor), and an inspection device 40. And a portable terminal 60.
  • the three-dimensional measurement sensor 10 is a sensor that three-dimensionally measures the shape of the pipe G which is an inspection object. That is, the three-dimensional measurement sensor 10 generates three-dimensional measurement data (for example, point cloud data) of the pipe G by irradiating the pipe G with a laser or the like. Three-dimensional measurement data generated by the three-dimensional measurement sensor 10 is transmitted to the server 50 (see FIG. 3).
  • the line-of-sight camera 20 is a camera for photographing the vicinity of the area within the field of vision of the inspector, and is mounted on the inspector.
  • the lens 22 is disposed in the vicinity of the center of the frame 21 of the eyeglass (in the vicinity of the eyes of the inspector wearing the eye camera 20). Then, the photographing by the eye gaze camera 20 is repeated every predetermined time (for example, every one second), and the image data as the photographing result is transmitted to the server 50 (see FIG. 3).
  • the eye gaze camera 20 may be configured to specify the movement of the pupil of the eye of the examiner while repeating photographing at predetermined time intervals. This allows more accurate identification of what the inspector is actually looking at.
  • the motion sensor 30 is an acceleration sensor for specifying the movement of the inspector during the inspection operation, and is mounted on a predetermined part of the body of the inspector.
  • the motion sensor 30 is attached to the wrist of the examiner's right hand (the hand holding the sensor probe P). Then, an instantaneous detection value of the motion sensor 30 is transmitted to the server 50 (see FIG. 3).
  • the inspection device 40 is a device that converts an analog signal input from the sensor probe P into a digital signal, and transmits the digital signal to the server 50 (see FIG. 3). As shown in FIG. 1, the inspection apparatus 40 is connected to the sensor probe P via the wiring J. In addition, the inspection apparatus 40 repeatedly determines, in a predetermined cycle, whether the ultrasonic inspection is actually performed based on the measurement data of the sensor probe P, and transmits the determination result to the server 50 (see FIG. 3). It also has a function.
  • the portable terminal 60 is possessed by the inspector during the inspection work, and performs predetermined communication with the server 50 (see FIG. 3).
  • a mobile terminal 60 a smartphone, a mobile phone, a tablet, a smart watch or the like can be used.
  • FIG. 2A is a waveform diagram of the sensor probe P in a state in which the sensor probe P is applied to the pipe G. Although the waveform is simplified in FIG. 2A, a reflected wave from the outer peripheral surface of the pipe G, a reflected wave from the inner peripheral surface of the pipe G, and the like are actually detected.
  • the inspection apparatus 40 determines that the ultrasonic inspection of the pipe G is being performed. For example, when there is a measured value having a measured value equal to or more than a predetermined value, the inspection apparatus 40 determines that “ultrasonic test is performed”.
  • the above-mentioned predetermined value is a threshold for preventing an erroneous determination caused by the influence of noise, and is set in advance.
  • the time for which the state where the measurement value is equal to or more than the predetermined value continues (intermittently) as the determination condition of whether or not the ultrasonic inspection is performed You may add the time etc. which the sensor probe P is transmitting the ultrasonic wave.
  • FIG. 2B is a waveform diagram of the sensor probe P in a state in which the sensor probe P is not applied to the pipe G.
  • the inspection apparatus 40 determines that “ultrasound inspection is not performed”. As described above, the determination result of the inspection apparatus 40 is transmitted to the server 50 (see FIG. 3) together with the measurement value of the sensor probe P (after A / D conversion).
  • FIG. 3 is a functional block diagram of the inspection operation management system 100.
  • the server 50 illustrated in FIG. 3 is a device that executes a predetermined process for managing the inspection work of the inspector.
  • the server 50 includes a design data storage unit 50a, a shape data conversion unit 50b, a first comparison unit 50c, an inspection specification data storage unit 50d, a work location recognition unit 50e, and a second comparison.
  • a unit 50 f, a measurement data acquisition unit 50 g, and a data association unit 50 h are provided.
  • the server 50 also includes an inspection result evaluation unit 50i, an inspection failure determination unit 50j, an inspection content recording unit 50k, and an inspection content recording database 50m (in FIG. And a data transmission unit 50n.
  • design data 51a of each device installed in the plant is stored in advance, for example, as predetermined CAD data (Computer-Aided Design data).
  • CAD data of each pipe and data indicating the connection relationship of each pipe are stored in advance as design data 51a.
  • Predetermined design data IDs are given in advance to the design data 51a of the piping G and the like which are inspection objects.
  • the shape data conversion unit 50 b converts the measurement result of the three-dimensional measurement sensor 10 into a data format that can be compared with the design data 51 a. For example, the shape data conversion unit 50 b converts point cloud data received from the three-dimensional measurement sensor 10 into predetermined CAD data.
  • the first matching unit 50c matches the three-dimensional measurement data after conversion by the shape data conversion unit 50b with the design data 51a. Then, in the design data 51a of each device installed in the plant, when there is one corresponding to the measurement result of the three-dimensional measurement sensor 10, the first collation unit 50c acquires the design data ID of the design data 51a. . By this, based on the measurement result of the three-dimensional measurement sensor 10, the server 50 can grasp where in the plant the inspector is inspecting.
  • the inspection object identification means for specifying the inspection object based on the comparison between the three-dimensional measurement data of the inspection object to be inspected by the inspector and the design data 51a of the device including the inspection object U “includes the following configurations. That is, the "inspection object specifying means U" includes the three-dimensional measurement sensor 10 shown in FIG. 3, a design data storage unit 50a, a shape data conversion unit 50b, and a first comparison unit 50c.
  • Predetermined inspection specification data 51 d is stored in advance in the inspection specification data storage unit 50 d shown in FIG. 3.
  • the inspection specification data 51 d includes an inspection item (see FIG. 4) when the inspector performs an inspection operation, a predetermined performance evaluation standard to be satisfied in the inspection operation, and the like (see FIG. 5).
  • the design data 51a of the pipe G which is the inspection object and the inspection specification data 51d related to the pipe G are linked in advance using predetermined design data ID (identification information). Then, as described above, the inspection object specifying means U specifies the design data ID given to the design data 51 a of the pipe G.
  • FIG. 4 is an explanatory diagram of inspection specification data 51 d.
  • Design data ID "517" shown in FIG. 4 is, for example, an ID of a portion (see FIG. 1) where the valve H is installed in the pipe G, and as described above, the first collating unit 50c (see FIG. 3) Identified by Four inspection items E1, E2, E31 and E32 are set in advance in association with the design data ID "517".
  • the inspection item ID and data indicating the contents of work to be performed in the inspection are stored in advance in the inspection specification data storage unit 50d (see FIG. 3) in association with each inspection item.
  • the work content of the inspection item E1 is a visual inspection of the pipe G (see FIG. 1) which is the design data ID "517".
  • the work content of the inspection item E2 is an ultrasonic inspection of the pipe G which is the design data ID “517”. In the ultrasonic inspection, the above-described sensor probe P (see FIG. 1) is used.
  • the inspection item E3 includes lower inspection items E31 and E32.
  • the inspection item E31 is a visual inspection of the valve H (see FIG. 1) installed in the pipe G.
  • the inspection item E32 is adjustment of the opening degree of the valve H.
  • the inspection of the inspection item E32 is performed by the inspector if the opening degree of the valve H is inappropriate in the visual inspection of the inspection item E31. In other words, when the opening degree of the valve H is appropriate in the visual inspection of the inspection item E31, the inspector need not perform the inspection item E32.
  • FIG. 4 data indicating the condition between such inspection items is also included in the inspection specification data 51 d.
  • the work location recognition unit 50e shown in FIG. 3 is a work location where an inspector performs an inspection on the inspection object (for example, the pipe G of the design data ID "517") specified by the inspection object specifying means U. , Recognize based on the photographing result of the eye gaze camera 20. That is, the work location recognition unit 50e refers to the inspection specification data 51d via the second comparison unit 50f described below, and recognizes a location in the inspection object field of the inspection object.
  • the work location recognition unit 50e compares the photographing result of the eye camera 20 with the inspection specification data 51d (predetermined image data serving as a reference) corresponding to the design data ID "517", and performs inspection.
  • Staff members identify which part of pipe G they are actually inspecting.
  • the work location recognition unit 50e may perform processing such as edge extraction on the shooting result (still image) of the eye gaze camera 20.
  • the posture of the inspector may be recognized by the work location recognition unit 50e based on the relative position of each motion sensor 30. Then, based on the photographing result of the eye gaze camera 20 and the posture of the inspector, the work part recognition unit 50e may recognize the work part of the inspection.
  • the second collating unit 50f checks the inspection specification data 51d corresponding to the design data ID of the inspection object and the data input from the work point recognition unit 50e (in addition to the recognition result of the work point recognition unit 50e, the eye camera 20 and the motion Based on the output value of the sensor 30, the inspection item currently performed by the inspector is specified. Specifically, the second collation unit 50f refers to the inspection specification data 51d, and among the four inspection items E1, E2, E31, E32 (see FIG. 4) associated with the design data ID “517”. , Identify the inspection items conducted by the inspector.
  • FIG. 5 is an explanatory diagram of the inspection specification data 51 d of the design data ID “517”.
  • the inspection items (left end in the drawing) and the work contents (right end in the drawing) illustrated in FIG. 5 are as described with reference to FIG. 4.
  • the work location ⁇ , hand position ⁇ , acceleration ⁇ , and the determination result ⁇ of the inspection apparatus 40 shown in FIG. 5 are data serving as the determination criteria as to whether the work content of the inspector corresponds to a predetermined inspection item. Yes, it is preset.
  • the work location ⁇ is the recognition result of the work location recognition unit 50e. As described above, the inspection operation is performed based on the comparison between the photographing result of the eye-view camera 20 (see FIG. 1) and the predetermined image data (for example, part of the design data 51a) included in the inspection specification data 51d. The place is recognized.
  • the hand position ⁇ is the position of the examiner's hand in the shooting result of the eye gaze camera 20. The position of the hand is specified by predetermined pattern recognition using the photographing result of the eye gaze camera 20.
  • the acceleration ⁇ is the acceleration of the examiner's right hand, and is detected by the motion sensor 30 (see FIG. 2).
  • the determination result ⁇ of the inspection apparatus 40 is the determination result of whether or not the ultrasonic inspection has been performed using the sensor probe P, as described with reference to FIGS. 2A and 2B.
  • the logical expression shown in FIG. 5 is a logical expression relating to the work location ⁇ , the position ⁇ of the hand, the acceleration ⁇ , and the determination result ⁇ of the inspection apparatus 40, and is set in advance.
  • the continuation time shown in FIG. 5 is a continuation time when the predetermined logical expression is continuously established.
  • predetermined performance evaluation criteria logical formula and duration shown in FIG. 5 set in advance for each of the inspection items E1, E2, E31, E32 at the inspection work point ⁇ It is included.
  • the inspection result evaluation unit 50i determines that the visual inspection of the pipe G is appropriately performed by the inspector. Further, for the inspection item E2, the work point ⁇ is the pipe G, the hand position ⁇ is near the pipe G, the acceleration ⁇ in the X and Y directions is within the predetermined range, and the determination result of the inspection device 40 When ⁇ is “with ultrasonic inspection”, the inspection result evaluation unit 50i determines that the ultrasonic inspection of the pipe G has been appropriately performed.
  • the description of the inspection item E31 (visual inspection of the valve H) and the inspection item E32 (adjustment of the opening degree of the valve H) will be omitted.
  • the inspection result evaluation unit 50i evaluates the inspection contents and results of the inspection items E1, E2, E31, and E32 corresponding to the design data ID "517" specified by the inspection object specifying means U. Make a comparison with the standard.
  • the operation of the inspector assumed in the implementation of the predetermined inspection item is divided into a plurality of parts (for example, after the inspector moves the right hand in the X direction, a predetermined posture is taken), and a series of operations are performed. In this case, it may be determined that the inspection item has been performed. Further, it is possible to set the inspection specification data 51 d shown in FIG. 5 based on previously acquired data in a state where it is known that the inspection has been appropriately performed by the inspector.
  • Work data is data indicating the work content of the inspection actually performed by the inspector.
  • the measurement data acquisition unit 50g illustrated in FIG. 3 has a function of directly or indirectly acquiring measurement data of the sensor probe P used when the inspector inspects the pipe G.
  • the measurement data acquisition unit 50g indirectly acquires measurement data of the sensor probe P via the inspection device 40.
  • the data tying unit 50h associates the measurement data acquired from the inspection device 40 by the measurement data acquiring unit 50g with the work data acquired via the second collating unit 50f with the design data ID “517”. Attach.
  • the data (measurement data, work data, and design data ID "517") linked by the data linking unit 50h is output to the inspection result evaluation unit 50i.
  • the inspection performance evaluation unit 50i evaluates the performance of the work content of the inspector. That is, the inspection result evaluation unit 50i determines the work content of the inspector specified by using at least the photographing result of the eye line camera 20 and the recognition result of the work location recognition unit 50e, and predetermined inspection specification data 51d set in advance. Based on the comparison of and, to evaluate the performance of the work content. Specifically, the inspection result evaluation unit 50i refers to the inspection specification data 51d corresponding to the design data ID "517" of the pipe G, and evaluates the predetermined results for each of the inspection items E1, E2, E31, and E32. It is determined whether the criteria (see FIG. 5) are satisfied.
  • the inspection failure determination unit 50j determines the presence or absence of inspection failure of the inspector based on the evaluation result of the inspection result evaluation unit 50i. For example, it is assumed that the inspection failure determination unit 50j determines that the inspector has moved from the pipe G (predetermined inspection object) to another inspection object based on the imaging result of the eye gaze camera 20. In such a case, when there is one of the inspection items E1, E2, E31, E32 (see FIG. 4) related to the pipe G that has not been inspected by the inspector, the inspection omission determination unit 50j With regard to, it is determined that the inspector has missed the inspection.
  • the inspection omission determination unit 50j may determine that the inspector has forgotten the inspection.
  • the inspection operation content recognition means V which has a function etc. which recognize the operation content of the inspection by an inspector is equipped with the following structures. That is, the inspection work content recognition means V includes the eye gaze camera 20, the motion sensor 30, and the inspection device 40. In addition to the above-described configuration, the inspection work content recognition unit V has an inspection specification data storage unit 50d, a work location recognition unit 50e, a second comparison unit 50f, a measurement data acquisition unit 50g, and a data association unit. 50h, an inspection result evaluation unit 50i, and an inspection failure determination unit 50j.
  • the inspection work content recognition means V having such a configuration has a function of recognizing the work content by the inspector using the inspection specification data 51 d corresponding to the design data ID specified by the inspection object specifying means U. ing.
  • the inspection content recording unit 50k shown in FIG. 3 associates the evaluation result of the inspection result evaluation unit 50i, the judgment result of the inspection failure judgment unit 50j, etc. with the design data ID in addition to the measurement data and work data described above. It is recorded in the examination content record database 50m.
  • the examination content recording database 50m is a database in which predetermined data is recorded by the examination content recording unit 50k.
  • the "recording means W" for recording at least the recognition result of the inspection work content recognition means V is configured to include an inspection content recording unit 50k and an inspection content recording database 50m.
  • the data transmission unit 50n illustrated in FIG. 3 transmits the data of the inspection item corresponding to the inspection failure to the portable terminal 60 possessed by the inspector, when the inspection failure determination unit 50j determines that the “for inspection failure”. By this, even if the inspector forgets the inspection, the inspector can be notified of that.
  • the data transmission unit 50n reads out data relating to the examination content from the examination content recording database 50m, and this data is portable It may be transmitted to the terminal 60.
  • the inspector can confirm with the portable terminal 60 whether the inspection has been properly performed or confirm the waveform of the measurement value of the sensor probe P (see FIG. 2A).
  • FIG. 6 is a display example of the screen K of the portable terminal 60 in the inspection operation management system 100.
  • the portable terminal is in a state where the image Q1 showing the inspection result of the pipe G and the image Q2 showing the inspection result of the valve H are superimposed on predetermined CAD data (design data 51a: see FIG. 3) It is displayed on screen K of 60.
  • the image Q1 of a predetermined color or pattern is superimposed on the design data 51a of the pipe G.
  • an image (not shown) of another color or pattern is superimposed and displayed on the design data 51 a of the pipe G.
  • the design data 51 a of the pipe G or the like may be superimposed and displayed on the design data 51 a of the pipe G or the like.
  • an image indicating the inspection result may be superimposed and displayed on the photographing result of the eye gaze camera 20.
  • the waveform or measurement value (numerical value) of the measurement data of the sensor probe P may be displayed according to the operation of the mobile terminal 60 by the inspector.
  • the image Q1 showing at least the evaluation result is a portable terminal 60 (display means). Specifically, the image Q1 indicating the evaluation result is displayed on the portable terminal 60 in a state where the image Q1 indicating the evaluation result is superimposed on the photographing result at the time of photographing of the eye gaze camera 20 or the image of the design data 51a corresponding to the photographing result. Thereby, the inspector can confirm whether the work content of the inspection satisfies the performance evaluation criteria for each inspection item.
  • FIG. 7 is a flowchart showing processing executed by the server 50 (see FIG. 3 as appropriate).
  • the server 50 acquires shape data (for example, point cloud data) of the inspection object from the three-dimensional measurement sensor 10.
  • the server 50 converts the shape data into data of a predetermined format (for example, CAD data) by the shape data conversion unit 50b.
  • step S103 the server 50 uses the first comparison unit 50c to compare the shape data of the inspection object with the design data 51a stored in advance (inspection object identification process). Through this process, the design data ID of the design data 51a regarding the place where the inspection is actually performed is specified.
  • step S104 the server 50 specifies an inspection item performed by the inspector. That is, the server 50 specifies the inspection item performed by the inspector by the second collating unit 50 f based on the output values of the eye gaze camera 20, the motion sensor 30, and the inspection device 40, and the like.
  • step S105 the server 50 links each data. That is, the server 50 associates the measurement data acquired from the inspection device 40 with the work data described above in association with a predetermined design data ID. Note that, prior to generation of work data, shooting (shooting step) by the eye gaze camera 20, recognition of a work place by the work place recognition unit 50e (work point recognition step), and detection by the motion sensor 30 are also performed. .
  • step S106 the server 50 evaluates the inspection result of each inspection item by the inspection result evaluation unit 50i (inspection result evaluation step).
  • a predetermined performance evaluation standard (see FIG. 5) included in the inspection specification data 51 d is used to determine the inspection performance. This makes it possible to determine whether each inspection item has been properly implemented.
  • the “inspection work content recognition process” for recognizing the work content and the like of the inspection by the inspector includes the processes of steps S104 to S107.
  • step S107 the server 50 causes the inspection failure determination unit 50j to determine whether the inspector has forgotten the inspection.
  • an inspection item ID or the like (see FIG. 4) corresponding to the inspection failure is notified to the portable terminal 60 by the data transmission unit 50n. In this way, the inspector can inspect the inspection items that he / she overlooked (or the inspection was insufficient).
  • step S108 the server 50 causes the inspection content recording unit 50k to record the inspection content by the inspector in the inspection content recording database 50m in association with a predetermined design data ID.
  • the contents of this inspection include measurement data and work data, as well as evaluation results of inspection results, and data regarding the presence or absence of inspection omission.
  • the server 50 executes the “recording process” which records at least the recognition result of the “inspection work content recognition process” described above.
  • the server 50 After performing the process of step S108, the server 50 ends the series of processes related to the management of the inspection operation (END). Note that each time a new inspection target is measured using the three-dimensional measurement sensor 10, the process shown in FIG. 7 is performed.
  • the server 50 can specify the place where the inspector is present, and in turn, the inspection object.
  • the server 50 specifies the work content of the inspector for each predetermined inspection item by comparing the inspection specification data 51 d corresponding to the design data ID of the inspection object with the photographing result of the eye camera 20 and the like. Furthermore, the inspection results can be evaluated.
  • the portable terminal 60 is notified of that effect. By this, it is possible to notify the inspector that the place where the inspection has been forgotten should be inspected again. Moreover, even if the structure of the inspection object is complicated and there are many places to be inspected, the inspector can perform a predetermined inspection in a short time without leakage. In addition, since it is not necessary for the inspector to input the measured values, the workload on the inspector can be reduced, and incorrect input and omission of the measured values can be prevented.
  • various data related to the inspection content is recorded in the inspection content record database 50m in association with a predetermined design data ID. This makes it possible to improve the traceability (traceability) of the work content of the inspector by utilizing so-called IoT (Internet of Things) technology.
  • IoT Internet of Things
  • a server 50 (see FIG. 8) is connected to a MES 71 (Manufacturing Execution System) sequentially via a wireless LAN 73 (Local Area Network: communication device) and a PLC 72 (Programmable Logic Controller: communication device).
  • MES 71 Manufacturing Execution System
  • wireless LAN 73 Local Area Network: communication device
  • PLC 72 Programmable Logic Controller: communication device
  • FIG. 8 is a configuration diagram including an inspection operation management system 100A according to the second embodiment.
  • the inspection work management system 100A shown in FIG. 8 includes the inspection object specifying means U (see FIG. 3), the inspection work content recognition means V (see FIG. 3), and the recording means W (FIG. 3) described in the first embodiment. And the MES 71 that performs process management of the device 84 and the like based on the recognition result of the inspection work content recognition means V.
  • the inspection operation management system 100A further includes a PLC 72 and a wireless LAN 73 in addition to the above-described configurations. Furthermore, although illustration is omitted in FIG. 8, the inspection operation management system 100A includes the three-dimensional measurement sensor 10 (see FIG. 3), the line-of-sight camera 20 (see FIG. 3), and the motion sensor 30 (see FIG. 3). And an inspection device 40 (see FIG. 3).
  • the PLC 72 is a programmable logic control device that exchanges a predetermined signal with the MES 71 based on the processing result of the server 50.
  • the wireless LAN 73 is a communication device that performs relay when data is transmitted from one of the server 50 and the MES 71 to the other.
  • the MES 71 manages the entire plant including the inspection object based on the data input to the MES 71 via the PLC 72.
  • the MES 71 refers to the data of the inspection content recorded in the server 50, and if there is a failure in the inspection of a predetermined inspection item, a signal indicating that the inspection item should be performed is It transmits to the portable terminal 60 (refer FIG. 3).
  • Whether to transmit the above-described signal to the portable terminal 60 depends on the information indicating the operation / stop of the device 84 by another system 83 (for example, the control system of the device 84), the operation schedule of the plant, etc. It is determined by MES 71. In this way, when there is an inspection failure or the like, it is possible to instruct to repeat the inspection at an appropriate time.
  • ERP 81 Enterprise Resource Planning
  • FIG. 8 is a system that centrally manages various data in order to effectively utilize management resources (plants, funds, information, etc.), and can communicate with MES 71. .
  • the ERP 81 is connected to another system 83 via the MES 71 and the PLC 82 sequentially.
  • the apparatus 84 provided in the plant is controlled by the other system 83.
  • FIG. The device 84 is also included in the inspection by the inspector.
  • the MES 71 sends a predetermined signal to the portable terminal 60 (see FIG. 3) to guide the inspector to an inspection object other than the device 84.
  • the MES 71 when there is an inspection failure or the like of a predetermined inspection item, the MES 71 can notify the inspector that the inspection item should be performed at an appropriate time. As a result, the inspector can efficiently inspect the equipment 84 and the like based on the operation schedule and the like of the plant.
  • the third embodiment is different from the first embodiment in that the server 50 (see FIG. 9) is connected to the remote monitoring center 90 via the network N, but others (the configuration of the server 50 and the like) The processing and the like) are the same as in the first embodiment. Therefore, only the parts different from the first embodiment will be described, and the descriptions of the overlapping parts will be omitted.
  • FIG. 9 is a block diagram of an inspection operation management system 100B according to the third embodiment.
  • the inspection operation management system 100B shown in FIG. 9 is connected via a network N to a remote monitoring center 90 in which an administrator (skilled inspector) remotely monitors an inspection operation by an inspector.
  • the display means 90 a and the input means 90 b are provided in the remote monitoring center 90. Data on the work content of the inspector is displayed on the display means 90a.
  • the input unit 90b is operated by the administrator, for example, when transmitting a predetermined instruction signal to the portable terminal 60 possessed by the inspector.
  • the inspection operation management system 100B includes the three-dimensional measurement sensor 10 (see FIG. 3), the eye camera 20 (see FIG. 3), and the motion sensor 30 (see FIG. 3). And an inspection device 40 (see FIG. 3).
  • a predetermined inspection record is transmitted from the server 50 to the remote monitoring center 90.
  • the administrator who is looking at the screen of the display means 90a determines whether or not the examination of the predetermined inspection item should be repeated, and when the examination should be performed again, the operator's portable telephone by the operation through the input means 90b.
  • a predetermined instruction signal is transmitted to the terminal 60.
  • the fourth embodiment differs from the second embodiment in that the inspection robot 86 (see FIG. 10) inspects the inspection object based on a command from the MES 71 (see FIG. 10).
  • the other aspects are similar to those of the second embodiment. Therefore, only the parts different from the second embodiment will be described, and the descriptions of the overlapping parts will be omitted.
  • FIG. 10 is a configuration diagram including an inspection operation management system 100C according to the fourth embodiment.
  • the inspection robot 86 shown in FIG. 10 is a robot which inspects an inspection object.
  • the inspection robot 86 may be a mobile robot or a fixed robot.
  • the above-mentioned “mobile robot” also includes equipment (so-called “drone”) that flies by remote control or automatic control.
  • a predetermined command signal from the MES 71 is input to the inspection robot 86 via the PLC 85.
  • the inspection robot 86 is driven based on the aforementioned command signal to inspect the inspection object.
  • the inspection work management system 100C shown in FIG. 10 includes a server 50, an MES 71, a PLC 72, and a wireless LAN 73. Moreover, although illustration is abbreviate
  • the server 50 shown in FIG. 10 has the same configuration as that of the first embodiment (see FIG. 3). That is, the server 50 includes the inspection object specifying means U (see FIG. 3), the inspection work content recognizing means V (see FIG. 3), and the recording means W (see FIG. 3).
  • the inspection object specifying means U (see FIG. 3) described above is three-dimensional measurement data of the inspection object to be inspected by the inspection robot 86, and design data 51a of equipment including the inspection object (refer to FIG. 3).
  • the inspection object is identified based on the comparison of and (the inspection object identification process).
  • the inspection work content recognition means V (see FIG. 3) recognizes the work content of the inspection by the inspection robot 86 (inspection work content recognition processing).
  • the recording means W (see FIG. 3) records at least the recognition result of the inspection work content recognition means V (recording process).
  • the inspection work content recognition means V includes the line-of-sight camera 20 (see FIG. 3), the work location recognition unit 50e (see FIG. 3), the inspection result evaluation unit 50i (see FIG. 3), and the like. doing.
  • the line-of-sight camera 20 (see FIG. 3) is mounted on the inspection robot 86 and photographs an inspection object (photographing step).
  • the work location recognition unit 50e (see FIG. 3) captures the image of the work location where the inspection by the inspection robot 86 has been performed on the inspection object specified by the inspection object specifying means U (see FIG. 3). Recognize based on the result (Work point recognition step).
  • the inspection result evaluation unit 50i compares the result of the operation content based on the comparison between the operation content of the inspection by the inspection robot 86 and the predetermined inspection specification data 51d (see FIG. 3) set in advance. Evaluate (inspection result evaluation step).
  • the work content described above is specified by using at least the photographing result of the eye gaze camera 20 and the recognition result of the work part recognition unit 50e (see FIG. 3).
  • the inspection robot 86 is appropriately driven based on the command from the MES 71.
  • the server 50 can recognize and further evaluate the work content of the inspection by the inspection robot 86. Moreover, the traceability (traceability) regarding the work content of the inspection robot 86 can be improved more than before.
  • the inspection device 40 When ultrasonic inspection or eddy current inspection is not performed, the inspection device 40 (see FIG. 3) may be omitted in addition to the sensor probe P (see FIG. 3) described in the first embodiment.
  • the inspection result evaluation unit 50i uses the photographing result of the eye line camera 20 (photographing unit), the recognition result of the work location recognition unit 50e, and the detection value of the motion sensor 30 (acceleration sensor). Based on the evaluation of the performance of the inspector's work content.
  • the inspection device 40 that performs A / D conversion may be omitted. That is, the measurement data acquisition unit 50g may be configured to directly acquire the measurement data of the inspection sensor described above.
  • the motion sensor 30 may be abbreviate
  • the inspection result evaluation unit 50i measures an imaging result of the eye camera 20 (imaging unit), a recognition result of the work location recognition unit 50e, and measurement of the sensor probe P (inspection sensor). Evaluate the performance of the inspector's work content based on the data.
  • the embodiment is also applicable to the case where the inspector does not possess the mobile terminal 60.
  • the examination of the predetermined examination item is appropriately performed in accordance with the instruction from the administrator who has seen the processing result of the server 50 (see FIG. 3).
  • each embodiment demonstrated the structure by which a test subject is specified by collating the measurement result of the three-dimensional measurement sensor 10 with the design data 51a, it does not restrict to this.
  • an RF tag Radio Frequency tag
  • a QR code registered trademark
  • the ultrasonic inspection is performed at a predetermined position (one position) in the pipe G (see FIG. 6).
  • the ultrasonic inspection results at a plurality of positions are evaluated based on the evaluation of inspection results.
  • Color display may be performed as data mapping.
  • predetermined data may be transmitted to the server 50 from a plurality of inspection devices 40 connected to the inspection sensor such as the sensor probe P in a one-to-one manner.
  • each embodiment may be combined as appropriate.
  • the configuration in which the inspection operation management system 100A includes the MES 71 by combining the second embodiment and the third embodiment (second embodiment: see FIG. 8)
  • the configuration to monitor from the remote monitoring center 90 (third embodiment) (See FIG. 9).
  • the third embodiment and the fourth embodiment may be combined.
  • each embodiment demonstrated the case where test
  • each embodiment can be applied to inspection of a relatively small mass product (device).
  • 100, 100A, 100B Inspection work management system 10 Three-dimensional measurement sensor 20 Eye gaze camera (shooting part) 30 motion sensor (acceleration sensor) 40 inspection apparatus 50 server 50a design data storage unit 50b shape data conversion unit 50c first collation unit 50d inspection specification data storage unit 50e working place recognition unit 50f second collation unit 50g measurement data acquisition unit 50h data linking unit 50i inspection result evaluation Unit 50j Inspection omission judgment unit 50k Inspection content recording unit 50m Inspection content recording database 50n Data transmission unit 51a Design data 51d Inspection specification data 60 Mobile terminal (display means) 71 MES 84 equipment 86 inspection robot 90 remote monitoring center 90a display means 90b input means G piping (object to be inspected) N network P sensor probe (sensor for inspection) U Inspection object identification means V Inspection work content recognition means W Recording means

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

検査作業を適切に管理する検査作業管理システム等を提供する。検査作業管理システム（１００）の検査作業内容認識手段（Ｖ）は、検査員の視野に入っている領域付近を撮影する目線カメラ（２０）と、検査対象物特定手段（Ｕ）によって特定された検査対象物において、検査員による検査が行われた作業箇所を、目線カメラ（２０）の撮影結果に基づいて認識する作業箇所認識部（５０ｅ）と、を有するとともに、検査員による作業内容の実績を評価する検査実績評価部（５０ｉ）を有する。

Description

検査作業管理システム及び検査作業管理方法
　本発明は、検査作業管理システム等に関する。
　プラントの健全性を確保するために、検査対象物の表面観察や、浸透探傷法、磁粉探傷法といった目視ベースの検査の他、超音波探傷といった非破壊検査も行われている。このような検査の抜け（検査忘れ）を防止するための技術として、例えば、特許文献１に記載の技術が知られている。
　すなわち、特許文献１には、「建設現場において作業者に所持される進捗管理端末と、…入力された検査データと、前記インタフェース部で選択された前記オブジェクトのＩＤとを対応付けて前記記憶手段に格納する制御手段」を備える進捗管理システムについて記載されている。
特開２０１５－１１６２０号公報
　しかしながら、特許文献１に記載の技術では、検査員による検査データの入力作業の抜け（入力作業を忘れること）が生じる可能性があるため、さらに改善する余地がある。
　そこで、本発明は、検査作業を適切に管理する検査作業管理システム等を提供することを課題とする。
　前記した課題を解決するために、本発明は、検査員による検査の対象である検査対象物の三次元計測データと、前記検査対象物を含む機器の設計データと、の比較に基づいて、前記検査対象物を特定する検査対象物特定手段と、前記検査員による検査の作業内容を認識する検査作業内容認識手段と、前記検査作業内容認識手段の認識結果を少なくとも記録する記録手段と、を備え、前記検査作業内容認識手段は、前記検査員に装着され、当該検査員の視野に入っている領域付近を撮影する撮影部と、前記検査対象物特定手段によって特定された前記検査対象物において、前記検査員による検査が行われた作業箇所を、前記撮影部の撮影結果に基づいて認識する作業箇所認識部と、を有するとともに、前記撮影部の撮影結果、及び前記作業箇所認識部の認識結果を少なくとも用いることで特定される前記作業内容と、予め設定された所定の検査仕様データと、の比較に基づいて、前記作業内容の実績を評価する検査実績評価部を有することを特徴とする。
　本発明によれば、検査作業を適切に管理する検査作業管理システム等を提供できる。
本発明の第１実施形態に係る検査作業管理システムにおける検査作業の様子を示す説明図である。 本発明の第１実施形態に係る検査作業管理システムにおいて、センサプローブが配管にあてがわれている状態でのセンサプローブの波形図である。 本発明の第１実施形態に係る検査作業管理システムにおいて、センサプローブが配管にあてがわれていない状態でのセンサプローブの波形図である。 本発明の第１実施形態に係る検査作業管理システムの機能ブロック図である。 本発明の第１実施形態に係る検査作業管理システムの検査仕様データの説明図である。 本発明の第１実施形態に係る検査作業管理システムの設計データＩＤ“５１７”の検査仕様データに関する説明図である。 本発明の第１実施形態に係る検査作業管理システムにおける携帯端末の画面の表示例である。 本発明の第１実施形態に係る検査作業管理システムのサーバが実行する処理を示すフローチャートである。 本発明の第２実施形態に係る検査作業管理システムを含む構成図である。 本発明の第３実施形態に係る検査作業管理システムの構成図である。 本発明の第４実施形態に係る検査作業管理システムを含む構成図である。
≪第１実施形態≫
　図１は、第１実施形態に係る検査作業管理システム１００における検査作業の様子を示す説明図である。
　検査作業管理システム１００は、検査員による検査対象物の検査作業を管理するシステムである。第１実施形態では、一例として、検査員がセンサプローブＰ（検査用センサ）を用いて、配管Ｇ（検査対象物）を検査する場合について説明する。
　センサプローブＰは、超音波の発信・受信によって配管Ｇの肉厚を計測したり、配管Ｇの損傷の有無を検査したりするための機器である。センサプローブＰは、配管Ｇに超音波を発信し、これに伴う反射波の時々刻々の計測データを検査装置４０に出力するようになっている。
　検査作業管理システム１００は、図１に示す三次元計測センサ１０と、目線カメラ２０（撮影部）と、モーションセンサ３０（加速度センサ）と、検査装置４０と、を備えるとともに、サーバ５０（図３参照）と、携帯端末６０と、を備えている。
　三次元計測センサ１０は、検査対象物である配管Ｇの形状を三次元的に計測するセンサである。すなわち、三次元計測センサ１０は、配管Ｇにレーザ等を照射することで、配管Ｇの三次元計測データ（例えば、点群データ）を生成するようになっている。三次元計測センサ１０によって生成された三次元計測データは、サーバ５０（図３参照）に送信される。
　目線カメラ２０は、検査員の視野に入っている領域付近を撮影するカメラであり、検査員に装着されている。例えば、メガネ型の目線カメラ２０を用いる場合、メガネのフレーム２１の中央付近（目線カメラ２０を装着した検査員の両眼の間付近）にレンズ２２が配置されるようになっている。そして、目線カメラ２０による撮影が所定時間毎（例えば、１秒毎）に繰り返され、その撮影結果である画像データが、サーバ５０（図３参照）に送信されるようになっている。
　なお、目線カメラ２０が、所定時間毎に撮影を繰り返すとともに、検査員の目の瞳孔の動きを特定するようにしてもよい。これによって、検査員が実際に見ているものをさらに正確に特定できる。
　モーションセンサ３０は、検査作業中における検査員の動きを特定するための加速度センサであり、検査員の身体の所定部位に装着されている。図１に示す例では、検査員の右手（センサプローブＰを持っている方の手）の手首にモーションセンサ３０が装着されている。そして、モーションセンサ３０の時々刻々の検出値が、サーバ５０（図３参照）に送信されるようになっている。
　検査装置４０は、センサプローブＰから入力されるアナログ信号をデジタル信号に変換し、このデジタル信号をサーバ５０（図３参照）に送信する装置である。図１に示すように、検査装置４０は、配線Ｊを介してセンサプローブＰに接続されている。また、検査装置４０は、センサプローブＰの計測データに基づき、超音波検査が実際に行われているか否かの判定を所定周期で繰り返し、その判定結果をサーバ５０（図３参照）に送信する機能も有している。
　携帯端末６０は、検査作業中に検査員に所持され、サーバ５０（図３参照）との間で所定の通信を行うようになっている。このような携帯端末６０として、スマートフォン、携帯電話、タブレット、スマートウォッチ等を用いることができる。
　図２Ａは、センサプローブＰが配管Ｇにあてがわれている状態でのセンサプローブＰの波形図である。
　なお、図２Ａでは波形を簡略化しているが、実際には、配管Ｇの外周面からの反射波や、配管Ｇの内周面からの反射波等が検出される。
　配管Ｇにあてがわれた状態でセンサプローブＰから超音波が発信された後、その反射波が受信されると、計測値が大きく変動する。このような場合、検査装置４０は、配管Ｇの超音波検査が行われていると判定する。例えば、計測値が所定値以上の計測値が存在する場合、検査装置４０は「超音波検査あり」と判定する。前記した所定値は、ノイズの影響に伴う誤判定を防止するための閾値であり、予め設定されている。
　なお、超音波検査が行われているか否かの判定条件として、センサプローブＰの計測値の大きさの他、その計測値が所定値以上である状態が（断続的に）継続する時間や、センサプローブＰが超音波を発信している時間等を加えてもよい。
　図２Ｂは、センサプローブＰが配管Ｇにあてがわれていない状態でのセンサプローブＰの波形図である。
　センサプローブＰが配管Ｇにあてがわれていない状態では、センサプローブＰから超音波が発信されても、その計測値が略ゼロの状態が継続する。このような場合に検査装置４０は、「超音波検査なし」と判定する。検査装置４０の判定結果は、前記したように、センサプローブＰの計測値（Ａ／Ｄ変換後）とともに、サーバ５０（図３参照）に送信される。
　図３は、検査作業管理システム１００の機能ブロック図である。
　図３に示すサーバ５０は、検査員の検査作業を管理するための所定の処理を実行する機器である。図３に示すように、サーバ５０は、設計データ記憶部５０ａと、形状データ変換部５０ｂと、第１照合部５０ｃと、検査仕様データ記憶部５０ｄと、作業箇所認識部５０ｅと、第２照合部５０ｆと、計測データ取得部５０ｇと、データ紐付け部５０ｈと、を備えている。
　また、サーバ５０は、前記した構成の他に、検査実績評価部５０ｉと、検査忘れ判定部５０ｊと、検査内容記録部５０ｋと、検査内容記録データベース５０ｍ（図３では「検査内容記録ＤＢ」と記載）と、データ送信部５０ｎと、を備えている。
　設計データ記憶部５０ａには、プラントに設置されている各機器の設計データ５１ａが、例えば、所定のＣＡＤデータ（Computer-Aided Design data）として予め記憶されている。その一例を挙げると、各配管のＣＡＤデータや、各配管の接続関係を示すデータが、設計データ５１ａとして予め記憶されている。検査対象物である配管Ｇ等の設計データ５１ａには、それぞれ、所定の設計データＩＤ（識別情報）が予め付与されている。
　形状データ変換部５０ｂは、三次元計測センサ１０の計測結果を、設計データ５１ａと比較可能なデータ形式に変換する。例えば、形状データ変換部５０ｂは、三次元計測センサ１０から受信した点群データを所定のＣＡＤデータに変換する。
　第１照合部５０ｃは、形状データ変換部５０ｂによる変換後の三次元計測データと、設計データ５１ａと、の照合を行う。そして、プラントに設置された各機器の設計データ５１ａにおいて、三次元計測センサ１０の計測結果に対応するものが存在する場合、第１照合部５０ｃは、その設計データ５１ａの設計データＩＤを取得する。これによって、三次元計測センサ１０の計測結果に基づき、検査員がプラントの中のどこを検査しているのかをサーバ５０側で把握できる。
　なお、検査員による検査の対象である検査対象物の三次元計測データと、検査対象物を含む機器の設計データ５１ａと、の比較に基づいて、検査対象物を特定する「検査対象物特定手段Ｕ」は、以下の各構成を含んでいる。すなわち、「検査対象物特定手段Ｕ」は、図３に示す三次元計測センサ１０と、設計データ記憶部５０ａと、形状データ変換部５０ｂと、第１照合部５０ｃと、を含んでいる。
　図３に示す検査仕様データ記憶部５０ｄには、所定の検査仕様データ５１ｄが予め記憶されている。検査仕様データ５１ｄは、検査員が検査作業を行う際の検査項目（図４参照）や、検査作業において満たされるべき所定の実績評価基準等（図５参照）を含んでいる。
　また、検査対象物である配管Ｇの設計データ５１ａと、この配管Ｇに関する検査仕様データ５１ｄと、は所定の設計データＩＤ（識別情報）を用いて予め紐付けられている。そして、前記したように、検査対象物特定手段Ｕが、配管Ｇの設計データ５１ａに付与されている設計データＩＤを特定するようになっている。
　図４は、検査仕様データ５１ｄの説明図である。
　図４に示す設計データＩＤ“５１７”は、例えば、配管ＧにおいてバルブＨが設置されている箇所（図１参照）のＩＤであり、前記したように、第１照合部５０ｃ（図３参照）によって特定される。この設計データＩＤ“５１７”に対応付けられて、４つの検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２が予め設定されている。また、検査項目ＩＤや、検査で行われるべき作業内容を示すデータが、各検査項目に対応付けて、検査仕様データ記憶部５０ｄ（図３参照）に予め記憶されている。
　検査項目Ｅ１の作業内容は、設計データＩＤ“５１７”である配管Ｇ（図１参照）の目視検査である。検査項目Ｅ２の作業内容は、設計データＩＤ“５１７”である配管Ｇの超音波検査である。この超音波検査において、前記したセンサプローブＰ（図１参照）が用いられる。
　検査項目Ｅ３は、下位の検査項目Ｅ３１，Ｅ３２を含んでいる。検査項目Ｅ３１は、配管Ｇに設置されたバルブＨ（図１参照）の目視検査である。検査項目Ｅ３２は、バルブＨの開度調整である。なお、検査項目Ｅ３２の検査は、検査項目Ｅ３１の目視検査でバルブＨの開度が不適切であった場合、検査員によって行われる。言い換えると、検査項目Ｅ３１の目視検査でバルブＨの開度が適切であった場合には、検査員が検査項目Ｅ３２を行う必要はない。図４では省略したが、このような検査項目間の条件を示すデータも検査仕様データ５１ｄに含まれる。
　再び、図３に戻って説明を続ける。
　図３に示す作業箇所認識部５０ｅは、検査対象物特定手段Ｕによって特定された検査対象物（例えば、設計データＩＤ“５１７”の配管Ｇ）において、検査員による検査が行われた作業箇所を、目線カメラ２０の撮影結果に基づいて認識する。すなわち、作業箇所認識部５０ｅは、次に説明する第２照合部５０ｆを介して検査仕様データ５１ｄを参照し、検査対象物において検査員の視野に入っている箇所を認識する。
　具体的に説明すると、作業箇所認識部５０ｅは、目線カメラ２０の撮影結果と、設計データＩＤ“５１７”に対応する検査仕様データ５１ｄ（基準となる所定の画像データ）と、を比較し、検査員が実際に配管Ｇのどの箇所を見ながら検査を行っているのかを特定する。なお、作業箇所認識部５０ｅが、目線カメラ２０の撮影結果（静止画）にエッジ抽出等の処理を施すようにしてもよい。
　その他、検査員が複数のモーションセンサ３０を装着する場合において、各モーションセンサ３０の相対位置に基づき、作業箇所認識部５０ｅによって、検査員の姿勢を認識するようにしてもよい。そして、目線カメラ２０の撮影結果や、検査員の姿勢に基づいて、作業箇所認識部５０ｅが、検査の作業箇所を認識するようにしてもよい。
　第２照合部５０ｆは、検査対象物の設計データＩＤに対応する検査仕様データ５１ｄと、作業箇所認識部５０ｅから入力されるデータ（作業箇所認識部５０ｅの認識結果の他、目線カメラ２０やモーションセンサ３０の出力値）と、に基づいて、検査員が実施している検査項目を特定する。具体的に説明すると、第２照合部５０ｆは、検査仕様データ５１ｄを参照し、設計データＩＤ“５１７”に対応付けられた４つの検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２（図４参照）のうち、検査員が実施している検査項目を特定する。
　図５は、設計データＩＤ“５１７”の検査仕様データ５１ｄに関する説明図である。
　図５に示す検査項目（紙面左端）や作業内容（紙面右端）については、図４を用いて説明したとおりである。
　図５に示す作業箇所α、手の位置β、加速度γ、及び検査装置４０の判定結果δは、検査員の作業内容が、所定の検査項目に該当するか否かの判定基準となるデータであり、予め設定されている。
　作業箇所αは、作業箇所認識部５０ｅの認識結果である。前記したように、目線カメラ２０（図１参照）の撮影結果と、検査仕様データ５１ｄに含まれる所定の画像データ（例えば、設計データ５１ａの一部）と、の比較に基づいて、検査の作業箇所が認識される。
　手の位置βは、目線カメラ２０の撮影結果の中における検査員の手の位置である。なお、手の位置は、目線カメラ２０の撮影結果を用いた所定のパターン認識によって特定される。
　加速度γは、検査員の右手の加速度であり、モーションセンサ３０（図２参照）によって検出される。
　検査装置４０の判定結果δは、図２Ａ、図２Ｂを用いて説明したように、センサプローブＰを用いて超音波検査が行われたか否かの判定結果である。
　図５に示す論理式は、作業箇所α、手の位置β、加速度γ、及び検査装置４０の判定結果δに関する論理式であり、予め設定されている。
　図５に示す継続時間は、所定の論理式が継続して成立している場合の継続時間である。このように、検査仕様データ５１ｄには、検査の作業箇所αにおける検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２のそれぞれについて、予め設定された所定の実績評価基準（図５に示す論理式や継続時間）が含まれている。
　例えば、検査項目Ｅ１について、作業箇所αが配管Ｇであるという状態が５秒以上継続した場合、検査実績評価部５０ｉは、配管Ｇの目視検査が検査員によって適切に行われたと判定する。
　また、検査項目Ｅ２について、作業箇所αが配管Ｇであり、手の位置βが配管Ｇの付近であり、Ｘ・Ｙ方向の加速度γが所定範囲内であり、かつ、検査装置４０の判定結果δが「超音波検査あり」である場合、検査実績評価部５０ｉは、配管Ｇの超音波検査が適切に行われたと判定する。なお、検査項目Ｅ３１（バルブＨの目視検査）や検査項目Ｅ３２（バルブＨの開度調整）については、説明を省略する。
　このように、検査実績評価部５０ｉは、検査対象物特定手段Ｕによって特定された設計データＩＤ“５１７”に対応する検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２のそれぞれについて、検査の作業内容と実績評価基準との比較を行う。
　なお、所定の検査項目の実施において想定される検査員の動作を複数に分割し（例えば、検査員がＸ方向に右手を移動させた後、所定の姿勢をとる）、その一連の動作がなされた場合、当該検査項目が実施されたと判定するようにしてもよい。また、検査員によって適切に検査が行われたことが既知である状態で、予め取得されたデータに基づいて、図５に示す検査仕様データ５１ｄを設定するようにしてもよい。
　以下では、目線カメラ２０やモーションセンサ３０の出力値や、検査装置４０の判定結果の他、作業箇所認識部５０ｅの認識結果を含むデータを「作業データ」という。「作業データ」は、検査員によって実際に行われた検査の作業内容を示すデータである。
　図３に示す計測データ取得部５０ｇは、検査員が配管Ｇの検査を行う際に用いるセンサプローブＰの計測データを直接又は間接に取得する機能を有している。本実施形態では計測データ取得部５０ｇが、検査装置４０を介して、センサプローブＰの計測データを間接的に取得するようになっている。
　データ紐付け部５０ｈは、計測データ取得部５０ｇによって検査装置４０から取得された計測データと、第２照合部５０ｆを介して取得した作業データとを、前記した設計データＩＤ“５１７”に対応付けて紐付ける。データ紐付け部５０ｈによって紐付けられたデータ（計測データ、作業データ、及び設計データＩＤ“５１７”）は、検査実績評価部５０ｉに出力される。
　検査実績評価部５０ｉは、検査員の作業内容の実績を評価する。すなわち、検査実績評価部５０ｉは、目線カメラ２０の撮影結果、及び作業箇所認識部５０ｅの認識結果を少なくとも用いることで特定される検査員の作業内容と、予め設定された所定の検査仕様データ５１ｄと、の比較に基づいて、作業内容の実績を評価する。具体的に説明すると、検査実績評価部５０ｉは、配管Ｇの設計データＩＤ“５１７”に対応する検査仕様データ５１ｄを参照し、検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２のそれぞれについて、所定の実績評価基準（図５参照）が満たされているか否かを判定する。
　検査忘れ判定部５０ｊは、検査実績評価部５０ｉの評価結果に基づいて、検査員の検査忘れの有無を判定する。例えば、検査忘れ判定部５０ｊが、目線カメラ２０の撮影結果に基づき、検査員が配管Ｇ（所定の検査対象物）から別の検査対象物に移動したと判定したとする。このような場合において、配管Ｇに関する検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２（図４参照）のうち、検査員による検査が行われなかったものが存在するとき、検査忘れ判定部５０ｊは、配管Ｇに関して、検査員による検査忘れありと判定する。
　なお、設計データＩＤ“５１７”（識別情報）に対応する検査項目Ｅ１，Ｅ２，Ｅ３１，Ｅ３２の実施が完了していない状態で、検査対象物特定手段Ｕによって、設計データＩＤ“５１７”とは別の設計データＩＤが特定された場合、検査忘れ判定部５０ｊが、検査員による検査忘れありと判定するようにしてもよい。
　なお、検査員による検査の作業内容を認識する機能等を有する検査作業内容認識手段Ｖは、以下の構成を備えている。すなわち、検査作業内容認識手段Ｖは、目線カメラ２０と、モーションセンサ３０と、検査装置４０と、を備えている。また、検査作業内容認識手段Ｖは、前記した構成の他に、検査仕様データ記憶部５０ｄと、作業箇所認識部５０ｅと、第２照合部５０ｆと、計測データ取得部５０ｇと、データ紐付け部５０ｈと、検査実績評価部５０ｉと、検査忘れ判定部５０ｊと、を備えている。このような構成を備える検査作業内容認識手段Ｖは、検査対象物特定手段Ｕによって特定された設計データＩＤに対応する検査仕様データ５１ｄを用いて、検査員による作業内容を認識する機能を有している。
　図３に示す検査内容記録部５０ｋは、前記した計測データや作業データの他、検査実績評価部５０ｉの評価結果や、検査忘れ判定部５０ｊの判定結果等を、設計データＩＤに対応付けて、検査内容記録データベース５０ｍに記録される。
　検査内容記録データベース５０ｍは、検査内容記録部５０ｋによって、所定のデータが記録されるデータベースである。
　なお、検査作業内容認識手段Ｖの認識結果を少なくとも記録する「記録手段Ｗ」は、検査内容記録部５０ｋと、検査内容記録データベース５０ｍと、を含んで構成される。
　図３に示すデータ送信部５０ｎは、検査忘れ判定部５０ｊによって「検査忘れあり」と判定された場合、検査忘れに該当する検査項目のデータを、検査員が所持する携帯端末６０に送信する。これによって、検査員による検査忘れがあったとしても、その旨を検査員に報知できる。
　また、検査員による携帯端末６０の操作に基づき、この携帯端末６０から所定の要求信号を受信した場合、データ送信部５０ｎが、検査内容記録データベース５０ｍから検査内容に関するデータを読み出し、このデータを携帯端末６０に送信するようにしてもよい。これによって検査員は、検査が適切になされたか否かを携帯端末６０で確認したり、センサプローブＰの計測値の波形（図２Ａ参照）を確認したりすることができる。
　図６は、検査作業管理システム１００における携帯端末６０の画面Ｋの表示例である。
　図６に示す例では、配管Ｇの検査実績を示す画像Ｑ１、及びバルブＨの検査実績を示す画像Ｑ２が、所定のＣＡＤデータ（設計データ５１ａ：図３参照）に重畳した状態で、携帯端末６０の画面Ｋに表示されている。
　例えば、配管Ｇの検査が適切に行われた場合には、所定の色やパターンの画像Ｑ１が、配管Ｇの設計データ５１ａに重畳表示される。また、配管Ｇに関する検査項目の中に検査忘れが存在した場合、別の色やパターンの画像（図示せず）が、配管Ｇの設計データ５１ａに重畳表示される。これによって、検査忘れがあった箇所を検査員側で把握できる。
　なお、複数の検査項目に分けて、各検査項目の検査実績を示す画像を配管Ｇ等の設計データ５１ａに重畳表示させてもよい。また、設計データ５１ａではなく、目線カメラ２０の撮影結果に、検査実績を示す画像を重畳表示させてもよい。その他、検査員による携帯端末６０の操作に応じて、センサプローブＰの計測データの波形や計測値（数値）を表示させるようにしてもよい。
　このように、目線カメラ２０による配管Ｇ（検査対象物）の撮影時における検査の作業内容の評価結果が、検査実績評価部５０ｉによって与えられた場合において、少なくとも評価結果を示す画像Ｑ１が携帯端末６０（表示手段）に表示される。具体的には、評価結果を示す画像Ｑ１が、目線カメラ２０の撮影時の撮影結果、又は、当該撮影結果に対応する設計データ５１ａの画像に重畳した状態で、携帯端末６０に表示される。これによって、検査員は、検査の作業内容が検査項目毎の実績評価基準を満たしているか否かを確認できる。
　図７は、サーバ５０が実行する処理を示すフローチャートである（適宜、図３を参照）。
　ステップＳ１０１においてサーバ５０は、検査対象物の形状データ（例えば、点群データ）を三次元計測センサ１０から取得する。
　ステップＳ１０２においてサーバ５０は、形状データ変換部５０ｂによって、前記した形状データを所定形式のデータ（例えば、ＣＡＤデータ）に変換する。
　ステップＳ１０３においてサーバ５０は、第１照合部５０ｃによって、検査対象物の形状データと、予め記憶されている設計データ５１ａと、の照合を行う（検査対象物特定処理）。この処理によって、実際に検査が行われている場所に関する設計データ５１ａの設計データＩＤが特定される。
　ステップＳ１０４においてサーバ５０は、検査員が実施している検査項目を特定する。すなわち、サーバ５０は、目線カメラ２０、モーションセンサ３０、及び検査装置４０の出力値等に基づき、第２照合部５０ｆによって、検査員が実施している検査項目を特定する。
　ステップＳ１０５においてサーバ５０は、各データの紐付けを行う。すなわち、サーバ５０は、検査装置４０から取得した計測データと、前記した作業データと、を所定の設計データＩＤに対応付けて紐付ける。なお、作業データの生成に先立って、目線カメラ２０による撮影（撮影ステップ）や、作業箇所認識部５０ｅによる作業箇所の認識（作業箇所認識ステップ）が行われる他、モーションセンサ３０による検出も行われる。
　ステップＳ１０６においてサーバ５０は、検査実績評価部５０ｉによって、それぞれの検査項目の検査実績を評価する（検査実績評価ステップ）。検査実績の判定には、検査仕様データ５１ｄに含まれる所定の実績評価基準（図５参照）が用いられる。これによって、各検査項目が適切に実施されたか否かを判定できる。なお、検査員による検査の作業内容等を認識する「検査作業内容認識処理」には、ステップＳ１０４～Ｓ１０７の処理が含まれる。
　ステップＳ１０７においてサーバ５０は、検査忘れ判定部５０ｊによって、検査員による検査忘れの有無を判定する。なお、検査忘れがあった場合、図７では省略したが、検査忘れに該当する検査項目ＩＤ等（図４参照）が、データ送信部５０ｎによって携帯端末６０に通知される。これによって、検査員は、自身が見落としていた（又は、検査が不十分であった）検査項目の検査を行うことができる。
　ステップＳ１０８においてサーバ５０は、検査内容記録部５０ｋによって、検査員による検査内容を所定の設計データＩＤに対応付けて、検査内容記録データベース５０ｍに記録する。この検査内容には、計測データや作業データの他、検査実績の評価結果や、検査見逃しの有無に関するデータが含まれている。このようにしてサーバ５０は、前記した「検査作業内容認識処理」の認識結果を少なくとも記録する「記録処理」を実行する。
　ステップＳ１０８の処理を行った後、サーバ５０は、検査作業の管理に関する一連の処理を終了する（ＥＮＤ）。なお、三次元計測センサ１０を用いて新たな検査対象物が計測されるたびに、図７に示す処理が実行される。
＜効果＞
　第１実施形態によれば、サーバ５０が、三次元計測センサ１０の計測結果を設計データ５１ａと比較することで、検査員がいる場所を特定でき、ひいては、検査対象物を特定できる。
　また、サーバ５０は、検査対象物の設計データＩＤに対応する検査仕様データ５１ｄと、目線カメラ２０の撮影結果等を比較することで、検査員の作業内容を所定の検査項目毎に特定し、さらに、その検査実績を評価できる。
　また、検査員による検査忘れがあった場合には、その旨が携帯端末６０に通知される。これによって、検査忘れがあった箇所を改めて検査すべき旨を検査員に通知できる。また、検査対象物の構造が複雑で、検査すべき箇所が多数存在する場合であっても、検査員が短時間で漏れなく所定の検査を行うことができる。
　また、検査員による測定値の入力作業が不要であるため、検査員の作業負担を軽減し、また、測定値の誤入力や入力漏れを防止できる。
　さらに、検査内容に関する様々なデータが、所定の設計データＩＤに対応付けられて、検査内容記録データベース５０ｍに記録される。これによって、いわゆるＩｏＴ（Internet of Things）の技術を活用して、検査員の作業内容に関するトレーサビリティ（追跡可能性）を従来よりも高めることができる。
≪第２実施形態≫
　第２実施形態は、サーバ５０（図８参照）が、無線ＬＡＮ７３（Local Area Network：通信装置）及びＰＬＣ７２（Programmable Logic Controller：通信装置）を順次に介して、ＭＥＳ７１（Manufacturing Execution System）に接続されている点が、第１実施形態とは異なっている。なお、サーバ５０の構成や処理等は、第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
　図８は、第２実施形態に係る検査作業管理システム１００Ａを含む構成図である。
　図８に示す検査作業管理システム１００Ａは、第１実施形態で説明した検査対象物特定手段Ｕ（図３参照）と、検査作業内容認識手段Ｖ（図３参照）と、記録手段Ｗ（図３参照）と、を備えるサーバ５０を含むとともに、検査作業内容認識手段Ｖの認識結果に基づいて、機器８４等の工程管理を行うＭＥＳ７１を含んでいる。
　また、検査作業管理システム１００Ａは、前記した各構成の他、ＰＬＣ７２や無線ＬＡＮ７３を備えている。さらに、図８では図示を省略したが、検査作業管理システム１００Ａは、三次元計測センサ１０（図３参照）と、目線カメラ２０（図３参照）と、モーションセンサ３０（図３参照）と、検査装置４０（図３参照）と、を備えている。
　ＰＬＣ７２は、サーバ５０の処理結果に基づいて、ＭＥＳ７１との間で所定の信号をやり取りするプログラマブル論理制御装置である。
　無線ＬＡＮ７３は、サーバ５０及びＭＥＳ７１の一方から他方にデータが送信される際に中継を行う通信装置である。
　ＭＥＳ７１は、ＰＬＣ７２を介して自身に入力されたデータに基づき、検査対象物を含むプラント全体を管理する。例えば、ＭＥＳ７１は、サーバ５０に記録された検査内容のデータを参照し、所定の検査項目の検査忘れがあった場合、必要に応じて、その検査項目を実施すべき旨の信号を検査員の携帯端末６０（図３参照）に送信する。
　なお、前記した信号を携帯端末６０に送信するか否かは、他のシステム８３（例えば、機器８４の制御システム）による機器８４の稼動／停止を示す情報や、プラントの運転スケジュール等に基づき、ＭＥＳ７１によって決定される。これによって、検査忘れ等があった場合、適切な時期に検査のやり直しを指示できる。
　図８に示すＥＲＰ８１（Enterprise Resource Planning）は、経営資源（プラント、資金、情報等）を有効活用するために、各種データを一元管理するシステムであり、ＭＥＳ７１との間で通信可能になっている。ＥＲＰ８１は、ＭＥＳ７１及びＰＬＣ８２を順次に介して、他のシステム８３に接続されている。そして、他のシステム８３によって、プラントに設けられた機器８４が制御されるようになっている。この機器８４も、検査員による検査の対象に含まれている。
　例えば、機器８４が停止しているときには、ＭＥＳ７１が携帯端末６０（図３参照）に所定の信号を送信することによって、機器８４以外の検査対象物に検査員を誘導するようになっている。
＜効果＞
　第２実施形態によれば、所定の検査項目の検査忘れ等があった場合、ＭＥＳ７１によって、その検査項目を実施すべき旨を適切な時期に検査員に報知できる。これによって検査員は、プラントの運転スケジュール等に基づいて、機器８４等の検査を効率的に行うことができる。
≪第３実施形態≫
　第３実施形態は、サーバ５０（図９参照）が、ネットワークＮを介して遠隔監視センタ９０に接続されている点が、第１実施形態とは異なっているが、その他（サーバ５０の構成や処理等）については第１実施形態と同様である。したがって、第１実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
　図９は、第３実施形態に係る検査作業管理システム１００Ｂの構成図である。
　図９に示す検査作業管理システム１００Ｂは、検査員による検査作業を管理者（熟練検査員）が遠隔監視する遠隔監視センタ９０に、ネットワークＮを介して接続されている。そして、表示手段９０ａや入力手段９０ｂが、遠隔監視センタ９０に設けられている。表示手段９０ａには、検査員の作業内容に関するデータが表示される。入力手段９０ｂは、例えば、検査員が所持している携帯端末６０に所定の指示信号を送信する際、管理者によって操作される。
　その他、図９では図示を省略したが、検査作業管理システム１００Ｂは、三次元計測センサ１０（図３参照）と、目線カメラ２０（図３参照）と、モーションセンサ３０（図３参照）と、検査装置４０（図３参照）と、を備えている。
　そして、遠隔監視センタ９０からの要求信号に応じて、サーバ５０から遠隔監視センタ９０に所定の検査記録が送信されるようになっている。例えば、表示手段９０ａの画面を見ている管理者が、所定の検査項目の検査をやり直すべきか否かを判断し、検査をやり直すべきときには、入力手段９０ｂを介した操作によって、検査員の携帯端末６０に所定の指示信号が送信されるようになっている。
　これによって、サーバ５０において検査員による検査忘れありと判定された場合の全てではなく、管理者の判断に基づいて絞り込まれた一部について、検査のやり直しを行うことができる。したがって、検査に要する手間や時間を第１実施形態よりも削減できる。
＜効果＞
　第３実施形態によれば、熟練検査員の人数が少ない場合であっても、多数の検査作業と検査データの確認を効率的に行うことができるため、第１実施形態よりも低コスト化を図ることができる。
≪第４実施形態≫
　第４実施形態は、ＭＥＳ７１（図１０参照）からの指令に基づき、検査ロボット８６（図１０参照）が検査対象物を検査する点が、第２実施形態とは異なっている。なお、その他については、第２実施形態と同様である。したがって、第２実施形態とは異なる部分について説明し、重複する部分については説明を省略する。
　図１０は、第４実施形態に係る検査作業管理システム１００Ｃを含む構成図である。
　図１０に示す検査ロボット８６は、検査対象物を検査するロボットである。この検査ロボット８６は、移動式のロボットであってもよいし、また、固定式のロボットであってもよい。前記した「移動式のロボット」には、遠隔操作や自動制御によって飛行する機器（いわゆる“drone”）も含まれるものとする。
　そして、ＭＥＳ７１からの所定の指令信号が、ＰＬＣ８５を介して、検査ロボット８６に入力されるようになっている。検査ロボット８６は、前記した指令信号に基づいて駆動し、検査対象物を検査する。
　図１０に示す検査作業管理システム１００Ｃは、サーバ５０と、ＭＥＳ７１と、ＰＬＣ７２と、無線ＬＡＮ７３と、を備えている。また、図１０では図示を省略したが、検査作業管理システム１００Ｃは、三次元計測センサ１０（図３参照）や目線カメラ２０（撮影部：図３参照）等も備えている。
　図１０に示すサーバ５０は、第１実施形態（図３参照）と同様の構成を備えている。すなわち、サーバ５０は、検査対象物特定手段Ｕ（図３参照）と、検査作業内容認識手段Ｖ（図３参照）と、記録手段Ｗ（図３参照）と、を備えている。
　前記した検査対象物特定手段Ｕ（図３参照）は、検査ロボット８６による検査の対象である検査対象物の三次元計測データと、この検査対象物を含む機器の設計データ５１ａ（図３参照）と、の比較に基づいて、検査対象物を特定する（検査対象物特定処理）。
　検査作業内容認識手段Ｖ（図３参照）は、検査ロボット８６による検査の作業内容を認識する（検査作業内容認識処理）。
　記録手段Ｗ（図３参照）は、検査作業内容認識手段Ｖの認識結果を少なくとも記録する（記録処理）。
　また、前記した検査作業内容認識手段Ｖ（図３参照）は、目線カメラ２０（図３参照）、作業箇所認識部５０ｅ（図３参照）、検査実績評価部５０ｉ（図３参照）等を有している。
　目線カメラ２０（図３参照）は、検査ロボット８６に装着され、検査対象物を撮影する（撮影ステップ）。
　作業箇所認識部５０ｅ（図３参照）は、検査対象物特定手段Ｕ（図３参照）によって特定された検査対象物において、検査ロボット８６による検査が行われた作業箇所を、目線カメラ２０の撮影結果に基づいて認識する（作業箇所認識ステップ）。
　検査実績評価部５０ｉ（図３参照）は、検査ロボット８６による検査の作業内容と、予め設定された所定の検査仕様データ５１ｄ（図３参照）と、の比較に基づいて、作業内容の実績を評価する（検査実績評価ステップ）。前記した作業内容は、目線カメラ２０の撮影結果、及び作業箇所認識部５０ｅ（図３参照）の認識結果を少なくとも用いることで特定される。なお、検査ロボット８６による検査が不十分な箇所が存在する場合には、ＭＥＳ７１からの指令に基づいて、検査ロボット８６が適宜に駆動するようになっている。
＜効果＞
　第４実施形態によれば、サーバ５０によって、検査ロボット８６による検査の作業内容を認識し、さらに評価できる。また、検査ロボット８６の作業内容に関するトレーサビリティ（追跡可能性）を従来よりも高めることができる。
≪変形例≫
　以上、本発明に係る検査作業管理システム１００等について各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更を行うことができる。
　例えば、各実施形態では、配管Ｇの超音波検査等が行われる場合について説明したが、これに限らない。すなわち、渦電流を検出するためのセンサプローブ（図示せず）を用いた渦電流検査や、周知の打音検査にも各実施形態を適用できる。
　なお、超音波検査や渦電流検査が行われない場合には、第１実施形態で説明したセンサプローブＰ（図３参照）の他、検査装置４０（図３参照）を省略してもよい。このような構成において、検査実績評価部５０ｉ（図３参照）は、目線カメラ２０（撮影部）の撮影結果、作業箇所認識部５０ｅの認識結果、及びモーションセンサ３０（加速度センサ）の検出値に基づいて、検査員の作業内容の実績を評価する。
　また、検査に用いられる検査用センサ（例えば、センサプローブＰ）の種類によっては、Ａ／Ｄ変換等を行う検査装置４０を省略してもよい。つまり、計測データ取得部５０ｇが、前記した検査用センサの計測データを直接に取得する構成であってもよい。
　また、各実施形態では、検査作業内容認識手段Ｖ（図３参照）がモーションセンサ３０（図３参照）を備える構成について説明したが、モーションセンサ３０を省略してもよい。このような構成において、検査実績評価部５０ｉ（図３参照）は、目線カメラ２０（撮影部）の撮影結果、作業箇所認識部５０ｅの認識結果、及び、センサプローブＰ（検査用センサ）の計測データに基づいて、検査員の作業内容の実績を評価する。
　また、各実施形態では、検査員が携帯端末６０（図１参照）を所持する場合について説明したが、検査員が携帯端末６０を所持していない場合にも適用できる。このような場合、例えば、検査がいったん終了した後、サーバ５０（図３参照）の処理結果を見た管理者からの指示に従って、所定の検査項目の検査が適宜に行われる。
　また、各実施形態では、三次元計測センサ１０の計測結果を設計データ５１ａと照合することで、検査対象物が特定される構成について説明したが、これに限らない。例えば、ＲＦタグ（Radio Frequency tag）やＱＲコード（登録商標）を検査対象物に予め付けて、検査員が、データ読取装置（図示せず）を用いて、ＲＦタグ等のデータを読み取るようにしてもよい。
　また、第１実施形態では、配管Ｇにおける所定箇所（１箇所）の超音波検査を行う場合について説明したが（図６参照）、複数箇所の超音波検査の結果を検査実績の評価に基づき、データマッピングとして色分け表示するようにしてもよい。
　また、第１実施形態（図３参照）では、配管Ｇの検査を行う際に１台の検査装置４０が用いられる場合について説明したが、これに限らない。すなわち、センサプローブＰ等の検査用センサと一対一で接続される複数の検査装置４０から、所定のデータがサーバ５０に送信されるようにしてもよい。
　また、第１実施形態では、検査員に装着され、当該検査員の視野に入っている領域付近を撮影する「撮影部」が目線カメラ２０である場合について説明したが、これに限らない。例えば、検査員の視野に入っている領域付近を撮影するカメラ（撮影部）を、検査員の頭部（ヘルメット等）に装着したり、検査員の身体における他の部位に装着したりしてもよい。
　また、各実施形態を適宜に組み合わせてもよい。例えば、第２実施形態と第３実施形態とを組み合わせ、検査作業管理システム１００ＡがＭＥＳ７１を備える構成において（第２実施形態：図８参照）、遠隔監視センタ９０から監視する構成（第３実施形態：図９参照）であってもよい。また、例えば、第３実施形態と第４実施形態とを組み合わせてもよい。
　また、各実施形態では、プラントに設けられた配管Ｇ等の検査が行われる場合について説明したが、これに限らない。例えば、比較的小さな量産品（機器）の検査にも、各実施形態を適用できる。
　また、各実施形態は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、前記した機構や構成は説明上必要と考えられるものを示しており、製品上必ずしも全ての機構や構成を示しているとは限らない。
　１００，１００Ａ，１００Ｂ　検査作業管理システム
　１０　　三次元計測センサ
　２０　　目線カメラ（撮影部）
　３０　　モーションセンサ（加速度センサ）
　４０　　検査装置
　５０　　サーバ
　５０ａ　設計データ記憶部
　５０ｂ　形状データ変換部
　５０ｃ　第１照合部
　５０ｄ　検査仕様データ記憶部
　５０ｅ　作業箇所認識部
　５０ｆ　第２照合部
　５０ｇ　計測データ取得部
　５０ｈ　データ紐付け部
　５０ｉ　検査実績評価部
　５０ｊ　検査忘れ判定部
　５０ｋ　検査内容記録部
　５０ｍ　検査内容記録データベース
　５０ｎ　データ送信部
　５１ａ　設計データ
　５１ｄ　検査仕様データ
　６０　　携帯端末（表示手段）
　７１　　ＭＥＳ
　８４　　機器
　８６　　検査ロボット
　９０　　遠隔監視センタ
　９０ａ　表示手段
　９０ｂ　入力手段
　Ｇ　　　配管（検査対象物）
　Ｎ　　　ネットワーク
　Ｐ　　　センサプローブ（検査用センサ）
　Ｕ　　　検査対象物特定手段
　Ｖ　　　検査作業内容認識手段
　Ｗ　　　記録手段

Claims (12)

  1. 　検査員による検査の対象である検査対象物の三次元計測データと、前記検査対象物を含む機器の設計データと、の比較に基づいて、前記検査対象物を特定する検査対象物特定手段と、
    　前記検査員による検査の作業内容を認識する検査作業内容認識手段と、
    　前記検査作業内容認識手段の認識結果を少なくとも記録する記録手段と、を備え、
    　前記検査作業内容認識手段は、
    　前記検査員に装着され、当該検査員の視野に入っている領域付近を撮影する撮影部と、
    　前記検査対象物特定手段によって特定された前記検査対象物において、前記検査員による検査が行われた作業箇所を、前記撮影部の撮影結果に基づいて認識する作業箇所認識部と、を有するとともに、
    　前記撮影部の撮影結果、及び前記作業箇所認識部の認識結果を少なくとも用いることで特定される前記作業内容と、予め設定された所定の検査仕様データと、の比較に基づいて、前記作業内容の実績を評価する検査実績評価部を有すること
    　を特徴とする検査作業管理システム。
  2. 　前記検査対象物の前記設計データと、当該検査対象物の前記検査仕様データと、が所定の識別情報を用いて予め紐付けられ、
    　前記検査対象物特定手段は、前記検査対象物の前記設計データに付与されている前記識別情報を特定し、
    　前記検査作業内容認識手段は、前記検査対象物特定手段によって特定された前記識別情報に対応する前記検査仕様データを用いて、前記作業内容を認識すること
    　を特徴とする請求項１に記載の検査作業管理システム。
  3. 　前記検査仕様データには、前記作業箇所における複数の検査項目のそれぞれについて、予め設定された所定の実績評価基準が含まれ、
    　前記検査実績評価部は、前記検査対象物特定手段によって特定された前記識別情報に対応する複数の前記検査項目のそれぞれについて、前記作業内容と前記実績評価基準との比較を行うこと
    　を特徴とする請求項２に記載の検査作業管理システム。
  4. 　前記検査作業内容認識手段は、前記検査員の検査忘れの有無を判定する検査忘れ判定部を有し、
    　前記検査忘れ判定部は、
    　前記撮影部の撮影結果に基づき、前記検査員が所定の前記検査対象物から別の検査対象物に移動したと判定した場合において、所定の前記検査対象物に関する複数の前記検査項目のうち、前記検査員による検査が行われなかったものが存在するとき、
    　又は、前記識別情報に対応する複数の前記検査項目の実施が完了していない状態で、前記検査対象物特定手段によって、前記識別情報とは別の識別情報が特定されたときには、
    　所定の前記検査対象物に関して、前記検査員による検査忘れありと判定すること
    　を特徴とする請求項３に記載の検査作業管理システム。
  5. 　前記検査作業内容認識手段は、前記検査員が前記検査対象物の検査を行う際に用いる検査用センサの計測データを直接又は間接に取得する計測データ取得部を有し、
    　前記検査実績評価部は、前記撮影部の撮影結果、前記作業箇所認識部の認識結果、及び前記計測データに基づいて、前記作業内容の実績を評価すること
    　を特徴とする請求項１に記載の検査作業管理システム。
  6. 　前記撮影部による前記検査対象物の撮影時における前記作業内容の評価結果が、前記検査実績評価部によって与えられた場合において、少なくとも前記評価結果を示す画像が、前記撮影時の撮影結果、又は、当該撮影結果に対応する前記設計データの画像に重畳した状態で表示手段に表示されること
    　を特徴とする請求項５に記載の検査作業管理システム。
  7. 　前記検査作業内容認識手段は、前記検査員の身体の所定部位に装着される加速度センサを有し、
    　前記検査実績評価部は、前記撮影部の撮影結果、前記作業箇所認識部の認識結果、及び前記加速度センサの検出値に基づいて、前記作業内容の実績を評価すること
    　を特徴とする請求項１に記載の検査作業管理システム。
  8. 　前記検査対象物特定手段と、前記検査作業内容認識手段と、前記記録手段と、を備えるサーバを含むとともに、
    　前記検査作業内容認識手段の認識結果に基づいて、前記機器の工程管理を行うＭＥＳ（Manufacturing Execution System）を含むこと
    　を特徴とする請求項１から請求項７のいずれか一項に記載の検査作業管理システム。
  9. 　前記検査対象物特定手段と、前記検査作業内容認識手段と、前記記録手段と、を備えるサーバが、前記検査員による検査作業を管理者が遠隔監視する遠隔監視センタにネットワークを介して接続され、
    　前記表示手段が前記遠隔監視センタに設けられるとともに、前記検査員が所持する携帯端末への指示を前記管理者が入力するための入力手段も、前記遠隔監視センタに設けられていること
    　を特徴とする請求項６に記載の検査作業管理システム。
  10. 　検査ロボットによる検査の対象である検査対象物の三次元計測データと、前記検査対象物を含む機器の設計データと、の比較に基づいて、前記検査対象物を特定する検査対象物特定手段と、
    　前記検査ロボットによる検査の作業内容を認識する検査作業内容認識手段と、
    　前記検査作業内容認識手段の認識結果を少なくとも記録する記録手段と、を備え、
    　前記検査作業内容認識手段は、
    　前記検査ロボットに装着され、前記検査対象物を撮影する撮影部と、
    　前記検査対象物特定手段によって特定された前記検査対象物において、前記検査ロボットによる検査が行われた作業箇所を、前記撮影部の撮影結果に基づいて認識する作業箇所認識部と、を有するとともに、
    　前記撮影部の撮影結果、及び前記作業箇所認識部の認識結果を少なくとも用いることで特定される前記作業内容と、予め設定された所定の検査仕様データと、の比較に基づいて、前記作業内容の実績を評価する検査実績評価部を有すること
    　を特徴とする検査作業管理システム。
  11. 　検査員による検査の対象である検査対象物の三次元計測データと、前記検査対象物を含む機器の設計データと、の比較に基づいて、前記検査対象物を特定する検査対象物特定処理と、
    　前記検査員による検査の作業内容を認識する検査作業内容認識処理と、
    　前記検査作業内容認識処理の認識結果を少なくとも記録する記録処理と、を含み、
    　前記検査作業内容認識処理には、
    　前記検査員に装着される撮影部によって、当該検査員の視野に入っている領域を撮影する撮影ステップと、
    　前記検査対象物特定処理によって特定された前記検査対象物において、前記検査員による検査が行われた作業箇所を、前記撮影ステップでの撮影結果に基づいて認識する作業箇所認識ステップと、が含まれるとともに、
    　前記撮影ステップでの撮影結果、及び前記作業箇所認識ステップでの認識結果を少なくとも用いることで特定される前記作業内容と、予め設定された所定の検査仕様データと、の比較に基づいて、前記作業内容の実績を評価する検査実績評価ステップが含まれること
    　を特徴とする検査作業管理方法。
  12. 　検査ロボットによる検査の対象である検査対象物の三次元計測データと、前記検査対象物を含む機器の設計データと、の比較に基づいて、前記検査対象物を特定する検査対象物特定処理と、
    　前記検査ロボットによる検査の作業内容を認識する検査作業内容認識処理と、
    　前記検査作業内容認識処理の認識結果を少なくとも記録する記録処理と、を含み、
    　前記検査作業内容認識処理は、
    　前記検査ロボットに装着される撮影部によって、前記検査対象物を撮影する撮影ステップと、
    　前記検査対象物特定処理によって特定された前記検査対象物において、前記検査ロボットによる検査が行われた作業箇所を、前記撮影ステップの撮影結果に基づいて認識する作業箇所認識ステップと、が含まれるとともに、
    　前記撮影ステップの撮影結果、及び前記作業箇所認識ステップの認識結果を少なくとも用いることで特定される前記作業内容と、予め設定された所定の検査仕様データと、の比較に基づいて、前記作業内容の実績を評価する検査実績評価ステップが含まれること
    　を特徴とする検査作業管理方法。
PCT/JP2018/039811 2017-10-31 2018-10-26 検査作業管理システム及び検査作業管理方法 WO2019087951A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017209922A JP7193913B2 (ja) 2017-10-31 2017-10-31 検査作業管理システム及び検査作業管理方法
JP2017-209922 2017-10-31

Publications (1)

Publication Number Publication Date
WO2019087951A1 true WO2019087951A1 (ja) 2019-05-09

Family

ID=66331967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039811 WO2019087951A1 (ja) 2017-10-31 2018-10-26 検査作業管理システム及び検査作業管理方法

Country Status (2)

Country Link
JP (1) JP7193913B2 (ja)
WO (1) WO2019087951A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126771A (zh) * 2019-11-26 2020-05-08 公安部第一研究所 基于区域关注度预测安检员识图质量监督保障系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6990482B1 (ja) * 2021-03-26 2022-01-12 株式会社オプティム 検査システム、方法及びプログラム
WO2023210020A1 (ja) * 2022-04-29 2023-11-02 三菱電機株式会社 情報処理装置、三次元復元システム、及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003295975A (ja) * 2002-04-01 2003-10-17 Mitsubishi Heavy Ind Ltd フィールドワーク支援システム及びフィールドワーク支援方法
JP2009150866A (ja) * 2007-11-29 2009-07-09 Toshiba Corp 外観検査装置、外観検査システム及び外観検査方法
WO2014175324A1 (ja) * 2013-04-24 2014-10-30 川崎重工業株式会社 ワーク加工作業支援システムおよびワーク加工方法
JP2017055233A (ja) * 2015-09-09 2017-03-16 セイコーエプソン株式会社 表示装置、表示システム、及び、表示装置の制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194866A (ja) 2014-03-31 2015-11-05 株式会社日立システムズ 携帯型情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003295975A (ja) * 2002-04-01 2003-10-17 Mitsubishi Heavy Ind Ltd フィールドワーク支援システム及びフィールドワーク支援方法
JP2009150866A (ja) * 2007-11-29 2009-07-09 Toshiba Corp 外観検査装置、外観検査システム及び外観検査方法
WO2014175324A1 (ja) * 2013-04-24 2014-10-30 川崎重工業株式会社 ワーク加工作業支援システムおよびワーク加工方法
JP2017055233A (ja) * 2015-09-09 2017-03-16 セイコーエプソン株式会社 表示装置、表示システム、及び、表示装置の制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"2017 Prospects of Hitachi technology", HITACHI REVIEW, vol. 99, 10 January 2017 (2017-01-10), pages 36 - 41 *
ABE, JUNICHI: "Mighty Factory: Leveraging Big Data to support Manufacturing Innovations on-site", FUJITSU, vol. 66, no. 4, 1 July 2015 (2015-07-01), pages 62 - 68 *
FUKUDA, TAKAHITO: "Industrial wearable system that started to be put into practical use", EIZO JOHO INDUSTRIAL, vol. 48, no. 1, 1 January 2016 (2016-01-01), pages 11 - 16 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126771A (zh) * 2019-11-26 2020-05-08 公安部第一研究所 基于区域关注度预测安检员识图质量监督保障系统及方法
CN111126771B (zh) * 2019-11-26 2023-06-20 公安部第一研究所 基于区域关注度预测安检员识图质量监督保障系统及方法

Also Published As

Publication number Publication date
JP2019082864A (ja) 2019-05-30
JP7193913B2 (ja) 2022-12-21

Similar Documents

Publication Publication Date Title
CN109477771B (zh) 通过基于增强现实技术的装置识别损伤的结构健康监测系统
EP3086286B1 (en) Method and system for automated inspection utilizing a multi-modal database
WO2019087951A1 (ja) 検査作業管理システム及び検査作業管理方法
KR101845796B1 (ko) 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법
JP4728822B2 (ja) 画像検査方法、画像検査プログラムおよび画像検査装置
JP6725063B2 (ja) 設備管理システム
EP3312095B1 (en) Lightning strike inconsistency aircraft dispatch mobile disposition tool
EP2562090B1 (en) Systems and methods for automated anomaly location and classification
US20210344833A1 (en) Inspection workflow using object recognition and other techniques
US11138805B2 (en) Quantitative quality assurance for mixed reality
JP2020042668A (ja) 検査装置及び機械学習方法
JP2023018016A (ja) 管理システムおよび原因分析システム
DE102020107458B4 (de) Verfahren, Vorrichtung und Computerprogrammprodukt zum zerstörungsfreien Prüfen eines Bauteils
US20240062549A1 (en) Standalone vision system
EP4006778A1 (en) System for analysing, monitoring and diagnosing, in automated, current and predictive way, the condition of buildings and/or architectural structures and operation method thereof
Turner et al. Surface and Geometrical Characterization and Measurements in Additive Manufacturing
KR101835602B1 (ko) 모바일 품질관리 시스템
JP2023088122A (ja) 監視システム
WO2024121618A1 (en) Systems, methods, and devices for building a robot mission
JP2020059181A (ja) 接合過程監視システム
SI24905A (sl) Metoda in naprava za optimizacijo delovnih procesov

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18872223

Country of ref document: EP

Kind code of ref document: A1