WO2016157528A1 - 作業支援装置 - Google Patents

作業支援装置 Download PDF

Info

Publication number
WO2016157528A1
WO2016157528A1 PCT/JP2015/060646 JP2015060646W WO2016157528A1 WO 2016157528 A1 WO2016157528 A1 WO 2016157528A1 JP 2015060646 W JP2015060646 W JP 2015060646W WO 2016157528 A1 WO2016157528 A1 WO 2016157528A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
unit
information
data
worker
Prior art date
Application number
PCT/JP2015/060646
Other languages
English (en)
French (fr)
Inventor
相川　勇之
川浦　健央
博彦 樋口
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/060646 priority Critical patent/WO2016157528A1/ja
Priority to TW104118089A priority patent/TW201636940A/zh
Publication of WO2016157528A1 publication Critical patent/WO2016157528A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention provides an intuitive input / output interface for displaying related information using augmented reality, voice recognition, gesture recognition, etc., for performing work in accordance with certain procedures such as maintenance inspection work, repair work, installation work, etc.
  • the present invention relates to a work support apparatus for reducing work load and reducing work mistakes such as omission of inspection and recording errors.
  • Patent Document 1 discloses a technique for recognizing an image of an inspection target device and superimposing and displaying an inspection procedure corresponding to the device on a tablet terminal. Yes.
  • Patent Document 1 since a touch-panel type portable information terminal is used as an inspection terminal, both hands are blocked during inspection work, and work efficiency is lowered and work at work becomes unstable. There was a problem that there was concern.
  • An object of the present invention is to provide a work support device that reduces work load and reduces work mistakes such as omission of inspection and recording errors.
  • the work support apparatus is a work procedure hierarchical tree in which position information from a sensor, video data obtained by imaging a work target from an imaging device worn by an operator, and information related to the work target are hierarchically stored. And a self-position estimation unit that estimates the position of the worker at the work place from the work support data having position information about the work target, and a data input unit that receives input data by the worker's voice or input data by the worker's gesture And an intention understanding unit that generates related information on the work target reflecting the input data received by the data input unit from the information on the worker position estimated by the self-position estimation unit and the work support data. is there.
  • the work load can be reduced, and work mistakes such as omission of inspection and recording errors can be reduced.
  • Embodiment 1 of this invention It is a block diagram of the work assistance apparatus which concerns on Embodiment 1 of this invention. It is a figure explaining an example of the worker's working state in Embodiment 1 of this invention. It is a figure which shows an example of the hardware constitutions of the work assistance apparatus of Embodiment 1 of this invention. In Embodiment 1 of this invention, it is a figure explaining an example of the work assistance data managed with a server. In Embodiment 1 of this invention, it is a figure explaining an example of the data content of the work location position information with which the work assistance data managed by a server are provided. In Embodiment 1 of this invention, it is a figure explaining an example of the data content of the work target position information with which the work assistance data managed by a server are provided.
  • Embodiment 1 of this invention it is a figure explaining an example of the data content of the work item position information with which the work assistance data managed by a server are provided.
  • Embodiment 1 of this invention it is a figure explaining an example of the data content of the work procedure hierarchy tree with which the work assistance data managed by a server are provided.
  • It is a detailed block diagram of the intent understanding part of Embodiment 1 of this invention. 6 is a flowchart for explaining an operation of intention understanding processing by an intention understanding unit in the first embodiment. It is a figure which shows an example of the work procedure management data which a work procedure management data recording part records.
  • FIG. 1 it is a figure explaining an example of the content of the speech recognition dictionary.
  • Embodiment 1 it is a figure which shows an example of the work item superimposition display by a related information display part.
  • Embodiment 1 it is a figure which shows an example of the superimposition display after the inspection result input of the work item by an operator.
  • Embodiment 1 it is a figure which shows an example of the superimposition display when the value of an inspection result deviates from an appropriate value, ie, there is a defect in the inspection result.
  • Embodiment 1 it is a figure explaining an example of the content of work result data.
  • this Embodiment 2 it is a figure explaining an example of the content of the work assistance data with auxiliary information ID which a server stores.
  • FIG. 10 is a diagram for explaining an example of data contents of a work procedure hierarchical tree with auxiliary information ID in Embodiment 2.
  • FIG. 1 is a configuration diagram of a work support apparatus 1 according to Embodiment 1 of the present invention.
  • the work support device at the time of inspection work of the mechanical equipment will be described as an example, but the work support device of the present invention is not limited to the check work, such as repair work and installation work, It can be applied to all operations performed according to a certain procedure.
  • the work object means a switchboard or other equipment that is the object of work to be inspected, repaired, installed, etc. by an operator, and the target item is a switch, ammeter, etc. This refers to specific items and parts that are actually inspected, repaired, installed, etc. by the operator.
  • the work support apparatus 1 is connected to the server 2 via a network, and as shown in FIG. 1, the sensor information acquisition unit 101, the video input unit 102, the self-position estimation unit 103, the communication unit 104, and the intent understanding Unit 105, data input unit 106, related information display unit 107, and audio output unit 108.
  • the sensor information acquisition unit 101 receives position information acquired by GPS (not shown) and sensor information such as a wireless LAN base station ID, and acquires approximate position information of the worker.
  • the video input unit 102 receives video information from an imaging device such as a camera worn by the worker, and acquires image data to be worked.
  • the self-position estimation unit 103 refers to the work support data 201 on the server 2 via the communication unit 104, the image data acquired by the video input unit 102 and the approximate position of the worker acquired by the sensor information acquisition unit 101. Based on the information, the self-position is estimated as the accurate detailed position information of the worker, and the self-position estimation result is output.
  • the intent understanding unit 105 uses the self-position estimation result output from the self-position estimation unit 103, the data input result from the data input unit 106, and the work support data 201 stored in the server 2 to display the related Generate information and audio information to be output.
  • the related information refers to information related to the work target in the inspection work, but is not limited to this, and the work support device such as information related to the work target in the repair work or information related to the work target in the installation work.
  • 1 is information relating to a work target in work in which 1 is used.
  • the intention understanding unit 105 records the inspection result data in the work result data 202 on the server 2 via the communication unit 104.
  • the data input unit 106 receives input of inspection result data from a worker by voice recognition or gesture recognition.
  • the related information display unit 107 displays related information related to a work target in the work in which the work support device 1 is used based on an instruction from the intention understanding unit 105.
  • the voice output unit 108 outputs a system voice when requesting repetition or re-input for confirming the data input result from the data input unit 106 based on an instruction from the intention understanding unit 105.
  • FIG. 2 is a diagram for explaining an example of the work state of the worker in Embodiment 1 of the present invention.
  • the worker inspects the switchboard 302 to be inspected, for example, with the glass-type terminal 301 attached. That is, in FIG. 2, the switchboard 302 is the work target.
  • the work support apparatus 1 described in FIG. 1 is mounted on the glass-type terminal 301.
  • the glass-type terminal 301 is provided so as to capture a direction in which the worker is facing, a display unit 303 that displays related information, a camera 304 that captures a work target, and a terminal 305 that performs various communications.
  • a headset 306 for voice input / output.
  • the headset 306 includes a voice input / output unit such as an earphone or a microphone.
  • the display unit 303 includes a related information display unit 107.
  • the camera 304 includes a video input unit 102.
  • the terminal 305 includes a communication unit 104 that communicates with an external device such as the server 2, a sensor information acquisition unit 101 that acquires GPS information and wireless LAN base station ID information, a self-position estimation unit 103, and an intention understanding unit. 105.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the work support apparatus 1 according to the first embodiment of the present invention.
  • the self-position estimation unit 103 and the intention understanding unit 105 are realized by a processing circuit such as a CPU 31 or a system LSI that executes a program stored in the storage device 32, the memory 33, or the like.
  • a plurality of processing circuits may cooperate to execute the above function.
  • the related information display unit 107 uses the display unit 303. This is an example, and the related information display unit 107 may be configured by other hardware.
  • the communication unit 104 and the sensor information acquisition unit 101 constitute a communication I / F device 34 that performs communication with an external device such as the server 2.
  • the video input unit 102 uses a camera 304. This is an example, and the video input unit 102 may be configured by other hardware.
  • the data input unit 106 and the audio output unit 108 use a headset 306. This is only an example, and the data input unit 106 and the audio output unit 108 may be configured by other hardware.
  • FIG. 4 is a diagram for explaining an example of the work support data 201 managed by the server 2 in the first embodiment of the present invention.
  • the work support data 201 is registered in advance in the server 2 by a work manager or the like.
  • the work support data 201 includes work place position information 401 in which outline position information of the work place is registered, work target position information 402 in which three-dimensional position information of the work target is registered, and each work item for the work target.
  • Work item position information 403 in which corresponding positions are registered, and a work procedure hierarchical tree 404 in which information related to work objects are hierarchically stored according to the work procedure.
  • FIG. 5 is a diagram for explaining an example of the data content of the work location position information 401 included in the work support data 201 managed by the server 2 in the first embodiment of the present invention.
  • the work location position information 401 is a table that records a combination of at least a work location ID 501, a work location name 502, and a work location position 503.
  • the name of the work place is recorded at the work place position 503, such as “Building A 1F”.
  • information that can be acquired by the sensor information acquisition unit 101 from a sensor (not shown) or GPS mounted on the work support apparatus 1 carried by the worker, such as the ID of the nearest wireless LAN base station, is registered in advance. I will keep it.
  • FIG. 6 is a diagram for explaining an example of the data content of the work target position information 402 included in the work support data 201 managed by the server 2 in the first embodiment of the present invention.
  • the work target position information 402 illustrated in FIG. 6A is table data in which a combination of at least a work target ID 601, a work target name 602, and work target position coordinates 603 is recorded.
  • the work target position coordinates 603 represent three-dimensional position information of work targets such as the switchboard A, the switchboard B, and the switchboard C in a work place such as the electrical room A.
  • the work target position coordinates 603 are represented by four three-dimensional coordinates by simplifying the switchboards A to C as rectangular planes.
  • FIG. 6B is a conceptual diagram schematically showing three-dimensional information recorded in the work target position information 402.
  • the work target position coordinates 603 are simplified rectangular planes as shown in FIG. 6, the work target position coordinates 603 are not limited to this and may be a combination of a plurality of planes. By combining a plurality of planes in place of the simplified rectangular plane, more natural superimposed display can be performed at the time of related information display described later.
  • FIG. 7 is a diagram for explaining an example of the data content of the work item position information 403 included in the work support data 201 managed by the server 2 in the first embodiment of the present invention.
  • the work item position information 403 shown in FIG. 7A is table data in which a combination of at least a work item ID 701, a work item name 702, and work item coordinates 703 is recorded.
  • the work item coordinates 703 represent two-dimensional position information of work items such as the switch X, the switch Y, and the ammeter Z on the work target such as the switchboard A, for example.
  • each work item is simplified as a rectangle and is represented by four two-dimensional coordinates.
  • FIG. 7B is a conceptual diagram schematically showing the two-dimensional position information recorded in the work item position information 403.
  • FIG. 8 is a diagram for explaining an example of data contents of the work procedure hierarchy tree 404 provided in the work support data 201 managed by the server 2 in the first embodiment of the present invention.
  • 8A is table data in which at least a procedure ID 801, a work location 802, a work target 803, a work item 804, a normal value 805, a speech recognition dictionary ID 806, and a gesture recognition dictionary ID 807 are recorded. is there.
  • the procedure ID 801 is assumed to be assigned in order according to the work order. Therefore, in FIG. 8A, it is assumed that operations are performed in the order of P1 ⁇ P2.
  • FIG. 8 is a conceptual diagram schematically showing the hierarchical relationship recorded in the work procedure hierarchical tree 404.
  • FIG. 9 is a flowchart for explaining the operation of the work support apparatus 1 according to Embodiment 1 of the present invention.
  • the work support apparatus 1 uses the work support data 201 shown in FIGS. 4 to 8 described above, and the worker performs work support using the electric room A in the A building 1F as the first inspection place. It will be explained as a thing. It is assumed that it is known in advance that the electric room A in the A building 1F is the first inspection place.
  • the sensor information acquisition unit 101 acquires the approximate position information and notifies the self-position estimation unit 103 of the acquired approximate position information ( Step ST901, sensor information acquisition processing). Specifically, the sensor information acquisition unit 101 acquires, for example, sensor information such as position information acquired by GPS or a wireless LAN base station ID, and uses the acquired sensor information as the approximate position information of the worker. Notify the estimation unit 103. Here, the sensor information acquisition unit 101 acquires the approximate position information of A ridge 1F.
  • the position information obtained by GPS in the case of outdoors, the position estimation by the relationship with the wireless LAN base station in the case of indoors, and the existing entrance / exit management system for example,
  • the sensor information acquisition unit 101 always automatically acquires the location (up to the unit of the building, floor, and room) as the approximate position information by the cooperation of the above.
  • the sensor information acquisition unit 101 performs matching between the approximate position information that is always automatically acquired and the work location position 503 of the work location position information 401, and when they match, the worker is placed at the matched location. It is determined that the work has arrived and has started. It is assumed that the rough position information and the work location position information 401 are periodically matched, for example, every second.
  • the video input unit 102 acquires work target video data from the video information captured by the camera 304 worn by the worker, and notifies the self-position estimation unit 103 (step ST902, video data acquisition processing). ).
  • the camera 304 is ready to take a moving image, and the sensor information acquisition unit 101 acquires the outline.
  • an instruction to start shooting is issued to the camera 304 so that image recognition is automatically performed.
  • the stop of the shooting of the camera 304 if it is determined from the approximate position information acquired by the sensor information acquisition unit 101 that the inspection at the first inspection place has been completed and moved to the next place, all of the inspection items at the corresponding place are displayed. Assume that the inspection result input is completed, and the camera 304 is instructed to stop shooting to automatically stop shooting.
  • the self-position estimation unit 103 refers to the work support data 201 on the server 2 via the communication unit 104, and based on the video data acquired in step ST902 and the approximate position information acquired in step ST901, the self-position estimation unit 103 An accurate detailed position is estimated, and detailed position information is output as a self-position estimation result (step ST903, self-position estimation processing).
  • the self-position estimation unit 103 refers to the work place position information 401 of the work support data 201 in FIG. 5 using the rough position information of A building 1F as a key, and the work place ID and the work place name. To get.
  • the electric room A whose work place ID is 1 can be acquired.
  • the self-position estimation unit 103 refers to the work procedure hierarchical tree 404 in FIG. 8 and acquires a work target in the electric room A.
  • the work targets of “distribution panel A”, “distribution panel B”, and “distribution panel C” can be acquired.
  • the self-position estimation unit 103 refers to the work target position information 402 and acquires the work target position coordinates 603 of each of the switchboards A to C.
  • the work procedure hierarchical tree 404 of FIG. 8 the information on the name of the work place and the name of the work target is recorded, so the work target position information 402 is obtained from the name of the work place and the name of the work target.
  • the work target position coordinates 603 of each of the switchboards A to C are acquired with reference to FIG. 5.
  • the present invention is not limited to this, and the work procedure hierarchical tree 404 seems to record information on the work place ID and work target ID.
  • the name of the work place is obtained from the work place ID obtained by referring to the work place position information 401, and the work procedure hierarchy tree 404 is referred to from the obtained work place name.
  • the work target position coordinates 603 may be specified and acquired from the work target ID acquired in the tree 404.
  • the self-position estimation unit 103 matches the acquired work target position coordinates 603, the approximate position information acquired in step ST901, and the video data acquired in step ST902, and where the worker is in the electric room A. Standing and estimating which direction it is facing is estimated as an accurate detailed position of the worker. As for the accurate detailed position estimation process of the worker, an existing technique may be used (see, for example, “Information Display System, Information Display Method, and Information Display Program” in JP2013-054661A). .
  • the self-position estimation unit 103 outputs the accurate detailed position information of the estimated worker to the intention understanding unit 105 as a self-position estimation result. That is, the self-position estimation result includes information regarding the detailed position of the worker and the direction in which the worker is facing.
  • the intention understanding unit 105 determines related information to be displayed to the worker and the worker. Generate audio information to be output. Further, a data input dictionary is set according to the work situation (step ST904, intention understanding process).
  • FIG. 10 is a detailed configuration diagram of the intent understanding unit 105 according to Embodiment 1 of the present invention.
  • the intention understanding unit 105 includes a work procedure management unit 1001, a work procedure management data recording unit 1002, a work target distance calculation unit 1003, a related information generation unit 1004, and a data input control unit 1005. Is provided.
  • the work procedure management unit 1001 refers to the work procedure management data recording unit 1002 and acquires the current work status. Further, the work status of the work procedure management data managed by the work procedure management data recording unit 1002 is updated for the work item for which data input from the worker has been completed.
  • the work procedure management data recording unit 1002 records work procedure management data.
  • the work target distance calculation unit 1003 identifies a device that is the current work target from the current work status acquired by the work procedure management unit 1001, and refers to the work support data 201 to be estimated by the self-position estimation unit 103. Based on the self-position estimation result, the distance between the device currently being worked on and the worker is calculated.
  • the related information generation unit 1004 generates related information to be displayed from the self-position estimation result by the self-position estimation unit 103 and the work support data 201.
  • the data input control unit 1005 receives data from the data input unit 106 according to the self-position estimation result by the self-position estimation unit 103 and the distance between the current work target device and the worker calculated by the work target distance calculation unit 1003. It is determined whether or not the working state should accept data input. Further, the data input control unit 1005 stores a data input dictionary (not shown here, which will be described later in detail) necessary for a procedure to be performed next based on the work procedure hierarchical tree 404 of the work support data 201. Set.
  • the work procedure management data recording unit 1002 is provided in the intention understanding unit 105.
  • the present invention is not limited to this, and the work procedure management data recording unit 1002 is provided outside the intention understanding unit 105. Also good.
  • FIG. 11 is a flowchart for explaining the operation of the intention understanding process by the intention understanding unit 105 in the first embodiment. That is, FIG. 11 is a flowchart for explaining details of the process in step ST904 of FIG.
  • the work procedure management unit 1001 refers to the work procedure management data recorded in the work procedure management data recording unit 1002 and acquires the current work status (step ST1101, work status acquisition processing).
  • FIG. 12 is a diagram illustrating an example of work procedure management data recorded by the work procedure management data recording unit 1002.
  • the work procedure management data includes at least a procedure ID 1201 that is the same as the procedure ID 801 of the work procedure hierarchy tree 404 shown in FIG. 8, and a work situation 1202 that records the work situation of each procedure.
  • FIG. 12 it is shown that the work procedures with the procedure IDs P1 to P6 have not been processed, and the work procedures with the procedure ID of P7 and after have been completed.
  • the work target distance calculation unit 1003 refers to the work support data 201 of the server 2 based on the self-position estimation result output from the self-position estimation unit 103 in step ST903 of FIG.
  • the distance to the worker is calculated (step ST1102, work target distance calculation process).
  • the work target distance calculation unit 1003 first acquires the current work status acquired by the work procedure management unit 1001 in step ST1101, refers to the work procedure hierarchy tree 404 of the work support data 201, and It is specified that the work target is the distribution board A corresponding to the procedure IDs P1 to P3 and the distribution board B corresponding to the procedure IDs P4 to P6.
  • the work target distance calculation unit 903 calculates the distance between the device identified as the current work target, that is, switchboard A and switchboard B, and the worker on the corresponding 3D model based on the self-position estimation result. Calculated by The positions of switchboard A and switchboard B may be acquired with reference to work target position coordinates 603 of work target position information 402.
  • the data input control unit 1005 compares the self-position estimation result output by the self-position estimation unit 103 in step ST903 of FIG. 9 and the current work target device and the worker calculated by the work target distance calculation unit 903 in step ST1102. In accordance with the distance, it is determined whether or not the work state is to accept data input from the data input unit 106 (step ST1103, input determination processing).
  • the data input control unit 1005 determines the data if the distance between the current work target device and the worker calculated by the work target distance calculation unit 1003 in step ST1102 is greater than a predetermined value defined in advance. It is determined that data cannot be input from the input unit 106 ("NO" in step ST1103), and the process proceeds to step ST1104. On the other hand, if the distance between the current work target device and the worker calculated by the work target distance calculation unit 1003 is smaller than a predetermined value defined in advance, it is determined that data can be input from the data input unit 106 (step If “YES” in ST1103), the process proceeds to step ST1105.
  • the work target becomes a distance smaller than the predetermined value.
  • the worker is about to input data regarding the work result and the distance between the work target and the worker is greater than a predetermined value, It is determined that data input from the worker regarding the work result is impossible because the worker is not trying to work on the work target.
  • the predetermined value used for the determination here is set appropriately by a work manager or the like in advance so that the inspection work can be performed.
  • step ST1103 here, it is assumed that the distance between the current work target device and the worker calculated by the work target distance calculation unit 903 is greater than a predetermined value, and it is determined that data input is not possible. That is, the operator determines that the switchboard A and switchboard B are not approaching, and proceeds to step ST1104.
  • step ST1105 that is, the process when the worker is approaching the work target and intends to perform the inspection work of the approached work target will be described later.
  • step ST1103 When it is determined in step ST1103 that the distance between the current work target device and the worker is greater than a predetermined value and data input is not possible (in the case of “NO” in step ST1103), the related information generation unit 1004 performs step of FIG. Based on the self-position estimation result output from the self-position estimation unit 103 in ST903 and the work support data 201, related information related to the work target is generated (step ST1104, work target related information generation processing).
  • the related information generating unit 1004 records the work procedure hierarchical tree 404 and work procedure management data of the work support data 201 based on the current work status acquired by the work procedure management unit 1001 in step ST1101. Referring to unit 1002, the work target at the current work place and the work status thereof are acquired.
  • the related information generation unit 904 acquires “switchboard A” and “switchboard B” as unprocessed work targets in the electrical room A, and “switchboard C” as a work target that has been worked.
  • the related information generation unit 1004 refers to the work target position information 402 for each acquired work target, and obtains work target position coordinates 603 at the work place.
  • the related information generation unit 1004 Assuming a plane that goes straight in the direction that the worker is facing at the position of the worker, and projecting the three-dimensional coordinates of each work target on this plane, the coordinate information of each work target at the time of superimposed display is calculated It can ask for. Therefore, the related information generation unit 1004 calculates coordinate information of each work target when the superimposed display is performed, and generates the calculated coordinate information and the work target name as related information regarding the work target. Then, the related information display unit 107 is notified of the related information regarding the generated work target.
  • FIG. 13 is a conceptual diagram of related information related to the work target generated by the related information generation unit 1004.
  • a direction 1401 indicated by V is a direction vector V of the camera 304 obtained as a result of self-position estimation by the self-position estimation unit 103, and represents the direction that the worker is looking at.
  • a plane 1402 indicated by D is a virtual plane orthogonal to the direction vector V, and is a plane onto which a work target to be displayed is projected.
  • the three-dimensional model 1403 is a three-dimensional model constructed based on the work target position coordinates 603 of the work target position information 402.
  • step ST904 the data input unit 106 determines whether the data input control unit 1005 of the intent understanding unit 105 has set a data input dictionary (step ST905, input determination process). Specifically, the data input unit 106 determines whether the data input control unit 1005 has set a data input dictionary in step ST1106 described with reference to FIG. In step ST905, if data input control section 1005 determines that a data input dictionary has been set (in the case of “YES” in step ST905), the process proceeds to step ST906.
  • step ST905 when data input control section 905 determines that a data input dictionary has not been set (in the case of “NO” in step ST905), it skips the processing of steps ST906 to ST909 and proceeds to step ST910. .
  • the data input control unit 1005 prohibits data input from the data input unit 106 and does not perform the process of step ST1106, and thus proceeds to step ST910. Note that the processing from step ST906 to step ST909 will be described later.
  • step ST910 the related information display unit 107 displays related information regarding the work target created by the intention understanding unit 105 in step ST904 (step ST910, related information display processing). That is, the related information display unit 107 displays the related information related to the work target generated by the related information generation unit 1004 of the intention understanding unit 105 in step ST1104 of FIG. Specifically, the related information display unit 107 displays the inspection status of each switchboard A to C on the display unit 303 of the glass-type terminal 301 described with reference to FIG.
  • FIG. 14 shows an example in which the inspection status of each switchboard A to C is superimposed and displayed by the related information display unit 107.
  • the distribution board A is the first inspection object (inspection object 1)
  • the distribution board B is the second inspection object (inspection object 2)
  • the distribution board C is inspected by the related information display unit 107. Is displayed.
  • the related information related to the work target generated by the related information generation unit 1004 includes the information of the procedure ID 801, and the related information generation unit 1004 instructs the related information display unit 107 according to the information of the procedure ID 801. Display related information so that the work order can be understood.
  • the work order is shown so that the inspection work is performed in the order of the inspection object 1 to the inspection object 2.
  • the order of inspection object 1, inspection object 2... is the order of inspection objects in order from the work object including the procedure ID 801 in which the work ID is younger than the ID of the procedure ID 801.
  • comprehensive information such as the order in which the operator should inspect. It is possible to obtain comprehensive information including information on whether inspection should be performed in a proper order, and to reduce work errors.
  • the work order for each work target may be “fixed order” that must be executed in a predetermined order, or multiple items in a predetermined unit may be executed in any order. "Order" may be set. For example, the rightmost switchboard (assuming switchboard C is assumed to be “inspected” in FIG.
  • FIG. 14 is an assumption that the work order of switchboards A to C that are work targets is arbitrary.
  • the above-mentioned “arbitrary order” work objects can be handled.
  • FIG. 15 shows that the inspection order of the electrical room A and below, that is, switchboard A to switchboard C is arbitrary.
  • FIG. 15 shows that the work items of each switchboard are in a fixed order.
  • the “fixed order” item and the “arbitrary order” item can also be set for the work items. The display of the work order of work items will be described later.
  • the intention understanding unit 105 determines whether there is remaining work (step ST911, remaining work determination processing). If it is determined in step ST911 that there is remaining work (in the case of “YES” in step ST911), the process returns to step ST901, and the process from step ST901 to step ST910 is repeated to change the direction in which the worker views.
  • the orientation of the mounted camera 304 changes accordingly, and the display position of the work target related information follows and moves according to the subsequent self-position estimation result. In this way, by superimposing and displaying information related to the work target on the worker's field of view, it is possible to prevent mistakes in the work order of the switchboard A and switchboard B having similar shapes and recording errors.
  • the process returns to step ST901.
  • step ST904 the intention understanding unit 105 executes the processes in steps ST1101 to ST1106 in FIG.
  • step ST1101 the work procedure management unit 1001 refers to the work procedure management data recording unit 1002 and acquires the current work status.
  • the work procedures with the procedure IDs P1 to P6 are unprocessed and the work procedures with the procedure ID of P7 and after have been worked.
  • step ST1102 as described above, the work target distance calculation unit 1003 becomes the current work target with reference to the work support data 201 based on the self-position estimation result output from the self-position estimation unit 103 in step ST903. Calculate the distance between the equipment and the worker.
  • step ST1103 the data input control unit 1005 calculates the current work target calculated by the work target distance calculation unit 1003 in step ST1102 and the self-position estimation result output from the self-position estimation unit 103 in step ST903. In accordance with the distance between the device and the worker, it is determined whether or not the work state should accept data input from the data input unit 106. Here, if the worker approaches the switchboard A to be inspected and the distance between the worker and the switchboard A becomes smaller than a predetermined value, the data input control unit 1005 inputs data from the data input unit 106. It is determined that it should be accepted (“YES” in step ST1103), and the process proceeds to step ST1105.
  • the related information generation unit 1004 refers to the work support data 201 from the self-position estimation result output from the self-position estimation unit 103 in step ST903, and relates to the work item to be worked that is determined that the worker has approached. Information is generated (work item related information generation processing). Specifically, the related information generation unit 1004 first refers to the work procedure hierarchical tree 404 of the work support data 201 based on the current work status information acquired by the work procedure management unit 1001 in step ST1101. The work item name corresponding to the procedure ID “unprocessed” is acquired. Here, the work procedure management unit 1001 acquires information on the work status that the work procedures with the procedure IDs P1 to P6 are “unprocessed” from the work procedure management data as shown in FIG.
  • the information generation unit 1004 refers to the work procedure hierarchical tree 404, and “switch X (normal value off)”, “corresponding to steps P1 to P3, which are work items of the switchboard A among the procedure IDs P1 to P6,” “Switch Y (normal value off)” and “ammeter Z (normal value 550 to 600 A)” are acquired as work item names.
  • the related information generation unit 1004 refers to the work item coordinates 703 of the work item position information 403 for each work item, and acquires the position information of each work item within the work target. Further, the related information generation unit 1004 assumes a plane orthogonal to the direction in which the worker is facing at the worker's position, in the same manner as in the process of step ST1104 described above. Project. Further, the related information generation unit 1004 obtains the coordinate information of each work item at the time of superimposed display based on the position information of each work item acquired from the work item coordinates 703 of the work item position information 403 by calculation. The related information generation unit 1004 generates the coordinate information and the work item name of each work item when the superimposed display is performed, as related information regarding the work item.
  • the related information display unit 107 is notified of related information regarding the generated work item.
  • the related information generating unit 1004 displays the work items “switch X”, “switch Y”, “ammeter Z” of the unprocessed work target “distribution panel A”, and coordinate information of each work item when superimposed. To the related information display unit 107 as related information related to the work item.
  • the data input control unit 1005 refers to the work procedure hierarchy tree 404 of the work support data 201 based on the information on the current work status acquired by the work procedure management unit 1001 in step ST1101, and then Set voice recognition dictionary ID 806 and gesture recognition dictionary ID 807 (speech recognition dictionary ID 806 and gesture recognition dictionary ID 807 as data input dictionary IDs) corresponding to unprocessed work items to be processed (data input dictionary ID selection processing) ).
  • voice recognition dictionary ID 806 and gesture recognition dictionary ID 807 as data input dictionary IDs
  • the data input unit 106 has the data input dictionary ID. It is determined whether it is set (step ST905, data input determination processing). Specifically, in step ST1106 of FIG. 11, the data input control unit 1005 determines whether or not the voice recognition dictionary ID and the gesture recognition dictionary ID are set.
  • Whether the voice recognition dictionary ID and the gesture recognition dictionary ID are set is determined by, for example, transmitting information on the set voice recognition dictionary ID or gesture recognition dictionary ID from the intention understanding unit 105 to the data input unit 106.
  • the data input unit 106 may determine whether or not the voice recognition dictionary ID or the gesture recognition dictionary ID has been received.
  • the process proceeds to step ST906.
  • the data input unit 106 uses the speech recognition dictionary and the gesture recognition dictionary corresponding to the speech recognition dictionary ID 806 and the gesture recognition dictionary ID 807 set in step ST1106 as a data input dictionary, and refers to the data input dictionary while referring to the data input dictionary.
  • Data input by the operator is accepted (step ST906, data input processing).
  • the data input by the worker is performed by voice input from a microphone provided in the headset 306 or by a gesture, for example.
  • the gesture operation performed by the operator is, for example, making an OK mark by hand.
  • the operator inputs data by causing the camera 304 to capture the OK mark or the like.
  • the data input unit 106 receives the image via the video input unit 102 to obtain information on data input by the operator.
  • the operation of step ST906 will be described in detail with reference to FIGS.
  • FIG. 16 is a detailed configuration diagram of the data input unit 106 according to the first embodiment. As shown in FIG. 16, the data input unit 106 includes a speech recognition unit 1501, a speech recognition dictionary 1502, a gesture recognition unit 1503, and a gesture recognition dictionary 1504.
  • the voice recognition unit 1501 refers to the voice recognition dictionary 1502 to recognize the voice uttered by the worker and obtain a recognition result.
  • the speech recognition dictionary 1502 stores a speech recognition dictionary corresponding to work items. Note that the speech recognition dictionary 1502 is set in advance.
  • the gesture recognition unit 1503 refers to the gesture recognition dictionary 1504 to recognize a gesture operation performed by the worker and obtain a recognition result.
  • the gesture recognition dictionary 1504 stores the gesture action and the action content in association with each other. Note that the gesture recognition dictionary 1504 is set in advance.
  • the voice recognition dictionary 1502 and the gesture recognition dictionary 1504 are provided in the data input unit 106.
  • the present invention is not limited thereto, and the voice recognition dictionary 1502 and the gesture recognition dictionary 1504 are provided outside the data input unit 106. You may make it prepare.
  • FIG. 17 is a flowchart for explaining the details of the operation in step ST906 by the data input unit 106 of the first embodiment.
  • the voice recognition unit 1501 of the data input unit 106 refers to the voice recognition dictionary 1502 to recognize the voice emitted by the worker and obtain a recognition result.
  • the speech recognition processing by the speech recognition unit 1501 in step ST1601 may be performed using existing technology (see, for example, “Speech recognition inspection system” in Japanese Patent Laid-Open No. 2000-112494).
  • the speech recognition dictionary 1502 is prepared in advance for each work item, and the speech recognition unit 1501 is the current set by the data input control unit 1005 of the intention understanding unit 105 in step ST1106 of FIG. It is assumed that the speech recognition dictionary 1502 corresponding to the speech recognition dictionary ID 806 corresponding to the work item being processed is used.
  • FIG. 18 is a diagram illustrating an example of the contents of the speech recognition dictionary 1502 in the first embodiment.
  • vocabulary corresponding to each work item of the work procedure hierarchical tree 404 shown in FIG. 8, for example, “switchboard A” is registered in advance.
  • a vocabulary such as “off-off ⁇ N> amperes” shown in the fourth line of the table is also registered.
  • “ ⁇ N>” is a special symbol for recognizing the numerical value of the ammeter and the like.
  • the gesture recognition unit 1503 of the data input unit 106 refers to the gesture recognition dictionary 1504 to recognize the gesture operation performed by the operator and obtains a recognition result (step ST1602).
  • the gesture recognition processing by the gesture recognition unit 1503 in step ST1602 may be performed using an existing technology (for example, Japanese Unexamined Patent Application Publication No. 2011-76255 “Gesture Recognition Device, Gesture Recognition Method, and Gesture Recognition Program”, No. 2010-237766 “Information processing device, command execution control method and command execution control program”, Japanese Patent Application Laid-Open No. 2007-034525 “Information processing device, information processing method and computer program”).
  • the gesture recognition dictionary 1504 is prepared in advance for each work item, like the speech recognition dictionary 1502, and is set by the data input control unit 1005 of the intention understanding unit 105 in step ST1106 of FIG. It is assumed that the gesture recognition dictionary 1504 corresponding to the gesture recognition dictionary ID 807 corresponding to the work item being processed is used.
  • step ST906 This completes the detailed description of the operation of step ST906 by the data input unit 106 and returns to the flowchart of FIG.
  • the data input control unit 1005 of the intent understanding unit 105 determines the presence / absence of a data input result (step ST907, input result determination process). In step ST907, when it is determined that there is a data input result (in the case of “YES” in step ST907), the data input control unit 1005 of the intent understanding unit 105 recognizes the voice output unit 108 in step ST906. The input result from the person is repeated and the input result is displayed on the related information display unit 107 (step ST908).
  • the work procedure management unit 1001 of the intention understanding unit 105 updates the work procedure management data recording unit 1002 (step ST909, work procedure management data update process). More specifically, the work status 1102 of the work procedure management data shown in FIG. 12 is changed from “unprocessed” to “worked” for the work item for which the input has been received in step ST906 and the data input from the worker has been completed. Update. That is, here, for example, if the operator checks that the switch X of the switchboard A is OFF, the procedure P1 of the work procedure management data shown in FIG. 12 is updated to “work completed”. It can be specified from the work procedure hierarchical tree 404 that the procedure ID of the work item called switch X of the switchboard A is P1.
  • step ST907 when it is determined in step ST907 that there is no data input result (in the case of “NO” in step ST907), the process proceeds to step ST910.
  • step ST910 the related information display unit 107 displays the related information notified from the related information generation unit 1004 of the intention understanding unit 105 on the display unit 303. Specifically, the related information display unit 107 displays the inspection items of the switchboard A in a superimposed manner on the display unit 303 of the glass-type terminal 301 shown in FIG.
  • FIG. 19 is a diagram illustrating an example of the work item superimposed display by the related information display unit 107 in the first embodiment.
  • the user is prompted to confirm that the switch X is off, the switch Y is off, and that the ammeter display is within the normal value range (550A to 600A). That is, in step ST910 described above, when receiving data input from the worker, the related information generation unit 1004 of the intent understanding unit 105 displays the related information regarding the generated work item with respect to the related information display unit 107 as shown in FIG. As shown in FIG. That is, the related information display unit 107 performs display as shown in FIG. 19 on the display unit 303 of the glass-type terminal 301 in accordance with an instruction from the intention understanding unit 105.
  • the worker confirms the display, performs the inspection work, and inputs data of the inspection result. Further, as shown in FIG. 19, based on the position information of each work item within the work target obtained by the related information generation unit 1004 in step ST1105 of FIG. A lead line for the work target device is superimposed and displayed. Further, it is assumed that the related information related to the work target generated by the related information generating unit 1004 includes the information of the procedure ID 801, and the related information generating unit 1004 instructs the related information display unit 107 according to the information of the procedure ID 801. Display related information so that the work order can be understood. In FIG. 19, for example, in accordance with the procedure ID 801, a display prompting to perform work in the order of the inspection object 1 to the inspection object 3 is performed. Thereby, the operator can obtain comprehensive information including information on the order in which inspection should be performed, and work errors can be reduced.
  • step ST901 when the direction seen by the operator is changed, the orientation of the mounted camera 304 is also changed accordingly, and according to the subsequent self-position estimation processing result, The display position of the leader line follows and moves.
  • step ST910 by repeating the processing from step ST901 to step ST910, when the direction seen by the operator is changed, the orientation of the mounted camera 304 is also changed accordingly, and according to the subsequent self-position estimation processing result, The display position of the leader line follows and moves.
  • the work target distance calculation unit 1003 calculates the current work target device and the worker. As shown in FIG. 19, when the distance between the operator and the operator becomes smaller than a predetermined value, that is, when the worker is close enough to inspect the device to be operated, as shown in FIG. Since the related information related to the work item is displayed, the information necessary for the worker can be provided more appropriately according to the situation of the worker.
  • FIG. 20 is a diagram illustrating an example of the superimposed display after the inspection result input of the work item by the worker is performed in the first embodiment.
  • the display as shown in FIG. 19 is performed to prompt the operator to perform inspection work.
  • related information display is performed according to the instruction from the intention understanding unit 105.
  • the unit 107 performs display as shown in FIG. 20 according to the data input result.
  • the related information display unit 107 displays a ⁇ mark behind each inspection item on the display unit 303 of the glass-type terminal 301, indicating that there is no problem in the inspection result.
  • the audio output unit 108 repeats the inspection results for easy confirmation by the operator from a speaker or the like provided in the headset 306 (See step ST908).
  • the related information display unit 107 also displays the current value input by the operator on the display unit 303. Specifically, for example, when the operator utters “switch X off” and inputs the inspection result, the data input unit 106 performs voice recognition of the utterance content and outputs the recognition result to the intention understanding unit 105.
  • the intention understanding unit 105 refers to the work procedure hierarchical tree 404 and determines whether the recognized inspection result is a normal value. When it is determined that the value is a normal value, the intention understanding unit 105 causes the related information display unit 107 to display a circle mark after the corresponding work item, here, the switch X.
  • FIG. 21 is a diagram showing an example of superimposed display when the value of the inspection result is out of the appropriate value, that is, the inspection result has a defect in the first embodiment.
  • the related information display unit 107 follows the instruction from the intention understanding unit 105 on the display unit 303 of the glass-type terminal 301 as shown in FIG. X is displayed on the screen. This indicates that there is a problem with the inspection results.
  • the data input unit 106 performs voice recognition of the utterance content, outputs the recognition result to the intention understanding unit 105, and the intention understanding unit 105
  • the work procedure hierarchical tree 404 is referred to, and it is determined whether or not the recognized inspection result is a normal value.
  • the intention understanding unit 105 causes the related information display unit 107 to display a cross mark after the corresponding work item.
  • the intention understanding unit 105 may cause the voice output unit 108 to output a system voice for requesting the operator to re-input the data of the inspection work result.
  • the intention understanding unit 105 stores all work items in the work result data 202 of the server 2 via the communication unit 104. Are recorded (step ST912). Here, the contents of the work result data 202 are shown in FIG.
  • the intention understanding unit 105 determines whether there is a remaining work and determines that there is a remaining work (in the case of “YES” in step ST911), the processing from step ST901 to step ST910 is repeated.
  • the work support device 1 and the server 2 are divided.
  • the present invention is not limited to this, and the work support device 1 has sufficient calculation capability and storage.
  • the work support apparatus 1 may be configured to incorporate the function of the server 2.
  • a function for displaying route guidance to the next inspection location by using GPS or wireless LAN base station information is provided. You may make it prepare.
  • the self-position estimation unit 103 that estimates the position information of the worker based on the position information of the work target and the video of the work target, the self-position estimation result, the data input Based on the result and the work procedure hierarchy tree 404 in which information related to the work target is hierarchically stored according to the work procedure and the work support data 201 having the position information related to the work target, related information to be displayed and output
  • the intention understanding unit 105 that generates voice information, it is possible to provide information on the order in which the operator should check.
  • the operation can be performed in a more natural manner for the operator. As a result, the work load can be reduced and work errors such as omission of inspection and recording errors can be reduced.
  • the operator does not need to hold a writing instrument or a portable terminal during the inspection, and can input the work result more efficiently.
  • voice recognition for input, the operator does not need to hold a writing instrument or a portable terminal during the inspection, and can input the work result more efficiently.
  • an optimal speech recognition dictionary and gesture recognition can be used for each work procedure, efficient input with few erroneous recognitions is possible.
  • Embodiment 2 an embodiment will be described in which auxiliary information regarding work items to be worked is displayed together with the worker.
  • the auxiliary information refers to information that assists the operator in working such as a check procedure when the current value is abnormal when the operator performs an inspection operation. Shall.
  • FIG. 23 is a configuration diagram of the work support apparatus 1 according to Embodiment 2 of the present invention.
  • the work support apparatus 1 illustrated in FIG. 23 is different from the work support apparatus 1 described with reference to FIG. 1 in the first embodiment, with the auxiliary information call instruction unit 109, the auxiliary information selection unit 110, and the auxiliary information output unit 111.
  • the other configuration is the same as that of the work support apparatus 1 in FIG. 1, the same configuration is denoted by the same reference numeral, and redundant description is omitted.
  • the auxiliary information calling instruction unit 109 receives an instruction for calling auxiliary information from the worker and notifies the intention understanding unit 105 of the instruction.
  • the auxiliary information selection unit 110 refers to the work support data 203 with auxiliary information ID and the auxiliary information data 204 stored in the server 2 via the intention understanding unit 105, and displays auxiliary information to be displayed according to the work procedure.
  • the auxiliary information data 204 is selected and output to the intention understanding unit 105.
  • the auxiliary information data 204 stored in the server 2 stores the auxiliary information ID and auxiliary information of the work support data 203 with auxiliary information ID in association with each other, and the auxiliary information is related to the work item. Document data or moving image data.
  • the work support data 203 with auxiliary information ID is obtained by adding the auxiliary information ID for specifying the auxiliary information data 204 to the work support data 201 described in the first embodiment.
  • the auxiliary information output unit 111 outputs auxiliary information data selected by the auxiliary information selection unit 110.
  • the hardware configuration of the work support apparatus 1 according to the second embodiment is the same as that described with reference to FIG. 3 in the first embodiment.
  • the auxiliary information selection unit 110 uses the CPU 31.
  • the auxiliary information calling instruction unit 109 uses the headset 306.
  • the auxiliary information output unit 111 uses the display unit 303 or the headset 306. This is an example, and the auxiliary information call instruction unit 109 and the auxiliary information output unit 111 may be configured by other hardware.
  • FIG. 24 is a flowchart for explaining the operation of the work support apparatus 1 according to Embodiment 2 of the present invention.
  • the operation of the work support apparatus 1 according to the second embodiment of the present invention shown in FIG. 24 is different from the operation described with reference to FIG. 9 in the first embodiment only in that steps ST2301 to ST2303 are added.
  • the other operations in steps ST901 to ST912 are the same as those described with reference to FIG. 9. Therefore, the same step numbers are assigned and duplicate descriptions are omitted, and here, different from the first embodiment. Only the operation will be described.
  • step ST904 the intention understanding unit 105, based on the self-position estimation result by the self-position estimating unit 103 in step ST903 and the work support data 203 with the auxiliary information ID of the server 2, the related information to be displayed and the sound to be output.
  • the intent understanding process is performed for generating information and setting the data input dictionary ID according to the work situation, it is determined whether or not the auxiliary information calling instruction unit 109 has received an auxiliary information calling instruction from the worker ( Step ST2301, auxiliary information call determination processing).
  • the auxiliary information call instructing unit 109 detects a speech recognition result when the operator utters a special keyword such as “help call”, for example, and notifies the intention understanding unit 105 of the voice recognition result.
  • whether or not the intent understanding unit 105 has received the notification determines whether or not the auxiliary information calling instruction unit 109 has received an auxiliary information calling instruction from the worker.
  • a special keyword used as an auxiliary information call instruction such as “help call”, is set in advance, and the auxiliary information call instruction unit 109 recognizes the special keyword as a result of voice recognition from the utterance content of the worker. It may be determined whether or not is detected.
  • step ST2301 If it is determined in step ST2301 that the auxiliary information calling instruction from the worker has not been received (in the case of “YES” in step ST2301), the process proceeds to step ST905, and thereafter, the same as described in the first embodiment. Perform the action.
  • step ST2301 When it is determined in step ST2301 that an auxiliary information call instruction from the worker has been received (in the case of “NO” in step ST2301), the auxiliary information selection unit 110 adds the auxiliary information ID of the server 2 via the intention understanding unit 105.
  • auxiliary information to be displayed is selected from the auxiliary information data 204 in accordance with the work procedure (step ST2302, auxiliary information selection processing).
  • the auxiliary information selected by auxiliary information selection section 110 in step ST2302 is output to intention understanding section 105.
  • FIG. 25 is a diagram for explaining an example of the contents of the work support data 203 with auxiliary information ID stored in the server 2 in the second embodiment. In FIG.
  • the work support data 203 with auxiliary information ID shown in FIG. 25 differs from the work support data 201 shown in FIG. 4 only in that the work procedure hierarchical tree 404 is changed to a work procedure hierarchical tree 2401 with auxiliary information ID.
  • FIG. 26 is a diagram for explaining an example of the data contents of the work procedure hierarchical tree 2401 with auxiliary information ID in the second embodiment.
  • the same reference numerals are assigned to the same information as the information in the work procedure hierarchical tree 404 described with reference to FIG. 8 in the first embodiment, and a duplicate description is omitted.
  • the work procedure hierarchical tree 2401 with auxiliary information ID shown in FIG. 26 is different from the work procedure hierarchical tree 404 shown in FIG. 8 in that it further holds the auxiliary information ID 2501 in addition to the information.
  • step ST2302 the auxiliary information selection unit 110 performs a work procedure with an auxiliary information ID based on the work status obtained by the process of step ST904 by the intention understanding unit 105, specifically, the process of step ST1101 of FIG.
  • the auxiliary information ID corresponding to the work procedure currently being processed is acquired from the hierarchical tree 2401, and the auxiliary information corresponding to this is selected from the auxiliary information data 204.
  • the auxiliary information selection unit 110 performs the work procedure hierarchical tree with an auxiliary information ID in FIG. From 2401, “switch X (normal value off)”, “switch Y (normal value off)”, and “ammeter Z (normal value 550 to 600 A)” corresponding to procedures P1 to P3 which are work items of switchboard A
  • the work item name is specified, and H1 to H3 are acquired as auxiliary information IDs corresponding to the work item name.
  • the auxiliary information selection unit 110 refers to the auxiliary information data 204 using the acquired auxiliary information ID as a key, and selects auxiliary information corresponding to the auxiliary information ID.
  • auxiliary information ID 204 and auxiliary information are stored in advance in the auxiliary information data 204 in association with each other.
  • the auxiliary information is, for example, information that assists the operator in performing an inspection operation such as a check procedure when the current value is abnormal, and is document data or moving image data related to the work item.
  • the auxiliary information output unit 111 displays the auxiliary information data selected by the auxiliary information selection unit 110 in step ST2302 on the display unit 303 of the glass-type terminal 301, for example, based on an instruction from the intention understanding unit 105 (step ST2303). , Auxiliary information display processing).
  • FIG. 27 is a diagram for explaining an example in which the auxiliary information output unit 111 displays auxiliary information data on the display unit 303 of the glass-type terminal 301 in the second embodiment. In the example of FIG. 27, document information indicating a check procedure when the current value is abnormal is displayed (see 2601 in FIG. 27). Note that FIG. 27 is an example, and the auxiliary information output unit 111 may perform procedure display using a moving image.
  • the auxiliary information output unit 111 displays the auxiliary information data on the display unit 303 of the glass-type terminal 301.
  • the auxiliary information data is audio data
  • the auxiliary information output unit 111 may read voice data from an output unit such as an earphone provided to the headset 306 of the glass-type terminal 301, and assists the intent understanding unit 105 to perform output according to the output method.
  • the information output unit 111 can be instructed.
  • auxiliary information call instruction unit 109 that receives an auxiliary information call instruction from the worker and the auxiliary information call instruction unit 109 receives the auxiliary information call instruction
  • Assistance for selecting auxiliary information to be displayed in accordance with the work procedure by referring to the work support data 203 with auxiliary information ID and the auxiliary information data 204 stored in a hierarchical arrangement through the understanding unit 105.
  • auxiliary information can be acquired in a more natural manner by an operator.
  • the worker can obtain the auxiliary information and work, the work load can be reduced, and work mistakes such as omission of inspection and recording errors can be further reduced.
  • the work support apparatus 1 is configured as shown in FIG. 1, but the work support apparatus 1 includes the self-position estimation unit 103 and the intention understanding unit 105 as described above. Such effects can be obtained.
  • the work support device is configured to reduce the work load and to reduce work errors such as omissions of inspection and recording errors, the maintenance and inspection work of machine equipment, repair work, installation work, etc. are constant.
  • the present invention can be applied to a work support device for work performed according to the above procedure.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

　センサからの位置情報と、作業者が身に付けた撮像装置（３０４）から作業対象を撮像した映像データと、作業対象に関する情報が階層的に格納された作業手順階層木（４０４）および作業対象に関する位置情報を有する作業支援データ（２０１）とから、作業場所における作業者の位置を推定する自己位置推定部（１０３）と、作業者の音声による入力データまたは作業者のジェスチャによる入力データを受け付けるデータ入力部（１０６）と、自己位置推定部（１０３）が推定した作業者の位置に関する情報と作業支援データ（２０１）とから、データ入力部（１０６）が受け付けた入力データを反映した作業対象に関する関連情報を生成する意図理解部（１０５）とを備えた。

Description

作業支援装置
　この発明は、機械設備の保守点検作業、修理作業、設置作業等の一定の手順に従って行う作業を、拡張現実感を用いた関連情報の表示及び音声認識やジェスチャ認識などの直感的な入出力インタフェースにより作業負荷を軽減し、点検漏れや記録誤りなどの作業ミスを低減するための作業支援装置に関するものである。
　従来、水処理設備、プラント設備、発電設備などの機械設備では、運用時に保守点検作業が欠かせない。点検作業時には、多数の機器を定期的に点検し、点検結果を正確に記録するとともに、点検結果に不具合があれば必要に応じて機器調整などの対策をする必要がある。
　機械設備の点検を行う際、従来は、作業者が点検対象を目視で確認し、点検結果を手書きで点検票に記録し、記録した結果をパソコン上の表計算ソフトウェアなどに転記して蓄積していた。
　しかし、このような流れで点検を行うと、点検票への記録ミスやパソコン上ソフトウェア上での転記ミスなどのヒューマンエラーを起こす可能性があった。また、点検結果に不具合が見つかった場合には、作業者の経験に基づいて原因を調査したり、該当機器について詳しい担当者に電話で問い合わせたりする必要があった。
　上記のようなヒューマンエラーを低減する技術の一例として、例えば、特許文献１には、点検対象機器を画像認識し、タブレット端末上に該当機器に対応する点検手順を重畳表示する技術が開示されている。
特開２０１４－７８１２２号公報
　しかしながら、特許文献１のような従来技術では、点検用端末としてタッチパネル式の携帯情報端末を用いるため、点検作業時に両手がふさがった状態となり作業効率の低下や作業時の作業が不安定になるなどの懸念があるという課題があった。
　この発明は上記のような課題を解決するためになされたもので、音声認識およびジェスチャ認識によりデータ入力を容易にすることにより、作業者にとってより自然な形での操作を可能とし、これにより、作業負荷を軽減し、点検漏れや記録誤りなどの作業ミスを低減する作業支援装置を提供することを目的とする。
　この発明に係る作業支援装置は、センサからの位置情報と、作業者が身に付けた撮像装置から作業対象を撮像した映像データと、作業対象に関する情報が階層的に格納された作業手順階層木および作業対象に関する位置情報を有する作業支援データとから、作業場所における作業者の位置を推定する自己位置推定部と、作業者の音声による入力データまたは作業者のジェスチャによる入力データを受け付けるデータ入力部と、自己位置推定部が推定した作業者の位置に関する情報と作業支援データとから、データ入力部が受け付けた入力データを反映した作業対象に関する関連情報を生成する意図理解部とを備えたものである。
　この発明の作業支援装置によれば、作業負荷を軽減し、点検漏れや記録誤りなどの作業ミスを低減することができる。
この発明の実施の形態１に係る作業支援装置の構成図である。 この発明の実施の形態１における作業者の作業状態の一例を説明する図である。 この発明の実施の形態１の作業支援装置のハードウェア構成の一例を示す図である。 この発明の実施の形態１において、サーバで管理される作業支援データの一例を説明する図である。 この発明の実施の形態１において、サーバで管理される作業支援データが備える作業場所位置情報のデータ内容の一例を説明する図である。 この発明の実施の形態１において、サーバで管理される作業支援データが備える作業対象位置情報のデータ内容の一例を説明する図である。 この発明の実施の形態１において、サーバで管理される作業支援データが備える作業項目位置情報のデータ内容の一例を説明する図である。 この発明に実施の形態１において、サーバで管理される作業支援データが備える作業手順階層木のデータ内容の一例を説明する図である。 この発明の実施の形態１に係る作業支援装置の動作を説明するフローチャートである。 この発明の実施の形態１の意図理解部の詳細構成図である。 実施の形態１において、意図理解部による意図理解処理の動作を説明するフローチャートである。 作業手順管理データ記録部が記録する作業手順管理データの一例を示す図である。 関連情報生成部が生成する、作業対象に関する関連情報の概念図である。 関連情報表示部により各配電盤Ａ～Ｃの点検状況が重畳表示された一例を示す。 作業順序指定項目を有する作業手順階層木の一例を説明する図である。 この実施の形態１のデータ入力部の詳細構成図である。 この実施の形態１のデータ入力部によるステップＳＴ９０６の動作の詳細を説明するフローチャートである。 実施の形態１において、音声認識辞書の内容の一例を説明する図である。 実施の形態１において、関連情報表示部による作業項目重畳表示の一例を示す図である。 実施の形態１において、作業者による作業項目の点検結果入力後の重畳表示の一例を示す図である。 実施の形態１において、点検結果の値が、適正値から外れた異常値、すなわち、点検結果に不具合があった場合の重畳表示の一例を示す図である。 実施の形態１において、作業結果データの内容の一例を説明する図である。 この発明の実施の形態２に係る作業支援装置の構成図である。 この発明の実施の形態２に係る作業支援装置の動作を説明するフローチャートである。 この実施の形態２において、サーバが格納する補助情報ＩＤ付き作業支援データの内容の一例を説明する図である。 実施の形態２における補助情報ＩＤ付き作業手順階層木のデータ内容の一例を説明する図である。 実施の形態２において、補助情報出力部が、グラス型の端末の表示部に補助情報データを表示した一例を説明する図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る作業支援装置１の構成図である。
　なお、以下では、機械設備の点検作業時の作業支援装置を例として説明するが、本発明の作業支援装置が用いられるのは点検作業に限定されるものではなく、修理作業や設置工事など、一定の手順に従って行われる作業全般に適用し得るものである。
　また、この発明において、作業対象とは、配電盤等、作業者によって点検、修理、設置等が行われる作業の対象となる機器等のことをいい、対象項目とは、スイッチや電流計等、作業の対象となる機器において、作業者が実際に点検、修理、設置等を行う具体的な事項、部品等のことをいう。
　作業支援装置１は、ネットワークを介してサーバ２と接続され、図１に示すように、センサ情報取得部１０１と、映像入力部１０２と、自己位置推定部１０３と、通信部１０４と、意図理解部１０５と、データ入力部１０６と、関連情報表示部１０７と、音声出力部１０８とを備える。
　センサ情報取得部１０１は、ＧＰＳ（図示省略）により取得した位置情報や無線ＬＡＮ基地局ＩＤなどのセンサ情報を受け付け、作業者の概略位置情報を取得する。
　映像入力部１０２は、作業者が身に付けたカメラ等の撮像装置からの映像情報を受け付け、作業対象の画像データを取得する。
　自己位置推定部１０３は、通信部１０４を介して、サーバ２上にある作業支援データ２０１を参照し、映像入力部１０２が取得した画像データおよびセンサ情報取得部１０１が取得した作業者の概略位置情報をもとに作業者の正確な詳細位置情報として自己位置を推定し、自己位置推定結果を出力する。
　意図理解部１０５は、自己位置推定部１０３が出力した自己位置推定結果、データ入力部１０６からのデータ入力結果、および、サーバ２に格納された作業支援データ２０１をもとに、表示すべき関連情報および出力すべき音声情報を生成する。
　なお、関連情報とは、ここでは、点検作業における作業対象に関連する情報をいうが、これに限らず、修理作業における作業対象に関連する情報や設置工事における作業対象に関する情報など、作業支援装置１が用いられる作業における作業対象に関する情報である。
　また、意図理解部１０５は、通信部１０４を介してサーバ２上の作業結果データ２０２に点検結果データを記録する。
　データ入力部１０６は、作業者から、音声認識やジェスチャ認識により点検結果データの入力を受け付ける。
　関連情報表示部１０７は、意図理解部１０５の指示に基づき、作業支援装置１が用いられる作業における作業対象に関連する関連情報を表示する。
　音声出力部１０８は、意図理解部１０５の指示に基づき、データ入力部１０６からのデータ入力結果確認のための復唱や再入力を求める際のシステム音声の出力を行う。
　図２は、この発明の実施の形態１における作業者の作業状態の一例を説明する図である。
　作業者は、図２に示すように、グラス型の端末３０１を装着した状態で、例えば、点検対象である配電盤３０２の点検を行う。すなわち、図２において、配電盤３０２が作業対象である。なお、当該グラス型の端末３０１に、図１で説明した作業支援装置１が搭載される。
　グラス型の端末３０１は、関連情報を表示する表示部３０３と、作業者が向いている方向を撮影するように設けられ、作業対象を撮影するためのカメラ３０４と、各種通信を行う端末３０５と、音声入出力のためのヘッドセット３０６とを備える。なお、ヘッドセット３０６は、イヤホン、マイク等の音声入出力部を備える。
　表示部３０３は、関連情報表示部１０７を備える。また、カメラ３０４は、映像入力部１０２を備える。
　端末３０５は、サーバ２等外部機器との通信を行う通信部１０４と、ＧＰＳ情報や無線ＬＡＮ基地局ＩＤ情報を取得するためのセンサ情報取得部１０１と、自己位置推定部１０３と、意図理解部１０５とを備える。
　図３は、この発明の実施の形態１の作業支援装置１のハードウェア構成の一例を示す図である。
　この発明の実施の形態１において、自己位置推定部１０３と意図理解部１０５は、記憶装置３２、メモリ３３等に記憶されたプログラムを実行するＣＰＵ３１、システムＬＳＩ等の処理回路により実現される。
　また、複数の処理回路が連携して上記機能を実行してもよい。
　関連情報表示部１０７は、表示部３０３を使用する。なお、これは一例であって、関連情報表示部１０７は、その他のハードウェアで構成されるものであってもよい。
　通信部１０４と、センサ情報取得部１０１とは、サーバ２等外部機器との通信を行う通信Ｉ／Ｆ装置３４を構成する。
　映像入力部１０２は、カメラ３０４を使用する。なお、これは一例であって、映像入力部１０２は、その他のハードウェアで構成されるものであってもよい。
　データ入力部１０６と音声出力部１０８は、ヘッドセット３０６を使用する。なお、これは一例であって、データ入力部１０６と音声出力部１０８は、その他のハードウェアで構成されるものであってもよい。
　図４は、この発明の実施の形態１において、サーバ２で管理される作業支援データ２０１の一例を説明する図である。なお、作業支援データ２０１は、予め、作業管理者等によってサーバ２に登録されている。
　作業支援データ２０１は、作業場所の概略位置情報が登録された作業場所位置情報４０１と、作業対象の３次元位置情報が登録された作業対象位置情報４０２と、作業対象に対して各作業項目に対応する位置が登録された作業項目位置情報４０３と、作業手順に従って作業対象に関する情報が階層的に格納された作業手順階層木４０４とを備える。
　図５は、この発明の実施の形態１において、サーバ２で管理される作業支援データ２０１が備える作業場所位置情報４０１のデータ内容の一例を説明する図である。
　作業場所位置情報４０１は、図５に示すように、少なくとも作業場所ＩＤ５０１、作業場所名称５０２、作業場所位置５０３の組み合わせを記録したテーブルである。
　なお、ここでは説明を容易にするため、作業場所位置５０３には、「Ａ棟１Ｆ」のように作業場所の名称が記録されているものとしたが、実際には、ＧＰＳによる緯度経度の情報や、最寄りの無線ＬＡＮ基地局のＩＤなど、作業者が携行する作業支援装置１に搭載されているセンサ（図示省略）やＧＰＳなどから、センサ情報取得部１０１が取得可能な情報を事前に登録しておくこととする。
　図６は、この発明の実施の形態１において、サーバ２で管理される作業支援データ２０１が備える作業対象位置情報４０２のデータ内容の一例を説明する図である。
　図６（Ａ）に示した作業対象位置情報４０２は、少なくとも作業対象ＩＤ６０１、作業対象名称６０２、作業対象位置座標６０３の組み合わせを記録したテーブルデータである。
　作業対象位置座標６０３は、例えば電気室Ａといった作業場所における、配電盤Ａ，配電盤Ｂ，配電盤Ｃなどの作業対象の３次元位置情報を表わすものである。
　図６では、作業対象位置座標６０３は、各配電盤Ａ～Ｃを矩形の平面として簡略化し、４点の３次元座標で示している。図６（Ｂ）は、作業対象位置情報４０２に記録されている３次元情報を模式的に表わした概念図である。
　なお、作業対象位置座標６０３は、ここでは、図６のように、簡略化した矩形の平面としたが、これに限らず、複数の平面の組み合わせとすることもできる。簡略化した矩形の平面のかわりに複数の平面に組み合わせとすることで、後述する関連情報表示の際に、より自然な重畳表示を行うようにすることもできる。
　図７は、この発明の実施の形態１において、サーバ２で管理される作業支援データ２０１が備える作業項目位置情報４０３のデータ内容の一例を説明する図である。
　図７（Ａ）に示した作業項目位置情報４０３は、少なくとも作業項目ＩＤ７０１、作業項目名称７０２、作業項目座標７０３の組み合わせを記録したテーブルデータである。
　作業項目座標７０３は、例えば配電盤Ａといった作業対象におけるスイッチＸ，スイッチＹ，電流計Ｚなどの作業項目の２次元位置情報を表わすものである。図７（Ａ）では、各作業項目を矩形として簡略化し、４点の２次元座標で示している。図７（Ｂ）は、作業項目位置情報４０３に記録されている２次元位置情報を模式的に表わした概念図である。
　図８は、この発明に実施の形態１において、サーバ２で管理される作業支援データ２０１が備える作業手順階層木４０４のデータ内容の一例を説明する図である。
　図８（Ａ）に示した作業手順階層木４０４は、少なくとも手順ＩＤ８０１、作業場所８０２、作業対象８０３、作業項目８０４、正常値８０５、音声認識辞書ＩＤ８０６、ジェスチャ認識辞書ＩＤ８０７を記録したテーブルデータである。手順ＩＤ８０１は、作業順序に従って順番にそのＩＤがふられるものとする。従って、図８（Ａ）では、Ｐ１→Ｐ２・・・という順序で作業が行われるものとする。
　なお、図８においては、理解を容易にするため、作業場所８０２、作業対象８０３、作業項目８０４は、それぞれ、作業場所名称５０２、作業対象名称６０２、作業項目名称７０２で記録されているものとしているが、これに限らず、作業場所ＩＤ５０１、作業対象ＩＤ６０１、作業項目ＩＤ７０１で記録しておき、これらに関係する内容を関係情報として表示する際に随時他のテーブル、すなわち、作業場所位置情報４０１、作業対象位置情報４０２、作業項目位置情報４０３を参照して名称の特定をするようにしてもよい。
　図８（Ｂ）は、作業手順階層木４０４に記録されている階層関係を模式的に表わした概念図である。
　動作について説明する。
　図９は、この発明の実施の形態１に係る作業支援装置１の動作を説明するフローチャートである。
　なお、以下では、作業支援装置１は、上記の図４から図８に示した作業支援データ２０１を用い、作業者は、Ａ棟１Ｆにある電気室Ａを最初の点検場所として作業支援を行うものとして説明する。なお、Ａ棟１Ｆにある電気室Ａが最初の点検場所であることは予めわかっているものとする。
　作業者が最初の点検場所であるＡ棟１Ｆの電気室Ａに到着すると、センサ情報取得部１０１は、概略位置情報を取得し、自己位置推定部１０３に、取得した概略位置情報を通知する（ステップＳＴ９０１、センサ情報取得処理）。具体的には、センサ情報取得部１０１は、例えば、ＧＰＳにより取得した位置情報や無線ＬＡＮ基地局ＩＤなどのセンサ情報を取得し、当該取得したセンサ情報を作業者の概略位置情報として、自己位置推定部１０３に通知する。ここでは、センサ情報取得部１０１は、Ａ棟１Ｆという概略位置情報を取得する。
　より詳細に説明すると、この実施の形態１においては、屋外の場合はＧＰＳで得られる位置情報から、屋内の場合は無線ＬＡＮ基地局との関係による位置推定や、例えば既存の入退室管理システムとの連携等により、作業者がどの場所（建物、階、部屋の単位まで）にいるのかを、概略位置情報としてセンサ情報取得部１０１が常に自動で取得している。
　センサ情報取得部１０１は、当該常に自動で取得している概略位置情報と、作業場所位置情報４０１の作業場所位置５０３とのつき合わせを行い、一致した場合に、当該一致した場所に作業者が到着し作業開始したと判断する。なお、この概略位置情報と作業場所位置情報４０１とのつき合わせは、例えば、１秒毎など、定期的に行うものとする。
　また、同時に、映像入力部１０２は、作業者が身につけているカメラ３０４が撮像した映像情報から作業対象の映像データを取得し、自己位置推定部１０３に通知する（ステップＳＴ９０２、映像データ取得処理）。具体的には、例えば、この実施の形態１では、作業者が装置を装着して起動した後、カメラ３０４による動画の撮影が行える状態になっており、センサ情報取得部１０１が、取得した概略位置情報から、作業開始を判断すると、カメラ３０４に撮影開始の指示を出し、画像の画像認識を自動的に行わせるようにするものとする。
　なお、カメラ３０４の撮影停止については、センサ情報取得部１０１が取得した概略位置情報から、最初の点検場所の点検を終了し、次の場所に移動したと判断すると、該当場所の点検項目すべての点検結果入力を終えたとし、カメラ３０４に対して撮影停止の指示を出し、自動的に撮影停止させるようにするものとする。
　自己位置推定部１０３は、通信部１０４を介してサーバ２上にある作業支援データ２０１を参照し、ステップＳＴ９０２で取得した映像データおよびステップＳＴ９０１で取得した概略位置情報をもとに、作業者の正確な詳細位置を推定し、自己位置推定結果として詳細位置情報を出力する（ステップＳＴ９０３、自己位置推定処理）。
　具体的には、ここでは、自己位置推定部１０３は、Ａ棟１Ｆという概略位置情報をキーとして、図５の作業支援データ２０１の作業場所位置情報４０１を参照して作業場所ＩＤと作業場所名称を取得する。ここでは、作業場所ＩＤが１である電気室Ａが取得できる。続けて自己位置推定部１０３は、図８の作業手順階層木４０４を参照し、電気室Ａにある作業対象を取得する。ここでは、「配電盤Ａ」、「配電盤Ｂ」、「配電盤Ｃ」の作業対象が取得できる。さらに、自己位置推定部１０３は、作業対象位置情報４０２を参照し、各配電盤Ａ～Ｃの作業対象位置座標６０３を取得する。
　なお、ここでは、図８の作業手順階層木４０４では、作業場所の名称および作業対象の名称の情報が記録されることとしているため、作業場所の名称および作業対象の名称から作業対象位置情報４０２を参照し、各配電盤Ａ～Ｃの作業対象位置座標６０３を取得することとしたが、これに限らず、作業手順階層木４０４では、作業場所ＩＤおよび作業対象ＩＤの情報が記録されているようにした場合には、作業場所位置情報４０１を参照して取得した作業場所ＩＤから、作業場所の名称を取得し、取得した作業場所の名称から作業手順階層木４０４を参照して、作業手順階層木４０４で取得した作業対象ＩＤから作業対象位置座標６０３を特定して取得するようにしてもよい。
　そして、自己位置推定部１０３は、取得した作業対象位置座標６０３と、ステップＳＴ９０１で取得した概略位置情報と、ステップＳＴ９０２で取得した映像データとの突合せを行い、作業者が電気室Ａ内のどこに立っており、どちらの方向を向いているかを作業者の正確な詳細位置として推定する。なお、この作業者の正確な詳細位置の推定処理に関しては、既存の技術を用いればよい（例えば、特開２０１３－０５４６６１号公報「情報表示システム、情報表示方法、及び情報表示用プログラム」参照）。
　自己位置推定部１０３は、推定した作業者の正確な詳細位置情報を、自己位置推定結果として意図理解部１０５に出力する。すなわち、自己位置推定結果には、作業者の詳細位置および作業者がどちらを向いているかの方向に関する情報が含まれる。
　意図理解部１０５は、ステップＳＴ９０３における自己位置推定部１０３による自己位置推定結果およびサーバ２の作業支援データ２０１の情報をもとに、作業者に対して表示すべき関連情報および作業者に対して出力すべき音声情報を生成する。また、作業状況に応じてデータ入力用辞書の設定を行う（ステップＳＴ９０４、意図理解処理）。
　ここで、意図理解部１０５によるステップＳＴ９０４の意図理解処理の詳細な動作について、図１０，１１を用いて具体的に説明する。
　図１０は、この発明の実施の形態１の意図理解部１０５の詳細構成図である。
　図１０に示すように、意図理解部１０５は、作業手順管理部１００１と、作業手順管理データ記録部１００２と、作業対象距離計算部１００３と、関連情報生成部１００４と、データ入力制御部１００５とを備える。
　作業手順管理部１００１は、作業手順管理データ記録部１００２を参照して、現在の作業状況を取得する。また、作業者からのデータ入力が終了した作業項目について、作業手順管理データ記録部１００２で管理する作業手順管理データの作業状況の更新を行う。
　作業手順管理データ記録部１００２は、作業手順管理データを記録する。
　作業対象距離計算部１００３は、作業手順管理部１００１が取得した現在の作業状況から現在作業対象となっている機器を特定し、作業支援データ２０１を参照して、自己位置推定部１０３が推定した自己位置推定結果に基づき、現在作業対象となっている機器と作業者との距離を計算する。
　関連情報生成部１００４は、自己位置推定部１０３による自己位置推定結果と作業支援データ２０１とから、表示すべき関連情報を生成する。
　データ入力制御部１００５は、自己位置推定部１０３による自己位置推定結果と、作業対象距離計算部１００３が算出した、現在作業対象の機器と作業者との距離とに応じて、データ入力部１０６からデータ入力を受け付けるべき作業状態かどうかを判定する。また、データ入力制御部１００５は、作業支援データ２０１の作業手順階層木４０４をもとに、次に行うべき手順で必要とするデータ入力用辞書（ここでは図示省略。詳細については後述する）を設定する。
　なお、ここでは、作業手順管理データ記録部１００２は、意図理解部１０５が備えるものとしたが、これに限らず、作業手順管理データ記録部１００２は、意図理解部１０５の外部に備えるようにしてもよい。
　図１１は、実施の形態１において、意図理解部１０５による意図理解処理の動作を説明するフローチャートである。
　すなわち、図１１は、図９のステップＳＴ９０４の処理の詳細を説明するフローチャートである。
　作業手順管理部１００１は、作業手順管理データ記録部１００２に記録された作業手順管理データを参照し、現在の作業状況を取得する（ステップＳＴ１１０１、作業状況取得処理）。
　ここで、図１２は、作業手順管理データ記録部１００２が記録する作業手順管理データの一例を示す図である。
　図１２に示すように、作業手順管理データは、少なくとも図８に示した作業手順階層木４０４の手順ＩＤ８０１と同一の手順ＩＤ１２０１と、各手順の作業状況を記録する作業状況１２０２を含む。なお、図１２では、手順ＩＤがＰ１～Ｐ６の作業手順が未処理であり、手順ＩＤがＰ７以降の作業手順が作業済であることを示している。
　作業対象距離計算部１００３は、図９のステップＳＴ９０３において自己位置推定部１０３が出力した自己位置推定結果に基づき、サーバ２の作業支援データ２０１を参照して、現在作業対象となっている機器と作業者との距離を計算する（ステップＳＴ１１０２、作業対象距離計算処理）。
　具体的には、作業対象距離計算部１００３は、まず、ステップＳＴ１１０１において作業手順管理部１００１が取得した現在の作業状況を取得し、作業支援データ２０１の作業手順階層木４０４を参照して、現在作業対象となっているのは、作業手順が未処理である、手順ＩＤがＰ１～Ｐ３に対応する配電盤Ａおよび手順ＩＤがＰ４～Ｐ６に対応する配電盤Ｂであると特定する。そして、作業対象距離計算部９０３は、現在作業対象であると特定した機器、すなわち、配電盤Ａおよび配電盤Ｂと作業者との距離を、自己位置推定結果をもとに、対応する３Ｄモデル上での計算により算出する。なお、配電盤Ａ，配電盤Ｂの位置は、作業対象位置情報４０２の作業対象位置座標６０３を参照して取得すればよい。
　データ入力制御部１００５は、図９のステップＳＴ９０３において自己位置推定部１０３が出力した自己位置推定結果と、ステップＳＴ１１０２で作業対象距離計算部９０３が算出した、現在作業対象の機器と作業者との距離とに応じて、データ入力部１０６からデータ入力を受け付けるべき作業状態かどうかを判定する（ステップＳＴ１１０３、入力判定処理）。
　具体的には、データ入力制御部１００５は、ステップＳＴ１１０２において作業対象距離計算部１００３が算出した、現在作業対象の機器と作業者との距離が、事前に定義した所定値よりも大きければ、データ入力部１０６からのデータ入力不可と判定し（ステップＳＴ１１０３の“ＮＯ”）、ステップＳＴ１１０４に進む。一方、作業対象距離計算部１００３が算出した、現在作業対象の機器と作業者との距離が、事前に定義した所定値よりも小さければ、データ入力部１０６からのデータ入力可と判定し（ステップＳＴ１１０３の“ＹＥＳ”）、ステップＳＴ１１０５に進む。すなわち、作業対象、ここでは、配電盤Ａと作業者との距離、または、配電盤Ｂと作業者との距離が、事前に定義した所定値より小さければ、所定値より小さい距離となった作業対象に対して、作業者が作業を行おうとしているものとして、作業結果に関する作業者からのデータ入力可と判定し、作業対象と作業者との距離が、事前に定義した所定値より大きければ、作業者は作業対象に対して作業を行おうとしているのではないとして、作業結果に関する作業者からのデータ入力は不可と判定する。なお、ここで判定に用いる所定値は、作業管理者等が事前に、点検作業が可能な距離を適宜設定しておくようにする。
　ステップＳＴ１１０３において、ここでは、作業対象距離計算部９０３が算出した、現在作業対象の機器と作業者との距離が、所定値よりも大きく、データ入力不可と判断したものとする。すなわち、作業者は、配電盤Ａおよび配電盤Ｂに近づいているのではないと判断し、ステップＳＴ１１０４に進むものとする。なお、ステップＳＴ１１０５以降の処理、すなわち、作業者が作業対象に近づいて、当該近づいた作業対象の点検作業を行おうとしている場合の処理については後述する。
　ステップＳＴ１１０３において、現在作業対象の機器と作業者との距離が所定値よりも大きくデータ入力不可と判断した場合（ステップＳＴ１１０３の“ＮＯ”の場合）、関連情報生成部１００４は、図９のステップＳＴ９０３において自己位置推定部１０３が出力した自己位置推定結果と作業支援データ２０１とに基づき、作業対象に関する関連情報を生成する（ステップＳＴ１１０４、作業対象関連情報生成処理）。
　具体的には、まず、関連情報生成部１００４は、ステップＳＴ１１０１において作業手順管理部１００１が取得した現在の作業状況をもとに、作業支援データ２０１の作業手順階層木４０４および作業手順管理データ記録部１００２を参照し、現在の作業場所にある作業対象およびその作業状況を取得する。ここでは、関連情報生成部９０４は、電気室Ａの未処理の作業対象として「配電盤Ａ」、「配電盤Ｂ」を、作業済みの作業対象として「配電盤Ｃ」を取得する。そして、関連情報生成部１００４は、取得した各作業対象について、作業対象位置情報４０２を参照し、作業場所における作業対象位置座標６０３を取得する。一方、自己位置推定部１０３による自己位置推定結果には、作業者の位置およびカメラ３０４が向いている方向、すなわち、作業者が向いている方向が含まれているので、関連情報生成部１００４は、作業者の位置において作業者が向いている方向に直行する平面を仮定し、この平面に各作業対象の３次元座標を投影することにより、重畳表示する際の各作業対象の座標情報を計算により求めることができる。そこで、関連情報生成部１００４は、当該重畳表示する際の各作業対象の座標情報を算出し、算出した座標情報と、作業対象名称とを、作業対象に関する関連情報として生成する。そして、当該生成した作業対象に関する関連情報を、関連情報表示部１０７に通知する。ここでは、未処理の作業対象「配電盤Ａ」、「配電盤Ｂ」と、作業済みの作業対象「配電盤Ｃ」と、重畳表示する際の各作業対象の座標情報を作業対象に関する関連情報として関連情報表示部１０７に通知する。
　図１３は、関連情報生成部１００４が生成する、作業対象に関する関連情報の概念図である。
　図１３において、Ｖで示す方向１４０１は、自己位置推定部１０３による自己位置推定の結果得られるカメラ３０４の方向ベクトルＶであり、作業者が見ている方向を表わす。
　Ｄで示す平面１４０２は、方向ベクトルＶに直行する仮想平面であり、表示する作業対象を投影する面である。
　３次元モデル１４０３は、作業対象位置情報４０２の作業対象位置座標６０３をもとに構築される３次元モデルである。
　以上で、意図理解部１０５による意図理解処理の詳細についての説明を終わり、図９のフローチャートに戻る。
　データ入力部１０６は、ステップＳＴ９０４において、意図理解部１０５のデータ入力制御部１００５が、データ入力用辞書を設定したかどうかを判定する（ステップＳＴ９０５、入力判定処理）。具体的には、データ入力部１０６は、データ入力制御部１００５が、図１１を用いて説明したステップＳＴ１１０６において、データ入力用辞書を設定したかどうかを判定する。
　ステップＳＴ９０５において、データ入力制御部１００５は、データ入力用辞書を設定したと判断した場合（ステップＳＴ９０５の“ＹＥＳ”の場合）、ステップＳＴ９０６に進む。
　ステップＳＴ９０５において、データ入力制御部９０５は、データ入力用辞書を設定していないと判断した場合（ステップＳＴ９０５の“ＮＯ”の場合）、ステップＳＴ９０６～ステップＳＴ９０９の処理をスキップし、ステップＳＴ９１０に進む。
　ここでは、図１１において、データ入力制御部１００５は、データ入力部１０６からのデータ入力不可とし、ステップＳＴ１１０６の処理は行わないものとしていたので、ステップＳＴ９１０に進む。なお、ステップＳＴ９０６～ステップＳＴ９０９の処理については後述する。
　ステップＳＴ９１０において、関連情報表示部１０７は、ステップＳＴ９０４において意図理解部１０５が作成した作業対象に関する関連情報を表示する（ステップＳＴ９１０、関連情報表示処理）。すなわち、関連情報表示部１０７は、図１１のステップＳＴ１１０４において意図理解部１０５の関連情報生成部１００４が生成した作業対象に関する関連情報を表示する。
　具体的には、関連情報表示部１０７は、図２を用いて説明したグラス型の端末３０１の表示部３０３に、各配電盤Ａ～Ｃの点検状況を重畳表示する。
　ここで、図１４に、関連情報表示部１０７により各配電盤Ａ～Ｃの点検状況が重畳表示された一例を示す。
　図１４に示すように、関連情報表示部１０７によって、配電盤Ａが第一の点検対象（点検対象１）であり、配電盤Ｂが第二の点検対象（点検対象２）であり、配電盤Ｃが点検済みであることが表示される。なお、関連情報生成部１００４が生成する作業対象に関する関連情報には、手順ＩＤ８０１の情報が含まれるものとし、関連情報生成部１００４は、関連情報表示部１０７に対し、当該手順ＩＤ８０１の情報に従って、作業順序がわかるように関連情報を表示させる。図１４においては、点検対象１から点検対象２の順で点検作業が行われるよう作業順序を示している。なお、点検対象１、点検対象２・・・の順番は、手順ＩＤ８０１のＩＤについて、若い、すなわち、早い作業順序が設定されている手順ＩＤ８０１を含む作業対象から順番に点検対象の順番を付番するようにする。
　従来から、複数の点検対象がある場合には、作業者がどのような順序で点検すべきかなどの総合的な情報を得ることが課題とされているが、これにより、作業者は、どのような順序で点検すべきかという情報も含む、総合的な情報を得ることができ、作業ミスを低減することができる。
　なお、作業対象ごとの作業順序には、決められた順序で実行しなくてはならない「固定順」と、事前に決められた単位の複数項目を任意の順序で実行してもかまわない「任意順」とを設定するようにしてもよい。例えば、図１４で一番右の配電盤（配電盤Ｃを想定）を「点検済」としているのは、作業対象である配電盤Ａ～Ｃの作業順が任意であるという想定である。
　例えば、作業手順階層木４０４を、図１５のように拡張することで、上記の「任意順」の作業対象を扱うことができる。図１５では、電気室Ａ以下、すなわち、配電盤Ａ～配電盤Ｃの点検順序が任意であることを示している。
　また、図１５において、各配電盤の作業項目は固定順であることを示している。このように、作業項目についても、「固定順」の項目と、「任意順」の項目とを設定するようにすることができる。作業項目の作業順序の表示については後述する。
　意図理解部１０５は、残作業があるかどうかを判定する（ステップＳＴ９１１。残作業判定処理）。
　ステップＳＴ９１１において、残作業があると判断された場合（ステップＳＴ９１１の“ＹＥＳ”の場合）、ステップＳＴ９０１に戻り、ステップＳＴ９０１からステップＳＴ９１０までの処理を繰り返すことにより、作業者が見る方向を変えると、装着したカメラ３０４の向きもこれに合わせて変わり、その後の自己位置推定結果に応じて作業対象関連情報の表示位置が追従して移動する。このように、作業者の視界上に作業対象に関連する情報を重畳表示することにより、形状が似ている配電盤Ａと配電盤Ｂの作業順序の取り違えや記録ミスを防止できる。
　なお、ここでは、まだ作業者は点検作業を行っていないので、ステップＳＴ９０１に戻るものとする。
　次に、作業者が実際に点検作業を行い、点検結果を入力する場合の動作について説明する。具体的には、作業者が、最初の点検対象である配電盤Ａに近づき、配電盤Ａの点検作業を行うものとして以下説明する。
　作業者が、最初の作業対象、すなわち、最初の点検対象である配電盤Ａに近づくと、上述した図９のステップＳＴ９０２，ステップＳＴ９０３と同様の手順を経て、自己位置推定部１０３による自己位置推定結果が得られる。
　続けて、ステップＳＴ９０４において、意図理解部１０５により、図１１のステップＳＴ１１０１～ステップＳＴ１１０６の処理を実行する。
　ステップＳＴ１１０１では、上述したのと同様、作業手順管理部１００１が作業手順管理データ記録部１００２を参照し、現在の作業状況を取得する。ここでは、上述したのと同様、手順ＩＤがＰ１～Ｐ６の作業手順が未処理であり、手順ＩＤがＰ７以降の作業手順が作業済みであるという作業状況が得られる。
　ステップＳＴ１１０２では、上述したのと同様、作業対象距離計算部１００３が、ステップＳＴ９０３において自己位置推定部１０３が出力した自己位置推定結果に基づき、作業支援データ２０１を参照して、現在作業対象となっている機器と作業者との距離を計算する。
　ステップＳＴ１１０３では、上述したのと同様、データ入力制御部１００５が、ステップＳＴ９０３において自己位置推定部１０３が出力した自己位置推定結果と、ステップＳＴ１１０２で作業対象距離計算部１００３が算出した、現在作業対象の機器と作業者との距離とに応じて、データ入力部１０６からデータ入力を受け付けるべき作業状態かどうかを判定する。
　ここでは、作業者が点検対象である配電盤Ａに近づき、作業者と配電盤Ａとの距離が所定値よりも小さい状態となったとすると、データ入力制御部１００５は、データ入力部１０６からデータ入力を受け付けるべきと判断し（ステップＳＴ１１０３の“ＹＥＳ”）、ステップＳＴ１１０５へ進む。
　ステップＳＴ１１０５では、関連情報生成部１００４が、ステップＳＴ９０３において自己位置推定部１０３が出力した自己位置推定結果から、作業支援データ２０１を参照し、作業者が近づいたと判断した作業対象の作業項目に関する関連情報を生成する（作業項目関連情報生成処理）。
　具体的には、関連情報生成部１００４は、まず、ステップＳＴ１１０１で作業手順管理部１００１が取得した現在の作業状況の情報をもとに、作業支援データ２０１の作業手順階層木４０４を参照し、「未処理」である手順ＩＤに対応する作業項目名称を取得する。ここでは、作業手順管理部１００１によって、図１２に示すような作業手順管理データから、手順ＩＤがＰ１～Ｐ６の作業手順が「未処理」であるという作業状況の情報が取得されるので、関連情報生成部１００４は、作業手順階層木４０４を参照して、手順ＩＤがＰ１～Ｐ６のうち、配電盤Ａの作業項目である手順Ｐ１～Ｐ３に対応する「スイッチＸ（正常値オフ）」、「スイッチＹ（正常値オフ）」、「電流計Ｚ（正常値５５０～６００Ａ）」を、作業項目名称として取得する。
　次に、関連情報生成部１００４は、各作業項目について、作業項目位置情報４０３の作業項目座標７０３を参照し、作業対象内での各作業項目の位置情報を取得する。
　さらに、関連情報生成部１００４は、上述したステップＳＴ１１０４の処理と同様にして、作業者の位置において作業者が向いている方向に直交する平面を仮定し、この平面に各作業対象の３次元座標を投影する。さらに、関連情報生成部１００４は、作業項目位置情報４０３の作業項目座標７０３から取得した各作業項目の位置情報をもとに、重畳表示する際の各作業項目の座標情報を計算により求める。関連情報生成部１００４は、当該重畳表示する際の各作業項目の座標情報と、作業項目名称とを、作業項目に関する関連情報として生成する。そして、当該生成した作業項目に関する関連情報を、関連情報表示部１０７に通知する。ここでは、関連情報生成部１００４は、未処理の作業対象「配電盤Ａ」の作業項目「スイッチＸ」、「スイッチＹ」、「電流計Ｚ」と、重畳表示する際の各作業項目の座標情報を作業項目に関する関連情報として関連情報表示部１０７に通知する。
　ステップＳＴ１１０６では、データ入力制御部１００５が、ステップＳＴ１１０１で作業手順管理部１００１が取得した現在の作業状況の情報をもとに、作業支援データ２０１の作業手順階層木４０４を参照して、次に処理すべき未処理の作業項目に対応する音声認識辞書ＩＤ８０６およびジェスチャ認識辞書ＩＤ８０７（音声認識辞書ＩＤ８０６およびジェスチャ認識辞書ＩＤ８０７をデータ入力用辞書ＩＤとする）を設定する（データ入力用辞書ＩＤ選択処理）。なお、当該音声認識辞書ＩＤ８０６およびジェスチャ認識辞書ＩＤ８０７から音声認識辞書およびジェスチャ認識辞書の具体的な設定方法、および、音声認識辞書およびジェスチャ認識辞書を使った作業者によるデータ入力処理の詳細については後述する。
　以上で、作業者が実際に点検作業を行い、点検結果を入力する場合の意図理解処理の詳細についての説明を終わり、続けて、図９に沿って当該動作について説明する。
　図１１で説明したような処理を行い、意図理解部１０５の関連情報生成部１００４が、作業項目に関する関連情報を関連情報表示部１０７に通知すると、データ入力部１０６は、データ入力用辞書ＩＤが設定されているか否かを判定する（ステップＳＴ９０５、データ入力判定処理）。具体的には、図１１のステップＳＴ１１０６において、データ入力制御部１００５が、音声認識辞書ＩＤおよびジェスチャ認識辞書ＩＤを設定したかどうかを判定する。なお、音声認識辞書ＩＤおよびジェスチャ認識辞書ＩＤを設定したかどうかは、例えば、意図理解部１０５からデータ入力部１０６に対して、設定した音声認識辞書ＩＤまたはジェスチャ認識辞書ＩＤの情報を送信するようにし、データ入力部１０６は、音声認識辞書ＩＤまたはジェスチャ認識辞書ＩＤを受信したかどうかによって判断するようにすればよい。
　ここでは、上述のとおり、音声認識辞書ＩＤおよびジェスチャ認識辞書ＩＤをデータ入力用辞書ＩＤとして設定したものとしているので、ステップＳＴ９０６に進む。
　データ入力部１０６は、ステップＳＴ１１０６で設定された音声認識辞書ＩＤ８０６およびジェスチャ認識辞書ＩＤ８０７に対応する音声認識辞書およびジェスチャ認識辞書をデータ入力用の辞書とし、当該データ入力用の辞書を参照しながら、作業者によるデータ入力を受け付ける（ステップＳＴ９０６、データ入力処理）。
　なお、作業者によるデータ入力は、例えば、ヘッドセット３０６に備えられたマイクからの音声入力、または、ジェスチャによって行われる。作業者が行うジェスチャ動作とは、例えば、手でＯＫマークを作る等である。当該ＯＫマーク等をカメラ３０４に撮像させることで、作業者はデータ入力を行う。データ入力部１０６は、映像入力部１０２を介して当該画像を受け付けることで、作業者によるデータ入力の情報を得る。
　ステップＳＴ９０６の動作について、図１６，１７を参照しながら詳細に説明する。
　図１６は、この実施の形態１のデータ入力部１０６の詳細構成図である。
　データ入力部１０６は、図１６に示すように、音声認識部１５０１と、音声認識辞書１５０２と、ジェスチャ認識部１５０３と、ジェスチャ認識辞書１５０４とを備える。
　音声認識部１５０１は、音声認識辞書１５０２を参照して、作業者が発する音声を認識して認識結果を得る。
　音声認識辞書１５０２は、作業項目に対応する音声認識辞書を記憶する。なお、音声認識辞書１５０２は、予め設定されているものとする。
　ジェスチャ認識部１５０３は、ジェスチャ認識辞書１５０４を参照して、作業者が行うジェスチャ動作を認識して認識結果を得る。
　ジェスチャ認識辞書１５０４は、ジェスチャ動作と動作内容を対応づけて記憶する。なお、ジェスチャ認識辞書１５０４は、予め設定されているものとする。
　なお、ここでは、音声認識辞書１５０２とジェスチャ認識辞書１５０４は、データ入力部１０６が備えるものとしたが、これに限らず、音声認識辞書１５０２とジェスチャ認識辞書１５０４は、データ入力部１０６の外部に備えるようにしてもよい。
　図１７は、この実施の形態１のデータ入力部１０６によるステップＳＴ９０６の動作の詳細を説明するフローチャートである。
　作業者によるデータ入力を受け付け、データ入力処理が開始されると、データ入力部１０６の音声認識部１５０１は、音声認識辞書１５０２を参照して、作業者が発する音声を認識して認識結果を得る（ステップＳＴ１６０１）。
　このステップＳＴ１６０１における、音声認識部１５０１による音声認識処理は、既存の技術を用いて行えばよい（例えば、特開２０００－１１２４９４号公報「音声認識点検システム」参照）。
　なお、音声認識辞書１５０２については、作業項目ごとに事前に準備されているものとし、音声認識部１５０１は、図１１のステップＳＴ１１０６において意図理解部１０５のデータ入力制御部１００５によって設定された、現在処理中の作業項目に対応する音声認識辞書ＩＤ８０６に対応する音声認識辞書１５０２を用いることとする。
　ここで、図１８は、実施の形態１において、音声認識辞書１５０２の内容の一例を説明する図である。
　音声認識辞書１５０２には、図８に示した作業手順階層木４０４における作業対象、例えば、「配電盤Ａ」の各作業項目に対応する語彙が事前に登録されている。
　図１８では、一度の発声で複数の作業項目に対する作業結果を入力可能とするため、表中の４行目に示す「オフオフ＜Ｎ＞アンペア」のような語彙も登録している。「＜Ｎ＞」とは、電流計の数値等を認識するための特殊記号である。
　データ入力部１０６のジェスチャ認識部１５０３は、ジェスチャ認識辞書１５０４を参照して、作業者が行うジェスチャ動作を認識して認識結果を得る（ステップＳＴ１６０２）。
　このステップＳＴ１６０２における、ジェスチャ認識部１５０３によるジェスチャ認識処理は、既存の技術を用いて行えばよい（例えば、特開２０１１－７６２５５号公報「ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム」、特開２０１０－２３７７６６「情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラム」、特開２００７－０３４５２５「情報処理装置、および情報処理方法、並びにコンピュータ・プログラム」参照）。
　なお、ジェスチャ認識辞書１５０４については、音声認識辞書１５０２同様、作業項目ごとに事前に準備されているものとし、図１１のステップＳＴ１１０６において意図理解部１０５のデータ入力制御部１００５によって設定された、現在処理中の作業項目に対応するジェスチャ認識辞書ＩＤ８０７に対応するジェスチャ認識辞書１５０４を用いることとする。
　以上でデータ入力部１０６によるステップＳＴ９０６の動作の詳細についての説明を終わり、図９のフローチャートに戻る。
　意図理解部１０５のデータ入力制御部１００５は、データ入力結果の有無を判定する（ステップＳＴ９０７、入力結果判定処理）。
　ステップＳＴ９０７において、データ入力結果があると判断した場合（ステップＳＴ９０７の“ＹＥＳ”の場合）、意図理解部１０５のデータ入力制御部１００５は、音声出力部１０８に対して、ステップＳＴ９０６で認識した作業者からの入力結果を復唱するとともに、関連情報表示部１０７に対して、入力結果を表示させる（ステップＳＴ９０８）。
　意図理解部１０５の作業手順管理部１００１は、作業手順管理データ記録部１００２を更新する（ステップＳＴ９０９、作業手順管理データ更新処理）。具体的には、ステップＳＴ９０６で入力を受け付けて作業者からのデータ入力が終了した作業項目について、図１２に示した作業手順管理データの作業状況１１０２を、「未処理」から「作業済」に更新する。すなわち、ここでは、例えば、作業者が配電盤ＡのスイッチＸがオフであることを点検したとすると、図１２に示した作業手順管理データの手順Ｐ１を「作業済」に更新する。配電盤ＡのスイッチＸという作業項目の手順ＩＤがＰ１であることは、作業手順階層木４０４から特定できる。
　一方、ステップＳＴ９０７において、データ入力結果がないと判断した場合（ステップＳＴ９０７の“ＮＯ”の場合）、ステップＳＴ９１０へ進む。
　ステップＳＴ９１０では、関連情報表示部１０７が、意図理解部１０５の関連情報生成部１００４から通知された関連情報を表示部３０３に表示する。
　具体的には、関連情報表示部１０７は、図２に示したグラス型の端末３０１の表示部３０３に、配電盤Ａの点検項目を重畳表示する。
　図１９は、実施の形態１において、関連情報表示部１０７による作業項目重畳表示の一例を示す図である。
　図１９では、スイッチＸがオフであること、スイッチＹがオフであること、電流計の表示が正常値範囲（５５０Ａ～６００Ａ）内にあることを確認するよう促している。
　すなわち、上述したステップＳＴ９１０において、作業者からのデータ入力を受け付ける際に、意図理解部１０５の関連情報生成部１００４は、生成した作業項目に関する関連情報について、関連情報表示部１０７に対し、図１９に示すように作業項目の重畳表示をさせる。すなわち、関連情報表示部１０７は、意図理解部１０５からの指示に従い、グラス型の端末３０１の表示部３０３に図１９に示すような表示を行う。
　そして、作業者は、当該表示を確認して、点検作業を行い、点検結果のデータ入力を行う。
　また、図１９に示すように、上述した、図１１のステップＳＴ１１０５で関連情報生成部１００４によって得られた作業対象内での各作業項目の位置情報をもとに、各作業項目の表示から、その作業対象機器に対する引き出し線を重畳表示している。
　また、関連情報生成部１００４が生成する作業対象に関する関連情報には、手順ＩＤ８０１の情報が含まれるものとし、関連情報生成部１００４は、関連情報表示部１０７に対し、当該手順ＩＤ８０１の情報に従って、作業順序がわかるように関連情報を表示させる。図１９では、例えば、手順ＩＤ８０１に従って、点検対象１～点検対象３の順で作業を行うように促す表示を行うようにしている。
　これにより、作業者は、どのような順序で点検すべきかという情報を含む、総合的な情報を得ることができ、作業ミスを低減することができる。
　このように、ステップＳＴ９０１からステップＳＴ９１０までの処理を繰り返すことにより、作業者がみる方向を変えると、装着したカメラ３０４の向きもこれに合わせて変わり、その後の自己位置推定処理結果に応じて、上記引き出し線の表示位置が追従して移動する。このように、作業者の視界上に作業項目に関連する情報を重畳表示することにより、形状が似ている機器に関する作業順序の取り違えや記録ミスを防止できる。
　また、作業対象距離計算部１００３が計算した、現在作業対象の機器と作業者との距離が所定値よりも大きいとき、すなわち、作業者が作業対象の機器を点検するのに十分近づいていないときには、データ入力不可とし、図１４に示すように、これから点検対象となる複数の作業対象に関連する関連情報の表示を行い、作業対象距離計算部１００３が計算した、現在作業対象の機器と作業者との距離が所定値よりも小さくなったとき、すなわち、作業者が作業対象の機器を点検するのに十分近づいたときに、図１９に示すように、作業者が点検しようとしている作業対象の作業項目に関連する関連情報の表示を行うようにしたので、作業者の状況に応じて、作業者にとって必要な情報をより適切に提供することができる。
　図２０は、実施の形態１において、作業者による作業項目の点検結果入力後の重畳表示の一例を示す図である。
　図１９で示したような表示を行い、作業者の点検作業を促し、ステップＳＴ９０７で作業者から点検結果のデータ入力結果があると判断した場合、意図理解部１０５からの指示に従い、関連情報表示部１０７が、そのデータ入力結果に応じて、図２０のように表示を行う。
　図２０では、関連情報表示部１０７が、グラス型の端末３０１の表示部３０３に、各点検項目の後ろに○印を表示することで、点検結果に問題がなかったことを示している。また、これらの表示を行うとともに、意図理解部１０５からの指示に従い、音声出力部１０８が、ヘッドセット３０６に備えられたスピーカ等から、作業者が確認しやすくための点検結果の復唱を行う（ステップＳＴ９０８参照）。さらに、意図理解部１０５からの指示に従い、関連情報表示部１０７は、表示部３０３に、作業者が入力した電流値もあわせて表示する。
　具体的には、例えば、作業者が、「スイッチＸオフ」と発声して点検結果を入力すると、データ入力部１０６は当該発声内容の音声認識を行い、認識結果を意図理解部１０５に出力し、意図理解部１０５において、作業手順階層木４０４を参照し、認識された点検結果は正常値であるかどうかを判断する。そして、正常値であると判断した場合、意図理解部１０５は、関連情報表示部１０７に対して、該当の作業項目、ここではスイッチＸの後ろに○印を表示させる。
　図２１は、実施の形態１において、点検結果の値が、適正値から外れた異常値、すなわち、点検結果に不具合があった場合の重畳表示の一例を示す図である。
　点検結果に誤入力があった場合は、図２１に示すように、関連情報表示部１０７は、意図理解部１０５からの指示に従い、グラス型の端末３０１の表示部３０３に、作業項目１３０１の後ろに×印を表示させる。これにより、点検結果に問題があることを示している。
　具体的には、例えば、作業者が発声して点検結果を入力すると、データ入力部１０６は当該発声内容の音声認識を行い、認識結果を意図理解部１０５に出力し、意図理解部１０５において、作業手順階層木４０４を参照し、認識された点検結果は正常値であるかどうかを判断する。そして、正常値ではないと判断した場合、意図理解部１０５は、関連情報表示部１０７に対して、該当の作業項目の後ろに×印を表示させる。またこのとき、意図理解部１０５は、音声出力部１０８に対して、作業者に対して、点検作業結果のデータの再入力を求めるシステム音声を出力させるようにしてもよい。
　以上の手順を繰り返し、すべての作業項目を入力し終えたら（ステップＳＴ９１１の“ＮＯ”の場合）、意図理解部１０５が通信部１０４を介してサーバ２条の作業結果データ２０２にすべての作業項目のデータ入力結果を記録させる（ステップＳＴ９１２）。
　ここで、作業結果データ２０２の内容を図２２に示す。
　意図理解部１０５が残作業の有無を判定し、残作業ありと判断した場合（ステップＳＴ９１１の“ＹＥＳ”の場合）は、ステップＳＴ９０１からステップＳＴ９１０までの処理を繰り返す。
　なお、この実施の形態１においては、図１に示したように、作業支援装置１とサーバ２とを分割した構成としたが、これに限らず、作業支援装置１が十分な計算能力と記憶容量を有している場合には、サーバ２の機能を作業支援装置１が内蔵する構成としてもよい。
　また、この実施の形態１において、次の場所に移動したと判断した場合に、例えば、ＧＰＳや無線ＬＡＮ基地局情報などを利用することで、次の点検場所への道案内を表示する機能を備えるようにしてもよい。
　以上のように、実施の形態１によれば、作業対象の位置情報と作業対象の映像をもとに、作業者の位置情報を推定する自己位置推定部１０３と、自己位置推定結果、データ入力結果、および、作業手順に従って作業対象に関する情報が階層的に格納された作業手順階層木４０４および作業対象に関する位置情報を有する作業支援データ２０１とをもとに、表示すべき関連情報および出力すべき音声情報を生成する意図理解部１０５とを備えることにより、作業者がどのような順序で点検すべきかの情報を提供することを可能とする。また、作業者にとってより自然な形での操作が可能となる。
　これにより、作業負荷を軽減し、点検漏れや記録誤りなどの作業ミスを低減できる。また、入力に音声認識を用いることで、作業者は点検中に筆記用具や携帯端末を手に持つ必要がなく、より効率的に作業結果の入力をすることができる。また、作業手順ごとに最適な音声認識辞書およびジェスチャ認識を用いることができるので、誤認識の少ない効率的な入力が可能となる。
実施の形態２．
　この実施の形態２では、作業者に対して、作業対象の作業項目に関する補助情報をあわせて表示する実施の形態について説明する。
　なお、この実施の形態２において、補助情報とは、例えば、作業者が点検作業を行う際の電流値異常時のチェック手順など、作業者が作業をする際の手助けとなる情報のことをいうものとする。
　図２３は、この発明の実施の形態２に係る作業支援装置１の構成図である。
　図２３に示す作業支援装置１は、実施の形態１において図１を用いて説明した作業支援装置１と比べ、補助情報呼び出し指示部１０９と、補助情報選択部１１０と、補助情報出力部１１１とをさらに備える点が異なるのみであり、その他の構成については図１の作業支援装置１と同様であるため、同様の構成には同じ符号を付して重複した説明を省略する。
　補助情報呼び出し指示部１０９は、作業者の補助情報呼び出しの指示を受け付け、意図理解部１０５に通知する。
　補助情報選択部１１０は、意図理解部１０５を介してサーバ２に格納されている補助情報ＩＤ付き作業支援データ２０３と補助情報データ２０４を参照し、作業手順に応じて表示すべき補助情報を、補助情報データ２０４から選択して、意図理解部１０５に出力する。なお、サーバ２に格納されている補助情報データ２０４には、補助情報ＩＤ付き作業支援データ２０３の補助情報ＩＤと補助情報とが紐付けられて格納されており、補助情報は、作業項目に関連する文書データまたは動画データなどからなる。
　補助情報ＩＤ付き作業支援データ２０３は、実施の形態１で説明した作業支援データ２０１に、当該補助情報データ２０４を特定するための補助情報ＩＤが付加されたものである。
　補助情報出力部１１１は、補助情報選択部１１０により選択された補助情報データを出力する。
　なお、この実施の形態２の作業支援装置１のハードウェア構成は、実施の形態１において図３を用いて説明したものと同様の構成である。
　補助情報選択部１１０は、ＣＰＵ３１を使用する。
　補助情報呼び出し指示部１０９は、ヘッドセット３０６を使用する。また、補助情報出力部１１１は、表示部３０３またはヘッドセット３０６を使用する。なお、これは一例であって、補助情報呼び出し指示部１０９と補助情報出力部１１１は、その他のハードウェアで構成されるものであってもよい。
　図２４は、この発明の実施の形態２に係る作業支援装置１の動作を説明するフローチャートである。
　図２４に示すこの発明の実施の形態２の作業支援装置１の動作は、実施の形態１において図９を用いて説明した動作に、ステップＳＴ２３０１～ステップＳＴ２３０３が追加された点のみ異なる。その他の、ステップＳＴ９０１～ステップＳＴ９１２の動作については、図９で説明したものと同様の動作であるので、同じステップ番号を付して重複した説明を省略し、ここでは実施の形態１とは異なる動作についてのみ説明する。
　ステップＳＴ９０４において、意図理解部１０５は、ステップＳＴ９０３における自己位置推定部１０３による自己位置推定結果およびサーバ２の補助情報ＩＤ付き作業支援データ２０３をもとに、表示すべき関連情報および出力すべき音声情報を生成するとともに、作業状況に応じてデータ入力用辞書ＩＤの設定を行う意図理解処理を行うと、補助情報呼び出し指示部１０９が作業者からの補助情報呼び出し指示を受け付けたかどうかを判定する（ステップＳＴ２３０１、補助情報呼び出し判定処理）。
　具体的には、補助情報呼び出し指示部１０９は、例えば、作業者が「ヘルプ呼び出し」などの特殊なキーワードを発声したときの音声認識結果を検出し、これを意図理解部１０５に通知し、ステップＳＴ２３０１では、意図理解部１０５が当該通知を受信したかどうかによって、補助情報呼び出し指示部１０９が作業者からの補助情報呼び出し指示を受け付けたかどうかを判定する。
　なお、「ヘルプ呼び出し」など、補助情報呼び出し指示とする特殊なキーワードについては予め設定しておくものとし、補助情報呼び出し指示部１０９は、作業者の発話内容から音声認識した結果、当該特殊なキーワードが検出されたかどうかを判断するようにすればよい。
　ステップＳＴ２３０１において、作業者からの補助情報呼び出し指示を受け付けていないと判断した場合（ステップＳＴ２３０１の“ＹＥＳ”の場合）は、ステップＳＴ９０５に進み、以降、実施の形態１で説明したのと同様の動作を行う。
　ステップＳＴ２３０１において、作業者からの補助情報呼び出し指示を受け付けたと判断した場合（ステップＳＴ２３０１の“ＮＯ”の場合）、補助情報選択部１１０は、意図理解部１０５を介してサーバ２の補助情報ＩＤ付き作業支援データ２０３と補助情報データ２０４とを参照し、作業手順に応じて表示すべき補助情報を補助情報データ２０４から選択する（ステップＳＴ２３０２、補助情報選択処理）。なお、補助情報選択部１１０がステップＳＴ２３０２で選択した補助情報は、意図理解部１０５に出力される。
　図２５は、この実施の形態２において、サーバ２が格納する補助情報ＩＤ付き作業支援データ２０３の内容の一例を説明する図である。
　なお、図２５において、実施の形態１で図４を用いて説明した作業支援データ２０１と同様のものについては同じ符号を付し、重複した説明を省略する。
　図２５に示す補助情報ＩＤ付き作業支援データ２０３は、図４の作業支援データ２０１とは、作業手順階層木４０４が、補助情報ＩＤ付き作業手順階層木２４０１になった点のみ異なる。
　図２６は、実施の形態２における補助情報ＩＤ付き作業手順階層木２４０１のデータ内容の一例を説明する図である。
　なお、図２６において、実施の形態１で図８を用いて説明した作業手順階層木４０４の各情報と同様のものについては同じ符号を付し、重複した説明を省略する。
　図２６に示す補助情報ＩＤ付き作業手順階層木２４０１は、図８の作業手順階層木４０４の各情報に加え、補助情報ＩＤ２５０１をさらに保持する点が異なるのみである。
　ステップＳＴ２３０２において、補助情報選択部１１０は、意図理解部１０５によるステップＳＴ９０４の処理、具体的には、図１１のステップＳＴ１１０１の処理で得られた作業状況をもとに、補助情報ＩＤ付き作業手順階層木２４０１から現在処理中の作業手順に応じた補助情報ＩＤを取得し、これに対応する補助情報を補助情報データ２０４から選択する。
　具体的には、例えば、図１１のステップＳＴ１１０１において、配電盤Ａを「未処理」の作業手順であると判断したとすると、補助情報選択部１１０は、図２６の補助情報ＩＤ付き作業手順階層木２４０１から、配電盤Ａの作業項目である手順Ｐ１～Ｐ３に対応する「スイッチＸ（正常値オフ）」、「スイッチＹ（正常値オフ）」、「電流計Ｚ（正常値５５０～６００Ａ）」を、作業項目名称として特定し、当該作業項目名称に対応する補助情報ＩＤとして、Ｈ１～Ｈ３を取得する。
　さらに、補助情報選択部１１０は、取得した補助情報ＩＤをキーに補助情報データ２０４を参照し、補助情報ＩＤに対応する補助情報を選択する。
　なお、補助情報データ２０４には、予め、補助情報ＩＤと補助情報とが紐付けられて格納されている。補助情報とは、例えば、電流値異常時のチェック手順など、作業者が点検作業をする際の手助けとなる情報であり、作業項目に関連する文書データまたは動画データなどである。
　補助情報出力部１１１は、意図理解部１０５からの指示に基づき、ステップＳＴ２３０２において補助情報選択部１１０が選択した補助情報データを、例えば、グラス型の端末３０１の表示部３０３に表示する（ステップＳＴ２３０３、補助情報表示処理）。
　図２７は、実施の形態２において、補助情報出力部１１１が、グラス型の端末３０１の表示部３０３に補助情報データを表示した一例を説明する図である。
　図２７の例では、電流値が異常であった場合のチェック手順を示した文書の情報を表示するようにしている（図２７の２６０１参照）。
　なお、図２７は一例であり、補助情報出力部１１１は、動画による手順表示等を行うようにすることもできる。
　また、ここでは、補助情報出力部１１１が、グラス型の端末３０１の表示部３０３に補助情報データを表示するようにしたが、これに限らず、補助情報データは音声データとし、補助情報出力部１１１は、グラス型の端末３０１のヘッドセット３０６に供えられたイヤホン等の出力部から、音声データを読み上げるようにしてもよく、意図理解部１０５が、出力方法に応じた出力を行わせるよう補助情報出力部１１１に指示することができる。
　以上のように、この実施の形態２によれば、作業者からの補助情報呼び出し指示を受け付ける補助情報呼び出し指示部１０９と、補助情報呼び出し指示部１０９が補助情報呼び出し指示を受け付けた場合に、意図理解部１０５を介して、作業手順を階層的に整理して格納した補助情報ＩＤ付き作業支援データ２０３と補助情報データ２０４とを参照し、作業手順に応じて表示すべき補助情報を選択する補助情報選択部１１０とを供えることにより、作業者によってより自然な形での補助情報取得が可能となる。また、作業者が、補助情報を取得して作業できることにより、作業負荷を軽減し、点検漏れや記録誤りなどの作業ミスをより低減することができる。
　また、実施の形態１において、作業支援装置１は、図１で示すような構成としたが、作業支援装置１は、自己位置推定部１０３と、意図理解部１０５とを備えることにより、上述したような効果が得られるものである。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る作業支援装置は、作業負荷を軽減し、点検漏れや記録誤りなどの作業ミスを低減することができるように構成したため、機械設備の保守点検作業、修理作業、設置作業等の一定の手順に従って行う作業の作業支援装置等に適用することができる。
　１　作業支援装置、２　サーバ、３１　ＣＰＵ、３２　記憶装置、３３　メモリ、３４　通信Ｉ／Ｆ装置、１０１　センサ情報取得部、１０２　映像入力部、１０３　自己位置推定部、１０４　通信部、１０５　意図理解部、１０６　データ入力部、１０７　関連情報表示部、１０８　音声出力部、１０９　補助情報呼び出し指示部、１１０　補助情報選択部、１１１　補助情報出力部、２０１　作業支援データ、２０２　作業結果データ、２０３　補助情報ＩＤ付き作業支援データ、２０４　補助情報データ、３０１，３０５　端末、３０２　配電盤、３０３　表示部、３０４　カメラ、３０６　ヘッドセット、４０１　作業場所位置情報、４０２　作業対象位置情報、４０３　作業項目位置情報、４０４　作業手順階層木、５０１　作業場所ＩＤ、５０２　作業場所名称、５０３　作業場所位置、６０１　作業対象ＩＤ、６０２　作業対象名称、６０３　作業対象位置座標、７０１　作業項目ＩＤ、７０２　作業項目名称、７０３　作業項目座標、８０１　手順ＩＤ、８０２　作業場所、８０３　作業対象、８０４　作業項目、８０５　正常値、８０６　音声認識辞書ＩＤ、８０７　ジェスチャ認識辞書ＩＤ、１００１　作業手順管理部、１００２　作業手順管理データ記録部、１００３　作業対象距離計算部、１００４　関連情報生成部、１００５　データ入力制御部、１２０１　手順ＩＤ、１２０２　作業状況、１５０１　音声認識部、１５０２　音声認識辞書、１５０３　ジェスチャ認識部、１５０４　ジェスチャ認識辞書、１７０１　認識語彙、１７０２　読み、２００１　作業項目ＩＤ、２００２　作業項目、２００３　記録日時、２００４　作業結果、２４０１　補助情報ＩＤ付き作業手順階層木、２５０１　補助情報ＩＤ。

Claims (7)

  1. 　センサからの位置情報と、作業者が身に付けた撮像装置から作業対象を撮像した映像データと、前記作業対象に関する情報が階層的に格納された作業手順階層木および前記作業対象に関する位置情報を有する作業支援データとから、作業場所における前記作業者の位置を推定する自己位置推定部と、
    　作業者の音声による入力データまたは作業者のジェスチャによる入力データを受け付けるデータ入力部と、
    　前記自己位置推定部が推定した作業者の位置に関する情報と前記作業支援データとから、前記データ入力部が受け付けた入力データを反映した前記作業対象に関する関連情報を生成する意図理解部とを備えた作業支援装置。
  2. 　前記意図理解部は、
    　前記作業対象に対する作業項目および作業手順に関する情報を含み、当該情報に、前記作業項目に対して前記データ入力部が受け付けた入力データを反映した前記関連情報を生成する
    　ことを特徴とする請求項１記載の作業支援装置。
  3. 　前記意図理解部は、前記関連情報を表示部に表示させる、または、前記関連情報を音声出力部に音声出力させる
    　ことを特徴とする請求項１記載の作業支援装置。
  4. 　前記意図理解部は、前記自己位置推定部が推定した作業者の位置情報に基づき、前記作業者と前記作業対象との距離を計算する作業対象距離計算部を備え、当該作業対象距離計算部の計算結果に応じて、前記関連情報の内容を変更する
    　ことを特徴とする請求項１記載の作業支援装置。
  5. 　前記データ入力部は、前記作業者の音声による入力データまたは前記作業者のジェスチャによる入力データを、データ入力用の辞書データを用いて認識する
    　ことを特徴とする請求項１記載の作業支援装置。
  6. 　前記作業支援データはデータ入力用の辞書を特定するための情報を有し、
    　前記意図理解部は、作業者の作業状況を管理する作業手順管理データに基づき、前記データ入力用の辞書データを特定するための情報を設定し、
    　前記データ入力部は、前記意図理解部が設定した前記データ入力用の辞書データを特定するための情報に応じて前記データ入力用の辞書データを切り替える
    　ことを特徴とする請求項５記載の作業支援装置。
  7. 　作業者からの補助情報呼び出し指示を受け付ける補助情報呼び出し指示部と、
    　前記補助情報呼び出し指示部が前記補助情報呼び出し指示を受け付けると、現在処理中の作業項目に応じた補助情報を選択する補助情報選択部とをさらに備え、
    　前記意図理解部は、前記補助情報選択部が選択した補助情報を含む関連情報を生成する
    　ことを特徴とする請求項１記載の作業支援装置。
PCT/JP2015/060646 2015-04-03 2015-04-03 作業支援装置 WO2016157528A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/060646 WO2016157528A1 (ja) 2015-04-03 2015-04-03 作業支援装置
TW104118089A TW201636940A (zh) 2015-04-03 2015-06-04 作業支援裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060646 WO2016157528A1 (ja) 2015-04-03 2015-04-03 作業支援装置

Publications (1)

Publication Number Publication Date
WO2016157528A1 true WO2016157528A1 (ja) 2016-10-06

Family

ID=57005498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060646 WO2016157528A1 (ja) 2015-04-03 2015-04-03 作業支援装置

Country Status (2)

Country Link
TW (1) TW201636940A (ja)
WO (1) WO2016157528A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018100883A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2021149398A1 (ja) * 2020-01-23 2021-07-29 パナソニックＩｐマネジメント株式会社 情報提示システム、電力計測システム、情報提示方法、プログラム
WO2022039066A1 (ja) * 2020-08-21 2022-02-24 パナソニックＩｐマネジメント株式会社 作業分析方法、作業分析装置及び作業分析システム
JP7570043B2 (ja) 2020-08-21 2024-10-21 パナソニックＩｐマネジメント株式会社 作業分析方法、作業分析装置及び作業分析システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282349A (ja) * 2000-04-03 2001-10-12 Mitsubishi Electric Corp 作業情報提供装置
JP2007149070A (ja) * 2005-10-28 2007-06-14 Fujitsu Ltd 設備点検支援システム、設備点検支援方法およびそのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282349A (ja) * 2000-04-03 2001-10-12 Mitsubishi Electric Corp 作業情報提供装置
JP2007149070A (ja) * 2005-10-28 2007-06-14 Fujitsu Ltd 設備点検支援システム、設備点検支援方法およびそのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018100883A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
WO2021149398A1 (ja) * 2020-01-23 2021-07-29 パナソニックＩｐマネジメント株式会社 情報提示システム、電力計測システム、情報提示方法、プログラム
WO2022039066A1 (ja) * 2020-08-21 2022-02-24 パナソニックＩｐマネジメント株式会社 作業分析方法、作業分析装置及び作業分析システム
JP7570043B2 (ja) 2020-08-21 2024-10-21 パナソニックＩｐマネジメント株式会社 作業分析方法、作業分析装置及び作業分析システム

Also Published As

Publication number Publication date
TW201636940A (zh) 2016-10-16

Similar Documents

Publication Publication Date Title
WO2016157528A1 (ja) 作業支援装置
JPWO2013150599A1 (ja) ロボットシステム及び作業設備
KR101471852B1 (ko) 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법
US20180241967A1 (en) Remote work assistance device, instruction terminal and onsite terminal
JP2019153274A (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
US7377650B2 (en) Projection of synthetic information
JP2011164694A (ja) 標準作業実行支援装置、および標準作業実行支援方法
JP6748911B2 (ja) 指示データ作成支援システム
JP6643000B2 (ja) 仮想環境作成方法、ロボット装置の制御方法、ロボットシステム、および情報処理装置
US11856332B2 (en) Remote operation system, remote operation mobile body, remote operation method, and program
WO2022032688A1 (en) Method for remote assistance and device
JP6629250B2 (ja) 作業支援装置、作業支援方法およびプログラム
JP6826322B2 (ja) 故障部品交換支援方法
JP4319618B2 (ja) 移動ロボット装置
JP2020181456A (ja) 作業支援装置及び作業支援方法
JP2020091530A (ja) 設備管理システム
JP2011188112A (ja) 遠隔対話装置、遠隔対話システム、遠隔対話方法およびプログラム
JP6701887B2 (ja) 情報処理システム、情報処理方法およびプログラム
JP2016200855A (ja) 設備点検端末及び設備点検システム
JP2013238947A (ja) 基板配線作業支援システム
JP2015070483A (ja) 画像取得プログラム、画像取得装置、および画像取得方法
JP6117765B2 (ja) 資産管理システム
JP2022074605A (ja) 情報処理システム、及び情報処理プログラム
WO2020194447A1 (ja) 作業支援装置および作業支援方法
JP7557932B2 (ja) 画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887674

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887674

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP