WO2017195646A1 - 作業支援装置 - Google Patents

作業支援装置 Download PDF

Info

Publication number
WO2017195646A1
WO2017195646A1 PCT/JP2017/016870 JP2017016870W WO2017195646A1 WO 2017195646 A1 WO2017195646 A1 WO 2017195646A1 JP 2017016870 W JP2017016870 W JP 2017016870W WO 2017195646 A1 WO2017195646 A1 WO 2017195646A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
display
camera
unit
Prior art date
Application number
PCT/JP2017/016870
Other languages
English (en)
French (fr)
Inventor
新庄　広
高橋　寿一
健太郎 大西
亮一 加畑
Original Assignee
株式会社日立システムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立システムズ filed Critical 株式会社日立システムズ
Publication of WO2017195646A1 publication Critical patent/WO2017195646A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management

Definitions

  • the present invention relates to a work support device, and is suitable for application to a device that supports work such as maintenance and inspection in a place where a large number of devices are installed.
  • maintenance and inspection work is performed for a large number of devices having the same or similar shape.
  • the worker checks the model number and serial number affixed to each device one by one, makes a unique setting for each device, and records a unique state. It is.
  • the center information processing server causes the image recognition processing unit to perform matching processing between the captured image of the plant device received from the portable information terminal and the device mask image, and acquires inspection area information from the captured image. Then, the inspection area information is superimposed on the device display image for displaying the maintenance inspection result, and further, the inspection character information is also superimposed, the projection image is synthesized, transmitted to the portable information terminal, and projected from the projector unit. Is disclosed.
  • the characters for identifying the individual devices attached to the devices are arranged in a gap space so as not to disturb the operation and functions of the devices, and maintenance inspection is performed from the image of the entire device as disclosed in Patent Document 1. It is difficult to recognize identification characters affixed to devices that perform such operations. In addition, there is a possibility that the device may not be specified due to an error or misrecognition.
  • An object of the present invention is to provide a work support device and a work support method capable of accurately recognizing a device to be worked.
  • a work support apparatus includes a first camera that captures a first image including a character string attached to a device, and a second camera that includes the first camera directed to the character string.
  • the second camera that captures an image and the character string included in the first image are recognized, it is determined whether the device is a work target based on the character string, and the work target
  • a control unit that instructs the second camera to shoot, and a display unit that displays a device recognition image based on the second image according to an instruction from the control unit.
  • the work support method of the present disclosure photographs a first image including a character string attached to a device, recognizes the character string included in the first image, and converts the character string into the character string. And determining whether the device is an object of work based on the instruction, instructing the second camera to shoot when the object is the object of work, and being directed to the character string based on the instruction.
  • the present invention it is possible to accurately identify a device to be a work target, and to accurately identify a device to be a work target even if the worker's eyes are removed from the work target device during a maintenance inspection or the like. Can be recognized.
  • FIG. 1 It is a figure showing roughly about a work support device concerning one embodiment of the present invention. It is a figure shown about the functional block of the control part of FIG. It is a figure shown about an example of the external appearance structure of a work assistance apparatus. It is a figure explaining the case where an apparatus is inspected using a work support device. It is a sequence diagram shown about the character recognition apparatus determination process performed using a work assistance apparatus. It is a figure which shows the example of the image displayed when it determines with it being a work target apparatus. It is a figure shown about the example of the apparatus recognition image displayed on a display part. It is a sequence diagram shown about the process of the control part at the time of working with respect to the apparatus used as the work object.
  • FIG. 1 It is a figure for demonstrating another example of the image process which produces the apparatus recognition image of FIG. It is a figure shown about another example of the external appearance structure of a work assistance apparatus. It is a figure which shows the image displayed on the display part by making a 2nd image into an apparatus recognition image. It is a figure which shows the example of a mode that the apparatus recognition image is displayed on a tablet terminal as a 2nd image, and it confirms about work object apparatus. It is a sequence diagram of the process which displays an apparatus recognition image on a display part by operator's operation. It is a sequence diagram of the process which displays an apparatus recognition image on a display part by voice recognition. It is a sequence diagram of the process which displays an apparatus recognition image on a display part by image recognition. FIG.
  • FIG. 10 is a sequence diagram of processing for displaying a device recognition image on a display unit 305 by an output of a motion sensor.
  • FIG. 23 is a sequence diagram of a process for displaying a device recognition image on a display unit based on an output of an attitude sensor such as an acceleration sensor according to another embodiment.
  • FIG. 24 is a sequence diagram of device recognition image display start determination processing according to the sequence diagram of FIG. 23.
  • FIG. 24 is a sequence diagram of device recognition image display end determination processing according to the sequence diagram of FIG. 23.
  • FIG. 22 is a sequence diagram of a process for displaying a device recognition image on a display unit by image recognition according to a mode different from FIG. 21.
  • FIG. 26 is a sequence diagram of device recognition image display start determination processing according to the sequence diagram of FIG. 25.
  • FIG. 26 is a sequence diagram of device recognition image display end determination processing according to the sequence diagram of FIG. 25.
  • FIG. 1 is a diagram schematically showing a work support device 100 according to an embodiment of the present invention.
  • the work support apparatus 100 includes a first camera 301, a second camera 302, a display unit 305, an input unit 310, and a control unit 200.
  • the control unit 200 receives an image captured by a CPU (Central Processing Unit) 201, a volatile storage unit 202 such as a RAM (Random Access Memory), a non-volatile storage unit 203 such as a hard disk or a flash memory, and the first camera 301.
  • a CPU Central Processing Unit
  • volatile storage unit 202 such as a RAM (Random Access Memory)
  • non-volatile storage unit 203 such as a hard disk or a flash memory
  • the input unit 310 may include a mouse, a keyboard, a touch panel, a touch sensor, and other input devices, a voice input device, an accelerometer, a device that outputs signals from sensors such as GPS, and the like. However, a configuration without the input unit 310 may be used.
  • the first camera 301, the second camera 302, the display unit 305, and the input unit 310 are connected to the control unit 200 by solid lines or broken lines, respectively. Is included.
  • FIG. 2 is a diagram showing functional blocks of the control unit 200 of FIG.
  • the control unit 200 realizes a plurality of functions by hardware operating in cooperation with software.
  • the control unit 200 identifies an identification character string for identifying a device attached to the device, whether or not it is a work target, a work procedure for the work target device, a work
  • a character string is extracted from the work database 258 in which the contents, work results, and the like are stored, and an image photographed by the first camera 301, and is compared with the character string stored in the work database 258.
  • the second camera 302 captures the image.
  • a device recognition image display determination unit 254 for determining whether or not to display the device recognition image 540 based on an input signal from 310, an image recognized by the second camera 302, a timing in work, and the like; and a device recognition image display determination unit
  • the device recognition image display instruction unit 255 that instructs the display unit 305 to display the device recognition image 540 and the device is determined to be a work target.
  • a work data display instruction unit 256 that obtains work procedures and work contents from the work database 258 and instructs display on the display unit 305, and a work result that is input during work or at the end of work and is stored in the work database 258
  • a result input storage unit 257 A result input storage unit 257.
  • FIG. 3 is a diagram illustrating an example of an external configuration of the work support apparatus 100.
  • a part of the work support apparatus 100 is configured as a glasses-type wearable device 400 that can be worn on a human head 499.
  • the glasses-type wearable device 400 includes a head fixture 401, to which the control unit 200, the display unit 305, and the second camera 302 are attached, and can be one of the input units 310.
  • An acceleration sensor 313, an audio reception unit 312, and a touch sensor 311 are included.
  • the wireless communication unit 402 receives image information from the pen-type first camera 301 by wireless communication.
  • the wireless communication unit 402 can receive not only information from the first camera 301 but also information from other input devices and sensor devices.
  • the display unit 305 can use a projection-type display device using a light source and LCOS (Liquid Crystal Crystal on Silicon), and recognizes an image displayed on the projection surface 404 in the space without impairing the field of view of the person wearing it. can do.
  • LCOS Liquid Crystal Crystal on Silicon
  • FIG. 4 is a diagram for explaining a case where the work support device 100 is used to check a device such as a server device in a data center, for example. As shown in this figure, it is assumed that, for example, five devices 501 to 505 are lined up at a work location. Further, the worker 480 attaches the glasses-type wearable device 400 of FIG. 3 to the head and holds the pen-type first camera 301 in his / her hand. The worker 480 confirms a device that is a work target, and performs work according to the device.
  • FIG. 5 is a sequence diagram showing the character recognition device determination process S100 performed using the work support apparatus 100.
  • the worker 480 first instructs the control unit 200 to start the program of the character recognition device determination unit 251 that operates the input unit 310 to determine the device that is the work target. (S101, S102).
  • the control unit 200 activates the program of the character recognition device determination unit 251 (S103).
  • the input unit 310 a touch sensor 311, an audio receiving unit 312, or other input units 310 can be used.
  • it may be input via the wireless communication unit 402.
  • the operator 480 uses the first camera 301 to check whether or not the device 503 is a work target, and includes an imaging region including a label on which the model number and serial number of the device 503 are written.
  • the first camera 301 is instructed to shoot (S 104).
  • the first camera 301 captures the first image (S105), and the captured first image is sent to the control unit 200 (S106).
  • the character recognition device determination unit 251 of the control unit 200 recognizes the character string from the first image (S107), and is the work target device 503 based on the information stored in the work database 258? It is determined whether or not (S108).
  • the display unit 305 is instructed to display the determination result (S109), and the display unit 305 displays the determination result (S110).
  • the work target device 503 for example, as shown in FIG. 6, a screen indicating that the device is the work target device 503 and a character string indicating the recognized work target device 503 is displayed. It is good. If the device is not the work target device 503, the character recognition device determination process S100 ends here.
  • the control unit 200 instructs the second camera 302 to shoot (S111), and the second camera 302 shoots the second image (S112).
  • the second image can be an imaging region 532 including the first camera 301, and includes not only the work target device 503 but also other devices 501 to 502 and 504 to 505. It is good as well.
  • the shooting timing may be counted down by voice or screen display.
  • the captured second image is transmitted to the control unit 200 (S113), and if necessary, is processed into an image that makes it easier to identify the work target device 503 using image processing.
  • a device recognition image 540 is generated (S114).
  • the second image may be used as the device recognition image 540 without processing the second image.
  • the first camera 301 included in the second image can be identified as a pointer pointing to the work target device 503.
  • the control unit 200 instructs the display unit 305 to display the device recognition image 540 (S115), and the display unit 305 displays the device recognition image 540 (S116).
  • the direction indicated by the first camera 301 is the work target device 503, and the worker 480 starts this image when starting the work or restarting the work. Is displayed, it is possible to confirm which device the current work target device 503 is.
  • the device recognition image 540 may be displayed together with the character string of the model number and serial number recognized in the first image.
  • FIG. 8 is a sequence diagram showing processing of the control unit when work is performed on a device to be worked.
  • the processes during work are mainly a work procedure display process S210, a work content display process S220, and a work result input storage process S230.
  • the work procedure display process S210 first, the worker 480 instructs the input unit 310 to confirm the work procedure (S211), and the input unit 310 instructs the control unit to display the work procedure (S212). ).
  • the control unit 200 acquires the work procedure of the work target device 503 from the work database 258 (S213), and instructs the display unit 305 to display the acquired work procedure (S214).
  • the display unit 305 displays the work procedure of the received content (S215).
  • FIG. 9 is a work content table 580 showing the work procedure and work content of the work target device 503 stored in the work database 258.
  • the work content table 580 includes, for example, a column indicating the location of the device, a device number, a model number and a serial number (S / N) for each location, a work item number that is a work procedure, and a work ( (Inspection) items and work contents are included.
  • the work content table 580 is not limited to this, and can be changed as appropriate. Further, a work result entry field or the like can be included.
  • FIG. 10 is a diagram illustrating an example of a display indicating a work procedure for a certain work target device 503 displayed in step S235. As shown in this figure, it is listed as a work procedure that a device specified as the work target device 503 is to check a MAC (Media Access Control) address, a connector, and a cable.
  • MAC Media Access Control
  • the input unit instructs the control unit 200 to start the work (S222).
  • the control unit 200 acquires the work content of the work target device 503 (S223), and instructs the display unit 305 to display the work content (S224).
  • the display unit 305 displays the work content (S225).
  • the work content may be one item displayed in the work procedure, or may be displayed item by item according to the progress of the work.
  • the worker 480 performs a work corresponding to the displayed work content.
  • the work result input saving process S230 will be described.
  • the work result is input using the input unit 310 (S231), and the input unit 310 inputs the input content to the control unit 200.
  • the work result is recorded and stored in the corresponding column of the work content table 580 (S233).
  • an instruction to display the work result is given to the display unit 305 (S234), and the display unit 305 displays the work result (S235).
  • the process of the work support apparatus 100 is not limited to the work procedure display process S210, the work content display process S220, and the work result input storage process S230, and the work procedure display process S210,
  • the contents of the work content display process S220 and the work result input storage process S230 are not limited to this.
  • FIG. 11 is a diagram illustrating an example in which the device recognition image 540 is partially displayed when the glasses-type wearable device is displayed over the entire field of view.
  • the work target device 503 is displayed. The operator 480 can immediately recognize the work target device 503 even when the line of sight is removed from the work.
  • FIG. 13A is a second image captured by the second camera 302 when it is determined that the device is the work target device 503 based on the first image captured by the first camera 301.
  • FIG. 13B is an image when the hand holding the first camera 301 is lowered after the second image is photographed, and the first camera 301 and the hand cannot enter the field of view of the second camera 302.
  • the image processing unit 253 performs processing for pasting the pointing image 552 on the position indicated by the first camera 301 of the second image in FIG. 13A in the image in FIG. 13B, so that the device recognition image 540 in FIG.
  • the image processing to create can be performed.
  • FIG. 14 and 15 are diagrams showing another example of image processing for creating the device recognition image 540 of FIG.
  • an AR (Augmented Reality) code is attached to the first camera 301 at a position where it can be easily read by the second camera 302, and character recognition device determination processing S100 is performed.
  • FIG. 15 is a diagram when the second image taken at this time is used as the device recognition image 540 as it is.
  • the image processing unit 253 can recognize the AR code and replace the AR code with the pointing image 552 in the image processing of FIG.
  • FIG. 16 is a diagram illustrating another example of the external configuration of the work support device 100.
  • a part of the work support apparatus 100 is configured by a tablet terminal 600.
  • the tablet terminal 600 includes a control unit 200, a display unit 305, and a second camera 302, and further includes an acceleration sensor 313 that can be one of the input units 310, an audio reception unit 312, and a touch panel 611.
  • the wireless communication unit 402 receives the image information from the second camera 302 attached to the head of the worker 480 by wireless communication.
  • the wireless communication unit 402 can receive not only information from the second camera 302 but also information from other input devices and sensor devices.
  • FIG. 17 is an image in which the second image is displayed on the display unit 305 as the device recognition image 540.
  • FIG. 18 is a diagram in which the second image is displayed on the display unit 305 of the tablet terminal 600 as the device recognition image 540. It is a figure when confirming about the apparatus 503. FIG. Even in such a configuration, the worker 480 accurately specifies the device to be worked, and even if the eye is separated from the device to be worked during work such as maintenance and inspection, the worker 480 It is possible to accurately recognize the device to be worked on.
  • FIGS. 19 to 26B show the device recognition image 540 for displaying the device recognition image 540 in order to start the work again when the operator 480 moves away from the work target device 503.
  • FIG. 10 is a diagram for explaining processing to be displayed on 305;
  • FIG. 19 is a sequence diagram of processing S310 in which the device recognition image 540 is displayed on the display unit 305 by the operation of the worker 480.
  • the worker 480 operates the input unit 310 such as a button, a string-like input device or a touch sensor of the glasses-type wearable device 400, or a touch panel of the tablet terminal 600 to display the device recognition image 540.
  • the input unit 310 instructs the control unit 200 to display the device recognition image 540 (S312), and the device recognition image display instruction unit 255 of the control unit 200 instructs the display unit 305 to display the device recognition image 540 ( S313).
  • the display unit 305 displays the device recognition image 540 (S314).
  • FIG. 20 is a sequence diagram of processing S320 for displaying the device recognition image 540 on the display unit 305 by voice recognition.
  • the worker 480 performs predetermined device recognition by voice through the voice receiving unit 312 such as the voice receiving unit 312 of the glasses-type wearable device 400 or the voice receiving unit 312 of the tablet terminal 600.
  • a voice instruction for displaying the image 540 is given (S321).
  • the voice receiving unit 312 that has received the voice transmits a voice signal to the control unit 200 (S322), and the device recognition image display determination unit 254 of the control unit 200 is instructed to display the device recognition image 540 by voice recognition.
  • the device recognition image display instruction unit 255 of the control unit 200 instructs the display unit 305 to display the device recognition image 540 (S324).
  • the display unit 305 displays the device recognition image 540 (S325). Therefore, by receiving an instruction by voice, even if an eye is removed from a device to be worked during a maintenance check or the like, the worker 480 can accurately recognize the device to be worked.
  • FIG. 21 is a sequence diagram of processing S330 for displaying the device recognition image 540 on the display unit 305 by image recognition.
  • the worker 480 instructs the display of the device recognition image 540 determined in advance by movement of a hand such as a gesture so as to be photographed by the second camera 302 (S331).
  • the second camera that has captured the movement of the hand transmits a moving image to the control unit 200 (S332), and the device recognition image display determination unit 254 of the control unit 200 analyzes the moving image and gives an instruction to display the device recognition image 540. If it is determined (S333), the device recognition image display instruction unit 255 of the control unit 200 instructs the display unit 305 to display the device recognition image 540 (S334).
  • the display unit 305 displays the device recognition image 540 (S335).
  • a difference from the previous frame can be analyzed, or a moving image analysis process such as feature point matching or optical flow can be used. Thereby, even if the eyes are removed from the equipment to be worked during work such as maintenance and inspection, the worker 480 can accurately recognize the equipment to be worked.
  • FIG. 22 is a sequence diagram of processing S340 in which the device recognition image 540 is displayed on the display unit 305 by the output of the motion sensor such as the acceleration sensor 313.
  • the worker 480 has the acceleration sensor 313 on the head. If it is 600, since there is an acceleration sensor 313 inside the tablet terminal 600, the tablet terminal 600 is in a predetermined posture, for example, the tablet terminal 600 is set up, etc., to instruct display of a predetermined device recognition image 540. (S341).
  • the acceleration sensor 313 that has detected the acceleration transmits the detected signal to the control unit 200 (S342), and the device recognition image display determination unit 254 of the control unit 200 is instructed to analyze the signal and display the device recognition image 540. Is determined (S343), the device recognition image display instruction unit 255 of the control unit 200 instructs the display unit 305 to display the device recognition image 540 (S344).
  • the display unit 305 displays the device recognition image 540 (S345).
  • a position sensor such as GPS, a motion sensor such as an angular velocity sensor, or a combination of these may be used. Therefore, even when the eyes of the work target device are removed during the maintenance inspection or the like by receiving the signal from the acceleration sensor, the worker 480 can correctly recognize the work target device.
  • FIG. 23 is a sequence diagram of a process S400 for displaying the device recognition image 540 on the display unit 305 based on the output of an attitude sensor such as an acceleration sensor according to a form different from that in FIG.
  • an attitude sensor such as an acceleration sensor
  • a device having an acceleration sensor 313 on the head like the glasses-type wearable device 400 is used, and the display is switched depending on whether or not the second image is oriented in the same direction.
  • a signal detected by an attitude sensor such as the acceleration sensor 313 is notified to the control unit 200 (S401), and the device recognition image display determination unit 254 of the control unit 200 displays the device recognition image display.
  • a start determination process S410 is performed.
  • FIG. 24A is a sequence diagram of device recognition image display start determination processing S410.
  • the device recognition image display start determination process S410 first, based on a signal notified by an attitude sensor such as the acceleration sensor 313, it is determined whether or not the attitude is stationary (S411). ).
  • the stationary state includes not only the case where the signal of the posture sensor is completely constant, but also the case where the change of the signal of the posture sensor is a change within a predetermined range. If it is determined in step S411 that the camera is stationary, the device recognition image display start determination process S410 ends. If it is not determined that the camera is in a stationary state, it is determined whether the orientation sensor is in the same direction as when the second image is captured (S412).
  • “same as when taking the second image” includes not only the completely same direction but also a predetermined range including the same direction, such as a range of an angle difference within 20 degrees from the same direction. . If it is determined that the direction is the same as when the second image is captured, the device recognition image display start determination process S410 is terminated. If it is not determined that the direction is the same as when the second image is captured, the device recognition image display start determination is performed (S413), and the device recognition image display start determination processing S410 is terminated.
  • the device recognition image display instruction unit 255 of the control unit 200 displays the device recognition image 540 on the display unit 305. Is started (S403).
  • the display unit 305 displays the device recognition image 540 (S404).
  • the device recognition image display determination unit 254 of the control unit 200 performs device recognition image display end determination processing S420. I do.
  • FIG. 24B is a sequence diagram of device recognition image display end determination processing S420.
  • the orientation of the orientation sensor is the same as that at the time of capturing the second image based on the signal notified by the orientation sensor such as the acceleration sensor 313. It is determined whether or not there is (S421). In this case, information such as an orientation sensor can be used as in FIG. 24A. If it is not determined that the direction is the same as that at the time of capturing the second image, the device recognition image display end determination processing S420 is ended. If it is determined that the direction is the same as that at the time of shooting the second image, it is determined whether or not the posture is stationary (S422).
  • the device recognition image display end determination process S420 is terminated. If it is determined that the device is in the stationary state, the device recognition image display end determination is performed (S423), and the device recognition image display end determination processing S420 is ended.
  • the device recognition image display instruction unit 255 of the control unit 200 displays the device recognition image 540 on the display unit 305. Is displayed (S407).
  • the display unit 305 ends the display of the device recognition image 540 (S408).
  • a position sensor such as a GPS, an attitude sensor such as an angular velocity sensor, and an orientation sensor may be used. Therefore, by receiving a signal from the acceleration sensor, the worker 480 can accurately recognize the device to be worked even if the user is away from the device to be worked during a maintenance inspection or the like.
  • the display of the device recognition image 540 is started, and when the signal is out of the predetermined range of the second image capturing signal, the device Since the display of the recognition image 540 is terminated, the device recognition image 540 can be displayed only when the worker 480 needs to recognize the device.
  • FIG. 25 is a sequence diagram of a process S500 for displaying the device recognition image 540 on the display unit 305 by image recognition according to a different form from FIG.
  • an image captured by the second camera 302 which is a line-of-sight camera attached to the head, is used and displayed depending on whether the captured image is the device recognition image 540 or an image similar to the second image.
  • image data captured by the second camera 302 is transmitted to the control unit 200 (S501), and the device recognition image display determination unit 254 of the control unit 200 determines whether to start device recognition image display. Processing S510 is performed.
  • FIG. 26A is a sequence diagram of device recognition image display start determination processing S510.
  • the device recognition image display start determination process S510 first, image data received by the control unit 200 is acquired (S511), and an optical flow is detected based on the acquired image data (S512). ). It is determined whether or not the image is stationary (S513). If it is determined that the image is still, the process returns to step S511 to obtain the next image data. If it is not determined that the image is still, the acquired image is checked against the second image or the device recognition image 540 (S514), and it is determined whether the similarity is greater than or equal to a threshold value (S515).
  • the process returns to step S511 to acquire the next image data. If the similarity is less than the threshold, the device recognition image display start determination is performed (S516), and the device recognition image display start determination processing S510 is terminated.
  • the still state is determined not only when the images acquired continuously are completely the same, but also determined as the still state based on, for example, half of the images acquired continuously or 2/3 or more have substantially the same field of view. Including cases.
  • the device recognition image display instruction unit 255 of the control unit 200 displays the device recognition image 540 on the display unit 305. Is displayed (S503).
  • the display unit 305 displays the device recognition image 540 (S504).
  • the image data captured by the second camera 302 is transmitted to the control unit 200 (S505), and the device recognition image display determination unit 254 of the control unit 200 performs device recognition image display end determination processing S520.
  • FIG. 26B is a sequence diagram of device recognition image display end determination processing S520.
  • the device recognition image display end determination process S520 first, image data received by the control unit 200 is acquired (S521), and an optical flow is detected based on the acquired image data (S522). ). It is determined whether or not the image is stationary (S523). If it is determined that the image is not still, the process returns to step S521 to acquire the next image data. If it is determined that the image is still, the acquired image is checked against the second image or the device recognition image 540 (S524), and it is determined whether the similarity is greater than or equal to a threshold value (S525).
  • the process returns to step S521 to acquire the next image data. If the similarity is equal to or greater than the threshold value, the device recognition image display end determination is performed (S526), and the device recognition image display end determination processing S520 ends.
  • the still state is determined not only when the images acquired continuously are completely the same, but also determined as the still state based on, for example, half of the images acquired continuously or 2/3 or more have substantially the same field of view. Including cases.
  • the device recognition image display instruction unit 255 of the control unit 200 displays the device recognition image 540 on the display unit 305. Is displayed (S507).
  • the display unit 305 ends the display of the device recognition image 540 (S508). Therefore, even if the eyes of the device that is the work target are removed during the work such as maintenance and inspection due to the reception of the signal based on the processing result of the captured image of the second camera 302, the worker 480 is given the device that is the work target. It can be recognized accurately.
  • the image data that is a signal from the second camera 302 is within a predetermined range (similarity is greater than or equal to a threshold value) with the image data of the second image or device recognition image 540 that is the second image capturing signal
  • a predetermined range similarity is greater than or equal to a threshold value
  • the worker 480 needs to recognize the device. Only in this case, the device recognition image 540 can be displayed.
  • the work support apparatus 100 is directed to the first camera 301 that captures the first image including the character string attached to the device 503 and the character string.
  • a second camera 302 that captures a second image including the first camera 301 and a character string included in the first image, and determines whether the device 503 is a work target based on the character string;
  • a control unit 200 that instructs the second camera 302 to take an image when it is a work target
  • a display unit 305 that displays a device recognition image 540 based on the second image according to an instruction from the control unit 200.
  • the present invention relates to a work support device, and can be applied to a device that supports work such as maintenance and inspection in a place where a large number of devices are installed.
  • 100 work support device 200 control unit, 202 volatile storage unit, 203 non-volatile storage unit, 204 first camera interface, 205 second camera interface, 206 display output interface, 207 input interface, 209 bus, 251 character recognition device determination Unit, 252 shooting instruction unit, 253 image processing unit, 254 device recognition image display determination unit, 255 device recognition image display instruction unit, 256 work data display instruction unit, 257 work result input storage unit, 258 work database, 301 first camera , 302 2nd camera, 305 display unit, 310 input unit, 311 touch sensor, 312 voice receiving unit, 313 acceleration sensor, 400 glasses-type wearable device, 401 head mount, 402 wireless communication unit, 404 projection , 480 workers, 499 head, 503 work target device, 540 device recognition image, 552 pointing image, 580 work table, 600 tablet terminal, 611 touch panel

Abstract

作業支援装置は、機器５０３に付された文字列を含む第１画像を撮影する第１カメラ３０１と、文字列に向けられている第１カメラを含む第２画像を撮影する第２カメラと、第１画像に含まれる文字列を認識し、文字列に基づいて機器が作業の対象であるかどうかを判定し、作業の対象である場合に、第２カメラに対して撮影を指示する制御部と、制御部の指示により第２画像に基づく機器認識画像を表示する表示部と、を備える。

Description

作業支援装置
　本発明は、作業支援装置に関し、例えば、多数の機器が設置された場所での保守点検等の作業を支援する装置に適用して好適なものである。
　データセンタのサーバや、プラントにおけるメータ等の保守点検業務では、同一又は類似の形状を有する多数の機器に対してそれぞれ保守や点検の作業を行っている。このような作業において、作業者は、各機器に対して逐一、各機器に貼付された型番やシリアル番号を確認し、それぞれの機器に対して固有の設定を行ったり、固有の状態を記録したりしている。
　特許文献１は、センタ情報処理サーバが、携帯情報端末から受信したプラント機器の撮影画像と、機器マスク画像とを画像認識処理部でマッチング処理させて、撮影画像から点検領域情報を取得する。そして、保守点検結果を表示させるための機器表示画像に前記点検領域情報を重畳し、更に点検文字情報も重畳して投影画像を合成し、携帯情報端末に送信し、プロジェクタ部から投影表示させることについて開示している。
特開２０１０－００３１９０号公報
　しかしながら、機器に貼付される個々の機器を識別する文字は、機器の操作や機能を妨げないよう隙間スペースに配置されるものであり、特許文献１が開示するような機器全体の画像から保守点検等の作業を行う機器に貼付された識別文字を認識するのは難しい。また、エラーや誤認識により機器が特定されない恐れもある。
　また、機器全体の画像から作業の対象となる機器が特定できた場合であっても、例えば同一又は類似の機器が並ぶ環境において、作業者が作業の対象となる機器から視線を外した場合には、作業の対象となる機器が不明確となり、再び保守点検を行う機器の確認作業をやり直さなくてはならない恐れがあった。
　本発明は以上の点を考慮してなされたもので、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる作業支援装置及び作業支援方法を提供しようとするものである。
　かかる課題を解決するため本開示の作業支援装置は、機器に付された文字列を含む第１画像を撮影する第１カメラと、前記文字列に向けられている前記第１カメラを含む第２画像を撮影する第２カメラと、前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定し、前記作業の対象である場合に、前記第２カメラに対して撮影を指示する制御部と、前記制御部の指示により前記第２画像に基づく機器認識画像を表示する表示部と、を備える作業支援装置である。
　また、かかる課題を解決するため本開示の作業支援方法は、機器に付された文字列を含む第１画像を撮影し、前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定して、前記作業の対象である場合に前記第２カメラに対して撮影を指示し、前記指示に基づいて、前記文字列に向けられている前記第１カメラを含む第２画像を撮影し、前記第２画像に基づく機器認識画像を表示する、作業支援方法である。
　本発明によれば、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる。
本発明の一実施の形態に係る作業支援装置について概略的に示す図である。 図１の制御部の機能ブロックについて示す図である。 作業支援装置の外観構成の一例について示す図である。 作業支援装置を用いて機器の点検を行う場合について説明する図である。 作業支援装置を用いて行う文字認識機器判定処理について示すシーケンス図である。 作業対象機器であると判定された場合に表示する画像の例を示す図である。 表示部に表示される機器認識画像の例について示す図である。 作業の対象となる機器に対して作業を行う際の制御部の処理について示すシーケンス図である。 作業データベースに保存された作業対象機器の作業手順及び作業内容について示す作業内容表である。 ある作業対象機器についての作業手順を示す表示の例について示す図である。 眼鏡型ウェアラブルデバイスに機器認識画像を表示する例について示す図である。 ポインティング画像で作業対象機器を指し示す機器認識画像について示す図である。 第２画像の例について示す図である。 第２画像の視野で作業者の腕を下げた時に撮影される画像を示す図である。 図１２の機器認識画像を作成する画像処理の別の例について説明するための図である。 図１２の機器認識画像を作成する画像処理の別の例について説明するための図である。 作業支援装置の外観構成の別の例について示す図である。 第２画像を機器認識画像として表示部に表示された画像を示す図である。 第２画像を機器認識画像をタブレット端末に表示させ、作業対象機器について確認している様子の例を示す図である。 作業者の操作により機器認識画像を表示部に表示する処理のシーケンス図である。 音声認識により機器認識画像を表示部に表示する処理のシーケンス図である。 画像認識により機器認識画像を表示部に表示する処理のシーケンス図である。 モーションセンサの出力により機器認識画像を表示部３０５に表示する処理のシーケンス図である。 図２２とは別の形態に係る、加速度センサ等の姿勢センサの出力により機器認識画像を表示部に表示する処理のシーケンス図である。 図２３のシーケンス図に係る機器認識画像表示開始判定処理のシーケンス図である。 図２３のシーケンス図に係る機器認識画像表示終了判定処理のシーケンス図である。 図２１とは別の形態に係る、画像認識により機器認識画像を表示部に表示する処理のシーケンス図である。 図２５のシーケンス図に係る機器認識画像表示開始判定処理のシーケンス図である。 図２５のシーケンス図に係る機器認識画像表示終了判定処理のシーケンス図である。
　以下図面を用いて本開示に係る実施の形態を詳述する。以下の説明において、同様の要素には同一の符号を付し、重複する説明を省略する。
（１）　本実施の形態による作業支援装置の構成
　図１は、本発明の一実施の形態に係る作業支援装置１００について概略的に示す図である。この図に示されるように作業支援装置１００は、第１カメラ３０１、第２カメラ３０２、表示部３０５、入力部３１０及び制御部２００を有している。制御部２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）等の揮発性記憶部２０２、ハードディスクやフラッシュメモリ等の不揮発性記憶部２０３、第１カメラ３０１で撮影された画像を受信する第１カメラインタフェース２０４、第２カメラ３０２で撮影された画像を受信する第２カメラインタフェース２０５、表示部３０５に表示する画像を出力する表示出力インタフェース２０６、及び入力部３１０から出力される信号を受信する入力インタフェース２０７を有している。これらはバス２０９等で接続され互いに信号の送受信を行うことができる。ここで入力部３１０には、マウス、キーボード、タッチパネル、タッチセンサその他の入力装置、及び音声入力装置、加速度計、ＧＰＳ等のセンサの信号を出力する装置等を配置することができる。しかしながら、入力部３１０のない構成であってもよい。また、図１においては、第１カメラ３０１、第２カメラ３０２、表示部３０５及び入力部３１０は、制御部２００とそれぞれ実線又は破線で結ばれているが、無線により送受信を行う意味での接続を含むこととする。
　図２は、図１の制御部２００の機能ブロックについて示す図である。制御部２００は、ハードウェアがソフトウェアと協働して動作することにより複数の機能を実現する。この図に示されるように、制御部２００は、機器に付された機器を識別するための識別文字列、作業の対象であるかないかの識別、作業の対象である機器についての作業手順、作業内容及び作業結果等が保存される作業データベース２５８と、第１カメラ３０１で撮影された画像から文字列を抽出し、作業データベース２５８に保存された文字列と比較することにより、作業の対象となっている機器であるかどうかを判定する文字認識機器判定部２５１と、文字認識機器判定部２５１により、作業の対象となっている機器であることが判定された場合に、第２カメラ３０２に撮影の指示を行う撮影指示部２５２と、第２カメラ３０２で撮影された画像を加工して機器認識画像５４０（例えば、図７参照）を作成する画像加工部２５３と、入力部３１０からの入力信号、第２カメラ３０２で認識された画像や作業におけるタイミング等に基づいて機器認識画像５４０を表示するかどうかを判定する機器認識画像表示判定部２５４と、機器認識画像表示判定部２５４により機器認識画像５４０を表示する判定がされた場合に、機器認識画像５４０の表示を表示部３０５に指示する機器認識画像表示指示部２５５と、機器が作業対象であると判定された場合に、作業データベース２５８から作業手順や作業内容を取得し、表示部３０５への表示を指示する作業データ表示指示部２５６と、作業中又は作業終了時に作業結果について入力させ、作業データベース２５８に保存する作業結果入力保存部２５７と、を有している。
　図３は、作業支援装置１００の外観構成の一例について示す図である。この例では作業支援装置１００の一部は、人の頭部４９９に装着することのできる眼鏡型ウェアラブルデバイス４００として構成されている。眼鏡型ウェアラブルデバイス４００は、頭部取付具４０１を有し、頭部取付具４０１には、制御部２００、表示部３０５、第２カメラ３０２が取り付けられ、更に、入力部３１０の一つとなり得る加速度センサ３１３、音声受信部３１２、タッチセンサ３１１を有している。また、ペン型の第１カメラ３０１からの画像情報を無線通信で受信する無線通信部４０２を有している。無線通信部４０２は、第１カメラ３０１からの情報だけでなく、他の入力機器やセンサ機器等からの情報を受信することができる。表示部３０５は光源とＬＣＯＳ（Liquid Crystal on Silicon）を用いた投影型の表示装置を用いることができ、装着した人の視界を損なうことなく、空間中の投影面４０４に表示された画像を認識することができる。
（２）　文字認識機器判定処理
　図４は、作業支援装置１００を用いて、例えばデータセンタでサーバ装置等の機器の点検を行う場合について説明するための図である。この図に示されるように例えば作業箇所には５台の機器５０１～５０５が並んでいるものとする。また、作業者４８０は、図３の眼鏡型ウェアラブルデバイス４００を頭部に取り付けて、ペン型の第１カメラ３０１を手に持っている。作業者４８０は、作業対象である機器を確認して、その機器に応じた作業を行う。図５は、作業支援装置１００を用いて行う文字認識機器判定処理Ｓ１００について示すシーケンス図である。このシーケンス図に示されるように、まず作業者４８０は、入力部３１０を操作して作業対象である機器を判定する文字認識機器判定部２５１のプログラムを起動する指示を制御部２００に対して行う（Ｓ１０１、Ｓ１０２）。制御部２００は、文字認識機器判定部２５１のプログラムを起動する（Ｓ１０３）。ここで入力部３１０は、タッチセンサ３１１、音声受信部３１２その他の入力部３１０を用いることができる。またその他無線通信部４０２を介して入力されるものであってもよい。作業者４８０は、図４に示されるように、機器５０３が作業対象であるかどうかを確認するために、第１カメラ３０１を、機器５０３の型番やシリアル番号が記載されたラベルを含む撮影領域５３１に合わせて、第１カメラ３０１に対して撮影の指示を行う（Ｓ１０４）。第１カメラ３０１は、第１画像の撮影を行い（Ｓ１０５）、撮影された第１画像は制御部２００に送られる（Ｓ１０６）。
　第１画像を受信した制御部２００の文字認識機器判定部２５１は、第１画像から文字列を認識し（Ｓ１０７）、作業データベース２５８に保存された情報に基づいて、作業対象機器５０３であるかどうかを判定する（Ｓ１０８）。表示部３０５に対し判定結果の表示を指示し（Ｓ１０９）、表示部３０５は、判定結果を表示する（Ｓ１１０）。作業対象機器５０３であった場合には、例えば、図６のように、作業対象機器５０３である旨と共に、認識された作業対象機器５０３であることを示す文字列を示した画面を表示することとしてもよい。作業対象機器５０３でなかった場合には、ここで文字認識機器判定処理Ｓ１００を終了する。作業対象機器５０３であった場合には、制御部２００は、第２カメラ３０２に対し、撮影指示を行い（Ｓ１１１）、第２カメラ３０２は第２画像を撮影する（Ｓ１１２）。ここで図４に示されるように第２画像は、第１カメラ３０１を含む撮影領域５３２とすることができ、更に作業対象機器５０３だけでなく、他の機器５０１～５０２及び５０４～５０５を含むこととしてもよい。このような撮影領域５３２を有する第２カメラ３０２で撮影することにより、第１カメラ３０１を作業対象機器５０３を指し示すポインタとした画像とすることができる。撮影タイミングを作業者に認識させるため、音声又は画面表示により、撮影するタイミングのカウントダウンすることとしてもよい。
　撮影された第２画像は制御部２００に送信され（Ｓ１１３）、必要な場合には画像処理を用いて、より作業対象機器５０３を識別しやすい画像に加工され、例えば図７に示されるような機器認識画像５４０を生成する（Ｓ１１４）。しかしながら第２画像を加工することなく、第２画像をそのまま機器認識画像５４０としてもよい。この場合には、第２画像に含まれる第１カメラ３０１を作業対象機器５０３を指し示すポインタとして識別することができる。引き続き、制御部２００は表示部３０５に対し、機器認識画像５４０の表示を指示し（Ｓ１１５）、表示部３０５は、機器認識画像５４０を表示する（Ｓ１１６）。
　図７の機器認識画像５４０の例に示されるように、第１カメラ３０１が指し示す方向が作業対象機器５０３であり、作業者４８０は、作業を開始する際又は作業を再開する際に、この画像を表示させることにより、現在の作業対象機器５０３がどの機器であるかを確認することができる。なお、図７の表示画像に示されるように、機器認識画像５４０には、第１画像で認識した型番やシリアル番号の文字列と共に表示することとしてもよい。このような構成とすることにより、作業者４８０は、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者に作業対象となる機器を正確に認識することができる。
（３）　作業時の処理
　図８は、作業の対象となる機器に対して作業を行う際の制御部の処理について示すシーケンス図である。このシーケンス図に示されるように、作業中の処理は、主に作業手順表示処理Ｓ２１０、作業内容表示処理Ｓ２２０及び作業結果入力保存処理Ｓ２３０である。作業手順表示処理Ｓ２１０では、まず作業者４８０が、入力部３１０に対して作業手順の確認のための指示を行い（Ｓ２１１）、入力部３１０は制御部に対し作業手順表示の指示を行う（Ｓ２１２）。制御部２００は、作業対象機器５０３の作業手順を作業データベース２５８から取得し（Ｓ２１３）、表示部３０５に対して取得した作業手順を表示する指示を行う（Ｓ２１４）。表示部３０５は、受信した内容の作業手順を表示する（Ｓ２１５）。
　図９は、作業データベース２５８に保存された作業対象機器５０３の作業手順及び作業内容について示す作業内容表５８０である。この図に示されるように、作業内容表５８０には、例えば、機器の場所を示す欄、場所ごとの機器番号、型番及びシリアル番号（Ｓ／Ｎ）、作業手順である作業項目番号及び作業（点検）項目、並びに作業内容が含まれている。なお、作業内容表５８０はこれに限られることなく、適宜変更することができる。また、更に作業結果記入欄等を含むことができる。図１０は、ステップＳ２３５において表示される、ある作業対象機器５０３についての作業手順を示す表示の例について示す図である。この図に示されるように、この作業対象機器５０３として特定された機器について、ＭＡＣ（Media Access Control）アドレス、コネクタ及びケーブルの点検を行う旨が作業手順として列記されている。
　図８に戻り、作業内容表示処理Ｓ２２０では、作業者４８０が作業開始の指示を入力部３１０に対して行うと（Ｓ２２１）、入力部は作業開始の指示を制御部２００に対して行う（Ｓ２２２）。制御部２００は、作業対象機器５０３の作業内容を取得し（Ｓ２２３）、表示部３０５に対し、作業内容の表示の指示を行う（Ｓ２２４）。表示部３０５は、作業内容を表示する（Ｓ２２５）。ここで作業内容は、作業手順で表示された項目の一つずつであることとしてもよく、作業の進捗に従って一項目ずつ表示することとしてもよい。作業内容が表示されると、作業者４８０は表示された作業内容に対応する作業を行う。
　引き続き、作業結果入力保存処理Ｓ２３０について説明する。作業者４８０は表示された作業内容に対応する作業を終了すると、入力部３１０を用いて作業の結果の入力を行い（Ｓ２３１）、入力部３１０は、制御部２００に対し、入力された内容を送信し（Ｓ２３２）、例えば作業内容表５８０の対応する欄に作業結果を記録・保存する（Ｓ２３３）。続いて、入力内容確認のため、作業結果を表示する指示を表示部３０５に対して行い（Ｓ２３４）、表示部３０５は作業結果を表示する（Ｓ２３５）。以上、作業時の処理の一例について述べたが、作業支援装置１００の処理は、作業手順表示処理Ｓ２１０、作業内容表示処理Ｓ２２０及び作業結果入力保存処理Ｓ２３０に限られず、また作業手順表示処理Ｓ２１０、作業内容表示処理Ｓ２２０及び作業結果入力保存処理Ｓ２３０の内容もこれに限られない。
（４）　機器認識画像の表示の例
　図１１は、眼鏡型ウェアラブルデバイスが全視界に渡って表示される場合に、一部において機器認識画像５４０を表示する例について示す図である。この図に示されるように、視界５４２において作業機器を直視するエリアの他に、作業内容を表示する画面の視野の一部において機器認識画像５４０を表示させるエリアを設けることにより、作業対象機器５０３から視線を離して戻した際にも、作業者４８０にすぐに作業対象機器５０３を認識させることができる。
　図１２は、第２画像において、作業者４８０の手及び第１カメラ３０１の部分を削除して、ポインティング画像５５２で作業対象機器５０３を指し示すようにした機器認識画像５４０について示す図である。このような画像を用いることにより、作業者４８０により分かりやすく作業対象機器５０３を認識させることができる。以下、第２画像から機器認識画像５４０に加工する画像処理について説明する。
　図１３Ａは、第１カメラ３０１により撮影された第１画像に基づいて作業対象機器５０３であることが判定された際に、第２カメラ３０２により撮影された第２画像である。図１３Ｂは、第２画像撮影の後、第１カメラ３０１を持つ手が下げられ、第２カメラ３０２の視野に第１カメラ３０１及び手が入らなくなったときの画像である。画像加工部２５３は、このような図１３Ｂの画像において、図１３Ａの第２画像の第１カメラ３０１が指し示す位置に、ポインティング画像５５２を張り付ける加工を行うことにより、図１２の機器認識画像５４０を作成する画像処理を行うことができる。
　図１４及び１５は、図１２の機器認識画像５４０を作成する画像処理の別の例について示す図である。この例では、図１４に示されるように、第１カメラ３０１にＡＲ（Augmented Reality）コードを第２カメラ３０２で読み取りやすい位置に取り付けて、文字認識機器判定処理Ｓ１００を行う。図１５はこの際に撮影された第２画像をそのまま機器認識画像５４０とした場合に図である。画像加工部２５３は、このような図１５の画像の処理において、ＡＲコードを認識し、ＡＲコードをポインティング画像５５２に置き換えることにより、図１２のような画像とすることができる。
（５）　作業支援装置の外観構成の別の例
　図１６は、作業支援装置１００の外観構成の別の例について示す図である。この例では作業支援装置１００の一部は、タブレット端末６００で構成されている。タブレット端末６００は、制御部２００、表示部３０５、第２カメラ３０２を有し、更に、入力部３１０の一つとなり得る加速度センサ３１３、音声受信部３１２、タッチパネル６１１を有している。また、作業者４８０の頭部に取り付けられた第２カメラ３０２からの画像情報を無線通信で受信する無線通信部４０２を有している。無線通信部４０２は、第２カメラ３０２からの情報だけでなく、他の入力機器やセンサ機器等からの情報を受信することができる。図１７は、第２画像が機器認識画像５４０として表示部３０５に表示された画像であり、図１８は、第２画像を機器認識画像５４０としてタブレット端末６００の表示部３０５に表示させ、作業対象機器５０３について確認しているときの図である。このような構成であっても、作業者４８０は、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識することができる。
（６）　機器認識画像を表示する判定
　図１９～２６Ｂは、作業者４８０の作業中に、作業対象機器５０３から視線を離した場合に、再び作業を開始するために機器認識画像５４０を表示部３０５に表示させる処理について説明するための図である。
　図１９は、作業者４８０の操作により機器認識画像５４０を表示部３０５に表示する処理Ｓ３１０のシーケンス図である。この図に示されるように、作業者４８０は、ボタンや眼鏡型ウェアラブルデバイス４００の紐状の入力装置やタッチセンサ、タブレット端末６００のタッチパネル等の入力部３１０を操作して機器認識画像５４０の表示を指示する（Ｓ３１１）。入力部３１０は制御部２００に機器認識画像５４０の表示指示を行い（Ｓ３１２）、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３１３）。表示部３０５は機器認識画像５４０を表示する（Ｓ３１４）。これにより保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。
　図２０は、音声認識により機器認識画像５４０を表示部３０５に表示する処理Ｓ３２０のシーケンス図である。この図に示されるように、作業者４８０は、眼鏡型ウェアラブルデバイス４００の音声受信部３１２やタブレット端末６００の音声受信部３１２等の音声受信部３１２を介して音声により、予め定められた機器認識画像５４０の表示の音声指示を行う（Ｓ３２１）。音声を受信した音声受信部３１２は制御部２００に音声信号を送信し（Ｓ３２２）、制御部２００の機器認識画像表示判定部２５４は、音声認識により機器認識画像５４０の表示を指示であることを判定すると（Ｓ３２３）、制御部２００の機器認識画像表示指示部２５５は表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３２４）。表示部３０５は機器認識画像５４０を表示する（Ｓ３２５）。したがって、音声による指示の受信により、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。
　図２１は、画像認識により機器認識画像５４０を表示部３０５に表示する処理Ｓ３３０のシーケンス図である。この図に示されるように、作業者４８０は、第２カメラ３０２に撮影されるようにジェスチャのような手の動きなどにより予め定められた機器認識画像５４０の表示の指示を行う（Ｓ３３１）。手の動きを撮影した第２カメラは制御部２００に動画像を送信し（Ｓ３３２）、制御部２００の機器認識画像表示判定部２５４は、動画像を解析し機器認識画像５４０の表示を指示であることを判定すると（Ｓ３３３）、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３３４）。表示部３０５は機器認識画像５４０を表示する（Ｓ３３５）。ここで、動画像の解析には、前フレームとの差分を解析したり、特徴点照合やオプティカルフロー等の動画像解析処理を用いることができる。これにより保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。
　図２２は、加速度センサ３１３等のモーションセンサの出力により機器認識画像５４０を表示部３０５に表示する処理Ｓ３４０のシーケンス図である。この図に示されるように、作業者４８０は、例えば、眼鏡型ウェアラブルデバイス４００であれば加速度センサ３１３が頭部にあるため、頭部を予め定められた動きで動かすことにより、また、タブレット端末６００であればタブレット端末６００内部に加速度センサ３１３があるためタブレット端末６００を所定の姿勢、例えば、タブレット端末６００を立てる等とすることにより、予め定められた機器認識画像５４０の表示の指示を行う（Ｓ３４１）。加速度を検知した加速度センサ３１３は制御部２００に検知した信号を送信し（Ｓ３４２）、制御部２００の機器認識画像表示判定部２５４は、信号を解析し機器認識画像５４０の表示を指示であることを判定すると（Ｓ３４３）、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３４４）。表示部３０５は機器認識画像５４０を表示する（Ｓ３４５）。なお、加速度センサ３１３の他、ＧＰＳ等の位置センサ、角速度センサ等のモーションセンサを用いてもよく、またこれらを組み合わせて用いることとしてもよい。したがって、加速度センサからの信号の受信により保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。
　図２３は、図２２とは別の形態に係る、加速度センサ等の姿勢センサの出力により機器認識画像５４０を表示部３０５に表示する処理Ｓ４００のシーケンス図である。この形態では、眼鏡型ウェアラブルデバイス４００のように加速度センサ３１３が頭部にあるものを用い、第２画像の撮影時の同様の方向を向いているか否かにより表示を切り替えることとしている。このシーケンス図に示されるように、まず加速度センサ３１３等の姿勢センサにより検知された信号が制御部２００に通知され（Ｓ４０１）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示開始判定処理Ｓ４１０を行う。
　図２４Ａは、機器認識画像表示開始判定処理Ｓ４１０のシーケンス図である。この図に示されるように、機器認識画像表示開始判定処理Ｓ４１０では、まず、加速度センサ３１３等の姿勢センサにより通知された信号に基づいて、姿勢が静止状態であるか否かを判定する（Ｓ４１１）。ここで静止状態は、姿勢センサの信号が完全に一定している場合なだけでなく、姿勢センサの信号の変化が所定の範囲内の変化である場合を含んでいる。ステップＳ４１１において静止状態であると判定された場合には、機器認識画像表示開始判定処理Ｓ４１０を終了する。静止状態であると判定されなかった場合には、姿勢センサの向きが第２画像の撮影時と同様であるかどうかを判定する（Ｓ４１２）。この場合には方位センサ等の情報も用いることができる。ここで「第２画像の撮影時と同様」とは、完全に同じ向きであるだけでなく、例えば同じ向きから２０度以内の角度の差の範囲等、同じ向きを含む所定の範囲を含むものである。第２画像の撮影時と同様の方向と判定された場合には、機器認識画像表示開始判定処理Ｓ４１０を終了する。第２画像の撮影時と同様の方向と判定されなかった場合には、機器認識画像表示開始の判定を行い（Ｓ４１３）、機器認識画像表示開始判定処理Ｓ４１０を終了する。
　図２３に戻り、機器認識画像表示開始判定処理Ｓ４１０において、機器認識画像表示開始の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示開始を指示する（Ｓ４０３）。表示部３０５は機器認識画像５４０を表示する（Ｓ４０４）。
　次に、更に加速度センサ３１３等の姿勢センサにより検知された信号が制御部２００に通知されると（Ｓ４０５）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示終了判定処理Ｓ４２０を行う。
　図２４Ｂは、機器認識画像表示終了判定処理Ｓ４２０のシーケンス図である。この図に示されるように、機器認識画像表示終了判定処理Ｓ４２０では、まず、加速度センサ３１３等の姿勢センサにより通知された信号に基づいて、姿勢センサの向きが第２画像の撮影時と同様であるかどうかを判定する（Ｓ４２１）。この場合には図２４Ａと同様に方位センサ等の情報も用いることができる。第２画像の撮影時と同様の方向と判定されなかった場合には、機器認識画像表示終了判定処理Ｓ４２０を終了する。第２画像の撮影時と同様の方向と判定された場合には、姿勢が静止状態であるか否かを判定する（Ｓ４２２）。ここで静止状態であると判定されなかった場合には、機器認識画像表示終了判定処理Ｓ４２０を終了する。静止状態であると判定された場合には、機器認識画像表示終了の判定を行い（Ｓ４２３）、機器認識画像表示終了判定処理Ｓ４２０を終了する。
　図２３に戻り、機器認識画像表示終了判定処理Ｓ４２０において、機器認識画像表示終了の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示終了を指示する（Ｓ４０７）。表示部３０５は機器認識画像５４０の表示を終了する（Ｓ４０８）。なお、加速度センサ３１３の他、ＧＰＳ等の位置センサ、角速度センサ、方位センサ等の姿勢センサを用いてもよい。したがって加速度センサからの信号の受信により、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。また、姿勢センサからの信号が第２画像撮影時信号から所定の範囲である場合に、機器認識画像５４０の表示を開始し、第２画像撮影時信号の所定の範囲から外れた場合に、機器認識画像５４０の表示を終了するため、作業者４８０が機器を認識する必要がある場合にのみ、機器認識画像５４０を表示することができる。
　図２５は、図２１とは別の形態に係る、画像認識により機器認識画像５４０を表示部３０５に表示する処理Ｓ５００のシーケンス図である。この形態では、頭部に取り付けられた視線カメラである第２カメラ３０２で撮影された画像を用い、撮影された画像が機器認識画像５４０又は第２画像と同様の画像であるか否かにより表示を切り替えることとしている。このシーケンス図に示されるように、まず第２カメラ３０２により撮影された画像データが制御部２００に送信され（Ｓ５０１）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示開始判定処理Ｓ５１０を行う。
　図２６Ａは、機器認識画像表示開始判定処理Ｓ５１０のシーケンス図である。この図に示されるように、機器認識画像表示開始判定処理Ｓ５１０では、まず、制御部２００で受信した画像データを取得し（Ｓ５１１）、取得した画像データに基づいて、オプティカルフローを検知し（Ｓ５１２）。画像が静止状態であるかどうかを判定する（Ｓ５１３）。ここで画像が静止状態と判定された場合には、ステップＳ５１１に戻り、次の画像データを取得する。静止状態と判定されなかった場合には、取得した画像を第２画像又は機器認識画像５４０と照合し（Ｓ５１４）、類似度が閾値以上であるかどうかを判定する（Ｓ５１５）。類似度が閾値以上である場合には、ステップＳ５１１に戻り、次の画像データを取得する。類似度が閾値未満である場合には、機器認識画像表示開始の判定を行い（Ｓ５１６）、機器認識画像表示開始判定処理Ｓ５１０を終了する。ここで静止状態には、連続して取得する画像が完全に一致するものだけでなく、例えば連続して取得する画像の半分や２／３以上がほぼ同じ視野である等により静止状態と判定する場合を含むものである。
　図２５に戻り、機器認識画像表示開始判定処理Ｓ５１０において、機器認識画像表示開始の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示開始を指示する（Ｓ５０３）。表示部３０５は機器認識画像５４０を表示する（Ｓ５０４）。
　次に、第２カメラ３０２により撮影された画像データが制御部２００に送信され（Ｓ５０５）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示終了判定処理Ｓ５２０を行う。
　図２６Ｂは、機器認識画像表示終了判定処理Ｓ５２０のシーケンス図である。この図に示されるように、機器認識画像表示終了判定処理Ｓ５２０では、まず、制御部２００で受信した画像データを取得し（Ｓ５２１）、取得した画像データに基づいて、オプティカルフローを検知し（Ｓ５２２）。画像が静止状態であるかどうかを判定する（Ｓ５２３）。ここで画像が静止状態と判定されなかった場合には、ステップＳ５２１に戻り、次の画像データを取得する。静止状態と判定された場合には、取得した画像を第２画像又は機器認識画像５４０と照合し（Ｓ５２４）、類似度が閾値以上であるかどうかを判定する（Ｓ５２５）。類似度が閾値未満である場合には、ステップＳ５２１に戻り、次の画像データを取得する。類似度が閾値以上である場合には、機器認識画像表示終了の判定を行い（Ｓ５２６）、機器認識画像表示終了判定処理Ｓ５２０を終了する。ここで静止状態には、連続して取得する画像が完全に一致するものだけでなく、例えば連続して取得する画像の半分や２／３以上がほぼ同じ視野である等により静止状態と判定する場合を含むものである。
　図２５に戻り、機器認識画像表示終了判定処理Ｓ５２０において、機器認識画像表示終了の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示終了を指示する（Ｓ５０７）。表示部３０５は機器認識画像５４０の表示を終了する（Ｓ５０８）。したがって、第２カメラ３０２の撮影画像の処理の結果に基づいた信号の受信により保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。また、第２カメラ３０２からの信号である画像データが、第２画像撮影時信号である第２画像又は機器認識画像５４０の画像データと所定の範囲（類似度が閾値以上）にある場合に、機器認識画像５４０の表示を開始し、第２画像又は機器認識画像５４０の所定の範囲から外れた場合に、機器認識画像５４０の表示を終了するため、作業者４８０が機器を認識する必要がある場合にのみ、機器認識画像５４０を表示することができる。
（７）本実施の形態の効果
　本実施の形態においては、作業支援装置１００は、機器５０３に付された文字列を含む第１画像を撮影する第１カメラ３０１と、文字列に向けられている第１カメラ３０１を含む第２画像を撮影する第２カメラ３０２と、第１画像に含まれる文字列を認識し、文字列に基づいて機器５０３が作業の対象であるかどうかを判定し、作業の対象である場合に、第２カメラ３０２に対して撮影を指示する制御部２００と、制御部２００の指示により第２画像に基づく機器認識画像５４０を表示する表示部３０５と、を備えるため、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる。
　本発明は、作業支援装置に関し、例えば、多数の機器が設置された場所での保守点検等の作業を支援する装置に適用することができる。
１００　作業支援装置、２００　制御部、２０２　揮発性記憶部、２０３　不揮発性記憶部、２０４　第１カメラインタフェース、２０５　第２カメラインタフェース、２０６　表示出力インタフェース、２０７　入力インタフェース、２０９　バス、２５１　文字認識機器判定部、２５２　撮影指示部、２５３　画像加工部、２５４　機器認識画像表示判定部、２５５　機器認識画像表示指示部、２５６　作業データ表示指示部、２５７　作業結果入力保存部、２５８　作業データベース、３０１　第１カメラ、３０２　第２カメラ、３０５　表示部、３１０　入力部、３１１　タッチセンサ、３１２　音声受信部、３１３　加速度センサ、４００　眼鏡型ウェアラブルデバイス、４０１　頭部取付具、４０２　無線通信部、４０４　投影面、４８０　作業者、４９９　頭部、５０３　作業対象機器、５４０　機器認識画像、５５２　ポインティング画像、５８０　作業内容表、６００　タブレット端末、６１１　タッチパネル

Claims (12)

  1. 　機器に付された文字列を含む第１画像を撮影する第１カメラと、
    　前記文字列に向けられている前記第１カメラを含む第２画像を撮影する第２カメラと、
    　前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定し、前記作業の対象である場合に、前記第２カメラに対して撮影を指示する制御部と、
    　前記制御部の指示により前記第２画像に基づく機器認識画像を表示する表示部と、を備える作業支援装置。
  2. 　請求項１に記載の作業支援装置において、
    　前記機器認識画像は、加工された前記第２画像である、
    　ことを特徴とする作業支援装置。
  3. 　請求項２に記載の作業支援装置において、
    　前記機器認識画像は、前記第２画像に写っている前記第１カメラをポインティング画像に差し替えた画像である
    　ことを特徴とする作業支援装置。
  4. 　請求項１乃至３のいずれか一項に記載の作業支援装置において、
    　前記制御部は、入力される信号の受信に基づいて前記機器認識画像を表示する指示を行う、
    　ことを特徴とする作業支援装置。
  5. 　請求項４に記載の作業支援装置において、
    　前記入力される信号は、音声による指示の受信に基づくものである
    　ことを特徴とする作業支援装置。
  6. 　請求項４に記載の作業支援装置において、
    　前記入力される信号は、加速度センサからの信号の受信に基づくものである
    　ことを特徴とする作業支援装置。
  7. 　請求項４に記載の作業支援装置において、
    　前記入力される信号は、前記第２カメラの撮影画像の処理の結果に基づいた信号の受信に基づくものである
    　ことを特徴とする作業支援装置。
  8. 　請求項４に記載の作業支援装置において、
    　前記入力される信号が、前記第２画像撮影時の信号である第２画像撮影時信号と比較して、前記第２画像撮影時信号から所定の範囲である場合に、前記機器認識画像の表示を開始し、
    　前記入力される信号が、前記第２画像撮影時の信号である第２画像撮影時信号と比較して、前記所定の範囲から外れた場合に、前記機器認識画像の表示を終了する、
    　ことを特徴とする作業支援装置。
  9. 　請求項４に記載の作業支援装置において、
    　前記表示部及び前記第２カメラは、頭部取付具に固定されている
    　ことを特徴とする作業支援装置。
  10. 　請求項４に記載の作業支援装置において、
    　前記表示部はタッチパネル入力部を有し、前記第１カメラと一体化している
    　ことを特徴とする作業支援装置。
  11. 　請求項４に記載の作業支援装置において、
    　前記作業の項目に対する結果を前記制御部に対して入力する入力部、を更に備え、
    　前記制御部は、前記作業の対象であることが判定した場合に、前記表示部に前記作業の項目を表示させる
    　ことを特徴とする作業支援装置。
  12. 　機器に付された文字列を含む第１画像を撮影し、
    　前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定して、前記作業の対象である場合に第２画像の撮影を指示し、
    　前記指示に基づいて、前記文字列に向けられている前記第１画像を撮影した第１カメラを含む第２画像を撮影し、
    　前記第２画像に基づく機器認識画像を表示する、作業支援方法。
PCT/JP2017/016870 2016-05-13 2017-04-27 作業支援装置 WO2017195646A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-097498 2016-05-13
JP2016097498A JP6652446B2 (ja) 2016-05-13 2016-05-13 作業支援装置

Publications (1)

Publication Number Publication Date
WO2017195646A1 true WO2017195646A1 (ja) 2017-11-16

Family

ID=60267219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016870 WO2017195646A1 (ja) 2016-05-13 2017-04-27 作業支援装置

Country Status (2)

Country Link
JP (1) JP6652446B2 (ja)
WO (1) WO2017195646A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021068286A (ja) * 2019-10-25 2021-04-30 三菱重工業株式会社 表示装置、表示システム、表示方法及びプログラム
JP2022094428A (ja) * 2020-12-15 2022-06-27 Ｎｅｃフィールディング株式会社 作業支援装置、システム、方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007333279A (ja) * 2006-06-14 2007-12-27 Sumitomo Metal Ind Ltd 設備点検装置及び設備点検方法
JP2015106356A (ja) * 2013-12-02 2015-06-08 株式会社日立製作所 設備機器の保守システム
JP2015181024A (ja) * 2015-05-14 2015-10-15 オムロン株式会社 作業管理システムおよび作業管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007333279A (ja) * 2006-06-14 2007-12-27 Sumitomo Metal Ind Ltd 設備点検装置及び設備点検方法
JP2015106356A (ja) * 2013-12-02 2015-06-08 株式会社日立製作所 設備機器の保守システム
JP2015181024A (ja) * 2015-05-14 2015-10-15 オムロン株式会社 作業管理システムおよび作業管理方法

Also Published As

Publication number Publication date
JP2017204251A (ja) 2017-11-16
JP6652446B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
US10827230B2 (en) Information processing apparatus and information processing method
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
JP6279131B2 (ja) 表示システム及び情報処理方法
EP2624217A1 (en) Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program
JP2013076924A5 (ja)
WO2020261927A1 (ja) 提示システム、提示装置、及び、提示方法
WO2020012955A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2018158812A1 (ja) 点検支援装置、点検支援方法およびプログラム
JP2019061590A (ja) 情報処理装置、情報処理システム及びプログラム
WO2017195646A1 (ja) 作業支援装置
JP2006276748A (ja) 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JP2020194493A (ja) 介護設備又は病院用の監視システム及び監視方法
JP2020144776A (ja) 作業支援システム、作業支援装置、及び作業支援方法
JP6765846B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6751777B2 (ja) コンピュータプログラム、表示装置、頭部装着型表示装置
JP6515473B2 (ja) 動作指示システム、動作指示方法、および、動作指示管理サーバ
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
US20220070365A1 (en) Mixed reality image capture and smart inspection
JP6436606B1 (ja) 医療映像システム
JP2017211746A (ja) 点検作業支援装置及び点検作業支援方法
JP2020008981A (ja) 支援装置及びプログラム
JP7321459B2 (ja) 携帯端末、操作方法、及びプログラム
CN111373741B (zh) 医疗安全系统
US20230319239A1 (en) Network system, information processing method, and control device
JP2019040357A (ja) 画像処理装置、画像処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17796007

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17796007

Country of ref document: EP

Kind code of ref document: A1