WO2020179328A1 - 作業支援システム - Google Patents

作業支援システム Download PDF

Info

Publication number
WO2020179328A1
WO2020179328A1 PCT/JP2020/004254 JP2020004254W WO2020179328A1 WO 2020179328 A1 WO2020179328 A1 WO 2020179328A1 JP 2020004254 W JP2020004254 W JP 2020004254W WO 2020179328 A1 WO2020179328 A1 WO 2020179328A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
unit
worker
operation target
support system
Prior art date
Application number
PCT/JP2020/004254
Other languages
English (en)
French (fr)
Inventor
貴志 新藤
Original Assignee
三浦工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三浦工業株式会社 filed Critical 三浦工業株式会社
Publication of WO2020179328A1 publication Critical patent/WO2020179328A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management

Definitions

  • the present invention relates to a work support system.
  • the present application claims priority based on Japanese Patent Application No. 2019-037974 filed in Japan on March 1, 2019, the content of which is incorporated herein.
  • Patent Document 1 includes an imaging device (camera) that captures a working state (an operation target operated by an operator) and a sensor (a motion sensor attached to an operator's wrist or the like) that detects an operator's movement.
  • a display device wearable display device such as glasses or goggles
  • a work support system equipped with an information processing device for determining whether or not the procedure is consistent with the above procedure has been proposed.
  • a code attached to an operation target is displayed on a display device so that the camera can read the code, and a work procedure related to the operation target is displayed on the display device based on the read code. ..
  • reading a code for each operation target may significantly reduce work efficiency. For example, in maintenance of a boiler room, an operator needs to open and close a large number of valves arranged in the room. The opening and closing operation of each valve is completed in an extremely short time, but if a cord is attached to each valve and read by a camera, the working time is greatly increased.
  • an object of the present invention is to provide a work support system capable of confirming the suitability of work without lowering work efficiency.
  • the work support system is a work support system that supports a work in which a worker operates a plurality of operation targets, and is attached to a position information acquisition unit that acquires the position information of the worker and the worker.
  • An imaging unit that captures the operation target operated by the worker, a work information storage unit that stores position information, image information, and operation contents of the plurality of operation targets, and a position acquired by the position information acquisition unit.
  • An operation target identification unit that specifies the operation target operated by the worker based on information and position information stored in the work information storage unit, an image taken by the imaging unit, and an image stored by the work information storage unit. It is provided with an operation determination unit that determines the state of the operation target based on the information.
  • the work support system according to the present invention may further include an input device for inputting that the worker has finished the operation on the operation target.
  • the input device may recognize the end of operation of the operation target by voice recognition.
  • the work support system according to the present invention may further include an end approval unit that approves the end of work when it is determined by the operation determination unit that all the operations to be performed on the plurality of operation targets are appropriate. ..
  • the operation determination unit determines that the image of the operation target at the start of work and the image of the state at the end of the work show the same state. In some cases, it may be determined that the operation of the operation target is appropriate.
  • the work support system may further include a flow line display unit that displays the movement route of the worker based on the position information acquired by the position information acquisition unit.
  • the work support system it is possible to confirm whether or not all the necessary operations have been properly performed by the operation determination unit determining the state of the operation target based on the image of the operation target. It is possible to prevent forgetting to operate the operation target. Further, in the work support system according to the present invention, since the operation target identification unit specifies the operation target to be operated by the worker based on the position information, the work support system performs a special operation for the worker in order to recognize the operation target. Does not require. Therefore, the work support system according to the present invention can confirm the suitability of the work without lowering the work efficiency.
  • FIG. 1 is a block diagram showing a configuration of a work support system 1 according to an embodiment of the present invention.
  • the work support system 1 of the present embodiment is a work support system that supports the work of a worker operating a plurality of operation targets. Specifically, the work support system 1 supports the maintenance work of the boiler equipment performed by the worker (serviceman).
  • boiler equipment As the work target equipment having a plurality of operation targets, for example, boiler equipment can be cited. As shown in FIG. 2, the boiler equipment can have a plurality of switches S1 and S2 and a plurality of valves V1 and V2 as a plurality of operation targets.
  • the work support system 1 confirms whether or not the worker has properly operated the plurality of operation targets S1, S2, V1 and V2.
  • the boiler equipment illustrated in FIG. 2 includes a boiler B, a water supply tank R for storing make-up water to be supplied to the boiler B, and a switchboard C for supplying power to the boiler B.
  • the boiler equipment is arranged in the main switch S1 of the boiler B, the power switch S2 of the switchboard C, and the piping for supplying make-up water from the water supply tank R to the boiler B as operation targets whose operation is confirmed by the work support system 1. It has a water supply valve V1 which is an operation target to be operated, and a fuel valve V2 which is an operation target arranged in a pipe for supplying fuel to the boiler B.
  • the work support system 1 includes a position information acquisition unit 2, an imaging unit 3, an input device 4, a work information storage unit 5, an operation target identification unit 6, an operation determination unit 7, an end approval unit 8, and a display.
  • the control unit 9 and the display device 10 are provided.
  • the work support system 1 at least the position information acquisition unit 2, the image pickup unit 3, and the input device 4 are incorporated into a device worn or carried by an operator or the like.
  • the work information storage unit 5, the operation target identification unit 6, the operation determination unit 7, the end approval unit 8 and the display control unit 9 can be realized by causing a computer device having a CPU, a memory and the like to read the program. ..
  • the operation target identification unit 6, the operation determination unit 7, the end approval unit 8, and the display control unit 9 for example, a tablet computer, a smartphone, or the like is preferably used.
  • the position information acquisition unit 2, the input device 4, and the display device 10 may also be realized by the components of the computer device.
  • the work information storage unit 5, the operation target identification unit 6, the operation determination unit 7, the end approval unit 8, and the display control unit 9 are functionally distinct and need not be physically independent. There is also no need for a clear division in the program.
  • Position information acquisition unit 2 acquires the position information of the worker.
  • the position information acquisition unit 2 is incorporated in a device worn or carried by an operator, for example, a self-contained navigation positioning device, a positioning system using radio signal strength, a geomagnetic positioning system, a GPS (Global Positioning System). , IMES (Indoor Messeging System) or the like can be used as a device for specifying the position.
  • the self-sustaining navigation positioning device is a device that measures the amount of movement using an acceleration sensor, an angular velocity sensor, a magnetic sensor, or the like.
  • a beacon signal is wirelessly transmitted or unilaterally transmitted to a plurality of master units distributed in a work place (for example, a boiler room), and a beacon signal is transmitted from the master unit according to the wireless signal strength.
  • a system for measuring the distance is conceivable.
  • the geomagnetic positioning system is a system in which magnetic patterns of a work place are stored in a database and the position is specified by collating with magnetic data detected by a magnetic sensor worn or carried by an operator.
  • the position information acquisition unit 2 may acquire position information by combining these devices (systems).
  • the upper limit of the error of the position information acquired by the position information acquisition unit 2 is preferably 1.0 m, more preferably 0.3 m, and even more preferably 0.1 m.
  • the image pickup unit 3 is attached to a worker and photographs an operation target to be operated by the worker (including an operation target to be operated now and an operation target immediately after the end of the operation).
  • the imaging unit 3 can be configured by a wearable camera that captures an image of the field of view of the worker, for example, a camera provided on a helmet, glasses, or the like used by the worker.
  • the image pickup unit 3 may be configured to be connected to another component by a wired or wireless communication means.
  • the image pickup unit 3 may take a picture at a timing instructed by the operator using the input device 4, but the image pickup unit 3 continuously takes a picture so that the worker does not have to be aware of the picture. Typically, it is preferable to shoot a moving image. Further, when it is determined that the operator has approached the operation target S1, S2, V1, V2 based on the position information acquired by the position information acquisition unit 2, the imaging unit 3 has approached the operation target S1, S2, V1, V2 (for example, when the operator has approached within 1 m). You may start shooting.
  • the input device 4 can be used for recording necessary information during work (stored in the work information storage unit 5 described later), and for inputting that the worker has finished the operation on the operation target. Can also be used.
  • the input device 4 can be any input means provided on a device or the like worn or carried by an operator, but preferably, voice recognition is used to recognize the timing of image capturing by the image capturing unit 3, particularly an operation by the operator. It is configured to be able to recognize the operation end of the objects S1, S2, V1, V2. Specifically, the input device 4 can be configured to recognize the voice of pointing and calling performed when the operator operates the operation targets S1, S2, V1 and V2.
  • the timing of shooting by the imaging unit 3 can be made appropriate, so that the operation suitability determination by the operation determination unit 7, which will be described later, becomes more accurate.
  • the input device 4 recognizes the voice such as the pointing and calling, not only the operator is not required to perform an extra operation, but also the determined pointing and calling can be surely performed. Work can be made more accurate.
  • the input device 4 may be used to input that the manager of the work target equipment has confirmed the completion of the work for the completion of the work by the end approval unit 8 described later.
  • the work information storage unit 5 stores the position information, image information, and operation contents of the operation targets S1, S2, V1, and V2.
  • the image information stored in the work information storage unit 5 may include pattern information that allows the operation targets S1, S2, V1, V2 to be recognized by performing image processing on the captured image of the imaging unit 3, and the recognition result thereof. That is, the work information storage unit 5 stores information necessary for confirming the work content of the worker and the work history of the worker confirmed based on information such as position information and image information. Further, the operation content stored in the work information storage unit 5 may include a correct state change of the operation targets S1, S2, V1 and V2 in each process of the work.
  • FIGS. 3 and 4 show an image of the water supply valve V1 to be operated.
  • the water supply valve V1 shown in the figure is a ball valve, and has a valve body M having a built-in valve body and pipes connected to both sides thereof, and an operating lever L connected to the valve body and attached to the outside of the valve body M. ..
  • the valve body closes the flow path if the operation lever L is vertical to the valve body M and the pipes connected to both sides thereof as shown in FIG. If L is parallel to the valve body M, the valve body opens the flow path. Therefore, the work information storage unit 5 is an image necessary for the operation determination unit 7 to be able to pattern-recognize whether the water supply valve V1 is in the open state or the closed state based on the captured image of the imaging unit 3. Store information.
  • the work information storage unit 5 may store a locus of movement of a worker (change of position information over time) T as numerical data as shown in FIG. This makes it possible to confirm the flow line of the worker when the work is efficiently performed in a relatively short time, and can be used as a reference for improving the work efficiency of other workers.
  • the operation target operated by the operator is based on the position information acquired by the position information acquisition unit 2 and the position information of the operation targets S1, S2, V1 and V2 stored in the work information storage unit 5. Identify which one.
  • the operation target specifying unit 6 may determine that the operation target existing within 1 m from the position of the worker acquired by the position information acquiring unit 2 is the operation target operated by the worker.
  • the operation target identification unit 6 is further operated by the operator by comparing the image captured by the imaging unit 3 with the image information of the operation targets S1, S2, V1 and V2 stored in the work information storage unit 5.
  • the operation target to be operated may be specified. For example, when there are a plurality of operation targets in the vicinity of the worker's position acquired by the position information acquisition unit 2, the operation target identification unit 6 stores the image information stored in the work information storage unit 5 for the plurality of operation targets.
  • the operation target to be operated by the operator may be specified by collating the image with the image of the operation target captured by the imaging unit 3. Specifically, it can be determined that the operation target has the same shape, the arrangement of surrounding objects (for example, piping, etc.) is the same, and the like are the operation targets operated by the operator.
  • the operation determination unit 7 determines the states of the operation targets S1, S2, V1 and V2 based on the image captured by the image capturing unit 3 and the image information stored in the work information storage unit 5. As a specific example, the operation determination unit 7 confirms from the image captured by the image pickup unit 3 whether the operation target S1, S2, V1, V2, for example, the water supply valve V1 is closed or open.
  • the operation determination unit 7 may further determine for each work process whether or not the states of the operation targets S1, S2, V1 and V2 have changed in accordance with the preset work procedure. In this way, by confirming the suitability of the operation of the operation targets S1, S2, V1 and V2 for each work process, if there is a mistake such as skipping one of the work processes, the operator can be warned. It can be easily confirmed by the operator later.
  • the end approval unit 8 may be configured to approve the end of work when it is determined by the operation determination unit 7 that all the operations to be performed on the plurality of operation targets S1, S2, V1 and V2 are appropriate. In this way, by obliging the worker to obtain the approval of the end of the work by the end approval unit 8, it is possible to ensure that the work is properly completed.
  • the end approval unit 8 operates when it is determined that the image of the operation target S1, S2, V1, V2 at the start of the work and the image of the state at the end of the work show the same state. It may be determined that the operation of the targets S1, S2, V1, V2 is appropriate. That is, when performing maintenance work on the work target equipment, by ensuring that the states of all the operation targets S1, S2, V1, V2 at the end of the work are the same as before the work start, It can be guaranteed to work as it was.
  • the end approval unit 8 may request confirmation of the manager of the work target equipment as a condition for approving the end of work.
  • the display control unit 9 displays the work procedure, work completion approval information, and the like on the display device 10. Further, the display control unit 9 functions as a flow line display unit that displays the movement route of the worker on the display device 10 based on the position information acquired by the position information acquisition unit 2 and stored in the work information storage unit 5. You may have.
  • the display control unit 9 may collect the position information of the workers stored in the other plurality of work support systems 1 and display the movement routes of the plurality of workers.
  • the display device 10 displays information according to the input from the display control unit 9. Therefore, the display device 10 can be configured to include a display device such as a liquid crystal panel or an organic EL panel.
  • the work support system 1 includes a position information acquisition unit that acquires position information of a worker, an imaging unit that is attached to the worker, and that captures an operation target operated by the worker.
  • a work information storage unit that stores position information, image information, and operation contents of a plurality of operation targets, and an operation performed by a worker based on the position information acquired by the position information acquisition unit and the position information stored in the work information storage unit It includes an operation target identification unit that identifies an object, and an operation determination unit that determines the state of the operation target based on the image taken by the imaging unit and the image information stored in the work information storage unit.
  • the work support system 1 it is possible to confirm whether or not all necessary operations have been appropriately performed by the operation determination unit determining whether or not the operation is appropriate based on the image of the operation target. Therefore, it is possible to prevent forgetting the operation of the operation target. Further, since the work support system 1 according to the present embodiment specifies the operation target operated by the worker based on the position information by the operation target specifying unit, the work support system 1 requires the worker to recognize the operation target. Does not require any special action. Therefore, the work support system 1 according to the present embodiment can confirm the suitability of the work without lowering the work efficiency.
  • the ball valve whose angle changes depending on the open/closed state has been described as the operation target, but the operation target may be, for example, a globe valve having a rotating handle.
  • the imaging unit captures a moving image
  • the operation determination unit is configured to determine the suitability of the work based on the rotation direction of the rotary handle in the moving image.
  • the input device, the end approval unit, the display control unit, and the display device have an arbitrary configuration. Further, the work information storage unit, the operation target identification unit, the operation determination unit, the end approval unit, the display control unit, and the display device may not be carried by the operator, and may be arranged in a place away from the work place. May be good.
  • the operation determination unit may not determine the suitability of the state change of the operation target in each work process.
  • the work support system of the present invention may have a speaker, a buzzer, etc. in order to provide the worker with information such as work contents by voice. Further, the work support system of the present invention may further include an alarm unit that issues a warning when the operation is not appropriate.

Abstract

本発明の一態様に係る作業支援システム（１）は、作業者が複数の操作対象を操作する作業を支援する作業支援システムであって、前記作業者の位置情報を取得する位置情報取得部（２）と、前記作業者に装着され、前記作業者が操作する前記操作対象を撮影する撮像部（３）と、前記複数の操作対象の位置情報、画像情報及び操作内容を記憶する作業情報記憶部（５）と、前記位置情報取得部（２）が取得した位置情報及び前記作業情報記憶部（５）が記憶する位置情報に基づいて前記作業者が操作する前記操作対象を特定する操作対象特定部（６）と、前記撮像部（３）が撮影した画像及び前記作業情報記憶部（５）が記憶する画像情報に基づいて前記操作対象の状態を判定する操作判定部（７）と、を備える。

Description

作業支援システム
　本発明は、作業支援システムに関する。本願は、２０１９年３月１日に日本に出願された特願２０１９－０３７９７４号に基づき優先権を主張し、その内容をここに援用する。
　各種の装置や設備のメンテナンス等の作業においては、作業者が複数の操作対象をすべて適切に操作したことを確認できるようにすることが望ましい。作業内容を確認する簡単な方法としては、予めチェックリストを作成しておき、作業者が各操作対象を操作した場合にチェックリストにチェックを書き入れる方法がある。しかしながら、チェック項目が多くなると、チェックリストの確認が煩雑となるため、作業効率が低下するという不都合がある。
　特許文献１には、作業の状態（作業者が操作した操作対象）を撮像する撮像装置（カメラ）と、作業者の動作を検知するセンサ（作業者の手首等に装着されるモーションセンサ）と、作業手順を表示する表示装置（眼鏡やゴーグルのようなウェアラブル表示装置）と、表示装置に作業手順を表示させ、撮像装置で撮像したデータとセンサで検知した作業者の動作とから予め定められた手順と一致しているかを判断する情報処理装置と、を備える作業支援システムが提案されている。
特開２０１８－１６９７６８号公報
　特許文献１に記載の作業支援システムでは、操作対象に貼付してあるコードをカメラで読み取らせるように表示装置に表示し、読み取ったコードに基づいて表示装置にその操作対象に関する作業手順を表示する。しかしながら、操作対象ごとにコードを読み取ることは、作業効率を大きく低下させる場合がある。例えばボイラ室のメンテナンス等では、作業者は、室内に多数配設されているバルブを開閉する必要がある。個々のバルブの開閉操作は極めて短時間で終了するが、それぞれのバルブにコードを貼付してカメラで読み取るようにすると、作業時間が大きく増大する。
　そこで、本発明は、作業効率を低下させることなく、作業の適否を確認できる作業支援システムを提供することを課題とする。
　本発明に係る作業支援システムは、作業者が複数の操作対象を操作する作業を支援する作業支援システムであって、前記作業者の位置情報を取得する位置情報取得部と、前記作業者に装着され、前記作業者が操作する前記操作対象を撮影する撮像部と、前記複数の操作対象の位置情報、画像情報及び操作内容を記憶する作業情報記憶部と、前記位置情報取得部が取得した位置情報及び前記作業情報記憶部が記憶する位置情報に基づいて前記作業者が操作する前記操作対象を特定する操作対象特定部と、前記撮像部が撮影した画像及び前記作業情報記憶部が記憶する画像情報に基づいて前記操作対象の状態を判定する操作判定部と、を備える。
　本発明に係る作業支援システムは、前記作業者が前記操作対象に対する操作を終了したことを入力する入力装置をさらに備えてもよい。
　本発明に係る作業支援システムにおいて、前記入力装置は音声認識により前記操作対象の操作終了を認知してもよい。
　本発明に係る作業支援システムは、前記操作判定部により前記複数の操作対象に対して行うべき操作がすべて適切であると判定された場合に作業終了を承認する終了承認部をさらに備えてもよい。
　本発明に係る作業支援システムにおいて、前記操作判定部は、それぞれの前記操作対象の作業開始時の状態を撮影した画像と作業終了時の状態を撮影した画像とが同じ状態を示すと判断される場合に前記操作対象の操作が適切であると判定してもよい。
　本発明に係る作業支援システムは、前記位置情報取得部が取得した位置情報に基づいて前記作業者の移動経路の表示を行う動線表示部をさらに備えてもよい。
　本発明に係る作業支援システムによれば、操作判定部が操作対象の画像に基づいて操作対象の状態を判定することによって、必要な操作をすべて適切に行ったかどうかを確認することができるので、操作対象の操作忘れを防止することができる。また、本発明に係る作業支援システムは、操作対象特定部が位置情報に基づいて作業者が操作する操作対象を特定するので、作業支援システムが操作対象を認識するために作業者に特別な動作を要求しない。このため、本発明に係る作業支援システムは、作業効率を低下させることなく、作業の適否を確認することができる。
本発明の一実施形態に係る作業支援システムの構成を示すブロック図である。 図１の作業支援システムを用いてメンテナンス作業が行われるボイラ室を示す模式平面図である。 図２のボイラ室の操作対象を例示する模式図である。 図３の操作対象の異なる状態を例示する模式図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。図１は、本発明の一実施形態に係る作業支援システム１の構成を示すブロック図である。
　本実施形態の作業支援システム１は、作業者が複数の操作対象を操作する作業を支援する作業支援システムである。具体的には、作業支援システム１は、作業者（サービスマン）が行うボイラ設備のメンテナンス作業を支援する。
　複数の操作対象を有する作業対象設備としては、例えばボイラ設備を挙げることができる。ボイラ設備は、図２に示すように、複数の操作対象として、複数のスイッチＳ１，Ｓ２及び複数のバルブＶ１，Ｖ２を有することができる。作業支援システム１は、作業者が複数の操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２を適切に操作したかどうかを確認する。
　詳しく説明すると、図２に例示するボイラ設備は、ボイラＢと、ボイラＢに供給する補給水を貯留する給水タンクＲと、ボイラＢに電源を供給する配電盤Ｃとを備える。ボイラ設備は、作業支援システム１によって操作が確認される操作対象として、ボイラＢのメインスイッチＳ１と、配電盤Ｃの電源スイッチＳ２と、給水タンクＲからボイラＢに補給水を供給する配管に配設される操作対象である給水バルブＶ１と、ボイラＢに燃料を供給する配管に配設される操作対象である燃料バルブＶ２とを有する。
　作業支援システム１は、位置情報取得部２と、撮像部３と、入力装置４と、作業情報記憶部５と、操作対象特定部６と、操作判定部７と、終了承認部８と、表示制御部９と、表示装置１０とを備える。作業支援システム１において、少なくとも位置情報取得部２、撮像部３及び入力装置４は、作業者に装着又は携帯される装置等に組み込まれる。また、作業情報記憶部５、操作対象特定部６、操作判定部７、終了承認部８及び表示制御部９は、ＣＰＵ、メモリ等を有するコンピュータ装置にプログラムを読み込ませることで実現することができる。この作業情報記憶部５、操作対象特定部６、操作判定部７、終了承認部８及び表示制御部９を実現するコンピュータ装置としては、例えばタブレットコンピュータ、スマートフォン等が好適に用いられる。この場合、位置情報取得部２、入力装置４及び表示装置１０も、コンピュータ装置が有する構成要素により実現されてもよい。なお、作業情報記憶部５、操作対象特定部６、操作判定部７、終了承認部８及び表示制御部９は、機能的に区別されるものであって、物理的に独立している必要はなく、プログラム上で明確に区分できる必要もない。
　位置情報取得部２は、作業者の位置情報を取得する。具体的には、位置情報取得部２は、作業者が装着又は携帯する装置等に組み込まれ、例えば自立航法測位装置、無線信号強度を用いた測位システム、地磁気測位システム、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）、ＩＭＥＳ（Ｉｎｄｏｏｒ　ＭＥｓｓａｇｉｎｇ　Ｓｙｓｔｅｍ）等を利用してその位置を特定する装置とすることができる。自立航法測位装置は、加速度センサ、角速度センサ、磁気センサ等を用いて移動量を測定する装置である。無線信号強度を用いた測位システムとしては、作業場所（例えばボイラ室）に分散して配置された複数の親機と無線通信又は一方的にビーコン信号を送出し、無線信号強度によって親機との距離を測定するシステムが考えられる。地磁気測位システムは、作業場所の磁力パターンをデータベース化しておき、作業者が装着又は携帯する磁気センサが検出した磁気データと照合して位置を特定するシステムである。位置情報取得部２は、これらの装置（システム）を組み合わせて位置情報を取得してもよい。
　位置情報取得部２が取得する位置情報の誤差の上限としては、１．０ｍが好ましく、０．３ｍがより好ましく、０．１ｍがさらに好ましい。位置情報の誤差を前記上限以下とすることによって、操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２を正確に判別することができる。
　撮像部３は、作業者に装着され、作業者が操作する操作対象（これから操作しようとする操作対象及び操作終了直後の操作対象を含む）を撮影する。撮像部３は、作業者の視野の画像を撮影するウェアラブルカメラ、例として、作業者が使用するヘルメット、メガネ等に設けられるカメラによって構成することができる。撮像部３は、有線又は無線通信手段により他の構成要素に接続される構成とすることができる。
　撮像部３は、入力装置４を用いて作業者が指示するタイミングで撮影を行うものであってもよいが、作業者が撮影を意識しなくてもよいよう、連続して撮影を行うもの、典型的には動画を撮影するものとすることが好ましい。また、撮像部３は、位置情報取得部２が取得した位置情報に基づいて、作業者が操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２に近付いたと判断される場合（例えば１ｍ以内に近付いた場合）に撮影を開始してもよい。
　入力装置４は、作業中に必要な情報を記録する（後述する作業情報記憶部５に記憶させる）ために用いることができる他、作業者が操作対象に対する操作を終了したことを入力するためにも用いることができる。入力装置４は、作業者が装着又は携帯する装置等に設けられる任意の入力手段とすることができるが、好ましくは、音声認識によって、撮像部３による撮影のタイミングを認知、特に作業者による操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の操作終了を認知することができるよう構成される。具体的には、入力装置４は、作業者が操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２を操作したときに行う指差呼称の音声等を認識するよう構成することができる。これによって、撮像部３による撮影のタイミングを適切にすることができるので、後述する操作判定部７における操作の適否判断がより正確になる。また、入力装置４が指差呼称等の音声を認識することによって、作業者に余分な動作を要求しないだけでなく、決められた指差呼称を確実に行わせることができるので、作業者の作業をより正確にすることができる。
　また、入力装置４は、後述する終了承認部８による作業終了のために、作業対象設備の管理者当が作業終了を確認したことを入力するために使用されてもよい。
　作業情報記憶部５は、操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の位置情報、画像情報及び操作内容を記憶する。作業情報記憶部５が記憶する画像情報は、撮像部３の撮影画像を画像処理することによって操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２を認識可能とするパターン情報及びその認識結果を含むことができる。つまり、作業情報記憶部５は、作業者の作業内容を確認するために必要な情報と、位置情報、画像情報等の情報に基づいて確認された作業者の作業履歴とを記憶する。また、作業情報記憶部５が記憶する操作内容は、作業の各工程における操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の正しい状態変化を含み得る。
　例として、図３及び図４に、操作対象である給水バルブＶ１の画像を例示する。図示する給水バルブＶ１は、ボールバルブであり、弁体を内蔵し、両側に配管が接続されるバルブ本体Ｍと、弁体に接続され、バルブ本体Ｍの外側に取り付けられる操作レバーＬとを有する。給水バルブＶ１は、図３に示すように操作レバーＬがバルブ本体Ｍ及びその両側に接続される配管に垂直であれば弁体が流路を閉鎖しており、図４に示すように操作レバーＬがバルブ本体Ｍと平行であれば弁体が流路を開放している。このため、作業情報記憶部５は、操作判定部７が撮像部３の撮影画像に基づいて給水バルブＶ１が開状態であるか閉状態であるかをパターン認識できるようにするために必要な画像情報を記憶する。
　また、作業情報記憶部５は、図２に示すような作業者の移動の軌跡（位置情報の継時変化）Ｔを数値データとして記憶してもよい。これにより、比較的短時間で効率よく作業が行われた場合の作業者の動線を確認して、他の作業者の作業効率を改善するための参考とすることができる。
　操作対象特定部６は、位置情報取得部２が取得した位置情報及び作業情報記憶部５が記憶する操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の位置情報に基づいて、作業者が操作する操作対象がいずれであるかを特定する。例として、操作対象特定部６は、位置情報取得部２が取得した作業者の位置から１ｍ以内に存在する操作対象を作業者が操作する操作対象と判断してもよい。
　また、操作対象特定部６は、さらに、撮像部３が撮影した画像と作業情報記憶部５が記憶する操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の画像情報とを比較することにより、作業者が操作する操作対象を特定してもよい。例えば、操作対象特定部６は、位置情報取得部２が取得した作業者の位置の近傍に複数の操作対象が存在する場合、この複数の操作対象について、作業情報記憶部５が記憶する画像情報と撮像部３が撮影した操作対象の画像とを照合することにより、作業者が操作する操作対象を特定してもよい。具体的には、操作対象の形状が一致するもの、周囲の物体（例えば配管等）の配置が一致するもの等を作業者が操作する操作対象と判断することができる。
　操作判定部７は、撮像部３が撮影した画像及び作業情報記憶部５が記憶する画像情報に基づいて操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の状態を判定する。具体例として、操作判定部７は、撮像部３が撮影した画像から、操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の状態、例えば給水バルブＶ１が閉じているか開いているかを確認する。
　操作判定部７は、さらに、操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の状態が予め設定される作業手順に合致して変化しているかどうかを作業工程ごとに判定してもよい。このように、作業工程ごとに操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の操作の適否を確認することによって、いずれかの作業工程を飛ばすようなミスがあった場合に、作業者に警告したり、後で作業者が容易に確認できたりするようにできる。
　終了承認部８は、操作判定部７により複数の操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２に対して行うべき操作がすべて適切であると判定された場合に作業終了を承認するよう構成され得る。このように、作業者に終了承認部８による作業終了の承認を得ることを義務付けることによって、作業を適切に完了することを担保できる。
　終了承認部８は、それぞれの操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の作業開始時の状態を撮影した画像と作業終了時の状態を撮影した画像とが同じ状態を示すと判断される場合に操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の操作が適切であると判定してもよい。つまり、作業対象設備のメンテナンス作業を行う場合等には、作業終了時にすべての操作対象Ｓ１，Ｓ２，Ｖ１，Ｖ２の状態が作業開始前と同じであることを担保することで、作業対象設備が元通りに動作することを保証することができる。
　終了承認部８は、作業終了を承認する条件として、作業対象設備の管理者の確認を要求してもよい。
　表示制御部９は、作業手順、作業完了承認情報等を表示装置１０に表示させる。また、表示制御部９は、位置情報取得部２が取得し、作業情報記憶部５が記憶する位置情報に基づいて作業者の移動経路を表示装置１０に表示させる動線表示部としての機能を有してもよい。表示制御部９は、他の複数の作業支援システム１が記憶する作業者の位置情報を収集して、複数の作業者の移動経路の表示を行ってもよい。
　表示装置１０は、表示制御部９からの入力に従って情報を表示する。このため、表示装置１０は、例えば液晶パネル、有機ＥＬパネル等のディスプレイ装置を含む構成とすることができる。
　以上のように、本実施形態に係る作業支援システム１は、作業者の位置情報を取得する位置情報取得部と、作業者に装着され、作業者が操作する操作対象を撮影する撮像部と、複数の操作対象の位置情報、画像情報及び操作内容を記憶する作業情報記憶部と、位置情報取得部が取得した位置情報及び作業情報記憶部が記憶する位置情報に基づいて作業者が操作する操作対象を特定する操作対象特定部と、撮像部が撮影した画像及び作業情報記憶部が記憶する画像情報に基づいて操作対象の状態を判定する操作判定部と、を備える。このため、本実施形態に係る作業支援システム１は、操作判定部により操作対象の画像に基づいて操作の適否を判定することによって、必要な操作をすべて適切に行ったかどうかを確認することができるので、操作対象の操作忘れ防止することができる。また、本実施形態に係る作業支援システム１は、操作対象特定部により位置情報に基づいて作業者が操作する操作対象を特定するので、作業支援システム１が操作対象を認識するために作業者に特別な動作を要求しない。このため、本実施形態に係る作業支援システム１は、作業効率を低下させることなく、作業の適否を確認することができる。
　以上、本発明の作業支援システムの好ましい実施形態につき説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
　上述の実施形態では、操作対象として開閉状態に応じて角度が変化するボールバルブについて説明したが、操作対象は、例えば回転ハンドルを有するグローブバルブ等であってもよい。操作対象がグローブバルブの場合、撮像部は動画を撮影し、操作判定部は動画における回転ハンドルの回転方向によって作業の適否を判定するよう構成される。
　本発明の作業支援システムにおいて、入力装置、終了承認部、表示制御部及び表示装置は任意の構成である。また、作業情報記憶部、操作対象特定部、操作判定部、終了承認部、表示制御部及び表示装置は、作業者により携帯されないものであってもよく、作業場所から離れた場所に配置されてもよい。
　本発明の作業支援システムにおいて、操作判定部は、各作業工程における操作対象の状態変化の適否を判定しないものであってもよい。
　本発明の作業支援システムは、作業者に音声により作業内容等の情報を提供するために、スピーカ、ブザー等を有してもよい。また、本発明の作業支援システムは、操作が適切でない場合に警告を発する警報部をさらに備えてもよい。
　１　作業支援システム
　２　位置情報取得部
　３　撮像部
　４　入力装置
　５　作業情報記憶部
　６　操作対象特定部
　７　操作判定部
　８　終了承認部
　９　表示制御部
　１０　表示装置
　Ｓ１，Ｓ２，Ｖ１，Ｖ２　操作対象

Claims (13)

  1. 　作業者が複数の操作対象を操作する作業を支援する作業支援システムであって、
    　前記作業者の位置情報を取得する位置情報取得部と、
    　前記作業者に装着され、前記作業者が操作する前記操作対象を撮影する撮像部と、
    　前記複数の操作対象の位置情報、画像情報及び操作内容を記憶する作業情報記憶部と、
    　前記位置情報取得部が取得した位置情報及び前記作業情報記憶部が記憶する位置情報に基づいて前記作業者が操作する前記操作対象を特定する操作対象特定部と、
    　前記撮像部が撮影した画像及び前記作業情報記憶部が記憶する画像情報に基づいて前記操作対象の状態を判定する操作判定部と、
    を備える作業支援システム。
  2. 　前記作業者が前記操作対象に対する操作を終了したことを入力する入力装置をさらに備える請求項１に記載の作業支援システム。
  3. 　前記入力装置は、音声認識により前記操作対象の操作終了を認知する請求項２に記載の作業支援システム。
  4. 　前記操作判定部により前記複数の操作対象に対して行うべき操作がすべて適切であると判定された場合に作業終了を承認する終了承認部をさらに備える請求項１から３のいずれかに記載の作業支援システム。
  5. 　前記操作判定部は、それぞれの前記操作対象の作業開始時の状態を撮影した画像と作業終了時の状態を撮影した画像とが同じ状態を示すと判断される場合に前記操作対象の操作が適切であると判定する請求項１から４のいずれかに記載の作業支援システム。
  6. 　前記位置情報取得部が取得した位置情報に基づいて前記作業者の移動経路の表示を行う動線表示部をさらに備える請求項１から５のいずれかに記載の作業支援システム。
  7. 　前記位置情報取得部は、自立航法測位装置、無線信号強度を用いた測位システム、地磁気測位システム、ＧＰＳまたはＩＭＥＳの少なくともいずれか１つを利用して前記作業者の位置情報を取得する請求項１から６のいずれかに記載の作業支援システム。
  8. 　前記撮像部は、前記作業者が指示するタイミングまたは前記位置情報取得部が取得した位置情報に基づいて撮影を開始する請求項１から７のいずれかに記載の作業支援システム。
  9. 　前記撮像部は、前記作業者が前記操作対象の所定範囲内に近付いた場合に撮影を開始する請求項８に記載の作業支援システム。
  10. 　前記作業情報記憶部は、前記作業者の移動の軌跡を記憶する請求項１から９のいずれかに記載の作業支援システム。
  11. 　前記操作対象特定部は、前記作業者の位置から所定範囲内に存在する前記操作対象を前記作業者が操作する前記操作対象であると特定する請求項１から１０のいずれかに記載の作業支援システム。
  12. 　前記操作対象特定部は、前記撮像部が撮影した画像と前記作業情報記憶部が記憶する画像情報とを比較して、形状が一致する前記操作対象または周囲の物体の配置が一致する前記操作対象を前記作業者が操作する前記操作対象と特定する請求項１から１１のいずれかに記載の作業支援システム。
  13. 　前記操作判定部は、前記操作対象の状態を作業工程ごとに判定する請求項１から１２のいずれかに記載の作業支援システム。
PCT/JP2020/004254 2019-03-01 2020-02-05 作業支援システム WO2020179328A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-037974 2019-03-01
JP2019037974 2019-03-01

Publications (1)

Publication Number Publication Date
WO2020179328A1 true WO2020179328A1 (ja) 2020-09-10

Family

ID=72337562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004254 WO2020179328A1 (ja) 2019-03-01 2020-02-05 作業支援システム

Country Status (1)

Country Link
WO (1) WO2020179328A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008226074A (ja) * 2007-03-15 2008-09-25 Kyosan Electric Mfg Co Ltd 作業管理システム
JP2013156912A (ja) * 2012-01-31 2013-08-15 Omron Corp 機器の保全支援システムおよび機器保全サーバ
JP2014139745A (ja) * 2013-01-21 2014-07-31 Shimizu Corp 機器管理システム、機器管理装置、機器管理方法及びプログラム
JP2016001400A (ja) * 2014-06-11 2016-01-07 三菱日立パワーシステムズ株式会社 メンテナンス情報提供システム
JP2016139289A (ja) * 2015-01-28 2016-08-04 株式会社日立製作所 保守業務支援システムおよび保守業務支援方法
JP2017068450A (ja) * 2015-09-29 2017-04-06 株式会社東芝 作業実績評価装置および自己位置測位装置
JP2018207496A (ja) * 2016-09-28 2018-12-27 カシオ計算機株式会社 撮像装置、画像再生方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008226074A (ja) * 2007-03-15 2008-09-25 Kyosan Electric Mfg Co Ltd 作業管理システム
JP2013156912A (ja) * 2012-01-31 2013-08-15 Omron Corp 機器の保全支援システムおよび機器保全サーバ
JP2014139745A (ja) * 2013-01-21 2014-07-31 Shimizu Corp 機器管理システム、機器管理装置、機器管理方法及びプログラム
JP2016001400A (ja) * 2014-06-11 2016-01-07 三菱日立パワーシステムズ株式会社 メンテナンス情報提供システム
JP2016139289A (ja) * 2015-01-28 2016-08-04 株式会社日立製作所 保守業務支援システムおよび保守業務支援方法
JP2017068450A (ja) * 2015-09-29 2017-04-06 株式会社東芝 作業実績評価装置および自己位置測位装置
JP2018207496A (ja) * 2016-09-28 2018-12-27 カシオ計算機株式会社 撮像装置、画像再生方法及びプログラム

Similar Documents

Publication Publication Date Title
US11481999B2 (en) Maintenance work support system and maintenance work support method
US11783553B2 (en) Systems and methods for facilitating creation of a map of a real-world, process control environment
JP7337654B2 (ja) 保全活動サポートシステムおよび保全活動サポート方法
WO2011122610A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111149133A (zh) 过程控制环境中的虚拟x射线视觉
US20180161978A1 (en) Interference region setting apparatus for mobile robot
US11816887B2 (en) Quick activation techniques for industrial augmented reality applications
CN109715307A (zh) 具有工作区图像捕获设备的弯曲机以及用于表示工作区的方法
JPWO2019107420A1 (ja) 設備管理システム
US20180017381A1 (en) Positioning of two bodies by means of an alignment system with a pair of data spectacles
WO2018062239A1 (ja) 検査装置
WO2020179328A1 (ja) 作業支援システム
JP6670580B2 (ja) 建築分野用システム
JP5573537B2 (ja) ロボットのティーチングシステム
JP2018054439A (ja) 検査装置
US8477987B2 (en) Method for repositioning a numerically controlled device
JP5854797B2 (ja) 部材情報取得装置
US10998211B2 (en) Management system, method, and computer program for semiconductor fabrication apparatus
JP6223213B2 (ja) 画像管理システム
JP7437642B2 (ja) 遠隔指示制御システム
JP7243691B2 (ja) 装置、システム、方法およびプログラム
US20240086843A1 (en) Method for augmenting procedures of a locked, regulated document
EP3757723A1 (en) Method for providing tank-specific information to an on-site operator
JP6826375B2 (ja) 部品情報取得システム
JP2023145959A (ja) 教師データ収集装置及び教師データ収集方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20766350

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20766350

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP