JP6530357B2 - 保全作業管理システム及び保全作業管理装置 - Google Patents

Description

本発明は、例えば、昇降機等の保全作業を支援するための保全作業管理システム及び保全作業管理装置に関する。

建物に設置された昇降機として、例えばエレベーターがある。エレベーターは、全体を制御する制御装置、乗客が乗降するかご、かごとロープで接続される釣合い重り、ロープを把握駆動してかごを昇降させる巻上機により構成されている。昇降機を保全する作業者は、昇降機を構成する各装置に応じた点検、分解清掃、調整といった保全作業を行うことで昇降機の故障を予防している。従来の保全作業では、紙のチェックシートに点検結果等を記入することで作業の実施状況が管理されていた。近年では、紙のチェックシートに代えて、保全作業の内容をデータとして残す運用が図られるようになってきた。

昇降機の保全作業に際して、作業者が有する資格毎に保全作業が可能な範囲が定められている。このため、保全作業では、作業者が管理者等から逐一指示を受けなくても必要な作業を行うことが可能である。しかし、保全作業の質を一定に保つためには、管理者等が適宜作業内容を確認する必要があった。

昇降機は建物毎に設置されるため、作業者は目的とする建物に赴いて保全作業を行う。必然的に保全作業は、遠隔地にいる専門家や熟練者等の管理者から遠く離れた場所で行われることとなる。従来、管理者等が遠隔地の保全作業を効率的に管理するため、作業者の状況を共有することを可能とする特許文献１に開示された技術が知られていた。

この特許文献１には、検索条件から作業手順もしくは作業指示を検索して、検索された作業手順若しくは作業指示を作業者端末に送信し、作業者端末は検索された作業手順若しくは作業指示を受信して、作業者端末表示部に表示する技術が開示されている。

特開２００４−１０２７２７号公報

特許文献１に開示された方法では、作業者が記録した画像や音声にて入力されたキーワードに基づき、目的とする作業記録となる録画データを検索することが可能である。しかし、入力されたキーワードに対応する昇降機が画像に記録されていなければ、保全作業を確認することができない。また、保全作業において、同一のキーワードが何度も発声されると、このキーワードが発声された箇所が全て抽出されてしまう。このため、作業管理者が確認したい作業記録箇所を検索して表示するまでに手間と時間が掛かっていた。

本発明はこのような状況に鑑みて成されたものであり、昇降機の保全作業を管理しやすくすることを目的とする。

本発明に係る保全作業管理システムは、撮影装置と、保全作業管理装置と、第１端末と、を備える。
撮影装置は、昇降機の保全作業を撮影し、保全作業に関わる画像及び音声を含む録画データを作成する。
管理者端末は、保全作業管理装置から取得した録画データを再生する。
保全作業管理装置は、撮影装置と通信回線を通じて接続され、撮影装置から録画データを取得する。この保全作業管理装置は、名称検出部と、形状検出部と、関連付け部と、抽出部と、を備える。名称検出部は、録画データに記録される音声をテキスト変換して保全作業における特定の名称を検出し、録画データの特定の名称を検出した箇所に名称タグを付ける。形状検出部は、録画データに記録される画像から昇降機の特定の形状を検出し、録画データの特定の形状を検出した箇所に形状タグを付ける。関連付け部は、特定の名称と特定の形状とが予め関連付けられ、録画データに名称タグ及び形状タグが付けられたタイミングが所定期間内である場合に、名称タグ又は形状タグが付けられた箇所に基づいて関連付けタグを付ける。録画データ格納部は、名称タグ、形状タグ及び関連付けタグが付けられた録画データを格納する。抽出部は、第１端末から送信される、名称タグと形状タグが付けられたタイミングが一致する箇所の再生要求に基づいて、録画データ格納部に格納される録画データより関連付けタグが付けられた箇所を抽出して、第１端末に関連付けタグが付けられた箇所からの頭出し再生を行わせる。

本発明によれば、録画データのうち、名称タグと形状タグが付けられたタイミングが一致する箇所から頭出し再生が可能となるため、保全作業の管理を効率的に行うことが可能となる。
なお、上記の保全作業管理システムは本発明の一態様であり、本発明の一側面を反映した保全作業管理装置についても、本発明の一側面を反映した保全作業管理システムと同様の構成を有する。
上記した以外の課題、構成及び効果は、以下の実施の形態例の説明により明らかにされる。

発声箇所を検索する保全作業管理システムの構成例を示す説明図である。 部品形状を検索する保全作業管理システムの構成例を示す説明図である。 本発明の一実施の形態例に係る保全作業管理システムの構成例を示す説明図である。 本発明の一実施の形態例に係る保全作業管理装置の内部構成例を示すブロック図である。 本発明の一実施の形態例に係る計算機のハードウェア構成例を示すブロック図である。 本発明の一実施の形態例に係る録画データに付けられる部品名タグ、部品形状タグ、関連付けタグの例を示す説明図である。 本発明の一実施の形態例に係る抽出条件設定画面の表示例を示す説明図である。 本発明の一実施の形態例に係る保全作業管理システムの動作の様子を示す説明図である。 本発明の一実施の形態例に係る保全作業管理システムが録画データにタグ付けをする処理の例を示すフローチャートである。 本発明の一実施の形態例に係る事務所端末の操作方法の例を示すフローチャートである。 本発明の一実施の形態例に係る作業現場で行われる作業者の作業の様子を示す説明図である。 本発明の一実施の形態例に係るカメラによって撮影される画面の遷移例を示す説明図である。 本発明の一実施の形態例に係る報告書表示画面の表示例を示す説明図である。

以下、本発明の一実施の形態例に係る保全作業管理システムの前提となる発声箇所を検索する保全作業管理システムの構成例と、部品形状を検索する保全作業管理システムの構成例を順に説明する。実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

［発声箇所を検索する保全作業管理システムの構成例］
始めに発声箇所を検索する保全作業管理システムについて説明する。
図１は、発声箇所を検索する保全作業管理システム１００の構成例を示す説明図である。

保全作業管理システム１００は、カメラ３、保全作業管理装置１０１、管理者端末９を備える。カメラ３と保全作業管理装置１０１は、通信回線６を介して接続されており、カメラ３が撮影した録画データ１０２から抽出した抽出結果１０４を保全作業管理装置１０１に送信することが可能である。

建物に格納されるエレベーター等の昇降機は、巻上機１の他に、不図示の制御装置、乗りかご、ロープ、釣合い重り等で構成されている。そして、作業者２が各装置の保全作業を行っている。

作業者２は、例えば、カメラ３が取り付けられたヘルメットを被って作業を行う。カメラ３は、作業者２の視線４の方向を撮影方向として、作業者２の視界とほぼ同じ範囲で行われる昇降機の保全作業を撮影すると共に、不図示のマイクにより、作業者２の発声１０を録音する。このため、カメラ３は、保全作業に関わる画像及び音声を含む録画データ１０２を作成することが可能である。図中の巻上機１には、作業者２が視線を向けたときにカメラ３が撮影する範囲が撮影範囲Ｒ１〜Ｒ３として破線で表されている。発声１０とは、作業者２が声出し確認する、昇降機の部品名、確認内容等を表す。例えば、作業者２が声出し確認した発声１０の内容は、「部品Ａ」である。「部品Ａ」は、例えば、ブレーキに用いられるライニング１１を表す。

作業者２は、撮影範囲Ｒ１、Ｒ２、Ｒ３の順に視線４を移動させる度に、「部品Ａ」と発声１０を行っている。カメラ３が撮影した録画データ１０２には、作業者２の発声１０と、巻上機１の撮影範囲Ｒ１〜Ｒ３とが記録されている。図中では、カメラ３が録画中に、作業者２が「部品Ａ」と発声１０を行ったタイミングが撮影範囲Ｒ１〜Ｒ３に吹き出しで表されている。

保全作業管理装置１０１は、通信回線６を通じてカメラ３から取得した録画データ１０２を格納する。管理者８は、管理者端末９を操作して、保全作業管理装置１０１に格納された録画データ１０２を管理者端末９に表示する。これにより、管理者８は、遠隔地から作業者２の作業を確認することが可能となる。

管理者８が録画データ１０２を再生して、作業者２によって行われた保全作業を確認する際、録画データ１０２の録画開始から終了までを通して視聴してもよいが、録画時間が長ければ、目的とする作業が映るまで時間が掛かる。そこで、保全作業管理装置１０１は、作業者２が「部品Ａ」と発声１０を行ったタイミングで頭出し可能な部品名タグを頭出し信号として録画データ１０２に記録する。管理者８が、検索キー１０３として「部品Ａ」を管理者端末９に入力すると、保全作業管理装置１０１が録画データ１０２から部品名タグが付された位置の画像を抽出した抽出結果１０４を管理者端末９に送信する。管理者端末９に表示される抽出結果１０４は、作業者２が「部品Ａ」と発声１０を行ったときのタイミングで撮影された撮影範囲Ｒ１〜Ｒ３を順に頭出し再生したものとなる。

しかし、作業者２が「部品Ａ」と発声１０を行ったタイミングで必ずしも部品Ａが撮影されているとは限らない。このため、管理者８が部品Ａだけが映る撮影範囲Ｒ２を検索結果として表示させたくても、部品Ａが映らない撮影範囲Ｒ１、Ｒ３まで抽出して表示してしまうと、目的とする画像を探し出すために手間と時間を要する。

［部品形状を検索する保全作業管理システムの構成例］
次に、部品形状を検索する保全作業管理システムについて説明する。
図２は、部品形状を検索する保全作業管理システム１１０の構成例を示す説明図である。

保全作業管理システム１１０は、カメラ３、保全作業管理装置１１１、管理者端末９を備える。カメラ３と保全作業管理装置１１１は、通信回線６を介して接続されており、カメラ３が撮影した録画データ１１２から抽出した抽出結果１１４を保全作業管理装置１１１に送信することが可能である。

保全作業管理装置１１１は、録画データ１１２に含まれる画像から特定の部品の形状、例えば、ライニング１１の部品形状７を検知した位置に頭出し信号としての部品形状タグを記録する。管理者８は、検索キー１１３として部品形状７を管理者端末９に入力すると、保全作業管理装置１１１が録画データ１１２から抽出した部品形状タグが付された位置の画像を抽出した抽出結果１１４を管理者端末９に送信する。管理者端末９に表示される抽出結果１１４は、部品Ａの部品形状７が映る撮影範囲Ｒ２を頭出し再生したものとなる。また、特定の部品の形状を検知する動作は、録画データ１１２に含まれる画像全てにおいて行ってもよいが、処理負荷を考慮し、所定の間隔や割合で行ってもよい。例えば、カメラが３０ｆｐｓ（frames per second）の場合、１２０フレーム（４秒間）ごとに１つの画像を定期的に抽出してもよい。また、その１２０フレームから選択した画像のブレの度合いを抽出し、ブレが大きい場合は当該１２０フレームから別の画像を選択し直してもよい。当該所定の間隔は、以下で述べる、関連付けタグを付ける際に用いる所定期間（例えば５秒）よりも短くすることで、部品名タグと部品形状タグとの関連付けを漏らさずに行える。なお、同一の画像から、複数の部品形状が特定される場合は、それら複数の部品名タグを付してもよい。

ここで、作業者２の視線４が移動したことにより、録画データ１１２には、作業者２の視線４と同期して撮影範囲Ｒ１、Ｒ２、Ｒ３、Ｒ２の順で録画されることがある。この場合、管理者端末９に表示される抽出結果１１４には、部品形状７を有する部品Ａが映る撮影範囲Ｒ２が重複して含まれてしまう。部品形状７が映る撮影範囲Ｒ２が重複して頭出し再生された場合にも、管理者８が確認したい箇所の画像を探し出すまでに手間と時間を要する。

［一実施の形態例］
このように保全作業管理システム１００、１１０では、管理者８が目的とする作業を速やかに検索して確認することが難しかった。そこで、検索性能を高めた本発明の一実施の形態例に係る保全作業管理システムについて添付図面を参照して説明する。この保全作業管理システムは、エレベーターの保全作業に用いられるが、エスカレーター等の昇降機に対する保全作業に用いられてもよい。

図３は、保全作業管理システム３０の構成例を示す説明図である。

保全作業管理システム３０は、カメラ３（撮影装置の一例）、保全作業管理装置５０、管理者端末９（第１端末の一例）、作業者端末２０（第２端末の一例）を備える。保全作業管理装置５０は、カメラ３と通信回線６を通じて接続され、カメラ３から録画データ５を取得する。管理者端末９は、保全作業管理装置５０から取得した録画データ５を再生することが可能である。

カメラ３により撮影される巻上機１の近くには、制御盤２１が設置されている。この巻上機１は、ライニング１１、主レバー１２、ドラム１３、制動バネ１４を備える。以下の説明で、ライニング１１を「部品Ａ」、主レバー１２を「部品Ｂ」、ドラム１３を「部品Ｃ」、制動バネ１４を「部品Ｄ」と呼ぶ。

作業者２は、視線４を動かして撮影範囲Ｒ１、Ｒ２、Ｒ３を順に視界に入れており、カメラ３が撮影範囲Ｒ１、Ｒ２、Ｒ３を順に録画している。撮影範囲Ｒ１、Ｒ２、Ｒ３の順で撮影された録画データ５は、通信回線６を通じてカメラ３から保全作業管理装置５０に送信される。作業者２が持つ作業者端末２０は、カメラ３に接続されており、カメラ３が録画した撮影範囲Ｒ１〜Ｒ３を表示することが可能である。また、作業者端末２０は、通信回線６を通じて録画データ５を取得し、録画データ５の頭出し再生を行ったり、保全作業の報告書を表示し、又は印刷したりすることが可能である。

保全作業管理装置５０は、部品名データベースＤ１、部品形状データベースＤ２、関連付けデータベースＤ３、録画データ格納データベースＤ４、作業手順データベースＤ５を備える。
部品名データベースＤ１（部品名格納部の一例）には、「部品Ａ」〜「部品Ｄ」の部品名Ｄ１１〜Ｄ１４が登録されている。部品名Ｄ１１は「ライニング」、部品名Ｄ１２は「主レバー」、部品名Ｄ１３は「ドラム」、部品名Ｄ１４は「制動バネ」といった各部品の部品名として登録されている。本実施の形態例では、保全作業の昇降機である巻上機１を構成する部品の特定の名称を「部品名」と呼ぶ。
部品形状データベースＤ２（部品形状格納部の一例）には、「部品Ａ」〜「部品Ｄ」の部品形状Ｄ２１〜Ｄ２４が登録されている。部品形状Ｄ２１〜Ｄ２４は、「部品Ａ」〜「部品Ｄ」の特徴的な形状を示す画像として登録されている。本実施の形態例では、部品の特定の形状を「部品形状」と呼ぶ。

関連付けデータベースＤ３（関連付け格納部の一例）には、部品名と部品形状とを関連付けた結果が格納されている。関連付けは、例えば、部品名Ｄ１１と部品形状Ｄ２１が両矢印の関連付けＤ３１で接続されることで示される。同様に、部品名Ｄ１２〜Ｄ１４と、部品形状Ｄ２２〜Ｄ２４についても両矢印の関連付けＤ３２〜Ｄ３４で接続されることで関連付けが示される。

録画データ格納データベースＤ４（録画データ格納部の一例）には、録画データ５が格納される。録画データ５には、保全作業管理装置５０によって部品名タグ（名称タグの一例）、部品形状タグ（形状タグの一例）、関連付けタグが付けられている。

作業手順データベースＤ５（作業手順格納部の一例）には、昇降機の保全作業に必要となる作業手順が格納されている。作業手順は、後述する抽出部５４が、保全作業の作業手順を録画データ格納データベースＤ４から検索する際に参照される。

管理者端末９は、部品名、部品形状、又は、部品名と部品形状の関連付けを指定することにより録画データ５から目的とする撮影範囲の録画データ５を表示する。例えば、管理者８は、部品名Ｄ１１と部品形状Ｄ２１を検索キー２５として入力すると、「部品Ａ」と発声１０が行われ、かつ部品Ａの部品形状Ｄ２１が映る撮影範囲Ｒ２が抽出結果２６として管理者端末９に頭出し再生される。このため、管理者８は、目的とする保全作業を素早く選択し、遠隔地から作業者２の保全作業を視聴確認することができる。

図４は、保全作業管理装置５０の内部構成例を示すブロック図である。

保全作業管理装置５０は、名称検出部５１、形状検出部５２、関連付け部５３、抽出部５４、報告書作成部５５に加えて、上述したデータベースＤ１〜Ｄ５を備える。

部品名データベースＤ１には、名称検出部５１が参照する部品の部品名Ｄ１１〜Ｄ１４が格納される。部品形状データベースＤ２には、形状検出部５２が参照する部品の部品形状Ｄ２１〜Ｄ２４が格納される。関連付けデータベースＤ３には、関連付け部５３が参照する部品名Ｄ１１〜Ｄ１４及び部品形状Ｄ２１〜Ｄ２４の関連付けＤ３１〜Ｄ３４が格納される。録画データ格納データベースＤ４には、部品名タグ、部品形状タグ、関連付けタグが頭出し信号として付けられた録画データ５が格納される。そして、作業手順データベースＤ５には、保全作業の作業手順が格納される。この作業手順は、例えば、保全作業の様子を撮影した画像の並び、作業者２が発声１０を行うときの部品名の順番等によって構成される。

名称検出部５１は、通信回線６を通じてカメラ３から入力した録画データ５に記録されている音声をテキスト変換して部品名データベースＤ１を参照し、保全作業において作業者２が声出し確認をしたときの部品名を検出する。そして、名称検出部５１は、検出した部品名と、部品名データベースＤ１に登録されている部品名とが一致した場合に、録画データ５の部品名を検出した箇所に部品名タグを付ける。名称検出部５１が検出する特定の名称は、部品名以外に作業名称等であってもよい。

形状検出部５２は、部品形状データベースＤ２を参照し、録画データ５に記録されている画像から保全作業の対象となる昇降機を構成する部品の部品形状を検出する。そして、形状検出部５２は、検出した部品形状と、部品形状データベースＤ２に登録されている部品形状とが一致した場合に、録画データ５の部品形状を検出した箇所に部品形状タグを付ける。
本実施の形態例では、後述する図９に示すように名称検出部５１と形状検出部５２が並行して処理を行うが、名称検出部５１、形状検出部５２の順に処理を行ってもよいし、形状検出部５２、名称検出部５１の順に処理を行ってもよい。

関連付け部５３は、部品名と部品形状とが予め関連付けられ、録画データ５に部品名タグ及び部品形状タグが付けられたタイミングが所定期間内（例えば、５秒以内）である場合に、録画データ５の名称タグ又は形状タグが付けられた箇所に基づいて関連付けタグを付ける。部品名と部品形状の関連づけを示す対応関係は、関連付けデータベースＤ３に格納されている。例えば、所定期間内に録画データ５に付けられた部品名タグが部品名Ｄ１１であり、部品形状タグが部品形状Ｄ２１である場合、部品名Ｄ１１と部品形状Ｄ２１が関連付けＤ３１で関連付けられているため、録画データ５に関連付けタグが付けられる。

抽出部５４は、管理者端末９から送信される、名称タグと形状タグが付けられたタイミングが一致する箇所の再生要求に基づいて、録画データ格納データベースＤ４の録画データ５より関連付けタグが付けられた箇所を抽出する。このとき、抽出部５４は、管理者端末９から受信する再生要求に応じて部品名タグ、部品形状タグ、又は関連付けタグが付けられた箇所を抽出する。そして、抽出部５４は、管理者端末９に部品名タグ、部品形状タグ、又は関連付けタグが付けられた箇所からの頭出し再生を行わせることが可能である。

例えば、抽出部５４は、後述する図１０に示すように、管理者端末９から名称のみ、形状のみ、名称若しくは形状、又は名称及び形状の一致のいずれかを含む再生要求を受信する。そして、抽出部５４は、受信した再生要求に応じて、録画データ５から抽出した名称タグ、形状タグ又は関連付けタグが付けられた箇所を示す情報を管理者端末９に送信する。管理者端末９に送信される情報としては、例えば、抽出条件に合致するタグが付けられた箇所の画像、録画データ５の開始時間からの経過時間といった情報が含まれる。管理者端末９には、この情報が抽出結果２６として表示される。管理者８が管理者端末９を操作して抽出結果２６を選択することにより、抽出部５４は、選択された抽出結果２６から頭出しした録画データ５を抽出し、管理者端末９に頭出し再生を行わせることができる。なお、管理者端末９に送信される抽出結果２６は、作業者端末２０にも表示され、作業者端末２０より頭出し再生を行うことも可能である。

また、抽出部５４は、作業手順データベースＤ５を参照し、録画データ５に記録された画像や保全作業の関連情報の変化を組み合わせて、作業手順がどのようなものであるかを判定することができる。この画像の変化としては、例えば、作業者２が乗りかご上部から乗込むときの様子、ピットに入出するときの様子等を含む。また、保全作業の関連情報としては、作業者２がエレベーターの電源をＯＦＦ、ＯＮしたときのタイミング等を示す電気的な制御情報の変化等を含む。このような画像や保全作業の関連情報の変化と共に、作業者２により声出し確認が行われることで録画データ５に名称タグ、形状タグ、又は関連付けタグが付けられる。このため、抽出部５４は、作業手順データベースＤ５に格納された作業手順を参照し、録画データ５に名称タグ、形状タグ、又は関連付けタグが付けられた順序に従って保全作業で確認が必要となる作業手順を判定する。そして、抽出部５４は、管理者端末９に、最も確認が必要とされる作業手順の画像を優先して頭出し再生することもできる。

報告書作成部５５は、抽出部５４を通じて、録画データ格納データベースＤ４に格納された録画データ５から抽出した箇所の画像を含む報告書を作成する。報告書に追加される画像は、関連付けタグが付けられた箇所の画像だけでなく、名称タグ、形状タグが付けられた箇所の画像であってもよい。この報告書は、通信回線６を通じて作業者端末２０に送信され、作業者端末２０が報告書を表示し、又は作業者端末２０に付属する不図示の携帯型プリンターにより印刷することが可能である。また、この報告書は、管理者端末９が表示することもできる。

次に、保全作業管理装置５０を構成する計算機Ｃのハードウェア構成を説明する。
図５は、計算機Ｃのハードウェア構成例を示すブロック図である。

計算機Ｃは、いわゆるコンピュータとして用いられるハードウェアである。計算機Ｃは、バスＣ４にそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理装置）Ｃ１、ＲＯＭ（Read Only Memory）Ｃ２、ＲＡＭ（Random Access Memory）Ｃ３、不揮発性ストレージＣ５、ネットワークインターフェイスＣ６を備える。

ＣＰＵ Ｃ１は、本実施の形態例に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ Ｃ２から読み出して実行する。ＲＡＭ Ｃ３には、演算処理の途中に発生した変数やパラメーター等が一時的に書き込まれる。

不揮発性ストレージＣ５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージＣ５には、ＯＳ（Operating System）、各種のパラメーターの他に、計算機Ｃを機能させるためのプログラムが記録されている。ＲＯＭ Ｃ２、不揮発性ストレージＣ５は、ＣＰＵ Ｃ１が動作するために必要なプログラムやデータ等を記録しており、計算機Ｃによって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。このため、ＲＯＭ Ｃ２、不揮発性ストレージＣ５には、このプログラムが永続的に格納される。

ネットワークインターフェイスＣ６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、端子が接続された通信回線６等を介して各種のデータを装置間で送受信することが可能である。このため、保全作業管理装置５０は、ネットワークインターフェイスＣ６を通じて、カメラ３から録画データ５を受信し、管理者端末９又は作業者端末２０に対して、録画データ５又は抽出結果２６を送信することができる。

図６は、録画データ５に付けられる部品名タグ、部品形状タグ、関連付けタグの例を示す説明図である。

図６に示す録画データ５は、カメラ３が保全作業を１時間にわたって録画したデータを表す。保全作業の開始と合わせてカメラ３が録画を開始し、保全作業の終了と合わせてカメラ３が録画を終了する。このため、部品名タグ、部品形状タグ、関連付けタグが録画データ５に付けられる位置は、作業開始を基準とした経過時間ｔにより特定可能である。

作業者２が保全作業の対象物に視線４を向けたときに付けられる部品形状タグが、作業者２によって声出し確認が行われた時に付けられる部品名タグより早いタイミングであるとする。部品形状タグが付けられたタイミングと、部品名タグが付けられたタイミングとの差が、図中に破線の四角形で示す所定期間以内（例えば、５秒以内）であれば、関連付け部５３により録画データ５に関連付けタグが付けられる。この関連付けタグが付けられた箇所を頭出し再生箇所６１とする。この所定期間は、管理者８が管理者端末９を操作することにより任意に変更可能である。なお、図６では、部品形状タグは所定期間内に１つしか示されていないが、所定期間内に複数の部品形状タグが含まれる場合は、関連付けタグは当該所定期間内に少なくとも１つ付せばよい。また、同一の画像に複数の部品形状タグが含まれている場合は、複数の部品形状タグのうち、所定期間内に付された部品名タグと一致する部品が１つでもあれば、関連付けタグを付せばよい。また、所定期間の決め方は、動画を所定時間ごとに区切って、各区間を１つの所定期間としてもよいし、部品名タグが付された時刻と部品形状タグが付された時刻の差分（絶対値）が所定の値（例えば５秒）以下としてもよい。後者の方が、部品形状タグと部品名タグの付されるタイミングのずれに柔軟に対応できる。

部品形状タグが付けられたタイミングより、部品名タグが付けられたタイミングが早い場合でも同様である。すなわち、部品形状タグが付けられたタイミングと、部品名タグが付けられたタイミングとの差が、図中に破線の四角形で示す所定期間以内（例えば、５秒以内）であれば、関連付け部５３により録画データ５に関連付けタグが付けられる。この関連付けタグが付けられた箇所を頭出し再生箇所６２とする。

ここで、部品名タグと部品形状タグが付けられたタイミングが一致する箇所は、録画データ５に部品名タグが付けられたタイミングと、部品形状タグが付けられたタイミングとの差分時間が所定期間内の箇所である。例えば、作業者２の視線４がライニング１１に向けられて５秒以内に部品名の発声が行われ、又は部品名の発声が行われて５秒以内に作業者２の視線４がライニング１１に向けられた場合、部品形状タグと部品名タグが付けられたタイミングが一致と扱われる。そして、関連付けタグは、部品形状タグ又は部品名タグが付けられたタイミングの早い方の位置に合わせて付けられる。なお、必ずしも部品形状タグ又は部品名タグが付されたタイミングのいずれかに付す必要はなく、例えばいずれかのタグの付されたタイミングの数秒前の位置に関連付けタグを付しても、本発明の効果は奏する。

このため、録画データ５に部品形状タグが付けられたタイミングと、部品名タグが付けられたタイミングとの差が所定期間を超えた場合、録画データ５に関連付けタグが付けられない。例えば、先に部品形状タグが付けられた後、所定期間以内に部品名タグが付けられていなければ、録画データ５に部品形状タグだけが付けられる。この部品形状タグが付けられた箇所を頭出し再生箇所６３とする。同様に、先に部品名タグが付けられた後、所定期間以内に部品形状タグが付けられていなければ、録画データ５に部品名タグだけが付けられる。この部品名タグが付けられた箇所を頭出し再生箇所６４とする。

図７は、抽出条件設定画面Ｗ１の例を示す説明図である。

管理者端末９に表示される抽出条件設定画面Ｗ１は、作業手順選択エリアＷ１１、部品名選択エリアＷ１２、形状選択エリアＷ１３、作業経過時間入力エリアＷ１４、抽出条件選択エリアＷ１５を備える。
作業手順選択エリアＷ１１は、ドロップダウンリストにより作業手順を選択可能である。
部品名選択エリアＷ１２は、ドロップダウンリストにより部品名を選択可能である。
形状選択エリアＷ１３は、各部品の形状を示すアイコンボタンにより部品形状を選択可能である。
作業経過時間入力エリアＷ１４は、録画データ５の録画開始時間からの任意の時間を作業経過時間として入力可能である。

抽出条件選択エリアＷ１５は、部品名のみ、部品形状のみ、部品名又は部品形状、一致の各ボタンに示された抽出条件を選択可能である。なお、抽出条件選択エリアＷ１５を選択するためには、エリアＷ１１〜Ｗ１４のいずれかが選択されていなければならない。なお、作業手順選択エリアＷ１１により作業手順が選択されていれば、録画データ５に録画された保全作業の内、選択された作業手順において、特定の部品名が発声され、又は部品形状が撮影された部分が抽出され頭出し再生される。作業手順が選択されていなければ、録画データ５の全てから特定の部品名が発声され、又は部品形状が撮影された部分が抽出され頭出し再生される。また、作業経過時間入力エリアＷ１４に作業経過時間が入力されていれば、この作業経過時間以降に行われた作業が抽出され頭出し再生される。

実行ボタンＷ１６が押されると、抽出条件選択エリアＷ１５により選択された抽出条件で録画データ５から画像が抽出される。
抽出条件選択エリアＷ１５から「部品名のみ」ボタンが押されると、部品名選択エリアＷ１２で選択された部品名タグが付けられた箇所が抽出される。図６では、頭出し再生箇所６１、６２、６４が抽出される。
「部品形状のみ」ボタンが押されると、形状選択エリアＷ１３で選択された部品形状タグが付けられた箇所が抽出される。図６では、頭出し再生箇所６１、６２、６３が抽出される。
「部品名又は部品形状」ボタンが押されると、部品名選択エリアＷ１２で選択された部品名タグが付けられた箇所と、形状選択エリアＷ１３で選択された部品形状タグが付けられた箇所が抽出される。図６では、頭出し再生箇所６１、６２、６３、６４が抽出される。
「一致」ボタンが押されると、部品名タグと部品形状タグが関連付けられた関連付けタグが付けられた箇所が抽出される。図６では、頭出し再生箇所６１、６２が抽出される。

抽出結果表示エリアＷ１７は、抽出部５４が抽出条件に従って録画データ５から抽出した画像の抽出結果２６を表示する。この例では、作業者２が「部品Ａ」と発声し、部品Ａの部品形状Ｄ２１が映る撮影範囲Ｒ２の画像が表示される。抽出結果表示エリアＷ１７には、複数の画像が表示される場合がある。管理者８が抽出結果表示エリアＷ１７に表示された画像を選択することで、選択された画像が表示された時点から録画データ５の頭出し再生が開始される。

図８は、保全作業管理システム３０の動作の様子を示す説明図である。

作業者２が保全作業を行う間、カメラ３が撮影範囲Ｒ１〜Ｒ３を撮影する。そして、作業者は、撮影範囲Ｒ１〜Ｒ３を切替える度に「部品Ａ」と発声１０を行っているが、実際に部品Ａが録画データ５に映っているのは、撮影範囲Ｒ２だけである。

管理者８は、管理者端末９を操作して、部品Ａの部品名Ｄ１１と部品形状Ｄ２１を検索キー２５として指定し、図７に示した一致ボタンを押したとする。このとき、「部品Ａ」と発声１０が行われ、かつ部品形状Ｄ２１が含まれている撮影範囲Ｒ２が録画データ５から抽出された抽出結果２６が管理者端末９に表示される。そして、管理者８は、抽出結果２６を選択することで、録画データ５の頭出し再生を行うことができる。

なお、部品名タグが付けられた箇所が頭出し再生された場合には、管理者端末９に部品名を表示してもよい。また、部品形状タグや関連付けタグが付けられた箇所が頭出し再生された場合には、管理者端末９に部品形状を強調表示してもよい。例えば、部品形状を点滅させたり、周囲の色とは異なる色で表示したりすることで、管理者８が部品の部品形状を容易に把握できるようにしてもよい。

次に、保全作業管理システム３０の処理例について図９と図１０を参照して説明する。
図９は、保全作業管理システム３０が録画データ５にタグ付けをする処理の例を示すフローチャートである。

始めに、作業者２がカメラ３の電源ボタンをＯＮすると、カメラ３が撮影を開始し（Ｓ１）、その後、作業者２が保全作業を開始する（Ｓ２）。そして、カメラ３は、作業者２の視線４を撮影範囲とする録画データ５を保全作業管理装置５０に送信する（Ｓ３）。

名称検出部５１は、録画データ５に記録された発声１０からテキスト変換して検出した部品名を部品名データベースＤ１から検索し、部品名を検知する（Ｓ４）。そして、名称検出部５１は、録画データ５に部品名タグを追加する（Ｓ５）。

形状検出部５２は、録画データ５に記録された画像から抽出した部品形状を部品形状データベースＤ２から検索し、部品形状を検知する（Ｓ６）。そして、形状検出部５２は、録画データ５に部品形状タグを追加する（Ｓ７）。

次に、関連付け部５３は、部品名タグが追加されたタイミングと、部品形状タグが追加されたタイミングが一致するか否かを判定する（Ｓ８）。上述したように「一致」とは、図６に示したように、関連付けデータベースＤ３により関連付けられる部品形状タグと部品名タグが付けられたタイミングが所定期間以内に録画データ５に付されたことをいう。

部品名タグが追加されたタイミングと、部品形状タグが追加されたタイミングが一致しない場合（Ｓ８のＮＯ）、録画データ５に関連付けタグを追加することなくステップＳ１０に処理を移す。部品名タグが追加されたタイミングと、部品形状タグが追加されたタイミングが一致した場合（Ｓ８のＹＥＳ）、関連付け部５３は、録画データ５に関連付けタグを追加する（Ｓ９）。そして、関連付け部５３は、録画データ５を録画データ格納データベースＤ４に格納して（Ｓ１０）、本処理を終了する。

図１０は、管理者端末９の操作方法の例を示すフローチャートである。

始めに、管理者８は、管理者端末９を操作して、録画データ５の視聴を開始する（Ｓ１１）。このとき、図７に示した抽出条件設定画面Ｗ１が管理者端末９に表示される。そして、管理者８は、抽出条件設定画面Ｗ１のエリアＷ１１〜Ｗ１４に検索対象を入力する（Ｓ１２）。その後、抽出条件選択エリアＷ１５から検索対象が選択され、実行ボタンＷ１６が押されることで、管理者端末９から保全作業管理装置５０に再生要求が送信される。抽出部５４は、再生要求に応じて録画データ格納データベースＤ４に格納された録画データ５から再生要求に合致する箇所を検索する。

ここで、抽出部５４は、抽出条件選択エリアＷ１５から選択された抽出条件が「部品名のみ」であるか判定する（Ｓ１３）。抽出条件が「部品名のみ」である場合（Ｓ１３のＹＥＳ）、抽出部５４は、部品名が発声された箇所のみを抽出し、管理者端末９に抽出結果２６を頭出しして全て表示する（Ｓ１４）。

抽出条件が「部品名のみ」でない場合（Ｓ１３のＮＯ）、抽出部５４は、抽出条件選択エリアＷ１５から選択された抽出条件が「部品形状のみ」であるか判定する（Ｓ１５）。「部品形状のみ」である場合（Ｓ１５のＹＥＳ）、抽出部５４は、部品形状が映る箇所のみを抽出し、管理者端末９に抽出結果２６を頭出しして全て表示する（Ｓ１６）。

抽出条件が「部品形状のみ」でない場合（Ｓ１５のＮＯ）、抽出部５４は、抽出条件選択エリアＷ１５から選択された抽出条件が「部品名又は部品形状」であるか判定する（Ｓ１７）。「部品名又は部品形状」である場合（Ｓ１７のＹＥＳ）、抽出部５４は、部品名が発声された箇所と、部品形状が映る箇所の両方を抽出し、管理者端末９に抽出結果２６を頭出しして全て表示する（Ｓ１８）。

抽出条件が「部品名又は部品形状」でない場合（Ｓ１７のＮＯ）、抽出部５４は、抽出条件選択エリアＷ１５から選択された抽出条件が「部品名と部品形状が一致」する場合である（Ｓ１９）。この場合、部品名が発声された箇所と、部品形状が映る箇所が一致する箇所（関連付けタグが付された箇所）を抽出し、管理者端末９に抽出結果２６を頭出しして全て表示する（Ｓ２０）。

次に、実際の保全作業の流れについて、図１１と図１２を参照して説明する。図１１と図１２には、共通の作業手順（１）〜（７）を示す番号を付す。ここでは、作業者２が巻上機１のブレーキ２２を分解清掃する様子について示す。

図１１は、作業現場で行われる作業者２の作業の様子を示す説明図である。
図１２は、カメラ３によって撮影される画面の遷移例を示す説明図である。

（１）始めに、作業者２は、視線４を制御盤２１に向けて、制御盤２１の主電源をＯＦＦする。このとき撮影範囲Ｒ１１には、作業者が主電源をＯＦＦする様子が映る。
（２）次に、作業者２は、視線４をブレーキ２２に向けて、ブレーキ２２を目視点検する。このとき撮影範囲Ｒ１２には、ブレーキ２２が映る。

（３）次に、作業者２は、視線４をライニング１１、主レバー１２に向けて、ライニング１１、主レバー１２を目視点検する。このとき、撮影範囲Ｒ１３には、ライニング１１、主レバー１２、ドラム１３、制動バネ１４の部品形状が映る。
（４）次に、作業者２は、視線４を制動バネ１４に向けて、主レバー１２から制動バネ１４を取り外す。このとき、撮影範囲Ｒ１４には、取り外された制動バネ１４と、ライニング１１、主レバー１２の部品形状が映る。

（５）次に、作業者２は、主レバー１２を倒し、視線４をライニング１１に向ける。このとき、撮影範囲Ｒ１５には、ライニング１１と主レバー１２の部品形状が映る。
（６）次に、作業者２は、主レバー１２からライニング１１を取り外し、視線４を取り外したライニング１１に向けて、ライニング１１を目視点検する。合わせて、作業者２は、点検結果を示す発声１０を行う。このとき、「部品Ａ確認」と声出し確認が行われたことが録画データ５に記録される。また、撮影範囲Ｒ１６には、取り外されたライニング１１と、主レバー１２の部品形状が映る。
（７）次に、作業者２は、ライニング１１の目視点検が終了し、次の手順に移行する。このとき、撮影範囲Ｒ１７には、次の手順に移行する様子が映る。

このように１つの録画データ５には、連続する作業手順（１）〜（７）の様子が映っている。この録画データ５に対して、部品名タグ、部品形状タグ、関連付けタグが追加される。例えば、ライニング１１の部品名タグは、作業手順（６）のタイミングで付けられる。また、ライニング１１の部品形状タグは、作業手順（３）〜（６）のタイミングで付けられる。そして、ライニング１１の関連付けタグは、作業手順（６）のタイミングで付けられる。

図１３は、報告書表示画面Ｗ２の表示例を示す説明図である。

報告書表示画面Ｗ２は、ビル写真Ｗ２１、報告先詳細情報欄Ｗ２２、作業者写真Ｗ２３、報告元詳細情報欄Ｗ２４、作業写真Ｗ２５を備える。
ビル写真Ｗ２１には、保全作業が行われた昇降機が設置されるビルの写真が表示される。
報告先詳細情報欄Ｗ２２には、報告書の提出先、ビル名及び設備名称といった報告先の詳細情報が表示される。
作業者写真Ｗ２３には、作業者２の顔写真が表示される。
報告元詳細情報欄Ｗ２４には、報告元会社名、電話番号、報告日、作業者氏名、電話番号等が表示される。
作業写真Ｗ２５には、保全作業において交換等が行われた部品の写真が表示される。この写真は、例えば、関連付けタグが付けられた箇所の画像や部品の交換前後の様子を示す画像である。図１３に示す例では、主レバー１２から古いライニング１１が取り外され、新しいライニング１１が主レバー１２に取り付けられる様子が連続写真で示されている。

報告書作成部５５は、報告書表示画面Ｗ２を管理者端末９又は作業者端末２０に表示することが可能である。また、作業者端末２０は、携帯型プリンターにより報告書表示画面Ｗ２と同様のレイアウトで報告書を印刷することが可能である。この場合、作業者２からビルオーナー等に印刷された報告書が手渡しされる。なお、報告書作成部５５は、報告書表示画面Ｗ２に表示された内容をメール等によりビルオーナー等が有するメールアドレスに送信することも可能である。

以上説明した一実施の形態例に係る保全作業管理システム３０では、管理者８が保全作業に関わる部品名タグと部品形状タグが一致する箇所を検索することで、関連付けタグが付けられた箇所から頭出し再生が行われる。このため、管理者８が閲覧したい箇所を速やかに見つけ出すことが可能となる。ただし、部品名タグと部品形状タグが一致する箇所は、所定期間の余裕を持たせることで関連付けタグが付けられやすくなる。このため、管理者８が閲覧したい箇所の精度を一層高めることができる。

このように管理者８は、保全作業の内容を管理しやすくなる。また、ビルオーナーに渡される報告書には、作業手順が連続写真で示されるため、ビルオーナーは作業結果を確認しやすくなる。

［変形例］
なお、抽出部５４は、保全作業における特定の作業手順を、管理者８が管理すべき最も重要な作業としてモジュール化することができる。例えば、図１１と図１２に示される一連の作業手順（３）〜（６）が「部品Ａの分解作業」として一つにまとめられる。このように一連の作業手順をまとめることを「モジュール化」と呼ぶ。抽出部５４は、モジュール化した一連の作業手順を作業手順データベースＤ５に格納することができる。そして、抽出部５４は、モジュール化された一連の作業の始めと終わりの箇所を管理者端末９に送信する。このため、管理者８は、管理すべき作業の始めと終わりの状況を速やかに確認することができる。

ここで、モジュール化された作業手順と異なる手順で作業者２が作業した場合、モジュール化された作業手順で録画データ５に付けられた部品形状タグの順序とは異なる順序で録画データ５に部品形状タグが付けられる。このため、抽出部５４は、作業手順データベースＤ５に格納したモジュール化された保全作業の作業手順を参照し、作業者２が行う保全作業の作業手順が、モジュール化された保全作業の作業手順と異なることを示す注意喚起を作業者端末２０に表示する。これにより作業者２は、誤った作業手順で作業を行っていることに気付き、正しい作業手順で作業をやり直すことができる。

なお、本発明は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施の形態例の構成の一部を他の実施の形態例の構成に置き換えることは可能であり、さらにはある実施の形態例の構成に他の実施の形態例の構成を加えることも可能である。また、各実施の形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…巻上機、３…カメラ、５…録画データ、９…管理者端末、２０…作業者端末、２５…検索キー、２６…抽出結果、３０…保全作業管理システム、５０…保全作業管理装置、５１…名称検出部、５２…形状検出部、５３…関連付け部、５４…抽出部、５５…報告書作成部、Ｄ１…部品名データベース、Ｄ２…部品形状データベース、Ｄ３…関連付けデータベース、Ｄ４…録画データ格納データベース、Ｄ５…作業手順データベース

Claims (7)

1. 昇降機の保全作業を撮影し、前記保全作業に関わる画像及び音声を含む録画データを作成する撮影装置と、
   前記撮影装置と通信回線を通じて接続され、前記撮影装置から前記録画データを取得する保全作業管理装置と、
   前記保全作業管理装置から取得した前記録画データを再生する第１端末と、を備え、
   前記保全作業管理装置は、
   前記録画データに記録される前記音声をテキスト変換して前記保全作業における特定の名称を検出し、前記録画データの前記特定の名称を検出した箇所に名称タグを付ける名称検出部と、
   前記録画データに記録される前記画像から前記昇降機の特定の形状を検出し、前記録画データの前記特定の形状を検出した箇所に形状タグを付ける形状検出部と、
   前記特定の名称と前記特定の形状とが予め関連付けられ、前記録画データに前記名称タグ及び前記形状タグが付けられたタイミングが所定期間内である場合に、前記名称タグ又は前記形状タグが付けられた箇所に基づいて関連付けタグを付ける関連付け部と、
   前記名称タグ、前記形状タグ及び前記関連付けタグが付けられた前記録画データが格納される録画データ格納部と、
   前記第１端末から送信される、前記名称タグと前記形状タグが付けられたタイミングが一致する箇所の再生要求に基づいて、前記録画データ格納部に格納される前記録画データより前記関連付けタグが付けられた箇所を抽出して、前記第１端末に前記関連付けタグが付けられた箇所からの頭出し再生を行わせる抽出部と、を備える
   保全作業管理システム。
2. 前記抽出部は、前記特定の名称のみ、前記特定の形状のみ、前記特定の名称若しくは前記特定の形状、又は前記特定の名称及び前記特定の形状の一致のいずれかを含む前記再生要求に応じて、前記録画データから抽出した前記名称タグ、前記形状タグ又は前記関連付けタグが付けられた箇所を示す情報を前記第１端末に送信し、前記第１端末によって選択された前記情報に基づいて頭出しした前記録画データを抽出し、前記第１端末に頭出し再生を行わせる
   請求項１に記載の保全作業管理システム。
3. さらに、前記保全作業の作業手順を格納する作業手順格納部を備え、
   前記抽出部は、前記作業手順格納部に格納された前記作業手順を参照し、前記録画データに前記名称タグ、前記形状タグ、又は前記関連付けタグが付けられた順序に従って前記保全作業で確認が必要となる前記作業手順を判定し、前記第１端末に判定した前記作業手順を示す箇所からの頭出し再生を行わせる
   請求項２に記載の保全作業管理システム。
4. さらに、前記通信回線を通じて前記録画データを取得し、前記録画データの頭出し再生を行うと共に、前記保全作業の報告書を表示し、又は印刷する第２端末を備え、
   前記保全作業管理装置は、前記抽出部によって抽出された箇所の前記画像を含む前記報告書を作成する報告書作成部を備える
   請求項３に記載の保全作業管理システム。
5. 前記抽出部は、前記関連付けタグが付けられた前後における前記保全作業の前記作業手順をモジュール化して、モジュール化された前記保全作業の前記作業手順を前記作業手順格納部に格納し、前記保全作業とは別に行われる保全作業の前記作業手順が、モジュール化された前記保全作業の前記作業手順と異なる場合に前記第２端末に注意喚起を出力する
   請求項４に記載の保全作業管理システム。
6. 前記名称タグと前記形状タグが付けられたタイミングが一致する箇所は、前記録画データに前記名称タグが付けられたタイミングと、前記形状タグが付けられたタイミングとの差分時間が前記所定期間内の箇所である
   請求項１〜５のいずれか一項に記載の保全作業管理システム。
7. 昇降機の保全作業を撮影し、前記保全作業に関わる画像及び音声を含む録画データを作成する撮影装置と通信回線を通じて接続され、前記撮影装置から取得する前記録画データに記録される前記音声をテキスト変換して前記保全作業における特定の名称を検出し、前記録画データの前記特定の名称を検出した箇所に名称タグを付ける名称検出部と、
   前記録画データに記録される前記画像から前記昇降機の特定の形状を検出し、前記録画データの前記特定の形状を検出した箇所に形状タグを付ける形状検出部と、
   前記特定の名称と前記特定の形状とが予め関連付けられ、前記録画データに前記名称タグ及び前記形状タグが付けられたタイミングが所定期間内である場合に、前記名称タグ又は前記形状タグが付けられた箇所に基づいて関連付けタグを付ける関連付け部と、
   前記名称タグ、前記形状タグ及び前記関連付けタグが付けられた前記録画データが格納される録画データ格納部と、
   前記録画データを再生する第１端末から送信される、前記名称タグと前記形状タグが付けられたタイミングが一致する箇所の再生要求に基づいて、前記録画データ格納部に格納される前記録画データより前記関連付けタグが付けられた箇所を抽出して、前記第１端末に前記関連付けタグが付けられた箇所からの頭出し再生を行わせる抽出部と、を備える
   保全作業管理装置。

Images