以下に、本発明の一実施形態に係る保全作業支援装置を含む保全作業支援システム及びその保全作業支援手法の内容について、図面を参照しながら具体的に説明する。
まず、本実施形態の保全作業支援システムの構成を説明する前に、本発明で解決する課題について、図10を参照してより具体的に説明する。図10は、複数の作業者が装着したカメラによる複数の撮影映像を、遠隔地に居る作業管理者が閲覧できるように構成された、保全作業支援システム1000の構成及び概要を示す説明図である。
図10に示す保全作業支援システム1000は、カメラ20A、カメラ20B、現場端末30A、現場端末30B、録画データ保存サーバー60及び事務所端末70を備える。カメラ20Aと録画データ保存サーバー60、及び、カメラ20Bと録画データ保存サーバー60とは、インターネット等よりなる通信回線5を介して接続される。また、録画データ保存サーバー60と事務所端末70とは、LAN(Local Area Network)又は専用線等で接続される。
カメラ20Aは、作業者MA(第1の作業者の一例)が装着するヘルメットに取り付けられ、作業者MAの視線EA1〜EA3の各方向を撮影方向とし、作業者MAの視界とほぼ同じ範囲を撮影範囲として撮影を行う。カメラ20Bは、作業者MB(第2の作業者の一例)が装着するヘルメットに取り付けられ、作業者MBの視線EB1〜EB3の各方向を撮影方向とし、作業者MBの視界とほぼ同じ範囲を撮影範囲として撮影を行う。
現場端末30Aは、作業者MAによって所持される端末であり、例えば携帯端末装置等で構成される。現場端末30Aは、カメラ20Aと連携可能であり、その画面には、カメラ20Aによる撮影映像が表示される。現場端末30Bは、作業者MBによって所持される端末であり、例えば携帯端末装置等で構成される。現場端末30Bは、カメラ20Bと連携可能であり、その画面には、カメラ20Bによる撮影映像が表示される。
作業者MA及びMBは、不図示のエレベーターを構成する各装置の構成部品に対して、点検、分解清掃、調整といった保全作業を行う作業者である。図10に示す例では、作業者MA及びMBが、巻上機1を構成する各構成部品を対象として保全作業を行う。エレベーターを構成する装置には、図10に示す巻上機1の他に、不図示の制御装置、乗りかご、ロープ、釣合い重り等が含まれる。
作業者MAの視線EA1の先にある構成部品の撮影映像は、カメラ20Aによって映像RA1として録画され、視線EA2の先にある構成部品の映像は、カメラ20Aによって映像RA2として録画される。さらに、視線EA2の先にある構成部品の映像は、カメラ20Aによって映像RA3として録画される。同様に、作業者MBの視線EB1の先にある構成部品の撮影映像は、カメラ20Bによって映像RB1として録画され、視線EB2の先にある構成部品の映像は、カメラ20Bによって映像RB2として録画される。さらに、視線EB2の先にある構成部品の映像は、カメラ20Bによって映像RB3として録画される。
映像RA1、RA2及びRA3を含む撮影映像、並びに、映像RB1、RB2及びRB3を含む撮影映像は、通信回線5を介して録画データ保存サーバー60に送信される。
録画データ保存サーバー60は、不図示の記憶装置を備え、該記憶装置に、通信回線5を介してカメラ20Aから送信された撮影映像を録画データ40Aとして格納する。また、録画データ保存サーバー60は、カメラ20Bから送信された撮影映像を、録画データ40Bとして格納する。
事務所端末70は、例えばパーソナルコンピュータ等で構成され、作業管理者MCによる操作に基づいて、録画データ保存サーバー60内に格納された録画データ40A及び40Bを取得し、取得した各録画データ40を再生して画面に表示する。
図中の、事務所端末70の画面の位置に付与された吹き出し中に、事務所端末70の画面上で表示された、録画データ40A及び40Bの構成例を示す。録画データ40Aは、部品形状Paが映っている場面SA1、部品形状Peが映っている場面SA2、部品形状Pbが映っている場面SA3、及び、部品形状Pcが映っている場面SA4を含む。録画データ40Bは、部品形状Paが映っている場面SB1、部品形状Peが映っている場面SB2、及び、部品形状Pdが映っている場面SB3を含む。
このような録画データを、事務所端末70で再生して確認することにより、作業管理者MCは、例えば予め点検が決められた巻上機1の各構成部品に対して作業者MA及びMBによって行われた保全作業の内容を、遠隔に居ながら確認することができる。
しかしながら、上記手法で生成される録画データ40Aには、部品形状Pa、Pb、Pc、Peを有する各構成部品は映っているが、部品形状Pdを有する構成部品は映っていない。一方、録画データ40Bには、部品形状Pa、Pd、Peを有する各構成部品は映っているが、部品形状Pdを有する構成部品は映っていない。それゆえ、巻上機1の部品形状Pa、Pb、Pc、Pd及びPeを有する各構成部品に関する保全作業をすべて確認するためには、作業管理者MCは、録画データ40A及び40Bのそれぞれを、最初から最後まですべて視聴しなければならない。
つまり、上記手法では、作業管理者MCが作業者MA及びMBによる保全作業を確認する手間と時間がかかってしまう。さらに、録画データ40A及び40Bを、作業者MA及びMBによる保全作業の履歴として保存する場合には、録画データ40A及び4Bを録画データ保存サーバー60に記録しなければならず、録画データ保存サーバー60に記録するデータ量が膨大になってしまう。
そこで、本発明では、作業者による保全作業の確認を、作業管理者が効率的に行うことを可能とする保全作業支援技術を提案する。
[保全作業支援システムの概要構成]
まず、図1を参照して、本実施形態に係る保全作業支援システムの概要構成について説明する。図1は、本実施形態に係る保全作業支援システム100の概要構成を示す概要説明図である。なお、以下の説明において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより、重複する説明を省略する。
図1に示す保全作業支援システム100は、カメラ2A、カメラ2B、現場端末3A、現場端末3B、保全作業支援サーバー6(保全作業支援装置の一例)及び事務所端末7を備える。カメラ2Aと保全作業支援サーバー6、及び、カメラ2Bと保全作業支援サーバー6とは、インターネット等よりなる通信回線5を介して接続される。また保全作業支援サーバー6と事務所端末7とは、LAN又は専用線等で接続される。
カメラ2Aは、作業者MAが装着するヘルメットに取り付けられ、作業者MAの視線EA1〜視線EA3の各方向を撮影方向とし、作業者MAの視界とほぼ同じ範囲を撮影範囲として撮影を行う。カメラ2Bは、作業者MBが装着するヘルメットに取り付けられ、作業者MBの視線EB1〜視線EB3の各方向を撮影方向とし、作業者MBの視界とほぼ同じ範囲を撮影範囲として撮影を行う。また、カメラ2A及びカメラ2Bは、不図示のマイクロフォン(以下、単に「マイク」と称する)を備える。
現場端末3Aは、作業者MAによって所持される端末であり、例えば携帯端末装置等で構成される。現場端末3Aは、カメラ2Aと連携可能であり、その画面には、カメラ2Aによる撮影映像が表示される。現場端末3Bは、作業者MBによって所持される端末であり、例えば携帯端末装置等で構成される。現場端末3Bは、カメラ2Bと連携可能であり、その画面には、カメラ2Bによる撮影映像が表示される。
作業者MA及びMBは、不図示のエレベーターを構成する各装置に対して、装置を構成する各部品の点検、分解清掃、調整といった保全作業を行う作業者である。図1に示す例では、作業者MA及び作業者MBが、巻上機1を構成する各部品を対象として保全作業を行う。エレベーターを構成する装置には、図1に示す巻上機1の他に、不図示の制御装置、乗りかご、ロープ、釣合い重り等が含まれる。
作業者MA及びMBは、巻上機1を構成する各部品を点検する際に、各部品に視線EA又は視線EBを移すとともに、部品の名称を発声する。これにより、作業者MA又は作業者MBが装着したカメラ2A又はカメラ2Bでは、視線の先にある部品の映像とともに、作業者MA又は作業者MBによって発声された部品の発音音声(識別情報の一例)も録画される。
作業者MAの視線EA1の先にある部品の撮影映像、及び、部品名(「部品B」)の発音音声VA1は、カメラ2Aによって映像RA1として録画される。また、視線EA2の先にある部品の撮影映像、及び、部品名(「部品C」)の発音音声VA2は、カメラ2Aによって映像RA2として録画される。さらに、視線EA3の先にある部品の撮影映像、及び、部品名(「部品D」)の発音音声VA3は、カメラ2Aによって映像RA3として録画される。
同様に、作業者MBの視線EB1の先にある部品の撮影映像、及び、部品名(「部品B」)の発音音声VB1は、カメラ2Bによって映像RB1として録画される。また、視線EB2の先にある部品の撮影映像、及び、部品名(「部品C」)の発音音声VB2は、カメラ2Bによって映像RB2として録画される。さらに、視線EB3の先にある部品の撮影映像、及び、部品名(「部品D」)の発音音声VB3は、カメラ2Bによって映像RB3として録画される。なお、以下の説明において、発音音声VA1〜VA3及びVB1〜VB3を個別に区別する必要がない場合には、単に発音音声Vと称する。
保全作業支援サーバー6は、録画データ記憶部61、部品名称管理部62、一致場面抽出部63(場面抽出部の一例)、未撮影部品有無判定部64、録画データ結合部65(結合データ生成部の一例)及び閲覧用データ生成部66を備える。
録画データ記憶部61は、カメラ2Aから送信された撮影映像を録画データ4A(第1の録画データの一例)として保存し、カメラ2Bから送信された撮影映像を録画データ4B(第2の録画データの一例)として保存する。なお、以下の説明において、録画データ4A及び4Bを区別する必要がない場合には、単に録画データ4と称する。
部品名称管理部62は、部品名称テーブルT1(部品テーブルの一例)を管理する。部品名称テーブルT1は、構成部品の部品形状と部品名とが対応付けて登録されるテーブルである。図1に示す部品名称テーブルT1には、「部品A」の部品形状Paと部品名Naとが対応付けられ、「部品B」の部品形状Pbと部品名Nbとが対応付けられている。また、「部品C」の部品形状Pcと部品名Ncとが対応付けられ、「部品D」の部品形状Pdと部品名Ndとが対応付けられ、「部品E」の部品形状Peと部品名Neとが対応付けられている。なお、以下の説明において、部品形状Pa〜Peを個別に区別する必要がない場合には、単に部品Pと称し、部品名Na〜Neを個別に区別する必要がない場合には、単に部品名Nと称する。
一致場面抽出部63は、録画データ4A及び4Bのそれぞれにおいて、一致場面の抽出処理を行い、該処理によって抽出された各場面を用いて、抽出データ4Aα(第1の抽出データの一例)及び抽出データ4Bα(第2の抽出データの一例)を生成する。一致場面抽出部63は、一致場面の抽出処理において、収録された発音音声Vと部品名称テーブルにT1に登録された部品名Nとが一致し、かつ、録画データ4に含まれる部品形状と部品名称テーブルT1に登録された部品形状Pとが一致する場面を抽出する。
より具体的には、一致場面抽出部63は、例えば録画データ4Aを対象として行う一致場面の抽出処理では、まず、録画データ4Aに収録された作業者MAの発音音声VAをテキスト変換して得た部品名を検索キーとして、部品名称テーブルT1を検索する。そして、部品名Nが検索された場合に、部品名称テーブルT1において、検索された部品名Nと対応付けられた部品形状Pと一致する部品形状が映っている(含まれる)場面(第1の場面の一例)を、録画データ4Aから抽出する。そして、一致場面抽出部63は、抽出した各場面SAを繋げて抽出データ4Aαを生成する。一致場面抽出部63は、録画データ4Bに対しても同様の処理を行い、録画データ4Bから抽出した各場面(第2の場面の一例)を繋げて抽出データ4Bαを生成する。
図1における一致場面抽出部63の表示箇所に、抽出データ4Aα及び4Bαの構成例を吹き出しで示す。抽出データ4Aαは、部品形状Paが映っている場面SA1、部品形状Peが映っている場面SA2、部品形状Pbが映っている場面SA3、及び、部品形状Pcが映っている場面SA4を含む。抽出データ4Bαは、部品形状Paが映っている場面SB1、部品形状Peが映っている場面SB2、及び、部品形状Pdが映っている場面SB3を含む。以下の説明において、場面SA1〜SA3を個別に区別する必要がない場合には、単に場面SAと称し、場面SB1〜SB3を個別に区別する必要がない場合には、単に場面SBと称する。
一致場面抽出部63は、抽出データ4Aα、4Bαの生成時に、抽出した各場面の先頭に、頭出し信号としての部品形状タグ(不図示)を、部品形状及び/又は部品名と対応付けて記録する。これにより、部品形状又は部品名を検索キーとして指定することによって、部品形状又は部品名と対応付けられた部品形状タグを特定することが可能となる。そして、特定された部品形状タグの位置から、録画データを頭出し再生することが可能となる。
未撮影部品有無判定部64は、一致場面抽出部63で生成された抽出データ4Aα及び4Bαのそれぞれにおいて、その部品形状Pが映った場面が存在しない構成部品(以下、未撮影部品Uと称する)があるか否かを判定する。未撮影部品有無判定部64は、未撮影部品Uを検出した場合に警告Alを生成し、該警告Alを、作業者MAが所持する現場端末3A及び/又は作業者MBが所持する現場端末3Bに送信する。未撮影部品有無判定部64による未撮影部品Uの検出処理は、例えば、作業者MA、MBによる分解清掃、調整等の各保全作業工程の終了を検知したタイミング等で行うことができる。各保全作業工程の終了の検知は、例えば、抽出データ4Aα及び4Bαに収録された作業者MA及びMBによる「作業終了」の音声を検知すること等により行うことができる。
録画データ結合部65は、抽出データ4Aα及び4Bαを結合して結合データ4βを生成する。抽出データ4Aαと抽出データ4Bαとの結合は、同一の構成部品の撮影映像(場面)が抽出データ4Aα及び4Bαの両方に含まれる場合に、いずれか一方の場面を選択し、該選択した場面を時系列に並び替えて繋げることによって行う。抽出データ4Aα中の場面SAと抽出データ4Bα中の場面SBのいずれを選択するかは、録画データ結合部65が、構成部品重要度テーブルT2(図3参照)に記載の構成部品の重要度の情報に基づいて判定する。
より詳細には、録画データ結合部65は、構成部品に設定された重要度が高い場合には、抽出データ4Aα中の場面SAと抽出データ4Bα中の場面SBのうち、タイムスタンプにより示される録画時刻が遅い(直近に撮影された)方の場面を選択する。一方、構成部品に設定された重要度が低い場合には、抽出データ4Aα中の場面SAと抽出データ4Bα中の場面SBのうち、録画時刻が早い方の場面を選択する。録画データ結合部65による場面の選択処理(以下、「優先順位判定処理」と称す)については、後述の図4を参照して詳述する。
図1には、録画データ結合部65によって生成された結合データ4βが、場面SA2、場面SB1、場面SA3、場面SA4及び場面SB3で構成されることが示されている。場面SA2は、抽出データ4Aαに含まれていた場面であり、部品形状Peが撮影された場面である。部品形状Peが撮影された場面には、抽出データ4Aα内の場面SA2と、抽出データ4Bα内の場面SB2との両方があるが、結合データ4βでは、そのうちの抽出データ4Aα内の場面SA2の方が選択されている。
閲覧用データ生成部66は、作業者MA、MBの保全作業の各工程が記された作業指示書13の各作業項目131に対して、結合データ4β内の対応する場面のサムネイル132(サムネイル画像の一例)を付与して、閲覧用データ133を生成する。各作業項目131に対応する場面とは、作業項目131に示される保全作業の対象となる構成部品の部品形状Pが映っている場面である。各作業項目131に対応する場面は、例えば、作業項目131に記載された構成部品の名称や部品形状等をキーとして検索することができる。閲覧用データ生成部66は、サムネイル132と、サムネイル132の付与先の場面とを対応付け、サムネイル132を、対応する場面の撮影映像を再生するリンクとして機能させる。
事務所端末7は、例えば、パーソナルコンピュータ等で構成され、マウスやキーボード等よりなる入力部、LCD(Liquid Crystal Display)等よりなる表示部、不図示の制御部及び記憶部等を備える。事務所端末7の制御部は、作業管理者MCによって入力部に入力される操作に基づいて閲覧用データ133を再生し、再生した閲覧データ133を表示部の画面に表示する。また、作業管理者MCによって、閲覧用データ133内の中の特定のサムネイル132を選択する操作が入力された場合には、事務所端末7の制御部は、サムネイル132に対応付けられた場面を再生して、再生した場面を表示部の画面に表示する。つまり、本実施形態によれば、事務所端末7を操作する作業管理者MCは、確認したい保全作業(作業項目131)に対応するサムネイル132を選択(クリック)することにより、該当する保全作業を撮影した場面(撮影映像)を頭出し再生することができる。
[保全作業支援サーバーのハードウェア構成]
次に、図2を参照して、保全作業支援サーバー6を構成する計算機Cのハードウェア構成を説明する。図2は、計算機Cのハードウェア構成例を示すブロック図である。
計算機Cは、いわゆるコンピュータとして用いられるハードウェアである。計算機Cは、バスC4にそれぞれ接続されたCPU(Central Processing Unit:中央処理装置)C1、ROM(Read Only Memory)C2、RAM(Random Access Memory)C3、不揮発性ストレージC5及びネットワークインターフェイスC6を備える。
CPU C1は、本実施形態に係る各機能を実現するソフトウェアのプログラムコードをROM C2から読み出して実行する。RAM C3には、演算処理の途中に発生した変数やパラメーター等が一時的に書き込まれる。
不揮発性ストレージC5としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリ等が用いられる。この不揮発性ストレージC5には、OS(Operating System)、各種のパラメーターの他に、計算機Cを機能させるためのプログラムが記録される。ROM C2、不揮発性ストレージC5は、CPU C1が動作するために必要なプログラムやデータ等を記録しており、計算機Cによって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記録媒体の一例として用いられる。このため、ROM C2、不揮発性ストレージC5には、このプログラムが永続的に格納される。また、ROM C2、不揮発性ストレージC5には、録画データ4A及び4B、抽出データ4Aα及び4Bα、結合データ4β、部品名称テーブルT1及び構成部品重要度テーブルT2も格納される。
ネットワークインターフェイスC6には、例えば、NIC(Network Interface Card)等が用いられ、端子が接続された通信回線5等を介して各種のデータを装置間で送受信することが可能である。このため、保全作業支援サーバー6は、ネットワークインターフェイスC6を通じて、カメラ2A、2Bから撮影映像を受信し、事務所端末7に対して、閲覧用データ133及び結合データ4βを送信することができる。
[録画データ結合部による優先順位判定処理の概要]
次に、図3〜図5を参照して、録画データ結合部65による優先順位判定処理の概要について説明する。図3は、録画データ結合部65が優先順位判定処理時に参照する構成部品重要度テーブルT2の構成例を示す説明図であり、図4は、録画データ結合部65による優先順位判定処理の手順を示すフローチャートである。図5は、録画データ結合部65による優先順位判定処理に基づいて生成された結合データ4βの構成例を示す説明図である。
まず、図3を参照して、構成部品重要度テーブルT2の構成例について説明する。構成部品重要度テーブルT2は、No I1、形状I2、名称I3、重要度I4、及び、2名以上での確認の要否I5の各項目を有する。
No I1は、構成部品重要度テーブルT2を構成する各レコードに割り振られる番号である。形状I2には、構成部品の部品形状Pが登録される。名称I3には、構成部品の名称Nが登録される。重要度I4には、構成部品の重要度の情報が登録される。例えば、人名に関わる重要な装置(機器)であり、保全作業を優先的に行うべき装置を構成する構成部品に対しては、重要度I4には「高い」が設定される。それ以外の構成部品に対しては「低い」が設定される。なお、図3に示す構成部品重要度テーブルT2では、重要度I4として「高い」と「低い」の2つの重要度が設定される例を挙げたが、本発明はこれに限定されない。3段階や4段階等、3段階以上の段階で示される重要度が設定されてもよい。
2名以上での確認の要否I5には、その構成部品の保全作業を2名以上の(複数の)作業員Mが行う必要があるか否かを示す情報(重要度の情報の一例)が登録される。2名以上の作業員Mによる保全作業が必要である場合には「要」が設定され、2名以上の作業員Mによる保全作業が不要である場合、すなわち、1名による保全作業も可とする場合には、「不要」が設定される。
図3に示す例では、部品A及び部品Bにおいて、重要度I4に「高い」が設定され、2名以上での確認の要否I5に「要」が設定されている。部品Cにおいては、重要度I4に「高い」が設定され、2名以上での確認の要否I5は「不要」が設定されている。部品D及び部品Eにおいて、重要度I4に「低い」が設定され、2名以上での確認の要否I5に「不要」が設定されている。
次に、図4を参照して、録画データ結合部65による優先順位判定処理の手順について説明する。まず、録画データ結合部65は、優先順位判定処理を開始する(ステップS1)。次いで、録画データ結合部65は、優先順位判定処理の対象の構成部品は、重要度が高い部品であるか否かを判定する(ステップS2)。
ステップS2で、対象の構成部品が、重要度が高い構成部品であると判定された場合(ステップS2がYES判定の場合)、録画データ結合部65は、対象の構成部品は、作業者2名以上による確認が必要な構成部品であるか否かを判定する(ステップS3)。
ステップS3で、対象の構成部品が、作業者2名以上による確認が必要な構成部品であると判定された場合(ステップS3がYES判定の場合)、録画データ結合部65は、対象の構成部品が映っている抽出データ4Aα中の場面SA又は抽出データ4Bα中の場面SBのうち、録画時刻が遅い方の場面を、結合データ4βに用いる場面として採用する(ステップS4)。
ステップS2で、対象の構成部品が、重要度が高い構成部品でないと判定された場合(ステップS2がNO判定の場合)、録画データ結合部65は、録画時刻が早い方の場面を、結合データ4βに用いる場面として採用する(ステップS5)。
ステップS3で、対象の構成部品が、作業者2名以上による確認が必要な部品でないと判定された場合(ステップS3がNO判定の場合)、録画データ結合部65は、録画時刻が早い方の場面を、結合データ4βに用いる場面として採用する(ステップS5)。
優先順位判定処理の対象の部品が、部品A又はBである場合、部品A又はBは、構成部品重要度テーブルT2において、重要度I4には「高い」が設定され、2名以上での確認の要否I5には「要」が設定されている。これにより、ステップS2及びS3のいずれにおいても、YES判定が行われ、ステップS4の処理が行われる。すなわち、録画時刻が遅い方の場面が結合データ4βに用いる場面として採用される。
優先順位判定処理の対象の部品が、部品Cである場合、部品Cは、構成部品重要度テーブルT2において、重要度I4には「高い」が設定されており、2名以上での確認の要否I5には「不要」が設定されている。これにより、ステップS2ではYES判定が行われるが、ステップS3ではNO判定が行われ、ステップS5の処理が行われる。すなわち、録画時刻が早い方の場面が結合データ4βに用いる場面として採用される。
優先順位判定処理の対象の部品が、部品D又は部品Eである場合、部品D又は部品Eは、構成部品重要度テーブルT2において、重要度I4には「低い」が設定され、2名以上での確認の要否I5には「不要」が設定されている。これにより、ステップS2及び3のいずれにおいても、NO判定が行われ、ステップS5の処理が行われる。すなわち、録画時刻が早い方の場面が結合データ4βに用いる場面として採用される。
図5に、録画データ結合部65による優先順位判定処理に基づいて生成された結合データ4βの構成例を示す。図5において、横軸は、録画時刻により示される時間(t)を示す。横軸の左に行くほど録画時刻は早く、右に行くほど録画時間は遅い。
図5に示すように、抽出データ4Aαは、部品形状Paが映っている場面SA1、部品形状Peが映っている場面SA2、部品形状Pbが映っている場面SA3、及び、部品形状Pcが映っている場面SA4を含む。抽出データ4Bαは、部品形状Paが映っている場面SB1、部品形状Peが映っている場面SB2、部品形状Pbが映っている場面SB3、及び、部品形状Pdが映っている場面SB4を含む。
優先順位判定処理の対象の構成部品が、部品形状Paを有する部品Aである場合、構成部品重要度テーブルT2では、部品Aの重要度I4には「高い」が設定されており、2名以上での確認の要否I5には「要」が設定されている。したがって、図4に示した優先順位判定処理の手順に基づき、録画時刻が遅い方の場面が結合データ4βに用いる場面として採用(選択)される。図5に示す例では、部品形状Paが映っている場面SA1及びSB1のうち、録画時刻が遅い方の場面は場面SB1となる。したがって、結合データ4βに用いる場面として、場面SB1が選択される。
優先順位判定処理の対象の構成部品が、部品形状Peを有する部品Eである場合、構成部品重要度テーブルT2では、部品Eの重要度I4には「低い」が設定されており、2名以上での確認の要否I5には「不要」が設定されている。したがって、図4に示した優先順位判定処理の手順に基づき、録画時刻が早い方の場面が結合データ4βに用いる場面として採用される。図5に示す例では、部品形状Peが映っている場面SA2及びSB2のうち、録画時刻が早い方の場面は場面SA2となる。したがって、結合データ4βに用いる場面として、場面SA2が選択される。
優先順位判定処理の対象の構成部品が、部品形状Pbを有する部品Bである場合、構成部品重要度テーブルT2では、部品Bの重要度I4には「高い」が設定されており、2名以上での確認の要否I5には「要」が設定されている。したがって、図4に示した優先順位判定処理の手順に基づき、録画時刻が遅い方の場面が結合データ4βに用いる場面として採用される。図5に示す例では、部品形状Pbが映っている場面SA3及びSB3のうち、録画時刻が遅い方の場面は場面SB3となる。したがって、結合データ4βに用いる場面として、場面SB3が選択される。
部品形状Pcを有する部品Cは、構成部品重要度テーブルT2において、2名以上での確認の要否I5に「不要」が設定されている。したがって、保全作業も、作業員MA1人によって行われており、部品形状Pcが映っている場面も、抽出データ4Aαにおける場面SA4のみとなる。これにより、抽出データ4Aαにおける場面SA4を、そのまま結合データ4βに用いる場面として採用する。
部品形状Pdを有する部品Dも、構成部品重要度テーブルT2において、2名以上での確認の要否I5に「不要」が設定されている。したがって、保全作業も、作業員MB1人によって行われており、部品形状Pdが映っている場面も、抽出データ4Bαにおける場面SB4のみとなる。これにより、抽出データ4Bαにおける場面SB4を、そのまま結合データ4βに用いる場面として採用する。
録画データ結合部65は、優先順位判定処理によって採用した場面SB1、場面SA2、場面SB3、場面SA4及び場面SB4を、それぞれが有する録画時刻が早い順に並べて繋げることにより、結合データ4βを生成する。場面SB1、場面SA2、場面SB3、場面SA4、場面SB4を、録画時刻が早い順に並べ替えると、場面SA2、場面SB1、場面SA4、場面SB3、場面SB4となる。したがって、録画データ結合部65によって生成される結合データ4βは、場面SA2、場面SB1、場面SA4、場面SB3、場面SB4がこの順に並んで結合されたものとなる。
本実施形態では、重要度が高く、2名以上での確認が必要とされている構成部品が映っている場面が、抽出データ4Aα及び4Bαの両方に存在する場合には、録画データ結合部65によって、録画時間が遅い方の画面が選択される。すなわち、その部品の最新の状態を映している直近の場面の方が選択される。これにより、本実施形態によれば、作業管理者MCは、作業者MA及びMBによって保全作業が行われた部品の最新の状態を確認することができる。
重要度が高く、2名以上での確認が必要とされている構成部品に対して行われる確認作業は、ダブルチェックの目的で行われることが多く、例えば、作業者MBが最終確認を行う役割を負っている場合には、作業者MBによる確認の方が時間的に必ず後に行われる。このような場合にも、本実施形態によれば、作業管理者MCは、上記優先順位判定処理で採用された各場面で構成される結合データ4βを視聴することにより、重要度が高い構成部品に関しては、最終確認時の保全作業を映した最新の場面を確認することができる。
また、本実施形態では、2名以上での確認が必要とされていない構成部品に関しては、その部品を映した場面が抽出データ4Aα及び4Bαの両方に存在する場合にも、録画時刻が早い方の場面が結合データ4βに採用される。したがって、本実施形態によれば、作業管理者MCは、その構成部品に対する保全作業が行われたか否かを、早い段階で確認することができる。
ここで、図6を参照して、従来通り、作業管理者MCが、作業者MAのカメラ20A(図10参照)による録画データ40Aと、作業者MBのカメラ20Bによる録画データ40Bとの両方を、順番にすべて再生して作業確認を行う場合について説明する。図6は、従来の手法による、事務所端末70で再生される録画データ40A及び40Bの構成例を示す説明図である。
図6に示す例では、作業者MAのカメラ20Aによる録画データ40Aは、部品形状Paが映っている場面SA1、部品形状Peが映っている場面SA2、部品形状Pbが映っている場面SA3、及び、部品形状Pcが映っている場面SA4を含む。作業者MBのカメラ2Bによる録画データ4Bは、部品形状Paが映っている場面SB1、部品形状Peが映っている場面SB2、及び、部品形状Pdが映っている場面SB3を含む。
そして、図6の右側に示すように、事務所端末70において、まず作業者MAのカメラ2Aによる録画データ40Aが再生され、続いて、作業者MBのカメラ2Bによる録画データ40Bが再生されるとする。この場合、部品形状Pdを有する構成部品Dを映した場面SB3は、録画データ40Bのみに存在するため、作業管理者MCは、録画データ40Aの再生を終えた時点では、部品形状Pdを有する構成部品Dに対する保全作業の内容を確認することができない。つまり、録画データ40Bの場面をすべて再生し終えた時点でないと、部品形状Pdを有する構成部品Dに対する保全作業の内容を確認できず、それまでの間は、作業管理者MCは保全作業の確認作業を終了することができない。
これに対して、本実施形態では、録画データ結合部65によって、抽出データ4Aα及び4Bαを統合した結合データ4βが生成される。このとき、抽出データ4Aα及び4Bαの両方に映っている(場面が存在する)構成部品に関しては、上記優先順位判定処理によって、いずれか一方の場面のみが選択されて結合データ4βに反映される。したがって、本実施形態によれば、作業管理者MCが保全作業内容の確認のために再生する録画データの量が大幅に削減されるため、作業管理者MCによる保全作業確認の時間と手間を低減することができる。
[保全作業支援サーバーにおける保全作業支援手法]
次に、本実施形態の保全作業支援サーバー6における保全作業支援手法について、図7及び図8を参照して説明する。図7は、本実施形態の保全作業支援サーバー6における保全作業支援手法の手順を示すフローチャートである。図8は、図7に示す保全作業支援手法の手順において、警報が発報される場合の具体例を示す説明図である。
まず、作業者MA及びMBによる操作に基づいて、カメラ2A及び2Bにおいて撮影が開始される(ステップS11)。次いで、作業者MA及びMBによって保全作業が開始される(ステップS12)。次いで、保全作業支援サーバー6の録画データ記憶部61は、カメラ2A及び3Bによる各撮影映像を、録画データ4A及び4Bとして記憶する(ステップS13)。
次いで、一致場面抽出部63は、録画データ4A及び4Bのそれぞれにおいて、収録された作業者MA、MBの発音音声VA、VBに基づいて、発音音声VA、VBと対応する構成部品の名称Nを、部品名称テーブルT1から抽出する(ステップS14)。次いで、一致場面抽出部63は、ステップS14で抽出した名称Nと対応付けられた部品形状Pと、映っている部品形状とが一致する場面を抽出して、抽出データ4Aα及び4Bαを生成する(ステップS15)。
次いで、未撮影部品有無判定部64は、抽出データ4Aα及び4Bαのそれぞれにおいて、撮影されるべき部品形状Pは、すべて映っているか否か、すなわち、未撮影部品Uは存在しないかを判定する(ステップS16)。ステップS16で、未撮影部品Uが存在すると判定された場合(ステップS16がNO判定の場合)、未撮影部品有無判定部64は警告Alを生成して発報する(ステップS17)。そして、未撮影部品有無判定部64は、処理をステップS14に戻す。
ここで、未撮影部品有無判定部64が未撮影部品Uを検出する場合の、抽出データ4Aα及び4Bαの構成例について、図8を参照して説明する。図8に示す抽出データ4Aαは、部品形状Paが映っている場面SA1、部品形状Peが映っている場面SA2、部品形状Pbが映っている場面SA3、及び、部品形状Pcが映っている場面SA4を含む。一方、抽出データ4Bαは、部品形状Paが映っている場面SB1、部品形状Peが映っている場面SB2、及び、部品形状Pdが映っている場面SB3を含む。
抽出データ4Aαの場面SA3に映っている部品形状Pbを有する部品Bは、図3に示す構成部品重要度テーブルT2によれば、2名以上での確認が必要な部品である。にもかかわらず、部品形状Pbが映っている場面は、抽出データ4Aαにしか存在しない(場面SA3)。このため、未撮影部品有無判定部64は、部品形状Pbを有する部品Bを、未撮影部品Uとして検出し、部品Bの撮影(作業者によ
る確認作業)がまだ行われていないことを示す警告Alを、現場端末3A及び/又は3Bに発報する。
図7に戻って、保全作業支援サーバー6における保全作業支援手法の手順の説明を続ける。ステップS16で、未撮影部品有無判定部64が、撮影されるべき部品形状Pはすべて映っていると判定した場合(ステップS16がYES判定の場合)、録画データ結合部65は、優先順位判定処理を行う(ステップS18)。優先順位判定処理は、図4に示した処理である。優先順位判定処理については、図4を参照して説明済みであるため、ここでは説明を省略する。
次いで、録画データ結合部65は、ステップS18の優先順位判定処理で採用された各場面を、各場面が有する録画時刻順に並べて結合することにより、結合データ4βを生成する(ステップS19)。
次いで、閲覧用データ生成部66は、作業指示書13の各作業項目131に対応する、結合データ4β内の各場面のサムネイルを作成する(ステップS20)。次いで、閲覧用データ生成部66は、ステップS20で生成したサムネイルを、作業指示書13の各作業項目131に対応付けて追加することにより閲覧用データを生成する(ステップS21)。
[事務所端末における保全作業支援手法]
次に、事務所端末7における保全作業支援手法について、図9を参照して説明する。図9は、事務所端末7における保全作業支援手法の手順を示すフローチャートである。
まず、事務所端末7の不図示の制御部は、作業管理者MCによるサムネイル132を選択する操作を受け付けたか否かを判定する(ステップS31)。ステップS31で、サムネイル132を選択する操作を受け付けていないと判定された場合(ステップS31がNO判定の場合)、制御部は、ステップS31の判定を繰り返す。
一方、ステップS31で、サムネイル132を選択する操作を受け付けたと判定された場合(ステップS31がYES判定の場合)、制御部は、サムネイル132に対応付けられた結合データ4β内の場面を再生する(ステップS32)。
次いで、制御部は、作業管理者MCによって、すべてのサムネイル132が選択されたか否か、すなわち、サムネイル132に対応付けられた場面がすべて再生されたか否かを判定する(ステップS33)。ステップS33で、すべてのサムネイル132が選択されていないと判定された場合(ステップS33がNO判定の場合)、制御部は、まだ視聴されていない場面(未確認の作業項目131)がある旨を通知する警報を発報する(ステップS34)。
一方、ステップS33で、すべてのサムネイル132が選択されたと判定された場合(ステップS33がYES判定の場合)、事務所端末7の制御部は処理を終了する。なお、図9に示した処理は、保全作業支援装置6側で行ってもよい。
[各種効果]
上記実施形態では、同一の構成部品を撮影した場面が、抽出データ4Aα及び4Bαの両方の中に存在する場合、いずれか一方の場面が、録画データ結合部65によって、構成部品に予め設定された重要度の情報に基づいて選択される。そして、録画データ結合部65によって、該選択した場面を用いて結合データ4βが自動的に生成される。これにより、作業管理者MCが保全作業の確認のために再生する録画データの容量が大幅に削減される。したがって、上記実施形態によれば、作業管理者MCによる確認作業の手間及び時間が削減されるため、作業管理者MCによる保全作業の確認作業の効率化を図ることができる。また、録画データを収容する録画データ記憶部61の記憶容量も節減できる。
また、上記実施形態では、同一の構成部品を撮影した場面が抽出データ4Aα及び4Bαの両方の中に存在し、かつ、その部品に高い重要度が設定されている場合、録画データ結合部65によって、録画時刻が遅い方の直近の場面が結合データ4βに採用される。これにより、結合データ4βを再生することにより保全作業の内容を確認する作業管理者MCは、最終的な保全作業が行われた最新の場面を確認することができる。
また、上記実施形態では、抽出データ4Aα及び4Bαのそれぞれにおいて、その部品形状が映った場面が存在しない構成部品(未撮影部品U)がある場合に、未撮影部品有無判定部64から現場端末3A及び/又は3Bに対して、警告が発報される。したがって、警報を見た作業者MA又はMBが、未撮影部品Uに対する保全作業を行うことができる。つまり、上記実施形態によれば、未撮影部品Uが存在する状態で作業管理者MCが結合データ4βを確認するという状況が起こりえないため、保全作業の確認時にかかる作業管理者MCの負担を低減できる。
また、上記実施形態では、作業指示書13の作業項目131毎に、保全作業を行う対象に指定された構成部品が映った場面のサムネイル132が生成され、サムネイル132が作業指示書13に付与されることにより、閲覧用データ133が生成される。そして、事務所端末7の入力部を介して閲覧用データ133内の特定のサムネイル132が選択された場合、該選択されたサムネイル132と対応付けられた作業項目131を映した場面が再生されて事務所端末7の表示部の画面に表示される。それゆえ、上記実施形態によれば、作業管理者MCは、確認したい保全作業の作業項目131に対応付けて付与されたサムネイル132を選択することにより、確認したい場面を容易に頭出し再生することができる。
また、上記実施形態では、一致場面抽出部63が、録画データ4Aに含まれる作業者MAによる部品名の発音音声VA、及び、録画データ4Bに含まれる作業者MBによる部品名の発音音声VBに基づいて、構成部品が映った場面を抽出する。これにより、作業者MA及びMBは、保全作業時に、カメラ2A又は2Bで撮影された撮影映像中の構成部品と、部品名とを対応付けるための特別な操作を行う必要がなくなる。したがって、本実施形態によれば、作業者MA又はMBは保全作業をスムーズに行うことが可能となる。
[各種変形例]
以上、本発明の一実施形態に係る保全作業支援サーバー6及びその保守作業支援方法について説明したが、本発明は上記実施形態に限定されず、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の変形例、応用例を取り得る。例えば、次のような各種変形例も本発明に含まれる。
また、上記実施形態では、録画データ結合部65が、重要度が高い(2名以上による確認を要する)構成部品が映っている場面に関しては、録画時刻が遅い方の場面を採用して結合データ4βを生成する例を挙げたが、本発明はこれに限定されない。例えば、録画時刻が早い方の場面を採用するようにしてもよい。
また、上記実施形態では、録画データ結合部65が、構成部品に予め設定された重要度の情報に基づいて、結合データ4βに採用する場面を選択する例を挙げたが、本発明はこれに限定されない。例えば、作業スキルがより高い作業者によって撮影された録画データ(から生成された抽出データ)に含まれる場面を、結合データ4βに採用するようにしてもよい。作業者のスキル等の作業者の属性情報を参照して場面を選択する処理は、例えば、作業者の属性情報を、カメラによる撮影映像等に付与しておくことにより、録画データ結合部65が実現できると考えられる。また、例えば、録画データに映っている構成部品の大きさ、構成部品を映したアングル、映像の鮮明度等の情報を考慮して、録画データ結合部65が結合データ4βに採用する場面を選択するように構成してもよい。
また、上記実施形態では、一致場面抽出部63が、作業者MAによる構成部品の部品名の発音音声VAと、作業者MBによる構成部品の部品名の発音音声VBに基づいて、構成部品が映っている場面を抽出する例を挙げたが、本発明はこれに限定されない。例えば、保全作業時に作業者MA及びMBが携帯端末3A又は3Bに部品名又は識別子(識別情報)等を入力するようにし、該入力された部品名又は識別子に基づいて場面を抽出してもよい。または、構成部品に予めICタグ等の識別子を付与しておき、その識別情報を撮影した撮影画像を画像解析して得た識別情報を用いて、場面を抽出するようにしてもよい。
さらに、上記実施形態では、作業者MA及びMBが保全作業を行う対象がエレベーターである場合を例に挙げたが、本発明はこれに限定されない。分解清掃、調整等の保全作業を行う必要がある装置・機器・部品であれば、どのようなものに適用してもよい。
なお、上述した実施の形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、上述した実施の形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、図1及び図2中に実線で示した制御線や情報線等は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。