JP5696262B1 - 作業管理装置、作業不備防止プログラムおよび作業不備防止方法 - Google Patents

Abstract

固有の作業環境に応じて作業を支援する技術を提供する。作業管理装置であって、他の装置から画像を受け付ける画像受付部と、受け付けた前記画像内において所定の指示方法で指示された機器を特定する指示物特定部と、前記指示物特定部により特定された前記機器を前記画像に含まれる他の機器と異なる表示態様で表示するよう前記他の装置に指示する表示指示部と、を備えることを特徴とする。

Description

本発明は、作業管理装置、作業不備防止プログラムおよび作業不備防止方法に関するものである。

特許文献１には、「標準作業手順に従う作業の動画を構成する画像フレームにおける作業者の手の位置を示す位置情報と、前記手が前記位置情報によって示される位置にあるタイミングを示す時間情報とを予め対応付けて記憶する標準作業情報記憶部と、動画撮影部によって撮影された他の作業者による作業の動画を構成する画像フレームにおける前記他の作業者の手の位置を示す位置情報を生成する画像解析部と、前記標準作業情報記憶部に記憶されている時間情報に対応する位置情報によって示される位置と、前記動画撮影部によって撮影された前記動画における前記時間情報によって示されるタイミングで前記画像解析部が生成した位置情報によって示される位置との差異、および前記標準作業情報記憶部に記憶されている位置情報に対応する時間情報によって示されるタイミングと、前記動画撮影部によって撮影された前記動画にもとづいて、前記位置情報によって示される位置に合致する位置を示す位置情報を前記画像解析部が生成したタイミングとの差異を算出する差異算出部と、前記差異算出部の算出結果が所定の値よりも大きい場合に、前記動画撮影部によって撮影された前記動画に、前記標準作業情報記憶部に記憶されている位置情報または時間情報に対応する画像を重畳して表示手段に表示させる重畳部とを備えたことを特徴とする標準作業実行支援装置」と記載されている。

特開２０１１−１６４６９４号公報

上記技術では、標準作業行う場合に、作業者を支援することが可能であるが、個別具体的な固有の作業環境に応じた作業を支援することは難しい。

本発明の目的は、固有の作業環境に応じた作業を支援する技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る作業管理装置は、他の装置から画像を受け付ける画像受付部と、受け付けた上記画像内において所定の指示方法で指示された機器を特定する指示物特定部と、上記指示物特定部により特定された上記機器を上記画像に含まれる他の機器と異なる表示態様で表示するよう上記他の装置に指示する表示指示部と、作業手順とともに作業対象となる機器を特定する画像情報を記憶する記憶部と、を備え、上記表示指示部は、上記指示物特定部により特定された上記機器が上記作業対象となる機器と対応する場合に、上記他の装置に上記指示を行う。

また、上記の作業管理装置においては、上記指示物特定部により特定された上記機器は上記画像と相違する他の画像内に含まれる上記所定の指示方法で指示された機器と対応するか否かを判定する機器比較部を備え、上記表示指示部は、上記機器比較部による比較結果を表示するよう上記他の装置に指示するものであってもよい。

また、上記の作業管理装置においては、上記表示指示部は、上記機器を他の機器と異なるよう表示する処理における上記表示態様と、上記機器比較部により対応すると判定された場合の表示態様と、を異ならせるものであってもよい。

また、上記の作業管理装置においては、上記指示物特定部により特定された上記機器は上記画像と相違する他の複数の画像内のそれぞれに含まれる上記所定の指示方法で指示された機器のそれぞれと対応するか否かを判定する機器比較部を備え、上記表示指示部は、上記機器比較部による比較結果を表示するよう上記他の装置に指示するものであってもよい。

また、上記の作業管理装置においては、上記表示指示部は、上記機器を他の機器と異なるよう表示する処理における上記表示態様と、上記機器比較部により対応すると判定された場合の表示態様と、を異ならせるものであってもよい。

また、上記の作業管理装置においては、上記表示指示部は、所定の物理量を示す上記機器の状態情報に所定以上の変化があった場合に、変化前後の上記物理量を表示するよう上記他の装置に指示するものであってもよい。

本発明によると、固有の作業環境に応じた作業を支援する技術を提供することができる。ただし、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

実施形態に係る作業不備防止システムの構成例を示す図である。 作業情報記憶部に格納されるデータ構造の例を示す図である。 作業履歴記憶部に格納されるデータ構造の例を示す図である。 作業手順記憶部に格納されるデータ構造の例を示す図である。 作業不備防止端末のハードウェア構成を示す図である。 作業管理装置のハードウェア構成を示す図である。 状態検出端末のハードウェア構成を示す図である。 作業工程管理処理のフローを示す図である。 作業不備防止処理のシーケンスを示す図である。 作業記録検証処理のフローを示す図である。 作業不備防止処理において重畳表示されるメッセージの例を示す図である。 作業不備防止処理において重畳表示されるメッセージの例を示す図である。 作業不備防止処理において重畳表示されるメッセージの例を示す図である。 第二の実施形態に係る作業不備防止システムの構成例を示す図である。

以下に、本発明に係る第一の実施形態を適用した作業不備防止システム１を用いた実施形態について、図面を参照して説明する。

図１は、本発明の第一の実施形態に係る作業不備防止システム１の構成例を示す図である。本実施形態において想定する作業不備防止システム１においては、作業不備防止端末１００と、作業管理装置２００と、状態検出端末４００と、が含まれる。該システムにおいては、作業者１０は、作業不備防止端末１００を身体（例えば、作業不備防止端末１００が眼鏡型装置、いわゆるスマートグラス等である場合には、顔）に装着した状態で作業対象機器５００に対して所定の作業を行う。例えば、作業対象機器５００のメンテナンス作業や、設置作業、棚卸作業等の作業を行う。

作業不備防止端末１００は、作業者１０が身体の一部に着脱可能に取り付け可能な計算機全般を含む、いわゆるウェアラブルデバイスとも呼ばれる装置である。望ましくは、作業不備防止端末１００は、作業者に装着され、作業者の視野と同様あるいはより広角な画像情報を取得可能であり、作業者の知覚する音声情報を得ることができる。スマートグラスは、そのようないわゆるウェアラブルデバイスの一つであり、装着時に作業者の両手が拘束されにくいものであるため、作業品質向上等を狙う作業者の支援をより効率よく行うことができる。なお、作業不備防止端末１００は、作業不備防止システム１に複数含まれる。

なお、作業不備防止端末１００は、作業者１０が所有する端末であってもよいし、作業者１０が属する組織から作業者に貸与される端末であってもよい。作業管理装置２００は、作業者１０が行う作業を支援する際に必要な画像処理等の処理を行う。状態検出端末４００は、作業不備防止端末１００と通信可能に有線または無線により接続され、作業不備防止端末１００からの制御を受けて所定の物理量を取得する。また、状態検出端末４００は、作業不備防止端末１００へ応答を返す際に、取得した物理量を併せて送信する。

作業不備防止端末１００と、作業管理装置２００との間は、公衆無線網や携帯電話網等のネットワークを介して接続される。作業管理装置２００は、例えばサーバー装置、パーソナルコンピューター、いわゆるスマートフォンやタブレット端末等を含む携帯電話装置であり、他の装置と通信可能な処理装置である。

また、状態検出端末４００は、所定の物理量として、例えば周囲の所定の範囲の電場の強度等を取得する。例えば、ネットワークケーブルが通信機器に通信可能に物理接続されている場合には、ケーブルの周囲には電場が形成されているのに対して、ケーブルを通信機器から抜くと、電場が消滅する。そのため、状態検出端末４００は、作業者１０が作業対象付近に設置することで、電場の強度が測られ、ケーブルの挿抜状態を検出することができるといえる。

状態検出端末４００は、作業不備防止端末１００のいずれかと、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、その他ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続等の通信路を通じて、通信が可能に接続される。

作業不備防止端末１００は、表示制御部１２０と、位置特定部１３０と、作業情報記憶部１４０と、画像処理部１５０と、音声処理部１６０と、通信部１７０と、を含む。

表示制御部１２０は、装着者表示部１２１と、通知出力部１２２と、を含む。装着者表示部１２１は、作業不備防止端末１００の装着者すなわち作業者１０に対して、表示を行う。いわば、装着者表示部１２１は、内側の表示部であり、例えば視覚表示情報を眼鏡の装着者側に近いレンズ面に像を投影させることで装着者にレンズ越しの光学映像に重畳させて情報を表示させる。

通知出力部１２２は、作業不備防止端末１００の装着者すなわち作業者１０以外の者に対して、表示を行う。いわば、通知出力部１２２は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）等の発光体の明滅を制御することにより、装着者を外部から視覚的に認識しうる者等に対して、作業不備防止端末１００が稼働中であることを示す、いわば外側の表示部である。

位置特定部１３０は、衛星波を受信して現在地の３次元座標を、作業不備防止端末１００が存在する位置として特定する。具体的には、位置特定部１３０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等の３つ以上の人工衛星から送信された衛星波をアンテナを用いて受信し、受信した情報に基づき現在地の３次元座標を割り出した位置情報を用いて、作業不備防止端末１００が存在する位置を特定する。

作業情報記憶部１４０は、作業者１０が行った作業の記録情報を実施日時と対応づけて格納する。具体的には、実施の日時に応じて作業内容の記録となる音声や映像の情報を格納するとともに、作業内容の検証結果が適切であるか否かについての情報を格納する。

図２は、作業情報記憶部１４０のデータ構造を示す図である。作業情報記憶部１４０には、実施日１４０Ａと、実施時刻１４０Ｂと、記録情報種別１４０Ｃと、記録ファイル名１４０Ｄと、状態変化前１４０Ｅと、状態変化後１４０Ｆと、作業結果１４０Ｇと、が含まれる。

実施日１４０Ａは、作業者１０が作業を実施した日を特定する情報である。実施時刻１４０Ｂは、作業を実施した時刻を特定する情報である。記録情報種別１４０Ｃは、作業の記録についての情報形式を特定する情報である。記録ファイル名１４０Ｄは、作業の記録についての情報が含まれるファイル名を特定する情報である。状態変化前１４０Ｅは、作業の実施前において状態検出端末４００により検出した物理量を特定する情報である。状態変化後１４０Ｆは、作業の実施後において状態検出端末４００により検出した物理量を特定する情報である。作業結果１４０Ｇは、結果に問題が無い作業について結果を示す情報である。

図１の説明に戻る。画像処理部１５０には、画像取得部１５１と、画像重畳部１５２と、が含まれる。画像取得部１５１は、作業不備防止端末１００により取得した外部の画像、すなわち作業者の視界に関連する画像情報を取得する。より理想的には、画像取得部１５１は、作業者の視界をすべて含む範囲の画像を取得する。

画像重畳部１５２は、作業管理装置２００等から重畳表示する画像やテキスト等の情報を受け付けると、作業者１０に対して、作業者１０の視界に重畳させるように当該情報を出力する。すなわち、画像重畳部１５２は、撮像した画像を液晶画像等により作業者１０の視界を覆うように出力するヘッドセット端末等のウェアラブルデバイスの場合には撮像した画像に透過レイヤーを設けて情報を表示する。ウェアラブルデバイスが作業者１０の視界を一部半透過するように出力する眼鏡型のウェアラブルデバイスの場合には、当該情報を表示する。

音声処理部１６０は、作業不備防止端末１００の外部の音声情報を取得し、音声記録ファイルとして作業情報記憶部１４０に格納する。通信部１７０は、他の装置との通信を制御する。具体的には、通信部１７０は、例えばＢｌｕｅｔｏｏｔｈ、無線ＬＡＮ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等による近距離電波通信を制御するものであることが望ましい。しかし、ＵＳＢ等の所定の有線通信を制御するものであってもよい。

作業管理装置２００は、表示部２１０と、音声処理部２２０と、画像処理部２３０と、通信部２４０と、記憶部２５０と、作業記録検証部２６０と、を含む。

表示部２１０は、作業管理装置２００の操作等に用いられる表示出力を行う。

音声処理部２２０は、作業管理装置２００の操作等に用いられる音声入力を受け付ける。また、音声処理部２２０は、受け付けた音声を音声ファイルとして記憶部２５０に格納する。また、音声処理部２２０は、作業不備防止端末１００から送信された音声情報を受け付けると、作業の確認に必要な音声情報として受け付けて、次作業へ作業手順を進める情報とする。

画像処理部２３０は、画像受付部２３１と、指示物特定部２３２と、表示指示部２３３と、機器比較部２３４と、を含む。画像受付部２３１は、画像情報を作業不備防止端末１００から受け付ける。指示物特定部２３２は、画像受付部２３１が受け付けた画像上において、所定の指示方法で指示された機器を特定する。具体的には、指示物特定部２３２は、画像上に含まれる作業者１０の指の形状を認識し、該指の先端部の形状により示す方向に応じて、指示された機器を特定する。なお、指示物特定部２３２は、所定の指示方法としてレーザーポインタによる指示を受け付ける場合には、所定の波長を有するレーザー光が照射されている機器を指示されたものと特定するようにしてもよい。

表示指示部２３３は、作業不備防止端末１００に対して、装着者表示部１２１に表示する情報を特定し、指示する。具体的には、表示指示部２３３は、指示物特定部２３２により特定された機器を画像に含まれる他の機器と異なる表示態様で表示するよう他の装置に指示する。例えば、表示指示部２３３は、指示物特定部２３２が特定した機器について、画像上に所定の多角形であるターゲットマーカーを重畳させる位置を特定し、作業不備防止端末１００に当該位置を含む重畳表示を指示する。また、表示指示部２３３は、指示物特定部２３２により特定された機器が作業対象となる機器と対応する場合に、他の装置にターゲットマーカーの表示の指示を行う。

また、表示指示部２３３は、機器を他の機器と異なるよう表示する処理における表示態様と、機器比較部２３４により類似すると判定された場合の表示態様と、を異ならせるように表示する。具体的には、表示指示部２３３は、機器を他の機器と異なるよう表示する処理においては、機器に赤いターゲットマーカーをつけて表示させ、機器比較部２３４により類似すると判定された場合には緑のターゲットマーカーへと変化させて表示させるように指示する。

また、表示指示部２３３は、所定の物理量を示す機器の状態情報に所定以上の変化があった場合に、変化前後の物理量を表示するよう他の装置に指示する。

機器比較部２３４は、二つ以上の画像を比較対象として、各画像に含まれる指示物特定部２３２により特定された機器同士が所定以上類似するか否かを判定する。なお、類似の基準は、例えば形状においては特徴点の位置関係の類似や、色においては同色パターンの存在、大きさにおいては被写体との距離と画角から算出した推定値の類似、あるいはこれらの複合によるものとする。通信部２４０は、他の装置との通信を制御する。

記憶部２５０は、作業履歴記憶部２５１と、作業手順記憶部２５２と、を含む。

図３は、作業履歴記憶部２５１のデータ構造を示す図である。作業履歴記憶部２５１には、機器識別子２５１Ａと、実施日２５１Ｂと、実施時刻２５１Ｃと、作業識別子２５１Ｄと、記録情報種別２５１Ｅと、記録ファイル名２５１Ｆと、同時作業機器２５１Ｇと、状態変化前２５１Ｈと、状態変化後２５１Ｊと、作業結果２５１Ｋと、が含まれる。

作業履歴記憶部２５１に含まれる情報のうち、実施日２５１Ｂ、実施時刻２５１Ｃ、記録情報種別２５１Ｅ、記録ファイル名２５１Ｆ、状態変化前２５１Ｈ、状態変化後２５１Ｊ、作業結果２５１Ｋは、作業情報記憶部１４０の同名の情報と同様の情報である。機器識別子２５１Ａは、作業対象の機器を識別する情報である。作業識別子２５１Ｄは、実施した作業を特定する情報である。同時作業機器２５１Ｇは、作業対象の機器と同時に作業した機器を識別する情報である。

図４は、作業手順記憶部２５２のデータ構造を示す図である。作業手順記憶部２５２は、作業手順とともに作業対象となる機器を特定する画像情報を少なくとも記憶する。作業手順記憶部２５２には、作業識別子２５２Ａと、作業者２５２Ｂと、作業内容２５２Ｃと、確認画像２５２Ｄと、が含まれる。

作業識別子２５２Ａは、実施する作業を特定する情報である。作業者２５２Ｂは、作業を実施する作業者１０を特定する情報である。作業内容２５２Ｃは、作業の詳細な手順が自然言語で示された情報であるが、これに限られず、動画や静止画等によるコンテンツであってもよい。確認画像２５２Ｄは、作業を実施する対象とした対応づけられた作業対象機器の外観の静止画である。

図１の説明に戻る。作業記録検証部２６０は、作業情報が作業手順通りに確実に実施されたか否かを検証し、検証結果を作業結果として特定するとともに、作業履歴記憶部２５１の作業結果２５１Ｋに格納する。

状態検出端末４００は、状態情報取得部４１１と、状態情報送信部４１２と、を備える。状態情報取得部４１１は、所定の物理量を取得する。状態情報送信部４１２は、状態情報取得部４１１が取得した状態情報を、対応づけられた作業不備防止端末１００へ送信する。

図５は、作業不備防止端末１００のハードウェア構成を示す図である。作業不備防止端末１００は、音声受付装置１０１と、演算装置１０２と、外部出力装置１０３と、主記憶装置１０４と、撮像装置１０５と、装着者出力装置１０６と、通信装置１０７と、加速度センサ装置１０８と、位置検出装置１０９と、着脱検出装置１１０と、各装置をつなぐバス１１１と、を少なくとも備える。また、他に、作業不備防止端末１００は、接触入力装置を備えるものであってもよい。なお、接触入力装置は、例えば眼鏡型のウェアラブルデバイスの場合には、眼鏡のつる部分への接触をクリック入力として受け付け、接触状態で摺動させる方向をスクロール入力として受け付けるものであってよいが、これに限られるものではない。

音声受付装置１０１は、作業不備防止端末１００を装着した作業者１０による発話音声と、周囲の音と、を含む集音を行う。例えば、一つあるいは複数のマイクロフォンである。

演算装置１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置である。

外部出力装置１０３は、作業不備防止端末１００を装着している場合に、装着者の外部から視認可能な態様、具体的には外部から視認可能に発光することで、ＬＥＤランプ等の出力を行う。

主記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ装置である。

撮像装置１０５は、作業不備防止端末１００を装着した作業者の視野と同様あるいはより広角な映像情報を取得するカメラ装置である。

装着者出力装置１０６は、装着者から視認可能なように光学レンズ面に画像を投影するプロジェクション装置、あるいは光学レンズ面に応じて設けられた半透過型のディスプレイ装置等の表示装置である。しかし、これに限定されるものではなく、例えば作業者の網膜に結像させる光を照射可能な表示装置であってもよい。

通信装置１０７は、無線ネットワーク等を介して作業管理装置２００等の他の装置と通信経路を確立し、情報を送受信する装置である。

加速度センサ装置１０８は、所定の次元の加速度を取得して加速方向と加速の大きさとを特定することで、装着者である作業者１０の移動や姿勢の変化を検出する装置である。

位置検出装置１０９は、ＧＰＳ等の３つ以上の人工衛星から送信された衛星波をアンテナを用いて受信し、受信した情報に基づき現在地の３次元座標を割り出す装置である。

着脱検出装置１１０は、作業者１０が作業記録装置１００を装着しているか、解除しているかを特定する装置である。例えば、着脱検出装置１１０は、電極をつるに備え、つるの電極間を通電する対象（すなわち、人間の頭部）があれば装着と特定し、通電する対象がなければ解除と特定するものであってもよい。

上記した作業不備防止端末１００の表示制御部１２０は、外部出力装置１０３、装着者出力装置１０６によって実現される。また、位置特定部１３０は、位置検出装置１０９によって実現される。また、作業情報記憶部１４０は、主記憶装置１０４によって実現される。また、画像処理部１５０は、演算装置１０２に処理を行わせるプログラムおよび撮像装置１０５により実現される。このプログラムは、主記憶装置１０４または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置１０４上にロードされ、演算装置１０２により実行される。また、音声処理部１６０は、演算装置１０２に処理を行わせるプログラムおよび音声受付装置１０１により実現される。また、通信部１７０は、通信装置１０７により実現される。

以上が、作業不備防止端末１００のハードウェア構成である。

図６は、作業管理装置２００のハードウェア構成を示す図である。作業管理装置２００は、入力受付装置２０１と、演算装置２０２と、外部記憶装置２０３と、主記憶装置２０４と、通信装置２０５と、出力装置２０６と、各装置をつなぐバス２１１と、を少なくとも備える。

入力受付装置２０１は、キーボードやマウス、タッチパネル等の各種入力装置である。

演算装置２０２は、例えばＣＰＵなどの演算装置である。

外部記憶装置２０３は、デジタル情報を記憶可能な、いわゆるハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）あるいはフラッシュメモリなどの不揮発性記憶装置である。

主記憶装置２０４は、例えばＲＡＭなどのメモリ装置である。

通信装置２０５は、ネットワーク等を介して作業不備防止端末１００等の他の装置と通信経路を確立し、情報を送受信するネットワークカード等の装置である。

出力装置２０６は、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置である。

上記した作業管理装置２００の表示部２１０は、出力装置２０６によって実現される。また、音声処理部２２０と、画像処理部２３０と、作業記録検証部２６０とは、演算装置２０２に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置２０４または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置２０４上にロードされ、演算装置２０２により実行される。

また、通信部２４０は、通信装置２０５により実現される。また、記憶部２５０は、外部記憶装置２０３および主記憶装置２０４によって実現される。以上が、作業管理装置２００のハードウェア構成である。

図７は、状態検出端末４００のハードウェア構成を示す図である。状態検出端末４００は、センサー装置４０１と、演算装置４０２と、通信装置４０３と、主記憶装置４０４と、各装置をつなぐバス４０５と、を少なくとも備える。

センサー装置４０１は、所定の物理量を検出する各種センサー装置である。例えば、センサー装置４０１は、温度センサー、湿度センサー、電場センサー、加速度センサー、磁気センサー、距離センサー、速度センサー等のいずれかまたはこれらの複合を含む。

演算装置４０２は、例えばＣＰＵなどの演算装置である。

通信装置４０３は、ネットワーク等を介して作業不備防止端末１００等の他の装置と通信経路を確立し、情報を送受信する装置である。

主記憶装置４０４は、例えばＲＡＭなどのメモリ装置である。

上記した状態検出端末４００の状態情報取得部４１１は、センサー装置４０１および演算装置４０２に処理を行わせるプログラムによって実現される。このプログラムは、主記憶装置４０４または図示しないＲＯＭ装置内に記憶され、実行にあたって主記憶装置４０４上にロードされ、演算装置４０２により実行される。

また、状態情報送信部４１２は、通信装置４０３により実現される。以上が、状態検出端末４００のハードウェア構成である。

なお、作業不備防止端末１００、作業管理装置２００、状態検出端末４００のそれぞれの構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各制御部は、ハードウェア（ＡＳＩＣ、ＧＰＵなど）により構築されてもよい。また、各制御部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

[動作の説明]次に、本実施形態における作業不備防止システム１の動作を説明する。図８は、本実施形態における作業工程管理処理のフロー図である。

作業工程管理処理は、作業不備防止端末１００と、作業管理装置２００とが起動状態にあり、作業不備防止端末１００において所定の起動指示を受け付けると、開始される。

まず、機器比較部２３４は、作業不備防止端末１００により撮影された画像と、作業確認画像との一致又は類似を判定する（ステップＳ００１）。具体的には、画像受付部２３１は、作業不備防止端末１００から送信された画像を受け付ける。そして、指示物特定部２３２は、受け付けた画像を対象として、作業者１０の指に相当する被写体を特定する。そして、指示物特定部２３２は、指と認識した被写体の指先が示す方向を特定し、画像上において該方向に存在する機器を特定する。そして、指示物特定部２３２は、該当する作業工程に対応付けられている作業対象物の確認画像２５２Ｄを作業手順記憶部２５２から特定して受け付け、受け付けた確認画像についても同様の機器の特定を行う。そして、機器比較部２３４は、各画像において特定した機器同士の特徴点の位置関係の類似や、色においては同色パターンの存在、大きさにおいては被写体との距離と画角から算出した推定値の類似、あるいはこれらの複合を用いて、類似か非類似かの判定を行う。

非類似である場合（ステップＳ００１において「Ｎｏ」の場合）には、機器比較部２３４は、制御をステップＳ００１へ戻す。

類似である場合（ステップＳ００１において「Ｙｅｓ」の場合）には、作業記録検証部２６０は、次の作業工程の作業内容の作業不備防止端末１００への送信を表示指示部２３３へ要求する（ステップＳ００２）。

作業記録検証部２６０からの要求を受け付けた表示指示部２３３は、次作業を特定し、作業内容と確認画像を送付する（ステップＳ００３）。具体的には、表示指示部２３３は、作業手順記憶部２５２を参照し、該当する作業の次の作業識別子を有する作業を特定し、その作業者２５２Ｂと、作業内容２５２Ｃと、確認画像２５２Ｄと、を作業不備防止端末１００へ送信する。

作業不備防止端末１００の画像重畳部１５２は、作業内容を表示する（ステップＳ００４）。具体的には、画像重畳部１５２は、受信した情報のうち確認画像を読み出して重畳表示のための画像を出力し、装着者表示部１２１へ表示を指示する。装着者表示部１２１は、指示された画像を装着者へ表示させる。

以上が、作業工程管理処理のフローである。作業工程管理処理によれば、作業者１０の作業不備防止端末１００を装着して行う作業が、確認画像と一致する、あるいは所定以上類似する場合には、正常に作業工程が進んでいるとして次作業の情報を作業者に提示することができる。

図９は、本実施形態における作業不備防止処理のシーケンスを示す図である。図９には、作業管理装置２００と、作業不備防止端末Ａ１００Ａと、作業不備防止端末Ｂ１００Ｂと、が含まれている。図９においては、作業者１０は作業不備防止端末Ａ１００Ａを装着し、他の作業者１０が作業不備防止端末Ｂ１００Ｂを装着しているとして説明する。

まず、作業不備防止端末Ａ１００Ａの画像取得部１５１が、作業対象画像を取得して送信する（ステップＳ１０１）。具体的には、作業者１０が作業を行う対象の機器の画像を画像取得部１５１が取得し、作業管理装置２００へ送信する。

作業管理装置２００の画像受付部２３１は、作業対象画像を受信する（ステップＳ１０２）。

そして、機器比較部２３４は、作業確認画像と一致又は類似するか否かを判定する（ステップＳ１０３）。具体的には、指示物特定部２３２は、受け付けた画像を対象として、作業者１０の指に相当する被写体を特定する。そして、指示物特定部２３２は、指と認識した被写体の指先が示す方向を特定し、画像上において該方向に存在する機器を特定する。そして、指示物特定部２３２は、該当する作業工程に対応付けられている作業対象物の確認画像２５２Ｄを作業手順記憶部２５２から特定して受け付け、受け付けた確認画像についても同様の機器の特定を行う。そして、機器比較部２３４は、各画像において特定した機器同士の特徴点の位置関係の類似や、色においては同色パターンの存在、大きさにおいては被写体との距離と画角から算出した推定値の類似、あるいはこれらの複合を用いて、類似か非類似かの判定を行う。類似または一致する場合（ステップＳ１０３において「Ｙｅｓ」の場合）には、機器比較部２３４は、作業不備防止端末Ａ１００Ａへその旨を通知する。

なお、非類似である場合（ステップＳ１０３において「Ｎｏ」の場合）には、機器比較部２３４は、作業不備防止処理を終了する。

作業不備防止端末Ａ１００Ａの画像取得部１５１と音声処理部１６０はそれぞれ、作業者１０の指示対象画像と、発声の音声情報と、を取得し作業管理装置２００へ送信する（ステップＳ１０４）。

作業管理装置２００の画像受付部２３１と、音声処理部２２０とは、ターゲットマーカーの対象を特定し送信する（ステップＳ１０５）。具体的には、画像受付部２３１は画像を受け付ける。そして、指示物特定部２３２は、受け付けた画像を対象として、作業者１０の指に相当する被写体を特定する。そして、指示物特定部２３２は、指と認識した被写体の指先が示す方向を特定し、画像上において該方向に存在する機器を特定する。そして、音声処理部２２０は、音声情報を受信し、受信した音声情報が所定の発声内容（例えば、「この機器の作業を開始します」等のメッセージあるいは「良し」等の掛け声）であるか否かを判定する。音声情報に所定の発声内容が含まれる場合に、表示指示部２３３は、特定した機器をターゲットマーカーの対象として目立つマークを該機器の所定の位置関係にある点に重畳表示するよう作業不備防止端末Ａ１００Ａに指示する。

画像重畳部１５２は、ターゲットマーカーを受信しマーカーの対象に所定の色（例えば、赤）で所定の図形を指示された位置に重畳表示させる（ステップＳ１０６）。具体的には、画像重畳部１５２は、ターゲットマーカーの対象となる機器の情報を受信し、マーカーの対象に所定の色（例えば、透過する赤）で所定の図形を指示された位置に重畳表示するよう装着者表示部１２１へ指示する。装着者表示部１２１は、指示された位置にある機器を認識し、該機器を半透明の赤等の所定の色でマーキングし、重畳させて出力する。

そして、通信部１７０は、ターゲットマーカーの対象画像を転送する（ステップＳ１０７）。具体的には、通信部１７０は、ステップＳ１０５にて送信されたターゲットマーカーの情報を、作業不備防止端末Ｂ１００Ｂへと転送する。なお、転送先として作業不備防止端末Ｂ１００Ｂを特定するために、作業不備防止端末Ａ１００Ａが作業不備防止端末Ｂ１００Ｂと予め対応付けられていてもよいし、無線ＬＡＮやＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信等により通信可能な範囲にあることを条件に転送するものであってもよい。

作業不備防止端末Ｂ１００Ｂの画像重畳部１５２は、ターゲットマーカーを受信しマーカーの対象に所定の色（例えば、赤）で所定の図形を指示された位置に重畳表示させる（ステップＳ１０８）。具体的には、画像重畳部１５２は、ターゲットマーカーの対象となる機器の情報を受信し、マーカーの対象に所定の色（例えば、透過する赤）で所定の図形を指示された位置に重畳表示するよう装着者表示部１２１へ指示する。装着者表示部１２１は、指示された位置にある機器を認識し、該機器を半透明の赤等の所定の色でマーキングし、重畳させて出力する。

そして、作業不備防止端末Ｂ１００Ｂの画像取得部１５１が、作業対象画像を取得する（ステップＳ１０９）。具体的には、作業を行う対象の機器の画像を画像取得部１５１が取得する。

そして、作業不備防止端末Ｂ１００Ｂの画像取得部１５１と音声処理部１６０はそれぞれ、作業者１０の指示対象画像と、発声の音声情報と、を取得し作業管理装置２００へ送信する（ステップＳ１１０）。

作業管理装置２００の画像受付部２３１と、音声処理部２２０とは、ターゲットマーカーの対象を特定する（ステップＳ１１１）。具体的には、画像受付部２３１は画像を受け付ける。そして、指示物特定部２３２は、受け付けた画像を対象として、作業者１０の指に相当する被写体を特定する。そして、指示物特定部２３２は、指と認識した被写体の指先が示す方向を特定し、画像上において該方向に存在する機器を特定する。そして、音声処理部２２０は、音声情報を受信し、受信した音声情報が所定の発声内容（例えば、「はい、間違いありません」等のメッセージあるいは「良し」等の掛け声）であるか否かを判定する。音声情報に所定の発声内容が含まれると、機器比較部２３４は、制御を進める。

機器比較部２３４は、ターゲットマーカーの対象の一致の当否を通知する（ステップＳ１１２）。具体的には、機器比較部２３４は、ステップＳ１０５にて特定したターゲットマーカーの対象と、ステップＳ１１１にて特定したターゲットマーカーの対象と、の一致を判定する。当該判定においては、それぞれの対象の機器同士の特徴点の位置関係の類似や、色においては同色パターンの存在、大きさにおいては被写体との距離と画角から算出した推定値の類似、あるいはこれらの複合を用いて、一致するか否かの判定を行う。一致したか否かにかかわらず、機器比較部２３４は、作業不備防止端末Ａ１００Ａと作業不備防止端末Ｂ１００Ｂと、に対してその判定結果を通知する。

そして、作業不備防止端末Ａ１００Ａの画像重畳部１５２は、受け取った結果が一致である場合にはマーカー色を異なる色（例えば、緑）に変更するよう装着者表示部１２１へ指示し、不一致の場合は再実施を促す表示を行うよう指示して、作業不備防止処理を終了させる（ステップＳ１１４）。

また、作業不備防止端末Ｂ１００Ｂの画像重畳部１５２は、受け取った結果が一致である場合にはマーカー色を異なる色（例えば、緑）に変更するよう装着者表示部１２１へ指示し、不一致の場合は再実施を促す表示を行うよう指示して、作業不備防止処理を終了させる（ステップＳ１１５）。

以上が、作業不備防止処理のフローである。作業不備防止処理によれば、複数の作業者が同一の機器を指示しつつ所定の発声を行わない限り、作業開始を可能とする表示がなされることはない。そのため、誤った機器に対して作業を行ってしまうリスクを減らすことができる。

図１０は、本実施形態における作業記録検証処理のフローを示す図である。図１０には、状態検出端末４００と、作業管理装置２００と、作業不備防止端末１００と、が含まれている。図１０においては、作業者１０は作業不備防止端末１００を装着し、状態検出端末４００を対応付けて作動させているものとして説明する。

状態情報取得部４１１は、状態値を取得して送信する（ステップＳ２０１）。具体的には、状態情報取得部４１１は、所定の物理量を検出するようあらかじめ設定されており、設定された所定の物理量、例えば電場強度を検出する。そして、状態情報送信部４１２は、作業不備防止端末１００へ検出した物理量を送信する。

そして、状態情報取得部４１１は、所定の物理量を取得した後は所定時間処理を中断する（ステップＳ２０２）。

そして、状態情報取得部４１１は、状態値の記憶容量が逼迫している場合には、状態値を古い方から所定量消去する（ステップＳ２０３）。具体的には、状態情報取得部４１１は、状態値として保持している情報量が所定の量（例えば、容量の９０パーセントにあたる量）を超えると、取得時刻が古い情報を優先的に削除して保持している情報量を減らし、取得した最新の状態値を保持するための容量を確保する。または、例えば循環ファイルのように、所定のサイズのメモリを消費した場合には、所定の先頭位置に戻して過去の情報を取得情報により上書きしていくものであってもよい。

そして、作業不備防止端末１００の画像重畳部１５２は、取得した状態値を作業管理装置２００へ送信する（ステップＳ２０４）。

そして、作業管理装置２００の作業記録検証部２６０は、状態値を受信する（ステップＳ２０５）。

そして、作業記録検証部２６０は、状態値に変更があったか否かを判定する（ステップＳ２０６）。具体的には、作業記録検証部２６０は、直前の状態値と比較して、所定以上の状態値の変更があったか否かを判定する。例えば、電場が１０Ｖ／ｍから２Ｖ／ｍに急に低下する場合や、音の大きさが４０デシベルから２０デシベルに急に低下する場合等が考えられる。状態値に変更が無い場合や所定以下の微小な変更であれば、作業記録検証部２６０は、作業記録検証処理を終了させる。

状態値に変更がある場合（ステップＳ２０６にて「Ｙｅｓ」の場合）には、表示指示部２３３は、作業不備防止端末１００に状態値を重畳表示するよう作業不備防止端末１００へ指示情報を送信する（ステップＳ２０７）。

そして、作業記録検証部２６０は、状態値を作業の履歴として記録する（ステップＳ２０８）。具体的には、作業記録検証部２６０は、作業履歴記憶部２５１の実施中の作業について、ステップＳ２０５にて受信した情報を状態変化後２５１Ｊの値として、状態変化後２５１Ｊの情報を書き込む。そして、作業記録検証部２６０は、作業記録検証処理を終了させる。

また、作業不備防止端末１００の画像重畳部１５２は、状態値の変更前後を示す情報を重畳表示させる（ステップＳ２０９）。そして、作業不備防止端末１００の画像重畳部１５２は、作業記録検証処理を終了させる。

以上が、作業記録検証処理の処理フローである。作業記録検証処理を行うことで、作業対象に適切な作業が行われたか否かを、重畳表示される画像により判断することができる。

図１１は、作業不備防止処理において重畳表示されるメッセージの例を示す図である。作業対象機器６１０の操作ボタン６２０が作業対象である場合、作業者１０Ａの指が画像６００上において操作ボタン６２０に対して指し示され、音声認識の結果適切な発話がなされたことを示すメッセージ６４０「音声認識：ＯＫ」が重畳表示される。また、別の作業者１０Ｂがその指６５０により示す先の機器である操作ボタン６２０が同一である場合に、加えてメッセージ６６０「作業者１：ＯＫ 作業者２：ＯＫ」が重畳表示される。

図１２は、作業不備防止処理において重畳表示されるメッセージの例（不一致の場合）を示す図である。作業対象機器６１０の操作ボタン６２０が作業対象である場合、作業者１０Ａの指が画像６００上において操作ボタン６２０に対して指し示され、音声認識の結果適切な発話がなされたことを示すメッセージ６４０「音声認識：ＯＫ」が重畳表示される。また、別の作業者１０Ｂがその指７１０により示す先が、操作ボタン７２０であって操作ボタン６２０ではない場合、すなわち不一致である場合に、加えてメッセージ７６０「作業者２名の指差し確認結果が一致しません。再実施下さい。」のようなメッセージが重畳表示される。

図１３は、作業記録検証処理において重畳表示されるメッセージの例を示す図である。作業を実施することにより、作業記録検証処理において取得された所定の物理量に変化があった場合に、メッセージ８００「作業：ＯＫ 電場変化：１０から２（Ｖ／ｍ）」が重畳表示される。

以上が、第一の実施形態に係る作業不備防止システム１である。第一の実施形態によれば、より適切に固有の作業環境に応じた作業を支援することができる。

本発明は、上記の第一の実施形態に制限されない。上記の第一の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の第一の実施形態においては、作業不備防止端末１００は眼鏡型ウェアラブル装置を想定しているが、これに限られない。例えば、頭部をより広く覆うヘルメット型のウェアラブル装置であってもよいし、片眼のみに取り付けるウェアラブル装置であってもよい。また、作業不備防止端末１００と作業管理装置２００とが一体化したものであってもよい。

図１４は、このような変形例のうち、第二の実施形態に係る作業不備防止システムの構成例を示す図である。第二の実施形態においては、作業不備防止端末１００´同士が連携して、作業管理装置２００が行う処理を作業不備防止端末１００´側で実行可能とする変形例を示す図である。すなわち、例えば、ローカルなワイヤレス設備で作業不備防止端末同士が通信を行い作業の不備を防ぐことが可能な変形例について記載されている。

図１４においては、作業不備防止端末１００に替えて、作業不備防止端末１００´が設けられる。作業不備防止端末１００´は、第一の実施形態に記載した作業不備防止端末１００と基本的に同様の構成を備える。以下、第一の実施形態に係る作業不備防止システム１´について説明するが、構成が同じ要素については同じ符号を用いる。

作業不備防止端末１００´は、表示制御部１２０と、位置特定部１３０と、画像処理部１５０´と、音声処理部１６０と、通信部１７０と、作業記録検証部１８０と、記憶部１９０と、を備える。

画像処理部１５０´には、画像取得部１５１と、画像重畳部１５２と、指示物特定部１５３と、表示指示部１５４と、機器比較部１５５と、が含まれる。指示物特定部１５３、表示指示部１５４および機器比較部１５５は、第一の実施形態において作業管理装置２００が備える指示物特定部２３２、表示指示部２３３および機器比較部２３４とそれぞれ同様の処理を行う。

作業記録検証部１８０は、第一の実施形態において作業管理装置２００が備える作業記録検証部２６０と対応する同様の処理を行う。

記憶部１９０は、作業履歴記憶部１９１と、作業手順記憶部１９２と、を備える。作業履歴記憶部１９１と、作業手順記憶部１９２とは、第一の実施形態において作業管理装置２００が備える作業履歴記憶部２５１および作業手順記憶部２５２とそれぞれ同様のデータ構造を有する。

以上が、第二の実施形態に係る作業不備防止システム１´である。第二の実施形態に係る作業不備防止システム１´によれば、例えば電波状況が悪くインターネット等に接続できない地域等においても、作業不備防止端末１００´同士で指示物の確認を行うことが可能となる。

以上、第一の実施形態および第二の実施形態を用いて説明した。上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。

以上、本発明について、実施形態を中心に説明した。

１・・・作業不備防止システム、１０・・・作業者、１００・・・作業不備防止端末、１２０・・・表示制御部、１３０・・・位置特定部、１４０・・・作業情報記憶部、１５０・・・画像処理部、１６０・・・音声処理部、１７０・・・通信部、２００・・・作業管理装置、２１０・・・表示部、２２０・・・音声処理部、２３０・・・画像処理部、２４０・・・通信部、２５０・・・記憶部、２６０・・・作業記録検証部、４００・・・状態検出端末、４１１・・・状態情報取得部、４１２・・・状態情報送信部、５００・・・作業対象機器

Claims (6)

1. 他の装置から画像を受け付ける画像受付部と、
   受け付けた前記画像内において所定の指示方法で指示された機器を特定する指示物特定部と、
   前記指示物特定部により特定された前記機器を前記画像に含まれる他の機器と異なる表示態様で表示するよう前記他の装置に指示する表示指示部と、
   作業手順とともに作業対象となる機器を特定する画像情報を記憶する記憶部と、を備え、
   前記表示指示部は、前記指示物特定部により特定された前記機器が前記作業対象となる機器と対応する場合に、前記他の装置に前記指示を行う、
   ことを特徴とする作業管理装置。
2. 請求項１に記載の作業管理装置であって、
   前記指示物特定部により特定された前記機器は前記画像と相違する他の画像内に含まれる前記所定の指示方法で指示された機器と対応するか否かを判定する機器比較部を備え、
   前記表示指示部は、前記機器比較部による比較結果を表示するよう前記他の装置に指示する、
   ことを特徴とする作業管理装置。
3. 請求項２に記載の作業管理装置であって、
   前記表示指示部は、前記機器を他の機器と異なるよう表示する処理における前記表示態様と、前記機器比較部により対応すると判定された場合の表示態様と、を異ならせる、
   ことを特徴とする作業管理装置。
4. 請求項１に記載の作業管理装置であって、
   前記指示物特定部により特定された前記機器は前記画像と相違する他の複数の画像内のそれぞれに含まれる前記所定の指示方法で指示された機器のそれぞれと対応するか否かを判定する機器比較部を備え、
   前記表示指示部は、前記機器比較部による比較結果を表示するよう前記他の装置に指示する、
   ことを特徴とする作業管理装置。
5. 請求項４に記載の作業管理装置であって、
   前記表示指示部は、前記機器を他の機器と異なるよう表示する処理における前記表示態様と、前記機器比較部により対応すると判定された場合の表示態様と、を異ならせる、
   ことを特徴とする作業管理装置。
6. 請求項１〜５のいずれか一項に記載の作業管理装置であって、
   前記表示指示部は、所定の物理量を示す前記機器の状態情報に所定以上の変化があった場合に、変化前後の前記物理量を表示するよう前記他の装置に指示する、
   ことを特徴とする作業管理装置。

Images