JP6872948B2 - 作業支援システムおよび作業支援方法 - Google Patents

Description

本発明は、作業支援システムおよび作業支援方法に関する。

近年、製品の高機能化や高性能化が進み、部品やユニットが複雑化してきている。また、顧客の要望に応じて製品の多様化が図られていることから、製品の種類も増えている。
作業者が全ての製品の全ての情報を記憶することは非常に難しく、製品の修理やメンテナンスをするとき、マニュアルを頼りにしながら進めていくことになる。
特に複雑な作業を要するときには、トレーニングによって作業者の習熟度を高めていく必要がある。従来のトレーニングシステムは、地磁気センサとジャイロセンサの何れか一方と加速度センサとを有するセンサ部から抽出した特徴量と、標準状態における基準とする特徴量とを比較して、比較した結果で標準状態でないと警告を発する（特許文献１参照）。

特開２００９−１８７５２７号公報

特許文献１に記載されたトレーニングシステムでは、作業者が標準状態でないときに警告を発するが、どこの作業が標準と異なっていたか、作業終了後にマニュアルを見ながら確認することはできなかった。

本発明の作業支援システムは、作業の状態を撮像する撮像装置と、作業者の動作を検知するセンサと、作業手順を表示する表示装置と、前記表示装置に作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶する情報処理装置と、を有する。
本発明の作業支援方法は、撮像装置が作業の状態を撮像するステップと、センサが作業者の動作を検知するステップと、表示装置が作業手順を表示するステップと、情報処理装置が、前記表示装置に作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶するステップと、を有する。

本発明は、作業者が定められた動作と異なる動作をしたとき、どの時点の作業が定めた動作と異なるかを作業終了後に確認することができる。

図１は、本発明に係る作業支援システムの構成図を示す。 図２は、情報処理装置のブロック図を示す。 図３は、本発明の第1の実施例における作業支援システムの動作フローを示す。 図４は、表示装置に表示されるマニュアルを示す。 図５は、撮像された画像又は映像と標準の画像又は映像との比較を表示した図である。 図６は、本発明の第２の実施例における作業支援システムの動作フローを示す。

以下、本発明における第１の実施例について図面に基づいて説明する。本実施例は、作業者がマニュアルを見ながら、対象物の点検を行い、その点検が正しく行われていたかを判断して、正しく行われていなかった作業を後から確認できるようにするものである。本発明は、本実施例に限定されるものではない。

図１は、本発明の作業支援システムは、作業者が作業した対象物を撮像するカメラ１０、作業者が作業をおこなう作業内容であるマニュアル４００を表示する表示装置２０と、カメラ１０で撮像した画像又は映像と標準の画像又は映像とを比較するとともに、対象箇所に対するマニュアル４００を記憶する情報処理装置３０、作業者の動作を測定するセンサ４０、全ての装置における全てのマニュアルを記憶するサーバ５０で構成する。

カメラ１０は、作業者が作業している製品、部品、ユニットなどの静止画又は動画を撮像する。作業の邪魔にならないよう頭部や表示装置２０に取り付ける小型のものである。撮影のタイミングは、常時撮像することもできるが、撮像するタイミングが情報処理装置３０からの指示で撮像してもよい。また、シャッターボタンに相当するスイッチを別に設けておき、情報処理装置３０の指示で作業者がこのスイッチをＯＮにすることで撮像することもできる。

表示装置２０は、作業者の顔部に装着する眼鏡やゴーグルのような形状をしているウエアラブル表示装置である。表示装置２０は、情報処理装置３０から出力される作業すべき内容（マニュアル４００）を表示する。作業者のどちらか一方の目に表示させて、他方の目は表示装置２０を通して対象物を見るか、直接対象物を見る。また、マニュアル４００が表示されている表示装置２０は、対象物も見ることができる。

情報処理装置３０は、作業に必要なマニュアル４００を表示装置２０に表示させ、カメラ１０で撮像した画像又は映像と標準の画像又は映像と比較して、両者が同じであるか、又は違いがあるかを判断する。また、サーバ５０と通信し、サーバ５０から必要な情報を入手し、情報処理装置３０で保存する容量を減らすため、カメラ１０で撮像した画像又は映像をサーバ５０へ送信する。情報処理装置３０とサーバ５０との間は、有線回線又は無線通信回線で接続されている。回線は専用回線でも、一般の公衆回線でもどちらでも構わない。

センサ４０は、体の動きを検知するモーションセンサである。両手首、両腕、両足、頭部など作業内容を把握することができれば、どこに装着してもよい。また、手首、腕、足などは、片方に装着すれば作業が十分に把握することができるようならば、両方に装着しなくても構わない。

サーバ５０は、全製品の全マニュアル、作業者がマニュアル４００とは異なる作業をした箇所、作業者が作業途中や作業終了時に撮像した画像又は映像を保存する。なお、情報処理装置３０の記憶容量が大きければ、サーバ５０の機能を情報処理装置３０が受け持つようにすることもできる。その時は、サーバ５０は不要となる。

図２は、情報処理装置３０のブロック図を示す。情報処理装置３０は、各演算を司る演算部３０１、センサ４０から推測された動作が標準の動作と一致しているか否かを判断する動作判断部３０２、カメラ１０で撮像した画像又は映像が標準の画像又は映像と一致しているか否かを判断する画像判断部３０３、マニュアル４００、基準の動作、基準の画像又は映像、カメラ１０で撮像した画像又は映像などを保存する記憶部３０４、サーバ５０と通信する通信部３０５、センサ４０が出力した信号やカメラ１０で撮像した画像又は映像を入力する入力部３０６、マニュアル４００や判断結果等を出力する出力部３０７とを有し、それぞれはバス３０８で接続されている。

演算部３０１は、各処理のコントロールを行う。動作判断部３０２は、センサ４０の信号を解析して、作業者がどのような作業をどのくらいの時間を要して行ったかを推測する。推測の結果と、記憶部３０４が記憶している標準の動作を比較して、正しく作業しているかを判断する。

画像判断部３０３は、カメラ１０で撮像した画像又は映像を一時的に保存し、記憶部３０４で記憶されている標準の画像又は映像と一致しているか否かを判断する。なお、映像は連続している映像から一部の映像を切り出して、画像同士で比較するようにしてもよい。

記憶部３０４は、作業に必要なマニュアル４００、カメラ１０で撮像した画像又は映像、センサ４０から推測した作業者の動作などを記憶する。記憶部３０４は、情報処理装置３０内部に組み込まれていてもよいし、外部へ持ち出せるように情報処理装置から取り外せるようにしてもよい。

通信部３０５は、サーバ５０と通信する。通信の方法は、有線又は無線を問わず、どのようなプロトコルを使用してもかまわない。
入力部３０６は、カメラ１０で撮像した画像又は映像と、センサ４０の作業者の動作に基づく信号を入力する。

出力部３０７は、記憶部３０４が記憶しているマニュアル４００を表示装置２０へ出力する。カメラ１０で撮像した画像又は映像が標準の画像又は映像と一致していないとき、一致していない部分を撮像した画像又は映像と共に表示する。また、センサ４０による作業者の動作が標準動作と一致していないとき、警告を表示装置２０に出力する。その際、どこの作業が一致していなかったかをマニュアル４００の該当箇所に目印を表示させたり、マニュアル４００が記載されている文字色と異なる文字色で表示させる。
作業者に警告表示以外に、警告音を発するようにしたいときは、放音部（図示なし）を設けるようにしてもよい。

次に、作業支援システムを保守点検に使用する場合における動作について説明する。図３は、作業支援システムの動作フローを表す。
作業者は、カメラ１０と眼鏡タイプの表示装置２０とが取り付けられた情報処理装置３０を顔面に、センサ４０を両腕にそれぞれ装着する。情報処理装置３０は、作業者に所定の動作を行わせるための指示を表示装置２０に出力する。作業者は、表示装置２０に表示された指示に従って動作を行う。例えば、右腕を大きく２回円を描き、さらに上下に２回動かすなどである。このとき、両腕に装着したセンサ４０から両腕に動きに応じたデータが出力され、情報処理装置３０の入力部３０６へ入力されて、演算部３０１が作業者の動作に対するセンサ４０の値を関連付けて、基準値として記憶部３０４に記憶する（Ｓ３０１）。

情報処理装置３０は、対象物に貼付してあるコードをカメラ１０で読み取るように表示装置２０に表示させる（Ｓ３０２）。このコードは、作業者が作業するマニュアル４００とその該当ページが記載されている。作業者がこのコードをカメラ１０で読み取ると、読み取ったデータが情報処理装置３０の入力部３０６に入力されて、演算部３０１が読み取ったデータから該当するマニュアル４００と該当ページを記憶部３０４から選択して、出力部３０７に出力する。すると、表示装置２０には、該当ページのマニュアル４００が表示される。図４（ａ）は、表示装置２０に表示されるマニュアル４００を示す。

作業者は、マニュアル４００を見ながら対象物の保守点検を始める。マニュアル４００に記載された内容に対して、作業者が動作すると、センサ４０から両腕の動きに応じたデータが情報処理装置３０の入力部３０６に入力されて、マニュアル４００通りの動作をしているか、記憶部３０４に記憶された基準値に基づいて補正しながら、情報処理装置３０の動作判断部３０２で作業者の動作を解析する（Ｓ３０３）。

動作判断部３０２は、解析した作業者の動作がマニュアル４００に記載された標準動作と一致しているか否かを判断する（Ｓ３０４）。動作が一致していない場合（Ｓ３０４のＮ）、動作判断部３０２は、一致していない動作が重要な動作であるかを判断する（Ｓ３０９）。重要な動作とは、対象物に対して正しく保守点検ができていない動作を意味する。例えば、４本のねじを緩めて部品を取り外さなければならないところ、３本のねじを緩めて部品Ａを取り外そうとするような動作である。重要な動作である場合（Ｓ３０９のＹ）には、重要な動作をしなかった旨の警告を発する（Ｓ３１１）。重要な動作をしなかった作業がマニュアル４００の該当箇所に四角４１０で囲まれる。図４（ｂ）は、表示装置２０に表示される該当箇所が四角で囲まれたマニュアル４００を示す。なお、該当箇所に、マニュアル４００の文字色を他とは違う色で表示したり、三角形や丸印など記号を欄外に表示するようにしてもよい。情報処理装置３０は、作業者にやり直しを命ずる信号を出力部３０７から出力し、表示装置２０に表示される（Ｓ３１２）。作業者はマニュアル４００に従って再び動作の解析作業を開始する（Ｓ３０３）。一方、動作判断部３０２が作業者の動作が重要な動作でないと判断すると（Ｓ３０９のＮ）、その旨の警告を発する（Ｓ３１０）。マニュアル４００に軽微な警告があった旨の印を欄外に記載してもよいし、記載しなくてもよい。例えば、重要でない動作とは、３本のねじを右回りで締めるところを左回りで３本のねじを締めた場合などである。

動作が一致している場合（Ｓ３０４のＹ）、及び警告を発した（Ｓ３１０）後は、所定の作業が終了したか否かを演算部３０１が判断する（Ｓ３０５）。所定の作業とは、カメラ１０で撮像する作業に該当するか否かを意味する。所定の作業が終了しない場合（Ｓ３０５のＮ）、Ｓ３０３に進み次の動作の解析作業を進める。一方、所定の作業が終了した場合（Ｓ３０５のＹ）、カメラ１０で対象物を撮像する（Ｓ３０６）。撮像のタイミングは、表示装置２０に撮像するように表示されたら、１０秒後にカメラ１０の撮像が開始される。または、撮像開始ボタン（図示なし）を情報処理装置３０にあらかじめ組み込んでおいて、作業者がこの撮像開始ボタンを押して撮像を開始するようにしてもよい。

図５（ｂ）は、カメラ１０で撮像された画像又は映像を示す。カメラ１０で撮像された画像又は映像５１０は、画像判断部３０３に一時的に記憶される。図５（ａ）は、記憶部３０４に記憶された標準の画像又は映像である。画像判断部３０３は、記憶部３０４に記憶された標準の画像又は映像５００を読み込んで、撮像した画像又は映像５１０が標準の画像又は映像５００と一致しているか否かを判断する（Ｓ３０７）。両者の画像又は映像が一致していない場合（Ｓ３０７のＮ）、画像判断部３０３は、一致していない画像又は映像が重要な状態であるかを判断する（Ｓ３１３）。重要な状態とは、対象物に対して正しく保守点検ができていない状態を意味する。例えば、４本のねじを締めて部品を取り付けなければならないところ、１本のねじ５４０を締め忘れて部品Ｂを取り付ける状態である。重要な状態である場合（Ｓ３１３のＹ）には、重要な状態でなければならないのにその正しい状態でない旨の警告を発する（Ｓ３１５）。図５（ｃ）は、表示装置２０に一致していない箇所に印５３０がついた状態の画像又は映像を示す。情報処理装置３０は、画像判断部３０３が一致していないと判断した箇所を出力部３０７から出力し、表示装置２０にこれが表示される。なお、表示装置２０を通じて直接対象物を作業者が見ているとカメラ１０を通して情報処理装置３０が判断した場合には、一致していない印５３０のみ実際の対象物に重ねて表示するようにしてもよい。情報処理装置３０は、作業者にやり直しを命ずる信号を出力部３０７から出力し、表示装置２０に表示される（Ｓ３１６）。作業者はマニュアル４００に従って再び動作の解析作業を開始する（Ｓ３０３）。一方、画像判断部３０３が作業の状態が重要な状態でないと判断すると（Ｓ３１３のＮ）、その旨の警告を発する（Ｓ３１４）。重要でない状態とは、例えば、取り付けた部品の外観に動作に影響しない微細な付着物が付いている場合などである。

動作が一致している場合（Ｓ３０７のＹ）、及び警告を発した（Ｓ３１４）後は、作業終了か否かを演算部３０１が判断する（Ｓ３０８）。作業が終了しない場合（Ｓ３０８のＮ）、Ｓ３０３に進み次の動作の解析作業を進める。一方、作業が終了した場合（Ｓ３０８のＹ）、表示装置２０からマニュアル４００の表示が消える。情報処理装置３０の記憶部に記憶されている正しい操作をしなかった箇所４１０や撮像した画像又は映像５１０を通信部３０５を通じてサーバ５０へ送信される。

次に、本発明における第２の実施例について説明する。第１の実施例は、所定の動作が終了するまでは、カメラ１０で対象物を撮像しないが、第２の実施例は、作業ごとに動作と状態の双方から判断する。第１の実施例と同じ符号を付した箇所は、第１の実施例で説明した内容と同じであるため、詳細な説明を省略する。

作業者は、カメラ１０と眼鏡タイプの表示装置２０とが取り付けられた情報処理装置３０を顔面に、センサ４０を両腕にそれぞれ装着する。情報処理装置３０は、作業者に所定の動作を行わせるための指示を表示装置２０に出力する。作業者は、表示装置２０に表示された指示に従って動作を行う。演算部３０１が作業者の動作に対するセンサ４０の値を関連付けて、基準値として記憶部３０４に記憶する（Ｓ３０１）。
情報処理装置３０は、対象物に貼付してあるコードをカメラ１０で読み取るように表示装置２０に表示させ、表示装置２０には、該当ページのマニュアル４００が表示される（Ｓ３０２）。

作業者は、マニュアル４００を見ながら対象物の保守点検を始める。マニュアル４００に記載された内容に対して、作業者が動作すると、センサ４０から両腕の動きに応じたデータが情報処理装置３０の入力部３０６に入力されて、マニュアル４００通りの動作をしているか、記憶部３０４に記憶された基準値に基づいて補正しながら、情報処理装置３０の動作判断部３０２で作業者の動作を解析する（Ｓ３０３）。その動作が終了すると、表示装置２０にカメラ１０で作業状態を撮像するように表示され、情報処理装置３０は、一定時間後にカメラ１０で対象物を撮像する（Ｓ３０６）。カメラ１０で撮像された画像又は映像５１０は、画像判断部３０３に一時的に記憶される。

動作判断部３０２は、解析した作業者の動作がマニュアル４００に記載された標準動作と一致しているか否かを、画像判断部３０３は、記憶部３０４に記憶された標準の画像又は映像５００を読み込んで、撮像した画像又は映像５１０が標準の画像又は映像５００と一致しているか否かをそれぞれ判断する（Ｓ６０１）。

動作または画像もしくは映像のうち少なくともどちらかが一致していない場合（Ｓ６０１のＮ）、動作判断部３０２は、一致していない動作が重要な動作であるかを判断し、画像判断部３０３は、一致していない画像又は映像が重要な状態であるかを判断する（Ｓ６０２）。動作及び画像又は映像のうち、少なくともいずれか１つが重要な動作及び重要な状態であると判断されたときは、Ｓ６０３の警告が発生される。Ｓ６０３の警告は、Ｓ３１１とＳ３１５の警告と同様である。情報処理装置３０は、作業者にやり直しを命ずる信号を出力部３０７から出力し、表示装置２０に表示される（Ｓ３１２）。作業者はマニュアル４００に従って再び動作の解析作業を開始する（Ｓ３０３）。一方、動作判断部３０２は、作業者の動作が重要な動作でなく、かつ、画像判断部３０３はカメラ１０で撮像された画像又は映像５１０が重要な状態でないと判断すると（Ｓ６０２のＮ）、その旨の警告を発する（Ｓ６０５）。Ｓ６０５の警告は、第１の実施例におけるＳ３１０及びＳ３１４の警告と同様ある。

動作および画像又は映像のいずれも一致している場合、重要な動作かつ重要な状態でないと警告したのち（Ｓ６０１のＹ）、作業終了か否かを演算部３０１が判断する（Ｓ３０８）。作業が終了しない場合（Ｓ３０８のＮ）、Ｓ３０３に進み次の動作の解析作業を進める。一方、作業が終了した場合（Ｓ３０８のＹ）、表示装置２０からマニュアル４００の表示が消える。情報処理装置３０の記憶部３０４に記憶されている正しい操作をしなかった箇所４１０や撮像した画像又は映像５１０を通信部３０５を通じてサーバ５０へ送信される。

１０ カメラ
２０ 表示装置
３０ 情報処理装置
４０ センサ
５０ サーバ

Claims (4)

1. 作業の状態を撮像する撮像装置と、
   作業者の動作を検知するセンサと、
   作業手順を表示する表示装置と、
   前記表示装置に前記作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した前記作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶する情報処理装置と、
   を有し、
   前記情報処理装置は、
   前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致しているか否かを判断する動作判断部と、
   前記カメラで撮像したデータがあらかじめ定められたデータと一致しているかを判断する画像判断部と、
   を有し、
   前記情報処理装置は、前記動作判断部が前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致していないと判断したとき、前記作業手順に一致していない箇所を目印と共に記憶するように指示する作業支援システム。
2. 作業の状態を撮像する撮像装置と、
   作業者の動作を検知するセンサと、
   作業手順を表示する表示装置と、
   前記表示装置に前記作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した前記作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶する情報処理装置と、
   を有し、
   前記情報処理装置は、
   前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致しているか否かを判断する動作判断部と、
   前記カメラで撮像したデータがあらかじめ定められたデータと一致しているかを判断する
   画像判断部と、
   を有し、
   前記情報処理装置は、前記画像判断部が前記カメラで撮像したデータとあらかじめ定めたデータとが一致していないと判断したとき、一致していない箇所を表示するように指示する作業支援システム。
3. 撮像装置が作業の状態を撮像するステップと、
   センサが作業者の動作を検知するステップと、
   表示装置が作業手順を表示するステップと、
   情報処理装置が、前記表示装置に前記作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した前記作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶するステップと、
   を有し、
   前記情報処理装置は、
   動作判断部が前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致しているか否かを判断するステップと、
   画像判断部が前記カメラで撮像したデータがあらかじめ定められたデータと一致しているかを判断するステップと、
   前記動作判断部が前記センサで検知した作業者の動作があらかじめ定めた動作と一致していないと判断したとき、前記作業手順に一致していない箇所を目印と共に記憶するように指示するステップ
   を実行する作業支援方法。
4. 撮像装置が作業の状態を撮像するステップと、
   センサが作業者の動作を検知するステップと、
   表示装置が作業手順を表示するステップと、
   情報処理装置が、前記表示装置に前記作業手順を表示させ、前記撮像装置で撮像したデータと前記センサで検知した前記作業者の動作からあらかじめ定められた手順と一致しているかを判断し、一致していない場合には、前記作業手順に一致していない箇所を関連付けて記憶するステップと、
   を有し、
   前記情報処理装置は、
   動作判断部が前記センサで検知した前記作業者の動作があらかじめ定めた動作と一致しているか否かを判断するステップと、
   画像判断部が前記カメラで撮像したデータがあらかじめ定められたデータと一致しているかを判断するステップと、
   前記画像判断部が前記カメラで撮像したデータとあらかじめ定めたデータとが一致していないと判断したとき、一致していない箇所を表示するように指示するステップとを実行する作業支援方法。

Images