JP6736204B2 - 作業支援方法、作業支援プログラム及び作業支援装置 - Google Patents

Description

本開示は、作業支援方法、作業支援プログラム及び作業支援装置に関するものである。

電気通信設備を対象とした運用保守作業では、作業対象設備の位置を正確に判別し、誤りなく作業することが必要である。仮に、異なる設備に対して作業実施してしまうと、予期せぬ回線断を引き起こすこととなり、その復旧作業による保守費用の発生や企業信頼性の低下といった問題を招く。

この様な誤った作業を回避するため、作業指示書に基づき目視や指差しによる被操作対象の確認、複数人による被操作対象の相互確認などを実施することで、慎重かつ正確に作業が行われる。しかし、目視確認後作業に移る際の目離れ、思い込み、作業人員不足・保守費用削減による現地での一人作業の増加等により、ヒューマンエラーによって生じる誤った作業が懸念される。

そこで、作業対象装置にＬＥＤ等を備え、被操作対象を発光させ、明示する方法もあるが、全ての作業対象装置にＬＥＤ等を追加する必要があり、フィールドに作業対象装置が多数設置されている場合、取り付け作業の稼働がかかる、装置価格が上昇する、といった問題が生じる。

この様な既存の課題を解決する技術的対処方法の一案として、非特許文献１に示すような例がある。これは、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術（例えば非特許文献２を参照）を用いて、タブレットで撮影されたカメラ動画像上に作業オーダに基づいた被操作対象の輪郭を示す図形をシステムが表示し、作業者が被操作対象を勘違いなく視覚的にタブレット画面上で確認できるものである。また、カメラの動きに追随して表示図形の位置や形が適切に変化し、被操作対象の輪郭を明示し続ける。これにより、視覚的な理解で被操作対象を直ちに特定可能となる。

また、被操作対象を正しく特定した後に、作業者は被操作対象に目印となるシールのようなマーカを貼り付ける。実際の抜去作業はこのマーカを目印に実施するが、マーカを貼る際の目離れや思い込みによるマーカの貼り間違いといった誤抜去の要因が介在する余地がある。

このような要因を排除し被操作対象に対して確実に作業実施するために、作業オーダされた被操作対象と作業者が認識している被操作対象、すなわちマーカが貼られた対象とをシステム上で照合し、正誤判定する機能がある。

これはＡＲ技術と色認識技術を組み合わせて実現される。マーカが持つ色彩情報は予めシステムに登録してあり色認識時の基準値になる。この基準値に基づき、システムが画像内の同色箇所を検出し、その重心座標をマーカ位置であるとして、このマーカ位置と作業オーダに基づく被操作対象の位置（これはＡＲ技術で認識できている）が一致するか照合することで正誤判定を実施している。

しかし、この方法ではマーカの色彩情報が照明の明暗や照明種別で変化し、予め登録していた色認識の基準値でマーカを検出した場合、検出率が著しく低下する課題があった。そこで、照明状態に代表される環境の変動影響を回避するため、色彩情報をシステムに予め持たせておくのではなく、被操作対象に貼り付けられた状態のマーカをタブレットのカメラで撮影することで、マーカの色彩情報を現場で測定して、その結果をシステムに登録されている色彩情報の基準値として反映している。

しかし、当該手法を用いても、マーカをカメラ撮影して色彩情報を取り込んでから正誤判定を行うまでの間に発生するタブレットのわずかな移動や時間差によって、照明、マーカ、タブレットの位置関係が変化してしまい、マーカの色彩情報が変化することがあり、被操作対象に貼り付けられたマーカ検出が困難な場合がある。

さらに、非特許文献３にあるように、色彩情報を取り込むためにはカメラの動画像上に表示された枠内にマーカを収めた状態で測色を実施する必要があり、枠内にマーカを収めた状態を維持するのに手間取り、作業時間が長くなるなど、効率的に利用するにはある程度の習熟が必要な工程であるといった課題がある。

また、重心座標をマーカ位置と判断するため、作業者が誤って複数の場所にマーカを張ってしまった場合や、マーカ色と同じ色彩情報を持つ部位が別の地点にある場合、それらを合わせた重心座標をマーカ位置であるとシステムは認識する。ここで図１に示すように、偶然にもマーカ４２と同じ色彩情報を持つ部位の重心座標が被操作対象である操作対象３２−２内となってしまうと、マーカ４２の貼付け位置は被操作対象外の操作対象３２−１であり誤っているにも関わらず、判定はＯＫとなってしまい、誤作業に繋がる可能性があった。

古敷谷ら、「ＡＲ技術を用いた所内伝送装置保守作業支援システムの検討」、信学技報、ＯＦＴ １１５、２９−３４、２０１５年１０月 情報処理学会ＣＶＩＭ研究会［画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）］：島村・森本・小池「設備保守支援向けＡＲのための部分テンプレート検出とｖＳＬＡＭの併用によるオブジェクト座標系へのレジストレーション」、ＩＳ４−１３、２０１１年７月 榎本ら、「ＡＲを用いた所内伝送装置保守作業支援システムの作業性評価」、電子情報通信学会ソサイエティ大会， Ｂ−１０−９、２０１６年９月

そこで、本開示は、環境変化によるマーカの色彩情報の変化を回避し、簡便に効率的に作業対象箇所と作業者が認識している作業対象箇所が一致するかの正誤判定を行うことを目的とする。

具体的には、本開示の作業支援方法は、
複数の操作対象が配列された操作対象群を有する作業対象において、作業オーダに基づく被操作対象と作業者が認識している被操作対象が一致するかを正誤判定するための作業支援装置が実行する作業支援方法であって、
カメラを用いて前記被操作対象の画像を撮影し、前記画像内の前記被操作対象の位置を把握し、把握した前記被操作対象の位置に基づいて前記被操作対象の輪郭を表す図形を前記画像上に重畳表示する輪郭画像表示ステップと、
前記操作対象のうちの一つに貼付けられたマーカが写るようにカメラを用いて静止画を撮影し、ディスプレイ上に表示する静止画撮像ステップと、
ディスプレイ上に表示された前記静止画内の位置が指定されると、指定された位置の色彩情報をマーカの色彩情報として取り込み、マーカの色彩情報と同一色彩情報をもつ要素を前記静止画内で探索し、探索により検出された前記同一色彩情報を持つ要素の重心座標をマーカの貼り付け位置として認識する色情報認識ステップと、
前記指定された位置及び前記重心座標が前記輪郭内に双方ともに存在しているかどうかを照合し、指定された位置及び前記重心座標が前記輪郭内に双方ともに存在している場合、作業オーダと作業者が認識している被操作対象が一致していると判定する作業位置照合ステップと、
を実行することを特徴とする。

本開示の作業支援方法では、前記色情報認識ステップにおいて、前記同一色彩情報を持つ要素のうちの隣接している要素を一つの集合とみなし、その集合毎の輪郭をディスプレイ上に表示してもよい。

本開示の作業支援方法では、前記色情報認識ステップにおいて、前記集合の面積が予め指定されている閾値以下である場合、前記探索により検出された前記同一色彩情報を持つ要素から除外してもよい。

本開示の作業支援方法では、前記色情報認識ステップにおいて、前記集合のなかに予め指定されている閾値以上を持つ集合が存在した場合、前記指定された位置及び前記重心座標が前記被操作対象の輪郭内に双方ともに存在していても、作業オーダと作業者が認識している被操作対象が一致していないと判定してもよい。

前記ディスプレイはタッチパネル式ディスプレイであり、前記色情報認識ステップにおいて、前記ディスプレイ上でタッチされた位置を取得することによって、前記ディスプレイ上に表示された静止画内の位置が指定されてもよい。

本開示に係る作業支援プログラムは、本開示に係る作業支援方法に備わる各ステップをコンピュータに実行させるためのプログラムであり、本開示に係る作業支援装置に備わる各機能部としてコンピュータを実現させるためのプログラムである。本開示に係る作業支援プログラムは、コンピュータ読み取り可能な記録媒体に記録されていてもよい。

具体的には、本開示の作業支援装置は、
複数の操作対象が配列された操作対象群を有する作業対象において、作業オーダに基づく被操作対象と作業者が認識している被操作対象が一致するかを正誤判定する作業支援装置であって、
カメラを用いて前記被操作対象の画像を撮影し、前記画像内の前記被操作対象の位置を把握し、把握した前記被操作対象の位置に基づいて前記被操作対象の輪郭を表す図形を前記画像上に重畳表示する輪郭画像表示部と、
前記操作対象のうちの一つに貼付けられたマーカが写るようにカメラを用いて静止画を撮影し、ディスプレイ上に表示する静止画撮像部と、
ディスプレイ上に表示された前記静止画内の位置が指定されると、指定された位置の色彩情報をマーカの色彩情報として取り込み、マーカの色彩情報と同一色彩情報をもつ要素を前記静止画内で探索し、探索により検出された前記同一色彩情報を持つ要素の重心座標をマーカの貼り付け位置として認識する色情報認識部と、
前記指定された位置及び前記重心座標が前記輪郭内に双方ともに存在しているかどうかを照合し、指定された位置及び前記重心座標が前記輪郭内に双方ともに存在している場合、作業オーダと作業者が認識している被操作対象が一致していると判定する作業位置照合部と、
を備える。

なお、上記各開示は、可能な限り組み合わせることができる。

本開示により、環境変化によるマーカの色彩情報の変化を回避し、簡便に効率的に作業対象箇所と作業者が認識している作業対象箇所が一致するかの正誤判定を行うことができる。

本開示における課題を説明するための説明図である。 本実施形態における作業支援装置及び作業対象の概略図の一例である。 本実施形態における作業対象およびマーカの一例である。 本実施形態における作業支援装置の構成の一例である。 本実施形態における作業支援システムを用いた挿抜作業のフローチャートの一例である。 本実施形態における作業支援装置およびＡＲによる輪郭図形の表示の一例である。 本実施形態における作業支援装置およびＡＲによる輪郭図形の表示の別例である。 本実施形態における作業支援装置による画像パターンの表示の一例である。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

以下、本開示の実施形態による、作業支援装置及びシステムについて説明する。図２に、実施形態に係る作業支援装置の一例を示す。実施形態に係る作業支援装置９は、作業対象３０における作業を支援するための装置であり、入力部１、情報処理部２、カメラ５、ディスプレイ６、記憶部７を備える。作業支援装置９は、例えばカメラ、タッチパネル式ディスプレイを有するタブレットなどの可搬型コンピュータである。タッチパネル式ディスプレイであればディスプレイ６が入力部１として機能する。

図３に、本実施形態における作業対象とマーカの一例を示す。作業対象３０は作業対象となる設備であり、例えばルータ、伝送装置などの電気通信設備である。操作対象群３１は、例えば実装されているパッケージや接続されているコネクタ、ケーブル等の挿抜作業を施す操作対象３２のグループである。被操作対象は挿抜作業を実行することを作業オーダにより指示された操作対象群３１の中の１つの操作対象である。本実施形態では、一例として、被操作対象が操作対象３２−２である例について説明する。

マーカ４２は、作業者によって挿抜を行う被操作対象に設置され、作業者が認識している被操作対象を指し示す目印となる。マーカ４２は、特定の色を持ち、例えばシールやテープのような粘着性の部材や磁力によって操作対象３２に貼り付けられる。また、マーカ４２のサイズは実装されているパッケージサイズやコネクタサイズと比較して小さいほうが、他のパッケージやコネクタに重なることもなく良い。かつマーカ４２の色は、操作対象群３１に近い色がつかわれてなく、マーカ４２内は一様のほうが、色領域を求める際に広く取れるため、良い。

図４は、情報処理部２の構成の一例を示す図である。情報処理部２は、輪郭画像表示部２２と、静止画像撮像部２３と、色情報認識部２５と、重心座標計算部２６と、作業位置照合部２８と、を備える。

図５に、本実施形態に係る作業支援方法を用いた挿抜作業の動作フローチャートの一例を示す。本実施形態に係る作業支援方法は、作業支援装置９が、輪郭画像表示ステップと、静止画撮像ステップと、色情報認識ステップと、作業位置照合ステップと、を順に実行する。輪郭画像表示ステップではステップＳ１０１〜Ｓ１０３を実行し、静止画撮像ステップではステップＳ１０４〜Ｓ１０５を実行し、色情報認識ステップではステップＳ１０６〜Ｓ１０８を実行し、作業位置照合ステップではステップＳ１０９〜Ｓ１１０を実行する。

ステップＳ１０１：作業支援装置９の入力部１には作業オーダ情報が入力される。作業オーダ情報は、選定のための作業対象３０及び被操作対象の位置情報、マーカ４２のサイズ情報を含む。
ステップＳ１０２：輪郭画像表示部２２は、作業オーダ情報を取得すると、カメラ５にて作業対象３０を撮影する。撮影は、動画撮影及び静止画撮影のいずれであってもよい。

ステップＳ１０３：輪郭画像表示部２２は、ＡＲ機能により作業オーダ情報で指示された被操作対象３２−２の位置に合わせて、被操作対象３２−２の輪郭を示す輪郭画像３５をカメラ５にて撮影された画像上に重畳表示する。

図６に示すように、カメラ５にて作業対象３０を撮影し、ディスプレイ６に動画または静止画を表示する。ＡＲ機能を内蔵することによって、輪郭画像表示部２２は、動画または静止画内の被操作対象３２−２の輪郭の位置を把握して動画または静止画上に輪郭画像３５を重畳表示可能である。

ステップＳ１０４：作業者は重畳表示された輪郭画像３５の位置を参照して、自身が認識した被操作対象３２−２にマーカ４２を貼り付ける。マーカ４２は、作業対象３０に表記される文字や図形と識別可能な任意の色、形状、模様又はこれらの組み合わせであり、例えば四角形状の赤色のシールである。

ステップＳ１０５：その後、入力部１が作業支援装置９を色情報補正モードに移行させる。静止画像モードでは、静止画像撮像部２３は、貼付けたマーカ４２が含まれるように、カメラ５に静止画を撮影させる。図７に、静止画の一例を示す。静止画には、操作対象３２−２及びマーカ４２が含まれている。

ステップＳ１０６：入力部１からディスプレイ６に表示された静止画上の指定位置ＰＭを指定されると、色情報認識部２５は、指定位置ＰＭのことでタッチした要素が持つ色彩情報を測色して記憶する。例えば、ディスプレイ６がタッチパネル型のディスプレイの場合、指定位置ＰＭは、例えば、タッチパネル上でタップされた位置である。

指定位置ＰＭの指定方法は、マウスなどでディスプレイ上に表示されたカーソルを動かして、当該マーカ位置の上でクリックすることで実現してもよい。また、指定位置ＰＭの指定は、マーカ４２をはった作業者が行っても良い。さらに、ネットワークを経由して静止画像を遠隔地にいる作業者と共有し、遠隔地側で実施することで、クロスチェックとなりさらに安全性を高めても良い。

ステップＳ１０７：ステップＳ１０６で得られた色彩情報はカラーサンプルとしてディスプレイ６に表示され、得られた色彩情報とマーカ４２が同色であることを作業者が確認することができる。このため、誤った位置を指定した場合、作業者は誤った位置を指定したことに気づいてステップＳ１０６をやり直すことができる。

ここで、色情報認識部２５は、同一色彩情報を持つ要素のうちの隣接している要素を一つの集合として扱うことが好ましい。この場合、その集合毎の輪郭をディスプレイ６上に表示することが好ましい。

ステップＳ１０８：次に、重心座標計算部２６が、得られた色彩情報と合致する静止画内の画素およびその集合の重心座標ＰＣを計算する。ディスプレイ６は、計算した重心座標ＰＣを、静止画上に表示する。画像パターンは、任意の形状の画像である。図８に重心座標ＰＣの表示の一例を示す。重心座標ＰＣは、図８に示す「×」形状のように、予め定められた画像パターンで表示されることが好ましい。

重心座標計算部２６が計算する際、作業オーダ情報に含まれるマーカ４２のサイズを考慮してもよい。例えば、得られた色彩情報と合致する画素の集合の面積が、作業オーダ情報に含まれるマーカ４２のサイズと比較して小さい場合、例えば閾値以下の場合、ノイズとみなして重心座標ＰＣの計算から除外しても良い。

ここで、画素の集合の面積は、マーカ４２に正対した状態で撮影していれば、画素の集合に含まれる画素数と重心座標計算部２６のＡＲ機能が持つ、撮影画像と実空間での長さを関連付ける縮尺情報から決定できる。ただし、マーカ４２に正対していない場合、画素数からのみ面積を求めてしまうと正しいマーカ４２の面積とならない。したがって、重心座標計算部２６は、ＡＲ機能が把握しているカメラの撮影角度情報を使って、画素数を正対した場合の画素数に変換・補正してから、縮尺情報を用いて面積に換算した上で、作業オーダ情報のマーカ４２のサイズの情報と面積比較をするとよい。また、上記補正計算のためにマーカ４２は被操作対象３２−２の前面と同一平面上に貼付けるのが良い。

また、マーカ４２の大きさは、大きいほうが良いが、大きすぎると他のパッケージやコネクタに重なることもあるため、実装されているパッケージサイズやコネクタサイズより少し小さいほうが良い。よって、マーカ４２のサイズの範囲を決めることができる。

ステップＳ１０９：入力部１が作業支援装置９を作業位置照合モードに移行させる。作業位置照合モードでは、作業位置照合部２８は、指定位置ＰＭと重心座標ＰＣとが作業オーダ情報で指示された被操作対象３２−２の輪郭画像３５内に双方ともに存在するか否かを判定する。これにより、作業オーダと作業者が認識している被操作対象３２−２が一致しているかを判定することができる。

指定位置ＰＭと重心座標ＰＣとが双方ともに輪郭画像３５内に存在するときのみ、判定結果をＯＫとする。指定位置ＰＭと重心座標ＰＣのどちらかが輪郭画像３５外に存在するとき、判定結果をＮＧとする。判定結果がＮＧとなった場合、ステップＳ１０４又はステップＳ１０５からやり直す。

この際、ステップＳ１０６で得られた色彩情報と合致する画素の集合の面積が作業オーダ情報に含まれるマーカ４２のサイズと比較して大きい場合には、双方ともに存在していたとしても、マーカ４２以外の個所をタッチで指定している可能性があるとして、ステップＳ１０９の判定結果をＮＧとしても良い。その際、重心座標ＰＣの計算に使用した色領域の輪郭線はディスプレイ６の画面に表示してもよい。マーカ４２のサイズが大きすぎる・小さすぎる場合、他の領域に類似色のマーカ４２がある等、ＮＧの理由を作業者は確認することもできる。

ステップＳ１１０：判定結果がＯＫとなった場合、判定結果を確認して、判定結果および画像を記憶部７に保存する。記憶部７は、例えば、作業支援装置９に備わるハードディスクや外部記憶媒体である。

ステップＳ１１１：最後に、マーカ４２を貼り付けた被操作対象３２−２を挿抜して作業を終了する。

この開示の実現により、カメラ５で得た静止画からマーカ４２の色彩情報を取り込み、同静止画を用いて照合判定を行うため、色彩情報の取得から照合判定までの間にマーカ４２の色彩情報が変化することがなく、高確度でマーカ４２の検出が可能となる。

また、ディスプレイ６上をタッチすればマーカ４２の色彩情報を取得できるため、作業支援装置９を上手く動かしてカメラ画像上の測色枠とマーカ４２を一致させる作業が不要となり、作業時間が短縮でき、操作の習熟不要で簡易かつ効率的な作業が可能となる。

また、関連技術の、マーカ貼付け位置が間違っているにも関わらずマーカ４２とは別の同色部位の存在によって重心位置が偶然被操作対象内となり誤って判定をＯＫとしてしまうケースにおいても、本開示を用いれば、重心位置が被操作対象３２−２の輪郭画像３５内にあるかを照合するだけでなく、タッチ位置も被操作対象３２−２の輪郭画像３５内であったかを合わせて照合する。このため、作業オーダと作業者が認識している被操作対象が一致しているかの判定結果を正しい判断で実現できる。

また、マーカ４２と類似の色（たとえば、ＬＥＤ等）が作業対象３２上で使われていても、その領域が指定した閾値以下である際には、重心座標ＰＣの計算から除外するため、いわばノイズとみなしてマーカの重心位置の認識に影響を与えることなく、正しくマーカの位置を認識できる。

なお、本開示の作業支援方法は、コンピュータに、各ステップを実行させることで実現してもよい。この場合、作業支援装置９が備える情報処理部２が情報記憶部（不図示）に記憶されたコンピュータプログラムを実行することで、各構成を実現する。ここで、作業支援方法を実現する際のコンピュータは、コンピュータによって制御される任意の機器をさらに備えてもよい。また、作業支援装置９を実現する際のプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本開示は、電気通信産業に適用することができる。

１：入力部
２：情報処理部
２２：輪郭画像表示部
２３：静止画像撮像部
２５：色情報認識部
２６：重心座標計算部
２８：作業位置照合部
３０：作業対象
３１：操作対象群
３２−１、３２−２、３２−３：操作対象
３５：輪郭画像
４２：マーカ
５：カメラ
６：ディスプレイ
７：記憶部
９：作業支援装置

Claims (7)

1. 複数の操作対象が配列された操作対象群を有する作業対象において、作業オーダに基づく被操作対象と作業者が認識している被操作対象が一致するかを正誤判定するための作業支援装置が実行する作業支援方法であって、
   カメラを用いて前記作業対象及び前記操作対象群の画像を撮影し、前記作業オーダに含まれる被操作対象の位置情報に基づいて前記画像内の前記被操作対象の位置を把握し、前記被操作対象の輪郭を前記画像上に重畳表示する輪郭画像表示ステップと、
   前記操作対象のうちの一つにマーカが貼付けられると、前記マーカが写るように、カメラを用いて前記輪郭の表示されていた前記被操作対象を含む前記作業対象及び前記操作対象群の画像を再度撮影し、再度撮影した画像を静止画でディスプレイ上に表示する静止画撮像ステップと、
   ディスプレイ上に表示された前記静止画内の前記マーカの位置が指定されると、指定された位置の色彩情報をマーカの色彩情報として取り込み、マーカの色彩情報と同一色彩情報をもつ要素を前記静止画内で探索し、探索により検出された前記同一色彩情報を持つ要素の重心座標をマーカの貼り付け位置として認識する色情報認識ステップと、
   前記指定された位置及び前記重心座標が前記輪郭内に双方ともに存在しているかどうかを照合し、指定された位置及び前記重心座標が前記輪郭内に双方ともに存在している場合、作業オーダと作業者が認識している被操作対象が一致していると判定する作業位置照合ステップと、
   を実行することを特徴とする作業支援方法。
2. 前記色情報認識ステップにおいて、前記同一色彩情報を持つ要素のうちの隣接している要素を一つの集合とみなし、その集合毎の輪郭をディスプレイ上に表示する、
   ことを特徴とする請求項１に記載の作業支援方法。
3. 前記色情報認識ステップにおいて、前記集合の面積が予め指定されている閾値以下である場合、前記探索により検出された前記同一色彩情報を持つ要素から除外する、
   ことを特徴とする請求項２に記載の作業支援方法。
4. 前記作業位置照合ステップにおいて、前記集合のなかにマーカよりも広い面積を持つ集合が存在した場合、前記指定された位置及び前記重心座標が前記被操作対象の輪郭内に双方ともに存在していても、作業オーダと作業者が認識している被操作対象が一致していないと判定する、
   ことを特徴とする、請求項２又は３に記載の作業支援方法。
5. 前記ディスプレイはタッチパネル式ディスプレイであり、
   前記色情報認識ステップにおいて、前記ディスプレイ上でタッチされた位置を取得することによって、前記ディスプレイ上に表示された静止画内の位置が指定される、
   ことを特徴とする請求項１から４のいずれかに記載の作業支援方法。
6. コンピュータに、請求項１から５のいずれかに記載の各ステップを実行させるための作業支援プログラム。
7. 複数の操作対象が配列された操作対象群を有する作業対象において、作業オーダに基づく被操作対象と作業者が認識している被操作対象が一致するかを正誤判定する作業支援装置であって、
   カメラを用いて前記作業対象及び前記操作対象群の画像を撮影し、前記作業オーダに含まれる被操作対象の位置情報に基づいて前記画像内の前記被操作対象の位置を把握し、把握した前記被操作対象の位置に基づいて前記被操作対象の輪郭を表す図形を前記画像上に重畳表示する輪郭画像表示部と、
   前記操作対象のうちの一つにマーカが貼付けられると、前記マーカが写るように、カメラを用いて前記輪郭の表示されていた前記被操作対象を含む前記作業対象及び前記操作対象群の画像を再度撮影し、再度撮影した画像を静止画でディスプレイ上に表示する静止画撮像部と、
   ディスプレイ上に表示された前記静止画内の前記マーカの位置が指定されると、指定された位置の色彩情報をマーカの色彩情報として取り込み、マーカの色彩情報と同一色彩情報をもつ要素を前記静止画内で探索し、探索により検出された前記同一色彩情報を持つ要素の重心座標をマーカの貼り付け位置として認識する色情報認識部と、
   前記指定された位置及び前記重心座標が前記輪郭内に双方ともに存在しているかどうかを照合し、指定された位置及び前記重心座標が前記輪郭内に双方ともに存在している場合、作業オーダと作業者が認識している被操作対象が一致していると判定する作業位置照合部と、
   を備える作業支援装置。

Images