JP6445935B2 - 作業支援装置、作業支援方法及び作業支援プログラム - Google Patents

Description

本発明は、実施する作業や作業対象に対して、十分な経験や知識を有さない作業者でも、予め登録された作業指示データに基づいて、正確かつ直観的に作業位置を特定することを実現する技術分野に関するものである。

電気通信設備を対象とした回線開通作業や故障修理作業、運用保守作業においては、作業対象設備を正確に判別することが重要となる。仮に、異なる設備に対して作業を実施した場合、予期せぬ回線断やサービス断、誤ったサービスの提供を引き起こすこととなりサービス品質の低下を招く。また、その是正作業が必要となるため、保守費用の増大も引き起こす。

この様な誤った作業を回避するために、作業指示書と対象設備の目視による確認や複数人による相互確認などを実施し、ヒューマンエラーの撲滅に向けた慎重で正確な作業が行われる。しかしながら、目視確認後の目離れや思い込み、作業人員不足・保守費用削減による一人作業の増加等により、ヒューマンエラーによる誤った作業を撲滅するに至っていない。

この様な既存の課題を解決する技術的対処方法の一案として、特許文献１に示す様な例がある。これは、高密度に配列された光配線接続架のコネクタ挿抜作業時の誤作業を回避するため、それぞれの端子個々に可視光波長領域のＬＥＤを実装し、オペレーションシステムから作業指示データを電子的に抽出し、そのデータに基づいたＬＥＤを点滅させることで、作業端子までコネクタ挿抜工具を誘導する。

一方、発光するＬＥＤに端子ＩＤ情報を含む変調信号を重畳させ、コネクタ挿抜工具に実装した受光素子でその変調信号光を受光復調し、挿抜作業と同時に作業端子であるか否かの照合を行う方法がある。該当端子のＩＤを読み取り、オペレーションシステムに登録されている作業指示のＩＤとの照合を行い、正しい場合はコネクタ挿抜工具の操作を行うことができ、間違っている場合はコネクタ挿抜の操作をできない仕組みとなっている。

また、同様の技術的対処法の一案として、非特許文献１に示す様な例がある。これは、特許文献１と目的は同等であるが、ＬＥＤを用いることなく、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術（例えば非特許文献２を参照）と専用の工具を用いて目的とする作業を実施する方法である。

しかしながら、ＬＥＤを用いた方式の場合はＬＥＤを挿抜作業対象全てに予め取り付ける必要があり、また、ＬＥＤを発光させるための発光制御機構も必要となるため、費用負担が極めて大きい。さらに、ＬＥＤを作業毎に取り付けて作業終了後に取り外す機構とすることも可能であるが、作業をする度にＬＥＤを各作業対象に取り付ける手間が発生することに加えて、作業面には光コードによる配線があるため、ＬＥＤ設置作業時に誤って光コードを引っ掛けてしまい通信サービスに影響を与えるといった作業事故が発生する可能性がある。

また、ＬＥＤ、ＡＲいずれの方法においても、当該作業が工具を用いた作業を対象としていて、工具に付属した素子等で電子的な情報を通信する仕組みを用いたのち、情報照合して、情報照合の合否結果により工具操作機構を制御することで誤った作業対象に対する作業行為の実施を防止している。

工具を用いずに手指を用いる作業であるケーブル、コネクタの挿抜作業や装置のパッケージ交換作業等を実施する場合においては、そもそも本人の意思にのみによって手指を使って作業を行うことになるため、特許文献１及び非特許文献１に用いられているような電子的な情報照合の合否結果に基づいて作業に使用する工具の機構を強制的に使用不能にして作業位置の間違いを是正する手法を適用することはできない。

また、手指で行う作業に対して新たに専用工具を用意するという対応は可能であるが、形状や機構の異なる各々の作業対象に対応した専用工具が作業対象毎に必要になること、工具はハード開発品であるため作業対象の拡大に対応するための柔軟性が低いことから、開発、調達、運用コストの増大が課題である。

一方で、当該挿抜作業などの実運用においては、テープやシール等を用いて、作業対象を特定するための判別用マーキングを作業対象に施すことがある。しかし、判別用マーキングを貼り付ける作業対象は作業者の個別判断において選定され、貼り付けた対象に対して再度誤りが無いか作業者が確認を実施したとしても、思い込み、勘違い、目離れ等により間違いに気づくことができずに作業位置間違いを引き起こすことがある。

特開２０１０−１７６９９０号公報

大串、片山、東、「ＡＲ技術を用いた所内光配線作業ナビゲーションシステム」、信学技報、ＯＦＴ １１２、５５−６０、２０１２年８月 情報処理学会ＣＶＩＭ研究会［画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）］：島村・森本・小池「設備保守支援向けＡＲのための部分テンプレート検出とｖＳＬＡＭの併用によるオブジェクト座標系へのレジストレーション」、ＩＳ４−１３、２０１１年７月

そこで、本発明では、作業対象物のどの位置が作業指示された箇所かを正確に伝える作業支援装置において、作業者の個別判断に依らない作業を可能とし、作業者の誤った個別判断に起因する作業位置の間違いを排除し、かつ、作業支援装置上に記憶させる作業対象物及び操作対象に関する電子的な情報の追加だけで様々な作業対象設備に対して柔軟に対応可能な作業支援装置を提供することを目的とする。

具体的には、本発明の作業支援装置は、
複数の操作対象が配列された操作対象群を有する作業対象において、前記操作対象群に含まれる被操作対象を特定するための作業支援装置であって、
前記作業対象における前記の位置を記憶する形状情報記憶部と、
前記作業対象のうちの所定位置に付される第１マーカの認識に用いる第１マーカ属性情報及び前記被操作対象に付される第２マーカの認識に用いる第２マーカ属性情報を記憶する属性情報記憶部と、
前記第１マーカ及び前記第２マーカが付された前記作業対象を撮像した撮像画像を取得し、前記第１マーカ属性情報及び前記第２マーカ属性情報を用いて前記撮像画像に含まれる前記第１マーカ及び前記第２マーカを認識するマーカ認識部と、
前記撮像画像に撮像されている前記作業対象における前記操作対象群の位置を前記形状情報記憶部から取得し、前記操作対象群に含まれる各操作対象の形状を表す第１画像パターンを生成する第１画像パターン生成部と、
前記第１画像パターンにおける前記被操作対象の領域に第２画像パターンを生成する第２画像パターン生成部と、
前記マーカ認識部が認識した前記撮像画像における前記第２マーカの位置に、前記被操作対象の位置を示す第３画像パターンを生成する第３画像パターン生成部と、
前記撮像画像に含まれる前記第１マーカが前記所定位置に配置されるように、前記第１画像パターン、前記第２画像パターン及び前記第３画像パターンを前記撮像画像上に重畳した合成画像を生成する画像処理部と、
前記合成画像において、前記第３画像パターンが前記第２画像パターンの領域内に存在するか否かを判定する作業位置照合部と、
を備える。

本発明の作業支援装置では、
前記第１マーカは、前記作業対象に含まれる構成の形状又は模様であり、
前記模様は１次元コード又は２次元コードを含んでもよい。

本発明の作業支援装置では、
前記マーカ認識部は、前記属性情報記憶部に記憶されている前記第１マーカ属性情報を用いて、前記撮像画像に含まれる前記操作対象の大きさを特定し、
前記第１画像パターン生成部又は前記第２画像パターン生成部は、前記マーカ認識部の特定した大きさに合わせた画像パターンを生成してもよい。

本発明の作業支援装置では、
前記第２マーカは、特定の色であり、
前記第２マーカ属性情報は、ＲＧＢ形式又はＨＳＶ形式の数値情報であってもよい。

本発明の作業支援装置では、
前記第２マーカの測色結果を用いて、前記属性情報記憶部に記憶されている前記第２マーカ属性情報における前記数値情報を補正する色情報補正部を、さらに備えてもよい。

本発明の作業支援装置では、
前記第２マーカは、前記被操作対象に含まれる構成の形状又は模様であり、
前記模様は１次元コード又は２次元コードを含んでもよい。

具体的には、本発明の作業支援方法は、
複数の操作対象が配列された操作対象群を有する作業対象において、前記操作対象群に含まれる被操作対象を特定するための作業支援装置が実行する作業支援方法であって、
前記作業対象のうちの所定位置に付される第１マーカ及び前記被操作対象に付される第２マーカが付された前記作業対象を撮像した撮像画像を取得し、前記第１マーカの認識に用いる第１マーカ属性情報及び前記第２マーカの認識に用いる第２マーカ属性情報を記憶する属性情報記憶部を参照し、前記属性情報記憶部に記憶されている前記第１マーカ属性情報及び前記第２マーカ属性情報を用いて前記撮像画像に含まれる前記第１マーカ及び前記第２マーカを認識するマーカ認識手順と、
前記作業対象における前記操作対象群の位置を記憶する形状情報記憶部を参照し、前記撮像画像に撮像されている前記作業対象における前記操作対象群の位置を前記形状情報記憶部から取得し、前記操作対象群に含まれる各操作対象の形状を表す第１画像パターンを生成する第１画像パターン生成手順と、
前記第１画像パターンにおける前記被操作対象の領域に第２画像パターンを生成する第２画像パターン生成手順と、
前記マーカ認識手順で認識した前記撮像画像における前記第２マーカの位置に、前記被操作対象の位置を示す第３画像パターンを生成する第３画像パターン生成手順と、
前記撮像画像に含まれる前記第１マーカが前記所定位置に配置されるように、前記第１画像パターン、前記第２画像パターン及び前記第３画像パターンを前記撮像画像上に重畳した合成画像を生成する画像処理手順と、
前記合成画像において、前記第３画像パターンが前記第２画像パターンの領域内に存在するか否かを判定する作業位置照合手順と、
を有する。

本発明の作業支援方法では、
前記第２マーカは、特定の色であり、
前記第２マーカを測色し、前記属性情報記憶部に記憶されている前記第２マーカ属性情報における前記数値情報を補正する色情報補正手順を、前記マーカ認識手順の前にさらに有してもよい。

具体的には、本発明の作業支援プログラムは、コンピュータに、本発明に係る作業支援装置の各機能部を実現させる。

なお、上記各発明は、可能な限り組み合わせることができる。

本発明によれば、作業対象物のどの位置が作業指示箇所かを正確に伝える作業支援装置において、作業者の個別判断に依らない作業を可能とし、作業者の誤った個別判断に起因する作業位置の間違いを排除し、かつ、作業支援装置上に記憶させる作業対象及び挿抜対象に関する電子的な情報の追加だけで様々な設備に対して柔軟に対応可能な作業支援装置を提供することができる。

本発明の実施形態に係る作業対象および第１マーカ及び第２マーカの一例を示す。 本発明の実施形態に係る一次元コードの一例を示す。 本発明の実施形態に係る二次元コードの一例を示す。 本発明の実施形態に係る作業支援装置の構成の第１例を示す。 本発明の実施形態に係る作業支援装置の動作フローチャートの一例を示す。 本発明の実施形態に係る挿抜対象と被挿抜対象を表す第１画像パターン及び第２画像パターンを生成する作業対象の一例を示す。 本発明の実施形態に係る挿抜対象と被挿抜対象を表す第１画像パターン及び第２画像パターンの第１例を示す。 本発明の実施形態に係る挿抜対象と被挿抜対象を表す第１画像パターン及び第２画像パターンの第２例を示す。 本発明の実施形態に係る画像パターンが正しい表示位置からずれてしまった場合の表示イメージの第１例を示す。 本発明の実施形態に係る画像パターンが正しい表示位置からずれてしまった場合の表示イメージの第２例を示す。 本発明の実施形態に係る第１および第２画像パターンに各挿抜対象がもつ識別番号を一対一対応させて表示する場合のイメージの一例を示す。 本発明の実施形態に係る色による第２マーカと、測色で得られる第２マーカの重心座標の第１例を示す。 本発明の実施形態に係る色による第２マーカと、測色で得られる第２マーカの重心座標の第２例を示す。 本発明の実施形態に係る作業支援装置をタブレット端末で実現した場合の作業対象およびマーカの一例を示す。 本発明の実施形態に係る作業支援装置をタブレット端末で実現した場合の結果表示イメージの一例を示す。 本発明の実施形態に係る作業支援装置の構成の第２例であり、測色による色情報補正部を備えた作業支援装置の構成の一例を示す。 本発明の実施形態に係る作業支援装置の構成の第２例である色情報補正部を備えた作業支援装置の動作フローチャートの一例を示す。 本発明の実施形態に係る作業支援装置の第１例を用いた挿抜作業の動作フローチャートの一例を示す。 本発明の実施形態に係る作業支援装置の構成の第２例である色情報補正部を備えた作業支援装置を用いた挿抜作業の動作フローチャートの一例を示す。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

本実施形態に係る作業支援システムは、後述する作業支援装置９１と、第１マーカ４１と、第２マーカ４２と、を備える。作業対象がルータや伝送装置などの電気通信設備である場合、電気通信設備にはコネクタ、ケーブル、パッケージが複数備わる。本実施形態では、作業対象における操作が、コネクタ、ケーブル、パッケージの挿抜である例について説明する。

本実施形態に係る作業支援システムは以下のような態様の構成とする。
（１）作業対象は複数の挿抜可能な挿抜対象を持ち、前記複数の挿抜対象にて構成される挿抜対象群から挿抜作業を施す被挿抜対象を選択し、選択した被挿抜対象に対して挿抜を行う作業において、
第１マーカは挿抜対象群の近傍に存在し、
当該挿抜作業工程において、被挿抜対象に目印をつけるための第２マーカを貼りつける手段で以って、作業者は自身が認識している被挿抜対象を予め明示し、作業オーダ情報で指示された被挿抜対象とマーカ貼り付けによって作業者が明示した被挿抜対象が合致するかを照合する作業工程を有し、
前記挿抜対象群に対して選択的に実施する被挿抜対象への挿抜作業を支援する作業支援システムであって、
前記第１マーカの認識に用いる第１マーカ属性情報と、前記第２マーカの認識に用いる第２マーカ属性情報とを記憶した属性情報記憶部と
前記作業対象における複数の挿抜対象の各々の形状を表す画像パターンの生成に用いる画像頂点座標情報とを記憶した形状情報記憶部と
前記第１マーカと前記複数の挿抜対象との相対的な位置関係を表す設備位置定義情報とを記憶した設備位置情報記憶部と、
前記挿抜作業に先立ち、当該挿抜作業の対象となる作業対象種別及び作業対象内の被挿抜対象を指定するための作業オーダ情報を受付ける作業情報受付部と、
前記入力された作業オーダ情報と前記画像頂点座標情報に基づいて、前記挿抜対象群に属する各挿抜対象の形状を表す第１画像パターン及び前記作業オーダ情報によって挿抜作業の対象として指定された被挿抜対象の形状を表す第２画像パターンをそれぞれ生成する第１及び第２画像パターン生成部と、
前記挿抜対象群と第１マーカおよび第２マーカを含む領域を撮像し、第１の画像情報を取得するための撮像部と、
前記属性情報記憶部に記憶された第１マーカ属性情報をもとに、前記取得された第１の画像情報中から前記第１マーカを認識する第１マーカ認識部と、
前記属性情報記憶部に記憶された第２マーカ属性情報をもとに、前記取得された第１の画像情報中から前記第２マーカを認識しその位置座標を取得する第２マーカ認識部と、
前記検出した第２マーカの位置座標から重心座標を計算して、当該重心座標を作業者が認識している被挿抜対象の位置とみなして表す第３画像パターン生成部と、
前記認識された第１マーカの前記第１の画像情報中における位置座標と、前記設備位置情報記憶部に記憶された設備位置定義情報とに基づいて、前記生成された第１及び第２及び第３画像パターンを前記第１の画像情報に重畳した合成画像情報を生成する画像処理部と、
この生成された合成画像情報を表示する表示部と、
前記計算された重心座標が、前記合成画像情報の被挿抜対象を表す第２画像パターンの画像領域内に存在するか否かを照合する作業位置照合部と、
前記第２マーカの位置照合の結果から、当該作業オーダ情報に基づいた被挿抜対象と作業者が認識している被挿抜対象とが一致しているか否かを作業者に通知する照合結果通知部と、
前記合成画像情報及び照合結果を保存する結果保存部と
を具備する構成とする。

（２）（１）の構成において、第１マーカ属性情報は一次元コードまたは２次元コードであり、前記属性情報記憶部に２次元コードの持つ意味情報またはその形状に起因する特徴点の情報として第１マーカ属性情報を記憶しているものとする。

（３）（１）の構成において、第１マーカ属性情報はユニークな物品形状または図形であり、前記属性情報記憶部に前記物品または図形の形状に起因する特徴点の情報として第１マーカ属性情報を記憶しているものとする。

（４）（１）の構成において、第２マーカ属性情報は色であり、前記属性情報記憶部に赤、緑、青のカラーモデル、すなわちＲＧＢ形式の数値情報として第２マーカ属性情報を記憶しているものとする。

（５）（１）の構成において、第２マーカ属性情報は色であり、前記属性情報記憶部に色相、彩度、明度の色空間情報、すなわちＨＳＶ形式の数値情報として第２マーカ属性情報を記憶しているものとする。

（６）（４）及び（５）において、ＲＧＢ形式及びＨＳＶ形式にて属性情報記憶部に予め記憶された属性情報の数値情報は、被挿抜対象に貼り付けられた状態の第２マーカを撮像することにより得られた第２の画像情報に対し測色することで、予め記憶した数値情報を測色にて得られた数値情報で更新することが可能なものとする。

（７）（１）の構成において、第２マーカ属性情報は一次元コードまたは２次元コードであり、前記属性情報記憶部に２次元コードの持つ意味情報またはその形状に起因する特徴点の情報として第２マーカ属性情報を記憶しているものとする。

この発明の実現により、工具を用いることのない手指を用いた挿抜作業であっても、各挿抜対象の頂点座標情報、設備位置定義情報、作業オーダ情報に基づき、ＡＲ技術の様な画像認識処理技術にて作業対象を撮像した画像上に被挿抜対象の位置を指し示す画像を明示し続けて作業者に被挿抜対象を明示的に示すことができ、かつ、マーキングによって作業者が判断した被挿抜対象を示す第２マーカの位置情報を取得して、作業者が認識している被挿抜対象とシステムが作業オーダ情報に基づき認識している被挿抜対象との照合を実施することで、作業者の個別判断に依らずに被挿抜対象の正誤をシステム上で正確に判断して作業者に通知することが可能となる。また、第２マーカ属性情報を実際の作業環境に設置された状態のマーカ自身から取得し、システム側で予め持っている照合に用いるための属性情報をその取得した情報で更新して新たな属性情報とすることで、作業環境条件の影響を受けにくく、精度の高い被挿抜対象照合を可能とする。

以下、本発明の実施形態による、作業支援システムについて説明する。図１は、本実施形態における作業対象とマーカについて示した図である。作業対象３０は作業対象となる設備であり、例えばルータ、伝送装置などの電気通信設備である。操作対象群として機能する挿抜対象群３１は、例えば実装されているパッケージや接続されているコネクタ、ケーブル等の挿抜作業を施す操作対象として機能する挿抜対象３２のグループである。挿抜対象群３１は、＃１〜＃３の挿抜対象３２からなる。被挿抜対象３２＃２は挿抜作業を実行することを作業オーダにより指示された挿抜対象群３１の中の１つの挿抜対象３２である。

第１マーカ４１は、作業対象３０のうち、予め決められた所定位置に設置される。第１マーカ４１は、特定の形状又は模様であり、例えば、図２に示す特定の図形の羅列にてユニークな情報を持たせたバーコードに代表される一次元コードや、図３に示すＱＲコード（ＱＲコードは登録商標）のような２次元コードである。また、第１マーカ４１は、作業対象３０において、どの個体であっても常に同じ位置に存在するネジ、穴、文字が記載されたシールといった特徴的な形状をもつ部材でもよい。

なお、第１マーカ４１としてバーコードやＱＲコード等のコードを用いる場合には、コードそのものに情報を持たせることが可能となる。例えば、第１マーカ４１に、作業対象３０の種別情報や識別番号情報を付与すれば、作業対象３０が作業オーダに対して正しいものかどうか判定することが可能となる。作業支援装置９１は、作業対象３０が作業オーダに対して誤っている場合、任意の警報動作を行ってもよい。

作業支援装置９１は、複数の挿抜対象３２が配列された挿抜対象群３１を有する作業対象３０において、操作対象群３１に含まれる被挿抜対象３２＃２を特定する。
本実施形態では、第１マーカ４１の寸法情報を予め作業支援装置９１に登録しておき、撮像した画像内の第１マーカ４１の大きさと作業支援装置９１に登録されている寸法情報を踏まえて、第１画像パターン、第２画像パターン及び第３画像パターンを適切な大きさで合成して合成画像を生成する。第１マーカ４１の寸法情報は、例えば、図３に示すような四隅のコードパターン間の距離Ｌｘ及びＬｙ、又は、図２に示すような予め定められたパターン間の距離Ｌｘである。

一方、ＱＲコードなどの第１マーカ４１の認識精度を高めるためには、より大きなＱＲコードを第１マーカ４１として用いることが有効である。この時、作業対象３０によってＱＲコードの貼り付け可能スペースが異なるため、作業対象３０ごとに最適なＱＲコード寸法は異なることになる。

このような場合において、この第１マーカ４１の寸法情報をＱＲコードに持たせておくことが好ましい。後述するＱＲコードを原点として用いるための位置検出のために、作業支援装置９１が、ＱＲコードを撮影した際に、ＱＲコードに書き込まれた寸法情報を作業支援装置９１に自動で反映する。これにより、作業者が都度システム内の第１マーカ４１の寸法情報に関するパラメータを変更する手間を削減でき、入力間違いによりＡＲ画像がずれて表示されるといった事象を回避できる。

また、後述する第１マーカ４１と挿抜対象群３１の相対的な位置座標をＱＲコードに記録しておくことが好ましい。この場合、第１マーカ４１の読取り時に作業支援装置９１に自動で反映すれば、後述する設備位置情報記憶部１８に予め第１マーカ４１と挿抜対象群３１の相対的な位置座標情報を記録しておかなくともよい。

第２マーカ４２は、作業者によって挿抜を行う被挿抜対象３２＃２に設置され、作業者が認識している被挿抜対象３２＃２を指し示す目印となる。第２マーカ４２は、例えば特定の色のついたシールやテープであり、それ自身が持つ粘着性により被挿抜対象３２＃２に設置される。また、特定の色のついた部材を磁力、吸盤機構、クリップ機構により被挿抜対象３２＃２に着脱可能な状態で設置することで第２マーカ４２とすることも可能である。さらに、第２マーカ４２は、部材への着色ではなく、例えばＬＥＤ素子のような部材自体が発光することで色情報を持つ形態でもよい。また、第２マーカ４２は、特定の色に替えて、模様である一次元バーコードや二次元バーコードが表面に記載されたシールやテープでもよい。

被挿抜対象３２＃２を指し示す手段としては、作業者の身体（指や手）、指示棒、レーザポインタにより被挿抜対象３２＃２を指し示す方法があるが、そのような手段を用いる場合、作業者は作業支援装置９１を保持、操作しつつ、被挿抜対象３２＃２を自身の手指そのもので、あるいは手指にて道具を操作して指し示し続ける必要があり、作業効率を著しく低下させる。一方、挿抜対象３２に対して着脱可能な状態で直接設置できる第２マーカ４２は、作業者の手を塞ぐことがないため、効率的な作業を可能とする。

また、作業者自身による指さし、指示棒、レーザポインタにより被挿抜対象３２＃２を明示する場合、明示行為を実施している最中は作業者が認識している被挿抜対象３２＃２が明確であり、その正誤を判定可能であるが、実際の挿抜作業に移る際には、明示する行為を一旦やめて作業に取り掛かる必要があるため、目離れにより誤った被挿抜対象に対して作業を実施する事態が生じ得る。一方で、着脱可能な状態で直接設置できる第２マーカを用いれば、挿抜作業時においても被挿抜対象３２＃２に第２マーカ４２が設置され続けるため、誤った被挿抜対象３２に対して作業実施してしまう事態を回避可能となる。

図４は作業支援装置９１の構成の一例を示す図である。作業支援装置９１は、撮像部１１と、属性情報記憶部１２と、形状情報記憶部１３と、作業情報受付部１４と、マーカ認識部として機能する第１マーカ認識部１５及び第２マーカ認識部１６と、第１画像パターン生成部及び第２画像パターン生成部として機能する第１及び第２画像パターン生成部１７と、設備位置情報記憶部１８と、第３画像パターン生成部１９と、作業位置照合部２０と、画像処理部２１と、照合結果通知部２２と、結果保存部２３と、表示部２４と、を備える。

作業支援装置９１は、コンピュータを、撮像部１１と、属性情報記憶部１２と、形状情報記憶部１３と、作業情報受付部１４と、第１マーカ認識部１５と、第２マーカ認識部１６と、第１及び第２画像パターン生成部１７と、設備位置情報記憶部１８と、第３画像パターン生成部１９と、作業位置照合部２０と、画像処理部２１と、照合結果通知部２２と、結果保存部２３と、表示部２４として機能させることで実現してもよい。この場合、作業支援装置９１が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）が情報記憶部（不図示）に記憶されたコンピュータプログラムを実行することで、各構成を実現する。ここで、作業支援装置９１を実現する際のコンピュータは、コンピュータによって制御される任意の機器をさらに備えてもよい。また、作業支援装置９１を実現する際のプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

このため、作業支援装置９１は、例えばノート型やタブレット型のパーソナル・コンピュータや、スマートフォン等のカメラ機能、表示機能、電子的な情報処理機能を有する持ち運び可能な端末で構成することができる。

図５は、本実施形態に係る作業支援方法における作業支援装置９１の動作を表すフローチャートである。本実施形態に係る作業支援方法では、作業支援装置９１が、マーカ認識手順と、第１画像パターン生成手順と、第２画像パターン生成手順と、第３画像パターン生成手順と、画像処理手順と、作業位置照合手順と、を実行する。

作業情報受付部１４は、電子的なデータ通信や手入力により作業オーダ情報を受信する（Ｓ１０１）。作業オーダ情報は、作業対象３０および被挿抜対象３２＃２の選定情報を含む。作業対象３０の選定情報は、例えば、「ｘ社製ｙ装置２番目のパッケージ」といったような、作業対象３０の設備装置の種別と、被挿抜対象３２＃２の番号を示す情報である。

形状情報記憶部１３は、作業対象３０における挿抜対象群３１の位置を記憶する。挿抜対象群３１の位置は、各挿抜対象３２＃１〜３２＃３の配置されている範囲を特定可能な情報であり、例えば挿抜対象３２＃１〜３２＃３に含まれる各頂点の位置である。形状情報記憶部１３は、作業情報受付部１４が作業オーダ情報を受信すると、作業オーダ情報に基づき、形状情報記憶部１３に予め記憶された当該設備装置の種別の被挿抜対象３２＃２のパッケージおよびその他の挿抜対象３２＃１及び３２＃３のパッケージの位置である頂点座標情報をそれぞれ選定する。

第１及び第２画像パターン生成部１７は、第１画像パターン生成部及び第２画像パターン生成部として機能し、第１画像パターン生成手順及び第２画像パターン生成手順を順に実行する（Ｓ１０４）。

第１画像パターン生成手順では、第１及び第２画像パターン生成部１７は、形状情報記憶部１３の選定した被挿抜対象３２＃２のパッケージとその他の挿抜対象３２＃１及び３２＃３のパッケージの形状を表す画像パターン（第１画像パターン）を生成する。例えば、第１及び第２画像パターン生成部１７は、形状情報記憶部１３から図６に示す「ｘ社製ｙ装置」を選定する。そして、第１及び第２画像パターン生成部１７は図７及び図８に示すように、挿抜対象３２＃１〜３２＃３の形状を表す画像４４＃１〜４４＃３を含む第１画像パターンを、後述する第１マーカ認識部１５が特定する挿抜対象３２＃１〜３２＃３の大きさに合わせて生成する。

この時、第１及び第２画像パターン生成部１７は、第２画像パターン生成手順を実行する。第２画像パターン生成手順では、第１及び第２画像パターン生成部１７は、挿抜対象３２＃１〜３２＃３のうちの被挿抜対象３２＃２を表す「２番目のパッケージ」の頂点座標情報を選定し、選定した頂点座標に被挿抜対象３２＃２を明示する画像パターン（第２画像パターン）を生成する。

例えば、図７のように、第１画像パターンにおける挿抜対象３２＃１〜３２＃３の位置を表す画像４４＃１〜４４＃３のうち、「２番目のパッケージ」に位置する被挿抜対象３２＃２を表す画像４４＃２の色や模様等を変えることで、被挿抜対象３２＃２を明示する。また、第１及び第２画像パターン生成部１７は、図８のように、被挿抜対象３２＃２である事を文字や記号で示すことも可能である。

この時、第１画像パターンにおける挿抜対象を表す画像は複数ある挿抜対象３２全てに対して生成し、第２画像パターンと同時に表示することが好ましい。図９に示すように第２画像パターンにより被挿抜対象３２＃２のみを表示する場合、第１マーカ４１の設置位置の間違いや、画像認識精度の制限等の理由により、本来示すべき被挿抜対象３２＃２とは異なる挿抜対象３２上に画像がずれて表示されてしまった場合に、作業者がそのずれに気づく事ができない。一方で、図１０に示すように第１画像パターンとして複数ある挿抜対象３２全てに対して画像を生成し、かつ第２画像パターンも同時に表示すれば、正規の位置から画像パターンがずれてしまっている事に作業者が気づくことができる。

また、図１１に示すように第１および第２の画像パターンとして、一般的に各挿抜対象３２に振られているポートやパッケージの識別番号を、被挿抜対象３２＃２を示す画像４４＃２と一対一で対応させて表示することも、画像パターンのずれに気づくための手段として有効である。図１１では、挿抜対象３２の識別番号は、挿抜対象３２＃１が「０１」であり、挿抜対象３２＃２が「０２」であり、挿抜対象３２＃３が「０３」である。

マーカ認識手順では、撮像部１１、第１マーカ認識部１５、第２マーカ認識部１６は、ステップＳ１０２及びＳ１０３を実行する。
撮像部１１は、例えば、カメラであり、作業対象３０を撮像する（Ｓ１０２）。撮像は、例えば、静止画像の撮影や、動画像の撮影である。これにより、図１に示すような、作業対象３０に第１マーカ４１及び第２マーカ４２が付された画像が撮像される。撮像部１１は、コンピュータやスマートフォンに予め搭載されているカメラでもよいし、コンピュータやスマートフォンに有線または無線接続して利用するカメラでもよい。撮像部１１は、作業対象３０を撮影することで、作業対象３０における第１マーカ４１及び挿抜対象群３１の動画像または静止画像を取得する。

属性情報記憶部１２は、第１マーカ属性情報を記憶する。第１マーカ属性情報は、第１マーカ４１を認識するための情報であり、例えば、第１マーカ４１がＱＲコードであることである。

第１マーカ認識部１５は、属性情報記憶部１２に記憶されている第１マーカ属性情報を用いて、撮像部１１にて撮影された動画像から第１マーカ４１及び第１マーカ４１の位置を検出する（Ｓ１０３）。この時、第１マーカ４１であるＱＲコードがピントの合う範囲で最大限大きく撮像部１１に映るようにすることで、ＱＲコードの位置検出精度を高めて、画像処理部２１で、第１画像パターンをより正確に合成することが可能となる。また、第１マーカ認識部１５は、属性情報記憶部１２に記憶されている第１マーカ属性情報を用いて、撮像部１１にて撮影された動画像から挿抜対象３２＃１〜３２＃２の大きさを特定する。

また、同様に属性情報記憶部１２は、第２マーカ属性情報を記憶する。第２マーカ属性情報は、第２マーカ４２を認識するための情報である。第２マーカ４２が１色以上の特定の色の場合、第２マーカ属性情報は、例えば、第２マーカ４２の色情報である。色情報は、例えば、ＲＧＢ形式またはＨＳＶ形式における各色の数値である。

第２マーカ認識部１６は、属性情報記憶部１２に記憶されている第２マーカ属性情報を用いて、第２マーカ４２及び第２マーカ４２の位置を認識し（Ｓ１０３）、撮像部１１の撮像した画像上の被挿抜対象３２＃２の位置情報を取得する。

例えば、第２マーカ４２が特定の色の場合、第２マーカ認識部１６は、撮像部１１にて撮影された動画像に対して測色を行い、第２マーカ属性情報として記録されていた色情報と照合し、同色と判断された画像上の地点の位置座標を取得する。この際に、照明の揺らぎや撮像部１１の揺れ、撮像部１１の撮像する角度により、第２マーカ認識部１６が測色にて認識する第２マーカ４２の色情報も揺らぐ。したがって、この揺らぎの影響を吸収する為に、第２マーカ認識部１６の照合判断に幅を持たせる。すなわち、第２マーカ認識部１６が同色と判断する閾値は、属性情報記憶部１２に第２マーカ属性情報として記録されていた色情報の数値の値を中心とした一定の範囲の中にある値とし、その一定の範囲は任意に設定できる。

第２マーカ４２は、特定の色に限られない。例えば、第２マーカ４２に一次元コードや二次元コードを用いてもよい。この場合、属性情報記憶部１２は、第２マーカ属性情報として、コードが持つ意味情報またはそのコードの形状情報を記憶する。撮像部１１にて撮影された動画像に対して、第２マーカ認識部１６は、照合を行い、コードが設置されている画像上の地点の位置座標を取得する。

第３画像パターン生成手順では、第３画像パターン生成部１９は、第３画像パターンを生成する（Ｓ１０４）。
第３画像パターン生成部１９は、第２マーカ認識部１６における第２マーカ４２の照合にて得た位置座標を被挿抜対象３２＃２の位置とみなし、画像上の第２マーカ４２の位置に第３画像パターン４３を生成し、表示する。第３画像パターン４３は、任意の形状の画像である。例えば、青色の第２マーカ４２が図１２の位置に付されていた場合、第３画像パターン生成部１９は、作業対象３０に緑色のラベル４５が予め存在しても、図１２に示すように、第２マーカ４２の位置に被挿抜対象であることを示す「×」形状の第３画像パターン４３を表示する。

第２マーカ４２として特定の色を用いる場合、色のついたマーカが領域を持つため、第２マーカ認識部１６において照合結果が一致する座標は面的に広がって複数検出される。この場合、第３画像パターン生成部１９は、照合にて得た複数の位置座標から重心座標を計算し、当該重心座標を作業者が認識している被挿抜対象３２＃２の位置とみなして画像上のその位置に第３画像パターン４３を表示する。

また、第３画像パターン４３の表示に際して第２マーカ４２の重心座標を用いることで、第２マーカ４２と同色の複数の物体が作業対象３０上に存在した場合にも、第２マーカ認識部１６が認識する第２マーカ４２の位置を一意に定義できる。例えば、図１３に示す青色のラベル４６のように、作業対象３０上に第２マーカ４２と同色である箇所がある場合、第２マーカ４２の色はラベル４６と同じ青色であるため、図１３に示すように、作業者が指し示した第２マーカ４２の位置と第３画像パターン４３がずれる。つまり作業者が実際に指し示した第２マーカの位置と作業支援装置９１が認識している作業者が指し示した第２マーカの位置がずれる。このため、第２マーカ４２には作業対象３０上に極力存在しない色を用いることが好ましい。

設備位置情報記憶部１８は、第１マーカ認識部１５にて得られた第１マーカ４１の位置座標を原点とした場合の、挿抜対象群３１の相対的な位置座標を予め記憶する。

画像処理手順では、画像処理部２１は、ステップＳ１０５を実行する。
画像処理部２１は、第１マーカ４１と挿抜対象群３１の相対的な位置座標情報に基づき、第１及び第２画像生成パターン生成部１７で得られた被挿抜対象３２＃２のパッケージとその他の挿抜対象３２＃１及び３２＃３のパッケージの形状を表す図７及び図８に示すような第１画像パターン及び第２画像パターンを、撮像部１１にて撮影されている動画像上に重畳し、合成画像を生成する（Ｓ１０５）。同時に、画像処理部２１は、第３画像パターン生成部１９で得られた、第２マーカ４２の位置座標情報に従って表示された第３画像パターン４３も撮像部１１にて撮影されている動画像上に重畳し、合成画像を生成する（Ｓ１０５）。

これにより、図１４に示す作業対象および第２マーカ４２を撮像部１１にて撮影した動画像上に、挿抜対象３２および挿抜を行う被挿抜対象３２＃２を指し示す第２画像パターンと、作業者が認識している、すなわち第２マーカ４２が設置された、挿抜を行う被挿抜対象３２＃２の位置を指し示す第３画像パターンが合成されたことになる。この合成画像は表示部２４、例えばタブレット端末の液晶ディスプレイや端末に接続されたヘッドマウントディスプレイに表示され（Ｓ１０６）、挿抜すべき対象と作業者が認識している被挿抜対象３２＃２を、作業者が表示部２４上の画像で確認することができる。

作業位置照合手順では、作業位置照合部２０は、ステップＳ１０７を実行する。
作業位置照合部２０では、画像処理部２１が生成した合成画像の中の被挿抜対象３２＃２を表す第２画像パターンの表示領域内に、第２マーカ４２の位置座標を示す第３画像パターン４３が含まれるか否かを照合し、判定する（Ｓ１０７）。

作業位置照合部２２は、作業位置照合部２０での照合結果を作業者に通知する（Ｓ１０８）。照合結果の通知は、例えば液晶ディスプレイやヘッドマウントディスプレイへの文字表示やインジケータの点灯である。例えば、図１５に示すように、「作業位置照合：ＯＫ」と表示する。図１５では示していないが、「作業位置照合：ＮＧ」と表示してもよい。

液晶ディスプレイやヘッドマウントディスプレイは、表示部２４で用いるものと同じでもよいし、表示部２４の一部を用いてもよい。また、照合結果通知部２２は、視覚的な通知だけでなく、音により照合結果を通知してもよい。これにより、作業者は自身が認識している挿抜を行う被挿抜対象３２＃２と、作業オーダ情報に基づいて作業支援装置９１が把握している挿抜を行う被挿抜対象３２＃２とが一致しているかどうかを知ることができ、誤った挿抜作業を回避することが可能となる。

結果保存部２３は、作業位置照合部２０での照合結果を保存する（Ｓ１０９）。結果保存部２３は、照合結果とともに、画像処理部２１が合成した合成画像を保存することが好ましい。合成画像と作業位置の照合結果は、例えば、結果保存部２３に備わるハードディスクや外部記憶媒体に保存し作業が確実に実施されたことを記録する事が可能である。また、作業支援装置９１をネットワークに接続することで、遠隔地にいるオペレータに合成画像や作業位置照合状況に関する情報を共有し、オペレータと連携しながら作業することも可能である。

色情報を第２マーカ属性情報として用いる際には、例えば、照明の状態や第２マーカ４２の劣化、汚れ等により、属性情報記憶部１２に予め記憶された第２マーカ４２の色に関するＲＧＢまたはＨＳＶ形式の数値情報と、作業者が実際に用いた第２マーカ４２の色情報が異なってしまい、第２マーカ４２を認識できない場合がある。そこで、第２マーカ４２は光沢の少ない素材とし光の反射具合、照度の変化による色情報の変化を極力小さくすることが好ましい。

また、作業支援装置９１は、第２マーカ４２の色情報を補正する色情報補正部２５を備えてもよい。作業支援装置９１を、図１６に示すような構成とすることで、作業者が実際に用いる第２マーカ４２を撮影し、色情報補正部２５によって測色してＲＧＢまたはＨＳＶ形式の色情報を得て、属性情報記憶部１２に予め記憶されているＲＧＢまたはＨＳＶ形式の色情報を測色にて得られた色情報で更新してもよい。

この時、属性情報記憶部１２に記憶されている色情報に基づき、色そのものを、作業支援装置９１の表示部２４にカラー表示してもよい。これにより、属性情報として記憶されている色がどのような色か作業者が視覚的に確認することが可能である。測色は、測色時の手振れや照明条件により、作業者が認識させたかった色と異なる色を認識してしまう場合がある。このような場合において、属性情報記憶部１２で認識している色を表示部２４に色そのものとしてカラー表示すれば、測色によって得られた色情報の誤りに作業者自身が気づく事ができる。

さらに、用いる第２マーカ４２の測色を任意の状態で実施するのではなく、作業者が認識している被挿抜対象３２＃２に第２マーカ４２を貼り付けた状態で本実施形態に係る作業支援方法を実施すれば、第２マーカ４２を動かしたことに起因する照明状態の変化による影響を受けにくくなり、より精度の高い被挿抜対象３２＃２の照合が可能となる。図１６に示した色情報補正部２５を備えた作業支援装置９１の動作フローチャートを図１７に示す。

色情報補正部２５を備えた作業支援装置９１は、図５に示す作業支援方法において、ステップＳ１０６とステップＳ１０７の間に、ステップＳ２０１及びステップＳ２０２を実行する。
表示部２４が合成画像を表示した後、撮像部１１は、第２マーカ４２を撮影する（Ｓ２０１）。
色情報補正部２５は、第２マーカ４２を測色して色情報を取得する。色情報補正部２５は、属性情報記憶部１２が有する第２マーカ４２の色情報を、取得した色情報で更新する（Ｓ２０２）。

図１８は、図４に示した作業支援装置９１と第１マーカおよび第2マーカからなる作業支援システムを用いた挿抜作業の動作フローチャートである。第１マーカ４１は作業対象３０の予め決められた位置に設置される（Ｓ３０１）。
その後、例えばタブレット端末で構成した作業支援装置９１は、作業オーダ情報を入力される（Ｓ３０２）。

タブレット端末の撮像部１１として機能するカメラにて作業対象３０を撮影すると（Ｓ３０３）、表示部２４として機能するディスプレイ上にその撮影された画像が動画でリアルタイムに表示される。第１マーカ４１を読み取るモードに作業支援装置９１を移行し、タブレット端末を動かして、ディスプレイに表示されたカメラ画像に第１マーカ４１のピントが合った状態で最大限大きく映るようにし、第１マーカ認識部１５に、第１マーカ４１を認識させる（Ｓ３０４）。

第１マーカ認識部１５が認識した第１マーカ４１を基準として、挿抜を行う被挿抜対象３２＃２、その他の挿抜対象３２＃１及び３２＃３、予め登録された第２マーカ属性情報（ここでは色とする）に合致する要素の重心位置を表す画像パターンである第１画像パターン、第２画像パターン及び第３画像パターンが、画像処理部２１でカメラ画像上に合成され、表示部２４に表示される（Ｓ３０５）。挿抜を行う被挿抜対象３２＃２は他の挿抜対象３２と区別するために、色又は模様の異なる画像パターンである第２画像パターンで表示される（Ｓ３０５）。また、この時点では第２マーカ４２は貼り付けられておらず、予め登録された第２マーカ属性情報と一致する箇所が見つからないため、第２マーカ４２の重心位置は表示されない。

第２マーカ４２は、挿抜を行う被挿抜対象３２＃２に貼り付けられる（Ｓ３０６）。ここでは、第２マーカ４２は赤色のシールとする。撮像部１１にて作業対象３０を改めて撮影することで、色情報と合致する要素の重心座標を作業支援装置９１が計算し、第２マーカ４２を貼り付けた位置とみなして、表示部２４に表示させる（Ｓ３０７）。

作業支援装置９１は作業位置照合モードに移行し、作業位置照合部２０は、作業オーダ―情報で指示された挿抜を行う被挿抜対象３２＃２と、第２マーカ４２の重心座標（赤色のシールを貼り付けた位置座標）が一致するかの照合を実施する（Ｓ３０８）。作業オーダ―情報で指示された挿抜を行う挿抜対象３２＃２と、第２マーカ４２の重心座標が一致する場合には、作業位置照合部２０は、照合結果をＯＫとする。

照合結果通知部２２又は表示部２４に照合結果がＯＫと通知された場合、その照合結果および画像を保存する（Ｓ３０９）。最後に作業者が赤色のシールを貼り付けた挿抜を行う被挿抜対象３２＃２を挿抜して作業を完了する（Ｓ３１０）。

図１９は図１６に記載の色情報補正部２５を備えた作業支援装置９１と第１マーカ４１および第２マーカ４２を用いた挿抜作業の動作フローチャートである。作業者が合成された合成画像を確認し、自身が認識した挿抜を行う被挿抜対象３２＃２に第２マーカ４２（ここでは赤色のシールとする）を貼り付ける工程Ｓ３０１〜Ｓ３０６のそれぞれは、図１８のＳ３０１〜Ｓ３０６と同様である。

Ｓ３０６の後、作業支援装置９１を色情報補正モードに移行させ、貼付けた第２マーカ４２である赤色のシールを撮像部１１で撮影し測色して、予め記憶されている第２マーカ４２の色情報を測色した結果で自動的に更新する（Ｓ４０７）。カメラにて作業対象３０を改めて撮影し、先ほどの色情報補正にて新たに設定された色情報と合致する要素の重心座標をシステムに計算させて、第２マーカ４２を貼り付けた位置とみなして、カメラ画像上に表示させる（Ｓ３０７）。その後のＳ３０８〜Ｓ３１０のそれぞれの作業工程は図１８のＳ３０８〜Ｓ３１０と同様である。

本実施形態は、作業対象における操作が挿抜作業である例を記載したが、本実施形態の利用は挿抜作業に限らない。例えば、作業対象３０における操作は、作業対象３０の装置上に配置された複数のスイッチのオン、オフ作業であってもよい。また、作業対象３０は電気通信設備に限らない。例えば、作業対象３０は、複数の試薬を同時に測定する分析装置であってもよい。この場合、作業対象３０における操作は、例えば、複数並んだ検体への試薬滴定作業である。このように、本実施形態に係る発明は、作業対象３０内で作業を施す可能性のある複数の操作対象の配置が予め寸法によって定義でき、その中から作業オーダによって単一または複数の被作業部位が選定され、作業者がその被作業部位に対して何らかの処置を施す作業において、その効率と精度を高めて、誤った作業を防止するために用いることができる。

本発明の作業支援装置、作業支援方法及び作業支援プログラムは、電気産業に適用することができる。

１１：撮像部
１２：属性情報記憶部
１３：形状情報記憶部
１４：作業情報受付部
１５：第１マーカ認識部
１６：第２マーカ認識部
１７：第１及び第２画像パターン生成部
１８：設備位置情報記憶部
１９：第３画像バターン生成部
２０：作業位置照合部
２１：画像処理部
２２：照合結果通知部
２３：結果保存部
２４：表示部
２５：色情報補正部
３０：作業対象
３１：挿抜対象群
３２：挿抜対象
４１：第１マーカ
４２：第２マーカ
４３：第３画像パターン
４４：挿抜対象の形状を表す画像
４５：装置に予め存在した緑色のラベル
４６：装置に予め存在した青色のラベル
９１：作業支援装置

Claims (7)

1. 複数の操作対象が配列された操作対象群を有する作業対象において、前記操作対象群に含まれる被操作対象を特定するための作業支援装置であって、
   前記作業対象における前記操作対象群の位置を記憶する形状情報記憶部と、
   前記作業対象のうち前記操作対象群以外の所定位置に付される第１マーカの認識に用いる第１マーカ属性情報、及び前記被操作対象に付される第２マーカの認識に用いる第２マーカ属性情報を記憶する属性情報記憶部と、
   前記第１マーカが付されかつ前記第２マーカが付されていない前記作業対象を撮像した第１撮像画像を取得し、前記第１マーカ属性情報を用いて前記第１撮像画像に含まれる前記第１マーカを認識する第１マーカ認識部と、
   前記第１撮像画像に撮像されている前記作業対象における前記操作対象群の位置を前記形状情報記憶部から取得し、前記操作対象群に含まれる各操作対象の形状を表す第１画像パターンを生成する第１画像パターン生成部と、
   前記第１画像パターンにおける前記被操作対象の領域に第２画像パターンを生成する第２画像パターン生成部と、
   前記第１撮像画像に含まれる前記第１マーカが前記所定位置に配置されるように、前記第１画像パターン及び前記第２画像パターンを前記第１撮像画像上に重畳した第１合成画像を生成する画像処理部と、
   前記第１マーカ及び前記第２マーカの双方が付された前記作業対象を撮像した第２撮像画像を取得し、前記第２マーカ属性情報を用いて前記第２撮像画像に含まれる前記第２マーカを認識する第２マーカ認識部と、
   前記第２マーカ認識部が認識した前記第２撮像画像における前記第２マーカの位置に、前記被操作対象の位置を示す第３画像パターンを生成し、該第３画像パターンを前記第１合成画像にさらに重畳した第２合成画像を前記画像処理部に生成させる第３画像パターン生成部と、
   前記第２合成画像において、前記第３画像パターンが前記第２画像パターンの領域内に存在するか否かを判定する作業位置照合部と、
   を備える作業支援装置。
2. 前記第１マーカは、前記作業対象に含まれる構成の形状又は模様であり、
   前記模様は１次元コード又は２次元コードを含む、
   請求項１に記載の作業支援装置。
3. 前記第１マーカ認識部は、前記属性情報記憶部に記憶されている前記第１マーカ属性情報を用いて、前記第１撮像画像に含まれる前記操作対象の大きさを特定し、
   前記第１画像パターン生成部又は前記第２画像パターン生成部は、前記第１マーカ認識部の特定した大きさに合わせた画像パターンを生成する、
   請求項１又は２に記載の作業支援装置。
4. 前記第２マーカは、特定の色であり、
   前記第２マーカ属性情報は、ＲＧＢ形式又はＨＳＶ形式の数値情報であり、
   前記第２マーカの測色結果を用いて、前記属性情報記憶部に記憶されている前記第２マーカ属性情報における前記数値情報を補正し、該補正後の前記数値情報に基づく色そのものを表示部にカラー表示させる色情報補正部を、さらに備える、
   請求項１から３のいずれかに記載の作業支援装置。
5. 複数の操作対象が配列された操作対象群を有する作業対象において、前記操作対象群に含まれる被操作対象を特定するための作業支援装置が実行する作業支援方法であって、
   前記作業支援装置が、
   前記作業対象における前記操作対象群の位置を記憶する形状情報記憶部と、
   前記作業対象のうち前記操作対象群以外の所定位置に付される第１マーカの認識に用いる第１マーカ属性情報、及び前記被操作対象に付される第２マーカの認識に用いる第２マーカ属性情報を記憶する属性情報記憶部と、
   を備え、
   前記第１マーカが付されかつ前記第２マーカが付されていない前記作業対象を撮像した第１撮像画像を取得し、前記第１マーカ属性情報を用いて前記第１撮像画像に含まれる前記第１マーカを認識する第１マーカ認識手順と、
   前記第１撮像画像に撮像されている前記作業対象における前記操作対象群の位置を前記形状情報記憶部から取得し、前記操作対象群に含まれる各操作対象の形状を表す第１画像パターンを生成する第１画像パターン生成手順と、
   前記第１画像パターンにおける前記被操作対象の領域に第２画像パターンを生成する第２画像パターン生成手順と、
   前記第１撮像画像に含まれる前記第１マーカが前記所定位置に配置されるように、前記第１画像パターン及び前記第２画像パターンを前記第１撮像画像上に重畳した第１合成画像を生成する第１画像処理手順と、
   前記第１マーカ及び前記第２マーカの双方が付された前記作業対象を撮像した第２撮像画像を取得し、前記第２マーカ属性情報を用いて前記第２撮像画像に含まれる前記第２マーカを認識する第２マーカ認識手順と、
   前記第２マーカ認識手順で認識した前記第２撮像画像における前記第２マーカの位置に、前記被操作対象の位置を示す第３画像パターンを生成する第３画像パターン生成手順と、
   前記第３画像パターンを前記第１合成画像にさらに重畳した第２合成画像を生成する第２画像処理手順と、
   前記第２合成画像において、前記第３画像パターンが前記第２画像パターンの領域内に存在するか否かを判定する作業位置照合手順と、
   を実行する作業支援方法。
6. 前記第２マーカは、特定の色であり、
   前記第２マーカ属性情報は、ＲＧＢ形式又はＨＳＶ形式の数値情報であり、
   前記作業支援装置が、
   前記第２マーカを測色し、前記属性情報記憶部に記憶されている前記第２マーカ属性情報における前記数値情報を補正し、該補正後の前記数値情報に基づく色そのものを表示部にカラー表示させる色情報補正手順を、前記第２マーカ認識手順の前にさらに実行する、
   請求項５に記載の作業支援方法。
7. コンピュータに、請求項１から４のいずれかに記載の作業支援装置が備える各機能部を実現させるための作業支援プログラム。

Images