JP5214511B2 - 作業工程管理システム - Google Patents

Description

本発明は、複数の作業位置を有する作業対象物に対し、作業者に各作業位置の作業を行わせる作業工程を管理する作業工程管理システムに関し、特に、作業の正否を確認するために、作業者が作業を行う毎に作業対象物における当該作業の位置を特定して工程管理を行う作業工程管理システムに関する。

従来、機械装置などの製造工程において、ネジの締め付けなどの工程が、作業をプログラミングされたロボットにより行われている。しかし、作業位置が作業対象物の内側部分にある場合（図１参照）などロボットにより作業を行うことが困難な場合がある。例えば、ロボットのアームの関節数により動きが制限されたり、アームが作業対象物の一部と接触してしまうために、アームの先端に取り付けられた工具が作業位置に届かない場合がある。また、ロボットにより作業を行うためには、作業対象物を所定の位置に、所定の方向に固定する必要がある。しかし、作業対象物を正確な位置に移動させる装置を用意できない場合など、作業対象物を所定の位置および方向に固定することが困難な場合がある。この場合も、ロボットにより作業を行うことが困難である。

ロボットにより作業を行うことが困難な場合は、作業員がその作業を行っている。上記のように、ロボットのアームが届き難い作業が含まれる場合や作業対象物をロボットに対する所定の位置に固定できない場合など、作業位置に対して柔軟な作業動作の対応が要求される作業が含まれる作業工程では作業者に依存せざるを得ないからである。

しかしながら、作業員に作業を行わせる場合、作業員は様々な作業位置に対して柔軟に対応して作業を行うことができる反面、各作業を常に正確かつ確実にできないのが一般であるから、作業ミスが起こり得る。このため、作業者による作業には、検品や品質検査を行なう必要がある。例えば、ネジの締付作業の場合、ネジの締め忘れや締付トルクの不足などのミスを排除するために、作業位置の特定と締付トルクの検出を行う必要がある。従来、このような作業ミスを排除するための検査を効率よく行い、作業ミスによる不良品の製造を削減するために、各種の作業工程管理ステムが開発されている。

特に、ネジ締め作業において、作業者がワーク（作業対象物）のネジ締め作業位置でネジ締め作業を行うと、その都度、そのネジ締め作業が行われた作業位置を特定するシステムが提案されている。例えば、特開２００８-１８１３４４号公報には、ワークが載置される作業台の後方位置に、一対のカメラを、当該作業台と平行に所定のカメラ間隔を設け、かつ、各カメラの光軸を作業台に向けて固定し、作業者がトルクドライバを用いてネジ締め作業を行い、当該トルクドライバから所定のトルクでネジ締めが行われたことを検出した信号が出力されると、その信号に基づいて一対のカメラの撮像動作を行わせ、両カメラの撮像画像を用いて当該ネジ締め作業の作業位置を特定する技術が記載されている。

同公報に記載の技術は、トルクドライバにマーカを付けておき、一対のカメラの撮像画像からそれぞれマーカの画像を検出し、ステレオ視の原理により作業台におけるマーカの位置、すなわち、ネジ締め作業が行なわれた位置を特定するというものである。

また、特開２００４−２５８８５５号公報には、工具に発信機を設ける一方、異なる位置に３個の受信機を設け、作業が完了すると、その発信機から作業完了信号を超音波や電波で各受信機に送信し、その作業完了信号の伝播時間によってそれぞれの各受信機からの距離を算出して、作業位置を検出する方法が提案されている。

特開平０７−２２００２６号公報 特開２００４−２５８８５５号公報 特開２００８−１８１３４４号公報

ところで、上記の特開２００４−２５８８５５号公報に記載の技術では、作業位置が作業対象物の内側部分にある場合、工具から発せられる超音波や電波が作業対象物に遮られて伝播時間が変化するので正確な作業位置を検出することができない場合がある。

また、作業者に行なわせる作業には、例えば、作業位置がワークの内側部分にある場合やワークを作業台の所定の位置に固定できない場合やワークに対する作業者の位置を様々に変化させなければならない場合がある。このような場合には、上記の特開２００８−１８１３４４号公報に記載の技術では、固定されたカメラに対するワークの位置（特に、ワーク内の作業位置）が変化したり、カメラとワークの間に作業者が入ったりして、作業位置をカメラで撮像できない場合が生じる。

また、台車や作業台上におけるワークの固定位置および方向が所定の位置および方向と異なっていた場合、検出された作業位置は、記憶部に記憶された作業位置と一致しなくなる。これは、作業位置を台車や作業台上に設定された座標軸上の位置座標として記憶しているからであり、記憶部に作業位置を記憶したときと同じ位置および方向にワークを固定することが前提となっているからである。

なお、作業位置の座標を検出するための画像からワークの位置および方向を検出すれば、作業位置の座標をワークに対する相対的な位置座標に変換することができるが、カメラとワークとの間に作業者が入って撮像できない場合がある。

本発明は上記した事情のもとで考え出されたものであって、作業位置が作業対象物の内側部分にある場合や、作業対象物を所定の位置および方向に固定できない場合でも、正確かつ確実に作業位置を特定することができる作業工程管理システムを提供することをその目的としている。

上記課題を解決するため、本発明では、次の技術的手段を講じている。

本発明の第１の側面によって提供される作業工程管理システムは、複数の作業位置を有し、作業者によって各作業位置の所定の作業が行なわれる作業対象物に対して、前記作業者が前記作業を終了する毎に当該作業の作業位置を特定する作業工程管理システムであって、前記作業者の体勢が前記作業位置を見る体勢になると、当該作業位置が撮像画面内に入る前記作業者の所定の位置に固定された撮像手段と、予め作業者に前記作業対象物の各作業位置で前記所定の作業を行なわせて各作業の完了時に前記撮像手段により前記各作業位置をそれぞれ撮像した画像をマスタ画像として記憶する記憶手段と、前記作業者が前記作業対象物に対して作業を行なったとき、各作業位置で前記所定の作業を完了した後の所定のタイミングで前記撮像手段に撮像動作を行わせる撮像制御手段と、前記撮像手段で撮像された撮像画像を、前記記憶手段に記憶されている複数の前記マスタ画像と照合して、当該撮像画像が撮像された作業位置を特定する特定手段と、を備えることを特徴とする。

この構成によると、作業者が作業対象物の各作業位置で作業を行なうと、その作業が完了する毎に撮像手段の撮像動作が行なわれる。撮像手段は、作業者が作業位置を見る体勢になると、当該作業位置が撮像画面内に入る作業者の所定の位置に固定されているので、各撮像画像には、各作業位置の画像が含まれる。一方、マスタ画像は、作業者が実際に作業を行なうのと同様の方法で取得されているので、各撮像画像は、全てのマスタ画像の中のいずれかに類似した画像となる。

従って、各撮像画像をそれぞれ全てのマスタ画像と照合し、各撮像画像とほぼ一致するマスタ画像が特定されると、そのマスタ画像を取得した作業位置が各撮像画像の撮像された作業位置として特定される。そして、全てのマスタ画像について作業位置が特定できれば、作業対象物に対する作業が完了していると判定でき、いずれかのマスタ画像について作業位置が特定できなければ、作業対象物に対する作業が完了していないと判定できる。

本発明によれば、画像の照合により作業位置を特定する処理において、作業者が見ている作業位置の映像に近い撮像画像とそのマスタ画像を用いるので、固定された撮像手段の視野に作業位置が入らない作業対象物やロボットによって撮像手段を撮影位置に移動させることが困難な作業対象物に対しても確実に作業位置の特定をすることができる。

本発明の好ましい実施の形態においては、前記特定手段は、前記撮像画像を予め設定された拡大、縮小、回転、平行移動のいずれか若しくはこれらを組み合わせた変換条件で画像変換する画像変換手段と、前記画像変換手段により変換された変換画像と各マスタ画像との類似度を算出する類似度算出手段と、を備え、前記類似度算出手段により算出された複数の類似度に基づいて前記撮像画像が撮像された作業位置を特定する。

この構成によると、撮像画像を拡大、縮小、回転、平行移動のいずれか若しくはこれらを組み合わせた変換条件で画像変換した変換画像を用いてマスタ画像との照合を行うので、撮像画像の撮像された条件（撮像手段の位置や光軸に対する回転角度など）がマスタ画像の撮像された撮像条件と同一でなくても、変換画像をマスタ画像と照合した類似度に基づいて、正確に作業位置を特定することができる。

本発明の好ましい実施の形態においては、前記特定手段は、前記類似度算出手段により算出される複数の類似度のうち、最大の類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する。

本発明の好ましい実施の形態においては、前記特定手段は、前記類似度算出手段により前記類似度が算出される毎に、当該類似度が所定の閾値を超えているか否かを判別する判別手段をさらに備え、前記判別手段で前記算出された類似度が前記所定の閾値を超えている場合、当該類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する。

この構成によると、全てのマスタ画像について、撮像画像との類似度を算出する前にいずれかの類似度が所定の閾値を超えると、その類似度を有するマスタ画像に対応する作業位置を撮像画像が撮像された作業位置と特定するので、撮像画像と複数のマスタ画像とを照合する処理時間を短くすることができる。

本発明の好ましい実施の形態においては、前記撮像手段に取り付けられ、所定の基準方向に対する当該撮像手段の光軸方向の角度を検出する角度検出手段と、前記マスタ画像及び前記撮像画像を取得するために前記撮像手段の撮像動作が行われたとき、前記角度検出手段により前記撮像手段の光軸方向の角度を検出させる検出制御手段と、前記撮像手段により撮像された撮像画像を、当該撮像画像の撮像時の前記撮像手段の光軸方向の角度と当該撮像画像と照合するマスタ画像の撮像時の前記撮像手段の光軸方向の角度との角度差に基づいて、前記マスタ画像の撮像位置で撮像した画像と略同一の画像に変換する第２の画像変換手段と、をさらに備え、前記特定手段は、前記画像変換手段により変換された変換画像に代えて、前記第２の画像変換手段で変換された変換画像を前記マスタ画像と照合する。

この構成によると、撮像画像を撮像したときの撮像手段の光軸方向とマスタ画像の撮像時の撮像手段の光軸方向とが異なっていても、両者の光軸方向のずれ（開き角）に基づいて、撮像画像をマスタ画像の撮像位置で撮像した画像と略同一の画像に変換した後、当該マスタ画像と照合するので、特定手段による作業位置の特定処理の負担が低減するとともに、処理結果の信頼性が向上する。

本発明の好ましい実施の形態においては、前記撮像手段に取り付けられ、前記作業対象物に対して前記撮像手段の光軸方向を示す目印となる所定の光像を投影する投影手段をさらに備える。

この構成によると、作業者が作業位置に光像が投影される姿勢で作業を行うと、撮像画面内に作業位置が含まれる撮像画像を確実に取り込むことができる。これにより、マスタ画像と撮像画像の両画像内の略同じ位置に作業位置の画像を取り込むことができるので、撮像画像とマスタ画像の照合における作業位置の照合処理が容易になり、特定手段による作業位置の特定処理の負担が低減するとともに、処理結果の信頼性が向上する。

本発明の好ましい実施の形態においては、前記撮像手段は、前記作業者の目の近傍に、当該撮像手段の光軸方向が前記作業者が各作業位置で前記所定の作業をしているときの視線の方向とほぼ同一となる姿勢で固定されている。

この構成によると、撮像手段による撮像画像が前記作業者の目で見た画像と略一致する。通常、作業者は作業位置を視認しながら作業をするので、作業位置を含む撮像画像を確実に撮像することができる。

本発明の好ましい実施の形態においては、前記作業は、所定の工具を使用する作業であり、前記撮像制御手段は、前記工具に設けられ、前記作業の完了を検出すると、その検出信号を出力する検出手段と、前記検出手段から出力される検出信号に基づいて前記撮像手段の撮像動作を行わせる制御手段と、を含む。

この構成によると、前記工具から出力される作業の完了信号に基づいて撮像画像の撮像動作が制御されるので、作業を完了したときの作業位置を正確に特定することができる。

本発明のその他の特徴および利点は、添付図面を参照して以下に行う詳細な説明によって、より明らかとなろう。

本発明に係る作業工程管理システムの第１実施形態を説明するための図であり、作業者がワークに作業を行っている状態を示している。 図１に示す作業工程管理システムのブロック図である。 作業時に撮像される画像を説明するための図である。 制御部が行う作業管理処理を説明するためのフローチャートである。 撮像画像を画像変換してマスタ画像と照合するための変換について説明する図である。 第１実施形態に係る作業工程管理システムの特定処理部が行う特定処理を説明するためのフローチャートである。 第２実施形態に係る作業工程管理システムの特定処理部が行う特定処理を説明するためのフローチャートである。 撮像カメラに傾斜センサを取り付け、傾斜センサにより検出される撮像カメラの姿勢を説明するための図である。 第３実施形態に係る作業工程管理システムのブロック図である。 ワークの各ネジの締付位置が画面のほぼ同じ位置に撮像されるように、作業者の撮像時の姿勢をガイドするための構成の一例を示す図である。

以下、本発明の実施の形態を、図面を参照して具体的に説明する。なお、本実施形態では、ネジの締付工程を例として説明する。

図１および図２は、本発明に係る作業工程管理システムの第１実施形態を説明するための図である。図１は、作業工程管理システム１を用いて作業者ＰがワークＷの複数の作業位置でネジ締め作業を行っている状態を示しており、図２は、作業工程管理システム１のブロック図を示している。この作業工程管理システム１は、ワークＷの各作業位置で確実にネジ締め作業が行われたか否かと、当該ネジ締め作業が適切に行われたか否かを確認するシステムである。作業工程管理システム１は、工具２、撮像カメラ３、および作業管理装置４を備えている。

工具２は、ネジの締付作業を行うための電動式のトルクドライバであり、制御ケーブル５により作業管理装置４と接続されている。トルクドライバにはトルクリミッタが内蔵され、トルクドライバに所定のトルクの負荷が掛かると、それを検出した信号が制御ケーブル５を介して作業管理装置４に出力される。トルクドライバのトルクリミット値は、ネジ締めが正常に行なわれたときのドライバのトルク値に設定されている。従って、作業者Ｐが工具２で締付作業を行い、所定の方向にトルクリミット値のトルクが掛かったとき、工具２からその検出信号が、ネジ締め作業の完了信号として、作業管理装置４に入力される。以下、工具２から出力される検出信号を「作業完了信号」という。

工具２は、作業者が回転開始スイッチを押すと、ドライバの回転を開始するが、その回転開始からトルクがトルクリミット値に達するまでの時間を計時するタイマと、そのタイマで計時される計時時間が所定の時間より短い場合は、適切にネジの締め付けができていないと判定する判定回路を備えている。工具２は、判定回路で適切にネジの締め付けができていないと判定されると、作業完了信号に代えてエラー信号を作業管理装置４に入力する。

なお、工具２と作業管理装置４との接続は、作業の妨げとならないように、無線による接続としてもよい。また、適切にネジの締め付けができたか否かを作業管理装置４で判定するようにしてもよい。この場合は、作業管理装置４にタイマと判定回路を設け、工具２から回転開始スイッチが押された信号を作業管理装置４に入力し、当該作業管理装置４でその信号の入力から作業完了信号が入力されるまでの時間を計時し、その計時時間に基づいて適切にネジの締め付けができたか否かを判定するようにすればよい。また、本実施形態では、工具２を電動式のトルクドライバとしているが、手動式のトルクドライバとしてもよい。この場合は、作業者Ｐにスイッチなどを操作させて回転開始信号に相当する信号を生成し、作業管理装置４に入力させる必要がある。

撮像カメラ３は、作業者ＰがワークＷに対して作業をした作業位置を撮像するためのものであり、制御ケーブル６により作業管理装置４と接続されている。撮像カメラ３は作業者Ｐの特定の部位に固定されている。撮像カメラ３の作業者Ｐでの固定位置は、各作業位置で作業者Ｐがネジの締付作業を完了したときに撮像カメラ３の光軸方向Ｌ１が略作業位置の方向となる位置である。通常、作業者Ｐはネジの締付作業をするとき、ネジの締付位置（作業位置）を凝視しているから、作業位置に対する作業者Ｐの頭部の姿勢（特に、作業位置に対する作業者Ｐの目の周辺部位の位置関係）は安定していると考えられる。本実施形態では、図１に示すように、作業者Ｐの目の上方位置に撮像カメラ３を固定し、その光軸方向Ｌ１が作業者の視線方向Ｌ２とほぼ同じになるようにしている。これにより、作業者Ｐは、作業完了時に撮像カメラ３に作業位置を撮像させることを意識することなく、ネジの締付作業に集中することができる。

撮像カメラ３は、例えば、ヘッドランプのようにゴムバンドなどで固定されている。撮像カメラ３の作業者Ｐへの固定方法は、これに限定されるものではなく、撮像カメラ３が取り付けられたヘルメットを作業者Ｐに被らせるようにしてもよい。また、撮像カメラ３の固定位置は、目の上方位置に限定されるものではない。例えば、目の外側位置であってもよい。この場合は、例えば、撮像カメラ３が取り付けられた作業用のメガネやゴーグルを作業者Ｐに装着させるようにするとよい。なお、撮像カメラ３を作業者Ｐに取り付けるとき、作業者ＰにワークＷに対して作業姿勢を取らせ、その姿勢での撮像カメラ３の撮像画像を確認しながら、撮像カメラ３の固定位置を調整させるようにするとよい。

撮像カメラ３は、例えば、ＣＣＤ（charge-coupled Device）の撮像素子を備え、電子シャッタによって撮像（露出）の制御が行われる。撮像カメラ３にはオートフォーカス機能とオート露出機能とが設けられ、撮像直前に画面内の略中央で自動的に露出と焦点の調整が行われる。ＣＣＤは、モノクロとカラーのいずれでもよい。モノクロＣＣＤは低価格という利点があるが、カラーＣＣＤは、撮像画像を用いた作業位置の特定処理において、作業位置の形状だけでなく色成分を用いることができる利点がある。なお、図１には示していないが、撮像カメラ３に照明装置を設け、その照明装置で作業位置を一定の明るさに照明するとよい。

作業者Ｐは作業位置を視認しながら作業を行うので、作業者Ｐに撮像カメラ３による作業位置の撮像を意識させることなく、作業完了時に撮像カメラ３により適切にワークＷ上の作業位置を撮像することができる。例えば、図３（ａ）に示すワークＷに４つのネジＮ１〜Ｎ４の締付作業をする場合、作業者Ｐは作業を行う各ネジを視認しながら作業する。従って、ネジＮ１の締付作業を行ったときは同図（ｂ）の画像が撮像され、ネジＮ２の締付作業を行ったときは同図（ｃ）の画像が撮像され、ネジＮ３の締付作業を行ったときは同図（ｄ）の画像が撮像され、ネジＮ４の締付作業を行ったときは同図（ｅ）の画像が撮像される。なお、撮像カメラ３は、作業者Ｐの作業の邪魔にならず、作業完了時に作業位置を確実に撮像できればよいので、例えば、作業者Ｐの工具２を持つ腕に撮像カメラ３を装着してもよい。あるいは、工具２に取り付ける方法も考えられる。

撮像カメラ３の撮像動作は作業管理装置４によって制御され、撮像カメラ３は、作業管理装置４から撮像指示信号が入力されると、撮像動作を行い、その撮像画像の画像データ（以下、「撮像画像データ」という。）を作業管理装置４に転送する。なお、撮像カメラ３と作業管理装置４との接続は、作業の妨げとならないように、無線による接続としてもよい。

作業管理装置４は、工具２から作業完了信号が入力されると、撮像カメラ３に撮像指示信号を出力し、撮像動作を行わせる。このとき、作業者ＰはワークＷの作業位置を見ており、撮像カメラ３の画面も作業者Ｐが見ている像とほぼ同じになるので、撮像カメラ３によりその作業位置が撮像される。作業管理装置４は、作業完了信号が入力されることによりネジの締付作業が適切に行われたことを認識し、そのときの撮像カメラ３の撮像画像に基づいて作業位置を特定する。作業管理装置４は、ワークＷ内の作業位置でのネジ締付作業が全て適切に行われた場合、そのワークＷのネジ締付作業工程が完了したと判断し、その判断結果を表示部４５（図２参照）に表示して作業者に知らせる。

作業管理装置４は、図２に示すように、制御部４１、作業管理部４２、マスタ画像記憶部４３、特定処理部４４、表示部４５、および操作部４６を備えている。

制御部４１は、作業工程管理システム１の動作を統括的に制御するものである。制御部４１は、工具２から作業完了信号が入力されると、それに応答して撮像カメラ３に撮像指示信号を出力する。撮像カメラ３からはその撮像指示信号によって撮像された画像のデータ（撮像画像データ）が制御ケーブル６を介して作業管理装置４に転送されるが、その撮像画像データは特定処理部４４内のメモリに保存される。制御部４１は、特定処理部４４に処理開始の指示信号を出力し、特定処理部４４に、後述する撮像画像を用いた作業位置の特定処理を行なわせる。

なお、本実施形態では、特定処理部４４により作業位置の特定ができなかった場合は、作業者Ｐにその旨を報知して、作業者Ｐにネジの締付作業のやり直しを促す構成としている。そして、作業者Ｐがネジの締付作業をやり直した場合は、特定処理部４４による作業位置の特定処理は行なわず、作業者Ｐに作業完了の情報を入力させるようにしている。これは、作業者Ｐに作業をやり直させた場合、作業者Ｐは作業完了時にその作業が指定されたとおりになっていることを確認すると考えられ、特定処理部４４により作業位置の特定処理を行なわせるまでもなく、作業者Ｐから作業完了の情報を入力させれば足りるとの考えに基づくものである。また、この方法を採用することにより、制御部４１に対して迅速に作業完了の情報を入力でき、処理の長時間化を回避できる、特定処理部４４で再度、作業位置が特定できなかった場合に作業者Ｐの判断と特定処理部４４の処理結果の矛盾により作業工程が停滞するという不都合を回避できる、などという効果もある。

また、制御部４１は、特定処理部４４から入力される処理結果の信号やユーザの操作によって操作部４６から入力される操作信号（作業完了の情報）に基づいて、作業管理部４２における作業工程の管理を制御する。具体的には、作業管理部４２は、作業工程の各作業位置のネジ締付作業が正常に完了したか否かをフラグによって管理しており、制御部４１は、作業管理部４２に対してそのフラグ（以下、「作業完了フラグ」という。）の設定を指示する。

また、制御部４１は、表示部４５に作業状況や作業者Ｐに対するメッセージを表示させる。作業状況やメッセージの表示とは、例えば、工具２からのエラー信号や特定処理部４４からのエラー信号に基づくエラー表示や作業者Ｐの作業のやり直しを促す表示や作業工程の完了を示す表示である。

作業管理部４２は、作業工程の各作業の状況を管理するものである。作業工程において作業を行なう必要がある作業位置には作業位置番号が付されている。作業管理部４２には作業位置番号ごとに上述の作業完了フラグが設けられている。作業完了フラグが「オン」（２値データでは、例えば、「１」）のとき、作業位置の作業は完了していることを示し、作業完了フラグが「オフ」（２値データでは、例えば、「０」）のとき、作業位置の作業は未完了であることを示す。制御部４１は、作業工程の開始時に作業管理部４２の全作業完了フラグを「オフ」に設定し、作業を完了した作業位置番号が特定処理部４４または操作部４６から入力された場合、その作業位置番号の作業完了フラグを「オン」に切り替える指令信号を作業管理部４２に出力する。作業管理部４２は、この指令信号により指定された作業位置番号の作業完了フラグを「オン」に切り替える。

マスタ画像記憶部４３は、特定処理部４４で、作業位置を特定するために撮像画像データと比較されるマスタ画像データを記憶しておくものである。マスタ画像データは、予め作業者ＰにワークＷでの作業工程の作業を行なわせ、そのワークＷの各作業位置を撮像カメラ３で撮像した画像（マスタ画像）のデータであり、作業位置番号と関連付けて記憶されている。例えば図３の例では、作業者ＰにワークＷに対してネジＮ１〜Ｎ４の締付作業を行なわせ、各作業位置で取得される同図（ｂ），（ｃ），（ｄ），（ｅ）の画像データがマスタ画像データとして記憶される。

本発明の考え方は、作業者ＰがワークＷの各作業位置で作業が完了する毎に、その作業位置を所定の位置から撮像カメラ３により撮像し、その撮像画像を予め所定の位置から作業位置を撮像したマスタ画像との画像マッチングによる同定を行い、同定できたマスタ画像の作業位置番号から当該作業位置を特定するというものである。本発明では、作業者Ｐが作業中に見ている作業位置と略同じような画像を得るために、撮像カメラ３を作業者Ｐの目の近傍位置に取り付けているので、撮像画像と画像マッチングを行うためのマスタ画像も撮像画像と同様の方法で取得する必要がある。このため、作業者Ｐが実際に作業工程を行う前に、同一の作業工程を行なわせてワークＷの各作業位置の作業完了時における撮像画像データを取得し、その撮像画像データをマスタ画像データとするようにしている。以下、マスタ画像データを作成する作業をマスタリング作業という。

なお、各作業位置における撮像画像とマスタ画像の撮像位置が同一であれば、同一の作業位置における撮像画像とマスタ画像の絵柄は同一となるが、撮像カメラ３は作業者Ｐに取り付けられているため、繰り返されるワークＷの作業工程において、作業者Ｐが各作業位置で作業完了時に同一の体勢を取ることはできないので、各作業位置における撮像位置が変化して撮像画像とマスタ画像に絵柄のずれが生じる。そこで、本実施形態では、画像マッチングにおいて、撮像画像に拡大／縮小、回転、平行移動などの処理を施してマスタ画像との画像マッチングによる同定の精度を高めるようにしている。

上記の考え方によれば、マスタリング作業における作業者と実際に作業工程を行う作業者は同一であることが基本であるが、本実施形態では、実際の撮像画像とマスタ画像にずれが生じることは不可避であるので、必ずしも両作業者を同一にしなくてもよい。その場合は、マスタリング作業における作業者として実際に作業工程を行う作業者と可及的に体型が似ている作業者を選ぶとよい。また、両作業者の相違に基づく実際の撮像画像とマスタ画像のずれに一定の規則性がある場合は、マスタ画像データにそのずれ分を補正する処理を施すようにするとよい。

特定処理部４４は、撮像カメラ３の撮像により得られた撮像画像データとマスタ画像記憶部４３に記憶されている各マスタ画像データとを照合し、画像マッチングにより撮像画像データがどの作業位置を撮像したものであるかを特定するものである。以下、この撮像画像データとマスタ画像データを照合し、画像マッチングにより作業位置を特定する処理を「特定処理」という。特定処理部４４は、撮像画像データがどの作業位置を撮像したものであるかを特定できた場合、当該作業位置の作業位置番号を制御部４１に出力し、特定できなかった場合、作業位置番号に代えてエラー信号を出力する。

特定処理部４４は、特定処理において、最初の作業位置の撮像画像データについては、全てのマスタ画像データと照合するが、後の作業位置の撮像画像データについては、既に特定できた作業位置に対応するマスタ画像データと照合する必要はないので、特定できていない作業位置に対応するマスタ画像データとだけ照合する。すなわち、作業管理部４２において作業完了フラグが「オフ」となっている作業位置番号に対応する作業位置のマスタ画像データとだけ照合を行う。これにより、特定処理にかかる時間を短縮することができる。特定処理部４４が行なう特定処理についての詳細は後述する。

表示部４５は、作業状況や作業者Ｐに対するメッセージを表示するものであり、制御部４１によって制御される。制御部４１は、作業管理部４２の作業完了フラグの状態に応じて、作業工程の各作業の状況を表示部４５に表示させる。表示部４５は、各作業位置番号について、「作業完了」あるいは「作業未完了」の表示を、作業状況として表示する。また、制御部４１は、工具２からエラー信号が入力された場合、作業が不適切である旨のメッセージを表示部４５に表示させて作業者Ｐに当該作業のやり直しを促し、特定処理部４４からエラー信号が入力された場合、作業位置が特定できなかった旨のメッセージを表示部４５に表示させて作業者Ｐに作業位置の確認を行って操作部４６からその作業位置を入力するように促す。また、制御部４１は、作業管理部４２の作業完了フラグが全て「オン」になった場合、作業工程が全て完了した旨のメッセージを表示部４５に表示させて作業者ＰにワークＷを次の工程に進めるように促す。なお、表示部４５に表示されるメッセージに作業者Ｐが気付くように、音声報知部を設けて音声により報知するようにしてもよい。

操作部４６は、作業者Ｐが作業管理装置４を操作するためのものである。操作部４６には、作業工程の開始時に押圧されるためのスタートボタンと、特定処理部４４が作業位置を特定できなかった場合に作業者Ｐが作業位置番号を入力するためのテンキーなどが設けられている。

次に、作業工程管理システム１における処理手順を、図４に示すフローチャートを参照して説明する。

図４は、制御部４１が行う作業位置特定処理を説明するためのフローチャートである。当該処理は、作業者Ｐが操作部４６のスタートキーを押圧することにより、操作信号が制御部４１に入力されることで開始される。

まず、作業管理部４２に設定されている作業完了フラグがすべて「オフ」に初期化される（Ｓ１）。表示部４５には、すべての作業位置番号についての作業状況が「作業未完了」として表示される。

作業者Ｐは、工具２を用いて、ワークＷの決められた作業位置のネジ締付作業を行う。作業者Ｐがある作業位置のネジ締付作業を適切に完了した場合、工具２から制御部４１に作業完了信号が入力される。しかし、ネジ締付作業が適切に行われなかった場合（例えば、ネジが傾いたまま締められた場合など）、工具２から制御部４１にエラー信号が入力される。

制御部４１は、エラー信号が入力されたか否かを判別する（Ｓ２）。エラー信号が入力された場合（Ｓ２：ＹＥＳ）、表示部４５にネジ締付作業が不適切である旨のメッセージを表示させ（Ｓ３）、ステップＳ２に戻る。作業者Ｐは、このメッセージを見て、今行ったネジ締付作業を見直して再度、ネジ締付作業を行う。従って、作業者Ｐはネジ締付作業が不適切である場合は、表示部４５にその旨のメッセージが表示されるので、表示部４５にその旨のメッセージが表示されなくなるまで、ネジ締付作業を繰り返すことになる。

エラー信号が入力されなかった場合（Ｓ２：ＮＯ）、制御部４１は、作業完了信号が入力されたか否かを判別する（Ｓ４）。作業完了信号が入力された場合（Ｓ４：ＹＥＳ）、撮像カメラ３に撮像指示信号を送信する（Ｓ５）。作業完了信号が入力されなかった場合（Ｓ４：ＮＯ）、ステップＳ２に戻る。すなわち、制御部４１は、ステップＳ２〜Ｓ４を繰り返して、作業完了信号が入力されるのを待つ。

撮像カメラ３は、撮像指示信号が入力されると、撮像動作を行い、その撮像動作で得られた撮像画像データを特定処理部４４に転送する。制御部４１は、特定処理部４４に特定処理を行わせる（Ｓ６）。特定処理の詳細は後述する。特定処理部４４は、特定処理を行い、作業位置を特定できた場合は作業位置番号を制御部４１に出力し、作業位置を特定できなかった場合はエラー信号を制御部４１に出力する。

制御部４１は、特定処理部４４からエラー信号が入力されたか否かを判別する（Ｓ７）。エラー信号が入力された場合（Ｓ７：ＹＥＳ）、表示部４５に作業位置を特定できなかった旨のメッセージを表示させる（Ｓ８）。作業者Ｐは、このメッセージを見て、作業位置を確認した後、現在作業を行った作業位置の番号を操作部４６から入力する。

なお、本実施形態では、撮像画像データを作業位置が特定されていない全てのマスタ画像データと照合して作業位置を特定するようにしているので、作業者Ｐが予め決められた作業位置の作業順に作業をしなかった場合でもその作業位置を特定処理で特定できるようになっている。従って、作業位置を特定できなかった場合、特定処理を繰り返す方法も考えられるが、そうすると、その繰返し処理のために作業時間が長くなるので、作業者Ｐから作業位置の番号を入力させることで、作業工程の遅延化を防止している。また、作業工程管理システム１は、作業者Ｐのうっかりミスを検知し、作業者Ｐに作業の適否を確認させてワークＷを次の工程に進ませることを主目的とするから、ステップＳ８のエラー表示後は作業者Ｐは作業の適否を確認すると考えられるので、敢えて特定処理を繰り返す必要性は少ないとも言える。

制御部４１は、操作部４６からの作業位置の番号の入力を待つ（Ｓ９）。作業位置の番号が入力されると（Ｓ９：ＹＥＳ）、作業管理部４２に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる（Ｓ１１）。表示部４５には、当該作業位置番号についての作業状況が「作業完了」として表示される。

ステップＳ７でエラー信号が入力されなかった場合（Ｓ７：ＮＯ）、特定処理部４４から作業位置番号が入力されたか否かを判別する（Ｓ１０）。作業位置番号が入力された場合（Ｓ１０：ＹＥＳ）、作業管理部４２に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる（Ｓ１１）。表示部４５には、当該作業位置番号についての作業状況が「作業完了」として表示される。作業位置番号が入力されなかった場合（Ｓ１０：ＮＯ）、ステップＳ７に戻る。すなわち、制御部４１は、ステップＳ７およびＳ１０を繰り返して、エラー信号または作業位置番号が入力されるのを待つ。

次に、制御部４１は、作業管理部４２の作業完了フラグがすべて「オン」になったか否かを判別する（Ｓ１２）。「オフ」になっている作業完了フラグがあった場合（Ｓ１２：ＮＯ）、ステップＳ２に戻り、次の作業完了信号を待つ。作業完了フラグがすべて「オン」になった場合（Ｓ１２：ＹＥＳ）、表示部４５に作業工程が全て完了した旨のメッセージを表示させて（Ｓ１３）、処理を終了する。作業者Ｐは、このメッセージを見て、ワークＷを次の工程に進める。

次に、特定処理部４４における特定処理について説明する。

特定処理は、作業工程で撮像された作業位置の撮像画像と略同一のマスタ画像を探し出し、そのマスタ画像の作業位置番号を撮像画像が撮像された作業位置として特定する処理である。本実施形態では、実際に作業をする作業者Ｐがマスタリング作業を行った場合、撮像画像はマスタ画像を撮像したときとほぼ同じ位置から撮像されるので、両画像はほぼ同じ画像となる可能性が高い。そして、図３の例のように、ワークＷのネジの各締付作業位置の外観が明らかに異なる場合は、各撮像画像の絵柄は、各撮像画像の作業位置と異なる作業位置のマスタ画像の絵柄とは全く異なるので、撮像画像とマスタ画像を画像全体で照合しても撮像画像と略同一のマスタ画像を探し出すことは可能である。

処理速度の観点から見れば、撮像画像をそのままマスタ画像と照合する方法が考えられるが、撮像画像はその撮像位置に対応するマスタ画像と完全に同じ画像とはならないので、本実施形態では、処理精度を考慮して、撮像画像を拡大／縮小、回転、平行移動などの画像変換手法により変化させてマスタ画像と照合するようにしている。

図５は、撮像画像を変化させてマスタ画像と照合するための画像変換について説明するための図である。同図（ａ）は、図３の例におけるネジＮ１の締付作業に対するマスタ画像（図３（ｂ）と同じもの）であり、同図（ｂ），（ｃ），（ｄ）は、それぞれワークＷのネジＮ１の締付作業に対する撮像画像である。

同図（ｂ）の撮像画像は、同図（ａ）のマスタ画像と比べて、ネジＮ１、ワークＷ、工具２が大きくなっている。この状態は、撮像カメラ３の位置がマスタ画像を撮像したときよりワークＷに近い場合に生じる。この場合は、撮像画像を縮小変換すると、同図（ａ）のマスタ画像と一致させることができる。

同図（ｃ）の撮像画像は、同図（ａ）のマスタ画像と比べて、ネジＮ１、ワークＷ、工具２が右回りに回転している。この状態は、マスタ画像を撮像したときと比べて撮像カメラ３が光軸を回転軸として右回りに回転した場合に生じる。この場合は、撮像画像を左回り（図における矢印方向）に回転変換すると、同図（ａ）のマスタ画像と一致させることができる。

同図（ｄ）の撮像画像は、同図（ａ）のマスタ画像と比べて、ネジＮ１、ワークＷ、工具２が右下にずれている。この状態は、撮像カメラ３の光軸がマスタ画像を撮像したときより左上にずれた場合に生じる。この場合は、撮像画像を左上（図における矢印の方向）に平行移動変換すると、同図（ａ）のマスタ画像と一致させることができる。

このように、拡大縮小変換、回転変換、および平行移動変換を組み合わせて、撮像画像を変換することで、撮像画像をマスタ画像の撮像状態に近い画像にすることができ、マスタ画像との類似度をより正確に算出することができる。なお、拡大／縮小、回転、平行移動の３種類の画像変換を全て組み合わせると、その組合せ数が膨大になり、撮像画像を画像変換した画像（以下、「変換画像」という。）とマスタ画像との照合回数が膨大になる。そこで、本実施形態では、画像変換を組み合わせる種類や種類毎の変換パラメータ（拡大／縮小の倍率、回転角度、平行移動量など）などの変換条件を経験値によって予め定めておき、その変換条件によって生成される複数の変換画像についてそれぞれマスタ画像と照合し、撮像画像又は複数の変換画像とマスタ画像の類似度を示す指標値の最大値を求め、その最大値をマスタ画像に対する撮像画像の類似度としている。

撮像画像又は変換画像とマスタ画像の類似度を示す指標値は、例えば、周知の正規化相互相関係数を用いることができるが、適当な演算式を定義してもよい。例えば、簡易な方法として、撮像画像又は変換画像とマスタ画像の対応する画素位置の濃度差を求め、画像全体の濃度差の合計値を指標値としてもよい。

撮像画像又は変換画像と照合した複数のマスタ画像については、それぞれ類似度が算出されるので、それらの類似度の中で最大の類似度を有するマスタ画像を撮像画像と一致していると推定できる。複数のマスタ画像の中に必ず撮像画像と一致するマスタ画像があるとの前提で、最大の類似度を有するマスタ画像に対応する作業位置番号を撮像画像の撮像された作業位置であると特定してもよいが、本実施形態では、特定処理の精度及び確実性を考慮し、類似度の最大値を所定の閾値と比較し、その閾値以上の場合に最大の類似度を有するマスタ画像の作業位置番号を撮像画像の撮像された作業位置であると特定し、その閾値よりも小さい場合は、作業位置は特定できない、すなわち、エラーと判断するようにしている。

従って、特定処理部４４では、マスタ画像毎に撮像画像に対する類似度を算出し、その類似度の最大値が所定の閾値以上であれば、最大の類似度を有するマスタ画像の作業位置番号が制御部４１に出力され、類似度の最大値が所定の閾値より小さい場合は、特定処理結果の信頼性が低いので、作業位置番号に代えてエラー信号が制御部４１に出力される。

なお、撮像画像と照合する全てのマスタ画像について類似度を求めた後にその類似度の最大値を求め、その最大値から撮像画像と一致していると推定されるマスタ画像を特定してもよいが、各マスタ画像について順番に類似度を算出したときに、その類似度を所定の閾値と比較し、その類似度が所定の閾値以上であれば、その時点で当該マスタ画像を撮像画像と一致するマスタ画像と認定して、他のマスタ画像については照合動作を行わないようにしてもよい。この場合、特定処理にかかる時間を短縮することができる。また、この方法では、最後のマスタ画像まで類似度が所定の閾値以上でなかったとき、特定できなかったとして、エラー信号が制御部４１に出力されることになる。

マスタ画像との一致の精度を上げるためには、撮像画像をより小刻みに画像変換をすればよい（変換画像の数を増やせばよい）が、この場合は特定処理にかかる時間が長くなる。また、各画像変換は、可能性のある全てのマスタ画像とのずれの範囲を含むように画像変換の条件を設定してもよいが、この場合も特定処理にかかる時間が長くなる。従って、画像変換の条件（変換の種類の組合せ数や各変換における変換ピッチなどの条件）は、処理時間との兼ね合いから適切に決定すべきである。

実際に作業工程で作業する作業者Ｐと異なる作業者がマスタリング作業を行った場合、撮像画像とマスタ画像との画像のずれがより顕著になる。従って、撮像画像の画像変換の条件は、作業者Ｐ自身がマスタリング作業をした場合よりも多くする必要がある。なお、この場合に、撮像画像とマスタ画像とのずれに一定の規則性が表れる場合がある。例えば、作業者ＰがワークＷに顔を近付けて作業する癖を有する場合、撮像画像はマスタ画像に対して一定の倍率で拡大した画像となる場合が多い（図５（ｂ）参照）。また、マスタリング作業を行った作業者が撮像カメラ３を額の少し右目寄りに固定しており、実際の作業工程で作業をする作業者Ｐが撮像カメラ３を額の真ん中に固定した場合、撮像画像はマスタ画像に対して右下に一定の距離だけずれた画像となる場合が多い（図５（ｄ）参照）。これらの特性は特定処理が繰り返されることで明確となってくる。従って、特定処理の都度、マスタ画像と一致したときの撮像画像に加えられた画像変換の条件を記憶し、特定処理が所定回数繰り返された時点で画像変換の規則性を分析し、当該規則性に基づいて撮像画像の画像変換の条件を絞るように変更してもよい。

なお、作業者Ｐが実際に作業工程の作業を開始する直前にマスタリング作業を行うか、あるいは、実際に作業工程の作業を開始した最初のワークＷに対する作業時にマスタリング作業を行うと、作業者Ｐが実際に作業をしているときと同じ条件（撮像カメラ３の取り付け位置や作業体勢などの条件）でマスタリング作業が行われるので、特定処理の精度が高くなるので望ましい。

図６は、特定処理部４４が行う特定処理を説明するためのフローチャートである。特定処理は、制御部４１から特定処理の指示が出され、撮像カメラ３から撮像画像データが入力されることで開始される。

まず、特定処理のためのレジスタやカウンタを初期化する（Ｓ２１）。レジスタには類似度Ｘの最大値を求めるためのレジスタＸmaxと類似度Ｘが最大となるマスタ画像の作業
位置番号を求めるためのレジスタｎがあり、いずれも「０」に初期化される。また、カウンタには撮像画像を画像変換する変換条件の番号をカウントするカウンタｊとマスタ画像の作業位置番号をカウントするカウンタｉがあり、いずれも「１」に初期化される。

次に、ｉ番目の作業位置に対応する作業完了フラグＦ（ｉ）が「オフ」になっているか否かを確認し（Ｓ２２）、「オフ」になっていれば（Ｓ２２：ＹＥＳ）、ステップＳ２３に移行し、「オン」になっていれば（Ｓ２２：ＮＯ）、ステップＳ３１にジャンプする。これは、作業完了フラグＦ（ｉ）がオンになっている作業位置のマスタ画像（作業位置が特定されたマスタ画像）については撮像画像との照合を行わず、作業完了フラグＦ（ｉ）がオフになっている作業位置のマスタ画像（作業位置が未特定のマスタ画像）についてだけ撮像画像との照合を行うための処理である。

ステップＳ２３に移行すると、ｉ番目の作業位置に対応するマスタ画像データを用意する。次に、ｊ番目の変換条件で撮像画像データの画像変換処理を行う（Ｓ２４）。この画像変換処理は、拡大縮小変換、回転変換、および平行移動変換のいずれか、またはこれらの２つ以上の組み合わせをした変換処理である。変換条件の数ｍは予め設定されており、各画像変換処理における変換量（拡大／縮小の倍率、回転方向と回転量、平行移動方向と移動量）も予め設定されている。なお、変換量には、拡大／縮小の倍率が１、回転量や移動量が０の場合（すなわち、実質的に撮像画像を画像変換しない場合）も含まれており、例えば、１番目の変換条件に、倍率「１」、回転量及び移動量「０」の変換条件が設定されている。以下では、撮像画像データを変換した画像データ（実質的に撮像画像データと同一の場合を含む）を変換画像データという。

次に、変換画像とｉ番目の作業位置に対応するマスタ画像との類似度Ｘを算出する（Ｓ２５）。類似度Ｘは、例えば、周知の正規化相互変換係数である。次に、類似度ＸがレジスタＸmaxの値（以下、「最大類似度Ｘmax」という。）より大きいか否かを判別する（Ｓ２６）。類似度Ｘが最大類似度Ｘmaxより大きい場合は（Ｓ２６：ＹＥＳ）、当該類似度ＸをレジスタＸmaxに格納し（Ｓ２７）、このときのカウンタｉの値を作業位置番号のレジスタｎに格納する（Ｓ２８）。類似度Ｘが最大類似度Ｘmax以下の場合は（Ｓ２６：ＮＯ）、ステップＳ２７，Ｓ２８の処理をスキップしてステップＳ２９に進む。最初の変換画像に対して算出される類似度Ｘは０よりも大きくなるはずであるから、その類似度ＸがレジスタＸmaxに格納され、カウンタｉの値「１」がレジスタｎに格納される。

次に、カウンタｊの値を１だけ増加し（Ｓ２９）、その値が変換条件の数（変換画像の総数）ｍを超えたか否かを判別する（Ｓ３０）。ｊ≦ｍの場合（Ｓ３０：ＮＯ）、次の変換画像についてマスタ画像との比較をするために、ステップＳ２４に戻る。すなわち、予定されていた変換画像について全てのマスタ画像との比較を行うまで、ステップＳ２４〜Ｓ３０を繰り返す。そして、ステップＳ２４〜Ｓ３０のループ処理において、ステップＳ２５で算出される類似度ＸがレジスタＸmaxに格納された最大類似度Ｘmaxより大きい場合は、ステップＳ２７で当該類似度ＸをレジスタＸmaxに上書きする。従って、全ての変換画像について作業位置番号ｎ＝１のマスタ画像との照合が行われたとき（ステップＳ３０：ＹＥＳのとき）には、そのマスタ画像との類似度Ｘの最大値がレジスタＸmaxに格納されることになる。

ステップＳ３０で、ｊ＞ｍの場合（Ｓ３０：ＹＥＳ）、カウンタｉの値を１だけ増加し（Ｓ３１）、その値が作業位置番号の最大値Ｎ（ワークＷのネジの締付作業の総数）を超えたか否かを判別する（Ｓ３２）。ｉ≦Ｎの場合（Ｓ３２：ＮＯ）、次のマスタ画像に対して撮像画像の変換画像との比較を行なうために、ステップＳ２２に戻る。従って、ステップＳ２２〜Ｓ３２のループ処理により、撮像画像データが変換画像データに変換されながら作業位置を特定していない全てのマスタ画像データと比較され、類似度Ｘが最大となるマスタ画像が特定される。

ｉ＞Ｎの場合（Ｓ３２：ＮＯ）、すなわち、撮像画像データを変換画像データに変換しながらすべてのマスタ画像データと比較し終えた場合、最大類似度Ｘmaxが所定の閾値Ｘｒ以上であるか否かを判別する（Ｓ３３）。最大類似度Ｘmaxが所定の閾値Ｘｒ以上である場合（Ｓ３３：ＹＥＳ）、レジスタｎに格納された値を作業が完了した作業位置番号として制御部４１に出力して（Ｓ３４）、特定処理を終了する。一方、最大類似度Ｘmaxが所定の閾値Ｘｒより小さい場合（Ｓ３３：ＮＯ）、類似度Ｘが最大類似度Ｘmaxとなったマスタ画像を変換画像と一致したとする信頼性が低いので、エラー信号を制御部４１に出力して（Ｓ３５）、特定処理を終了する。

次に、作業工程管理システム１の作用について説明する。

本実施形態において、特定処理部４４は、作業完了信号に基づいて実際の作業工程における作業位置を撮像した撮像画像と予め各作業位置を撮像したマスタ画像とを照合して作業位置を特定する。撮像カメラ３は、作業者Ｐの目の近傍に視線方向と略同一となるように固定されているので、作業位置が視認できれば作業位置の撮像をすることができる。マスタ画像もほぼ同じ条件で撮像されているので、作業位置がワークＷの内側部分にある場合（図１参照）でも、撮像画像とマスタ画像とを照合して正確に作業位置を特定することができる。

また、撮像画像およびマスタ画像は、ワークＷに対する撮像カメラ３の撮像位置及びカメラ姿勢がほぼ同じ状態で撮像されたものである。従って、ワークＷを所定の位置および方向に固定できない場合でも、撮像画像とマスタ画像とを照合して正確に作業位置を特定することができる。

また、工具２からの作業完了信号によって撮像カメラ３の撮像を行っているので、工具２の作業完了信号が出力されるときは、作業者Ｐのネジ締め作業位置を見ている体勢が安定していると考えられることから、各作業位置における作業結果の画像を安定して取得することができる。これにより、各作業位置の撮像画像のバラツキが少ないので、撮像画像の画像変換処理のバラツキも少なく、マスタ画像との画像マッチング処理が安定し、正確に作業位置を特定することができる。また、各作業位置の作業が全て完了したことを確認しないと次の工程に進めないようにしているので、作業ミスを抑制することができる。

なお、図６に示す特定処理手順では、撮像画像データに所定の変換条件で画像変換した変換画像を用いてマスタ画像との照合を行っていたが、上述したように、マスタ画像に含まれる画像が特徴的で、他の作業位置のマスタ画像に含まれる画像と明らかに異なる場合は、撮像画像だけを各マスタ画像と照合するようにしてもよい。すなわち、図６に示す特定処理手順において、変換条件の数ｍを「１」とし、ｊ＝１の変換条件を倍率「１」、回転量及び移動量の変換条件を「０」としてもよい。

また、撮像画像データと各マスタ画像データとを比較する場合、両画像データを２値化したり、ぼかしなどの加工をした後に比較するようにしても良い。

また、撮像画像には必ず工具２が写るので（図３および図５参照）、工具２の部分の画像を利用して特定処理を行うようにしてもよい。図６のフローチャートでは、画像変換の条件を予め設定しているが、撮像画像に含まれる工具２の画像と各マスタ画像に含まれる工具２の画像を比較して撮像画像の変換条件を求め、その変換条件で画像変換した変換画像を各マスタ画像と照合するようにしてもよい。例えば、撮像画像が図５（ｂ）であった場合、工具２が大きく写っているので、撮像画像の工具２のサイズとマスタ画像の工具２のサイズから両画像の工具２の画像が一致するように撮像画像の変換条件を求め、その変換条件で撮像画像を縮小する。そして、この縮小された撮像画像と各マスタ画像とを比較すれば、一致するマスタ画像を容易に特定することができる。

なお、この方法では、予め各マスタ画像における工具２の画像を抽出しておく必要がある。また、撮像画像が取得される毎に、その撮像画像内の工具２の画像を抽出し、各マスタ画像の工具２の画像と比較して変換条件を求める必要がある。

また、マスタ画像に含まれる特徴的な画像が画面内の特定の領域にある場合、その領域の部分だけを撮像画像とマスタ画像とで照合するようにしても良い。例えば、図５（ａ）のマスタ画像で、基板の角とネジの部分に特徴がある場合、ユーザが画面内の領域Ａｒを予め設定しておき、図６に示す特定処理手順における撮像画像とマスタ画像の照合では、両画像の領域Ａｒの部分だけを照合するようにしてもよい。この場合は、撮像画像とマスタ画像とを照合するデータ数が少なくなるので、処理時間を短くすることができる。

第１実施形態で説明した撮像画像とマスタ画像の照合による作業位置の特定方法は、同一の作業位置に対する撮像画像とマスタ画像の撮像位置がほぼ同じで、両画像は略同一になることを利用して画像全体で撮像画像と略同一と推定されるマスタ画像を特定し、そのマスタ画像の作業位置番号を撮像画像の作業位置番号とするものであるが、複数のマスタ画像の間で各マスタ画像に含まれる互いに異なる特徴的な画像（以下、「特徴画像」という。）を抽出し、各撮像画像にいずれの特徴画像が含まれるかを探索し、各撮像画像に含まれる特徴画像を特定することにより、当該特徴画像に対応する作業位置番号を撮像画像の作業位置番号とするようにしてもよい。

例えば、図３（ｂ）〜（ｅ）の例では、基板の角部とネジの頭の部分を含む部分画像（同図の領域Ｂ１〜Ｂ４の部分画像）を特徴画像とすることができる。同図（ｂ）〜（ｅ）では、基板の角部に対する工具２の画像の方向が異なるので、部分画像Ｂ１〜Ｂ４を相互に比較すると、画像としては明らかに相違する特徴的な画像となる。

この特定方法は、撮像カメラ３が各作業位置における特徴的な被写体を撮像しているとの前提で、各マスタ画像からその特徴的な被写体の画像（特徴画像）を抽出し、各撮像画像にどの特徴画像が含まれるかを探索することによって、各撮像画像がどの特徴的な被写体（すなわち、どの作業位置）を撮像したものであるかを特定するという考え方である。この特定方法は、第１実施形態で説明した特定方法が撮像画像とマスタ画像の同一性を判断するのに対し、撮像画像が各作業位置に定義される特徴的な被写体のうち、どの被写体を撮像したのかを判断する点で考え方が異なる。このため、この特定方法では、各撮像画像に対して各マスタ画像でユーザにより指定される特徴画像（部分画像）が含まれているか否かを探索する処理が必要となる。

すなわち、各撮像画像に対して、特徴画像と同一サイズのウィンドウを、例えば、ラスタ走査方向に所定のピッチで走査させ、各走査位置でウィンドウに含まれる画像（部分画像）を抽出し、その抽出画像を特徴画像と照合して所定の閾値以上の類似度を有する画像の有無を探索する処理が必要となる。

次に、上記の撮像画像内の特徴画像を探索する方法を用いた特定処理について説明する。なお、この特定処理を行う第２実施形態に係る作業工程管理システムのブロック図は図２と同様であり、マスタ画像記憶部４３に記憶される画像データと特定処理部４４で行う特定処理以外に違いはない。従って、相違点のみを説明する。

第２実施形態に係る作業工程管理システムのマスタ画像記憶部４３は、マスタ画像データの他に、各マスタ画像に対して作業者により指定された特徴画像の画像データ（以下、「特徴画像データ」という。）を記憶している。特徴画像の指定は、マスタリング作業時に行ってもよいし、画像処理により各マスタ画像の特徴画像を自動的に指定するようにしてもよい。

図７は、第２実施形態に係る作業工程管理システムの特定処理部４４が行う特定処理を説明するためのフローチャートである。

まず、特定処理のためのレジスタやカウンタを初期化する（Ｓ４１）。レジスタＸmax
とレジスタｎは図６に示す特定処理手順のものと同一であり、いずれも「０」に初期化される。また、カウンタｊとカウンタｉは図６に示す特定処理手順のものと同一であるが、これらに加えて変換画像内で特徴画像と同一サイズのウィンドウをラスタ走査方向に走査させる数をカウントするカウンタｋがある。ｊとｉはいずれも「１」にされるが、ｋは「０」に初期化される。

次に、ｉ番目の作業位置に対応する作業完了フラグＦ（ｉ）が「オフ」になっているか否かを確認し（Ｓ４２）、「オフ」になっていれば（Ｓ４２：ＹＥＳ）、ステップＳ４３に移行し、「オン」になっていれば（Ｓ４２：ＮＯ）、ステップＳ５９にジャンプする。この処理は、作業位置が未特定のマスタ画像データで定義された特徴画像データについてだけ変換画像データにおける探索を行うための処理である。

ステップＳ４３に移行すると、ｉ番目の作業位置に対応するマスタ画像で指定された特徴画像データを用意する。次に、ｊ番目の変換条件で撮像画像データの画像変換処理を行う（Ｓ４４）。ステップＳ４４〜Ｓ５３，Ｓ５７，Ｓ５８のループ処理における各撮像画像データに対して予め設定した変換条件で複数の変換画像データを作成させる処理内容は、図６に示す特定処理と基本的に同じである。

次に、カウンタｋを「１」に設定し（Ｓ４５）、変換画像からｋ番目のウィンドウ位置（ｋ＝１のときは、変換画像の画面左上隅の位置）の画像を抽出する（Ｓ４６）。そして、その抽出した画像（以下、「抽出画像」という。）とｉ番目の作業位置に対応するマスタ画像から作成された特徴画像の類似度Ｘ（ｋ）を算出する（Ｓ４７）。類似度Ｘ（ｋ）は、第１実施形態と同様に正規化相互変換係数である。次に、類似度Ｘ（ｋ）が最大類似度Ｘmaxより大きいか否かを判別する（Ｓ４８）。類似度Ｘ（ｋ）が最大類似度Ｘmaxより大きい場合は（Ｓ４８：ＹＥＳ）、当該類似度Ｘ（ｋ）をレジスタＸmaxに格納し（Ｓ４９）、このときのカウンタｉの値を作業位置番号のレジスタｎに格納した後（Ｓ５０）、カウンタｋを１だけ増加する（Ｓ５１）。類似度Ｘ（ｋ）が最大類似度Ｘmax以下の場合は（Ｓ４８：ＮＯ）、ステップＳ４９〜Ｓ５１の処理をスキップしてステップＳ５２に進む。

次に、カウンタｋの値がウィンドウの走査総数Ｋを超えたか否かを判別する（Ｓ５２）。ｋ≦Ｋの場合（Ｓ５２：ＮＯ）、次のウィンドウの走査位置における抽出画像について特徴画像との比較をするために、ステップＳ４６に戻り、ｋ＞Ｋの場合（Ｓ５２：ＹＥＳ）、ステップＳ５３に移行する。すなわち、ステップＳ４６〜Ｓ５２のループ処理は、変換画像上で特徴画像を所定のピッチでラスタ走査方向に移動させ、各走査位置で変換画像から抽出した抽出画像と特徴画像の類似度を算出し、最大の類似度を有する走査位置を求めている。

ステップＳ５３に移行すると、ステップＳ４６〜Ｓ５２のループ処理で求められた最大類似度Ｘmaxが所定の閾値Ｘｒ’以上であるか否かを判別する。Ｘmax≧Ｘｒ’である場合（Ｓ５３：ＹＥＳ）、変換画像とステップＳ４６〜Ｓ５２のループ処理で求められた作業位置番号ｎ（ステップＳ５０でレジスタｎに格納された番号）のマスタ画像の類似度Ｘを算出する（Ｓ５４）。この類似度Ｘも、第１実施形態と同様に正規化相互変換係数である。次に、類似度が所定の閾値Ｘｒ以上であるか否かを判別する（Ｓ５５）。Ｘ≧Ｘｒである場合（Ｓ５５：ＹＥＳ）、カウンタｎに格納された値を作業が完了した作業位置の番号として制御部４１に出力して（Ｓ５６）、特定処理を終了する。

ステップＳ５３で、ステップＳ４６〜Ｓ５２のループ処理で求められた最大類似度Ｘmaxが閾値Ｘｒ’以上の場合に、変換画像データとマスタ画像データを照合し、両者の類似度Ｘによって作業位置番号を特定しているのは、撮像画像に、ある特徴画像が含まれていると推定されても他の特徴画像についても当該他の特徴画像が含まれていると推定される可能性がないとは言えないので、特定精度を高めるため、変換画像内に他の特徴画像があるか否かの探索処理をするのに代えて、変換画像とその変換画像に含まれていると推定された特徴画像が指定されたマスタ画像とを画像全体で照合し、特徴画像による推定結果の信頼性を確認するようにしたものである。

これにより、全ての特徴画像について、全ての変換画像上で各特徴画像の有無を探索する場合よりも処理時間を短くすることができる。なお、処理時間をより短くするために、ステップＳ５４，Ｓ５５の処理を省くようにしてもよい。

図７の特定処理に戻り、ステップＳ５３でＸmax＜Ｘｒ’の場合（Ｓ５３：ＮＯ）又はステップＳ５５でＸ＜Ｘｒの場合（Ｓ５５：ＮＯ）、ステップＳ５７に移行し、カウンタｊの値を１だけ増加した後、その値が変換条件の数（変換画像の総数）ｍを超えたか否かを判別し（Ｓ５８）、ｊ≦ｍの場合（Ｓ５８：ＮＯ）、次の変換画像について特徴画像との照合をするために、ステップＳ４４に戻り、ｊ＞ｍの場合（Ｓ５８：ＹＥＳ）、カウンタｉの値を１だけ増加し（Ｓ５９）、その値が作業位置番号の最大値Ｎ（ワークＷのネジの締付作業の総数）を超えたか否かを判別する（Ｓ６０）。

ｉ≦Ｎの場合（Ｓ６０：ＮＯ）、次のマスタ画像から生成された特徴画像に対して変換画像との比較を行なうために、ステップＳ４２に戻り、ｉ＞Ｎの場合（Ｓ６０：ＹＥＳ）、すなわち、撮像画像を変換画像に変換しながら各変換画像について特徴画像の有無を確認する処理を行い、全ての変換画像に特徴画像がないと判断された場合、エラー信号を制御部４１に出力して（Ｓ６１）、特定処理を終了する。

なお、図７に示す特定処理手順では、ステップＳ４６〜Ｓ５２のループ処理において、変換画像上の全ての走査位置について類似度Ｘ（ｋ）を求めているが、処理時間を早くするために、いずれかの走査位置で算出された類似度Ｘ（ｋ）が所定の閾値Ｘｒ’以上であれば、特徴画像の探索処理を終了し、ステップＳ５４，Ｓ５５の処理に移行するようにしても良い。

上記の第１，第２実施形態では、実際の作業時の撮像カメラ３の撮像位置がマスタリング作業時の撮像位置と異なることに起因する撮像画像のマスタ画像に対する画像のずれを低減するため、撮像画像に対して拡大／縮小、回転、平行移動などの画像変換を行っている。これらの画像変換は、図８に示すように、マスタリング作業時の被写体（ワークＷのネジＮの締付作業位置）に対する撮像カメラ３の撮像位置Ｑが、実際の作業時では撮像カメラ３の光軸上Ｌ１で前後に移動している（矢印Ａ１参照）、撮像カメラ３の姿勢が光軸Ｌ１を中心に回転している（矢印Ａ２参照）、撮像カメラ３が撮像位置Ｑを含む面内で平行に移動している（矢印Ａ３参照）などの場合を想定したものである。

しかしながら、一般には、上記の撮像位置のずれよりも、図８の一点鎖線で示すように、ネジＮの締付作業位置に対する作業時の撮像カメラ３の撮像位置Ｑ’の方向がマスタリング作業時の撮像位置Ｑの方向に対して開き角θｄでずれる方が多い。このような撮像位置のずれの場合は、マスタリング作業時の撮像カメラ３の撮像面に対して実際の作業時の撮像カメラ３の撮像面が傾斜することになるので、マスタ画像と撮像画像が同一の画角であっても撮像画像はマスタ画像を斜めから見たような画像となる。例えば、マスタ画像では円形の画像が撮像画像では楕円形の画像となる。

そこで、このような撮像位置のずれに対しては、撮像カメラ３にその姿勢を検出するセンサを設け、マスタリング作業時の各作業位置を撮像したときの撮像カメラ３の姿勢（正確には光軸Ｌ１の方向）と実際の作業時の各作業位置を撮像したときの撮像カメラ３の姿勢とを検出し、マスタリング作業時の撮像カメラ３の姿勢と実際の作業時の撮像カメラ３の姿勢の差（正確には両撮像位置における光軸Ｌ１の開き角θｄ）に基づいて各撮像画像の画像変換を行うと良い。

撮像カメラ３の姿勢を検出するセンサとしては、例えば、重力を利用した傾斜センサや地磁気を利用した方位センサを用いることができる。例えば、図８に示すように、撮像カメラ３の筐体の上面３１に２軸方向の傾斜センサ７を設けると、撮像カメラ３の基準姿勢に対する姿勢の傾きを検出することができる。撮像カメラ３の上面３１が水平面と一致する姿勢を基準姿勢とすると、撮像カメラ３の姿勢が基準姿勢から変化すると、基準姿勢時の光軸Ｌ１の方向（以下、この方向を「基準方向」という。）に対する姿勢変化後の光軸Ｌ１の方向の角度θが傾斜センサ７によって検出される。撮像位置Ｑの撮像時に傾斜センサ７で検出される傾斜角をθ１、撮像位置Ｑ’の撮像時に傾斜センサ７で検出される傾斜角をθ２とすると、両者の差分を演算することにより開き角θｄ（＝｜θ１−θ２｜）が求められる。

従って、マスタリング作業時の撮像時に検出された傾斜角θ１と実際の作業時の撮像時に検出された傾斜角θ２から開き角θｄを求め、この開き角θｄを用いて撮像画像を画像変換すれば、当該撮像画像をマスタリング作業時の撮像位置に近似した位置で撮像した画像に変換することができる。

次に、傾斜センサ７が設けられた撮像カメラ３を用いた第３実施形態に係る作業工程管理システムについて説明する。

図９は、本発明に係る作業工程管理システムの第３実施形態を説明するためのブロック図である。なお、同図において、図２に示すブロック図と同一または類似の要素には、同一の符号を付している。同図に示す作業工程管理システム１’は、撮像カメラ３に傾斜センサ７を取り付け、撮像カメラ３から入力される撮像画像データを傾斜センサ７で検出した傾斜角θ１，θ２を用いて変換処理を行う変換処理部４７を設けた点で、上記した第１，第２実施形態と異なる。

傾斜センサ７は、撮像カメラ３に取り付けられており（図８参照）、撮像カメラ３の光軸Ｌ１の基準方向に対する傾斜角を検出するものである。傾斜センサ７は、検出した光軸方向の傾斜角データを作業管理装置４に入力する。マスタリング作業時においては各マスタ画像を取得する際に撮像カメラ３の光軸Ｌ１の基準方向に対する傾斜角θ１が検出され、その傾斜角データが作業管理装置４に入力される。従って、マスタ画像記憶部４３に記憶される複数のマスタ画像データにはそれぞれ傾斜角θ１のデータが添付されて記憶されている。

実際の作業時においては、変換処理部４７には、撮像カメラ３からの撮像画像データが入力されるとともに、傾斜センサ７から撮像カメラ３の光軸Ｌ１の基準方向に対する傾斜角θ２のデータが入力される。変換処理部４７は、撮像画像をマスタ画像と照合する際、当該マスタ画像に添付されている傾斜角θ１と傾斜センサ７から入力される傾斜角θ２との差を演算して開き角θｄを求め、この開き角θｄを用いて撮像画像の画像変換を行い、特定処理部４４に出力するものである。特定処理部４４に入力される変換画像は、撮像画像の撮像位置をマスタ画像の撮像位置に近似した位置に置き換えたときに撮像される画像に相当している。

特定処理部４４では、第１実施形態と同様に、撮像画像を作業位置が特定されていない複数のマスタ画像と照合して最大類似度Ｘmaxを有するマスタ画像を特定する処理が行われるが、第３実施形態では、変換処理部４７からマスタ画像と照合させる画像として、撮像画像をマスタ画像の撮像位置に近似した位置で撮像された画像に変換した変換画像が入力されるので、第１実施形態のように、特定処理部４４で撮像画像の画像変換処理は行われない。これは、マスタ画像の撮像位置とそれに近似した位置とのずれが小さいので、そのずれを補正するための拡大／縮小、回転、平行移動などの変換処理を省略するようにしたものである。従って、特定処理部４４で行われる特定処理手順は、図６に示す特定処理手順において、ステップＳ２４，Ｓ２９，Ｓ３０を削除し、ステップＳ２５の処理内容を変換処理部４７から入力される変換画像とマスタ画像の類似度Ｘの算出処理に変更したものとなる。

なお、第３実施形態でも、第１実施形態と同様に変換処理部４７の処理を特定処理部４４で行うようにしてもよい。また、撮像画像ではなく、マスタ画像を撮像画像の撮像位置で撮像した画像に画像変換するようにしてもよい。

第３実施形態では、第１実施形態における図６のステップＳ２４〜Ｓ３０のループ処理をしないので、処理時間を短くすることができる。また、撮像画像をマスタ画像の撮像位置で撮像された画像に変換するので、撮像画像の作業位置で取得されたマスタ画像の類似度Ｘと他のマスタ画像の類似度Ｘとの差が第１実施形態より顕著になり、撮像画像の作業位置に対応するマスタ画像の特定の確実性を高めることができる。

第１実施形態〜第３実施形態では、マスタリング作業時と実際の作業時で同一の作業者Ｐが作業した場合に撮像カメラ３の撮像位置にずれが生じる一方、作業者Ｐがほぼ決まった動作を繰り返すことを考慮すると、そのずれには一定の範囲があると考えられるので、そのずれの範囲内で撮像画像の画像変換を行い、撮像画像とマスタ画像との画像のずれを可及的に低減して両画像の類似度を算出するようにしていた。

画像全体で撮像画像とマスタ画像を比較して類似度Ｘを算出する場合、類似度Ｘに大きく影響を与える特定の画像（ネジなどの特徴的な画像）の両画像における位置のずれは可及的に小さい方が好ましい。しかしながら、第１実施形態〜第３実施形態では、作業者Ｐに撮像カメラ３を取り付けるだけであるので、作業者Ｐは、撮像カメラ３の画面内に被写体（特に、特徴的な画像となるネジの締付位置）がどのように撮像されるのかを知ることができない。

次に、マスタリング作業時と実際の作業時において、各作業位置の特徴的な画像を与える被写体（ネジの締付位置など）を画面のほぼ同じ位置に撮像させる構成について説明する。

図１０は、ワークＷの各ネジの締付位置が画面のほぼ同じ位置に撮像されるように、作業者Ｐの撮像時の姿勢をガイドする構成の一例を示す図である。

同図に示す構成は、撮像カメラ３に投影機８を取り付け、この投影機８からワークＷの作業位置に向けて円形の光像Ｓを投影するようにしたものである。光像Ｓには、作業者Ｐが当該光像Ｓの中心Ｏを推測できるように、上下左右の４箇所に円周と交差する目印線Ｓ₁〜Ｓ₄が設けられている。そして、撮像対象であるワークＷの作業位置（図１０ではネジＮの締付位置）から撮像カメラ３の光軸Ｌ１上で所定の距離Ｄだけ離れた位置Ｑを撮像カメラ３の撮像位置に設定すると、投影機８の光軸Ｌ３が撮像カメラ３の光軸Ｌ１と交差し、その交差する位置に光像Ｓが結像されるように投影機８が調整されている。

撮像カメラ３が撮像位置Ｑよりも後方になると、光像ＳはワークＷ上でネジＮの締付位置よりも下側にずれた位置に投影され、しかも、光像Ｓのサイズは大きくなる。一方、撮像カメラ３が撮像位置Ｑよりも前方になると、光像ＳはワークＷ上でネジＮの締付位置よりも上側にずれた位置に投影され、しかも、光像Ｓのサイズは小さくなる。しかしながら、同一の作業者Ｐが同一の作業位置で繰り返すネジＮの締付作業ではその作業姿勢の変化に基づくワークＷから投影機８までの距離の変化範囲は、距離Ｄの近くにあると考えられ、ワークＷ上に投影される光像Ｓの位置やサイズは、図１０の状態に対して格別に大きく変化するものではない。

従って、作業者Ｐは、ワークＷにおける作業位置が光像Ｓの中心Ｏとなる姿勢で作業をすることにより、撮像カメラ３で画面内のほぼ中央に作業位置が配置された画像を撮像することができる。このような撮像動作は、マスタリング作業時と実際の作業時で同様に行われるので、同一の作業位置におけるマスタ画像と撮像画像は、ほぼ中央に作業位置が写し込まれた画像となり、両画像の照合が容易になる。

なお、光像Ｓは、被写体（ネジの締付位置）に対する撮像カメラ３の撮像位置Ｑを決めるための目印となるものであるから、その目的を達成するように形状および大きさは適宜定めればよい。また、投影機８からの光によって作業位置が照らされるので、撮像カメラ３の露出時間を短くすることができ、作業者Ｐの動きによるブレを低減することができる。また、作業位置が明るくなるので、作業をし易くなる。

マスタリング作業時では図１０に示す状態で作業位置が撮像されたのに対し、実際の作業時では撮像カメラ３が撮像位置ＱよりワークＷ側に近づいた場合、撮像画像内の作業位置の画像（具体的には、ネジの頭の画像）は、マスタ画像より大きくなるが、光像Ｓの画像は小さくなる。従って、マスタリング作業時よりワークＷに近づいて作業した場合、撮像画像を縮小変換すると、作業位置の画像はマスタ画像に近づくが、光像Ｓは逆にマスタ画像から大きくずれることになる。この不都合を回避するために、類似度Ｘの算出においては、光像Ｓの部分を除外するようにするとよい。

撮像画像内の光像Ｓの画像の大きさは、撮像カメラ３とワークＷとの距離に比例する。従って、撮像画像から光像Ｓの画像の直径を算出し、マスタ画像における光像Ｓの画像の直径との差に基づいて、撮像画像を拡大変換又は縮小変換することにより、特定処理での撮像画像の変換（図６のフローチャートにおけるステップＳ２４参照）から拡大又は縮小変換を省略することができる。また、撮像カメラ３が光軸Ｌ１の周りに回転した場合、光像Ｓの画像の形状も同方向に回転した形状となる。従って、撮像画像から光像Ｓの画像の回転角度を算出し、撮像画像を逆向きに同じ角度の回転変換することにより、特定処理での撮像画像の変換（図６のフローチャートにおけるステップＳ２４参照）から回転変換を省略することができる。

なお、ワークＷと撮像カメラ３の距離によってワークＷ上に投影される光像Ｓの位置やサイズが変化する。撮像カメラ３が所定の撮像位置Ｑの近傍にあると、光像ＳはワークＷ上に所定のサイズで明瞭に結像され、撮像位置Ｑから大きくずれると、ワークＷ上に投影される光像Ｓのサイズが所定のサイズより小さ過ぎたり、大き過ぎたりするようになり、しかも、投影像も不明瞭になってくるので、作業者Ｐに、光像ＳがワークＷ上で明瞭に所定のサイズで投影されるように、作業体勢（特に頭部の姿勢）を調整させるようにしてもよい。これにより、撮像カメラ３を所定の撮像位置Ｑに調整することができ、ほぼ同じようなマスタ画像と撮像画像を安定して取得でき、撮像画像とマスタ画像との画像のずれを可及的に小さくすることができる。

上記実施形態においては、工具２からの作業完了信号を用いていたが、これに限られない。例えば、工具２に作業完了信号を出力できる機能がない場合は、作業管理装置４に作業完了信号を入力するためのスイッチを工具２に設けるとよい。作業者Ｐは、作業が完了したときにこのスイッチを押圧することで、作業完了信号を作業管理装置４に入力することができる。また、工具２とは別に当該スイッチを設け、作業者Ｐが工具２を持つ手とは反対の手でこのスイッチを押圧するようにしてもよい。なお、これらの場合は、スイッチから作業管理装置４に入力される信号は、作業完了の入力ではなく、撮像カメラ３の撮像タイミングを作業管理装置４に入力する信号として機能する。

また、制御装置４１が撮像指示信号を撮像カメラ３に入力するタイミングは、工具２からの作業完了信号が入力されたときに限られない。作業者Ｐが作業位置を視認しているときに撮像すれば良いのであって、撮像のタイミングと作業完了のタイミングを必ずしも一致させる必要は無い。例えば、工具２が電動式トルクドライバの場合、作業者ＰはネジＮをネジ孔に差し込んでネジＮの頭の溝にトルクドライバの先端をあてて始動スイッチを押せば良いだけなので、作業の完了時よりも始動スイッチを押したときの方が作業位置を視認している可能性が高い。このような場合は、始動スイッチを押したときに工具２から制御装置４１にタイミング信号が入力されるようにして、制御装置４１が当該タイミング信号の入力に応答して撮像指示信号を撮像カメラ３に入力するようにしてもよい。

また、この場合、作業完了後ではなく、始動スイッチを押したときに作業位置を特定することができる。従って、作業位置により締付トルクを変更する必要がある場合でも、作業開始時に作業位置を特定し、作業位置に応じて締付トルクを変更することも可能である。

上記実施形態ではネジの締付作業の場合について説明したが、これに限られず、例えば、トルクレンチでボルトまたはナットを締める作業や、溶接機で溶接を行う作業や、ハンダ付け作業などでも本発明を適用することができる。これらの場合でも、各工具から作業完了信号を作業管理装置４に入力するようにしてもよいし、別途スイッチを設けて、当該スイッチにより作業完了信号を作業管理装置４に入力するようにしてもよい。

また、道具を使用しない作業であっても、本発明を適用することができる。例えば、ボルトの締まり具合を点検する検査においても、作業者Ｐは作業位置を目視しながら行うので、別途設けたスイッチにより作業完了信号を作業管理装置４に入力するようにすれば、本発明を適用することができる。

本発明に係る作業工程管理システムは、上述した実施形態に限定されるものではない。本発明に係る作業工程管理システムの各部の具体的な構成は、種々に設計変更自在である。

１，１’ 作業工程管理システム
２ 工具（検出手段）
３ 撮像カメラ（撮像手段）
４ 作業管理装置
４１ 制御部（撮像制御手段，検出制御手段）
４２ 作業管理部
４３ マスタ画像記憶部（記憶手段）
４４ 特定処理部（特定手段，画像変換手段，類似度算出手段，判別手段）
４５ 表示部
４６ 操作部
４７ 変換処理部（第２の画像変換手段）
５，６ 制御ケーブル
７ 傾斜センサ（角度検出手段）
８ 投影機（投影手段）
Ｐ 作業者
Ｗ ワーク
Ｎ，Ｎ１，Ｎ２，Ｎ３，Ｎ４ ネジ
Ｓ 光像

Claims (8)

1. 複数の作業位置を有し、作業者によって各作業位置で所定の作業が行なわれる作業対象物に対して、前記作業者が前記作業を完了する毎に当該作業の作業位置を特定する作業工程管理システムであって、
   前記作業者の体勢が前記作業位置を見る体勢になると、当該作業位置が撮像画面内に入る前記作業者の所定の位置に固定された撮像手段と、
   予め作業者に前記作業対象物の各作業位置で前記所定の作業を行なわせて各作業の完了時に前記撮像手段により前記各作業位置をそれぞれ撮像した画像をマスタ画像として記憶する記憶手段と、
   前記作業者が前記作業対象物に対して作業を行なったとき、各作業位置で前記所定の作業を完了した後の所定のタイミングで前記撮像手段に撮像動作を行わせる撮像制御手段と、
   前記撮像手段で撮像された撮像画像を、前記記憶手段に記憶されている複数の前記マスタ画像と照合して、当該撮像画像が撮像された作業位置を特定する特定手段と、
   を備えることを特徴とする作業工程管理システム。
2. 前記特定手段は、
   前記撮像画像を予め設定された拡大、縮小、回転、平行移動のいずれか若しくはこれらの組み合わせた変換条件で画像変換する画像変換手段と、
   前記画像変換手段により変換された変換画像と各マスタ画像との類似度を算出する類似度算出手段と、を備え、
   前記類似度算出手段により算出された複数の類似度に基づいて前記撮像画像が撮像された作業位置を特定する、請求項１に記載の作業工程管理システム。
3. 前記特定手段は、前記類似度算出手段により算出される複数の類似度のうち、最大の類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する、請求項２に記載の作業工程管理システム。
4. 前記特定手段は、
   前記類似度算出手段により前記類似度が算出される毎に、当該類似度が所定の閾値を超えているか否かを判別する判別手段をさらに備え、
   前記判別手段で前記算出された類似度が前記所定の閾値を超えている場合、当該類似度を有するマスタ画像に対応する作業位置を、前記撮像画像が撮像された作業位置として特定する、請求項２に記載の作業工程管理システム。
5. 前記撮像手段に取り付けられ、所定の基準方向に対する当該撮像手段の光軸方向の角度を検出する角度検出手段と、
   前記マスタ画像及び前記撮像画像を取得するために前記撮像手段の撮像動作が行われたとき、前記角度検出手段により前記撮像手段の光軸方向の角度を検出させる検出制御手段と、
   前記撮像手段により撮像された撮像画像を、当該撮像画像の撮像時の前記撮像手段の光軸方向の角度と当該撮像画像と照合するマスタ画像の撮像時の前記撮像手段の光軸方向の角度との角度差に基づいて、前記マスタ画像の撮像位置で撮像した画像と略同一の画像に変換する第２の画像変換手段と、をさらに備え、
   前記特定手段は、前記画像変換手段により変換された変換画像に代えて、前記第２の画像変換手段で変換された変換画像を前記マスタ画像と照合する、請求項２ないし４のいずれかに記載の作業工程管理システム。
6. 前記撮像手段に取り付けられ、前記作業対象物に対して前記撮像手段の光軸方向を示す目印となる所定の光像を投影する投影手段をさらに備える、請求項１ないし５のいずれかに記載の作業工程管理システム。
7. 前記撮像手段は、前記作業者の目の近傍に、当該撮像手段の光軸方向が前記作業者が各作業位置で前記所定の作業をしているときの視線の方向とほぼ同一となる姿勢で固定されている、請求項１ないし６のいずれかに記載の作業工程管理システム。
8. 前記作業は、所定の工具を使用する作業であり、
   前記撮像制御手段は、前記工具に設けられ、前記作業の完了を検出すると、その検出信号を出力する検出手段と、前記検出手段から出力される検出信号に基づいて前記撮像手段の撮像動作を行わせる制御手段と、を含む、
   請求項１ないし７のいずれかに記載の作業工程管理システム。

Images