JP6016760B2

JP6016760B2 - 作業確認システム

Info

Publication number: JP6016760B2
Application number: JP2013253772A
Authority: JP
Inventors: 祐一池田; 忠道白石
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-12-09
Filing date: 2013-12-09
Publication date: 2016-10-26
Anticipated expiration: 2033-12-09
Also published as: JP2015114676A

Description

この発明は、例えば生産ラインなどにおいて、作業内容を簡便に確認することができる作業確認システムに関するものである。

従来の作業確認システムは、道具にマークを取り付けて、画像処理によりマークを検出し、道具の位置方向を特定する手段によって、作業内容を確認するものである（例えば、特許文献１参照）。また、他の従来の作業確認システムは、締付具に発光器を取り付けて、画像処理により発光器を検出し、締付作業の位置を特定する手段によって、作業内容を確認するものである（例えば、特許文献２参照）。

特許第５０２２０４５号公報特許第４７２４２１１号公報

生産ラインで製品を組み立てる作業においては様々な形状の道具を使用する場合がある。従来の作業確認システムでは、ドライバ、レンチの他に、ニッパ、ペンチ、ハサミ、ハケ、ペンなどを使用することがある。また、道具を使用しない作業がある。例えば、コネクタの接続、部材の嵌め合わせ、スイッチの切替といった作業である。従来の作業確認システムのように道具に対してマークや発光器を取り付ける方法では、道具の形状によって異なる取り付け方を考案し、画像処理で検出できることを検証するといった準備作業が必要である。その他にも、小型の道具を使用する場合にはマークや発光器を取り付けること自体が難しい、道具を使用しない場合に対しては適用できないといった問題点があった。

この発明は上記のような課題を解決するためになされたものであり、作業における様々な形状の道具を使用した作業や、道具を使用しない作業に対しても、作業内容を確認できる作業確認システムを提供することを目的とする。

この発明の作業確認システムは、
作業者が行う作業内容を確認する作業確認システムにおいて、
前記作業者が手に装着し、前記手の甲から指先にかけての方向性があるマークを有するグローブと、
前記グローブの前記マークを撮影する撮像機器と、
前記撮像機器にて撮影した前記マークの画像データと前記作業内容とを比較して合否判定を行う制御機器とを備え、
前記制御機器は、
前記作業内容を判定するための前記作業内容の作業位置および作業方向の判定条件データが格納されている作業定義部と、
前記画像データから前記マークの推定位置および推定方向を検出する画像処理部と、
前記推定位置および前記推定方向と、前記作業定義部の前記判定条件データとを比較して前記作業内容の前記合否判定を行う作業確認部とを備え、
前記画像処理部が検出した前記推定位置および前記推定方向と、前記作業確認部の前記合否判定とからなる作業結果データを蓄積する結果記録部と、
前記結果記録部に蓄積された前記推定位置の標準偏差と前記推定方向の標準偏差とを分析する作業分析部とを備えたものである。
また、この発明の作業確認システムは、
作業者が行う作業内容を確認する作業確認システムにおいて、
前記作業者が手に装着し、前記手の甲から指先にかけての方向性があるマークを有するグローブと、
前記グローブの前記マークを撮影する撮像機器と、
前記撮像機器にて撮影した前記マークの画像データと前記作業内容とを比較して合否判定を行う制御機器とを備え、
前記制御機器は、
前記作業内容を判定するための前記作業内容の作業位置および作業方向の判定条件データが格納されている作業定義部と、
前記画像データから前記マークの推定位置および推定方向を検出する画像処理部と、
前記推定位置および前記推定方向と、前記作業定義部の前記判定条件データとを比較して前記作業内容の前記合否判定を行う作業確認部とを備え、
前記作業定義部は、前記判定条件データに前記作業内容の時間を有し、
前記画像処理部は、前記画像データから作業の推定時間を検出し、
前記作業確認部は、前記推定時間を加えて、前記作業定義部の前記判定条件データとを比較して前記作業内容の前記合否判定を行い、
前記画像処理部が検出した前記推定位置、前記推定方向、および前記推定時間と、前記作業確認部の前記合否判定とからなる作業結果データを蓄積する結果記録部と、
前記結果記録部に蓄積された前記推定位置の標準偏差、前記推定方向の標準偏差、および、前記推定時間の標準偏差を分析する作業分析部とを備えたものである。

この発明の作業確認システムは、上記のように構成されているため、
グローブのマークを撮影することにより、作業内容を簡便に確認することができる。

この発明の実施の形態１の作業確認システムの構成を示した図である。図１に示した作業確認システムのグローブの構成を示した図である。図２に示したグローブを装着した際の動作を示した図である。図２に示したグローブを装着した際の動作を示した図である。図１に示した作業確認システムの制御機器および表示器の構成を示すブロック図である。図１に示した作業確認システムの動作を示すフローチャートである。図１に示した作業確認システムの動作を示すフローチャートである。図１に示した作業確認システムの画像データの例を示した図である。図１に示した作業確認システムの画像データの例を示した図である。図１に示した作業確認システムの画像データの例を示した図である。図１に示した作業確認システムの画像データの例を示した図である。図１に示した作業確認システムの動作を示すフローチャートである。図１に示した作業確認システムの画像データの例を示した図である。図１に示した作業確認システムの画像データの例を示した図である。図１に示した作業確認システムの画面状態の例を示した図である。図１に示した作業確認システムのグローブの他の構成を示した図である。図１に示した作業確認システムのグローブの他の構成を示した図である。この発明の実施の形態２の作業確認システムの動作を示したフローチャートである。この発明の実施の形態３の作業確認システムにおける標準偏差のデータを示した図である。この発明の実施の形態４の作業確認システムの動作を示したフローチャートである。この発明の実施の形態５の作業確認システムの個人差補正用マークを示した図である。この発明の実施の形態５の作業確認システムの動作を示したフローチャートである。この発明の実施の形態６の作業確認システムの構成を示した図である。図２３に示した作業確認システムの撮像機器の構成を示した図である。図２３に示した作業確認システムの位置基準マークの構成を示した図である。この発明の実施の形態７の作業確認システムの構成を示した図である。

実施の形態１．
以下、本願発明の実施の形態について説明する。図１はこの発明の実施の形態１における作業確認システムの構成を示す斜視図、図２は図１に示した作業確認システムのグローブの構成を示した図、図３および図４は図２に示したグローブを装着した際の動作を示した図、図５は図１に示した作業確認システムの制御機器および表示器の構成を示すブロック図、図６および図７および図１２は図１に示した作業確認システムの動作を示すフローチャート、図８から図１１および図１３および図１４は図１に示した作業確認システムの画像データの例を示した図、図１５は図１に示した作業確認システムの画面状態の例を示した図、図１６および図１７は図１に示した作業確認システムのグローブの他の構成を示した図である。

図において、この作業確認システムは、作業者１３が行う作業内容を確認するものである。作業者１３が手に装着し、手の甲から指先にかけての方向性があるマーク２を有するグローブ１１と、グローブ１１のマーク２を撮影する撮像機器１５と、撮像機器１５にて撮影したマーク２の画像データと作業内容とを比較して合否判定を行う制御機器１８と、作業内容および合否判定を表示する表示器１７とを備える。

本実施の形態１において、作業者１３が行う作業内容は、例えば、作業机１４上に作業対象物１２が載置されている状態にて、作業者１３が手を使用して行う作業を行うものである。尚、この作業内容は、作業者１３の手のみにて行う場合、また、作業者１３が手に工具などを持ち行う場合のいずれにも対応することができる。図１においては、例として、作業者１３が手にグローブ１１を装着した状態で、表示器１７に表示された作業内容に従って、作業対象物１２に対して作業をしている状況を示しているものである。また、作業対象物１２は、例えば、機器や電子回路基板などである。

撮像機器１５と制御機器１８とは画像信号入力線１９にて接続され、表示器１７と制御機器１８とは表示信号出力線２０にて接続されている。撮像機器１５は、支持台１６を介して作業机１４に設置されており、例えば、ＣＣＤカメラやＣＭＯＳカメラなどの一般的な撮像機器を用いる。撮像機器１５の設置位置は、作業対象物１２の上方に設置する例を示したが、作業中にグローブ１１のマーク２が撮影可能な位置であればよく、例えば、斜め上方や横方向に設置してもよい。

画像信号入力線１９は、撮像機器１５と制御機器１８との入出力インタフェースに対応したケーブル線にて構成されている。表示信号出力線２０は、表示器１７と制御機器１８との入出力インタフェースに対応したケーブル線にて構成されている。これら画像信号入力線１９および表示信号出力線２０は、例えばＵＳＢケーブル、ＶＧＡケーブル、ＨＤＭＩ（登録商標）ケーブル、同軸ケーブル、Ｅｔｈｅｒｎｅｔ（登録商標）用ケーブルなどにて構成されている。

表示器１７は、作業机１４に設置されており、例えば液晶モニタなどの一般的な表示器で、本実施の形態１においては、タッチパネル入力機能を有し操作入力機器を兼ねるものとする。尚、表示器１７に入力機能がない場合には、操作入力機器としてキーボードやマウス、またはスイッチなどを制御機器１８に接続することにより可能となる。また、表示器１７は支持台１６に固定して設置する例を示したがこれに限られることはなく、作業者１３から表示内容を確認できればよく、他の例としては、表示器１７を作業机１４の上面に設置ことが考えられる。

グローブ１１のマーク２は、作業者１３の手の甲から指先にかけての方向性を有するものであればよく、色、明度、形状、および大きさのいずれか少なくとも１つを用いて、この方向性を有するように構成されているものである。具体的には、図２、図３、図４に示すように、作業者１３がグローブ１１を右手３に装着した場合、右手３の甲の側に、親指２３および人差し指２４のペアに対応するマーク２１および中指２５および薬指２６のペアに対応するマーク２２をそれぞれ異なる色や模様として構成する。尚、ここでは右手３用のグローブ１１を示したが、左手用のグローブについても、同様に各マークを構成することにより対応することができるため、その説明は適宜省略する。

グローブ１１はどのような材質であってもよい。ここでは、グローブ１１は防塵布製であって、マーク２部分以外は灰色、親指２３と人差し指２４とのペアのマーク２１は黄色、中指２５と薬指２６とのペアのマーク２２は緑色に塗色されているとする。グローブ１１のマーク２の他の例としては、図１６に示したように、各指に対応した異なる色や模様の親指用のマーク５０、人差し指用のマーク５１、中指用のマーク５２、薬指用のマーク５３、小指用のマーク５４およびそれら各マーク５０〜５４を接続する手の甲側のマーク５５を備える。また、他の例は、図１７に示したように、マーク２として、各指に対応した同色同模様の帯状の親指用、人差し指用、中指用、薬指用のマーク５６、５７、５８、５９と、手の甲側の色や模様の異なる２つのマーク６０、６１とがあるものなどの形態が考えられる。図１６および図１７のようなマーク２によれば、手の甲から指先にかけての方向性があるマーク２が形成されることとなり、図２に示したグローブ１１と同様に処理することが可能となる。

ここではグローブ１１として指先の開いたものを示したが、指先を覆うグローブ１１としてもよい。またマーク２の形状は主に帯状を示したが、細線や楕円などの方向性のある形状や、複数の円や矩形など方向性を持たない形状を連ねて方向性を持たせた形状としてもよい。また、右手用のグローブ１１を示しているが、左手用であってもよく、右手用と左手用のグローブを同時に使用してもよい。

制御機器１８は、例えば、パーソナルコンピュータ、産業用コンピュータ、マイコンボード、プログラマブルロジックコントローラなどにて構成され、以下の部分を備える。図５に示すように、制御機器１８は、作業定義部３１と、作業指示部３２と、画像入力部３３と、画像処理部３４と、作業確認部３５と、結果記録部３６とから構成されている。表示器１７は、設定画面４１と、作業指示画面４２と、作業結果画面４３との画面が表示可能に形成されている。

作業定義部３１は、各作業内容に対応した作業指示データ、および、各作業内容を判定するための作業位置および作業方向の判定条件データを格納している。さらに、表示器１７に表示される設定画面４１から作業者１３の操作によって入力されるデータ、例えば図１５に示す、作業の中断を設定する作業中断ボタン９８および作業対象物の変更を設定する作業対象変更ボタン９７などを設定する設定機能、作業指示部３２に作業指示データを送信する出力機能を有している。作業指示データは、作業指示図、作業指示メッセージ、タイムアウト時間、検出範囲の判定条件を含むものである。例えば、作業指示図にはＪＰＥＧ形式画像のファイル名、作業指示メッセージはＵｎｉｃｏｄｅ形式の文字列、タイムアウト時間には秒単位の浮動小数点型の数値、検出範囲の判定条件には基準矩形の左上と右上を示す座標値および許容誤差値が示されている。

作業位置の判定条件データは、撮像機器１５により取得する画像における横軸Ｘ、縦軸Ｙ方向の座標値および許容誤差円の許容半径Ｒを含むものである。例えばＸ、Ｙは画像の左下を原点としたピクセル単位の絶対座標値として定義し、Ｒはピクセル単位の相対座標値として定義する。作業方向の判定条件データは、撮像機器１５による取得する画像の平面上の角度θおよび許容誤差の角度の絶対値φを含むものである。例えば、θは画像の横軸右方向を０度として３６０度までの値で定義し、φはθを基準とした相対角度を定義する。

作業指示部３２は、作業定義部３１から作業指示データを取得し、表示器１７の作業指示画面４２に作業指示データを表示する。画像入力部３３は、撮像機器１５から画像データを入力する。例えば画像を処理するドライバソフトウェアのＡＰＩを使用することで、ビットマップ画像として入力する。画像処理部３４は、画像入力部３３から画像データを取得し、画像データに写るグローブ１１のマーク２を検出して、マーク２の推定位置および推定方向の推定値を検出する。

作業確認部３５は、画像処理部３４から推定位置および推定方向の推定値を取得し、作業定義部３１から作業位置および作業方向の判定条件データを取得して、推定位置および推定方向の推定値が判定条件データの許容誤差内であるか否かの合否判定を行い、その合否判定結果を表示器１７の作業結果画面４３に表示する。結果記録部３６は、作業結果のデータを記録する。

次に上記のように構成された実施の形態１の作業確認システムの動作について説明する。本発明における、作業確認システムとは、作業状況の外観の画像を撮像機器１５により取得して、制御機器１８により画像処理を行い、グローブ１１の有するマーク２を検出して推定位置と推定方向との推定を行った後に、それらの合否判定を行い表示器１７に判定結果を出力するものである。以下、その詳細な動作について説明する。

本実施の形態１においては、ある作業対象物１２について行う複数の作業内容について、作業指示と作業確認とを繰り返し、作業結果を判定するものである。まず、作業定義部３１から作業指示データを取得して作業指示準備を行う（図６のステップＳ１）。次に、作業指示データを作業指示部３２に転送し、作業指示部３２が作業指示画面４２に出力して作業指示データの表示を行う（図６のステップＳ２）。

次に、作業者１３は作業指示画面４２に表示される作業指示データを確認して、グローブ１１を装着した状態で、作業対象物１２に対して作業を行う。次に、作業者１３の作業中に、撮像機器１５はグローブ１１の撮影を行い、その撮影の画像データを画像信号入力線１９を介して画像入力部３３に入力して当該画像データを取得して画像入力を行う（図６のステップＳ３）。次に、画像データを画像処理部３４に転送し、グローブ１１のマーク２の推定位置および推定方向の推定値を取得する画像処理を行う（図６のステップＳ４）。

次に、作業確認部３５に推定位置および推定方向の推定値を転送し、作業確認部３５は作業位置および作業方向の作業判定データを比較して合否判定して作業確認を行う（図６のステップＳ５）。そして、合否判定がＮＧの場合は、タイムアウトもしくは中断であるか否かの判断を行う（図６のステップＳ６）。そして、タイムアウトもしくは中断であれば、表示器１７の作業結果画面４３に作業中断メッセージを表示する（図６のステップＳ９）。

また、ステップＳ５にて合否判定がＯＫの場合には、作業対象物１２に対する残りの作業の有無を確認するため、全作業が完了したか否かを判断する（図６のステップＳ７）。そして、残りの作業があり、全作業が終了していない場合には、ステップＳ１に戻り、上記に示した処理を繰り返す。また、全作業が終了している場合には、表示器１７の作業結果画面４３に作業完了メッセージを表示する（図６のステップＳ８）。次に、この作業の作業結果を結果記録部３６に出力して格納する（図６のステップＳ１０）。また、ステップＳ６にて、タイムアウトもしくは中断でなければ、リトライとして、上記ステップＳ３からの処理を繰り返す。

ステップＳ８の作業結果出力は、具体的には、作業対象物１２に対する各作業の作業開始日時と作業終了日時、作業位置データ、作業方向データ、作業位置と作業方向の合否判定結果を、作業結果データとして、結果記録部３６に格納し、その一部を作業結果画面４３に表示するものである。

尚、タイムアウトとは、この繰り返し処理の間に合否判定値がＮＧのまま、作業指示データに含まれるタイムアウト時間を超過した場合に、タイムアウトがありとなり、そうでなければタイムアウトが無しとなる。また、中断とは、この繰り返し処理の間に作業者１３が、作業指示画面４２に表示している作業中断ボタン９８を押すことで中断がありとなり、そうでなければ中断が無しとなる。尚、作業中断ボタン９８には、キーボードやスイッチなど、他の入力手段を用いてもよい。

次に、画像処理部３４の画像処理の内容について図７のフローチャートに基づいて説明する。まず、制御機器１８の画像入力（図６のステップＳ３）および画像処理（図６のステップＳ４）の制御に従い、画像入力部３３から画像データを取得し、画像データ７０に含まれるノイズを除去する前処理を行う（図７のステップＳ１１）。この前処理は、例えば、画像データの縮小拡大処理や、ブラーフィルタによるぼかし処理、メディアンフィルタによる処理など一般的な画像処理方法における前処理を行うものである。

次に、グローブ１１の近辺のみを検出範囲７４として設定する（図７のステップＳ１２）。これは、マーク２の検出時に、グローブ１１以外の場所の画像データ７０を使用して、誤検出することを防止するためである。具体的には、２００万画素のデジタルカメラを使用してｘ軸方向１６００画素、ｙ軸方向１２００画素の画像を取得した場合の画像データ７０を図８に示すように入力した場合について説明する。

図８は、作業対象物１２として、基板７３上のコネクタ受け部７２に対して、コネクタ７１を挿入する作業状況の画像データ７０を示している。この画像データ７０からグローブ１１のマーク２以外の部分の色を抽出して、グローブ１１の外形を求め、その外形の境界部分にマーク２がある場合を考慮して、その外形から５０画素ほど上下左右に広げた矩形領域を検出範囲７４として設定する。

尚、ここではグローブ１１の色を使用して設定しているが、画像データ７０からグローブ１１の外形を抽出できる他の特徴、例えば明度や模様を使用してもよい。また、検出範囲７４の設定を行わなくとも誤検出が発生しない場合は、検出範囲７４の設定する処理は省略して、画像データ７０の全体を検出範囲としてもよい。さらに、検出範囲７４の設定は、グローブ１１の外形寸法が許容基準内にあるかを判定することで、グローブ１１と撮像機器１５との間に適正な距離が取られておらず、画像データ７０上にグローブ１１が大きく写ったり、逆に小さく写ったりするような状況でマーク２の検出を続けることを防止することにもなる。

次に、検出範囲７４からマーク２の親指２３と人差し指２４とのペアのマーク２１および中指２５と薬指２６とのペアのマーク２２の、各色あるいは各模様等のマーク２の特徴から各マーク２１、２２を抽出する（図７のステップＳ１３）。図９は、図８においてこのステップＳ１３を行い、親指２３と人差し指２４とのペアのマーク２１が抽出された状況を示す。

例えば、色によりマーク２の抽出を行う場合には、予めマーク２の色に該当するピクセル値の範囲を判定条件として設定しておき、検出範囲７４内で判定条件に該当するものを抽出するといった方法で実施することができる。また、例えば、模様によりマーク２の抽出を行う場合には、予めマーク２の模様に該当する画像片を設定しておき、検出範囲７４内の各座標において所定の角度回転させた画像片との比較処理を行って一致部分を得ることにより抽出するといった方法で実施することができる。

次に、マーク２１の形状の抽出を行う（図７のステップＳ１４）。具体的には、図１０に示す例のように、先に抽出した図９に示すマーク２１に対して、画像処理方法として一般的な２値化処理と細線化処理とを行い、マーク２１の帯の幅方向の中心を結ぶ線分８０を得る。次に、マーク２１の推定位置および推定方向の推定値を検出する（図７のステップＳ１５）。具体的には、図１０にて抽出したマーク２１の線分８０を走査し、図１０に示すように均等な長さの４つの線分８１、８２、８３、８４に分割した後、図１１のように両端にあたる線分８１、８４の直線近似を求めることで、線分８１、８４の各中点８６、８８を基準に、マーク２１の形状の指先に向いた、有向線分８５、８７をそれぞれ求める。

尚、マーク２が図２に示す以外の、図１７や図１８に示したマーク２の形状であって、推定位置および推定方向の推定値を求める場合であれば、マーク２形状の抽出で得た線分を各々の中点で２つの線分に分割し、手の甲側のマーク２から遠い方、つまり指先側の線分を有向線分として求めることで同様に行うことができる。

そして、有向線分８５、８７のそれぞれの中点８６、８８を推定位置の推定値、有向線分８５、８７のそれぞれの方向を推定方向の推定値とする。ここでは、推定位置は（ｘ軸の画素位置、ｙ軸の画素位置）の組で表す。また、推定方向はｘ軸方向を０として反時計回りを正とした角度で表す。このように求めた推定位置および推定方向の推定値を作業確認部３５に送信する。

次に、作業確認部３５の合否判定について図１２のフローチャートに基づいて説明する。まず、作業確認部３５は、推定位置の推定値と、作業定義部３１から取得する作業位置の判定条件データとを比較して判定を行う（図１２のステップＳ２１）。具体的には、図１３に示すように、作業定義部３１から作業位置の判定条件データとしての基準有向線分２０１、２０３と、作業位置の許容半径Ｒを取得し、それぞれの基準有向線分２０１、２０３の中点２０２、２０４を中心とした作業位置の許容半径Ｒの円を、基準有向線分２０１の中点２０２の判定条件２０５、基準有向線分２０３の中点２０４の判定条件２０６とする。そして、推定位置の推定値として取得済の各有向線分８５、８７の各中点８６、８８が、それぞれの判定条件２０５、２０６の範囲内であれば、作業位置の判定をＯＫとして次のステップに進み、そうでなければＮＧとして合否判定ＮＧ（図１２のステップＳ２４）となる。

さらに具体的には、推定位置の推定値が（３１２、５１３）つまりｘ＝３１２、ｙ＝５１３であり、作業位置の判定条件データの座標値Ｘ＝３１０、Ｙ＝５１０、許容誤差の許容半径Ｒ＝１０であったとすれば、
√（（ｘ−Ｘ）×（ｘ−Ｘ）＋（ｙ−Ｙ）×（ｙ−Ｙ））≒３．６≦Ｒ
となり判定がＯＫとなる。

次に、作業確認部３５は、推定方向の推定値と、作業定義部３１から取得する作業方向の判定条件データとを比較して判定を行う（図１２のステップＳ２２）。具体的には、図１４に示すように、作業定義部３１から、作業方向の許容角度を取得し、それぞれの基準有向線分２０７、２０８を基準に、作業方向の許容角度を当てはめ、各基準有向線分２０７、２０８の方向の判定条件２０９、２１０とする。そして、推定方向の推定値として取得済の各有向線分８５、８７の方向が、各基準有向線分２０７、２０８の方向の判定条件２０９、２１０の範囲内であれば、作業方向の判定をＯＫとして、合否判定ＯＫとなり（図１２のステップＳ２３）、そうでなければＮＧとして合否判定ＮＧ（図１２のステップＳ２４）となる。

さらに、具体的には、例えば作業方向の許容角度の基準値θと、許容誤差の相対角度φ、推定方向の推定値をｐとすれば、
｜ｐ−θ｜≦φ
となり判定がＯＫとなる。

そして、作業位置および作業方向の合否判定の結果を、表示器１７の作業結果画面４３に出力する。作業指示画面４２および作業結果画面４３は、表示器１７に表示し、作業者１３が確認する。各画面は別の画面として表示もよいし、統合した一つの画面として表示してもよい。図１５に作業指示画面４２および作業結果画面４３を統合して一つの画面として表示器１７に表示する例を示す。作業名９１、作業指示図９２、作業指示メッセージ９３を表示することで、作業者１３に作業内容を伝える。

作業指示図９２には、使用する部材や作業対象物１２とグローブ１１との位置関係を図示する。ここでは、グローブ１１全体の代わりに、親指人差し指ペアのマーク２１のみを表示している。さらに、組立台数の目標／実績９４、画像データ９５、作業確認状態表示９６によって作業者１３に作業状況および作業結果を伝える。画像データ９５には、画像入力部３３が入力した画像データを表示する。作業確認状態表示９６には、作業確認部３５の出力する作業位置および作業方向の合否判定結果や、作業中の状況を示すメッセージを表示する。

作業対象変更ボタン９７は、作業対象物１２の種類を変更することを制御機器１８に通知し、作業対象の選択画面に推移して、作業対象物１２の種類を選択することで、作業対象を変更することができる。これは、作業定義部３１には予め作業対象物１２の種類に対応した作業指示データが蓄積されており、作業対象変更ボタン９７を選択した場合には、作業定義部３１から必要となる作業指示データを取得して、作業名９１および作業指示図９２の表示内容を変更する。

上記のように構成された実施の形態１の作業確認システムは、作業員の装着したグローブのマークにより作業内容の合否判定を行うことができるため、組立作業における、様々な形状の道具を使用した作業や、道具を使用しない作業に対しても、作業内容を確認することができる。また、作業位置および作業方向を確認することにより作業内容を確認および改善点を確認することができる。

実施の形態２．
図１８はこの発明の実施の形態２における作業確認システムの作業確認部の動作を示したフローチャートである。本実施の形態２における作業確認部３５は、作業位置および作業方向の判定の際に、作業位置および作業方向の両者の判定がＯＫとなる状態が維持される時間（作業位置、または作業方向の両者の判定がＮＧとなるまでの時間）である作業維持時間を計測し、作業指示データに予め設定した作業維持時間の下限値および作業維持時間の上限値の間である場合に、合否判定値をＯＫとし、そうでない場合に合否判定値をＮＧとするものである。

よって、本実施の形態２における作業定義部３１の作業指示データには、作業指示図、作業指示メッセージ、タイムアウト時間、検出範囲の判定条件に加えて、作業維持時間の下限値および作業維持時間の上限値を含むものとする。例えば、作業維持時間の下限値および上限値はそれぞれ、秒単位の浮動小数点数の数値で表すものとする。他の構成は上記実施の形態１であるためその説明は適宜省略する。

次に実施の形態２における作業確認システムの動作について説明する。作業確認部３５の以下に示す動作以外は、上記各実施の形態と同様であるためその説明を適宜省略する。作業確認部３５は、処理の最初に作業維持時間の計測を開始する（図１８のステップＳ３１）。次に、上記実施の形態１と同様に、作業位置の判定（図１８のステップＳ２１）、および、作業方向の判定を行う（図１８のステップＳ２２）。

そして、ステップＳ２１およびステップＳ２２にて、判定がＯＫの場合には、再びステップＳ２１に戻り、上記に示した動作を繰り返す。また、ステップＳ２１およびステップＳ２２にて、判定がＮＧの場合には、作業が終了したと判断し、作業維持時間の測定を完了する（図１８のステップＳ３２）。すなわち、作業位置および作業方向の判定がＮＧとなるのは、作業内容の作業位置および作業方向から外れたことを示し、作業内容が終了した場合、または、次の作業内容へ移る場合、または、作業内容が合致していない場合などが考えられる。

次に、作業定義部３１に格納されている作業維持時間の最小値および作業維持時間の最大値から作業維持時間の合否判定を行う（図１８のステップＳ３３）。そして、判定がＯＫの場合には、作業判定がＯＫとなる。また、判定がＮＧの場合には、作業判定がＮＧと判定され作業判定を終了する。

上記のように構成された実施の形態２の作業確認システムによれば、上記実施の形態１と同様の効果を奏するのはもちろんのこと、作業維持時間を判定することができるので、作業維持時間が短すぎる場合や長すぎる場合に作業完了と見なさず、より正確に作業内容を確認することができる。

実施の形態３．
図１９はこの発明の実施の形態３における作業確認システムの表示器に表示される表示例を示した図である。本実施の形態３においては、作業確認システムの作業確認は上記各実施の形態と同様に行うことができるためその説明は適宜省略し、本実施の形態３においては、作業結果を用いる作業分析部を備えるものについて説明する。まず、作業分析部は、結果記録部３６の作業結果データから、複数の作業対象物１２に対する各作業内容の開始時刻と各作業内容の終了時刻とを取得する。次に、各終了時刻と各開始時刻との差から各作業内容の各作業時間をそれぞれ求める。次に、複数の作業対象物１２に対する標準偏差を計算し、各作業の時系列順を横軸とし、作業時間の標準偏差を縦軸とした棒グラフを求め、表示器１７に表示する（図１９（ａ））。

また、各作業内容の推定位置の標準偏差および推定方向の標準偏差をそれぞれ求めて、各作業内容の時系列順を横軸とし、各作業内容の推定位置の標準偏差および推定方向の標準偏差を縦軸とした棒グラフを求めて、表示器１７に表示する（図１９（ｂ）、（ｃ））。このようなグラフを表示することで、一連の作業の中で、作業時間が長いものや、その標準偏差が大きいもの、推定位置や推定方向の標準偏差の大きいものを抽出して、改善すべき作業を明らかにすることができる。

上記のように構成された実施の形態３の作業確認システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんのこと、結果記録部に蓄積された推定位置の標準偏差、推定方向の標準偏差、および、推定時間の標準偏差を確認することができる。

実施の形態４．
本実施の形態４においては、制御機器１８に、結果記録部３６に蓄積された作業結果データの中から見本となる作業データを選択して、見本作業データとして作業定義部３１に登録する見本作業選択部を備える例について説明する。この場合、画像入力（図６のステップＳ３）時において、入力した画像データを結果記録部３６の作業結果データに含めて記録する。この画像データの記録は、例えば０．５秒などの一定間隔で行い、ビットマップ画像または動画としてＭＪＰＥＧなどの各種の圧縮処理を用いて記録する。他の構成は上記各実施の形態と同様であるためその説明は適宜省略する。

次に上記のように構成された実施の形態４における作業確認システムの動作について説明する。見本作業選択部の以下に示す動作以外は、上記各実施の形態と同様であるためその説明を適宜省略する。見本作業選択部は、結果記録部３６の作業結果データの内、作業時間の長さが最適なもの、または、作業時間の標準偏差が最適なもの、または、推定位置および推定方向の推定値の標準偏差が最適なものを見本作業として選択する（図２０のステップＳ４０）。次に、この選択した作業結果データを見本作業データとして作業定義部３１に登録する（図２０のステップＳ４１）。

次に、作業指示部３２は、作業定義部３１から作業指示データおよび見本作業データを取得する（図２０のステップＳ４２）。次に、表示器１７の作業指示画面４２に、作業指示データおよび見本作業データの両者を、交互に、あるいは同時に表示する（図２０のステップＳ４３）。例えば作業指示データは、作業指示図および作業指示メッセージ、見本作業データは、見本作業データのビットマップ画像または動画を表示するものである。これにより、作業者１３に見本作業データを示すことができる。

上記のように構成された実施の形態４の作業確認システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんこと、見本作業データを表示することができるため、作業者に作業内容の改善を促すことができる。

実施の形態５．
上記各実施の形態においては、グローブを装着する作業者の個人差に対応する場合については特に示していないが、本実施の形態５においては、作業者の個人差に対応する場合について説明する。図２１はこの発明の実施の形態５における作業確認システムの個人差補正用マークの構成を示す図、図２２はこの発明の実施の形態５における作業確認システムの動作を示したフローチャートである。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。個人差補正用マーク１００は、個人差を補正するための処理を行うためのものであり、例えば色、輝度、模様に特徴があり画像処理部３４により一般的な画像処理方法で容易に検出できるようなものある。例えば、赤色の樹脂製球が考えられる。

本実施の形態５において作業定義部３１は、作業指示データとして、作業指示図、作業指示メッセージ、タイムアウト時間、検出範囲の判定条件に加えて、作業位置の基準値、作業者１３の作業位置の個人差補正値を含むものとする。例えば、作業位置の基準値および個人差補正値はピクセル単位の長さとする。そして、個人差補正値は、作業者１３を識別する文字列をキーとして、各キーに対応した値を保持する辞書形式のデータ構造に格納することにより、作業者１３毎に個人差補正値を格納するものである。

次に上記のように構成された実施の形態５における作業確認システムの動作について説明する。作業内容の作業位置の基準値および作業者１３の作業位置の個人差補正値を含める動作以外は、上記各実施の形態と同様であるためその説明を適宜省略する。まず、作業者１３によって、図２１に示すように、個人差補正用マーク１００を親指２３と人差し指２４とによって保持させる。そしてこの状態を撮像機器１５にて撮影して作業者１３が個人差補正用マーク１００を保持した状態のマーク２を撮影した補正用画像データを取得する（図２２のステップＳ５０）。

次に、画像処理部３４によって個人差補正用マーク１００の検出位置から作業位置までの長さを求め、この長さを作業位置の個人差補正値ｈを検出する（図２２のステップＳ５２）。この作業位置の個人差補正値ｈの登録は、上記各実施の形態において示した、作業指示準備のステップＳ１より前の段階にて作業を行う。既に登録された状態であれば、次回の作業からは作業の開始時に作業者１３を識別する文字列を入力すれば、その文字列をキーとして過去に登録した作業位置の個人差補正値ｈを参照し、制御機器１８を再度停止するまでは当該登録作業は省略する。

そして、作業内容を判定する場合おいて、ステップＳ４を経て、推定位置と推定方向との推定値を検出した後、作業定義部３１に登録されている作業位置の基準値ｂおよび個人差補正値ｈを抽出して推定値を修正する。具体的には、作業方向の推定値角度ｔ、作業位置の推定位置（ｘ、ｙ）、作業位置の個人差補正値ｈ、基準値ｂより、下記式に示すように行い、反映された推定位置の推定値の修正値（Ｘ’、Ｙ’）が算出される。
Ｘ’＝ｘ−（ｈ−ｂ）×ｃｏｓ（ｔ）
Ｙ’＝ｙ−（ｈ−ｂ）×ｓｉｎ（ｔ）
この補正された推定値（Ｘ’、Ｙ’）を、推定位置と推定方向の推定値（修正値）として、以後のステップＳ５から上記各実施の形態と同様に動作を行い判定を行う。

上記のように構成された実施の形態５の作業確認システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんこと、グローブを装着する個人差に、親指および人差し指の長さの個人差によらず合否判定を行うことができる。

実施の形態６．
上記各実施の形態においては撮像機器１５を固定して備える例を示したが、これに限られることはなく、本実施の形態６においては、撮像機器を可搬型とする場合について説明する。図２３はこの発明の実施の形態６における作業確認システムの構成を示す図、図２４は図２３に示した作業確認システムの撮像機器の構成を示す図、図２５は図２３に示した作業確認システムの位置基準マークを示した図である。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。このように可搬型の撮像機器を使用する場合には、図２３に示すように、作業対象物１２または作業対象物１２を位置決めする治具に、位置基準マーク１０３を設置して、撮像機器１０１にてこの位置基準マーク１０３を撮影することにより撮影位置を確定するものである。

可搬型の撮像機器１０１としては、作業者１３が装着可能なヘッドマウント型の撮像機器１０１が考えられる。撮像機器１０１は、カメラ本体１１１、カメラレンズ１１２、ベルト１１３、バックル１１４、１１５とにて構成され、作業者１３の額や作業帽などに装着することができる。そして、位置基準マーク１０３は、例えば図２３および図２５に示すように、作業対象物１２の四隅に表示することが考えられる。尚、図２５は、図２３において四隅に表示した位置基準マーク１０３ａ、１０３ｂ、１０３ｃ、１０３ｄの拡大した図を示すものである。

次に上記のように構成された実施の形態６における作業確認システムの動作について説明する。画像処理部３４の以下に示す動作以外は、上記各実施の形態と同様であるためその説明を適宜省略する。画像処理部３４は、画像信号に写る各位置基準マーク１０３ａ、１０３ｂ、１０３ｃ、１０３ｄを検出して、推定位置および推定方向の推定値を、各位置基準マーク１０３ａ、１０３ｂ、１０３ｃ、１０３ｄと、グローブ１１との位置関係から求めることができる。

上記のように構成された実施の形態６の作業確認システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんこと、撮像機器が可搬型であるため、固定した撮像機器では障害物などで作業位置が隠れてしまうような状況であっても、撮影位置と方向を変えて画像信号を得ることができる。特にヘッドマウント型の撮像機器であれば、作業者から見た作業状況に近い画像信号が得られるため、障害物などで作業位置が隠れることが少ないと考えられる。

実施の形態７．
上記各実施の形態においては撮像機器を１台の例を示したが、これに限られることはなく、複数台の撮像機器を用いて、各撮像機器が作業状況を撮影できるように配置することも可能である。図２６はこの発明の実施の形態７における作業確認システムの構成を示す図である。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。撮像機器１５は、第一撮像機器１５ａと第二撮像機器１５ｂとの複数台から構成される。

上記のように構成された実施の形態７の作業確認システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんこと、一方向からの撮像では死角となる部分において作業位置（グローブのマークの位置、マークの示す方向）を検出することができる。この場合、作業判定は、最も位置検出に望ましい撮像機器の画像を用いるよう、予め選択しておき、作業判定データを作成しておけばよい。

尚、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

２マーク、３右手、１１グローブ、１２作業対象物、１３作業者、
１４作業机、１５撮像機器、１５ａ第一撮像装置、１５ｂ第二撮像装置、
１６支持台、１７表示器、１８制御機器、１９画像信号入力線、
２０表示信号出力線、２１マーク、２２マーク、２３親指、２４人差し指、
２５中指、２６薬指、３１作業定義部、３２作業指示部、３３画像入力部、
３４画像処理部、３５作業確認部、３６結果記録部、４１設定画面、
４２作業指示画面、４３作業結果画面、５０マーク、５１マーク、
５２マーク、５３マーク、５４マーク、５５マーク、５６マーク、
５７マーク、５８マーク、５９マーク、６０マーク、６１マーク、
７０画像データ、７１コネクタ、７２コネクタ受け側、７３基板、
７４検出範囲、８１線分、８２線分、８３線分、８４線分、８５有向線分、８６中点、８７有向線分、８８中点、９１作業名、９２作業指示図、
９３作業指示メッセージ、９４組立台数の目標／実績、９５画像信号、
９６作業確認状態表示、９７作業対象変更ボタン、９８作業中断ボタン、
１００個人差補正用マーク、１０１撮像機器、１０２無線通信経路、
１０３位置基準マーク、１１１カメラ本体、１１２カメラレンズ、
１１３ベルト、１１４バックル、１１５バックル、１２１位置基準マーク、
１２２位置基準マーク、１２３位置基準マーク、１２４位置基準マーク、
１３１撮像機器、１３２撮像機器、２０１基準有向線分、２０２中点、
２０３基準有向線分、２０４中点、２０５判定条件、２０６判定条件、
２０７基準有向線分、２０８基準有向線分、２０９判定条件、２１０判定条件。

Claims

作業者が行う作業内容を確認する作業確認システムにおいて、
前記作業者が手に装着し、前記手の甲から指先にかけての方向性があるマークを有するグローブと、
前記グローブの前記マークを撮影する撮像機器と、
前記撮像機器にて撮影した前記マークの画像データと前記作業内容とを比較して合否判定を行う制御機器とを備え、
前記制御機器は、
前記作業内容を判定するための前記作業内容の作業位置および作業方向の判定条件データが格納されている作業定義部と、
前記画像データから前記マークの推定位置および推定方向を検出する画像処理部と、
前記推定位置および前記推定方向と、前記作業定義部の前記判定条件データとを比較して前記作業内容の前記合否判定を行う作業確認部とを備え、
前記画像処理部が検出した前記推定位置および前記推定方向と、前記作業確認部の前記合否判定とからなる作業結果データを蓄積する結果記録部と、
前記結果記録部に蓄積された前記推定位置の標準偏差と前記推定方向の標準偏差とを分析する作業分析部とを備えた作業確認システム。
作業者が行う作業内容を確認する作業確認システムにおいて、
前記作業者が手に装着し、前記手の甲から指先にかけての方向性があるマークを有するグローブと、
前記グローブの前記マークを撮影する撮像機器と、
前記撮像機器にて撮影した前記マークの画像データと前記作業内容とを比較して合否判定を行う制御機器とを備え、
前記制御機器は、
前記作業内容を判定するための前記作業内容の作業位置および作業方向の判定条件データが格納されている作業定義部と、
前記画像データから前記マークの推定位置および推定方向を検出する画像処理部と、
前記推定位置および前記推定方向と、前記作業定義部の前記判定条件データとを比較して前記作業内容の前記合否判定を行う作業確認部とを備え、
前記作業定義部は、前記判定条件データに前記作業内容の時間を有し、
前記画像処理部は、前記画像データから作業の推定時間を検出し、
前記作業確認部は、前記推定時間を加えて、前記作業定義部の前記判定条件データとを比較して前記作業内容の前記合否判定を行い、
前記画像処理部が検出した前記推定位置、前記推定方向、および前記推定時間と、前記作業確認部の前記合否判定とからなる作業結果データを蓄積する結果記録部と、
前記結果記録部に蓄積された前記推定位置の標準偏差、前記推定方向の標準偏差、および、前記推定時間の標準偏差を分析する作業分析部とを備えた作業確認システム。
前記グローブの前記マークは、色、明度、形状、および大きさを用いて前記方向性を有するように構成されている請求項１または請求項２に記載の作業確認システム。
前記結果記録部の前記作業結果データから前記作業内容の見本となる見本作業データを選択する見本作業選択部を備えた請求項１から請求項３のいずれか１項に記載の作業確認システム。
前記作業定義部は、前記作業内容の作業位置の基準値および前記作業者の作業位置の個人差補正値を有し、
前記作業確認部は、前記推定位置および前記推定方向を、前記基準値および前記個人差補正値を使用して修正して前記合否判定を行う請求項１から請求項４のいずれか１項に記載の作業確認システム。
前記撮像機器は、前記作業者が個人差補正用マークを保持した状態の前記マークを撮影した補正用画像データを取得し、
前記画像処理部は、前記補正用画像データから前記個人差補正値を求めて前記作業定義部に格納する請求項５に記載の作業確認システム。
前記作業内容および前記合否判定を表示する表示器を備えた請求項１から請求項６のいずれか１項に記載の作業確認システム。
前記撮像機器は、可搬型にて構成されている請求項１から請求項７のいずれか１項に記載の作業確認システム。