JP7066976B2 - 作業支援装置、作業支援プログラム - Google Patents

Description

本発明は、予め定められている作業手順に従って行われる作業を支援する作業支援装置、作業支援プログラムに関する。

従来、製造現場では、例えばプリント基板や製造途中の装置等に対して、手作業で部品を組み付ける組み付け作業等が行われることがある。このような作業は、予め定められている作業手順に従って行われるものの、一般的に複数の工程が含まれていること、また、組み付け作業であれば一般的に複数種類の部品を組み付けること等の理由により、部品を付け忘れたり取り違えたりする可能性がある。そのため、例えば特許文献１では、部品箱側に重量センサ等の検出手段を設け、部品箱から取り出された部品が作業手順に適合したものであるか否かを判定することが提案されている。

特開２０１０－２１１６２３号公報

しかしながら、異なる製品に対して作業をする場合には組み付ける部品の種類や数等も異なるため、検出手段を再設置したり、作業手順と対応付けるプログラムを変更したりする必要がある。そのため、作業対象となる製品を変更する際に、多大な労力が必要になるという問題がある。

また、複数種類の部品を組み付ける場合、重量センサや取り出し確認ボタン等の検出手段を部品箱側に設けると、部品の数に比例して設備コストが増加することに加えて、検出手段の設置や作業手順との対応付け等に多大な労力を要するという問題がある。さらに、生産性の低下を抑制するためには、組み付け作業以外の動作をなるべく作業者が行う必要がないようにすることが望ましい。

そこで、設置作業や設定作業あるいは移行作業を容易に行うことができ、設備コストの増加を抑制しつつ、作業者の負担になることなく作業を支援することができる業支援装置、作業支援プログラムを提供する。

請求項１に記載した発明では、撮像部の撮像範囲内に作業を監視する範囲を示す監視領域を作業手順に応じて設定し、撮像した画像の監視領域に該当する部分と当該画像よりも前の時点で撮像した他の画像における監視領域に該当する部分とを比較することにより、管理領域を対象として動態検出を行い、動態検出の検出結果に基づいて作業手順に従って行われたか否かを判定し、その判定結果を作業者に対して報知する。

撮像部は、一般的にある程度の範囲を撮像することができる。そのため、例えば組み付け作業において使われる部品が複数種類であり、作業台に複数の部品箱が配置されている場合であっても、それぞれの部品箱を一括で撮像することができる。換言すると、監視すべき場所が複数存在していても、それぞれの場所にセンサ等の検出手段を設ける必要無く、複数の場所を監視することが可能になる。これにより、作業の工程数や部品の種類が多い場合等であっても、コストが大きく増加してしまうことを抑制できる。

また、作業を監視する範囲を示す監視領域は、作業手順に応じて撮像部の撮像範囲内に設定される。この場合、例えば部品箱の数や位置が変化したり撮像部の取り付け位置を変更したりした場合であっても、監視領域の位置を移動するだけで正しく監視を行うことができる。これにより、設置作業や設定作業あるいは移行作業を容易に行うことができる。

そして、時系列で前後して撮像された例えば２枚の画像を比較する動態検出の検出結果に基づいて、組み付け作業が作業手順に従って行われているか否かを判定する。つまり、作業の監視は、撮像部で撮像した画像に基づいて行われる。より厳密には、動態検出は、画像の全体ではなく、監視領域に該当する範囲に対して行われる。

一般的な画像処理のように画像全体を対象とすると、間違った部品箱に手を伸ばした場合であっても、画像としては差異が出る状態になることから、動態として検出されてしまう。その場合、正しい部品箱の位置であるか否かを判定しようとすると、例えば画像変化位置の特定をする検査ルーチンをプログラムに組み込む必要が出てくる。しかし、そのような検査ルーチンを組み込んだとしても、例えば正しい部品箱から部品を取った後にその手が別の部品箱の上空を横切ったといった状況が発生すると、正しい作業をしているにも関わらずエラーが発生してしまうという不具合が生じる。

そこで、画像の全体ではなく、監視領域に該当する範囲に対して動態検出を行うことにより、上記した不具合が生じないようにすることができる。また、動態検出を行う領域を限定することで、処理負荷の低減を図ることもできる。

また、例えば確認ボタンの操作等をする必要がなく、また、１つの部品の差を検出できるような敏感な重量センサ等が設けられている訳でもなく、さらには、部品を取取り出す際の手の位置を気にする必要も無いこと等から、部品の取り出しに作業者が気を遣う必要もない。そのため、実際に作業を行う作業者の肉体的および精神的な負担を招くことがなく、また、作業者に通常の組み付け作業以外の動作を求めることも無いことから、生産性が低下してしまうおそれを低減することができる。

また、複数の監視場所を一括で撮像する場合には、１つの監視場所を拡大して撮像する場合に比べると、個々の監視場所が相対的に小さく撮像されることになる。その場合、いわゆる画像認識によって個々の部品を識別することで正しい部品が取得されたか否かを判定することは、困難になる。また、通常であれば部品箱には複数の部品が貯留されており、それらの部品が積み重なっていたり振動等で崩れたりすること等が想定されるため、個々の部品を認識する手法を採用すること自体がそもそも困難でもある。

また、例えば組み付け作業は、業務として行われるものであることから、その作業中に作業者が無駄な動作をすることは少ないと考えられる。そのため、監視領域を例えば部品箱に設定した場合には、監視領域に生じた変化は、作業者が部品箱に手を伸ばしたことによって生じると考えられる。そして、作業者が部品箱に手を伸ばしたのであれば、その部品箱から部品を取り出したと判断することができる。

このように、予め定められている作業手順に従った作業を監視対象としている場合には、画像認識のような物体の識別を行わなくても、工程に応じて設定される監視領域に変化が生じたことを以て、正しい作業が行われていると判断することができる。つまり、動態検出によって作業を監視することができる。

また、動態検出は画像認識に比べると一般的に処理に要する負荷が少ないこと、また、上記したように複数の監視場所を一括で撮像する場合であっても監視対象に設定される範囲は画像の一部の領域であることから、比較的小型のマイクロコンピュータであっても、動態検出に基づく監視を行うことができ、装置の小型化および低コスト化を図ることができる。

そして、作業手順に従って作業が行われたか否かの判定結果を作業者に対して報知することにより、誤った作業が行われた際には誤っている旨が報知されるため正しい手順で作業し直すことができ、正しい作業が行われた際には正しい旨が報知されるため安心して次の作業に移行できる等、作業を支援することができる。

したがって、設置作業や設定作業あるいは移行作業を容易に行うことができ、設備コストの増加を抑制しつつ、作業者の負担になることなく組み付け作業を支援することができる。

また、請求項５に記載した作業支援プログラムの発明によっても、請求項１に記載した発明と同様に、設置作業や設定作業あるいは移行作業を容易に行うことができ、設備コストの増加を抑制しつつ、作業者の負担になることなく組み付け作業を支援することができる。

また、監視領域として設定可能な範囲を示す複数の対象領域を互いに重ね合わせ可能に予め設定するとともに、監視領域に設定可能な複数の対象領域を予め設定するとともに、設定した対象領域のうちの１つを監視領域に設定する。

例えば組み付け作業は、予め定められている作業手順に従って部品を組み付ける作業であるが、一般的な作業要領書では、１つの工程において組み付ける部品は１つとされている。そのため、ある工程において正しい部品が取り出されたと判定された場合には、正しくない部品は取り出されなかったと判断することができる。逆に、正しい部品が取り出されなかったと判定された場合には、誤った部品が取り出された可能性があると判断することができる。

つまり、ある工程において監視すべき範囲はその工程に対応した例えば部品箱であり、その際には、他の部品箱等を監視する必要は無いと考えられる。また、作業に複数の部品を用いる場合、作業の効率化の面から部品箱同士を比較的近づけて配置すると考えられる。その場合、対象領域同士も近くに設定されることになるが、複数の対象領域を同時に監視領域に設定すると、目的の部品を取り出そうとする際に隣の部品箱の上を手が通ることで誤判定を招くおそれがある。

そこで、複数の対象領域を設定した場合であってもそのうちの１つを監視領域として設定することにより、換言すると、１つの工程においては１つの領域のみを監視することにより、誤判定するおそれを低減することができるとともに、他の領域を敢えて監視しないことにより、処理の負荷を低減することができる。

このとき、同一種類の部品を何個か組み付ける作業等も想定されるため、複数の対象領域を互いに重ね合わせ可能とすることで、異なる工程において同一種類の部品を同じ部品箱から取り出すような作業にも対応することができる。

請求項２に記載した発明では、監視領域の監視を終了した後、予め設定されている待機時間が経過した後に、次の監視領域の監視を開始する。上記したように、部品箱同士が近くに配置される場合、対象領域同士も近くに設定されるため、ある監視領域の監視が終了して直ぐに次の監視領域の監視を開始すると、誤判定を招くおそれがある。
そこで、例えば作業者の手が移動するのに要すると想定される時間等に基づいて待機時間を設定し、監視領域の監視を終了した場合には待機時間が経過した後に次の監視領域の監視を開始することにより、誤判定するおそれを低減することができる。

請求項３に記載した発明では、監視領域を監視する時間の上限を示す監視時間を設定し、監視時間内における動態検出の検出結果に基づいて作業が作業手順に従って行われているか否かを判定する。
これにより、作業の遅延を報知することができる。また、事前テスト等により標準的な作業に要する時間を測定し、その時間を監視時間として設定すれば、作業のペースメーカー的な機能を持たせることもできる。

請求項４に記載した発明では、作業者の手を対象として動態検出を行い、監視領域内で作業者の手を検出した場合に作業手順に従って行われていると判定する一方、監視領域内で作業者の手を検出しなかった場合に作業手順に従って行われていないと判定する。

動態検出は、上記したように組み付け作業に適した手法であるものの、物体の認識はしていないことから、例えば部品箱に帽子の影が落ちた場合等に誤判定するおそれがある。そのため、作業者の手を対象として動態検出を行うことにより、換言すると、手の大きさや明るさに対応した変化を検出することにより、部品の取り出しが行われたか否かを精度良く特定することができる。

実施形態の作業支援装置の設置態様を模式的に示す図 部品箱の配置態様を模式的に示す図 作業支援装置の電気的構成を示す図 作業手順とシナリオデータの一例を示す図 対象領域の設定態様を模式的に示す図その１ 対象領域の設定態様を模式的に示す図その２ 作業支援装置による監視処理の流れを示す図 動態検出の検出態様の一例を模式的に示す図 表示部による報知態様の一例を模式的に示す図 対象領域の他の設定態様を模式的に示す図

以下、実施形態について図面を参照しながら説明する。
図１に示すように、本実施形態の作業支援装置１は、表示装置２、制御装置３および撮像部４を備えている。この作業支援装置１は、例えば作業台５等に設けられており、作業者Ｍによる組み付け作業、特には、予め定められている作業手順に従って行われる組み付け作業順序を支援する装置である。

組み付け作業が行われる作業台５には、プリント基板や組み付け対象の装置等のワーク６が配置される。この作業台５には、一般的には作業者Ｍの前方側に、ワーク６に組み付けるための部品９（図２参照）を貯留する部品箱７が例えば棚８等に配置されている。このとき、組み付け作業では一般的に複数種類の部品９の組み付けが行われるため、図２にも示すように、作業台５には複数の部品箱７が配置されることがある。

図２の場合、４つの部品箱７Ａ～部品箱７Ｄが配置されており、それぞれの中に、部品９Ａ～部品９Ｄが貯留されている状態を模式的に示している。なお、部品箱７の配置は一例であり、部品箱７の種類や数はこれに限定されるものではない。例えば部品箱７は、２段になるように配置されることもある。

表示装置２は、例えば液晶ディスプレイ等によって構成されている表示部２ａを有している。この表示部２ａには、詳細は後述するが、組み付け作業を監視する範囲を示す対象領域やその設定画面（図５、図６参照）、実際に監視する範囲を示す監視領域（図９参照）等が、撮像部４で撮像した画像とともに表示される。

本実施形態の場合、表示装置２は、１０インチ程度の比較的小型で薄型のものを採用しており、図１に示すように作業者Ｍが視認可能な例えば作業台５の背板に着脱可能に取り付けられている。また、表示装置２は、外部の装置との間で各種の信号を入出力可能な端子部を備えている。本実施形態では、端子部として映像信号を入力可能な周知の規格のものを採用している。

制御装置３は、いわゆるスティックＰＣと称される非常に小型のパソコンであり、図３に示すように、制御部３ａ、画像出力端子３ｂを備えている。本実施形態では画像出力端子３ｂが表示装置２の端子部に接続されている。このため、表示装置２と制御装置３とは、ほぼ一体のものとして持ち運び等をすることができる。つまり、表示装置２を作業台５から取り外せば、制御装置３も一緒に取り外すことができる。なお、図３に示す接続態様は一例であり、例えば表示装置２側の端子部が背面にあれば、制御装置３も表示装置２の背面側に接続されることになる。また、制御装置３は、いわゆるタブレット型の端末やモニター一体型のパソコン等で表示装置２と一体の構成することもできる。

この制御装置３は、詳細は後述するが、作業手順を特定可能なシナリオデータ（図４参照）を記憶している。なお、例えば制御装置３を上位のコンピュータ等に接続し、上位のコンピュータからシナリオデータを取得したりシナリオデータを変更したりする構成とすることもできる。

また、制御部３ａは、図示しないＣＰＵ、ＲＯＭおよびＲＡＭ等を有するマイクロコンピュータで構成されている。制御部３ａは、ＲＯＭ等の記憶部に記憶されているコンピュータプログラムを実行することにより制御装置３を制御する。この制御部３ａは、設定部および設定部に相当する。

設定部は、詳細は後述するが、撮像部４の撮像範囲内に作業を監視する範囲を示す監視領域を作業手順に応じて設定する。また、設定部は、監視領域として設定可能な範囲を示す複数の対象領域を互いに重ね合わせ可能に設定するとともに、設定した対象領域のうちの１つを監視領域に設定する。また、設定部は、監視領域を監視する時間の上限を示す監視時間を設定する。

判定部は、詳細は後述するが、撮像部４で撮像した画像の監視領域に該当する部分と、当該画像よりも前の時点で撮像した他の画像における監視領域に該当する部分とを比較することにより監視領域に対して動態検出を行い、動態検出の検出結果に基づいて作業手順に従って作業が行われたか否かを判定する。このとき、判定部は、監視領域の監視を終了した後、予め設定されている待機時間が経過した後に次の監視領域の監視を開始する。

また、判定部は、監視時間内における動態検出の検出結果に基づいて作業が作業手順に従って行われているか否かを判定する。また、判定部は、作業者Ｍの手を対象として動態検出を行い、監視領域内で作業者Ｍの手を検出した場合に作業手順に従って行われていると判定する一方、監視領域内で作業者Ｍの手を検出しなかった場合に作業手順に従って行われていないと判定する。

撮像部４は、例えばＣＣＤカメラやＣＭＯＳカメラで構成されており、組み付け作業に用いられる部品箱７を少なくとも含む範囲を動画または静止画で撮像する。本実施形態では、撮像部４は３０フレーム／秒で連続静止画を撮像する。この撮像部４は、例えば作業台５の上部等、少なくとも組み付け作業に用いる部品箱７を撮像可能な位置に取り付けられている。

また、撮像部４は、作業者Ｍの視野を妨げないように、作業者Ｍよりも上方となる位置に取り付けられている。この撮像部４で撮像された画像は、有線または無線の通信方式によって制御装置３に送られて表示部２ａに表示される。

この制御装置３には、ランプ１０およびスピーカ１１が接続されている。ランプ１０は、詳細は後述するが、作業者Ｍが行った作業が作業手順に従ったものであるか否かを視覚的に作業者Ｍに報知する。スピーカ１１は、詳細は後述するが、作業者Ｍが行った作業が作業手順に従ったものであるか否かを音声またはチャイムにて作業者Ｍに報知する。これらランプ１０およびスピーカ１１は、報知部に相当する。

次に、上記した構成の作用について説明する。
作業支援装置１が支援する組み付け作業は、予め定められている作業手順に従って行われるものの、一般的には複数の工程が含まれており、組み付ける部品９の種類も複数である場合が多い。また、１回の組み付け作業において、１種類の部品９を何度か組み付けることもある。

そのため、組み付け作業時には、部品９を付け忘れたり取り違えた部品を組み付けたりするミスが発生する可能性がある。このとき、作業者Ｍ自身がチェック作業を行うと、人為的ミスの可能性があること、また、やり直し作業により、生産性が低下するおそれがあることから、自動的にミスを検出できることが望ましい。

この場合、例えば重量センサや光電センサ等の各種の電気的センサや確認ボタン等、正しい部品９が取り出されたか否かを検出する検出手段を部品箱７に設け、その検出結果を作業手順と対比することにより、ミスを検出することが考えられる。しかし、上記したように複数種類の部品９を使うことがあるため、部品箱７側に検出手段を設けると、部品９の数や種類に比例して設備コストが増加してしまう。

また、検出手段の設置や作業手順との対応付け等に多大な労力を要するとともに、異なる製品に対して組み付け作業を行う場合には検出手段を設置し直す必要があり、最初に設置したときだけでなく、製品を変えたり作業手順を変更したりする際にも多大な労力が必要になってくる。

そこで、作業支援装置１は、以下のようにして、設置作業や設定作業あるいは異なる製品を対象とする場合や異なり作業場所で作業を行う際の移行作業を容易に行うことができ、設備コストの増加を抑制しつつ、また、作業者Ｍの負担になることなく組み付け作業を支援することができるようにしている。

ここで、まず、作業支援装置１で用いるシナリオデータについて説明する。シナリオデータとは、作業支援装置１が組み付け作業を監視するために用いるデータである。例えば、図４に示すように、作業名がＸＸＸの作業手順として、第１工程から第４工程までの４つの工程を含み、第１の工程では部品９Ａを組み付け、第２の工程では部品９Ｂを組み付け、第３の工程では部品９Ｃを組み付け、第４の工程では部品９Ｄを組み付けることが定められているとする。

そして、この作業手順に定められている各工程と、各工程において監視すべき領域とを対応付けたものが、例えばプログラム名がＸＸＸのシナリオデータとして登録される。この監視すべき領域は、対象領域に相当し、図４にはエリアＮｏ．として示されている。

このシナリオデータは、監視順を作業者Ｍが変更することはないが、対象領域の設定あるいは変更は作業者Ｍが行うことができる。具体的には、図５に示すように、表示部２ａには、撮像部４で撮像した画像、対象領域を示す枠線（Ｋ１～Ｋ４）、各種の操作ボタン等が表示されている。そして、「設定モード」ボタンが操作されると、対象領域の設定あるいは変更が可能な設定モードに移行する。

設定モードにおいて「選択」ボタンが操作されると、予め登録されているシナリオデータの一覧が表示され、その中から対象となるシナリオデータが選択される。例えば上記したプログラム名がＸＸＸのシナリオデータが選択されると、作業手順の各工程が特定され、特定された工程の数に応じた例えば４つ対象領域を示す枠線（Ｋ１～Ｋ４）が自動的に画像上に表示される。そして、作業者Ｍは、作業要領書等を見ながら、枠線の位置や大きさを適宜変更する。

具体的には、第１の工程では部品９Ａを組み付けるため、表示されている画像中の部品箱７Ａを囲うように、枠線（Ｋ１）の位置や大きさを変更する。図５の場合、エリアＮｏ．１に対応する枠線（Ｋ１）を、破線にて示す位置から実線にて示す位置に移動させている態様が模式的に示されている。

このとき、作業者Ｍは、制御装置３に接続されている例えばワイヤレスマウス（図示省略）を用いて、市販のプレゼンテーションソフトで図形を描画する場合と同様に、枠線全体を選択することで位置を変更したり、枠線の角部を選択することで拡大あるいは縮小したりすることができる。

続いて、作業者Ｍは、第２の工程では部品９Ｂを組み付けるため部品箱７Ｂを囲うように枠線（Ｋ２）を設定し、第３の工程では部品９Ｃを組み付けるため部品箱７Ｃを囲うように枠線（Ｋ３）を設定し、第４の工程では部品９Ｄを組み付けるため部品箱７Ｄを囲うように枠線（Ｋ４）を設定する。これにより、図６に示すように、部品箱７Ａ～部品箱７Ｄに対して、それぞれの対象領域、つまりは、各工程において監視すべき領域が設定される。

このとき、詳細は後述するが、１つの対象領域に対して監視を行う監視時間、および、監視が完了してから次の対象領域の監視を開始するまでの待機時間もシナリオデータとして設定される。なお、監視時間および待機時間は、生産性に関わるため、作業者Ｍによる変更は不可とする構成にすることができるし、シナリオデータとは別に設定する構成とすることもできる。「保存」ボタンを操作すると、設定された枠線（Ｋ１～Ｋ４）の位置や大きさが登録される。このようなシナリオデータは、組み付け作業の対象製品毎にそれぞれ登録されている。

次に、作業支援装置１による具体的な監視態様について説明する。
作業支援装置１は、図７に示す支援処理を実行する。この支援処理は、制御装置３が作業支援プログラムを実行することによって行われる。なお、上記した対象領域の設定は既に行われているものとする。

作業支援装置１は、支援処理を開始すると、まずシナリオデータを読み込む（Ｓ１）。これにより、監視順と、各監視順における対象領域とが特定される。続いて、作業支援装置１は、例えば「検査モード」ボタンが操作される等の開始指示が行われると、最初に監視する対象領域を特定する（Ｓ２）。図４のシナリオデータの場合、監視順が「１」であるエリアＮＯ．１が、最初の対象領域として特定される。

続いて、作業支援装置１は、特定した対象領域を、実際に監視を行う監視領域に設定する（Ｓ３）。つまり、作業支援装置１は、シナリオデータに複数の対象領域が登録されている場合であっても、そのうちの１つの対象領域だけを監視領域として設定する。換言すると、作業支援装置１は、同時に監視する領域は常に１つであり、監視領域として設定しなかった対象領域の監視は敢えて行わない構成となっている。

これは、作業手順は標準作業の取り決めとして、一般的に１工程について１つの部品９を取得するように定められているため、ある工程において正しい部品９が取得されたことを特定できれば、正しくない他の部品９は取得されなかったと判断できるためである。そのため、監視領域を１つだけ設定することにより、他の対象領域を監視する必要が無くなり、監視処理の負荷を低減することができる。

また、上記したように撮像部４の撮像範囲内に複数の部品箱７が配置されている場合、部品箱７は比較的近くに配置されることが想定されるため、隣の部品箱７の上に例えば腕が位置する可能性がある。そのため、複数の対象領域を監視すると、正しい部品９を取得しようとしていても、腕が他の部品箱７に掛かることで誤判定されるおそれがある。そのため、監視領域を１つだけ設定することにより、誤判定するおそれを無くすことができる。

監視領域を設定すると、作業支援装置１は、その監視領域の監視を開始する（Ｓ４）。このとき、作業支援装置１は、監視領域に対して動態検出を行うことにより、その監視領域を監視する。この動態検出は、監視領域内の時系列での変化を観察する手法である。具体的には、作業支援装置１は、監視を開始すると、撮像部４で撮像された最新の画像と、以前に撮像された他の画像とを比較することにより、監視領域の動態検出を行う。本実施形態では、最新の画像と、その直前に撮像された画像とを比較している。

作業支援装置１は、動態検出により作業者Ｍの手を検出したか否かを判定する（Ｓ５）。より詳細には、本実施形態では、作業支援装置１は、作業者Ｍの手が監視領域に進入したか否かを検出する。このとき、作業支援装置１は、いわゆる画像認識によって手を認識するのではなく、監視領域内に生じた変化が概ね手と判定できる程度の大きさであるか否かに基づいて作業者Ｍの手を検出したか否かを判定している。ただし、光源の位置等によっては影が掛かる可能性があるため、監視領域内に生じた変化が概ね手と判定できる程度の明るさであるか否かも判定している。このため、作業支援装置１では、画像認識のような比較的負荷の大きい処理を行う必要がない。

具体的には、作業支援装置１は、図８に示すように、例えば時刻（ｔ１）に画像を撮像した場合、その直前に撮像した画像（図示省略）と比較する。図８の場合、枠線（Ｋ１～Ｋ４）にて示す４つの対象領域が設定されており、最も図示左方側の枠線（Ｋ１）に対応する対象領域が監視領域に設定されているものとする。

そして、作業支援装置１は、画像を取得する毎に動態検出を行い、手を検出しなかった場合には（Ｓ５：ＮＯ）、監視を開始してから監視時間が経過したか否かを判定する（Ｓ１０）。この監視時間は、部品９を取得するのに要する標準的な時間がシナリオデータの作成時に設定されている。作業支援装置１は、監視時間が経過していないと判定した場合には（Ｓ１０：ＮＯ）、ステップＳ５に移行して手の検出を繰り返す。

一方、作業支援装置１は、監視時間が経過したと判定した場合には（Ｓ１０：ＹＥＳ）、異常を報知する（Ｓ１１）。これは、部品９を取得するのに要する標準的な時間が経過しても手の検出つまりは部品９を取得する動作が検出されなかったことから、部品９の取り間違い、あるいは、作業が何らかの理由により遅延している等の異常が発生したと考えられる。

そのため、作業支援装置１は、例えばランプ１０を赤色で点灯したり、音声にて『正しい部品９を取って下さい』といった音声メッセージを出力したりすることにより、異常つまりは正しい部品９が取得されていないことを作業者Ｍに報知する。このように監視時間が経過したことによる異常の報知は、組み付け作業を進める上での標準的な時間からの遅延を示すと考えられるため、組み付け作業のペースメーカーにもなり得る。

異常を報知すると、作業支援装置１は、監視時間を初期化した後、ステップＳ５に移行して手の検出を繰り返す。これは、作業者Ｍが例えば誤った部品９を取得してしまった場合には、異常の報知により誤りに気付き、正しい部品９を取得し直すと考えられるためである。

これに対して、例えば時刻（ｔ２）のように作業者Ｍが部品９を取得するために部品箱７に手を伸ばした場合には、作業支援装置１は、時刻（ｔ２）に撮像した画像とそれよりも前の時刻（ｔ１）に撮像した画像とを比較し、２枚の画像に手と想定される程度の変化が生じている場合には、手を検出したと判定して（Ｓ５：ＹＥＳ）、正常を報知する（Ｓ６）。

この場合、作業支援装置１は、ランプ１０を緑色で点灯したり、正解を意識させる『ピンポ～ン』といった音を出力したりすることにより、正常つまりは正しい部品９を取得したことを作業者Ｍに報知する。なお、例えば部品９によっては上下や左右が分かりづらいことも想定されるため、向きの間違いが起きる可能性のある部品９であれば、例えば『部品９の向きに注意して下さい』といった音声メッセージを出力することにより、正しい部品９を取得したこと、および、その部品９を組み付ける際の注意点を報知する構成とすることもできる。

正常を報知すると、作業支援装置１は、現在の監視領域に対する監視を終了する（Ｓ７）。このため、もし部品同士が絡まって一度に２つ取得してしまい、１つを戻すような動作を行っても、監視は終了していることから、そのような動作が誤判定されることはない。

続いて、作業支援装置１は、待機時間が経過したか否かを判定する（Ｓ８）。この待機時間は、監視領域を切り替えるための待ち時間に相当する。これは、待機時間を設けずに直ぐに監視領域を切り替えてしまうと、例えば小さな部品９を取り出すのに手間取った場合や、次の監視領域が手前に位置していた場合等に誤判定される可能性があるためである。この待機時間は、部品９を取得してから組付けを行うまでに要する標準的な時間がシナリオデータの作成時に設定されている。

そのため、作業支援装置１は、待機時間が経過するまで待機し（Ｓ８：ＮＯ）、待機時間が経過したと判定すると（Ｓ８：ＹＥＳ）、工程順つまりは監視順において次の対象領域に切り替え（Ｓ９）、切り替えた対象領域を新たな監視領域に設定し（Ｓ３）、上記したように監視領域の監視、正常は異常の報知等を繰り返す。このとき、監視時間が経過したことによる異常の報知は、監視時間が標準的な作業時間に設定されていることから、作業が遅れていることを示すものとなる。換言すると、異常の報知は、組み付け作業のいわばペースメーカー的な役割を果たすものとして利用することができる。

作業支援装置１は、図４に示したように例えば４つの工程を含むシナリオデータにおいて最終となる第４の工程の監視が終了すると、次の対象領域として第１の工程に対応付けられている対象領域を選択する。これにより、作業支援装置１は、作業者Ｍによって作業終了の操作が入力されるまで、所定の作業手順に対する監視を繰り返す。
このように、作業支援装置１は、撮像部４で撮像した画像に対して動態検出を行うことにより、組み付け作業が作業手順に従って行われているか否かを監視する。

以上説明した実施形態によれば、次のような効果を得ることができる。
作業支援装置１は、撮像部４の撮像範囲内に作業を監視する範囲を示す監視領域を作業手順に応じて設定し、撮像した画像の監視領域に該当する部分と当該画像よりも前の時点で撮像した他の画像における監視領域に該当する部分とを比較することにより動態検出を行い、動態検出の検出結果に基づいて作業手順に従って行われたか否かを判定し、その判定結果を作業者Ｍに対して報知する。

撮像部４は、一般的にある程度の範囲を撮像することができるため、例えば組み付け作業において使われる部品９が複数種類であり、作業台５に複数の部品箱７が配置されている場合であっても、それぞれの部品箱７を一括で撮像することができる。これにより、作業の工程数や部品９の種類が多い場合等であっても、コストが大きく増加してしまうことを抑制できる。

また、作業を監視する範囲を示す監視領域は、作業手順に応じて撮像部４の撮像範囲内に設定されるため、部品箱７の数や位置が変化したり撮像部４の取り付け位置を変更したりした場合であっても、監視領域の位置を移動するだけで正しく監視を行うことができ、設置作業や設定作業あるいは移行作業を容易に行うことができる。

また、時系列で前後して撮像された例えば２枚の画像を比較する動態検出の検出結果に基づいて、組み付け作業が作業手順に従って行われているか否かを判定する。この場合、例えば確認ボタンの操作等をする必要がないことから、作業者Ｍの負担を招くことがなく、また、作業者Ｍに通常の組み付け作業以外の動作を求めることも無いため、生産性が低下してしまうおそれを低減することができる。

また、組み付け作業を監視対象としている場合、監視領域に生じた変化は、作業者Ｍが部品箱７に手を伸ばしたことによって生じると考えられ、且つ、作業者Ｍが部品箱７に手を伸ばしたのであれば、その部品箱７から部品９を取り出したと判断することができる。したがって、動態検出によって作業を監視することができる。

このとき、動態検出は画像認識に比べると一般的に処理に要する負荷が少ないこと、また、上記したように複数の監視場所を一括で撮像する場合であっても監視対象に設定される範囲は画像の一部の領域であることから、比較的小型でロースペックのマイクロコンピュータで構成することができ、作業支援装置１の小型化および低コスト化を図ることができる。

そして、作業手順に従って作業が行われたか否かの判定結果を作業者Ｍに対して報知することにより、誤った作業が行われた際には誤っている旨が報知されるため正しい手順で作業し直すことができ、正しい作業が行われた際には正しい旨が報知されるため安心して次の作業に移行できる等、作業を支援することができる。

したがって、設置作業や設定作業あるいは移行作業を容易に行うことができ、設備コストの増加を抑制しつつ、作業者Ｍの負担になることなく組み付け作業を支援することができる。

また、作業支援装置１によって実行される作業支援プログラムによっても、同様に、設置作業や設定作業あるいは移行作業を容易に行うことができ、設備コストの増加を抑制しつつ、作業者Ｍの負担になることなく組み付け作業を支援することができる。

また、作業支援装置１は、監視領域として設定可能な範囲を示す複数の対象領域を互いに重ね合わせ可能に予め設定するとともに、監視領域に設定可能な複数の対象領域を予め設定するとともに、設定した対象領域のうちの１つを監視領域に設定する。一般的な作業要領書では、１つの工程において組み付ける部品９は１つとされている。

そのため、ある工程において正しい部品９が取り出されたと判定された場合には、正しくない部品９は取り出されなかったと判断することができる。逆に、正しい部品９が取り出されなかったと判定された場合には、誤った部品９が取り出された可能性があると判断することができる。

そこで、複数の対象領域を設定した場合であってもそのうちの１つを監視領域として設定することにより、換言すると、１つの工程においては１つの監視領域のみを監視し、他の領域を敢えて監視しないことにより、処理の負荷を低減することができる。

また、作業に複数の部品９を用いる場合、作業の効率化の面から部品箱７同士を比較的近づけて配置すると考えられるが、１つの監視領域のみを監視することで、誤判定を防止することもできる。
また、同一種類の部品９を何個か組み付ける作業であっても、複数の対象領域を互いに重ね合わせ可能であることから、異なる工程において同一種類の部品９を同じ部品箱７から取り出す作業にも対応することができる。

また、作業支援装置１は、監視領域の監視を終了した後、予め設定されている待機時間が経過した後に、次の監視領域の監視を開始する。これにより、部品箱７同士が近くに配置されている場合等において誤判定するおそれを低減することができる。

また、作業支援装置１は、監視領域を監視する時間の上限を示す監視時間を設定し、監視時間内における動態検出の検出結果に基づいて作業が作業手順に従って行われているか否かを判定する。これにより、作業の遅延を報知することができる。また、標準的な作業に要する時間を測定し、その時間を監視時間として設定することにより、作業のペースメーカー的な機能を持たせることもできる。

また、作業支援装置１は、作業者Ｍの手を対象として動態検出を行い、監視領域内で作業者Ｍの手を検出した場合に作業手順に従って行われていると判定する一方、監視領域内で作業者Ｍの手を検出しなかった場合に作業手順に従って行われていないと判定する。これにより、例えば部品箱７に作業者Ｍの帽子の影が落ちた場合等に誤判定するおそれを低減することができるとともに、部品９の取り出しが行われたか否かを精度良く特定することができる。

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で各種の変形や拡張あるいは組み合わせを行うことができる。
実施形態ではランプ１０およびスピーカ１１を表示装置２とは別体で設ける構成例を示したが、表示部２ａでランプ１０を代用する構成とすることもできるし、表示装置２に設けられている音声出力部でスピーカ１１を代用する構成とすることもできる。

具体的には、例えば図９に「動態検出中」として示すように、枠線（Ｋ１～Ｋ４）により４つの対象領域を表示し、例えば枠線（Ｋ１）を他の枠線（Ｋ２～Ｋ４）と異なる色としたり塗りつぶしたりすることで、視覚的に枠線（Ｋ１）で示されている対象領域が監視領域に設定されていることを報知する構成とすることができる。この場合、監視領域は現在の工程において取得すべき部品９の位置を示すものであることから、監視領域を作業者Ｍに示すことは作業手順を作業者Ｍに示すことと同じ意味になり、ミスを抑制することができる。

また、図７のステップＳ６において正常を報知する場合、図９に「手を検出」として示すように、エリアＮｏ．に対応する判定結果として「ＯＫ」と示すことで、正常つまりは正しい部品９を取得したことを作業者Ｍに報知することができる。また、図９に「次の監視領域の動態検出中」として示すように、例えば枠線（Ｋ２）で示される対象領域を他の対象領域と視覚的に異なる表示態様とすることにより、次の工程で組み付ける部品９の位置を作業者Ｍに報知することができる。

実施形態では１つの部品箱７に対して１つの対象領域を設定する構成例を示したが、１つの部品箱７に対して複数の対象領域を設定する構成とすることもできる。例えば、作業手順に第１から第７の工程が含まれており、第４の工程と第７の工程とで同じ部品９を組み付ける場合、図１０に示すように、第４の工程に対応する枠線（Ｋ４）と第７の工程に対応する枠線（Ｋ７）とが重なるように対象領域を設定することができる。これにより、同一の部品９を複数回組み付ける場合にも、組み付け作業を監視することができる。

実施形態では１つの撮像部４を設けた構成例を示したが、複数の撮像部４を設ける構成とすることもできる。例えば部品箱７が作業者Ｍの左右にも配置されている等、１つの撮像部４では物理的に撮像できない位置や部品箱７との間に作業者Ｍが位置してしまう場合等には、複数の撮像部４を設け、各撮像部４の撮像範囲に対象領域をそれぞれ設定することにより、組み付け作業を監視することができる。この場合、実施形態のように１つの監視領域を設定すれば、監視対象が設定されていない他の撮像部４で撮像した画像に変化が生じてもその変化は検出対象にはならないので、誤判定を回避しつつ組み付け作業を監視することができる。

実施形態では所定の待機時間を設ける構成例を示したが、待機時間を設けない構成とすることもできる。例えば、手前側に他の対象領域が設定されていないのであれば、動態検出として監視領域からの手の離脱を検出することで、待機時間を設けなくても正しく監視することができると考えられる。

実施形態では監視領域を１つだけ設定する例を示したが、複数の監視領域を設定することもできる。この場合、例えば部品９を取り出してからワーク６に組み付けるまでに作業者Ｍの手が通らないと想定される対象領域については監視領域として同時に設定し、作業者Ｍの手が通ると想定される対象領域については監視領域として同時に設定しないことにより、誤判定するおそれを低減することができる。

あるいは、現在の工程に対応する対象領域については設定時の範囲そのままで監視領域に設定し、現在の工程に対応していない他の対象領域については設定時よりも縮小した範囲で監視領域に設定する構成とすることもできる。この場合、他の対象領域については例えば対応する部品箱７の中央部の近傍程度の大きさとすることにより、換言すると、意図的に動かさなければ手が入らないと想定される程度の大きさとすることにより、誤判定するおそれを低減することができる。

実施形態では個別の表示装置２と制御装置３を用いた構成例を示したが、制御装置３を内部に有する表示装置２を用いる構成とすることもできる。この場合も、表示装置２と制御装置３とが一体になっていることから、作業支援装置１の再設置等を容易に行うことができる。
実施形態では組み付け作業の各工程において同一の監視時間および待機時間を登録する例を示したが、工程毎に監視時間および待機時間を個別に登録する構成とすることができる。

実施形態では複数の部品９を組み付ける作業例を示したが、作業支援装置１は、１つの部品を複数回組み付ける作業を対象とした監視を行うこともできる。
撮像部４は、ズームレンズや広角レンズを用いて画角つまりは監視対象とする範囲を調整可能な構成とすることができる。

実施形態では最新の画像と直前に撮像された画像とを比較したが、より以前に撮像された画像と比較する構成とすることができる。この場合、比較する画像の時間間隔は、手を移動する際の標準的な所要時間等に基づいて、適宜設定することができる。例えば、組み付け作業を開始する前に撮像した画像と、組み付け作業が終了した画像とを比較することにより、正しい部品が正しい位置に組み付けられているかを判定することができる。
実施形態では部品９を組み付ける作業例を示したが、例えばＬＥＤの点灯試験に作業支援装置１を適用することもできる。

図面中、１は作業支援装置、２は表示装置（報知部）、２ａは表示部（報知部）、３は制御装置、３ａは制御部（設定部、判定部）、４は撮像部、１０はランプ（報知部）、１１はスピーカ（報知部）を示す。

Claims (5)

1. 予め定められている作業手順に従って行われ、作業者が手作業で複数の部品を組み付ける作業を支援する作業支援装置であって、
   作業者よりも前方の位置に固定され、上方に開口していて前記部品が貯留される部品箱を複数配置可能な作業者の前方の範囲が撮像範囲となるように設置されている撮像部と、
   前記撮像部の撮像範囲内に配置される前記部品箱を対象として、作業を監視する範囲を示す監視領域を当該部品箱の前記開口を全て含む態様で設定可能であるとともに、作業手順に応じて当該監視領域を変更する設定部と、
   前記撮像部で撮像した画像の前記監視領域に該当する部分と、当該画像よりも前の時点で撮像した他の画像における前記監視領域に該当する部分とを比較することにより当該監視領域を対象として動態検出を行い、動態検出された場合に作業手順に従って作業が行われたと判定する判定部と、
   作業手順に従って作業が行われたか否かの判定結果を作業者に対して報知する報知部と、を備え、
   前記設定部は、前記監視領域として選択可能な範囲を示す複数の対象領域を、撮像範囲内に互いに重ね合わせた態様で設定可能であるとともに、当該撮像範囲内に設定された前記対象領域のうちの１つを、作業手順に応じた前記監視領域として設定する作業支援装置。
2. 前記判定部は、前記監視領域の監視を終了した後、予め設定されている待機時間が経過した後に次の前記監視領域の監視を開始する請求項１記載の作業支援装置。
3. 前記設定部は、前記監視領域を監視する時間の上限を示す監視時間を設定し、
   前記判定部は、前記監視時間内における動態検出の検出結果に基づいて作業が作業手順に従って行われているか否かを判定する請求項１または２記載の作業支援装置。
4. 前記判定部は、作業者の手を対象として動態検出を行い、前記監視領域内で作業者の手を検出した場合に作業手順に従って行われていると判定する一方、前記監視領域内で作業者の手を検出しなかった場合に作業手順に従って行われていないと判定する請求項１から３のいずれか一項記載の作業支援装置。
5. 予め定められている作業手順に従って行われ、作業者が手作業で複数の部品を組み付ける作業を支援する作業支援装置の制御部に、
   作業者よりも前方の位置に固定され、上方に開口していて前記部品が貯留される部品箱を複数配置可能な作業者の前方の範囲が撮像範囲となるように設置されている撮像部の撮像範囲内に、作業を監視する範囲を示す監視領域として選択可能な複数の対象領域を、当該撮像範囲内に配置される前記部品箱を対象として当該部品箱の前記開口を全て含む態様であって当該対象領域を互いに重ね合わせ可能な態様で設定し、設定した前記対象領域のうちの１つを、作業手順に応じた前記監視領域として選択する処理と、
   前記撮像部で撮像した画像の前記監視領域に該当する部分と、当該画像よりも前の時点で撮像した他の画像における前記監視領域に該当する部分とを比較することにより当該監視領域を対象として動態検出を行い、動態検出された場合に作業手順に従って作業が行われたと判定する処理と、
   作業手順に従って作業が行われたか否かの判定結果を作業者に対して報知する処理と、
   を実行させる作業支援プログラム。

Images