JP7207090B2 - 作業分析装置及び作業分析プログラム - Google Patents

Description

本発明は、複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置及び作業分析プログラムに関するものである。

従来、製造現場では、例えばプリント基板や製造途中の装置等に対して、手作業で部品を組み付ける組み付け作業等が行われることがある。このような作業に関して作業効率の向上を図るために、繰り返される所定の作業を撮像して作業分析用の作業動画を生成し、この作業動画を解析等することで作業分析を行う手法が知られている。このような作業分析に関する技術として、例えば、下記特許文献１に開示される移動パターン特定装置が知られている。

この移動パターン特定装置では、作業者の右手及び左手にそれぞれ付されたマーカの移動軌跡を動画像データから標準時系列データとして求め、この標準時系列データの中から作業の区切りの候補とみなすことができる点が区切り候補点として抽出される。そして、区切り候補点の近傍の動画像データを見たユーザから入力される入力指示に応じて、区切り位置を示す区切り位置情報及び当該区切り位置に対応する区切り内容情報が特定されると、このように特定された情報に基づいて、作業の種類及び作業の開始時刻・終了時刻を特定することができる。

また、下記特許文献２に開示される画像抽出分析装置では、作業現場を撮像した動画像の中から指定された画像パターンを含む画像を抽出して、その繰り返し現れる時間間隔を算出し、その出現頻度が略同じとなる時間間隔ごとに当該時間間隔を基準にグループ分けしたヒストグラムが画面表示される。この表示に応じてユーザにより指定されたグループの画像及び時間間隔を画面表示することで、工程の区切りが動画像及び時間間隔とともに表示されることとなり、作業現場を撮像した動画像を順次的に見ることなしに各工程でどの作業に時間がかかっているかを容易に把握することができる。

また、下記特許文献３に開示される作業分析装置にてなされる作業分析処理では、読み込んだ分析対象の作業動画が、計測状態表示領域等とともに作業分析画面に再生表示される。そして、動画再生中に再生画面の一部をマウスでクリックする区切操作が作業者により行われると、その再生画面の一部の上に選択画面が表示される。この表示状態で、その選択画面に表示されるいずれかの属性情報をマウスでクリックする選択操作が作業者により行われると、区切操作により区切られる動画範囲について、選択操作により選択される属性情報を含む分析データが関連付けられて記録される。

特開２００８－１０８００８号公報 特開２００７－２４３８４６号公報 特開２０１７－１３４６６６号公報

ところで、例えば、部品箱に収容される部品を被組付部材に組み付けるような作業を分析対象とする場合、部品箱から部品を取り出したことを判定することで、作業動画を単位作業ごとに区切ることができる。しかしながら、例えば、部品箱から取り出す部品が細かいものであると、部品を部品箱から取り出したか否かについての判定があいまいとなり、精度良く作業動画を区切ることができない可能性がある。

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、部品の取り出し判定があいまいとなるような作業であっても精度良く作業動画を区切ることができる構成を提供することにある。

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置（１０）であって、
作業者（Ｍ）により繰り返しなされる前記所定の作業を撮像する撮像部（１３）と、
前記撮像部の撮像範囲内にて前記単位作業ごとに、少なくとも当該単位作業の第１の動作を検出するための第１の監視領域（Ｐ１ａ～Ｐ１ｄ）と当該単位作業の第２の動作を検出するための第２の監視領域（Ｐ２ａ～Ｐ２ｄ）とを含めた複数の監視領域を設定する監視領域設定部（１１）と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域において前記単位作業に関する動作がなされていると判定される可能性が高くなるほど高くなるような信頼度を、前記監視領域ごとに設定する信頼度設定部（１１）と、
少なくとも前記信頼度設定部により前記第１の監視領域にて設定された前記信頼度と前記第２の監視領域にて設定された前記信頼度とに基づいて、対応する前記単位作業が行われているか否かについて判定する判定部（１１）と、
前記判定部により作業が行われていると判定された前記単位作業について、前記第１の監視領域にて前記信頼度を設定するための前記撮像画像を撮像したタイミングと前記第２の監視領域にて前記信頼度を設定するための前記撮像画像を撮像したタイミングとの少なくとも一方を利用して、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定する区切情報設定部（１１）と、
を備えることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

請求項１の発明では、撮像部の撮像範囲内にて単位作業ごとに、少なくとも当該単位作業の第１の動作を検出するための第１の監視領域と当該単位作業の第２の動作を検出するための第２の監視領域とを含めた複数の監視領域が監視領域設定部により設定される。そして、撮像部により撮像された撮像画像のうち監視領域設定部により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域において単位作業に関する動作がなされていると判定される可能性が高くなるほど高くなるような信頼度が、監視領域ごとに信頼度設定部により設定される。そして、少なくとも信頼度設定部により第１の監視領域にて設定された信頼度と第２の監視領域にて設定された信頼度とに基づいて、対応する単位作業が行われているか否かについて判定部により判定され、判定部により作業が行われていると判定された単位作業について、第１の監視領域にて信頼度を設定するための撮像画像を撮像したタイミングと第２の監視領域にて信頼度を設定するための撮像画像を撮像したタイミングとの少なくとも一方を利用して、撮像部により撮像された作業動画を単位作業ごとに区切るための区切情報が区切情報設定部により設定される。

これにより、少なくとも第１の監視領域にて設定された信頼度と第２の監視領域にて設定された信頼度とに基づいて、対応する単位作業が行われているか否かについて判定されるので、１つの監視領域の監視結果に基づいて判定する場合と比較して、判定精度を高めることができる。特に、判定基準として複数箇所での信頼度を採用するため、例えば、繊細な単位作業を行っているために１つの監視領域で低い信頼度が設定されたとしても、他の監視領域で高い信頼度が設定されることで当該単位作業が行われていると判定できるので、繊細な作業など、多種多様な単位作業を精度良く判定することができる。したがって、部品の取り出し判定があいまいとなるような作業であっても精度良く作業動画を区切ることが可能な作業分析装置を実現することができる。

請求項２の発明では、単位作業は、所定の部品箱から取り出した部品を被組付部材に組み付ける作業であり、第１の動作は、部品箱から部品を取り出す動作であり、第２の動作は、部品を被組付部材の組付予定位置に組み付ける動作である。これにより、第１の監視領域での撮像画像の比較結果に基づいて、部品箱から部品を取り出す動作がなされている可能性が高くなるほど、第１の監視領域にて設定される信頼度が高くなる。また、第２の監視領域での撮像画像の比較結果に基づいて、部品を被組付部材の組付予定位置に組み付ける動作がなされている可能性が高くなるほど、第２の監視領域にて設定される信頼度が高くなる。このように、部品箱から部品を取り出す動作に基づく信頼度と部品を被組付部材の組付予定位置に組み付ける動作に基づく信頼度との双方を考慮するので、所定の部品箱から取り出した部品を被組付部材に組み付けるような単位作業が繰り返し行われる場合であっても、その作業動画を精度良く区切ることができる。

請求項３の発明では、信頼度設定部は、第１の監視領域に関する信頼度について、撮像部により第１の監視領域を撮像した撮像画像の差分に基づいて部品が計数可能であるか否かに応じて、設定方式を変える。これにより、例えば、計数可能である部品については、部品個数が規定数だけ減少している場合に信頼度を高く設定し、部品個数が規定数だけ減少していない場合に信頼度を低く設定し、計数不能である部品については信頼度を最も高い信頼度と最も低い信頼度との間に設定することができる。このように、監視する部品に適した信頼度の設定方式に変更することで、より細かに信頼度を設定することができる。

請求項４の発明では、第２の監視領域にて設定された信頼度を第１の監視領域にて設定された信頼度よりも重みを増すようにして全ての信頼度を数値化して合算した合算値に基づいて、対応する単位作業が行われているか否かについて判定部により判定される。これにより、判定部による判定に関して、被組付部材の組付予定位置に部品を組み付ける動作に関する信頼度の影響が、部品箱から部品を取り出す動作に関する信頼度の影響よりも高くなるので、より実状に即した信頼度を設定することができる。

請求項５の発明によれば、請求項１と同様の効果を奏する作業分析プログラムを実現できる。

第１実施形態に係る作業分析装置の概略構成を示す説明図である。 部品箱を撮像した撮像画像において、各マーカを利用して監視領域が設定された状態を説明する説明図である。 作業分析装置の電気的構成を例示するブロック図である。 図４（Ａ）は、ワークに対して部品が組み付けられる前の状態を各監視領域とともに示す説明図であり、図４（Ｂ）は、ワークに対して部品が組み付けられた後の状態を各監視領域とともに示す説明図である。 制御部にてなされる作業分析処理の流れを例示するフローチャートである。 図５の第１信頼度設定処理の流れを例示するフローチャートである。 図５の第２信頼度設定処理の流れを例示するフローチャートである。 第１信頼度及び第２信頼度に基づいて設定される総合信頼度を説明する説明図である。

［第１実施形態］
以下、本発明に係る作業分析装置及び作業分析プログラムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る作業分析装置１０は、図１に例示するように、作業台１等に設けられており、作業者Ｍにより複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する装置として構成されている。

組み付け作業が行われる作業台１には、プリント基板などの被組付部材（以下、単に、ワークＷともいう）が搬送されて配置される。この作業台１の棚２には、複数の部品箱３０が作業者Ｍから見て左右に並ぶように配置されており、各部品箱３０には、ワークＷに組み付けるための複数種類の部品２０がそれぞれ個別に貯留されている。本実施形態では、図２からわかるように、棚２上に４つの部品箱３０ａ～３０ｄが並んで配置され、部品箱３０ａに部品２０ａが収容され、部品箱３０ｂに部品２０ｂが収容され、部品箱３０ｃに部品２０ｃが収容され、部品箱３０ｄに部品２０ｄが収容されている。

本実施形態では、各部品箱３０ａ～３０ｄの上縁の四隅には、部品箱による部品の収容範囲を撮像画像から認識するためのマーカ３１ａ～３１ｄが端子箱ごとに異なるように付されている。このため、撮像画像において、各マーカ３１ａを四隅とする範囲が後述する監視領域Ｐ１ａとして設定され、各マーカ３１ｂを四隅とする範囲が後述する監視領域Ｐ１ｂとして設定され、各マーカ３１ｃを四隅とする範囲が後述する監視領域Ｐ１ｃとして設定され、各マーカ３１ｄを四隅とする範囲が後述する監視領域Ｐ１ｄとして設定される。なお、本実施形態では、マーカ３１ａは黒丸状に形成され、マーカ３１ｂは、黒星状に形成され、マーカ３１ｃは、黒い菱形状に形成され、マーカ３１ｄは、アスタリスク形状に形成されているが、これに限らず、撮像画像から部品箱の四隅を認識可能な形状であればよい。また、図２では、後述する撮像部１３により撮像される画像のうち部品箱３０ａ～３０ｄの近傍を拡大して示している。

作業分析装置１０は、図１及び図３に示すように、制御部１１、記憶部１２、撮像部１３、表示部１４、発光部１５、スピーカ１６、操作部１７、通信部１８などを備えている。制御部１１は、マイコンを主体として構成されて、作業分析装置１０の全体的制御や各種演算を行うものであり、例えば後述する作業分析処理を実行するように機能する。記憶部１２は、ＲＯＭ、ＲＡＭ、ＨＤＤ、不揮発性メモリなどの公知の記憶媒体によって構成されており、作業分析処理を実行するためのアプリケーションプログラム（以下、作業分析プログラムともいう）や所定のデータベース等が、制御部１１により利用可能に予め格納されている。

撮像部１３は、受光センサ（例えば、Ｃ－ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）を備えたカメラとして構成されている。本実施形態では、撮像部１３は、制御部１１や表示部１４等を備えた装置本体１０ａとは別体として構成されており、作業者Ｍの作業状態に加えて各部品箱３０ａ～３０ｄ及びワークＷの状態を動画で撮像するように、作業台１の上部に配置されている。本実施形態では、撮像部１３は、例えば、３０フレーム／秒で動画（連続静止画）を撮像し、撮像した動画が制御部１１によって分析可能に記憶部１２に記憶されるように構成されている。

表示部１４は、例えば、液晶ディスプレイであって、制御部１１により制御されて、撮像部１３により撮像された撮像画像や所定の情報等が表示されるように構成されている。この表示部１４の表示画面が作業者Ｍによって視認されるように、装置本体１０ａが作業台１の背板等に取り付けられている。

発光部１５は、例えば、ＬＥＤであって、制御部１１により制御されて、発光色や点灯・点滅状態が制御されるように構成され、作業者Ｍによって視認容易な位置に配置されている。スピーカ１６は、公知のスピーカ等によって構成されており、制御部１１により制御されて、予め設定された音声やアラーム音等の各種通知音を放音するように構成されている。

操作部１７は、入力操作に応じた操作信号を制御部１１に対して出力する構成をなしており、制御部１１は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部１８は、上位機器等の外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部１１と協働して通信処理を行うように構成されている。

次に、作業者Ｍにより、所定の作業手順に従って、複数の部品箱に収容された部品を順次ワークＷに組み付ける所定の作業が行われる際に、制御部１１にてよって実行される作業分析プログラムに基づいてなされる作業分析処理について説明する。

本実施形態では、分析対象の所定の作業として、図４（Ａ）の状態のワークＷに対して４種類の部品２０ａ～２０ｄを順番に組み付けることで図４（Ｂ）の状態のワークＷとするための単位作業Ａ～Ｄが採用されている。単位作業Ａは、部品箱３０ａから部品２０ａを取り出して、この部品２０ａをワークＷの組付予定位置Ｗａに組み付ける作業である。また、単位作業Ｂは、部品箱３０ｂから部品２０ｂを取り出して、この部品２０ｂをワークＷの組付予定位置Ｗｂに組み付ける作業である。また、単位作業Ｃは、部品箱３０ｃから部品２０ｃを取り出して、この部品２０ｃをワークＷの組付予定位置Ｗｃに組み付ける作業である。また、単位作業Ｄは、部品箱３０ｄから部品２０ｄを取り出して、この部品２０ｄをワークＷの組付予定位置Ｗｄに組み付ける作業である。本実施形態では、単位作業Ａ、単位作業Ｂ、単位作業Ｃ、単位作業Ｄの順で順次作業がなされるように所定の作業手順が決まっているものとする。

このため、図２及び図４に示すように、単位作業Ａの開始動作（部品箱３０ａから部品２０ａを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ａを四隅とする範囲（部品箱３０ａに相当する範囲）が監視領域Ｐ１ａとして設定される。また、単位作業Ａの完了動作（部品２０ａをワークＷの組付予定位置Ｗａに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗａを中心とする範囲が監視領域Ｐ２ａとして設定される。また、単位作業Ｂの開始動作（部品箱３０ｂから部品２０ｂを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ｂを四隅とする範囲（部品箱３０ｂに相当する範囲）が監視領域Ｐ１ｂとして設定される。また、単位作業Ｂの完了動作（部品２０ｂをワークＷの組付予定位置Ｗｂに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗｂを中心とする範囲が監視領域Ｐ２ｂとして設定される。また、単位作業Ｃの開始動作（部品箱３０ｃから部品２０ｃを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ｃを四隅とする範囲（部品箱３０ｃに相当する範囲）が監視領域Ｐ１ｃとして設定される。また、単位作業Ｃの完了動作（部品２０ｃをワークＷの組付予定位置Ｗｃに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗｃを中心とする範囲が監視領域Ｐ２ｃとして設定される。また、単位作業Ｄの開始動作（部品箱３０ｄから部品２０ｄを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ｄを四隅とする範囲（部品箱３０ｄに相当する範囲）が監視領域Ｐ１ｄとして設定される。また、単位作業Ｄの完了動作（部品２０ｄをワークＷの組付予定位置Ｗｄに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗｄを中心とする範囲が監視領域Ｐ２ｄとして設定される。なお、上記各開始動作は、「第１の動作」の一例に相当し、上記各完了動作は、「第２の動作」の一例に相当し得る。

上述のように各監視領域Ｐ１ａ～Ｐ１ｄ，Ｐ２ａ～Ｐ２ｄが設定されることで、作業分析処理では、第１の監視領域として設定される監視領域Ｐ１ａ～Ｐ１ｄにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、その監視領域（部品箱）から部品を取り出す動作がなされていると判定される可能性が高くなるほど高くなるような信頼度（以下、第１信頼度ともいう）が設定される。また、第２の監視領域として設定される監視領域Ｐ２ａ～Ｐ２ｄにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、その監視領域（ワークＷの組付予定位置）に部品を組み付ける動作がなされていると判定される可能性が高くなるほど高くなるような信頼度（以下、第２信頼度ともいう）が設定される。

そして、上述のように設定された２つの信頼度をそれぞれ数値化して合算した合算値に基づいて対応する単位作業が行われているか否かについて判定され、肯定判定時には、第１の監視領域にて信頼度を設定するための撮像画像を撮像したタイミングを作業開始タイミングとし、第２の監視領域にて信頼度を設定するための撮像画像を撮像したタイミングを作業完了タイミングとするように、作業動画を区切るための区切情報が設定される。

なお、各監視領域Ｐ１ａ～Ｐ１ｄは、上述したように各部品箱３０ａ～３０ｄの上縁の四隅に付されたマーカ３１ａ～３１ｄを利用することで、作業分析処理を実施するごとにその都度設定されることに限らず、各部品箱３０ａ～３０ｄを個々に搖動等させた状態を連続撮像することで生じる画像差分に基づいて設定されてもよい。また、各監視領域Ｐ１ａ～Ｐ１ｄは、決められた形状の各部品箱３０ａ～３０ｄが決められた位置に配置されることを前提に、画像解析等を要することなく、規定範囲に設定されてもよい。

以下、制御部１１にてよってなされる作業分析処理について、図５～図７に示すフローチャートを参照して具体的に詳述する。
操作部１７に対して所定の開始操作がなされることで、制御部１１により作業分析処理が開始されると、図５のステップＳ１０１に示す作業情報読込み処理がなされ、指定された所定の作業に関する作業情報（作業に使用する部品の種類や個数（既定数）やワークＷの種類及び監視領域に関する情報等）が記憶部１２から読み込まれる。この作業情報には、対象の部品を部品箱から取り出した際の撮像部１３での画像差分に基づいて、その部品の取り出し個数が計数可能であるか否かについての情報が含まれる。すなわち、大きな部品等であることから、取り出し個数を画像差分から計数可能な部品には、計数可能情報が付与され、小さな部品等であることから、取り出し個数を画像差分から計数不能な部品には、計数不能情報が付与される。また、本実施形態では、上記作業情報は、その製造ロットに関する作業手順等を記載した作業指示書等に付された情報コードや無線タグを読み取ることでその都度記憶部１２に記憶される。なお、上記作業情報は、例えば、操作部１７による入力操作等に応じて記憶部１２に記憶されてもよいし、予め、通信部１８を介して上位機器等から受信することで記憶部１２に記憶されてもよい。

上述のように作業情報が読み込まれると、ステップＳ１０３の監視領域設定処理がなされる。この処理では、撮像部１３により作業者Ｍの作業を作業動画として撮像する撮像処理がなされる状態での撮像画像において、１つの単位作業について、第１の監視領域及び第２の監視領域を設定するための処理がなされる。まず、１番目の単位作業となる単位作業Ａについて、撮像部１３の撮像画像から特定される各マーカ３１ａを四隅とする範囲が監視領域（第１の監視領域）Ｐ１ａとして設定され、撮像部１３による撮像範囲のうち組付予定位置Ｗａを中心とする範囲が監視領域（第２の監視領域）Ｐ２ａとして設定される。なお、上記ステップＳ１０３の監視領域設定処理を行う制御部１１は、「監視領域設定部」の一例に相当し得る。

上述のように第１の監視領域及び第２の監視領域が設定されると、ステップＳ１０５に示す第１信頼度設定処理がなされる。この処理では、監視領域Ｐ１ａにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、上記第１信頼度を設定するための処理がなされる。

具体的には、まず、図６のステップＳ２０１に示す判定処理にて、監視領域Ｐ１ａに作業者Ｍの手が所定時間入ったか否かについて、撮像部１３により撮像された動画を利用して判定され、監視領域Ｐ１ａにおいて画像差分が生じるまでＮｏとの判定が繰り返される。そして、画像差分に応じて監視領域Ｐ１ａに作業者Ｍの手が所定時間入ったと判定されると（Ｓ２０１でＹｅｓ）、ステップＳ２０３の判定処理にて、取り出す部品が計数可能であるか否かについて判定される。すなわち、本実施形態では、第１の監視領域に関する第１信頼度について、部品が計数可能であるか否かに応じて、設定方式を変える。ここで、上述のように読み込まれた作業情報にて、監視領域Ｐ１ａから取り出す部品に関して計数可能情報が付与されている場合には、部品が計数可能であるとして、ステップＳ２０３にてＹｅｓと判定される。

続いて、ステップＳ２０５の判定処理にて、規定数の部品個数が減少しているか否かについて判定される。ここで、監視領域Ｐ１ａに手が入る直前の撮像画像と監視領域Ｐ１ａから手が出た直後の撮像画像との比較結果となる画像差分に基づいて、計数される部品個数が上記作業情報から把握される規定数だけ減少している場合には、監視領域Ｐ１ａから規定数の部品２０ａが取り出されている可能性が高いとして、ステップＳ２０５にてＹｅｓと判定される。この場合には、第１信頼度が、最も高い「Ｈｉｇｈ」に設定される（Ｓ２０７）。

また、監視領域Ｐ１ａに手が入る直前の撮像画像と監視領域Ｐ１ａから手が出た直後の撮像画像との画像差分に基づいて、計数される部品個数が上記規定数だけ減少していない場合、例えば、計数される部品個数が変化していない場合には、監視領域Ｐ１ａから規定数の部品２０ａが取り出されている可能性が低いとして、ステップＳ２０５にてＮｏと判定される。この場合には、第１信頼度が、最も低い「Ｌｏ」に設定される（Ｓ２０９）。

その一方で、上述のように読み込まれた作業情報にて、監視領域Ｐ１ａから取り出す部品に関して計数不能情報が付与されている場合には、ステップＳ２０３にてＮｏと判定される。この場合には、第１信頼度が、最も高い「Ｈｉｇｈ」と最も低い「Ｌｏ」との間となる「Ｍｉｄ」に設定される（Ｓ２１１）。

上述のように、第１信頼度が「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」のいずれかに設定されると、上記画像差分に利用した撮像画像のうち手を入れた直前の撮像画像を撮像したタイミング（時刻）を作業開始タイミングとして、この作業開始タイミングとともに第１信頼度が、記憶部１２のデータベースを利用して登録されて（Ｓ２１３）、本第１信頼度設定処理が終了する。なお、作業内容等に応じて、上記画像差分に利用した撮像画像のうち手が出た直後の撮像画像を撮像したタイミング（時刻）を作業開始タイミングとしてもよい。

続いて、ステップＳ１０７に示す第２信頼度設定処理がなされる。この処理では、監視領域Ｐ２ａにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、上記第２信頼度を設定するための処理がなされる。

具体的には、まず、図７のステップＳ３０１に示す判定処理にて、監視領域Ｐ２ａに作業者Ｍの手が所定時間入ったか否かについて、撮像部１３により撮像された動画を利用して判定され、監視領域Ｐ２ａにおいて画像差分が生じるまでＮｏとの判定が繰り返される。そして、画像差分に応じて監視領域Ｐ２ａに作業者Ｍの手が所定時間入ったと判定されると（Ｓ３０１でＹｅｓ）、ステップＳ３０３の判定処理にて、ワークＷの組付予定位置Ｗａに部品２０ａが組み付けられている可能性が高いか否かについて判定される。

ここで、監視領域Ｐ２ａに手が入る直前の撮像画像と監視領域Ｐ２ａから手が出た直後の撮像画像との比較結果（画像差分）に基づいて、画像差分が組付予定位置Ｗａに組み付けた部品２０ａの画像にほぼ一致することから、ワークＷの組付予定位置Ｗａに部品２０ａが組み付けられている可能性が高いと判定されると、ステップＳ３０３にてＹｅｓと判定される。この場合には、第２信頼度が、最も高い「Ｈｉｇｈ」に設定される（Ｓ３０７）。

また、監視領域Ｐ２ａに手が入る直前の撮像画像と監視領域Ｐ２ａから手が出た直後の撮像画像との比較結果（画像差分）に基づいて、画像差分が組付予定位置Ｗａに組み付けた部品２０ａの画像に明らかに一致しないことから、ワークＷの組付予定位置Ｗａに部品２０ａが組み付けられている可能性が低いと判定されると、ステップＳ３０３にてＮｏ、ステップＳ３０５にてＹｅｓと判定される。この場合には、第２信頼度が、最も低い「Ｌｏ」に設定される（Ｓ３０９）。

その一方で、監視領域Ｐ２ａに手が入る直前の撮像画像と監視領域Ｐ２ａから手が出た直後の撮像画像との比較結果（画像差分）に基づいて、ワークＷの組付予定位置Ｗａに部品２０ａが組み付けられている可能性が高いとも低いとも判定できない場合がある。例えば、組付予定位置Ｗａからずれた状態で部品２０ａが組み付けられている場合や部品２０ａに似た色・形状の別の部品が組付予定位置Ｗａに組み付けられている場合、部品２０ａが小さいために、明確に部品２０ａを画像認識できない場合等である。このような場合には、ステップＳ３０３にてＮｏ、ステップＳ３０５にてＮｏと判定されて、第２信頼度が、「Ｍｉｄ」に設定される（Ｓ３１１）。

上述のように、第２信頼度が「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」のいずれかに設定されると、上記画像差分に利用した撮像画像のうち手が出た直後の撮像画像を撮像したタイミング（時刻）を作業完了タイミングとして、この作業完了タイミングとともに第２信頼度が、記憶部１２のデータベースを利用して登録されて（Ｓ３１３）、本第２信頼度設定処理が終了する。なお、作業内容等に応じて、上記画像差分に利用した撮像画像のうち手を入れた直前の撮像画像を撮像したタイミング（時刻）を作業完了タイミングとしてもよい。

なお、第２信頼度設定処理の変形例として、例えば、計数可能である部品については、画像差分が組付予定位置に組み付けた部品の画像にほぼ一致するか否かについて判定に対して、肯定判定時に第２信頼度を「Ｈｉｇｈ」に設定し、否定判定時に第２信頼度を「Ｌｏ」に設定し、計数不能である部品については、第２信頼度を「Ｍｉｄ」に設定するようにしてもよい。なお、上述したステップＳ１０５の第１信頼度設定処理及びステップＳ１０７の第２信頼度設定処理を行う制御部１１は、「信頼度設定部」の一例に相当し得る。

上述のように第１信頼度及び第２信頼度が設定されると、ステップＳ１０９に示す総合信頼度設定処理がなされる。この処理では、第１信頼度を数値化した信頼度スコアと第２信頼度を数値化した信頼度スコアとを合算した合算値が総合信頼度として設定される。具体的には、例えば、図８に示すように、第１信頼度における「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」を「２」、「１」、「０」として数値化するとともに、第２信頼度における「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」を第１信頼度よりも重みを増すように「３」、「２」、「０」として数値化し、それぞれの数値を合算（加算）するようにして総合信頼度を設定（算出）する。例えば、第１信頼度及び第２信頼度がともに「Ｈｉｇｈ」に設定されていると、総合信頼度は、図８からわかるように、「５」に設定される。

続いて、ステップＳ１１１の判定処理にて、総合信頼度が規定値以上であるか否かについて判定される。本実施形態では、上記規定値は、「２」に設定されており（図８参照）、例えば、第１信頼度及び第２信頼度がともに「Ｈｉｇｈ」であることから総合信頼度が規定値以上になると（Ｓ１１１でＹｅｓ）、単位作業Ａが行われていると判定されて、ステップＳ１１３に示す区切情報設定処理がなされる。この処理では、監視対象である単位作業Ａについて、第１信頼度に関連付けられる撮像タイミングが作業開始タイミングとなり、第２信頼度に関連付けられる撮像タイミングが作業完了タイミングとなるように、作業動画を区切るための区切情報が設定されて、記憶部１２に記憶される。なお、上記ステップＳ１１１の判定処理を行う制御部１１は、「判定部」の一例に相当し、上記ステップＳ１１３の区切情報設定処理を行う制御部１１は、「区切情報設定部」の一例に相当し得る。

このように区切情報が設定されると、作業が終了していない場合には（Ｓ１１７でＮｏ）、監視対象が次の単位作業である単位作業Ｂに設定されて（Ｓ１１９）、この単位作業Ｂについて、ステップＳ１０３からの処理がなされる。この場合には、ステップＳ１０３にて、単位作業Ｂについて、撮像部１３の撮像画像から特定される各マーカ３１ｂを四隅とする範囲が監視領域（第１の監視領域）Ｐ１ｂとして設定され、撮像部１３による撮像範囲のうち組付予定位置Ｗｂを中心とする範囲が監視領域（第２の監視領域）Ｐ２ｂとして設定される。そして、ステップＳ１０５に示す第１信頼度設定処理がなされ、監視領域Ｐ１ｂにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、第１信頼度を設定するための処理がなされる。その後、ステップＳ１０７に示す第２信頼度設定処理がなされ、監視領域Ｐ２ｂにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、上記第２信頼度を設定するための処理がなされる。そして、第１信頼度を数値化した信頼度スコアと第２信頼度を数値化した信頼度スコアとを合算した合算値が総合信頼度として設定され（Ｓ１０９）、このように設定された総合信頼度が規定値以上になると（Ｓ１１１でＹｅｓ）、単位作業Ｂが行われていると判定されて、この単位作業Ｂについて、第１信頼度に関連付けられる撮像タイミングが作業開始タイミングとなり、第２信頼度に関連付けられる撮像タイミングが作業完了タイミングとなるように、作業動画を区切るための区切情報が設定されて、記憶部１２に記憶される（Ｓ１１３）。

その後、同様にして、単位作業Ｃについて、監視領域Ｐ１ｃにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、第１信頼度が設定されるとともに（Ｓ１０５）、監視領域Ｐ２ｃにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、第２信頼度が設定されることで（Ｓ１０７）、総合信頼度が設定される（Ｓ１０９）。このように設定された総合信頼度が規定値以上になると（Ｓ１１１でＹｅｓ）、単位作業Ｃが行われていると判定されて、この単位作業Ｃについて、第１信頼度に関連付けられる撮像タイミングが作業開始タイミングとなり、第２信頼度に関連付けられる撮像タイミングが作業完了タイミングとなるように、作業動画を区切るための区切情報が設定されて、記憶部１２に記憶される（Ｓ１１３）。

また、同様にして、単位作業Ｄについて、監視領域Ｐ１ｄにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、第１信頼度が設定されるとともに（Ｓ１０５）、監視領域Ｐ２ｄにおいて、作業者Ｍの手が入り込んだ際の前後の撮像画像の比較結果に基づいて、第２信頼度が設定されることで（Ｓ１０７）、総合信頼度が設定される（Ｓ１０９）。このように設定された総合信頼度が規定値以上になると（Ｓ１１１でＹｅｓ）、単位作業Ｄが行われていると判定されて、この単位作業Ｄについて、第１信頼度に関連付けられる撮像タイミングが作業開始タイミングとなり、第２信頼度に関連付けられる撮像タイミングが作業完了タイミングとなるように、作業動画を区切るための区切情報が設定されて、記憶部１２に記憶される（Ｓ１１３）。

このように、所定の作業として４つの単位作業Ａ～Ｄに関する区切情報が設定された後も、さらに単位作業Ａ～Ｄが繰り返しなされることで、順次、単位作業ごとに区切情報が設定されることとなる。このように、多数の単位作業について区切情報が設定されるので、区切情報を利用して区切った作業動画を分析等することで、作業の手順チェックやサイクル時間の計測等の作業を支援するためのデータを生成することができる。また、正しい作業が行われているか否かを判定するための判定用データ（アノテーションデータ）を自動で生成することができる。

一方、総合信頼度が規定値未満となる場合には（Ｓ１１１でＮｏ）、ステップＳ１１５に示す仮区切情報設定処理がなされる。この処理では、上記ステップＳ１１３の区切情報設定処理と異なり、仮区切情報が設定される。すなわち、総合信頼度が規定値未満となる単位作業について、第１信頼度に関連付けられる撮像タイミングが仮作業開始タイミングとなり、第２信頼度に関連付けられる撮像タイミングが仮作業完了タイミングとなるように、仮区切情報が上記区切情報と区別されるように設定されて、記憶部１２に記憶される。

このように記憶部１２に記憶された仮区切情報を、作業完了後等に、信頼度とともに表示部１４等に対して編集可能に画面表示することで、作業者等が作業動画を見ながら仮区切情報を編集等して正しい区切情報とすることができる。特に、仮区切位置がグラフィカルに表示されるため、作業者等は信頼度の低い作業区切りや、正しく判定できなかった作業区切りを確認することができる。

以上説明したように、本実施形態に係る作業分析装置１０では、撮像部１３の撮像範囲内にて単位作業ごとに、当該単位作業の開始動作（第１の動作）を検出するための第１の監視領域（Ｐ１ａ～Ｐ１ｄ）と当該単位作業の完了動作（第２の動作）を検出するための第２の監視領域（Ｐ２ａ～Ｐ２ｄ）とが設定される。そして、撮像部１３により撮像された撮像画像のうち監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域において単位作業に関する動作がなされていると判定される可能性が高くなるほど高くなるような信頼度が、監視領域ごとに設定される。そして、第１の監視領域にて設定された第１信頼度と第２の監視領域にて設定された第２信頼度とに基づいて、対応する単位作業が行われているか否かについて判定され、作業が行われていると判定された単位作業について、第１の監視領域にて第１信頼度を設定するための撮像画像を撮像したタイミングを作業開始タイミングとし、第２の監視領域にて第２信頼度を設定するための撮像画像を撮像したタイミングを作業完了タイミングとするように、撮像部１３により撮像された作業動画を単位作業ごとに区切るための区切情報が設定される。

これにより、第１の監視領域にて設定された第１信頼度と第２の監視領域にて設定された第２信頼度とに基づいて、対応する単位作業が行われているか否かについて判定されるので、１つの監視領域の監視結果に基づいて判定する場合と比較して、判定精度を高めることができる。特に、判定基準として複数箇所での信頼度を採用するため、例えば、繊細な単位作業を行っているために１つの監視領域で低い信頼度が設定されたとしても、他の監視領域で高い信頼度が設定されることで当該単位作業が行われていると判定できるので、繊細な作業など、多種多様な単位作業を精度良く判定することができる。したがって、部品の取り出し判定があいまいとなるような作業であっても精度良く作業動画を区切ることが可能な作業分析装置を実現することができる。

特に、単位作業は、所定の部品箱３０ａ～３０ｄから取り出した部品２０ａ～２０ｄをワーク（被組付部材）Ｗに組み付ける作業であり、開始動作は、部品箱から部品を取り出す動作であり、完了動作は、部品を被組付部材の組付予定位置に組み付ける動作である。これにより、第１の監視領域（Ｐ１ａ～Ｐ１ｄ）での撮像画像の比較結果に基づいて、部品箱から部品を取り出す動作がなされている可能性が高くなるほど、第１の監視領域にて設定される第１信頼度が高くなる。また、第２の監視領域（Ｐ２ａ～Ｐ２ｄ）での撮像画像の比較結果に基づいて、部品を被組付部材の組付予定位置に組み付ける動作がなされている可能性が高くなるほど、第２の監視領域にて設定される第２信頼度が高くなる。このように、部品箱から部品を取り出す動作に基づく信頼度と部品を被組付部材の組付予定位置に組み付ける動作に基づく信頼度との双方を考慮するので、所定の部品箱から取り出した部品を被組付部材に組み付けるような単位作業が繰り返し行われる場合であっても、その作業動画を精度良く区切ることができる。

また、第１信頼度設定処理では、第１の監視領域に関する第１信頼度について、撮像部１３により第１の監視領域を撮像した撮像画像の差分に基づいて部品が計数可能であるか否かに応じて、設定方式を変える。すなわち、計数可能である部品については、部品個数が規定数だけ減少している場合に信頼度を「Ｈｉｇｈ」に設定し、部品個数が規定数だけ減少していない場合に信頼度を「Ｌｏ」に設定し、計数不能である部品については信頼度を「Ｍｉｄ」に設定する。このように、監視する部品に適した信頼度の設定方式に変更することで、より細かに信頼度を設定することができる。

さらに、作業分析処理では、第２の監視領域（Ｐ２ａ～Ｐ２ｄ）にて設定された第２信頼度を第１の監視領域（Ｐ１ａ～Ｐ１ｄ）にて設定された第１信頼度よりも重みを増すようにして全ての信頼度を数値化して合算した総合信頼度（合算値）に基づいて、対応する単位作業が行われているか否かについて判定される。これにより、総合信頼度を利用した判定に関して、ワークＷの組付予定位置Ｗａ～Ｗｄに部品２０ａ～２０ｄを組み付ける動作に関する第２信頼度の影響が、部品箱３０ａ～３０ｄから部品２０ａ～２０ｄを取り出す動作に関する第１信頼度の影響よりも高くなるので、より実状に即した信頼度を設定することができる。

なお、本発明は上記実施形態等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）作業分析処理は、撮像部１３により撮像される作業動画に対してリアルタイムで行われてもよいし、所定の作業が終了した後で行われてもよい。特に、リアルタイムで行われる作業分析処理では、低い信頼度が設定された際に、発光部１５及びスピーカ１６等を利用して所定の報知を行うことで、作業者等に対して作業ミス等の可能性を知らせることができる。

（２）作業分析処理では、２つの監視領域（第１の監視領域及び第２の監視領域）にてそれぞれ設定される信頼度に応じて総合信頼度を設定することに限らず、第１の監視領域及び第２の監視領域を加えた３つ以上の監視領域を設定して、各監視領域にて設定される信頼度に応じて総合信頼度を設定してもよい。

（３）上記総合信頼度設定処理にて採用される信頼度スコアは、「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」の順に数値が小さくなることを前提に、作業内容等に応じて任意の数値に設定することができる。また、作業内容等に応じて、上述した重みを無くすために、第１信頼度及び第２信頼度において、「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」に対応する信頼度スコアが同じ数値となるように設定されてもよい。また、上記総合信頼度設定処理にて採用される信頼度スコアは、「Ｈｉｇｈ」、「Ｍｉｄ」、「Ｌｏ」の３段階にすることに限らず、４段階以上にしてもよい。具体的には、例えば、「Ｈｉｇｈ」、「Ｍｉｄ１」、「Ｍｉｄ２」、「Ｌｏ」のように４段階にすることができる。また、複数の監視領域での信頼度をそれぞれ数値として求め、任意の係数等を用いて合成してもよい。

（４）本発明における分析対象の所定の作業として、４つの単位作業Ａ～Ｄからなる組み付け作業が採用されることに限らず、例えば、１つ～３つの単位作業からなる組み付け作業が採用されてもよいし、５つ以上の単位作業からなる組み付け作業が採用されてもよい。

（５）監視対象となる単位作業は、部品箱から取り出した部品をプリント基板等のワークＷに対して組み付ける作業であることに限らず、例えば、多品種少量生産品の組み付けラインにおいて半完成品に対して部品を組み付ける作業であってもよい。また、監視対象となる単位作業は、例えば、被組付部材から部品を変形させたり取り外したりするような作業であってもよい。

（６）第１信頼度を設定するための撮像タイミングを作業開始タイミング、第２信頼度を設定するための撮像タイミングを作業完了タイミングとすることに限らず、いずれか一方のタイミングを、前の単位作業（例えば、単位作業Ａ）の作業完了タイミングであって後の単位作業（例えば、単位作業Ｂ）の作業開始タイミングとしてもよい。

１０…作業分析装置
１１…制御部（監視領域設定部，信頼度設定部，判定部，区切情報設定部）
１３…撮像部
２０，２０ａ～２０ｄ…部品
３０，３０ａ～３０ｄ…部品箱
３１ａ～３１ｄ…マーカ
Ｐ１ａ～Ｐ１ｄ，Ｐ２ａ～Ｐ２ｄ…監視領域
Ｗ…ワーク（被組付部材）
Ｗａ～Ｗｄ…組付予定位置

Claims (5)

1. 複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置であって、
   作業者により繰り返しなされる前記所定の作業を撮像する撮像部と、
   前記撮像部の撮像範囲内にて前記単位作業ごとに、少なくとも当該単位作業の第１の動作を検出するための第１の監視領域と当該単位作業の第２の動作を検出するための第２の監視領域とを含めた複数の監視領域を設定する監視領域設定部と、
   前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域において前記単位作業に関する動作がなされていると判定される可能性が高くなるほど高くなるような信頼度を、前記監視領域ごとに設定する信頼度設定部と、
   少なくとも前記信頼度設定部により前記第１の監視領域にて設定された前記信頼度と前記第２の監視領域にて設定された前記信頼度とに基づいて、対応する前記単位作業が行われているか否かについて判定する判定部と、
   前記判定部により作業が行われていると判定された前記単位作業について、前記第１の監視領域にて前記信頼度を設定するための前記撮像画像を撮像したタイミングと前記第２の監視領域にて前記信頼度を設定するための前記撮像画像を撮像したタイミングとの少なくとも一方を利用して、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定する区切情報設定部と、
   を備えることを特徴とする作業分析装置。
2. 前記単位作業は、所定の部品箱から取り出した部品を被組付部材に組み付ける作業であり、
   前記第１の動作は、前記部品箱から前記部品を取り出す動作であり、
   前記第２の動作は、前記部品を前記被組付部材の組付予定位置に組み付ける動作であることを特徴とする請求項１に記載の作業分析装置。
3. 前記信頼度設定部は、前記第１の監視領域に関する前記信頼度について、前記撮像部により前記第１の監視領域を撮像した撮像画像の差分に基づいて前記部品が計数可能であるか否かに応じて、設定方式を変えることを特徴とする請求項２に記載の作業分析装置。
4. 前記判定部は、前記第２の監視領域にて設定された前記信頼度を前記第１の監視領域にて設定された前記信頼度よりも重みを増すようにして全ての前記信頼度を数値化して合算した合算値に基づいて、対応する前記単位作業が行われているか否かについて判定すること特徴とする請求項２又は３に記載の作業分析装置。
5. 複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置の制御部に、
   作業者により繰り返しなされる前記所定の作業を撮像部を利用して撮像する撮像処理と、
   前記撮像部の撮像範囲内にて前記単位作業ごとに、少なくとも当該単位作業の第１の動作を検出するための第１の監視領域と当該単位作業の第２の動作を検出するための第２の監視領域とを含めた複数の監視領域を設定する監視領域設定処理と、
   前記撮像処理により撮像された撮像画像のうち前記監視領域設定処理により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域において前記単位作業に関する動作がなされていると判定される可能性が高くなるほど高くなるような信頼度を、前記監視領域ごとに設定する信頼度設定処理と、
   少なくとも前記信頼度設定処理により前記第１の監視領域にて設定された前記信頼度と前記第２の監視領域にて設定された前記信頼度とに基づいて、対応する前記単位作業が行われているか否かについて判定する判定処理と、
   前記判定処理により作業が行われていると判定された前記単位作業について、前記第１の監視領域にて前記信頼度を設定するための前記撮像画像を撮像したタイミングと前記第２の監視領域にて前記信頼度を設定するための前記撮像画像を撮像したタイミングとの少なくとも一方を利用して、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定する区切情報設定処理と、
   を実行させることを特徴とする作業分析プログラム。

Images