JP6922239B2 - 工程監視装置、工程監視装置の制御方法およびプログラム - Google Patents

Description

本技術は、工程監視装置に関し、特に、複数の工程を経て製品が生産される生産工程に用いられる工程監視装置に関する。

多くの生産現場では生産設備の短時間の停止、いわゆるチョコ停が日常的に発生している。チョコ停は短時間の停止である。ワークの再セットや装置の再起動で再稼働され、突発的に発生し再現性が低いため発生原因の検証が十分には行われてこなかった。

しかしながら、一度の停止時間は短いものの発生頻度が高く、合計時間は長時間となる可能性があり、ライン停止による生産ロスの影響は大きくなる可能性がある。

上記問題に対し、装置にカメラを取り付け、装置が出力する異常信号をトリガーに録画を行うことで、異常発生時の様子を記録てし、原因を分析するための撮影装置が知られている。

一方で、装置のどの部分で異常が発生するか予め予想することは難しい。また、異常が複数工程にまたがって発生することも考えられる。そのため、複数領域の様子を記録するために複数台のカメラを用いての複数領域撮影や、高解像カメラを用いて複数工程を一台で撮影することが考えられる。

しかしながら、異常が発生した原因を特定するための作業を想定して撮影を行うと、複数台分の画像データ、または高解像度の画像データが長時間記録され、それを保持しておく必要がある。

したがって、必要な記憶容量は膨大な量となり、その記憶装置の費用が高額となってしまう可能性がある。

特開２０１５−５５９９０号公報（特許文献１）には、連続する工程を工程ごとの規定作業時間で区切り、工程で異常が発生した際には当該工程で作業が行われている時間のみの画像データを記録することにより、データ容量を削減する方式が開示されている。

特開２０１５−５５９９０号公報

しかしながら、上記方式では異常が発生している工程だけではなく工程全体の画像データも記録されてしまうため、データ容量の削減の効果としては不十分であった。

本技術は、簡易な方式で生産工程の異常の状況検証に必要な情報を効率的に保持することが可能な工程監視装置を提供することを目的とする。

ある局面に従う工程監視装置は、複数工程を含む生産工程を撮影装置で撮影した動画情報を取得する動画情報取得手段と、生産工程における異常情報を取得する異常情報取得手段と、異常情報取得手段で取得した異常情報に基づいて、撮影装置で撮影する全撮影領域から特定領域を設定する領域設定手段と、動画情報取得手段で取得した動画情報のうち領域設定手段で設定した特定領域における特定動画情報を抽出する抽出手段と、抽出手段により抽出した特定動画情報を保存する保存手段とを備える。

好ましくは、異常情報は、組み立て作業で発生する組立異常情報を含み、領域設定手段は、組立異常情報に基づいて、全撮影領域のうちの複数の異常検出箇所を含む領域の中から特定領域を設定する。

好ましくは、複数工程には、作業工程と、作業工程に対する検査工程とが含まれる。異常情報取得手段は、検査工程において作業工程に対する異常情報を取得する。領域設定手段は、異常情報に基づいて、全撮影領域から複数工程における検査工程に関連する作業工程を特定領域として設定する。

好ましくは、生産工程には、複数工程にそれぞれ関連付けられた複数のセンサが設けられる。異常情報には、規定値を超えるセンサ値の情報が含まれる。領域設定手段は、規定値を超えるセンサ値の情報に基づいて、全撮影領域から複数工程のうちの対応するセンサに関連する工程を含む領域を特定領域として設定する。

好ましくは、異常情報は、作業者に関する情報を含む。領域設定手段は、異常情報に基づいて、全撮影領域から作業者を含む領域を特定領域として設定する。

好ましくは、異常情報取得手段は、複数の異常情報を同時に取得する。領域設定手段は、複数の異常情報に基づいて、全撮影領域から複数の特定領域を設定する。抽出手段は、動画情報のうち設定された複数の特定領域における複数の特定動画情報を抽出する。保存手段は、抽出した複数の特定動画情報を互いに関連付けて保存する。

好ましくは、領域設定手段は、異常情報に基づいて、異常箇所の中心位置を基準として異常の種類に対応するサイズの特定領域を設定する。

好ましくは、全撮影領域は、格子状に複数の領域に分割される。領域設定手段は、異常情報に基づいて、分割された複数の領域の中から１つの領域を特定領域として設定する。

ある局面に従う工程監視装置の制御方法であって、複数工程を含む生産工程を撮影装置で撮影する動画情報を取得するステップと、生産工程における異常情報を取得するステップと、取得した異常情報に基づいて、撮影装置で撮影する全撮影領域から特定領域を設定するステップと、取得した動画情報のうち領域設定手段で設定した特定領域における特定動画情報を抽出するステップと、抽出した特定動画情報を保存するステップとを備える。

ある局面に従う工程監視装置のコンピュータが実行するプログラムであって、プログラムは、コンピュータを、複数工程を含む生産工程を撮影装置で撮影する動画情報を取得する動画情報取得手段と、生産工程における異常情報を取得する異常情報取得手段と、異常情報取得手段で取得した異常情報に基づいて、撮影装置で撮影する全撮影領域から特定領域を設定する領域設定手段と、動画情報取得手段で取得した動画情報のうち領域設定手段で設定した特定領域における特定動画情報を抽出する抽出手段と、抽出手段により抽出した特定動画情報を保存する保存手段として機能させる。

簡易な方式で生産工程の異常の状況検証に必要な情報を効率的に保持することが可能である。

実施形態１に基づく工程監視システム１を説明する全体構成図である。 実施形態１に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態１に基づく工程監視装置の制御方法について説明するフロー図である。 実施形態１の変形例に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態２に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態３に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態４に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態４の変形例１に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態４の変形例２に基づく工程監視システム１の処理の流れを概念的に説明する図である。 実施形態５に基づく工程監視システム１の処理を概念的に説明する図である。 実施形態６に基づく工程監視システム１の処理を概念的に説明する図である。 実施形態６の変形例に基づく工程監視システム１の処理を概念的に説明する図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

（実施形態１）
図１は、実施形態１に基づく工程監視システム１を説明する全体構成図である。

図１に示されるように、工程監視システム１は、生産ライン５に対して設けられた撮影装置４０と、異常信号を出力するスイッチＳＷ１〜ＳＷ３と、工程監視装置１０とを含む。

生産ライン５には、複数の工程が設けられている。本例においては、一例として工程Ａ、工程Ｂ、工程Ｃの順番に作業が行なわれる場合が示されている。また、それぞれの工程Ａ、工程Ｂ、工程Ｃにそれぞれ対応して異常検出装置が設けられる。本例においては、異常検出装置の一例として異常信号を出力するスイッチＳＷ１〜ＳＷ３（総括してスイッチＳＷとも称する）が設けられている。たとえば、検査者がスイッチＳＷを操作することにより異常信号が工程監視装置１０に出力される。また、スイッチＳＷを操作することにより生産ライン５の工程を中断するようにしてもよい。

検査者がスイッチＳＷ１を操作した場合には、工程Ａに関する異常信号が工程監視装置１０に出力される。スイッチＳＷ２を操作した場合には、工程Ｂに関する異常信号が工程監視装置１０に出力される。スイッチＳＷ３を操作した場合には、工程Ｃに関する異常信号が工程監視装置１０に出力される。

撮影装置４０は、生産ライン５の工程Ａ、工程Ｂ、工程Ｃを撮影可能な位置に配置される。撮影装置４０の撮影領域には、工程Ａ、工程Ｂ、工程Ｃの作業に関する画像データが含まれている。

撮影装置４０は、生産ライン５について撮影した動画データ（動画情報）を工程監視装置１０に出力する。なお、動画データは、時系列的に配列される複数の静止画像データであってもよい。

本例における工程監視装置１０は、撮影装置４０からの動画データを受けて、生産ライン５の異常の状況検証に必要な情報を効率的に格納する。具体的には、撮影装置４０からの動画データのうちの一部の動画データを保存する。具体的には、全撮影領域の中から抽出する領域を特定して、当該特定された領域（特定領域）の動画データを保存する。

したがって、すべての動画データを保存するのではなく、特定領域の動画データを保存するため効率的に必要な情報を格納することが可能である。

なお、本例においては、撮影装置４０および異常検出装置が工程監視装置１０と別に設けられた構成について説明するが、特にこれに限られず当該撮影装置４０および異常検出装置の少なくとも一方が工程監視装置の一部として組み込まれていてもよい。

工程監視装置１０は、ＣＰＵ（Central Processing Unit）１１と、記憶装置３０と、一時記憶装置３２とを含む。記憶装置３０は、一例としてＨＤＤ（Hard Disc Drive）を利用することが可能である。一時記憶装置３２は、一例としてＲＡＭ（Random Access Memory）を利用することが可能である。

ＣＰＵ１１は、記憶装置３０に格納されたプログラムを実行することにより、複数の機能ブロックを実現することが可能である。具体的には、ＣＰＵ１１は、再生部１２と、領域設定部１４と、異常情報取得部１６と、抽出部１８と、保存部２０と、動画情報取得部２２とを含む。なお、図示しないが外部のサーバと連携して当該機能ブロックを実現する構成とすることも可能である。

再生部１２は、記憶装置３０に格納された動画情報を再生する。一例として図示しない表示部に再生表示する。

動画情報取得部２２は、撮影装置４０で撮影した動画データを取得する。動画情報取得部２２は、取得した動画データを一時記憶装置３２に格納する。一時記憶装置３２には、所定期間の動画データを格納する領域が設けられており、随時上書き更新することが可能である。

異常情報取得部１６は、スイッチＳＷ１〜ＳＷ３からの異常信号の入力を受ける。
領域設定部１４は、異常情報取得部１６での異常信号の入力に基づいて撮影装置４０の撮影領域の中から抽出する領域を特定して、当該特定領域を設定する。

抽出部１８は、一時記憶装置３２に格納された動画情報取得部２２で取得された動画データのうち設定された特定領域の特定動画データを抽出する。

図２は、実施形態１に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図２に示されるように、本例においては、工程Ｂについて異常が発生した場合が示されている。

具体的には、検査者がスイッチＳＷ２を操作した場合が示されている。当該場合に、異常情報取得部１６は、スイッチＳＷ２からの異常信号の入力を受ける。これに伴い、異常情報取得部１６は、スイッチＳＷ２からの異常信号が有った旨を領域設定部１４に通知する。領域設定部１４は、スイッチＳＷ２からの異常信号の通知に基づいて、特定領域を設定する。

撮影装置４０で撮影する撮影領域のうち工程Ａ、工程Ｂ、工程Ｃに関してそれぞれ抽出する領域は予め設定されている。本例においては、領域設定部１４は、スイッチＳＷ２からの異常信号の通知に従って、工程Ｂに関する領域を特定領域として設定する。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定した工程Ｂを含む特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
図３は、実施形態１に基づく工程監視装置の制御方法について説明するフロー図である。

図３に示されるように、ＣＰＵ１１は、動画情報を取得する（ステップＳ２）。具体的には、動画情報取得部２２は、撮影装置４０からの動画データの入力を受ける。動画情報取得部２２は、取得した動画データを一時記憶装置３２に随時格納する。

次に、ＣＰＵ１１は、異常情報が有るか否かを判断する（ステップＳ４）。具体的には、異常情報取得部１６は、スイッチＳＷからの異常信号の入力が有るか否かを判断する。

ステップＳ４において、ＣＰＵ１１は、異常情報が無いと判断した場合（ステップＳ４においてＮＯ）には、ステップＳ２に戻り、動画情報の取得を継続する。

一方、ステップＳ４において、ＣＰＵ１１は、異常情報が有ると判断した場合（ステップＳ４においてＹＥＳ）には、特定領域を設定する（ステップＳ６）。具体的には、異常情報取得部１６は、異常信号の入力を受け付けた場合には、領域設定部１４に異常信号があった旨を通知する。領域設定部１４は、異常信号の通知に基づいて、撮影領域の中から抽出する特定領域を設定する。領域設定部１４は設定した特定領域に関する情報を抽出部１８に出力する。

次に、ＣＰＵ１１は、特定動画情報を抽出する（ステップＳ８）。具体的には、抽出部１８は、領域設定部１４で設定された特定領域に関する情報に基づいて、一時記憶装置３２に格納された動画情報取得部２２で取得された動画データのうち設定された特定領域の特定動画データを抽出する。抽出部１８は、抽出した特定画像データを保存部２０に出力する。

次に、ＣＰＵ１１は、抽出した特定動画情報を保存する（ステップＳ１０）。具体的には、保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。

そして、処理を終了する（エンド）。
当該処理により、すべての動画データを保存するのではなく、特定領域の動画データを保存するため効率的に必要な情報を記憶装置３０に格納することが可能である。

本例においては、異常検出装置として、スイッチＳＷ１〜ＳＷ３を設ける場合について一例として説明したがこれに限られず、異常を検出するセンサ（異常検出センサ）を用いるようにしてもよい。たとえば、近接センサや、エリアセンサ等を用いることも可能である。当該センサの異常信号が異常情報取得部１６に入力されて上記と同様の処理を実行することも可能である。

また、異常情報取得部１６は、異常検出装置からの入力のみならず、モータの回転数や電流値等を検出するセンサのセンサ値のデータを入力として受けて、当該入力値に基づいて各工程の異常情報を取得することも可能である。具体的には、異常情報取得部１６は、当該入力値が規定値を超える場合に異常情報を取得することが可能である。

あるいは、異常情報取得部１６は、撮影した動画データを用いて異常情報を取得するようにしてもよい。具体的には、画像解析処理により撮影した画像データに異常が有るか否かを判断し、異常情報を取得するようにしてもよい。

図４は、実施形態１の変形例に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図４（Ａ）に示されるように、セル生産方式などにより各工程が格子状に分割されている場合が示されている。具体的には、９つのエリアＲ１〜Ｒ９にそれぞれ対応して工程Ａ〜工程Ｉが割り振られている場合が示されている。当該場合には、各エリアに対応して設定領域を予め設定する。

図４（Ｂ）に示されるように、本例においては、異常情報取得部１６は、工程Ｆにおいて異常を検出したものとする。領域設定部１４は、工程Ｆに対応するエリアＲ６の領域を特定領域として設定する。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定されたエリアＲ６の特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
当該方式により、エリア毎に異常発生状況を管理することが可能であり、簡易に生産工程の異常の状況検証に必要な情報を取得することが可能となる。これにより、後のデータ管理や統計処理を簡便にすることが可能である。

（実施形態２）
図５は、実施形態２に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図５に示されるように、本例においては、一例として工程Ａ、工程Ｂ、工程Ｃがそれぞれ清掃工程、充填工程、梱包工程である場合が示されている。

本例においては、トナーボトルＴＢがコンベアＣＢを介して各工程への順次搬送される場合が示されている。

本例においては、清掃工程において、トナーボトルＴＢのクリーニング処理が実行される。充填工程においては、トナーボトルＴＢにトナーを充填する作業が実行される。梱包工程においては、トナーボトルＴＢを梱包する作業が実行される。

また、本例においては、工程間の両端には、ラインセンサが配置されており、トナーボトルＴＢのコンベアＣＢによる通過時間が計測される。具体的には、ラインセンサＬＳ０〜ＬＳ２（総括してラインセンサＬＳとも称する）が配置されている。清掃工程の先端には、ラインセンサＬＳ０が配置されている。充填工程の先端には、ラインセンサＬＳ１が配置されている。梱包工程の先端にはラインセンサＬＳ２が配置されている。

各ラインセンサＬＳは、工程監視装置１０と接続されている。工程監視装置１０の異常情報取得部１６は、ラインセンサＬＳの検出信号の入力を受ける。そして、異常情報取得部１６は、ラインセンサＬＳ間を通過するトナーボトルＴＢの通過ピッチタイムを計測する。具体的には、ラインセンサＬＳ０を通過してからラインセンサＬＳ１を通過するまでの通過ピッチタイムＰＴ１と、ラインセンサＬＳ１を通過してからラインセンサＬＳ２を通過するまでの通過ピッチタイムＰＴ２とを計測する。

また、それぞれの通過ピッチタイムには、上限時間が予め設けられている。通過ピッチタイムＰＴ１の上限時間は、５０ｓｅｃに設定されている。また、通過ピッチタイムＰＴ２の上限時間は、５７ｓｅｃに設定されている。

本例においては、異常情報取得部１６は、トナーボトルの各工程における通過ピッチタイムが上限時間を連続的に超過するか否かを検出し、連続的に超過することを検出した場合には、異常が生じていると判断する。

具体例として、本例においては各工程において、４回トナーボトルがラインセンサＬＳを通過した場合の通過ピッチタイムが示されている。

本例においては、清掃工程においては、４回すべてにおいて通過ピッチタイムＰＴ１が上限時間内であることが示されている。

一方で、充填工程においては、３回目、４回目における通過ピッチタイムＰＴ２が上限時間を連続的に超過していることを検出した場合が示されている。

この場合に、充填工程において異常が生じていると判断する。
異常情報取得部１６は、ラインセンサＬＳの入力に従う計測された通過ピッチタイムに基づいて、充填工程において異常が有った旨を領域設定部１４に通知する。

領域設定部１４は、充填工程における異常の通知に基づいて、特定領域を設定する。具体的には、撮影装置４０で撮影する撮影領域のうち充填工程に関する領域を特定領域として設定する。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定した充填工程を含む特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
当該処理により、すべての動画データを保存するのではなく、異常の発生原因となる工程を特定し、特定領域の動画データを保存するため効率的に必要な情報を記憶装置３０に格納することが可能である。

なお、本例においては２回連続的に上限時間を超過するか否かに基づいて異常が生じているか否かを判断する方式について説明したが、当該回数は適宜設計変更可能である。

（実施形態３）
実施形態１においては、異常を検出した場合に、当該異常を検出した位置における動画データを特定画像データとして抽出する方式について説明した。

一方で、生産ライン５には、作業工程と、当該作業工程に対する検査工程とが分かれている場合がある。検査工程で検査され、異常が検出された場合に、検査工程の領域を特定領域として設定し、特定画像データを抽出しても当該情報は、異常の状況検証に必要な部分ではない可能性がある。

図６は、実施形態３に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図６に示されるように、本例においては、一例として工程Ａ、工程Ｂ、工程Ｃがそれぞれ組立工程、ラベル貼り工程、検査工程である場合が示されている。

本例においては、組立工程において、トナーボトルＴＢが組み立てられる。ラベル貼り工程においては、組立工程において組み立てられたトナーボトルＴＢにラベルが貼られる。

検査工程においては、組み立てられたトナーボトルＴＢの仕向けが間違えて組み立てられていないかを検査する。

また、トナーボトルＴＢはコンベアＣＢにより次の工程へと順次搬送される場合が示されている。

本例においては、検査工程において、スイッチＳＷＰが設けられており、スイッチＳＷＰを操作することにより異常信号が工程監視装置１０に出力される。

この場合、仕向け間違いが発見されるのは検査工程である。しかしながら、仕向け間違いの原因となっているのは離れた位置に存在する組立工程である。

本例においては、検査工程に対応してスイッチＳＷＰが設けられているが、当該スイッチＳＷＰの異常信号は、組立工程と関連付けられているものとする。

異常情報取得部１６は、スイッチＳＷＰからの異常信号の入力に従って、異常信号が有った旨を領域設定部１４に通知する。

領域設定部１４は、スイッチＳＷＰからの異常信号の通知に基づいて、特定領域を設定する。具体的には、撮影装置４０で撮影する撮影領域のうち組立工程、ラベル貼り工程、検査工程のうち組立工程に関する領域を特定領域として設定する。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定した組立工程を含む特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
当該処理により、異常の発生原因となる工程を特定し、該当する工程を含んだ領域を特定領域として保存することにより、異常が検出された位置ではなく、異常の原因となった工程のみを特定画像データとして保存することが可能である。

（実施形態４）
実施形態１においては、生産ライン５の一部の工程に対応する領域を特定領域に設定して、当該特定領域の動画データを保存する場合について説明した。実施形態４においては、より詳細な箇所を特定領域とする場合について説明する。

図７は、実施形態４に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図７に示されるように、本例においては、一例として工程Ｂについて異常が発生した場合が示されている。

工程Ｂの一例して、本例においては、底板のねじ締め工程が示されている。
本例においては、画像解析により当該ねじ締め工程の異常を検出する。

具体的には、正しくねじ締め工程が実行された底板の画像を基準画像として、当該基準画像と比較して、ねじ締め忘れが無いか否かを検出する。

本例においては、当該ねじ締め工程において、ねじ締めが行なわれる箇所、すなわち、ねじ締め忘れの異常の有無を検出する異常検出箇所Ｐ１〜Ｐ１３が予め設定されている場合が示されている。

異常情報取得部１６は、動画情報取得部２２で取得した動画データに基づいて、画像解析処理により基準画像との比較に基づいて、異常の有無を判断する。本例においては、異常検出箇所Ｐ４、Ｐ６において異常が有る場合を検出した場合が示されている。

異常情報取得部１６は、異常検出箇所Ｐ４，Ｐ６の検出結果を領域設定部１４に出力する。

異常検出箇所Ｐ１〜Ｐ１３のそれぞれには、抽出する領域が予め設定されている。
領域設定部１４は、異常情報取得部１６で取得された異常検出箇所Ｐ４，Ｐ６の異常有りの情報に基づいて、予め設定された異常検出箇所を含む領域を特定領域に設定する。

抽出部１８は、領域設定部１４で設定された特定領域に関する情報に基づいて、一時記憶装置３２に格納された動画情報取得部２２で取得された動画データのうち設定された特定領域の特定動画データを抽出する。

抽出部１８は、抽出した特定画像データを保存部２０に出力する。
保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。

当該方式により、より詳細な箇所の特定画像データを保存することにより、効率的に必要な情報を記憶装置３０に格納することが可能である。

上記においては、異常情報取得部１６において、ねじ締め忘れの異常を検出するために画像解析処理を実行する場合について説明したが、ねじ締め処理の異常を検出する場合にも同様に適用可能である。

具体的には、異常情報取得部１６は、異常検出箇所Ｐ１〜Ｐ１３におけるねじ締め処理を実行するドライバーのドライバートルク値を取得する。そして、当該取得したドライバートルク値が規定トルク外か否かを判断する。取得したドライバートルク値が規定トルク外であれば当該ねじ締め処理は異常であると判断することが可能である。異常情報取得部１６が、上記判断に基づき異常検出箇所を領域設定部１４に出力することにより、ねじ締め処理の異常に関する特定動画データを抽出し、記憶装置３０に保存することが可能である。

図８は、実施形態４の変形例１に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図８に示されるように、本例においては、一例として工程Ｂについて異常が発生した場合が示されている。工程Ｂの一例して、本例においては、底板のねじ締め工程が示されている。

本例においては、ドライバートルク値により当該ねじ締め工程の異常を検出する。
具体的には、ドライバートルク値をドライバービットＤＢを押し付けるＺ軸アクチュエーターからデータを取得する。

本例においては、一例としてワークＷ毎の異常検出箇所Ｐ１，Ｐ２におけるドライバートルク値が示されている。規定値としては４０〜５０Ｎに設定されている場合が示されている。

本例においては、ワークＷのロット変化などが原因となり、ねじ締め位置のティーチング位置にズレが生じ、ワークＷ３４から異常検出箇所Ｐ２において規定トルク外となっている場合が示されている。

本例においては、異常情報取得部１６は、既定トルク外が連続的に発生する箇所を検出し、連続的に超過することを検出した場合には、当該異常検出箇所において異常が生じていると判断する。

異常情報取得部１６は、異常検出箇所Ｐ２の検出結果を領域設定部１４に出力する。
上記したように異常検出箇所Ｐ１〜Ｐ１３のそれぞれには、抽出する領域が予め設定されている。

領域設定部１４は、異常情報取得部１６で取得された異常検出箇所Ｐ２の異常有りの情報に基づいて、予め設定された異常検出箇所を含む領域を特定領域に設定する。

抽出部１８は、領域設定部１４で設定された特定領域に関する情報に基づいて、一時記憶装置３２に格納された動画情報取得部２２で取得された動画データのうち設定された特定領域の特定動画データを抽出する。

抽出部１８は、抽出した特定画像データを保存部２０に出力する。
保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。

当該方式により、より詳細な箇所の特定画像データを保存することにより、効率的に必要な情報を記憶装置３０に格納することが可能である。

図９は、実施形態４の変形例２に基づく工程監視システム１の処理の流れを概念的に説明する図である。

図９に示されるように、異常情報取得部１６は、同一ワークＷ内において、複数の異常検出箇所の異常有りを検出した場合が示されている。具体的には、異常検出箇所Ｐ４，Ｐ６，Ｐ１３の３箇所で異常（エラー）を検出した場合が示されている。

上記と同様の方式により、領域設定部１４は、異常情報取得部１６で取得された異常検出箇所Ｐ４，Ｐ６，Ｐ１３の異常有りの情報に基づいて、予め設定された異常検出箇所を含む領域を特定領域に設定する。

抽出部１８は、領域設定部１４で設定された特定領域に関する情報に基づいて、一時記憶装置３２に格納された動画情報取得部２２で取得された動画データのうち設定された特定領域の特定動画データを抽出する。

抽出部１８は、抽出した特定画像データを保存部２０に出力する。
保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。

この場合、同一ワークＷ内で異常が同時に検出された場合、特定領域が複数設定されるため保存するファイルが複数になる。

変形例２においては、保存部２０は、抽出した特定画像データについて、それぞれ保存するのではなく、１つのファイルに複数の抽出した特定動画データを含めた形式で記憶装置３０に保存する。

当該方式により、同一ワークＷ内で異常が検出された複数の特定動画データを１つのファイルに保存することにより、簡易に生産工程の異常の状況検証に必要な情報を取得することが可能となる。

なお、上記においては、複数の特定動画データを１つのファイルに保存する方式について説明したが、個別に複数の特定動画データを保存するとともに、それぞれのデータの関連付けを示す情報をデータベースに保存するようにしてもよい。

具体的には、各特定領域の特定動画データを個別ファイルとして保存した上で、別途用意された動画ファイルのデータベースに、発生日時、装置ＸＸＸ、ワークＹＹＹ、ファイル名、エラー名を関連付けて保存することにより、各ファイルの関連性を明確にして保存しても良い。

（実施形態５）
実施形態５においては、生産ラインに係わる作業者も記録する場合について説明する。

図１０は、実施形態５に基づく工程監視システム１の処理を概念的に説明する図である。

図１０（Ａ）に示されるように、作業者が、ワークＷを作業机などの上で部品組み付けや受台などへセットした後、自動組立装置において自動組立処理が開始される場合には、ワークＷをセットする方向間違い等があった場合でも異常が検出されるのは自動組立装置内であり、自動組立装置だけを特定領域として抜き出した場合には、原因となる作業者の情報は記録されない。

したがって、実施形態４においては、図１０（Ｂ）に示されるように自動組立装置から最も近い位置に存在する作業者とその作業領域を含めて特定領域として保存する。

特定領域の設定としては、予め作業者が存在する領域として設定するようにしてもよい。

別の方式としては、異常情報取得部１６は、撮影した動画データを用いて異常情報に含まれる作業者に関する情報を取得するようにしてもよい。具体的には、画像解析処理により撮影した画像データ内の自動組立装置以外の領域で動く物体を特定し、当該動く物体を作業者と判断する。

領域設定部１４は、異常情報取得部１６で取得された作業者に関する情報に基づいて、当該作業者を含む領域を特定領域に設定する。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定した作業者を含む特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
当該処理により、原因となる作業者を含む情報を記録し、簡易に生産工程の異常の状況検証に必要な情報を取得することが可能となる。

すべての動画データを保存するのではなく、異常の発生原因となる工程を特定し、特定領域の動画データを保存するため効率的に必要な情報を記憶装置３０に格納することが可能である。

また、作業者にＲＦＩＤを所持させて、異常情報取得部１６は、当該ＲＦＩＤの情報に基づいて作業者の位置を特定し、領域設定部１４は、当該特定された位置を含む領域を特定領域に設定することも可能である。なお、ＲＦＩＤに限られず、エリアセンサーなどを利用して作業者の位置を特定することも可能である。

（実施形態６）
図１１は、実施形態６に基づく工程監視システム１の処理を概念的に説明する図である。

図１１（Ａ）には、工程Ｂについて異常が発生した場合が示されている。そして、領域設定部１４は、工程Ｂに関する領域を特定領域として設定する場合が示されている。

本例においては、異常発生として、複数の異常パターンのうち異常パターンＡが検出された場合が示されている。

図１１（Ｂ）は、複数の異常パターンにそれぞれ対応付けられた特定領域を規定するピクセルサイズを説明する対応テーブルである。当該対応テーブルは、一例として記憶装置３０に予め格納されているものとする。

具体的には、異常パターンＡに対応して、４８０×６４０のピクセルサイズが対応付けられている。また、異常パターンＢに対応して、９６０×１２８０のピクセルサイズが対応付けられている。

図１１（Ａ）においては、領域設定部１４は、記憶装置３０に格納されている対応テーブルを参照して、異常パターンＡに対応して４８０×６４０のピクセルサイズの特定領域を設定した場合が示されている。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定されたピクセルサイズの特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
具体例として、例えば部品を組み付ける工程であれば、異常パターンＡがねじ締め時のトルク異常によるねじ空回りの場合、異常パターンＢが部品の組み付け順序違いであるとする。

異常パターンＡの場合には、該当するねじ付近の画像のみを記録すれば実際の異常の様子を観察、分析することができる。一方、異常パターンＢが部品の組み付け順序違いであれば、ワーク内の複数箇所の部品組み付けの様子を記録する必要があるため、各箇所を納められるように特定領域を広げて保存することが必要となる。

したがって、同じ異常検出箇所における異常であっても、異常の種類に応じて特定領域のサイズを調整することにより、簡易に生産工程の異常の状況検証に必要な情報を取得することが可能となる。

なお、本例においては、２種類の異常パターンについて説明したが、特に２種類に限られず、さらに複数の異常パターンに対応するピクセルサイズを設けるようにすることも可能である。

異常情報取得部１６は、撮影した動画データを用いて異常のパターン判別を行なうことが可能である。具体的には、画像解析処理により基準画像との比較に基づいて、異常である部品欠品や組み立て順序違い、部品種違いなどの異常パターンを判断する。

あるいは、異常情報取得部１６は、ネジ締めであれば締め付けトルク異常や、ドライバー押し付け力異常などの異常パターンを装置に取り付けられたセンサーからのセンサ値に基づいて判断することも可能である。

なお、上記においては、基準位置（例えば、異常検出箇所）を基準に特定領域の設定を行なう場合について説明したが、座標により特定領域を設定することも可能である。

図１２は、実施形態６の変形例に基づく工程監視システム１の処理を概念的に説明する図である。

図１２（Ａ）には、定着駆動の組立工程が示されている。
当該組立工程において、異常パターンとして部品Ｌギア種違いが検出された場合が示されている。異常パターンの検出は、上記で説明した画像解析処理あるいは、入力されるセンサ値に基づいて判断されるものとする。

図１２（Ｂ）には、複数の異常パターンの対応テーブルが示されている。当該対応テーブルは、記憶装置３０に予め格納されている。

具体的には、異常番号と、異常パターン名と、特定領域を設定するためのＸＹ座標における座標Ｑ１，Ｑ２が関連付けられた対応テーブルが示されている。

具体的には、異常番号１に対応して、部品Ｋ欠品、座標Ｑ１（−３０，−１０）、座標Ｑ２（５０，３０）が設定されている。

異常番号２に対応して、部品Ｌ欠品、座標Ｑ１（１０，−１５）、座標Ｑ２（６０，４０）が設定されている。

異常番号３に対応して、部品Ｌギア種違い、座標Ｑ１（５，１０）、座標Ｑ２（６０，４０）が設定されている。

座標Ｑ１，Ｑ２は、ＸＹ座標系における特定領域を設定するための座標であり、座標Ｑ１は、特定領域を矩形領域とした場合の左下の座標を示す。また、座標Ｑ２は、特定領域を矩形領域とした場合の右上の座標を示す。当該２点の座標により特定領域を設定することが可能である。

図１１（Ａ）においては、領域設定部１４は、記憶装置３０に格納されている対応テーブルを参照して、部品Ｌギア種違いに対応する異常番号３の情報を読み出して、座標Ｑ１（５，１０），Ｑ２（６０，４０）に基づいて特定領域を設定する場合が示されている。

抽出部１８は、一時記憶装置３２に格納されている動画データに関して、領域設定部１４で設定された特定領域の特定動画データを抽出する。

保存部２０は、抽出した特定動画データについて、記憶装置３０に保存する。
当該方式により、異常の種類に応じて特定領域のサイズを調整することにより、簡易に生産工程の異常の状況検証に必要な情報を取得することが可能となる。

本装置は高解像度カメラなどの画像記録装置を用いて工程・装置全体を撮影する。撮影された大量の画像データに対し、画像の差分情報や工程に取り付けられた各種センサからの情報を基に異常が発生した領域のみを特定してその領域のみを保存することで、異常の状況検証に必要な部分だけを的確に漏れなく、かつ簡便に適切なデータ量で抽出して記憶することができる。

また、本実施形態におけるプログラムとして、工程乾燥装置のコンピュータで実行可能なアプリケーションを提供してもよい。このとき、本実施の形態に係るプログラムは、パーソナルコンピュータ上で実行される各種アプリケーションの一部の機能として組み込まれてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 工程監視システム、５ 生産ライン、１０ 工程監視装置、１２ 再生部、１４ 領域設定部、１６ 異常情報取得部、１８ 抽出部、２０ 保存部、２２ 動画情報取得部、３０ 記憶装置、３２ 一時記憶装置、４０ 撮影装置。

Claims (10)

1. 複数工程を含む生産工程を単一の撮影装置で撮影した動画情報を取得する動画情報取得手段と、
   前記生産工程における異常情報を取得する異常情報取得手段と、
   前記異常情報取得手段で取得した異常情報に基づいて、前記撮影装置で撮影する全撮影領域の一部である特定領域を設定する領域設定手段と、
   前記動画情報取得手段で取得した前記全撮影領域の動画情報のうち前記領域設定手段で設定した特定領域における特定動画情報を抽出する抽出手段と、
   前記動画情報のうち前記抽出手段により抽出した特定動画情報を保存する保存手段とを備える、工程監視装置。
2. 前記異常情報は、組み立て作業で発生する組立異常情報を含み、
   前記領域設定手段は、前記組立異常情報に基づいて、前記全撮影領域のうちの複数の異常検出箇所を含む領域の中から特定領域を設定する、請求項１記載の工程監視装置。
3. 前記複数工程には、作業工程と、前記作業工程に対する検査工程とが含まれ、
   前記異常情報取得手段は、前記検査工程において前記作業工程に対する異常情報を取得し、
   前記領域設定手段は、前記異常情報に基づいて、前記全撮影領域から前記複数工程における前記検査工程に関連する作業工程を特定領域として設定する、請求項１記載の工程監視装置。
4. 前記生産工程には、複数工程にそれぞれ関連付けられた複数のセンサが設けられ、
   前記異常情報には、規定値を超えるセンサ値の情報が含まれ、
   前記領域設定手段は、前記規定値を超えるセンサ値の情報に基づいて、前記全撮影領域から前記複数工程のうちの対応するセンサに関連する工程を含む領域を特定領域として設定する、請求項１記載の工程監視装置。
5. 前記異常情報は、作業者に関する情報を含み、
   前記領域設定手段は、前記異常情報に基づいて、前記全撮影領域から前記作業者を含む領域を特定領域として設定する、請求項１記載の工程監視装置。
6. 前記異常情報取得手段は、複数の異常情報を同時に取得し、
   前記領域設定手段は、複数の異常情報に基づいて、前記全撮影領域から複数の特定領域を設定し、
   前記抽出手段は、前記動画情報のうち設定された複数の特定領域における複数の特定動画情報を抽出し、
   前記保存手段は、抽出した複数の特定動画情報を互いに関連付けて保存する、請求項１記載の工程監視装置。
7. 前記領域設定手段は、異常情報に基づいて、異常箇所の中心位置を基準として異常の種類に対応するサイズの特定領域を設定する、請求項１記載の工程監視装置。
8. 前記全撮影領域は、格子状に複数の領域に分割され、
   前記領域設定手段は、前記異常情報に基づいて、分割された前記複数の領域の中から１つの領域を特定領域として設定する、請求項１記載の工程監視装置。
9. 工程監視装置の制御方法であって、
   複数工程を含む生産工程を単一の撮影装置で撮影する動画情報を取得するステップと、
   前記生産工程における異常情報を取得するステップと、
   取得した異常情報に基づいて、前記撮影装置で撮影する全撮影領域の一部である特定領域を設定するステップと、
   取得した前記全撮影領域の動画情報のうち前記設定するステップで設定した特定領域における特定動画情報を抽出するステップと、
   前記動画情報のうち抽出した特定動画情報を保存するステップとを備える、工程監視装置の制御方法。
10. 工程監視装置のコンピュータが実行するプログラムであって、
    前記プログラムは、前記コンピュータを、
    複数工程を含む生産工程を単一の撮影装置で撮影する動画情報を取得する動画情報取得手段と、
    前記生産工程における異常情報を取得する異常情報取得手段と、
    前記異常情報取得手段で取得した異常情報に基づいて、前記撮影装置で撮影する全撮影領域の一部である特定領域を設定する領域設定手段と、
    前記動画情報取得手段で取得した前記全撮影領域の動画情報のうち前記領域設定手段で設定した特定領域における特定動画情報を抽出する抽出手段と、
    前記動画情報のうち前記抽出手段により抽出した特定動画情報を保存する保存手段として機能させる、プログラム。

Images