JP7235094B2 - 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム - Google Patents

Description

本発明は、異常作業検出システム、異常作業検出方法、および以上作業検出プログラムに関する。

近年、食品製造、薬品製造業等では、人による異物混入が大きな課題となっている。また一般的な製造業でも、異常作業による製品品質の低下や市場流出により、多くの損害が発生している。このような不正作業、異常作業を検出し、損害を未然に防ぐために種々の試みがなされている。

例えば、特許文献１には、監視対象の画像を用いて異常作業を検出する技術が開示されている。この技術では、作業者の属性や作業内容を記した作業予約情報を予め登録しておき、監視領域内の画像を監視し、監視画像の作業と予約された作業が一致していれば適正と判定し、不一致であれば異常判定する。そして異常と判定された場合は、アラームを出力したり、作業者の退避を防止したりするなどの措置を行う。上記のような仕組みにより、異常作業を未然に防ぐことができる。

特開２０１２－１４１９８９号公報

しかしながら、特許文献１の方法では、正常作業との動作の差異が小さい異常作業を検出することが困難であるという問題があった。この技術では、実際の作業内容が、予め登録した予約作業と一致するか否かで作業の正常と異常を判定している。特許文献１中に記載があるように、この方法によって作業エリアや作業対象の装置といった大まかな作業の正当性を判定することができる。一方、ポケットから異物を取り出して混入するといった、正常作業との動作の差異が小さな異常作業を検出することは困難であった。これは、作業者の作業が予約作業と一致するか否かで正常と異常を判定しているためである。作業者が予約通りの動作をすることは事実上不可能であり、特許文献１の技術は、上述のような動作の差異が小さな異常作業の検出には適していなかった。

本発明は上記の問題点に鑑みてなされたものであり、異常作業を精度良く検出できる異常作業検出システムを提供することを目的としている。

上記の課題を解決するため、本発明の異常作業検出システムは、撮像手段と、画像格納手段と、基準格納手段と、物体認識手段と、異常作業検出手段と、を有している。撮像手段は、作業状況を撮影する。画像格納手段は、複数の作業工程それぞれの正常な作業を撮影した標準画像を格納する。基準格納手段は、正常な作業の正常範囲を基準として格納する。物体認識手段は、撮像手段によって撮影された作業状況画像から作業者の手及び部品を認識する。異常作業検出手段は、基準格納手段に格納された基準に基づいて、作業状況画像と画像格納手段に格納された標準画像とを比較して異常作業を検出する。また、異常作業検出手段は、作業者の手及び部品に他の物体より大きな重みを付けて比較する。

本発明の効果は、異常作業を精度良く検出できる異常作業検出システムを提供できることである。

第１の実施形態を示すブロック図である。 第２の実施形態を示すブロック図である。 第２の実施形態の正常作業を説明するための画像例である。 第２の実施形態の正常作業の類似度時間変動を示すグラフの例である。 第２の実施形態の異常作業を説明するための画像例である。 第２の実施形態の異常作業の類似度時間変動を示すグラフの例である。 第２の実施形態の動作を示すフローチャートである。 第３の実施形態を示すブロック図である。 第２、第３の実施形態を適用する作業の例を示すフローチャートである。 類似度の正常範囲設定例を示すグラフである。 異常作業の具体例における異常作業検出例を示すグラフである。 異常作業の別の具体例における異常作業検出例を示すグラフである。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。

（第１の実施形態）
図１は、第１の実施形態の異常作業検出システムを示すブロック図である。異常作業検出システムは、撮像手段１０と、標準画像格納手段２０と、類似度算出手段３０と、類似度基準格納手段４０と、異常作業検出手段５０と、を有している。

撮像手段１０は、作業状況を撮影する。標準画像格納手段２０は、複数の工程の正常作業を撮影した標準画像を格納する。類似度算出手段３０は、撮像手段１０が撮影した作業状況画像の各標準画像に対する類似度を算出する。類似度基準格納手段４０は、上述の類似度の時間変動についての基準を定めた類似度基準を格納する。異常作業判定手段５０は、算出した類似度と類似度基準とに基づいて異常作業を検出する。

以上、説明したように、本実施形態によれば、異常作業を精度よく検出することができる。

（第２の実施形態）
図２は第２の実施形態の異常作業検出システム１００を示すブロック図である。異常作業検出システム１００は、撮像部１１０と、標準画像格納部１２０と、類似度算出部１３０と、類似度基準格納部１４０と、異常作業検出部１５０と、を有している。そして類似度算出部１３０は、特徴量抽出部１３１を有している。

撮像部１１０は、作業状況を撮影する。撮像部１１０は、例えば、視点を所定の作業エリアに固定した作業状況の動画を撮影する。具体的にはＣＣＤカメラ等を用いることができる。

標準画像格納部１２０は、撮像部１１０が撮影した、複数の工程の標準画像を格納する。標準画像は、各工程の正常作業を撮影した画像である。画像の格納には、メモリやハードディスクなどの記憶媒体を用いることができる。

類似度算出部１３０は、特徴量抽出部１３１を有し、撮像部１１０が撮影した作業状況画像の、標準画像に対する類似度を算出する。類似度は、比較画像と元画像が、どの程度類似しているかを表す数値である。類似度の算出は、例えば、比較する両画像の特徴量を算出し、その特徴量を比較して行うことができる。特徴量の定義は様々であるが、例えば、色、テクスチャ、形状などで定義することができる。なお、本実施形態は、これら特徴量の定義に限定されることなく、適用することができる。

特徴量抽出部１３１は、定義した規則にのっとって、標準画像、作業状況画像それぞれの特徴点と、その特徴点における特徴量を抽出する。特徴量は、例えば複数の指標で定義して、指標数の次元を持つ特徴ベクトルとして抽出することができる。このような特徴点および特徴ベクトルの算出には、種々の一般的な方法を用いることができる。具体的には、例えば、勾配方向ヒストグラム (ＨＯＧ、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ)、スピードアップロバスト特性 (ＳＵＲＦ、Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ)などがある。なおこれらの技術は、それぞれ周知技術であり、また本実施形態は具体的な特徴量抽出手法に限定されないため、ここでは説明を割愛する。

類似度は、例えば、特徴量抽出部１３１が抽出した特徴点ごとに、２つの画像間の特徴ベクトルの距離を計算し、その距離を統計処理することによって算出することができる。ただし、類似度の計算方法はこれに限定されることなく、他の方法を用いても良い。

本実施形態では、複数の工程に対応する複数の標準画像があるため、１つの作業状況画像について、それぞれの標準画像に対する類似度を算出する。すなわち、１つの作業状況画像について複数の類似度が算出される。

類似度基準格納手段１４０は、類似度の時間変動についての基準を定めた類似度基準を格納する。類似度の時間変動が類似度基準に適合していれば正常作業と判定し、適合していなければ異常作業と判定する。類似度基準は、例えば、工程の順番に対応して設定し、それぞれの類似度時間変動の正常範囲として設定することができる。この類似度基準を適切に設定することにより、異常作業を精度良く検出することができる。詳細については後述する。

異常作業検出部１５０は、類似度算出部１３０が算出した類似度の時間変動が、類似度基準格納部１４０に格納された類似度基準に適合しているか判定し、適合していない場合は、作業状況画像に映された作業を異常作業として検出する。

次に具体的な例を用いながら、異常作業検出システム１００の動作について説明する。図３は、標準画像６および作業状況画像７の具体例を示す模式図である。この作業は、作業台１に置かれたモジュール２に、同じく作業台１に置かれた部品箱３から、左手４で部品５を取り出し、モジュール２の所定位置にセットする作業である。図３（ａ）は、部品を取り出す作業Ａの正常作業の標準画像６Ａである。図３（ｂ）は、部品５をモジュール２にセットする作業Ｂの標準画像６Ｂである。図３（ｃ）、（ｄ）はそれぞれ作業状況画像７ｃ、７ｄである。時系列としては７ｃ→７ｄの順になる。類似度算出部は、７ｃ、７ｄのような作業状況画像７の、標準画像６に対する類似度を時々刻々算出する。こうして、作業状況画像の類似度の時間変化をデータとして取得することができる。図４は、このような類似度の時間変動の例を示すグラフである。ここで類似度をＳと記し、標準画像６Ａに対する類似度をＳＡ、標準画像６Ｂに対する類似度をＳＢと記すことする。また、図４に模式的に示したように、類似度基準として、類似度ＳＡとＳＢそれぞれには所定の幅を持った正常範囲を設定する。このような幅を持たせることによって、完全一致を求めることなく、あいまいな状態についても正常、異常を判定することができる。図４の例の場合、ＳＡが高くＳＢが低い状態から、ＳＢが高くＳＡが低い状態へと、ＳＡ、ＳＢそれぞれが正常範囲内で変化している。この結果から、部品を取り出す作業Ａからモジュールに部品をセットする作業Ｂまでの作業が正常に遂行されていると判定することができる。

次に異常作業の場合の類似度について説明する。図５は、異常作業の作業状況画像の例を示す模式図である。なお、前述した正常作業の説明と同様に、作業Ａの標準画像を図３（ａ）の標準画像６Ａ、作業Ｂの標準画像を図３（ｂ）の標準画像６Ｂとする。また図５（ａ）、（ｂ）、（ｃ）、（ｄ）の画像をそれぞれ作業状況画像７ｅ、７ｆ、７ｇ、７ｈと呼ぶこととする。時系列は７ｅ、７ｆ、７ｇ、７ｈの順とする。

図５に示した異常作業の例では、部品５を左手４で部品箱から３から取り出し（図５（ａ））、一旦画面から左手４と部品５が消える（図５（ｂ））。そして部品と同じ外観の物体８を持った右手９が現れ（図５（ｃ））、右手９でモジュール２に物体８をセットしている（図５（ｄ））。この作業では、物体８が元と同じ部品５であるとは限らない。すなわち、すり替えが行われている可能性がある。したがって、異常作業検出システムは、このような作業を異常作業として検出しなければならない。

図６は、図５に示した一連の作業についての、類似度の時間変動の算出例を示すグラフである。図５（ａ）の左手で部品を取り出す段階では、ＳＡ、ＳＢともに正常範囲にあるが、図５（ｂ）で、部品と左手が画面から消えたことを反映して、最初にＳＡが、正常範囲から外れ、次いでＳＢも正常範囲から外れている。この場合、ＳＡが正常範囲から外れた段階で異常作業の発生を検出することができる。なお、図５（ｃ）、（ｄ）では、部品を持っているのが右手であるため、部品をセットする工程に近づいても図４の例よりＳＢが低くなっている。

以上の具体例で説明したように、工程に対応する標準画像に対する、作業状況画像の類似度の時間変動について類似度基準を設定することにより、異常作業を検出することができる。このような、異常作業検出動作は図７のフローチャートで表すことができる。まず、工程ごとの標準画像を格納する（Ｓ１）。次に類似度の時間変動について類似度基準を設定する（Ｓ２）。なおＳ１とＳ２の順序は順不同でよい。次に作業状況を撮影し作業状況画像を取得する（Ｓ３）。次に取得した作業画像の各標準画像に対する類似度を算出する（Ｓ４）。そして、算出した類似度が類似度基準を満たしているか判定する（Ｓ５）。類似度基準を満たしていれば（Ｓ５＿Ｙｅｓ）、Ｓ３に戻り、作業状況画像を取得する。一方、類似度が基準を満たしていなければ（Ｓ５＿Ｎｏ）、異常作業発生のアラームを発報して（Ｓ６）、終了する。

以上、説明したように本実施形態によれば、異常作業を精度よく検出することができる。
（第３の実施形態）
図８は、本実施形態の異常作業検出システム２００を示すブロック図である。異常作業検出システム２００は、第２の実施形態と同様に、撮像部２１０と、標準画像格納部２２０と、類似度算出部２３０と、類似度基準格納部２４０と、異常作業検出部２５０と、を有している。そして、本実施形態では、上記の構成に加えて、類似度算出部２３０が、特徴量抽出部２３１と、物体認識部２３２と、重み付け設定部２３３と、を有している。

特徴量抽出部２３１の働きは、第２の実施形態の特徴量抽出部１３１と同様であり、標準画像および作業状況画像の特徴点と、この特徴点における特徴量を抽出する。動作の詳細については第２の実施形態の繰り返しになるため省略する。

物体認識部２３２は、特徴量抽出部が抽出した特徴量に基づいて物体を認識する。物体認識技術は、機械学習技術の進歩やプロセッサの高速化により近年急速に進歩している技術であり、簡単な操作で物体認識を実行できるツールも一般的になりつつある。本実施形態では、このような物体認識技術を利用して物体を認識し、異常作業の検出に利用する。なお、本実施形態は物体認識の種類によらず適用できるため、物体認識技術自体についての説明は省略する。

重み付け設定部２３３は、物体認識の結果に基づいて、類似度を計算する特徴量の重み付けを行う。第２の実施形態で説明したような、作業者が作業台で作業を行う場合には、作業者以外の背景はほとんど動くことが無い。このような環境では、作業者の動作と部品が正常であるか否かが重要であり、背景に存在する固定物は、ほとんど考慮する必要が無い。したがって、物体認識部が認識した、部品と、作業者の身体、とりわけ作業者の手の形と動きに大きな重みを付けて類似度を算出することにより、異常作業検出の精度をさらに向上することができる。食品加工や機械の組み立て作業では、上記の具体例と同様に、手、腕の動きが、部品や材料の監視が特に重要であり、これら特定の物体の特徴量に大きな重みを付けることで、異常作業の検出精度を向上することが可能である。なお近年の物体認識技術を用いると、作業者の身長、体型等が変わったとしても、手や腕などを認識することは十分可能である。

（具体例）
ここで、第２、第３の実施形態を利用した異常作業検出の具体例を示す。

図９のように、１サイクルで工程Ａ、Ｂ、Ｃ、Ｄ、Ｅを順に行い、所定数完了までこのサイクルを繰り返す作業を仮定する。

作業状況画像の各工程の標準画像に対する類似度は、工程の順番に従って変化しなければならないので、類似度基準の正常範囲は、例えば、図１０のように設定する。すなわち、ＳＡ、ＳＢ、ＳＣ、・・・の順に類似度がピークを迎えるのが正常となる。ここで異常作業の具体例について説明する。

１）違う工程の類似度が高くなる場合
図９の作業では、作業が正常に行われた場合、図１０に示すように工程Ａの類似度ＳＡがピークアウトした次には工程Ｂの類似度ＳＢが上昇しなければならない。ところが、図１１に示すように、ＳＡが正常範囲内でピークアウトした後に、ＳＢが上昇せずに、ＳＤが上昇したとする。このような状況は、例えば工程の順番を誤って工程Ａの次に工程Ｄを実施した時に発生する。この異常作業は、図１１に示すように、工程Ｂの類似度ＳＢがＳＢ正常範囲から外れた時点で検出することができる。

２）次工程までの実行までが遅い場合
工程の順番は正しいが、次工程の実行が遅いという異常作業も考えられる。このような場合、類似度は、例えば図１２のように変動する。図１２の例では、Ａ工程の類似度ＳＡが正常範囲でピークアウトした後に、本来立ち上がってくるはずのＢ工程の類似度ＳＢが、上昇しきらずに、しばらく時間が経過した後にＳＢがピークを迎えたＳＢ正常範囲を外れてしまった状態を示している。このようなことは、作業者が気絶したり、居眠りをしたりして、そのあと気づいて作業を再開した、といった場合に起こり得る。この場合も、ＳＢが正常範囲を外れたことをもって、異常作業を検出することができる。

以上の第１から第３の実施形態の処理をコンピュータに実行させるプログラムおよび該プログラムを格納した記録媒体も本発明の範囲に含む。記録媒体としては、例えば、磁気ディスク、磁気テープ、光ディスク、光磁気ディスク、半導体メモリ、などを用いることができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

１ 作業台
２ モジュール
３ 部品箱
４ 左手
５ 部品
６ 標準画像
７ 作業状況画像
８ 物体
９ 右手
１０ 撮像手段
２０ 標準画像格納手段
３０ 類似度算出手段
４０ 類似度基準格納手段
５０ 異常作業検出手段
１００、２００ 異常作業検出システム
１１０、２１０ 撮像部
１２０、２２０ 標準画像格納部
１３０、２３０ 類似度算出部
１３１、２３１ 特徴量抽出部
１４０、２４０ 類似度基準格納部
１５０、２５０ 異常作業検出部
２３２ 物体認識部
２３３ 重み付け設定部
Ｓ 類似度

Claims (3)

1. 作業者の作業状況を撮影する撮像手段と、
   複数の作業工程それぞれの正常な作業を撮影した標準画像を前記作業工程の実施順と対応付けて格納する画像格納手段と、
   前記正常な作業の正常範囲を基準として格納する基準格納手段と、
   前記撮像手段によって撮影された作業状況画像から前記作業者の手及び部品を認識する物体認識手段と、
   前記正常範囲に基づいて、前記作業状況画像と前記画像格納手段に格納された標準画像とを比較して異常作業を検出する異常作業検出手段とを有し、
   前記異常作業検出手段は、前記作業者の手及び部品に他の物体より大きな重みを付けて比較し、
   前記基準格納手段は、前記作業工程ごとに時間変動する前記正常範囲を基準として格納する
   異常作業検出システム。
2. 作業者の作業状況を撮影し、
   撮影された前記作業状況の画像から前記作業者の手及び部品を認識し、
   撮影された前記作業状況の画像と画像格納手段に格納された複数の作業工程それぞれの正常な作業を撮影した標準画像とを前記作業工程の実施順と対応付けて基準格納手段に基準として格納された前記正常な作業の正常範囲に基づいて、前記作業者の手及び部品に他の物体より大きな重みを付けて比較して、異常作業を検出し、
   前記正常範囲は、前記作業工程ごとに時間変動する
   異常作業検出方法。
3. 作業者の作業状況を撮影した作業状況画像を取得する処理と、
   撮影された前記作業状況画像から前記作業者の手及び部品を認識する処理と、
   撮影された前記作業状況の画像と画像格納手段に格納された複数の作業工程それぞれの正常な作業を撮影した標準画像とを前記作業工程の実施順と対応付けて基準格納手段に基準として格納された前記正常な作業の正常範囲に基づいて、前記作業者の手及び部品に他の物体より大きな重みを付けて比較して、異常作業を検出する処理とをコンピュータに実行させ、
   前記正常範囲は、前記作業工程ごとに時間変動する
   異常作業検出プログラム。

Images