JP6897100B2 - 判定装置、判定方法、および判定プログラム - Google Patents

Description

本件は、判定装置、判定方法、および判定プログラムに関する。

工場の製造ラインなどにおいて、作業の異常判定に、カメラによる撮像結果が用いられている。

特開２００２−３１９０２４号公報 特開２０１１−２９７６３号公報

撮像装置を用いた異常判定において、観察するべき領域が撮像全体の一部である場合がある。この場合、撮像全体を異常判定に用いると、重要ではない領域が判定結果に影響を及ぼすことがある。そこで、異常判定の精度を向上させるため、関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を設定することが考えられる。この場合、重要ではない領域の影響が抑制されるため、異常判定の精度が向上することになる。

しかしながら、作業者が手動でＲＯＩを設定する必要があるため、工数が必要となってしまう。そこで、ＲＯＩを自動的に抽出する実用的な技術としてテンプレートマッチングを用いることが考えられる。この技術では、テンプレートとなる注目部材の画像を事前にデータベース等に保存しておき、画像内でテンプレート画像とマッチングする部材が撮像されている小領域を自動抽出し、その周辺がＲＯＩとして設定される。しかしながら、テンプレートマッチングは高精度ではあるものの、拡大縮小に弱い、回転に弱い、ノイズに弱い等といった欠点が知られている。したがって、ＲＯＩを自動設定するためには、様々な方向の同一部材、拡大縮小させた同一部材の大量画像が必要となり、これらの大量画像を収集するための工数が必要であった。さらに、環境が変化する、部品ロットが変化する、作業が変化するといった変化・変動が生じた場合には再びテンプレートとなる画像を追加しなければならないため、さらなる工数が必要となる。

テンプレートマッチングは、人間が意識的に重要と認識している対象に対しては、テンプレート画像を登録するという意味で有効である。しかしながら、人間が無意識的に重要と判断し、注意を向けそうな領域に対しては、テンプレートマッチングでは検出することが困難である。

１つの側面では、本発明は、高精度な異常判定を少ない工数で実現することができる判定装置、判定方法および判定プログラムを提供することを目的とする。

１つの態様では、判定装置は、作業対象物の画像を取得する撮像装置と、判定部と、を有し、前記判定部は、前記画像から複数の特徴成分を抽出し、抽出された前記複数の特徴成分を足し合わせて人間の受動的な視覚注意機能をモデル化した顕著性マップを作成し、データベースに格納された前記作業対象物の複数の部品の各画像を用いて、前記複数の特徴成分を足し合わせる際の重み付けを修正することにより前記顕著性マップを修正し、修正された前記顕著性マップを用いて前記画像から視覚注意領域を抽出し、抽出された前記視覚注意領域を用いて異常判定の基準を作成する。

高精度な異常判定を少ない工数で実現することができる。

実施例１に係る作業装置の全体構成を説明するための図である。 異常判定に用いる識別器の作成処理を表すフローチャートを例示する図である。 顕著性マップの作成を例示する図である。 （ａ）は顕著性マップ作成前の元画像を例示する図であり、（ｂ）は輝度成分、色相成分、および方向成分の統合特徴マップを均等に統合した例である。 重み係数の修正を例示する図である。 異常検知処理を表すフローチャートを例示する図である。 顕著性マップの作成を例示する図である。 重み係数の修正を例示する図である。 （ａ）は判定装置のハードウェア構成を例示するブロック図であり、（ｂ）は変形例２にかかる作業システムについて例示する図である。

以下、図面を参照しつつ、実施例について説明する。

図１は、実施例１に係る作業装置１００の全体構成を説明するための図である。図１で例示するように、作業装置１００は、作業ロボット１０、コントローラ２０、カメラ３０、判定装置４０などを備える。

作業ロボット１０は、ロボットハンド１１などを備える。ロボットハンド１１は、作業対象物に対して所定の作業を行う装置である。センサ１２は、ロボットハンド１１の力、変位等を検出するセンサであり、一例として、歪ゲージ、力覚センサ、加速度センサなどである。コントローラ２０は、所定のタイミングで作業ロボット１０に作業指示を行う制御装置である。カメラ３０は、作業ロボット１０の作業画像を取得する装置であり、主として作業対象物（ワークなど）の画像を取得する。カメラ３０は、複数備わっていてもよい。

判定装置４０は、カメラ３０が取得した作業画像に基づいて、作業ロボット１０の作業状況の良否（正常／異常）を判定する。判定装置４０は、データベース４１、特徴抽出部４２、マップ作成部４３、マップ修正部４４、学習部４５、スコア算出部４６、判定部４７などを備える。

データベース４１は、ロボットハンド１１が作業を行う作業対象物の各部品の画像群を注目画像群として格納している。また、データベース４１は、訓練用データ群（訓練用正常データ群および訓練用異常データ群）、およびテストデータ群を格納している。訓練用正常データ群には、予め作業ロボット１０に作業を行わせ、目視等で作業状況が「正常」と判定された場合の各カメラ３０の取得画像が含まれている。訓練用異常データ群には、予め作業ロボット１０に作業を行わせ、目視で作業状況が「異常」と判定された場合の各カメラ３０の取得画像が含まれている。訓練用正常データ群および訓練用異常データ群は、学習部４５が機械学習により、測定データの異常判断を行うための基準（基準範囲）を作成するための訓練データ群である。機械学習とは、訓練データ群を基にして、未知の測定データのラベル（正常／異常）を推定することである。

テストデータ群は、学習部４５が作成した基準範囲の性能を検査するために、予め作成しておいたデータ群である。テストデータ群は、「正常」のラベルが付いたテストデータ（正常テストデータ群）と、「異常」のラベルが付いたテストデータ（異常テストデータ群）とを含む。正常テストデータ群には、予め作業ロボット１０に作業を行わせ、目視等で作業状況が「正常」と判定された場合の各カメラ３０の取得画像が含まれている。異常テストデータ群には、予め作業ロボット１０に作業を行わせ、目視で作業状況が「異常」と判定された場合の各カメラ３０の取得画像が含まれている。訓練用正常データ群および訓練用異常データ群と、テストデータ群とは、一部が重複していてもよい。

続いて、図２を参照しつつ、異常判定に用いる識別器の作成処理について説明する。図２は、異常判定に用いる識別器の作成処理を表すフローチャートを例示する図である。

図２で例示するように、特徴抽出部４２は、カメラ３０から作業画像を取得する（ステップＳ１）。例えば、特徴抽出部４２は、作業対象物（ワークなど）の画像を取得する。

次に、特徴抽出部４２は、カメラ３０が取得した画像から、人間の受動的な視覚注意機能に基づく特徴成分を抽出する（ステップＳ２）特徴成分として、例えば、輝度特徴、色相特徴、方向特徴、動き特徴等を用いることができる。本実施例においては、一例として、輝度特徴、色相特徴および方向特徴の３つの特徴成分を抽出する。図３で例示するように、特徴抽出部４２は、カメラ３０が取得した画像から、輝度特徴、色相特徴および方向特徴を抽出する。

次に、マップ作成部４３は、特徴抽出部４２が抽出した特徴成分から、それぞれ特徴マップを作成する（ステップＳ３）。特徴マップは、各特徴成分に基づいて抽出された視覚注意領域の分布のことである。具体的には、マップ作成部４３は、画像ピラミッドにスケール（分散）の異なるガウシアンフィルタを適用することにより、ガウシアンピラミッドを作成する。画像ピラミッドとは、解像度が異なる同一の画像群のことである。マップ作成部４３は、ガウシアンピラミッドの各画像から、スケールの異なるガウシアンピラミッドの各画像の差分処理（中心周辺差分処理）を実施することで、輝度成分、色相成分および方向成分の特徴マップを作成する。

例えば、マップ作成部４３は、下記式（１）に従って、輝度成分の特徴マップＩを作成する。「σ」は、スケール（分散値）を表す。「ｒ」、「ｇ」、「ｂ」は、それぞれ赤色成分、緑色成分、青色成分を表す。ｒ（σ）は、分散σにおける赤色成分である。ｇ（σ）は、分散σにおける緑色成分である。ｂ（σ）は、分散σにおける青色成分である。

マップ作成部４３は、下記式（２）に従って、輝度成分の中心周辺差分処理と総和とによって、輝度成分の統合特徴マップＩを作成する。例えば、Ｓ＝｛２，３，４｝、Ｎ＝｛３，４｝とする。下記式（２）によれば、異なる分散値の輝度値の差分を求めることにより、中心成分（σの小さな画像）と周辺成分（σの大きな画像）との差分を取得することができる。それにより、輝度において中心視と周辺視との差異が大きなものを抽出することができる。なお、「δ」は、σ（標準偏差）における、０よりも大きな微小量を表す。

次に、マップ作成部４３は、下記式（３）〜（６）に従って、色相成分の特徴マップを作成する。Ｒ（σ）は、赤色成分の特徴マップである。Ｇ（σ）は、緑色成分の特徴マップである。Ｂ（σ）は、青色成分の特徴マップである。Ｙ（σ）は、黄色成分の特徴マップである。

さらに、マップ作成部４３は、下記式（７）、（８）に従って、赤色成分の特徴マップと緑色成分の特徴マップとの差分ＲＧ（σ）と、青色成分の特徴マップと黄色成分の特徴マップとの差分ＢＹ（σ）と、を作成する。

マップ作成部４３は、下記式（９）に従って、色相成分の中心周辺差分処理と総和とによって、色相成分の統合特徴マップＣを作成する。

次に、マップ作成部４３は、下記式（１０）に従って、方向成分の特徴マップを作成する。Ψ（θ）は、ガボールフィルタである。θは、例えば、０°〜１３５°までの４５°刻みの４方向である。マップ作成部４３は、下記式（１１）に従って、方向成分の中心周辺差分処理と総和とによって、方向成分の統合特徴マップＯを作成する。ここで、Θは、｛０°，４５°，９０°，１３５°｝の集合である。

次に、マップ作成部４３は、下記式（１２）に従って、それぞれ計算した輝度成分、色相成分、方向成分の統合特徴マップを重み付け加算することで顕著性マップＳを作成する（ステップＳ４）。例えば、重み係数ω_ｋは、３特徴であれば等分の１／３とし、４特徴であれば等分の１／４とする。本実施例は３特徴を用いているため、重み係数ω_ｋを１／３とする、マップ作成部４３は、得られた顕著性マップを画像のメッシュごとに保持する。

ところで、顕著性マップは、人間の受動的な視覚注意機能をモデル化したものである。すなわち、顕著性マップは、人間が能動的に注視したい（積極的に重要視したい）対象をモデル化しているわけではない。したがって、異常判定に必要な部材の画像領域を抽出することが難しくなる。例えば、様々な部材が取り付けられた複雑な基盤上を操作する場合には、人間が受動的に注意を向けてしまう箇所が多量となるため、重要な部品を選択的に抽出することが難しくなる。

例えば、図４（ａ）は、顕著性マップ作成前の元画像を例示する。図４（ｂ）は、輝度成分、色相成分、および方向成分の統合特徴マップを均等に統合した例である。図４（ｂ）で例示するように、顕著性マップにおいては、白色部分Ａ，Ｂが重要な領域を表している。しかしながら、重要視したい部品以外の部分が白色として抽出されることがある。

そこで、マップ修正部４４は、重要な部品を選択的に抽出するために、データベース４１が格納している注目画像を用いて、顕著性マップを修正する（ステップＳ５）。例えば、テンプレートマッチングと異なる工程として、注目画像をそのまま利用するのではなく、顕著性マップの重み係数を修正する。

図５は、重み係数の修正を例示する図である。図５で例示するように、マップ修正部４４は、注目画像の輝度成分、色相成分および方向成分の統合特徴マップを、顕著性マップを作成するのと同じ要領で作成した後に、それぞれの成分比率を基に下記式（１３）〜（１５）に従って、重み係数の修正を実施する。ここで注目画像の輝度成分の統合特徴マップをＩ_Ｔ、色相成分の統合特徴マップをＣ_Ｔ、方向成分の統合特徴マップをＯ_Ｔとしている。また、統合特徴マップの画像ピクセルの集合をＰとしている。図５の例では、ω_１が１／２に修正され、ω_２，ω_３が１／４に修正されている。ステップＳ５の実行によって、画像メッシュごとに、顕著性マップの値を重要度として算出することができる。

次に、学習部４５は、データベース４１から、学習データ群（訓練データ群およびテストデータ群）を取得する（ステップＳ６）。次に、学習部４５は、訓練データを用いて、異常検知のための識別器を作成する（ステップＳ７）。以上の工程により、異常検知のための識別器を作成することができる。識別器とは、作業状況の良否を判定する個別の主体のことであり、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）識別器である。識別器を設けることは、作業良否を判定するための個別の基準（基準範囲）を作成することと同義である。例えば、識別器を用いることで、作業対象物における部品の位置や姿勢などが基準範囲に収まっているか否かを判定できるようになる。

なお、識別器は、所定の時刻における静止画像に基づいて作業の異常検知を行ってもよく、所定の時間範囲の動画像に基づいて異常検知を行ってもよい。動画像を用いる場合には、訓練データ群およびテストデータ群として、所定の時間範囲のデータ群を用いる。また、顕著性マップについては、カメラ３０が取得する所定の時間範囲の動画像のフレームごとに顕著性マップを作成する。学習部４５は、所定時間範囲の顕著性マップと、所定時間範囲の訓練データ群およびテストデータ群を用いて、識別器を作成すればよい。以下の異常検知処理については、所定の時間範囲の動画像に基づいて異常検知を行う場合の処理について説明する。

次に、図６を参照しつつ、異常検知処理について説明する。図６は、異常検知処理を表すフローチャートを例示する図である。図６で例示するように、判定部４７は、ロボットハンド１１が作業を開始した時刻に、カメラ３０からの画像取得時間ｋにゼロを代入する（ステップＳ１１）。その後、判定部４７は、画像取得時間ｋをカウントする。次に、判定部４７は、画像取得時間ｋがロボットハンド１１の作業時間Ｔ未満であるか否かを判定する（ステップＳ１２）。

ステップＳ１２で「Ｙｅｓ」と判定された場合、スコア算出部４６は、画像取得時間ｋにおける画像メッシュｘ_ｊｋを取得する（ステップＳ１３）。「ｊ」は、各メッシュの位置を表し、例えばメッシュの番号である。次に、スコア算出部４６は、メッシュごとに、識別器を用いて異常スコアｓ_ｊｋを計算する（ステップＳ１４）。異常スコアは、識別器が持つ基準からの乖離度合が大きければ大きい値となり、当該乖離度合が小さければ小さい値となるように設定されている。したがって、異常スコアが小さければ正常な作業が行われていることになり、異常スコアが大きければ異常が生じていることになる。

次に、判定部４７は、係数α_ｊｋに修正顕著性マップのメッシュごとの平均値を代入し、異常スコアｓ_ｊｋに乗算し、各乗算値の全メッシュでの総和を計算する（ステップＳ１５）。次に、判定部４７は、当該総和が閾値を超えるか否かを判定することで、異常検知を行う（ステップＳ１６）。ステップＳ１６で異常が検知された場合、判定部４７は、異常に係る信号を出力する。ステップＳ１６の実行後、ステップＳ１２から再度実行される。ステップＳ１２で「Ｎｏ」と判定された場合、異常検知処理が終了する。

本実施例によれば、人間の視覚注意機能のモデルとして、複数の特徴成分を足し合わせる手法が採用されている。この構成によれば、人間が受動的に注意を向ける視覚注意領域を精度よく抽出することができる。一方、注目画像を用いて顕著性マップの重み係数を自動調整することで、当該モデルが修正されている。それにより、重要な部品が選択的に抽出されることになる。したがって、人間の感覚に近いＲＯＩの抽出を自動で実現することができる。自動でＲＯＩが抽出されることから、ＲＯＩを手動で設定する工数を省略することができる。また、ＲＯＩを抽出して識別器を作成することから、高精度な異常判定を実現することができる。以上のことから、高精度な異常判定を少ない工数で実現することができる。また、顕著性マップの重み係数を修正する手法を採用すれば、テンプレートマッチングとは異なり、拡大縮小や回転にも強く、学習数を多く必要としないため、工数を削減することができる。

（変形例１）
実施例１では、特徴成分として輝度特徴、色相特徴および方向特徴の３つの特徴成分を用いる場合について説明したが、それに限られない。２つの特徴成分や、４つ以上の特徴成分を用いてもよい。そこで、変形例１では、特徴成分として、輝度特徴、色相特徴、方向特徴、および動き特徴を用いる場合の例について説明する。主として、実施例１と異なる点について説明する。

マップ作成部４３は、図７で例示するように、実施例１と同様に、輝度成分、色相成分、方向成分の統合特徴マップを作成する。次に、マップ作成部４３は、下記式（１６）に従って、動き成分の特徴マップを作成する。次に、マップ作成部４３は、下記式（１７）に従って、動き成分の中心周辺差分処理と総和とによって、動き成分の統合特徴マップＭを作成する。次に、マップ作成部４３は、これら４つの特徴マップの重み付けを等分の１／４とし、重み付け加算することで顕著性マップを作成する。なお、「ｎ」はフレーム番号（時刻）を表す。Ｌ_ｎ（σ，θ）は、例えばラプラシアンフィルタであって、がボールフィルタＯ_ｎ（σ，θ）を空間シフトしたものである。これにより、時空間の動きのみを抽出することができる。

次に、マップ修正部４４は、図８で例示するように、注目画像の輝度成分、色相成分、方向成分、および動き成分の統合特徴マップを、顕著性マップを作成するのと同じ要領で作成した後に、それぞれの成分比率を基に下記式（１８）〜（２１）に従って、重み係数の修正を実施する。学習部４５は、訓練データを用いて、異常検知のための識別器を作成する。それにより、異常検知のための識別器を作成することができる。

本変形例によれば、特徴成分としてさらに動き特徴を用いることで、人間の感覚により近いＲＯＩの抽出を自動で実現することができる。

図９（ａ）は、判定装置４０のハードウェア構成を例示するブロック図である。図９（ａ）を参照して、判定装置４０は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４等を備える。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。

ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、判定プログラムを記憶している。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、判定結果を表示する。なお、本実施例においては判定装置４０の各部は、プログラムの実行によって実現されているが、専用の回路などのハードウェアを用いてもよい。

（変形例２）
図９（ｂ）は、変形例２にかかる作業システムについて例示する図である。上記各例においては、判定装置４０は、カメラ３０から作業画像を取得している。これに対して、判定装置４０の機能を有するサーバ２０２が、インターネットなどの電気通信回線２０１を通じてカメラ３０から作業画像を取得してもよい。

上記各例において、カメラ３０が、作業対象物の画像を取得する撮像装置の一例として機能する。特徴抽出部４２およびマップ作成部４３が、前記撮像装置が取得した画像から、人間の視覚注意機能のモデルを用いて視覚注意領域を抽出する抽出部の一例として機能する。マップ修正部４４が、データベースに格納された前記作業対象物の部品の画像を用いて、前記モデルを修正する修正部の一例として機能する。学習部４５が、前記修正部によって修正された前記モデルを用いて前記抽出部が抽出した前記視覚注意領域を用いて、異常判定の基準を作成する基準作成部の一例として機能する。判定部４７が、作業ロボットが前記作業対象物に対して作業を行う際に前記撮像装置が取得した作業画像と、前記基準作成部が作成した前記基準との乖離度合いに応じて異常判定を行う判定部の一例として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 作業ロボット
１１ ロボットハンド
２０ コントローラ
３０ カメラ
４０ 判定装置
４１ データベース
４２ 特徴抽出部
４３ マップ作成部
４４ マップ修正部
４５ 学習部
４６ スコア算出部
４７ 判定部
１００ 作業装置

Claims (6)

1. 作業対象物の画像を取得する撮像装置と、
   判定部と、を有し、
   前記判定部は、前記画像から複数の特徴成分を抽出し、抽出された前記複数の特徴成分を足し合わせて人間の受動的な視覚注意機能をモデル化した顕著性マップを作成し、データベースに格納された前記作業対象物の複数の部品の各画像を用いて、前記複数の特徴成分を足し合わせる際の重み付けを修正することにより前記顕著性マップを修正し、修正された前記顕著性マップを用いて前記画像から視覚注意領域を抽出し、抽出された前記視覚注意領域を用いて異常判定の基準を作成することを特徴とする判定装置。
2. 前記複数の特徴成分は、輝度成分、色相成分および方向成分を含むことを特徴とする請求項１記載の判定装置。
3. 前記判定部は、作業ロボットが前記作業対象物に対して作業を行う際に前記撮像装置が取得した作業画像と、前記基準との乖離度合いに応じて異常判定を行うことを特徴とする請求項１または２に記載の判定装置。
4. 前記判定部は、前記画像の分割された小領域ごとに前記基準を作成し、前記作業画像の前記小領域ごとに、前記小領域と前記基準との乖離度合いを求め、当該結果を前記異常判定に反映させることを特徴とする請求項３記載の判定装置。
5. コンピュータが、
   作業対象物の画像を取得する撮像装置が取得した画像から複数の特徴成分を抽出し、抽出された前記複数の特徴成分を足し合わせて人間の受動的な視覚注意機能をモデル化した顕著性マップを作成する処理と、
   データベースに格納された前記作業対象物の複数の部品の各画像を用いて、前記複数の特徴成分を足し合わせる際の重み付けを修正することにより前記顕著性マップを修正する処理と、
   修正された前記顕著性マップを用いて前記画像から視覚注意領域を抽出する処理と、
   抽出された前記視覚注意領域を用いて異常判定の基準を作成する処理と、を実行することを特徴とする判定方法。
6. コンピュータに、
   作業対象物の画像を取得する撮像装置が取得した画像から複数の特徴成分を抽出し、抽出された前記複数の特徴成分を足し合わせて人間の受動的な視覚注意機能をモデル化した顕著性マップを作成する処理と、
   データベースに格納された前記作業対象物の複数の部品の各画像を用いて、前記複数の特徴成分を足し合わせる際の重み付けを修正することにより前記顕著性マップを修正する処理と、
   修正された前記顕著性マップを用いて前記画像から視覚注意領域を抽出する処理と、
   抽出された前記視覚注意領域を用いて異常判定の基準を作成する処理と、を実行させることを特徴とする判定プログラム。
   

Images