JP7372076B2

JP7372076B2 - 画像処理システム

Info

Publication number: JP7372076B2
Application number: JP2019145399A
Authority: JP
Inventors: 勇太並木
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2023-10-31
Anticipated expiration: 2039-08-07
Also published as: DE102020209080A1; US11989928B2; CN112347837A; US20210042576A1; JP2021026599A

Description

本発明は、画像処理システムに関する。

対象物を撮像した画像から対象物の像を検出する画像処理システムとして、対象物の像の特徴を表すモデルパターンに基づいて対象物の像を検出するシステムが知られている（例えば特許文献１参照）。

また、対象物を撮像した画像から対象物の像を検出する画像処理システムとして、機械学習を用いて対象物に応じて適切な特徴を学び、対象物の像を検出するシステムが知られている（例えば特許文献２参照）。

特開２０１７－９１０７９号公報特開２０１８－２００５３１号公報

対象物の像の特徴を表すモデルパターンを用いた画像処理システムでは、対象物の特徴の一つ（例えば輪郭）に着目して検出を行うため、その特徴が明るさの変化等で見えなくなり、対象物を検出できなくなることがある。

これに対して、機械学習を用いた画像処理システムによれば、対象物の像の特徴を表すモデルパターンを用いた画像処理システムよりもロバスト性を高めることができる。しかし、例えばディープラーニングの場合、教師データを生成するために、対象物の位置及び姿勢が異なる多くの画像に対してアノテーション（例えばラベル付け）を行う必要がある。このような設定作業は、ディープラーニングを利用することからユーザを遠ざける要因となる。また、一般にユーザが手作業でラベル付けを行う。このような設定作業は、精度を低下させる要因となる。

このように、対象物を撮像した画像から対象物の像を検出する画像処理の分野において、ロバスト性、設定の作業性、及び検出精度の向上が望まれている。

本開示の画像処理システムは、対象物を撮像した画像から前記対象物の像を検出する画像処理システムであって、前記対象物の像の特徴を表すモデルパターンに基づいて、前記画像から前記対象物の像を検出する第１検出装置と、前記第１検出装置による検出に用いられた画像を入力データとし、前記第１検出装置による検出結果を教師データとして、学習モデルを学習する学習装置と、前記学習装置によって学習された学習モデルに基づいて、前記画像から前記対象物の像を検出する第２検出装置と、を備える。

本開示によれば、対象物を撮像した画像から対象物の像を検出する画像処理の分野において、ロバスト性、設定の作業性、及び検出精度を向上することができる。

本実施形態に係る画像処理システムの一例を示す図である。本実施形態に係る画像処理システムの他の一例を示す図である。本実施形態に係る画像処理システムにおける画像処理装置（第１検出装置）及び学習装置（第２検出装置）の構成を示す図である。モデルパターンを作成する手順を示すフローチャートである。画像にモデルパターン指定領域を指定した様子を示す図である。複数の特徴点から構成されるモデルパターンを示す図である。学習モデルを学習する手順を示すフローチャートである。本実施形態に係る複数の視覚センサが接続される画像処理システム２０１の例を模式的に示す図である。本実施形態に係る複数の画像処理装置が接続される画像処理システム３０１の例を模式的に示す図である。

以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

図１は、本実施形態に係る画像処理システムの一例を示す図であり、図２は、本実施形態に係る画像処理システムの他の一例を示す図である。これらの画像処理システム１は、対象物２の像の特徴を表すモデルパターン５０（図６参照）に基づいて入力画像５（図５参照）から対象物２の像を検出する機能と、学習モデルに基づいて入力画像５から対象物２の像を検出する機能との２つの検出機能を備えるシステムである。

図１に示す画像処理システム１は、視覚センサ１１と、画像処理装置（第１検出装置）１０と、学習装置（第２検出装置）３０とを備え、視覚センサ１１の位置が固定されている。対象物２は作業台４に設置されている。視覚センサ１１は、対象物２を撮像するためのカメラ等の撮像装置である。視覚センサ１１は、支持手段（図示省略）により対象物２を撮像できる位置に固定される。視覚センサ１１が取得した画像情報は画像処理装置１０に送信される。

画像処理装置（第１検出装置）１０は、視覚センサ１１から受信した入力画像５（図５参照）から後述する画像処理により対象物２の像を検出する。学習装置（第２検出装置）３０は、画像処理装置（第１検出装置）１０による検出結果に基づいて学習モデルを学習し、学習モデルに基づいて視覚センサ１１から受信した入力画像５（図５参照）から対象物２の像を検出する。

一方、図２に示す画像処理システム１は、図１に示す画像処理システム１において、ロボット２０とロボット制御装置２５とを更に備え、視覚センサ１１の位置が移動可能である。ロボット２０は、先端にロボットハンド２１が装着されるアーム型のロボットである。視覚センサ１１はロボット２０の手先となるロボットハンド２１に固定される。ロボットハンド２１は、ロボット２０や自身の機構により移動する可動部である。従って、視覚センサ１１の位置も移動することになる。なお、ロボット２０のロボットハンド２１が対象物２を把持し、固定設置された視覚センサ１１の視野に対象物２を移動させるようにしてもよい。

画像処理を行う画像処理装置１０は、ロボット２０の動き等を制御するロボット制御装置２５と通信可能に構成されており、画像処理装置１０とロボット２０の間で相互に情報のやり取りが行えるようになっている。画像処理装置（第１検出装置）１０は、ロボット２０及びロボットハンド２１の移動や状態を考慮しながら、視覚センサ１１からの入力画像５（図５参照）から後述する画像処理により対象物２の像の検出を行う。以下、図１及び図２に示す画像処理システム１における画像処理装置（第１検出装置）１０及び学習装置（第２検出装置）３０について詳細に説明する。

図３は、本実施形態に係る画像処理システム１における画像処理装置（第１検出装置）１０及び学習装置（第２検出装置）３０の構成を示す図である。

まず、画像処理装置（第１検出装置）１０は、画像処理部１２と記憶部１３とを備える。画像処理部１２は、対象物２の像をモデル化したモデルパターン、例えば対象物２の像の特徴を表すモデルパターンを生成する。記憶部１３は、このモデルパターンを記憶する。以下では、モデルパターン５０の作成例について説明する。

図４は、モデルパターン５０を作成する手順を示すフローチャートである。図５は、画像にモデルパターン指定領域６０を指定した様子を示す図である。図６は、複数の特徴点Ｐ_ｉから構成されるモデルパターン５０を示す図である。

図５に示すように、モデルパターン５０として教示したい対象物２を視覚センサ１１の視野内に配置して当該対象物２の画像を撮像し、対象物２が含まれる入力画像５を取得する（Ｓ１１）。このとき、視覚センサ１１と対象物２の位置関係は、実際の使用時に対象物２を検出するときの位置関係と同じ位置関係になるように行うことが好ましい。

撮像した画像において、対象物２が映った領域をモデルパターン５０の領域として指定する（Ｓ１２）。以下、このステップＳ１２で指定した領域をモデルパターン指定領域６０と称する。本実施形態のモデルパターン指定領域６０は、対象物２を囲むように矩形又は円形で指定される。

次に、特徴点の抽出を行う（Ｓ１３）。特徴点は、モデルパターン５０を構成するものである。モデルパターン指定領域６０から複数の特徴点Ｐ_ｉ（ｉ＝１～ＮＰ）が抽出される。特徴点Ｐ_ｉの抽出方法としては、種々の方法を用いることができる。本実施形態では、画像中で輝度勾配が大きな点であり、対象物の輪郭形状を取得するために使用できるエッジ点を特徴点Ｐ_ｉとして用いる。

エッジ点の物理量は、そのエッジ点の位置、輝度勾配方向、輝度勾配の大きさ等がある。エッジ点の輝度勾配の方向を特徴点の姿勢と定義すると、位置とあわせて特徴点の位置姿勢を定義することができる。特徴点の物理量としてエッジ点の物理量、即ちエッジ点の位置、姿勢（輝度勾配の方向）、輝度勾配の大きさを記憶する。

モデルパターン座標系５１を定義し、モデルパターン座標系５１及び原点Ｏに基づいて特徴点Ｐ_ｉの姿勢ベクトルｖ_Ｐｉや位置ベクトルｔ_Ｐｉ等で表現する。モデルパターン座標系５１に設定される原点Ｏは、例えば、モデルパターン５０を構成する全ての特徴点Ｐ_ｉの重心が原点Ｏとして定義される。なお、原点Ｏの定義方法は、特徴点Ｐ_ｉから任意の１点を選択する等、適宜の方法を採用できる。また、モデルパターン座標系５１を用いる方法も一例であり、他の方法を利用して特徴点Ｐ_ｉの位置や姿勢を表すこともできる。また、モデルパターン座標系５１の軸方向（姿勢）は、例えば、モデルパターン５０を構成する特徴点Ｐ_ｉから任意の２点を選択して、その一方から他方に向かう方向がＸ軸方向となるように定義し、当該Ｘ軸方向に直交する方向をＹ軸方向と定義してもよい。また、モデルパターン５０の作成を行った画像において画像座標系とモデルパターン座標系５１が平行になるように定義することもできる。このように、モデルパターン座標系５１及び原点Ｏの設定は、事情に応じて適宜変更できる。なお、特徴点としてエッジ点を抽出する方法自体は、公知な技術であり、その他の詳細な説明については省略する。

次に、抽出された特徴点Ｐ_ｉの物理量に基づいてモデルパターン５０の生成を行う（Ｓ１４）。抽出された特徴点Ｐ_ｉの物理量が、モデルパターン５０を構成する特徴点Ｐ_ｉとして記憶部１３に記憶される。本実施形態では、モデルパターン指定領域６０内にモデルパターン座標系５１を定義し、特徴点Ｐ_ｉの位置や姿勢を、画像座標系７０（図５参照）で表現された値から、モデルパターン座標系５１（図６参照）で表現された値で記憶される。

図３に戻り、画像処理部（第１検出部）１２は、対象物２の像の特徴を表すモデルパターンに基づいて、入力画像５から対象物２の像を検出する。まず、画像処理部１２は、入力画像５から特徴点を抽出する。特徴点はモデルパターンを作成する際に特徴点を抽出した方法と同じ方法で抽出すればよい。本実施形態では、入力画像からエッジ点を抽出し、特徴点とする。

次に、画像処理部（第１検出部）１２は、入力画像５から抽出した特徴点と、モデルパターン５０を構成する特徴点とのマッチングを行い、対象物２の検出を行う。対象物を検出する方法は様々なものがあるが、たとえば、一般化ハフ変換、ＲＡＮＳＡＣ、ＩＣＰアルゴリズムなどの周知の方法が利用できる。

記憶部１３は、画像処理装置（第１検出装置）１０による対象物２の像の検出結果及びそれに対応する入力画像５のデータを記憶する。

次に、図３を参照して学習装置（第２検出装置）３０について説明をする。学習装置３０は、画像処理装置（第１検出装置）１０による検出に用いられた入力画像を入力データとし、画像処理装置（第１検出装置）１０による検出結果（例えば、位置、姿勢、サイズ）を教師データとして、機械学習を行う。そして、この機械学習により構築した学習モデルを利用することにより、学習装置（第２検出装置）３０は、視覚センサ１１からの対象物２を含む入力画像５から、対象物２の像を検出する。

このような学習モデルを構築するために、学習装置（第２検出装置）３０は、状態観測部３１と、ラベル取得部３２と、学習部３３と、記憶部３４と、出力提示部（出力利用部）３５とを備える。

状態観測部３１は、画像処理装置（第１検出装置）１０から入力データを取得し、取得した入力データを学習部３３に出力する。ここで、入力データは、上述したように、画像処理装置（第１検出装置）１０による検出に用いられた、対象物２を含む入力画像５のデータである。

ラベル取得部３２は、画像処理装置（第１検出装置）１０からラベルを取得し、取得したラベルを学習部３３に出力する。ここで、ラベルは、上述した教師データ、すなわち画像処理装置（第１検出装置）１０による検出結果（例えば、位置、姿勢、サイズ）である。

学習部３３は、この入力データとラベルとに基づいて、教師あり学習を行うことにより、学習モデルを構築する。学習部３３にはＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot multibox Detector）などの公知の手法を使うことができる。

例えば、学習部３３は、ニューラルネットワークを用いた教師あり学習を行う。この場合、学習部３３は、入力データとラベル（教師データ）の組を、パーセプトロンを組み合わせて構成したニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューラルネットに含まれる各パーセプトロンについての重み付けを変更する、というフォワードプロパゲーションを行う。例えば、本実施形態では、ニューラルネットワークが出力する対象物の検出結果（例えば、位置、姿勢、サイズ）が、ラベルの対象物検出結果（例えば、位置、姿勢、サイズ）と同じになるように、フォワードプロパゲーションを行う。

そして、学習部３３は、このようにフォワードプロパゲーションを行った後に、バックプロパゲーション（誤差逆伝搬法とも呼ばれる。）という手法により各パーセプトロンの出力の誤差を小さくするように重み付け値を調整する。より詳細には、学習部３３は、ニューラルネットワークの出力とラベルとの誤差を算出し、算出した誤差を小さくするように重み付け値を修正する。学習部３３は、このようにして、教師データの特徴を学習し、入力から結果を推定するための学習モデルを帰納的に獲得する。

記憶部３４は、学習部３３が構築した学習モデルを記憶する。なお、学習モデルを構築した後に、新たな教師データを取得した場合には、記憶部３４が記憶した学習モデルに対して更に教師あり学習を行うことにより、一度構築した学習モデルは適宜更新される。

また、記憶部３４が記憶した学習モデルを、他の学習装置との間で共有するようにしてもよい。学習モデルを複数の学習装置で共有するようにすれば、各学習装置にて分散して教師あり学習を行うことが可能となるので、教師あり学習の効率を向上させることが可能となる。

このようにして構築した学習モデルを利用することにより、学習装置（第２検出装置）３０は、視覚センサ１１で撮像した対象物２を含む入力画像５から、対象物２の像を検出する。

出力提示部３５は、学習装置（第２検出装置）３０の検出結果（例えば、位置、姿勢、サイズ）、すなわち学習部３３の出力を出力する。出力提示部３５は、この学習部３３の出力の内容を例えば画面に表示することによりユーザに対して提示する。

画像処理装置（第１検出装置）１０及び学習装置（第２検出装置）３０は、例えば、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field‐Programmable Gate Array）等の演算プロセッサで構成される。画像処理装置１０及び学習装置３０の各種機能は、例えば記憶部に格納された所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。画像処理装置１０及び学習装置３０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。

画像処理装置１０における記憶部１３及び学習装置３０における記憶部３４は、例えばＥＥＰＲＯＭ等の書き換え可能なメモリである。

以下では、画像処理装置１０及び学習装置３０による学習モデルの学習例について説明する。図７は、学習モデルを学習する手順を示すフローチャートである。

まず、画像処理装置１０は、視覚センサ１１によって撮像された対象物２を含む入力画像５を取得する（Ｓ２１）。

次に、画像処理装置１０の画像処理部１２は、対象物２の像の特徴を表すモデルパターンに基づいて、入力画像５から対象物２の像を検出する（Ｓ２２）。まず、入力画像５から特徴点を抽出する。特徴点はモデルパターンを作成する際に特徴点を抽出した方法と同じ方法で抽出すればよい。本実施形態では、入力画像からエッジ点を抽出し、特徴点とする。次に、入力画像５から抽出した特徴点と、モデルパターン５０を構成する特徴点とのマッチングを行い、対象物２の検出を行う。

画像処理装置（第１検出装置）１０による検出に用いられた入力画像と、画像処理装置（第１検出装置）１０による検出結果（例えば、位置、姿勢、サイズ）は、記憶部１３に記憶される（Ｓ２３）。入力画像と検出結果との組のデータの記録は自動で行われてもよいし、ユーザが指定したタイミングで行ってもよい。

ステップＳ２１からステップＳ２３までの処理は複数回実行される。これにより、記憶部１３には、入力画像と検出結果との複数組のデータが記憶される。

次に、学習装置３０は、画像処理装置（第１検出装置）１０による検出に用いられた入力画像を入力データとし、画像処理装置（第１検出装置）１０による検出結果（例えば、位置、姿勢、サイズ）を教師データとして、学習モデルを学習する（Ｓ２４）。

学習された学習モデルは、記憶部３４に記憶される。或いは、記憶部３４に記憶された学習モデルが更新される（Ｓ２５）。

ステップＳ２４及びステップＳ２５の処理は複数回実行される。これにより、学習モデルの精度が向上する。

学習後、学習装置（第２検出装置）３０では、入力画像を与えると、検出結果を返すような学習モデルが学習される。このようにして学習モデルが学習されると、モデルパターンに基づく画像処理装置（第１検出装置）１０による検出（第１検出）と、学習モデルに基づく学習装置（第２検出装置）３０による検出（第２検出）との両方が実行される。

このとき、画像処理システム１は、画像処理装置（第１検出装置）１０による検出結果と、学習装置（第２検出装置）３０による検出結果とを比較し、検出結果に対する評価値（スコア）が高い検出結果を選択してもよい。例えば、モデルパターンを用いた画像処理装置（第１検出装置）１０による検出結果の評価値としては、マッチしたモデル点の点数の割合が挙げられる。一方、学習モデルを用いた学習装置（第２検出装置）３０による検出結果の評価値としては、学習装置が出力する確信度が挙げられる。

或いは、学習装置（第２検出装置）３０による検出結果の評価値を、画像処理装置（第１検出装置）１０による検出結果の評価値と同一の方法で求めてもよい。例えば、学習装置（第２検出装置）３０は、学習モデルが出力する検出結果に対して、画像処理装置（第１検出装置）１０による検出結果と同一の手法を用いてスコア付けしてもよい。例えば、マッチしたモデル点の点数の割合を、学習モデルが出力する検出結果に適用するようにしてもよい。これにより、画像処理装置（第１検出装置）１０による検出結果と、学習装置（第２検出装置）３０による検出結果とを同じ尺度で比較することができる。

或いは、画像処理システム１は、画像処理装置（第１検出装置）１０による検出結果の所定期間における統計値と、学習装置（第２検出装置）３０による検出結果の所定期間における統計値とを比較し、統計値から算出される評価値が高い検出装置を用いて検出を行うように切り替えてもよい。切り替えは自動で行われてもよいし、ユーザに提示し、ユーザが許可したタイミングで行ってもよい。

以上説明したように、本実施形態の画像処理システム１によれば、画像処理装置（第１検出装置）１０は、対象物２の像の特徴を表すモデルパターン５０に基づいて、入力画像５から対象物２の像を検出し、学習装置３０は、画像処理装置１０による検出結果及びその入力画像に基づいて学習モデルを学習し、学習装置（第２検出装置）３０は、学習モデルに基づいて、入力画像５から対象物２の像を検出する。これにより、学習を用いても、画像処理装置（第１検出装置）１０によって自動で教師データを生成することができる。そのため、ユーザが大量の教師データを集める必要がなく、学習装置（第２検出装置）３０の設定の作業性を向上することができる。また、ユーザが手作業でラベル付けを行うと正確に位置姿勢を指定することが難しいが、本実施形態によればユーザが手作業でラベル付けを行う必要がなく、学習装置（第２検出装置）３０の検出精度を向上することができる。更に、学習を利用する学習装置（第２検出装置）３０により、ロバスト性を向上することができる。

また、本実施形態の画像処理システム１によれば、学習モデルの学習前から、画像処理装置（第１検出装置）１０によりライン稼働を開始することができる。そして、ライン稼働中に教師データが十分に集まったら、学習モデルに基づく学習装置（第２検出装置）３０に切り替えることができる。

なお、画像処理装置（第１検出装置）１０で検出した学習データで学習したとしても、学習装置（第２検出装置）３０がそれを検出するために獲得する特徴は、画像処理装置（第１検出装置）１０が使用している特徴とは違ったものになり、それを見つけるためのより良い特徴を使った学習モデルができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、種々の変更及び変形が可能である。

例えば、上述した実施形態では、モデルパターン５０を構成する特徴点としてエッジ点を用いた例を説明したが、この構成に限定されない。次に、モデルパターン５０を生成する方法として、上述した実施形態と異なる方法を用いた場合について説明する。

まず、エッジ点以外の方法で特徴点を抽出する方法について説明する。特徴点は、エッジ点以外にも種々の方法で検出することができる。例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）のような特徴点を使用してもよい。なお、画像からＳＩＦＴ特徴点を抽出する方法自体は、公知の技術であり、その詳細な説明を省略する。

また、画像に写った対象物２の輪郭線に合うように線分、矩形、円等の幾何図形を配置することでモデルパターン５０を作成してもよい。この場合、輪郭線を構成する幾何図形上に適当な間隔で特徴点を設けることで、モデルパターン５０を作成すればよい。また、モデルパターンは各画素から構成される画像を用いることもできる。

また、モデルパターン５０は特徴点から構成されるものに限らない。例えば、特定の輝度値以上の領域が何ピクセル以上あるという条件をモデルパターンとしてもよい。

上記実施形態では、視覚センサ（カメラ）１１によって検出された画像を入力画像５としたが、その他の手段で取得した画像であってもよい。例えば、入力画像５にＣＡＤデータを用いることもできる。２次元ＣＡＤデータの場合、上述の幾何図形を使った方法と同じ方法でモデルパターンを作成することができる。また、３次元ＣＡＤデータの場合、ＣＡＤデータで表現された対象物２の形状を画像上に投影し、投影された像から特徴点を抽出すればよい。

ＣＡＤデータを用いたモデルパターン５０の作成は以下のように行われる。
（１）視覚センサ（カメラ）１１で撮像した画像（撮像面）上に原点Ｏを置くローカル座標系を定義する。
（２）予め、視覚センサ（カメラ）１１をキャリブレーションしておくことで、ローカル座標系で表現された３次元点を撮像した画像上の２次元点に変換することができる。
（３）ローカル座標系にＣＡＤデータとして表現された対象物２を仮想的に配置する。配置されたＣＡＤデータはローカル座標系で表現される。視覚センサ（カメラ）１１と対象物２の相対関係は、実際に対象物の検出を行うときの相対関係と略同じになるように設定する。
（４）輪郭線から所定の間隔で輪郭線上の３次元点群を取得する。必要があれば、ＣＡＤデータの中からモデルパターンとして使う輪郭線を指定する。
（５）３次元点群を視覚センサ（カメラ）１１で撮像した画像上に投影し、画像座標系上の２次元点群を求める。ＣＡＤデータ上で明暗の向きを指定すれば、輝度勾配の方向も付加することができる。ここで、明暗の向きとは、輪郭線を境界とする二つの領域のどちらが明るいかを示すものである。
（６）求められた画像座標系上の２次元点群をモデル座標系で表現するように変換し、特徴点として記憶部１３に記憶する。
以上説明したように、入力画像５は、ＣＡＤデータに基づいて生成された画像情報であってもよい。このように、入力画像５には種々の方式を利用することができる。例えば、距離画像や３次元点群データを入力画像５として用いることもできる。

また、上記実施形態では、単独の視覚センサ１１が接続される画像処理装置１０及び学習装置３０によって構成される画像処理システム１を例に説明したが、この構成に限定されるわけではない。次に、上記実施形態とは異なる構成の画像処理システムについて説明する。なお、以下の例において、上記実施形態と同様の構成については同じ符号を付してその詳細な説明を省略する。

図８は、本実施形態に係る複数の視覚センサ１１が接続される画像処理システム２０１の例を模式的に示す図である。図８には、撮像装置（入力画像取得装置）としてＮ個の視覚センサ１１がネットワークバス１１０を介してセルコントローラ１００に接続されている。セルコントローラ１００は、上述の画像処理装置１０及び学習装置３０と同様の機能を有し、Ｎ個の視覚センサ１１のそれぞれから取得されるＮ個の対象物２の入力画像５を取得する。

このように、図８に示す画像処理システム２０１におけるセルコントローラ１００では、画像処理装置（第１検出装置）１０は、Ｎ個の対象物２の像の特徴を表すＮ個のモデルパターンに基づいて、Ｎ個の対象物２を撮像したＮ個の入力画像５からＮ個の対象物２の像を検出する。そして、学習装置（第２検出装置）３０は、画像処理装置（第１検出装置）１０による検出で用いられたＮ個の入力画像と、画像処理装置（第１検出装置）１０によるＮ個の検出結果とに基づいて学習モデルの学習を行う。この例では、学習処理を逐次オンラインで処理していくこともできる。

これによれば、様々な対象物２の学習データを使って学習することで、汎用的な学習器を学習することができる。

図９は、本実施形態に係る複数の画像処理装置１０が接続される画像処理システム３０１の例を模式的に示す図である。図９には、撮像装置（入力画像取得装置）としてｍ個の画像処理装置１０がネットワークバス１１０を介してセルコントローラ１００に接続されている。画像処理装置１０のそれぞれには視覚センサ１１が１又は複数接続されている。画像処理システム３０１全体としては合計ｎ個の視覚センサ１１を備えている。

このように、図９に示す画像処理システム２０１におけるセルコントローラ１００では、複数の画像処理装置（第１検出装置）１０の各々は、対象物２の像の特徴を表すモデルパターンに基づいて、対象物２を撮像した入力画像５から対象物２の像を検出する。そして、学習装置（第２検出装置）３０は、複数の画像処理装置（第１検出装置）１０による検出で用いられたＮ個の入力画像５と、画像処理装置（第１検出装置）１０によるＮ個の検出結果とに基づいて学習モデルの学習を行う。この例では、学習処理を逐次オンラインで処理していくこともできる。

１，２０１，３０１画像処理システム
２対象物
４作業台
５入力画像
１０画像処理装置（第１検出装置）
１１視覚センサ
１２画像処理部
１３記憶部
２０ロボット
２１ロボットハンド
２５ロボット制御装置
３０学習装置（第２検出装置）
５０モデルパターン
５１モデルパターン座標系
６０モデルパターン指定領域
７０画像座標系
１００セルコントローラ
１１０ネットワークバス

Claims

対象物を撮像した画像から前記対象物の像を検出する画像処理システムであって、
前記対象物の像の特徴を表すモデルパターンに基づいて、前記画像から前記対象物の像を検出する第１検出装置と、
前記第１検出装置による検出に用いられた画像を入力データとし、前記第１検出装置による検出結果を教師データとして、学習モデルを学習する学習装置と、
前記学習装置によって学習された学習モデルに基づいて、前記画像から前記対象物の像を検出する第２検出装置と、
を備え、
前記第１検出装置による検出結果の所定期間における統計値と前記第２検出装置による検出結果の前記所定期間における統計値とのうち、統計値から算出される評価値が高い検出装置を選択するように切り替える、
画像処理システム。
前記第１検出装置による検出結果と前記第２検出装置による検出結果とのうち、検出結果に対する評価値が高い検出結果を選択する、請求項１に記載の画像処理システム。
前記第２検出装置による検出結果に対する評価値を、前記第１検出装置による検出結果に対する評価値と同一の方法で求める、請求項２に記載の画像処理システム。
前記第１検出装置は、複数の対象物の像の特徴を表す複数のモデルパターンに基づいて、前記複数の対象物を撮像した複数の画像から前記複数の対象物の像を検出し、
前記学習装置は、前記第１検出装置による検出に用いられた前記複数の画像を入力データとし、前記第１検出装置による複数の検出結果を教師データとして、学習モデルを学習する、
請求項１～３のいずれか１項に記載の画像処理システム。
前記対象物の像の特徴を表すモデルパターンに基づいて、前記画像から前記対象物の像を検出する複数の第１検出装置を備え、
前記学習装置は、前記複数の第１検出装置による検出に用いられた前記複数の画像を入力データとし、前記複数の第１検出装置による複数の検出結果を教師データとして、学習モデルを学習する、
請求項１～３のいずれか１項に記載の画像処理システム。