JP7148858B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、生産ラインを搬送されるワークの画像を撮像し、その画像に基づいてワークが良品であるか不良品であるかを判定する画像処理装置が用いられている。このような画像処理装置には、良否判定のほか様々な機能が追加されている。そして、多数の機能のうちユーザが使用したい機能を選択できるようにするために、多数の機能を任意に組み合わせて処理フローを構成する技術も開発されている。

例えば、下記特許文献１に記載された画像処理装置は、計測対象物の撮像、抽出、計測及び計測結果に基づく良否判定の各ステップに対応する項目を画面表示する。これらの項目のうち使用したい項目が画面上で選択され、また、選択された項目の実行順序が設定されることにより、所望の処理フローが構成される。

特許第４７８４２６９号

近年、ＣＮＮ（Convolutional Neural Network）等の判定モデルを利用して、画像に基づいてワークが良品であるか不良品であるかを判定する研究が進められている。ここで、ＣＮＮ等の判定モデルは、教師有り学習により生成されるため、良品に分類されたワークの画像及び不良品に分類されたワークの画像を含む学習用画像を、できるだけ多く用意する必要がある。

しかしながら、学習用画像の収集を開始した初期には、不良品画像だけでなく、良品画像も十分に用意できていない場合がある。そのため、学習用画像を用いた判定モデルの教師有り学習を行っても、十分な判定精度が出せないことがある。

そこで、本発明は、良品画像と不良品画像を単純に蓄積していく場合よりも良品画像を増やすことのできる画像処理装置、画像処理方法及び画像処理プログラムを提供する。

本開示の一態様に係る画像処理装置は、対象物の画像を撮像するカメラと、複数のステップを含む処理フローを実行するコントローラと、を備え、コントローラは、複数のステップの順序の設定を受け付ける入力部と、複数のステップを順序に従って実行する実行部と、を有し、複数のステップは、画像編集ステップを含み、画像編集ステップは、画像を修正した修正画像を生成する第１処理と、対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、修正画像を良品画像として追加する第２処理と、を含む。

この態様によれば、画像編集ステップによって対象物の画像を修正した修正画像を生成し、修正画像を良品画像として学習用データセットに追加することで、良品画像と不良品画像を単純に蓄積していく場合よりも良品画像を増やすことができる。

上記態様において、第１処理は、判定モデルにより画像に基づいて対象物の良否判定を行った結果が不良であり、対象物に欠陥が含まれる場合に実行されてよい。

この態様によれば、判定モデルにより不良と判定され、実際に対象物に欠陥が含まれる場合に修正画像が生成され、良品画像を増やすことができる。

上記態様において、画像編集ステップは、判定モデルにより画像に基づいて対象物の良否判定を行った結果が不良であり、対象物に欠陥が含まれない場合に、学習用データセットに画像を良品画像として追加する第３処理をさらに含んでよい。

この態様によれば、判定モデルにより不良と判定され、実際には対象物に欠陥が含まれない場合に、元の画像を良品画像として学習用データセットに追加することができ、不要な画像編集ステップの実行を省略することができる。

上記態様において、第１処理は、画像に基づいて対象物の良否判定を行った結果を入力部により受け付け、結果が不良である場合に実行されてよい。

この態様によれば、検査者による良否判定を経て、不良と判定される場合に修正画像が生成され、良品画像を増やすことができる。

上記態様において、第２処理は、判定モデルにより、修正画像に基づいて対象物の良否判定を行った結果が良である場合に、修正画像を良品画像として学習用データセットに追加する処理を含んでよい。

この態様によれば、修正画像を判定モデルにより判定し、判定結果が不良である場合には再度修正させ、判定結果が良である場合に良品画像として学習用データセットに追加することができ、適切な良品画像を増やすことができる。

上記態様において、第１処理は、画像処理モデルにより修正画像を生成する処理を含んでよい。

この態様によれば、修正画像の生成を画像処理モデルによって自動的に行うことで、良品画像を増やすためのコストを減らすことができる。

上記態様において、第１処理は、入力部により受け付けた画像の修正に基づいて修正画像を生成する処理を含んでよい。

この態様によれば、検査者による画像の修正により修正画像が生成され、適切な良品画像を増やすことができる。

上記態様において、第２処理は、修正画像に対して修正されたことを示す情報を関連付けて、修正画像を学習用データセットに追加する処理を含んでよい。

この態様によれば、学習用データセットに含まれる良品画像のうち、いずれが修正画像であるのかが明らかとなり、学習用データセットの品質を容易に確認することができる。

上記態様において、第２処理は、修正画像に対して修正前の画像を関連付けて、修正画像を学習用データセットに追加する処理を含んでよい。

この態様によれば、修正画像の生成元となった画像を容易に参照することができ、第１処理が適切に行われたか否かを事後的に評価することができる。

上記態様において、入力部は、画像編集ステップの実行を省略するか否かの選択を受け付け、実行部は、選択に応じて画像編集ステップの実行を省略して、複数のステップを順序に従って実行してもよい。

この態様によれば、画像編集ステップを省略して処理フローを実行することができ、学習用データセットの収集のための動作と、画像処理装置の実稼働時の動作とを容易に切り替えることができる。

本開示の他の態様に係る画像処理方法は、画像処理装置に備えられたコントローラにより実行される処理フローに含まれる複数のステップの順序の設定を受け付けることと、複数のステップを順序に従って実行することと、を含む画像処理方法であって、複数のステップは、画像編集ステップを含み、画像編集ステップは、対象物の画像を修正した修正画像を生成する第１処理と、対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、修正画像を良品画像として追加する第２処理と、を含む。

この態様によれば、画像編集ステップによって対象物の画像を修正した修正画像を生成し、修正画像を良品画像として学習用データセットに追加することで、良品画像と不良品画像を単純に蓄積していく場合よりも良品画像を増やすことができる。

本開示の他の態様に係る画像処理プログラムは、処理フローに含まれる複数のステップの順序の設定を受け付けるコンピュータを、複数のステップを順序に従って実行する実行部として機能させる画像処理プログラムであって、複数のステップは、画像編集ステップを含み、画像編集ステップは、対象物の画像を修正した修正画像を生成する第１処理と、対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、修正画像を良品画像として追加する第２処理と、を含む。

この態様によれば、画像編集ステップによって対象物の画像を修正した修正画像を生成し、修正画像を良品画像として学習用データセットに追加することで、良品画像と不良品画像を単純に蓄積していく場合よりも良品画像を増やすことができる。

本発明によれば、良品画像と不良品画像を単純に蓄積していく場合よりも良品画像を増やすことのできる画像処理装置、画像処理方法及び画像処理プログラムが提供される。

本発明の実施形態に係る画像処理装置の設置例を示す図である。 本実施形態に係る画像処理装置のブロック図である。 本実施形態に係る画像処理装置の処理フロー編集画面の一例である。 本実施形態に係る画像処理装置の設定画面の一例である。 本実施形態に係る画像処理装置により撮影される画像の一例である。 本実施形態に係る画像処理装置により生成される修正画像の一例である。 本実施形態に係る画像処理装置により実行される学習用データセットの追加処理の第１例のフローチャートである。 本実施形態に係る画像処理装置により実行される学習用データセットの追加処理の第２例のフローチャートである。 本実施形態に係る画像処理装置により実行される学習用データセットの追加処理の第３例のフローチャートである。 本実施形態に係る画像処理装置の処理フロー編集画面の一例である。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

［構成例］
図１及び図２を参照しつつ、本実施形態に係る画像処理装置１０の構成の一例について説明する。図１は、本実施形態に係る画像処理装置１０の設置例を示す図である。画像処理装置１０、カメラ１と、コントローラ２と、モニタ３と、コンソール４とを備える。

カメラ１は、対象物の画像を撮像する。カメラ１は、ラインＬを搬送されるワークＷの画像を撮像するものであってよく、画像はカラー画像であってもよいし、白黒画像であってもよい。ワークＷは、対象物の一例であるが、対象物は、ワークＷの一部７（マーク、文字、欠陥等）であってもよい。なお、カメラ１は１台に限定されず、複数台備えられてもよい。

コントローラ２は、複数のステップを含む処理フローを実行する。コントローラ２は、カメラ１により撮像された画像を処理することによって、対象物の位置、姿勢及び大きさ等を解析してよく、対象物が良品であるか不良品であるかの良否判定を行ってよい。ここで、対象物の良否判定は、教師有り学習により生成された判定モデルにより行われてよい。判定モデルは、例えばＣＮＮを含んでよい。もっとも、判定モデルは、任意の機械学習モデルを含んでよい。コントローラ２により実行される処理フローは、判定モデルの教師有り学習に用いられる学習用データセットを収集するための処理を含んでよく、後述する画像編集ステップを含む。

モニタ３は、カメラ１により撮像された画像を表示したり、コントローラ２による解析結果を表示したり、処理フローの編集画面を表示したりしてよい。モニタ３は、例えば液晶表示装置により構成されてよい。

コンソール４は、コントローラ２の入力部であり、例えばマウス、キーボード、タッチパネル等により構成されてよい。もっとも、コンソール４の形態は限定されず、任意の形態であってよい。コンソール４は、コントローラ２により実行される複数のステップの順序の設定を受け付ける入力部に相当する。

なお、画像処理装置１０は、一般に欠陥検査と呼ばれる用途に用いられるものであってよく、その場合、画像処理装置１０は、ワークＷの状態を判定するものであってよい。ここで、ワークＷの状態は、欠陥の有無であったり、欠陥の種類であったりしてよい。

図２は、本実施形態に係る画像処理装置１０のブロック図である。画像処理装置１０のコントローラ２は、ＣＰＵ２１、フラッシュメモリ２２、ＲＡＭ（Random Access Memory）２３、グラフィックコントローラ２４、カメラ用Ｉ／Ｆ（Interface）２５、入力用Ｉ／Ｆ２６及び外部用Ｉ／Ｆ２７を備える。

ＣＰＵ２１は、フラッシュメモリ２２及びＲＡＭ２３に記憶された画像処理プログラムの実行に関する制御やデータの演算、加工を行う。ＣＰＵ２１は、複数のステップを、設定された順序に従って実行する実行部に相当する。ＣＰＵ２１は、カメラ１からカメラ用Ｉ／Ｆ２５を介して画像データを受け取ったり、コンソール４から入力用Ｉ／Ｆ２６を介してデータを受け取ったり、外部機器から外部用Ｉ／Ｆを介してデータを受け取ったりして、グラフィックコントローラ２４を介して演算結果をモニタ３に表示したり、フラッシュメモリ２２やＲＡＭ２３に格納したりする。

フラッシュメモリ２２は、画像処理プログラムや処理に必要なパラメータ等を記憶してよい。ＲＡＭ２３は、カメラ１により撮像された画像データや、ＣＰＵ２１による演算結果又は演算途中のデータ等を少なくとも一時的に記憶してよい。

カメラ用Ｉ／Ｆ２５は、カメラ１の駆動回路や、Ｒ，Ｇ，Ｂの各画像信号を受け付けるためのバッファ、Ａ／Ｄ変換回路（いずれも図示せず。）等を含んでよい。入力用Ｉ／Ｆ２６は、コンソール４からの信号を受け付け、ＣＰＵ２１に伝送してよい。外部用Ｉ／Ｆ２７は、図示しない外部機器（パーソナルコンピュータやＰＬＣ等）と通信するインターフェースであってよい。外部用Ｉ／Ｆ２７は、インターネットやＬＡＮ（Local Area Network）等の通信ネットワークを介して他の画像処理装置と通信するインターフェースであってもよい。グラフィックコントローラ２４は、モニタ３に対する表示制御を実行するものであってよい。

ワーク検出用センサ５は、ラインＬに設置され、ワークＷの到来を検出する。ワーク検出用センサ５は、光電センサや近接センサで構成されてよい。ＣＰＵ２１は、ワーク検出用センサ５からワークＷを検出したことを示す信号を受信すると、カメラ用Ｉ／Ｆ２５を用いてカメラ１を駆動し、ワークＷを撮像させる。そして、ワークＷの画像が生成され、ＲＡＭ２３に保存されると、ＣＰＵ２１は、フラッシュメモリ２２に記憶された画像処理プログラムに基づき、画像に撮影されたワークＷの一部７を抽出する処理や、計測処理を実行し、さらにその計測結果に基づき、対象物の良否を判定してよい。また、ＣＰＵ２１は、処理結果を示す画像や判定結果のデータをフラッシュメモリ２２やＲＡＭ２３に格納してよい。

なお、コントローラ２は、画像処理装置１０のため専用に開発された装置であってもよいし、画像処理プログラムがインストールされた汎用コンピュータであってもよい。この場合、画像処理プログラムは、ＣＤ－ＲＯＭなどの記憶媒体又は通信回線を介してコンピュータに提供されてよい。

図３は、本実施形態に係る画像処理装置の処理フロー編集画面の一例である。処理フロー編集画面は、コントローラ２により実行される処理フローを編集するための画面である。

本例の処理フロー編集画面では、処理フローとして、第１ステップＳ１、第２ステップＳ２及び第３ステップＳ３が設定されている。第１ステップＳ１は、「０．カメラ画像入力」と記載されたステップであり、カメラ１により撮像された対象物の画像をコントローラ２に入力するステップである。なお、第１ステップＳ１は、カメラ１によりラインＬを搬送される対象物が撮像される度にリアルタイムで画像をコントローラ２に入力するステップであってもよいし、カメラ１により予め撮像されＲＡＭ２３等に記憶された対象物の画像を順次読み出してコントローラ２に入力するステップであってもよい。第２ステップＳ２は、「１．画像ペイント」と記載されたステップであり、画像編集ステップに相当する。第３ステップＳ３は、「２．ファインマッチング」と記載されたステップであり、登録された良品画像と、第１ステップＳ１で入力された画像とを重ね合わせて、相違点を高精度で検出するステップである。このように、処理フローに含まれる複数のステップは、画像編集ステップ（第２ステップＳ２）を含む。

画像編集ステップ（第２ステップＳ２）は、第１ステップＳ１で入力された画像を修正した修正画像を生成する第１処理と、対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、修正画像を良品画像として追加する第２処理と、を含んでよい。画像編集ステップによって対象物の画像を修正した修正画像を生成し、修正画像を良品画像として学習用データセットに追加することで、良品画像と不良品画像を単純に蓄積していく場合よりも良品画像を増やすことができる。

第１処理は、コンソール４等の入力部により受け付けた画像の修正に基づいて修正画像を生成する処理を含んでよい。画像の検査者は、処理フロー編集画面の中央下段に表示され、「１．画像ペイント」と記載された画像を修正し、修正画像を生成してよい。例えば、検査者は、マウス等のポインティングディバイスによって画像に撮影された欠陥を塗り潰し、良品画像に書きかえてよい。このように、検査者による画像の修正により修正画像が生成され、適切な良品画像を増やすことができる。

また、第１処理は、画像処理モデルにより修正画像を生成する処理を含んでもよい。画像処理モデルは、任意のモデルであってよく、例えば、先に登録された良品画像と、入力された画像とを対比して、相違箇所を周辺画素の色を用いて塗り潰すモデルであってよい。このように、修正画像の生成を画像処理モデルによって自動的に行うことで、良品画像を増やすためのコストを減らすことができる。

図４は、本実施形態に係る画像処理装置１０の設定画面の一例である。本例の設定画面では、「パラメータ」の設定項目について、「モード」として「ペイント」が選択され、「明るさ設定領域」が「２」に設定され、「ペイント半径」が「１」に設定されている。これらのパラメータを変更することで、画像編集ツールの設定を変更することができる。

また、本例の設定画面では、「画像」の設定項目について、「フォルダ名」として「Ｃ：￥Ｕｓｅｒｓ￥…」が選択され、「ファイル名」として「Ｆｉｌｅ」が設定されている。「画像」の設定項目によって、修正画像を保存するフォルダと、修正画像のファイル名を設定することができる。

図５は、本実施形態に係る画像処理装置１０により撮影される画像Ｉｍ１の一例である。画像Ｉｍ１は、ワークＷの白黒画像であり、第１欠陥Ｄ１、第２欠陥Ｄ２及び第３欠陥Ｄ３を含む。同図では、第１欠陥Ｄ１、第２欠陥Ｄ２及び第３欠陥Ｄ３を、それぞれ破線の丸印で囲んで示している。

図６は、本実施形態に係る画像処理装置１０により生成される修正画像Ｉｍ２の一例である。修正画像Ｉｍ２は、画像Ｉｍ１に基づき、画像編集ステップの第１処理により生成された修正画像の一例である。修正画像Ｉｍ２には、画像Ｉｍ１に含まれていた第１欠陥Ｄ１、第２欠陥Ｄ２及び第３欠陥Ｄ３が含まれていない。このように、画像Ｉｍ１等の不良品画像から修正画像Ｉｍ２等の良品画像を生成し、良品画像を増やすことができる。

図７は、本実施形態に係る画像処理装置１０により実行される学習用データセットの追加処理の第１例のフローチャートである。学習用データセットの追加処理の第１例は、検査者による対象物の良否判定の結果に基づき、不良品画像を修正して修正画像を生成し、学習用データセットに良品画像として追加する処理である。

はじめに、画像処理装置１０は、カメラ１により撮像された対象物の画像を入力する（Ｓ１０）。入力された画像はモニタ３に表示され、検査者は、画像を確認して良否判定を行い、判定結果をコンソール４等の入力部により入力する。ここで、画像の入力は、カメラ１によりラインＬを搬送される対象物が撮像される度にリアルタイムで行われてよい。また、画像の入力は、カメラ１により予め撮像されＲＡＭ２３等に記憶された対象物の画像を順次読み出すことで行われてもよい。

対象物に欠陥が有ると判定された場合（Ｓ１１：ＹＥＳ）、画像処理装置１０は、第１処理を実行し、画像に撮像された対象物の欠陥を塗り潰し、修正画像を生成する（Ｓ１２）。ここで、修正画像の生成は、画像処理モデルにより自動的に行われてもよいし、検査者の入力に基づいて行われてもよい。

このように、修正画像を生成する第１処理は、入力された画像に基づいて対象物の良否判定を行った結果を入力部により受け付け、判定結果が不良である場合に実行されてよい。これにより、検査者による良否判定を経て、不良と判定される場合に修正画像が生成され、良品画像を増やすことができる。

その後、画像処理装置１０は、修正画像に対して修正されたことを示す情報と、修正前の画像と、を関連付ける（Ｓ１３）。そして、修正画像を良品画像として学習用データセットに追加する（Ｓ１４）。なお、画像処理装置１０は、修正画像を良品画像として学習用データセットに追加するとともに、元の画像を不良品画像として学習用データセットに追加してよい。

このように、学習用データセットに修正画像を良品画像として追加する第２処理は、修正画像に対して修正されたことを示す情報を関連付けて、修正画像を学習用データセットに追加する処理を含んでよい。これにより、学習用データセットに含まれる良品画像のうち、いずれが修正画像であるのかが明らかとなり、学習用データセットの品質を容易に確認することができる。

また、第２処理は、修正画像に対して修正前の画像を関連付けて、修正画像を学習用データセットに追加する処理を含んでよい。これにより、修正画像の生成元となった画像を容易に参照することができ、修正画像を生成する第１処理が適切に行われたか否かを事後的に評価することができる。

対象物に欠陥が無いと判定された場合（Ｓ１１：ＮＯ）、画像処理装置１０は、入力された画像を修正せず、良品画像として学習用データセットに追加する（Ｓ１４）。

その後、画像処理装置１０は、処理を終了するか否かを判定する（Ｓ１５）。処理を終了しない場合（Ｓ１５：ＮＯ）、画像処理装置１０は、画像の入力（Ｓ１０）以降の処理を繰り返す。一方、処理を終了する場合（Ｓ１５：ＹＥＳ）、学習用データセットの追加処理の第１例が終了する。

図８は、本実施形態に係る画像処理装置１０により実行される学習用データセットの追加処理の第２例のフローチャートである。学習用データセットの追加処理の第２例は、判定モデルによる対象物の画像の良否判定の結果に基づき、不良品画像を修正して修正画像を生成し、学習用データセットに良品画像として追加する処理である。

はじめに、画像処理装置１０は、カメラ１により撮像された対象物の画像を入力する（Ｓ２０）。画像処理装置１０は、学習用データセットを用いて生成された学習済みモデルを含む判定モデルによって画像の良否判定を行う（Ｓ２１）。ここで、画像の入力は、カメラ１によりラインＬを搬送される対象物が撮像される度にリアルタイムで行われてよい。また、画像の入力は、カメラ１により予め撮像されＲＡＭ２３等に記憶された対象物の画像を順次読み出すことで行われてもよい。

判定モデルによる判定結果が不良であり（Ｓ２２：ＹＥＳ）、対象物に欠陥が含まれる場合（Ｓ２３：ＹＥＳ）、画像処理装置１０は、第１処理を実行し、画像に撮像された対象物の欠陥を塗り潰し、修正画像を生成する（Ｓ２４）。ここで、修正画像の生成は、画像処理モデルにより自動的に行われてもよいし、検査者の入力に基づいて行われてもよい。

その後、画像処理装置１０は、修正画像に対して修正されたことを示す情報と、修正前の画像と、を関連付ける（Ｓ２５）。そして、修正画像を良品画像として学習用データセットに追加する（Ｓ２６）。なお、画像処理装置１０は、修正画像を良品画像として学習用データセットに追加するとともに、元の画像を不良品画像として学習用データセットに追加してよい。

このように、修正画像を生成する第１処理は、判定モデルにより画像に基づいて対象物の良否判定を行った結果が不良であり、対象物に欠陥が含まれる場合に実行されてよい。これにより、判定モデルにより不良と判定され、実際に対象物に欠陥が含まれる場合に修正画像が生成され、良品画像を増やすことができる。

一方、判定モデルによる判定結果が不良であるが（Ｓ２２：ＹＥＳ）、対象物に欠陥が含まれていない場合（Ｓ２３：ＮＯ）、画像処理装置１０は、修正画像を生成せず、元の画像を良品画像として学習用データセットに追加する（Ｓ２６）。

このように、画像編集ステップは、判定モデルにより画像に基づいて対象物の良否判定を行った結果が不良であり、対象物に欠陥が含まれない場合に、学習用データセットに画像を良品画像として追加する第３処理を含んでよい。このように、判定モデルにより不良と判定され、実際には対象物に欠陥が含まれない場合に、元の画像を良品画像として学習用データセットに追加することができ、不要な画像編集ステップの実行を省略することができる。

判定モデルによる判定結果が良である場合（Ｓ２２：ＮＯ）、画像処理装置１０は、入力された画像を修正せず、良品画像として学習用データセットに追加する（Ｓ２６）。

その後、画像処理装置１０は、処理を終了するか否かを判定する（Ｓ２７）。処理を終了しない場合（Ｓ２７：ＮＯ）、画像処理装置１０は、画像の入力（Ｓ２０）以降の処理を繰り返す。一方、処理を終了する場合（Ｓ２７：ＹＥＳ）、学習用データセットの追加処理の第２例が終了する。

図９は、本実施形態に係る画像処理装置１０により実行される学習用データセットの追加処理の第３例のフローチャートである。学習用データセットの追加処理の第３例は、判定モデルによる対象物の画像の良否判定の結果に基づき、不良品画像を修正して修正画像を生成し、判定モデルによる採否判定を経て、学習用データセットに良品画像として追加する処理である。

はじめに、画像処理装置１０は、カメラ１により撮像された対象物の画像を入力する（Ｓ３０）。画像処理装置１０は、学習用データセットを用いて生成された学習済みモデルを含む判定モデルによって画像の良否判定を行う（Ｓ３１）。ここで、画像の入力は、カメラ１によりラインＬを搬送される対象物が撮像される度にリアルタイムで行われてよい。また、画像の入力は、カメラ１により予め撮像されＲＡＭ２３等に記憶された対象物の画像を順次読み出すことで行われてもよい。

判定モデルによる判定結果が不良であり（Ｓ３２：ＹＥＳ）、対象物に欠陥が含まれる場合（Ｓ３３：ＹＥＳ）、画像処理装置１０は、第１処理を実行し、画像に撮像された対象物の欠陥を塗り潰し、修正画像を生成する（Ｓ３４）。ここで、修正画像の生成は、画像処理モデルにより自動的に行われてもよいし、検査者の入力に基づいて行われてもよい。

その後、画像処理装置１０は、判定モデルにより、修正画像に基づいて対象物の良否判定を行う（Ｓ３５）。すなわち、画像処理装置１０は、修正画像を判定モデルに入力して、良品画像であると判定されるか確認する。修正画像に関する判定結果が不良の場合（Ｓ３６：ＹＥＳ）、画像処理装置１０は、再び第１処理を実行し、修正画像を更新する（Ｓ３４）。一方、修正画像に関する判定結果が良の場合（Ｓ３６：ＮＯ）、修正画像に対して修正されたことを示す情報と、修正前の画像と、を関連付ける（Ｓ３７）。そして、修正画像を良品画像として学習用データセットに追加する（Ｓ３８）。なお、画像処理装置１０は、修正画像を良品画像として学習用データセットに追加するとともに、元の画像を不良品画像として学習用データセットに追加してよい。

このように、修正画像を良品画像として学習用データセットに追加する第２処理は、判定モデルにより、修正画像に基づいて対象物の良否判定を行った結果が良である場合に、修正画像を良品画像として学習用データセットに追加する処理を含んでよい。これにより、修正画像を判定モデルにより判定し、判定結果が不良である場合には再度修正させ、判定結果が良である場合に良品画像として学習用データセットに追加することができ、適切な良品画像を増やすことができる。

一方、判定モデルによる判定結果が不良であるが（Ｓ３２：ＹＥＳ）、対象物に欠陥が含まれていない場合（Ｓ３３：ＮＯ）、画像処理装置１０は、修正画像を生成せず、元の画像を良品画像として学習用データセットに追加する（Ｓ３８）。

また、判定モデルによる判定結果が良である場合（Ｓ３２：ＮＯ）、画像処理装置１０は、入力された画像を修正せず、良品画像として学習用データセットに追加する（Ｓ３８）。

その後、画像処理装置１０は、処理を終了するか否かを判定する（Ｓ３９）。処理を終了しない場合（Ｓ３９：ＮＯ）、画像処理装置１０は、画像の入力（Ｓ３０）以降の処理を繰り返す。一方、処理を終了する場合（Ｓ３９：ＹＥＳ）、学習用データセットの追加処理の第３例が終了する。

図１０は、本実施形態に係る画像処理装置１０の処理フロー編集画面の一例である。同図に示す処理フロー編集画面の例は、コントローラ２により実行される処理フローを編集するための画面である。

本例の処理フロー編集画面では、処理フローとして、第１ステップＳ１、省略選択された第２ステップＳ２ａ及び第３ステップＳ３が設定されている。第１ステップＳ１は、「０．カメラ画像入力」と記載されたステップであり、カメラ１により撮像された対象物の画像をコントローラ２に入力するステップである。省略選択された第２ステップＳ２ａは、実行時に省略されるステップであり、省略選択されていることを示すアイコンが付され、「１．画像ペイント」と記載されたステップであり、画像編集ステップに相当する。第３ステップＳ３は、「２．ファインマッチング」と記載されたステップであり、登録された良品画像と、第１ステップＳ１で入力された画像とを重ね合わせて、相違点を高精度で検出するステップである。

コンソール４等の入力部は、画像編集ステップ（第２ステップＳ２）の実行を省略するか否かの選択を受け付け、ＣＰＵ２１等の実行部は、選択に応じて画像編集ステップの実行を省略して、複数のステップを設定された順序に従って実行してよい。ここで、画像編集ステップ（第２ステップＳ２）の実行を省略するか否かは、「計測ＯＮ／ＯＦＦ」と記載された選択ボタンＢにより選択されてよい。選択ボタンＢにより第２ステップＳ２の省略が選択されると、省略選択された第２ステップＳ２ａが設定され、ＣＰＵ２１等の実行部は、第１ステップＳ１を実行した後、第２ステップの実行を省略し、第３ステップＳ３を実行する。

このように、画像編集ステップを省略して処理フローを実行することができ、学習用データセットの収集のための動作と、画像処理装置１０の実稼働時の動作とを容易に切り替えることができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

［附記］
対象物の画像を撮像するカメラ（１）と、
複数のステップを含む処理フローを実行するコントローラ（２）と、を備え、
前記コントローラ（２）は、
前記複数のステップの順序の設定を受け付ける入力部（４）と、
前記複数のステップを前記順序に従って実行する実行部（２１）と、を有し、
前記複数のステップは、画像編集ステップを含み、
前記画像編集ステップは、
前記画像を修正した修正画像を生成する第１処理と、
前記対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、前記修正画像を良品画像として追加する第２処理と、を含む、
画像処理装置（１０）。

１…カメラ、２…コントローラ、３…モニタ、４…コンソール、５…ワーク検出用センサ、７…対象物の一部、１０…画像処理装置、２１…ＣＰＵ、２２…フラッシュメモリ、２３…ＲＡＭ、２４…グラフィックコントローラ、２５…カメラ用Ｉ／Ｆ、２６…入力用Ｉ／Ｆ、２７…外部用Ｉ／Ｆ

Claims (11)

1. 対象物の画像を撮像するカメラと、
   複数のステップを含む処理フローを実行するコントローラと、を備え、
   前記コントローラは、
   前記複数のステップの順序の設定を受け付ける入力部と、
   前記複数のステップを前記順序に従って実行する実行部と、を有し、
   前記複数のステップは、画像編集ステップを含み、
   前記画像編集ステップは、
   前記画像を修正した修正画像を生成する第１処理と、
   前記対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、前記修正画像を良品画像として追加する第２処理と、を含み、
   前記第１処理は、前記判定モデルにより前記画像に基づいて前記対象物の良否判定を行った結果が不良であり、前記対象物に欠陥が含まれる場合に実行される、
   画像処理装置。
2. 前記画像編集ステップは、
   前記判定モデルにより前記画像に基づいて前記対象物の良否判定を行った結果が不良であり、前記対象物に欠陥が含まれない場合に、前記学習用データセットに前記画像を良品画像として追加する第３処理をさらに含む、
   請求項１に記載の画像処理装置。
3. 前記第１処理は、前記画像に基づいて前記対象物の良否判定を行った結果を前記入力部により受け付け、前記結果が不良である場合に実行される、
   請求項１に記載の画像処理装置。
4. 前記第２処理は、前記判定モデルにより、前記修正画像に基づいて前記対象物の良否判定を行った結果が良である場合に、前記修正画像を良品画像として前記学習用データセットに追加する処理を含む、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１処理は、画像処理モデルにより前記修正画像を生成する処理を含む、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１処理は、前記入力部により受け付けた前記画像の修正に基づいて前記修正画像を生成する処理を含む、
   請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記第２処理は、前記修正画像に対して修正されたことを示す情報を関連付けて、前記修正画像を前記学習用データセットに追加する処理を含む、
   請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第２処理は、前記修正画像に対して修正前の前記画像を関連付けて、前記修正画像を前記学習用データセットに追加する処理を含む、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記入力部は、前記画像編集ステップの実行を省略するか否かの選択を受け付け、
   前記実行部は、前記選択に応じて前記画像編集ステップの実行を省略して、前記複数のステップを前記順序に従って実行する、
   請求項１から８のいずれか１項に記載の画像処理装置。
10. 画像処理装置に備えられたコントローラにより実行される処理フローに含まれる複数のステップの順序の設定を受け付けることと、
    前記複数のステップを前記順序に従って実行することと、を含む画像処理方法であって、
    前記複数のステップは、画像編集ステップを含み、
    前記画像編集ステップは、
    対象物の画像を修正した修正画像を生成する第１処理と、
    前記対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、前記修正画像を良品画像として追加する第２処理と、を含み、
    前記第１処理は、前記判定モデルにより前記画像に基づいて前記対象物の良否判定を行った結果が不良であり、前記対象物に欠陥が含まれる場合に実行される、
    画像処理方法。
11. 処理フローに含まれる複数のステップの順序の設定を受け付けるコンピュータを、前記複数のステップを前記順序に従って実行する実行部として機能させる画像処理プログラムであって、
    前記複数のステップは、画像編集ステップを含み、
    前記画像編集ステップは、
    対象物の画像を修正した修正画像を生成する第１処理と、
    前記対象物の良否判定を行う判定モデルの生成に用いられる学習用データセットに、前記修正画像を良品画像として追加する第２処理と、を含み、
    前記第１処理は、前記判定モデルにより前記画像に基づいて前記対象物の良否判定を行った結果が不良であり、前記対象物に欠陥が含まれる場合に実行される、
    画像処理プログラム。

Images