JP2023515520A - ユーザ入力に基づいて生成された人工知能モデルを使用し、仮想欠陥画像を生成するためのコンピュータプログラム、方法、及び装置 - Google Patents

Abstract

本発明は、電子装置の動作方法であって、第１生産品に対する第１正常画像、欠陥画像、及びユーザ入力に少なくとも基づいて仮想欠陥画像生成モデルを学習する動作と、前記学習された仮想欠陥画像生成モデルを用いて、第２生産品に対する第２正常画像から仮想欠陥画像を生成する動作を含む仮想欠陥画像生成方法を提供する。

Description

本発明の実施例は、ユーザ入力に基づいて生成された人工知能モデルを使用し、仮想欠陥画像を生成するためのコンピュータプログラム、方法、及び装置に関するものである。

一般的に、工場で生産された生産品に欠陥が存在するか否かに対する検収が必要である。最近、生産ラインの自動化など、コスト削減のための努力がなされており、これに伴い生産品の品質検収自動化に対する関心も高まっている。例えば、コンピュータビジョンを機械やロボット、プロセッサ、または品質制御に応用するマシンビジョン（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）技術が急激に発展する傾向にある。

従来のマシンビジョン技術は人工知能を使用せず、単に生産品の画像（例えば写真）から基準となるテンプレートを抽出するか、またはテンプレートと比較する技術を含む、テンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）を使用した。一例として、従来のマシンビジョンは、基準となる画像と生産品画像の画素値とを比較し、画素値差がどの範囲であれば欠陥なのかについてのルール（ｒｕｌｅ）をアルゴリズム化したり、生産品画像の特定部分の長さを測定し、長さがどの範囲であれば、欠陥なのかについてのルールをアルゴリズム化する方式であった。つまり、人工知能を使用しないマシンビジョンの場合、欠陥の場合の数を全てアルゴリズム化しなければならない煩わしさが大きく、規則のない非定型欠陥（すなわち、ルール（ｒｕｌｅ）を定められない欠陥）は検出しにくい問題があった。

一方、最近人工知能に関する技術が発展しつつ、人工知能をマシンビジョンに適用し、ルールを定められない非定型欠陥も人工知能が判別してくれる技術に対する関心が高まっている。

上述のように生産品の欠陥を検出する人工知能モデルを学習させようとする場合、学習データのために、欠陥を有する多数の生産品画像（例えば写真）が必要である。例えば、学習データが多いほど、欠陥検出人工知能モデルの性能が向上する可能性がある。

ところが一般的な生産ラインであれば、欠陥を有する生産品画像（以下、欠陥画像）を多く取得することはかなり難しい。特に、生産ラインの初期には欠陥画像の個数が極めて少なく、有意な欠陥検出人工知能モデルを学習させることができず、生産ラインの初期には、さらに前記人工知能モデルを使用することができない場合がある。

一方、少数の欠陥画像（すなわち、実在する欠陥画像）を若干変形することで学習データを増やす場合、既存の欠陥画像を変形する方式であるため、これまで全く存在しなかった新たな欠陥画像を生成することは不可能である。また、生産品によって発生しうる特徴的な欠陥や精巧な欠陥は、規則を示すことができず、存在しない新たな欠陥を有する生産品画像を生成することは非常に難しい。

本発明は、前記のような問題点を改善するために案出されたものであり、ユーザ入力に基づいて生成された人工知能モデルを用いて、仮想欠陥画像を生成するためのコンピュータプログラム、方法、及び装置することを目的とする。

しかし、このような課題は例示的なものであり、これによって本発明の範囲が限定されるものではない。

本発明の一実施例に係る電子装置の動作方法において、仮想欠陥画像生成方法は、少なくとも第１生産品に対する第１正常画像、欠陥画像、及びユーザ入力に基づいて仮想欠陥画像生成モデルを学習する動作と、前記学習された仮想欠陥画像生成モデルを用いて、第２生産品の第２正常画像から仮想欠陥画像を生成する動作とを含むことができる。前記仮想欠陥画像を生成する動作は、既定の形状の欠陥領域に関する情報を用いて、前記仮想欠陥画像生成モデルを介して前記仮想欠陥画像を生成する動作と、ユーザが欠陥を発生させる領域を直接描画する入力に基づいた手動領域情報を用いて、前記仮想欠陥画像生成モデルを介して前記仮想欠陥画像を生成する動作を含むことができる。

一実施例によれば、前記第１生産品と前記第２生産品は、互いに全く同じ種類であるか、または互いに同じ種類で、規格またはバージョンが異なる場合がある。

一実施例によれば、前記第１正常画像と前記第２正常画像は同じであるか、または互いに異なることができる。

一実施例によれば、前記仮想欠陥画像生成モデルを学習する動作は、前記第１生産品に対して発生可能な欠陥タイプを設定する動作を含むことができる。

一実施例によれば、前記仮想欠陥画像を生成する動作は、前記設定された欠陥タイプのうち少なくとも一部に対して、前記少なくとも一部の欠陥タイプのそれぞれが発生することができる欠陥領域に関する情報を、ユーザ入力に基づいて入力される動作を含むことができる。

一実施例によれば、前記仮想欠陥画像生成モデルを学習する動作は、前記第１生産品を含む複数の互いに異なるバージョンの生産品に対する第１正常画像及び欠陥画像に基づいてデータベースを収集及び前処理を実行する動作と、前記複数の互いに異なるバージョンの生産品のうち一部生産品のみを選択して前記仮想欠陥画像生成モデルを学習する動作を含むことができる。

本発明の一実施例に係るコンピュータプログラムは、コンピュータを使用して前述した動作を実行させるためにコンピュータ読み取り可能な記憶媒体に記憶されることができる。

本発明の一実施例に係る非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）コンピュータ読み取り可能な（ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ）記憶（ｓｔｏｒａｇｅ）媒体（ｍｅｄｉｕｍ）は、前述した動作を実行するための１つまたは複数のプログラムを記憶することができる。

前述したもの以外の他の側面、特徴、利点が、以下の図面、特許請求の範囲及び発明の詳細な説明から明確になるであろう。

上述したように構成された本発明の一実施例に係る装置、方法、及びコンピュータプログラムは、ユーザ入力に基づいて、ユーザの必要に応じて様々な種類の生産品に対する仮想欠陥画像生成モデルを学習することができ、学習された仮想欠陥画像生成モデルを用いて、前記ユーザの必要に応じた生産品の仮想欠陥画像を生成することができる。

また、既存の欠陥画像を変形させるのではなく、正常画像から新たな欠陥を有する仮想欠陥画像を新たに生成することができる。

また、様々な種類の欠陥を１回の学習で生成することができる。

また、ユーザ入力に基づいて行われる一度の学習で、自動モード（ａｕｔｏ ｍｏｄｅ）での仮想欠陥画像生成と手動モード（ｍａｎｕａｌ ｍｏｄｅ）での仮想欠陥画像生成、両方が可能な一つの仮想欠陥画像生成モデルを学習することができる。

また、種類は同じであるが、細部の特徴が異なる生産品を一つのプロジェクトに集めて一度で学習することができる。

また、本発明の一実施例に係る装置、方法、及びコンピュータプログラムは、生成モデル学習時に、複数の製品や複数の欠陥タイプの中から、学習に使用するもののみを選択するユーザ入力に基づいて、様々なモデルを学習することができる。

もちろん、このような効果によって本発明の範囲が限定されるものではない。

本発明の一実施例に係る仮想欠陥画像を生成するための電子装置１０の機能的な構成の例を示す。 本発明の一実施例に係る仮想欠陥画像生成過程とその使用例を含む、全体的な過程Ｓ１０の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成するためのプログラム１６の機能的な構成の例を示す。 本発明の一実施例に係る、自動モード及び手動モードにおける生成モジュール２２の動作の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成するための電子装置１０の動作の例を示す。 本発明の一実施例に係る仮想欠陥画像生成モデルを学習するための電子装置１０の動作の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成するためのプログラム１６の一画面Ａ７の例を示す。 本発明の一実施例に係る仮想欠陥画像生成モデルを学習するためにデータベースを構築する電子装置１０の動作の例を示す。 １つまたは複数のバージョンの生産品の例を示す。 本発明の一実施例に係るデータベースを構築する画面の例を示す。 本発明の一実施例に係るデータベースを構築する画面の例を示す。 本発明の一実施例に係るデータベースを構築する画面の例を示す。 本発明の一実施例に係る仮想欠陥画像生成モデルの学習のためにデータベースに前処理を実行する電子装置１０の動作の例を示す。 本発明の一実施例に係る前処理を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る前処理を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る前処理を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る前処理を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る前処理を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る仮想欠陥画像生成モデルを学習するための画面Ａ１９の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成するための電子装置１０の動作の例を示す。 本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための電子装置１０の画面の例を示す。 本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための電子装置１０の画面の例を示す。 自動モードで生成された仮想欠陥画像の例を示す。 本発明の一実施例に係る手動モード（ｍａｎｕａｌ ｍｏｄｅ）生成を実行するための画面の例を示す。 本発明の一実施例に係る手動モード（ｍａｎｕａｌ ｍｏｄｅ）生成を実行するための画面の例を示す。 本発明の一実施例に係る手動モード（ｍａｎｕａｌ ｍｏｄｅ）生成を実行するための画面の例を示す。 手動モードで生成された仮想欠陥画像の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成する際に自動モード生成が有用な場合と、手動モード生成が有用な場合の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成する際に自動モード生成が有用な場合と、手動モード生成が有用な場合の例を示す。 本発明の一実施例に係る仮想欠陥画像を生成する際に自動モード生成が有用な場合と、手動モード生成が有用な場合の例を示す。

発明の実施のための形態

本発明は、様々な変換を加えることができ、様々な実施例を有することができるため、特定の実施例を図面に例示し、詳細に説明しようとする。本発明の効果及び特徴とそれらを達成する方法は、図面と共に詳細に後述する実施例を参照することで明らかになるであろう。しかし、本発明は、以下で開示される実施例に限定されるものではなく、様々な形態で実装されてもよい。

以下、添付の図面を参照して本発明の実施例を詳細に説明するものとし、図面を参照して説明するとき、同一又は対応する構成要素は同一の図面符号を付与し、これに対する重複の説明は省略する。

以下の実施例において、第１、第２などの用語は限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的で用いられた。

以下の実施例において、単数の表現は、文脈上明らかに異なる意味を持たない限り、複数の表現を含む。

以下の実施例において、含むまたは有するなどの用語は、明細書上に記載された特徴、または構成要素が存在することを意味するものであり、１つまたは複数の他の特徴または構成要素が追加される可能性を予め排除するものではない。

図面では、説明の便宜上、構成要素の大きさが誇張または縮小されてもよい。例えば、図面に示された各構成の大きさ及び厚さは説明の便宜上任意に示しているため、本発明が必ずしも示されたものに限定されるものではない。

以下の実施例において、領域、構成要素、ブロック、モジュールなどが接続されているとした場合、構成要素、ブロック、モジュールが直接接続されている場合だけでなく、構成要素、ブロック、モジュールの間に他の構成要素、ブロック、モジュールが介在され、間接的に接続された場合も含む。

図１は、本発明の一実施例に係る仮想欠陥画像を生成するための電子装置１０の機能的な構成の例を示す。

図１を参照すると、電子装置１０は、通信モジュール１１、プロセッサ１２、表示装置１３、入力装置１４、メモリ１５を含むことができる。メモリ１５は、仮想欠陥画像生成モデルを学習することができ、学習された仮想欠陥画像生成モデルを用いて正常画像から仮想欠陥画像を生成することができるプログラム１６を記憶することができる。

したがって、電子装置１０は、プロセッサ１２がプログラム１６を実行することによって仮想欠陥画像を生成することができる装置である。電子装置１０は、例えば、携帯用通信装置（例えば、スマートフォン、ノートパソコン）、コンピュータ装置、タブレットＰＣなどを含むことができる。しかしながら、電子装置１０は、前述した機器に限定されない。

また、電子装置１０は、前述した構成要素に限定されず、電子装置１０には他の構成要素を追加されるか、一部の構成要素を省略されることができる。

通信モジュール１１は、電子装置１０と外部電子装置（例えば、他の電子装置、またはサーバ）との間の有線または無線通信チャネルの確立、及び確立された通信チャネルを介した通信の実行を支援することができる。通信モジュール１１は、プロセッサ１２（例えばアプリケーションプロセッサ）とは独立して運営される、有線通信または無線通信をサポートする１つまたは複数のコミュニケーションプロセッサを含むことができる。一実施例によれば、通信モジュール１１は、無線通信モジュール（例えば、セルラー通信モジュール、近距離無線通信モジュール、またはＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）通信モジュール）または有線通信モジュール（例えば、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）通信モジュール、または電力線通信モジュール）を含み、その中で該当する通信モジュールを使用して、近距離通信ネットワーク（例えば、ブルートゥース（登録商標）、ＷｉＦｉ ｄｉｒｅｃｔ、またはＩｒＤＡ（ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ））または遠距離通信ネットワーク（例えば、セルラーネットワーク、インターネット、またはコンピュータネットワーク（例えば、ＬＡＮまたはＷＡＮ）を介して外部電子装置と通信することができる。上述した様々な種類の通信モジュール１１は、１つのチップで実装されるか、または、それぞれ別々のチップで実装されることができる。

本発明の一実施例に係る電子装置１０の仮想欠陥画像生成動作の少なくとも一部は、通信モジュール１１を介したサーバ（図示せず）との無線通信チャネルを介して実行されてもよい。例えば、電子装置１０がユーザ入力に基づいて仮想欠陥画像生成モデルを学習し、仮想欠陥画像を生成する過程で、サーバ（図示せず）と少なくとも一部のデータの送受信を行うことができる。

プロセッサ１２は、例えば、ソフトウェア（例えば、プログラム１６）を駆動してプロセッサ１２に接続された電子装置１０の少なくとも１つの他の構成要素（例えば、ハードウェアまたはソフトウェア構成要素）を制御することができ、様々なデータ処理及び演算を実行することができる。プロセッサ１２は、他の構成要素（例えば、入力装置１４）から受信した命令またはデータをメモリ１５（例えば、揮発性メモリ）にロードして処理し、結果データをメモリ１５（例えば、不揮発性メモリ）に記憶することができる。

メモリ１５は、電子装置１０の少なくとも１つの構成要素（例えば、プロセッサ１２）によって使用される様々なデータ、例えばソフトウェア（例えば、プログラム１６）及び、それに関連する命令に対する入力データまたは出力データを記憶することができる。メモリ１５は、揮発性メモリまたは不揮発性メモリを含むことができる。

本発明の一実施例によれば、メモリ１５は、少なくともユーザ入力に基づいて仮想欠陥画像生成モデルを学習し、学習された仮想欠陥画像生成モデルを介して仮想欠陥画像を生成することができるプログラム１６を記憶することができる。

プログラム１６はメモリ１５に記憶されるソフトウェアであり、プログラム１６は１つまたは複数のプログラムを含むことができる。例えば、プログラム１６は、図２及び図３で後述するように、仮想欠陥画像生成モデルを学習する開発モジュール２１と、学習された仮想欠陥画像生成モデルを用いて仮想欠陥画像を生成する生成モジュール２２を含むことができ、開発モジュール２１と生成モジュール２２は、下位モジュールを含むことができるように、複数のモジュールを含むことができる。

表示装置１３は、電子装置１０のユーザに情報を視覚的に提供するための装置であり、例えば、ディスプレイ及びディスプレイを制御するための制御回路を含むことができる。一実施例によれば、表示装置１３はタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）を含むことができる。

本発明の一実施例によれば、表示装置１３は、プログラム１６の実行に対応する画面を表示することができる。表示装置１３は、仮想欠陥画像生成モデルを学習し、仮想欠陥画像を生成するために使用されるユーザ入力を受信するための、ＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を表示することができる。

入力装置１４は、電子装置１０の少なくとも１つの構成要素（例えば、プロセッサ１２）に使用される命令またはデータを電子装置１０の外部（例えば、ユーザ）から受信することができる。入力装置１４は、例えば、マウス、キーボード、タッチスクリーン、ボタン、マイクなどを含むことができる。

図２は、本発明の一実施例に係る仮想欠陥画像生成過程Ｓ１１とその使用例を含む、全体的な過程Ｓ１０の例を示す。

図２を参照すると、本発明の一実施例に係る全体的な過程Ｓ１０は、学習データＥ１を用いて仮想欠陥画像生成モデルを学習する過程Ｓ１、学習された生成モデルＥ２用いて仮想欠陥画像を生成する過程Ｓ２、生成された仮想欠陥画像Ｅ３を学習データとして用いて欠陥検出モデルを学習する過程Ｓ３、学習された欠陥検出モデルＥ４を用いて生産品の欠陥を検出する過程Ｓ４を含む。

図２において、四角ブロックは、例えばプロセッサ１２の実行または動作を表すことができ、楕円ブロックは、例えば、前記動作に用いられるか、前記動作によって算出される要素（例えば、ファクター（ｆａｃｔｏｒ）、ツール、モデル、データ）を表すことができる。

なお、本文書において仮想欠陥画像は、生産品の正常画像に仮想欠陥スケッチを加えて生成された、欠陥を有する仮想生産品画像を示す。本文書で仮想欠陥画像生成モデルとは、正常画像から仮想欠陥画像を生成することができる人工知能モデルで、少なくともプログラム１６に対するユーザ入力に基づいて学習することができる。本文書で欠陥検出モデルとは、生成された仮想欠陥画像を学習データとして用いて、実際の生産品画像から生産品の欠陥有無を検出することができる人工知能モデルである。欠陥検出モデルも、少なくともプログラム１６に対するユーザ入力に基づいて生成されることができる。

本発明の一実施例に係る電子装置１０（例えば、プロセッサ１２）は、例えば、仮想欠陥画像生成モデル学習動作Ｓ１、仮想欠陥画像生成動作Ｓ２、欠陥検出モデル学習動作Ｓ３を実行することができる。Ｓ３の結果として生成された欠陥検出モデルＥ４は、例えば、実際の生産ラインで生産品の欠陥を検出Ｓ４するために使用することができる。

プログラム１６は、学習データＥ１から仮想欠陥画像生成モデルを学習してＳ１、仮想欠陥画像生成モデルＥ２を出力する開発モジュール２１と、仮想欠陥画像生成モデルＥ２を用いて仮想欠陥画像を生成Ｓ２することにより、仮想欠陥画像Ｅ３を出力する生成モジュール２２を含むことができる。さらに、プログラム１６は、前記出力された仮想欠陥画像Ｅ３から欠陥検出モデルを学習しＳ３、欠陥検出モデルＥ４を出力する検出モジュール（または分類モジュール）（図示せず）をさらに含むことができる。開発モジュール２１と生成モジュール２２の詳細な説明は、以下の図面で後述する。

一実施例によれば、Ｓ１、Ｓ２、Ｓ３、Ｓ４は、すべて異なる人工知能に基づいた動作であってもよい。例えば、ユーザ入力に基づいた学習データＥ１を用いて仮想欠陥画像生成モデルを学習Ｓ１するための人工知能モデル（図示せず）が、プログラム１６に組み込まれていてもよい。また、仮想欠陥画像を生成する動作Ｓ２は、Ｓ１の結果として生成された人工知能モデルＥ２を介して実行されることができる。また、Ｓ２の結果生成される仮想欠陥画像Ｅ３を学習データとして用いて欠陥検出モデルを学習Ｓ３する人工知能モデル（図示せず）がプログラム１６に組み込まれていてもよい。また、生産品の欠陥を検出する動作Ｓ４は、Ｓ３の結果として生成された人工知能モデルＥ４を介して実行されることができる。

本発明の一実施例によれば、生成モジュール２２が仮想欠陥画像を生成する過程Ｓ２は、自動モードで生成する過程Ｓ２２１と手動モードで生成する過程Ｓ２２２を含む。

自動モードで生成する過程Ｓ２２１は、正常画像及び既定の欠陥領域に関する情報を用いて、仮想欠陥画像生成モデルＥ２を介して自動的に仮想欠陥画像を生成する過程である。

手動モードで生成する過程Ｓ２２２は、正常画像及びユーザが仮想欠陥を発生させる領域を直接描画する入力に基づいた手動領域情報を用いて、前記仮想欠陥画像生成モデルＥ２を介して仮想欠陥画像を生成する過程である。

一実施例によれば、１つの（同じ）仮想欠陥画像生成モデルＥ２を用いて、自動モード生成Ｓ２２１と手動モード生成Ｓ２２２の両方を実行することができる。

一方、自動モード生成Ｓ２２１と手動モード生成Ｓ２２２は、順序がある過程ではなく、選択的な過程であってもよい。したがって、プログラム１６（またはプロセッサ１２）に対するユーザ入力によって、１つの（同じ）仮想欠陥画像生成モデルＥ２を用いて自動モードで仮想欠陥画像を生成することもでき、手動モードで仮想欠陥画像を生成することもできる。もちろん、自動モードで仮想欠陥画像を生成して記憶、手動モードで仮想欠陥画像を生成して記憶、自動モード及び手動モードで生成された仮想欠陥画像の両方を用いて欠陥検出モデルを学習Ｓ３することもできる。

図３は、本発明の一実施例に係る仮想欠陥画像を生成するためのプログラム１６の機能的な構成の例を示す。

図３を参照すると、プログラム１６は、開発モジュール２１及び生成モジュール２２を含むことができる。図２で前述したように、開発モジュール２１は、仮想欠陥画像生成モデルを学習（または開発）することができ、生成モジュール２２は、学習された仮想欠陥画像生成モジュールを用いて仮想欠陥画像を生成することができる。図示されてはいないが、プログラム１６は、生成された仮想欠陥画像を用いて欠陥検出モデルを学習することができる検出モジュール（または分類モジュール）をさらに含むことができる。

開発モジュール２１及び生成モジュール２２は、ユーザ入力に基づいて動作を実行することができる。例えば、開発モジュール２１及び生成モジュール２２は、ユーザ入力に基づいて予め設定された動作、または予め記憶された（例えば、プログラミングされた）動作を実行することができる。開発モジュール２１及び生成モジュール２２は、ユーザ入力に基づいて動作するため、ユーザの必要に応じて（例えば、様々な種類の生産品に）プログラム１６を使用することができ、プログラム１６は特定分野ではなく、様々な分野で使用することができる。

本発明の一実施例によれば、開発モジュール２１は、データベースモジュール２１１、前処理モジュール２１２、トレーニングモジュール２１３を含むことができる。しかしながら、これは一例に過ぎず、各モジュールの機能の少なくとも一部は統合して構成されてもよく、または各モジュールはより下位のモジュールで構成されてもよい。

データベースモジュール２１１は、仮想欠陥画像生成モデルを学習するためのデータベースを構築するために、データベースを収集及び記憶（または一時的に記憶）することができる。

データベースモジュール２１１は、前記データベースとして、例えば生産品の識別情報（例えば、名前）の入力を記憶し、仮想欠陥画像生成モデルを学習するために、１つまたは複数の正常画像及び欠陥画像をロード、欠陥タイプに関する情報を入力して記憶することができる。また、データベースモジュール２１１は、前記ロードされた正常画像及び欠陥画像に対して欠陥タイプをラベル付けすることができる。

なお、本文書において正常画像とは、正常と判定された実際の生産品の画像を示す。本明細書において欠陥画像とは、欠陥を有すると判定された実際の生産品の画像を示す。本文書における欠陥タイプとは、生産品が有することができる欠陥の種類であり、ユーザ入力によってリスト（ｌｉｓｔ）されることができる。例えば、プログラム１６（またはプロセッサ１２）は、ユーザから欠陥タイプを入力されリスト化、例えば欠陥タイプ情報を記憶することができる。欠陥タイプは、例えば、曲げ、傷、異物（例えば、汚れや汚染）、特定の色を有する異物など多様に存在することができる。

データベースモジュール２１１の動作に関する詳細な説明は、図８及びその以下で詳細に後述する。

前処理モジュール２１２は、仮想欠陥画像生成モデルを学習するために、前記収集されたデータベースに対して前処理を実行することができる。

前処理モジュール２１２は、前記前処理として、例えば、ロードされた１つまたは複数の正常画像のうち代表画像を設定し、ロードされた１つまたは複数の正常画像及び欠陥画像を前記代表画像基準で整列し、代表画像上に各欠陥タイプが生じ得る欠陥領域に関する情報を入力されて記憶することができる。

前処理モジュール２１２の動作に関する詳細な説明は、図１３及びその以下で詳細に後述する。

トレーニングモジュール２１３は、前記データベース及び前記前処理に基づいて仮想欠陥画像生成モデルを学習（またはトレーニング）することができる。トレーニングモジュール２１３は、例えば、前記整列された１つまたは複数の正常画像及び欠陥画像、前記ラベル付けに関する情報と、前記欠陥領域に関する情報を用いて前記学習またはトレーニングを実行することができる。

本発明の一実施例によれば、生成モジュール２２は自動モードモジュール２２１、手動モードモジュール２２２を含むことができる。しかしながら、これは一例に過ぎず、各モジュールの機能の少なくとも一部は統合して構成されてもよく、または各モジュールはより下位のモジュールで構成されてもよい。

一実施例によれば、自動モードモジュール２２１及び手動モードモジュール２２２は、機能上の区分（またはモードの区分、またはアルゴリズム上の区分）に過ぎない可能性がある。一実施例によれば、開発モジュール２１で生成された１つの仮想欠陥画像生成モデルを用いて自動モード生成動作Ｓ２２１と手動モード生成動作Ｓ２２２の両方を実行することができる。一例として、自動モードでは、開発モジュール２１に記憶されたスケッチ生成機２２３（図４参照）をさらに用いて自動モード生成動作Ｓ２２１を実行することができる。

一実施例によれば、生成モジュール２２は、自動モードモジュール２２１を介して正常画像、既定の欠陥領域に関する情報、及び開発モジュール２１から出力された仮想欠陥画像生成モデルＥ２を用いて、仮想欠陥画像を生成することができる。

また、生成モジュール２２は、手動モードモジュール２２２を介して、正常画像、ユーザが欠陥を発生させる領域を直接描画する入力、及び前記仮想欠陥画像生成モデルＥ２を用いて、仮想欠陥画像を作成できる。

一方、生成モジュール２２で使用される第２正常画像は、開発モジュール２１で使用される第１正常画像と同じでもよいが、異なっていてもよい。これについては、図５及びその以降の説明で詳細に後述する。

一方、自動モード及び手動モードにおける生成モジュール２２の各動作の一例の詳細な説明は、図４で後述する。

図４は、本発明の一実施例に係る、自動モード及び手動モードにおける生成モジュール２２の動作の例を示す。

図４を参照すると、生成モジュール２２は自動モードまたは手動モードで動作することができる。自動モードと手動モードは順序付きの過程ではなく、選択的な過程である。したがって、プログラム１６（またはプロセッサ１２）に対するユーザ入力によって、１つの仮想欠陥画像生成モデルを用いて自動モードで仮想欠陥画像（ＶＤＩ）を生成することもでき、手動モードで仮想欠陥画像（ＶＤＩ）を生成することもできる。もちろん、手動モードで仮想欠陥画像（ＶＤＩ）を作成して記憶、自動モードで仮想欠陥画像（ＶＤＩ）を作成して記憶した後、生成した仮想欠陥画像（ＶＤＩｓ）をすべて使用して欠陥検出モデルを学習することもできる。

本発明の一実施例によれば、開発モジュール２１で学習された同一の仮想欠陥画像生成モデルが、自動モードと手動モードの両方で使用されることができる。すなわち、一つの仮想欠陥画像生成モデルが、自動モードで仮想欠陥画像（ＶＤＩ）を生成してもよいし、手動モードで仮想欠陥画像（ＶＤＩ）を生成してもよい。

本発明の一実施例によれば、自動モードでスケッチ生成機２２３は、既定の欠陥領域情報と仮想欠陥画像生成モデルを用いて仮想欠陥スケッチＶＤＳ１を生成することができる。スケッチ生成機２２３は、例えば、生成モジュール２２に含まれる１つのロジック、アルゴリズム、人工知能モデル、またはモジュールであることができる。

具体的に、仮想欠陥画像生成ステップＳ２のうち、自動モードでは、各欠陥タイプごとに発生可能な欠陥領域を予め指定された（例えば、プログラムされた）所定の形状に設定することができる。例えば、自動モードでユーザは、生産品の正常画像上に、予め指定された所定の形状（例えば、直線、四角の境界、円形の境界、四角形の面積（ａｒｅａ）、円形の面積）に欠陥領域を設定することができる。このようにして設定された欠陥領域を前記設定された欠陥領域情報と呼ぶことができる。

自動モードで生成モジュール２２（例えば、スケッチ生成機２２３）は、前記既定の欠陥領域情報と学習された仮想欠陥画像生成モデルを用いて仮想欠陥スケッチＶＤＳ１を生成することができる。スケッチ生成機２２３は、既定の欠陥領域（例えば、直線、四角形の縁、円形の境界、四角形の面積（ａｒｅａ）、円形の面積）内で、仮想欠陥画像生成モデルを介して、自由にまたは自動的に仮想欠陥スケッチＶＤＳ１を作成することができる。

仮想欠陥スケッチＶＤＳ１は、生産品の画像が除去された、仮想欠陥のみ存在するスケッチといえる。仮想欠陥スケッチＶＤＳ１は、形状だけでなく、その位置に関する情報、欠陥タイプに関する情報も一緒に含むことができる。図４は、仮想欠陥スケッチ（ＶＤＳ）の例を示す。

その後、画像生成機２２４は、仮想欠陥スケッチＶＤＳ１を正常画像ＯＩに加えて（例えば、重複または合成処理によって）、仮想欠陥画像ＶＤＩを生成することができる。

本発明の一実施例によれば、手動モードで生成モジュール２２は、ユーザが仮想欠陥を生成させる領域を直接描画する（すなわち、スケッチする）入力に基づいた手動領域情報と、前記同じ仮想欠陥画像生成モデルを用いて、仮想欠陥スケッチＶＤＳ２を作成することができる。手動モードでは、ユーザが仮想欠陥を作成する手動領域を直接スケッチするため、自動モードのように欠陥領域情報を設定される必要はない。したがって、手動モードでは、欠陥領域情報が使用されなくてもよい。

また、手動モードでは、ユーザが直接スケッチした手動領域に対応する仮想欠陥スケッチＶＤＳ２を生成するため、スケッチ生成機２２３が不要である。したがって、手動モードでは、スケッチ生成機２２３を使用されない可能性がある。

一方、ユーザは、手動領域をスケッチする際に、前記手動領域に発生させる欠陥の種類である欠陥タイプを指定することができる。したがって、手動領域情報は、例えば、欠陥タイプ情報を含むことができたり、または欠陥タイプ情報と連動またはマッチングされることができる。

自動モードで生成モジュール２２は、前記手動領域情報と仮想欠陥画像生成モデルを用いて、前記手動領域情報に対応する仮想欠陥スケッチＶＤＳ２を生成することができる。仮想欠陥スケッチＶＤＳ２は、生産品の画像が除去された、仮想欠陥のみ存在するスケッチといえる。仮想欠陥スケッチＶＤＳ２は、形状だけでなく、その位置に関する情報、欠陥タイプに関する情報も一緒に含むことができる。

その後、画像生成機２２４は、仮想欠陥スケッチＶＤＳ２を正常画像ＯＩに加えて（例えば、重複または合成処理によって）、仮想欠陥画像ＶＤＩを生成することができる。画像生成機２２４の動作は、自動モードと手動モードとで共通であってもよい。

図５は、本発明の一実施例に係る仮想欠陥画像を生成するための電子装置１０の動作の例を示す。図５の動作は、プロセッサ１２によってプログラム１６を介して実行されることができる。

図５を参照すると、Ｓ２１において、プロセッサ１２は、開発モジュール２１を介して、少なくとも生産品の第１正常画像、欠陥画像、及びユーザ入力に基づいて仮想欠陥画像生成モデルを学習することができる。Ｓ２２において、プロセッサ１２は、生成モジュール２２を介して学習された仮想欠陥画像生成モデルを用いて、第２正常画像から仮想欠陥画像を生成することができる。Ｓ２３において、プロセッサ１２は、生成モジュール２２を介して、生成された仮想欠陥画像をメモリ１５に記憶することができる。記憶された仮想欠陥画像は、例えば、欠陥検出モデルを学習するために学習データとして使用することができる。

生成モデル学習ステップＳ２１において（または開発モジュール２１で）使用される第１正常画像は、仮想欠陥画像生成ステップＳ２２で（または生成モジュール２２で）使用される第２正常画像である。同じでも異なっていてもよい。

一例として、Ｓ２１において、開発モジュール２１は、仮想欠陥画像生成モデルを学習するために、生産品の第１正常画像及び前記生産品の欠陥画像が必要である。したがって、生産品の正常画像及び欠陥画像の数量が多少（例えば、数～数十枚以上、ただし、これに限定されない）確保された場合に、前記生産品の正常画像が開発モジュール２１で第１正常画像として使用されることができる。

これに対して、Ｓ２２において生成モジュール２２は欠陥画像を必要としない。生成モジュール２２は、仮想欠陥画像生成モデルを用いて正常画像（すなわち、第２正常画像）から完全な仮想の欠陥画像（すなわち、仮想欠陥画像）を新たに生成するためのモジュールである。したがって、生成モジュール２２で使用される第２正常画像は、開発モジュール２１でロードされる第１正常画像と必ずしも同じである必要はない。

以下において、第１正常画像とは、生成モデル学習ステップＳ２１において（または開発モジュール２１において）学習データとして使用される正常画像を指すこととする。以下において、第２正常画像とは、仮想欠陥画像生成ステップＳ２２において（または生成モジュール２２において）仮想欠陥画像生成の基礎となる正常画像を指すこととする。

一実施例によれば、第１正常画像と第２正常画像が互いに同じであることができる。この実施例の場合、第１正常画像の生産品と第２正常画像の生産品は当然同じ生産品である。

別の実施例によれば、同じ生産品の異なる第１正常画像と第２正常画像を使用することができる。すなわち、同じ種類の同じバージョンの生産品の複数の正常画像のうち、互いに異なる正常画像をそれぞれ第１正常画像と第２正常画像として使用することができる。

別の実施例によれば、広い意味の種類は互いに同一であるが、細部の特徴（例えば、規格またはバージョン）が互いに異なる第１生産品と第２生産品がある場合、第１生産品の正常画像が第１正常画像として使用され、第２生産品の正常画像が第２正常画像として使用されることができる。したがって、欠陥画像がないか、または非常に少ない第２生産品の仮想欠陥画像を生成したい場合、欠陥画像が十分に存在する第１生産品を用いて仮想欠陥画像生成モデルを学習した後、前記学習された仮想欠陥画像生成モデルを用いて、第２生産品の正常画像（すなわち、第２正常画像）から第２生産品の仮想欠陥画像を生成することができる。

図６は、本発明の一実施例に係る仮想欠陥画像生成モデルを学習するための電子装置１０の動作の例を示す。図６の動作は、Ｓ２１の具体例であってもよく、プロセッサ１２によって実行されることができ、プログラム１６の開発モジュール２１を介して実行されることができる。

図６を参照すると、Ｓ２１１において、プロセッサ１２は、開発モジュール２１（例えば、データベースモジュール２１１）を介してデータベースを収集及び記憶（または一時的に記憶）することができる。これは、仮想欠陥画像生成モデルを学習するためのデータベースを構築するためのものである。Ｓ２１１の詳細な動作の説明は、図８及びその以下で詳細に後述する。

Ｓ２１２において、プロセッサ１２は、開発モジュール２１（例えば、前処理モジュール２１２）を介して、前記収集されたデータベースに対して前処理（ｐｒｅｐｒｏｃｅｓｓ）を実行することができる。前記前処理は、仮想欠陥画像生成モデルを学習するための前処理である。Ｓ２１２の詳細な動作の説明は、図１３及びその以下で詳細に後述する。

Ｓ２１３において、プロセッサ１２は、開発モジュール２１（例えば、トレーニングモジュール２１３を介して、前記データベース及び前記前処理に基づいて仮想欠陥画像生成モデルを学習（またはトレーニング）することができる。

図７は、本発明の一実施例に係る仮想欠陥画像を生成するためのプログラム１６の一画面Ａ７の例を示す。

図７を参照すると、プログラム１６が実行されると、プロセッサ１２は、仮想欠陥画像生成モデルに対する新たなプロジェクト（ｎｅｗ ｐｒｏｊｅｃｔ）を生成するための画面Ａ７を表示するように表示装置１３を制御することができる。画面Ａ７は、仮想欠陥画像を生成するためのアイコン７１と、生成された仮想欠陥画像を用いて欠陥検出モデルを学習するためのアイコン７２とを含むことができる。例えば、プロセッサ１２は、仮想欠陥画像を生成するためのアイコン７１に対するユーザ入力に基づいて、プログラム１６（またはプロセッサ１２、メモリ１５）の下位モジュールである開発モジュール２１に入るための開発機アイコン７３及び他の下位モジュールである生成モジュール２２に入るための生成機アイコン７４とを表示することができる。欠陥検出モデルを学習するためのアイコン７２は、検出モジュール（または分類モジュール）（図示せず）に対応することができる。

プロセッサ１２が開発機アイコン７３に対するユーザ入力を受信すると、開発モジュール２１を介して仮想欠陥画像生成モデルを学習するための過程Ｓ１に入ることができる。例えば、開発モジュール２１は、仮想欠陥画像生成モデルを学習するプロジェクトを生成することができる。前記プロジェクトにおいて、仮想欠陥画像生成モデル学習過程Ｓ１を介して、開発モジュール２１は、学習された仮想欠陥画像生成モデルＥ２を出力及び記憶することができる。

プロセッサ１２が生成機アイコン７４に対するユーザ入力を受信すると、生成モジュール２２を介して、前記記憶された仮想欠陥画像生成モデルＥ２を用いた仮想欠陥画像生成過程Ｓ２に入ることができる。例えば、生成モジュール２２は、正常画像（第２正常画像）から仮想欠陥画像を生成するプロジェクトを生成することができる。前記プロジェクトにおいて、生成モジュール２２は、１つまたは複数の仮想欠陥画像Ｅ３を生成及び記憶することができる。

図８は、本発明の一実施例に係る仮想欠陥画像生成モデルを学習するためにデータベースを構築する電子装置１０の動作の例を示す。図１０～図１２は、本発明の一実施例に係るデータベースを構築する画面の例を示す。

図８の動作は、図６のＳ２１１の具体例であってもよく、プロセッサ１２によって実行されることができ、プログラム１６の開発モジュール２１（例えば、データベースモジュール２１１）を介して実行されることができる。

図８を参照すると、Ｓ２１１１において、プロセッサ１２は、開発モジュール２１（例えば、データベースモジュール２１１）を介して、１つまたは複数のバージョン（ｖｅｒｓｉｏｎ）の生産品それぞれに対する識別情報（例えば、名前）を入力されて記憶することができる。ここで１つまたは複数のバージョンの生産品とは、広い意味の種類は互いに同一であるが、細部の特徴（例えば、規格またはバージョン）が互いに異なる１つまたは複数の生産品を意味することができる。例えば、１つまたは複数のバージョンの生産品とは、形状、色、及び発生する欠陥のタイプが類似した生産品を意味することができる。

例えば、プロジェクトは、同じ種類で同じバージョンの生産品の画像（すなわち、第１正常画像及び欠陥画像）から仮想欠陥画像生成モデルを学習する必要はない。前記プロジェクトは、同じ種類であるが、細部の規格、バージョンが異なる生産品から１つの仮想欠陥画像生成モデルを学習することができる。

したがって、プロセッサ１２は、Ｓ２１１１において、１つまたは複数のバージョンの生産品それぞれに対する識別情報を記憶して区別することができる。

例えば、図９は、１つまたは複数のバージョン（ｖｅｒｓｉｏｎ）の生産品の例を示す。図９を参照すると、前記プロジェクトは、仮想欠陥画像生成モデルを学習するために、第１生産品である第１トランジスタ９１の画像（すなわち、第１正常画像及び欠陥画像）を使用し、第２生産品である第２トランジスタ９２の画像を使用することができる。

図１０を参照すると、画面Ａ１０は、１つまたは複数のバージョン（ｖｅｒｓｉｏｎ）の生産品それぞれに対する識別情報（例えば、名前）を入力される画面を示す。例えば、プロセッサ１２は、学習に使用する生産品を編集するためのアイコン１０１に対するユーザ入力を受信すると、１つまたは複数の生産品を追加及び削除したり、生産品の表示順序を変更したり、生産品の識別情報（例えば、名前）を修正することができる編集ウィンドウ１０２を表示（例えば、オーバーレイ）することができる。編集ウィンドウ１０２を参照して、例えば、第１生産品が３４Ａｈ電池で、第２生産品が３７Ａｈ電池であってもよい。

一実施例によれば、このように複数のバージョンの生産品の画像を用いて、１つのプロジェクトを介して１つの仮想欠陥画像生成モデルを学習する場合、１種類、１バージョンである生産品の画像を用いて仮想欠陥画像生成モデルを学習する場合よりモデルの性能が良いことができる。

また、例えば、第１生産品の正常画像及び欠陥画像は十分（例えば、数十枚以上）確保されており、第２生産品の正常画像及び欠陥画像は十分確保されていない場合、第２生産品の欠陥検出モデルを作成したいのであれば、この機能が有効に使用されることができる。もちろん、第１生産品の画像のみで仮想欠陥画像生成モデルを学習し、前記仮想欠陥画像生成モデルを用いて第２生産品の正常画像から第２生産品の仮想欠陥画像を生成することも可能である。ただし、例えば、第１生産品及び第２生産品の両方を使用してモデルを学習し、前記モデルを用いて第２生産品の正常画像から第２生産品の仮想欠陥画像を生成する場合、より品質のよい第２生産品の仮想欠陥画像を得ることが可能であるかもしれない。

一実施例によれば、形状、色、及び欠陥タイプが類似する複数のバージョンの生産品を１つのプロジェクトに追加することで、学習効果を向上させることができる。

一方、データベースを構築する画面Ａ１０、Ａ１１、Ａ１２では、データベースを示すアイコン１０３を強調表示することができる。

再び図８を参照すると、Ｓ２１１２において、プロセッサ１２は、開発モジュール２１（例えば、データベースモジュール２１１）を介して、１つまたは複数のバージョンの生産品それぞれに対して、１つまたは複数の第１正常画像及び欠陥画像をロードすることができる。前記ロードは、ユーザ入力に基づいた入力及び記憶を含むことができる。第１正常画像は、上述したように、仮想欠陥画像生成モデルの学習に使用される正常画像を指すことができる。正常画像は、上述したように、正常と判定された実際の生産品の画像を示す。欠陥画像は、上述したように、欠陥があると判定された実際の生産品の画像を示す。

同じ種類であるが、細部の特徴が異なる第１生産品及び第２生産品を追加した場合、プロセッサ１２は、プログラム１６を介してユーザ入力に基づいて、第１生産品に対して１つまたは複数の第１正常画像及び欠陥画像を入力され、第２生産品に対して１つまたは複数の第１正常画像及び欠陥画像を入力されることができる。

例えば、図１１を参照すると、データベースを構築するための一画面Ａ１１の例が示されている。図１１及びその以下では、説明の便宜のために、プロジェクトにおいて１つのバージョンの生産品（例えば、ＰＣＢ基板）のみを使用して仮想欠陥画像生成モデルを学習するための画面を例に挙げて説明する。

画面Ａ１１は、「ＰＣＢ基板」が生産品の識別情報の例として表示された生産品領域１１４を含むことができる。もし、「ＰＣＢ基板」以外の第２生産品が登録または追加される場合、生産品領域１１４内の「ＰＣＢ基板」の下に第２生産品の識別情報（例えば、ＰＣＢ基板２）が表示されることにより、生産品リストを示すことができるであろう。前記第２生産品は、例えば、第１生産品と細部の特徴または規格が異なるＰＣＢ基板であってもよい。

生産品領域１１４は、ユーザ入力に基づいて各生産品に対する画像（すなわち、生産品の１つまたは複数の第１正常画像及び欠陥画像）をロードすることができるアイコン１１０を含むことができる。例えば、前記画像ロード用アイコン１１０は、第１アイコン１１１、第２アイコン１１２、第３アイコン１１３を含むことができる。プロセッサ１２は、第１アイコン１１１に対するユーザ入力に基づいて画像をそれぞれロードすることができ、第２アイコン１１２に対するユーザ入力に基づいてフォルダから画像をロードすることができ、第３アイコン１１３に対するユーザ入力に基づいて、プロジェクト（例えば、他のプロジェクト）から予め記憶された画像をロードすることができる。

ロードされる画像は、１つまたは複数の第１正常画像、及び１つまたは複数の欠陥画像を含むことができる。好ましくは、学習の品質のために、複数の（例えば、数十枚以上の）第１正常画像及び欠陥画像がそれぞれロードされることができる。しかしながら、前記複数の欠陥画像は、欠陥検出モデルＥ４の学習データとして直接使用されるには不十分な数量である可能性がある。

画面Ａ１１は、ロードされた画像のリスト、またはロードされた画像に関する情報を表示することができる画像リスト領域１１５を含むことができる。画像リスト領域１１５は、図１１には示されていないが、ロードされた画像のリストが表示されることができる。もし、「ＰＣＢ基板」以外の第２生産品が登録された場合、画像リスト領域１１５には、例えば、現在活性化されている生産品の画像リストのみを表示することができる。現在活性化された生産品とは、例えば、生産品領域１１４で選択された生産品を意味することができる。

一方、図１１の画像リスト領域１１５には現在、ロードされた画像のラベル付けに対する情報が表示されているが、ラベル付きに対する詳細な説明は図１２で後述する。

例えば、画面Ａ１１において、画像リスト領域１１５にロードされた画像のリストのうち選択された（または活性化された）画像が画像領域１１８に表示されることができる。画像領域１１８に表示される画像は、正常画像でもよく、欠陥画像でもよい。

再び図８を参照すると、Ｓ２１１３において、プロセッサ１２は、開発モジュール２１（例えば、データベースモジュール２１１）を介して１つまたは複数のバージョンの生産品に一括適用される欠陥タイプに対する情報を入力されて記憶することができる。

例えば、図１１を参照すると、画面Ａ１１は、欠陥タイプに対する情報を示す欠陥タイプ領域１１６を含むことができる。欠陥タイプとは、前述したように、生産品に発生する可能性のある欠陥の種類を指すことができる。欠陥タイプは、ユーザ入力に基づいて設定または生成されることができる。本文書において任意情報（例えば、欠陥タイプ、欠陥領域など）が「生成される」ということは、ユーザインタフェース（ＵＩ）を介して当該情報を生成するユーザ入力に応答してプロセッサ１２が識別できる、当該情報に対応する識別情報を生成及び記憶することを含むことができる。

プロセッサ１２は、ユーザ入力に基づいて欠陥タイプが生成されると、欠陥タイプに対する情報を記憶することができる。欠陥タイプに対する情報は、例えば、欠陥タイプの識別番号、欠陥タイプの識別名、欠陥タイプの識別色１１９などを含むことができ、ユーザ入力に基づいて入力されることができる。

欠陥タイプ領域１１６を参照すると、「ＰＣＢ基板」と識別される生産品は、スクラッチ（ｓｃｒａｔｃｈ）、くぼみ（ｄｅｎｔ）、割れ（ｃｒａｃｋ）、すす（ｓｏｏｔ）の欠陥タイプを含むことができる。しかしながら、欠陥タイプはこれに限定されず、生産品の特性によってユーザ入力に基づいて多様に設定されることができる。例えば、本実施例では図示されていないが、例えば曲げ（ｄｅｎｔ）、特定の色の異物などが欠陥タイプとして設定される可能性もある。曲げ（ｄｅｎｔ）は、例えばブレード刃などの生産品に適用可能な欠陥タイプであることができる。特定の色の異物は、例えば、特定の接着剤や特定の電解質の流出による汚れや汚染などであることができる。これに限定されない。

本プロジェクトにおいて、第１生産品（識別情報：ＰＣＢ基板）以外に追加的に第２生産品が登録された場合、欠陥タイプは第１生産品及び第２生産品に一括的適用されることができなければならない。例えば、第２生産品（例えば、ＰＣＢ基板２）も、スクラッチ、くぼみ、割れ、すすの欠陥が発生可能でなければならない場合がある。

一実施例によれば、欠陥タイプを形状と色相等に応じて分類することで、学習性能を向上させることができる。

一方、欠陥タイプの「識別色」は「欠陥の色」とは異なっていてもよい。「欠陥の色」は、特定の異物が欠陥画像で実際に表す色を指すことができる。「識別色」は、ユーザ入力に基づいて設定されることができる。欠陥タイプの識別色１１９は、後で生成モジュール２２を介して仮想欠陥画像が生成されたとき、各仮想欠陥画像がどの欠陥タイプを含んでいるかを示すための表示であることができる。

一例として、欠陥タイプ領域１１６は、欠陥タイプ編集アイコン１１７を含むことができる。プロセッサ１２は、欠陥タイプ編集アイコン１１７に対するユーザ入力を受信すると、欠陥タイプの追加、または削除したり、欠陥タイプの表示順序の変えたり、欠陥タイプの識別名の修正したり、欠陥タイプの識別色を変更することができる、編集ウィンドウ（図示せず）を表示（オーバーレイ）することができる。すなわち、欠陥タイプ編集アイコン１１７を介して、ユーザは欠陥タイプに対する情報を編集することができる。

再び図８を参照すると、Ｓ２１１４において、プロセッサ１２は、開発モジュール２１（例えば、データベースモジュール２１１）を介して、ロードされた第１正常画像及び欠陥画像に対して、正常または欠陥タイプをラベル付けすることができる。

例えば、図１２を参照すると、画面Ａ１２は、画像領域１１８に表示された画像に対してラベル付けを実行する画面の例を示す。

画像領域１１８は、ラベル付けツールアイコン１２１を表示することができる。例えば、ユーザは、ロードされた画像のそれぞれに対してラベル付けを実行することができるが、画像領域１１８に表示された画像が正常画像である場合、ラベル付けツールアイコン１２１を用いて正常であることをラベル付けすることができる。また、画像領域１１８に表示された画像が欠陥画像である場合、ユーザは画像が有する欠陥タイプを選択し、ラベル付けツールアイコン１２１を用いて画像上に当該欠陥タイプの欠陥が発生した領域を表示（例えば：入力装置１４を用いて表示）することでラベル付けすることができる。

例えば、画像領域１１８に表示された画像が割れ（ｃｒａｃｋ）タイプの欠陥を有する場合、ユーザは欠陥タイプ領域１１６において該当する欠陥タイプ（すなわち、割れ（ｃｒａｃｋ））を選択し、ラベル付けツールアイコン１２１を使用して、表示された画像上に割れ欠陥が発生した領域を直接描画または色付けするユーザ入力を加えることができる。このとき、前記描画された領域または色付けされた領域（すなわち、欠陥が発生した領域）は、欠陥タイプの識別色１１９に該当する色で表示されることができる。例えば、壊れの欠陥タイプの識別色１１９が赤色である場合、画像上で割れ欠陥が発生した領域をユーザが描画したり色付けしたりする場合、赤色に表示されることができる。しかしながら、これに限定されるものではない。

一実施例によれば、１枚の欠陥画像が複数の欠陥タイプを含むことも可能である。ラベル付け情報領域１２２には、表示された画像のラベル付け情報（例えば、欠陥タイプに対する情報、または正常画像であることを示す情報）が表示されることができる。

例えば、１枚の欠陥画像に複数の欠陥タイプに対するラベル付けが実行された場合、ラベル付け情報領域１２２には、該当する複数の欠陥タイプに対する情報を全て表示されることができる。

例えば、プロセッサ１２は、ラベル付け動作が実行されるとき、各画像毎にラベル付け情報（例えば、欠陥タイプに対する情報、該当欠陥タイプの発生領域に対する情報、または正常画像であることを示す情報）をマッチして記憶することができる。

前述した図８～図１２に対する説明のように、仮想欠陥画像生成モデルを学習するためのデータベースが構築されることができるＳ２１１。データベースを構築する画面Ａ１０、Ａ１１、Ａ１２では、データベースを示すアイコン１０３を強調表示することができる。

図１３は、本発明の一実施例に係る仮想欠陥画像生成モデルの学習のためにデータベースに前処理を実行する電子装置１０の動作の例を示す。図１４～図１８は、本発明の一実施例に係る前処理を実行するための画面の例を示す。

図１３の動作は、図６のＳ２１２の具体例であってもよく、プロセッサ１２によって実行されることができ、プログラム１６の開発モジュール２１（例えば、前処理モジュール２１２）を介して実行されることができる。

図１３を参照すると、Ｓ２１２１において、プロセッサ１２は、開発モジュール２１（例えば、前処理モジュール２１２）を介して、１つまたは複数のロードされた第１正常画像の中から代表画像を設定することができる。代表画像は、画像のアライメントＳ２１２２の基準となることができ、各欠陥タイプが発生可能な領域である欠陥領域を設定Ｓ２１２３するために使用されることができる。代表画像は、正常画像（すなわち、第１正常画像）の中から設定されることができる。

例えば、図１４を参照すると、代表画像設定に関する画面Ａ１４が示されている。 例えば、記憶されたラベル付け情報を用いて、画像リスト領域１１５に正常画像（すなわち、正常とラベル付けされた画像）を集めて表示することができる。前記正常画像のリストの中から一正常画像を選択するユーザ入力に基づいて、選択された正常画像が画像領域１１８に表示されることができる。例えば、代表画像設定アイコン１４１に対するユーザ入力に基づいて、画像領域１１８に表示された正常画像（例えば、ｔｅｓｔ＿ｇｏｏｄ＿００８．ｐｎｇ）が代表画像に設定及び記憶されることができる。

再び図１３を参照すると、Ｓ２１２２において、プロセッサ１２は、開発モジュール２１（例えば、前処理モジュール２１２）を介して、前記設定された代表画像に基づいて、ロード及びラベル付けされた第１正常画像及び欠陥画像を整列（ａｌｉｇｎ）させることができる。例えば、画像リスト領域１１５にリストされた画像を整列させることができる。

一実施例によれば、整列（ａｌｉｇｎｍｅｎｔ）は３つのタイプのうちの１つで実行されることができる。３つのタイプは、非整列（ｎｏｎｅ）タイプ、トランス（ｔｒａｎｓ）タイプ、アファイン（ａｆｆｉｎｅ）タイプを含む。非整列タイプは、整列を実行しないオプションである。トランスタイプは、画像の平行移動を介して整列を実行するオプションである。アファインタイプは、画像を回転、サイズ変更、及び平行移動することで整列を実行するオプションである。

例えば、図１４を参照すると、画面Ａ１４は整列オプション領域１４２を含むことができる。整列オプション領域１４２には、非整列（ｎｏｎｅ）タイプで行うための非整列アイコン１４３、トランス（ｔｒａｎｓ）タイプで整列させるためのトランスアイコン１４４、アファイン（ａｆｆｉｎｅ）タイプで行うためのアファインアイコン１４５を表示することができる。

プロセッサ１２は、非整列アイコン１４３に対するユーザ入力を受信すると、ラベル付けされた複数の画像の整列を実行せずに次のステップに進むことができる。例えば、ユーザは、ラベル付けされた複数の画像がすべて整列されている場合、非整列アイコン１４３を選択することができる。

図１５の（ａ）を参照すると、整列オプション領域１４２でトランスアイコン１４４を選択した場合、代表画像上に整列の基準となる部品または部品の位置情報を表示することができる。好ましくは、部品（または部品の位置情報）の数を３つ設定することができる。ただし、これに限定されない。例えば、整列オプション領域１４２でトランスアイコン１４４を選択した場合、追加ボタン１５１及び選択ボタン１５２で部品（または部品の位置）を選択することができ、削除ボタン１５３で部品の選択を削除することができる。一例として、図１６に一点鎖線で示されたように部品（または部品の位置）を選択することができる。

プロセッサ１２は、トランスタイプで整列を実行する場合、複数の画像から部品（または部品の位置情報）を識別することができ、識別された部品の位置情報に応じて複数の画像を、代表画像の配置に対応して平行移動させることで整列することができる。トランスタイプは、すべての画像のサイズが同じ場合に適用することが可能である。

図１５（ｂ）を参照すると、整列オプション領域１４２でアファインアイコン１４５を選択した場合、代表画像上に生産品の領域を設定することができる。例えば、整列オプション領域１４２でアファインアイコン１４５を選択した場合、関心領域設定ボタン１５４を介して生産品が占める領域を関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ， ＲＯＩ）に設定することができる。一例として、図１６に一点鎖線で示されたように生産品が占める領域である関心領域（ＲＯＩ）を選択することができる。

プロセッサ１２は、アファインタイプで整列を実行する場合、複数の画像のそれぞれに現れる生産品が占める領域が、前記関心領域（ＲＯＩ）と同じ形状を有するように、前記複数の画像のうち少なくとも一部に変形を加えることができる。

図１４を参照すると、プロセッサ１２は、整列オプション領域１４２で整列オプションに関する選択が完了すると、整列アイコン１４６に対するユーザ入力に基づいて、該当生産品のすべてのラベル付けされた画像に整列を実行することができる。

本プロジェクトに複数の生産品が追加された場合、プロセッサ１２は、ユーザ入力に基づいて、各生産品ごとに前記整列過程を実行することができる。各生産品ごとに異なる整列オプションが適用されてもよい。

プロセッサ１２は、プログラム１６を介して、整列が正しく実行されていない画像に対して別途の指示をすることができ、ユーザ入力に基づいて前記整列が正しく実行されていない画像は削除されることができる。

一方、前処理を実行する画面Ａ１４、Ａ１７、Ａ１８では、前処理を示すアイコン１４７を強調表示することができる。

再び図１３を参照すると、Ｓ２１２３において、プロセッサ１２は、開発モジュール２１（例えば、前処理モジュール２１２を介して、前記設定された代表画像上に、各欠陥タイプが生じ得る欠陥領域に対する情報を入力されて記憶することができる。

例えば、図１７を参照すると、プロセッサ１２は、画面Ａ１７を介して、前記設定された代表画像１７１上に欠陥領域を設定するユーザ入力を受信することができる。例えば、欠陥領域を設定するステップで、画像領域１１８は、代表画像１７１上に欠陥領域を設定するための欠陥領域設定アイコン１７２を表示することができる。

例えば、ユーザは欠陥タイプ領域１１６で任意の欠陥タイプを選択した後、代表画像１７１上で、欠陥領域設定アイコン１７２を用いて、該当欠陥タイプの欠陥が発生可能な領域を表示することができる。欠陥領域設定アイコン１７２は、予め指定された所定の形状（例えば、直線、四角形の縁、円形の縁、四角形の面積（ａｒｅａ）、円形の面積）でユーザが欠陥領域を表示できるようにする。

欠陥領域とは、欠陥タイプに対応する欠陥が発生可能な領域を示すことができる。欠陥領域は、ラベル付けのために表示する欠陥が発生した領域とは異なる。ラベル付けステップでは、それぞれの欠陥画像上に各欠陥が発生した領域を表示する。しかしながら、欠陥領域を表示することは、それぞれの欠陥タイプが生じ得る領域を代表画像上にそれぞれ表示することであってもよい。

例えば、長方形の生産品（例えば、ＰＣＢボード）の全領域でくぼみ（ｄｅｎｔ）欠陥が発生可能である場合、ユーザは、プログラム１６のユーザインタフェース（ＵＩ）を介して次のようなユーザ入力を実行することができる。ユーザは、欠陥タイプ領域１１６でくぼみ（ｄｅｎｔ）欠陥タイプを選択し、欠陥領域設定アイコン１７２の中で長方形領域を描画することができる一アイコンを選択し、代表画像１７１上でくぼみ欠陥が発生可能な生産品の全体領域（すなわち、長方形領域）に欠陥領域を描画することができる。代表画像上に描画された欠陥領域は、該当欠陥タイプ（ｄｅｎｔ）の識別色（例えば、黄色）で描画されることができる。

別の例として、図１８の画面Ａ１８を参照すると、生産品（例えば、ＰＣＢ基板）の端部で割れ（ｃｒａｃｋ）欠陥が発生可能である場合、及び生産品の端部の境界が直線である場合、ユーザはプログラム１６のユーザインタフェース（ＵＩ）を介して、次のようなユーザ入力を実行することができる。

ユーザは、欠陥タイプ領域１１６で割れ（ｃｒａｃｋ）欠陥タイプを選択し、欠陥領域設定アイコン１７２の中から直線を描画することができる一アイコンを選択し、代表画像１７１上で割れ欠陥が発生可能な ＰＣＢ基板の縁（すなわち直線領域）に欠陥領域を描画することができる。図示のように、１つの欠陥タイプ（例えば、割れ）に対して複数の欠陥領域が設定されることができる。代表画像に描画された欠陥領域は、該当欠陥タイプ（例えば、ｃｒａｃｋ）の識別色（例えば、赤色）で描画されることができる。

再び図１３を参照すると、Ｓ２１２４において、プロセッサ１２は、開発モジュール２１（例えば、トレーニングモジュール２１３）を介して整列された１つまたは複数の第１正常画像及び欠陥画像、ラベル付け情報、欠陥領域に対する情報を用いて仮想欠陥画像生成モデルを学習することができる。Ｓ２１２４は、図６のＳ２１３に対応する動作であることができる。

例えば、図１９を参照すると、学習を実行するための画面Ａ１９が示されている。画面Ａ１９を介して、様々な学習パラメータが入力されることができる。

画面Ａ１９を参照すると、一実施例によれば、学習は、プレステージ（ｐｒｅ－ｓｔａｇｅ）及びメインステージ（ｍａｉｎ ｓｔａｇｅ）の２つのステップから構成されることができる。プレステージは、学習を開始する前に必要な前処理作業を実行するイテレーション（ｉｔｅｒａｔｉｏｎ）を意味し、繰り返し回数を設定することができる。メインステージの学習の繰り返し回数もユーザ入力に基づいて設定されることができる。

学習が可視化間隔（ｖｉｓｕａｌｉｚａｔｉｏｎ ｉｎｔｅｒｖａｌ）の回数だけ繰り返されるたびに、学習されたモデルが生成したサンプル画像を確認することができる。前記可視化間隔の回数もユーザによって入力されることができる。

本発明の一実施例によれば、トレーニングのための画面Ａ１９に表示される生産品領域１９１において、学習に使用する少なくとも１つの生産品が選択されることができる。

本機能によれば、複数のバージョンの生産品（例えば、第１生産品、第２生産品など）に対してデータベース収集（Ｓ２１１、図６参照）及び前処理Ｓ２１２を一度に実行した後、学習ステップＳ２１３では、複数のバージョンの生産品の中から学習に使用する生産品を選択して複数のモデルを学習（または生成）することができる。本機能により、前記複数のモデルのうち、性能が最も良いモデルを選択して仮想欠陥画像生成モデルとして用いることも可能である。

同様に、トレーニングのための画面Ａ１９に表示される欠陥タイプ領域１９２において、学習に使用する少なくとも１つの欠陥タイプを選択されることができる。前記欠陥タイプの選択によって、さまざまなバージョンのモデルを学習することができる。

図２０は、本発明の一実施例に係る仮想欠陥画像を生成するための電子装置１０の動作の例を示す。図２０の動作は、プロセッサ１２によってプログラム１６を介して実行されることができる。

図２０を参照すると、Ｓ２１において、プロセッサ１２は、プログラム１６（例えば、開発モジュール２１）を介して、少なくとも第１、正常画像、欠陥画像、及びユーザ入力に基づいて仮想欠陥画像生成モデルを学習することができる。これは、前述した図５のＳ２１、図６及びそれ以下の図面で説明した内容に対応する。

Ｓ２１において、プロセッサ１２は、プログラム１６（例えば、生成モジュール２２）を介して、ユーザ入力に基づいて仮想欠陥画像を自動モードで生成することもできＳ２２１、手動モードで生成することもできるＳ２２２。例えば、自動モード生成Ｓ２２１は、第２正常画像及び既定の欠陥領域に対する情報を用いて、仮想欠陥画像生成モデルを介して仮想欠陥画像を生成するものである。例えば、手動モード生成Ｓ２２２は、第２正常画像、及びユーザが欠陥を発生させる領域を直接描画する入力に基づいた手動領域情報を用いて、前記同じ仮想欠陥画像生成モデルを介して仮想欠陥画像を生成するものである。これについての説明は図４で前述しており、以下の図面で詳細に後述する。

Ｓ２３において、プロセッサ１２は、プログラム１６（例えば、生成モジュール２２）を介して、生成された仮想欠陥画像をメモリ１５に記憶することができる。記憶された仮想欠陥画像は、例えば、欠陥検出モデルを学習するために学習データとして使用することができる。

一方、以下では、自動モード生成Ｓ２２１と手動モード生成Ｓ２２２の動作に対して詳細に説明する。

図２１～図２７は、本発明の一実施例に係る自動モード（ａｕｔｏ ｍｏｄｅ）生成を実行するための画面の例を示す。

まず、Ｓ２１で生成され記憶された仮想欠陥画像生成モデルを用いて仮想欠陥画像を生成するために、プロセッサ１２は、図７の画面Ａ７の生成機アイコン７４に対するユーザ入力を受信することができる。生成機アイコン７４に対するユーザ入力を受信することに基づいて、プロセッサ１２は仮想欠陥画像を生成するための過程Ｓ２に入ることができる。

その後、自動モードを選択する所定のユーザ入力に基づいて、図２１の画面Ａ２１が表示されることができる。画面Ａ２１は、当該プロジェクトで学習され記憶された各種仮想欠陥画像生成モデルのリスト２１９を表示することができる。仮想欠陥画像生成モデルのリスト２１９の中から、仮想欠陥画像生成に使用するモデルを選択することができる。

生産品領域２１８には、前記選択されたモデルの学習に使用された１つまたは複数のバージョンの生産品のリストを表示されることができる。生産品領域２１８に表示された１つまたは複数のバージョンの生産品の中から、仮想欠陥画像の生成に使用する生産品を選択することができる。

生産品領域２１８で所定のアイコン（「Ｌｏａｄ ｗｉｔｈ ａ ｎｅｗ ｐｒｏｄｕｃｔ」）に対するユーザ入力を加えると、学習に使用されなかった新たな生産品に対する仮想欠陥画像を生成することができる。例えば、プロセッサ１２は、前記アイコンに対するユーザ入力に基づいて新たな生産品を登録（または追加）できるウィンドウを表示（例えば、オーバーレイ）することができる。

例えば、仮想欠陥画像生成モデルの学習に第１生産品の画像のみが使用された場合でも、生成ステップＳ２で、第１生産品と種類は同じで、細部の特徴（例えば、バージョンまたは規格）のみが異なる第２生産品の第２正常画像のみで、前記学習された仮想欠陥画像生成モデルを用いて第２生産品の仮想欠陥画像を生成することができる。

ユーザの選択に基づいて、選択された仮想欠陥画像生成モデル及び選択された生産品に関する情報がプログラム１６（例えば、生成モジュール２２）にロードされることができる。

以降、図２２を参照すると、仮想欠陥画像生成の基礎となる、前記選択された生産品に対するテンプレート画像がテンプレート画像領域２２９にロードされることができる。テンプレート画像は、選択された生産品の正常画像として、前述した第２正常画像と呼ばれてもよい。テンプレート画像は、図２２に示すように１つでもよいが、複数のテンプレート画像をロードすることもできる。例えば、テンプレート画像に基づいて生成される仮想欠陥画像の多様性のために、複数のテンプレート画像が使用されることができる。

仮想欠陥画像の生成のために、複数のテンプレート画像（すなわち、複数の第２正常画像）をロードした場合、複数のテンプレート画像が整列される必要がある。もし学習に使用された生産品が選択された（またはロードされた）場合、開発モジュール２１において前処理過程で設定された整列情報がそのまま適用されることができる。

一方、学習に使用されていない新たな生産品がロードされた場合、本ステップ（Ｓ２２１、自動モード生成ステップ）において、１つまたは複数のテンプレート画像の代表画像設定及び前記テンプレート画像の整列が新たに実行される必要がある。例えば、整列オプション領域２２８を介して、複数のテンプレート画像を代表画像（すなわち、代表テンプレート画像）の配置に対応して整列させることができる。整列方法は、図１４～図１６を通じて説明した整列方法に対応することができる。したがって、説明を省略する。

以降、図２３を参照すると、自動モード生成のために画面Ａ２３を介して、各欠陥タイプが発生可能な領域である欠陥領域が必要となる場合がある。すなわち、欠陥タイプごとの欠陥領域情報が必要となる場合がある。学習に使用された生産品が選択された（またはロードされた）場合、開発モジュール２１において前処理過程で設定された欠陥領域情報がそのまま適用されることができる。

一方、学習に使用されていない新たな生産品がロードされた場合、本ステップ（Ｓ２２１、自動モード生成ステップ）において、１つまたは複数のテンプレート画像の代表画像に対して欠陥領域情報が新たに設定される必要がある。例えば、ユーザは、欠陥タイプ領域２３９で欠陥タイプを選択し、欠陥領域設定アイコン２３８を使用して、欠陥タイプ別に発生可能な欠陥領域を設定または表示することができる。

一方、このステップでは、モデルの学習過程で設定された欠陥領域と連動可能な欠陥領域のみ設定可能である。一例として、欠陥領域として直線と四角形の縁は互いに連動させることができる。また、例えば、欠陥領域として、四角形の面積（ａｒｅａ）と円形の面積とを連動させることができる。例えば、学習過程において（すなわち、開発ステップで）特定の欠陥タイプの欠陥領域として四角形の面積が設定されている場合、このステップで（すなわち、自動モード生成ステップで）、前記欠陥タイプの欠陥領域として四角形の面積または円形の面積のみ設定することができる。

一方、欠陥領域の設定は自動モード生成のために必要な過程であることができる。自動モードにおいて生成モジュール２２は、このように設定された欠陥領域の範囲内で自由にまたは自動的に仮想欠陥スケッチを生成し、テンプレート画像に仮想欠陥スケッチを重ね合わせまたは合成することができる。欠陥領域設定方法は、図１７～図１８で説明した欠陥領域設定方法に対応することができるため、詳細な説明を省略する。

以降、図２４の画面Ａ２４の生成ボタン２４９を介して自動モードで仮想欠陥画像を生成することができる。自動モードの仮想欠陥画像生成過程は、図４で説明した自動モード生成過程に対応することができるため、詳細な説明は省略して簡単に説明する。

自動モードにおいて、プロセッサ１２は、前記設定された欠陥領域情報及び仮想欠陥画像生成モデルを用いて仮想欠陥画像を生成することができるＳ２２１。例えば、プロセッサ１２は、前記設定された欠陥領域情報及び仮想欠陥画像生成モデルを用いて仮想欠陥スケッチ（ＶＤＳ）を生成することができる。例えば、仮想欠陥スケッチ（ＶＤＳ）は、任意の欠陥タイプが発生可能な欠陥領域上に自由に配置されるように生成されたスケッチであることができる。仮想欠陥スケッチ（ＶＤＳ）は、例えば、色情報、形状情報、配置（位置）情報（例えば、画素情報）を含むことができる。以降、プロセッサ１２は、テンプレート画像領域２２９にロードされた第２正常画像（すなわち、テンプレート画像）に前記仮想欠陥スケッチを重ね合わせまたは合成することによって仮想欠陥画像を生成することができる。

プロセッサ１２は、画面Ａ２４の生成ボタン２４９に対するユーザ入力を受信することに基づいて、図２５の画面Ａ２５を表示することができる。プロセッサ１２は、第１入力欄２５１を介して生成する仮想欠陥画像の数を入力されることができる。プロセッサ１２は、第２入力欄２５２を介して、１枚に生成する欠陥の最大数を入力されることができる。プロセッサ１２は、各欠陥タイプごとに、生成する重み（ｗｅｉｇｈｔ）を入力されることができる。プロセッサ１２は、スライダー２５３を介して各欠陥タイプごとに生成される欠陥の最小サイズを入力されることができる。プロセッサ１２は、生成ボタン２５４に対するユーザ入力を受信すると、仮想欠陥画像の生成を開始することができる。

以降、生成された仮想欠陥画像が、図２６の画面Ａ２６を介して表示されることができる。画面Ａ２６の生成画像リスト領域２６１に、生成された仮想欠陥画像の一覧が表示されることができる。生成画像リスト領域２６１に表示された一仮想欠陥画像をクリックすると、画像領域２６２に該当仮想欠陥画像を表示されることができる。表示された仮想欠陥画像には、発生された欠陥（例えば、割れ（ｃｒａｃｋ））の位置を示す薄い縁が表示されることができる。細い縁は、例えば、生成された欠陥タイプ（例えば、割れ（ｃｒａｃｋ））の識別色（例えば、赤色）で表示されることができる。

図２７は、自動モードで生成された仮想欠陥画像（ＶＤＩ）の例を示す。左上の写真はすす（ｓｏｏｔ）を示し、右上の写真はスクラッチ（ｓｃｒａｔｃｈ）を示し、左下の写真はくぼみ（ｄｅｎｔ）を示し、右下の写真は割れ（ｃｒａｃｋ）を示すことができる。

再び図２６を参照して、ユーザは、例えば、仮想欠陥編集アイコン２６３を使用して、生成された仮想欠陥（すなわち、仮想欠陥スケッチ（ＶＤＳ１））を削除することができる。ユーザ入力に応じて、１つの仮想欠陥画像に複数の仮想欠陥が生成されることができ、ユーザは仮想欠陥編集アイコン２６３を使用して削除したい仮想欠陥のみを削除することができる。

また、ユーザは、生成画像リスト領域２６１に表示された複数の生成された仮想欠陥画像のうち、一仮想欠陥画像自体を削除することもできる。

プロセッサ１２は、エクスポートボタン２６４に対するユーザ入力を受信することに基づいて、生成された（及び編集された）仮想欠陥画像を指定された経路に記憶することができる。

以下で手動モード生成Ｓ２２２動作に対して詳細に説明する。図２８～図３０は、本発明の一実施例に係る手動モード（ｍａｎｕａｌ ｍｏｄｅ）生成を実行するための画面の例を示す。

図２８を参照すると、画面Ａ２８のテンプレート画像領域２８１を介して、欠陥を生成させる１つまたは複数の第２正常画像（すなわち、テンプレート画像）をロードすることができる。画像領域２８２には、テンプレート画像領域２８１にリストされた第２正常画像の中から選択された第２正常画像を表示することができる。

一方、画面Ａ２８は、現在ロードされているモデル（すなわち、仮想欠陥画像生成モデル）に関連して記憶された欠陥タイプを表示する欠陥タイプ領域２８３を表示することができる。

手動モードにおいてプロセッサ１２は、ユーザが欠陥を発生させる領域を直接第２正常画像上に描画する（すなわち、スケッチする）入力に基づいた手動領域情報を使用して、前記描画された手動領域上に欠陥タイプを生成させることができる。

一例として、ユーザは、欠陥タイプ領域２８３に含まれる欠陥タイプの中から生成する欠陥タイプを選択し、欠陥領域スケッチアイコン２８４を使用して表示された画像（すなわち、第２正常画像、またはテンプレート画像）上に該当欠陥タイプの形状を直接スケッチすることができる。以降、プロセッサ１２は、前記スケッチの形状に対応する仮想欠陥をテンプレート画像に挿入することによって、仮想欠陥画像を生成することができる。これについての説明は図４で前述したものであり、前述したラベル付け動作とも類似であることができる。

このような手動モード生成動作により、精巧、または形状が複雑な仮想欠陥を生成することができる。

一方、生成ボタン２８５に対するユーザ入力に基づいて、プロセッサ１２は、図２９の画面Ａ２９を表示することができる。「Ｇｅｎｅｒａｔｅ ａｌｌ ｍａｎｕａｌ ｌａｂｅｌｓ ｉｎ ｅａｃｈ ｔｅｍｐｌａｔｅ ｉｍａｇｅ」に対応するボタン２９１を選択すると、ユーザが描画した欠陥タイプ別の欠陥領域とおりに欠陥を生成することができる。前記ボタン２９１の選択を解除すると、１つのテンプレート画像に生成する欠陥の最大数を入力されることができる。このとき、もし１つのテンプレート画像に８つの欠陥を描画したが、前記最大欠陥数を２に設定した場合、仮想欠陥画像生成モデルは、自動的に１つの仮想欠陥画像あたり１～２個の欠陥を有するように複数の仮想欠陥画像を生成することができる。

一実施例によれば、画面Ａ２９に表示される一領域２９２を介して、ユーザのスケッチが施されたテンプレート画像のうち、仮想欠陥画像として生成するものを選択することができる。以降、生成ボタン２９３に対するユーザ入力により、手動モードで仮想欠陥画像を生成することができる。

以降、生成された仮想欠陥画像が、図３０の画面Ａ３０を介して表示されることができる。画面Ａ３０の生成画像リスト領域３０１に、生成された仮想欠陥画像の一覧が表示されることができる。生成画像リスト領域３０１に表示された一仮想欠陥画像をクリックすると、画像領域３０２に該当仮想欠陥画像を表示されることができる。表示された仮想欠陥画像には、発生された欠陥の位置を示す薄い縁が表示されることができる。薄い縁は、例えば、生成された欠陥タイプの識別色で表示されることができる。

図３１は、手動モードで生成された仮想欠陥画像の例を示す。

再び図３０を参照して、ユーザは、例えば、仮想欠陥編集アイコン３０３を使用して、生成された仮想欠陥（すなわち、仮想欠陥スケッチ（ＶＤＳ２））を削除することができる。１つの仮想欠陥画像に複数の仮想欠陥スケッチが生成されることができ、ユーザは仮想欠陥編集アイコン３０３を使用して削除したい仮想欠陥スケッチのみを削除することができる。

また、ユーザは、生成画像リスト領域３０１に表示された一つまたは複数の生成された仮想欠陥画像のうち、一仮想欠陥画像自体を削除することもできる。

プロセッサ１２は、エクスポートボタン３０４に対するユーザ入力を受信することに基づいて、生成された（及び編集された）仮想欠陥画像を指定された経路に記憶することができる。

図３２～図３４は、本発明の一実施例に係る仮想欠陥画像を生成する際に自動モード生成が有用な場合と、手動モード生成が有用な場合の例を示す。

図３２を参照すると、任意の生産品３２０（例えば、電池の上部）の模式図を示すことができる。図３３は、前記生産品３２０に対して自動モード生成が有利である、または可能な場合を示す。第１例３３１は、前記生産品３２０の四角形の第１部分３２１に対して四角形の面積（ａｒｅａ）の欠陥領域設定が可能な場合を示す。第２例３３２は、前記生産品３２０の円形の第２部分３２２に対して円形の面積の欠陥領域設定が可能な場合を示す。

例えば、前記第１部分３２１及び第２部分３２２の面積内には、スクラッチまたは異物（または色付きの異物）の欠陥タイプが発生する可能性がある。したがって、ユーザは、例えば、欠陥タイプでスクラッチまたは異物を選択（または活性化）し、予め提供されるアイコンを使用して、第１部分３２１に四角形の面積の欠陥領域を表示し、第２部分３２２に円形の面積の欠陥領域を表示することができる。

第３例３３３は、前記生産品３２０の第３部分３２３に対して直線の欠陥領域設定が可能な場合を示す。第３部分３２３は、例えば、第１部分３２１の縁の一部であることができる。第４例３３４は、前記生産品３２０の円形の第２部分３２２の縁に対して、円形の縁の欠陥領域設定が可能な場合を示す。

例えば、前記第３部分３２３及び第２部分３２２の縁には、接着剤または電解質の流出、または前記流出による汚染などが発生する可能性がある。したがって、第３部分３２４及び第２部分３２２の縁には、例えば「色付きの異物」の欠陥タイプが発生する可能性がある。したがって、ユーザは、例えば、欠陥タイプとして「色付きの異物（例えば、赤い異物、黒い異物、青い異物など）」を選択（または活性化）し、予め提供されるアイコンを使用して、第３部分３２３に直線の欠陥領域を表示し、第２部分３２２の縁に円形の縁の欠陥領域を表示することができる。

図３４は、前記生産品３２０に対して手動モード生成が有利である、または可能な場合を示す。例えば、生産品３２０が第５部分３２５のように複雑な形状を含む場合がほとんどであることができる。この場合は、生成ステップＳ２で手動モードを選択し、前記複雑な形状に発生可能な欠陥タイプを選択（または活性化）し、前記複雑な形状に発生可能な欠陥領域を手動で描画することができる。

例えば、前記第５部分３２５には、接着剤または電解質の流出、または前記流出による汚染などが発生する可能性がある。したがって、前記第５部分３２５には、例えば「色付きの異物」の欠陥タイプが発生する可能性がある。したがって、ユーザは、例えば、欠陥タイプとして「色付きの異物（例えば、赤い異物、黒い異物、青い異物など）」を選択（または活性化）し、予め提供されるスケッチアイコンを使用して、第５部分３２５に沿って生成したい欠陥の形状をスケッチすることによって、手動で欠陥領域を設定することができる。

本発明の様々な実施例において、自動モード生成Ｓ２２１及び手動モード生成Ｓ２２２の両方を使用することによって、様々な種類の仮想欠陥画像を所望の数だけ生成することができる。したがって、多様に生成された仮想欠陥画像を用いて、欠陥検出モデルの学習Ｓ３の性能を向上させることができる。

一方、本明細書で使用される「モジュール」という用語は、ハードウェア、ソフトウェア、またはファームウェアから構成されるユニットを含むことができ、例えば、ロジック、論理ブロック、または回路などの用語と互換して使用されることができる。モジュールは、一体的に構成された部品、または１つまたは複数の機能を実行する最小単位またはその一部になることができる。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されることができる。

本明細書の様々な実施例は、機器（ｍａｃｈｉｎｅ）（例えば、コンピュータ）で読み取り可能な記憶媒体（ｍａｃｈｉｎｅ－ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉａ）（例えば、メモリ１５、例えば、内蔵メモリまたは外部メモリ）に記憶された命令語を含むソフトウェア（例えば、プログラム１６）で実装されることができる。機器は、記憶媒体から記憶された命令語を呼び出し、呼び出された命令語に従って動作可能な装置として、開示された実施例による電子装置（例えば、電子装置１０）を含むことができる。前記命令がプロセッサ（例えば、プロセッサ１２）によって実行される場合、プロセッサは直接、または前記プロセッサの制御下で他の構成要素を使用して前記命令に対応する機能を実行することができる。命令は、コンパイラまたはインタプリタによって生成または実行されるコードを含むことができる。機器で読み取ることができる記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形態で提供されることができる。ここで、「非一時的」とは、記憶媒体が信号（ｓｉｇｎａｌ）を含まず、実在（ｔａｎｇｉｂｌｅ）することを意味するだけで、データが記憶媒体に半永久的または一時的に記憶されることを区別しない。

一実施例によれば、本明細書に開示された様々な実施例による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されることができる。コンピュータプログラム製品は、商品として販売者及び購入者の間で取引されることができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体の形態で、またはアプリケーションストア（例えば、プレイストア^ＴＭ）を介してオンラインで配布されることができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリなどの記憶媒体に少なくとも一時的に記憶されるか、一時的に生成されることができる。

本発明は、図面に示された一実施例を参照して説明しているが、これは例示的なものに過ぎず、当分野で通常の知識を有する者であれば、これから様々な変形及び実施例の変形が可能であることが理解できるであろう。したがって、本発明の真の技術的保護範囲は、添付の特許請求の範囲の技術的思想によって定められるべきである。

Claims (5)

1. 電子装置の動作方法において、
   少なくとも第１生産品に対する第１正常画像、欠陥画像、及びユーザ入力に基づいて仮想欠陥画像生成モデルを学習する動作と、
   前記学習された仮想欠陥画像生成モデルを用いて、第２生産品に対する第２正常画像から仮想欠陥画像を生成する動作を含み、
   前記仮想欠陥画像を生成する動作は、
   既定の形状の欠陥領域に関する情報を用いて、前記仮想欠陥画像生成モデルを介して前記仮想欠陥画像を生成する動作と、
   ユーザが欠陥を発生させる領域を直接描画する入力に基づいた手動領域情報を用いて、前記仮想欠陥画像生成モデルを介して前記仮想欠陥画像を生成する動作を含む、仮想欠陥画像生成方法。
2. 前記第１生産品と前記第２生産品は、互いに全く同じ種類であるか、または互いに同じ種類で、規格またはバージョンが異なり、
   前記第１正常画像と前記第２正常画像は同じであるか、または互いに異なる、請求項１に記載の仮想欠陥画像生成方法。
3. 前記仮想欠陥画像生成モデルを学習する動作は、前記第１生産品に対して発生可能な欠陥タイプを設定する動作を含み、
   前記仮想欠陥画像を生成する動作は、
   前記設定された欠陥タイプのうち少なくとも一部に対して、前記少なくとも一部の欠陥タイプのそれぞれが発生することができる欠陥領域に関する情報を、ユーザ入力に基づいて入力される動作を含む、請求項１に記載の仮想欠陥画像生成方法。
4. 前記仮想欠陥画像生成モデルを学習する動作は、
   前記第１生産品を含む複数の互いに異なるバージョンの生産品に対する第１正常画像及び欠陥画像に基づいてデータベースを収集及び前処理を実行する動作と、
   前記複数の互いに異なるバージョンの生産品のうち一部の生産品のみを選択して前記仮想欠陥画像生成モデルを学習する動作を含む、請求項１に記載の仮想欠陥画像生成方法。
5. コンピュータを使用して請求項１～４のいずれか一項に記載の方法を実行するためにコンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラム。

Images