JP7487469B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents

画像生成装置、画像生成方法及びプログラム Download PDF

Info

Publication number
JP7487469B2
JP7487469B2 JP2019223729A JP2019223729A JP7487469B2 JP 7487469 B2 JP7487469 B2 JP 7487469B2 JP 2019223729 A JP2019223729 A JP 2019223729A JP 2019223729 A JP2019223729 A JP 2019223729A JP 7487469 B2 JP7487469 B2 JP 7487469B2
Authority
JP
Japan
Prior art keywords
image
area
abnormality
abnormal
abnormal image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019223729A
Other languages
English (en)
Other versions
JP2021093004A (ja
Inventor
拓耶 野間
菜摘 矢木
貴正 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2019223729A priority Critical patent/JP7487469B2/ja
Publication of JP2021093004A publication Critical patent/JP2021093004A/ja
Application granted granted Critical
Publication of JP7487469B2 publication Critical patent/JP7487469B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。
近年、機械学習の発達に伴って、検査対象の外観を撮影した画像を入力して、この画像が正常画像又は異常画像のいずれであるかを分類する分類器が実用化されている。このような分類器は、例えば、入力画像と、この入力画像が正常画像又は異常画像のいずれであるかを示す正解ラベルとを含む学習データを用いて、ニューラルネットワーク等を教師あり学習の手法によって学習することで実現される。
ここで、一般に、学習データ数が多いほど分類器の精度が向上することが知られているが、十分な数の正常画像や異常画像を準備できない場合がある。
例えば、工場の生産ライン等では一般に不良率が低いため、十分な数の異常画像が得られない。これに対しては、学習用の異常画像を生成する従来技術として、異常画像に含まれる欠陥領域を人手で抽出し、正常画像に移植することで異常画像を生成する技術が知られている(例えば、特許文献1)。
また、例えば、異常画像のみを保存するシステムである場合には十分な数の正常画像が得られない。これに対しては、正常画像も保存するシステムを導入等することが考えられる。
特開2018-205123号公報
しかしながら、十分の数の異常画像が得られない場合、上記の特許文献1に記載された技術では人手で欠陥領域を抽出する必要があり、利用者の負担が大きい。また、欠陥領域である否かは利用者の主観で判断されるため、例えば、この利用者が経験の浅い担当者等である場合には欠陥領域でない領域を抽出してしまうことがある。
一方で、十分な数の正常画像が得られない場合、正常画像も保存するシステムを導入等することは多大なコストを要する。
本発明の実施形態は、上記の点に鑑みてなされたもので、学習用の画像を生成することを目的とする。
上記目的を達成するため、一実施形態に係る画像生成装置は、対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部と、前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部と、前記第2の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部と、を有する。
学習用の画像を生成することができる。
本実施形態に係る画像生成装置の全体構成の一例を示す図である。 異常画像中の異常箇所の一例を示す図である。 畳み込みニューラルネットワークの一例を示す図である。 異常画像中の異常領域の一例を示す図である。 本実施形態に係る画像生成装置のハードウェア構成の一例を示す図である。 実施例1における画像生成処理の流れを示すフローチャートである。 実施例2における画像生成処理の流れを示すフローチャートである。 ランダムイレージングを用いて生成した異常画像の一例を示す図である。
以下、本発明の実施形態について説明する。本実施形態では、入力画像が正常画像又は異常画像のいずれであるかを分類する分類器を学習するための学習用の画像として、異常画像又は正常画像を生成する画像生成装置10について説明する。以降で説明する本実施形態の実施例1では、学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないときに、これらの異常画像から正常画像を生成する場合について説明する。一方で、本実施形態の実施例2では、学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないときに、これらの異常画像から新たな異常画像を生成する場合について説明する。
なお、学習用の正常画像数又は異常画像数が十分でないとは、入力画像が正常画像又は異常画像のいずれであるかを分類する分類器を学習した際に所望の精度が得られないことを意味する。以降では、この分類器を「目的分類器」とも表す。
<全体構成>
まず、本実施形態に係る画像生成装置10の全体構成について、図1を参照しながら説明する。図1は、本実施形態に係る画像生成装置10の全体構成の一例を示す図である。
図1に示すように、本実施形態に係る画像生成装置10は、異常種類分類部101と、領域特定部102と、画像生成部103と、記憶部104とを有する。
記憶部104は、目的分類器を学習するための学習用の正常画像と学習用の異常画像とを記憶する。ここで、正常画像とは、例えば、外観検査で正常と判別される対象(例えば、製品や半製品等)を撮影した画像のことである。一方で、異常画像とは、例えば、外観検査で異常と判別される対象を撮影した画像のことである。なお、外観検査で異常と判別される対象としては、その外観に何等かの異常(例えば、キズやへこみ、色ムラ等の欠陥)がある対象等が挙げられる。
また、異常画像は、この画像に写っている対象に存在する異常の種類(例えば、キズの種類等)に応じて分類されるものとする。例えば、図2に示すように、異常種類Aの異常箇所1101が含まれる異常画像1100と、異常種類Bの異常箇所1201が含まれる異常画像1200とが存在する場合、異常画像1100は異常種類Aに分類され、異常画像1200は異常種類Bに分類される。なお、異常種類Aと異常種類Bは異なる異常の種類であり、例えば、異常種類Aは或る工程Aで発生する可能性があるキズAであり、異常種類Bは別の工程Bで発生する可能性があるキズBである。なお、図2では2種類の異常種類を示したが、これは一例であって、異常種類は2種類に限られない。
異常種類分類部101は、異常画像を異常種類によって分類することで、この異常画像の異常種類を特定する。ここで、異常種類分類部101は、異常画像を異常種別によって分類する分類器により実現される。このような分類器は、異常画像とその異常種類とを含む学習データを用いて、教師あり学習の手法により畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を学習することによって実現される。より具体的には、例えば、図3に示すように、入力層と、1以上の畳み込み層及びプーリング層と、全結合層と、活性化関数としてソフトマックス関数を用いた出力層とで構成される畳み込みニューラルネットワークに対して、学習データに含まれる異常画像を入力し、その出力結果を得る。そして、この出力結果と当該学習データに含まれる異常種類との誤差を計算し、この誤差を最小化させるように、当該畳み込みニューラルネットワークのパラメータを更新する。なお、出力層の次元(つまり、出力層に含まれるユニット数)は、分類器によって分類したい異常種類数とする。
領域特定部102は、異常画像に写っている対象の異常箇所を示す領域(以降、「異常領域」とも表す。)を特定する。領域特定部102は、例えば、Grad-CAM(Gradient-weighted Class Activation Mapping)により、異常種類分類部101を実現する分類器(つまり、学習済みのCNN)の判断根拠を可視化することで、この可視化された領域を異常領域と特定すればよい。この場合、領域特定部102は、異常種類分類部101を実現する分類器の最後の畳み込み層(つまり、全結合層の前の畳み込み層)の生成された特徴マップを入力として、予測クラス(つまり、異常種類を表すクラス)に対する特徴マップの勾配を計算し、この特徴マップ内の重要度を計算することで、重要度が高い領域を異常領域として可視化する。Grad-CAMの詳細については、例えば、参考文献1「Ramprasaath R. Selvaraju, et.al "Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization"」を参照されたい。なお、Grad-CAMの代わりに、例えば、Guided Grad-CAMやGrad-CAM++等が用いられてもよい。
ここで、図2に示す異常画像1100の異常領域を領域特定部102によって特定した結果を図4に示す。図4に示すように、異常画像1100中で、異常箇所1101を含む領域が異常領域1102として特定される。なお、例えば、Grad-CAMの場合、この異常領域1102は、ヒートマップ等で表される。
画像生成部103は、実施例1では異常画像中の異常領域を含む領域をマスクすることで正常画像を生成する。一方で、画像生成部103は、実施例2では異常画像中の異常領域を含む領域以外の領域に対してランダムイレージングを行うことで、新たな異常画像を生成する。なお、ランダムイレージングとは、画像内でランダムに選択された位置に、ランダムなサイズの矩形領域(以降、この矩形領域を「イレーズ領域」とも表す。)を設定し、イレーズ領域を学習に使用しないことでデータ拡張を行う手法のである。ランダムイレージングの詳細については、例えば、参考文献2「Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, Yi Yang, "Random Erasing Data Augmentation"」を参照されたい。
<ハードウェア構成>
次に、本実施形態に係る画像生成装置10のハードウェア構成について、図5を参照しながら説明する。図5は、本実施形態に係る画像生成装置10のハードウェア構成の一例を示す図である。
図5に示すように、本実施形態に係る画像生成装置10は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置201と、表示装置202と、外部I/F203と、通信I/F204と、プロセッサ205と、メモリ装置206とを有する。これら各ハードウェアは、それぞれがバス207を介して通信可能に接続されている。
入力装置201は、例えば、キーボードやマウス、タッチパネル等である。表示装置202は、例えば、ディスプレイ等である。なお、画像生成装置10は、入力装置201及び表示装置202のうちの少なくとも一方を有していなくてもよい。
外部I/F203は、外部装置とのインタフェースである。外部装置には、記録媒体203a等がある。画像生成装置10は、外部I/F203を介して、記録媒体203aの読み取りや書き込み等を行うことができる。記録媒体203aには、例えば、画像生成装置10が有する各機能部(異常種類分類部101、領域特定部102及び画像生成部103)を実現する1以上のプログラムが格納されていてもよい。
なお、記録媒体203aには、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
通信I/F204は、画像生成装置10を通信ネットワークに接続するためのインタフェースである。なお、画像生成装置10が有する各機能部を実現する1以上のプログラムは、通信I/F204を介して、所定のサーバ装置等から取得(ダウンロード)されてもよい。
プロセッサ205は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の各種演算装置である。画像生成装置10が有する各機能部は、例えば、メモリ装置206等に格納されている1以上のプログラムがプロセッサ205に実行させる処理により実現される。
メモリ装置206は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等の各種記憶装置である。画像生成装置10が有する記憶部104は、メモリ装置206を用いて実現可能である。なお、記憶部104は、例えば、画像生成装置10と通信ネットワークを介して接続される記憶装置(例えば、データベースサーバ等)を用いて実現されていてもよい。
本実施形態に係る画像生成装置10は、図5に示すハードウェア構成を有することにより、後述する画像生成処理を実現することができる。なお、図5に示すハードウェア構成は一例であって、画像生成装置10は、他のハードウェア構成を有していてもよい。例えば、画像生成装置10は、複数のプロセッサ205を有していてもよいし、複数のメモリ装置206を有していてもよい。
<画像生成処理>
次に、本実施形態に係る画像生成処理の実施例1及び実施例2について説明する。上述したように、実施例1では、学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないものとする(つまり、記憶部104には十分な数の異常画像が記憶されているものの、正常画像は十分でない数しか記憶されていないものとする。)。一方で、実施例2では、学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないものとする(つまり、記憶部104には十分な数の正常画像が記憶されているものの、異常画像は十分でない数しか記憶されていないものとする。)。
≪実施例1≫
以降では、実施例1における画像生成処理の流れについて、図6を参照しながら説明する。図6は、実施例1における画像生成処理の流れを示すフローチャートである。なお、以降の画像生成処理では、或る1つの異常画像から正常画像を生成する場合について説明する。複数の異常画像に対して画像生成処理を実行する場合には、複数の異常画像の各々の異常画像に対して画像生成処理を繰り返し実行すればよい。
まず、異常種類分類部101は、異常画像の異常種類を分類する分類器(学習済みのCNN)により、記憶部104に記憶されている異常画像を異常種類によって分類することで、この異常画像の異常種類を特定する(ステップS101)。
次に、領域特定部102は、上記のステップS101で分類された異常画像の異常領域を、例えばGrad-CAMにより特定する(ステップS102)。
そして、画像生成部103は、上記のステップS102で特定された異常領域を含む領域を当該異常画像に設定し、この設定した領域をマスクすることで、疑似的に正常画像を生成する(ステップS103)。なお、異常領域を含む領域は任意の形状の領域としてよく、例えば、矩形領域でもよいし、円形領域でもよいし、異常領域と相似形の領域でもよいし、異常領域そのものとしてもよい。また、領域をマスクするとは、この領域を目的分類器の学習に使用しないことを意味し、例えば、この領域内の画素値をランダムな値に設定したり、予め決められた値(例えば、0又は1等)に設定したりすることである。
以上により、本実施形態の実施例1における画像生成装置10は、異常画像から疑似的に正常画像を生成することができる。これにより、例えば、学習用の異常画像数が十分であるものの、学習用の正常画像数が十分でない場合に、正常画像数を増やすことが可能となる。
なお、上記のステップS103において、画像生成部103は、異常画像から生成した正常画像に対して既知のデータ拡張手法を適用することで、新たな正常画像を生成してもよい。例えば、異常画像から生成した正常画像の上下若しくは左右又はその両方を反転させることで新たな正常画像を生成してもよいし、ノイズを付加することで新たな正常画像を生成してもよいし、色(画素値)を補正することで新たな正常画像を生成してもよい。また、画像の反転やノイズ付加、色の補正を組み合わせることで新たな正常画像を生成してもよい。
≪実施例2≫
以降では、実施例2における画像生成処理の流れについて、図7を参照しながら説明する。図7は、実施例2における画像生成処理の流れを示すフローチャートである。なお、以降の画像生成処理では、或る1つの異常画像から新たな異常画像を生成する場合について説明する。複数の異常画像に対して画像生成処理を実行する場合には、複数の異常画像の各々の異常画像に対して画像生成処理を繰り返し実行すればよい。
まず、異常種類分類部101は、異常画像の異常種類を分類する分類器(学習済みのCNN)により、記憶部104に記憶されている異常画像を異常種類によって分類することで、この異常画像の異常種類を特定する(ステップS201)。
次に、領域特定部102は、上記のステップS201で分類された異常画像の異常領域を、例えばGrad-CAMにより特定する(ステップS202)。
そして、画像生成部103は、上記のステップS202で特定された異常領域を含む領域を当該異常画像に設定し、この設定した領域以外の領域に対してランダムイレージングを行うことで、新たな異常画像を生成する(ステップS203)。このとき、画像生成部103は、例えば、異常領域を含む領域と、ランダムイレージングによるイレーズ領域との少なくとも一部が重畳しているか否かを判定した上で、重畳していない場合は新たな異常画像として採用し、重畳している場合は新たな異常画像としては採用しないようにする。これにより、イレーズ領域が異常領域と重なってしまい、異常箇所が学習に使用されない事態を防止することができる。なお、異常領域を含む領域は任意の形状の領域としてよく、例えば、矩形領域でもよいし、円形領域でもよいし、異常領域と相似形の領域でもよい。
ここで、図4に示す異常画像1100に対してランダムイレージングを行うことで生成した新たな異常画像1300の一例を図8に示す。図8に示すように、新たな異常画像1300は、異常画像1100の異常領域1102を含む領域1103以外の領域に対して、ランダムイレージングによりイレーズ領域1104を設定した画像である。なお、イレーズ領域1104は学習に使用されない領域であり、例えば、この領域をマスクした領域のことである。また、図8に示す例は領域1103が矩形領域である場合を示しているが、上述したように、領域1103は任意の形状の領域(例えば、円形領域や、異常領域1102と相似形の領域、異常領域1102そのもの等)でよい。
なお、上記のステップS203を繰り返し実行することで、1つの異常画像から複数の新たな異常画像を生成することが可能である。
以上により、本実施形態の実施例2における画像生成装置10は、異常画像から新たな異常画像を生成することができる。これにより、例えば、学習用の正常画像数が十分であるものの、学習用の異常画像数が十分でない場合に、異常画像数を増やすことが可能となる。
なお、上記のステップS203では、ランダムイレージングによるイレーズ領域は矩形領域であるものとしたが、これに限られず、任意の形状の領域であってもよい。また、1つの異常画像に対して複数のイレーズ領域が設定された新たな異常画像が生成されてもよい。また、上記のステップS203において、画像生成部103は、新たな異常画像に対して既知のデータ拡張手法を適用することで、新たな異常画像を更に生成してもよい。例えば、新たな異常画像の上下若しくは左右又はその両方を反転させることで新たな異常画像を更に生成してもよいし、ノイズを付加することで新たな異常画像を更に生成してもよいし、色(画素値)を補正することで新たな異常画像を更に生成してもよい。また、画像の反転やノイズ付加、色の補正を組み合わせることで新たな異常画像を更に生成してもよい。
<まとめ>
以上のように、本実施形態に係る画像生成装置10は、異常画像の異常領域を自動的に特定した上で、特定した異常領域をマスクすることで疑似的に正常画像を生成したり、特定した異常領域以外の領域にランダムイレージングを適用して新たな異常画像を生成したりすることができる。このため、例えば、目的分類器を学習するための正常画像数が十分でない場合や異常画像数が十分でない場合等に、学習用の正常画像数や異常画像数を増やすことが可能になる。したがって、本実施形態に係る画像生成装置10を用いることで、高い性能の目的分類器を得ることができるようになる。
なお、実施例1は学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないものとしたが、これは一例であって、必ずしも正常画像数が十分でない必要はなく、少なくとも或る程度の数の異常画像があればよい。同様に、実施例2は学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないものとしたが、これは一例であって、必ずしも正常画像数が十分であったり異常画像数が十分でなかったり必要はなく、少なくとも或る程度の数の異常画像があればよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
10 画像生成装置
101 異常種類分類部
102 領域特定部
103 画像生成部
104 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス

Claims (10)

  1. 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、
    外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部と、
    前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部と、
    前記第2の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部と、
    を有する画像生成装置。
  2. 前記画像生成部は、
    前記第2の特定部で特定された領域をマスクすることで、前記分類器の学習に使用しない領域を設定する、請求項1に記載の画像生成装置。
  3. 前記画像生成部は、
    前記正常画像に対して、左右若しくは上下又は上下左右の反転、ノイズ付加及び色の補正のうちの少なくとも1つを行うことで、新たな正常画像を生成する、請求項1又は2に記載の画像生成装置。
  4. 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、
    外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部と、
    前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部と、
    前記第2の特定部で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成部と、
    を有し、
    前記データ拡張は、ランダムイレージングであり、
    前記画像生成部は、
    前記ランダムイレージングの対象となる領域と、前記第2の特定部で特定された領域との少なくとも一部が重畳しているか否かを判定し、
    前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
    前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、画像生成装置。
  5. 前記画像生成部は、
    前記新たな異常画像に対して、左右若しくは上下又は上下左右の反転、ノイズ付加及び色の補正のうちの少なくとも1つを行うことで、新たな異常画像を更に生成する、請求項4に記載の画像生成装置。
  6. 前記第1の特定部は、
    異常画像と前記異常画像中の異常の種類とが含まれる学習データを用いて予め学習された畳み込みニューラルネットワークによって、入力された異常画像の種類を特定し、
    前記第2の特定部は、
    前記畳み込みニューラルネットワークに対してGrad-CAMを用いることで、前記異常の箇所を示す領域を特定する、請求項1乃至5の何れか一項に記載の画像生成装置。
  7. 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成方法であって、
    外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定手順と、
    前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定手順と、
    前記第2の特定手順で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成手順と、
    をコンピュータが実行する画像生成方法。
  8. 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成方法であって、
    外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定手順と、
    前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定手順と、
    前記第2の特定手順で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成手順と、
    をコンピュータが実行し、
    前記データ拡張は、ランダムイレージングであり、
    前記画像生成手順は、
    前記ランダムイレージングの対象となる領域と、前記第2の特定手順で特定された領域との少なくとも一部が重畳しているか否かを判定し、
    前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
    前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、画像生成方法。
  9. 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置を、
    外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部、
    前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部、
    前記第2の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部、
    として機能させるためのプログラム。
  10. 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置を、
    外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部、
    前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部、
    前記第2の特定部で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成部、
    として機能させ、
    前記データ拡張は、ランダムイレージングであり、
    前記画像生成部は、
    前記ランダムイレージングの対象となる領域と、前記第2の特定部で特定された領域との少なくとも一部が重畳しているか否かを判定し、
    前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
    前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、プログラム。
JP2019223729A 2019-12-11 2019-12-11 画像生成装置、画像生成方法及びプログラム Active JP7487469B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019223729A JP7487469B2 (ja) 2019-12-11 2019-12-11 画像生成装置、画像生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019223729A JP7487469B2 (ja) 2019-12-11 2019-12-11 画像生成装置、画像生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021093004A JP2021093004A (ja) 2021-06-17
JP7487469B2 true JP7487469B2 (ja) 2024-05-21

Family

ID=76312453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019223729A Active JP7487469B2 (ja) 2019-12-11 2019-12-11 画像生成装置、画像生成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7487469B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023183314A (ja) * 2022-06-15 2023-12-27 株式会社Sumco ウェーハの判定方法、判定プログラム、判定装置、ウェーハの製造方法及びウェーハ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012026982A (ja) 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
WO2018008593A1 (ja) 2016-07-04 2018-01-11 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体
JP2018205123A (ja) 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
JP2019114116A (ja) 2017-12-25 2019-07-11 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012026982A (ja) 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
WO2018008593A1 (ja) 2016-07-04 2018-01-11 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体
JP2018205123A (ja) 2017-06-05 2018-12-27 学校法人梅村学園 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
JP2019114116A (ja) 2017-12-25 2019-07-11 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sajjad Taheritanjani(外2名),Automatic Damage Detection of Fasteners in Overhaul Processes,2019 IEEE 15th International Conference on Automation Science and Engineering (CASE),米国,IEEE,2019年08月22日,p.1289-1295

Also Published As

Publication number Publication date
JP2021093004A (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
US10803398B2 (en) Apparatus and method for information processing
JP7386812B2 (ja) 照明推定
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
JP2010017274A (ja) 画像処理装置及び画像処理プログラム
US20170278235A1 (en) Fast density estimation method for defect inspection application
US10504037B1 (en) Systems and methods for automated document review and quality control
TWI598884B (zh) 用以改善非揮發性記憶體良率的方法及裝置
JP2016110290A (ja) 情報処理装置及び情報処理方法
CN114586062A (zh) 缺陷图像生成装置和方法
US9508006B2 (en) System and method for identifying trees
JP7487469B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN111709951B (zh) 目标检测网络训练方法及系统及网络及装置及介质
CN103837135A (zh) 工件检测方法及其系统
US20210073580A1 (en) Method and apparatus for obtaining product training images, and non-transitory computer-readable storage medium
JP7294678B2 (ja) 学習モデル生成装置、地物変化判定装置、学習モデル生成方法、地物変化判定方法、及びプログラム
JP5799823B2 (ja) テストデータ生成装置、テストデータ生成プログラムおよびテストデータ生成方法
EP3608868B1 (en) Firefly detection using a plurality of buffers
WO2024087163A1 (zh) 坏点检测模型训练方法、坏点检测方法以及坏点修复方法
US20230196545A1 (en) Computing device for predicting a profile using deep learning and operating method thereof
JP2020135659A (ja) パラメータ決定方法、パラメータ決定装置、及びプログラム
WO2020195958A1 (ja) 学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセット
JP2019159905A (ja) 生成プログラム、生成装置及び生成方法
CN107704340A (zh) Pe镜像文件生成方法、装置及电子设备
CN116342395A (zh) 图像修复方法、图像修复装置、电子设备、介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7487469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150