JPWO2020158630A1 - 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法 - Google Patents

Abstract

微小な検出対象を精度よく検出することができる検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法を提供する。検出装置は、第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する候補領域抽出部と、抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する画像生成部と、第１学習器と、生成した第２画像を第１学習器に入力して検出対象の有無を検出する検出部とを備える。

Description

本発明は、検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法に関する。

太陽電池モジュールの欠陥の有無の検査方法の一つとして、エレクトロルミネッセンス（ＥＬ）を利用したＥＬ検査が用いられている。ＥＬ検査は、太陽電池モジュールを構成するセル毎に電流を流してセル自体を発光させ、セルの表面をカメラで撮影した画像に基づいてクラックや断線等を確認する（特許文献１参照）。

特許第６２０８８４３号公報

しかし、セル毎に画像の輝度分布や歪みが異なり、目視では確認が難しい微小な検出対象（例えば、欠陥）が存在する。また、微小な検出対象にも様々な種類の形状があり、検出対象の種類に応じてセルの良否判定も異なる。このため、微小な検出対象を精度よく検出することが望まれる。

本発明は、斯かる事情に鑑みてなされたものであり、微小な検出対象を精度よく検出することができる検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法を提供することを目的とする。

本発明の実施の形態に係る検出装置は、第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する候補領域抽出部と、前記候補領域抽出部で抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する画像生成部と、第１学習器と、前記画像生成部で生成した第２画像を前記第１学習器に入力して検出対象の有無を検出する検出部とを備える。

本発明の実施の形態に係る学習器は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成された第１学習器と、前記第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成された第２学習器とを備える。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、第１画像を取得する処理と、取得した第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する処理と、抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する処理と、生成した第２画像を第１学習器に入力して検出対象の有無を検出する処理とを実行させる。

本発明の実施の形態に係る検出方法は、第１画像を取得し、取得された第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出し、抽出された候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成し、生成された第２画像を第１学習器に入力して検出対象の有無を検出する。

本発明の実施の形態に係る学習器の生成方法は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを取得し、取得された第１ラベル画像及び第２ラベル画像を学習データとして用いて第１学習器を生成し、前記第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて第２学習器を生成する。

本発明によれば、微小な検出対象を精度よく検出することができる。

本実施の形態の検出装置の構成の一例を示すブロック図である。 欠陥対象の一例を示す模式図である。 本実施の形態の検出装置が検出する検出対象の一例を示す模式図である。 第２画像の生成の一例を示す模式図である。 第１学習器及び第２学習器の構成の一例を示す模式図である。 第１ラベル画像を用いた第１学習器の生成方法の一例を示す模式図である。 第２ラベル画像を用いた第１学習器の生成方法の一例を示す模式図である。 種別ラベル画像を用いた第２学習器の生成方法の一例を示す模式図である。 本実施の形態の検出装置による検出対象の検出方法の一例を示す模式図である。 学習器の構成の他の例を示す模式図である。 検出システムの構成の一例を示す模式図である。 検出装置による処理の手順の一例を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態の検出装置５０の構成の一例を示すブロック図である。検出装置５０は、装置全体を制御する制御部５１、入力部５２、欠陥判定部５３、候補領域抽出部５４、記憶部５５、画像生成部５６、学習器５７及び検出部５８を備える。学習器５７は、第１学習器５７１及び第２学習器５７２を備える。記憶部５５は、後述の入力画像、検出処理の結果など所要のデータを記憶することができる。

入力部５２は、取得部としての機能を有し、撮像対象が撮像された入力画像を取得する。撮像対象は、被検査対象であり、例えば、太陽電池モジュールの場合、モジュールを構成する各セルとすることができるが、これに限定されない。

欠陥判定部５３は、判定部としての機能を有し、入力画像に所定の欠陥対象が含まれるか否かを判定する。欠陥判定部５３は、画像処理機能を備え、入力画像に基づいて所定の欠陥対象の有無を判定できる。撮像対象が、セルの場合、所定の欠陥対象は、例えば、単セル異常、断線（フィンガー断線ともいう）、洗浄跡（水跡ともいう）、断線併発ひび等を含むが、これらに限定されない。

図２は欠陥対象の一例を示す模式図である。図２は、太陽電池モジュールを構成するセルを撮像して得られた画像（セル画像ともいう）を示す。セル画像内の横方向の平行な黒線は、セル内の金属線を示す。図２のＡは、セル内にフィンガー断線が存在する場合を模式的に示すものである。フィンガー断線は、比較的は幅の大きい断線であり、例えば、セル内に１箇所あれば、当該セルは不良品と判定される。図２のＢは、セル内に水跡が存在する場合を模式的に示すものである。水跡は、洗浄工程の後に残った洗浄跡であり、セル内に１箇所あれば、当該セルは不良品と判定される。図２のＣは、セル内に断線併発ひびが存在する場合を模式的に示すものである。セル内に１箇所あれば、当該セルは不良品と判定される。図２のＤは、セル異常を模式的に示すものである。セル異常はセルが発光しない、あるいは発光量が著しく低い場合であり、当該セルは不良品と判定される。

欠陥判定部５３は、所定の欠陥対象がないと判定した入力画像を第１画像として候補領域抽出部５４へ出力する。これにより、比較的、検出の易しい欠陥対象を予め除外し、検出が困難な微小な検出対象が含まれる可能性のある画像だけを絞り込んで候補領域抽出部５４以降の処理することができる。

検出部５８は、欠陥判定部５３で所定の欠陥対象があると判定した場合、当該セルを不良品として検出する。

図３は本実施の形態の検出装置５０が検出する検出対象の一例を示す模式図である。検出対象は、欠陥判定部５３で判定が困難な微小な欠陥対象であり、形状や大きさなど、様々な種類が存在し得る。本明細書では、図３に示すように、検出対象を、例えば、形状や種別に応じて、便宜上、タイプＡ、Ｂ、Ｃ、Ｄの４種類に分ける。なお、種別は４種類に限定されない。太陽電池モジュールを構成するセルの場合、検出対象は、形状や大きさなどの種類が異なるひびとすることができ、本明細書では検出対象を「ひびと称する対象」として説明するが、検出対象は、ひびに限定されない。また、図３に示す、ひびの形状や大きさは一例であって、図３の例に限定されない。

候補領域抽出部５４は、欠陥判定部５３が出力した第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する。画像処理は、例えば、濃度補正、雑音除去、エッジ検出、特徴量抽出などの通常の画像処理を含む。検出対象候補は、例えば、目視や欠陥判定部５３での判定では検出が難しい微小な欠陥が含まれる領域であり、微小な検出対象候補を含む領域である。

検出部５８は、候補領域抽出部５４で検出対象候補が抽出できない第１画像に対応するセルを良品であると判定できる。

画像生成部５６は、候補領域抽出部５４により、１つの第１画像において複数の候補領域が抽出された場合、候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する。少なくとも一つとは、多数の候補領域を含まないという意味であり、例えば、一つ、二つ、あるいは三つ程度（少数）とすることができる。本明細書では、第２画像には一つの候補領域を含む場合について説明するが、一つの第２画像に含まれる候補領域の数は一つに限定されない。

図４は第２画像の生成の一例を示す模式図である。図４に示すように、候補領域抽出部５４は、一つの第１画像において、検出対象としてタイプＡ、Ｃ、Ｄの３つそれぞれの候補領域を抽出したとする。この場合、画像生成部５６は、タイプＡの候補領域が含まれる第２画像、タイプＣが含まれる第２画像、及びタイプＤが含まれる第２画像の３つの第２画像を生成する。

画像生成部５６は、候補領域抽出部５４で抽出した候補領域の少なくとも一つを所定画像の所定位置に配置して第２画像を生成することができる。所定画像は、例えば、輝度値が一定の画像（輝度値が高い画像、明るい画像）とすることができる。候補領域は、検出対象候補の形状や大きさに応じて、検出対象候補を囲む矩形状の領域とすることができる。所定位置は、例えば、所定画像の中央（中点）とすることができる。例えば、候補領域の中央が所定画像の中央に一致するように候補領域を配置することができる。

第２画像上での候補領域の位置を、第２画像毎に同じ位置にできるので、候補領域の位置が画像毎にばらつく場合に比べて、微小な検出対象を精度よく検出することができる。

所定画像の背景色を白にすることにより、微小な検出対象と背景とのコントラストを高くすることができる。

第１学習器５７１及び第２学習器５７２は、例えば、多層のニューラルネットワーク（深層学習）で構成することができ、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いることができるが、他の機械学習を用いてもよい。本明細書では、第１学習器５７１及び第２学習器５７２は、畳み込みニューラルネットワークで構成されるものとして説明するが、これに限定されない。

図５は第１学習器５７１及び第２学習器５７２の構成の一例を示す模式図である。畳み込みニューラルネットワークは、入力層と出力層との間に隠れ層を備える。隠れ層は、複数段からなる畳み込み層及びプーリング層、及び最終段に全結合層を備える。なお、畳み込み層、プーリング層及び全結合層の数は適宜決定できる。

次に、第１学習器５７１及び第２学習器５７２の生成方法（学習方法）について説明する。なお、制御部５１は、第１学習器５７１及び第２学習器５７２の学習処理を行うことができる。制御部５１及び学習器５７は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。

第１学習器５７１は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成することができる。まず、第１ラベル画像を用いる場合について説明する。

図６は第１ラベル画像を用いた第１学習器５７１の生成方法の一例を示す模式図である。第１ラベル画像は、タイプＡのみが含まれる画像の集合、タイプＢのみが含まれる画像の集合、タイプＣのみが含まれる画像の集合、タイプＤのみが含まれる画像の集合とすることができる。第１学習器５７１は、第１ラベル画像の集合を入力層に与え、検出対象ありのラベル（例えば、レベル１１）を出力層に与えて生成できる。

図７は第２ラベル画像を用いた第１学習器５７１の生成方法の一例を示す模式図である。第２ラベル画像は、タイプＡ、Ｂ、Ｃ、Ｄのいずれも含まれない画像の集合とすることができる。第１学習器５７１は、第２ラベル画像の集合を入力層に与え、検出対象なしのラベル（例えば、ラベル１２）を出力層に与えて生成できる。

これにより、画像生成部５６で生成した第２画像に、検出対象としてのタイプＡ、Ｂ、Ｃ、Ｄのいずれか一つが含まれている場合、第１学習器５７１は、検出対象が存在していることを検出できる。また、第２画像に、検出対象としてのタイプＡ、Ｂ、Ｃ、Ｄのいずれも含まれていない場合、第１学習器５７１は、検出対象が存在しないことを検出できる。

次に、第２学習器５７２の生成方法（学習方法）について説明する。第２学習器５７２は、第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成できる。

図８は種別ラベル画像を用いた第２学習器５７２の生成方法の一例を示す模式図である。例えば、第１ラベル画像の集合にタイプＡ、Ｂ、Ｃ、Ｄの４つの種別の検出対象が含まれる場合、種別ラベル画像として、タイプＡを含むタイプＡレベル画像、タイプＢを含むタイプＢレベル画像、タイプＣを含むタイプＣレベル画像、タイプＤを含むタイプＤレベル画像の４つの集合に分ける。

第２学習器５７２は、タイプＡレベル画像の集合を入力層に与え、種別がタイプＡであることを示すラベル（例えば、ラベル２１）を出力層に与えて生成し、タイプＢレベル画像の集合を入力層に与え、種別がタイプＢであることを示すラベル（例えば、ラベル２３）を出力層に与えて生成し、タイプＣレベル画像の集合を入力層に与え、種別がタイプＣであることを示すラベル（例えば、ラベル２５）を出力層に与えて生成し、タイプＤレベル画像の集合を入力層に与え、種別がタイプＤであることを示すラベル（例えば、ラベル２７）を出力層に与えて生成することができる。なお、ラベル２１を出力層に与える場合、タイプＢ、Ｃ、Ｄは存在しないので、ラベル２４、２６、２８を併用してもよい。ラベル２３、２５、２７を出力層に与える場合も同様である。

これにより、第２学習器５７２は、検出対象の種別を検出できる。

検出対象としてのタイプＡ〜Ｄのうち、例えば、タイプＤについては、セル内に存在する個数に応じてセルの良否が決定されるとする。第２学習器５７２が所定の検出対象（例えば、タイプＤ）の個数を検出できるように学習させることもできる。この場合には、１又は複数のタイプＤラベル画像を含む種別ラベル画像を第２学習器５７２の入力層に与え、タイプＤラベル画像の枚数（例えば、ラベル０〜Ｎ）を出力層に与えて第２学習器５７２を生成できる。

次に、第１学習器５７１による検出対象の有無の検出、及び第２学習器５７２による検出対象の種別及び検出対象の個数の検出方法について説明する。

図９は本実施の形態の検出装置５０による検出対象の検出方法の一例を示す模式図である。欠陥判定部５３は、入力画像に所定の欠陥対象が含まれるか否かを判定する。欠陥対象がある場合、検出部５８は、欠陥あり、すなわち不良品であることを検出する。欠陥判定部５３は、欠陥対象がない入力画像を第１画像として候補領域抽出部５４へ出力する。

候補領域抽出部５４は、第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する。候補領域がない場合、検出部５８は、良品であることを検出する。候補領域がある場合、候補領域抽出部５４は、候補領域が含まれる第１画像を画像生成部５６へ出力する。

画像生成部５６は、候補領域が所定位置に配置された第２画像を、抽出された候補領域の数だけ生成し、生成した第２画像を順番に第１学習器５７１へ出力する。

前述のように、第１学習器５７１は、教師データを用いて検出対象の有無を検出できるよう生成されている。第１学習器５７１で検出対象がないと判定された場合、検出部５８は、セルが良品であることを検出する。また、第１学習器５７１で検出対象があると判定された場合、検出部５８は、セルが不良品であることを検出する。このように、検出部５８は、第２画像を第１学習器５７１に入力して検出対象の有無を検出することができる。第１学習器５７１に入力する第２画像は、少数の候補領域だけが含まれるので、第１学習器５７１の検出精度を高めることができる。また、通常の画像処理では、画像の輝度分布や歪み等の影響で微小な欠陥の検出が困難であるとしても、第１学習器５７１を用いることにより、検出精度が所要の精度になるまで学習させることができ、微小な検出対象を精度よく検出することができる。

また、検出部５８は、第２画像それぞれを順番に第１学習器５７１に入力して検出対象の有無を検出することができる。例えば、検出候補対象を含む候補領域が５つ抽出された場合、５つの第２画像を順番に第１学習器５７１に入力し、第１学習器５７１は、第２画像毎に検出対象の有無を検出する。これにより、すべての検出候補対象について漏れなく、検出対象であるか否かを検出することができる。

前述のように、第２学習器５７２は、教師データを用いて検出対象の種別を検出できるよう生成されている。

検出部５８は、種別検出部としての機能を有し、第１学習器５７１に入力された第２画像のうち、検出対象が検出された第２画像を第３画像として第２学習器５７２に入力する。第２学習器５７２は、検出対象の種別を検出する。候補領域が含まれる複数の第２画像が第１学習器５７１に入力された場合、第３画像は、第１学習器５７１で検出対象が存在しないと判定された第２画像を除き、第１学習器５７１で検出対象が存在すると判定された第２画像のみを含む。第２学習器５７２を用いることにより、検出対象の種別の検出精度が所要の精度になるまで学習させることができ、微小な検出対象の種別を精度よく検出することができる。

図９に示すように、第２学習器５７２がタイプＡ〜Ｃの有無を判定すると、検出部５８は、タイプＡ〜Ｃの種別毎の検出結果を出力することができる。例えば、タイプＡ〜Ｃのいずれか一つの種別が含まれる場合、検出部５８は、当該セルを不良品として検出できる。

このように、検出部５８は、第３画像を第２学習器５７２に入力し、異なる種別の検出対象を検出することができる。例えば、タイプＡ、Ｂ、Ｃ、Ｄが含まれる４つの第３画像が第２学習器５７２に入力された場合、検出部５８は、タイプＡ、Ｂ、Ｃ、Ｄの４つの異なる種別を検出することができる。これにより、検出対象の形状が多種多様であって異なる種別がある場合でも、検出対象の種別を検出できる。

また、第２学習器５７２がタイプＤの個数を判定すると、検出部５８は、タイプＤの個数に応じた良品・不良品の判定結果を出力することができる。例えば、タイプＤのひびの個数が一つのセル内に４個以上存在する場合、当該セルを不良品と判定できる。

このように、検出部５８は、第３画像それぞれを順番に第２学習器５７２に入力し、同一種別の検出対象の個数を検出することができる。例えば、タイプＤが含まれる３つの第３画像が順番に第２学習器５７２に入力されると、第２学習器５７２は、タイプＤについて３回検出するので、タイプＤの個数を３と検出することができる。これにより、撮像対象の中に存在する微小な検出対象の個数に応じて撮像対象の良否が決まる場合でも、検出対象の個数も検出できるので、撮像対象の良否を判定できる。

図１０は学習器５７の構成の他の例を示す模式図である。学習器５７は、複数の第２学習器５７２ａ、５７２ｂ、５７２ｃ、…、５７２ｎを備える。第２学習器５７２ａ、５７２ｂ、５７２ｃ、…、５７２ｎは、それぞれタイプＡ、Ｂ、Ｃ、…Ｎの検出対象を検出できるように学習してある。

例えば、異なる種別として、タイプＡ、Ｂがある場合、タイプＡを検出する第２学習器、タイプＢを検出する第２学習器の２つの第２学習器を備えることができる。検出部５８は、一の第２学習器に入力された第３画像のうち、一の種別が検出された第３画像を除く第４画像を別の第２学習器に入力して一の種別と異なる種別を検出することができる。例えば、タイプＡが含まれる第３画像、及びタイプＢが含まれる第３画像が順番に一の第２学習器に入力され、当該一の第２学習器がタイプＡを検出した場合、タイプＡを除くタイプＢが含まれる第３画像を第４画像として次の第２学習器に入力する。当該次の第２学習器はタイプＢを検出できる。検出種別が３以上の場合も同様である。これにより、検出対象の形状が多種多様であって異なる種別がある場合でも、検出対象の種別を検出できる。

図１１は検出システムの構成の一例を示す模式図である。本実施の形態の検出システムは、検出装置５０を備えるサーバ１００が通信ネットワーク１に接続されている。なお、図１１では、サーバ１００を１台だけ図示しているが、サーバ１００の数は１台に限定されない。通信ネットワーク１には、複数のクライアント装置１０が接続されている。サーバ１００及びクライアント装置１０は、所要のデータを送受信できる通信機能を備えている。

クライアント装置１０が、通信ネットワーク１を介して撮像対象が撮像された入力画像をサーバ１００へ送信すると、サーバ１００は、入力画像を受信する。サーバ１００は、受信した入力画像に対して、検出装置５０による各処理を行う。サーバ１００は、検出結果（例えば、撮像対象の良否、検出対象の有無、検出対象の種別など）を当該クライアント装置１０へ送信する。これにより、クライアント装置１０側では、入力画像を送信するだけで、検出結果を得ることができ、クライアント装置１０側で検出装置５０を備える必要がない。

図１２は検出装置５０による処理の手順の一例を示すフローチャートである。以下では便宜上、処理の主体を制御部５１として説明する。制御部５１は、入力画像を取得し（Ｓ１１）、欠陥の有無を判定する（Ｓ１２）。ここで、欠陥とは、例えば、図２に例示したものである。欠陥がない場合（Ｓ１２でＮＯ）、制御部５１は、候補領域抽出部５４に第１画像を入力する（Ｓ１３）。第１画像は、欠陥対象がないと判定された入力画像である。

制御部５１は、候補領域を抽出し（Ｓ１４）、候補領域の有無を判定する（Ｓ１５）。候補領域がない場合（Ｓ１５でＮＯ）、入力画像には、欠陥対象も無く、かつ検出対象も無いので、入力画像に対応する撮像対象（例えば、セル）を良品と判定し（Ｓ１６）、処理を終了する。

候補領域がある場合（Ｓ１５でＹＥＳ）、制御部５１は、第２画像を生成する（Ｓ１７）。例えば、第１画像内に３つの候補領域がある場合、それぞれの候補領域を所定位置に配置した第２画像を３つ生成する。制御部５１は、第１学習器５７１に第２画像を順番に入力し（Ｓ１８）、検出対象としてのひびの有無を判定する（Ｓ１９）。ひびがない場合（Ｓ１９でＮＯ）、制御部５１は、ステップＳ１６の処理を行う。

ひびがある場合（Ｓ１９でＹＥＳ）、制御部５１は、第２学習器５７２に第３画像を入力する（Ｓ２０）。第３画像は、第１学習器５７１に入力された第２画像のうち、第１学習器５７１でひびが検出された画像である。制御部５１は、ひびの種別を検出する（Ｓ２１）。

制御部５１は、他の第３画像の有無を判定し（Ｓ２２）、他の第３画像がある場合（Ｓ２２でＹＥＳ）、ステップＳ２０以降の処理を繰り返す。他の第３画像がない場合（Ｓ２２でＮＯ）、制御部５１は、タイプＡ〜Ｃのひびの有無を判定し（Ｓ２３）、タイプＡ〜Ｃのひびがない場合（Ｓ２３でＮＯ）、タイプＤのひびの個数が所定値以上であるか否かを判定する（Ｓ２４）。

タイプＤのひびの個数が所定値以上でない場合（Ｓ２４でＮＯ）、制御部５１は、ステップＳ１６の処理を行う。欠陥がある場合（Ｓ１２でＹＥＳ）、タイプＡ〜Ｃのひびがある場合（Ｓ２３でＹＥＳ）、あるいは、タイプＤのひびの個数が所定値以上である場合（Ｓ２４でＹＥＳ）、制御部５１は、入力画像に対応する撮像対象（例えば、セル）を不良品と判定し（Ｓ２５）、処理を終了する。なお、入力画像が複数ある場合には、図１２に示す処理を繰り返せばよい。

検出装置５０は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えたコンピュータを用いて実現することもできる。すなわち、図１２に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で検出装置５０を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよい。

本実施の形態によれば、目視では確認が難しい微小な検出対象や、形状や大きさが多種多様の微小な検出対象であっても、精度良く検出対象を検出することができる。また、様々な検出対象の種別も検出することができる。

上述の実施の形態では、撮像対象として太陽電池モジュールを構成するセルを用いて説明するとともに、検出対象として「ひびと称する対象」を用いて説明したが、撮像対象及び検出対象は、これらに限定されるものではない。

本実施の形態に係る検出装置は、第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する候補領域抽出部と、前記候補領域抽出部で抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する画像生成部と、第１学習器と、前記画像生成部で生成した第２画像を前記第１学習器に入力して検出対象の有無を検出する検出部とを備える。

本実施の形態に係るコンピュータプログラムは、コンピュータに、第１画像を取得する処理と、取得した第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する処理と、抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する処理と、生成した第２画像を第１学習器に入力して検出対象の有無を検出する処理とを実行させる。

本実施の形態に係る検出方法は、第１画像を取得し、取得された第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出し、抽出された候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成し、生成された第２画像を第１学習器に入力して検出対象の有無を検出する。

候補領域抽出部は、第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する。第１画像は、例えば、撮像対象が撮像された入力画像に対して、目視で確認できる欠陥が存在しないと判定された画像である。画像処理は、例えば、濃度補正、雑音除去、エッジ検出、特徴量抽出などの通常の画像処理を含む。検出対象候補は、例えば、目視では検出が難しい微小な欠陥が含まれる領域であり、微小な検出対象候補を含む領域である。なお、検出対象候補が抽出できない第１画像は、撮像対象が良品であると判定できる。

画像生成部は、抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する。少なくとも一つとは、多数の候補領域を含まないという意味であり、例えば、一つ、二つ、あるいは三つ程度（少数）とすることができる。例えば、１つの第１画像から３つの検出対象候補Ａ、Ｂ、Ｃが抽出された場合、画像生成部が、検出対象候補Ａが含まれる第２画像、検出対象候補Ｂが含まれる第２画像、検出対象候補Ｃが含まれる第２画像の３つの第２画像を生成する。

第１学習器は、例えば、多層のニューラルネットワーク（深層学習）で構成することができ、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いることができるが、他の機械学習を用いてもよい。第１学習器は、教師データを用いて検出対象の有無を検出できるよう生成されている。

検出部は、第２画像を第１学習器に入力して検出対象の有無を検出する。第１学習器に入力する第２画像は、少数の候補領域だけが含まれるので、第１学習器の検出精度を高めることができる。また、通常の画像処理では、画像の輝度分布や歪み等の影響で微小な欠陥の検出が困難であるとしても、第１学習器を用いることにより、検出精度が所要の精度になるまで学習させることができ、微小な検出対象を精度よく検出することができる。

本実施の形態に係る検出装置において、前記画像生成部は、前記候補領域抽出部で抽出した候補領域の少なくとも一つを所定画像の所定位置に配置して第２画像を生成する。

画像生成部は、抽出した候補領域の少なくとも一つを所定画像の所定位置に配置して第２画像を生成する。所定画像は、例えば、輝度値が一定の画像（輝度値が高い画像、明るい画像）とすることができる。候補領域は、検出対象候補の形状や大きさに応じて、検出対象候補を囲む矩形状の領域とすることができる。所定位置は、例えば、所定画像の中央（中点）とすることができる。例えば、候補領域の中央が所定画像の中央に一致するように候補領域を配置することができる。

第２画像上での候補領域の位置を、第２画像毎に同じ位置にできるので、候補領域の位置が画像毎にばらつく場合に比べて、微小な検出対象を精度よく検出することができる。

本実施の形態に係る検出装置において、前記検出部は、前記第２画像それぞれを順番に前記第１学習器に入力して検出対象の有無を検出する。

検出部は、第２画像それぞれを順番に第１学習器に入力して検出対象の有無を検出する。例えば、検出候補対象を含む候補領域が５つ抽出された場合、５つの第２画像を順番に第１学習器に入力し、第１学習器は、第２画像毎に検出対象の有無を検出する。これにより、すべての検出候補対象について、検出対象であるか否かを検出することができる。

本実施の形態に係る検出装置において、前記第１学習器は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成してある。

第１学習器は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成してある。検出対象を、例えば、形状や種別に応じて、便宜上、タイプＡ、Ｂ、Ｃ、Ｄと分けたとする。第１ラベル画像は、タイプＡのみが含まれる画像、タイプＢのみが含まれる画像、タイプＣのみが含まれる画像、タイプＤのみが含まれる画像の集合とすることができる。第１学習器は、第１ラベル画像と検出対象ありのラベルとを用いて生成できる。第２ラベル画像は、タイプＡ、Ｂ、Ｃ、Ｄのいずれも含まれない画像の集合とすることができる。第１学習器は、第２ラベル画像と検出対象なしのラベルとを用いて生成できる。

これにより、第２画像に、タイプＡ、Ｂ、Ｃ、Ｄのいずれか一つが含まれている場合、検出対象が存在していることを検出できる。また、第２画像に、タイプＡ、Ｂ、Ｃ、Ｄのいずれも含まれていない場合、検出対象が存在しないことを検出できる。

本実施の形態に係る検出装置は、第２学習器と、前記第１学習器に入力された第２画像のうち、検出対象が検出された第３画像を前記第２学習器に入力して検出対象の種別を検出する種別検出部とを備える。

第２学習器は、例えば、多層のニューラルネットワーク（深層学習）で構成することができ、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いることができるが、他の機械学習を用いてもよい。第２学習器は、教師データを用いて検出対象の種別を検出できるよう生成されている。

種別検出部は、第１学習器に入力された第２画像のうち、検出対象が検出された第３画像を第２学習器に入力して検出対象の種別を検出する。候補領域が含まれる複数の第２画像が第１学習器に入力された場合、第３画像は、第１学習器で検出対象が存在しないと判定された第２画像を除き、第１学習器で検出対象が存在すると判定された第２画像のみを含む。第２学習器を用いることにより、検出対象の種別の検出精度が所要の精度になるまで学習させることができ、微小な検出対象の種別を精度よく検出することができる。

本実施の形態に係る検出装置において、前記種別検出部は、前記第３画像それぞれを順番に前記第２学習器に入力し、同一種別の検出対象の個数を検出する。

種別検出部は、第３画像それぞれを順番に第２学習器に入力し、同一種別の検出対象の個数を検出する。例えば、タイプＤが含まれる３つの第３画像が順番に第２学習器に入力されると、第２学習器は、タイプＤについて３回検出するので、タイプＤの個数を３と検出することができる。これにより、撮像対象の中に存在する微小な検出対象の個数に応じて撮像対象の良否が決まる場合でも、検出対象の個数も検出できるので、撮像対象の良否を判定できる。

本実施の形態に係る検出装置において、前記種別検出部は、前記第３画像を前記第２学習器に入力し、異なる種別の検出対象を検出する。

種別検出部は、第３画像を第２学習器に入力し、異なる種別の検出対象を検出する。例えば、タイプＡ、Ｂ、Ｃ、Ｄが含まれる４つの第３画像が第２学習器に入力された場合、種別検出部は、タイプＡ、Ｂ、Ｃ、Ｄの４つの異なる種別を検出することができる。これにより、検出対象の形状が多種多様であって異なる種別がある場合でも、検出対象の種別を検出できる。

本実施の形態に係る検出装置は、前記第２学習器を複数備え、前記種別検出部は、一の第２学習器に入力された前記第３画像のうち、一の種別が検出された第３画像を除く第４画像を別の第２学習器に入力して前記一の種別と異なる種別を検出する。

第２学習器を複数備える。例えば、異なる種別として、タイプＡ、Ｂがある場合、タイプＡを検出する第２学習器、タイプＢを検出する第２学習器の２つの第２学習器を備えることができる。種別検出部は、一の第２学習器に入力された第３画像のうち、一の種別が検出された第３画像を除く第４画像を別の第２学習器に入力して一の種別と異なる種別を検出する。例えば、タイプＡが含まれる第３画像、及びタイプＢが含まれる第３画像が順番に一の第２学習器に入力され、当該一の第２学習器がタイプＡを検出した場合、タイプＡを除くタイプＢが含まれる第３画像を第４画像として次の第２学習器に入力する。当該次の第２学習器はタイプＢを検出できる。これにより、検出対象の形状が多種多様であって異なる種別がある場合でも、検出対象の種別を検出できる。

本実施の形態に係る検出装置において、前記第２学習器は、検出対象が含まれる第１ラベル画像の前記検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成してある。

第２学習器は、第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成してある。例えば、第１ラベル画像の集合にタイプＡ、Ｂ、Ｃ、Ｄの４つの種別の検出対象が含まれる場合、タイプＡを含むタイプＡレベル画像、タイプＢを含むタイプＢレベル画像、タイプＣを含むタイプＣレベル画像、タイプＤを含むタイプＤレベル画像の４つの集合に分ける。第２学習器は、タイプＡレベル画像の集合と種別がタイプＡであることを示すラベルとを用いて生成し、タイプＢレベル画像の集合と種別がタイプＢであることを示すラベルとを用いて生成し、タイプＣレベル画像の集合と種別がタイプＣであることを示すラベルとを用いて生成し、タイプＤレベル画像の集合と種別がタイプＤであることを示すラベルとを用いて生成することができる。

本実施の形態に係る検出装置は、撮像対象が撮像された入力画像を取得する取得部と、前記取得部で取得した入力画像に所定の欠陥対象が含まれるか否かを判定する判定部とを備え、前記判定部で欠陥対象がないと判定された入力画像を前記第１画像とする。

取得部は、撮像対象が撮像された入力画像を取得する。撮像対象は、被検査対象であり、例えば、太陽電池モジュールの場合、モジュールを構成する各セルとすることができるが、これに限定されない。

判定部は、入力画像に所定の欠陥対象が含まれるか否かを判定する。判定部は、画像処理機能を備え、入力画像に基づいて所定の欠陥対象の有無を判定できる。撮像対象が、セルの場合、所定の欠陥対象は、例えば、単セル異常、断線（フィンガー断線ともいう）、洗浄跡（水跡ともいう）、断線併発ひび等を含むが、これらに限定されない。判定部で欠陥対象がないと判定された入力画像を第１画像とする。これにより、比較的、検出の易しい欠陥を予め除外し、検出が困難な微小な検出対象が含まれる可能性のある画像だけを絞り込んで処理することができる。

本実施の形態に係る学習器は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成された第１学習器と、前記第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成された第２学習器とを備える。

本実施の形態に係る学習器の生成方法は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを取得し、取得された第１ラベル画像及び第２ラベル画像を学習データとして用いて第１学習器を生成し、前記第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて第２学習器を生成する。

学習器は、第１学習器及び第２学習器を備える。第１学習器及び第２学習器は、例えば、多層のニューラルネットワーク（深層学習）で構成することができ、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いることができるが、他の機械学習を用いてもよい。

第１学習器は、検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成してある。検出対象を、例えば、形状や種別に応じて、便宜上、タイプＡ、Ｂ、Ｃ、Ｄと分けたとすると、第１ラベル画像は、タイプＡのみが含まれる画像、タイプＢのみが含まれる画像、タイプＣのみが含まれる画像、タイプＤのみが含まれる画像の集合とすることができる。第１学習器は、第１ラベル画像と検出対象ありのラベルとを用いて生成できる。第２ラベル画像は、タイプＡ、Ｂ、Ｃ、Ｄのいずれも含まれない画像の集合とすることができる。第１学習器は、第２ラベル画像と検出対象なしのラベルとを用いて生成できる。

これにより、第２画像に、タイプＡ、Ｂ、Ｃ、Ｄのいずれか一つが含まれている場合、検出対象が存在していることを検出できる。また、第２画像に、タイプＡ、Ｂ、Ｃ、Ｄのいずれも含まれていない場合、検出対象が存在しないことを検出できる。

第２学習器は、第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成してある。例えば、第１ラベル画像の集合にタイプＡ、Ｂ、Ｃ、Ｄの４つの種別の検出対象が含まれる場合、タイプＡを含むタイプＡレベル画像、タイプＢを含むタイプＢレベル画像、タイプＣを含むタイプＣレベル画像、タイプＤを含むタイプＤレベル画像の４つの集合に分ける。第２学習器は、タイプＡレベル画像の集合と種別がタイプＡであることを示すラベルとを用いて生成し、タイプＢレベル画像の集合と種別がタイプＢであることを示すラベルとを用いて生成し、タイプＣレベル画像の集合と種別がタイプＣであることを示すラベルとを用いて生成し、タイプＤレベル画像の集合と種別がタイプＤであることを示すラベルとを用いて生成することができる。

これにより、第３画像の集合に異なる種別の検出対象が含まれる場合、検出対象の種別を検出できる。

本実施の形態に係る学習器において、前記第１ラベル画像は、検出対象候補が含まれる候補領域の少なくとも一つを含む。

第１ラベル画像は、検出対象候補が含まれる候補領域の少なくとも一つを含む。少なくとも一つとは、多数の候補領域を含まないという意味であり、例えば、一つ、二つ、あるいは三つ程度（少数）とすることができる。例えば、１つの学習用画像に３つの検出対象候補Ａ、Ｂ、Ｃが含まれる場合、第１ラベル画像は、検出対象候補Ａが含まれる画像、検出対象候補Ｂが含まれる画像、検出対象候補Ｃが含まれる画像の３つの画像となる。少数の候補領域だけが含まれるので、第１学習器の検出精度を高めることができる。

本実施の形態に係る学習器において、前記第１ラベル画像は、検出対象候補が含まれる候補領域を所定画像の所定位置に配置してある。

第１ラベル画像は、検出対象候補が含まれる候補領域を所定画像の所定位置に配置してある。所定画像は、例えば、輝度値が一定の画像（輝度値が高い画像、明るい画像）とすることができる。候補領域は、検出対象候補の形状や大きさに応じて、検出対象候補を囲む矩形状の領域とすることができる。所定位置は、例えば、所定画像の中央（中点）とすることができる。例えば、候補領域の中央が所定画像の中央に一致するように候補領域を配置することができる。

第１ラベル画像上での候補領域の位置を、第１ラベル画像毎に同じ位置にできるので、候補領域の位置が画像毎にばらつく場合に比べて、微小な検出対象を精度よく検出することができる。

本実施の形態に係る学習器において、前記所定画像は、背景色が白である。

所定画像は、背景色が白である。これにより、微小な検出対象と背景とのコントラストを高くすることができる。

本実施の形態に係る学習器において、前記第１ラベル画像は、撮像対象が撮像された画像のうち所定の欠陥対象がないと判定された画像である。

第１ラベル画像は、撮像対象が撮像された画像のうち所定の欠陥対象がないと判定された画像である。撮像対象は、被検査対象であり、例えば、太陽電池モジュールの場合、モジュールを構成する各セルとすることができるが、これに限定されない。撮像対象が、セルの場合、所定の欠陥対象は、例えば、単セル異常、断線（フィンガー断線ともいう）、洗浄跡（水跡ともいう）、断線併発ひび等を含むが、これらに限定されない。これにより、比較的、検出の易しい欠陥を予め除外し、検出が困難な微小な検出対象が含まれる可能性のある画像だけを絞り込んで処理することができる。

１ 通信ネットワーク
１０ クライアント装置
５０ 検出装置
５１ 制御部
５２ 入力部
５３ 欠陥判定部
５４ 候補領域抽出部
５５ 記憶部
５６ 画像生成部
５７ 学習器
５７１ 第１学習器
５７２、５７２ａ、５７２ｂ、５７２ｃ、５７２ｎ 第２学習器
５８ 検出部
１００ サーバ

Claims (18)

1. 第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する候補領域抽出部と、
   前記候補領域抽出部で抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する画像生成部と、
   第１学習器と、
   前記画像生成部で生成した第２画像を前記第１学習器に入力して検出対象の有無を検出する検出部と
   を備える検出装置。
2. 前記画像生成部は、
   前記候補領域抽出部で抽出した候補領域の少なくとも一つを所定画像の所定位置に配置して第２画像を生成する請求項１に記載の検出装置。
3. 前記検出部は、
   前記第２画像それぞれを順番に前記第１学習器に入力して検出対象の有無を検出する請求項１又は請求項２に記載の検出装置。
4. 前記第１学習器は、
   検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成してある請求項１から請求項３のいずれか一項に記載の検出装置。
5. 第２学習器と、
   前記第１学習器に入力された第２画像のうち、検出対象が検出された第３画像を前記第２学習器に入力して検出対象の種別を検出する種別検出部と
   を備える請求項１から請求項４のいずれか一項に記載の検出装置。
6. 前記種別検出部は、
   前記第３画像それぞれを順番に前記第２学習器に入力し、同一種別の検出対象の個数を検出する請求項５に記載の検出装置。
7. 前記種別検出部は、
   前記第３画像を前記第２学習器に入力し、異なる種別の検出対象を検出する請求項５又は請求項６に記載の検出装置。
8. 前記第２学習器を複数備え、
   前記種別検出部は、
   一の第２学習器に入力された前記第３画像のうち、一の種別が検出された第３画像を除く第４画像を別の第２学習器に入力して前記一の種別と異なる種別を検出する請求項５又は請求項６に記載の検出装置。
9. 前記第２学習器は、
   検出対象が含まれる第１ラベル画像の前記検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成してある請求項５から請求項８のいずれか一項に記載の検出装置。
10. 撮像対象が撮像された入力画像を取得する取得部と、
    前記取得部で取得した入力画像に所定の欠陥対象が含まれるか否かを判定する判定部と
    を備え、
    前記判定部で欠陥対象がないと判定された入力画像を前記第１画像とする請求項１から請求項９のいずれか一項に記載の検出装置。
11. 検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを学習データとして用いて生成された第１学習器と、
    前記第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて生成された第２学習器と
    を備える学習器。
12. 前記第１ラベル画像は、
    検出対象候補が含まれる候補領域の少なくとも一つを含む請求項１１に記載の学習器。
13. 前記第１ラベル画像は、
    検出対象候補が含まれる候補領域を所定画像の所定位置に配置してある請求項１２に記載の学習器。
14. 前記所定画像は、背景色が白である請求項１３に記載の学習器。
15. 前記第１ラベル画像は、
    撮像対象が撮像された画像のうち所定の欠陥対象がないと判定された画像である請求項１２から請求項１４のいずれか一項に記載の学習器。
16. コンピュータに、
    第１画像を取得する処理と、
    取得した第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出する処理と、
    抽出した候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成する処理と、
    生成した第２画像を第１学習器に入力して検出対象の有無を検出する処理と
    を実行させるコンピュータプログラム。
17. 第１画像を取得し、
    取得された第１画像に対して画像処理を行って検出対象候補が含まれる１又は複数の候補領域を抽出し、
    抽出された候補領域の少なくとも一つが含まれる１又は複数の第２画像を生成し、
    生成された第２画像を第１学習器に入力して検出対象の有無を検出する検出方法。
18. 検出対象が含まれる第１ラベル画像と検出対象が含まれない第２ラベル画像とを取得し、
    取得された第１ラベル画像及び第２ラベル画像を学習データとして用いて第１学習器を生成し、
    前記第１ラベル画像に含まれる検出対象の異なる種別毎に区分された複数の種別ラベル画像を学習データとして用いて第２学習器を生成する学習器の生成方法。

Images