JP7254324B2 - 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法 - Google Patents

Description

本開示は、画像を用いて物体表面のキズや欠陥を検査する画像検査システムに対する調整用（性能評価、機械学習等）の画像を生成する画像生成技術に関する。

検査対象物（ワーク、素形材等）の表面を撮影した画像データを解析し、検査対象表面に存在するキズや欠陥等の瑕疵を検出する画像検査システムがある（特許文献１、２等参照）。

そのような画像検査システムの開発においては、瑕疵の発生原因や形状、色等を分析し、適切な撮像条件を策定すると同時に、検出・判別のための画像処理アルゴリズムを構築する。つまり、検出対象の現象や可視状態をよく理解することが開発の第一歩となる。また、開発過程では、システムの評価が必要で、その信頼性は網羅的かつ充分な量の試験データで担保される側面がある。

ここで問題となるのは，画像処理アルゴリズムを開発するのに必要な、欠陥を含むサンプル画像が、開発時には充分に収集できない場合があることである。例えば、そもそも製造ラインは瑕疵の発生を抑制するように設計されていること、また、ライン運用前では本質的に欠陥が発生しないことから、欠陥を含むサンプル画像の入手は困難である。

また、昨今の機械学習（深層学習）技術の発展により、その学習においても多量のサンプル画像が必要となる。従来、検査用の画像における模擬欠陥は機械加工等によって作製することが多かった。しかし、実際の画像データでは、機械学習のための十分な数のサンプル画像を確保するのは困難であり、そのため、デジタル画像処理によってサンプル画像を生成する手法がとられている。ただし、一般的には元となるサンプル欠陥像の位置・方向・サイズ・鮮鋭度等を変化させた画像をサンプル画像として追加するに留まっている。

特表２０１６－５３２１２１号公報 特開２０１１－２１４９０３号公報

村瀬洋，「画像認識のための生成型学習」，情論，Vol.46，No.SIG 15，pp.35-42(Oct. 2005) 土屋成光，山内悠嗣，藤吉弘亘，「人検出のための生成型学習とNegative-Bag MILBoostによる学習の効率化」，MIRU2012，2012．8

外観検査に限らず、こういったサンプル画像を画像処理技術によって生成・追加する技術は従来から知られている（非特許文献１、２参照）。

ただし、外観検査においては検査対象表面状態(ザラつき，凹凸，陰影等)により、その上に存在するキズ・欠陥像の検出難度は大きく異なる。つまり、上記の文献におけるサンプル画像の生成では、良品素地のバリエーションを担保しつつ、キズ・欠陥の原因に由来する見え方を的確に表現することが困難であった。

本発明は、鋳造・鍛造・プレス・樹脂成型等の素形材表面の画像検査を行う画像検査システムの性能評価や機械学習に使用される画像を生成する装置及び方法を提供する。

本発明の第１の態様において、画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整に使用する模擬検査画像を生成する画像生成装置が提供される。画像生成装置は、検査対象物表面を撮影した原画像と、キズまたは欠陥の形状を示す画像である欠陥画像とを記憶する記憶部と、模擬検査画像を生成する画像生成部と、を備える。画像生成部は、検査対象物表面を撮影した原画像から原画像と類似のテクスチャ特徴を有する素地画像を生成し、素地画像に欠陥画像を合成して模擬検査画像を生成する。

本発明の第２の態様において、コンピュータによって、画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整に使用する模擬検査画像を生成する画像生成方法が提供される。画像生成方法は、検査対象物表面を撮影した原画像と、キズまたは欠陥の形状を示す画像である欠陥画像とを記憶部に格納する第１のステップと、制御部により、原画像から、当該原画像と類似のテクスチャ特徴を有する素地画像を生成する第２のステップと、制御部により、素地画像に欠陥画像を合成し、模擬検査画像を生成する第３のステップと、を含む。

本発明の第３の態様において、上記の画像生成方法をコンピュータに実行させるためのプログラムが提供される。

本発明によれば、画像検査システムの性能評価や学習に使用される検査用画像として、検査対象物表面の本来のテクスチャ特性に類似したテクスチャ特性を有する画像を人工的に多量に生成することができる。よって、例えば、鋳造・鍛造・プレス・樹脂成型等の素形材表面の画像検査を対象とした画像システム（画像検査ソフト）の性能評価や機械学習に必要なサンプル画像を安定的に供給することができる。

本発明の一実施形態の画像生成装置により生成される模擬検査画像の例を示す図 本発明の一実施形態の画像生成装置の構成を示すブロック図 データ記憶装置に格納されたプログラム及びデータを示す図 （Ａ）素地原画像の例を示す図、（Ｂ）素地シード画像の例を示す図 シェーディングパターンの例を示す図 キズ・欠陥代表パターンの例を示す図 模擬検査画像の生成処理の流れを説明した図 素地画像の合成処理を示すフローチャート 素地シード画像からテクスチャ合成により生成された素地画像を説明した図 種々の素地シード画像から合成された素地画像を説明した図 キズ・欠陥画像の合成処理を示すフローチャート キズ・欠陥代表パターンの変形処理を説明した図 キズ・欠陥画像に対して付加する陰影を説明した図 シルエット画像から生成される合成キズ・欠陥画像の例を説明した図 画像生成装置による模擬検査画像の合成処理を示すフローチャート 画像生成装置により生成された模擬検査画像の例を示した図

以下、適宜図面を参照しながら、本発明に係る画像生成装置の一実施の形態を説明する。

（実施の形態１）
本実施の形態の画像生成装置は、画像を用いて検査対象表面のキズや欠陥を検査する画像検査システムの性能評価を行うため又は画像検査システムの機械学習（深層学習）させるために用いる画像（以下「模擬検査画像」という）を生成する装置である。図１に、画像生成装置により生成される模擬検査画像の例を示す。図１に示すように、画像生成装置は、模擬検査画像４０を、キズや欠陥を示すキズ・欠陥画像（前景画像）３９と、検査対象物の素地の状態を示す素地画像（背景画像）３６とを合成して生成する。

１－１．画像生成装置の構成
図２は、本発明の一実施形態の画像生成装置の構成を示した図である。画像生成装置１０は例えばパーソナルコンピュータのような情報処理装置で構成することができる。具体的には、画像生成装置１０は、その全体動作を制御するコントローラ１１と、種々の情報を表示する表示部１３と、ユーザが指示を入力するための操作部１５と、ＲＡＭ１６と、データやプログラムを記憶するデータ記憶部１７とを備える。さらに、画像生成装置１０は、ネットワークに接続するための第１インタフェース１８と、外部機器と接続するための第２インタフェース１９とを備える。

表示部１３は、例えば、液晶ディスプレイや有機ＥＬディスプレイで構成される。操作部１５は、画像生成装置１０に対してユーザが入力操作を行うための装置であり、キーボード、マウス、タッチパネル、ボタン等を含む。

第１インタフェース１８は、有線または無線によってネットワークに接続するためのインタフェース回路（モジュール）である。第１インタフェース１８は、所定の規格（ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１、ＷｉＦｉ等）にしたがいネットワークと通信を行う。

第２インタフェース１９は、外部機器に接続するためのインタフェースであり、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格にしたがい通信を行うための回路（モジュール）である。例えば、第２インタフェース１９を介して、画像生成装置１０に対して、プリンタや外部記憶装置（ＨＤＤ、ＳＳＤ、メモリカード、光ディスク装置等）が接続される。

ＲＡＭ１６は、例えば、ＤＲＡＭやＳＲＡＭ等の半導体デバイスで構成され、データを一時的に記憶するとともにコントローラ１１の作業エリアとして機能する。

データ記憶部１７は所定の機能を実現するために必要なパラメータ、データ及び制御プログラム等を記憶する記録媒体である。データ記憶部１７は例えばハードディスク（ＨＤＤ）や半導体記憶装置（ＳＳＤ）及び／または光ディスク装置で構成することができる。

コントローラ１１（画像生成部、制御部の一例）は、制御プログラム３０（ソフトウェア）を実行することで後述する画像生成機能を実現する。本実施形態では、データ記憶部１７に制御プログラムとして、画像生成プログラムが予め実装されている。コントローラ１１はこの画像生成プログラムを実行することにより後述の機能を実現する。

コントローラ１１により実行される制御プログラムは、ＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ等の記録媒体によって提供されてもよいし、通信回線を介してネットワーク上のサーバからダウンロードされてもよい。また、本実施の形態では、コントローラ１１の機能は、ハードウェアとソフトウェア（アプリケーションプログラム）の協働により実現するが、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。よって、コントローラ１１は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等で構成することができる。

１－１－１．各種画像データ
図３は、データ記憶部１７に格納されるプログラムやデータを説明した図である。データ記憶部１７は、画像生成装置１０の機能を実現する制御プログラムである画像生成プログラム３０と、画像生成に用いる種々の画像データ３３～３９とを格納する。なお、これらの画像データ３３～３９は、第１インタフェース１８を介して接続されたネットワーク上のサーバや、第２インタフェース１９を介して接続された外部記憶装置から提供されてもよい。また、データ記憶部１７は、最終的に生成される模擬検査画像データ４０も格納する。

図４（Ｂ）に、その原画像から生成される素地シード画像の例を示す。素地シード画像３３は、素地画像３６を生成するために使用される画像である。素地シード画像３３は、実際の検査対象物の表面を撮影した原画像から、その一部の矩形領域を切り出して生成される。図４（Ａ）に、検査対象物としてフライパンの表面を撮影した原画像の例を示す。図４（Ａ）に示す素地原画像３２から、その一部の矩形領域Ｒ１～Ｒ３を切り出し、図４（Ｂ）に示すような素地シード画像３３ａ～３３ｃが生成される。この矩形領域の選択においては、シェーディングの状態を考慮してもよい。矩形領域のシェーディングの状態に応じて、合成後の模擬検査画像４０においてもシェーディングを発生させることができる。矩形領域の位置は適宜選択できる。

図５は、シェーディングパターン３４の例を示す図である。シェーディングパターン３４は陰影（シェーディング）の情報のみを含む画像である。最終的な模擬検査画像４０において陰影（シェーディング）を付与するための画像である。シェーディングパターン３４は、実際の検査画像において含まれる、照明方向や、部品の傾き、部品の形状による陰を擬似的に表現するためのものである。

図６は、キズ・欠陥代表パターン３５の例を示す。画像生成装置１０は、様々なキズや欠陥の代表的なシルエット形状（二次元形状）を示す画像を、キズ・欠陥代表パターン３５としてデータ記憶部１７に保持している。図６に示す代表パターン３５のそれぞれから複数のキズ・欠陥画像３９を生成することができる。キズ・欠陥代表パターン３５の形状として、例えば、きょう雑物測定図表に記載された形状を使用できる。

１－２．画像生成装置の動作
以上のように構成される画像生成装置１０について、その動作を以下説明する。

１－２－１．概要
図７は、本実施の形態の画像生成装置１０による模擬検査画像４０の生成処理の流れの概要を説明した図である。前述の通り、従来、外観検査用の検査システムの評価や学習に用いられる模擬検査画像の生成手法としては、背景画像に自裁の画像をそのまま合成したり、前景と背景を同時に画像変換したりするものが多かった。これに対して、本実施の形態では、模擬検査画像の生成において、前景(キズ・欠陥画像３９)と背景(素地画像３６)をそれぞれ合成し、それらを組み合わせることで、模擬検査画像４０を生成する。

１－２－２．素地画像の合成
模擬検査画像における背景となる素地画像３６の合成処理について説明する。検査対象物の表面は、検査対象物の製造方法に由来したテクスチャを有する。すなわち、検査対象物の表面を撮像した画像は、領域毎に、画像データとしては異なるが、テクスチャ特徴に関しては同一の特徴を有する。本実施の形態では、背景となる素地画像の生成にコンピュータグラフィック技術のテクスチャ合成法を応用する。テクスチャ合成法としては、ピクセルベース法、パッチベース法、最適化ベース法、座標ベース法等がある。本実施の形態では、テクスチャ合成法として、“Fast Texture Synthesis using Tree-structured Vector Quantization”, Li-Yi Wei, and M.Levoy, SIGGRAPH(2000)（以下「非特許文献１」という）に記載されたピクセルベース法を用いる。いずれのテクスチャ合成法を用いるかは、対象とする外観検査に依存して決定すればよい。

図８のフローチャートを参照して、画像生成装置１０による素地画像３６の合成処理を説明する。なお、画像生成装置１０は、本処理を開始する前に、検査対象表面を撮影した生成された素地原画像３２の画像データをデータ記憶部１７またはＲＡＭ１６に記憶しているとする。

ユーザは、操作部１５を介して素地原画像３２の領域において矩形領域を設定する。矩形領域は、１つだけ設定されてもよいし、複数設定されても良い。合成時に素地原画像３２においてどの矩形領域を選択または合成するかは任意に設定できる。コントローラ１１は、ユーザにより設定された矩形領域を読み込み（Ｓ２１）、素地原画像３２から矩形領域の部分を切り出して素地シード画像３３を生成する（Ｓ２２）。切り出された素地シード画像３３はデータ記憶部１７（またはＲＡＭ１６）に記憶される。コントローラ１１は、素地シード画像３３からテクスチャ合成法を用いて素地画像３６を生成する（Ｓ２３）。本実施の形態の手法では、素地シード画像３３を拡大、縮小しないため、素地のテクスチャ情報が劣化せず、元の素地に近いテクスチャ特性を持つ素地画像３６を得ることができる。

図９は、素地シード画像３３からテクスチャ合成により生成された素地画像３６の例を示した図である。同図に示すように、１つの素地シード画像３３（図９（Ａ）参照）から、テクスチャ合成のパラメータを適宜設定することで、素地シード画像３３のテクスチャに類似するが、それとは異なるテクスチャを有する複数の素地画像３６（図９（Ｂ）参照）が生成される。

図１０は、様々なテクスチャを有する素地シード画像３３からテクスチャ合成により合成された素地画像３６の例を説明した図である。図１０（Ａ）は、鋳肌のテクスチャを有する素地シード画像３３から生成された素地画像３６の例を示す。図１０（Ｂ）は、鋳造肌のテクスチャを有する素地シード画像３３から生成された素地画像３６の例を示す。図１０（Ｃ）は、繊維のテクスチャを有する素地シード画像３３から生成された素地画像３６の例を示す。図１０（Ｄ）は、合板のテクスチャを有する素地シード画像３３から生成された素地画像３６の例を示す。

１－２－３．キズ・欠陥画像の合成
キズ・欠陥画像３９の合成処理について説明する。キズ・欠陥画像３９は、キズ・欠陥代表パターン３５を変形することによって生成する。さらには、キズ・打痕等、表面が立体的に変化する瑕疵と、シミ・汚れ等，表面に付着するもの、あるいは表面に埋もれている瑕疵等、現象は様々である。そこで、本実施の形態では、まず、キズ・欠陥のシルエット形状に着目する。つまり、キズ・欠陥の二次元形状を示す画像（キズ・欠陥シルエット画像）３８を生成する。二次元形状を示す画像３８が生成できれば，想定する瑕疵の状態に応じてその図形内部に陰影・ムラを付加する。キズ・欠陥画像の合成においてもコンピュータグラフィック技術におけるテクスチャ合成法の利用が考えられる。特に大まかに共通した構造を持つ幾つかのサンプル画像から、いずれのサンプル画像とも微妙に異なる画像のバリエーションを合成する手法が有効である。

図１１は、キズ・欠陥画像３９の合成処理を示すフローチャートである。
コントローラ１１はまず、キズ・欠陥代表パターン３５のそれぞれを変形して複数のキズ・欠陥シルエット画像３８を生成する（Ｓ３１）。具体的には、各キズ・欠陥代表パターン３５をアフィン変換処理して、形状、大きさ、向きが異なる複数のキズ・欠陥シルエット画像３８を生成する。例えば、図１２に示すように、１つのキズ・欠陥代表パターン３５ｂをアフィン変換処理して変形することにより、複数の異なるキズ・欠陥シルエット画像３８ａ～３８ｄ、・・・を生成する。すなわち、キズ・欠陥代表パターン３５からより多くのキズ・欠陥シルエット画像３８を生成することができる。

最後に、コントローラ１１は、キズ・欠陥シルエット画像３８のそれぞれに対して陰影やムラを付加し、キズ・欠陥画像３９を生成する（Ｓ３２）。ここで、図１３を参照して、画像に付加する陰影について説明する。

図１３（Ａ）～（Ｄ）は、検査対象物６１と視点６２と照明６３の位置関係による検査対象物６１の表面に形成されたキズ（または欠陥）６４の見え方の違いを説明した図である。

検査対象６１に対する照明６３の方向や角度及び視点６２の位置により、キズ６４の見え方は何パターンも存在する。図１３では４つのパターンを例示している。図１３（Ａ）は、検査対象物６１に対して斜め方向からキズ６４を見たときの、キズ６４の見え方を示す。この場合、画像３９ａに示すように、キズ６４は、キズの左側は白っぽく、右側は黒っぽく見える。図１３（Ｂ）は、図１３（Ａ）とは逆方向からキズ６４を見たときの見え方の例を示す。この場合、画像３９ｂに示すように、キズは、キズの左側は黒っぽく、右側は白っぽく見える。図１３（Ｃ）は、検査対象物６１を傾けるとともに、検査対象物６１のほぼ正面からキズ６４を見たときの見え方の例を示す。この場合、画像３９ｃに示すように、キズ６４は、キズの中心部ほど白く見える。図１３（Ｄ）は、図１３（Ｃ）とは異なる素材で形成された検査対象物６１のキズを見たときの見え方の例を示す。この場合、画像３９ｄに示すように、キズはキズの中心部ほど黒く見える。

このように、同じ形状のキズ６４であっても、検査対象６１に対する照明６３や視点６２の相対的な位置関係に応じて、キズ６４に対する陰影の付き方が異なり、キズ６４の見え方が異なる。そこで、このような陰影を考慮して、同一形状のキズ６４に対して種々の陰影を付してキズ・欠陥画像３９を生成する。図１４に、以上の方法で生成されたキズ・欠陥画像３９の例を示す。同図において、キズ・欠陥シルエット画像３８から、異なる陰影やムラが付されたキズ・欠陥画像３９ｘ、３９ｙが生成されている。

１－２－４．模擬検査画像の合成
以上のようにして背景となる素地画像３６とキズ・欠陥画像３９とがそれぞれ生成されると、それらの画像３６、３９と、シェーディングパターン３４とを組み合わせて模擬検査画像４０を生成する。

図１５のフローチャートを参照して、画像生成装置１０における模擬検査画像４０の生成動作を説明する。なお、本処理が開始される前に素地画像３６及びキズ・欠陥画像３９はデータ記憶部１７内に格納されているとする。

画像生成装置１０のコントローラ１１は、データ記憶部１７に記憶された複数の素地画像３６の中から１つを取得する（Ｓ１１）。さらに、コントローラ１１は、データ記憶部１７に記憶された複数のシェーディングパターン３４の中から１つを取得する（Ｓ１２）。さらに、コントローラ１１は、データ記憶部１７に記憶された複数のキズ・欠陥画像３９の中から１つを取得する（Ｓ１３）。そして、コントローラ１１は、取得した素地画像３６とキズ・欠陥画像３９とシェーディングパターン３４とを合成して模擬検査画像４０を生成する（Ｓ１４）。

素地画像３６にキズ・欠陥画像３９を合成（重畳）する際は、マスク処理によってキズ・欠陥画像３９及びその輪郭付近の輝度を調整し、前景（キズ・欠陥画像）が目立たないようにする。例えば、Poisson Blendingによって前景と背景を馴染ませる技術が知られている。キズや欠陥の種類によって重畳方法は適宜変更してもよい。

上記では、素地画像３６とキズ・欠陥画像３９の合成完了後に、それらの画像を合成する手法を説明したが、それぞれの画像の合成処理の中間段階において両画像を合成してもよい。具体的には、テクスチャ合成における初期ランダムノイズ画像に陰影・ムラを付加したキズ・欠陥画像等を先に重畳しておき、背景と前景を同時に合成する。これによって、素地画像３６とキズ・欠陥画像３９の境界が目立たない、自然な印象の模擬検査画像４０を生成できる。

以上、素地画像３６とキズ・欠陥画像３９の合成方法を二通り提示したが、それぞれの手法の選択やパラメータの設定は、瑕疵（キズ、欠陥）の種類によって適宜変更すればよい。

その後、コントローラ１１は、データ記憶部１７に記憶されている素地画像３６とキズ・欠陥画像３９とシェーディングパターン３４との全ての組み合わせについて模擬検査画像４０が生成されたか否かを判定する（Ｓ１５）。一部の組み合わせについて模擬検査画像４０が生成されていない場合（Ｓ１５でＮＯ）、コントローラ１１は、ステップＳ１１に戻り、他の組み合わせについて、上述したステップＳ１１～Ｓ１４の処理を実施する。コントローラ１１は、全ての組み合わせについて模擬検査画像４０が生成される（Ｓ１５でＹＥＳ）まで、上述したステップＳ１１～Ｓ１４の処理を実施する。

以上の処理により、データ記憶部１７においてｌ個の素地画像３６と、ｍ個のキズ・欠陥画像３９と、ｎ個のシェーディングパターン３４とが格納されている場合、最終的に、ｌ×ｍ×ｎ個の模擬検査画像４０が生成される。図１６は、以上のようにして最終的に生成される模擬検査画像４０の例を示した図である。同図中、白色矢印は、キズまたは欠陥を表す画像を指し示している。同図において、左上隅の画像４０ａのみが実際の欠陥を撮影した画像であり、その他は合成した画像である。同図より、鋳肌のザラツキ感、欠陥の形状・濃度、全体的なシェーディングが表現できていることが分かる。

１－３．ＣＮＮを用いた評価
具体的には、本実施の形態で開示した手法により生成した模擬検査画像４０を学習データとして学習させたＣＮＮ(Convolutional Neural Network)の識別性能を確認した。原画像を良品・不良品とも５つずつ準備し、それらの画像から１０００の学習データを生成して、二つのＣＮＮを学習させた。一方のＣＮＮは、本実施の形態の手法により生成した学習データを用いて学習させた。他方のＣＮＮは対比用であり、原画像の回転・平行移動・拡大縮小等のアフィン変換により生成された学習データを用いて学習させた。二つのＣＮＮの構成、パラメータは共通とした。学習後、２０００のテスト画像で良・不良の判定実験を行った。本実施の形態の手法で生成したデータを用いて学習したＣＮＮの正答率は９７．４％であった。一方、アフィン変換で生成したデータを用いて学習したＣＮＮの正答率は９４．７％であった。後者は、簡易的な機械学習における手法であるが、元画像全体、つまり素地も含めて変形するため、性能が低下したと考えられる。すなわち、本実施の形態の手法の方が、ＣＮＮの学習に適したより良質な学習データを提供できていると考えられる。

１－４．効果等
以上のように、本実施の形態の画像生成装置１０は、画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整（評価、機械学習（深層学習）等）に使用する模擬検査画像４０を生成する装置である。画像生成装置１０は、検査対象物表面を撮影した素地原画像３２（本発明の素地画像の一例）と、キズまたは欠陥の形状を示す画像であるキズ・欠陥画像３９（本発明の欠陥画像の一例）とを記憶するデータ記憶部１７（本発明の記憶部の一例）と、模擬検査画像を生成するコントローラ１１（本発明の画像生成部の一例）と、を備える。コントローラ１１は、検査対象物表面を撮影した素地原画像３２から原画像と類似のテクスチャ特徴を有する素地画像３６を生成し、素地画像３６にキズ・欠陥画像３９を合成して模擬検査画像４０（本発明の模擬検査画像の一例）を生成する。

上記の構成を有する画像生成装置１０によれば、検査対象物表面を撮影した素地原画像３２から、それと類似のテクスチャ特性を持つ素地画像３６を生成し、模擬検査画像４０の背景となる画像として使用するため、検査対象物表面の本来のテクスチャ特性と類似する検査用画像を生成することができる。よって、そのような模擬検査画像４０を使用して、画像検査システムの性能評価や学習を行うことによって、検査精度を向上した画像検査システムを提供することができる。また、素地画像３６とキズ・欠陥画像３９の組み合わせの数だけ、模擬検査画像４０を生成することができ、多量に検査用の画像データを生成することができる。よって、画像検査システムの性能評価や機械学習（深層学習）に必要な精度のよいサンプル画像を安定して多量に供給することができる。

（他の実施の形態）
上記の実施の形態は、本発明の一つの具体的な実施の形態を示したものであり、本発明は上記の実施の形態の内容に限定されるものではない。本発明を適用する具体的な例は、上記の実施の形態の内容に限定されず、上述した構成要素において適宜、変更、置換、付加、省略などを行うことができる。

例えば、上記の実施の形態では、模擬検査画像４０の合成に使用する、素地原画像３２、素地画像３６、キズ欠陥画像３９等の各種画像データをデータ記憶部１７に格納した例を説明したが、各種画像データ３２、・・・はＲＡＭ１６に記憶してもよい。また、模擬検査画像４０の合成に使用する各種画像データは、画像生成装置１０において常に保持される必要はない。画像生成装置１０は、必要に応じて、各種画像データを外部の記憶装置やクラウド上から取得すればよい。

また、図５、６等に示すシェーディングパターン３４やキズ・欠陥代表パターン３５の例も一例であり、他の種々のバリエーションが考えられる。

また、上記の実施の形態では、素地画像の合成処理（図８）と、キズ・欠陥画像の合成処理（図１１）と、模擬検査画像の合成処理（図１５）とをそれぞれ独立して実行する例を説明した。これらの処理を互いに連携した一連の処理として実行させてもよい。

また、上記の実施の形態では、素地画像３６と、キズ・欠陥画像３９と、シェーディングパターン３４とを合成して模擬検査画像４０を生成したが、シェーディングパターン３４は必ずしも合成に必要ではない。素地画像３６とキズ・欠陥画像３９とのみを合成して模擬検査画像４０を生成してもよい。

（本開示）
上述の開示は以下の技術思想を開示する。

（１）画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整に使用する模擬検査画像（４０）を生成する装置（１０）であって、
検査対象物表面を撮影した原画像（３２）と、キズまたは欠陥の形状を示す画像である欠陥画像（３９）とを記憶する記憶部（１６、１７）と、
模擬検査画像を生成する画像生成部（１１）と、を備え、
画像生成部は、検査対象物表面を撮影した原画像（３２）から原画像と類似のテクスチャ特徴を有する素地画像（３６）を生成し、素地画像に欠陥画像（３９）を合成して模擬検査画像（４０）を生成する、
画像生成装置。

（２）（１）の画像生成装置において、画像生成部は、原画像（３２）の一部の領域を切り出した画像（３３）を用いてテクスチャ合成をすることにより、素地画像（３６）を生成してもよい。

（３）（１）の画像生成装置において、欠陥画像（３９）は、キズまたは欠陥の見え方を考慮して設定された陰影を付加して生成された画像であってもよい。

（４）（１）～（３）のいずれかの画像生成装置において、記憶部は複数の欠陥画像を記憶してもよい。画像生成部は、素地画像に対して複数の欠陥画像のそれぞれを合成して、複数の模擬検査画像を生成してもよい。

（５）（４）の画像生成装置において、記憶部は、キズまたは欠陥に関する所定の形状を示す画像である欠陥パターン画像（３５）を格納してもよい。画像生成部は、欠陥パターン画像（３５）を種々の方法（例えば、アフィン変換処理）で変形することにより複数の欠陥画像（３９）を生成してもよい。

（６）（１）～（５）のいずれかの画像生成装置において、画像生成部は、素地画像（３６）と、欠陥画像（３９）と、さらに、陰影情報のみを含むシェーディングパターン画像（３４）とを合成することで、模擬検査画像（４０）を生成してもよい。

（７）（１）～（６）のいずれかの画像生成装置において、模擬検査画像は、例えば、画像検査システムの性能評価または学習に使用するための画像である。

上記の実施の形態は下記の画像生成方法を開示する。
（８）コンピュータによって、画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整に使用する模擬検査画像（４０）を生成する方法であって、
検査対象物表面を撮影した原画像（３２）と、キズまたは欠陥の形状を示す画像である欠陥画像（３９）とを記憶部（１６、１７）に格納する第１のステップと、
制御部（１１）により、原画像（３２）から、当該原画像と類似のテクスチャ特徴を有する素地画像（３６）を生成する第２のステップと、
制御部（１１）により、素地画像に欠陥画像を合成し、模擬検査画像（４０）を生成する第３のステップと、を含む。

（９）（８）の画像生成方法において、制御部により、原画像の一部の領域を切り出し、切り出した画像（３３）を用いてテクスチャ合成をすることにより、素地画像を生成してもよい。

（１０）（８）の画像生成方法において、制御部により、欠陥画像（３９）は、キズまたは欠陥の見え方を考慮して設定された陰影を付加して生成されてもよい。

（１１）（８）～（１０）のいずれかの画像生成方法において、複数の欠陥画像（３９）を前記記憶部に格納してもよい。制御部により、素地画像に対して複数の欠陥画像（３９）のそれぞれを合成することにより、複数の模擬検査画像（４０）を生成してもよい。

（１２）（１１）の画像生成方法において、制御部により、キズまたは欠陥に関する所定の形状を示すパターン画像（３５）を種々の方法で変形することにより複数の欠陥画像を生成してもよい。

（１３）（８）～（１２）のいずれかの画像生成方法において、制御部により、素地画像と、欠陥画像と、さらに、陰影情報のみを含むシェーディングパターン画像（３４）とを合成して、模擬検査画像を生成してもよい。

（１４）（８）～（１３）のいずれかの画像生成方法において、模擬検査画像は、例えば、画像検査システムの性能評価または学習に使用するための画像である。

（１５）上記の実施の形態は、上記（８）～（１４）のいずれかの画像生成方法をコンピュータに実行させるためのプログラムを開示している。

上述した実施の形態は、本開示における技術を例示するためのものであり、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本発明は、画像に基づき物体表面のキズや欠陥を検査する検査装置の評価、学習に使用するための画像データを生成する装置に適用できる。

１０ 画像生成装置
１１ コントローラ
１３ 表示部
１５ 操作部
１６ ＲＡＭ
１７ データ記憶部
１８ 第１インタフェース
１９ 第２インタフェース
３２ 素地原画像
３３ 素地シード画像
３４ シェーディングパターン
３５ キズ・欠陥代表パターン
３６ 素地画像
３８ キズ・欠陥シルエット画像
３９ キズ・欠陥画像
４０ 模擬検査画像

Claims (13)

1. 画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整に使用する模擬検査画像を生成する装置であって、
   検査対象物表面を撮影した原画像と、キズまたは欠陥の形状を示す画像である欠陥画像とを記憶する記憶部と、
   前記模擬検査画像を生成する画像生成部と、を備え、
   前記画像生成部は、前記検査対象物表面を撮影した原画像の一部の矩形領域を切り出した画像を用いてテクスチャ合成を行い、前記原画像の有するテクスチャ特徴と類似するがそれとは異なるテクスチャ特徴を有する素地画像を生成し、更に、前記素地画像に前記欠陥画像を合成して前記模擬検査画像を生成する、
   画像生成装置。
2. 前記欠陥画像は、キズまたは欠陥の見え方を考慮して設定された陰影を付加して生成された画像である、請求項１記載の画像生成装置。
3. 前記記憶部は複数の欠陥画像を記憶し、
   前記画像生成部は、前記素地画像に対して複数の欠陥画像のそれぞれを合成して、複数の模擬検査画像を生成する
   請求項１～２のいずれかに記載の画像生成装置。
4. 前記記憶部は、キズまたは欠陥に関する所定の形状を示す画像である欠陥パターン画像を格納し、
   前記画像生成部は、前記欠陥パターン画像を種々の方法で変形することにより複数の欠陥画像を生成する、
   請求項３に記載の画像生成装置。
5. 前記画像生成部は、前記素地画像と、前記欠陥画像と、さらに、陰影情報のみを含むシェーディングパターン画像とを合成することで、前記模擬検査画像を生成する、請求項１～４のいずれかに記載の画像生成装置。
6. 前記模擬検査画像は、前記画像検査システムの性能評価または学習に使用するための画像である、請求項１～５のいずれかに記載の画像生成装置。
7. コンピュータによって、画像を用いて検査対象物表面のキズまたは欠陥を検査する画像検査システムの性能の調整に使用する模擬検査画像を生成する方法であって、
   検査対象物表面を撮影した原画像と、キズまたは欠陥の形状を示す画像である欠陥画像とを記憶部に格納する第１のステップと、
   制御部により、前記原画像の一部の領域を切り出した画像を用いてテクスチャ合成を行い、前記原画像から、当該原画像の有するテクスチャ特徴と類似するがそれとは異なるテクスチャ特徴を有する素地画像を生成する第２のステップと、
   前記制御部により、前記素地画像に前記欠陥画像を合成し、前記模擬検査画像を生成する第３のステップと、を含む、
   画像生成方法。
8. 前記制御部により、前記欠陥画像は、キズまたは欠陥の見え方を考慮して設定された陰影を付加して生成される、請求項７記載の画像生成方法。
9. 複数の欠陥画像を前記記憶部に格納し、
   前記制御部により、前記素地画像に対して複数の欠陥画像のそれぞれを合成することにより、複数の模擬検査画像を生成する
   請求項７～８のいずれかに記載の画像生成方法。
10. 前記制御部により、キズまたは欠陥に関する所定の形状を示すパターン画像を種々の方法で変形することにより複数の欠陥画像を生成する、
    請求項９記載の画像生成方法。
11. 前記制御部により、前記素地画像と、前記欠陥画像と、さらに、陰影情報のみを含むシェーディングパターン画像とを合成して、前記模擬検査画像を生成する
    請求項７～１０のいずれかに記載の画像生成方法。
12. 前記模擬検査画像は、前記画像検査システムの性能評価または学習に使用するための画像である、請求項７～１１のいずれかに記載の画像生成方法。
13. 請求項７～１２のいずれかに記載の画像生成方法をコンピュータに実行させるためのプログラム。

Images