JP7137487B2 - 画像評価装置及び方法 - Google Patents

Description

本発明は、欠陥画像における機械学習モデルの注目領域と、欠陥物体の位置情報との比較による画像評価装置及びその方法に関する。

近年、半導体検査等の分野で画像から特徴量を抽出し、事前にデータベース等に登録されている情報と比較照合することで対象物を判別する画像解析技術が用いられている。

係る画像解析技術の一例として特許文献１に記載の手法が知られている。特許文献１によれば、機械学習手段の適用により入力画像から特定パターンを強調した出力画像を出力することができる。

また対象物を判別する機械学習手段の具体的な機械学習のアルゴリズムとして、ニューラルネットワークやサポートベクターマシンが知られている。但し、いずれの方法もどのような特徴量を選ぶかによって識別精度が大きく変動するため、特徴量の選択方法が重要となっていた。

この点に関して、近年では、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；畳み込みニューラルネットワーク）と呼ばれる深層学習器が開発され、注目されている。ＣＮＮは機械学習器の一種であり、画像の特徴を深層学習モデルが自動学習し、画像に含まれた物体像の抽出や、物体の判別、画像の分類等を行うものである。

ＣＮＮによれば、従来のサポートベクターマシン等の機械学習で必要とされた特徴量の選択を学習データから自動抽出することができ、非常に高い画像解析性能を発揮する。

特開２００５－３４２１１号公報

このようにＣＮＮは高い認識性能を持つが、反面において学習した種類以外の未知種類の画像に対しても強く反応してしまい、高い確信度で誤認識することが多いという問題を内包している。

具体的には例えばＣＮＮの半導体製造ラインへの適用に際し、半導体の製造ラインで発見する一部の欠陥の発生頻度が低いため、大量に集めて、学習させることが困難である。そのため、教示データに含まれていない未知欠陥を見落とす恐れがあるという問題がある。

このように、機械学習を半導体の画像検査に活用する場合、学習済みのモデルが教示データに含まれてない未知種類の欠陥画像に強く反応し、高い確信度で誤認識する恐れがある。これにより、致命的な欠陥を見逃し、歩留りの低下をもたらす可能性がある。このため、未知欠陥を検出する手段が求められている。

以上のことから本発明においては、未知欠陥を検出でき、機械学習モデルの誤認識を防ぐことが可能な画像評価装置及び方法を提供することを目的とする。

以上のことから本発明においては、「電子デバイスの欠陥画像における欠陥情報を機械学習による識別器を用いて識別する画像評価装置であって、電子デバイスの欠陥画像を格納する画像記憶部と、欠陥画像における欠陥領域情報を格納する欠陥領域記憶部と、欠陥情報を機械学習により識別する識別器と、欠陥画像の識別処理の過程で、識別器が注目する注目画像情報を抽出する画像抽出部と、注目画像情報と欠陥領域情報を比較して、欠陥画像の識別可能性を評価する評価部とを備えることを特徴とする画像評価装置」としたものである。

また本発明においては、「電子デバイスの欠陥画像における欠陥情報を、複数の機械学習による識別器を用いて識別する画像評価装置であって、電子デバイスの欠陥画像を格納する画像記憶部と、欠陥情報を機械学習により識別する複数の識別器と、欠陥画像の識別処理の過程で、複数の識別器が注目する複数の注目画像情報を抽出する画像抽出部と、複数の注目画像情報を比較して、複数の識別器を評価する評価部とを備えることを特徴とする画像評価装置。」としたものである。

また本発明においては、「電子デバイスの欠陥画像における欠陥情報を機械学習による識別器を用いて識別する画像評価方法であって、電子デバイスの欠陥画像を格納し、欠陥画像における欠陥領域情報を格納し、欠陥画像の識別処理の過程で、識別器が注目する注目画像情報を抽出し、注目画像情報と欠陥領域情報を比較して、欠陥画像の識別可能性を評価することを特徴とする画像評価方法。」としたものである。

また本発明においては、「電子デバイスの欠陥画像における欠陥領域情報を、複数の機械学習による識別器を用いて識別する画像評価方法であって、電子デバイスの欠陥画像を格納し、欠陥画像の識別処理の過程で、複数の識別器が注目する複数の画像情報を抽出し、複数の注目画像情報を比較して、複数の識別器を評価することを特徴とする画像評価方法。」としたものである。

本発明によれば、未知欠陥を検出でき、機械学習モデルの誤認識を防ぐことが可能になる。

画像評価部を備えた画像評価装置の実施例を示す図。 中心点比較による画像領域比較部の実施例を示す図。 矩形領域比較による画像領域比較部の実施例を示す図。 欠陥検出部を備えた画像評価装置の実施例を示す図。 複数の機械学習モデルを比較する画像評価装置の実施例を示す図。 モデル再学習部を備えた画像評価装置の実施例を示す図。 画像評価方法の処理フローの実施例を示す図。 評価結果表示部を備えた画像評価装置の実施例を示す図。 評価結果表示部における表示例を示す図。 半導体検査システムの一例を説明する図。 走査電子顕微鏡の概略説明図。 機械学習モデルの学習法を示す図。

以下本発明の実施例について図面を参照して詳細に説明する。

本発明の画像評価装置は、画像を取り扱う広範な技術分野において適用可能であるが、以下に示す本発明の実施例においては、機械学習を活用した半導体検査での未知欠陥の誤認識を防ぐための画像評価装置及び方法を例示している。また、その具体的な一例として、学習済みの機械学習モデルと欠陥物体の領域情報を用いて、未知欠陥を検出する例を示す。

そのため本明細書においては、まず図１０、図１１を用いて半導体検査の前提となる技術を説明し、その後実施例について図１から図９を用いて説明を行うものとする。

以下に、機械学習を活用した半導体検査での未知欠陥検出機能を備えた装置、測定検査システムについて、図１０、図１１を用いて説明する。より具体的には、測定装置の一種である測長用走査電子顕微鏡（Ｃｒｉｔｉｃａｌ Ｄｉｍｅｎｓｉｏｎ－Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：以下においてはＣＤ－ＳＥＭあるいは単にＳＥＭと称する）を含む装置、システムについて説明する。

なお、以下の説明では、画像を形成する装置として荷電粒子線装置を例示すると共に、その一態様として、ＳＥＭを用いた例を説明するが、これに限られることはなく、例えば試料上にイオンビームを走査して画像を形成する集束イオンビーム（Ｆｏｃｕｓｅｄ Ｉｏｎ Ｂｅａｍ：以下においてはＦＩＢと称する）装置を荷電粒子線装置として採用するようにしても良い。但し、微細化が進むパターンを高精度に測定するためには、極めて高い倍率が要求されるため、一般的に分解能の面でＦＩＢ装置に勝るＳＥＭを用いることが望ましい。

図１０は、複数の測定、或いは検査装置がネットワークに接続された半導体検査システムの概略説明図である。当該システムには、主に半導体ウエハやフォトマスク等のパターン寸法を測定するＣＤ－ＳＥＭ２４０１、試料に電子ビームを照射することによって、画像を取得し当該画像と予め登録されている参照画像との比較に基づいて欠陥を抽出する欠陥検査装置２４０２がネットワークＮＷに接続された構成となっている。

また、ネットワークＮＷには、半導体デバイスの設計データ上で、測定位置や測定条件等を設定する条件設定装置２４０３、半導体デバイスの設計データと、半導体製造装置の製造条件等に基づいて、パターンの出来栄えをシミュレーションするシミュレーター２４０４、及び半導体デバイスのレイアウトデータや製造条件が登録された設計データが記憶される記憶媒体２４０５が接続されている。

設計データは例えばＧＤＳフォーマットやＯＡＳＩＳフォーマットなどで表現されており、所定の形式にて記憶されている。なお、設計データは、設計データを表示するソフトウェアがそのフォーマット形式を表示でき、図形データとして取り扱うことができれば、その種類は問わない。また、記憶媒体２４０５は測定装置、検査装置の制御装置、或いは条件設定装置２４０３、シミュレーター２４０４内蔵するようにしても良い。

なお、ＣＤ－ＳＥＭ２４０１、及び欠陥検査装置２４０２には、それぞれの制御装置が備えられ、各装置に必要な制御が行われるが、これらの制御装置に、上記シミュレーターの機能や測定条件等の設定機能を搭載するようにしても良い。

ＳＥＭでは、電子源より放出される電子ビームが複数段のレンズにて集束されると共に、集束された電子ビームは走査偏向器によって、試料上を一次元的、或いは二次元的に走査される。

電子ビームの走査によって試料より放出される二次電子（Ｓｅｃｏｎｄａｒｙ Ｅｌｅｃｔｒｏｎ：以下においてはＳＥと称する）或いは後方散乱電子（Ｂａｃｋｓｃａｔｔｅｒｅｄ Ｅｌｅｃｔｒｏｎ：以下においてはＢＳＥと称する）は、検出器により検出され、前記走査偏向器の走査に同期して、フレームメモリ等の記憶媒体に記憶される。このフレームメモリに記憶されている画像信号は、制御装置内に搭載された演算装置によって積算される。また、走査偏向器による走査は任意の大きさ、位置、及び方向について可能である。

以上のような制御等は、各ＳＥＭの制御装置にて行われ、電子ビームの走査の結果、得られた画像や信号は、ネットワークＮＷを介して条件設定装置２４０３に送られる。なお、本例では、ＳＥＭを制御する制御装置と、条件設定装置２４０３を別体のものとして、説明しているが、これに限られることはなく、条件設定装置２４０３にて装置の制御と測定処理を一括して行うようにしても良いし、各制御装置にて、ＳＥＭの制御と測定処理を併せて行うようにしても良い。

また、上記条件設定装置２４０３或いは制御装置には、測定処理を実行するためのプログラムが記憶されており、当該プログラムに従って測定、或いは演算が行われる。

また、条件設定装置２４０３は、ＳＥＭの動作を制御するプログラム（レシピ）を、半導体の設計データに基づいて作成する機能が備えられており、レシピ設定部として機能する。具体的には、設計データ、パターンの輪郭線データ、或いはシミュレーションが施された設計データ上で所望の測定点、オートフォーカス、オートスティグマ、アドレッシング点等のＳＥＭにとって必要な処理を行うための位置等を設定し、当該設定に基づいて、ＳＥＭの試料ステージや偏向器等を自動制御するためのプログラムを作成する。

図１１は、走査電子顕微鏡の概略構成図である。電子源２５０１から引出電極２５０２によって引き出され、図示しない加速電極によって加速された電子ビーム２５０３は、集束レンズの一形態であるコンデンサレンズ２５０４によって絞られた後に、走査偏向器２５０５により、試料２５０９上を一次元的、或いは二次元的に走査される。電子ビーム２５０３は試料台２５０８に内蔵された電極に印加された負電圧により減速されると共に、対物レンズ２５０６のレンズ作用によって集束されて試料２５０９上に照射される。

電子ビーム２５０３が試料２５０９に照射されると、当該照射個所から二次電子、及び後方散乱電子のような電子２５１０が放出される。放出された電子２５１０は、試料に印加される負電圧に基づく加速作用によって、電子源方向に加速され、変換電極２５１２に衝突し、二次電子２５１１を生じさせる。

変換電極２５１２から放出された二次電子２５１１は、検出器２５１３によって捕捉され、捕捉された二次電子量によって、検出器２５１３の出力Ｉが変化する。この出力Ｉに応じて図示しない表示装置の輝度が変化する。例えば二次元像を形成する場合には、走査偏向器２５０５への偏向信号と、検出器２５１３の出力Ｉとの同期をとることで、走査領域の画像を形成する。また、図１１に例示する走査電子顕微鏡には、電子ビームの走査領域を移動する偏向器（図示せず）が備えられている。

なお、図１１の例では試料から放出された電子を変換電極にて一端変換して検出する例について説明しているが、無論このような構成に限られることはなく、例えば加速された電子の軌道上に、電子倍像管や検出器の検出面を配置するような構成とすることも可能である。制御装置２５１４は、走査電子顕微鏡の各構成を制御すると共に、検出された電子に基づいて画像を形成する機能や、ラインプロファイルと呼ばれる検出電子の強度分布に基づいて、試料上に形成されたパターンのパターン幅を測定する機能を備えている。

本発明の実施例１に係る画像評価装置及び方法は、上記した半導体検査装置に適用される事例を示しており、未知欠陥を検出する機能を備えた画像評価装置の実施例を図１に示している。

図１は、画像評価部１を備えた画像評価装置１０の実施例を示す図であり、画像評価部１は欠陥画像１０１と欠陥領域情報１０５とを入力し、機械学習モデル１０２を参照して評価結果１０６を得る。

画像評価装置１０は計算機システムを用いてソフトウェア的に構成されるが、画像評価部１の内部の処理機能、あるいは処理過程において生成された中間生成物を模式的に示すと、注目領域検出部１０３と検出された注目度画像１０４と画像領域比較部２０を含むものということができる。

具体的には画像評価部１においては、欠陥画像１０１と機械学習モデル１０２を画像評価部１に入力し、注目領域検出部１０３で機械学習モデル１０２が画像中における注目する領域情報を注目度画像１０４として生成する。そして、生成した注目度画像１０４と欠陥領域情報１０５を画像領域比較部２０で比較して評価結果１０６を出力する。

なお画像評価部１は制御装置２５１４内に内蔵され、或いは画像処理を内蔵された演算装置にて実行することも可能であるし、ネットワークを経由して、外部の演算装置（例えば図１０に例示した条件設定装置２４０３）にて画像評価を実行することも可能である。

また図１他の図面において、入力としてのデータ、中間生成物としてのデータ、あるいは最終成果物としてのデータは、図示上は明確にしていないが何らかの形式での記憶部に保管されるものであることは言うまでもない。

注目領域検出部１０３では、欠陥画像１０１に対して、機械学習モデル１０２のパラメータを用いて、画像の特徴量マップを生成する。注目領域検出部１０３の機能を実現するにあたり、文献「Ｚｈｏｕ、 Ｂｏｌｅｉ、 ｅｔ ａｌ． “Ｌｅａｒｎｉｎｇ ｄｅｅｐ ｆｅａｔｕｒｅｓ ｆｏｒ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｌｏｃａｌｉｚａｔｉｏｎ．”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ２０１６．」を用いるのがよい。

このＺｈｏｕ文献は、ＣＮＮが画像における注目領域の可視化に係るものであり、ＣＮＮが画像から抽出した複数の特徴量マップの加重和を計算して、それをピクセルごとの注目度画像として出力する。具体的には、これらの特徴量マップに繋がるニューロンの重みを用いて、特徴量マップの加重和を計算し、更に元画像の大きさにリサイズした結果を注目度画像１０４として出力する。

かくして注目度画像１０４には、欠陥画像１０１の各ピクセルにおける注目度の情報が含まれる。機械学習モデル１０２が強く反応する領域の注目度が高く、弱く反応する領域の注目度が低い。注目度画像１０４を用いて、機械学習モデル１０２が生成した認識結果のベースとなる注目領域を説明できる。

他方、画像領域比較部２０における他の入力である欠陥領域情報１０５についてみると、画像中における欠陥物体の位置情報が含まれる。例えば、欠陥物体を囲む矩形領域でも良いし、或いは、欠陥物体のエッジに沿ったマスク画像でも良い。欠陥領域情報１０５の生成について、エンジニアが欠陥画像を目視で確認し、手動で描いても良いし、後述の欠陥検出部３０により生成されても良い。

図２は画像領域比較部２０の一例を示す図である。注目度画像１０４に対して、閾値処理２０１を行う。例えば、注目度がある閾値より大きいピクセルのみを抽出する。そして、抽出されたピクセルの中心点を中心計算２０２で算出する。同じく、欠陥領域情報１０５からも中心点を計算する。計算された二つの中心点を用いて、中心距離計算２０３で二つの中心点の距離を計算し、中心距離２０４を出力する。

中心計算２０２では、計算対象となる各ピクセルの平均値を計算しても良いし、或いは、重みを付けた加重和を計算しても良いである。重みの例として、該当ピクセルの注目度、或いは該当ピクセルが欠陥となる確信度が挙げられる。

求められた中心距離に関して、欠陥画像１０１の欠陥種類が教示データに含まれる種類であれば、機械学習モデル１０２が同種類の欠陥物体を認識し、それの領域に注目するため、画像領域比較部２０で計算された上記中心距離２０４の値が小さいということができる。他方求められた中心距離に関して、教示データに含まれない未知欠陥の場合、機械学習モデル１０２が注目する領域と、欠陥領域とのずれが大きいため、中心距離２０４の値が大きいということができる。中心距離についての係る傾向のため、中心距離２０４をそのまま画像評価装置１の評価結果１０６として使うことができる。或いは、中心距離２０４とある閾値との比較結果（例えば、ＯＫとＮＧ）を評価結果１０６として出力することも可能である。

図２は、画像領域比較部２０の判断手法として、教示データに含まれる種類である既知欠陥と、教示データに含まれない未知欠陥とでは、中心距離（中心点）に差異を生じることを利用してこれらを識別したものである。

図２の中心点比較による画像領域比較に対し、もう一つの実施例１である図３は矩形領域比較による画像領域比較としたものである。図３は、図２の画像領域比較部２０における中心計算を、矩形計算に置き換えたものである。

図３の矩形計算２０５では、対象となる画像領域（注目領域、或いは欠陥領域）を含む矩形を推定する。推定した二つの矩形を用いて、矩形重複度計算２０６で矩形重複度２０７を計算する。矩形重複度２０７の一例として、重複した領域と総領域との割合が挙げられる。この矩形重複度２０７が図２にある中心距離２０４と同じように、未知欠陥判断の指標として使えるため、そのまま評価結果１０６として出力されても良いし、或いは、閾値との比較結果を評価結果１０６として出力されても良い。

実施例１についての上記の説明で、中心点の比較、或いは矩形の比較による画像領域比較部２０の実施例を説明した。これ以外に、不規則領域の比較、領域面積の比較、領域形状の比較、代表点の比較（例えば、注目度の最大値を代表点とする）などの手法も可能である。また、複数の比較手法を組み合わせる手法も考えられる。

図１、２、３の処理により、最終的に得られた評価結果１０６は、画像領域比較部２０で出力された一つ、或いは複数の指標、また指標から計算された結果（例えば指標の値がある閾値を超えると未知欠陥と判断される結果）を含む。

図８は、図１の画像評価装置１０が、さらに評価結果表示部５をも含んで構成される場合の構成例を示した図である。評価結果表示部５には、図９に例示するような形式での画像表示が行われるのが望ましい。

図９における評価結果表示例によれば、評価結果表示部５の表示画面上に、欠陥画像１０１、欠陥領域情報１０５、注目度画像１０４、そしてこれらの画像をオーバーラッピングした評価結果１０６が表示される。

この場合、評価結果１０６の中で、斜線で示す領域Ｒ１が欠陥領域、斜線で示す領域Ｒ２が注目度画像から検出した注目領域であって、領域Ｒ３が両者の重複した領域である。領域Ｒ３が小さければ、機械学習モデル１０２の注目領域と欠陥領域情報１０５とのずれ量が大きいことを意味し、欠陥画像１０１が未知欠陥である可能性が大きいといえる。図９のような評価結果表示部５を用いて、ユーザが評価結果１０６をより深く理解できる。

また上記表示により、機械学習モデル１０２の注目領域が正しいと事前にわかり、しかも欠陥領域情報１０５がエンジニアにより、目視で作った場合、評価結果１０６より、エンジニアがマークした欠陥領域と真値との差が分かるため、この画像評価装置がエンジニアの教育・能力判定にも活用されることが考えられる。

以上により、画像評価部１を含む画像評価装置を実現することができる。

本発明に係る画像評価装置１０は、要するに機械学習モデルと欠陥領域情報を用いて、未知の欠陥画像の評価を行い、識別の可否を判断する装置に関するものであり、「電子デバイスの欠陥画像における欠陥情報（種類、位置など）を機械学習による識別器１０２を用いて識別する画像評価装置であって、電子デバイスの欠陥画像１０１を格納する画像記憶部と、欠陥画像における欠陥領域情報１０５を格納する欠陥領域記憶部と、欠陥情報を機械学習により識別する識別器１０２と、欠陥画像の識別処理の過程で、識別器が注目する注目画像情報１０４を抽出する画像抽出部１０３と、注目画像情報と欠陥領域情報を比較して、欠陥画像の識別可能性を評価する画像評価部２０とを備えることを特徴とする画像評価装置。」のように構成したものである。

また本発明に係る画像評価装置１０内の画像評価部２０（２０１・２０２・２０３）は、その処理の一例として「機械学習の識別器１０２が注目する画像領域から１つ以上の注目座標を計算して、欠陥領域情報から１つ以上欠陥座標を計算して、座標間の距離を比較し、欠陥画像の識別可能性を評価する画像評価装置。」のように構成したものである。

さらに画像評価部２０（２０１・２０２・２０３）は、その処理の一例として「画像評価部（２０１・２０２・２０３）は、前記機械学習の識別器が注目する画像領域から代表的な注目エリアを計算して、前記欠陥領域情報から欠陥エリアを計算して、エリア間の重複度を算出し、前記欠陥画像の識別可能性を評価する画像評価装置。」のように構成したものである。

また本発明に係る画像評価装置１０は、画像評価部（画像領域比較部２０）の評価結果１０６を表示する画像表示部（評価結果表示部５）を備え、画像表示部には欠陥画像における欠陥領域情報、または欠陥画像に対応する正常画像や欠陥画像に対応する設計データの少なくとも１つ以上を表示する。

図１に代表される実施例１においては、欠陥領域情報１０５が何らかの手法により得られていることを前提としたものである。

これに対して実施例２においては、欠陥領域情報１０５を得るための具体手法について図４を用いて説明する。図４によれば、欠陥検出部３０を備えて、欠陥画像１０１と正常画像３０１または設計データ３０２から画像中における欠陥領域情報１０５を生成する。

ここでは、正常画像３０１を用いて構成される欠陥検出部３０の一つの実施例を説明する。正常画像３０１は、撮影パターンが欠陥画像１０１と同じで、ただし、欠陥物体が含まれない参照画像である。また、複数の正常パターンの撮影画像を合成して、生成した画像を正常画像３０１として使うことも考えられる。欠陥検出部３０では、欠陥画像１０１と正常画像３０１との差分をとって、差分の大きいところを欠陥領域と判定し、欠陥領域情報１０５を生成する。

また、欠陥検出部３０で、欠陥画像１０１から抽出したエッジなどの輪郭情報を用いて、それと設計データ３０２とを比較して、両者の間に生じたずれによる欠陥領域を検出し、欠陥領域情報１０５を生成することも考えられる。なお、正常画像３０１とは、設計データ３０２通りに、正しく画像形成した時に得られるものであることから、設計データ３０２と等価であるということができる。

実施例２は、実施例１の構成において、さらに欠陥領域情報１０５の作成手法に関わるものであり、「欠陥画像１０１を用い、かつ欠陥画像に対応する正常画像３０１と欠陥画像に対応する設計データ３０２のいずれか一方または双方を用いて欠陥領域情報１０５を検出する欠陥検出部３０を備え、欠陥領域記憶部は、欠陥検出部３０からの欠陥領域情報１０５を格納することを特徴とする画像評価装置」のように構成したものである。

実施例３においては、注目度画像を異なる観点から複数作成して比較することにより評価することについて説明する。実施例１の欠陥領域情報１０５を、異なる視点から作成した第２の注目度画像に置き換えたものということができる。

図５に例示される実施例３の画像評価部１は、その内部の処理機能、あるいは処理過程において生成された中間生成物を模式的に示すと、２つの機械学習モデル１０２、１０７を参照する注目領域検出部１０３と、２つの検出された注目度画像１０４、１０８と、画像領域比較部２０を含むものということができる。

図５の画像評価部１は、欠陥画像１０１と、二つの機械学習モデル１０２、１０７とを画像評価部１に入力し、注目領域検出部１０３で各モデルの注目度画像１０４、１０８を検出し、画像領域比較部２０で二つの注目度画像を比較し、その比較結果を評価結果１０６として出力する。

例えば、一方の機械学習モデル１０２を基準モデルとし、他方の機械学習モデル１０７を評価対象のモデルとする。この場合、評価結果１０６が基準モデルの性能に対して、評価対象モデルの性能の高低を評価することができる。

なお、図５では二つの機械学習モデルを画像評価部１に入力しているが、三つ以上の機械学習モデルを入力し、ぞれぞれの注目度画像を比較し、評価結果１０６を出力する画像評価装置１０とすることも考えられる。

実施例３は、「電子デバイスの欠陥画像における欠陥情報（種類、位置など）を、複数の機械学習による識別器（１０２・１０７）を用いて識別する画像評価装置であって、電子デバイスの欠陥画像１０１を格納する画像記憶部と、欠陥画像の識別処理の過程で、複数の識別器が注目する複数の注目画像情報を抽出する画像抽出部（１０３）と、複数の注目画像情報（１０４・１０８）を比較して、複数の識別器を評価する識別器評価部（２０）と、を備えることを特徴とする画像評価装置。」としたものである。

実施例１などにおいては、最終的に評価結果を入手し、例えば表示などを通じてユーザに情報提示を行うものであったが、実施例４においては評価結果を機械学習モデルに反映させることで、より高精度な機械学習モデルを構築していくことについて図６を用いて説明する。

図６に機械学習モデルを再学習する機能を備えた画像評価装置１０の実施例を示す。図６の画像評価装置１０では、画像評価部１が出力した評価結果１０６を用いてモデルの学習情報を得るモデル再学習部４を追加して、機械学習モデル１０２を調整する。

モデル再学習部４は、教示データの調整４０１、学習パラメータの調整４０２、モデルの学習４０３の各機能により構成されている。モデル再学習部４では、最初に教示データの調整４０１を行う。例えば、評価結果１０６が閾値を超え、未知欠陥画像と検出された場合、未知欠陥画像を新しい欠陥種類として定義する。或いは、未知欠陥画像に対して、クラスタリング処理を行い、生成した各クラスタをそれぞれ新しい欠陥種類として定義し、教示データに追加する。また、機械学習モデル１０２の認識結果と画像のラベル値が異なり、しかも評価結果１０６が未知欠陥ではないと示す場合、画像のラベル値を見直す可能性がある。例えば、真値がＡの画像に、ラベルＢを付けたとする。認識結果がＡであり、しかも評価結果１０６により、機械学習モデル１０２の注目領域が欠陥領域と重なる場合、この画像のラベル値が間違えた可能性がある。

評価結果１０６を参考にして、学習パラメータの調整４０２を行うことも考えられる。例えば、欠陥画像１０１が未知欠陥ではないと事前にわかるが、評価結果１０６によると未知欠陥の疑いが大きい場合、機械学習モデル１０２の認識性能を向上するために、この種類の欠陥画像に対する誤認識のペナルティを大きくする。具体的には、学習時に使われる種類毎の重みを調整することになる。また、機械学習モデル１０２の注目領域と欠陥領域とのずれが大きい場合、学習が不十分と判断し、学習の回数を増やすことも考えられる。

そして、モデルの学習４０３で機械学習モデル１０２の再学習を行い、画像評価部１の入力となる機械学習モデル１０２を生成する。

なお、図６のモデル再学習部４においては、教示データの調整４０１と、学習パラメータの調整４０２とを含むように描いているが、必ずしもこの二つのステップが全部必要なわけではない。

実施例４は、機械学習モデル１０２の再学習をするものであり、その一例は教示データの真値を調整することであり、「注目画像情報と欠陥領域情報との比較結果により、教示データを調整する教示データ調整部（４０１）と、教示データ調整部からの情報に基づいて再学習する識別器（１０２）を備えることを特徴とする画像評価装置。」としたものである。

あるいは実施例４の他の一例は学習パラメータを調整することであり、「注目画像情報と欠陥領域との比較結果により、機械学習のパラメータを調整する機械学習パラメータ調整部と、機械学習パラメータ調整部からの情報に基づいて再学習する識別器（１０２）を備えることを特徴とする画像評価装置。」としたものである。

図７に示す実施例５は、本発明の画像評価方法における一連の処理内容を記述したフローチャートである。

この処理フローによれば、処理ステップＳ１０に示す欠陥領域検出処理と処理ステップＳ２０に示す注目領域検出処理は並行して実施されており、双方の処理結果がそろった段階において次の処理ステップＳ３０が実行され、画像領域比較処理が行われる。さらにその後処理ステップＳ４０においてモデル再学習処理（実施例４の場合）が行われる。

なお、注目領域検出処理Ｓ２０と、画像領域比較処理Ｓ３０以外の処理は、オプショナルステップとなる。以上の画像評価方法について、処理の一部、また全てを汎用ＣＰＵで動作する処理プログラムで作成しても良い。また、処理の一部、また全てを専用のＬＳＩやＦＰＧＡにすることも考えられる。

画像評価方法としての実施例５は、「電子デバイスの欠陥画像における欠陥情報（種類、位置など）を機械学習による識別器（１０２）を用いて識別する画像評価方法（１を含む全体システム）であって、電子デバイスの欠陥画像を格納し（１０１）、欠陥画像における欠陥領域情報を格納し（１０５）、欠陥画像の識別処理の過程で、識別器が注目する画像情報を抽出し（１０３・１０４）、注目画像情報と欠陥領域情報を比較して、欠陥画像の識別可能性を評価する（２０）画像評価方法。」としたものである。

モデル１０２が計算した出力値で、欠陥画像１０１が未知欠陥かどうかを判別することも考えられる。例えば、モデル１０２が画像分類モデルの場合、各クラスに属する確率値が出力されて、その中の最高確率でも閾値より小さいとき、未知欠陥と判別する。しかし、文献「Ｎｇｕｙｅｎ， Ａｎｈ， Ｊａｓｏｎ Ｙｏｓｉｎｓｋｉ， ａｎｄ Ｊｅｆｆ Ｃｌｕｎｅ． “Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｅａｓｉｌｙ ｆｏｏｌｅｄ： Ｈｉｇｈ ｃｏｎｆｉｄｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎｓ ｆｏｒ ｕｎｒｅｃｏｇｎｉｚａｂｌｅ ｉｍａｇｅｓ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ２０１５．」によると、多くの場合、モデルが出力する確率値が高すぎる傾向がある。そのため、閾値による未知欠陥判別の性能が高くならない。

また、多くの既存手法で、Ｓｏｆｔｍａｘ関数によって、各クラスに属する確率値の合計が１．０になる拘束条件を使う。そうすると、あるクラスに属する確率値が、ほかのクラスに属する確率値に影響される。そのため、確率値があるクラスに属する絶対的な確率値ではなく、全学習クラスの相対的な確率値になる。相対確率の閾値処理では未知欠陥の判別が困難である。例えば、「鳥・虎・魚」の三クラス分類タスクで、猫の画像を認識させる。猫が三つのクラスのどちらも異なるため、絶対確率の場合、三つの確率値が全部低くなる。しかし、相対確率の場合、三つのクラスのうち、猫が相対的に虎に似るため、虎に属する確率値が高くなる。この場合、閾値処理により、猫が未知クラスと認識することが難しい。

上記の問題を解決するために、図１２のようなモデル学習法を提案する。まずステップＳ６０１で画像から特徴量を抽出する。抽出した特徴量を用いて、ステップＳ６０２で各クラスに属する確率値を計算する。この確率値が絶対確率値であって、該当クラスに属する可能性を表す。そして、ステップＳ６０３で該当画像の真値クラスの特徴中心点を更新する。その後、ステップＳ６０４で該当画像の特徴量が各クラスの特徴中心点までの距離を計算する。この距離を用いて、ステップＳ６０５で各クラスの目標確率値を計算する。最後に、ステップＳ６０６で、ステップＳ６０２で計算された確率値が目標確率値に近づけるように、モデルのパラメータを更新する。このように学習の収束条件が満たすまで、ステップＳ６０１～Ｓ６０６を繰り返して、モデルを学習する。

上記の説明で画像の特徴量と、特徴中心点との距離を計算するステップＳ６０４を実行する前に、特徴中心点更新するステップＳ６０３を呼び出したが、ステップＳ６０３がステップＳ６０４の後ろに置いても構わない。或いは、ステップＳ６０４～Ｓ６０６を複数回に行ってから、ステップＳ６０３を実行することも考えられる。

画像特徴量抽出ステップＳ６０１の実施例として、多層のニューラルネットワークが挙げられる。または、人が設計した特徴量も考えられる。基本的に、多次元の画像特徴量が抽出される。

絶対確率値を計算するステップＳ６０２の実施例として、重回帰分析或いはサポートベクター回帰などの回帰法で多次元の画像特徴量を一次元に変換し、更にＳｉｇｍｏｉｄのようなロジステック関数で０．０～１．０の範囲に変換する。ニューラルネットワークで多次元の画像特徴量を一次元の値に変換することも考えられる。

ステップＳ６０３の実施例として、画像特徴量と真値クラスの特徴中心点の差分を計算し、この差分に係数をかけた後、現在の特徴中心点に加算する。差分に掛けた係数をユーザが設定したパラメータにしても良いし、真値クラスのサンプル数によって自動的に決まった値でもよい。

ステップＳ６０４で計算された各クラスの特徴中心点までの距離を用いて、ステップＳ６０５で各クラスの目標確率値を計算する。距離が遠くなればなるほど、目標確率値が小さくなる。例えば、距離の指数関数が考えられる。多くの既存手法で、目標確率値が「真値クラスが１．０、真値クラス以外が０．０」のようなＯｎｅ Ｈｏｔベクトルを使う。本発明では、Ｏｎｅ Ｈｏｔではなくて、特徴中心点までの距離を考慮する値を目標確率値とする。なお、計算量を減らすために、真値クラス以外の目標値をゼロ、或いはある決まった値に設定することも考えられる。

欠陥画像を評価するとき、モデルが計算した確率値と閾値で未知欠陥かどうかを判別することを説明したが、モデルで抽出した画像特徴量と、各クラスの特徴中心点との距離の大きさで判別することも考えられる。或いは、モデルが出力した確率値を係数として、注目度画像１０４にかけてから、画像領域比較部２０で未知欠陥かどうかを判別することも可能である。

１：画像評価部
２０：画像領域比較部
３０：欠陥検出部
４０：モデル再学習部
５：評価結果表示部
１０１：欠陥画像
１０２、１０７：機械学習モデル
１０３：注目領域検出部
１０４、１０８：注目度画像
１０５：欠陥領域情報
１０６：評価結果
２０１：閾値処理
２０２：中心計算
２０３：中心距離計算
２０４：中心距離
２０５：矩形計算
２０６：矩形重複度計算
２０７：矩形重複度
３０１：正常画像
３０２：設計データ
４０１：教示データの調整
４０２：学習パラメータの調整
４０３：モデルの学習
Ｓ１０：欠陥領域検出処理
Ｓ２０：注目領域検出処理
Ｓ３０：画像領域比較処理
Ｓ４０：モデル再学習処理
Ｓ６０１：画像特徴量抽出処理
Ｓ６０２：絶対確率値計算処理
Ｓ６０３：特徴中心点更新処理
Ｓ６０４：特徴距離計算処理
Ｓ６０５：目標確率値計算処理
Ｓ６０６：パラメータ更新処理

Claims (16)

1. 電子デバイスの欠陥画像における欠陥情報を機械学習による識別器を用いて識別する画像評価装置であって、
   前記電子デバイスの欠陥画像を格納する画像記憶部と、前記欠陥画像における欠陥領域情報を格納する欠陥領域記憶部と、欠陥情報を機械学習により識別する識別器と、前記欠陥画像の識別処理の過程で、前記識別器が注目する注目画像情報を抽出する画像抽出部と、前記注目画像情報と前記欠陥領域情報を比較して、前記欠陥画像の識別可能性を評価する評価部とを備えることを特徴とする画像評価装置。
2. 請求項１に記載の画像評価装置であって、
   前記欠陥画像を用い、かつ前記欠陥画像に対応する正常画像と前記欠陥画像に対応する設計データのいずれか一方または双方を用いて欠陥領域情報を検出する欠陥検出部を備え、前記欠陥領域記憶部は、前記欠陥検出部からの欠陥領域情報を格納することを特徴とする画像評価装置。
3. 請求項１又は２に記載の画像評価装置であって、
   前記注目画像情報と前記欠陥領域情報との比較結果により、教示データを調整する教示データ調整部と、前記教示データ調整部からの情報に基づいて再学習する前記識別器を備えることを特徴とする画像評価装置。
4. 請求項１から請求項３のいずれか１項に記載の画像評価装置であって、
   前記注目画像情報と前記欠陥領域情報との比較結果により、機械学習のパラメータを調整する機械学習パラメータ調整部と、前記機械学習パラメータ調整部からの情報に基づいて再学習する前記識別器を備えることを特徴とする画像評価装置。
5. 電子デバイスの欠陥画像における欠陥情報を、複数の機械学習による識別器を用いて識別する画像評価装置であって、
   前記電子デバイスの欠陥画像を格納する画像記憶部と、欠陥情報を機械学習により識別する複数の識別器と、前記欠陥画像の識別処理の過程で、前記複数の識別器が注目する複数の注目画像情報を抽出する画像抽出部と、前記複数の注目画像情報を比較して、前記複数の識別器を評価する評価部とを備えることを特徴とする画像評価装置。
6. 請求項１から請求項５のいずれか１項に記載の画像評価装置であって、
   前記評価部の評価結果を表示する画像表示部を備えることを特徴とする画像評価装置。
7. 請求項６に記載の画像評価装置であって、
   前記画像表示部は、前記欠陥画像における欠陥領域情報を表示することを特徴とする画像評価装置。
8. 請求項７に記載の画像評価装置であって、
   前記画像表示部は、前記欠陥画像に対応する正常画像、前記欠陥画像に対応する設計データの少なくとも１つ以上を表示することを特徴とする画像評価装置。
9. 請求項１から請求項４のいずれか１項に記載の画像評価装置であって、
   前記評価部は、前記機械学習の識別器が注目する画像領域から１つ以上の注目座標を計算して、前記欠陥領域情報から１つ以上欠陥座標を計算して、座標間の距離を比較し、前記欠陥画像の識別可能性を評価することを特徴とする画像評価装置。
10. 請求項１から請求項４のいずれか１項に記載の画像評価装置であって、
    前記評価部は、前記機械学習の識別器が注目する画像領域から代表的な注目エリアを計算して、前記欠陥領域情報から欠陥エリアを計算して、エリア間の重複度を算出し、前記欠陥画像の識別可能性を評価することを特徴とする画像評価装置。
11. 電子デバイスの欠陥画像における欠陥情報を機械学習による識別器を用いて識別する画像評価方法であって、
    前記電子デバイスの欠陥画像を格納し、前記欠陥画像における欠陥領域情報を格納し、前記欠陥画像の識別処理の過程で、前記識別器が注目する注目画像情報を抽出し、前記注目画像情報と前記欠陥領域情報を比較して、前記欠陥画像の識別可能性を評価することを特徴とする画像評価方法。
12. 請求項１１に記載の画像評価方法であって、
    前記欠陥画像を用い、かつ前記欠陥画像に対応する正常画像と前記欠陥画像に対応する設計データのいずれか一方または双方を用いて欠陥領域情報を検出し、前記欠陥領域情報を格納することを特徴とする画像評価方法。
13. 請求項１１又は請求項１２に記載の画像評価方法であって、
    前記注目画像情報と前記欠陥領域情報との比較結果により、教示データを調整し、前記識別器は、前記調整された教示データからの情報に基づいて、再学習することを特徴とする画像評価方法。
14. 請求項１１から請求項１３のいずれか１項に記載の画像評価方法であって、
    前記注目画像情報と前記欠陥領域情報との比較結果により、機械学習のパラメータを調整し、前記識別器は、前記調整された機械学習パラメータからの情報に基づいて、再学習することを特徴とする画像評価方法。
15. 電子デバイスの欠陥画像における欠陥領域情報を、複数の機械学習による識別器を用いて識別する画像評価方法であって、
    前記電子デバイスの欠陥画像を格納し、前記欠陥画像の識別処理の過程で、前記複数の識別器が注目する複数の画像情報を抽出し、前記複数の注目画像情報を比較して、前記複数の識別器を評価することを特徴とする画像評価方法。
16. 請求項１１から請求項１３のいずれか１項に記載の画像評価方法であって、
    前記評価の結果を表示することを特徴とする画像評価方法。

Images