JP7391235B2 - 画質改善システム及び画質改善方法 - Google Patents

Description

本発明は、電子顕微鏡による検査又は計測を行う検査・計測装置の構成とその制御に係り、特に、電子線による撮像ダメージが発生しやすい半導体ウエハや液晶パネルの検査又は計測に適用して有効な技術に関する。

半導体や液晶パネル等の製造ラインにおいては、工程初期に不良が発生すると、その後の工程の作業は無駄になってしまうため、工程の要所毎に検査・計測工程を設けて、一定の歩留まりを確認・維持しながら製造を進める。これらの検査・計測工程には、例えば、走査型電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）を応用した測長ＳＥＭ（ＣＤ－ＳＥＭ：Critical Dimension-SEM）や欠陥レビューＳＥＭ（Defect Review-SEM）等が用いられている。

電子顕微鏡による検査・計測には、精度向上のために複数回の撮像結果を積算して高画質な画像を作成して利用する。しかしながら、撮像回数の増加はスループットの低下につながるため、なるべく少ない撮像回数で高画質な画像を生成することが求められる。

本技術分野の背景技術として、例えば、特許文献１のような技術がある。特許文献１には「ノイズを含む訓練画像を作成し、前記訓練画像よりも少ないノイズを含む教師画像を作成し、前記訓練画像の入力に対して前記教師画像相当の画像を出力する順伝播型ニューラルネットワークを構成する画像ノイズ低減方法」が開示されている。

特開２０１９－８５９９号公報

上記特許文献１には、低積算画像を入力し、高積算画像を教示情報として与えて、低積算画像から高積算画像を予測する技術が記載されている。特許文献１では、撮像回数の少ない低積算画像からノイズの少ない高積算画像を予測している。

しかしながら、半導体のような微細な回路パターンの検査や計測の場合、撮像毎に回路パターンに電子線照射による撮像ダメージが発生し、回路形状が変形する場合がある。このような場合には、低積算画像の平均画像で作成する高画質画像では適切な教示情報を作成するのは困難である。また、回路形状の変形以外にも複数回の撮像毎に視野ずれや帯電による輝度変化が発生する場合にも単なる平均画像では適切な教示情報を作成することは困難となる。

そこで、本発明の目的は、機械学習により低画質画像の画質改善を行う画質改善システム及び画質改善方法において、撮像毎に画像が変化しやすい試料に対しても適切な教示情報での学習が可能な高精度かつ高信頼な画質改善システム及び画質改善方法を提供することにある。

上記課題を解決するために、本発明は、低画質画像の画質改善を行う画質改善システムであって、低画質画像の画質改善を行う画質改善部と、入力された低画質画像列に含まれる第１の低画質画像と前記第１の低画質画像とは異なる第２の低画質画像との間に発生した変形量を予測する変形予測部と、前記第１の低画質画像に前記画質改善部での処理を適用し得られる第１の予測画像、前記第２の低画質画像、もしくは前記第２の低画質画像に前記画質改善部での処理を適用し得られる第２の予測画像のいずれかを前記変形予測部で予測された前記変形量に基づいて補正する変形補正部と、を備え、前記変形補正部によって補正された前記第１の予測画像と前記第２の低画質画像もしくは前記第２の予測画像との損失関数の評価もしくは前記第１の予測画像と前記変形補正部によって補正された前記第２の低画質画像もしくは前記第２の予測画像との損失関数の評価が小さくなるように学習することを特徴とする。

また、本発明は、（ａ）検査画像を複数取得するステップ、（ｂ）前記（ａ）ステップの後、取得した検査画像に対して画質改善モデルを適用し、各検査画像に対する予測画像を取得するステップ、（ｃ）前記（ｂ）ステップの後、取得した予測画像間の変形量を予測するステップ、（ｄ）前記（ｃ）ステップの後、予測した変形量に基づいて任意の予測画像を異なる検査画像に対する予測画像となるように変形した補正予測画像を生成するステップ、（ｅ）前記（ｄ）ステップの後、生成した補正予測画像と補正対象となった検査画像を用いて画質改善の誤差を評価するステップ、（ｆ）前記（ｅ）ステップの後、評価した画質改善の誤差を小さくするように画質改善モデルのパラメータを更新するステップ、を含むことを特徴とする画質改善方法である。

本発明によれば、機械学習により低画質画像の画質改善を行う画質改善システム及び画質改善方法において、撮像毎に画像が変化しやすい試料に対しても適切な教示情報での学習が可能な高精度かつ高信頼な画質改善システム及び画質改善方法を実現することができる。

これにより、迅速かつ高精度な電子デバイスの検査及び計測が可能となる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明による画質改善を概念的に示す図である。 本発明の実施例１に係る画質改善モデル学習の構成を示すブロック図である。 本発明の実施例１に係る画質改善システムの構成を示すブロック図である。 本発明の実施例１に係る画質改善方法（学習フェーズ）を示すフローチャートである。 本発明の実施例１に係る画質改善方法（推論フェーズ）を示すフローチャートである。 図２の変形予測部の構成を示すブロック図である。 本発明における撮像回数と精度の関係を概念的に示す図である。 従来技術における撮像回数と精度の関係を概念的に示す図である。 本発明の実施例１に係る学習用ＧＵＩを示す図である。 本発明の実施例１に係る推論用ＧＵＩを示す図である。 本発明の実施例２に係る画質改善モデル学習の構成を示すブロック図である。 図１１の変形予測部の構成を示すブロック図である。 従来技術による画質改善を概念的に示す図である。

以下、図面を用いて本発明の実施例を説明する。なお、重複する部分についてはその詳細な説明は省略する。

本発明による画質改善を分かり易くするために、先ず図１２を用いて、従来技術による画質改善について説明する。図１２は、上記特許文献１による画質改善を概念的に示す図である。

図１２に示すように、従来技術では、同一試料（例えば半導体ウエハ）の同一箇所を撮像した複数（ｎ枚）の低画質画像のうち、補正対象として低画質画像１を抽出し、画質改善部で機械学習を用いた画質改善処理を行い、予測画像を出力する。一方、低画質画像１とは別の低画質画像２～ｎを積算処理（例えば平均化処理）して高画質画像を作成し、その高画質画像を教師画像として低画質画像１の予測画像に対して教示する。

上述したように、この方法では半導体集積回路のような微細な回路パターンの検査や計測の場合、撮像毎に回路パターンに電子線照射による撮像ダメージが発生し、回路形状が変形する可能性があり、適切な教示情報（高画質画像）を作成するのは困難である。

次に、図１から図９を参照して、本発明の実施例１に係る画質改善システム及び画質改善方法について説明する。図１は、本発明による画質改善を概念的に示す図である。

図１に示すように、本発明では、同一試料（例えば半導体ウエハ）の同一箇所を撮像した複数（ｎ枚）の低画質画像のうち、補正対象として低画質画像１を抽出し、画質改善部で機械学習を用いた画質改善処理を行い、予測画像を出力する。一方、低画質画像１と、低画質画像１とは別の低画質画像２～ｎの各低画質画像間に発生する変形を予測し、その変形を変形補正部で補正して作成した変形補正画像を教師画像として低画質画像１の予測画像に対して教示する。

低画質画像２～ｎは、低画質画像１との変形が比較可能であればよく、低画質画像２の１枚のみとすることもできる。つまり、少なくとも低画質画像１と低画質画像２の２枚の撮像画像を取得することで、変形を予測して教師画像（変形補正画像）を作成することができる。

図２を用いて、図１で説明した機能を実現するための具体的な構成について説明する。図２は、本実施例の画質改善モデル学習の構成を示すブロック図である。

図２に示すように、本実施例の画像改善システム１は、画質改善部２と、変形予測部４と、変形補正部５と、補正画像６と、画質改善誤差評価部７と、画質改善パラメータ更新部８を備えて構成されている。

画質改善部２は、入力された低画質画像列に含まれる低画質画像ｉ９（第１の低画質画像）に対して画質改善処理を適用して予測画像ｉ３（第１の予測画像）を作成する。画質改善部２での画質改善モデルには、例えば、Ｕ－ＮｅｔなどのEncode-DecoderタイプのＣＮＮ（Convolution Neural Network）やその他の構造を持つＣＮＮを用いる。

変形予測部４は、後述する変形量データベース（図６の変形量ＤＢ１９）に予め保存された変形量データを利用するなどして予測画像ｉ３（第１の予測画像）の変形量を予測する。変形予測部４は、予測画像の各ピクセルの変形量（D）を予測する。

変形補正部５は、変形予測部４で予測された変形量に基づいて予測画像ｉ３（第１の予測画像）を補正する。例えば、補正画像Ｙ’は変形補正部５が予測画像Ｙから変形量（D）だけ変形した画像であると仮定した場合、Ｙ’の[i,j]ピクセルはＹの[i+D[ｉ，j，0]，j+D[ｉ，j，1]]ピクセルの情報となる。ここで変形量Ｄは予測画像Ｙと同じ高さ及び幅を持つ２チャンネル画像であり、各チャンネルには各画像座標における高さ方向，幅方向での変形量をもつ。D[i，j]が整数でない場合は、バイリニアサンプリングなどの方法で補正画像Ｙ’を生成する。補正画像６は変形予測部４が予測した変形量に基づいて予測画像ｉ３を低画質画像ｊ１０と回路パターン形状が一致するように変形補正を行った画像である。

また変形補正部５は撮像ダメージによる回路変形だけでなく、撮像毎の視野ずれや輝度変化を予測してもよい。これらは画像間のマッチングによる位置補正や輝度値分布の変化の補正によって行ってもよい。

画質改善誤差評価部７は、変形補正部５によって変形補正された補正画像６（第１の予測画像）と低画質画像ｊ１０（第２の低画質画像）との誤差を評価する。画質改善誤差評価部７で用いる誤差関数または損失関数は、例えば、絶対誤差，二乗誤差，またはガウス分布，ポアソン分布，ガンマ分布などによる尤度関数である。

画質改善パラメータ更新部８は、画質改善誤差評価部７での評価結果に基づいて、変形補正部５によって補正された補正画像６（第１の予測画像）と低画質画像ｊ１０（第２の低画質画像）との損失関数の評価が小さくなるように、画質改善部２での画質改善モデルのパラメータを更新し、最適化する。この更新は例えば確率勾配降下法によって行う。 また、画質改善誤差評価部７及び画質改善パラメータ更新部８で誤差評価に用いる誤差関数または損失関数は、第１の予測画像と第２の低画質画像以外の組み合わせで計算してもよい。例えば、第１の予測画像と第２の低画質画像に画質改善処理を適用した第２の予測画像とで損失関数を計算してもよい。

また第１の低画質画像から第２の低画質画像に対する変形補正は可逆であるため、変形補正部５が行う変形補正は第２の低画質画像もしくは第２の予測画像に対して行ってもよい。つまり、撮像ダメージの補正の場合は、第１の低画質画像に対して回路を細くするダメージが発生する際には第２の低画質画像もしくは第２の予測画像の回路を太くする補正を行ってもよいし、視野ずれや輝度値分布の変化に対しても同様に、可逆となる位置補正や輝度値補正を行ってもよい。

また、画質改善誤差評価部７及び画質改善パラメータ更新部８で誤差評価に用いる誤差関数または損失関数は、第１の予測画像と第１の低画質画像の組み合わせで計算してもよい。この場合は変形補正部５による変形補正は実施しなくてもよい。

また、画質改善誤差評価部７及び画質改善パラメータ更新部８で誤差評価に用いる誤差関数または損失関数は、前記誤差関数または損失関数の組み合わせもしくは加重平均によって求めてもよい。

図３に、図２で説明した画質改善システム１を検査装置１６に搭載した場合の具体的なシステム構成例を示す。

検査装置１６は、撮像レシピ１５に基づいて、試料１４（例えば半導体ウエハ）の同一箇所を撮像した複数（ｎ枚）の低画質画像１７を取得する。

画質改善システム１は、画像データベース（ＤＢ）１３と、計算機１１と、学習結果データベース（ＤＢ）１２を備えて構成されている。

画像データベース（ＤＢ）１３には、２枚以上の無積算画像列および撮像条件が格納される。

学習結果データベース（ＤＢ）１２には、計算機１１で学習処理された画質改善モデルが保存される。なお、図３では、学習結果データベース（ＤＢ）１２が画質改善システム１に含まれて構成される例を示しているが、集中監理システム等を介して外付けで構成してもよい。

計算機１１は、撮像した低画質画像１７と、画像データベース（ＤＢ）１３から読み出された情報に基づき、画質改善モデルの学習処理を行い、画質改善画像１８を出力する。

図４及び図５を用いて、上記で説明した画質改善システム１による代表的な処理（画質改善方法）を説明する。図４は、本実施例の画質改善方法における学習フェーズの処理を示すフローチャートである。

先ず、ステップＳ１０１において、撮像レシピ１５に基づいて、検査装置１６は１枚以上の試料１４から１つ以上の撮像点に対して２枚以上の検査画像（低画質画像１７）を取得し、画像データベース（ＤＢ）１３に格納する。

次に、ステップＳ１０２において、計算機１１は、画質改善モデルの学習処理を開始する。

続いて、ステップＳ１０３において、計算機１１は、画像データベース（ＤＢ）１３から同一ウエハ，同一撮像点の検査画像を２枚以上取得する。

次に、ステップＳ１０４において、計算機１１は、取得した検査画像に対して画質改善モデルを適用し各検査画像に対する予測画像を取得する。

続いて、ステップＳ１０５において、変形予測部４は、予測画像間の変形量を予測する。

次に、ステップＳ１０６において、変形補正部５は、予測した変形量に基づいて任意の予測画像を異なる検査画像に対する予測画像となるように変形し、補正画像を生成する。

続いて、ステップＳ１０７において、画質改善誤差評価部７は、補正画像と補正対象となった検査画像を用いて画質改善の誤差を評価する。ここで補正画像とは図２における補正画像６であり、補正対象となった検査画像とは図２における低画質画像１０である。

次に、ステップＳ１０８において、画質改善パラメータ更新部８は、画質改善誤差を小さくするように画質改善モデルのパラメータを更新する。

続いて、ステップＳ１０９において、学習の終了条件に達したか否かを判定し、学習の終了条件に達したと判定した場合（ＹＥＳ）は、ステップＳ１１０に移行し、計算機１１は、画質改善モデルを学習結果データベース（ＤＢ）１２に保存し、学習処理を終了する。一方、学習の終了条件に達していないと判定した場合（ＮＯ）は、ステップＳ１０３に戻り、ステップＳ１０３以降の処理を再び実行する。

図５は、本実施例の画質改善方法における推論フェーズの処理を示すフローチャートである。

先ず、ステップＳ２０１において、撮像レシピ１５に基づいて、検査装置１６は、試料１４から１つ以上の撮像点に対して１枚以上の検査画像を取得する。

次に、ステップＳ２０２において、計算機１１は、学習結果データベース（ＤＢ）１２から画質改善モデルを読み込む。

最後に、ステップＳ２０３において、計算機１１は、画質改善モデルを検査画像に適用し画質改善画像を出力する。

図６は、本実施例の変形予測部の構成を示すブロック図である。図６に示すように、変形予測部２１は、変形量データベース（ＤＢ）１９に予め保存された変形量データに基づいて予測画像ｉ２０の変形量を予測し、変形量ｉ２２を出力する。

一般に回路パターンに発生する変形は回路端部に発生する。また、変形は回路パターンを細くする方向に発生する。そのため変形予測部２１は予測画像ｉ２０から回路パターンのエッジを抽出し、パターンが細くなるような変形量を求める。図６における変形予測部２１はエッジ方向検出部と変形量生成部とを有する。エッジ方向検出部はパターンのエッジを検出し、エッジ毎に対するパターン中心への方向をエッジ方向として検出する。その後、変形量生成部はヘッジ方向検出部が検出したエッジ方向に基づいて変形量を生成する。ここで生成する変形量は変形量ＤＢ１９において保存されている撮像条件毎に発生する変形量を参照し、入力画像に該当する変形量を求め、各エッジの領域に変形量を与え予測画像ｉ２０と同じ高さ及び幅で2チャンネルの画像となる。また、変形量ＤＢ１９に格納する変形量データは撮像条件のみだけでなくエッジ形状に依存するものであってもよい。

図７Ａ及び図７Ｂを用いて、本発明による効果を説明する。図７Ａは、本発明における撮像回数と精度の関係を概念的に示す図であり、図７Ｂは、従来技術における撮像回数と精度の関係を概念的に示す図である。

図７Ｂに示すように、例えば上記特許文献１のような従来技術では、試料が変形（シュリンク）しづらい場合、撮像回数が増える毎に、教師画像となる高画質画像の画質が向上し、それに伴って検査・計測装置の精度も向上する。一方、試料が変形（シュリンク）しやすい場合、撮像回数が増える毎に、試料が変形（シュリンク）するため、適切な教師画像（高画質画像）を作成するのが困難となり、試料の変形情報を含んだ画質改善画像による検査・計測が行われ、検査・計測装置の精度が低下する。これに対して、図７Ａに示すように、本発明では、撮像中に形状が変形（シュリンク）しやすい試料に対しても適切な教師画像（変形補正画像）を作成することができ、その教師画像（変形補正画像）により適切な学習が可能となるため、撮像回数に依らずに安定した検査・計測装置の精度を担保することができる。

図８及び図９を用いて、画質改善システム１の制御に用いる入出力装置ＧＵＩ（Graphical User Interface）の具体例を説明する。図８は、学習用ＧＵＩを示す図であり、図９は、推論用ＧＵＩを示す図である。

図８に示すように、学習用ＧＵＩには、（１）学習データ選択部、（２）評価データ選択部、（３）学習条件設定部、（４）学習モード選択部、（５）学習結果確認部、（６）学習指示部などが設定される。

（５）学習結果確認部には、例えば、画像確認部や結果確認部が設定される。画像確認部に、画質改善前の低画質画像と画質改善後の画質改善画像を並べて表示することで、作業者は画質改善システム１による画質改善の効果を確認しながら作業を進めることができる。

（３）学習条件設定部では、画質改善部２で用いるＣＮＮの構成，利用する損失関数と加重平均に用いる係数，学習回数や学習率などの学習スケジュール等を設定する。また、変形補正を行う場合では、ここで変形補正に用いるデータベースを指定してもよい。

（４）学習モード選択部では、変形補正を行うか行わないかを選択する。例えば、変形しづらい試料に対しては、変形補正を行わないようにすることも可能である。

図９に示すように、推論用ＧＵＩには、（１）推論データ選択部、（２）学習モデル選択部、（３）推論実行部、（４）推論結果確認部、（５）後処理結果確認部、（６）変形量確認部などが設定される。

（４）推論結果確認部には、例えば、画質改善前の低画質画像と画質改善後の画質改善画像を並べて表示する。
（５）後処理結果確認部では例えば、画質改善前の低画質画像と画質改善後の画質改善画像にそれぞれ後処理を適用した際の結果を表示する。ここで後処理とは撮像画像に対するエッジ抽出や特定部位の測長であったり、欠陥検査などである。図９ではエッジ検出を例示した。ユーザはこの後処理結果確認部によって画質改善を適用した画像に後処理を適用した際に所望の結果が得られるか確認することで、得られた画質改善部の利用可否を決定することができる。
また、（６）変形量確認部には、複数の低画質画像と画質改善画像を表示し、それらの画像から求めた変形量画像などを表示する。

なお、本実施例では、変形補正を画質改善後の予測画像に対して適用する例を示したが、低画質画像に対して直接適用してもよく、複数の予測画像または低画質画像に対して適用した結果から平均処理などで教師画像を生成して学習に用いてもよい。

図１０及び図１１を参照して、本発明の実施例２に係る画質改善システム及び画質改善方法について説明する。図１０は、本実施例の画質改善モデル学習の構成を示すブロック図であり、実施例１（図２）の変形例に相当する。本実施例では、変形予測部が変形量ＤＢ１９を用いずに画質改善部２６同様にＣＮＮによって構成されるという点において、実施例１（図２）と異なっている。その他の基本的な構成は、実施例１と同様である。

図１０に示すように、本実施例の画質改善システム２３は、画質改善部２６と、変形予測部２９と、変形補正部３０と、補正画像比較部３１と、画質改善誤差評価部３２と、画質改善パラメータ更新部３３を備えて構成されている。

入力された低画質画像列に含まれる低画質画像ｉ２４（第１の低画質画像）及び低画質画像ｉ２４（第１の低画質画像）とは異なる低画質画像ｊ２５（第２の低画質画像）は、いずれも画質改善部２６において画質改善処理が適用され、それぞれ予測画像ｉ２７，予測画像ｊ２８が作成される。

予測画像ｉ２７及び予測画像ｊ２８は、いずれも変形予測部２９に入力され、変形予測部２９は、各予測画像間の変形量を予測する。変形予測部２９は画質改善部２６同様にＣＮＮであり、変形予測部２９の学習は図１１に示す構成によって行う。

変形補正部３０は、変形予測部２９で予測された各予測画像間の変形量に基づいて予測画像ｉ２７を補正する。

補正画像比較部３１は、変形補正部３０で補正された補正予測画像ｉ及び補正予測画像ｊを比較する。

画質改善誤差評価部３２は、補正画像比較部３１での比較結果に基づいて、変形補正部３０によって補正された補正予測画像ｉと補正予測画像ｊとの誤差を評価する。

画質改善パラメータ更新部３３は、画質改善誤差評価部３２での評価結果に基づいて、変形補正部３０によって補正された補正予測画像ｉと補正予測画像ｊとの誤差関数の評価が小さくなるように、画質改善部２６での画質改善モデルのパラメータを更新し、最適化する。

図１１は、本実施例の変形予測部の学習時の構成を示すブロック図である。図１１に示すように、変形予測部３７は、予測画像ｉ３５、予測画像ｊ３６を入力とし、変形量ｉ３８を予測する。この変形量ｉ３８は変形補正部３０で使用される変形量である。図１１は適切な変形量ｉ３８を求めるための変形予測部３７を学習するための構成である。変形予測部３７は予測画像ｉ３５及び予測画像ｊ３６を入力とし変形量ｉ３８を予測する。その後、変形補正部３９において、予測画像ｉ３５および変形量ｉ３８から予測画像ｉ３５を予測画像ｊ３６の回路パターン形状に合うように変形を行い、補正画像４０を取得する。その後、変形予測誤差評価部４１は補正画像４０と予測画像ｊ３６との誤差を評価する。ここで評価する誤差は例えば、絶対誤差，二乗誤差，またはガウス分布，ポアソン分布，ガンマ分布などによる尤度関数もしくはカルバックライブラ情報量である。変形予測部パラメータ更新部４２は変形予測誤差評価部４１が予測した誤差を小さくするように変形予測部３７のパラメータを更新する。この更新は例えば確率勾配降下法によって行う。

またここで行う予測は回路パターン形状に関する変形だけでなく、実施例１同様に視野ずれ量の予測や輝度値分布の補正量予測を行ってもよい。この場合であっても、予測した回路パターン形状の変形、視野ずれ量、輝度値分布の補正量に基づいて予測画像ｉ３５を変形予測部３７で補正した補正画像４０と予測画像ｊ３６による誤差関数または損失関数を小さくするように変形予測部３７のパラメータを更新する。

また、実施例１と同様に、ここで行う変形量の予測は予測画像ｉ３５を予測画像ｊ３６に合わせる変形であってもよいし、逆に予測画像ｊ３６を予測画像ｉ３５に合わせるための変形であってもよい。

このような学習は図４に示した画質改善部の学習フローと同様に行われる。また、変形予測部３７の学習は画質改善部と同時に行ってもよいし個別に行ってもよい。

実施例２記載の変形予測部３７を用いる場合は、図８における（３）学習条件設定部では変形予測部３７の学習に関する設定項目を追加してもよい。すなわち、変形予測部３７のネットワーク構造や損失関数、学習スケジュールに関する項目を追加してもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施例は本発明に対する理解を助けるために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１，２３…画質改善システム、２，２６…画質改善部、３，２０，２７，３５…予測画像ｉ、４，２１，２９，３４，３７…変形予測部、５，３０，３９…変形補正部、６，３１，４０…補正画像（補正画像ｉ＞ｊ）、７，３２…画質改善誤差評価部、８，３３…画質改善パラメータ更新部、９，２４…低画質画像ｉ、１０，２５…低画質画像ｊ、１１…計算機、１２…学習結果データベース（ＤＢ）、１３…画像データベース（ＤＢ）、１４…試料、１５…撮像レシピ、１６…検査装置、１７…低画質画像、１８…画質改善画像、１９…変形量データベース（ＤＢ）、２０…予測画像ｉ、２２，３８…変形量ｉ，２８，３６…予測画像ｊ、４１…変形予測誤差評価部、４２…変形予測部パラメータ更新部。

Claims (13)

1. 低画質画像の画質改善を行う画質改善システムであって、
   低画質画像の画質改善を行う画質改善部と、
   入力された低画質画像列に含まれる第１の低画質画像と前記第１の低画質画像とは異なる第２の低画質画像との間に発生した変形量を予測する変形予測部と、
   前記第１の低画質画像に前記画質改善部での処理を適用し得られる第１の予測画像、前記第２の低画質画像、もしくは前記第２の低画質画像に前記画質改善部での処理を適用し得られる第２の予測画像のいずれかを前記変形予測部で予測された前記変形量に基づいて補正する変形補正部と、を備え、
   前記変形補正部によって補正された前記第１の予測画像と前記第２の低画質画像もしくは前記第２の予測画像との損失関数の評価もしくは前記第１の予測画像と前記変形補正部によって補正された前記第２の低画質画像もしくは前記第２の予測画像との損失関数の評価が小さくなるように学習することを特徴とする画質改善システム。
2. 請求項１に記載の画質改善システムであって、
   前記変形予測部は事前に設計された変形量データベースを用いて前記第１の低画質画像に発生する変形量を予測すること、
   もしくは前記第１の低画質画像もしくは前記第１の予測画像と前記第２の低画質画像もしくは前記第２の予測画像とを入力とし変形補正後の二つの入力による損失関数の評価を小さくするように変形量を予測すること、
   のいずれかを特徴とする画質改善システム。
3. 請求項１に記載の画質改善システムであって、
   前記低画質画像列は、同一試料の同一箇所を２回以上撮像した画像列であることを特徴とする画質改善システム。
4. 請求項１に記載の画質改善システムであって、
   前記変形予測部は、変形量データベースに予め保存された変形量データに基づいて各予測画像間の変形量を予測することを特徴とする画質改善システム。
5. 請求項１に記載の画質改善システムであって、
   前記画質改善部は、ＣＮＮ（Convolution Neural Network）を用いた機械学習により各低画質画像に対する予測画像を取得することを特徴とする画質改善システム。
6. 請求項１に記載の画質改善システムであって、
   前記変形補正部で補正した補正予測画像と補正対象となった低画質画像を用いて画質改善の誤差を評価する画質改善誤差評価部を備え、
   前記画質改善誤差評価部は、絶対誤差、二乗誤差、またはガウス分布、ポアソン分布、ガンマ分布のいずれかによる尤度関数を用いて、前記画質改善部での画質改善の誤差を評価することを特徴とする画質改善システム。
7. 請求項６に記載の画質改善システムであって、
   前記画質改善誤差評価部での評価結果に基づいて前記画質改善部での画質改善モデルのパラメータを更新する画質改善パラメータ更新部を備え、
   前記画質改善部での画質改善の誤差を小さくするように画質改善モデルのパラメータを更新することを特徴とする画質改善システム。
8. 請求項１に記載の画質改善システムであって、
   低画質画像列および撮像条件を格納する画像データベースと、
   画質改善モデルの学習処理を行う計算機と、を備え、
   前記計算機は、前記画像データベースから読み出された低画質画像列間に発生する変形を前記変形予測部で予測し、当該予測した変形量に基づいて前記変形補正部で前記第１の予測画像を補正することを特徴とする画質改善システム。
9. 以下のステップを含む画質改善方法；
   （ａ）検査画像を複数取得するステップ、
   （ｂ）前記（ａ）ステップの後、取得した検査画像に対して画質改善モデルを適用し、各検査画像に対する予測画像を取得するステップ、
   （ｃ）前記（ｂ）ステップの後、取得した予測画像間の変形量を予測するステップ、
   （ｄ）前記（ｃ）ステップの後、予測した変形量に基づいて任意の予測画像を異なる検査画像に対する予測画像となるように変形した補正予測画像を生成するステップ、
   （ｅ）前記（ｄ）ステップの後、生成した補正予測画像と補正対象となった検査画像を用いて画質改善の誤差を評価するステップ、
   （ｆ）前記（ｅ）ステップの後、評価した画質改善の誤差を小さくするように画質改善モデルのパラメータを更新するステップ。
10. 請求項９に記載の画質改善方法であって、
    前記（ａ）ステップにおいて、同一試料の同一箇所の検査画像を２枚以上取得することを特徴とする画質改善方法。
11. 請求項９に記載の画質改善方法であって、
    前記（ｃ）ステップにおいて、予め保存した変形量データに基づいて予測画像間の変形量を予測することを特徴とする画質改善方法。
12. 請求項９に記載の画質改善方法であって、
    前記（ｂ）ステップにおいて、ＣＮＮ（Convolution Neural Network）を用いた機械学習により各検査画像に対する予測画像を取得することを特徴とする画質改善方法。
13. 請求項９に記載の画質改善方法であって、
    前記（ｅ）ステップにおいて、絶対誤差、二乗誤差、またはガウス分布、ポアソン分布、ガンマ分布のいずれかによる尤度関数を用いて、画質改善の誤差を評価することを特徴とする画質改善方法。

Images