JP4699406B2 - 画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、低解像度画像を高解像度化して超解像画像を生成する画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

製品等の検査を自動的に行う自動検査装置では、一般的に、エリアセンサ等の撮像装置を用いて検査対象を撮像して得られた検査画像を、所定のアルゴリズムで処理して欠陥検出等を行っている。したがって、自動検査装置においては、検査画像の解像度が高いほど詳細な検査が可能となるため、解像度の高い画像が撮像できる高解像度の撮像装置が求められる。

しかしながら、例えば、検査対象が液晶表示パネルである場合、近年の液晶表示パネルのパネルサイズ大型化に伴い、液晶表示パネルの表示画素数は飛躍的に増大しているので、最新のエリアセンサを用いても検査に十分な解像度は得られなくなってきている。つまり、検査装置においては、撮像装置の解像度を超える高解像度の画像を検査に用いる必要性が生じており、そのため、撮像画像を高解像度化する超解像処理が求められている。

超解像処理とは、低解像度の撮像画像から、カメラやレンズ等の性質のため写っていない、画像中には存在しない高解像度部分を推測し、低解像度の撮像画像を高解像度の画像に変換する処理のことを指す。超解像処理では、画像に移っていない部分を推測することで高解像度化を行うので、高解像度化の精度は推測の精度に大きく依存することになる。

例えば、下記の特許文献１では、予め何種類かの代表画像と各代表画像に対応する学習データセットとを格納しておき、上記代表画像のテクスチャの特徴量と、超解像処理の対象となる原画像のテクスチャの特徴量とを比較し、最も類似度が高い代表画像に対応する学習データセット（高解像度画像のパッチ）を使用して原画像の超解像処理を行っている。

すなわち、特許文献１では、原画像のテクスチャと近いテクスチャを持つ画像の学習データセットを用いて高解像度部分を推測するので、高解像度化処理の精度を高めることができる。

また、下記の特許文献２では、超解像処理によって得られた超解像画像が適切であるかを検証することにより、正しい推測がなされたか否かを判定している。具体的には、特許文献２では、正しく超解像処理がなされた場合の画像（正解画像）と、正解画像を超解像処理して得られた画像とを所定の判定行列を用いて評価し、該評価結果に基づいて、正しい推測がなされたか否か、すなわち適切な超解像処理が行われたか否かを判定している。

さらに、原画像から推定された高解像度画像を、所定の高解像度化評価関数を用いて評価し、その評価値がよくなる方向に高解像度画像を更新することによって、より鮮明な高解像度画像を生成する技術も知られている。

なお、高解像度化評価関数は、一般に、高解像度画像を擬似的に低解像度化した低解像度化画像と原画像との誤差を示す誤差項と、事前確率情報や画素値を調整する正規化条件等から導かれる拘束項とを含んでいる。
特開２００５−２５３０００号公報（２００５年９月１５日公開） 特開２００４−２９４４０８号公報（２００４年１０月２１日公開）

しかしながら、上記従来の超解像処理では、超解像処理対象となる原画像と、代表画像や正解画像とのずれについて何ら考慮されていないので、代表画像や正解画像と原画像とがずれている場合、例えばそれぞれの画像の縮尺倍率が異なる場合等に、高解像度化の精度が低下するという問題があった。

また、上述のようなずれの影響を軽減する方法として、高解像度化評価関数の汎用性を高めることが考えられる。汎用性の高い高解像度化評価関数を用いる場合、多少のずれがあっても高解像度化の精度は低下しないが、この場合、高解像度化評価関数自体の高解像度化精度が低いものとなる。

本発明は、上記の点に鑑みてなされたものであり、その目的は、画像を精度よく高解像度化することができる画像処理装置、画像処理方法、画像処理装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体を実現することにある。

本発明の画像処理装置は、上記課題を解決するために、複数の撮像画像に基づいて生成した高解像度画像の高解像度化精度を示す評価値を、上記撮像画像と高解像度画像との誤差を示す評価関数を用いて算出し、上記評価値が所定の値より小さくなるように上記高解像度画像を更新することによって超解像画像を生成する画像処理装置において、上記撮像画像の撮像対象の被撮像面における形状を示す設計データと上記撮像画像との位置ずれ及びサイズの差を求める設計データずれ検出手段と、上記設計データずれ検出手段で求めた位置ずれ及びサイズの差に基づいて、上記設計データの位置及びサイズを上記撮像画像と合わせた補正設計データを生成し、該補正設計データと、上記撮像画像を高解像度化した高解像度画像とを比較し、上記補正設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更する評価関数変更手段とを備えていることを特徴としている。

また、本発明の画像処理方法は、上記課題を解決するために、複数の撮像画像に基づいて生成した高解像度画像の高解像度化精度を示す評価値を、上記撮像画像と高解像度画像との誤差を示す評価関数を用いて算出し、上記評価値が所定の値より小さくなるように上記高解像度画像を更新することによって超解像画像を生成する画像処理方法において、上記撮像画像の撮像対象の被撮像面における形状を示す設計データと上記撮像画像との位置ずれ及びサイズの差を求める設計データずれ検出ステップと、上記設計データずれ検出ステップで求めた位置ずれ及びサイズの差に基づいて、上記設計データの位置及びサイズを上記撮像画像と合わせた補正設計データを生成し、該補正設計データと、上記撮像画像を高解像度化した高解像度画像とを比較し、上記設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更する評価関数変更ステップとを含むことを特徴としている。

上記の構成によれば、撮像対象の被撮像面における形状を示す設計データと、該撮像対象を撮像して得られた撮像画像との位置ずれ及びサイズの差が検出される。これにより、設計データの位置及びサイズを撮像画像と合わせた補正設計データを生成することができる。

なお、設計データの位置及びサイズを撮像画像と合わせるときには、撮像対象の被撮像面における設計データの位置が撮像画像の位置と一致するように修正すると共に、設計データを拡大または縮小して設計データのサイズが撮像画像のサイズと一致するように修正すればよい。

ここで、高解像度画像は撮像画像を高解像度化したものであるから、補正設計データと高解像度画像とは、撮像対象の同じ位置の形状や色を表すデータであり、また、補正設計データと高解像度画像とはサイズも等しい。なお、ここでは「サイズ」は縮尺倍率を指すものとする。

そこで、上記構成では、補正設計データと高解像度画像とを比較し、上記補正設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更している。この変更後の評価関数を用いて高解像度画像の評価・更新を行うことにより、補正設計データと高解像度画像との画素値の差または周波数成分の差は小さくなっていく。

すなわち、上記変更後の評価関数を用いて、高解像度画像の評価・更新を行うことにより、撮像画像と位置ずれ及びサイズの差がない補正設計データが高解像度画像に反映される。これにより、設計データを正確に反映させた精度の高い超解像画像を生成することが可能となる。

なお、評価関数を補正設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように変更するには、例えば、補正設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるような数式を評価関数に組み込めばよい。

また、上記評価関数変更手段は、上記設計データずれ検出手段が求めた位置ずれ及びサイズの差に基づいて、上記設計データの周波数領域データを上記撮像画像の周波数領域データの位置及びサイズに合わせた補正設計データを生成し、該補正設計データの周波数領域データにおける各周波数成分の位置と、上記撮像画像の周波数領域データにおける各周波数成分の位置とを比較し、上記撮像画像の周波数領域データにおいて、上記撮像画像を撮像した撮像装置のナイキスト周波数よりも低い周波数領域に含まれる周波数成分の中から、上記補正設計データの周波数領域データにおいて、上記ナイキスト周波数よりも低い周波数領域に含まれる周波数成分と対応するものがない周波数成分を抽出し、該抽出した周波数成分を、上記ナイキスト周波数よりも高い周波数領域へと折り返した周波数領域データを空間領域データに変換した設計参照画像を生成し、上記高解像度画像の画素値と、対応する設計参照画像の画素値との差が小さくなるほど評価値が小さくなるように上記評価関数を変更することが好ましい。

ナイキスト周波数とは、撮像装置の解像度やレンズ性能等によって決まる周波数であり、その撮像装置でナイキスト周波数よりも高い周波数成分を含む撮像対象を撮像した場合、エイリアシングが発生してしまう。

このエイリアシングの発生した画像を周波数領域のデータに変換した場合、ナイキスト周波数よりも高い周波数領域にはピークが出現しない。これは、ナイキスト周波数よりも高い周波数領域に本来出現するべきピークが、ナイキスト周波数を軸に低周波数側に折り返されていることによる。

このように、周波数成分に折り返しが発生している場合、本来は同じ周波数成分を有するべき、補正設計データの周波数領域データと撮像画像の周波数領域データとで周波数成分が異なることになる。

すなわち、ナイキスト周波数よりも高い周波数成分を含む撮像対象を撮像した場合、撮像画像の周波数領域データでは、ナイキスト周波数よりも低い周波数領域に含まれる周波数成分に、ナイキスト周波数を軸に低周波数領域へと折り返された周波数成分が含まれる。これに対し、補正設計データの周波数領域データでは、周波数成分の折り返しが発生していない。

そこで、上記本発明の構成では、撮像画像の周波数領域データにおいて、ナイキスト周波数よりも低い周波数領域に含まれる周波数成分の中から、補正設計データの周波数領域データにおいて、上記ナイキスト周波数よりも低い周波数領域に含まれる周波数成分と対応するものがない周波数成分を抽出している。

そして、抽出した周波数成分を、上記ナイキスト周波数を軸に高周波数領域へと折り返すことにより、ナイキスト周波数よりも低い周波数領域に折り返されていた周波数成分をあるべき位置に復元している。

このように、折り返し周波数成分を復元した撮像画像の周波数領域データを空間領域データ、すなわち画像データに変換して得られた設計参照画像は、設計データを用いて撮像画像を高解像度化したデータであるといえる。

したがって、評価関数を、高解像度画像の画素値と対応する設計参照画像の画素値との差が小さくなるほど評価値が小さくなるように変更することにより、設計データを正確に反映させた精度の高い超解像画像を生成することができる。

また、上記設計データは、同色の画素群の配置を示すデータを含み、上記評価関数変更手段は、上記補正設計データにおける同色の画素群の配置に対応する、上記高解像度画像の画素群を検出し、該検出した画素群に含まれる画素の画素値の分散が小さいほど評価値が小さくなるように上記評価関数を変更する構成であってもよい。

上記の構成によれば、設計データに同色の画素群の配置を示すデータが含まれているので、補正設計データにおける画素群の配置から、撮像画像を高解像度化した高解像度画像において同色となるべき画素群の位置を検出することができる。

すなわち、高精度に高解像度化が行われた場合、上記検出した画素群に含まれる画素は全て同色となると考えられる。そこで、上記構成では、上記検出した画素群に含まれる画素の画素値の分散が小さいほど評価値が小さくなるように評価関数を変更している。

したがって、この評価関数を用いて高解像度画像の評価を行った場合、高解像度化の精度が高いほど小さな評価値が算出されることになり、この評価値の算出結果に基づいて高解像度画像の更新を行うことにより、設計データを正確に反映させた精度の高い超解像画像を生成することができる。

また、上記評価関数変更手段は、上記補正設計データの周波数領域データにおける各周波数成分と、上記高解像度画像の周波数領域データにおける各周波数成分とを比較し、対応する周波数成分の位置及び振幅のずれが小さいほど小さい値をとるように上記評価関数を変更する構成としてもよい。

上述のように、補正設計データは、撮像対象の被撮像面の形状を示し、撮像画像と位置ずれ及びサイズの差がないデータである。また、撮像画像はこの撮像対象を撮像して得られるものであり、高解像度画像はこの撮像画像を高解像度化して得られるものである。

したがって、高精度に高解像度化が行われた場合、補正設計データを周波数領域のデータに変換した場合に生じる周波数成分と、高解像度画像を周波数領域に変換した場合に生じる周波数成分とは、ほぼ一致することになる。

ここで、上記構成では、評価関数を、補正設計データの周波数領域データにおける周波数成分と、高解像度画像の周波数領域データにおいて対応する周波数成分との位置及び振幅のずれが小さいほど小さい値をとるように評価関数を変更する。

したがって、この評価関数を用いて高解像度画像の評価を行った場合、高解像度化の精度が高いほど小さな評価値が算出されることになり、この評価値の算出結果に基づいて高解像度画像の更新を行うことにより、設計データを正確に反映させた精度の高い超解像画像を生成することができる。

また、上記設計データは、同色の画素群の配置と、各色の画素値または各色間の画素値の比とを示すデータを含み、上記評価関数変更手段は、上記補正設計データにおける同色の画素群の配置に対応する上記高解像度画像の画素群を検出し、該検出した画素群に含まれる画素の画素値を、上記補正設計データにおける画素群の画素値、または画素値の比で割った値が一定の所定値に近いほど小さい値をとるように上記評価関数を変更する構成であってもよい。

上記の構成によれば、設計データに同色の画素群の配置を示すデータが含まれているので、補正設計データにおける画素群の配置から、撮像画像を高解像度化した高解像度画像において同色となるべき画素群の位置を検出することができる。

また、設計データには、同色の画素群の配置と各色の画素値とを示すデータ、または上記設計データにおいて同色の画素群の配置と各画素群の画素値の比とを示すデータが含まれている。

ここで、高精度に高解像度化が行われた場合、高解像度画像において、上記検出された画素群に含まれる画素は、該検出された画素群に対応する設計データの画素群と同色になる。また、高解像度画像において、上記検出された各画素群間の画素値の比は、対応する設計データの各画素群間の画素値の比と等しくなる。

そこで、上記構成では、上記検出した画素群に含まれる画素の画素値を、該検出した画素群に対応する上記補正設計データにおける画素群の色の画素値、または画素値の比で割った値が一定の所定値に近づくほど小さな値をとるように評価関数を変更している。

したがって、この評価関数を用いて高解像度画像の評価を行った場合、高解像度化の精度が高いほど小さな評価値が算出されることになり、この評価値の算出結果に基づいて高解像度画像の更新を行うことにより、設計データを正確に反映させた精度の高い超解像画像を生成することができる。

また、本発明の画像処理装置は、同一の撮像対象を撮像して得られた複数の撮像画像間の位置変位量を求める画像処理装置であって、上記撮像画像の撮像対象の被撮像面における形状を示す設計データと、上記複数の撮像画像の中から選択した基準画像との位置ずれ及びサイズの差を求める設計データずれ検出手段と、上記設計データずれ検出手段で求めた位置ずれ及びサイズの差に基づいて、上記設計データの周波数領域データを上記撮像画像の周波数領域データの位置及びサイズに合わせた補正設計データを生成し、該補正設計データの周波数領域データにおける各周波数成分の位置と、上記撮像画像の周波数領域データにおける各周波数成分の位置とを比較し、上記撮像画像の周波数領域データにおいて、上記撮像画像を撮像した撮像装置のナイキスト周波数よりも低い周波数領域に含まれる周波数成分の中から、上記補正設計データの周波数領域データにおいて、上記ナイキスト周波数よりも低い周波数領域に含まれる周波数成分と対応するものがない周波数成分を抽出し、該抽出した周波数成分を上記ナイキスト周波数よりも高い周波数領域へと折り返した周波数領域データを空間領域データに変換した設計参照画像を生成する設計参照画像生成手段と、上記設計参照画像におけるサブピクセル部の画素値を上記基準画像のサブピクセル部の画素値として、上記基準画像と複数の撮像画像のそれぞれとの位置ずれを検出する撮像画像ずれ検出手段とを備えていることを特徴としている。

例えば、複数の撮像画像から１つの超解像画像を生成する超解像処理においては、複数の撮像画像間の位置ずれ（位置変位量）を求める必要がある。上記の構成では、複数の撮像画像の中から基準画像を選択し、基準画像とその他の撮像画像との位置ずれを検出することで、複数の撮像画像間の位置ずれを求める。

ところで、複数の撮像画像間の位置ずれを高精度に検出するためには、各撮像画像のサブピクセル部の画素値を求める必要があるが、撮像画像は高解像度化の対象となる画像であることから、解像度が低い場合が多く、サブピクセル部の画素値を求めることは困難である。なお、サブピクセル部は、ある画素とその画素に隣接する画素との中間位置を指す。

ここで、設計参照画像は、設計参照画像と基準画像とは位置ずれがなくサイズも同じである。したがって、設計参照画像におけるサブピクセル部の画素値を基準画像におけるサブピクセル部の画素値とみなすことができる。また、設計参照画像は、ナイキスト周波数よりも高い周波数成分を復元したデータであるから、設計参照画像とその他の撮像画像との位置ずれを検出することにより、複数の撮像画像間の位置合わせを、サブピクセルレベルで高精度に行うことができる。

また、本発明の画像処理装置は、同一の撮像対象を撮像して得られた複数の画像間の位置変位量を求める画像処理装置であって、上記撮像画像の撮像対象の被撮像面における形状を示す設計データと、上記複数の撮像画像のそれぞれとの間の位置ずれ及びサイズの差を検出する撮像画像ずれ検出手段を備えていることを特徴としている。

上述のように、複数の撮像画像から１つの超解像画像を生成する超解像処理においては、複数の撮像画像間の位置ずれを求める必要がある。ここで、複数の撮像画像のそれぞれと上記設計データとの間の位置ずれ及びサイズの差を検出することによって、設計データを基準として複数の撮像画像間の位置ずれを求めることができる。

ところで、複数の撮像画像は、撮像対象の被撮像面を撮像して得られたものであり、通常は、撮像装置の撮像素子が被撮像面に対して平行な状態で撮像される。しかしながら、撮像時に撮像装置や撮像対象が傾くことによって、撮像装置の撮像素子が被撮像面に対して傾斜した状態で撮像されることがある。この場合、傾斜した撮像画像に基づいて高解像度画像が生成されるので分解能が均一な高解像度画像を生成することが難しい。

ここで、上記構成によれば、複数の撮像画像のそれぞれと上記設計データとの間の位置ずれ及びサイズの差を検出する。設計データは撮像対象の被撮像面の形状を示すものであり、被撮像面に対して傾斜していないデータであるから、撮像画像が上記撮像対象の被撮像面に対して傾斜している場合でも分解能が均一な高解像度画像を生成することができる。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを画像処理装置の各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明の画像処理装置は、撮像画像の撮像対象の被撮像面における形状を示す設計データと上記撮像画像との位置ずれ及びサイズの差を求める設計データずれ検出手段と、上記設計データずれ検出手段で求めた位置ずれ及びサイズの差に基づいて、上記設計データの位置及びサイズを上記撮像画像と合わせた補正設計データを生成し、該補正設計データと、上記撮像画像を高解像度化した高解像度画像とを比較し、上記補正設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更する評価関数変更手段とを備えている構成である。

また、本発明の画像処理方法は、以上のように、撮像画像の撮像対象の被撮像面における形状を示す設計データと上記撮像画像との位置ずれ及びサイズの差を求める設計データずれ検出ステップと、上記設計データずれ検出ステップで求めた位置ずれ及びサイズの差に基づいて、上記設計データの位置及びサイズを上記撮像画像と合わせた補正設計データを生成し、該補正設計データと、上記撮像画像を高解像度化した高解像度画像とを比較し、上記設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更する評価関数変更ステップとを含む構成である。

したがって、更新後の高解像度画像には、撮像画像と位置ずれ及びサイズの差がない状態の設計データが反映されることになり、設計データを正確に反映させた精度の高い超解像画像を生成することが可能となる。

本発明の一実施形態について図１〜図２４に基づいて説明すると以下の通りである。

〔システムの概要について〕
まず、本実施形態の検査システム１の概要について図２に基づいて説明する。図２は、本実施形態の検査システム１の概要を示す側面図である。検査システム１は、図示のように、撮像装置２、画像処理装置３、駆動装置４、フレーム５、及び保持部材６を備える構成である。

撮像装置２は、撮像対象７の画像を撮像し、撮像した画像を撮像画像データとして画像処理装置３に送出する。撮像装置２としては、ＣＣＤ素子を備えたエリアセンサやラインセンサ等を適用することができる。撮像装置２は画像処理装置３と配線接続されており、また、撮像装置２は駆動装置４を介してフレーム５に固定されている。

画像処理装置３は、撮像装置２から受け取った撮像画像データを超解像処理し、超解像画像を出力する。また、画像処理装置３は、撮像装置２及び駆動装置４の動作の制御を行う。画像処理装置３の詳細については後述する。

フレーム５は、図示していないが、同図のＹ軸方向に奥行きを有する長方形状の構造である。駆動装置４は、フレーム５上を移動可能な構成となっており、駆動装置４をフレーム５上で移動させることによって、撮像対象７に対する撮像装置２の撮像位置を変えることができる。

保持部材６は、撮像対象７を保持・固定するための部材である。本実施形態では、撮像装置２をフレーム５上で駆動させることによって撮像対象７を撮像する態様を示すが、撮像装置２を固定し、保持部材６を駆動させることによって撮像装置２に対する撮像対象７の位置を変化させることによって撮像対象７を撮像してもよい。

撮像対象７は、本実施形態の検査システム１の検査対象となる物体である。撮像対象７は、その検査対象となる面が撮像装置２と対向するように保持部材６上に固定されている。

撮像対象７は、被検査面、すなわち撮像装置２で撮像される箇所が繰り返しパターンを有していることが好ましい。なお、繰り返しパターンとは、一定の周期で同一のパターンが繰り返すパターンである。

例えば、液晶表示パネルでは、その表示面に開口部が等間隔で規則的に配列しており、各開口部にはそれぞれＲＧＢいずれかのカラーフィルタが付されてＲＧＢの画素となっている。そして、ＲＧＢの各画素は、一定の周期、例えばＲＧＢ−ＲＧＢ−ＲＧＢ…の順で繰り返している。本実施形態では、撮像対象７が点灯状態の液晶表示パネルである場合を想定している。

本実施形態の検査システム１では、以上の構成により、画像処理装置３の制御に基づいて撮像装置２及び駆動装置４が動作し、撮像装置２はフレーム５上を移動しながら撮像対象７を撮像する。そして、撮像装置２が撮像した撮像画像データは、画像処理装置３に送られて超解像処理が施される。

〔画像処理装置の概要について〕
次に、画像処理装置３の概要について図１に基づいて説明する。図１は、画像処理装置３の要部構成を示すブロック図である。図示のように、画像処理装置３は、記憶部１１、設計データずれ検出部（設計データずれ検出手段、設計参照画像生成手段）１２、撮像画像ずれ検出部（撮像画像ずれ検出手段）１３、第１関数決定部（評価関数変更手段）１４、超解像処理部１５、入力部１６、出力部１７、及び外部装置制御部１８を備えている。

記憶部１１は、設計データを格納している設計データ保存部１９、撮像装置２から送られる撮像画像データを格納する撮像画像保存部２０、超解像処理中に生成される高解像度画像データを格納する高解像度画像保存部２１、及び超解像処理の結果画像である超解像画像データを格納する超解像画像格納部２２を備えている。

ここで、設計データ保存部１９に格納されている設計データについて図２１〜図２３に基づいて説明する。設計データとは、撮像対象７の形状、撮像対象７の各部のサイズ、撮像対象７の各部の画素値や画素値の比等を示すデータである。検査システム１では、予め撮像対象７を検査することがわかっているので、撮像対象７の各部のサイズ、撮像対象７の各部の画素値や画素値の比等を検査前に取得し、設計データとして格納しておくことができる。

ここでは、撮像対象７は液晶表示パネルであることを想定しているので、液晶表示パネルの開口部及びブラックマトリクス部のサイズや、開口部の画素値または画素値の比等を設計データとして用いることができる。

設計データの一例を図２１に基づいて説明する。図２１（ａ）は撮像対象７の部分平面図であり、図２１（ｂ）は図２１（ａ）において矢印ｗ１〜ｗ６及びｈ１〜ｈ２で示す箇所のサイズ及び画素値を示す設計データの一例を示す図である。

図２１（ａ）に示すように、撮像対象７上には、複数の開口部がマトリクス状に配列しており、開口部と開口部との間はブラックマトリクス部となっている。例えば、図示のように、開口部９１と開口部９２との間はブラックマトリクス部９５となっており、開口部９１〜９４で構成される開口部の列と、この列と隣接する開口部の列（同図で、開口部９１〜９４の下側に示されている開口部の列）との間はブラックマトリクス部９８となっている。

設計データの一例である図２１（ｂ）は、図示のように、撮像対象７の開口部やブラックマトリクス部の幅（Ｗｉｄｔｈ）、高さ（Ｈｅｉｇｈｔ）、及び画素値（Ｂｒｉｇｈｔｎｅｓｓ）を含むデータである。図２１（ｂ）では、図２１（ａ）の矢印ｗ１〜ｗ６で示す箇所の幅及び画素値、ｈ１〜ｈ２で示す箇所の高さをそれぞれ示している。具体的には、図２１（ｂ）の「Ｗｉｄｔｈ」の欄には、開口部９１の幅、ブラックマトリクス部９５の幅、開口部９２の幅、…というように各部の幅が順番に格納されている。また、「Ｈｅｉｇｈｔ」の欄には、開口部９１〜９４の高さ、ブラックマトリクス部９８の高さが順番に格納されている。そして、「Ｂｒｉｇｈｔｎｅｓｓ」の欄には、「Ｗｉｄｔｈ」の欄に対応する箇所の画素値が格納されている。例えば、図２１（ｂ）のｗ１、すなわち開口部９１の幅は１５で画素値は３３である。

図２１（ｂ）に示すデータによって、図２１（ａ）に示す画像データを作成することができるので、設計データとしては図２１（ｂ）に示すデータを格納しておけばよい。また、図２１（ａ）に示す画像データと図２１（ｂ）に示すデータとを対応付けたものを設計データとしてもよい。

なお、「Ｂｒｉｇｈｔｎｅｓｓ」欄に、開口部やブラックマトリクス部の画素値の比を格納してもよい。また、設計データは、予め画素値や画素値の比を含まなくてもよい。この場合、例えば撮像画像データにおける開口部やブラックマトリクス部の画素値、あるいは画素値の比を求めてこれを図２１（ｂ）のテーブルにおける「Ｂｒｉｇｈｔｎｅｓｓ」欄に格納すればよい。さらに、画像処理装置３では、画素値や画素値の比を用いずに超解像処理を行うこともできる。この場合、図２１（ｂ）における「Ｂｒｉｇｈｔｎｅｓｓ」欄を省略することができる。

続いて、設計データの他の例であるサンプル画像データについて図２２に基づいて説明する。撮像対象７、あるいは撮像対象７と同様のパターンを有するサンプルを撮像して得られたサンプル画像データを設計データとして用いることができる。

図２２（ａ）は、サンプル画像データの一例を示す図である。また、図２２（ｂ）は、図２２（ａ）の破線で囲まれる部分のデータ構造を示す図である。図２２（ｂ）に示すように、サンプル画像データは、画像中に含まれる各画素の画素値を示すデータであり、この例では開口部の画素値が「１」であり、ブラックマトリクス部の画素値が「０」である。

図２２の例におけるサンプル画像データは、全ての開口部の画素値が「１」となっており、撮像対象７の画素値や画素値の比に関するデータを含まないが、画素値や画素値の比に関するデータを含むサンプル画像データを用いてもよい。

また、設計データとして、撮像対象７における同色の画素群の位置を示すデータを格納していてもよい。例えば、液晶表示パネルでは、同色のカラーフィルタを備えた開口部が同色の画素群となる。

撮像対象７における同色の画素群の位置を示すデータを含む設計データの例について、図２３に基づいて説明する。図２３において、ｄ_１はブラックマトリクス部の左右方向の間隔を示し、ｄ_２はブラックマトリクス部の上下方向の間隔を示している。また、ｄ_３は同色画素の上下方向の間隔を示し、ｄ_４は同色画素の左右方向の間隔を示している。ブラックマトリクス部は、全て同色であるから、図２３におけるｄ_１〜ｄ_４は全て同色画素群間の距離を示していることになる。

詳細については後述するが、画像処理装置３では、以上のような設計データと、撮像画像データとの位置ずれ及びサイズの差を検出する。そして、位置及びサイズが撮像画像データに合うように修正した設計データを利用することによって高精度な超解像処理を行うことを可能にしている。

なお、図２１（ａ）、図２２（ａ）、図２３に示すような画像データは、撮像対象７、すなわち液晶表示パネルの形状のパターンを示すものであるから、以下ではこれをパネルパターンと称することがある。また、設計データは、少なくとも撮像対象７の被撮像面の形状を示すデータであればよく、上述の例に限られない。

ここで、画像処理装置３の概要説明に戻る。設計データずれ検出部１２は、撮像画像データと設計データとの位置ずれ、サイズの差を検出した検出結果と、設計データとを第１関数決定部１４に送出する。また、設計データずれ検出部１２は、設計参照画像データを生成し、生成した設計参照画像データを撮像画像ずれ検出部１３及び第１関数決定部１４に送出する。

撮像画像ずれ検出部１３は、上記設計参照画像データを用いて基準撮像画像データに対するそれ以外の撮像画像データのずれを検出し、検出結果を超解像処理部１５に送出する。なお、基準撮像画像データ及び設計参照画像データについては後述する。

第１関数決定部１４は、設計データずれ検出部１２が検出した、撮像画像データと設計データとのずれに基づいて、超解像処理に用いる高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を定式化する。そして、第１関数決定部１４は、この関数を超解像処理部１５に送出する。

超解像処理部１５は、第１関数決定部１４から送られる関数（Ｅ_ｐａｔ）を用いて高解像度化評価関数を変更し、変更された高解像度化評価関数を用いて超解像処理を行う。超解像処理では、上記撮像画像データに対応する高解像度画像データを上記高解像度化評価関数で評価、更新することにより超解像画像を生成する。そして、超解像処理部１５は、超解像処理によって得られた超解像画像データを記憶部１１の超解像画像格納部２２に格納する。

入力部１６は、記憶部１１内の各種データを出力部１７に出力させたり、記憶部１１内の各種データの追加・削除・編集等を行ったり、画像処理装置３が備える各構成の動作を入力指示によって制御したりするためのものである。

例えば、検査システム１のユーザは、入力部１６を操作することによって、超解像画像保存部２２に格納されている超解像画像データを出力したり、設計データ保存部１９に格納されている設計データを変更したりすることができる。また、例えば、第１関数決定部１４に、撮像画像データと設計データとのずれを入力し、関数（Ｅ_ｐａｔ）を生成させることもできる。入力部１６は、キーボードやタッチパネル、入力ボタン等で構成することができる。

出力部１７は、記憶部１１に格納されている各種データを出力する。具体的には、出力部１７は液晶表示パネル、プリンタ等で構成することができる。そして、外部装置制御部１８は、撮像装置２の撮像タイミングの制御、及び駆動装置４の駆動の制御を行う。具体的には、外部装置制御部１８の指示に従って駆動装置４がフレーム５上の任意の位置に移動し、外部装置制御部１８の指示するタイミングで撮像装置２が撮像を行う。

〔超解像画像が生成されるまでの処理の流れについて〕
以上の構成を備える画像処理装置３における、超解像画像生成処理の流れを図３に基づいて説明する。図３は、超解像画像生成処理の流れを示すフローチャートである。なお、ここでは、超解像画像生成処理のアウトラインのみを説明し、超解像画像生成処理の各ステップの詳細については後述する。

まず、外部装置制御部１８は、撮像装置２及び駆動装置４を動作させ、撮像対象７を撮像させる。撮像装置２が撮像した撮像対象７の画像データである撮像画像データは、画像処理装置３に送られ、画像処理装置３の撮像画像保存部２０に記憶される（Ｓ１）。

なお、ここでは、撮像対象７を複数回撮像して複数の撮像画像データを得る。具体的には、まず、適当な位置で撮像対象７を撮像する。次に、駆動装置４によって撮像装置２をフレーム５上で所定の距離だけ移動させた後、再び撮像装置２で撮像対象７を撮像する。これを所定数の撮像画像データが得られるまで繰り返す。

このとき、駆動装置４による移動距離は予め決めた距離であっても、任意の距離であってもよい。移動距離が予め決められている場合には、得られた撮像画像データ間のずれ量はこの移動距離に基づいて求めることができるので、撮像画像ずれ検出部１３を省略することができる。また、複数の撮像装置２を用いて撮像対象７の撮像を行ってもよい。この場合、１台の撮像装置２を用いる場合に比べて撮像時間を短縮することができる。

続いて、設計データずれ検出部１２は、撮像画像保存部２０から上記複数の撮像画像データの中から選択した基準撮像画像データを読み出すと共に、設計データ保存部１９から設計データを読み出す。そして、読み出した設計データと基準撮像画像データとのずれを検出し、検出結果を第１関数決定部１４に送出する（Ｓ２）。

次に、第１関数決定部１４は、設計データずれ検出部１２から送られる検出結果に基づいて、高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を決定し、この関数を超解像処理部１５に送出する（Ｓ３）。

そして、超解像処理部１５は、第１関数決定部１４から送られる関数（Ｅ_ｐａｔ）を拘束項として組み込んだ高解像度化評価関数を作成する。次に、超解像処理部１５は、高解像度画像保存部２１から読み出した高解像度画像データを上記高解像度化評価関数にて評価、更新し、予め定めた評価基準を満たした高解像度画像データを超解像画像データとする。そして、超解像処理部１５は、生成した超解像画像データを超解像画像保存部２２に格納すると共に、出力部１７に出力させる（Ｓ４）。

以上のように、本実施形態の画像処理装置３では、撮像対象７の設計データと撮像画像データとのずれを考慮した拘束項が組み込まれた高解像度化評価関数を用いて超解像処理を行うので、実際の撮像画像に即した超解像画像を生成することができる。

〔設計データずれ検出処理について〕
続いて、図３に示した超解像画像生成処理の各ステップの詳細について説明する。まず、Ｓ２の設計データずれ検出処理の詳細について図４〜図７に基づいて説明する。

図４は、設計データずれ検出処理の一例を示すフローチャートである。図４に示すように、設計データずれ検出部１２は、まず、撮像画像データの中から基準撮像画像データを決定する（Ｓ１１）。

上述のように、超解像処理においては、撮像対象７の少しずつ、ずれた位置を撮像した撮像画像データを取得し、このずれ量に基づいて超解像処理を行う。基準撮像画像データを設定した場合、基準撮像画像データとその他の撮像画像データとのずれ量に基づいて超解像処理を行うことになるので、生成される超解像画像は、基準撮像画像データを高解像度化したものとなる。

なお、複数の撮像画像データの中から基準撮像画像データを選択する方法は、特に限定されないが、例えば、撮像画像データのうち、撮像時間が最初のものを基準撮像画像データとして選択すればよい。また、例えば、全撮像画像データのうち、撮像対象７の重心に最も近い位置を撮像したものを基準撮像画像データとして選択してもよい。なお、基準撮像画像データを設定しない場合は、設計データを基準として複数の撮像画像データ間のずれを求めてもよい。

続いて、設計データずれ検出部１２は、設計データ及び上記基準撮像画像データを周波数領域のデータに変換する（Ｓ１２）。なお、周波数領域のデータへの変換にはフーリエ変換等を用いることができ、画像処理装置３における周波数領域のデータへの変換は、全てフーリエ変換によって行われる。

次に、設計データずれ検出部１２は、設計データの周波数領域のデータと、基準撮像画像データの周波数領域のデータとを比較し、両者の位置ずれ及びサイズの差を求める（Ｓ１３）。なお、ここで、「サイズ」は縮尺倍率を指す。

設計データは、撮像対象７の形状、サイズ、画素値の分布等を示すデータであるから、設計データと基準撮像画像データとは、位置ずれ及びサイズの差がなければ主要な周波数成分は同じになる。したがって、位置ずれ及びサイズの差は、例えば以下のようにして求めることができる。

すなわち、設計データを二値化し、その二値化データと、基準撮像画像データの周波数領域のデータとの相関値が最も高くなる位置及びサイズの差を計算することによって、設計データと基準撮像画像データとのずれを求めることができる。

そして、設計データずれ検出部１２は、設計データに基づいて基準撮像画像データを修正した設計参照画像データを生成する（Ｓ１４）。設計参照画像データとは、基準撮像画像データを高解像度化した高解像度画像データの各画素が有する画素値の推定値を持つデータである。設計参照画像データの具体的な生成方法については後述する。

設計データずれ検出部１２は、上記設計参照画像データ、及び基準撮像画像データと設計データとのずれを示すデータを第１関数決定部１４に送出する。また、設計データずれ検出部１２は、上記設計参照画像データを撮像画像ずれ検出部１３に送出する。

続いて、Ｓ１４の設計参照画像生成処理の具体例について説明する。なお、ここでは撮像対象７は液晶表示パネルであり、設計データはパネルパターンとして与えられているものとする。

図５は、パネルパターンの一例を示す図である。パネルパターンは、撮像対象７、すなわち液晶表示パネルの画像データであり、図示のように、開口部３１がマトリクス状に配列している。また、開口部３１の行間はブラックマトリクス部３２となっており、開口部３１の列間はブラックマトリクス部３３となっている。

また、ここでは、設計データは、このパネルパターンに加えて、図２１（ｂ）に示すような、開口部３１の縦横のサイズ、ブラックマトリクス部３２及びブラックマトリクス部３３のそれぞれの幅を示すデータを含んでいることを想定している。

続いて、図５に示すパネルパターンのＡ−Ａ’上の位置と、Ａ−Ａ’上の各位置における画素値との関係をグラフ化する。図６（ａ）は、図５に示すパネルパターンのＡ−Ａ’上の位置と、各位置における画素値との関係を示す図である。図６（ａ）に示すように、画素値が高い高画素値領域と画素値が低い低画素値領域とが交互に、かつ規則的に存在している。

これら各領域は、それぞれ図５に示す開口部３１及びブラックマトリクス部３３に対応している（図５参照）。また、図６（ａ）において、高画素値領域の画素値がそれぞれ異なっている。これは、開口部３１の画素値がそれぞれ異なること、すなわちＡ−Ａ’上に位置する開口部３１にはそれぞれ異なる色のカラーフィルタが付されていることを示している。

次に、図６（ａ）に示すパターンをフーリエ変換することにより、同図（ｂ）に示すような周波数と強度との関係を示すグラフを得る。図示のように、低周波数側から順にｆ０、ｆ１、ｆ２のピークが現れる。

なお、ここでは、簡単のためパネルパターンの直線Ａ−Ａ’上のみについて周波数領域のデータに変換する例を示しているが、実際には、パネルパターンの全面に対して２次元フーリエ変換を行い、周波数領域のデータを取得する。２次元フーリエ変換を行う場合においても以下の処理工程は同じである。

全てのピークを設計参照画像データの生成に用いると計算が煩雑になるので、設計データずれ検出部１２は、主要な周波数成分のみを抽出する。すなわち、フーリエ変換により出現したピークを強度について設定した閾値によって分類し、該閾値以上の強度をもつピークのみを抽出する。本実施形態では、図６（ａ）に示すように、強度の閾値をｓと設定しており、ピークｆ０〜ｆ２は、強度が閾値ｓ以上となっている。ここでは、強度が閾値ｓに満たないピークは検出せず、強度が閾値ｓ以上のピーク、すなわちピークｆ０〜ｆ２のみを検出する。

なお、図６（ａ）にｆ_ｎで示している周波数は、ナイキスト周波数である。ナイキスト周波数とは、撮像装置２の撮像性能、すなわち撮像装置２の撮像画素数やレンズ性能等によって決まる数値であり、撮像装置２が撮像可能な限界周波数を示す。撮像対象７がナイキスト周波数を越える周波数成分を含む場合、撮像装置２で撮像された撮像画像データを周波数領域に変換すると、ナイキスト周波数を超える周波数成分がこのナイキスト周波数で折り返されたデータとなる。

ここで、設計データずれ検出部１２は、図４のＳ１２で生成した、上記基準撮像画像データの周波数領域データを読み出し、設計データの周波数領域データと基準撮像画像データの周波数領域データとを比較する。

図７（ａ）は、基準撮像画像データの周波数領域データの一例を示す図である。図示のように、基準撮像画像データの周波数領域データでは、低周波数側から順にｆ０、ｆ１、ｆ２’のピークが現れている。このピークｆ２’は、ピークｆ２がナイキスト周波数ｆ_ｎを軸に低周波数領域へと折り返されて生じたピークである。このように、基準撮像画像データの周波数領域データでは、本来ｆ２の位置に検出されるべきピークがｆ２’の位置に検出されてしまう。

これに対し、設計データは、撮像対象７の設計形状を示しているので、設計データの周波数領域データでは、図６（ｂ）に示すように、ナイキスト周波数ｆ_ｎ以上の周波数をもつピークがナイキスト周波数ｆ_ｎよりも高周波数領域に現れる。

したがって、設計データの周波数領域データと基準撮像画像データの周波数領域データとを比較することによって、基準撮像画像データの周波数領域データにおいて、ナイキスト周波数を軸に低周波数領域に折り返されたピークを特定することができる。

例えば、設計データの周波数領域データにおけるピーク間の間隔と、基準撮像画像データの周波数領域データにおけるピーク間の間隔とを比較することによって、折り返されたピークを特定することができ、また、折り返し回数も求めることができる。

このようにして、設計データずれ検出部１２は、基準撮像画像データの周波数領域データにおいて、どのピークが折り返されているか、また、折り返し回数が何回であるかを求める。

次に、設計データずれ検出部１２は、基準撮像画像データの周波数領域データを空間領域のデータに戻す。このとき、設計データずれ検出部１２は、折り返された周波数成分については、その折り返し回数に応じてピーク位置を折り返した後、空間領域のデータに戻す。これにより、基準撮像画像データの折り返しが復元された画像データを得ることができる。この画像データを設計参照画像データと呼ぶ。

設計参照画像データは、例えば下記の数式１で表すことができる。

数式１において、Ｆ_ｆ（ｆ）は、各周波数成分の振幅及び位相を表す複素数である。振幅及び位相は、設計データの周波数領域データの各周波数成分と、基準撮像画像データの周波数領域データにおいて設計データの周波数領域データの各周波数成分と対応する周波数成分とを比較することによって求めることができる。

例えば、基準撮像画像データの周波数領域のデータにおいて、図７（ａ）のようにピークが検出されているとする。ここで、図７（ａ）におけるピークの位置と図６（ｂ）におけるピークの位置とを比較することにより、ナイキスト周波数ｆ_ｎ及び対応する各ピークの周波数を求め、各周波数成分の振幅及び位相を求めることができる。

また、数式１において、Ｗ_ｐｅａｋは、設計データの周波数領域データにおいてピークとして検出した周波数成分の集合を指し、例えば図６（ｂ）の例ではピークｆ０〜ｆ２の集合を指す。そして、数式１において、ｆは周波数領域のデータにおけるピークの位置を示し、ｘは空間領域のデータにおける画素の位置を示している。すなわち、関数ｆ（ｘ）は、空間領域のデータ、すなわち画像データにおいて、位置ｘの画素の画素値を示す関数である。なお、ｊは複素数である（ｊ^２＝−１）。

ここで、数式１におけるｋは、折り返し回数を示す。折り返し回数は、ナイキスト周波数ｆ_ｎに対して折り返しの対象となる周波数成分がどの程度大きい周波数を有しているかによって決定される。具体的には、周波数がｆ_ｎ以上、３ｆ_ｎ未満の周波数成分の折り返し回数は１回となり、３ｆ_ｎ以上、５ｆ_ｎ未満の周波数成分の折り返し回数は２回となる。例えば、図６（ｂ）において、ピークｆ２の周波数は、ｆ_ｎ以上、３ｆ_ｎ未満と読み取れるので、このピークの折り返し回数は１となる。

この数式１に、基準撮像画像データの周波数領域データにおける各ピークを代入し、折り返されているピーク（図６（ｂ）の例ではｆ２のピーク）については、所定量だけシフトさせて数式１に代入することにより、基準撮像画像データについて、折り返し周波数成分を復元した状態の画素値を求めることができる。なお、上記数式１のｋに折り返し回数を代入することでピークをシフトさせることができる。すなわち、上記数式１のｋに折り返し回数を代入することで、ナイキスト周波数ｆ_ｎを軸に低周波数領域へと折り返されていたピークを高周波数領域へと復元することができる。

折り返し周波数成分の復元方法について、更に詳しく説明する。まず、周波数領域データには、ｆ＝０を対称軸として負の周波数領域にもピークが存在する。具体的には、図６（ｃ）に示すように、ピークｆ０〜ｆ２に対してｆ０⁻〜ｆ２⁻が存在する。図６（ｃ）は、図６（ｂ）の周波数領域データにおける負の周波数領域のピークを表示した周波数領域データの一例を示す図である。

負の周波数領域にもピークが存在する理由について説明する。まず、空間領域データを周波数領域データに変換するフーリエ変換では下記の数式２を用いる。数式２においてｆ（ｔ）は、撮像画像の画素値であり、実数である。そのため、Ｆ（ω）とＦ（−ω）とはそれぞれ数式３のように表される。すなわち、それぞれ虚数部の符号が逆転したＦ（ω）とＦ（−ω）とがフーリエ変換によって生じるのである。

折り返し成分を復元する際にはこのことに留意する必要がある。すなわち、折り返し回数が偶数回の折り返し成分を復元する場合には、そのピークの周波数値そのままの値をＦ_ｆ（ｆ）として用いればよい。これに対し、折り返し回数が奇数回の折り返し成分を復元する場合には、そのピークに対し、ｆ＝０を軸に対称な位置（負の周波数領域）のピークの値をＦ_ｆ（ｆ）として用いればよい。例えば、図６（ｃ）の例では、ピークｆ２は折り返し回数が１回であるから、Ｆ_ｆ（ｆ）の値は、ピークｆ２の値と虚数部の符号が逆転したピークｆ２⁻の値を用いればよい。

続いて、上記数式１の導出方法について説明する。まず、設計参照画像データのもとになる基準撮像画像データを数式として表す。基準撮像画像データは、例えば、下記の数式４で表すことができる。

ここで、関数ｆ（ｘ）のフーリエ変換Ｆ（ω）と、関数ｆ（ｘ）を離散化したｆ’（ｔ）のフーリエ変換Ｆ’（ω）との間には下記の数式５に示す関係が成り立つ。

この数式から、Ｆ’（ω）は、Ｆ（ω）がω_ｓの周期で繰り返すことが分かる。なお、ω_ｓは、サンプリング周波数ｆ_ｓまたはナイキスト周波数ｆ_ｎを用いて、下記の数式６で表すことができる定数である。また、数式６では、ω_ｓの１／２倍の値をω_ｎと表している（ω_ｓ＝２ω_ｎ）。

また、上記数式５におけるω_０はｆ（ｘ）の周期Ｔ_０を用いて下記の数式７で表される定数である。

Ｆ’（ω）は、Ｆ（ω）がω_ｓの周期で繰り返されたものであるから、Ｆ（ω）のパターンにω_ｎを超える周波数成分が含まれていない場合、Ｆ（ω）のパターンとＦ（ω）がω_ｓだけシフトされたパターンとは、重なり合うことがない。一方、Ｆ（ω）のパターンにω_ｎを超える周波数成分が含まれている場合、Ｆ（ω）のパターンとＦ（ω）がω_ｓだけシフトされたパターンとが重なり合うことになる。

これについて、図７（ｂ）に基づいて説明する。図７（ｂ）は、Ｆ（ω）のパターンとＦ（ω）がω_ｓだけシフトされたパターンとが重なり合う状態を示す図である。なお、上記数式６からもわかるように、Ｆ（ω）がω_ｓだけシフトされるということは、Ｆ（ω）がｆ_ｓだけシフトされるということと等しい。また、ω_ｎ＝２πｆ_ｎ（数式６参照）であるから、ナイキスト周波数ｆ_ｎとω_ｎとは図７（ｂ）において同じ位置となる。

同図では、Ｆ（ω）のパターンをＰ_０で示し、Ｆ（ω）がω_ｓだけシフトされたパターンをＰ_１で示している。また、パターンＰ_０に含まれるピークを、周波数の値が小さいほうから順に、ｆ２⁻（０）、ｆ１⁻（０）、ｆ０⁻（０）、ｆ０（０）、ｆ１（０）、ｆ２（０）で示し、同様に、パターンＰ_１に含まれるピークを、それぞれｆ２⁻（１）、ｆ１⁻（１）、ｆ０⁻（１）、ｆ０（１）、ｆ１（１）、ｆ２（１）で示している。

なお、図７（ｂ）では、Ｆ（ω）がだけシフトされており、
図示のように、パターンＰ_０とＰ_１とはその一部のパターンが重なり合っている。具体的には、パターンＰ_０のピークｆ２（０）がパターンＰ_１のｆ２⁻（１）とｆ１⁻（１）との間に食い込み、パターンＰ_１のピークｆ２⁻（１）がパターンＰ_０のｆ２（１）とｆ１（１）との間に食い込んでいる。

このように、Ｆ’（ω）は、Ｆ（ω）のパターンとＦ（ω）がω_ｓだけシフトされたパターンとを重畳したものとなり、重なり合う部分はもとのＦ（ω）のパターンにはないパターンとなる。したがって、Ｆ（ω）のパターンにω_ｎを超える周波数成分が含まれている場合、Ｆ’（ω）を逆フーリエ変換したとしても、ｆ（ｘ）を完全には再現することができない。

すなわち、折り返しのある周波数領域データをそのまま逆フーリエ変換すると、本来Ｆ（ω）に含まれるピークｆ２（０）の代わりに、パターンＰ_１のピークｆ２⁻（１）が空間領域データに変換されてしまい、エイリアシングが発生するという問題があった。

そこで、本実施形態では、設計データの周波数領域データと基準撮像画像データの周波数領域データとを比較することによって、折り返された周波数成分を特定し、該特定した周波数成分を本来あるべき位置に復元する。

なお、設計データの周波数領域データと基準撮像画像データの周波数領域データとの比較は、例えば、ピーク一つ一つを突き合わせることによって行われる。また、本実施形態のように撮像対象７が液晶表示パネルである場合には、図６（ｂ）等に示すように、ピークが等間隔で現れるので、ピークの間隔が等間隔ではない箇所を検出することによって折り返された周波数成分を検出することもできる。

ここで、周波数成分の折り返しについて説明する。図７（ｂ）に示すように、パターンＰ_０のピークｆ２⁻（０）、ｆ１⁻（０）、ｆ０⁻（０）と、ピークｆ０（０）、ｆ１（０）、ｆ２（０）とは、ｆ＝０に対して対称である。同様に、パターンＰ_１のピークｆ２⁻（１）、ｆ１⁻（１）、ｆ０⁻（１）と、ピークｆ０（１）、ｆ１（１）、ｆ２（１）とは、ω_ｓに対して対称である。

したがって、図示のように、パターンＰ_０のピークｆ２（０）は、パターンＰ_１のピークｆ２⁻（１）を、ω_ｎを軸に折り返した位置となる。すなわち、ω_ｎを超える周波数成分は、ω_ｎを軸に低周波数側へと折り返された位置に出現することになる。

そこで、パターンＰ_０において、パターンＰ_１のピークｆ２⁻（１）を、ω_ｎを軸に、高周波数側へと折り返すことで、折り返し周波数成分を復元することができる。なお、ピークｆ２⁻（１）を、ω_ｎを軸に高周波数側へと折り返した場合、ｆ２⁻（１）の値はその虚部の符号が逆転した値となる。

また、パターンＰ_１のピークｆ２（１）を−ω_ｓだけシフトさせることによっても、折り返し周波数成分を復元することができる。同様に、同図のパターンＰ_０の左側（周波数軸の負方向）にパターンＰ_−１があるとすれば、パターンＰ_−１のピークｆ２（−１）をω_ｓだけシフトさせることによって、折り返し周波数成分を復元することができる。

このように、ω_ｎ以上の周波数成分においても、他のピークと重なりがなく、シフト量（折り返し回数）が既知であれば、折り返されていない状態に復元することができる。

ところで、フーリエ変換されたデータＦ（ω）から、もとのデータｆ（ｘ）を復元する逆フーリエ変換は、下記の数式８で表される。ここで、逆フーリエ変換を行うときに、既知のシフト量（折り返し回数）ｋを加味して変換を行うことにより、上記の数式１が得られる。

上記数式１によれば、ナイキスト周波数よりも周波数の低い領域に折り返されていたピークが、ナイキスト周波数を軸に、ナイキスト周波数よりも周波数の高い領域へと折り返される。すなわち、上記数式１によれば、折り返し周波数成分を本来あるべき領域（ナイキスト周波数よりも高い周波数領域）に復元することができる。

このようにして得られた設計参照画像データは、パネルパターンすなわち設計データを用いて、基準撮像画像データにおける周波数成分の折り返しを修正した画像データを、数式として表したデータということになる。

数式１で表される設計参照画像データを画像データとして表した例を図２４に示す。同図（ａ）は設計参照画像データを画像として表した場合の外観を示す図であり、同図（ｂ）は同図（ａ）の破線で囲まれる箇所のデータ構造を示す図である。なお、同図（ａ）に小円で示しているのは画素である。

図示のように、設計参照画像データを画像データとして表した場合、図２２（ｂ）と同様に、画像中に含まれる各画素の画素値を示すデータとなる。ただし、図２２（ｂ）に示したような設計データとは異なり、基準撮像画像データに基づいた画素値のデータが追加されている。さらに、図示していないが、設計参照画像データと基準撮像画像データとは位置ずれがなく、サイズも同一となっている。

基準撮像画像データに基づいた画素値のデータが追加されているのは、設計参照画像データが基準撮像画像データの周波数領域のデータから、主な周波数成分のみを抽出したデータを空間領域のデータ（画像データ）に変換して得られたデータであるからである。

すなわち、空間領域のデータ（画像データ）と周波数領域のデータとは、可逆変換であることから、基準撮像画像データから主な周波数成分のみを抽出し、折り返された周波数成分を復元したデータを画像データに変換して得られた設計参照画像データは、基準撮像画像データの各画素が有する画素値の推定値を含むデータとなる。

なお、上記数式１は、基準撮像画像データの周波数領域のデータから、パネルパターンの主周波数成分及びその折り返された周波数の位置における周波数成分の強度を求め、その値と逆フーリエ変換の定義から直接計算して求めてもよい。

〔撮像画像ずれ検出処理について〕
次に、撮像画像ずれ検出部１３における撮像画像ずれ検出処理について説明する。上述の設計データずれ検出処理では、撮像画像データの中から選択した基準撮像画像データと設計データとのずれを検出した。上述のように、撮像画像データは、撮像対象７の少しずつ、ずれた位置を撮像したものであり、基準撮像画像データは複数の撮像画像データの中から選択されたものであるから、基準撮像画像データとその他の撮像画像データとの間には、ずれがある。撮像画像ずれ検出部１３は、基準撮像画像データとその他の撮像画像データとのずれを検出する。

具体的には、撮像画像ずれ検出部１３は、基準撮像画像データに対するそれ以外の撮像画像データの位置ずれを領域マッチング等によって検出する。本実施形態の撮像画像ずれ検出部１３は、上記設計参照画像データを用いて領域マッチングを行うので、基準撮像画像データとそれ以外の撮像画像データとの位置ずれを精度よく検出することができる。

これについて図８に基づいて説明する。同図（ａ）は撮像対象７である液晶表示パネルに対する撮像素子の割り当てを示す図であり、同図（ｂ）は上記液晶表示パネル上の位置と画素値との関係を示す図である。

高精度な領域マッチングを行うためには、領域マッチングの対象となる、基準撮像画像データ及びその他の撮像画像データについて、サブピクセル部の画素値を計算する必要がある。一般的には、隣接する画素の画素値を直線で補間してサブピクセル部の画素値を計算する。

しかしながら、撮像対象７が撮像装置２のナイキスト周波数よりも高い周波数成分を含んでいる場合、すなわち液晶表示パネルの開口部やブラックマトリクス部の大きさに対して、撮像装置２が備える撮像素子の割当が大きい場合、隣接する画素の画素値を直線で補間してサブピクセル部の画素値を計算すると、実際の画素値との差が大きくなってしまうことがある。

図８（ａ）は、図４のＡ−Ａ’断面における開口部３１、及びブラックマトリクス部３３を凹凸で表した図である。図８（ａ）では、凸部が開口部３１、凹部がブラックマトリクス部３３に相当する。また、撮像装置２における、撮像素子の割当をａ及びｂとし、この場合に、サブピクセル部ｃの画素値を求めるとする。

図８（ｂ）は、図８（ａ）に示す領域における、位置と画素値との関係を示している。ここでは、図８（ａ）に示す撮像素子の割り当てａの領域に含まれる点ａ’の位置における画素値をＶａ、撮像素子の割り当てｂに含まれるｂ’の位置における画素値をＶｂとしている。また、撮像素子の割り当てｃに含まれるｃ’の位置における画素値をＶｃとしている。

ここで、画素値ＶａとＶｂとを直線で補間してサブピクセル部の画素値を求めた場合、サブピクセル部の画素値はＶｃ’となり、これは実際の画素値Ｖｃと異なる。このように、隣接する画素の画素値を直線で補間してサブピクセル部の画素値を計算する方法では、撮像対象７が撮像装置２のナイキスト周波数よりも高い周波数成分を含んでいる場合にサブピクセル部の画素値を正確に算出することができないという問題があった。

そこで、画像処理装置３では、設計データずれ検出部１２が生成した設計参照画像データ（数式１）を用いてサブピクセル部の画素値の計算を行う。具体的には、まず、サブピクセル部に隣接する基準撮像画像データの画素の画素値から数式１におけるｘを計算する。なお、数式１におけるｘは画像データにおける画素の位置を示し、画像データはｘが整数のときの画素値の並びとして表される。したがって、ｘが小数を含むときはサブピクセル部の位置を表すことになる。続いて、数式１を用いてサブピクセル部の画素値を算出する。

これにより、サブピクセル部の画素値をより正確に計算することができ、基準撮像画像データとそれ以外の撮像画像データとの位置ずれを精度よく検出することができる。撮像画像ずれ検出部１３で撮像画像データ間のずれを検出する場合、基準撮像画像データを基準として超解像画像データが生成されることになる。したがって、分解能が均一の高解像度画像データを生成するためには、基準撮像画像データとして、液晶表示パネル（撮像対象７）の表示面と撮像装置２の撮像素子が配列している平面とが平行な状態で撮像されたものを用いることが好ましい。

なお、液晶表示パネルの表示面と撮像装置２の撮像素子が配列している平面とが平行ではなく、傾斜している場合に、分解能が均一の高解像度画像データを生成するためには、さらに別の処理が必要となる。

例えば、設計データは、液晶表示パネルに対して傾斜していないものを予め用意しておくことができる。そして、設計データずれ検出部１２で検出された設計データと基準撮像画像データとのずれ量を、撮像画像ずれ検出部１３で検出した基準撮像画像データとその他の撮像画像データとのずれ量にそれぞれ乗ずる。これにより、基準撮像画像データ及びその他の撮像画像データと液晶表示パネルとの傾斜をキャンセルして分解能が均一の高解像度画像データを生成することができる。

また、設計データずれ検出部１２において、超解像処理に用いる撮像画像データごとに設計データとの位置ずれを検出するようにしてもよい。この場合、撮像画像ずれ検出部１３を省略することができる。

設計データずれ検出部１２が撮像画像データ毎に位置ずれを検出する場合、高解像度画像データの各画素は設計データに基づいて決めることができ、例えば設計データに対して高解像度画像データの画素がパネルの１画素に対して１６画素四方の割当となるように設定することができる。

〔第１関数決定処理について〕
以上のようにして、設計データずれ検出部１２は基準撮像画像データと設計データとのずれを検出すると共に設計参照画像データを生成する。また、撮像画像ずれ検出部１３は、基準撮像画像データとその他の撮像画像データとのずれを検出する。これらの結果は、第１関数決定部１４に送られて第１関数決定処理に用いられることになる。

第１関数決定部１４における第１関数決定処理の一例について図９に基づいて説明する。図９は、第１関数決定処理（１）の流れを示すフローチャートである。なお、ここでは、設計データずれ検出部１２からの出力が、基準撮像画像データとパネルパターンとの位置ずれ及びサイズの差、及び設計参照画像データである場合について説明する。また、ここでは、基準撮像画像データを１６倍(縦方向４倍、横方向４倍)に高解像度化する例を説明する。無論、何倍に高解像度化するかは、必要に応じて適宜設定することができる。

まず、第１関数決定部１４は、基準撮像画像データと設計データとの位置ずれ及びサイズの差から、高解像度画像データの各画素に対応する設計データすなわちパネルパターンの位置を計算する（Ｓ２１）。

高解像度画像データの各画素に対応するパネルパターンの位置を計算する方法について、図１０に基づいて説明する。図１０は、パネルパターンに対する撮像画像データの画素の配置と、高解像度画像データの画素の配置との関係を示す図である。

同図の太線円４１は基準撮像画像データにおける画素の配置を示しており、細線円４２は基準撮像画像データを高解像度化した高解像度画像データにおける画素の配置を示している。

本実施形態では、超解像処理によって、撮像画像データの解像度を縦横それぞれ４倍にする例を示しているので、細線円４２は、太線円４１を、縦方向に１／４倍、横方向に１／４倍した大きさとなっている。この細線円４２を、パネルパターン上に均等に配置し、配置した細線円４２と太線円４１とを比較することによって、高解像度画像データの各画素に対応するパネルパターンの位置を求めることができる。

次に、第１関数決定部１４は、上記設計参照画像データと高解像度画像データの各画素に対応するパネルパターンの位置とに基づいて、Ｓ２１で求めた高解像度画像データの各画素が取りうる画素値の範囲を決定する（Ｓ２２）。上述のように、設計データと設計参照画像データとは位置ずれがなく、サイズも同じである。

したがって、この設計参照画像データにおける、高解像度画像データの各画素に対応する位置は容易に求めることができる。具体的には、平行移動及び回転移動や、アフィン変換、投影変換等の技法を用いて基準撮像画像データを投影することによって、設計参照画像データ上において、高解像度化後の基準撮像画像データの各画素がどの位置の画素に対応するかを求めることができる。

ここでは、高解像度画像データの各画素の画素値は、設計参照画像データにおいて対応する位置の画素値からある所定の範囲内にあるという条件で、高解像度画像データの各画素の画素値がとりうる値の範囲を決定する。

そして、第１関数決定部１４は、Ｓ２２にて決定された高解像度画像データの各画素の画素値がとりうる値の範囲に基づいて、超解像処理に用いる高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を定式化する（Ｓ２３）。

Ｓ２３の関数を定式化する処理の具体例について、図１１に基づいて説明する。図１１は、第１関数決定部１４が定式化する関数の一例を示す図である。この例では、高解像度画像データの画素の画素値がＶ０からＶ１の範囲内である場合を想定している。

高解像度画像データの画素の画素値がＶ０からＶ１の範囲内である場合、高解像度画像データの画素の画素値とその評価値とを図１１に示すような関数で表すことができる。なお、図１１における評価値は、画素値の適正度合いを示す値であり、評価値が小さいほど画素値が適正であることを示す。図示のように、この関数は、画素値がＶ０からＶ１の間の場合には評価値が常に０であり、それ以外の値ならばこの範囲から離れている量の２乗に比例して増加している。この関数を数式化すると下記の数式９を得ることができる。

なお、Ｖ０及びＶ１の値は、検出目標となる欠陥部と、欠陥を有していない正常な部分との画素値を共に含むように設定することが好ましい。

また、数式９が、点Ｖ０及び点Ｖ１において微分不可である場合、高解像度画像データの画素の画素値がＶ０またはＶ１であるときにＥ_ｐａｔの微分値が正方向からと負方向からで値が異なり、その付近でE_ｐａｔの値が振動する可能性があるため、点Ｖ０及び点Ｖ１において微分可能な数式を用いることが好ましい。上記数式９は、点Ｖ０及び点Ｖ１において微分可能である。

そして、第１関数決定部１４は、高解像度画像データにおける各画素の画素値の和を示す数式１０を関数（Ｅ_ｐａｔ）として出力する。なお、数式１０において、ｈは高解像度画像データを表すベクトルである。

第１関数決定部１４は、以上のようにして高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を定式化し、得られた関数を超解像処理部１５に送出する。超解像処理部１５は、この関数を用いて超解像処理を行う。

〔超解像処理について〕
図１２〜図１３に基づいて、本発明の超解像処理について説明する。図１２は、超解像処理部１５の要部構成を示すブロック図である。超解像処理部１５は、図示のように、平滑化画像生成部５１、第２関数決定部（評価関数変更手段）５２、高解像度画像評価・判定部５３、及び高解像度画像更新部５４を備えている。

平滑化画像生成部５１は、高解像度画像保存部２１に格納されている高解像度画像データを撮像装置２における撮像素子のサイズに相当する領域サイズで平滑化した平滑化画像データを生成し、生成した平滑化画像データを第２関数決定部５２に送出する。

第２関数決定部５２は、平滑化画像生成部５１から送られる平滑化画像データ、高解像度画像保存部２１に格納されている高解像度画像データ、及び第１関数決定部１４から送られる関数（Ｅ_ｐａｔ）等に基づいて高解像度化評価関数を決定する。そして、第２関数決定部５２は、決定した高解像度化評価関数を用いて上記高解像度画像データの評価値を算出し、算出した評価値を高解像度画像評価・判定部５３に送出する。

高解像度画像評価・判定部５３は、第２関数決定部５２から送られる高解像度化評価関数の評価値に基づいて超解像処理を継続するか、終了するかを判定し、判定結果を第２関数決定部５２に返す。判定の結果、超解像処理を終了する場合、第２関数決定部５２は、上記高解像度画像データを超解像画像データとして超解像画像保存部２２に格納する。一方、判定の結果、超解像処理を継続する場合、第２関数決定部５２は、上記高解像度化評価関数を高解像度画像更新部５４に送出する。

高解像度画像更新部５４は、高解像度画像評価部から送られる高解像度化評価関数に基づいて高解像度画像保存部２１に格納されている高解像度画像データを更新する。

次に、以上のような構成を備える超解像処理部１５における超解像処理の一例について図１３に基づいて説明する。図１３は、超解像処理（１）の流れを示すフローチャートである。なお、フロー開始前の高解像度画像データは、灰色画像等の適当な画像データを設定する。

まず、平滑化画像生成部５１は、高解像度画像保存部２１に格納されている高解像度画像データの各画素にガウシアン等の関数を乗じて、撮像装置２における撮像素子のサイズに相当する領域サイズで平滑化した平滑化画像データを生成する（Ｓ３１）。平滑化画像生成部５１は、生成した平滑化画像データを第２関数決定部５２に送出する。

第２関数決定部５２は、Ｓ３１で平滑化画像生成部５１が生成した平滑化画像データ、上記高解像度画像データ、及び第１関数決定部１４が生成した関数（Ｅ_ｐａｔ）等に基づいて高解像度化評価関数を決定する（Ｓ３２）。

高解像度化評価関数としては、例えば、下記の数式１１を用いることができる。数式１１は、それぞれ平滑化画像データ、高解像度画像データ、及び第１関数決定部１４が生成した関数（Ｅ_ｐａｔ）に由来する３項から成る数式である。すなわち、画像処理装置３では、第１関数決定部１４にて決定された関数（Ｅ_ｐａｔ）を数式１１に組み込むことにより、高解像度化評価関数を変更している。数式１１の各項について以下に説明する。

数式１１の第一項は、平滑化画像データと、その平滑化画像データの各画素に対応する撮像画像データの各画素値との差分から計算される誤差項であり、この誤差項に含まれるＥ_ｅｒｒは、例えば、下記の数式１２を用いて表すことができる。

数式１２において、ｈ’は平滑化画像データの各画素の画素値を表すベクトル、ｙ_ｌｏｗは撮像画像データを平滑化画像データに投影した場合に、投影された画素に対して最近傍となる平滑化画像の画素を求めた際に、画素ｙを最近傍とする撮像画像データの画素の平均画素値、Ｍyは画素ｙを最近傍の画素とする画素の個数、σは撮像画像データにおけるノイズの分散である。なお、撮像画像データの平滑化画像データへの投影は、撮像画像ずれ検出部１３が検出した基準撮像画像データとその他の撮像画像データとのずれに基づいて行われる。

また、数式１１の第二項は、高解像度画像データの各画素値から計算される拘束項であり、この拘束項に含まれるＥ_ｈｉｇｈは、例えば下記の数式１３で表される正規化項等である。数式１１では、このＥ_ｈｉｇｈに、重みｗ_ｈｉｇｈを乗じて数式１１の第二項としている。

上記数式１３は、画素値ｘが小さいほどＥ_ｈｉｇｈの値が小さくなる関数であるから、Ｅ_ｈｉｇｈを高解像度化評価関数に加えることにより、高解像度画像データの画素値を低く抑えることができ、これにより画素値のバラつきを小さくすることができる。なお、高解像度画像データの画素値のバラつきを小さくする必要がない場合には、拘束項（数式１１の第二項）は、省略してもよい。

そして、数式１１の第三項は、第１関数決定部１４によって決定される関数（Ｅ_ｐａｔ）に重みｗ_ｐａｔを乗じて得られる拘束項である。

このように、高解像度化評価関数である数式１１は、設計データと撮像画像データ（基準撮像画像データ）とのずれを考慮して算出された関数（Ｅ_ｐａｔ）を含んでいるので、実際の撮像画像データに即した高解像度化評価関数であるといえる。

したがって、上記高解像度化評価関数を用いて超解像処理を行うことで、設計データと撮像画像データとがずれている場合においても精度のよい超解像処理が可能となる。

第２関数決定部５２は、以上のようにして得られた高解像度化評価関数を用いて、高解像度画像データの評価値を算出する（Ｓ３３）。具体的には、第２関数決定部５２は、数式１１に高解像度画像データの画素値を代入してＥ（ｈ）の値を計算し、高解像度画像データの評価値とする。第２関数決定部５２は、算出した評価値を高解像度画像評価・判定部５３に送出する。

上記高解像度画像データの評価値を受け取った高解像度画像評価・判定部５３は、該評価値と所定の閾値とを比較し、評価値が閾値以下か否かを判定し、判定結果を第２関数決定部５２に返す（Ｓ３４）。

第２関数決定部５２は、評価値が閾値以下であるとの判定結果を受け取った場合、上記高解像度画像データを超解像画像データとして超解像画像保存部２２に格納すると共に、該超解像画像データを出力部１７に出力させる（Ｓ３５）。

一方、第２関数決定部５２は、評価値が閾値よりも大きいとの判定結果を受け取った場合、高解像度画像更新部５４に上記高解像度化評価関数を送出する。

高解像度画像更新部５４は、第２関数決定部５２から送られる高解像度化評価関数の評価値がより小さくなるように上記高解像度画像データを更新する。具体的には、高解像度画像更新部５４は、高解像度化評価関数の高解像度画像データの各画素に対する微分値を計算し、各画素に対する微分値に比例した数値をもとの高解像度画像データの各画素に加算する。

そして、高解像度画像更新部５４は、このようにして得た高解像度画像データを高解像度画像保存部２１に格納されている高解像度画像データに上書きする。すなわち、高解像度画像更新部５４は、高解像度画像データを更新する（Ｓ３６）。

Ｓ３６で更新された高解像度画像データは、再度Ｓ３３〜Ｓ３４の処理によってその評価値が判定される。この繰り返しによって、所望の精度の高解像度画像データ、すなわち超解像画像データを生成することができる。

なお、図１３のフローチャートでは、評価値が所定の閾値以下となるまで高解像度画像データの更新が続けられるが、高解像度画像データの更新が所定の回数に達した場合に、更新後の高解像度画像データを超解像画像データとして、超解像処理を終了するようにしてもよい。これにより、超解像処理が少なくとも所定の時間内には終了することになるので、撮像対象７の欠陥検査をスムーズに行うことができる。

〔まとめ〕
以上のように、本実施形態によれば、既知の情報である設計データが、高解像度化評価関数に、位置ずれ及びサイズの差が無い状態で関数（Ｅ_ｐａｔ）として組み込まれるので、設計データに沿った精度の高い高解像度画像データを生成することができる。

また、撮像画像ずれ検出部１３では、撮像装置２における撮像素子のサンプリング周波数がパネルパターンを復元するために少なくとも必要であるパネルパターンが持つ周波数の２倍以上の周波数よりも低く、撮像画像データにエイリアシングが生じる場合であっても、サブピクセル量の(撮像画像データにおける画素サイズよりも小さな)ずれを精度よく推定することができる。

したがって、生成される高解像度画像データに対するパネルパターンの位置を精度よく検出することができるので、超解像処理部１５では精度の高い超解像画像データを生成することができる。

〔第１関数決定処理の変形例〕
上述の例では、第１関数決定部１４が設計データと基準撮像画像データとのずれ、及び設計参照画像データに基づいて高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を決定する第１関数決定処理（１）（図９参照）について説明したが、第１関数決定処理はこの例に限られない。第１関数決定処理の他の例について、図１４〜図１８に基づいて説明する。なお、図９の第１関数決定処理（１）と同様の処理については、同一の参照番号を付し、その説明を省略する。

第１関数決定処理の他の例を図１４に基づいて説明する。図１４は、第１関数決定処理（２）の流れを示すフローチャートである。第１関数決定処理（２）では、設計データとしてパネルパターンのサイズが与えられていることを想定しており、設計データずれ検出部１２からの出力は、基準撮像画像データと設計データとの位置ずれ、サイズの差、パネルパターンのサイズである。なお、パネルパターンのサイズとは、具体的には、図２１（ａ）（ｂ）に示すような、パネルパターンの各部のサイズを示すデータや、図２３に示すような同色の画素群間の距離を示すデータを指す。

この場合、設計データずれ検出部１２において設計参照画像データを計算しないので、設計データずれ検出部１２の処理を簡略化することができる。

第１関数決定部１４は、基準撮像画像データと設計データとの位置ずれ及びサイズの差に基づいて、高解像度画像データの各画素に対応する設計データの位置を計算した（Ｓ２１）後、パネルパターンのサイズに基づいて高解像度画像データの各画素において同色となる画素群を抽出する（Ｓ４２）。

具体的な画素群の抽出例を図１５に基づいて説明する。図１５は、高解像度画像データの各画素において同色となる画素群を抽出する例を示す図である。この例では、同図に実線の長方形で示す３つの開口部はそれぞれＲＧＢ色の何れかであり、開口部と開口部との間に形成されるブラックマトリクス部は黒色であることを想定している。

また、図１５では、高解像度画像データの各画素を小円で示しており、高解像度画像データの各画素を示す小円のうち、同色となる画素は、同図に点線で囲われる画素群６１〜画素群６４等である。画素群６１、画素群６２、画素群６３は、それぞれ１つの開口部に含まれているので、これらの画素群に含まれる画素は同色となる。また、画素群６４は、ブラックマトリクス部に含まれているので、この画素群に含まれる画素も同色となる。

そして、第１関数決定部１４は、Ｓ４２において抽出された画素群に基づいて、高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を定式化する（Ｓ４３）。

上述のように、同色の開口部や、ブラックマトリクス部に含まれる画素をそれぞれ画素群として分類しているので、同一の画素群に含まれる画素は、それぞれ近い画素値を有している。

したがって、同一の画素群に含まれる画素がそれぞれ近い画素値を有していることを示す関数を関数（Ｅ_ｐａｔ）とすることにより、設計データを反映した超解像処理を行うことができる。

例えば、同じ画素群に含まれる画素の画素値をそれぞれ求め、その画素値の標準偏差を用いて、下記の数式１４を導出することができ、この数式１４を関数（Ｅ_ｐａｔ）として用いることができる。なお、数式１４において、Ｐは分類された各素群であり、ｘ_ａｖｅは各画素群における画素の画素値の平均である。

続いて、第１関数決定処理のまた別の例を図１６に基づいて説明する。図１６は、第１関数決定処理（３）の流れを示すフローチャートである。第１関数決定処理（３）では、周波数領域のデータを用いて関数（Ｅ_ｐａｔ）を導出する。設計データとしては、第１関数決定処理（２）と同様のものを適用できる。また、図２１（ａ）、図２２（ａ）、図２３に示すような画像データを予め周波数領域のデータに変換したものを設計データとして用いてもよい。第１関数決定処理（３）は、周波数領域のデータに基づいて関数（Ｅ_ｐａｔ）を導出するので、超解像処理が周波数空間で計算される場合に実装することが容易である。

第１関数決定部１４は、基準撮像画像データと設計データとの位置ずれ及びサイズの差に基づいて、高解像度画像データの各画素に対応する設計データの位置を計算した（Ｓ２１）後、設計データを周波数領域のデータに変換して高解像度画像データと同サイズの周波数領域のデータを生成する（Ｓ５２）。なお、設計データとして、周波数領域のデータを用いる場合、Ｓ５２では、周波数領域のデータの位置及びサイズを高解像度画像データに合わせる処理が行われる。

そして、第１関数決定部１４は、Ｓ５２で生成した周波数領域のデータに基づいて、高解像度化評価関数を変更するための関数（Ｅ_ｐａｔ）を定式化する（Ｓ５３）。

Ｓ５３における、関数（Ｅ_ｐａｔ）を定式化する処理の一例について、図１７に基づいて説明する。図１７は、パネルパターンを周波数領域に変換して得られるデータの一例を示す図である。

図１７に白点で示される箇所、例えば白点７１〜白点７３は、パネルパターンを周波数領域のデータに変換したときの主な周波数成分を示している。なお、周波数領域のデータに変換した際に生じる複数の周波数成分のうち、主な周波数成分とそうでない周波数成分とは、例えばその成分の振幅が所定の閾値を越えているか否かによって分類すればよい。

ここで、高解像度画像データは、パネルパターンと同じパターンを有しているので、周波数領域のデータに変換した高解像度画像データにおいても、周波数成分のパターンはパネルパターンと同じになる。すなわち、高解像度画像データを周波数領域に変換したデータと、パネルパターンを周波数領域に変換したデータとは、主な周波数成分が一致する。

したがって、例えばこの主な周波数成分以外の周波数成分の強度が小さくなるような関数（Ｅ_ｐａｔ）を設定すればよい。この関数（Ｅ_ｐａｔ）の一例が下記の数式１５である。数式１５において、Ｆ（ｈ）^-は、周波数領域に変換した高解像度画像データにおいて、パネルパターンの主成分に相当する周波数帯域だけ除外した画像データを示している。

Ｆ（ｈ）^-の算出方法の具体例について説明する。周波数領域のデータは、複素数の要素によって構成されているので、例えばこの複素数に共役複素数を乗じ、その２乗根を計算した値を各要素の強度とすることができる。ここで、ある閾値以上の強度を持つ要素をパネルパターンの主成分とし、この主成分に相当する周波数成分の値を０とした数式をＦ（ｈ）^-とすることができる。これにより、Ｆ（ｈ）^-は、パネルパターンの主成分に相当する周波数帯域だけ除外した画像データを示す数式となる。

第１関数決定処理のさらに別の例を図１８に基づいて説明する。図１８は、第１関数決定処理（４）の流れを示すフローチャートである。ここでは、設計データとして開口部の画素値あるいは画素値の比が与えられていることを想定している。この場合、設計データずれ検出部１２からの出力を基準撮像画像データと設計データとの位置ずれ、サイズの差、開口部の画素値あるいは画素値の比とすることができる。

第１関数決定部１４は、基準撮像画像データと設計データとの位置ずれ及びサイズの差に基づいて、高解像度画像データの各画素に対応する設計データの位置を計算した（Ｓ２１）後、高解像度画像データの各画素で、同色の開口部の位置に相当する画素群を抽出し、さらに抽出された画素を各画素に相当する開口部の色別に分類する（Ｓ６２）。

そして、第１関数決定部１４は、Ｓ６２で分類した、各色の画素群に含まれる画素の画素値あるいは画素値の比が一定の値となるという条件を示す関数（Ｅ_ｐａｔ）を定式化する（Ｓ６３）。

例えば、これらの各画素群に所属する画素の画素値を、その画素群が属する開口部の画素値あるいは画素値の比で割った値が一定である、という条件を定式化したものを関数（Ｅ_ｐａｔ）とすることができる。

具体的には、下記の数式１６を関数（Ｅ_ｐａｔ）として用いることができる。なお、数式１６においてｒ_ｎは設計データの開口部の画素値あるいは画素値の比、ｈ_ｎはＳ６２で分類したそれぞれの画素群に所属する画素の画素値、ｘ_ａｖｅ２は各画素の画素値をその画素が属する色の輝度比を用いて正規化した数値の平均である。ｘ_ａｖｅ２は下記の数式１７で与えられる。なお、数式１７におけるＭ_Ｒ，Ｍ_Ｇ，Ｍ_Ｂは、Ｒ，Ｇ，Ｂそれぞれの画素群に属する画素の個数である。

〔超解像処理の変形例〕
上述の例では、超解像処理に用いる関数（Ｅ_ｐａｔ）を決定するために、高解像度画像データを平滑化した平滑化画像データを用いる例を示したが、これに限られない。例えば、以下の構成で高解像度化表関数を決定し、超解像処理を行ってもよい。

図１９は、超解像処理部１５の変形例を示すブロック図である。図１９に示す超解像処理部１５は、図１２に示す超解像処理部１５における平滑化画像生成部５１が低解像度画像生成部８１に変わっている点を除いて、図１２の超解像処理部１５と同様の構成を有している。低解像度画像生成部８１は、高解像度画像保存部２１に格納されている高解像度画像データを低解像度化し、撮像画像と同数の低解像度画像データを生成する。

超解像処理部１５が低解像度画像データ生成部８１を備えている場合の超解像処理について、図２０に基づいて説明する。図２０は、超解像処理（２）の流れを示すフローチャートである。なお、図１３に示す超解像処理（１）と同様の処理については、同様の参照番号を付し、説明を省略する。

まず、低解像度画像データ生成部８１は、高解像度画像保存部２１から高解像度画像データを読み出し、読み出した高解像度画像データに基づいて、撮像した複数の撮像画像データのそれぞれに対応する位置の低解像画像データを生成する（Ｓ７１）。なお、フロー開始前の高解像度画像データは、灰色画像等の適当な画像データを設定する。

そして、第２関数決定部５２は、高解像度化評価関数を決定する（Ｓ７２）。ここで、Ｓ７２における高解像度化評価関数の決定方法について説明する。高解像度化評価関数における、拘束項（Ｅ_ｈｉｇｈ、Ｅ_ｐａｔをそれぞれ含む項）の決定方法は超解像処理（１）と同様であるからここでは説明を省略する。

超解像処理（１）では、平滑化画像データと、その平滑化画像データの各画素に対応する撮像画像データの各画素値との差分から高解像度化評価関数の誤差項（Ｅ_ｅｒｒ）を算出した。これに対し、超解像処理（２）では、各撮像画像データの画素値と、その撮像画像データに対応する上記低解像度画像データの画素値との差分から誤差項（Ｅ_ｅｒｒ）を算出する。

例えば、下記の数式１８を誤差項（Ｅ_ｅｒｒ）として用いることができる。数式１８において、Ｎは撮像画像データの枚数、ｌnは撮像画像データの各画素を表すベクトル、ｙは撮像画像データの画素値、ｙ’はｙに対応する低解像度画像データの画素の画素値である。

そして、以下のステップでは、図１３の超解像処理（１）と同様にして高解像度画像の評価・更新を行い、超解像画像データを生成する。

最後に、画像処理装置３の各ブロック、特に設計データずれ検出部１２及び超解像処理部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明の画像処理装置によれば、撮像画像を撮像対象の設計データに基づいて精度よく高解像度化できるので、種々の製品の検査工程にて撮像された画像の高解像度化に利用できる。特に、液晶表示パネル等の欠陥検査に好適である。

本発明の実施形態を示すものであり、本発明の画像処理装置の要部構成を示すブロック図である。 本発明の実施形態を示すものであり、本発明の検査システムの概要を示す側面図である。 本発明の実施形態を示すものであり、超解像画像生成処理の流れを示すフローチャートである。 本発明の実施形態を示すものであり、設計データずれ検出処理の一例を示すフローチャートである。 本発明の実施形態を示すものであり、パネルパターンの一例を示す図である。 本発明の実施形態を示すものであり、同図（ａ）はパネルパターン上の位置と、その位置における画素値との関係を示す図であり、同図（ｂ）はパネルパターンにおける周波数と強度との関係を示す図であり、同図（ｃ）は同図（ｂ）の周波数領域データにおける負の周波数領域のピークを表示した周波数領域データの一例を示す図である。 同図（ａ）は基準撮像画像データの周波数領域データの一例を示す図であり、同図（ｂ）はＦ（ω）のパターンとＦ（ω）がω_ｓだけシフトされたパターンとが重なり合う状態を示す図である。 同図（ａ）は図４のＡ−Ａ’断面における開口部、及びブラックマトリクス部を凹凸で表した図であり、同図（ｂ）は同図（ａ）に示す領域における、位置と画素値との関係を示す図である。 本発明の実施形態を示すものであり、第１関数決定処理（１）の流れを示すフローチャートである。 パネルパターンに対する撮像画像データの画素の配置と、高解像度画像データの画素の配置との関係を示す図である。 本発明の実施形態を示すものであり、第１関数決定部が定式化する関数（Ｅ_ｐａｔ）の一例を示す図である。 本発明の実施形態を示すものであり、超解像処理部の要部構成を示すブロック図である。 本発明の実施形態を示すものであり、超解像処理（１）の流れを示すフローチャートである。 本発明の実施形態を示すものであり、第１関数決定処理（２）の流れを示すフローチャートである。 本発明の実施形態を示すものであり、高解像度画像データの各画素において同色となる画素群を抽出する例を示す図である。 本発明の実施形態を示すものであり、第１関数決定処理（３）の流れを示すフローチャートである。 本発明の実施形態を示すものであり、パネルパターンを周波数領域に変換して得られるデータの一例を示す図である。 本発明の実施形態を示すものであり、第１関数決定処理（４）の流れを示すフローチャートである。 本発明の実施形態を示すものであり、超解像処理部の変形例を示すブロック図である。 本発明の実施形態を示すものであり、超解像処理（２）の流れを示すフローチャートである。 同図（ａ）は撮像対象の部分平面図であり、同図（ｂ）は同図（ａ）において矢印で示す箇所のサイズ及び画素値を示す設計データの一例を示す図である。 同図（ａ）はサンプル画像データの一例を示す図であり、同図（ｂ）は同図（ａ）の破線で囲まれる部分のデータ構造を示す図である。 本発明の実施形態を示すものであり、同色の画素群の位置を示すデータを含む設計データの例を示す図である。 同図（ａ）は設計参照画像データを画像として表した場合の外観を示す図であり、同図（ｂ）は同図（ａ）の破線で囲まれる箇所のデータ構造を示す図である。

符号の説明

１ 検査システム
２ 撮像装置
３ 画像処理装置
４ 駆動装置
５ フレーム
６ 保持部材
７ 撮像対象
１１ 記憶部
１２ 設計データずれ検出部（設計データずれ検出手段、設計参照画像生成手段）
１３ 撮像画像ずれ検出部（撮像画像ずれ検出手段）
１４ 第１関数決定部（評価関数変更手段）
１５ 超解像処理部
１６ 入力部
１７ 出力部
１８ 外部装置制御部
１９ 設計データ保存部
２０ 撮像画像保存部
２１ 高解像度画像保存部
２２ 超解像画像保存部
５１ 平滑化画像生成部
５２ 第２関数決定部（評価関数変更手段）
５３ 高解像度画像評価・判定部
５４ 高解像度画像更新部
８１ 低解像度画像生成部

Claims (10)

1. 複数の撮像画像に基づいて生成した高解像度画像の高解像度化精度を示す評価値を、上記撮像画像と高解像度画像との誤差を示す評価関数を用いて算出し、上記評価値が所定の値より小さくなるように上記高解像度画像を更新することによって超解像画像を生成する画像処理装置において、
   上記撮像画像の撮像対象の被撮像面における形状を示す設計データと上記撮像画像との位置ずれ及びサイズの差を求める設計データずれ検出手段と、
   上記設計データずれ検出手段で求めた位置ずれ及びサイズの差に基づいて、上記設計データの位置及びサイズを上記撮像画像と合わせた補正設計データを生成し、該補正設計データと、上記撮像画像を高解像度化した高解像度画像とを比較し、上記補正設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更する評価関数変更手段とを備えていることを特徴とする画像処理装置。
2. 上記評価関数変更手段は、上記設計データずれ検出手段が求めた位置ずれ及びサイズの差に基づいて、上記設計データの周波数領域データを上記撮像画像の周波数領域データの位置及びサイズに合わせた補正設計データを生成し、該補正設計データの周波数領域データにおける各周波数成分の位置と、上記撮像画像の周波数領域データにおける各周波数成分の位置とを比較し、上記撮像画像の周波数領域データにおいて、上記撮像画像を撮像した撮像装置のナイキスト周波数よりも低い周波数領域に含まれる周波数成分の中から、上記補正設計データの周波数領域データにおいて、上記ナイキスト周波数よりも低い周波数領域に含まれる周波数成分と対応するものがない周波数成分を抽出し、該抽出した周波数成分を、上記ナイキスト周波数よりも高い周波数領域へと折り返した周波数領域データを空間領域データに変換した設計参照画像を生成し、上記高解像度画像の画素値と、対応する設計参照画像の画素値との差が小さくなるほど評価値が小さくなるように上記評価関数を変更することを特徴とする請求項１に記載の画像処理装置。
3. 上記設計データは、同色の画素群の配置を示すデータを含み、
   上記評価関数変更手段は、上記補正設計データにおける同色の画素群の配置に対応する、上記高解像度画像の画素群を検出し、該検出した画素群に含まれる画素の画素値の分散が小さいほど評価値が小さくなるように上記評価関数を変更することを特徴とする請求項１に記載の画像処理装置。
4. 上記評価関数変更手段は、上記補正設計データの周波数領域データにおける各周波数成分と、上記高解像度画像の周波数領域データにおける各周波数成分とを比較し、対応する周波数成分の位置及び振幅のずれが小さいほど小さい値をとるように上記評価関数を変更することを特徴とする請求項１に記載の画像処理装置。
5. 上記設計データは、同色の画素群の配置と、各色の画素値または各色間の画素値の比とを示すデータを含み、
   上記評価関数変更手段は、上記補正設計データにおける同色の画素群の配置に対応する上記高解像度画像の画素群を検出し、該検出した画素群に含まれる画素の画素値を、上記補正設計データにおける画素群の画素値、または画素値の比で割った値が一定の所定値に近いほど小さい値をとるように上記評価関数を変更することを特徴とする請求項１に記載の画像処理装置。
6. 同一の撮像対象を撮像して得られた複数の撮像画像間の位置変位量を求める画像処理装置であって、
   上記撮像画像の撮像対象の被撮像面における形状を示す設計データと、上記複数の撮像画像の中から選択した基準画像との位置ずれ及びサイズの差を求める設計データずれ検出手段と、
   上記設計データずれ検出手段で求めた位置ずれ及びサイズの差に基づいて、上記設計データの周波数領域データを上記撮像画像の周波数領域データの位置及びサイズに合わせた補正設計データを生成し、該補正設計データの周波数領域データにおける各周波数成分の位置と、上記撮像画像の周波数領域データにおける各周波数成分の位置とを比較し、上記撮像画像の周波数領域データにおいて、上記撮像画像を撮像した撮像装置のナイキスト周波数よりも低い周波数領域に含まれる周波数成分の中から、上記補正設計データの周波数領域データにおいて、上記ナイキスト周波数よりも低い周波数領域に含まれる周波数成分と対応するものがない周波数成分を抽出し、該抽出した周波数成分を上記ナイキスト周波数よりも高い周波数領域へと折り返した周波数領域データを空間領域データに変換した設計参照画像を生成する設計参照画像生成手段と、
   上記設計参照画像におけるサブピクセル部の画素値を上記基準画像のサブピクセル部の画素値として、上記基準画像と複数の撮像画像のそれぞれとの位置ずれを検出する撮像画像ずれ検出手段とを備えていることを特徴とする画像処理装置。
7. 複数の撮像画像に基づいて生成した高解像度画像の高解像度化精度を示す評価値を、上記撮像画像と高解像度画像との誤差を示す評価関数を用いて算出し、上記評価値が所定の値より小さくなるように上記高解像度画像を更新することによって超解像画像を生成する画像処理方法において、
   上記撮像画像の撮像対象の被撮像面における形状を示す設計データと上記撮像画像との位置ずれ及びサイズの差を求める設計データずれ検出ステップと、
   上記設計データずれ検出ステップで求めた位置ずれ及びサイズの差に基づいて、上記設計データの位置及びサイズを上記撮像画像と合わせた補正設計データを生成し、該補正設計データと、上記撮像画像を高解像度化した高解像度画像とを比較し、上記設計データと高解像度画像との画素値の差または周波数成分の差が小さくなるほど評価値が小さくなるように上記評価関数を変更する評価関数変更ステップとを含むことを特徴とする画像処理方法。
8. 同一の撮像対象を撮像して得られた複数の撮像画像間の位置変位量を求める画像処理装置による画像処理方法であって、
   上記撮像画像の撮像対象の被撮像面における形状を示す設計データと、上記複数の撮像画像の中から選択した基準画像との位置ずれ及びサイズの差を求めるステップと、
   上記ステップで求めた位置ずれ及びサイズの差に基づいて、上記設計データの周波数領域データを上記撮像画像の周波数領域データの位置及びサイズに合わせた補正設計データを生成し、該補正設計データの周波数領域データにおける各周波数成分の位置と、上記撮像画像の周波数領域データにおける各周波数成分の位置とを比較し、上記撮像画像の周波数領域データにおいて、上記撮像画像を撮像した撮像装置のナイキスト周波数よりも低い周波数領域に含まれる周波数成分の中から、上記補正設計データの周波数領域データにおいて、上記ナイキスト周波数よりも低い周波数領域に含まれる周波数成分と対応するものがない周波数成分を抽出し、該抽出した周波数成分を上記ナイキスト周波数よりも高い周波数領域へと折り返した周波数領域データを空間領域データに変換した設計参照画像を生成するステップと、
   上記設計参照画像におけるサブピクセル部の画素値を上記基準画像のサブピクセル部の画素値として、上記基準画像と複数の撮像画像のそれぞれとの位置ずれを検出する撮像画像ずれ検出ステップとを含むことを特徴とする画像処理方法。
9. 請求項１〜６の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させるための画像処理装置制御プログラム。
10. 請求項９に記載の画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images