JP4419980B2

JP4419980B2 - 歪補正方法及び歪補正装置

Info

Publication number: JP4419980B2
Application number: JP2006116626A
Authority: JP
Inventors: 直道千田; 順弘飯塚; 憲英藤木
Original assignee: Yokogawa Electric Corp
Current assignee: Yokogawa Electric Corp
Priority date: 2006-04-20
Filing date: 2006-04-20
Publication date: 2010-02-24
Anticipated expiration: 2026-04-20
Also published as: JP2007288724A

Description

本発明は、例えばＣＣＤ（Charge Coupled Device）カメラ等の撮像装置から得られる画像データに含まれるレンズ歪誤差を補正する歪補正方法及び歪補正装置に関し、特に、ＬＣＤ（Liquid Crystal Display）パネルの製造工程で使用される欠陥検査装置において、ＣＣＤカメラで撮像した画像信号に基づき、ＣＣＤ素子上の座標（画像座標）をＬＣＤパネル上の座標（実座標）に変換する場合に、前記画像座標に含まれるレンズ歪誤差を補正する歪補正方法及び歪補正装置に関する。

一般的に、ＣＣＤカメラ等の撮像装置から得られる画像データには、自身に備えられたレンズの歪曲収差に起因するレンズ歪誤差が含まれることが知られている。例えば、ＬＣＤパネルの製造工程で使用される検査装置（配線パターンの欠陥検査装置等）では、ＣＣＤカメラで撮像した配線パターン等の画像信号に基づいて、ＬＣＤ座標系へのアドレス変換を行っているが、上記のようなレンズ歪誤差が画像信号に含まれるため、正確なＬＣＤ座標系のアドレス情報を得られないという問題がある。このような問題を解決するために、例えば、下記特許文献１には、予め上記レンズ歪誤差に応じて、ＣＣＤ等の撮像素子の各画素に応じた歪補正量をメモリに記憶しておき、当該歪補正量に基づいて画像信号のレンズ歪誤差を補正する映像信号処理装置について開示されている。
特開平０４−６１５７０号公報

しかしながら、上記従来技術によると、撮像素子の各画素毎に歪補正量を記憶しなければならないため大容量のメモリが必要となり、装置コストの増加を招くという問題があった。近年、ＣＣＤカメラ等の撮像装置の高精細化に伴い、このような問題はより顕著となっていた。

本発明は、このような事情に鑑みてなされたものであり、装置コストの増加を招くことなく、撮像装置から得られる画像信号に含まれるレンズ歪誤差を補正することを目的とする。より具体的には、表示基板の表面を、レンズを介して被写体を撮像する撮像素子の被写体として撮像して得られる画像信号に基づき、撮像素子上の座標（画像座標）を被写体（表示基板）上の座標（実座標）に変換する場合において、装置コストの増加を招くことなく、前記画像座標のレンズ歪誤差を補正することを目的とする。

上記課題を解決するために、本発明では、歪補正方法に係る第１の解決手段として、実運用前に、所定の格子状パターンのチャートを、レンズを介して被写体を撮像する撮像素子の被写体として撮像し、当該撮像素子から得られる画像信号に基づいて前記レンズに起因するレンズ歪誤差を補正し得る歪補正パラメータを求めて記憶し、実運用時に、表示基板の表面を前記撮像素子の被写体として撮像して得られる画像信号に対し、前記歪補正パラメータを用いた補正処理を施すことにより、前記撮像素子上の座標（画像座標）を被写体上の座標（実座標）に変換する歪補正方法であって、前記実運用前には、前記撮像素子で撮像された前記格子状パターンのチャートの画像を縦方向に対して複数の領域（縦方向分割領域）に分割し、各縦方向分割領域毎に、横方向の画像座標を示す横方向画像座標と、前記格子状パターンの横方向の実座標を示す横方向実座標との関係を示す第１のｎ次近似式を求め、各縦方向分割領域毎に、横方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（横方向分割点）の横方向画像座標を前記第１のｎ次近似式に代入することにより、各横方向分割点の横方向実座標を算出し、各縦方向分割領域毎に、前記横方向分割点の横方向実座標と縦方向画像座標との関係を示す（ｎ＋１）個の第２のｎ次近似式を求め、前記第２のｎ次近似式の係数を前記歪補正パラメータの１つとしての横方向歪補正パラメータとして記憶する工程と、前記撮像素子で撮像された前記格子状パターンのチャートの画像を横方向に対して複数の領域（横方向分割領域）に分割し、各横方向分割領域毎に、縦方向画像座標と前記格子状パターンの縦方向実座標との関係を示す第３のｎ次近似式を求め、各横方向分割領域毎に、縦方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（縦方向分割点）の縦方向画像座標を前記第３のｎ次近似式に代入することにより、各縦方向分割点の縦方向実座標を算出し、各横方向分割領域毎に、前記縦方向分割点の縦方向実座標と横方向画像座標との関係を示す（ｎ＋１）個の第４のｎ次近似式を求め、前記第４のｎ次近似式の係数を前記歪補正パラメータの１つとしての縦方向歪補正パラメータとして記憶する工程とを行い、前記実運用時には、前記表示基板の表面を前記レンズを介して前記撮像素子で撮像して得られる画像信号に対し、前記横方向歪補正パラメータ及び縦方向歪補正パラメータを用いた補正処理を施す工程を行うことを特徴とする。

また、本発明では、歪補正方法に係る第２の解決手段として、上記第１の解決手段において、前記実運用時に任意の点の画像座標を補正する場合、前記横方向歪補正パラメータを係数とする（ｎ＋１）個の第２のｎ次近似式に、前記任意の点の縦方向画像座標をそれぞれ代入して得られる前記任意の点の横方向実座標と、前記各横方向分割点の横方向画像座標とに基づき、前記任意の点に関する横方向実座標と横方向画像座標との関係を示す第５のｎ次近似式を求め、当該第５のｎ次近似式に、前記任意の点の横方向画像座標を代入することでレンズ歪誤差を補正して横方向実座標を算出し、また、前記縦方向歪補正パラメータを係数とする（ｎ＋１）個の第４のｎ次近似式に、前記任意の点の横方向画像座標をそれぞれ代入して得られる前記任意の点の縦方向実座標と、前記各第２の点の縦方向画像座標とに基づき、前記任意の点に関する縦方向実座標と縦方向画像座標との関係を示す第６のｎ次近似式を求め、当該第６のｎ次近似式に、前記任意の点の縦方向画像座標を代入することでレンズ歪誤差を補正して縦方向実座標を算出することを特徴とする。

また、本発明では、歪補正方法に係る第３の解決手段として、上記第１または第２の解決手段において、前記実運用前に行われる工程では、各縦方向分割領域毎に縦方向の射影を算出し、当該射影において等間隔で並ぶ特徴点を抽出し、前記特徴点の横方向の画像座標を示す横方向画像座標と、前記格子状パターンの横方向における実際の特徴点の座標を示す横方向実座標とに基づいて前記第１のｎ次近似式を求め、また、各横方向分割領域毎に横方向の射影を算出し、当該射影において等間隔で並ぶ特徴点を抽出し、前記特徴点の縦方向の画像座標を示す縦方向画像座標と、前記格子状パターンの縦方向における実際の特徴点の座標を示す縦方向実座標とに基づいて前記第３のｎ次近似式を求めることを特徴とする。

また、本発明では、歪補正方法に係る第４の解決手段として、上記第３の解決手段において、前記実運用前に行われる工程では、前記各縦方向分割領域毎に算出した射影、及び前記横方向分割領域毎に算出した射影に対し、所定の低周波除去処理を施すことを特徴とする。

また、本発明では、歪補正方法に係る第５の解決手段として、上記第４の解決手段において、前記実運用前に行われる工程では、前記低周波除去処理として、前記各縦方向分割領域毎に算出した射影、及び前記横方向分割領域毎に算出した射影に対し、それぞれ移動平均分の除去を行うことを特徴とする。

また、本発明では、歪補正方法に係る第６の解決手段として、上記第４の解決手段において、前記実運用前に行われる工程では、前記低周波除去処理として、前記縦方向分割領域毎に算出した射影、及び前記縦方向分割領域毎に算出した射影に対し、それぞれフーリエ変換を行い、所定の周波数成分を除去した後、逆フーリエ変換を行うことを特徴とする。

一方、本発明では、歪補正装置に係る第１の解決手段として、実運用前に、所定の格子状パターンのチャートを、レンズを介して被写体を撮像する撮像素子の被写体として撮像し、当該撮像素子から得られる画像信号に基づいて前記レンズに起因するレンズ歪誤差を補正し得る歪補正パラメータを求めて記憶し、実運用時に、表示基板の表面を前記撮像素子の被写体として撮像して得られる画像信号に対し、前記歪補正パラメータを用いた補正処理を施すことにより、前記撮像素子上の座標（画像座標）を被写体上の座標（実座標）に変換する歪補正装置であって、前記実運用前に、前記撮像素子で撮像された前記格子状パターンのチャートの画像を縦方向に対して複数の領域（縦方向分割領域）に分割し、各縦方向分割領域毎に、横方向の画像座標を示す横方向画像座標と、前記格子状パターンの横方向の実座標を示す横方向実座標との関係を示す第１のｎ次近似式を求め、各縦方向分割領域毎に、横方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（横方向分割点）の横方向画像座標を前記第１のｎ次近似式に代入することにより、各横方向分割点の横方向実座標を算出し、各縦方向分割領域毎に、前記横方向分割点の横方向実座標と縦方向画像座標との関係を示す（ｎ＋１）個の第２のｎ次近似式を求める第１の信号処理手段と、当該第１の信号処理手段によって求めた前記第２のｎ次近似式の係数を前記歪補正パラメータの１つとしての横方向歪補正パラメータとして記憶する第１の記憶手段と、前記実運用前に、前記撮像素子で撮像された前記格子状パターンのチャートの画像を横方向に対して複数の領域（横方向分割領域）に分割し、各横方向分割領域毎に、縦方向画像座標と前記格子状パターンの縦方向実座標との関係を示す第３のｎ次近似式を求め、各横方向分割領域毎に、縦方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（縦方向分割点）の縦方向画像座標を前記第３のｎ次近似式に代入することにより、各縦方向分割点の縦方向実座標を算出し、各横方向分割領域毎に、前記縦方向分割点の縦方向実座標と横方向画像座標との関係を示す（ｎ＋１）個の第４のｎ次近似式を求める第２の信号処理手段と、当該第２の信号処理手段によって求めた前記第４のｎ次近似式の係数を前記歪補正パラメータの１つとしての縦方向歪補正パラメータとして記憶する第２の記憶手段と、実運用時に、前記表示基板の表面を前記レンズを介して前記撮像素子で撮像して得られる画像信号に対し、前記横方向歪補正パラメータ及び縦方向歪補正パラメータを用いた補正処理を施す第３の信号処理手段とを具備することを特徴とする。

本発明によれば、装置コストの増加を招くことなく、撮像装置から得られる画像信号に含まれるレンズ歪誤差を補正することができる。より具体的には、表示基板の表面を、レンズを介して被写体を撮像する撮像素子の被写体として撮像して得られる画像信号に基づき、撮像素子上の座標（画像座標）を被写体上の座標（実座標）に変換する場合において、装置コストの増加を招くことなく、前記画像座標のレンズ歪誤差を補正することができ、その結果、精度良く画像座標を被写体上の座標（実座標）に変換することができる。

以下、図面を参照して、本発明の一実施形態について説明する。図１は本実施形態における歪補正装置の構成概略図である。この図に示すように、本歪補正装置１０は、Ａ／Ｄ変換部１１、信号処理部１２、画像データ記憶部１３及び歪補正パラメータ記憶部１４から構成されている。ここで、信号処理部１２は、第１の信号処理手段、第２の信号処理手段及び第３の信号処理手段としての機能を有し、また、歪補正パラメータ記憶部１４は、第１の記憶手段及び第２の記憶手段としての機能を有する。なお、図１において、符号２０は、例えばＣＣＤカメラ等の撮像装置であり、被写体３０から入射される光を集光するレンズ２１と、当該レンズ２１を介して集光された光を受光して入射光量に応じた電気信号（画像信号）を出力するＣＣＤ２２（撮像素子）から構成されている。

また、以下の説明においては、図１中に示されたＸＹ座標系（Ｘ方向が横方向、Ｙ方向が縦方向）を設定し、被写体３０上に設定された座標（実座標）をＸ_Ｌ、Ｙ_Ｌとし、ＣＣＤ２２上に設定された座標（画像座標）をＸ_Ｃ、Ｙ_Ｃとする。

歪補正装置１０において、Ａ／Ｄ変換部１１は、ＣＣＤ２２から入力される電気信号（アナログ信号）をデジタル信号に変換して信号処理部１２に出力する。上記のようなデジタル信号は、ＣＣＤ２２に設けられた各画素に応じた入射光量（輝度値）を示すものであり、つまり被写体３０のデジタル画像データである。

信号処理部１２は、上記Ａ／Ｄ変換部１１から入力されるデジタル画像データに基づいて、歪補正パラメータ（Ｘ座標歪補正パラメータ、Ｙ座標歪補正パラメータ）を算出する歪補正パラメータ算出モードと、当該歪補正パラメータ算出モードによって算出した歪補正パラメータを用いてデジタル画像データに含まれるレンズ歪誤差を補正する歪補正モードとの２つの動作モードを備えている。より具体的には、歪補正パラメータ算出モード時において、信号処理部１２は、上記Ａ／Ｄ変換部１１から入力されるデジタル画像データを画像データ記憶部１３に一時的に記憶する一方、画像データ記憶部１３からデジタル画像データを取得し、当該デジタル画像データに所定の画像処理を施すことにより歪補正パラメータを算出し、歪補正パラメータ記憶部１４に記憶する。また、歪補正モード時において、信号処理部１２は、歪補正パラメータ記憶部１４に記憶されている歪補正パラメータを取得し、当該歪補正パラメータを用いて所定の演算処理を行うことにより、デジタル画像データの歪補正を行い、歪補正後のデジタル画像データを外部に出力する。

なお、本実施形態では、歪補正パラメータ算出モードによって歪補正パラメータを算出する場合、被写体３０として、図２に示すように均等な格子状パターンが印刷されたチャート４０を撮像し、当該チャート４０のデジタル画像データに基づいて歪補正パラメータを算出する。図２において、符号４１は、チャート４０の画像における格子パターンのＸ方向のレンズ歪を１００倍に拡大して示した一例である。このように、ＣＣＤカメラ２０によって撮像された画像にはレンズ２１の歪曲収差に起因して歪が生じ、デジタル画像データにはレンズ歪誤差が含まれることになる。

画像データ記憶部１３は、例えばフラッシュメモリであり、信号処理部１２の要求に応じてデジタル画像データを記憶する一方、当該記憶しているデジタル画像データを信号処理部１２に出力する。歪補正パラメータ記憶部１４は、例えばフラッシュメモリであり、上記信号処理部１２の要求に応じて歪補正パラメータ（Ｘ座標歪補正パラメータ、Ｙ座標歪補正パラメータ）を記憶する一方、当該記憶している歪補正パラメータを信号処理部１２に出力する。

次に、このように構成された本歪補正装置１０の動作について、各モード毎に説明する。

〔歪補正パラメータ算出モード〕
この歪補正パラメータ算出モードはＣＣＤカメラ２０の実運用前に、事前に行なわれるものであり、ＣＣＤカメラ２０に設けられたレンズ２１の光学特性に応じて個別に歪補正パラメータを求めるモードである。また、歪補正パラメータ算出モードでは、予め用意してある格子状パターンのチャート４０をＣＣＤカメラ２０によって撮像する。なお、例えば、ＣＣＤカメラ２０がＬＣＤパネルの欠陥検査装置等で使用されるものである場合、チャート４０に代えてＬＣＤパネルを撮像しても良い。ＬＣＤパネルであっても、画素領域と配線パターンとによって等間隔な明暗のある格子状パターンが形成されているため、チャート４０の代用品として使用することができる。以下の説明では、このチャート４０のデジタル画像データが画像データ記憶部１３に記憶されているものとする。

＜Ｘ座標歪補正パラメータの算出処理＞
図３は、Ｘ座標歪補正パラメータの算出処理を示すフローチャートである。
まず、信号処理部１２は、画像データ記憶部１３からチャート４０のデジタル画像データを取得し、チャート４０のＣＣＤ画像をＹ方向に対して複数の領域（縦方向分割領域）に分割する（ステップＳ１）。本実施形態では、図４に示すように、ＣＣＤ画像をＡ〜Ｆの６つの領域に分割し、各縦方向分割領域Ａ〜ＦのＹ方向における中心点の画像座標をそれぞれＹ_ＣＡ〜Ｙ_ＣＦとする。

そして、信号処理部１２は、縦方向分割領域ＡについてＹ方向の射影を算出する（ステップＳ２）。周知のように、射影とはある方向に並んだ画素の輝度値を加算する処理であり、ここでは、Ｙ方向に並んだ画素の輝度値を加算し、当該加算値をＸ方向に対して順次算出する。図５（ａ）は、縦方向分割領域ＡにおけるＹ方向の射影の算出結果の一例である。なお、この図において、横軸はＸ方向の画像座標Ｘ_Ｃを示し、縦軸はＹ方向における輝度値の加算値を示している。この図５（ａ）に示すように、チャート４０におけるＸ方向の格子部分が周期的に現れている様子が確認できる。

なお、このように射影を求めることにより、例えばチャート４０の表面に異物が付着する等の原因により、ある画素領域の輝度値が周囲と比べて極端に低い場合に、以下に説明するＸ方向における特徴点の算出、つまり画像からＸ方向の格子部分を探索する処理を行う際に、正確な特徴点を算出できなくなる可能性を低減することができる。

続いて、信号処理部１２は、ステップＳ２で算出した射影結果から移動平均分を除去する（ステップＳ３）。これにより、Ｘ方向に対して部分的に、若しくは左右によってコントラストが異なる場合であっても、オフセット部分がカットされるため、チャート４０における格子間隔を検出しやすくなる。図５（ｂ）は、移動平均分除去後の第１の領域Ａにおける射影を示したものである。なお、このステップＳ３は、射影算出結果に含まれる低周波成分を除去する処理であれば良く、上記のように移動平均分除去処理に限定されない。例えば、デジタルフィルタリングを行なう方法や、フーリエ変換を行なった後に直流成分や雑音成分の周波数成分をカットして逆フーリエ変換を行う方法を採用することにより、上記のように移動平均分除去処理と同等の効果を得ることができる。

次に、信号処理部１２は、上記のように求めた縦方向分割領域Ａにおける射影のＸ方向の特徴点を算出する（ステップＳ４）。この特徴点とは、図５（ｂ）に示す射影の谷部分のことである。この特徴点の算出方法としては、加算値が所定の閾値を通過する部分の画像座標Ｘ_Ｃを求める方法や、傾きの極性が変化する部分の画像座標Ｘ_Ｃを求める方法等がある。本実施形態では、後者の方法を採用し、図５（ｂ）の射影について傾きの極性が変化する部分を検出した後、図５（ａ）においてその部分に該当する点と、その前後１点ずつとを含めた計３点を通過する２次曲線を最小二乗法等によって求め（図６参照）、その２次曲線の頂点を特徴点とし、当該特徴点の画像座標Ｘ_Ｃを算出する。このような方法により、少ない誤差でＣＣＤ画像からＸ方向の格子部分を探索することができる。

そして、信号処理部１２は、上記のように算出した複数の特徴点の内、等間隔で並ぶ特徴点を抽出する（ステップＳ５）。図５に示すように、画像から特徴点を求める場合、ノイズ等の外乱の影響により、隣合う特徴点の間隔が均等でない部分が存在する。そこで、チャート４０の格子状パターンにおける格子間隔は一定で既知であるため、その実際の格子間隔とステップＳ４で求めた特徴点の画像座標Ｘ_Ｃとを比較することにより、容易に実際の格子間隔で並ぶ特徴点を抽出することができる。なお、実際の格子間隔は一定であるが、画像座標Ｘ_ＣはＣＣＤカメラ２０の画像から得られるものであるためレンズ歪誤差を含んでいる。そのため、ある程度のマージンを有する範囲内で、等間隔で並ぶ特徴点を有効とするようにする。

上述したように、チャート４０の格子状パターンにおける実際の格子間隔は既知であるため、ステップＳ５の処理により抽出した各特徴点について画像座標Ｘ_Ｃと格子状パターンの実座標Ｘ_Ｌとの関係を示すデータを得ることができる。よって、信号処理部１２は、これらのデータから画像座標Ｘ_Ｃと実座標Ｘ_Ｌとの関係を示す第１のｎ次近似式を最小二乗法等によって算出する（ステップＳ６）。ここで、近似式の次数ｎは、レンズ２１の光学特性に応じて適宜設定すれば良いが、３以上に設定することが補正精度の面から好ましい。以下では、次数ｎ＝３と設定した場合を想定して説明する。従って、画像座標Ｘ_Ｃと実座標Ｘ_Ｌとの関係は、下記（１）式で表される。なお、下記（１）式において、Ｘ_ＬＡは縦方向分割領域ＡにおけるＸ方向の実座標を示し、ａ_１、ｂ_１、ｃ_１、ｄ_１は係数である。

次に、信号処理部１２は、Ｘ方向に対して等間隔で並ぶ、少なくとも（ｎ＋１）個の点（横方向分割点）を求め、各横方向分割点の画像座標Ｘ_Ｃを上記（１）式に代入することにより、各横方向分割点の実座標Ｘ_ＬＡを算出する（ステップＳ７）。本実施形態では、次数ｎ＝３と設定したので、図７に示すように、４個の横方向分割点（点０、点１、点２、点３）について、それぞれ実座標Ｘ_ＬＡを算出する。ここで、点０、点１、点２、点３の画像座標Ｘ_Ｃをそれぞれ、Ｘ_Ｃ０、Ｘ_Ｃ１、Ｘ_Ｃ２、Ｘ_Ｃ３とすると、これらを上記（１）式に代入することにより、点０の実座標Ｘ_ＬＡ（Ｘ_Ｃ０）、点１の実座標Ｘ_ＬＡ（Ｘ_Ｃ１）、点２の実座標Ｘ_ＬＡ（Ｘ_Ｃ２）、点３の実座標Ｘ_ＬＡ（Ｘ_Ｃ３）が求まる。なお、ここで横方向分割点を（ｎ＋１）個とした理由については後述する。

そして、信号処理部１２は、ステップＳ２〜Ｓ７の処理を最後の縦方向分割領域Ｆまで行ったか否かを判定し（ステップＳ８）、「NO」の場合、ステップＳ２の処理に戻り、次の縦方向分割領域Ｂについて同様の処理を行う。つまり、各縦方向分割領域Ａ〜ＦについてそれぞれステップＳ２〜Ｓ７の処理を行なうことにより、各縦方向分割Ａ〜Ｆ毎に、画像座標Ｘ_Ｃと実座標Ｘ_Ｌとの関係を示す第１の３次近似式を求め、４個の横方向分割点（点０、点１、点２、点３）について、それぞれ実座標Ｘ_Ｌを算出する。このようにステップＳ８までの処理により、図８に示すように、各縦方向分割領域Ａ〜Ｆ毎に求めた４個の横方向分割点の実座標Ｘ_Ｌと、各縦方向分割領域Ａ〜ＦのＹ方向における中心点の画像座標Ｙ_ＣＡ〜Ｙ_ＣＦとの関係を示すテーブルを求めることができる。なお、図８において、縦方向分割領域Ｂ〜Ｆの実座標をそれぞれＸ_ＬＢ〜Ｘ_ＬＦとする。

そして、ステップＳ８において、「YES」の場合、つまり図８に示すような実座標Ｘ_Ｌと画像座標Ｙ_Ｃとの関係が得られた場合、信号処理部１２は、図８のテーブルに基づき、実座標Ｘ_Ｌと画像座標Ｙ_Ｃとの関係を補正する（ステップＳ９）。上記のように、各横方向分割点について実座標Ｘ_Ｌを求めるが、これらの点はチャート４０における実際の格子周期の１周期分ずれている場合がある。これは、レンズ歪に起因して点０、点１、点２、点３が直線にならないために起こる現象である。また、Ｙ方向についてＹ_ＣＡ〜Ｙ_ＣＦという短い間隔で横方向分割点の実座標Ｘ_Ｌを算出しているため、隣り合った横方向分割点の周期は最大でも１周期分である。従って、実際の格子周期より大きくずれた場合のみ、各横方向分割点についての実座標Ｘ_Ｌを１周期分ずらし、連続した値になるように補正する。

続いて、信号処理部１２は、ステップＳ９の補正処理により最終的に得られた実座標Ｘ_Ｌと画像座標Ｙ_Ｃとの関係を示す第２のｎ次近似式（３次近似式）を、各横方向分割点についてそれぞれ算出する（ステップＳ１０）。下記（２）式は、点０について算出された第２の３次近似式Ｘ_Ｌ０（Ｙ_Ｃ）を示し、下記（３）式は、点１について算出された第２の３次近似式Ｘ_Ｌ１（Ｙ_Ｃ）を示し、下記（４）式は、点２について算出された第２の３次近似式Ｘ_Ｌ２（Ｙ_Ｃ）を示し、下記（５）式は、点３について算出された第２の３次近似式Ｘ_Ｌ３（Ｙ_Ｃ）を示している。

そして、信号処理部１２は、上記のように算出した、実座標Ｘ_Ｌと画像座標Ｙ_Ｃとの関係を示す４個の第２の３次近似式の係数全てをＸ座標歪補正パラメータとして歪補正パラメータ記憶部１４に記憶する（ステップＳ１１）。つまり、３次近似式を採用した場合、Ｘ座標歪補正パラメータは１６個となる。

仮に、各縦方向分割領域Ａ〜Ｆ毎に求めた第１の３次近似式の係数をＸ座標歪補正パラメータとして記憶した場合、Ｘ座標歪補正パラメータは２４個となる。また、縦方向分割領域の数が多くなる程、Ｘ座標歪補正パラメータはより多くなってしまう。さらに、この場合、Ｘ_Ｃ ^３の係数であるａ_１の誤差が大きいとすると、Ｘ_Ｃが大きい値である程、求める実座標Ｘ_Ｌの値に大きな誤差が生じることになる。従って、本実施形態のように、第１の３次近似式と等価な横方向分割点について、それぞれ実座標Ｘ_Ｌと画像座標Ｙ_Ｃとの関係を示す第２の３次近似式を求め、これら第２の３次近似式の係数を歪補正パラメータとして記憶することにより、補正精度を維持したまま、歪補正パラメータの数を極力減らすことが可能である。

＜Ｙ座標歪補正パラメータの算出処理＞
図９は、Ｙ座標歪補正パラメータの算出処理を示すフローチャートである。なお、この処理は、上述した図３のステップＳ１〜Ｓ１１の処理をＹ方向に対して同様に行うものであるので、詳細な説明は省略する。

まず、信号処理部１２は、チャート４０のＣＣＤ画像をＸ方向に対して複数の横方向分割領域に分割する（ステップＳ２０）。本実施形態では、図１０に示すように、画像をＧ〜Ｍの７つの領域に分割し、各横方向分割領域Ｇ〜ＭのＸ方向における中心点の画像座標をそれぞれＸ_ＣＧ〜Ｘ_ＣＭとする。

そして、信号処理部１２は、横方向分割領域ＧについてＸ方向の射影を算出する（ステップＳ２１）。ここでは、Ｘ方向に並んだ画素の輝度値を加算し、当該加算値をＹ方向に対して順次算出する。続いて、信号処理部１２は、ステップＳ２１で算出した射影結果から移動平均分を除去する（ステップＳ２２）。

次に、信号処理部１２は、上記のように求めた横方向分割Ｇにおける射影の特徴点を算出し（ステップＳ２３）、当該特徴点の内、等間隔で並ぶ特徴点を抽出する（ステップＳ２４）。上述したように、チャート４０の格子状パターンにおける実際の格子間隔は既知であるため、ステップＳ２４の処理により抽出した各特徴点について画像座標Ｙ_Ｃと実座標Ｙ_Ｌとの関係を示すデータを得ることができる。そして、信号処理部１２は、このようなデータから画像座標Ｙ_Ｃと実座標Ｙ_Ｌとの関係を示す第３の３次近似式を最小二乗法等によって算出する（ステップＳ２５）。画像座標Ｙ_Ｃと実座標Ｙ_Ｌとの関係は、下記（６）式で表される。なお、下記（６）式において、Ｙ_ＬＧは横方向分割ＧにおけるＹ方向の実座標を示し、ｅ_１、ｆ_１、ｇ_１、ｈ_１は係数である。

次に、信号処理部１２は、Ｙ方向に対して等間隔で並ぶ、４個の点（縦方向分割点）を求め、各縦方向分割点の画像座標Ｙ_Ｃを上記（６）式に代入することにより、各縦方向分割点の実座標Ｙ_ＬＧを算出する（ステップＳ２６）。本実施形態では、次数ｎ＝３と設定したので、４個の縦方向分割点（点１０、点１１、点１２、点１３）について、それぞれ実座標Ｙ_ＬＧを算出する。ここで、点１０、点１１、点１２、点１３の画像座標Ｙ_Ｃをそれぞれ、Ｙ_Ｃ１０、Ｙ_Ｃ１１、Ｙ_Ｃ１２、Ｙ_Ｃ１３とすると、これらを上記（６）式に代入することにより、点１０の実座標Ｙ_ＬＧ（Ｙ_Ｃ１０）、点１１の実座標Ｙ_ＬＧ（Ｙ_Ｃ１１）、点１２の実座標Ｙ_ＬＧ（Ｙ_Ｃ１２）、点１３の実座標Ｙ_ＬＧ（Ｙ_Ｃ１３）が求まる。

そして、信号処理部１２は、ステップＳ２１〜Ｓ２６の処理を最後の横方向分割領域Ｍまで行ったか否かを判定し（ステップＳ２７）、「NO」の場合、ステップＳ２１の処理に戻り、次の横方向分割Ｈについて同様の処理を行う。つまり、各横方向分割領域Ｇ〜ＭについてそれぞれステップＳ２１〜Ｓ２６の処理を行なうことにより、各横方向分割領域Ｇ〜Ｍ毎に、画像座標Ｙ_Ｃと実座標Ｙ_Ｌとの関係を示す第３の３次近似式を求め、４個の縦方向分割点（点１０、点１１、点１２、点１３）について、それぞれ実座標Ｙ_Ｌを算出する。このようにステップＳ２７までの処理により、図８と同様な、各横方向分割領域Ｇ〜Ｍ毎に求めた４個の縦方向分割点の実座標Ｙ_Ｌと、各横方向分割領域Ｇ〜ＭのＸ方向における中心点の画像座標Ｘ_ＣＧ〜Ｘ_ＣＭとの関係を示すテーブルを求めることができる。

そして、ステップＳ２７において、「YES」の場合、信号処理部１２は、実座標Ｙ_Ｌと画像座標Ｘ_Ｃとの関係を示すテーブルに基づき、図３のステップＳ９と同様な処理により、実座標Ｙ_Ｌと画像座標Ｘ_Ｃとの関係を補正する（ステップＳ２８）。続いて、信号処理部１２は、ステップＳ２８の補正処理により最終的に得られた実座標Ｙ_Ｌと画像座標Ｘ_Ｃとの関係を示す第４の３次近似式を、各縦方向分割点についてそれぞれ算出する（ステップＳ２９）。下記（７）式は、点１０について算出された第４の３次近似式Ｙ_Ｌ１０（Ｘ_Ｃ）を示し、下記（８）式は、点１１について算出された第４の３次近似式Ｙ_Ｌ１１（Ｘ_Ｃ）を示し、下記（９）式は、点１２について算出された第４の３次近似式Ｙ_Ｌ１２（Ｘ_Ｃ）を示し、下記（１０）式は、点１３について算出された第４の３次近似式Ｙ_Ｌ１３（Ｘ_Ｃ）を示している。

そして、信号処理部１２は、上記のように算出した、実座標Ｙ_Ｌと画像座標Ｘ_Ｃとの関係を示す４個の第４の３次近似式の係数全てをＹ座標歪補正パラメータとして歪補正パラメータ記憶部１４に記憶する（ステップＳ３０）。つまり、Ｙ座標歪補正パラメータは、Ｘ座標歪補正パラメータと同様に１６個となり、記憶すべき歪補正パラメータは合計３２個となる。

〔歪補正モード〕
次に、ＣＣＤカメラ２０の実運用時において、上述した歪補正パラメータ算出モードによって算出した歪補正パラメータを用いてＣＣＤカメラ２０から得られるデジタル画像データに含まれるレンズ歪誤差を補正する歪補正モードについて説明する。なお、ＣＣＤカメラ２０がＬＣＤパネルの欠陥検査装置等で使用される場合、被写体３０としてＬＣＤパネルを撮像し、このデジタル画像データが画像データ記憶部１３に記憶されているものとする。

＜Ｘ座標の歪補正処理＞
図１１は、Ｘ座標の歪補正処理を示すフローチャートである。
まず、信号処理部１２は、歪補正パラメータ記憶部１４からＸ座標歪補正パラメータを取得し（ステップＳ４０）、上記（２）〜（５）式で示される３次近似式を生成する（ステップＳ４１）。そして、信号処理部１２は、ＬＣＤパネルのＣＣＤ画像における任意の点Ｐの画像座標Ｙ_ＣＰを上記（２）〜（５）式にそれぞれ代入し、（２）式から実座標Ｘ_Ｌ０（Ｙ_ＣＰ）、（３）式から実座標Ｘ_Ｌ１（Ｙ_ＣＰ）、（４）式から実座標Ｘ_Ｌ２（Ｙ_ＣＰ）、（５）式から実座標Ｘ_Ｌ３（Ｙ_ＣＰ）を算出する（ステップＳ４２）。

これら（２）〜（５）式は、横方向分割点（点０〜点３）についてそれぞれ求められたものであるので、信号処理部１２は、点０〜点３の画像座標Ｘ_Ｃ０〜Ｘ_Ｃ３とステップＳ４２で算出した実座標Ｘ_Ｌ０〜Ｘ_Ｌ３との関係から、下記（１１）式に示すような第５の３次近似式を算出する（ステップＳ４３）。

そして、信号処理部１２は、任意の点Ｐの画像座標ＸＣＰを上記（１１）式に代入することにより、任意の点Ｐの画像座標ＸＣＰのレンズ歪誤差を補正し、ＬＣＤパネル上の実座標ＸＬＰに変換する（ステップＳ４４）。このように、任意の点Ｐに関する画像座標ＸＣと実座標ＸＬとの関係を示す第５の３次近似式を算出する場合、４個の係数を求めなければならないため、ステップＳ４２において画像座標ＸＣと実座標ＸＬとの関係を示すデータは少なくとも４セット分必要である。従って、図３のステップＳ７において、横方向分割点を４個、つまり（ｎ＋１）個とする必要がある。

＜Ｙ座標の歪補正処理＞
図１２は、Ｙ座標の歪補正処理を示すフローチャートである。
まず、信号処理部１２は、歪補正パラメータ記憶部１４からＹ座標歪補正パラメータを取得し（ステップＳ５０）、上記（７）〜（１０）式で示される３次近似式を生成する（ステップＳ５１）。そして、信号処理部１２は、ＬＣＤパネルの画像における任意の点Ｐの画像座標Ｘ_ＣＰを上記（７）〜（１０）式にそれぞれ代入し、（７）式から実座標Ｙ_Ｌ１０（Ｘ_ＣＰ）、（８）式から実座標Ｙ_Ｌ１１（Ｘ_ＣＰ）、（９）式から実座標Ｙ_Ｌ１２（Ｘ_ＣＰ）、（１０）式から実座標Ｙ_Ｌ１３（Ｘ_ＣＰ）を算出する（ステップＳ５２）。

これら（７）〜（１０）式は、縦方向分割点（点１０〜点１３）についてそれぞれ求められたものであるので、信号処理部１２は、点１０〜点１３の画像座標Ｙ_Ｃ１０〜Ｙ_Ｃ１３とステップＳ５２で算出した実座標Ｙ_Ｌ１０〜Ｙ_Ｌ１３との関係から、下記（１２）式に示すような第６の３次近似式を算出する（ステップＳ５３）。

そして、信号処理部１２は、任意の点Ｐの画像座標Ｙ_ＣＰを上記（１２）式に代入することにより、任意の点Ｐの画像座標Ｙ_ＣＰのレンズ歪誤差を補正し、ＬＣＤパネル上の実座標Ｙ_ＬＰに変換する（ステップＳ５４）。

信号処理部１２は、上述したＸ座標及びＹ座標の歪補正処理をＣＣＤ画像の全ての点の画像座標について行い、歪補正後の画像データを外部に出力する。

以上のように、本実施形態によれば、歪補正パラメータを近似式の係数として記憶しているため、従来のように、撮像素子（ＣＣＤ２２）の各画素に応じた歪補正量を記憶する必要がない。従って、装置コストの増加を招くことなく、画像座標のレンズ歪誤差を補正することができ、その結果、精度良く画像座標をＬＣＤパネル上の座標（実座標）に変換することができる。

なお、上記実施形態では、ＣＣＤカメラ２０の外部に歪補正装置１０が接続されている場合について説明したが、これに限定されず、撮像装置であるＣＣＤカメラ２０の内部に歪補正装置１０を設けても良い。

本発明の一実施形態における歪補正装置の構成概略図である。ＣＣＤカメラ２０から得られるＣＣＤ画像に含まれるレンズ歪を示す説明図である。本発明の一実施形態における歪補正装置１０の歪補正パラメータ算出モードにおけるＸ座標歪補正パラメータの算出処理を示すフローチャートである。Ｘ座標歪補正パラメータの算出処理についての第１の説明図である。Ｘ座標歪補正パラメータの算出処理についての第２の説明図である。Ｘ座標歪補正パラメータの算出処理についての第３の説明図である。Ｘ座標歪補正パラメータの算出処理についての第４の説明図である。Ｘ座標歪補正パラメータの算出処理についての第５の説明図である。本発明の一実施形態における歪補正装置１０の歪補正パラメータ算出モードにおけるＹ座標歪補正パラメータの算出処理を示すフローチャートである。Ｙ座標歪補正パラメータの算出処理についての第１の説明図である。本発明の一実施形態における歪補正装置１０の歪補正モードにおけるＸ座標の歪補正処理を示すフローチャートである。本発明の一実施形態における歪補正装置１０の歪補正モードにおけるＹ座標の歪補正処理を示すフローチャートである。

符号の説明

１０…歪補正装置、１１…Ａ／Ｄ変換部、１２…信号処理部、１３…画像データ記憶部、１４…歪補正パラメータ記憶部、２０…ＣＣＤカメラ、２１…レンズ、２２…ＣＣＤ、３０…被写体

Claims

実運用前に、所定の格子状パターンのチャートを、レンズを介して被写体を撮像する撮像素子の被写体として撮像し、当該撮像素子から得られる画像信号に基づいて前記レンズに起因するレンズ歪誤差を補正し得る歪補正パラメータを求めて記憶し、実運用時に、表示基板の表面を前記撮像素子の被写体として撮像して得られる画像信号に対し、前記歪補正パラメータを用いた補正処理を施すことにより、前記撮像素子上の座標（画像座標）を被写体上の座標（実座標）に変換する歪補正方法であって、
前記実運用前には、
前記撮像素子で撮像された前記格子状パターンのチャートの画像を縦方向に対して複数の領域（縦方向分割領域）に分割し、
各縦方向分割領域毎に、横方向の画像座標を示す横方向画像座標と、前記格子状パターンの横方向の実座標を示す横方向実座標との関係を示す第１のｎ次近似式を求め、
各縦方向分割領域毎に、横方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（横方向分割点）の横方向画像座標を前記第１のｎ次近似式に代入することにより、各横方向分割点の横方向実座標を算出し、
各縦方向分割領域毎に、前記横方向分割点の横方向実座標と縦方向画像座標との関係を示す（ｎ＋１）個の第２のｎ次近似式を求め、
前記第２のｎ次近似式の係数を前記歪補正パラメータの１つとしての横方向歪補正パラメータとして記憶する工程と、
前記撮像素子で撮像された前記格子状パターンのチャートの画像を横方向に対して複数の領域（横方向分割領域）に分割し、
各横方向分割領域毎に、縦方向画像座標と前記格子状パターンの縦方向実座標との関係を示す第３のｎ次近似式を求め、
各横方向分割領域毎に、縦方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（縦方向分割点）の縦方向画像座標を前記第３のｎ次近似式に代入することにより、各縦方向分割点の縦方向実座標を算出し、
各横方向分割領域毎に、前記縦方向分割点の縦方向実座標と横方向画像座標との関係を示す（ｎ＋１）個の第４のｎ次近似式を求め、
前記第４のｎ次近似式の係数を前記歪補正パラメータの１つとしての縦方向歪補正パラメータとして記憶する工程と
を行い、
前記実運用時には、
前記表示基板の表面を前記レンズを介して前記撮像素子で撮像して得られる画像信号に対し、前記横方向歪補正パラメータ及び縦方向歪補正パラメータを用いた補正処理を施す工程を行う
ことを特徴とする歪補正方法。
前記実運用時に任意の点の画像座標を補正する場合、
前記横方向歪補正パラメータを係数とする（ｎ＋１）個の第２のｎ次近似式に、前記任意の点の縦方向画像座標をそれぞれ代入して得られる前記任意の点の横方向実座標と、前記各横方向分割点の横方向画像座標とに基づき、前記任意の点に関する横方向実座標と横方向画像座標との関係を示す第５のｎ次近似式を求め、当該第５のｎ次近似式に、前記任意の点の横方向画像座標を代入することでレンズ歪誤差を補正して横方向実座標を算出し、
また、前記縦方向歪補正パラメータを係数とする（ｎ＋１）個の第４のｎ次近似式に、前記任意の点の横方向画像座標をそれぞれ代入して得られる前記任意の点の縦方向実座標と、前記各第２の点の縦方向画像座標とに基づき、前記任意の点に関する縦方向実座標と縦方向画像座標との関係を示す第６のｎ次近似式を求め、当該第６のｎ次近似式に、前記任意の点の縦方向画像座標を代入することでレンズ歪誤差を補正して縦方向実座標を算出する
ことを特徴とする請求項１記載の歪補正方法。
前記実運用前に行われる工程では、
各縦方向分割領域毎に縦方向の射影を算出し、当該射影において等間隔で並ぶ特徴点を抽出し、前記特徴点の横方向の画像座標を示す横方向画像座標と、前記格子状パターンの横方向における実際の特徴点の座標を示す横方向実座標とに基づいて前記第１のｎ次近似式を求め、
また、各横方向分割領域毎に横方向の射影を算出し、当該射影において等間隔で並ぶ特徴点を抽出し、前記特徴点の縦方向の画像座標を示す縦方向画像座標と、前記格子状パターンの縦方向における実際の特徴点の座標を示す縦方向実座標とに基づいて前記第３のｎ次近似式を求める
ことを特徴とする請求項１または２記載の歪補正方法。
前記実運用前に行われる工程では、前記各縦方向分割領域毎に算出した射影、及び前記横方向分割領域毎に算出した射影に対し、所定の低周波除去処理を施すことを特徴とする請求項３記載の歪補正方法。
前記実運用前に行われる工程では、前記低周波除去処理として、前記各縦方向分割領域毎に算出した射影、及び前記横方向分割領域毎に算出した射影に対し、それぞれ移動平均分の除去を行うことを特徴とする請求項４記載の歪補正方法。
前記実運用前に行われる工程では、前記低周波除去処理として、前記縦方向分割領域毎に算出した射影、及び前記縦方向分割領域毎に算出した射影に対し、それぞれフーリエ変換を行い、所定の周波数成分を除去した後、逆フーリエ変換を行うことを特徴とする請求項４記載の歪補正方法。
実運用前に、所定の格子状パターンのチャートを、レンズを介して被写体を撮像する撮像素子の被写体として撮像し、当該撮像素子から得られる画像信号に基づいて前記レンズに起因するレンズ歪誤差を補正し得る歪補正パラメータを求めて記憶し、実運用時に、表示基板の表面を前記撮像素子の被写体として撮像して得られる画像信号に対し、前記歪補正パラメータを用いた補正処理を施すことにより、前記撮像素子上の座標（画像座標）を被写体上の座標（実座標）に変換する歪補正装置であって、
前記実運用前に、前記撮像素子で撮像された前記格子状パターンのチャートの画像を縦方向に対して複数の領域（縦方向分割領域）に分割し、各縦方向分割領域毎に、横方向の画像座標を示す横方向画像座標と、前記格子状パターンの横方向の実座標を示す横方向実座標との関係を示す第１のｎ次近似式を求め、各縦方向分割領域毎に、横方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（横方向分割点）の横方向画像座標を前記第１のｎ次近似式に代入することにより、各横方向分割点の横方向実座標を算出し、各縦方向分割領域毎に、前記横方向分割点の横方向実座標と縦方向画像座標との関係を示す（ｎ＋１）個の第２のｎ次近似式を求める第１の信号処理手段と、
当該第１の信号処理手段によって求めた前記第２のｎ次近似式の係数を前記歪補正パラメータの１つとしての横方向歪補正パラメータとして記憶する第１の記憶手段と、
前記実運用前に、前記撮像素子で撮像された前記格子状パターンのチャートの画像を横方向に対して複数の領域（横方向分割領域）に分割し、各横方向分割領域毎に、縦方向画像座標と前記格子状パターンの縦方向実座標との関係を示す第３のｎ次近似式を求め、各横方向分割領域毎に、縦方向において所定の間隔で並ぶ、少なくとも（ｎ＋１）個の点（縦方向分割点）の縦方向画像座標を前記第３のｎ次近似式に代入することにより、各縦方向分割点の縦方向実座標を算出し、各横方向分割領域毎に、前記縦方向分割点の縦方向実座標と横方向画像座標との関係を示す（ｎ＋１）個の第４のｎ次近似式を求める第２の信号処理手段と、
当該第２の信号処理手段によって求めた前記第４のｎ次近似式の係数を前記歪補正パラメータの１つとしての縦方向歪補正パラメータとして記憶する第２の記憶手段と、
実運用時に、前記表示基板の表面を前記レンズを介して前記撮像素子で撮像して得られる画像信号に対し、前記横方向歪補正パラメータ及び縦方向歪補正パラメータを用いた補正処理を施す第３の信号処理手段と
を具備することを特徴とする歪補正装置。