JP4278800B2

JP4278800B2 - 撮像空間の幾何学的歪み解消方法

Info

Publication number: JP4278800B2
Application number: JP30607699A
Authority: JP
Inventors: 生松藤本; 清和岡本
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 1999-10-27
Filing date: 1999-10-27
Publication date: 2009-06-17
Anticipated expiration: 2019-10-27
Also published as: JP2001124517A; DE10053187A1; US6671423B1

Description

【０００１】
【発明の属する技術分野】
この発明は、被計測空間をＣＣＤカメラ等により撮像して得られた画像により平面形状測定を行う場合等において、撮像空間に生じる幾何学的歪みを解消する方法に関する。
【０００２】
【従来の技術】
従来、撮像空間に生じる幾何学的歪みを解消する方法として、参照空間として格子状の図形を利用して、▲１▼区分的多項式による近似を行う方法、▲２▼全空間的なアフィン変換を施す方法、▲３▼レンズ収差等の歪みの原因に対する調査のステップを踏み、関数近似する方法、等が用いられている。
【０００３】
【発明が解決しようとする課題】
しかし、▲１▼の区分的多項式による近似を行う方法では、高次多項式を利用すれば高精度が期待できるが、これは計算コストが高くなる。▲２▼の全空間的なアフィン変換を行う方法は、非線形な歪みに対応できず、高精度が期待できない。▲３▼の関数近似する方法は、関数を求めるのが容易ではなく、局所的に大きく曲率が変化するような歪みに対しては高精度が期待できない。
従って従来、任意の指定許容誤差内で撮像空間の歪みを容易に解消できるような実用的な方法はなかった。
【０００４】
この発明は、撮像空間の幾何学的歪みを所定の許容誤差値内で容易に解消できる方法を提供することを目的としている。
【０００５】
【課題を解決するための手段】
この発明は、被計測空間を撮像して得られる撮像空間の幾何学的歪みを解消する方法であって、被計測空間と同等の位置に設置された、各参照図形の図芯と参照図形全体の参照原図芯の座標値位置が予めわかっている複数の参照図形を有する参照空間を準備し、前記被計測空間を撮像して得られる撮像空間内の前記複数の参照図形に対応する複数の撮像図形全体の図芯である転写原図芯を、前記参照空間の参照原図芯に重ね、前記複数の参照図形の図芯である参照図芯群にそれぞれ、前記複数の撮像図形の図芯である転写図芯群を写す第１次アフィン変換を行い、前記参照空間を複数個の第１次分割空間に分ける空間分割を施し、前記各第１次分割空間について前記第１次アフィン変換後の各転写図芯とそれに対応する参照図芯との位置誤差を歪み評価値として求め、前記第１次分割空間を、前記歪み評価値が所定の許容誤差値内に収まる分割空間と収まらない分割空間とに分類し、前記許容誤差値内に収まらない分割空間に対してその内部の参照図芯群に、対応する撮像空間の転写図芯群の第１次アフィン変換後の位置を写す第２次アフィン変換を行い、前記第１次及び第２次アフィン変換後の前記許容誤差値内に収まらない第１次分割空間に対しては、複数個の第２次分割空間に分ける空間分割を施し、以下、前記許容誤差値内に収まらない分割空間について前記歪み評価値が前記許容誤差値内に収まるまでアフィン変換と空間分割を繰り返すことを特徴とする。
【０００６】
この発明によると、被計測空間をＣＣＤカメラ等により撮像して得られる撮像空間の幾何学的歪みを、アフィン変換と空間分割の繰り返しにより容易に解消することができる。
【０００７】
この発明において、前記歪み評価値は好ましくは、前記参照図芯と前記アフィン変換後の転写図芯との位置誤差のノルムの最大値とする。或いはまた、前記歪み評価値は、前記参照図芯に最寄りの転写図芯を求め、その最寄りの転写図芯と前記参照図芯に対応する転写図芯との位置誤差のノルムの最大値とすることもできる。
またこの発明における各アフィン変換においては例えば、変換後の位置とこれに対応する参照図芯との位置誤差に対する最小二乗法によりアフィン変換子を決定する。
更にこの発明において、空間分割は例えば、縦横共に略１／２分割による空間の４分割とする。
またこの発明において、複数の参照図形は例えば、その参照図芯の一部が前記参照空間或いは前記参照空間を分割した時の各分割空間のいずれかの境界上に配置される。
更にこの発明において、参照空間或いは参照空間を分割して得られる各参照領域のいずれかの境界は例えば矩形、三角形、円弧のいずれかを描くものとする。
【０００８】
【発明の実施の形態】
以下、図面を参照して、この発明を説明する。具体的な実施の形態に先立ち、この発明による撮像空間の幾何学的歪み解消のアルゴリズムを、（１）参照空間と撮像空間、（２）アフィン変換式の決定と歪み評価値、（３）歪み評価値に基づいて全ての位置誤差を許容誤差値内に収めるための空間分割、の順に説明する。
【０００９】
（１）参照空間と撮像空間
図１に示すように、複数の参照図形１が設定された参照空間４を準備する。各参照図形１は、予め座標位置が正確にわかっている図芯である参照図芯２（ｂ_k（ｋ＝１，２，…，ｎ））を有する。また参照図形１全体の芯は原図芯３（ｂ_g）であり、これも予め座標値がわかっているものとする。
これに対して、参照図形１をＣＣＤで撮像した撮像空間８について、参照図形１に対応する図形を撮像図形５とし、参照図芯２に対応する芯を転写図芯６（ａ_k（ｋ＝１，２，…，ｎ））とし、参照原図芯３に対応する撮像図形全体の芯を転写原図芯７（ａ_g）とする。
なお参照空間４の各参照図形１は、その参照図芯２の一部が、後に説明する空間分割を行ったときの分割空間の境界上に配置されるようになっている。
【００１０】
この様な参照空間４と撮像空間８の関係において、図２に示すように、原図芯３（ｂ_g）と転写原図芯７（ａ_g）を重ね合わせて、参照図芯２に転写図芯６を写すアフィン変換を行う。このとき、全ての転写図芯６に対して、アフィン変換後の位置とその対応する参照図芯２との位置誤差の最大値を歪み評価値εとして、この歪み評価値εが所定の許容誤差値δに収まるか否かの検証を行う。ここで、参照空間４を二次元格子状にｎ分割した時の最小空間（隣り合う４点で囲まれる四角形領域）においては、アフィン変換を施したとき、必ず指定の許容誤差値に収まるような参照図芯２の群と転写図芯６の群が予め選ばれていると仮定する。
【００１１】
（２）アフィン変換式と歪み評価値ε
ｎ個の転写図芯ａ^k＝（ａ^k _x，ａ^k _y）^Tに対する参照図芯を、
ｂ^k＝（ｂ^k _x，ｂ^k _y）^Tとし、アフィン変換子を下記数１とする。
【００１２】
【数１】

【００１３】
ここで、各図芯の座標値は、転写原図芯ａ_g、原図芯ｂ_gを原点とする座標系の座標値にそれぞれ変換されていると仮定する。各ｋに対して、ｂ_k−Ａａ_kを考えて、関数ｆ（ｘ₁，ｘ₂，ｘ₃，ｘ₄）を下記数２とおく。
【００１４】
【数２】

【００１５】
そして、最小二乗法によりアフィン変換子Ａを決定する。即ち、δｆ／δｘ₁＝δｆ／δｘ₂＝δｆ／δｘ₃＝δｆ／δｘ₄＝０より、下記数３の線形方程式を解いてアフィン変換子Ａを求める。
【００１６】
【数３】

【００１７】
数３を解くと、下記数４となる。
【００１８】
【数４】

【００１９】
このとき、撮像空間におけるアフィン変換子Ａは、撮像空間の座標値を（Ｘ，Ｙ）とし、参照空間の座標値を（ｘ，ｙ）として、下記数５で表される。
【００２０】
【数５】

【００２１】
前述のように、参照図芯２と変換後の転写図芯６との位置誤差量を歪み評価値εとする。例えば、撮像空間Ｓの歪み評価値εは、参照図芯とアフィン変換後の転写図芯との位置誤差のノルムの最大値として、下記数６で定義する。
【００２２】
【数６】
ε＝ｓｕｐ‖Ａａ−ｂ‖
ａ∈S
【００２３】
ここで、ノルム‖・‖は次のように定義する。
【００２４】
【数７】

【００２５】
また、ｂを転写図芯ａ∈Ｓに対応する参照空間の参照図芯とする。
なお歪み評価値εの他の例では、上記と同様にｂを参照図芯、ａを転写図芯として、次のような定義も考えられる。即ち、ａ，ｘ∈Ｓなるｘが、‖Ａｘ−ｂ‖を最小とする参照図芯に最寄りの転写位置を考えて、この最寄りの転写位置と参照図芯に対応する先の転写図芯と位置誤差の最大値として、次のように定義する場合である。
【００２６】
【数８】

【００２７】
但し、ここでの議論は、数６に示す歪み評価値εを用いるものとする。この歪み評価値εが所定の許容誤差値δ内に入るか否かを判定し、入らなければ撮像空間（参照空間）の分割を行って、分割された撮像空間に対して次のアフィン変換を施す。以下、歪み評価値εが所定の許容誤差値δ内に入るまで同様の処理を繰り返しを行い、幾何学的歪みを解消する。
【００２８】
（３）位置誤差εを許容誤差値δ内に収めるための空間分割
前述のように、ｎ個の転写図芯ａ^k＝（ａ^k _x，ａ^k _y）^Tに対する参照図芯を、ｂ^k＝（ｂ^k _x，ｂ^k _y）^Tとし、アフィン変換子を数１で表し、且つ撮像空間の転写図芯をｂ_g、参照空間における原図芯の位置をａ_gとおいて、空間分割のステップは次のようになる。
【００２９】
（第１ステップ）
図１に示すように、参照空間４の全空間Ｓの参照図芯２：ｂ^k＝（ｂ^k _x，ｂ^k _y）とその対応する転写図芯６：ａ^k＝（ａ^k _x，ａ^k _y）とから、上述した方法により第１次アフィン変換子Ａ₀を求める。
【００３０】
（第２ステップ）
図３Ａに示すように、参照空間４の第１次分割による分割空間を、Ｓ₁，Ｓ₂，Ｓ₃，Ｓ₄とする。この例では空間分割は、参照図芯２上を分割境界線が通るように、縦横共に略１／２分割してなる空間の４分割である。このとき参照図芯２の一部は、各分割空間（参照領域或いは参照空間）の境界上にあり、各参照領域の境界は矩形（正方形又は或いは長方形）を描き、その最外枠が参照空間４を構成する。但し、参照空間或いは参照空間内の各参照領域の境界が円弧或いは三角形を描くような参照空間の設定も可能である。この参照空間４の第１次分割空間Ｓ₁〜Ｓ₄に対応する撮像空間８の分割空間は、図３Ｂに示すように、Ｓ₁’〜Ｓ₄’である。これらの分割空間は一対一に対応するので、以下参照空間の分割空間に着目して説明する。
【００３１】
これらの分割空間のそれぞれに対して、変換後の転写図芯とこれに対応する参照図芯との位置誤差の最大値を歪み評価値ε_k（ｋ＝１，２，３，４）として、分割空間を、所定の許容誤差値δに収まる分割空間と収まらない分割空間とに１次分類する。図３の例では、４分割した空間Ｓ₁〜Ｓ₄のうち、分割空間Ｓ₁では歪み評価値εが許容誤差値δ内に収まっているので、第１次アフィン変換子Ａ₀で歪み補正が可能である。即ち、分割空間Ｓ₁では、更なる分割は必要がなく、次のアフィン変換式により、位置誤差が指定許容誤差値δ内に収まる補正が可能になる。
【００３２】
【数９】

【００３３】
歪み評価値εが許容誤差値δ内に収まらない残りの分割空間Ｓ₂，Ｓ₃，Ｓ₄については、次のステップに進む。
（第３ステップ）
これらの分割空間Ｓ₂，Ｓ₃，Ｓ₄についても、既に第１次アフィン変換子Ａ₀で変換されている。このとき、アフィン変換式の決定と歪みの評価では、転写図芯の転写図芯は、ａではなく、Ａ₀ａを用いる。以下の議論では、分割空間Ｓ₂を例にとる。
即ちアフィン変換式の決定には、ｂ^k−Ａａ^kに代わって、ｂ^k−Ａ（Ａ₀ａ^k）を用いて、関数ｆ（ｘ₁，ｘ₂，ｘ₃，ｘ₄）を下記数１０とおいて、最小二乗法でアフィン変換子Ａを決定する。
【００３４】
【数１０】

【００３５】
また、歪み評価値εは、下記数１１により求める。
【００３６】
【数１１】
ε＝ｓｕｐ‖Ａ（Ａ₀ａ）−ｂ‖
ａ∈S₂
【００３７】
こうして得られたアフィン変換子ＡをＡ₁とすると、分割空間Ｓ₂におけるアフィン変換子Ａ⁽²⁾は、次式で表される。
【００３８】
【数１２】

【００３９】
従って、Ａ⁽²⁾＝Ａ₁Ａ₀が成立する。このアフィン変換子Ａ⁽²⁾は、撮像全空間における第１次アフィン変換子Ａ₀と、第１次分割された分割空間Ｓ₂における第２次アフィン変換子Ａ₁の二つの変換子の合成である。
ここで、図３Ａ，Ｂに示すように、分割空間Ｓ₂を更に第２次分割（この場合も、縦横共に略１／２分割による空間の４分割であり、分割境界上に参照図芯２が並ぶ）し、得られた第２次分割空間Ｓ₂₁〜Ｓ₂₄を、第１次及び第２次の合成変換後の歪み評価値ε_k（ｋ＝１，２，３，４）が指定許容誤差値δ内に収まる分割空間Ｓ₂₁，Ｓ₂₄と収まらない分割空間Ｓ₂₂，Ｓ₂₃に分類する。許容誤差値δ内に収まる分割空間Ｓ₂₁，Ｓ₂₄では、アフィン変換子Ａ⁽²⁾によって歪み補正が可能である。許容誤差値δ内に収まらない分割空間Ｓ₂₂，Ｓ₂₃に対しては、以下更に同様の分割を繰り返す。
以上により、一般に、第ｎ次分割された空間Ｓ_x1x2,…_,xn（ｘｋ＝１，２，３，４，ｋ＝１，２，…，ｎ）におけるアフィン変換子Ａ⁽ⁿ⁾は、次式のようになる。
【００４０】
【数１３】

【００４１】
このアフィン変換子Ａ⁽ⁿ⁾を作用させることにより、歪みを解消させる。
以上の第１から第３のステップを踏むことにより、撮像空間の全ての点で位置誤差を指定許容誤差値δ内に収めることが可能になる。
【００４２】
具体的に上述したアルゴリズムを平面形状測定システムに適用した実施の形態を説明する。図４は、複数（図の場合３個）のＣＣＤカメラ４１２ａ，４１２ｂ，４１２ｃを用いて干渉縞画像を撮像して平面形状を計測する位相シフト法による干渉縞計測装置を示している。このような位相シフト干渉縞の同時計測装置の原理は、特開平２−２８７１０７号公報等に提案されている。レーザ光源４０１からのコヒーレント光束はレンズ４０２によりビームが拡大され、無偏光ビームスプリッタ４０３を介して、コリメートレンズ４０４によりコリメートされて参照面４０５に照射される。参照面４０５は一部反射、一部透過であり、その透過光束は更に１／４波長板４０６を介して被検面４０７に照射される。
【００４３】
参照面４０５と被検面４０７の反射光は、１／４波長板４０６により偏光が直交する（即ち位相差１８０度）の無干渉光束として重ね合わせられて、ビームスプリッタ４０６で反射される。この無干渉光束は、参照面４０５からの反射光（参照光）の位相に対する被検面４０７の反射光（試料光）の位相の差という形で被検面４０７の平面形状情報を持つ円偏光光束である。この無干渉光束は二つの無偏光ビームスプリッタ４０８ａ，４０８ｂと全反射ミラー４０８ｃにより順次１／２ずつ分割されて３つの分光光学系４０ａ，４０ｂ，４０ｃに入る。
【００４４】
分光光学系４０ａと４０ｂは、３つの無干渉光束に９０度ずつ位相差を与えるための例えば１／４波長板４０９ａと１／２波長板４０９ｂを有し、また各分光光学系４０ａ，４０ｂ，４０ｃは、各分光光束の位相差情報を干渉縞強度情報にするための偏光板４１０ａ，４１０ｂ，４１０ｃを有する。これらの偏光板４１０ａ，４１０ｂ，４１０ｃは偏光方向が４５度ずつ傾斜している。これにより、各分光光学系４０ａ，４０ｂ，４０ｃのＣＣＤカメラ４１２ａ，４１２ｂ，４１２ｃにより、９０ずつ位相シフトした、試料光と参照光の３つの干渉画像が撮像される。なお減衰板４１１ａ，４１１ｂは各分光光学系４０ａ，４０ｂ，４０ｃでの受光強度を等しく保つために挿入されている。
【００４５】
ＣＣＤカメラ４１２ａ，４１２ｂ，４１２ｃにより撮像された位相の異なる３つの干渉縞情報は、画像処理装置４１３に入力され、制御コンピュータ４１４とモニター４１５により制御されて所定の演算により被検面４０７の形状情報を算出する。
具体的にこの実施の形態の場合、３つのＣＣＤカメラ４１２ａ，４１２ｂ，４１２ｃから、撮像空間の各位置（ｘ，ｙ）に対してそれぞれ干渉縞情報Ｉ_l（ｘ，ｙ）が得られるが、各ＣＣＤカメラ４１２ａ，４１２ｂ，４１２ｃとそれらに前置される光学要素により撮像空間に幾何学的歪みが生じるので、撮像空間の各位置（ｘ，ｙ）の干渉縞情報Ｉ_l（ｘ，ｙ）は必ずしも同じ位置に対する干渉情報ではない。そこで幾何学的な歪みを解消して、撮像画像の各位置（ｘ，ｙ）の干渉縞情報Ｉ_l（ｘ，ｙ）が被検面４０７の同じ位置に対する干渉情報となるように補正を加えることが必要になる。
【００４６】
そこで、上述した（１）〜（３）のアルゴリズムを適用する。得られた３つの撮像空間ｌ＝１，２，３の分割空間をＳ^l _k（ｋ＝１，…，ｎ_l）として、各分割空間におけるアフィン変換式を下記式のようにおく。
【００４７】
【数１４】

【００４８】
数１４において、ｂ^l _g ^k，ａ^l _g ^k はそれぞれ、Ｓ^l _k（ｋ＝１，…，ｎ_l）における原図芯，転写原図芯を表す。
次に、参照空間の各座標値（ｘ，ｙ）に対応する３つの撮像空間ｌのそれぞれの座標値（Ｘ^l，Ｙ^l）は、下記式で与えられる。
【００４９】
【数１５】

【００５０】
従って被検面４０７の各位置（ｘ，ｙ）に対応する３つの撮像空間ｌの干渉情報は、上で求められた座標値（Ｘ^l，Ｙ^l）における干渉縞情報Ｉ_l（Ｘ^l，Ｙ^l）で与えられる。
以上のようにして、ＣＣＤ撮像画像の幾何学的歪みを解消した、被検面の同じ位置に対応する３つの撮像装置の干渉縞情報（光強度値）が得られる。
【００５１】
【発明の効果】
以上述べたようにこの発明によれば、被計測空間とＣＣＤ撮像空間との幾何学的歪みを所定の許容誤差値内で容易に解消することができ、複数の光学系と対応するＣＣＤカメラを利用する平面形状計測や座標位置計測等の高精度化が期待できる。
またこの発明によると、光学系や撮像系を変更しない限り、領域毎に最終的なアフィン変換子を作用させる準備をしておき、撮像画像情報を得る度にそのアフィン変換子を画像情報の処理の最初の段階で各領域に作用させればよいので、時間的にも計算コストが少なくて済む。
【図面の簡単な説明】
【図１】この発明における参照空間と撮像空間の関係を示す図である。
【図２】この発明におけるアフィン変換と許容誤差値の関係を示す図である。
【図３Ａ】この発明における参照空間の空間分割の例を示す図である。
【図３Ｂ】同じく撮像空間の空間分割の例を示す図である。
【図４】この発明が適用される干渉縞画像撮像システムを示す図である。
【符号の説明】
１…参照図形、２…参照図芯、３…参照原図芯、４…参照空間、５…撮像図形、６…転写図芯、７…転写原図芯、８…撮像空間。

Claims

被計測空間を撮像して得られる撮像空間の幾何学的歪みを解消する方法であって、
被計測空間と同等の位置に設置された、各参照図形の図芯と参照図形全体の参照原図芯の座標値位置が予めわかっている複数の参照図形を有する参照空間を準備し、
前記被計測空間を撮像して得られる撮像空間内の前記複数の参照図形に対応する複数の撮像図形全体の図芯である転写原図芯を、前記参照空間の参照原図芯に重ね、
前記複数の参照図形の図芯である参照図芯群にそれぞれ、前記複数の撮像図形の図芯である転写図芯群を写す第１次アフィン変換を行い、
前記参照空間を複数個の第１次分割空間に分ける空間分割を施し、
前記各第１次分割空間について前記第１次アフィン変換後の各転写図芯とそれに対応する参照図芯との位置誤差を歪み評価値として求め、
前記第１次分割空間を、前記歪み評価値が所定の許容誤差値内に収まる分割空間と収まらない分割空間とに分類し、
前記許容誤差値内に収まらない分割空間に対してその内部の参照図芯群に、対応する撮像空間の転写図芯群を写す第２次アフィン変換を行い、
前記第１次及び第２次アフィン変換後の前記許容誤差値内に収まらない第１次分割空間に対しては、複数個の第２次分割空間に分ける空間分割を施し、
以下、前記許容誤差値内に収まらない分割空間について前記歪み評価値が前記許容誤差値内に収まるまでアフィン変換と空間分割を繰り返す
ことを特徴とする撮像空間の幾何学的歪み解消方法。
前記歪み評価値は、前記参照図芯と前記アフィン変換後の転写図芯との位置誤差のノルムの最大値とする
ことを特徴とする請求項１記載の撮像空間の幾何学的歪み解消方法。
前記歪み評価値は、前記参照図芯に最寄りの転写図芯を求め、その最寄りの転写図芯と前記参照図芯に対応する転写図芯との位置誤差のノルムの最大値とする
ことを特徴とする請求項１記載の撮像空間の幾何学的歪み解消方法。
前記各アフィン変換においては、変換後の位置とこれに対応する参照図芯との位置誤差に対する最小二乗法によりアフィン変換子を決定することを特徴とする請求項１記載の撮像空間の幾何学的歪み解消方法。
前記各空間分割は、縦横共に略１／２分割による空間の４分割とする
ことを特徴とする請求項１記載の撮像空間の幾何学的歪み解消方法。
前記複数の参照図形は、その参照図芯の一部が前記参照空間或いは前記参照空間を分割した時の各分割空間のいずれかの境界上に配置されることを特徴とする請求項１記載の撮像空間の幾何学的歪み解消方法。
前記参照空間或いは前記参照空間を分割して得られる各参照領域のいずれかの境界が矩形、三角形、円弧のいずれかを描く
ことを特徴とする請求項１記載の撮像空間の幾何学的歪み解消方法。