JP5218429B2

JP5218429B2 - ３次元形状測定装置および方法、並びに、プログラム

Info

Publication number: JP5218429B2
Application number: JP2009551537A
Authority: JP
Inventors: 雅哉山口
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-01-28
Filing date: 2009-01-28
Publication date: 2013-06-26
Anticipated expiration: 2029-01-28
Also published as: JPWO2009096422A1; WO2009096422A1

Description

本発明は、３次元形状測定装置および方法、並びに、プログラムに関し、特に、３次元形状の測定精度を向上させるようにした３次元形状測定装置および方法、並びに、プログラムに関する。

従来、２次元の画像を用いて物体の３次元形状を測定する方法として、SFF（Shape From Focus）法が知られている（例えば、非特許文献１参照）。SFF法は、測定対象物の表面にテクスチャを有する場合に有効な方式である。SFF法では、測定対象物に対して撮像装置を移動させながら焦点位置の異なる複数の画像を撮影し、得られた画像の画素ごとに微分演算を行い、焦点が合っている度合いを表す合焦測度を算出する。そして、各画素の合焦測度が最大になるときの焦点位置に基づいて、測定対象物の３次元形状が測定される。

また、従来、測定対象物に所定のテクスチャパターンを照射することにより、表面にテクスチャを有しない測定対象物の３次元形状をSFF法を用いて測定することが提案されている。（例えば、特許文献１参照）。

特許第３３２１８６６号公報 S.K.Nayar, Shape from Focus, tech. report CMU-RI-TR-89-27, Robotics Institute, Carnegie Mellon University, November, 1989

ところで、測定対象物の焦点が合っていない範囲においては、明るい部分が膨張して撮影される傾向にあり、焦点のズレが大きくなるほど、その傾向は強くなる。そのため、測定対象物の輝度または色が大きく変化する境界部分において、本来暗い部分が明るく撮影されしまうときがある。SFF法では、この現象により、各画素において焦点が合っている位置（以下、合焦位置と称する）の誤検出が発生し、測定精度が低下してしまう場合があった。

本発明は、このような状況を鑑みてなされたものであり、３次元形状の測定精度を向上させるようにするものである。

本発明の一側面の３次元形状測定装置は、測定対象物に対して焦点位置の異なる複数の画像の各画素について焦点が合っている度合いを示す合焦測度を算出し、前記合焦測度に基づいて合焦位置を検出することにより前記測定対象物の３次元形状を測定する３次元形状測定装置において、輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素を抽出する有効画素抽出手段と、抽出された前記有効画素を用いて、前記注目画素における前記合焦測度を算出する合焦測度算出手段と、前記合焦測度がピークとなる焦点位置を前記合焦位置として検出する合焦位置検出手段とを備える。

本発明の一側面の３次元形状測定方法は、測定対象物に対して焦点位置の異なる複数の画像の各画素について焦点が合っている度合いを示す合焦測度を算出し、前記合焦測度に基づいて合焦位置を検出することにより前記測定対象物の３次元形状を測定する３次元形状測定装置の３次元形状測定方法において、輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素を抽出する有効画素抽出ステップと、抽出された前記有効画素を用いて、前記注目画素における前記合焦測度を算出する合焦測度算出ステップと、前記合焦測度がピークとなる焦点位置を前記合焦位置として検出する合焦位置検出ステップとを含む。

本発明の一側面のプログラムは、測定対象物に対して焦点位置の異なる複数の画像の各画素について焦点が合っている度合いを示す合焦測度を算出し、前記合焦測度に基づいて合焦位置を検出することにより前記測定対象物の３次元形状を測定する処理を、コンピュータに実行させるプログラムにおいて、輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素を抽出する有効画素抽出ステップと、抽出された前記有効画素を用いて、前記注目画素における前記合焦測度を算出する合焦測度算出ステップと、前記合焦測度がピークとなる焦点位置を前記合焦位置として検出する合焦位置検出ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素が抽出され、抽出された前記有効画素を用いて、前記注目画素における前記合焦測度が算出され、前記合焦測度がピークとなる焦点位置が前記合焦位置として検出される。

本発明によれば、３次元形状の測定精度が向上する。

本発明を適用した３次元形状測定システムの一実施の形態を示す模式図である。コンピュータにより実現される機能の構成の例を示す図である。３次元形状測定システムにより実行される３次元形状測定処理を説明するためのフローチャートである。３次元形状測定システムにより実行される３次元形状測定処理を説明するためのフローチャートである。焦点位置の例を示す図である。原画像における焦点位置の例を示す図である。注目範囲の例を示す図である。注目範囲の輝度の分布の例を示す図である。注目範囲の色相または彩度の分布の例を示す図である。合焦測度の分布の例を示すグラフである。合焦測度の補間処理を説明するためのグラフである。

符号の説明

１３次元形状測定システム，２測定対象物，１１撮像装置，１２コンピュータ，５１３次元形状測定部，６１撮影制御部，６２測定部，７１前処理部，７２有効画素抽出部，７３合焦測度算出部，７４合焦位置検出部，７５３次元形状データ生成部

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用した３次元形状測定システムの一実施の形態を示す図である。図１の３次元形状測定システム１は、撮像装置１１、コンピュータ１２、および、ディスプレイ１３を含むように構成され、撮像装置１１とコンピュータ１２はケーブル１４を介して接続され、コンピュータ１２とディスプレイ１３はケーブル１５を介して接続されている。また、図１において模式的に示されている撮像装置１１は、少なくとも光学レンズ２１、および、CCD（Charge Coupled Device）などの撮像素子などからなる光検出器２２を含むように構成される。

３次元形状測定システム１においては、図３および図４などを参照して後述するように、撮像装置１１が、測定顕微鏡のステージ３に設置された測定対象物２に対する高さ（Ｚ軸方向の位置）を変えながら、測定対象物２に対して焦点位置の異なる複数の画像を撮影し、コンピュータ１２が、その複数の画像を用いて、測定対象物２の３次元形状を測定する。

図２は、コンピュータ１２のプロセッサ（例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）など）が所定のプログラムを実行することにより実現される機能の構成の例を示すブロック図である。コンピュータ１２のプロセッサが所定のプログラムを実行することにより、３次元形状測定部５１が実現される。また、３次元形状測定部５１は、撮影制御部６１および測定部６２により構成される。

撮影制御部６１は、撮像装置１１を制御して、焦点位置を変化させながら測定対象物２を撮影させる。撮影制御部６１は、撮影された画像（以下、原画像と称する）を撮像装置１１から取得し、測定部６２の前処理部７１に供給する。また、撮影制御部６１は、全ての焦点位置における測定対象物２の撮影が終了したとき、撮影の終了を前処理部７１に通知する。

測定部６２は、焦点位置の異なる複数の原画像を用いて、測定対象物２の３次元形状を測定する。測定部６２は、前処理部７１、有効画素抽出部７２、合焦測度算出部７３、合焦位置検出部７４、および、３次元形状データ生成部７５により構成される。

前処理部７１は、図３および図４などを参照して後述するように、原画像に対して所定の前処理を行い、その結果生成された画像（以下、前処理画像とも称する）をメモリ５２に記憶させる。また、前処理部７１は、撮影制御部６１から撮影の終了が通知されたとき、その通知を有効画素抽出部７２に転送する。

有効画素抽出部７２は、図３および図４などを参照して後述するように、合焦測度を算出する対象となる注目画素の近傍の所定の範囲（以下、注目範囲と称する）内の画素から、ユーザにより設定される輝度、色相、または、彩度の許容値を用いて、注目画素における合焦測度の算出に用いる有効画素を抽出し、前処理画像から有効画素の輝度値を抽出する。有効画素抽出部７２は、抽出した有効画素の輝度値を示す情報を合焦測度算出部７３に供給する。

合焦測度算出部７３は、図３および図４などを参照して後述するように、抽出された有効画素の輝度値を用いて、注目画素の合焦測度を算出し、算出した合焦測度を示す情報を合焦位置検出部７４に供給する。

合焦位置検出部７４は、図３および図４などを参照して後述するように、算出された合焦測度に基づいて、ユーザにより設定される輝度の許容値を用いて、注目画素の合焦位置を検出し、検出した合焦位置をメモリ５２に記憶させる。また、合焦位置検出部７４は、全ての画素の合焦位置を検出したとき、合焦位置の検出の終了を３次元形状データ生成部７５に通知する。

３次元形状データ生成部７５は、メモリ５２に記憶されている各画素の合焦位置に基づいて、３次元形状データを生成し、後段に出力する。

次に、図３および図４のフローチャートを参照して、３次元形状測定システム１により実行される３次元形状測定処理について説明する。なお、この処理は、例えば、ユーザが、コンピュータ１２の図示せぬ入力部を介して、ステージ３上の測定対象物２の３次元形状の測定の指令を入力したとき開始される。

ステップＳ１において、有効画素抽出部７２および合焦位置検出部７４は、各種の許容値を取得する。具体的には、例えば、ユーザは、コンピュータ１２の図示せぬ入力部を介して、有効画素の抽出に用いる判定値として、輝度、色相および彩度のうちどれを用いるかを設定するとともに、判定に用いる輝度、色相、彩度の許容値をコンピュータ１２に入力する。有効画素抽出部７２は、入力された許容値を取得する。なお、判定値には、輝度、色相、彩度のうちいずれか１種類を用いるようにしてもよいし、２種類以上を組み合わせて用いるようにしてもよい。

また、例えば、ユーザは、コンピュータ１２の図示せぬ入力部を介して、合焦測度の最大値の判定に用いる輝度の許容値をコンピュータ１２に入力し、合焦位置検出部７４は、その許容値を取得する。

ステップＳ２において、撮像装置１１は、撮影制御部６１の制御の基に、測定対象物を撮影する。撮像装置１１は、撮影の結果得られた、RGBの３原色で表される原画像を、ケーブル１４を介して撮影制御部６１に供給する。撮影制御部６１は、取得した原画像を前処理部７１に供給する。

ステップＳ３において、前処理部７１は、画像の前処理を行う。具体的には、前処理部７１は、取得した原画像をフーリエ変換し、所定の周波数以下の低周波成分、および、所定の周波数の範囲内のノイズ成分を除去した後、逆フーリエ変換する。これにより、原画像から低周波成分およびノイズ成分が除去され、中高周波成分が抽出されたRGB画像（以下、前処理RGB画像と称する）が生成される。前処理部７１は、生成した前処理RGB画像をメモリ５２に記憶させる。さらに、前処理部７１は、生成した前処理RGB画像をYPbPr画像に変換し、変換した画像（以下、前処理YPbPr画像と称する）をメモリ５２に記憶させる。

ステップＳ４において、撮影制御部６１は、全ての焦点位置において撮影したかを判定する。まだ全ての焦点位置において撮影していないと判定された場合、処理はステップＳ５に進む。

ステップＳ５において、撮影制御部６１は、焦点位置を変更する。すなわち、撮影制御部６１は、焦点位置が次の値になるように、撮像装置１１をＺ軸方向に移動させる。

その後、処理はステップＳ２に戻り、ステップＳ４において、全ての焦点位置において撮影したと判定されるまで、ステップＳ２乃至Ｓ５の処理が繰り返し実行される。これにより、例えば、図５に示されるように、測定対象物２の最下端から最上端まで焦点位置を所定の間隔で移動させながら、Ｎ枚の原画像が撮影され、各原画像から前処理RGB画像および前処理YPbPr画像が生成され、メモリ５２に記憶される。なお、図５において、縦軸は焦点位置を表し、縦軸上には焦点位置の値の代わりに、焦点位置の設定順を表すインデックスが示されている。

図６は、図５のk番目の焦点位置において撮影された原画像の例を示している。なお、図６内の四角の各マスは画素を示している。また、図６の測定対象物２のうち領域Rfは、撮像装置１１の焦点が合っている領域を示し、領域Rinは、焦点が合っている領域より内側の領域を示し、領域Routは、焦点が合っている領域より外側の領域を示している。すなわち、領域Rinおよび領域Rout内の画像は、焦点がずれた、いわゆるピンぼけ画像となる。

図３に戻り、一方、ステップＳ４において、撮影制御部６１は、全ての焦点位置において撮影したと判定した場合、前処理部７１を介して、有効画素抽出部７２に撮影の終了を通知し、処理はステップＳ６に進む。

ステップＳ６において、測定部６２は、合焦位置を求めてない画素のうち１つを選択し、注目画素に設定する。なお、注目画素は、例えば、ラスタスキャン順に設定される。

ステップＳ７において、測定部６２は、現在の注目画素における合焦測度を求めていない画像のうち１つを選択し、注目画像に設定する。なお、注目画像は、例えば、撮影された順（インデックス順）に設定される。

ステップＳ８において、有効画素抽出部７２は、注目範囲内の画素から処理対象の画素を１つ選択する。すなわち、有効画素抽出部７２は、注目範囲内の画素のうち、有効画素であるか否かを判定していない画素の１つを処理対象の画素として選択する。

なお、図７は、図６の画素ＰＡ１が注目画素に設定されている場合の注目範囲の例を示している。図７の例においては、注目画素ＰＡ１を中心とする５×５画素の範囲ＲＡ１が、注目範囲に設定されている。

ステップＳ９において、有効画素抽出部７２は、注目画素と処理対象の画素の判定値の差が許容範囲内であるかを判定する。具体的には、有効画素抽出部７２は、メモリ５２に記憶されている、注目画像の前処理RGB画像および前処理YPbPr画像から、注目画素および処理対象の画素の判定値を求める。有効画素抽出部７２は、注目画素と処理対象の画素の判定値の差分をとり、その差分値の絶対値と、ステップＳ１において設定された許容値とを比較する。有効画素抽出部７２は、差分値の絶対値が許容値以下である場合、注目画素と処理対象の画素の判定値の差が許容範囲内であると判定し、すなわち、処理対象の画素が有効画素であると判定し、処理はステップＳ１０に進む。

なお、２種類以上の判定値を用いるように設定されている場合、全ての種類の判定値の差分値の絶対値が許容値以下であるとき、注目画素と処理対象の画素の判定値の差が許容範囲内であると判定される。例えば、輝度、色相、彩度の３種類の判定値を用いるように設定されている場合、輝度、色相、彩度の全てについて、注目画素と処理対象の画素の差分値の絶対値が許容値以下であるとき、注目画素と処理対象の画素の判定値の差が許容範囲内であると判定される。

ステップＳ１０において、有効画素抽出部７２は、処理対象の画素の輝度値を抽出する。すなわち、有効画素抽出部７２は、現在の処理対象の画素の輝度値を、メモリ５２に記憶されている注目画像の前処理YPbPr画像から抽出する。

一方、ステップＳ９において、少なくとも１種類の判定値の差分値の絶対値が許容値を超えている場合、注目画素と処理対象の画素の判定値の差が許容範囲を超えていると判定され、ステップＳ１０の処理はスキップされ、処理はステップＳ１１に進む。

ステップＳ１１において、有効画素抽出部７２は、注目範囲内の全ての画素の判定を行ったかを判定する。まだ注目範囲内の全ての画素の判定を行っていないと判定された場合、処理はステップＳ８に戻る。その後、ステップＳ１１において、注目範囲内の全ての画素の判定を行ったと判定されるまで、ステップＳ８乃至Ｓ１１の処理が繰り返し実行され、注目範囲内の画素から、注目画素との判定値の差が許容範囲内である判定値を有する有効画素が抽出され、さらに、その有効画素の輝度値が抽出される。

一方、ステップＳ１１において、注目範囲内の全ての画素の判定を行ったと判定された場合、処理はステップＳ１２に進む。

ステップＳ１２において、合焦測度算出部７３は、注目画像の注目画素における合焦測度を算出する。具体的には、有効画素抽出部７２は、抽出した有効画素の輝度値を示す情報を合焦測度算出部７３に供給する。合焦測度算出部７３は、以下の式（１）により、注目画像の注目画素における合焦測度を算出する。

合焦測度＝（Σ｜注目画素の輝度値−有効画素の輝度値｜）÷有効画素の数・・・（１）

すなわち、合焦測度は、注目画素の輝度値と注目範囲内の有効画素の輝度値との差分値の絶対値の平均値である。従って、合焦測度は、注目画素と有効画素との輝度値の差が大きいほど、すなわち、注目画素と有効画素との間のコントラストが強いほど、値が大きくなる。

合焦測度算出部７３は、算出した合焦測度を合焦位置検出部７４に供給する。また、合焦測度算出部７３は、算出した合焦測度、現在の注目画像の注目画素の輝度値、並びに、現在の注目画像の焦点位置を関連づけてメモリ５２に記憶させる。

例えば、図８に示されるように、注目範囲ＲＡ１において、注目画素ＰＡ１を含む範囲ＲＡ１ａ（右斜め下方向の斜線の部分）と範囲ＲＡ１ｂ（左斜め下方向の斜線の部分）との間で、測定対象物２に段差がある場合、範囲ＲＡ１ａ内と範囲ＲＡ１ｂ内とでは輝度が大きく異なる。従って、注目範囲ＲＡ１内の全ての画素を用いて合焦測度を求めた場合、高さが異なる範囲ＲＡ１ａと範囲ＲＡ１ｂの両方の影響を受け、範囲ＲＡ１ａと範囲ＲＡ１ｂの間の高さに対応した合焦測度が算出されてしまう。

一方、上述したように、注目範囲から有効画素を抽出し、有効画素のみを用いて合焦測度を算出することにより、例えば、図８の例の場合、範囲ＲＡ１ａ内の画素の輝度のみを用いて、注目画素ＰＡ１における合焦測度をより正確に算出することができる。

また、図９は、範囲ＲＡ１ａ内の色相または彩度の分布の様子を模式的に表しているが、図９に示されるように、範囲ＲＡ１ａ内と範囲ＲＢ１ｂ内とでは、色相または彩度も大きく異なる可能性が高い。従って、判定値として色相または彩度を用いても、範囲ＲＡ１ａまたはそれに近い範囲内の画素の輝度のみを用いて、注目画素ＰＡ１における合焦測度をより正確に算出することができる。なお、輝度、色相、または、彩度をそれぞれ用いて抽出した有効画素は、必ずしも一致しないため、３種類全てを判定値として用いることにより、より正確に合焦測度を算出することが可能となる。

ステップＳ１３において、合焦位置検出部７４は、合焦測度が最大であるかを判定する。具体的には、合焦位置検出部７４は、ステップＳ１３において算出された合焦測度が、メモリ５２に記憶されているこれまでの合焦測度の最大値より大きい場合、合焦測度が最大であると判定し、処理はステップＳ１４に進む。なお、現在の注目画素について最初の合焦測度が算出されたとき、メモリ５２に合焦測度の最大値がまだ記憶されていないので、算出された合焦測度が無条件で最大であると判定される。

ステップＳ１４において、合焦位置検出部７４は、注目画素の輝度値が許容範囲内であるかを判定する。具体的には、合焦位置検出部７４は、現在の焦点位置における注目画素の輝度値（現在の注目画像の注目画素の輝度値）と、メモリ５２に記憶されている、これまでに合焦測度が最大になった焦点位置における輝度値（これまでに合焦測度が最大になった画像の注目画素の輝度値）との差分をとり、その差分値と、ステップＳ１において設定された許容値とを比較する。合焦位置検出部７４は、差分値が許容値以下である場合、注目画素の輝度値が許容範囲内であると判定し、処理はステップＳ１５に進む。

ステップＳ１５において、合焦位置検出部７４は、現在の合焦測度を最大値として記憶する。すなわち、合焦位置検出部７４は、現在の注目画像の注目画素における合焦測度を合焦測度の最大値として、現在の注目画像の注目画素の輝度値、および、現在の注目画像の焦点位置と関連づけて、メモリ５２に記憶させる。

一方、ステップＳ１４において、算出した差分値が許容値を超える場合、注目画素の輝度値が許容範囲を超えていると判定され、ステップＳ１５の処理はスキップされ、処理はステップＳ１６に進む。すなわち、現在の焦点位置における合焦測度は、最大値として記憶されない。

図１０は、測定対象物の輝度または色が大きく変化する境界部分の注目画素ＰＡ１１における、焦点位置と合焦測度の関係の例を示すグラフである。上述したように、測定対象物の輝度または色が大きく変化する境界部分においては、焦点がずれるに従って、明るい部分が膨張し、本来暗い部分が明るく撮影されしまう場合がある。従って、図１０に示されるように、注目画素ＰＡ１１に対応する測定対象物の点に焦点が合い、注目画素ＰＡ１１が本来の暗い輝度で撮影されたときに、合焦測度のピークＰＫ１１が現れた後、注目画素ＰＡ１１に対応する測定対象物の点に対する焦点がずれるに従って、注目画素ＰＡ１１の輝度が明るくなり、再び合焦測度のピークＰＫ１２が現れる場合がある。

これに対して、ステップＳ１４の判定処理により、合焦測度がピークＰＫ１１となる焦点位置における注目画素ＰＡ１１の輝度と、合焦測度がピークＰＫ１２となる焦点位置における注目画素ＰＡ１１の輝度との差が大きい場合、合焦測度がピークＰＫ１２となる焦点位置、および、その付近の焦点位置は、合焦測度の最大値の検出対象から除外される。
これにより、焦点が合っていない焦点位置で合焦測度のピークが検出され、合焦位置が誤検出されることが防止される。

ステップＳ１６において、合焦速度算出部７３は、全ての画像について処理したかを判定する。まだ全ての画像について処理していないと判定された場合、処理はステップＳ７に戻る。その後、ステップＳ１６において、全ての画像について処理したと判定されるまで、ステップＳ７乃至Ｓ１６の処理が繰り返し実行され、注目画素について、全ての焦点位置における合焦測度が求められるとともに、合焦測度の最大値が検出される。

一方、ステップＳ１６において、全ての画像について処理したと判定された場合、処理はステップＳ１７に進む。

ステップＳ１７において、合焦位置検出部７４は、合焦位置を検出する。具体的には、合焦位置検出部７４は、注目画素について、合焦測度が最大となる焦点位置およびその前後の焦点位置における合焦測度をメモリ５２から読み出す。例えば、k＋1番目の焦点位置において合焦測度が最大となった場合、k乃至k＋2番目の焦点位置における合焦測度がメモリ５２から読み出される。合焦位置検出部７４は、読み出した３点の焦点位置と合焦測度から、焦点位置と合焦測度の関係をガウス関数でモデル化することにより、３点間のデータの補間を行う。そして、合焦位置検出部７４は、補間したデータに基づいて、合焦測度がピークとなる焦点位置を注目画素における合焦位置として検出する。合焦位置検出部７４は、検出した合焦位置をメモリ５２に記憶させる。

図１１は、１乃至Ｎ点における焦点位置と合焦測度の関係をガウス関数でモデル化した場合のグラフの例を示している。このように、焦点位置と合焦測度の関係をガウス関数でモデル化することにより、実際に画像を撮影した焦点位置の間隔より詳細な精度で、注目画素における合焦位置を検出することが可能となり、例えば、図１１のピークＰＫ２１に対応するk＋1番目とk＋2番目の間の焦点位置を合焦位置として検出することができる。

なお、４点以上のデータを用いて、焦点位置と合焦測度の関係をガウス関数によりモデル化するようにしてもよい。また、ガウス関数の代わりに、２次関数補間演算により、データの補間を行うようにしてもよい。さらに、画像を撮影する焦点位置の間隔が十分小さい場合、合焦測度の移動平均をとることにより、データの補間を行うようにしてもよい。

ステップＳ１８において、合焦位置検出部７４は、全ての画素の合焦位置を検出したかを判定する。まだ全ての画素の合焦位置を検出していないと判定された場合、処理はステップＳ６に戻り、ステップＳ１８において、全ての画素の合焦位置を検出したと判定されるまで、ステップＳ６乃至Ｓ１８の処理が繰り返し実行される。

一方、ステップＳ１８において、合焦位置検出部７４は、全ての画素の合焦位置を検出したと判定した場合、合焦位置の検出の終了を３次元形状データ生成部７５に通知し、処理はステップＳ１９に進む。

ステップＳ１９において、３次元形状データ生成部７５は、メモリ５２に記憶されている各画素の合焦位置に基づいて、３次元形状データを生成し、後段に出力する。例えば、３次元形状データは、各画素の合焦位置、または、合焦位置に基づいて算出される、ある基準点から各画素までの距離により表される。そして、３次元形状測定部５１の後段の装置または処理部は、例えば、３次元形状データに基づいて、測定対象物２の３次元画像をディスプレイ１３に表示する。その後、３次元形状計測処理は終了する。

このようにして、より正確に合焦測度を算出し、かつ、合焦測度の偽のピークを合焦位置をして検出することを防止することにより、３次元形状の測定精度を向上させることができる。

なお、３次元形状測定部５１においては、許容値を調整することにより、ステップＳ１４およびＳ１５の処理において、輝度が暗い方および明るい方のピークのうちどちらを合焦測度の最大値として選択するかを設定したり、合焦測度がピークとなる焦点位置が３つ以上ある場合、その焦点位置における注目画素の輝度値に基づいて、どのピークを合焦測度の最大値として選択するかを設定することが可能である。これにより、合焦測度がピークとなる焦点位置が複数存在する場合、各焦点位置における注目画素の輝度値に基づいて、合焦測度がピークとなる焦点位置の中から合焦位置が選択されるようになる。

また、以上の説明では、画素に着目して合焦測度を求めたが、複数の画素からなる領域を単位として合焦測度を求めるようにしてもよい。

さらに、以上の説明では、画像の前処理において、フーリエ変換を行った後、低周波成分およびノイズ成分を除去し、逆フーリエ変換を行う例を示したが、例えば、ウェーブレット変換を行った後、低周波成分およびノイズ成分を除去し、逆ウェーブレット変換を行うようにしてもよい。

また、従来のSFF法と同様に、注目範囲内の有効画素、および、ラプラシアンフィルタを用いて、合焦測度を求めるようにしてもよい。

さらに、以上の説明では、一連の処理を、コンピュータ１２を用いてソフトウエアにより実行する例を示したが、ハードウエア、または、専用のハードウエアに組み込まれているコンピュータにより実行することも可能である。

また、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

Claims

測定対象物に対して焦点位置の異なる複数の画像の各画素について焦点が合っている度合いを示す合焦測度を算出し、前記合焦測度に基づいて合焦位置を検出することにより前記測定対象物の３次元形状を測定する３次元形状測定装置において、
輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素を抽出する有効画素抽出手段と、
抽出された前記有効画素を用いて、前記注目画素における前記合焦測度を算出する合焦測度算出手段と、
前記合焦測度がピークとなる焦点位置を前記合焦位置として検出する合焦位置検出手段と
を備えることを特徴とする３次元形状測定装置。
前記合焦位置検出手段は、前記合焦測度がピークとなる焦点位置が複数存在する場合、各焦点位置における前記注目画素の輝度値に基づいて、前記合焦測度がピークとなる複数の焦点位置の中から前記合焦位置を選択する
ことを特徴とする請求項１に記載の３次元形状測定装置。
前記画像をフーリエ変換し、所定の周波数範囲の低周波成分およびノイズ成分を除去した後、逆フーリエ変換することにより前記画像の中高周波成分を抽出した前処理画像を生成する前処理手段を
さらに備え、
前記画素抽出手段は、前記前処理画像の前記所定の範囲内の画素から前記有効画素を抽出し、
前記合焦測度算出手段は、前記前処理画像における前記注目画素と前記有効画素との輝度値の差に基づいて、前記注目画素における前記合焦測度を算出する
ことを特徴とする請求項１に記載の３次元形状測定装置。
測定対象物に対して焦点位置の異なる複数の画像の各画素について焦点が合っている度合いを示す合焦測度を算出し、前記合焦測度に基づいて合焦位置を検出することにより前記測定対象物の３次元形状を測定する３次元形状測定装置の３次元形状測定方法において、
輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素を抽出する有効画素抽出ステップと、
抽出された前記有効画素を用いて、前記注目画素における前記合焦測度を算出する合焦測度算出ステップと、
前記合焦測度がピークとなる焦点位置を前記合焦位置として検出する合焦位置検出ステップと
を含むことを特徴とする３次元形状測定方法。
測定対象物に対して焦点位置の異なる複数の画像の各画素について焦点が合っている度合いを示す合焦測度を算出し、前記合焦測度に基づいて合焦位置を検出することにより前記測定対象物の３次元形状を測定する処理を、コンピュータに実行させるプログラムにおいて、
輝度、色相および彩度のうち少なくとも１つを判定値として用い、注目画素における前記合焦測度の算出に用いる前記注目画素の近傍の所定の範囲内の画素から、前記注目画素の前記判定値との差が許容範囲内である前記判定値を有する有効画素を抽出する有効画素抽出ステップと、
抽出された前記有効画素を用いて、前記注目画素における前記合焦測度を算出する合焦測度算出ステップと、
前記合焦測度がピークとなる焦点位置を前記合焦位置として検出する合焦位置検出ステップと
を含む処理をコンピュータに実行させるプログラム。