JP6998156B2 - 画像処理装置、及びプログラム - Google Patents

Description

本発明は、測定対象物の形状を測定するための画像処理装置、及びプログラムに関する。

複数の測定画像を用いて、測定対象物の三次元計測を行う非接触三次元計測機器が知られている。非接触三次元計測機器は、測定画像を用いて、測定対象物の形状を測定するための中間画像を生成するが、測定画像には種々のノイズが含まれているため、中間画像にも同様のノイズが含まれている。

S.Montresor , et. al., Opt. express 24 13 14322, 2016

非特許文献１には、種々のフィルターを使用して中間画像のノイズを除去する技術が開示されている。しかしながら、非特許文献１に開示された技術では、中間画像のノイズが十分に除去されていない領域ができてしまうことがあった。

そこで、本発明はこれらの点に鑑みてなされたものであり、中間画像に含まれるノイズを低減する技術を提供することを目的とする。

本発明の第１の態様における画像処理装置は、予め定められた複数の条件のそれぞれにおいて測定対象物を撮像することで得られる複数の測定画像を取得する画像取得部と、前記複数の測定画像においてそれぞれ対応する画素の画素値を前記複数の条件により定まる順序にしたがって並べたデータ列を近似する近似関数のモデル化パラメータを、前記測定画像の画素ごとに特定するモデル化部と、前記モデル化パラメータに基づいて前記測定対象物の形状を示す形状画像を生成するための中間画像を生成する中間画像生成部と、前記データ列と、前記各画素のモデル化パラメータに基づいて特定された各画素の近似値との誤差を示す統計量を用いて、前記中間画像の各画素のノイズ閾値を特定したノイズ閾値画像を生成するノイズ閾値画像生成部と、前記ノイズ閾値画像を用いて前記中間画像を閾値処理するノイズ除去部と、を備える。

前記ノイズ除去部は、前記中間画像をウェーブレット変換して得られる画像の各画素を、前記ノイズ閾値画像をウェーブレット変換して得られる画像において対応する画素のノイズ閾値を用いて閾値処理することで得られる画像を、逆ウェーブレット変換することにより前記中間画像を生成してもよい。

前記画像処理装置は、前記複数の条件から定まる演算処理を、前記ノイズ除去部が閾値処理した前記中間画像に施して前記形状画像を生成する形状画像生成部をさらに有していてもよい。

前記中間画像生成部は、前記測定対象物の形状情報が、前記複数の条件により定まる位相に符号化された画像である前記中間画像を生成し、前記ノイズ閾値画像生成部は、前記統計量に基づき誤差伝播の法則で定まる位相誤差を用いて、前記ノイズ閾値画像を生成してもよい。

前記ノイズ閾値画像生成部は、前記データ列と、前記各画素の近似値との差の標準偏差を用いて、前記ノイズ閾値画像を生成してもよい。

本発明の第２の態様におけるプログラムは、コンピュータに、予め定められた複数の条件のそれぞれにおいて測定対象物を撮像することで得られる複数の測定画像を取得する機能と、前記複数の測定画像においてそれぞれ対応する画素の画素値を前記複数の条件により定まる順序にしたがって並べたデータ列を近似する近似関数のモデル化パラメータを、前記測定画像の画素ごとに特定する機能と、モデル化パラメータに基づいて前記測定対象物の形状を示す形状画像を生成するための中間画像を生成する機能と、前記データ列と、前記各画素のモデル化パラメータに基づいて特定された各画素の近似値との誤差を示す統計量を用いて、前記中間画像の各画素のノイズ閾値を特定したノイズ閾値画像を生成する機能と、前記ノイズ閾値画像を用いて前記中間画像を閾値処理する機能と、を実現させる。

本発明によれば、中間画像に含まれるノイズを低減できるという効果を奏する。

実施の形態に係る画像処理システムの概要を説明するための図である。 ノイズを低減する処理の概要を説明するための図である。 実施の形態に係る画像処理装置の機能構成を示す図である。 データ列を近似する近似関数について説明するための図である。 データ列を近似する近似関数におけるモデル化パラメータを特定する処理を説明するための図である。 画像処理装置がノイズを低減する処理のフローチャートである。 変形例１に係る画像処理システムの概要を説明するための図である。 ２つのレーザーの干渉及び測定データを説明するための図である。 変形例２の画像処理システムの構成を示す図である。

＜実施の形態＞
図１を参照して、実施の形態に係る画像処理システムＳの概要を述べる。図１は、実施の形態に係る画像処理システムＳの概要を説明するための図である。実施の形態に係る画像処理システムＳは、投影画像が投影された測定対象物を撮像することにより、測定対象物の形状を測定するための画像処理システムである。

画像処理システムＳは、投影装置１と、撮像装置２と、画像処理装置３とを備える。画像処理装置３は、投影装置１及び撮像装置２それぞれと通信可能に接続されている。投影装置１は、例えば液晶プロジェクタである。投影装置１は、それぞれ異なる複数の投影パターンの光（Ｐ_ａ１、Ｐ_ａ２、・・・、Ｐ_ａＮ）を測定対象物に投影する。投影装置１は、例えば正弦波パターンの光を、正弦波パターンの位相を変化させて複数回投影する。

撮像装置２は、例えば２００万画素の撮像素子を備えるデジタルカメラである。撮像装置２は、それぞれ異なる複数の投影パターンの光（Ｐ_ａ１、Ｐ_ａ２、・・・、Ｐ_ａＮ）が投影された測定対象物を順次撮像することにより、それぞれ異なる複数の測定画像（Ｐ_ｂ１、Ｐ_ｂ２、・・・、Ｐ_ｂＮ）を生成する。撮像装置２は、撮像した複数の測定画像を画像処理装置３に送信する。

画像処理装置３は、例えばコンピュータである。画像処理装置３は、複数の投影パターンの光を順次投影するように投影装置１を制御し、投影画像が投影された測定対象物を撮像することで測定画像を順次生成するように撮像装置２を制御することにより、測定画像を取得する。画像処理装置３は、取得した複数の測定画像を用いて、測定対象物の形状を測定するための中間画像を生成する。画像処理装置３は、中間画像を画像処理することにより、中間画像に含まれるノイズを低減する。

図２を参照しながら、画像処理装置３が中間画像のノイズを低減する画像処理の概要を説明する。図２は、ノイズを低減する処理の概要を説明するための図である。

まず、画像処理装置３は、複数の測定画像を取得する。画像処理装置３は、取得した複数の測定画像それぞれの各画素の画素値を近似する近似関数のモデル化パラメータを特定する（図２の（１））。そして、画像処理装置３は、モデル化パラメータを用いて中間画像を生成し（図２の（２））、ノイズ閾値画像を生成する（図２の（３））。なお、モデル化パラメータ導出の詳細は後述する。

画像処理装置３は、ノイズ閾値画像を用いて、中間画像を閾値処理する（図２の（４））。画像処理装置３は、閾値処理した中間画像を用いて形状画像を生成する（図２の（５））。このようにすることで、画像処理装置３は、中間画像に含まれるノイズを低減することができる。そして、画像処理装置３は、ノイズが低減された中間画像を用いて、測定対象物の形状を表す形状画像を生成する。このようにすることで、画像処理装置３は、測定対象物の形状の測定精度を向上することができる。

＜実施の形態に係る画像処理装置の構成＞
図３を参照しながら、実施の形態に係る画像処理装置３の機能構成について説明する。図３は、実施の形態に係る画像処理装置３の機能構成を示す図である。実施の形態に係る画像処理装置３は、記憶部３１と、制御部３２とを備える。

記憶部３１は、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などの記憶媒体を含む。記憶部３１は、測定画像、モデル化パラメータ、再構成画像、又は補正した測定画像を記憶する。また、記憶部３１は、制御部３２が実行するプログラムを記憶する。

制御部３２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部３２は、記憶部３１に記憶されたプログラムを実行することによって、装置制御部３２１、画像取得部３２２、モデル化部３２３、中間画像生成部３２４、ノイズ閾値画像生成部３２５、ノイズ除去部３２６、及び形状特定部３２７の機能を実現する。装置制御部３２１は、指示情報を送信することにより、投影装置１及び撮像装置２を制御する。

装置制御部３２１は、測定対象物に投影光を投影するように投影装置１を制御する。具体的には、装置制御部３２１は、投影画像における座標によって定まる位相にしたがって輝度が変動する投影パターンの光を、複数の異なる位相差を位相に加えて順次測定対象物に投影させるように投影装置１を制御する。装置制御部３２１は、例えば正弦波パターンを有する投影画像を、正弦波パターンの位相を変化させて複数回投影するように投影装置１を制御する。

装置制御部３２１は、正弦波パターンの位相をＮ回変更することによりＮ枚の投影画像を順次測定対象物に投影するように投影装置１を制御してもよい。装置制御部３２１は、例えば、正弦波パターンの位相をＮ回変化させる場合、正弦波パターンの位相をδ_ｉ＝２πｉ／Ｎ（ｉ＝１、２、…、Ｎ）ずつ変化させるように投影装置１を制御する。また、例えば、装置制御部３２１は、正弦波パターンを投影する場合、投影画像の座標（ｘ，ｙ）における光の強度をＩ（ｘ，ｙ）として、Ｉ（ｘ，ｙ）＝Ｉ_０ｓｉｎ（２πｘＴ／Ｍ_ｘ＋δ_ｉ）に従う正弦波パターンを有する投影画像を測定対象物に投影するように制御する。なお、Ｍ_ｘは、投影画像のｘ方向の画素数、Ｔは投影画像に含まれる正弦波パターンの数である。

装置制御部３２１は、投影光が投影された測定対象物を撮像することで測定画像を生成するように撮像装置２を制御する。具体的には、装置制御部３２１は、複数の投影パターンの光がそれぞれ投影された測定対象物を順次撮像することで複数の異なる測定画像を生成するように撮像装置２を制御する。装置制御部３２１は、複数の異なる測定画像を画像取得部３２２に送信するように撮像装置２を制御する。装置制御部３２１は、複数の異なる測定画像に撮像順を識別する識別子を付与して、画像取得部３２２に送信するように撮像装置２を制御してもよい。

画像取得部３２２は、予め定められた複数の条件のそれぞれにおいて測定対象物を撮像することで得られる複数の測定画像を取得する。「複数の条件」は、例えば、測定対象物に投影する投影パターン、投影パターンが投影された測定対象物を撮像した順序、投射する光の波長、光を投射する光学系である。画像取得部３２２は、取得した複数の異なる測定画像をモデル化部３２３に通知する。

モデル化部３２３は、複数の測定画像においてそれぞれ対応する画素の画素値を複数の条件により定まる順序にしたがって並べたデータ列を近似する近似関数のモデル化パラメータを、測定画像の画素ごとに特定する。例えば、モデル化部３２３は、複数の測定画像においてそれぞれ対応する画素の画素値を、複数の測定画像を撮像順に並べたデータ列を近似する近似関数のモデル化パラメータを、測定画像の各画素についてそれぞれ特定する。なお、以下の説明においては、データ列を撮像順に並べたものとして説明するが、データ列を他の条件に従って並べてもよい。

図４を参照しながら、モデル化部３２３が、データ列を近似する近似関数のモデル化パラメータを特定する方法について説明する。図４は、データ列を近似する近似関数について説明するための図である。図４（ａ）は、複数の測定画像を撮像順に並べた模式図である。図４（ａ）における横軸は測定画像のｘ座標を表し、縦軸は測定画像のｙ座標を表す。以下の説明においては、画像取得部３２２が６枚の測定画像（Ｐ_ｂ１、Ｐ_ｂ２、Ｐ_ｂ３、Ｐ_ｂ４、Ｐ_ｂ５、Ｐ_ｂ６）を取得したものとして説明する。図４（ａ）におけるＩｉはｉ番目の測定画像におけるｘ座標及びｙ座標により定まる画素の画素値を示す。

図４（ｂ）は、座標（ｘ，ｙ）で定まる画素の画素値Ｉ_ｉを撮像順に並べたデータ列をプロットした模式図である。図４（ｂ）の横軸は測定画像の撮像順を示し、縦軸は画素の画素値の大きさを示す。ｉ枚目の測定画像における座標（ｘ，ｙ）により定まる画素の画素値Ｉｉ（ｘ，ｙ）をそれぞれ黒丸でプロットした。破線で示す関数ｆ（ｘ，ｙ）は、プロットしたデータ列を近似する近似関数である。

プロットしたデータ列の各データは、測定時の誤差を含んでいる。そのため、各データと、データ列に対応する近似関数に基づいて特定される近似値とは必ずしも一致しない。そこで、測定データと、近似値との差を測定時の誤差ε_ｉ（ｘ，ｙ）として、誤差ε_ｉ（ｘ，ｙ）の二乗和が最小になるようなモデル化パラメータを特定することにより、プロットしたデータ列に近似関数をフィッテイングすることができる。

図５を参照しながら、モデル化部３２３がモデル化パラメータを特定する処理について説明する。図５は、データ列を近似する近似関数におけるモデル化パラメータを特定する処理を説明するための図である。図５は、図４（ｂ）と同様、画素の画素値を撮像順に並べたデータ列をプロットした模式図である。図５において、実線で示す関数ｆは、基準となる近似関数である。振幅Ｖは近似関数の振幅を示し、バイアスＩ’（ｘ，ｙ）は振幅Ｖの中心を示し、オフセットＡは近似関数のオフセットを示す。破線で示す関数ｆ（ｘ，ｙ）は、複数の測定画像においてそれぞれの対応する座標（ｘ，ｙ）の画素の画素値を撮像順に並べたデータ列の近似関数であり、基準となる近似関数から、位相φ、振幅ΔＶ、オフセットΔＡだけずれた近似関数である。また、誤差ε_ｉ（ｉ＝１～６）は、それぞれ、各データから、各データに対応する近似値までの距離を示す。

したがって、各データに対応する近似値は、以下の式（１）で表される。

ここで、位相φ（ｘ，ｙ）は座標（ｘ，ｙ）における画素の画素値を並べたデータ列の近似関数の位相ずれを示す変数であって、測定対象物の高さに関連付けられた変数である。式（１）のＩ’（ｘ，ｙ）はバイアスＩ’（ｘ，ｙ）であり、Ｖ（ｘ，ｙ）は近似関数の振幅である。δ_ｉはｉ番目の測定画像の位相である。δ_ｉは、上記のようにδ_ｉ＝２πｉ／Ｎ（ｉ＝１、２、…、Ｎ）であり、本実施の形態においては、Ｎ＝６である。位相ｋ（ｘ，ｙ）は、投影パターンに含まれる正弦波パターンの位相に関連付けられた変数である。以下の説明においては、位相φ（ｘ，ｙ）と、位相ｋ（ｘ，ｙ）との和を位相値ということがある。また、ε_ｉ（ｘ，ｙ）は誤差である。式（１）は、変形することにより式（２）で表される。

ここで、式（２）の各項を式（３）～（５）に示すように置換する。

式（２）は、式（３）～（５）を用いて、式（６）で表される。

座標（ｘ，ｙ）の画素値は、式（６）をそれぞれの測定画像について書き表すことにより、式（７）で表される。

式（７）は、行列を用いて、式（８）で表される。

式（８）をＩ＝Ｘａと考える。このとき、Ｉ－Ｘａの２－ノルムを最小化するという意味において最適なベクトルａは最小二乗解として既知であり、ａ＝（Ｘ^ＴＸ）^－１Ｘ^ＴＩと書ける。したがって、Ｘ^ＴＸは、式（９）で表される。また、Ｘ^ＴＩは、式（１０）で表される。以下の式において、特に記載のない場合、添字の表記がないΣは、ｉ＝１～Ｎの総和であるものとする。

δ_ｉ＝２πｉ／Ｎ（ｉ＝１、２、…、Ｎ）とすると、式（９）において、非対角行列は、全てゼロとなり、ベクトルａは、式（１１）で表される。

よって、ａ_０は式（１２）で表され、ａ_１は式（１３）で表され、ａ_２は式（１４）で表される。

モデル化部３２３は、式（１２）～（１４）を用いて、モデル化パラメータである、画素の位相値（位相φ（ｘ，ｙ）と、位相ｋ（ｘ，ｙ）との和）と、近似関数の振幅Ｖと、及びオフセットＡとを特定する。画像の画素値は式（１５）で表され、近似関数の振幅Ｖは式（１６）で表され、オフセットＡは式（１７）で表される。モデル化部３２３は、特定したモデル化パラメータを、中間画像生成部３２４及びノイズ閾値画像生成部３２５に通知する。

中間画像生成部３２４は、モデル化パラメータに基づいて測定対象物の形状を示す形状画像を生成するための中間画像を生成する。例えば、中間画像生成部３２４は、測定対象物の形状情報が、複数の条件により定まる位相に符号化された画像である中間画像を生成する。具体的には、中間画像生成部３２４は、測定対象物の形状情報が、モデル化パラメータである位相値（Φ（ｘ，ｙ）＋ｋ（ｘ，ｙ））として符号化された中間画像を生成する。中間画像生成部３２４は、生成した中間画像をノイズ除去部３２６へ通知する。

ノイズ閾値画像生成部３２５は、中間画像の各画素のノイズ閾値を特定したノイズ閾値画像を生成する。例えば、ノイズ閾値画像生成部３２５は、データ列と、各画素のモデル化パラメータに基づいて特定された各画素の近似値との誤差を示す統計量を用いて、中間画像の各画素のノイズ閾値を特定したノイズ閾値画像を生成する。例えば、ノイズ閾値画像生成部３２５は、データ列と、各画素の近似値との差の標準偏差を用いて、ノイズ閾値画像を生成する。具体的には、ノイズ閾値画像生成部３２５は、統計量である標準偏差に基づき誤差伝播の法則で定まる位相誤差の標準偏差を用いて、ノイズ閾値画像を生成する。以下、ノイズ閾値画像生成部３２５がノイズ閾値を特定し、ノイズ閾値画像を生成する方法について説明する。

ノイズ閾値画像生成部３２５は、まず、複数の測定画像それぞれの各画素の画素値Ｉ_ｉ（ｘ，ｙ）と、複数の測定画像それぞれに対応する再構成画像の各画素の画素値Ｉ_ｉ ^Ｒ（ｘ，ｙ）との差である推定誤差量ε_ｉ'（ｘ，ｙ）を特定する。特定した推定誤差量ε_ｉ'（ｘ，ｙ）は、式（１８）で表される。

ノイズ閾値画像生成部３２５は、式（１８）を用いて、推定誤差量の標準偏差σ（ｘ，ｙ）を特定する。標準偏差σ（ｘ，ｙ）は、式（１９）で表される。

ノイズ閾値画像生成部３２５は、式（１９）、及び既知の誤差伝播の法則を用いて、位相値の推定誤差σ_φを特定する。推定誤差σ_φは、式（２０）で表される。

ノイズ閾値画像生成部３２５は、式（２０）で特定した位相値の推定誤差σ_φを用いて、ノイズ閾値画像を生成する。ノイズ閾値画像生成部３２５は、例えば、既知のD. Donohoのアルゴリズム（Dnoho, D.L., I.M. Johnstone, IEEE Trans. on Inf. Theory, 41, 3, 613）を用いて中間画像の各画素それぞれのノイズ閾値を特定する。特定したノイズ閾値は、式（２１）で表される。

なお、ノイズ閾値画像生成部３２５がノイズ閾値を特定するアルゴリズムは、上記に限らず、既知のアルゴリズムを使用してもよい。ノイズ閾値画像生成部３２５は、生成したノイズ閾値画像をノイズ除去部３２６に通知する。

ノイズ除去部３２６は、ノイズ閾値画像生成部３２５から取得したノイズ閾値画像を用いて中間画像を閾値処理する。ノイズ除去部３２６が閾値処理する方法は、既知の方法を利用できる。例えば、ノイズ除去部３２６は、ノイズ閾値画像に基づいて、hard thresholding法、又はsoft thresholding法を用いて中間画像を閾値処理する。このようにすることで、ノイズ除去部３２６は、中間画像のノイズを低減することができる。

図１に示すように、測定対象物が撮像装置２の画角と比較して小さい場合、測定対象物の画像が測定画像の一部にのみ存在することが起こり得る。この場合、中間画像においても測定対象物の形状を測定するための信号は、中間画像の一部にのみ存在することになる。ここで、測定画像又は中間画像のノイズ低減処理としてフーリエ変換を用いる手法が周知であるが、フーリエ変換を用いたノイズ低減処理は画像全体を周波数解析の対象とする。したがって、測定対象物の画像が測定画像の一部にのみ存在するような場合には、フーリエ変換を用いる手法は必ずしも適さない。

そこで、ノイズ除去部３２６は、中間画像をウェーブレット変換して得られる画像の各画素を、ノイズ閾値画像をウェーブレット変換して得られる画像において対応する画素のノイズ閾値を用いて閾値処理してもよい。ウェーブレット変換の基底は、任意の基底を使用でき、測定対象物に応じて決定してもよいし、ユーザが任意に設定できるようにしてもよい。ノイズ除去部３２６は、ウェーブレット変換の変換レベルＬを決定する。変換レベルＬは、ウェーブレット変換の基底と同様に、測定対象物に応じて決定してもよいし、ユーザが任意に設定できるようにしてもよい。

ノイズ除去部３２６は、中間画像及びノイズ閾値画像を変換レベルＬに従ってウェーブレット変換する。ノイズ除去部３２６は、中間画像を変換レベルＬに従ってウェーブレット変換して得られた画像の各画素を、ノイズ閾値画像を変換レベルＬに従ってウェーブレット変換して得られた画像において対応する画素のノイズ閾値を用いて閾値処理する。例えば、ノイズ除去部３２６は、soft thresholding法を用いて中間画像をウェーブレット変換して得られた画像を閾値処理する（式（２２））。

なお、φ’^Ｗは、変換レベルＬに従ってウェーブレット変換して得られた画像の各画素の位相値であり、Φ（ｘ，ｙ）は、座標（ｘ，ｙ）に対応する画素の位相値をノイズ閾値処理した後の位相値である。

ノイズ除去部３２６は、ノイズ閾値処理した画像を逆ウェーブレット変換することにより中間画像を生成する。このようにノイズ除去部３２６はウェーブレット変換を用いてノイズ除去をすることにより、中間画像に局在するノイズを低減することができる。また、ノイズ除去部３２６は、変換レベルＬに応じた周波数成分において閾値処理することにより、中間画像のノイズを低減することができる。ノイズ除去部３２６は、閾値処理した中間画像を形状特定部３２７に通知する。

形状特定部３２７は、中間画像を用いて、測定対象物の形状を特定するための形状画像を生成する。例えば、形状特定部３２７は、複数の条件から定まる演算処理を、ノイズ除去部３２６が閾値処理した中間画像に施して形状画像を生成する。具体的には、形状特定部３２７は、投影パターンから定まる演算処理を閾値処理した中間画像に施して形状画像を生成する。

以下、図６を参照しながら、画像処理装置３がノイズを低減する処理の流れについて説明する。図６は、画像処理装置がノイズを低減する処理のフローチャートである。まず、装置制御部３２１が、投影装置１を制御して、複数の投影パターンの光を投影させる（ステップＳ１）。装置制御部３２１が、撮像装置２を制御して、複数の投影パターンの光が投影された測定対象物を撮像させ、測定画像を生成させる。画像取得部３２２が、撮像装置２が生成した測定画像を取得する（ステップＳ２）。

次に、モデル化部３２３が、取得した複数の測定画像のモデル化パラメータを特定する。続いて、中間画像生成部３２４が、モデル化パラメータに基づいて中間画像を生成する（ステップＳ３）。そして、ノイズ閾値画像生成部３２５が、モデル化パラメータに基づいてノイズ閾値画像を生成する（ステップＳ４）。なお、ステップＳ３と、ステップＳ４とは、順序が逆になっても構わない。

ノイズ除去部３２６が、ノイズ閾値画像生成部３２５が生成したノイズ閾値画像を用いて、中間画像生成部３２４が生成した中間画像を閾値処理する（ステップＳ５）。そして、形状特定部３２７が、閾値処理した中間画像を用いて測定対象物の形状を特定するための形状画像を生成する（ステップＳ６）。

［実施の形態の効果］
以上説明したように、画像処理装置３のモデル化部３２３が複数の測定画像それぞれの各画素のモデル化パラメータを特定する。中間画像生成部３２４が中間画像を生成し、ノイズ閾値画像生成部３２５がノイズ閾値画像を生成する。ノイズ除去部３２６が、ノイズ閾値画像を用いて中間画像を閾値処理する。このようにすることで、ノイズ除去部３２６は、測定画像からノイズを低減することができる。そして、形状特定部３２７が、閾値処理した中間画像を用いて測定対象物の形状を特定するための形状画像を生成する。このようにすることで、形状特定部３２７は、ノイズが低減された中間画像を用いて測定対象物の形状を特定するための形状画像を生成することができるので、測定精度を向上することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

（変形例１）
投影画像が投影された測定対象物を撮像することにより、測定対象物の形状を測定するための画像処理システムＳについて説明したが、画像処理システムはこれに限らない。以下、レーザー干渉計を用いた画像処理システムＳ１について説明する。

図７を参照しながら、レーザー干渉を利用した画像処理システムＳ１について説明する。図７は、変形例１に係る画像処理システムＳ１の概要を説明するための図である。以下、画像処理システムＳ１について、画像処理システムＳと異なる点について説明し、同様の点は適宜省略する。画像処理システムＳ１は、所定の波長のレーザーを参照面及び測定対象物に投射し、参照面及び測定対象物それぞれから反射した反射光を干渉させることにより、測定対象物の形状を測定するための画像処理システムである。

画像処理システムＳ１は、撮像装置２と、画像処理装置３と、レーザー発振器４と、偏光ビームスプリッタ５とを備える。画像処理装置３は、撮像装置２及びレーザー発振器４それぞれと通信可能に接続されている。画像処理装置３は、測定対象物１１を適宜移動することができる。なお、画像処理装置３は、測定対象物１１を移動するかわりに、参照面１０を移動してもよい。

レーザー発振器４は、画像処理装置３の指示に基づいて、所定の波長のレーザーを発信するレーザー発振器である。レーザー発振器が発信したレーザーは、偏光ビームスプリッタにおいて、参照面１０へ向かうレーザーと、測定対象物１１へ向かうレーザーとに偏光して分岐される。参照面１０及び測定対象物１１の表面において反射したレーザー（反射光）は、偏光ビームスプリッタを経て撮像装置２へ向かう。図７において、Ｗｒは参照面１０の表面において反射したレーザーを示し、Ｗｔは測定対象物１１の表面において反射したレーザーを示す。

図８を参照しながら、参照面１０の表面において反射したレーザーと、測定対象物１１の表面において反射したレーザーとの干渉、及び撮像装置２が取得する測定データについて説明する。図８は、２つのレーザーの干渉及び測定データを説明するための図である。図８において、Ｗｒは参照面１０の表面において反射したレーザーを示し、Ｗｔは測定対象物１１の表面において反射したレーザーを示す。

画像処理装置３は、レーザー光の波長により定まる移動距離だけ測定対象物１１を移動するごとに、撮像装置２に測定画像を生成するように制御する。このようにすることで、画像処理装置３は、２つのレーザーの位相のずれが異なった状態で、２つのレーザーの干渉画像である測定画像を取得することができる。

図８（ａ）は、２つのレーザーの位相が略一致した場合を示す模式図である。図８（ｂ）は、２つのレーザーが干渉して振幅が互いに強め合い、振幅が大きくなったことを示す模式図である。図８（ｃ）は、２つのレーザーの位相が略一致した場合に取得される測定画像を示す模式図である。図８（ｃ）に示すように、２つのレーザーの位相が略一致した場合に取得される測定画像は、測定画像の全域で光の強度が強い（明るい）画像となる。

図８（ｄ）は、２つのレーザーの位相がおよそπ（ｒａｄ）ずれた場合を示す模式図である。図８（ｅ）は、２つのレーザーが干渉して振幅が互いに弱めあい、振幅が小さくなったことを示す模式図である。図８（ｆ）は、２つのレーザーの位相がおよそπ（ｒａｄ）ずれた場合に取得される測定画像を示す模式図である。図８（ｆ）に示すように、２つのレーザーの位相がおよそπ（ｒａｄ）ずれた場合に取得される測定画像は、測定画像の全域で光の強度が弱い（暗い）画像となる。

レーザー干渉計における測定画像は、測定画像の全域において、ほぼ同程度の光の強度の画像となる。ある測定画像における各画素の光の強度が異なることは、測定対象物の高さが異なることと関連付けられている。画像処理装置３は、各画素の光の強度に基づいて測定対象物の高さを特定することができる。

図８（ｇ）は、座標で定まる画素の画素値を撮像順に並べたデータ列をプロットした模式図である。図８（ｇ）の横軸は、測定対象物１１を移動することにより生じた２つのレーザーの位相差を示し、縦軸は光の強度に関連付けられた画素の画素値の大きさを示す。図８（ｇ）において、画素の画素値は、２つのレーザーが干渉した光の強度である。

ある測定画像における座標により定まる画素の画素値をそれぞれ黒丸でプロットした。例えば、図８（ｇ）において（ａ）で示す黒丸は、２つのレーザーの位相が略一致した場合の干渉画像の測定データである。また、図８（ｇ）において（ｂ）で示す黒丸は、２つのレーザーの位相がおよそπ（ｒａｄ）ずれた場合の干渉画像の測定データである。実線で示す関数ｆは、プロットしたデータ列を近似する近似関数である。図８（ｇ）で示した干渉画像のデータ列をプロットした模式図は、図４（ｃ）又は図５で示した測定画像のデータ列をプロットした模式図と同様の図である。

以下、変形例１における画像処理装置３は、上記の画像処理装置３と同様に測定画像を処理することにより、中間画像のノイズを低減することができる。また、画像処理装置３は、ノイズを低減した中間画像を用いて形状を特定するための形状画像を生成することにより、測定対象物の形状を測定する精度を向上することができる。

（変形例２）
変形例１における画像処理システムＳ１は、参照面１０又は測定対象物１１を移動することにより、２つのレーザーの位相がずれた状態で複数の測定画像を取得したが、これに限らず、レーザーを光学的に偏光して分岐することで、複数の位相のずれた干渉画像である測定画像を取得するようにしてもよい。

図９を参照しながら、偏光位相シフトを用いたレーザー干渉を利用した画像処理システムＳ２について説明する。図９は、変形例２に係る画像処理システムＳ２の概要を説明するための図である。以下、画像処理システムＳ２について、画像処理システムＳ及び画像処理システムＳ１と異なる点について説明し、同様の点は適宜省略する。画像処理システムＳ２は、所定の波長のレーザーを参照面及び測定対象物に投射し、参照面及び測定対象物それぞれから反射した反射光を干渉させることにより、測定対象物の形状を測定するための画像処理システムである。

画像処理システムＳ２は、複数の撮像装置２（２ａ、２ｂ、２ｃ、２ｄ）と、画像処理装置３と、レーザー発振器４と、偏光ビームスプリッタ５ａ及び５ｂと、コーナーキューブ６と、複数のビームスプリッタ７（７ａ、７ｂ、７ｃ、７ｄ）と、コリメータレンズ８ａ及び８ｂと、複数の偏光板９（９ａ、９ｂ、９ｃ、９ｄ）と、１／４波長板１２と、拡大レンズ１３を備える。画像処理装置３は、複数の撮像装置２及びレーザー発振器４それぞれと通信可能に接続されている。なお、複数の撮像装置２は撮像素子であってもよく、画像処理装置３が複数の撮像素子を備えていてもよい。

レーザー発振器が発信したレーザーは、偏光ビームスプリッタ５ａにおいて偏光して分岐される。偏光ビームスプリッタ５ａにおいて偏光して分岐された一方のレーザーは直進して偏光ビームスプリッタ５ｂに至り、もう一方のレーザーはコーナーキューブ６を経由して偏光ビームスプリッタ５ｂに至る。偏光ビームスプリッタ５ｂを通過したレーザーは、上記の各種光学系を通過して、１／４波長板１２に至る。

１／４波長板１２を通過したレーザーは、複数のビームスプリッタ７においてそれぞれ分岐される。分岐されたレーザーそれぞれは、偏光板９を通過して撮像装置２に至る。画像処理システムＳ２においては、参照面１０において反射したレーザーと、測定対象物１１において反射したレーザーとが、撮像装置２において干渉するように構成されている。具体的には、複数の偏光板９が、撮像装置２において２つのレーザーが異なる位相において干渉するように設定されている。画像処理装置３は、複数の撮像装置２それぞれを制御して、２つのレーザーの干渉画像である測定画像を生成させる。

このようにすることで、画像処理システムＳ２における画像処理装置３は、２つのレーザーの位相のずれが異なった状態で、複数の干渉画像である測定画像を取得することができる。以下、変形例２における画像処理装置３は、上記の画像処理装置３と同様に測定画像を処理することにより、中間画像のノイズを低減することができる。また、画像処理装置３は、ノイズを低減した中間画像を用いて形状を特定するための形状画像を生成することにより、測定対象物の形状を測定する精度を向上することができる。

１ 投影装置
２ 撮像装置
３ 画像処理装置
４ レーザー発振器
５ 偏向ビームスプッリッタ
６ コーナーキューブ
７ ビームスプリッタ
８ コリメータレンズ
９ 偏光板
１０ 参照面
１１ 測定対象物
１２ 波長板
１３ 拡大レンズ
３１ 記憶部
３２ 制御部
３２１ 装置制御部
３２２ 画像取得部
３２３ モデル化部
３２４ 中間画像生成部
３２５ ノイズ閾値画像生成部
３２６ ノイズ除去部
３２７ 形状特定部

Claims (3)

1. 予め定められた複数の条件のそれぞれにおいて測定対象物を撮像することで得られる複数の測定画像を取得する画像取得部と、
   前記複数の測定画像においてそれぞれ対応する画素の画素値を前記複数の条件により定まる順序にしたがって並べたデータ列を近似する近似関数の位相、振幅、及びオフセットを含むモデル化パラメータを、前記測定画像の画素ごとに特定するモデル化部と、
   前記モデル化パラメータに基づいて、前記測定対象物の形状を示す形状画像を生成するための中間画像を生成する中間画像生成部と、
   前記データ列が示す各画素の位相値と、前記各画素のモデル化パラメータに基づいて特定された各画素の位相の近似値との誤差に対応する複数の標準偏差を算出し、誤差伝播の法則を用いて前記複数の標準偏差に基づいて算出した前記位相値の推定誤差に基づいて、前記中間画像の各画素のノイズ閾値を特定したノイズ閾値画像を生成するノイズ閾値画像生成部と、
   前記中間画像をウェーブレット変換して得られる画像の各画素を、前記ノイズ閾値画像をウェーブレット変換して得られる画像において対応する画素のノイズ閾値を用いて閾値処理することで得られる画像を逆ウェーブレット変換することにより、前記中間画像を更新するノイズ除去部と、
   前記複数の条件から定まる演算処理を、前記ノイズ除去部が更新した後の前記中間画像に施して前記形状画像を生成する形状画像生成部と、
   を備える画像処理装置。
2. 前記中間画像生成部は、前記測定対象物の形状情報が、前記複数の条件により定まる位相に符号化された画像である前記中間画像を生成する、
   請求項１に記載の画像処理装置。
3. コンピュータに、
   予め定められた複数の条件のそれぞれにおいて測定対象物を撮像することで得られる複数の測定画像を取得する機能と、
   前記複数の測定画像においてそれぞれ対応する画素の画素値を前記複数の条件により定まる順序にしたがって並べたデータ列を近似する近似関数のモデル化パラメータを、前記測定画像の画素ごとに特定する機能と、
   前記モデル化パラメータに基づいて、前記測定対象物の形状を示す形状画像を生成するための中間画像を生成する機能と、
   前記データ列が示す各画素の位相値と、前記各画素のモデル化パラメータに基づいて特定された各画素の位相の近似値との誤差に対応する複数の標準偏差を算出し、誤差伝播の法則を用いて前記複数の標準偏差に基づいて算出した前記位相値の推定誤差に基づいて、前記中間画像の各画素のノイズ閾値を特定したノイズ閾値画像を生成する機能と、
   前記中間画像をウェーブレット変換して得られる画像の各画素を、前記ノイズ閾値画像をウェーブレット変換して得られる画像において対応する画素のノイズ閾値を用いて閾値処理することで得られる画像を逆ウェーブレット変換することにより、前記中間画像を更新する機能と、
   前記複数の条件から定まる演算処理を、更新した後の前記中間画像に施して前記形状画像を生成する機能と、
   を実現させるプログラム。
   

Images