JP6282907B2 - 画像処理装置、立体形状計測装置および画像処理方法 - Google Patents

Description

本発明の実施形態は、画像から円形状の輪郭を有する対象物を検出する画像処理装置、立体形状計測装置および画像処理方法に関する。

従来、円形状の輪郭を有する対象物を画像から検出する技術として、種々の技術が知られている。たとえば特開２００２−１４０７１３号公報（特許文献１）に記載の技術は、まず濃淡画像上に円の仮中心を設定するとともに画像上のエッジを抽出する。エッジの検出においては、２次微分のゼロクロッシングや１次微分のガウシアンフィッティングなどにより求める。次に、仮中心からエッジまでの距離、およびエッジの接線方向と仮中心からエッジに向かう方向とがなす角度にもとづいて、各エッジが観測対象物の輪郭を表す円の円周を構成する点か否かを判定するようになっている。

特許文献１に記載の技術では、設定した仮中心を用いて輪郭を構成する可能性の高いエッジを抽出することができ、抽出したエッジを用いて仮中心よりも正確な中心および半径を求めることができる。このため、この種の技術によれば、たとえば板状の部材表面に盛り上がるように設けられた半田ボールの位置を簡便に検出することができる。

特開２００２−１４０７１３号公報

しかし、従来の技術は対象物が穴部である場合を考慮していない。このため、従来の技術では、円形状の輪郭を有する穴部が設けられた表面を撮像した画像から穴部を抽出することが難しい。

従来の技術は、円形状の輪郭を有する対象物が、板状の部材表面に盛り上がるように設けられていることを想定している。表面に盛り上がるように設けられた半球状の対象物の場合、画像内における対象物が属する画素の濃度（輝度）は、対象物の中心付近が最も高く、輪郭が最も低くなるとともに、輪郭近傍における濃度勾配方向の濃度分布は微分可能に滑らかな分布を有する。このため、従来の技術のように１次微分や２次微分を用いて容易にエッジ検出を行うことが可能である。

ところが、穴部が設けられた画像の場合、各画素の濃度は、穴部中心から輪郭まではほぼゼロである一方、表面部の濃度はほぼ一定値の高濃度となる。このため、穴部の輪郭付近において、濃度は非常に急峻に変化し、輪郭近傍における濃度勾配方向の濃度分布は微分不可能な分布となってしまう。

したがって、円形状の輪郭を有する穴部が設けられた表面の画像から穴部を抽出する場合、１次微分や２次微分を用いる方法では、安定して正確なエッジ位置を検出することが難しい。このため、対象物の位置を正確に検出することが難しい。さらに、穴部のサイズによっては、穴部に属する画素がたとえば１０−２０画素程度と少ない場合もある。この場合、穴部に属する画素の輪郭はモザイク状となり、従来の技術によるエッジ検出はさらに困難となってしまう。

本発明は、上述した事情を考慮してなされたもので、円形状の輪郭を有する穴部の位置を画像から正確に検出することができる画像処理装置、立体形状計測装置および画像処理方法を提供することを目的とする。

本発明の一実施形態に係る画像処理装置は、上述した課題を解決するために、画像取得部、画素種別推定部および特徴量算出部を備える。画像取得部は、円形状の輪郭を有する穴部が設けられた表面の画像を取得する。画素種別推定部は、取得した画像の各画素の濃度が、表面に属する画素の濃度範囲ならびに穴部の輪郭に内包される画素および穴部の輪郭が属する画素の濃度範囲の２種の濃度範囲のいずれに属するかに応じて、穴部の輪郭に内包される画素および穴部の輪郭が属する画素を推定する。特徴量算出部は、穴部の輪郭に内包される画素および穴部の輪郭が属する画素の濃度分布にもとづいて穴部の半径および中心位置を求める。

本発明に係る画像処理装置、立体形状計測装置および画像処理方法によれば、円形状の輪郭を有する穴部の位置を画像から正確に検出することができる。

本発明の第１実施形態に係る画像処理装置の一構成例を示すブロック図。 画像取得部により取得される画像の撮像対象となる物体の一例を示す説明図。 円形状の輪郭を有する穴部と画素との位置関係の一例を示す説明図。 図１に示す主制御部のＣＰＵにより、円形状の輪郭を有する穴部の位置を画像から正確に検出する際の手順の一例を示すフローチャート。 図４のステップＳ２で画素種別推定部２２により実行される穴所属画素推定処理の手順の一例を示すサブルーチンフローチャート。 ラベリング処理の結果の一例を示す説明図。 図４のステップＳ３で特徴量算出部により実行される半径ｒおよび中心位置Ｃの算出処理の手順の一例を示すサブルーチンフローチャート。 表面画素の濃度Ｇが正規化値Ｔ_０で置換された様子の一例を示す説明図。 穴所属画素の正規化濃度Ｔの一例を示す説明図。 表面画素および穴所属画素の反転正規化濃度Ｔｉｎｖの一例を示す説明図。 図４のステップＳ４で実行される半径ｒおよび中心位置Ｃの補正処理の手順の一例を示すサブルーチンフローチャート。 図１０の一部拡大図を用いて補正部による特徴量補正処理を説明するための図。 本発明の第２実施形態に係る画像処理装置を含む立体形状計測装置の一例を示す全体構成図。 焦点位置変更部の一構成例を示す斜視図。 本発明の第２実施形態に係る画像処理装置の一構成例を示すブロック図。 表面に垂直な高さｈ方向に離散的な位置ｈ１、ｈ２、・・・、ｈｐのそれぞれで得られる物体の画像について説明するための図。 図１５に示す主制御部のＣＰＵにより、各画素の表面位置における濃度を求める際の手順の一例を示すフローチャート。 各画素の高さｈ方向の濃度分布の一例を示す説明図。 （ａ）は、ＲおよびＲの１階微分Ｒ’のゼロクロッシングについて説明するための図、（ｂ）は（ａ）を一部拡大してＲ’のゼロクロッシングについてより詳細に説明するための図。 各画素のそれぞれで推定最高濃度を与える高さμを算出することで得られる表面の高さ分布の一例を示す説明図。

本発明に係る画像処理装置、立体形状計測装置および画像処理方法の実施の形態について、添付図面を参照して説明する。

本発明の一実施形態に係る画像処理装置は、１次微分や２次微分を用いたエッジ検出を行うことなく円形状の輪郭を有する穴部の位置を画像から正確に検出するものである。なお、以下の説明において、表面は平面であるものとする。また、表面に設けられた穴部とは、表面上方から光を照射したときに表面における光の反射に比べて十分に反射の少ない箇所をいい、表面に設けられた凹部も含まれる。たとえば、本実施形態に係る穴としては、シリコン貫通ビア（ＴＳＶ、Through-Silicon Via）や基板のブラインドビア、スルーホールビアなど、非貫通または貫通の穴であって穴の深さに対して穴の径が小さいものなどが挙げられる。

（第１の実施形態）
図１は、本発明の第１実施形態に係る画像処理装置１０の一構成例を示すブロック図である。

画像処理装置１０は、図１に示すように、表示部１１、入力部１２、記憶部１３、ネットワーク接続部１４および主制御部１５を有する。

表示部１１は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成され、主制御部１５の制御に従って各種画像を表示する。

入力部１２は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を主制御部１５に出力する。

記憶部１３は、磁気的もしくは光学的記録媒体または半導体メモリなどの、主制御部１５のＣＰＵにより読み書き可能な記録媒体を含んだ構成を有する。これら記憶媒体内のプログラムおよびデータの一部または全部は、電子ネットワークを介してダウンロードされるように構成してもよい。

ネットワーク接続部１４は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部は、この各種プロトコルに従って画像処理装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

主制御部１５は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って画像処理装置１０の動作を制御する。主制御部１５のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードする。主制御部１５のＣＰＵは、このプログラムに従って円形状の輪郭を有する穴部の位置を画像から正確に検出する処理を実行する。

主制御部１５のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。主制御部１５のＲＯＭをはじめとする記憶媒体は、画像処理装置１０の起動プログラム、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

図１に示すように、主制御部１５のＣＰＵは、画像処理プログラムによって、少なくとも画像取得部２１、画素種別推定部２２、特徴量算出部２３および補正部２４として機能する。これらの機能実現部２１〜２４は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。また、これらの機能実現部２１〜２４は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

図２は、画像取得部２１により取得される画像の撮像対象となる物体３０の一例を示す説明図である。

画像取得部２１は、円形状の輪郭３１を有する穴部３２が設けられた表面３３の画像を取得する。この画像は、物体３０を表面３３の情報から撮像することにより得られる画像であり、距離画像であってもよい。

図３は、円形状の輪郭３１を有する穴部３２と画素との位置関係の一例を示す説明図である。

画像取得部２１が取得した画像の各画素のうち、表面３３に属する画素（以下、表面画素という）４１は高濃度を有し、穴部３２に属する画素（以下、穴所属画素という）４２の濃度は低い。穴所属画素４２のうち、穴部３２の輪郭３１に内包される画素（以下、穴内包画素という）４４の濃度はほぼゼロであり、穴部３２の輪郭３１が属する画素（以下、穴輪郭画素という）４３は、穴内包画素４４よりも濃度がやや高い。これは、穴内包画素４４がすべて穴部３２の画像で構成されるのに対し、穴輪郭画素４３は輪郭３１が属する画素であり一部が表面３３の画像で構成されるためである。

そこで、画素種別推定部２２は、取得した画像の各画素（ｘｍ，ｙｎ）の濃度Ｇ（ｘｍ，ｙｎ）が、表面画素４１の濃度範囲および穴所属画素４２の濃度範囲のいずれに属するかに応じて、表面画素４１および穴所属画素４２を推定する。また、画素種別推定部２２は、穴所属画素４２の濃度Ｇが、穴輪郭画素４３の濃度範囲および穴内包画素４４の濃度範囲のいずれに属するかに応じて、穴輪郭画素４３および穴内包画素４４を推定する。

特徴量算出部２３は、穴所属画素４２の濃度分布にもとづいて、穴部３２の半径ｒおよび中心位置Ｃ（ｘｃ，ｙｃ）を求める。

補正部２４は、穴輪郭画素４３のそれぞれについて、各画素の中心と特徴量算出部２３により求められた中心位置Ｃとを結ぶ直線４５を仮定する。また、補正部２４は、この直線４５と直交し画素を２分する画素分割線分４６であって中心位置Ｃ側の分割領域が自身の濃度に応じた面積を有する画素分割線分４６の位置を求める。そして、補正部２４は、画素分割線分４６の位置にもとづいて穴部３２の半径ｒおよび中心位置Ｃを補正する。

次に、本実施形態に係る画像処理装置１０の動作の一例について説明する。

図４は、図１に示す主制御部１５のＣＰＵにより、円形状の輪郭３１を有する穴部３２の位置を画像から正確に検出する際の手順の一例を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

まず、ステップＳ１において、画像取得部２１は、円形状の輪郭３１を有する穴部３２が設けられた表面３３の画像を取得する。

次に、ステップＳ２において、画素種別推定部２２は、取得した画像の各画素（ｘｍ，ｙｎ）の濃度Ｇ（ｘｍ，ｙｎ）が、表面画素４１の濃度範囲および穴所属画素４２の濃度範囲のいずれに属するかに応じて、表面画素４１および穴所属画素４２を推定する。

次に、ステップＳ３において、特徴量算出部２３は、穴所属画素４２の濃度分布にもとづいて、穴部３２の半径ｒおよび中心位置Ｃ（ｘｃ，ｙｃ）を求める。

次に、ステップＳ４において、補正部２４は、穴輪郭画素４３の濃度にもとづいて特徴量算出部２３により求められた半径ｒおよび中心位置Ｃを補正する。なお、ステップＳ４は必ずしも実行されずともよい。ステップＳ４を実行しない場合、画像処理装置１０は補正部２４を備えずともよい。

以上の手順により、１次微分や２次微分を用いたエッジ検出を行うことなく円形状の輪郭３１を有する穴部３２の位置を画像から正確に検出することができる。

続いて、取得した画像から穴所属画素４２を推定する際の手順を説明する。

図５は、図４のステップＳ２で画素種別推定部２２により実行される穴所属画素推定処理の手順の一例を示すサブルーチンフローチャートである。

ステップＳ２１において、画素種別推定部２２は、濃度Ｇがほぼゼロの画素に着目してラベリング処理を行うことにより、少なくとも穴内包画素４４を含む領域を推定する。

図６は、ラベリング処理の結果の一例を示す説明図である。ステップＳ２１におけるラベリング処理により、少なくとも穴内包画素４４を含むモザイク状の領域が抽出される（図６参照）。

ラベリングにより、穴部３２の位置が推定される。換言すれば、ラベリングされた画素を囲う所定の領域の画素は表面画素４１であると考えられる。

次に、ステップＳ２２において、画素種別推定部２２は、ラベリングされた画素を囲う所定の領域の複数の画素の平均濃度Ｇｓｕｒ＿ａｖｅを求める。なお、ラベリングされた画素を囲う（表面画素４１の抽出対象となる）所定の領域は、ラベリングされた画素の上下左右端画素を囲う領域であればよい。たとえば上下左右端画素を（ｘ２，ｙ１）、（ｘ３，ｙ４）、（ｘ１，ｙ２）、（ｘ４，ｙ３）とすると、（ｘ１−１，ｙ１−１）、（ｘ４＋１，ｙ４＋１）を対角とする矩形領域や、ラベリングされた画素を２画素膨張させたに等しい領域などを表面画素の抽出対象とする所定の領域とするとよい。

次に、ステップＳ２３において、画素種別推定部２２は、次の式（１）を用いて、所定の領域の画素の濃度Ｇを正規化して正規化濃度Ｔを算出する。

正規化値Ｔ_０は、穴所属画素４２（穴輪郭画素４３および穴内包画素４４）の最大濃度値より大きい値とするとよい。また、正規化値Ｔ_０は、式（１）を用いて各画素の濃度の正規化を行う場合は穴所属画素４２の正規化濃度の最大値よりも大きい値とするとよい。以下の説明では、式（１）を用いて各画素の濃度の正規化を行う場合であって正規化値Ｔ_０が１００である場合の例について示す。

次に、ステップＳ２４において、画素種別推定部２２は、正規化濃度Ｔが所定の閾値ｔｈＴ以上の画素を表面画素４１と推定する。なお、閾値ｔｈＴは正規化値Ｔ_０以下の値とするとよい（たとえば正規化値Ｔ_０が１００である場合、ｔｈＴを９５とするなど）。また、画素種別推定部２２は、表面画素４１に囲われた画素を穴所属画素４２と推定する。

以上の手順により、取得した画像の穴所属画素４２を推定することができる。

続いて、穴所属画素４２の濃度分布にもとづいて、穴部３２の半径ｒおよび中心位置Ｃを求める際の手順を説明する。

図７は、図４のステップＳ３で特徴量算出部２３により実行される半径ｒおよび中心位置Ｃの算出処理の手順の一例を示すサブルーチンフローチャートである。この手順は、図５に示す手順のステップＳ２４が実行されてスタートとなる。

図８は、表面画素４１の濃度Ｇが正規化値Ｔ_０で置換された様子の一例を示す説明図である。

ステップＳ３１において、特徴量算出部２３は、ステップＳ２４で推定された表面画素４１の濃度Ｇを正規化値Ｔ_０で置換する（図８参照）。ステップＳ２４では、正規化濃度Ｔが所定の閾値ｔｈＴ以上の画素が表面画素４１と推定されている。このため、ステップＳ２４とステップＳ３１の処理は、次の式（２）のようにまとめることができる。

図９は、穴所属画素４２の正規化濃度Ｔの一例を示す説明図である。また、図１０は表面画素４１および穴所属画素４２の反転正規化濃度Ｔｉｎｖの一例を示す説明図である。

表面画素４１の濃度Ｇを正規化値Ｔ_０で置換すると、特徴量算出部２３は、穴所属画素４２（穴輪郭画素４３および穴内包画素４４）の濃度Ｇを、これらの画素の最大濃度値より大きい正規化値から減じることにより反転させる。

具体的には、特徴量算出部２３は、ステップＳ３２において、式（１）を用いて穴所属画素４２の正規化濃度Ｔを求める（図９参照）。次に、特徴量算出部２３は、ステップＳ３３において次式（３）を用いて正規化濃度Ｔを正規化値Ｔ_０から減じ、反転した正規化濃度（反転正規化濃度）Ｔｉｎｖを求める（図１０参照）。

次に、特徴量算出部２３は、反転させた濃度の合計を正規化値で除すことにより穴部３２の面積Ａを求め、面積Ａを用いて穴部３２の半径ｒを求める。具体的には、特徴量算出部２３は、次の式（４）に示すように、反転正規化濃度Ｔｉｎｖの合計を正規化値Ｔ_０で除して穴部３２の面積Ａを求め（ステップＳ３４）、次の式（５）を用いて面積Ａから半径ｒを求める（ステップＳ３５）。

次に、ステップＳ３６において、特徴量算出部２３は、穴所属画素４２の反転した濃度または反転正規化濃度Ｔｉｎｖを用いて次式（６）および（７）に示す重心演算により穴部３２の中心位置Ｃ（ｘｃ，ｙｃ）を求める。

以上の手順により、穴所属画素４２の濃度分布にもとづいて、穴部３２の半径ｒおよび中心位置Ｃを求めることができる。主制御部１５は、この求めた半径ｒおよび中心位置Ｃの情報を示す文字情報などの画像を生成して、表面３３の画像に重畳させて表示部１１に表示させてもよい。

続いて、穴輪郭画素４３の濃度にもとづいて特徴量算出部２３により求められた半径ｒおよび中心位置Ｃを補正する際の手順を説明する。

図１１は、図４のステップＳ４で実行される半径ｒおよび中心位置Ｃの補正処理の手順の一例を示すサブルーチンフローチャートである。この手順は、図７に示す手順のステップＳ３６が実行され、特徴量算出部２３により半径ｒおよび中心位置Ｃ（ｘｃ，ｙｃ）が求められてスタートとなる。また、図１２は、図１０の一部拡大図を用いて補正部２４による特徴量補正処理を説明するための図である。

ステップＳ４１において、画素種別推定部２２は、穴輪郭画素４３を推定する。たとえば、画素種別推定部２２は、正規化濃度Ｔが表面画素４１抽出時に用いた閾値ｔｈＴ（たとえば９５など）より小さく、かつ穴内包画素４４に属する値（たとえば５など）より大きい範囲に属する画素を穴輪郭画素４３として推定する。

次に、ステップＳ４２において、補正部２４は、穴輪郭画素４３のそれぞれについて、各画素の中心と特徴量算出部２３により求められた中心位置Ｃとを結ぶ直線４５を仮定する。

次に、ステップＳ４３において、補正部２４は、この直線４５と直交し画素を２分する画素分割線分４６であって、中心位置Ｃ側の分割領域が自身の濃度に応じた面積を有する画素分割線分４６の位置を求める。ここで、自身の濃度に応じた面積としては、たとえば反転正規化濃度Ｔｉｎｖを用いることができる。反転正規化濃度Ｔｉｎｖは、画素に含まれる穴部３２の割合に応じた値となるためである（図１２参照）。

次に、ステップＳ４４において、補正部２４は、画素分割線分４６の位置にもとづいて穴部３２の半径ｒおよび中心位置Ｃを補正する。具体的には、補正部２４は、穴輪郭画素４３のそれぞれについて、直線４５の傾きθｉと、中心位置Ｃから画素分割線分４６までの距離Ｒｉと、を求め、これらの傾きθｉおよび距離Ｒｉにもとづいて次式（８）により半径ｒを補正するとともに次式（９）―（１１）を用いて中心位置Ｃを補正する。ただし、式（８）、（１０）、（１１）においてｎは補正計算に用いる穴輪郭画素４３の総数を表す。

以上の手順により、穴輪郭画素４３の濃度にもとづいて特徴量算出部２３により求められた半径ｒおよび中心位置Ｃを補正することができる。

本実施形態に係る画像処理装置１０は、１次微分や２次微分を用いたエッジ検出を行うことなく、穴所属画素４２の濃度分布にもとづいて円形状の輪郭３１を有する穴部３２の位置を画像から正確に検出することができる。また、画像処理装置１０が補正部２４を備える場合、穴輪郭画素４３の濃度にもとづいて穴部３２の半径ｒおよび中心位置Ｃを補正することにより、穴部３２の位置をさらに正確に求めることができる。

また、本実施形態に係る画像処理装置１０は、１次微分や２次微分を用いたエッジ検出を行うことなく、各画素の濃度のみを用いて穴部３２の半径ｒおよび中心位置Ｃを求めることができる。このため、画像処理装置１０は、特に円形状の穴部３２が占める画素数が少なく、穴輪郭画素４３がモザイク状に並んでしまう場合にも好適である。

（第２の実施形態）
図１３は、本発明の第２実施形態に係る画像処理装置１０Ａを含む立体形状計測装置５０の一例を示す全体構成図である。

この第２実施形態に示す画像処理装置１０Ａは、表面３３に垂直な高さｈ方向に離散的な位置ごとに物体３０を撮像することにより得られた画像を立体形状計測装置５０の共焦点光学系を有する撮像部６０から取得し、これらの画像から各画素の表面位置を決定可能に構成された点で第１実施形態に示す画像処理装置１０Ａと異なる。他の構成および作用については図１に示す画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。また、以下の説明では、物体３０の表面３３に垂直な高さｈ方向を光軸方向に沿った方向とするとともに、光軸方向（物体３０の表面３３に垂直な高さｈ方向）をＺ軸、光軸方向に垂直な方向をＸ軸およびＹ軸とする場合の例について示す。すなわち、以下の例において、光軸方向、物体３０の高さｈ方向、およびＺ方向は互いに平行である。

図１３に示すように、立体形状計測装置５０は画像処理装置１０Ａおよび撮像部６０を有する。

撮像部６０は、光源６１ａを有する照明光学系６１、主面が光軸方向に垂直となるよう配置された開口板６２、対物レンズ６３、焦点位置変更部６４、物体３０を載置するための載物台６５、載物台６５をＸＹＺ各方向に移動させるための載物台駆動部６６、載物台６５および載物台駆動部６６を支持する支持基台６７、物体３０からの反射光を入射される光検出部６８、および画像処理装置１０Ａを有する。載物台駆動部６６は、載物台Ｚ変位部６９および載物台ＸＹ変位部７０を有する。

光源６１ａとしては、たとえばハロゲンランプやレーザなどを用いることができる。光源６１ａから出射された光は、照明レンズ７１を介して面状の照明光束となる。この光は、偏光ビームスプリッタ７２を介して開口板６２を照明する。

開口板６２は、それぞれ共焦点開口部として機能する複数の開口部７３を有する。開口板６２には複数の開口部７３が形成されていればよく、開口板６２としては開口部７３が２次元に配列されて開口アレイが形成されたものを用いてもよいし、いわゆるニポウディスクを用いてもよい。ニポウディスクを用いる場合、ニポウディスクは図示しない駆動機構により回転駆動される。

各開口部７３を通過した光は、焦点位置変更部６４を介して対物レンズ６３を照射し、対物レンズ６３によって物体３０に投光されつつ開口部７３と共役なスポット（以下、物体側集光点という）に集光される。各物体側集光点は、Ｚ方向（物体３０の表面３３に垂直な高さｈ方向、光軸方向）の所定の位置の光軸方向に垂直な面（以下、物体側集光面という）上に位置する。なお、対物レンズ６３は、たとえば複数のレンズおよび絞りにより構成されて両側テレセントリック光学系を構成されてもよい。

載物台Ｚ変位部６９は、ステッピングモータやサーボモータ、あるいはピエゾモータなどの一般的な駆動装置により構成され、Ｚ方向に載物台６５を変位させる。この変位の量、方向およびタイミングは、画像処理装置１０ＡによりＺ軸ドライバ７４を介して制御される。載物台Ｚ変位部６９は、たとえば測定開始前に載物台６５をＺ方向に大まかに変位させる。

図１４は、焦点位置変更部６４の一構成例を示す斜視図である。

対物レンズ６３の光路中に透明体により構成された平行平板形の光路変更片７５を配置すると、対物レンズ６３の物体側集光面の位置がＺ方向に移動する。この焦点移動幅は、光路変更片７５の屈折率および厚さによって制御することができる。

このため、図１４に示すように、回転板７６に対して回転方向に沿って等間隔に互いに焦点移動幅が異なる光路変更片７５を配設する。この回転板７６をモータなどの駆動部７７により所定の速度で連続回転させることにより、光路変更片７５のそれぞれが対物レンズ６３の光軸と交わるごとに離散的に（ステップ的に）対物レンズ６３の物体側集光面の位置をＺ方向に移動させることができる。なお、回転板７６に配設された光路変更片７５の一部は、他の光路変更片７５と同一の屈折率および厚さを有し同一の焦点移動幅を有するものであってもよい。

回転板７６の回転状態はタイミングセンサ７８により検知される。タイミングセンサ７８の出力は画像処理装置１０Ａに与えられる。画像処理装置１０Ａは、あらかじめ各光路変更片７５と物体側集光点のＺ軸座標とを関連付けた情報を保持している。画像処理装置１０Ａがタイミングセンサ７８の出力にもとづいて各光路変更片７５と光軸とが交わるタイミングで光検出部６８を露光させることを繰り返すことにより、表面３３に垂直な高さｈ方向に離散的な位置のそれぞれで、容易かつ高速に物体３０を撮像することができる。

駆動部７７は、画像処理装置１０Ａにより制御可能に構成されてもよい。この場合、画像処理装置１０Ａは回転板７６の回転速度を制御することができる。

なお、図１４には光路変更片７５の形状が円形である場合の例について示したが、これらの形状は楕円形、多角形等であってもよい。

物体３０による反射光のうち特に物体側集光点における反射光は、対物レンズ６３により、物体側集光点と光学的共役関係にある点（以下、像側集光点という）に集光される。点光源としての開口部７３と物体側集光点とは、１対１に対応する。本実施形態では、像側集光点が点光源としての開口部７３に一致する場合の例について説明する。この場合、開口部７３を通過した光は物体側集光点に集光されるとともに、この物体側集光点で反射されて開口部７３に再度入射することになる。

開口部７３に再度入射した光は、偏光ビームスプリッタ７２により偏向されて結像光学系７９に入射し、光検出部６８を構成する撮像素子に入射する。ここで、結像光学系７９は、開口部７３の像を撮像素子の光電変換面に結ぶように構成される。開口部７３（像側集光点）とこの開口部７３に対応する位置に配設された撮像素子とは、偏光ビームスプリッタ７２および結像光学系７９により互いに共役関係となる。

光検出部６８は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されて、照射された光の強度に応じた信号を画像処理装置１０Ａに出力する。また、光検出部６８は、画像処理装置１０Ａにより光検出のタイミングを制御される。

画像処理装置１０Ａは、この光検出部６８から受けた信号にもとづいて、表面３３に垂直な高さｈ方向に離散的な位置のそれぞれで物体３０を撮像した画像を取得する。なお、画像処理装置１０Ａは、露光ごとに光検出部６８の出力信号を得ることができれば、この出力信号にもとづいて物体３０の立体形状計測を行うことが可能である。

載物台駆動部６６の載物台ＸＹ変位部７０は、載物台６５をＺ方向に垂直な方向に変位させる。たとえば、載物台ＸＹ変位部７０は、測定の合間に測定対象領域をＸＹ面内で移動させるために用いられる。

この載物台ＸＹ変位部７０は、載物台６５のＸ軸方向およびＹ軸方向の位置決めを行うＸ軸変位機構８０およびＹ軸変位機構８１を有する。Ｘ軸変位機構８０およびＹ軸変位機構８１は、たとえばサーボモータにより構成され、変位の量、方向およびタイミングは、画像処理装置１０ＡによりＸＹ軸ドライバ８２を介して制御される。

図１５は、本発明の第２実施形態に係る画像処理装置１０Ａの一構成例を示すブロック図である。

画像処理装置１０Ａの主制御部１５Ａは、画像処理プログラムによって、画像取得部２１Ａ、画素種別推定部２２Ａ、特徴量算出部２３、補正部２４、撮像制御部２５および表面特定部２６として機能する。

撮像制御部２５は、焦点位置変更部６４、光検出部６８、Ｚ軸ドライバ７４およびＸＹ軸ドライバ８２を制御し、表面３３に垂直な高さｈ方向に離散的な位置のそれぞれで撮像部６０に物体３０の撮像を行わせる。

図１６は、表面３３に垂直な高さｈ方向に離散的な位置ｈ１、ｈ２、・・・、ｈｐのそれぞれで得られる物体３０の画像について説明するための図である。

画像取得部２１Ａは、表面３３に垂直な高さｈ方向に離散的な位置ごとに物体３０を撮像することにより得られた複数の画像を取得する（図１６参照）。

表面特定部２６は、複数の画像にもとづいて各画素の高さｈ方向の濃度分布を取得し、取得した濃度分布にもとづいて、表面位置および各画素の表面位置における濃度を特定する。

複数の画像のそれぞれは互いに異なる高さｈ１、ｈ２、・・・、ｈｐと関連付けられている。また、複数の画像のｘｙ平面における撮像領域は同一であるものとする。この場合、画素（ｘｍ、ｙｎ）は複数の画像のそれぞれに含まれることになる。このため、複数の画像のそれぞれから画素（ｘｍ、ｙｎ）の濃度Ｇを抽出することにより、画素（ｘｍ，ｙｎ）の高さｈ方向の濃度分布（Ｇ（ｘｍ，ｙｎ，ｈ１）、Ｇ（ｘｍ，ｙｎ，ｈ２）、・・・、Ｇ（ｘｍ，ｙｎ，ｈｐ））を得ることができる。これらの濃度Ｇ（ｘｍ，ｙｎ，ｈ１）、Ｇ（ｘｍ，ｙｎ，ｈ２）、・・・、Ｇ（ｘｍ，ｙｎ，ｈｐ）は、画像から測定される濃度であり、以下適宜測定濃度という。

いま、この各画素の測定濃度のうち、最も高い測定濃度を与える位置をｈｓとする。各画素の最高濃度は、表面位置で得られると推定される。このため、各画素の表面位置は、この高さｈｓの位置の近傍にあると推定することができる。

そこで、表面特定部２６は、各画素の測定濃度の分布にもとづいて各画素の最高濃度を与える位置を推定し、この推定最高濃度を与える位置μを表面位置とするとよい。なお、撮像される高さｈ方向の位置間隔（サンプリング間隔）が十分に小さい場合は、表面特定部２６は、高さｈｓそのものを表面位置と推定してもよい。

画素種別推定部２２Ａは、表面特定部２６により特定された各画素の表面位置における濃度を用いて、表面画素４１および穴所属画素４２を推定する。

次に、本実施形態に係る画像処理装置１０Ａを含む立体形状計測装置５０の動作の一例について説明する。

図１７は、図１５に示す主制御部１５ＡのＣＰＵにより、各画素の表面位置における濃度を求める際の手順の一例を示すフローチャートである。図１７において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。この手順は、図４のステップＳ１にかえて実行される。

まず、ステップＳ５１において、撮像制御部２５は、表面３３に垂直な高さｈ方向に離散的な位置ｈ１、ｈ２、・・・、ｈｐのそれぞれで、撮像部６０に物体３０の撮像を行わせる。そして、画像取得部２１Ａは、各位置の画像を取得する。

次に、ステップＳ５２において、表面特定部２６は、各画素の測定最高濃度Ｇ（ｈｓ）を抽出する。

次に、ステップＳ５３において、表面特定部２６は、測定最高濃度Ｇ（ｈｓ）が閾値以上の各画素について、推定最高濃度を与える高さμを求める。

ここで、推定最高濃度を与える高さμの算出方法について詳細に説明する。

図１８は、各画素の高さｈ方向の濃度分布の一例を示す説明図である。推定最高濃度を与える高さμを求めるにあたり、まず、各画素の高さｈ方向の濃度分布のうち、最高濃度の近傍の分布が次の式（１２）で示すガウス分布で近似されるものと考える（図１８参照）。

ただし、μは頂点位置、σ^２は分散を表すものとする。また、以下の説明では、濃度Ｇの分布をｇで表すものとする。

頂点μを求める方法としては、たとえば式（１２）の１階微分に対してゼロクロッシングを行う方法が挙げられる。しかし、この方法は１階微分した結果が線形である場合にのみ適用することができる一方、式（１２）の１階微分した結果は必ずしも線形とはならない。
いま、式（１２）の対数を考える。

このとき、式（１３）の１階微分は、次のように書ける。

この式（１４）から明らかなように、式（１３）（式（１２）の対数）の１階微分は１次式となる。このため、式（１３）に対しては、ゼロクロッシングを適用することが可能であることがわかる。ここで、Ｒ（ｘｍ，ｙｎ，ｈ）＝ｌｎ［ｇ（ｘｍ，ｙｎ，ｈ）］と置き換えると、Ｒ（式（１３））の１階微分は次のように表せる。

図１９（ａ）は、ＲおよびＲの１階微分Ｒ’のゼロクロッシングについて説明するための図であり、（ｂ）は（ａ）を一部拡大してＲ’のゼロクロッシングについてより詳細に説明するための図である。

Ｒ’のゼロクロッシングにより、μはＲの頂点の位置として、測定最高濃度Ｇ（ｈｓ）を与える高さｈｓおよびその前後の測定位置ｈｓ−１、ｈｓ＋１を用いて次の式（１６）のように表すことができる（図１９（ａ）および（ｂ）参照）。

また、撮像位置ｈ１、ｈ２、・・・、ｈｐの間隔（高さピッチ）が一定値Δｈであるとき、式（１６）は次のように変形される。

ここで、Ｒ（ｘｍ，ｙｎ，ｈ）＝ｌｎ［ｇ（ｘｍ，ｙｎ，ｈ）］であることから、次式（１８）が成り立つ。

式（１７）に式（１８）を代入すると、μは次式（１９）で与えられる。

図２０は、各画素のそれぞれで推定最高濃度を与える高さμを算出することで得られる表面３３の高さ分布の一例を示す説明図である。

このように、表面特定部２６は、各画素（ｘｍ，ｙｎ）のそれぞれについて、推定最高濃度を与える高さμ（ｘｍ，ｙｎ）を求めることができ、表面３３の高さ分布を得ることができる（図２０のハッチング部参照）。

次に、ステップＳ５４において、表面特定部２６は、μにもとづいて表面位置Ｚを求める。

具体的には、表面特定部２６は、表面３３の高さ分布を用いて、たとえば次式（２０）に示す最小２乗法などの方法で１次近似することにより、表面３３の位置Ｚ（ｘｍ，ｙｎ）を決定する。

ただし、Ｚ（ｘ，ｙ）は（ｘ，ｙ）における表面３３の高さｈ方向の位置を表し、α、β、γは１次近似で求められた係数を表すものとする。

次に、ステップＳ５５において、表面特定部２６は、各画素（ｘｍ，ｙｎ）のそれぞれについて、推定した表面位置Ｚにおける濃度Ｇ（ｘｍ，ｙｎ，Ｚ）を求める。

具体的には、表面特定部２６は、１次近似した平面上の各点の濃度Ｇを式（１２）を用いて推定する。いま、式（１２）のμは式（１７）または式（１９）により求まっている。このため、σを求めることができれば、式（１２）を用いて任意の高さｈでの濃度Ｇを求めることができる。

μを挟む２点ｈｓおよびｈｓ＋１の濃度分布上の値ｇ（ｈｓ）およびｇ（ｈｓ＋１）の対数どうしを引くことで、次式（２１）が得られる（式（１３）参照）。

この式（２１）を変形することで、σは次の式（２２）ように表すことができる事がわかる。

測定濃度Ｇとｇの規格化値は既知であるから、式（１２）に示す濃度分布ｇのμおよびσを得ることができれば、各画素の任意の高さｈにおける濃度Ｇを推定することができる。当然ながら、各画素の推定表面位置（式（２０）参照）における濃度Ｇを推定することもできる。

このように、ステップＳ５２−５５において、表面特定部２６は、複数の画像にもとづいて各画素の高さｈ方向の濃度分布を取得し、取得した濃度分布にもとづいて、表面位置および各画素の表面位置における濃度を特定する。

表面位置および表面位置における濃度を推定した後は、第１実施形態に係る画像処理装置１０と同様に図４のステップＳ２以降の処理を実行する。なお、本実施形態に係る画像処理装置１０Ａは、図４のステップＳ２の処理の一例を示す図５のステップＳ２１（ラベリング処理）において、ステップＳ５２で濃度が閾値より小さく表面位置Ｚの計算対象とならなかった画素に着目するとよい。

なお、式（２２）のσの計算に時間が掛かるなど、式（１２）を用いて任意の高さｈにおける濃度Ｇを推定する処理に時間がかかる場合は、測定最高濃度Ｇ（ｈｓ）を与える測定位置ｈｓそのものを表面位置と推定してもよい。この場合、図５のステップＳ２４で用いられる閾値ｔｈＴは、撮像位置ｈ１、ｈ２、・・・、ｈｐの間隔（高さピッチ）が広い場合は閾値を下げるなど、高さピッチに応じて決めてもよい。

本実施形態に係る画像処理装置１０Ａもまた、第１実施形態に係る画像処理装置１０と同様の効果を奏する。また、本実施形態に係る画像処理装置１０Ａは、共焦点光学系を有する撮像部６０により撮像された複数の高さｈ方向位置の画像から表面位置を求めることにより、物体３０の表面３３に設けられた穴部３２の位置を正確に求めることができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、１０Ａ 画像処理装置
２１、２１Ａ 画像取得部
２２、２２Ａ 画素種別推定部
２３ 特徴量算出部
２４ 補正部
２６ 表面特定部
３０ 物体
３１ 輪郭
３２ 穴部
３３ 表面
４１ 表面画素
４２ 穴所属画素
４３ 穴輪郭画素
４４ 穴内包画素
４６ 画素分割線分
５０ 立体形状計測装置
６０ 撮像部
Ａ 面積
ｒ 半径
Ｃ 中心位置
Ｇ 測定濃度
Ｇｓｕｒ＿ａｖｅ 平均濃度
ｇ 濃度分布
Ｔ 正規化濃度
ｔｈＴ 閾値
Ｔ_０ 正規化値
Ｔｉｎｖ 反転正規化濃度

Claims (10)

1. 円形状の輪郭を有する穴部が設けられた表面の画像を取得する画像取得部と、
   取得した画像の各画素の濃度が、前記表面に属する画素の濃度範囲ならびに前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素の濃度範囲の２種の濃度範囲のいずれに属するかに応じて、前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素を推定する画素種別推定部と、
   前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素の濃度分布にもとづいて前記穴部の半径および中心位置を求める特徴量算出部と、
   を備えた画像処理装置。
2. 前記特徴量算出部は、
   前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素の濃度を、これらの画素の最大濃度値より大きい正規化値から減じることにより反転させ、前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する各画素の反転させた濃度の合計を前記正規化値で除すことにより前記穴部の面積を求め、求めた面積を用いて前記穴部の半径を求める、
   請求項１記載の画像処理装置。
3. 前記特徴量算出部は、
   前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する各画素の前記反転させた濃度を用いて重心演算により前記穴部の中心位置を求める、
   請求項２記載の画像処理装置。
4. 前記画素種別推定部は、
   取得した画像に対してラベリング処理することにより前記穴部の輪郭に内包される画素を含む領域を推定し、推定した領域を囲う所定の領域の複数の画素の平均濃度を求め、前記所定の領域の複数の画素のうち、画素の濃度を前記平均濃度で除し前記正規化値を乗じることにより求められる正規化濃度が所定の閾値以上である画素を前記表面に属する画素と推定し、
   前記正規化値は前記所定の閾値より大きい、
   請求項３記載の画像処理装置。
5. 前記特徴量算出部は、
   前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素について前記正規化濃度を求め、前記正規化値から減じることにより、前記反転させた濃度を得る、
   請求項４記載の画像処理装置。
6. 前記画素種別推定部は、
   推定した前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素の各画素の濃度が、前記穴部の輪郭に内包される画素の濃度範囲および前記穴部の輪郭が属する画素の濃度範囲のいずれに属するかに応じて、前記穴部の輪郭に内包される画素をさらに推定し、
   前記穴部の輪郭が属する画素のそれぞれについて、各画素の中心と前記特徴量算出部により求められた前記穴部の中心位置とを結ぶ直線を仮定し、この直線と直交し画素を２分する画素分割線分であって前記穴部の中心位置側の分割領域が自身の濃度に応じた面積を有する画素分割線分の位置を求め、前記画素分割線分の位置にもとづいて前記穴部の半径および中心位置を補正する補正部、
   をさらに備えた請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記画像取得部は、
   前記表面に垂直な高さ方向に離散的な位置ごとに前記表面を含む物体を撮像することにより得られた前記物体の複数の画像を取得し、
   前記複数の画像にもとづいて各画素の前記高さ方向の濃度分布を取得し、取得した濃度分布にもとづいて表面位置および各画素の前記表面位置における濃度を特定する表面特定部、
   をさらに備え、
   前記画素種別推定部は、
   前記表面特定部により特定された各画素の前記表面位置における濃度に応じて前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素を推定する、
   請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記表面特定部は、
   前記高さ方向に離散的な位置ごとの画像における各画素の離散的な濃度分布をガウス分布で近似することにより、前記表面位置および各画素の前記表面位置における濃度を特定する、
   請求項７記載の画像処理装置。
9. 請求項７または８に記載の画像処理装置と、
   共焦点光学系を有し、前記物体を前記高さ方向に離散的な位置ごとに撮像することにより、前記物体の複数の画像を生成する撮像部と、
   を備えた立体形状計測装置。
10. 円形状の輪郭を有する穴部が設けられた表面の画像を取得するステップと、
    前記画像の各画素の濃度が、前記表面に属する画素の濃度範囲ならびに前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素の濃度範囲の２種の濃度範囲のいずれに属するかに応じて、前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素を推定するステップと、
    前記穴部の輪郭に内包される画素および前記穴部の輪郭が属する画素の濃度分布にもとづいて前記穴部の中心位置および半径を求めるステップと、
    を有する画像処理方法。

Images