JP5064265B2 - 画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、計測対象物の形状を検出する画像処理システム及び画像処理方法に関するものである。

計測対象物を３次元的に解析して形状検出を行う場合、合焦点法や共焦点法を用いることがある。合焦点法とは、同一の視野において焦点が移動した２次元画像データを複数撮像し、焦点ぼけの変化を分析することで計測対象物表面の奥行き位置情報を求める方法である。共焦点法とは、測定光が通過するレンズによる焦点付近に計測対象物を配置して、計測対象物の表面と焦点の位置とが一致した場合に、計測対象物の表面で反射される反射光の強度が大きくなることを利用した形状測定の方法である。

前記のように、合焦点法や共焦点法により形状測定を行う際には、一定の撮像視野において、焦点の移動した複数の２次元画像データを取得する必要がある。このため、従来はカメラ及びレンズと、計測対象物とを相対的に離間又は近接させることにより、焦点の移動を実現していた（特許文献１）。すなわち、計測対象物を固定した状態で、カメラ及びレンズを上下動させたり、カメラ及びレンズを固定した状態で、計測対象物を載置した設置ステージを上下動させたりしていた。また、焦点移動機構を組み込んだ特殊な焦点移動光学系を使用して、焦点の移動した複数の２次元画像データを取得する方法もある（特許文献２）。すなわち、レンズを移動機構により光軸方向に移動させることにより、焦点位置を光軸方向に移動させる。
特開２００２−１６８８００号公報 特開２００１−５１２００号公報

合焦点法や共焦点法にて形状検出を行うため、前記のようにカメラ及びレンズと、計測対象物とを相対的に離間又は近接させる方法では、カメラ及びレンズを高速に上下動させるか、又は計測対象物を載置した設置ステージを高速に上下動させる必要がある。カメラ及びレンズは重量が大きく、また、計測対象物及び設置ステージも重量が大きい。このため、重量の大きな構造物を高速移動させる必要があるため、駆動力を大とする必要があり、駆動機構が大となっていた。しかも、重量の大きな構造物を移動させることにより、大きな振動が発生していた。また、レンズを光軸方向に移動させ、焦点位置を光軸方向に移動させる移動機構を組み込んだ特殊な光学系を用いる方法では、光学系は複雑な機構を有し、かつ、高精度を必要とする。このため、レンズを通過した光が１点に集光しない、像が歪む、像が不鮮明である等の光学収差の問題を排除することが困難であった。

さらに、合焦点法及び共焦点法は、狭い視野では前記したような従来の方法で十分であるが、大視野で達成しようとすれば、機構が大きく複雑なものとなり、コスト高となる。

本発明は、上記課題に鑑みて、高速、高精度に複数の定置視野焦点移動画像データを取得して合焦点法や共焦点法にて形状検出ができ、しかもコンパクトな画像処理システム及び画像処理方法を提供する。

本発明の画像処理システムは、計測対象物の光学像を結像する光学系と、前記光学系からの計測対象物の光学像の焦点を移動可能とする１つの反射手段と、前記反射手段を移動させつつ反射手段から反射された光学像を撮像する撮像手段とを備え、定置視野の焦点のみ移動した光学像が写し出される複数の２次元画像データを取得するものである。

本発明の画像処理システムによれば、軽量な反射手段のみを操作することによって、焦点が移動し、かつ、視野の中で光学像の位置がシフトした複数枚の２次元画像データを取得する。この複数の２次元画像データに基づいて、定置視野の焦点のみ移動した複数枚の２次元画像データを取得することができる。ここで、視野とは、取得した２次元画像データの範囲をいう。

前記反射手段を移動させつつ反射手段から反射された光学像を撮像し、焦点が異なり、かつ、計測対象物の光学像の位置が光軸直交方向にシフトした複数の２次元画像データを得る撮像手段と、前記複数の２次元画像データを、定置視野の焦点のみ移動した光学像が写し出される複数枚の２次元画像データとなるように修正して修正２次元画像データとする修正手段とを備えることができる。ここで、光軸とは撮像手段の光学的な中心軸を意味するものとする。

前記修正手段により修正された複数の修正２次元画像データを記憶する記憶手段と、複数の修正２次元画像データに基づいて計測対称物の形状の検出を行う画像処理手段とを備えることができる。

前記修正手段は、２次元画像データの一部を切り取るものとすることができる。

前記光学系は、両側テレセントリック光学系とすることができる。テレセントリック光学系とは、主光軸がレンズ光軸に対して平行となるように設計されたレンズであり、画像処理に特に最適な光学系である。ディストーション（歪曲収差）が小さいため、計測対象物の寸法や位置を正確に捉えることが可能である。物体側にのみ主光線がレンズ光軸と平行であるものを、物体側テレセントリック光学系、像側にのみ主光線がレンズ光軸と平行であるものを、像側テレセントリック光学系、物体側と像側との両方で主光線がレンズ光軸と平行なものを両側テレセントリック光学系という。

本発明の画像処理方法は、計測対象物の光学像を結像し、前記光学系を透過した光学像を反射手段にて反射させ、前記反射手段から反射された光学像を撮像して計測対象物の光学像が写し出される２次元画像データを取得して、出力される２次元画像データにて計測対象物の形状を検出する画像処理方法であって、前記反射手段を、計測対象物に対して近接・離間するように移動させて、焦点が異なり、かつ、計測対象物の光学像の位置が光軸直交方向にシフトした複数の２次元画像データを取得して、焦点の異なる計測対象物の光学像が撮像視野内の定位置となるように２次元画像データを修正した後、修正された複数の修正２次元画像データに基づいて計測対称物の形状の検出を行うものである。

本発明では、軽量な反射手段のみを操作させるものであるため、複数の定置視野焦点移動画像データを取得することができ、合焦点法や共焦点法にて計測対象物の形状検出を行うことができる。また、焦点を移動させるための駆動力を小とすることができるため、駆動機構を小とすることができて、装置のコンパクト化を図ることができる。さらには、作動中の振動も小とすることができ、高速、高精度に複数の定置視野焦点移動画像データを取得することができる。

撮像手段と修正手段を備えることにより、容易に定置視野焦点移動画像データを取得することができる。また、記憶手段と画像処理手段とを備えると、容易かつ高精度に計測対象物の形状検出を行うことができる。

２次元画像データの一部を切り取ると、容易に修正２次元画像データを取得することができる。

両側テレセントリック光学系を用いると、広視野観察を行う場合でも、歪曲収差をはじめ収差を抑えることができ、計測対象物の形状や寸法を正確に測定することができる。

本発明の画像処理方法を用いれば、焦点の移動した複数の定置視野焦点移動画像データを確実に取得することができる。

以下本発明の実施の形態を図１〜図４に基づいて説明する。

図１は本発明の画像処理システムを示し、本発明の画像処理システムは、凹凸を有する計測対象物１について、定置視野の焦点のみ移動した光学像が写し出される複数の２次元画像データを取得して、合焦点法や共焦点法にて計測対象物１の形状測定を行うものである。画像処理システムは、計測対象物１の光学像を結像する光学系２と、光学系２を透過した光学像を反射する反射手段３と、反射手段３から反射された光学像を撮像して計測対象物１の２次元画像データを得る撮像手段４と、複数の２次元画像データを、定置視野の焦点のみ移動した複数の画像データとなるように修正して修正２次元画像データとして修正２次元画像データとする修正手段７と、修正手段７により修正された複数の修正２次元画像データを記憶する記憶手段８と、複数の修正２次元画像データに基づいて計測対称物１の形状の検出を行う画像処理手段５とを備えている。

光学系２は、計測対象物１の光学像を結像するものであり、両側テレセントリック光学系を用いている。両側テレセントリック光学系とは、物体側と像側との両方で主光線がレンズ光軸と平行となるように設計されたレンズであり、画像処理に特に最適な光学系である。ディストーション（歪曲収差）が小さいため、計測対象物の寸法や位置を正確に捉えることが可能である。これにより、広視野観察を行う場合でも、歪曲収差をはじめ収差を抑えることができ、計測対象物１の形状や寸法を正確に測定することができる。

反射手段３は、光学系２の反計測対象物１側に配設されている。反射手段３は、光学系２を透過した光学像を反射するものであり、ミラーを用いている。ミラーを水平方向に対して所定角度（本実施形態では４５°）傾斜させている。このミラーは、図示省略のアクチュエータによって、計測対象物１に対して近接・離間するように移動可能となっている。

撮像手段４は、反射手段３にて反射された光学像を撮像するものであり、例えばＣＣＤカメラを用いている。このＣＣＤカメラにて、ミラー位置の異なる複数箇所Ｐ_１、Ｐ_２、Ｐ_３において、計測対象物１の光学像を取得することができる。これにより、撮像視野内に写る計測対象物１の光学像の位置が、光軸直交方向にシフトした複数（ｎ枚）の２次元画像データＩ_１、Ｉ_２、Ｉ_３・・・Ｉ_ｎを取得することが可能となる。撮像視野とは、撮像手段４に写る範囲、すなわち取得した２次元画像データの範囲をいい、光軸とは撮像手段４の光学的な中心軸を意味するものとする。

修正手段７は、撮像手段４にて取得した複数の２次元画像データについて、焦点の異なる計測対象物１の光学像の位置が撮像視野内の定位置となるように修正し、修正２次元画像データとするものである。すなわち、計測対象物１の中心が撮像手段４の光軸上に位置するように、２次元画像データの一端部及び／又は他端部を切り取る。本実施形態では、撮像手段４にマイクロコンピュータ機能を有するものとし、修正手段７を撮像手段内に設けている。

画像処理手段５は、例えばマイクロコンピュータにて構成されるものであり、撮像手段４から出力される画像信号を用いて画像処理するものである。すなわち、撮像手段４及び修正手段７にて得られた修正２次元画像データを、画像処理手段内に設けられた記憶手段８に記憶させて、このデータに基づいて計測対象物１の形状の検出を行うものである。

次に、画像処理システムを使用して凹凸を有する計測対象物１の形状の検出を行う方法を説明する。まず、図２に示すように、ミラー３の位置を初期状態Ｐ_１に位置させる。そして、図示省略のアクチュエータにて、ミラー３の位置をＰ_３にまで移動させて、ミラー３を計測対象物１から連続的に離間させる。このミラー３の移動により、焦点平面はＦ_１からＦ_３に移動する。なお、図２において、Ｆ_１はミラー３がＰ_１に位置するときの焦点平面であり、Ｆ_２はミラー３がＰ_２に位置するときの焦点平面であり、Ｆ_３はミラー３がＰ_３に位置するときの焦点平面である。

前記のように、ミラー３がＰ_１からＰ_３まで移動する間、複数箇所（図示例では３箇所）で、計測対象物１の光学像が写し出される２次元画像データをカメラ４にて取得する。すなわち、ミラー３がＰ_１の位置における２次元画像データＩ_１ａ、ミラー３がＰ_２の位置における２次元画像データＩ_２ａ、ミラー３がＰ_３の位置における２次元画像データＩ_３ａをカメラ４にて取得する。なお、Ｐ_１からＰ_２までのミラー３の移動量はｌ_２−ｌ_１であり、Ｐ_２からＰ_３までのミラー３の移動量はｌ_３−ｌ_２である。

Ｐ_１での２次元画像データＩ_１ａは焦点平面がＦ_１であり、図３（ａ）に示すように、計測対象物１の光学像６が、カメラ４の撮像視野９ａの光軸Ｏ_１に対して左側にずれている。Ｐ_２での計測対象物１の２次元画像データＩ_２ａは焦点平面がＦ_２であり、図３（ｂ）に示すように、計測対象物１の光学像６の中心が、カメラ４の撮像視野９ａの光軸Ｏ_１上に位置することになる。すなわち、Ｉ_２ａは、Ｉ_１ａと焦点が異なり、かつ、計測対象物１の光学像６の位置がＩ_１ａの位置から光軸直交方向に右側へシフトしている。このシフト量は、Ｐ_１からＰ_２までのミラー３の移動量ｌ_２−ｌ_１に対応する。

Ｐ_３での計測対象物１の２次元画像データＩ_３ａは焦点平面がＦ_３であり、図３（ｃ）に示すように、計測対象物１の光学像６が、カメラ４の撮像視野９ａの光軸Ｏ_１に対して右側にずれている。すなわち、Ｉ_３ａは、Ｉ_１ａやＩ_２ａと焦点が異なり、かつ、計測対象物１の光学像６の位置がＩ_２ａから光軸直交方向にさらに右側へシフトしている。このシフト量は、Ｐ_３からＰ_２までのミラー３の移動量ｌ_３−ｌ_２に対応する。

このようにして得られた複数の２次元画像データＩ_１ａ、Ｉ_２ａ、Ｉ_３ａを、修正手段７にて処理を行う。すなわち、２次元画像データＩ_１ａ、Ｉ_２ａ、Ｉ_３ａにおける光学像６が、撮像視野９ａ内の定位置となるように、２次元画像データＩ_１ａ、Ｉ_２ａ、Ｉ_３ａの一端部１０及び／又は他端部１１を切り取る。具体的には、Ｉ_１ａについて、図４（ａ）の点線から他端部１１までを切り取ってＰ_１の位置における修正２次元画像データＩ_１ｂを得る。Ｉ_２ａについては、図４（ｂ）の左側の点線から一端部１０までを切り取るとともに、右側の点線から他端部１１までを切り取ってＰ_２の位置における修正２次元画像データＩ_２ｂを得る。Ｉ_３ａについては、図４（ｃ）の左側の点線から一端部１０までを切り取ってＰ_３の位置における修正２次元画像データＩ_３ｂを得る。これにより、修正２次元画像データＩ_１ｂ、Ｉ_２ｂ、Ｉ_３ｂにおいて、計測対象物１の光学像６の位置が撮像視野９ｂ内で定位置となる。本実施形態では、修正２次元画像データＩ_１ｂ、Ｉ_２ｂ、Ｉ_３ｂの光学像６の中心が、光軸Ｏ_２上に位置するようにしている。

このようにして得られた修正２次元画像データＩ_１ｂ、Ｉ_２ｂ、Ｉ_３ｂを、画像処理手段５の記憶手段８に記憶させる。

次に、記憶手段８に記憶されている複数の修正２次元画像データＩ_１ｂ、Ｉ_２ｂ、Ｉ_３ｂに基づいて、画像処理手段５により例えば合焦点法にて計測対称物１の形状の検出を行う。すなわち、修正２次元画像データＩ_１ｂ、Ｉ_２ｂ、Ｉ_３ｂの合焦度の検出を行い、各画像の合焦度を比較する。そして、各画像で、合焦度の最も高い画素での輝度値を画像として取得する。これにより、焦点距離を３段階で取得した全焦点画像を得ることができる。そして、計測対象物１の形状の検出を行うことができる。

本発明では、軽量な反射手段３のみを操作させるものであるため、複数の定置視野焦点移動画像データを取得することができ、合焦点法や共焦点法にて計測対象物１の形状検出を行うことができる。また、焦点を移動させるための駆動力を小とすることができるため、駆動機構を小とすることができて、装置のコンパクト化を図ることができる。さらには、作動中の振動も小とすることができ、高速、高精度に複数の定置視野焦点移動画像データを取得することができる。

撮像手段４と修正手段７を備えることにより、容易に定置視野焦点移動画像データを取得することができる。また、記憶手段８と画像処理手段５とを備えると、容易かつ高精度に計測対象物１の形状検出を行うことができる。

２次元画像データの一部を切り取ると、容易に修正２次元画像データを取得することができる。

両側テレセントリック光学系を用いると、広視野観察を行う場合でも、歪曲収差をはじめ収差を抑えることができ、計測対象物１の形状や寸法を正確に測定することができる。

以上、本発明の実施形態につき説明したが、本発明は前記実施形態に限定されることなく種々の変形が可能であって、例えば、修正手段７を撮像手段内に設けたが、画像処理手段５に設けてもよく、さらには、撮像手段４や画像処理手段５とは別体のコンピュータに設けてもよい。ミラー３の角度は、４５°に限られず水平方向に対して０°より大であって、９０°より小であれば、種々の角度に配置することができる。ミラー３を計測対象物１に対して離間させつつ２次元画像データの取得を行ったが、ミラー３を計測対象物１に対して近接させつつ２次元画像データの取得を行ってもよい。すなわち、ミラー３を初期段階でＰ_３に位置させ、次いでＰ_２、Ｐ_１に位置させるようにしてもよい。実施形態では、説明を簡単にするため、Ｐ_１〜Ｐ_３の３枚の２次元画像データを取得したが、２枚以上であれば、さらに多数の２次元画像データを取得して解析を行ってもよい。この場合、シャッタースピードを速くして撮像回数を増やす。実施形態では、ミラー３を連続的に移動させつつ２次元画像データの取得を行うものであったが、画像取得位置でミラー３を停止させてもよい。撮像手段４は、ＣＣＤ方式に限られず、撮像管、ＣＭＯＳ方式の等種々のものを用いることができる。撮像手段４の撮像視野は、矩形状に限られず円形、楕円形等種々の形状であってよい。この場合も、２次元画像データの一部を切り取ることにより、定置視野の焦点のみ移動した複数枚の画像データを取得することができる。

本発明の画像処理システムの簡略図である。 本発明の画像処理システムを作動させる状態を示す簡略図である。 本発明の画像処理システムを用いて取得した２次元画像データの平面図であって、（ａ）はミラー位置がＰ_１の２次元画像データ、（ｂ）はミラー位置がＰ_２の２次元画像データ、（ｃ）はミラー位置がＰ_３の２次元画像データである。 本発明の画像処理システムを用いて取得した２次元画像データを処理して修正２次元画像データを得る方法を示す２次元画像データの平面図であって、（ａ）はミラー位置がＰ_１の２次元画像データ、（ｂ）はミラー位置がＰ_２の２次元画像データ、（ｃ）はミラー位置がＰ_３の２次元画像データである。

符号の説明

１ 計測対象物
２ 光学系
３ 反射手段
４ 撮像手段
５ 画像処理手段
６ 光学像
７ 修正手段
９ 撮像視野
Ｆ 焦点

Claims (6)

1. 計測対象物の光学像を結像する光学系と、
   前記光学系からの計測対象物の光学像の焦点を移動可能とする１つの反射手段と、前記反射手段を移動させつつ反射手段から反射された光学像を撮像する撮像手段とを備え、
   定置視野の焦点のみ移動した光学像が写し出される複数の２次元画像データを取得することを特徴とする画像処理システム。
2. 前記反射手段を移動させつつ反射手段から反射された光学像を撮像し、焦点が異なり、かつ、計測対象物の光学像の位置が光軸直交方向にシフトした複数の２次元画像データを得る撮像手段と、
   前記複数の２次元画像データを、定置視野の焦点のみ移動した光学像が写し出される複数の２次元画像データとなるように修正して修正２次元画像データとする修正手段とを備えたことを特徴とする請求項１の画像処理システム。
3. 前記修正手段により修正された複数の修正２次元画像データを記憶する記憶手段と、複数の修正２次元画像データに基づいて計測対称物の形状の検出を行う画像処理手段とを備えたことを特徴とする請求項２の画像処理システム。
4. 前記修正手段は、２次元画像データの一部を切り取るものであることを特徴とする請求項２又は請求項３の画像処理システム。
5. 前記光学系は、両側テレセントリック光学系であることを特徴とする請求項１〜４のいずれか１項の画像処理システム。
6. 計測対象物の光学像を結像し、前記光学系を透過した光学像を反射手段にて反射させ、前記反射手段から反射された光学像を撮像して計測対象物の光学像が写し出される２次元画像データを取得して、出力される２次元画像データにて計測対象物の形状を検出する画像処理方法であって、
   前記反射手段を、計測対象物に対して近接・離間するように移動させて、焦点が異なり、かつ、計測対象物の光学像の位置が光軸直交方向にシフトした複数の２次元画像データを取得して、
   焦点の異なる計測対象物の光学像が撮像視野内の定位置となるように２次元画像データを修正した後、
   修正された複数の修正２次元画像データに基づいて計測対称物の形状の検出を行うことを特徴とする画像処理方法。

Images