JP3701353B2

JP3701353B2 - 画像取得装置

Info

Publication number: JP3701353B2
Application number: JP27507595A
Authority: JP
Inventors: 稔中西
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 1995-09-29
Filing date: 1995-09-29
Publication date: 2005-09-28
Anticipated expiration: 2015-09-29
Also published as: JPH0996513A

Description

【０００１】
【産業上の利用分野】
本発明は，工業製品の検査や工程チェックのために、撮影手段と、画像処理手段を用いて試料の寸法等の特徴量を測定する画像取得装置に関する。
【０００２】
【従来の技術】
従来、工業製品の寸法等の特徴量を自動測定する場合、試料を透過もしくは反射照明して、テレビカメラで撮影した画像にデジタル画像処理を施す装置が一般的に使用されている。このような装置においては、複数の試料や同一試料内の複数箇所の測定を行う際に、試料の振動や傾斜等によりテレビカメラと試料の距離が変化することによって生じる焦点ズレを補正するために、レーザ測長や画像処理を用いて焦点を自動で合わせた後に、撮影する方法がとられてきた。
このような、焦点を合わせた後に撮影する方法では、焦点測定から焦点合わせ、そして撮影の動作となるため、試料が焦点測定位置に設置されてから実際に撮影するまでに時間を要し、これが無視できない場合がある。即ち、搬送等により試料が焦点測定位置に設置されてから実際に撮影するまで時間差があるため，振動の影響等により撮影する時点で焦点が合っているという保証は無いのである。
このため、機械的に試料をおさえて振動を抑制する方法が採られるが、強い力でおさえると損傷が生じてしまうような試料の場合には、機械的に抑えるのには限界がある。
また、顕微鏡のような狭い視野での測定では、小さな振動でも焦点を合わせるのに大きく影響するため、特に製造ライン中等大きな振動のある箇所での測定は困難であった。
【０００３】
【発明が解決しようとする課題】
上記のように、焦点を合わせた後に撮影する方法においては、試料が焦点測定位置に設置されてから実際に撮影するまでに時間を要するため、搬送される試料の振動の影響により、撮影する時点で焦点がズレてしまい問題となっていた。
本発明は、これに対応するもので、試料の寸法等の特徴量を測定する画像取得装置であって、測定に最適な画像をえることができる装置を提供しようとするものである。
詳しくは、移動手段によってテレビカメラを移動させながら、ほぼ焦点が合う位置を含め複数の焦点位置で試料を撮影し、これらの撮影画像を記録し、後から所望の焦点位置の画像を画像処理により選択することにより、測定に最適な画像を取り込む画像取得装置を提供しようとするものである。
【０００４】
【課題を解決するための手段】
本発明の画像取得装置は、工業製品の検査や工程チェックのために、撮影手段と、画像処理手段を用いて試料の寸法等の特徴量を測定する画像取得装置であって、搬送されている試料の透過光もしくは反射光を撮影する撮影手段と、該撮影手段にてほぼ焦点が合う画像を含め焦点位置の異なる試料の画像を複数連続して撮影できるように、試料に対して焦点位置が変化するような方向へ撮影手段を移動させる撮影手段移動手段と、撮影手段にて撮影された複数の焦点位置の異なる複数の試料の画像を記録できる画像記録手段と、画像記録手段に記録された前記複数の画像から予め定めた方法によって、所望の焦点位置の画像を選択する画像選択機能を備えた画像処理手段と、該画像処理手段により選択された画像を外部へ出力する画像出力手段と、操作及び全体の制御を行う操作制御手段とを有するもので、前記画像選択機能を備えた画像処理手段は、撮影された各画像の全体もしくは一部に対して微分処理を施し、微分処理の結果の最大値が最大になる画像を選択する処理を行うものであることを特徴とするものである。
【０００５】
【作用】
本発明の画像取得装置は、このような構成にすることにより、工業製品の検査や工程チェックのために、撮影手段と、画像処理手段を用いて試料の寸法等の特徴量を測定する画像取得装置であって、測定に最適な画像を得ることができる装置の提供を可能としている。
詳しくは、試料の透過光もしくは反射光を撮影する撮影手段と、該撮影手段にてほぼ焦点が合う画像を含め焦点位置の異なる試料の画像を複数連続して撮影できるように、試料に対して焦点位置が変化するような方向へ撮影手段を移動させる撮影手段移動手段とを有することにより、ほぼ焦点が合う画像を含め焦点位置の異なる複数枚の画像を連続的に撮影することを可能としている。
そして、撮影手段にて撮影された複数の焦点位置の異なる複数の試料の画像を記録できる画像記録手段と、画像記録手段に記録された前記複数の画像から予め定めた方法によって、所望の焦点位置の画像を選択する画像選択機能を備えた画像処理手段とを有することにより、撮影された画像から所望の焦点で撮影された画像の選択を可能としている。
【０００６】
【実施例】
本発明の画像取得装置を実施例に基づいて説明する。
図１は実施例の画像取得装置の概略構成を示すとともに、本実施例画像取得装置を用い、厚さ数１５０μｍのウエブ状の鉄板に腐蝕により外形加工された試料が複数設けられたものに対し、試料の略３００μｍ幅の貫通スリットの幅をウエブ状の鉄板を搬送させながら測定する場合を示した図である。
図１中、１１０は試料（製品）で、１２０は撮影装置（カメラ）、１２１は顕微鏡レンズ、１２２はＣＣＤカメラ、１３１は光源（キセノンランプ）、１３２は光ファイバー、１４０はＺ軸ステージ（Ｚ軸方向移動手段）、１４１はＸ軸ステージ（Ｘ軸方向移動手段）、１５０は駆動装置、１６０は操作制御装置、１７０は寸法測定装置、１８０はテレビモニタである。
本実施例の画像取得装置は、図１に示すように、試料１１０に光ファイバー１３２により光源（キセノンランプ）１３１からの光をあて、試料１１０の透過光を、焦点位置を変化させるために、試料１１０に対してほぼ垂直（Ｚ軸）方向に沿って移動して撮影する撮影装置（カメラ）１２０で焦点位置の異なる複数の画像を撮影し、これを操作制御装置１６０内の画像記録装置（メモリ）１６３に記録し、記録された画像に対して所定の方法により画像処理を行い、焦点の位置が最も良い画像を選択し、操作制御装置１６０内部の画像出力装置１６５により寸法測定装置１７０へと出力するものである。
Ｚ軸ステージ１４０は試料１１０に対してほぼ垂直（Ｚ軸）な方向に沿って撮影装置（カメラ）１２０を移動させるもので、駆動装置１５０により駆動され、撮影装置（カメラ）１２０を、ほぼ焦点が合う位置を含め、焦点を変化させる方向に移動させるものである。
操作制御装置１６０は装置全体の動作を制御するものであるが、本実施例の場合には、内部に画像記録装置（メモリ）１６３や画像出力装置１６５を備えている。
尚、Ｘ軸ステージ１４１は、試料１１０を連続して撮影する間、試料１１０の搬送にあわせて搬送方向に撮影装置（カメラ）１２０を移動させるもので、駆動装置１５０により駆動される。
【０００７】
始めに、試料（製品）１１０のスリット幅の測定動作を簡単に説明する。
先ず、光ファイバー１３２により試料（製品）１１０のスリット部に対し、図１で下側から光をあてる。これに対し、撮影装置（カメラ）１２０は、試料からの透過光を顕微鏡レンズ１２１によって受けとり、ＣＣＤカメラ１２２の受像素子上にスリットの拡大像を投影する。
光ファイバー１３２は、光源（キセノンランプ）１３１の光を伝達して撮影装置１２０に対して試料１１０の反対側から透過光源となるように照射するものである。
ＣＣＤカメラ１２２は受光素子（受像素子）の露光時間を可変とする電子シャッター機能を有している。
次いで、Ｚ軸ステージ１４０によりＣＣＤカメラ１２２と顕微鏡レンズ１２１を試料１１０面と垂直な方向へ移動させ、同時に、Ｘ軸ステージ１４１でファイバー１３２とＣＣＤカメラ１２２と顕微鏡レンズ１２１をＺ軸ステージごと試料１１０の搬送方向へ移動させる。
Ｘ軸ステージ１４１の移動は試料１１０の搬送速度とほぼ等しくなるようにして、Ｚ軸ステージ１４０の移動は、撮影装置（カメラ）１２０の焦点が合う位置を通るように、所定の範囲を移動させるもので、移動中に、ほぼ焦点が合った画像を含め、複数の画像を撮影する。
駆動装置１５０は、Ｚ軸ステージ１４０、Ｘ軸ステージ１４１の駆動装置で、後述の操作制御部１６０からの命令で各ステージを駆動させる。
撮影装置１２０により得られた複数の画像は、操作制御装置１６０内部の画像記録装置（メモリ）１６３に記録され、記録された前記複数の画像から予め定めた方法によって、画像処理が施されて所望の焦点位置の画像を選択する。選択された画像は、操作制御装置１６０内部の画像出力装置１６５により寸法測定装置１７０へと送られる。
寸法測定装置１７０は、操作制御装置１６０から出力された画像に対し画像処理によりスリット幅を測定し、測定結果をテレビモニター１８０に表示する。
【０００８】
次に、操作制御装置１６０について図２を用い、更に説明する。
図２は操作制御装置１６０のデータの流れを直線で示したもので、細線は操作制御装置１６０内部での流れを示し、太線は操作制御装置１６０の外部との流れを示している。
図２中、１６１はＣＰＵ、１６２はＡＤ変換装置、１６３はメモリ（画像記録装置）、１６４はＩ／Ｏ、１６５は画像出力装置である。
ＣＰＵ１６１は、予め設定された手順に従って全体の動作を制御する。また、本実施例においては、後述するメモリー（画像記録装置）１６３上の画像に対して演算を行う画像処理演算器の役割も担っている。
ＡＤ変換装置１６２は、図１に示すＣＣＤカメラ１２２からのアナログ信号をデジタル信号に変換する。
ＡＤ変換装置１６２装置で変換されたデジタル信号はデジタルデータとして、１画面ごとにメモリ（画像記録装置）１６３に蓄えられる。
ＣＣＤカメラ１２２からは絶えずアナログ画像が出力されており、ＣＰＵから１６１の指令があった直後に出力された信号が蓄えられる。
尚、本実施例ではメモリ１６３はＩＣメモリである。
Ｉ／Ｏ１６４は、ＣＰＵ１６１からの指令により図１の駆動装置１５０に動作指令を送る。
画像出力装置１６５は、メモリ１６３上の任意のデジタル画像をアナログ画像に変換して、後段の図１に示す寸法測定装置１７０に送る。
【０００９】
更に、図１に示す本実施例の画像取得装置の動作を詳しく説明する。
予め、測定に入る前に、ＣＣＤカメラ１２２が、焦点が合った状態で試料（製品）１１０を撮影できるように、Ｚ軸ステージ１４０のおおよその高さを求めておく。
試料（製品）１１０の搬送を止めた状態でＺ軸ステージ１４０を上下させ、目視または自動で焦点が合う位置を探せば良く、正確な位置を求める必要はない。
おおよそ焦点が合う位置が求められたら、Ｚ軸ステージ１４０をその位置よりも上もしくは下に所定量だけ移動させておく。この移動量は搬送時に製品が振動する幅よりすこし多めに設定する。
本実施例では、試料（製品）１１０が、搬送時には、先の停止時の場合よりも上下に最大約１ｍｍずつ振動することが事前の測定で判明しているので、移動量を１．５ｍｍとした。
【００１０】
次いで、測定が開始されると、操作制御装置１６０内のＣＰＵ１６１が、Ｉ／Ｏ１６４を介して、ステージ駆動装置１５０に対して、Ｚ軸ステージ１４０を一定速度で移動させるように移動指令を出す。
移動方向は、移動指令を受けた時点でＺ軸ステージ１５０が焦点位置よりも下にあれば上に、焦点位置よりも上にあれば下方向に移動させる。この際のＺ軸ステージ１４０の移動量は、前述の１．５ｍｍの２倍の３．０ｍｍとした。そうすることにより、焦点位置を中心に上下±１．５ｍｍの範囲を移動することとなる。移動速度は後述する。
Ｚ軸ステージ１４０の動作開始と同時に、操作制御装置１６０内のＣＰＵ１６１は、ＡＤ変換装置１６２とメモリ１６３に対し、ＣＣＤカメラ１２２からの画像をデジタルデータに変換してメモリ（画像記録装置）１６３に記録するように指令する。
この動作はＺ軸ステージ１４０の移動が終了するまで続けられ、複数の画像を撮影し、メモリ１６３内の異なる領域にデジタルデータとして蓄えられる。
ここで複数の画像を得る高さの間隔が問題となるが、使用する光学系の焦点深度による。
本実施例では、事前の実験により高さ１００μｍごとに撮影すれば、かならず１枚は、所望の焦点位置の画像が得られることが分かっているので１００μｍ間隔ととした。
ＣＣＤカメラ１２２は、一般的なＮＴＳＣ規格のものを使用しているので連続撮影で１／３０秒（ｓｅｃ）おきに一枚の画像が得られる。Ｚ軸ステージ１５０の移動量が３ｍｍなので、Ｚ軸ステージ１４０を３ｍｍ／ｓｅｃで移動させて連続的に撮影すれば、各画像がえられる位置の間隔は３ｍｍ／３０＝１００μｍとなり、本実施例の画像取得装置の場合は、図１に示すように試料１１０に対してほぼ垂直な方向（Ｚ軸）に撮影装置を移動させており、高さ１００μｍおきの画像が得られる。
本実施例では、Ｚ軸ステージ１４０を連続的に移動させているので、ＣＣＤの受光素子が露光している時間も高さは変化している。そこで、電子シヤッター機能を用いて露光時間をできるだけ短かくすることにより、露光中の高さ変化の影響を抑えている。
Ｚ軸ステージ１４０は３ｍｍ／ｓｅｃで３ｍｍ移動するので、本実施例では製品は停止せずに連続的に搬送されているので、１秒間の間に試料１１０は移動して撮影対象が顕微鏡の視野から外れてしまう。そこで、撮影中にＸ軸ステージ１５１で製品の搬送方向へ搬送速度と同じ速度で全体を移動させることによって、この１秒間、撮影対象を視野内に収めてている。
【００１１】
次に、メモリ（画像記録装置）１６３に蓄えられた複数のデジタル画像から所望の画像を選択する方法について、図３に基づいて説明する。
本実施例の画像取得装置においては、操作制御装置１６０内のＣＰＵ１６１で画像データを演算した結果から画像を選択する。具体的な演算の内容を以下説明する。
本実施例では、前述のように厚さ数１５０μｍの貫通スリットのスリット幅測定を目的としている。顕微鏡で拡大して撮影したスリット３００は、図３（ａ）のようになる。
図３（ａ）の３１０の部分が貫通して明るく見える開口部で、３２０が鉄板で遮られて暗く見える遮光部で、Ｌが測定するスリット幅である。
図３のＡ１−Ａ２線上の画像データの値を縦軸、位置を横軸にとったグラフが図３（ｂ）、図３（ｃ）である。
図３（ｂ）は、焦点が合っている場合のグラフであるが、焦点があっていないと例えば図３（ｃ）のようになる。
図３（ｂ）のＬａ（Ｌａ≒Ｌ）が測定したい寸法で、予め定めたスライスレベルＳＬよりも値の大きな画素の数を数えることにより１画素の長さから換算してＬａの実寸を求める方法が一般的である。
焦点があっていない図３（ｃ）の場合には、図３（ｂ）の場合と同じスライスレベルＳＬを用いて幅Ｌｂを測定すると、スライスレベルＳＬよりも値の大きな画素の数は図３（ｂ）の場合と異なり、Ｌａとは異なる測定結果Ｌｂが得られる。
このように、焦点位置の違いにより測定結果が変わってしまうので、本実施例の画像取得装置では、メモリに蓄えられた複数の画像の中から図３（ｂ）のような画像を選択することになる。
【００１２】
上記においては、１画素の大きさから、Ｌａ、Ｌｂを求めているが、単に画素数を数えるだけでなく、画素の値を利用して、１画素よりも短い精度で寸法を測定する方法もよく使われている。そのような寸法測定処理を図１に示す寸法測定装置１７０で行わせても良い。
【００１３】
図３（ｂ）のようにある線上の連続したデータに対して、ＣＰＵ演算で一次微分を施すと図４（ａ）のようになり、図３（ｃ）のデータは、図４（ｂ）のようになる。ここでは一次微分処理データを用いているが、必ずしもこれに限定される必要はない。二次微分処理データを使用しても良い。
この微分処理は、一般的なデジタル信号処理で、空間フィルタリング処理とも呼ばれているもので、例えば、得られた画像データに対し、フィルタを用いて積和算することにより行われる。
尚、ここでは、画素データ群Ｐ（Ｘ_ij）にフィルタテーブルＷ（Ａ_kj）を用い、Ｐ（Ｘ_ij）とＷ（Ａ_kj）との積和算を行うものをフィルタと言う。
例えば、特定画素列のＸ方向に限定した場合には、図５（ａ）に示すようにフィルタテーブルを設定することにより一次微分が行え、図５（ｂ）にフィルタテーブルを設定することにより二次微分が行える。
二次微分の場合、着目画素データをＸ_nとすると、この画素に対応する画素データの積和算は、（−１）×Ｘ_n-2＋（−１）×Ｘ_n-1＋（＋２）×Ｘ_n＋（＋２）×Ｘ_n+1＋（−１）×Ｘ_n+2＋（−１）×Ｘ_n+3 となる。
【００１４】
図３（ｂ）のような焦点が合っている画像は、貫通部と非貫通部の境界がはっきりしているので、近傍のデータの値の差が大きくなり、図４（ａ）のＡ３の部分のようになる。
図３（ｃ）のような焦点が合っていない画像では、近傍の差は図３（ｂ）に比べて小さく、同様な一次微分処理を施すと図４（ｂ）のようになり、境界部もＡ４のようになだらかなデータとなる。
図４（ａ）のＡ３と、図４（ｂ）のＡ４の部分のレベル値Ｌ１、Ｌ２では、Ａ３のレベル値Ｌ１の方が大きくなるので、一次微分処理を施した境界部のデータが最大になるような画像を選択すればよいことになる。
境界部を探すには、画像の中で最大値を探せばよいので、結局、一次微分値の最大値が最大となる画像を選択すればよいことになる。
【００１５】
上記のように、Ｚ軸ステージにより焦点位置を移動しながら撮影装置（カメラ）１２０によって、ほぼ焦点があった画像を含めて連続的に撮影された複数の画像の画像データに対し、微分処理を行い、得られた各微分処理データの最大値の中で、最大となる微分処理データに対応する画像データを選択すれば、これが、焦点がほぼ合った画像の画像データである。
尚、本実施例の画像取得装置は、上記のようなスリット幅の測定に限定されるものではない。例えば、このようにして得られた焦点が合った画像に対して、別の処理をさせる場合には、図１に示す寸法測定装置１７０に代えて、これにあった処理をさせる処理部を設ければ良い。
本実施例の画像取得装置においては、このように、焦点を合わせた後に撮影を行うのでなく、焦点がほぼ合った画像を含めた複数の焦点位置の異なる画像の中から適当な画像を抽出するもので、確実に、焦点のあった試料（製品）の撮影画像を得ることを可能としている。特に、試料を連続的に搬送させながら撮影画像を得る場合における、従来の焦点を合わせた後の撮影での焦点ズレの問題に対応できるものとしている。
【００１６】
尚、上記の本実施例の画像取得装置を用いたスリット幅の測定に際しては、選択された画像をアナログ画像に変換して後段の寸法測定装置１７０へ出力しているが、後段の画像処理装置がデジタル入力可能なものならば、デジタルのままで良い。
また、上記の本実施例の画像取得装置は、スリット幅の測定に際して、以上の動作を予め設定された一定時間おきに繰り返し、試料（製品）のチエックを行うことができるようになっている。
これにより、ウエブ状の鉄板に試料（製品）が多数、連続的に外形加工されているような場合にも、試料全数ないし、所定の間隔で周期的な測定をすることができる。
また、本実施例の画像取得装置は、画像記録、選択部分、測定部分をけているが、画像取得装置の演算器の能力が十分ならば、画像取得装置の演算器で測定も行うような一体型の装置にしても良い。
【００１７】
【発明の効果】
本発明の画像取得装置のは、上記のような構成にすることにより、試料の寸法等の特徴量を測定する画像取得装置で、測定に最適な画像をえることができる装置の提供を可能している。
詳しくは、従来の、焦点を合わせた後に撮影する方法において問題であった、搬送される試料の振動等の影響による、撮影する時点での焦点ズレを極めて少なく抑え、ほぼ焦点のあった画像を取得することにより、試料の特徴量の測定を正確なものとすることができる。
【図面の簡単な説明】
【図１】実施例１の画像取得装置を説明するための図
【図２】実施例１の操作制御装置の構成を説明するための図
【図３】スリット幅測定を説明するための図
【図４】スリット幅測定を説明するための図
【図５】フィルタを説明するための図
【符号の説明】
１１０試料（製品）
１２０撮影装置（カメラ）
１２１顕微鏡レンズ
１２２ＣＣＤカメラ
１３１光源（キセノンランプ）
１３２光ファイバー
１４０Ｚ軸ステージ（Ｚ軸方向移動手段）
１４１Ｘ軸ステージ（Ｘ軸方向移動手段）
１５０駆動装置
１６０操作制御装置
１６１ＣＰＵ
１６２ＡＤ変換装置
１６３メモリ（画像記録装置）
１６４Ｉ／Ｏ
１６５画像出力装置
１７０寸法測定装置
１８０テレビモニタ
３００スリット
３１０開口部
３２０遮光部

Claims

工業製品の検査や工程チェックのために、撮影手段と、画像処理手段を用いて試料の寸法等の特徴量を測定する画像取得装置であって、搬送されている試料の透過光もしくは反射光を撮影する撮影手段と、該撮影手段にてほぼ焦点が合う画像を含め焦点位置の異なる試料の画像を複数連続して撮影できるように、試料に対して焦点位置が変化するような方向へ撮影手段を移動させる撮影手段移動手段と、撮影手段にて撮影された複数の焦点位置の異なる複数の試料の画像を記録できる画像記録手段と、画像記録手段に記録された前記複数の画像から予め定めた方法によって、所望の焦点位置の画像を選択する画像選択機能を備えた画像処理手段と、該画像処理手段により選択された画像を外部へ出力する画像出力手段と、操作及び全体の制御を行う操作制御手段とを有するもので、前記画像選択機能を備えた画像処理手段は、撮影された各画像の全体もしくは一部に対して微分処理を施し、微分処理の結果の最大値が最大になる画像を選択する処理を行うものであることを特徴とする画像取得装置。