JP7075743B2 - マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ - Google Patents

Description

本開示は、一般に可変焦点レンズを用いた精密計測に関し、より詳細には、マシンビジョン検査システム又はその他のビジョンシステムにおいて利用できるような拡大被写界深度撮像動作に関する。

精密マシンビジョン検査システム（又は略して「ビジョンシステム」）は、物体の精密な寸法測定値を得ると共に他の様々な物体の特徴を検査するために使用される。そのようなシステムは、コンピュータと、カメラと、光学システムと、ワークピースの走査及び検査を可能とするために移動する精密ステージと、を含み得る。汎用の「オフライン」精密ビジョンシステムとして特徴付けられる１つの例示的な従来技術のシステムは、イリノイ州オーロラに位置するＭｉｔｕｔｏｙｏ Ａｍｅｒｉｃａ Ｃｏｒｐｏｒａｔｉｏｎ（ＭＡＣ）から入手可能なＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのＰＣベースのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアである。ＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアの機能及び動作については、概ね、例えば２００３年１月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣビジョン測定機ユーザガイド、及び、１９９６年９月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣビジョン測定機動作ガイドに記載されている。このタイプのシステムは、顕微鏡型の光学システムを利用し、小型又は比較的大型のワークピースの検査画像を様々な倍率で提供するようにステージを移動させる。

汎用の精密マシンビジョン検査システムは一般に、自動化ビデオ検査を行うようにプログラム可能である。このようなシステムは通常、「非専門家」の作業者が動作及びプログラミングを実行できるように、ＧＵＩ機能及び既定の画像解析「ビデオツール」を含む。例えば米国特許第６，５４２，１８０号は、様々なビデオツールを使用する自動化ビデオ検査を利用したビジョンシステムを示している。

具体的な検査イベントシーケンス（すなわち、各画像をどのように取得するか、及び取得した各画像をどのように解析／検査するか）を含むマシン制御命令は、一般に、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶されている。例えばパートプログラムは、各画像をどのように取得するか、どの照明レベルで、どの倍率レベルで、どのようにワークピースに対してカメラを位置決めするか等を規定する。更にパートプログラムは、例えば自動合焦ビデオツールのような１つ以上のビデオツールを用いることにより、取得した画像をどのように解析／検査するかを規定する。

ビデオツール（又は略して「ツール」）及びその他のグラフィカルユーザインタフェース機能を、手動で用いて、（「手動モード」で）手動の検査及び／又はマシン制御動作を達成することができる。自動検査プログラム又は「パートプログラム」を生成するため、それらのセットアップパラメータ及び動作も学習モード中に記録することができる。ビデオツールには、例えばエッジ／境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。

いくつかの用途において、マシンビジョン検査システムの撮像システムは、単一の焦点位置で光学撮像システムによって与えられる被写界深度よりも深い拡大被写界深度（ＥＤＯＦ：ｅｘｔｅｎｄｅｄ ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）で画像を収集するように動作することが望ましい。拡大被写界深度で画像を収集するための様々な方法が知られている。そのような方法の１つは、焦点範囲全体にわたる様々な距離で合焦された同一視野又は位置合わせされた複数の画像から成る画像「スタック」を収集することである。画像スタックから、視野のモザイク画像（多数の画像により合成された画像）が構築される。モザイク画像における視野の各部分は、その部分を最もよい焦点で表す特定の画像から抽出されている。しかしながら、この方法は比較的速度が遅い。別の例として、Ｎａｇａｈａｒａ等（「Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、２００８年１０月）は、一つの画像をその露光時間中に複数の焦点距離に沿って露光させる方法を開示している。この画像は比較的ぼけているが、複数の焦点距離にわたって取得された画像情報を含んでいる。この画像に、既知の又は所定の像のボケ核（以下、ブラーカーネル（ｂｌｕｒ ｋｅｒｎｅｌ））を用いてデコンボリューションを行うことで、拡大被写界深度で比較的クリアな画像が得られる。Ｎａｇａｈａｒａに記載された方法では、撮像システムの光軸に沿って画像検出器を平行移動させることによって焦点距離を変化させる。この結果、露光中の様々な時点において検出器上で様々な焦点面が合焦される。しかしながら、このような方法は比較的速度が遅く、機械的に複雑であるので、いくつかのタイプの用途では問題が生じる可能性がある（例えば、視野に沿った方向に移動するワークピースのライブＥＤＯＦ画像を表示する場合、処理が遅すぎてこの動きに追随できない等）。ＥＤＯＦ画像を提供するための改良された方法（例えばライブＥＤＯＦ画像を提供する場合等に実行され得る）が望まれている。

この概要は、以下で「発明を実施するための形態」において更に記載するいくつかの概念を簡略化した形態で紹介するために提示する。この概要は、特許請求される主題の重要な特徴を識別することを意図しておらず、特許請求される主題の範囲の決定に役立てるため用いることも意図していない。

撮像システムに関連するユーザインタフェースにワークピースのライブ拡大被写界深度（ＥＤＯＦ）画像が表示されるシステム及び／又は方法を提供する。ワークピースは、撮像システムの視野に沿った方向に平行移動することができる。撮像システムは、レンズシステム、制御システム、カメラ、及び撮像処理部を含む。レンズシステムは可変音響式屈折率分布型（ＴＡＧ）レンズを含み、これは、ＴＡＧレンズに周期的に変更された光学パワー変動を与え、これによって撮像システムに対応する焦点距離変動を与えるように制御される。制御システムは、ＴＡＧレンズを制御するように構成されたレンズ制御部を含む。カメラは、撮像システムの複数の焦点距離においてレンズシステムからワークピース画像光を入力すると共に、未処理（ｒａｗ）ＥＤＯＦ画像に対応する未処理ＥＤＯＦ画像データセットを出力するように構成されている。画像処理部は、未処理ＥＤＯＦ画像データセットが入力されると共に、これを処理して、対応した表示されるＥＤＯＦ画像におけるデフォーカスによる像ボケ（以下、デフォーカスブラー（ｄｅｆｏｃｕｓ ｂｌｕｒ））を除去するための画像処理を実行することに基づくＥＤＯＦ画像データセットを与えように構成されている。

様々な実施形態において、カメラは、経時的なワークピースの未処理ＥＤＯＦ画像のシーケンスに対応した経時的な未処理ＥＤＯＦ画像データセットのシーケンスを出力するように動作される。現時点での撮像システムの視野に沿った方向のワークピースの現在の平行移動速度に対応した平行移動状態信号を繰り返し決定する。現時点での平行移動状態信号の状態に基づいて、ユーザインタフェースに表示されるワークピースのライブＥＤＯＦ画像を繰り返し更新する。平行移動状態信号の状態に応じて、異なるタイプの画像を表示する。より具体的には、第１の現在の平行移動速度（例えば比較的遅い速度）に対応する第１の平行移動状態信号に応答して、ワークピースの第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための第１のレベルの画像処理（例えば比較的多量の画像処理）を実行することに基づくＥＤＯＦ画像データセットに対応して、ユーザインタフェースに、第１のタイプのライブＥＤＯＦ画像を表示する。第１の現在の平行移動速度よりも速い第２の現在の平行移動速度に対応する第２の平行移動状態信号に応答して、ユーザインタフェースに、ワークピースの第２のタイプのライブＥＤＯＦ画像を表示する、様々な実施形態において、第２のタイプのライブＥＤＯＦ画像は、第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための、第１のレベルの画像処理よりも少ない画像処理に相当する第２のレベルの画像処理を実行すること、又は、第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理を実行しないこと、のうち少なくとも一方に基づくＥＤＯＦ画像データセットに対応する。

汎用の精密マシンビジョン検査システムの種々の典型的な構成要素を示す図である。 図１のものと同様の、本発明に開示する特徴を含むビジョンシステムの制御システム部及びビジョン構成要素部のブロック図である。 本明細書に開示する原理に従って動作することができる撮像システムの概略図である。 ライブＥＤＯＦ画像を提供するためのビジョンシステムの制御システムの第１の実施形態で用いられる構成要素のブロック図である。 ライブＥＤＯＦ画像を提供するためのビジョンシステムの制御システムの第２の実施形態で用いられる構成要素のブロック図である。 撮像システムに関連するユーザインタフェースを示す図であり、第１のレベルの画像処理を使用して、表示されている第１のタイプのライブＥＤＯＦ画像において第１のレベルの解像度でデフォーカスブラーが除去されている。 図６Ａのユーザインタフェースを示す図であり、第２のレベルの画像処理を使用して、表示されている第２のタイプのライブＥＤＯＦ画像において第２のレベルの解像度でデフォーカスブラーが除去されている。 撮像システムに関連するユーザインタフェースに表示されるワークピースのライブＥＤＯＦ画像を提供するためのルーチンの１つの例示的な実施形態を示すフロー図である。

図１は、本明細書に開示する原理に従って使用可能である撮像システムを含む１つの例示的なマシンビジョン検査システム１０のブロック図である。ビジョンシステム１０は画像測定機１２を含み、これは、制御コンピュータシステム１４、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６と、データ及び制御信号を交換するように動作可能に接続されている。モニタ又はディスプレイ１６は、ビジョンシステム１０の制御及び／又はプログラミングのためのユーザインタフェースを表示することができる。タッチスクリーンタブレット等が、これらの構成要素のいずれか又は全ての機能の代用となること及び／又はこれらの機能を強化することも可能である。

より一般的には、制御コンピュータシステム１４は、任意のコンピューティングシステムもしくはデバイス、及び／又は分散型コンピューティング環境を含むことができるか又はそれらから構成可能であり、本明細書に記載する機能を実現するためにソフトウェアを実行する１つ以上のプロセッサを含み得る。プロセッサには、プログラマブル汎用又は特殊用途マイクロプロセッサ、コントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）等、又はそのようなデバイスの組み合わせが含まれる。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ等、又はそれらの組み合わせに記憶することができる。また、ソフトウェアは、光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他のいずれかのタイプの不揮発性記憶媒体に記憶してもよい。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む１つ以上のプログラムモジュールを含み得る。プログラムモジュールの機能性は、有線又は無線のいずれかの構成において、多数のコンピューティングシステム又はデバイス間で組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。

画像測定機１２は、可動ワークピースステージ３２と、ズームレンズ又は交換可能レンズを含み得る光学撮像システム３４と、を含む。ズームレンズ又は交換可能レンズは一般に、様々な倍率（例えば０．５倍から１００倍まで）を与える。同様のビジョンシステムが、本発明の譲受人に譲渡された米国特許第７，３２４，６８２号、第７，４５４，０５３号、第８，１１１，９０５号、及び８，１１１，９３８号にも記載されている。

図２は、図１のビジョンシステムと同様の、本明細書に記載する特徴を含むビジョンシステム１００の制御システム部１２０及びビジョン構成要素部２００のブロック図である。図１のビジョンシステムと同様、ビジョンシステム１００は、本明細書に開示する様々な原理に従って使用できる撮像システムを含む。これについては図３を参照して以下で詳述する。図２の例では、制御システム部１２０を用いてビジョン構成要素部２００を制御する。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０、及び２４０と、中央の透明部２１２を有し得るワークピースステージ２１０と、を含む。ワークピースステージ２１０は、ワークピース２０を位置決めすることができるステージの表面に対して概ね平行な面内にあるｘ軸及びｙ軸に沿って制御可能に移動させることができる。

光学アセンブリ部２０５は、カメラシステム２６０（例えばカメラ、共焦点光学検出器等を含む）、可変焦点距離（ＶＦＬ：Ｖａｒｉａｂｌｅ Ｆｏｃａｌ Ｌｅｎｇｔｈ）レンズ２７０を含み、更に、交換可能対物レンズ２５０及び、レンズ２８６と２８８を有するターレットレンズアセンブリ２８０も含む場合がある。ターレットレンズアセンブリの代わりに、固定もしくは手作業で交換可能な倍率可変レンズ（ｍａｇｎｉｆｉｃａｔｉｏｎ－ａｌｔｅｒｉｎｇ ｌｅｎｓ）、又はズームレンズ構成等を含んでもよい。様々な実施形態において、様々なレンズは、光学アセンブリ部２０５の可変倍率レンズ部の一部として含まれ得る。様々な実施形態において、交換可能対物レンズ２５０は、固定倍率対物レンズのセット（例えば０．５倍から１００倍までの範囲のセット等）から選択することができる。

様々な実施形態において、光学アセンブリ部２０５は、制御可能モータ２９４を用いることで、ｘ軸及びｙ軸に概ね直交したｚ軸に沿って制御可能に移動させることができる。制御可能モータ２９４はアクチュエータを駆動して、画像の焦点を変えるために光学アセンブリ部２０５をｚ軸に沿って動かす。制御可能モータ２９４は信号ライン２９６を介して入出力インタフェース１３０に接続されている。以下で詳述するように、ＶＦＬレンズ２７０も、焦点位置を周期的に変更するように動作させることができる。撮像対象の１つ又は複数のワークピース２０は、ワークピースステージ２１０上に配置されている。ワークピースステージ２１０は、光学アセンブリ部２０５に対して（例えばｘ軸及びｙ軸方向に）移動することで、撮像エリアが１つ又は複数のワークピース２０上の複数の位置の間で移動するように、更に、１つ又は複数のワークピース２０が撮像システムの視野に沿った方向に平行移動するようになっている。

透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０（例えばリング光）の１つ以上が、それぞれ光源光２２２、２３２、及び／又は２４２を発して、１つ又は複数のワークピース２０を照明することができる。落射照明光源２３０は、ミラー２９０を含む経路に沿うように光２３２を発することができる。光源光はワークピース光２５５として反射又は透過され、ワークピース光（例えば撮像のため用いられる）は、交換可能対物レンズ２５０、ターレットレンズアセンブリ２８０、及びＶＦＬレンズ２７０を通過して、カメラシステム２６０（例えばカメラ、共焦点光学検出器等を含む）によって集光される。様々な実施形態において、カメラシステム２６０は、ワークピース光を入力し、信号データ（例えば１つ又は複数のワークピース２０の１つ以上の画像、共焦点輝度信号等）を、制御システム部１２０への信号ライン２６２上に出力する。光源２２０、２３０、及び２４０は、それぞれ信号ライン又はバス２２１、２３１、及び２４１を介して制御システム部１２０に接続することができる。制御システム部１２０は、画像の倍率を変更するため、ターレットレンズアセンブリ２８０を軸２８４に沿って回転させることで、信号ライン又はバス２８１を介してターレットレンズを１つ選択することができる。

図２に示すように、種々の例示的な実施形態において制御システム部１２０は、制御部１２５、入出力インタフェース１３０、メモリ１４０、ワークピースプログラム生成器及び実行器１７０、及び電源部１９０を含む。これらの構成要素及び以下で説明する追加の構成要素の各々は、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。入出力インタフェース１３０は、撮像制御インタフェース１３１、移動制御インタフェース１３２、照明制御インタフェース１３３、及びレンズ制御部／インタフェース２７１を含む。移動制御インタフェース１３２は、位置制御要素１３２ａ、及び速度／加速度制御要素１３２ｂを含み得るが、これらの要素はマージされる及び／又は区別できない場合もある。照明制御インタフェース１３３は、照明制御要素１３３ａ、１３３ｎ、及び１３３ｆｌを含むことができ、これらは、ビジョンシステム１００の様々な対応する光源について、例えば選択、パワー、オン／オフ切り換え、及びストロボパルスタイミングを適用可能な場合に制御する。

撮像制御インタフェース１３１は、拡大被写界深度（ＥＤＯＦ）モード１３１ｅを含むことができる。このモードは、（例えばユーザによって、自動的に等）選択されると、単一の焦点位置で合焦された場合にビジョン構成要素部２００によって与え得るよりも深い被写界深度でワークピースの少なくとも１つの画像を収集することができる。レンズ制御部／インタフェース２７１は、レンズ焦点駆動回路及び／又はルーチン等を含むＥＤＯＦレンズ制御部を含み得る。本明細書に開示する原理に従って、１つの実施形態では、レンズ制御部／インタフェース２７１は、ユーザ及び／又は動作プログラムによって構成又は制御することができ、信号ライン２７１’を用いてＶＦＬレンズ２７０を制御してその光学パワーを（例えば正弦波状に）周期的に変更させることで、Ｚ高さ方向に沿った複数の焦点位置にわたって撮像システムの焦点位置を確定された動作周波数で周期的に変更することができる。周期的に変更されたＶＦＬレンズの光学パワーは、撮像システムの焦点距離変動に対応した周期的な焦点変更を規定する。

拡大被写界深度モード及びＥＤＯＦレンズ制御インタフェース及び／又は制御部に関連した特定の動作及び構成要素については、同時係属中の、本発明の譲受人に譲渡された米国特許公報第２０１５／０１４５９８０号にも記載されている。ＶＦＬレンズを含む他のシステム及び方法については、２０１５年７月９日に出願され、同時係属中の、本発明の譲受人に譲渡された「Ａｄａｐｔａｂｌｅ Ｏｐｅｒａｔｉｎｇ Ｆｒｅｑｕｅｎｃｙ ｏｆ ａ Ｖａｒｉａｂｌｅ Ｆｏｃａｌ Ｌｅｎｇｔｈ Ｌｅｎｓ ｉｎ ａｎ Ａｄｊｕｓｔａｂｌｅ Ｍａｇｎｉｆｉｃａｔｉｏｎ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１４／７９５，４０９号、２０１５年８月３１日に出願された「Ｍｕｌｔｉ－Ｌｅｖｅｌ Ｉｍａｇｅ Ｆｏｃｕｓ Ｕｓｉｎｇ ａ Ｔｕｎａｂｌｅ Ｌｅｎｓ ｉｎ ａ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国特許出願第１４／８４１，０５１号、２０１５年９月１５日に出願された「Ｃｈｒｏｍａｔｉｃ Ａｂｅｒｒａｔｉｏｎ Ｃｏｒｒｅｃｔｉｏｎ ｉｎ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｉｎｃｌｕｄｉｎｇ Ｖａｒｉａｂｌｅ Ｆｏｃａｌ Ｌｅｎｇｔｈ Ｌｅｎｓ」と題する米国特許出願第１４／８５４，６２４号、及び、２０１６年５月３日に出願された「Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ Ｃａｌｉｂｒａｔｉｏｎ Ｉｎ Ａ Ｖａｒｉａｂｌｅ Ｆｏｃａｌ Ｌｅｎｓ Ｓｙｓｔｅｍ」と題する米国特許出願第１５／１４５，６８２号に記載されている。

メモリ１４０は、画像ファイルメモリ部１４１、エッジ検出メモリ部１４０ｅｄ、１つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部１４２、及びビデオツール部１４３を含むことができる。ビデオツール部１４３は、対応する各ビデオツールのためのＧＵＩや画像処理動作等を確定するビデオツール部１４３ａ及び他のビデオツール部（例えば１４３ｎ）、並びに関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）生成器１４３ｒｏｉを含む。関心領域生成器１４３ｒｏｉは、ビデオツール部１４３内に含まれる様々なビデオツールにおいて動作可能である様々なＲＯＩを規定する自動、半自動、及び／又は手動の動作をサポートする。ビデオツール部は、例えば自動合焦動作のためのＧＵＩや画像処理動作等を確定する自動合焦ビデオツール１４３ａｆも含む。自動合焦ビデオツール１４３ａｆは更に、高速で焦点高さを測定するために利用可能である高速焦点高さツールも含むことができる。これについては、同時係属中の、本発明の譲受人に譲渡された米国特許公報第２０１４／０３６８７２６号に詳述されている。様々な実施形態において、本明細書に記載する様々な構成要素及び／又は機能は、ビデオツールの１つ以上（例えば自動合焦ビデオツール１４３ａｆ、別個のビデオツール等）と併用されるか、又は他の方法でそれらに含ませることができる。

本開示のコンテキストにおいて、当業者に既知であるように、「ビデオツール」という言葉は概ね、マシンビジョンユーザが、ビデオツールに含まれる動作の段階的シーケンスを生成することなく、また汎用のテキストベースのプログラミング言語に頼ることもなく、比較的シンプルなユーザインタフェース（例えばグラフィカルユーザインタフェース、編集可能パラメータウィンドウ、メニュー等）を介して実施可能である比較的複雑な自動化又はプログラミングされた動作セットのことである。例えばビデオツールは、あらかじめプログラミングされた複雑な画像処理動作セット及び計算を含み、これらの動作及び計算を規定する少数の変数及びパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。ビデオツールは、基礎にある動作及び計算の他に、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。例えば、多くのマシンビジョンビデオツールによってユーザは、マウスを用いたシンプルな「ハンドルドラッグ」動作を行ってグラフィックの関心領域（ＲＯＩ）インジケータを構成して、ビデオツールの特定のインスタンスの画像処理動作で解析対象となる画像サブセットの位置パラメータを定義することができる。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。

透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０のそれぞれの信号ライン又はバス２２１、２３１、及び２４１は全て、入出力インタフェース１３０に接続されている。カメラシステム２６０からの信号ライン２６２、ＶＦＬレンズ２７０からの信号ライン２７１’、及び制御可能モータ２９４からの信号ライン２９６も、入出力インタフェース１３０に接続されている。信号ライン２６２は、画像データの伝達に加えて、いくつかのプロセス（例えば画像取得、共焦点輝度測定等）を開始する制御部１２５からの信号も伝達することができる。

ディスプレイデバイス１３６（例えば図１のディスプレイ１６）及び入力デバイス１３８（例えば図１のジョイスティック２２、キーボード２４、及びマウス２６）も、入出力インタフェース１３０に接続することができる。ディスプレイデバイス１３６及び入力デバイス１３８を用いて、様々なグラフィカルユーザインタフェース（ＧＵＩ）機能を含み得るユーザインタフェースを表示することができる。それらの機能は、検査動作の実行、及び／又はパートプログラムの生成及び／又は修正、カメラシステム２６０によってキャプチャされた画像の閲覧、及び／又はビジョンシステム構成要素部２００の直接制御のために使用可能である。ディスプレイデバイス１３６は、（例えば撮像制御インタフェース１３１、ＥＤＯＦモード１３１ｅ、レンズ制御部／インタフェース２７１、移動制御インタフェース１３２、自動合焦ビデオツール１４３ａｆ等に関連付けて）ユーザインタフェース機能を表示することができる。

種々の例示的な実施形態において、ユーザがビジョンシステム１００を用いてワークピース２０のためのパートプログラムを生成する場合、ユーザは、ビジョンシステム１００を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによって、パートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）内に位置決めし、照明レベルを設定し、合焦又は自動合焦を行い、画像を取得し、（例えばそのワークピース要素でビデオツールのうち１つ以上のインスタンスを用いて）画像に適用される検査訓練シーケンスを提供することを含み得る。このシーケンス（複数のシーケンス）がキャプチャ又は記録されて、対応するパートプログラム命令に変換される。パートプログラムが実行された場合、これは、ビジョンシステムに訓練した画像取得を再現させると共に、現在のワークピース（例えば実行モード（ｒｕｎ ｍｏｄｅ）のワークピース）、又は、（学習モード中に）パートプログラムの生成時に用いた代表的ワークピースと同様のワークピースを、自動的に検査させる。ＥＤＯＦモード１３１ｅに関して本明細書に開示されるシステム及び方法は、ユーザが視覚検査及び／又はワークピースプログラム生成のためにワークピースをナビゲートしながら、（例えば少なくともほぼリアルタイムで）ライブＥＤＯＦ画像のビデオシーケンスを視認できるので、そのような学習モード及び／又は手動動作の際に特に有用である。ユーザは、ワークピース上の様々な顕微鏡的要素の高さに応じて高倍率画像を常に再合焦する必要がない。この再合焦は、特に高倍率では、退屈であると共に長い時間を要する可能性がある。

図３は、ビジョンシステムに適合させることができ、本明細書に開示する原理に従って動作することができる撮像システム３００の概略図である。以下で別段の記載がない限り、図３の３ＸＸと付番されたいくつかの構成要素は、図２の２ＸＸと同様に付番された構成要素に対応し得る及び／又は同様の動作を有し得ることは認められよう。様々な実施形態において、撮像システム３００は、単一の焦点位置における光学撮像システムよりも深い被写界深度（様々な実施形態では１０～２０倍以上）を有するワークピースの少なくとも１つのＥＤＯＦ画像を提供するように構成できる。図３に示すように、撮像システム３００は、撮像システム３００の視野内でワークピース３２０を（例えばストロボ又は連続波照明を用いて）照明するように構成可能である光源３３０、対物レンズ３５０、チューブレンズ３５１、リレーレンズ３５２、可変焦点距離レンズ（ＶＦＬ）３７０、リレーレンズ３８６、及びカメラシステム３６０を含む。

動作において、光源３３０は、光源光３３２を、部分ミラー３９０を含む経路に沿って対物レンズ３５０を介してワークピース３２０の表面へと発するように構成することができる。対物レンズ３５０は、ワークピース３２０に近接した焦点位置ＦＰで集束されたワークピース光３５５を受光し、ワークピース光３５５をチューブレンズ３５１に出力する。様々な実施形態において、対物レンズ３５０は交換可能対物レンズとすることができ、チューブレンズ３５１はターレットレンズアセンブリの一部として含めることができる（例えば図２の交換可能対物レンズ２５０及びターレットレンズアセンブリ２８０と同様のもの）。様々な実施形態において、対物レンズ３５０、チューブレンズ３５１、又は本明細書で言及する他のレンズの任意のものは、個別のレンズ、複合レンズ等から形成するか、又はそれらのレンズと連携して動作することができる。チューブレンズ３５１はワークピース光３５５を受光し、これをリレーレンズ３５２に出力する。

リレーレンズ３５２はワークピース光３５５を受光し、これをＶＦＬレンズ３７０に出力する。ＶＦＬレンズ３７０はワークピース光３５５を受光し、これをリレーレンズ３８６に出力する。リレーレンズ３８６はワークピース光３５５を受光し、これをカメラシステム３６０に出力する。様々な実施形態において、カメラシステム３６０は画像露光期間中にワークピース３２０の画像をキャプチャし、この画像データを制御システム部に提供することができる（例えば、図２の制御システム部１２０に画像を提供するためのカメラシステム２６０の動作と同様）。様々な実施形態において、撮像システムは更に、光学フィルタ（例えばカメラシステム３６０の前段に又はその一部として配置されている）を含んで、ＶＦＬレンズから予備画像光（ｐｒｅｌｉｍｉｎａｒｙ ｉｍａｇｅ ｌｉｇｈｔ）を受光して空間的にフィルタリングすると共に、このフィルタリングした画像光をＥＤＯＦ画像の提供の一部として出力することができる。

ＶＦＬレンズ３７０は、１回以上の画像露光中に撮像システムの焦点位置ＦＰを変えるよう電子的に制御可能である。焦点位置ＦＰは、焦点位置ＦＰ１と焦点位置ＦＰ２によって画定される範囲Ｒ内で動かすことができる。様々な実施形態において、範囲Ｒはユーザによって選択可能である（例えば撮像制御インタフェース１３１のＥＤＯＦモード１３１ｅ等で）か、又は設計パラメータから与えられ得るか、又は他の方法で自動的に決定され得ることは認められよう。一般に図３の例に関して、図示した寸法のいくつかは一定の縮尺通りに描かれていない場合があることは認められよう。例えば、ＶＦＬレンズ３７０は図示するものと異なる比例的寸法を有し得る（例えば、所望の量の屈折力（ｌｅｎｓｉｎｇ ｐｏｗｅｒ）等を与えるため、いくつかの用途では幅がもっと狭く長さが５０ｍｍ以上であり得る）。

様々な実施形態において、マシンビジョン検査システムは、撮像システム３００の焦点位置を周期的に変更するため、レンズ制御部３７１と連携して動作するか又は他の方法でＶＦＬレンズ３７０を制御するように構成可能である制御システム（例えば図２の制御システム部１２０）を備えることができる。いくつかの実施形態では、ＶＦＬレンズ３７０は迅速に焦点位置を調整又は変更することができる（例えば周期的に、少なくとも３００Ｈｚ、又は３ｋＨｚ、又は７０ｋＨｚ、又はこれらよりもはるかに高いレートで）。１つの例示的な実施形態において、範囲Ｒは、（例えば１倍の対物レンズ３５０では）約１０ｍｍとすることができる。様々な実施形態において、ＶＦＬレンズ３７０は、焦点位置ＦＰを変えるために撮像システムの巨視的な機械的調整及び／又は対物レンズ３５０とワークピース３２０との間の距離の調整を必要としないように、有利に選択される。そのような場合、本明細書に開示する原理に従って、ＥＤＯＦ画像を取得することができ、更に、（例えば数マイクロメートルのオーダーの精度の）精密測定等に用いられ得る固定焦点検査画像を取得するため同一の撮像システムを用いる場合に、精度を低下させる巨視的な調整要素も、これに伴う位置決めの非再現性も存在しない。例えばいくつかの実施形態では、ユーザへの表示画像としてライブＥＤＯＦ画像を使用し、その後、焦点位置の周期的な変更を終了させて（例えば、前述のＥＤＯＦモード制御要素１３１ｅ、又はアクティブ測定動作に基づく自動終了、又はＶＦＬレンズ周波数と同期させたストロボ照明等を用いて）、撮像システムの固定焦点位置を与えることが望ましい。次いで、システムを用いて、固定焦点位置で撮像システムを使用して特定の要素の測定画像を露光することができる。これによって得られた安定した高解像度測定画像を処理して、ワークピースを高精度で測定できる。前述の７２６号公報に記載されているように、焦点位置ＦＰの変化を利用して、ワークピース３２０に近接したＺ高さ方向に沿った複数の位置における複数の画像を含む画像スタックを迅速に取得することができる。

様々な実施形態において、ＶＦＬレンズ３７０は可変音響式屈折率分布型（「ＴＡＧ」：ｔｕｎａｂｌｅ ａｃｏｕｓｔｉｃ ｇｒａｄｉｅｎｔ ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ）レンズとすることができる。可変音響式屈折率分布型レンズは、流体媒質中で音波を用いて焦点位置を変更する高速ＶＦＬレンズであり、焦点距離範囲を数百ｋＨｚの周波数で周期的にスイープすることができる。このようなレンズは、論文「Ｈｉｇｈ－ｓｐｅｅｄ ｖａｒｉｆｏｃａｌ ｉｍａｇｉｎｇ ｗｉｔｈ ａ ｔｕｎａｂｌｅ ａｃｏｕｓｔｉｃ ｇｒａｄｉｅｎｔ ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ ｌｅｎｓ」（Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ、Ｖｏｌ．３３、Ｎｏ．１８、２００８年９月１５日）の教示によって理解することができる。可変音響式屈折率分布型レンズ及びこれに関連した制御可能信号生成器は、例えばＴＡＧ Ｏｐｔｉｃｓ， Ｉｎｃ．（ニュージャージー州プリンストン）から入手可能である。例えば、モデルＴＬ２．Ｂ．ｘｘｘシリーズのレンズは最大で約６００ＫＨｚの変更が可能である。

様々な実施形態において、前述の７２６号公報に詳述されているように、カメラシステム３６０は、グローバルシャッタを有するセンサ、すなわち各画素を同時に露光するセンサを備えることができる。このような実施形態は、ワークピースも撮像システム３００のどの部分も動かすことなく画像スタックを測定する機能を与えるという点で有利である。種々の代替的な実施形態では、カメラシステム３６０は、電子ローリングシャッタ（ＥＲＳ：Ｅｌｅｃｔｒｏｎｉｃ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ）システムを有するセンサを備えることができる。例えばカメラシステムは、電子ローリングシャッタ（ＥＲＳ）システムと組み合わせたＳＸＧＡ解像度を用いる白黒ＣＭＯＳセンサを備え得る（例えば、カリフォルニア州サンホゼのＡｐｔｉｎａ ＩｍａｇｉｎｇのモデルＭＴ９Ｍ００１）。

ＶＦＬレンズ３７０は、これを動作させる信号を生成することができるレンズ制御部３７１によって駆動され得る。一実施形態において、レンズ制御部３７１は市販の制御可能信号生成器とすればよい。いくつかの実施形態では、レンズ制御部３７１は、図２を参照して先に概説したように、撮像制御インタフェース１３１、レンズ制御インタフェース２７１、及び／又はＥＤＯＦモード１３１ｅのユーザインタフェースを介して、ユーザ及び／又は動作プログラムによって構成又は制御され得る。いくつかの実施形態では、ＶＦＬレンズ３７０は、焦点位置ＦＰが高周波数で経時的に正弦波状に変更されるように、周期的な信号を用いて動作させることができる。例えばいくつかの例示的な実施形態では、ＴＡＧレンズは４００ｋＨｚという高さの焦点走査速度向けに構成可能であるが、様々な実施形態及び／又は用途では、もっと低速の焦点位置調整及び／又は変更周波数が望ましい場合があることは認められよう。例えば、様々な実施形態において、３００Ｈｚ、又は３ｋＨｚ、又は７０ｋＨｚ、又は２５０ｋＨｚ等の周期的な変更を使用することができる。低速の焦点位置調整を用いる実施形態では、ＶＦＬレンズ３７０は制御可能液体レンズ（ｆｌｕｉｄ ｌｅｎｓ）等を含み得る。

様々な実施形態において、ＴＡＧレンズ３７０は、少なくとも３ｋＨｚの周波数で周期的に変更された光学パワー変動を与えるように制御することができ、周期的に変更される光学パワー変動の複数の周期にわたる露光期間中に、ＥＤＯＦ画像を生成するため、カメラ３６０は、撮像システムの複数の焦点距離においてレンズシステムからワークピース画像光を入力するように構成することができる。１つのそのような実施形態において、複数の焦点距離は、周期的に変更される光学パワー変動に応じた撮像システムの最大焦点範囲の少なくとも７０％に及ぶように構成できる。様々な実施形態において、焦点距離／位置ＦＰは、単一の焦点距離における撮像システムの被写界深度の少なくとも２０倍に及ぶ複数の焦点距離にわたって、周期的に変更され得る。様々な実施形態では、ＥＤＯＦ画像を生成する場合、光源３３０を用いて、周期的に変更される焦点距離／位置ＦＰと同期させた強度変動を有する照明を与えることができ、この照明は、周期的に変更される焦点距離の範囲Ｒ内の異なる焦点距離における各露光成分に対してそれぞれ異なる影響を及ぼすようになっている。具体的には、例えば、第１の照明強度が、撮像システムの最大焦点範囲の少なくとも内側の７０％の焦点距離に対して各露光成分を与え、第１の照明強度より小さい第２の照明強度が、最大焦点範囲の少なくとも７０％よりも外側の焦点距離に対して各露光成分を抑制するように構成されていてもよい。

図３の例では、リレーレンズ３５２及び３８６及びＶＦＬレンズ３７０は４ｆ光学構成に含まれるものとして示され、リレーレンズ３５２及びチューブレンズ３５１はケプラー式望遠鏡構成に含まれるものとして示され、チューブレンズ３５１及び対物レンズ３５０は顕微鏡構成に含まれるものとして示されている。ここに示す構成は全て例示に過ぎないので、本開示に対する限定ではない。ケプラー式望遠鏡構成の一部として、チューブレンズ３５１の焦点距離ＦＴＵＢＥは、リレーレンズ３５２の焦点距離ｆと同様、レンズ３５１と３５２との間の中点とほぼ等距離にあるものとして示されている。代替的な実施形態では、チューブレンズ３５１の焦点距離ＦＴＵＢＥを、リレーレンズ３５２の焦点距離ｆ（これは４ｆ光学構成の４ｆの１つに相当する）とは異なるものにしてもよい。チューブレンズ３５１がターレットレンズアセンブリの一部として含まれ得る様々な実施形態では、ターレットレンズアセンブリの他のチューブレンズが動作位置まで回転した場合、同じ位置に焦点を有する（すなわちリレーレンズ３５２の焦点と合致する）ことが望ましい場合がある。

前述の４０９号出願に詳述されているように、焦点距離ｆに対する焦点距離ＦＴＵＢＥの比を用いて、チューブレンズ３５１に入力するワークピース光３５５のコリメートビームに対してリレーレンズ３５２から出るワークピース光３５５のコリメートビームの直径を変えることができる。チューブレンズ３５１に入力するワークピース光３５５のコリメートビーム及びリレーレンズ３５２から出力するワークピース光３５５のコリメートビームに関して、様々な実施形態では、そのようなコリメートビームがもっと長い経路長に拡張され得ること、及び／又は（例えば異なるカメラシステム等へ向けられた）追加の光路を与えるためにそのようなコリメートビームに対してビームスプリッタが使用され得ることは認められよう。

様々な実施形態において、図示する４ｆ光学構成は、ＶＦＬレンズ３７０（例えば可変音響式屈折率分布型レンズ等の開口数（ＮＡ）が小さいデバイスであり得る）を、対物レンズ３５０のフーリエ面ＦＰＬに配置することを可能とする。この構成は、ワークピース３２０におけるテレセントリシティ（ｔｅｌｅｃｅｎｔｒｉｃｉｔｙ）を維持すると共に、尺度変化及び画像歪みを最小限に抑えることができる（例えば、ワークピース３２０の各Ｚ高及び／又は焦点位置ＦＰで一定の倍率を与えることを含む）。ケプラー式望遠鏡構成（例えばチューブレンズ３５１及びリレーレンズ３５２を含む）は、顕微鏡構成と４ｆ光学構成との間に含めることができ、ＶＦＬレンズの位置で対物レンズ有効径（ｃｌｅａｒ ａｐｅｒｔｕｒｅ）の望ましいサイズの投射を与えて、画像収差等を最小限に抑えるように構成可能である。

様々な実施形態において、いくつかのタイプの寸法測定では、回折限界に近いか又は回折限界の撮像が必要であり得ることは認められよう。図３に示す構成は、ＶＦＬレンズ３７０に結像される、対物レンズ３５０の瞳の軸外範囲を制限することによって収差を低減する。この構成では、半径方向の範囲は、その最低共振周波数ｆＲ，ＭＩＮでのＶＦＬレンズ３７０（例えば可変音響式屈折率分布型）の定在波の屈折率プロファイルにおいて一次ベッセルリング（１ｓｔ Ｂｅｓｓｅｌ ｒｉｎｇ）の半径方向の範囲よりも小さく維持することができる。これについては、前述の４０９号出願に詳述されている。このように、顕微鏡構成（すなわち対物レンズ３５０及びチューブレンズ３５１を含む）からの光は、ＶＦＬレンズ３７０の最大有効径ＣＡＶＦＬ，ＭＡＸを超えない。この光が最大有効径を超える実施形態では、光は、望ましくない屈折率を有し得るＶＦＬレンズ３７０の定在波の領域と相互作用して収差を増大させ、寸法測定の精度を低減させる恐れがある。

図３に示す撮像システムの動作に関して、様々な実施形態では、これに伴う信号処理は、未処理（例えば予備）ＥＤＯＦ画像の計算によるデコンボリューションを実行し、比較的クリアなライブＥＤＯＦ画像を（例えばほぼリアルタイムで）与えるように構成することができる。例えば制御システム（例えば図２に示す制御システム部１２０）は、画像露光中にＥＤＯＦ焦点範囲全体にわたって変更焦点位置を少なくとも１度スイープする過程で未処理ＥＤＯＦ画像を収集し、ぼけている可能性のあるこの未処理ＥＤＯＦ画像を処理して比較的クリアなＥＤＯＦ画像を決定するように構成されている。一実施形態において、未処理ＥＤＯＦ画像は、この未処理ＥＤＯＦ画像の焦点範囲に対応し、レンズシステムの動作を特徴付けることが意図された、既知の又は所定の積分点像分布関数（ＩＰＳＦ：ｉｎｔｅｇｒａｔｅｄ ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）を用いて処理又はデコンボリューションを行うことができる。点像分布関数Ｐ（ＦＰ）は、錯乱円（ｂｌｕｒ ｃｉｒｃｌｅ）を特徴付ける（すなわち、撮像システムから所与の距離における点光源の円形像を、錯乱円の半径ｒ及び焦点位置ＦＰの関数として特徴付ける）。点像分布関数は、既知の方法に従って、撮像システムについて実験的に決定されるか、又はピルボックス（ｐｉｌｌ ｂｏｘ）もしくはガウス曲線のような関数でモデル化された点像分布関数を用いて推定するか、又は基本的な回折原理（例えばフーリエ光学）を用いて推定すればよい。焦点範囲内の様々な焦点距離におけるそのような点像分布関数は、それらに予想される露光成分又は適用性に従って重み付けを行うことができる。例えば、露光中に焦点距離が移動する場合、各焦点距離はその露光内の対応する時間期間だけ画像露光に寄与するので、その距離に対応した点像分布関数にそれに応じた重み付けを行うことができる。このような重み付けした点像分布関数成分を、予想される焦点範囲Ｒ全体で合計又は積分すればよい。あるいは、焦点距離の変化が既知の時間関数である場合、そのような点像分布関数成分を、予想される焦点範囲Ｒのスイープに対応した時間期間にわたって積分すればよい。これは、下記の式３を参照して示す手法に類似している。

変更焦点位置を用いる撮像システムについて、積分点像分布関数ｈは以下の関係に従い得る。

ここで、Ｐ（ＦＰ（ｔ））は点像分布関数であり、ＦＰ（ｔ）は時間に依存した焦点位置である。マシンビジョン検査システムの撮像システムの焦点位置は、未処理ＥＤＯＦ画像の画像露光又は積分時間に相当する合計積分時間Ｔにわたって、時間ｔの関数として変更され得る。

未処理ＥＤＯＦ画像のデコンボリューションは、いくつかの用途では「ブラ―関数（ｂｌｕｒ ｆｕｎｃｔｉｏｎ）」と称され得る積分点像分布関数ｈから、露光中にそれぞれ持続時間を有する複数の焦点位置の範囲にわたって露光された深い被写界深度の画像をデコンボリューションする逆演算（ｉｎｖｅｒｓｅ ｏｐｅｒａｔｉｏｎ）として理解することができる。未処理ＥＤＯＦ画像は、以下の式によって、シャープな（理想的な）拡大被写界深度画像ｆ（ｘ，ｙ）（次元ｍ×ｎの画像アレイに対応する）のコンボリューションである２次元関数ｇ（ｘ，ｙ）として、積分点像分布関数ｈを用いて表すことができる。

周波数領域では、このコンボリューションを、ｆ及びｈのフーリエ変換の積によって、Ｆ及びＨとして表すことができる。

ｆ及びｈのフーリエ変換は、高速フーリエ変換（ＦＦＴ）アルゴリズムを用いて効率的に求めることができる。（周波数領域の）ＥＤＯＦ画像は、ここではＨ_rと表記するＨの逆数によって画像Ｇを処理する（すなわち、これを乗算する）ことによって求めることができる。逆数Ｈ_rは、いくつかの既知の方法で計算できる。例えば、以下の式によって、単純なＨの擬似逆行列（ｐｓｅｕｄｏ ｉｎｖｅｒｓｅ）を求めることができる。

ここで、Ｈ＊はＨの複素共役であり、ｋは撮像システム３００の特性に基づいて経験的に選択される実数である。１つの例示的な実施形態では、ｋは０．０００１である。最終的に、拡大被写界深度画像ｆは以下のように計算することができる。

擬似逆行列に代わる更にロバストな代替案を、ウィーナーデコンボリューション（Ｗｉｅｎｅｒ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）、ルーシー・リチャードソン反復アルゴリズム（Ｌｕｃｙ－Ｒｉｃｈａｒｄｓｏｎ ｉｔｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍ）、ヴァン・シテレ反復アルゴリズム（Ｖａｎ－Ｃｉｔｔｅｒｔ ｉｔｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍ）、又はその他の既知のデコンボリューション手法に従って、計算することができる。その他の手法のうちいくつかは、例えば、Ｋｅｎｎｅｔｈ Ｒ．ＣａｓｔｌｅｍａｎによるＤｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（Ｐｒｅｎｔｉｃｅ－Ｈａｌｌ，Ｉｎｃ．１９９６年）に記載されている。更に、画像の処理は、例えばガイデットフィルタ（ｇｕｉｄｅｄ ｆｉｌｔｅｒ）又はバイラテラルフィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）のようなエッジ保全ノイズ低減フィルタを用いたノイズ低減を含み得る。異なる実施形態では、前述の９８０号公報に詳述されているように、デコンボリューションは、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、フーリエ光学の基本的な方法に従って撮像システムのフーリエ面に配置された受動光学フィルタを用いて光学的に実行することができる。

例示的な実施形態において、撮像システム３００は、露光中に所望の焦点範囲全体で取得された情報を含むぼけた画像である未処理ＥＤＯＦ画像を提供することができる。次いで、未処理ＥＤＯＦ画像を上述のように計算によって処理することで、撮像システム３００が単一の焦点位置で与え得るよりも深い（例えば１００倍深い）被写界深度を含む処理済みＥＤＯＦ画像を与えることができる。例えば、単一の焦点位置では撮像システム３００の被写界深度は９０μｍであり、撮像システム３００の同じ実施形態を用いて提供される拡大被写界深度画像は、９ｍｍの深さの被写界深度を有し得る。

上述の画像処理の例（例えばデコンボリューション等を含む計算による処理を含む）は、比較的クリアなライブＥＤＯＦ画像を（例えばほぼリアルタイムで）提供するには効果的であるが、この画像処理は実行に時間がかかる。いくつかのタイプの用途では、画像処理に必要な時間量のために問題が生じる恐れがある（例えば、視野に沿った方向に移動しているステージ上のワークピースのビデオタイプのライブＥＤＯＦ画像シーケンスを表示しようとする場合、処理が遅すぎるので、この移動に対する所望のフレームレートに追随できないことがある）。以下で詳述するように、本明細書に開示する原理に従って、比較的高速の移動（例えば、指定された速度関連閾値を超える）が発生した場合、解像度は低下するがライブＥＤＯＦ画像をより迅速に提供するための低減処理を用いることができる。例えば式２に関して上述したように、この関数は、次元ｍ×ｎの画像アレイに対応し得る（ここで、ｍ及びｎは画素の行及び列を表し得る）。処理対象の画素数が減ると、未処理ＥＤＯＦ画像の全体的な処理に必要な時間量も低減し得る。１つの実施形態では、画素群からのデータを平均化すること又は他の方法で結合する（例えばマルチピクセルカーネル（ｍｕｌｔｉ－ｐｉｘｅｌ ｋｅｒｎｅｌ）に）ことによって、処理対象の画素数を減らすことができる。この場合、マルチピクセルカーネルに結合させた群からのデータは、単一の画素と同様に処理できる。具体的な例として、６４０×４８０画素のアレイが有するデータを、４画素から成る四角形の群に結合させる（例えば、４画素から成る各群が単一のマルチピクセルカーネルに相当する）場合、これによって生じる処理対象のアレイは３２０×２４０カーネルとなる。別の例として、速度閾値を超えた場合、デフォーカスブラーを除去するための画像処理を行うことなく（例えばデコンボリューション処理を行うことなく）、未処理ＥＤＯＦ画像を利用することができる。

図４は、ライブＥＤＯＦ画像を提供するためのビジョンシステム４００の制御システム４２０の第１の実施形態で用いられる構成要素のブロック図である。図４に示すように、ビジョンシステム４００は、制御システム４２０、平行移動状態信号生成器４２７、ライブＥＤＯＦ画像ＵＩ／ディスプレイ４３６、及びカメラ４６０を含む。制御システム４２０は、平行移動状態信号解析器４２１、ＥＤＯＦ画像処理マネージャ４２２Ａ、ライブＥＤＯＦ画像ＵＩ／ディスプレイマネージャ４２２Ｂ、及びＥＤＯＦ画像処理部４２３を含む。以下で詳述するように、特定の場合に、ＥＤＯＦ画像処理（例えばライブＥＤＯＦ画像処理部４２３によって実行される）は、特定の画像（例えば高解像度）では比較的低速となり、この結果、ユーザインタフェース４３６において繰り返し与えられるライブＥＤＯＦ画像でフレーム／ビデオレートが低くなる可能性がある。本明細書に開示する原理に従って、自動適応ＥＤＯＦ画像処理を用いてユーザの経験を改善することができる。

例えば、（例えば撮像システムの視野に沿った方向のワークピースの）平行移動速度が比較的遅い場合は、高いＥＤＯＦ画像品質に対応する高解像度（例えば最大解像度）のＥＤＯＦ画像処理によって生成されたライブＥＤＯＦ画像を表示することができる。平行移動速度が比較的速い場合は（例えば、撮像システムの視野に沿った方向のワークピースの高速の移動に対応する）、低減ＥＤＯＦ画像処理によって（又はＥＤＯＦ画像処理を行わずに）生成されたライブＥＤＯＦ画像が表示され、結果として、（例えばユーザインタフェース３２６において繰り返し与えられるライブＥＤＯＦ画像の）フレームレートは高くなるが、ＥＤＯＦ画像の品質は低くなり得る。様々な実施形態において、そのような低いＥＤＯＦ画像品質は許容できるものと見なされ得る。これは、平行移動速度が速い条件下では（例えば、ユーザインタフェース４３６における更新済みビデオ表示でモーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）及び／又は他の邪魔なもの（ｄｉｓｔｒａｃｔｉｏｎ）等が発生し得る）、ユーザが細部を知覚することができないからである。このような「モーションブラー」は「デフォーカスブラー」とは異なることは認められよう。モーションブラーは一般に、撮像システムの視野に対するｘ軸及び／又はｙ軸方向での平行移動によって生じるが、デフォーカスブラーは、様々なＺ高さを有するワークピース要素に対してｚ軸方向で合焦することと、ＴＡＧレンズ３７０が画像露光全体を通して焦点距離を変更することに関連している。

ライブＥＤＯＦ画像を提供するための図４の構成において、カメラ４６０は、撮像システムの複数の焦点距離でレンズシステムからワークピース画像光を入力し（例えば図３を参照のこと）、未処理ＥＤＯＦ画像（例えばデフォーカスブラーを含み得る）に対応した未処理ＥＤＯＦ画像データセットを出力するように構成されている。未処理ＥＤＯＦ画像データセットは、ＥＤＯＦ画像処理マネージャ４２２Ａに与えられる。ＥＤＯＦ画像処理部４２３は、ＥＤＯＦ画像処理マネージャ４２２Ａから未処理ＥＤＯＦ画像データセットを入力し、未処理ＥＤＯＦ画像データセットを処理して、ユーザインタフェース４３６に表示することができる処理済みＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理に基づく処理済みＥＤＯＦ画像データセットを与えるように構成されている。

ディスプレイマネージャ４２２Ｂは、ＥＤＯＦ画像処理マネージャ４２２Ａから未処理ＥＤＯＦ画像データセット及び処理済みＥＤＯＦ画像データセットの双方を受信し、更新済みライブＥＤＯＦ画像データセットとしてどちらのＥＤＯＦ画像データセットをユーザインタフェース４３６に与えるかを決定することができる。更に具体的には、図４の例において、ＥＤＯＦ画像処理部４２３は、未処理ＥＤＯＦ画像データセットを受信すると、比較的高い解像度レベル（例えば最大解像度）で画像処理を開始し、画像処理が完了すると、処理済みＥＤＯＦ画像データセットを、処理マネージャ４２２Ａを介してディスプレイマネージャ４２２Ｂに渡すことができる。ディスプレイマネージャ４２２Ｂは、平行移動状態信号解析器４２１からの信号を使用して、ユーザインタフェース４３６で表示するために、比較的高い更新レートで繰り返し与えられている未処理ＥＤＯＦ画像データセットを使用するか、又は比較的低い更新レートで繰り返し与えられている処理済みＥＤＯＦ画像データセットを使用するかを決定することができる。

一つの実施形態において、このプロセスは、ディスプレイマネージャ４２２Ｂが平行移動状態信号解析器４２１からの信号を用いて、すぐに利用可能な未処理ＥＤＯＦ画像データセットを使用するか、又はＥＤＯＦ画像処理部４２３による画像処理の完了後に処理済みＥＤＯＦ画像データセットを受信するため短い時間期間だけ待機するかを決定することを含み得る。どちらの場合であっても、未処理ＥＤＯＦ画像データセットを取得した時点に対して少なくともほぼリアルタイムで画像を表示するのに充分な迅速さで処理が完了するので、選択されたデータセットが、ユーザインタフェース４３６にライブＥＤＯＦ画像を表示するためのライブＥＤＯＦ画像データセットとして提供されることは認められよう。様々な実施形態では、現時点で撮像システムの視野に沿った方向のワークピースの移動が生じていないことに応じて、ディスプレイマネージャ４２２Ｂは、以前の画像を再使用するためのオプションを有し得る（例えば、状態が「停止している」ことを平行移動状態信号解析器が示す場合）。

様々な実施において、平行移動状態信号解析器４２１は、平行移動状態信号生成器４２７からの平行移動状態信号を解析することができる。この信号は、現時点での撮像システムの視野に沿った方向のワークピースの現在の平行移動速度に対応し（例えば、現在の平行移動速度が速いこと、遅いこと、停止していること等を示す）、特定の速度、又は時間制限、又は他の閾値等を基準として決定され得る。ビジョンシステム４００の動作中、平行移動状態信号は繰り返し決定される。様々な実施形態において、平行移動状態信号を決定するため、様々なタイプの信号、解析等が利用され得る。例えば、ワークピースが配置されている撮像システムのステージの移動速度を求めてもよい（例えば、ステージのための制御信号に従って、又は移動速度を示すエンコーダ出力信号に従って等）。様々な実施形態において、そのような移動制御速度を倍率レベルと組み合わせて決定することができる。更に具体的には、現在の倍率レベルに応じて、撮像システムの視野に沿った方向のワークピースの平行移動速度は比較的速く又は遅くなり得る（例えば、所与のステージ移動量について、２倍の倍率レベルにおける視野に沿った方向の平行移動速度は、１倍の倍率レベルにおける速度の約２倍であり得る）。

別の例として、平行移動状態信号の決定は、一連の画像を解析して、（例えば画像中の少なくとも１つの要素等の）平行移動の量を決定することを含み得る。１つのそのような実施形態では、現在の画像と、記憶されている以前の画像又は記憶されている以前の画像統計データ（例えばヒストグラム）との差を計算することができる。様々な実施形態において、画像間の差は様々な技法に従って決定できる。例えば、平均絶対画素差を決定することができる（例えば、絶対画素差の和を画素数に換算した画像サイズで除算する）。別の例として、２つの画像の平均グレースケールで正規化した平均絶対画素差を決定することができる（例えば、対応する尺度の輝度依存性を低減するため）。別の例として、２つの画像のヒストグラムの類似性を決定することができる（例えば２つのベクトル間のコサインとして計算され、双方のヒストグラムはＮ次元ベクトルとして処理される）。別の例として、２つの画像の平均グレースケール間の絶対差を決定することができるが、場合によっては、そのような技法では、計算が少量の移動を検出するのに充分な感度を有するか等について更に決定を行う必要があり得る。別の例として、オプティカルフロー推定技法を用いて、連続したＥＤＯＦ画像間の移動（変位）ベクトルを決定することができる。

様々な実施形態において、平行移動状態信号解析器４２１から受信された信号に関して、ディスプレイマネージャ４２２Ｂが未処理ＥＤＯＦ画像データセット又は処理済みＥＤＯＦ画像データセットのどちらを更新済みライブＥＤＯＦ画像データセットとしてユーザインタフェース４３６に出力するか決定するため、速度関連閾値を使用することができる。例えば、速度関連閾値は特定の平行移動速度に相当し、現在の平行移動速度が速度関連閾値を超えている場合、ディスプレイマネージャ４２２Ｂは未処理ＥＤＯＦ画像データセットを使用し、あるいは、現在の平行移動速度が速度関連閾値未満である場合、ディスプレイマネージャ４２２Ｂは処理済みＥＤＯＦ画像データセットを使用し、あるいは、現在の平行移動速度がゼロである（例えば「停止している」状態に相当する）場合、以前のＥＤＯＦ画像を再利用することができる。代替的な構成では、未処理ＥＤＯＦ画像データセットを用いるためのオプションに加えて、より低いレベルの解像度でデフォーカスブラーを除去する、より低いレベルの画像処理も利用可能とすることができる。例えば、ＥＤＯＦ画像処理部４２３は、最大レベルの解像度、又はより低いレベルの解像度の画像処理を実行することができる。そのような低レベル解像度の画像処理について、図５を参照して更に詳しく説明する。

図５は、ライブＥＤＯＦ画像を提供するためのビジョンシステム５００の制御システム５２０の第２の実施形態で用いられる構成要素のブロック図である。ビジョンシステム５００は、図４のビジョンシステム４００といくつかの類似点を有し、以下で別段の記載がない限り、同様に付番された構成要素は同様に動作すると理解される。図５に示すように、ビジョンシステム５００は、制御システム５２０、平行移動状態信号生成器４２７、ライブＥＤＯＦ画像ＵＩ／ディスプレイ４３６、及びカメラ４６０を含む。制御システム５２０は、平行移動状態信号解析器４２１、ＥＤＯＦ画像処理及びディスプレイマネージャ４２２、及びＥＤＯＦ画像処理部４２３を含む。ビジョンシステム５００の１つの相違点は、ライブＥＤＯＦ画像処理及びディスプレイマネージャ４２２が、図４のＥＤＯＦ画像処理マネージャ４２２Ａ及びライブＥＤＯＦ画像ＵＩ／ディスプレイマネージャ４２２Ｂのいくつかの組み合わせた機能を実行することである。これについて以下で更に詳しく説明する。

図５の例において、ライブＥＤＯＦ画像処理及びディスプレイマネージャ４２２は、平行移動状態信号解析器４２１からの出力に応じて、異なる解像度レベルの処理を条件付きで実行することができる。更に具体的には、比較的遅い現在の平行移動速度に相当する平行移動状態信号に応答して、比較的高レベルの画像処理を画像処理部４２３により実行して、デフォーカスブラーを除去することができる。これに対して、比較的速い現在の平行移動速度に相当する平行移動状態信号に応答して、比較的少ない画像処理を画像処理部４２３により実行して、デフォーカスブラーを除去することができる。１つの実施形態において、そのようなプロセスは、平行移動状態信号に基づいて処理済みＥＤＯＦ画像の解像度を低減させる自動適応ＥＤＯＦ画像サイズ変更によって実行される。そのような実施形態では、現在の平行移動速度が比較的速い場合、ＥＤＯＦ画像は低い解像度で処理されるので、結果として処理が高速になると共に、ユーザインタフェース４３６における高いビデオフレームレートに対応して、ＥＤＯＦ画像処理部４２３によって処理済みＥＤＯＦ画像データセットが迅速に生成され得る。これに対して、現在の平行移動速度が比較的遅い場合、ＥＤＯＦ画像はＥＤＯＦ画像処理部４２３によって高い解像度（例えば最大解像度）で処理されるので、結果として全処理時間が遅くなると共にフレームレートが低くなるが、ユーザインタフェース４３６において高いＥＤＯＦ画像品質が得られる。

１つの実施形態において、解像度の低減は、現在の画像について処理される画素又はカーネルの数を減らすことによって達成できる。例えば、指定された画素数（例えば６４０×４８０）の画像では、これらの画素のデータを結合することによって（例えば、４つの画素から成る四角形の群のデータを結合することによって）、処理対象の総画素数を減らすことができる。このような結合によれば、６４０×４８０画素アレイを３２０×２４０カーネルに低減することができる。次いで、３２０×２４０カーネルに対して、ＥＤＯＦ画像処理部４２３によってＥＤＯＦ処理を低い解像度で実行すればよい。次いで、ライブＥＤＯＦ画像処理及びディスプレイマネージャ４２２は、ユーザインタフェース４３６への送信のため、ＥＤＯＦ画像データセットを元の寸法に（例えば３２０×２４０から６４０×４８０に）サイズ変更することができる。

様々な実施形態において、以前のデータ、以前の対応するヒストグラム、又はその他の関連する画像統計データ等のデータを記憶するため、指定された長さのバッファを使用することができる。そのようなデータを用いて、（例えば平行移動状態信号解析器４２１により）画像差履歴及びその他のファクタを解析して、現在の平行移動速度が速いか否かを判定すること、及び／又はいくつかのタイプのイベントに対して解像度の切り換えを無反応とする（ｉｎｓｅｎｓｉｔｉｖｅ）ことができる。例えば、記憶されている画像又は画像統計データのバッファに基づく平行移動状態信号の解析を行って、平行移動速度が変化した場合にのみ（例えば、カメラの移動が開始又は停止した場合等）、処理解像度を切り換えるように決定することができる。更に、特定の用途及びユーザの好みに応じて、移動又はその他のフレーム間変化（例えば画像輝度）に対する高解像度から低解像度への切り換えの感度を高くするか又は低くするため、速度関連閾値を制御する及び／又は他の方法で設定するための入力をユーザから受信することも可能である。様々な実施形態では、静止画像用の典型的なフレーム間の差を決定して、特定のセットアップに有効なフレーム差判断閾値を設けることができる（例えば、閾値は少なくとも部分的にカメラノイズ、照明レベル等に依存し得る）。

様々な実施形態において、上述の技法を、所与の画像中の特定の関心領域に適用することも可能である。例えば、メガピクセルカメラによるＥＤＯＦ画像のための上述の処理は、ユーザインタフェースにおけるビデオレート表示に比べて比較的遅い可能性がある。メガピクセルカメラによるビデオフレームのライブＥＤＯＦ画像処理に対して充分に速い応答（例えば少なくともほぼリアルタイム）を与えるため、ＥＤＯＦ画像の特定の関心領域を高解像度処理用に選択することができる。１つの例示的な実施形態では、選択した関心領域（例えばユーザによって選択される）だけを処理し、処理を行っていない未処理ＥＤＯＦ画像部によって取り囲むことができる。そのような技法を、特定のカメラの関心領域に基づく高速フレームキャプチャと組み合わせて用いると、ノイズが低減した高速処理を達成することができる。これは、カメラでキャプチャした１つ以上の関心領域（例えば、フルフレームレートよりも高いフレームレートでキャプチャされる）を、各ＥＤＯＦ処理の前に平均化することで、処理済みＥＤＯＦ画像中のノイズを低減できるからである。この例示的な実施形態では、ＥＤＯＦ処理済みの関心領域を、いくつかの構成では黒い画素によって取り囲むか、又は、カメラがフルフレームキャプチャモードから関心領域キャプチャモードに切り換わる直前にキャプチャされた未処理ＥＤＯＦ画像の部分によって取り囲むことができる。

様々な実施形態において、制御システム４２０又は５２０は、撮像システム（例えば図３の撮像システム３００等）の一部として含めることができる。図３を参照して上述したように、そのような撮像システムはＴＡＧレンズ３７０を備えたレンズシステムを含むことができ、ＴＡＧレンズ３７０がレンズ制御部３７１によって制御されることで、ＴＡＧレンズの周期的に変更される光学パワー変動を与え、これに対応した撮像システム３００の焦点距離変動を与える。撮像システムのカメラ３６０／４６０は、（例えば範囲Ｒ内の）撮像システムの複数の焦点距離においてレンズシステムからワークピース画像光を入力し、未処理ＥＤＯＦ画像に対応する未処理ＥＤＯＦ画像データセットを出力するように構成されている。図４及び図５に関して、撮像システムの画像処理部４２３は、未処理ＥＤＯＦ画像データセットを入力し、これを処理して、ユーザインタフェース４３６に表示される対応したＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理に基づくＥＤＯＦ画像データセットを与えるように構成されている。

様々な実施形態において、カメラ４６０は、経時的なワークピースの未処理ＥＤＯＦ画像シーケンスに対応して、経時的な未処理ＥＤＯＦ画像データセットシーケンスを出力するように動作することができる。平行移動状態信号生成器４２７及び平行移動状態信号解析器４２１を用いて、現時点で撮像システムの視野に沿った方向のワークピース３２０の現在の平行移動速度に対応した平行移動状態信号を繰り返し決定する。ユーザインタフェース４３６に表示されるワークピースのライブＥＤＯＦ画像は、現時点での平行移動状態信号の状態に基づいて繰り返し更新され、平行移動状態信号の状態に応じて様々なタイプのＥＤＯＦ画像が表示される。

更に具体的には、第１の現在の平行移動速度（例えば、指定された速度関連閾値よりも小さいと判定される比較的遅い平行移動速度）に対応する平行移動状態信号生成器４２７からの第１の平行移動状態信号に応答して、ディスプレイマネージャ４２２Ｂ又は画像処理及びディスプレイマネージャ４２２は、ワークピースの第１のタイプのライブＥＤＯＦ画像をユーザインタフェース４３６に表示させるように動作する。第１のタイプのライブＥＤＯＦ画像は、第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するためＥＤＯＦ画像処理部４２３によって行われる第１のレベルの画像処理（例えば、全量又は比較的多量の画像処理）に基づいたＥＤＯＦ画像データセットに相当する。第１の現在の平行移動速度よりも速い第２の平行移動速度（例えば、第１の指定された速度関連閾値よりも高いと判定される）に対応する第２の平行移動状態信号に応答して、ディスプレイマネージャ４２２Ｂ又は画像処理及びディスプレイマネージャ４２２は、ワークピースの第２のタイプのライブＥＤＯＦ画像をユーザインタフェース４３６に表示させるように動作する。

様々な実施形態において、第２のタイプのライブＥＤＯＦ画像は、以下のうち少なくとも一方に基づくＥＤＯＦ画像データセットに対応し得る。すなわち、第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するためＥＤＯＦ画像処理部４２３によって行われ、第１のレベルの画像処理よりも少ない画像処理に相当する第２のレベルの画像処理を実行すること、又は、第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理を実行しないこと、である（例えば、カメラ４６０からの未処理ＥＤＯＦ画像データセットをユーザインタフェース４３６へ渡すことができる）。様々な実施形態において、ライブＥＤＯＦ画像を繰り返し更新することは、更に、第２の現在の平行移動速度よりも速い第３の現在の平行移動速度（例えば、第２の指定された速度関連閾値よりも高いと判定される）に対応する第３の平行移動状態信号に応答して、ワークピースの第３のタイプのライブＥＤＯＦ画像をユーザインタフェースに表示することを含み得る（例えば、第２のレベルの画像処理よりも少ない画像処理に相当する第３のレベルの画像処理を実行すること、又は、第３のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理を実行しないことに基づいたＥＤＯＦ画像データセットに相当する）。様々な実施形態において、追加の速度関連閾値に関連付けて追加のレベルの画像処理を同様に使用してもよいことは認められよう。

様々な実施形態において、制御システム４２０又は５２０は、例えばＴＡＧレンズ光学パワー変動とストロボ照明を同期させることを可能とする照明制御部のような追加の要素も含み得る。別の例として、ＴＡＧレンズ光学パワー変動とカメラの「シャッタ機能」露光小分割（ｓｕｂ－ｉｎｒｅｍｅｎｔｓ）を同期させるため、カメラ４６０のための露光制御部も含むことができる。そのような機能性を用いて、（例えば光源３３０からの）ストロボ照明の機能を置換又は強化して、露光中に露光小分割を与えることができる。いくつかの例では、平行移動状態信号生成器を制御システム４２０及び５２０に含めることも可能である。

図６Ａ及び図６Ｂは、撮像システムに関連するユーザインタフェース６００を示す図である。以下で詳述するように、図６Ａの例では、第１のレベルの画像処理を使用して、表示されている第１のタイプのライブＥＤＯＦ画像６１０Ａにおいて第１のレベルの解像度でデフォーカスブラーが除去されている。図６Ａに示す例示的な状態において、ユーザインタフェース６００は、ワークピース６１１（例えば、中央部の語「ｎｅｗＣ」のように、様々な文字及び記号を含む表面を有する）のワークピース部６１１Ａの第１のタイプのライブＥＤＯＦ画像６１０Ａを表示している視野ウィンドウ６０３を含む。１つの実施形態では、文字が配置されているワークピースの表面を傾斜させて、異なる文字及び記号をそれぞれ異なる焦点高さに置くことができる。他の例では、ワークピースが、異なる焦点高さにある検査対象の異なる要素を含み得ることは認められよう。これについては、引用文献に詳述されている。また、ユーザインタフェース６００は、選択バー６２０及び６４０等の様々な測定及び／又は動作選択バー、リアルタイムＸ－Ｙ－Ｚ（位置）座標ウィンドウ６３０、及び光制御ウィンドウ６５０も含む。

上述のように、ＥＤＯＦモードに関して本明細書に記載されるシステム及び方法は、学習モード及び／又は手動動作中に特に有用である。ユーザは、ワークピース（例えばワークピース６１１）が（例えば視野ウィンドウ６０３内に表示されるように）撮像システムの視野に沿った方向に平行移動し得る視覚検査及び／又はワークピースプログラム生成を行うためワークピースをナビゲートしながら、（例えばユーザインタフェース６００において）ライブＥＤＯＦ画像のビデオを（例えば少なくともほぼリアルタイムで）見ることができる。そのような平行移動の一例として、図６Ｂに示す視野ウィンドウ６０３では、図６Ａの視野ウィンドウ６０３に対してワークピース６１１が平行移動した位置にあることがわかる（例えば、語「ｎｅｗＣ」は下方に、かつわずかに左側に移動したことがわかる）。そのような移動／平行移動は、リアルタイムＸ－Ｙ－Ｚ（位置）座標ウィンドウ６３０において、Ｘ座標が３０．８１０９６ｍｍから３２．８１０９６ｍｍへ変化したことを示し、Ｙ座標が３４．３１７０６ｍｍから２４．３１７０６ｍｍに変化したことを示すことからもわかる。様々な実施形態において、Ｚ座標は同じままであり、ＶＦＬレンズ３７０によって与えられる変更焦点位置に対して静止／中央焦点位置を表し得る。ワークピースに沿った方向にナビゲートするためのそのような平行移動中にＥＤＯＦモードを利用することによって、ユーザがワークピース上の様々な顕微鏡的要素の高さに応じて画像を常に再合焦する必要がなくなることは認められよう。この再合焦は、（例えば特に高倍率等では）退屈であると共に長い時間を要する可能性がある。

図６Ａの例では、現時点で、ワークピース６１１のユーザナビゲーションは比較的遅い速度で移動中であるので、（例えば上述のような）第１の平行移動状態信号は、第１の現在の平行移動速度（例えば比較的遅い速度）に対応している。比較的遅い平行移動速度に応じて、ユーザインタフェース６００には、ワークピース６１１の第１のタイプのライブＥＤＯＦ画像６１０Ａが表示されている。この画像は、第１のタイプのライブＥＤＯＦ画像６１０Ａにおけるデフォーカスブラーを除去するための第１のレベルの画像処理（例えば比較的多量の画像処理）に基づくＥＤＯＦ画像データセットに対応する。

これに対して図６Ｂの例では、現時点で、ワークピース６１１のユーザナビゲーションは比較的速い速度で移動中である（例えば、ワークピースに沿った方向の走査のため、ユーザがビジョンシステムのステージを高速で移動させている）ので、第２の平行移動状態信号は、第２の現在の平行移動速度（例えば比較的速い速度）に対応している。比較的速い平行移動速度に応じて、ユーザインタフェース６００には、ワークピース６１１のワークピース部６１１Ｂの第２のタイプのライブＥＤＯＦ画像６１０Ｂが表示されている。様々な実施形態において、第２のタイプのライブＥＤＯＦ画像は、第２のタイプのライブＥＤＯＦ画像６１０Ｂにおけるデフォーカスブラーを除去するための第２のレベルの画像処理に基づくＥＤＯＦ画像データセットに対応する。第２のレベルの画像処理は、第１のレベルの画像処理よりも少ない画像処理に相当する。様々な実施形態において、第１のレベルの画像処理は、第１のタイプのライブＥＤＯＦ画像６１０Ａにおいて第１のレベルの解像度でデフォーカスブラーを除去することができ、第２のレベルの画像処理は、第２のタイプのライブＥＤＯＦ画像６１０Ｂにおいて第２のレベルの解像度でデフォーカスブラーを除去することができる。第２のレベルの解像度は第１のレベルの解像度よりも粗い（すなわち低い）。図６Ａ及び図６Ｂの例では、ライブＥＤＯＦ画像６１０Ｂの「粗い」解像度レベルは、ライブＥＤＯＦ画像６１０Ａに比べて視認できるものである。

図７は、撮像システムに関連するユーザインタフェースに表示されるワークピースのライブＥＤＯＦ画像を提供するためのルーチン７００の１つの例示的な実施形態を示すフロー図である。ブロック７１０では、カメラを繰り返し動作させて、経時的なワークピースの未処理ＥＤＯＦ画像のシーケンスに対応した、経時的な未処理ＥＤＯＦ画像データセットのシーケンスを出力する。ブロック７２０では、現時点での撮像システムの視野に沿った方向のワークピースの現在の平行移動速度に対応した平行移動状態信号を繰り返し決定する。「平行移動速度」は、その原因にかかわらず、ワークピースと視野との間の相対移動を指すことは認められよう。撮像システムの構成要素の移動、又はワークピースの移動、又はそれら双方によって、相対移動が生じ得る。様々な実施形態において、ブロック７２０での平行移動状態信号の決定は、（例えば倍率レベルと組み合わせて）移動制御速度を決定すること、（例えば倍率レベルと組み合わせて）ワークピースが配置されている撮像システムのステージの移動速度を決定すること、一連の画像を解析して画像間の差の量を決定すること、又は、一連の画像を解析して画像中の少なくとも１つの要素の平行移動量を決定すること、のうち少なくとも１つを含み得る。

ブロック７３０では、現時点での平行移動状態信号の状態に基づいて、撮像システムに関連するユーザインタフェースに表示されるワークピースのライブＥＤＯＦ画像を繰り返し更新する。ユーザインタフェースにおけるライブ表示を繰り返し更新することは、以下の動作を含む。
・第１の現在の平行移動速度に対応する第１の平行移動状態信号に応答して、ユーザインタフェースに、ワークピースの第１のタイプのライブＥＤＯＦ画像を表示する。第１のタイプのライブ画像は、第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための第１のレベルの画像処理に基づくＥＤＯＦ画像データセットに対応する。
・第１の現在の平行移動速度よりも速い第２の現在の平行移動速度に対応する第２の平行移動状態信号に応答して、ユーザインタフェースに、ワークピースの第２のタイプのライブＥＤＯＦ画像を表示する。第２のタイプのライブ画像は、（ａ）第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための、第１のレベルの画像処理よりも少ない画像処理に相当する第２のレベルの画像処理を実行すること、又は（ｂ）第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理を実行しないこと、のうち少なくとも一方に基づくＥＤＯＦ画像データセットに対応する。

判断ブロック７４０では、（例えば、検査システムで従来の撮像モードを用いるためＥＤＯＦ撮像モードを停止させることにより）ルーチンの繰り返し動作が完了したか否かについて判定を行う。繰り返し動作が完了していない場合、ルーチンは継続する。繰り返し動作が完了した場合、ルーチンは終了する。

例示的であるが限定ではない１つの実施形態において、ブロック７３０の動作は、現在の平行移動状態信号を査定することを含み、その後、査定の結果に応じた動作を行うことができる（例えば以下で更に記載するように）。

いくつかの実施形態では、現在の平行移動状態信号は、（例えば、要求された移動速度、又は第１と第２の連続画像間の要素の平行移動、又は本明細書に開示された変化指標の他の平行移動速度もしくは平行移動レートに従って）直接に又は間接的に決定される平行移動速度とすることができる。あるいは、現在の平行移動速度は、平行移動速度に相関付けられた他のいずれかの画像又は「画像変化」の尺度を反映することも可能である。いずれの場合であっても、平行移動速度又は速度関連尺度は、適切な所定の閾値レベルと比較される。次いで、（例えば以下のように）少なくとも部分的にこの決定に基づいて、ライブＥＤＯＦ画像の次の更新を行うことができる。

様々な実施形態では、速度関連閾値未満であると査定又は判定された第１の平行移動状態信号に応じて、第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための第１のレベルの画像処理に基づくＥＤＯＦ画像データセットに対応して、ユーザインタフェースに、ワークピースの第１のタイプのライブＥＤＯＦ画像が表示される。いくつかの実施形態では、第１のレベルの画像処理は比較的費用が高く、及び／又は可能な限り最良のＥＤＯＦ画像を与える可能性がある。他の実施形態では、第１のレベルの画像処理は、様々なユーザにとって許容できる「充分な（ｇｏｏｄ ｅｎｏｕｇｈ）」画像を生成するように選択すればよい。

これに対して、速度関連閾値を超えていると査定又は判定された第２の平行移動状態信号に応じて、ユーザインタフェースに、ワークピースの第２のタイプのライブＥＤＯＦ画像が表示される。これは、第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための、第１のレベルの画像処理よりも少ない画像処理（及び／又は短い処理時間）に相当する第２のレベルの画像処理を実行すること、又は、第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理を実行しないこと、のうち少なくとも一方に基づくＥＤＯＦ画像データセットに対応している。

様々な実施形態において、追加の速度関連閾値に関連付けて追加のレベルの画像処理を同様に実行可能であることは認められよう。様々な実施形態において、１つ以上の速度関連閾値を規定する入力をユーザから受信することができ、ライブＥＤＯＦ画像を繰り返し更新するためのステップは、ユーザが規定した１つ又は複数の速度関連閾値に従って自動的に実行することができる。

様々な実施形態において、第２のタイプのライブＥＤＯＦ画像は、未処理ＥＤＯＦ画像データセットに対応する未処理ＥＤＯＦ画像とすることができ、ＥＤＯＦ画像データセットは、第２のタイプのライブＥＤＯＦ画像で用いられる未処理ＥＤＯＦ画像からデフォーカスブラーを除去するための画像処理を実行しないことに基づいている。いくつかの実施形態では、第１のレベルの画像処理は、第１のタイプのライブＥＤＯＦ画像において第１のレベルの解像度でデフォーカスブラーを除去することができ、ブロック７３０の第２のレベルの画像処理は、第２のタイプのライブＥＤＯＦ画像において第２のレベルの解像度でデフォーカスブラーを除去することができ、第２のレベルの解像度は第１のレベルの解像度よりも粗い（すなわち低い）。様々な実施形態において、デフォーカスブラーを除去するいかなるレベルの画像処理も、レンズシステムの動作を特徴付ける所定の積分点像分布関数に基づいた未処理ＥＤＯＦデータセットのデコンボリューション処理を含み得る。

１つの特定の例示的な実施形態では、第１のレベルの画像処理に関連付けられた第１のレベルの解像度は、未処理ＥＤＯＦ画像データセットの解像度に対応する最大画素レベルの解像度とすることができる。第２のレベルの解像度でデフォーカスブラーを除去する第２のレベルの画像処理は、未処理ＥＤＯＦ画像データを処理して、対応するマルチピクセルカーネルのセットを画定するように構成することができる。各マルチピクセルカーネルの画素レベルのデータを、平均化するか又は他の方法で結合することで、各マルチピクセルカーネルを特徴付ける低減量のマルチピクセルカーネルレベルデータを与えることができる。このマルチピクセルカーネルレベルデータを処理して、第２のタイプのライブＥＤＯＦ画像中のマルチピクセルカーネルのサイズに対応した解像度レベルでデフォーカスブラーを除去することができる。様々な実施形態において、マルチピクセルカーネル動作は、これに加えて又はこの代わりに、第２のレベルの画像処理の一部として種々の代替的なタイプの「画素ビニング（ｐｉｘｅｌ ｂｉｎｎｉｎｇ）」動作を含むことも可能である。

様々な実施形態において、方法７００の繰り返しステップは、少なくとも第２の平行移動状態信号に対応した動作状態の間に、ユーザインタフェースに表示されるワークピースのライブＥＤＯＦ画像が少なくとも１秒当たり最小回数（例えば１０回、２５回等）繰り返し更新されるようなレートで実行することができる。様々な実施形態において、方法７００は更に、平行移動状態信号が平行移動なしの状態に対応しているか否かの判定を含むことができる。この場合、平行移動状態信号が平行移動の状態に対応するまで、ユーザインタフェースに表示されるワークピースのライブＥＤＯＦ画像を繰り返し更新するステップを一時停止するか、又は同一のライブＥＤＯＦ画像を繰り返すことができる。

本開示の好適な実施形態について図示及び記載したが、本開示に基づいて、図示及び記載した特徴の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。種々の代替的な形態を用いて本明細書に開示した原理を実施してもよい。更に、上述の様々な実施形態を組み合わせて別の実施形態を提供することも可能である。これらの様々な特許及び出願の概念を用いて更に別の実施形態を提供するために必要な場合は、上述の実施の態様形態は変更可能である。

前述の記載に照らして、実施形態に対してこれら及び他の変更を行うことができる。一般に、以下の特許請求の範囲において、用いる用語は本明細書及び特許請求の範囲に開示される特定の実施形態に特許請求の範囲を限定するものとして解釈されず、そのような特許請求の範囲の権利が与えられる均等物の全範囲に加えて全ての可能な実施形態を包含するものとして解釈されなければならない。

１０…マシンビジョン検査システム（ビジョンシステム）、１２…画像測定機、１４…制御コンピュータシステム、１６…ディスプレイ、１８…プリンタ、２０…ワークピース、２２…ジョイスティック、２４…キーボード、２６…マウス、３２…可動ワークピースステージ、３４…光学撮像システム、１００…ビジョンシステム、１２０…制御システム部、１２５…制御部、１３０…入出力インタフェース、１３１…撮像制御インタフェース、１３１ｅ…ＥＤＯＦモード、１３２…移動制御インタフェース、１３２ａ…位置制御要素、１３２ｂ…加速度制御要素、１３３…照明制御インタフェース、１３３ａ…照明制御要素、１３６…ディスプレイデバイス、１３８…入力デバイス、１４０…メモリ、１４０ｅｄ…エッジ検出メモリ部、１４１…画像ファイルメモリ部、１４２…ワークピースプログラムメモリ部、１４３，１４３ａ…ビデオツール部、１４３ａｆ…自動合焦ビデオツール、１４３ｒｏｉ…関心領域生成器、１７０…実行器、１９０…電源部、２００…ジョンシステム構成要素部、２０５…光学アセンブリ部、２１０…ワークピースステージ、２１２…透明部、２２０…透過照明光源、２２０…透過照明光源、２２１…バス、２２２，２３２…光源光、２３０…落射照明光源、２４０…斜め照明光源、２５０…交換可能対物レンズ、２５５…ワークピース光、２６０…カメラシステム、２６２…信号ライン、ＶＦＬ２７０…レンズ、２７１…レンズ制御部／インタフェース、２８０…ターレットレンズアセンブリ、２８１…バス、２８４…軸、２８６…レンズ、２９０…ミラー、２９４…制御可能モータ、２９６…信号ライン、３００…撮像システム、３２０…ワークピース、３２６…ユーザインタフェース、３３０…光源、３３２…光源光、３５０…対物レンズ、３５１…チューブレンズ、３５２…リレーレンズ、３５５…ワークピース光、３６０…カメラシステム（カメラ）、３７０…レンズ、３７１…レンズ制御部、３８６…リレーレンズ、３９０…部分ミラー、４００…ビジョンシステム、４２０…制御システム、４２１…平行移動状態信号解析器、４２２…ディスプレイマネージャ、４２２Ａ…画像処理マネージャ、４２２Ｂ…ディスプレイマネージャ、４２３…画像処理部、４２７…平行移動状態信号生成器、４３６…ユーザインタフェース、４６０…カメラ、５００…ビジョンシステム、５２０…制御システム、６００…ユーザインタフェース、６０３…視野ウィンドウ、６１０Ａ，６１０Ｂ…ライブＥＤＯＦ画像、６１１…ワークピース、６１１Ａ，６１１Ｂ…ワークピース部、６２０…選択バー、６３０…座標ウィンドウ、６５０…光制御ウィンドウ

Claims (19)

1. 撮像システムに関連するユーザインタフェースに表示されるワークピースのライブ拡大被写界深度（ＥＤＯＦ）画像を提供するための方法であって、
   前記ワークピースは、前記撮像システムの視野に沿った方向に平行移動することができ、
   前記撮像システムは、
   可変音響式屈折率分布型（ＴＡＧ）レンズを含み、前記ＴＡＧレンズに周期的に変更された光学パワー変動を与え、これによって前記撮像システムに対応する焦点距離変動を与えるように制御される、レンズシステムと、
   前記ＴＡＧレンズを制御するように構成されたレンズ制御部を備える制御システムと、
   前記撮像システムの複数の焦点距離において前記レンズシステムからワークピース画像光を入力すると共に、未処理ＥＤＯＦ画像に対応する未処理ＥＤＯＦ画像データセットを出力するように構成されたカメラと、
   前記未処理ＥＤＯＦ画像データセットが入力されると共に、これを処理して、対応した表示されるＥＤＯＦ画像におけるデフォーカスブラーを除去するための画像処理を実行することに基づくＥＤＯＦ画像データセットを与えように構成された画像処理部と、
   を備え、前記方法は、
   前記カメラを繰り返し動作させて、経時的な前記ワークピースの未処理ＥＤＯＦ画像のシーケンスに対応した経時的な前記未処理ＥＤＯＦ画像データセットのシーケンスを出力することと、
   現時点での前記撮像システムの視野に沿った方向の前記ワークピースの現在の平行移動速度に対応した平行移動状態信号を繰り返し決定することと、
   現時点での前記平行移動状態信号の状態に基づいて、前記ユーザインタフェースに表示される前記ワークピースのライブＥＤＯＦ画像を繰り返し更新することと、
   を含み、前記ライブＥＤＯＦ画像を繰り返し更新することは、
   第１の現在の平行移動速度に対応する第１の平行移動状態信号に応答して、前記ワークピースの第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための第１のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応して、前記ユーザインタフェースに、前記第１のタイプのライブＥＤＯＦ画像を表示することと、
   前記第１の現在の平行移動速度よりも速い第２の現在の平行移動速度に対応する第２の平行移動状態信号に応答して、
   前記ワークピースの第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための、前記第１のレベルの画像処理よりも少ない画像処理に相当する第２のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応して、前記ユーザインタフェースに、前記第２のタイプのライブＥＤＯＦ画像を表示することと、
   を含み、
   前記第１のレベルの画像処理は、前記第１のタイプのライブＥＤＯＦ画像において第１のレベルの解像度でデフォーカスブラーを除去し、
   前記第２のレベルの画像処理は、前記第２のタイプのライブＥＤＯＦ画像において第２のレベルの解像度でデフォーカスブラーを除去し、
   前記第２のレベルの解像度は、前記第１のレベルの解像度よりも低い、
   方法。
2. 前記第２のタイプのライブＥＤＯＦ画像は、未処理ＥＤＯＦ画像データセットに対応する未処理ＥＤＯＦ画像であり、
   前記ＥＤＯＦ画像データセットは、前記第２のタイプのライブＥＤＯＦ画像で用いられる前記未処理ＥＤＯＦ画像からデフォーカスブラーを除去するための画像処理を実行しないことに基づいている、請求項１に記載の方法。
3. デフォーカスブラーを除去する画像処理は、前記レンズシステムの動作を特徴付ける所定の積分点像分布関数に基づいた前記未処理ＥＤＯＦデータセットのデコンボリューション処理を含む、請求項１又は２に記載の方法。
4. 前記第１のレベルの解像度は、前記未処理ＥＤＯＦ画像データセットの解像度に対応する最大画素レベルの解像度である、請求項１又は２に記載の方法。
5. 前記第２のタイプのライブＥＤＯＦ画像は、前記第２のタイプのライブＥＤＯＦ画像において前記第２のレベルの解像度でデフォーカスブラーを除去する第２のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応し、
   前記第２のレベルの画像処理は、
   前記未処理ＥＤＯＦ画像データを処理して、対応するマルチピクセルカーネルのセットを画定し、
   各マルチピクセルカーネルの画素レベルのデータの平均化又は結合の少なくとも一方を行うことで、各マルチピクセルカーネルを特徴付ける低減量のマルチピクセルカーネルレベルデータを与え、
   前記マルチピクセルカーネルレベルデータを処理して、前記第２のタイプのライブＥＤＯＦ画像中の前記マルチピクセルカーネルのサイズに対応した解像度レベルでデフォーカスブラーを除去する、
   ように構成されている、請求項４に記載の方法。
6. 前記ライブＥＤＯＦ画像を繰り返し更新することは、
   前記第２の現在の平行移動速度よりも速い第３の現在の平行移動速度に対応する第３の平行移動状態信号に応答して、前記ユーザインタフェースに前記ワークピースの第３のタイプのライブＥＤＯＦ画像を表示することを更に含み、
   前記第３のタイプのライブＥＤＯＦ画像は、デフォーカスブラーを除去するための画像処理を実行しないことに基づくＥＤＯＦ画像データセットに対応する、請求項１又は２に記載の方法。
7. 前記繰り返し更新することは、少なくとも前記第２の平行移動状態信号に対応した動作状態の間に、前記ユーザインタフェース（ＵＩ）に表示されるワークピースの前記ライブＥＤＯＦ画像が少なくとも１秒当たり１０回繰り返し更新されるようなレートで実行される、請求項１に記載の方法。
8. 前記繰り返し更新することは、少なくとも前記第２の平行移動状態信号に対応した動作状態の間に、前記ユーザインタフェース（ＵＩ）に表示されるワークピースの前記ライブＥＤＯＦ画像が少なくとも１秒当たり２５回繰り返し更新されるようなレートで実行される、請求項７に記載の方法。
9. 前記ＴＡＧレンズは、少なくとも３ｋＨｚの周波数で周期的に変更される光学パワー変動を与えるように制御され、
   前記カメラは、前記周期的に変更される光学パワー変動の複数の周期にわたる露光期間中に、前記撮像システムの複数の焦点距離において前記レンズシステムからワークピース画像光を入力するように構成されている、請求項１に記載の方法。
10. 前記複数の焦点距離は、前記撮像システムの最大焦点範囲の少なくとも７０％に及ぶように構成されている、請求項９に記載の方法。
11. 前記周期的に変更される焦点距離と同期された強度変動を有する照明を提供することを更に含み、
    第１の照明強度が前記撮像システムの前記最大焦点範囲の少なくとも内側の７０％の焦点距離に対して各露光成分を与え、前記第１の照明強度より小さい第２の照明強度が前記最大焦点範囲の少なくとも７０％よりも外側の焦点距離に対して各露光成分を抑制する、請求項１０に記載の方法。
12. 前記平行移動状態信号を決定することは、
    移動制御速度を決定すること、
    倍率レベルと組み合わせて移動制御速度を決定すること、
    前記ワークピースが配置されている前記撮像システムのステージの移動速度を決定すること、又は
    一連の画像を解析して、前記画像中の少なくとも１つの要素の平行移動量を決定すること、
    のうち少なくとも１つを含む、請求項１に記載の方法。
13. 前記第１のタイプのライブＥＤＯＦ画像を表示することは、前記第１の平行移動状態信号又は前記第１の現在の平行移動速度のうち少なくとも一方が速度関連閾値未満であるという判定に応じて実行され、
    前記第２のタイプのライブＥＤＯＦ画像を表示することは、前記第２の平行移動状態信号又は前記第２の現在の平行移動速度のうち少なくとも一方が前記速度関連閾値を超えているという判定に応じて実行される、請求項１に記載の方法。
14. 前記速度関連閾値を規定する入力をユーザから受信することを更に含み、
    前記ライブＥＤＯＦ画像を繰り返し更新することは、前記速度関連閾値に従って自動的に実行される、請求項１３に記載の方法。
15. 前記焦点距離は、単一の焦点距離における撮像システムの被写界深度の少なくとも２０倍に及ぶ複数の焦点距離にわたって周期的に変更される、請求項１に記載の方法。
16. ワークピースのライブ拡大被写界深度（ＥＤＯＦ）画像を提供するためのビジョンシステムであって、
    撮像システムと、１つ以上のプロセッサとを備え、
    前記撮像システムは、
    可変音響式屈折率分布型（ＴＡＧ）レンズを含み、前記ＴＡＧレンズに周期的に変更された光学パワー変動を与え、これによって前記撮像システムに対応する焦点距離変動を与えるように制御される、レンズシステムと、
    前記ＴＡＧレンズを制御するように構成されたレンズ制御部を備える制御システムと、
    前記撮像システムの複数の焦点距離において前記レンズシステムからワークピース画像光を入力すると共に、未処理ＥＤＯＦ画像に対応する未処理ＥＤＯＦ画像データセットを出力するように構成されたカメラであって、繰り返し動作させることで経時的な前記ワークピースの未処理ＥＤＯＦ画像のシーケンスに対応した経時的な前記未処理ＥＤＯＦ画像データセットのシーケンスを出力する、カメラと、
    前記未処理ＥＤＯＦ画像データセットが入力されると共に、これを処理して、対応した表示されるＥＤＯＦ画像におけるデフォーカスブラーを除去するための画像処理を実行することに基づくＥＤＯＦ画像データセットを与えように構成された画像処理部と、
    プログラミングされた命令を記憶しているメモリと、
    を備え、
    前記１つ以上のプロセッサは、前記プログラミングされた命令を実行して、現時点での前記撮像システムの視野に沿った方向の前記ワークピースの現在の平行移動速度に対応した平行移動状態信号の状態に基づいて、ユーザインタフェースに表示される前記ワークピースのライブＥＤＯＦ画像を繰り返し更新することを含む動作を実行するように構成されており、
    前記ライブＥＤＯＦ画像を繰り返し更新することは、
    第１の現在の平行移動速度に対応する第１の平行移動状態信号に応答して、前記ワークピースの第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための第１のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応して、前記ユーザインタフェースに、前記第１のタイプのライブＥＤＯＦ画像を表示することと、
    前記第１の現在の平行移動速度よりも速い第２の現在の平行移動速度に対応する第２の平行移動状態信号に応答して、
    前記ワークピースの第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための、前記第１のレベルの画像処理よりも少ない画像処理に相当する第２のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応して、前記ユーザインタフェースに、前記第２のタイプのライブＥＤＯＦ画像を表示することと、
    を含み、
    前記第１のレベルの画像処理は、前記第１のタイプのライブＥＤＯＦ画像において第１のレベルの解像度でデフォーカスブラーを除去し、
    前記第２のレベルの画像処理は、前記第２のタイプのライブＥＤＯＦ画像において第２のレベルの解像度でデフォーカスブラーを除去し、
    前記第２のレベルの解像度は、前記第１のレベルの解像度よりも低い、
    ビジョンシステム。
17. 前記第２のタイプのライブＥＤＯＦ画像は、未処理ＥＤＯＦ画像データセットに対応する未処理ＥＤＯＦ画像であり、
    前記ＥＤＯＦ画像データセットは、前記第２のタイプのライブＥＤＯＦ画像で用いられる前記未処理ＥＤＯＦ画像からデフォーカスブラーを除去するための画像処理を実行しないことに基づいている、請求項１６に記載のビジョンシステム。
18. デフォーカスブラーを除去する画像処理は、前記レンズシステムの動作を特徴付ける所定の積分点像分布関数に基づいた前記未処理ＥＤＯＦデータセットのデコンボリューション処理を含む、請求項１６に記載のビジョンシステム。
19. 撮像システムに関連するユーザインタフェースに表示されるワークピースのライブ拡大被写界深度（ＥＤＯＦ）画像を提供するための方法であって、
    前記ワークピースは、前記撮像システムの視野に沿った方向に平行移動することができ、
    前記撮像システムは、
    可変音響式屈折率分布型（ＴＡＧ）レンズを含み、前記ＴＡＧレンズに周期的に変更された光学パワー変動を与え、これによって前記撮像システムに対応する焦点距離変動を与えるように制御される、レンズシステムと、
    前記ＴＡＧレンズを制御するように構成されたレンズ制御部を備える制御システムと、
    前記撮像システムの複数の焦点距離において前記レンズシステムからワークピース画像光を入力すると共に、未処理ＥＤＯＦ画像に対応する未処理ＥＤＯＦ画像データセットを出力するように構成されたカメラと、
    前記未処理ＥＤＯＦ画像データセットが入力されると共に、これを処理して、対応した表示されるＥＤＯＦ画像におけるデフォーカスブラーを除去するための画像処理を実行することに基づくＥＤＯＦ画像データセットを与えように構成された画像処理部と、
    を備え、前記方法は、
    前記カメラを繰り返し動作させて、経時的な前記ワークピースの未処理ＥＤＯＦ画像のシーケンスに対応した経時的な前記未処理ＥＤＯＦ画像データセットのシーケンスを出力することと、
    現時点での前記撮像システムの視野に沿った方向の前記ワークピースの現在の平行移動速度に対応した平行移動状態信号を繰り返し決定することと、
    現時点での前記平行移動状態信号の状態に基づいて、前記ユーザインタフェースに表示される前記ワークピースのライブＥＤＯＦ画像を繰り返し更新することと、
    を含み、前記ライブＥＤＯＦ画像を繰り返し更新することは、
    第１の現在の平行移動速度に対応する第１の平行移動状態信号に応答して、前記ワークピースの第１のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための第１のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応して、前記ユーザインタフェースに、前記第１のタイプのライブＥＤＯＦ画像を表示することと、
    前記第１の現在の平行移動速度よりも速い第２の現在の平行移動速度に対応する第２の平行移動状態信号に応答して、
    前記ワークピースの第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための、前記第１のレベルの画像処理よりも少ない画像処理に相当する第２のレベルの画像処理を実行すること、又は
    前記第２のタイプのライブＥＤＯＦ画像中のデフォーカスブラーを除去するための画像処理を実行しないこと、
    のうち少なくとも一方に基づくＥＤＯＦ画像データセットに対応して、前記ユーザインタフェースに、前記第２のタイプのライブＥＤＯＦ画像を表示することと、
    を含み、
    前記第２のタイプのライブＥＤＯＦ画像は、前記第２のタイプのライブＥＤＯＦ画像において前記第２のレベルの解像度でデフォーカスブラーを除去する第２のレベルの画像処理を実行することに基づくＥＤＯＦ画像データセットに対応し、
    前記第２のレベルの画像処理は、
    前記未処理ＥＤＯＦ画像データを処理して、対応するマルチピクセルカーネルのセットを画定し、
    各マルチピクセルカーネルの画素レベルのデータの平均化又は結合の少なくとも一方を行うことで、各マルチピクセルカーネルを特徴付ける低減量のマルチピクセルカーネルレベルデータを与え、
    前記マルチピクセルカーネルレベルデータを処理して、前記第２のタイプのライブＥＤＯＦ画像中の前記マルチピクセルカーネルのサイズに対応した解像度レベルでデフォーカスブラーを除去する、
    ように構成されている、
    方法。
    
    

Images