JP7319903B2 - 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像 - Google Patents

高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像 Download PDF

Info

Publication number
JP7319903B2
JP7319903B2 JP2019225216A JP2019225216A JP7319903B2 JP 7319903 B2 JP7319903 B2 JP 7319903B2 JP 2019225216 A JP2019225216 A JP 2019225216A JP 2019225216 A JP2019225216 A JP 2019225216A JP 7319903 B2 JP7319903 B2 JP 7319903B2
Authority
JP
Japan
Prior art keywords
image
edof
pff
image exposure
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019225216A
Other languages
English (en)
Other versions
JP2020095039A (ja
Inventor
セネケリムヤン ヴァハン
アンドリュー サマーズ ジョセフ
エリス ヘミングス スコット
ローレンス デレイニー マーク
ジェラード グラドニック ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of JP2020095039A publication Critical patent/JP2020095039A/ja
Application granted granted Critical
Publication of JP7319903B2 publication Critical patent/JP7319903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Description

本開示は、一般にマシンビジョン検査システムに関し、更に具体的には、高速３Ｄ測定及び拡張被写界深度（extended depth-of-field）撮像動作に関する。
精密マシンビジョン検査システム（又は略して「ビジョンシステム」）は、物体の精密な寸法測定値を得ると共に他の様々な物体の特徴を検査するために使用される。そのようなシステムは、コンピュータと、カメラと、光学システムと、ワークピースの走査（traversal）及び検査を可能とするために移動する精密ステージと、を含み得る。汎用の「オフライン」精密ビジョンシステムとして特徴付けられる１つの例示的な従来技術のシステムは、イリノイ州オーロラに位置するMitutoyo America Corporation(MAC)から入手可能なQUICK VISION（登録商標）シリーズのＰＣベースのビジョンシステム及びQVPAK（登録商標）ソフトウェアである。QUICK VISION（登録商標）シリーズのビジョンシステム及びQVPAK（登録商標）ソフトウェアの機能及び動作については、概ね、例えば２００３年１月に発表されたQVPAK 3D CNC画像測定機ユーザガイド、及び、１９９６年９月に発表されたQVPAK 3D CNC画像測定機動作ガイドに記載されている。これらの各々は援用によりその全体が本願に含まれる。このタイプのシステムは、顕微鏡型の光学システムを利用し、小型又は比較的大型のワークピースの検査画像を様々な倍率で提供するようにステージを移動させる。
汎用の精密マシンビジョン検査システムは一般に、自動化ビデオ検査を行うようにプログラム可能である。このようなシステムは通常、「非専門家」のオペレータが動作及びプログラミングを実行できるように、ＧＵＩ機能及び既定の画像解析「ビデオツール」を含む。例えば米国特許第６，５４２，１８０号は、様々なビデオツールの使用を含む自動化ビデオ検査を利用したビジョンシステムを教示している。
具体的な検査イベントシーケンス（すなわち、各画像をどのように取得するか、及び取得した各画像をどのように解析／検査するか）を含むマシン制御命令は、一般に、特定のワークピース形状に固有の「パートプログラム」又は「ワークピースプログラム」として記憶されている。例えばパートプログラムは、各画像をどのように取得するか、例えばどの照明レベルで、どの倍率レベルで、どのようにワークピースに対してカメラを配置するか等を規定する。更にパートプログラムは、例えば自動合焦ビデオツールのような１つ以上のビデオツールを用いることにより、取得した画像をどのように解析／検査するかを規定する。
ビデオツール（又は短縮して「ツール」）及びその他のグラフィカルユーザインタフェース機能を、手動で用いて、（「手動モード」で）手動の検査及び／又はマシン制御動作を達成することができる。自動検査プログラム又は「パートプログラム」を生成するため、それらのセットアップパラメータ及び動作も学習モード中に記録することができる。ビデオツールには、例えばエッジ／境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。
いくつかの用途において、マシンビジョン検査システムの撮像システムは、単一の合焦位置で光学撮像システムによって与えられる被写界深度よりも深い拡張被写界深度（ＥＤＯＦ）で画像を収集するように動作することが望ましい。拡張被写界深度で画像を収集するための様々な方法が知られている。１つのそのような方法は、焦点範囲全体にわたる様々な距離で合焦された複数の一致した又は位置合わせされた画像から成る画像「スタック」を収集することである。画像スタックから、視野の合成画像が構築される。合成画像における視野の各部分は、その部分をベストフォーカスで表す特定の画像から抽出されている。しかしながら、この方法は比較的速度が遅い。別の例として、Nagahara等（「Flexible Depth of Field Photography」、Proceedings of the European Conference on Computer Vision、2008年10月）は、単一の画像をその露光時間中に複数の合焦距離に沿って露光させる方法を開示している。この画像は比較的ぼやけているが、複数の合焦距離にわたって取得された画像情報を含んでいる。この画像に、既知の又は所定のぼけカーネル（blur kernel）を用いて解析を行うことで、拡張被写界深度で比較的クリアな画像が得られる。Nagaharaに記載された方法では、撮像システムの光軸に沿って画像検出器を平行移動させることによって、焦点距離を変化させる。この結果、露光中の様々な時点において、検出器上で様々な焦点面が合焦される。しかしながら、このような方法は、比較的速度が遅く、機械的に複雑である。更に、検出器の位置を変えることは、（例えば数マイクロメータのオーダーの精度を得るための）精密測定等で使用しなければならない固定焦点検査画像を取得するために用いる場合、再現性及び／又は精度に対して悪影響を及ぼし得る。光学コンポーネントの機械的な平行移動に頼ることなく高速で実行することができる、拡張被写界深度（ＥＤＯＦ）画像を提供するための改良された方法が望まれている。
様々な用途では、静止検査システム又はノンストップ移動検査システムのいずれかにおいて、高速自動合焦動作を実行して高速３Ｄ測定を容易にすることも望まれている。従来のマシンビジョン検査システムにおける自動合焦動作の速度は、Ｚ高さ位置範囲内でのカメラの動きによって限定される。高速でＺ高さ位置を測定するため、画像スタックを収集する代替的な方法を用いる、改良された自動合焦動作が必要とされている。
高速３Ｄ測定及び拡張被写界深度撮像動作を実行するのに適した、可変音響式屈折率分布型（ＴＡＧ：tunable acoustic gradient）レンズ撮像システムを動作させるための方法が開示される。
様々な実施例において、ＴＡＧレンズ撮像システムを動作させるための方法は、（ａ）ＴＡＧレンズ撮像システムのポイントフロムフォーカス（ＰＦＦ）モードにである第１の露光制御モード及びＴＡＧレンズ撮像システムの拡張被写界深度（ＥＤＯＦ）モードである第２の露光制御モードを提供するスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ：smart lighting pulse control routine/circuit）を提供するステップと、（ｂ）ＴＡＧレンズ撮像システムの視野内にワークピースを配置するステップと、（ｃ）ＴＡＧレンズ撮像システム内の要素間の間隔を巨視的に調整することなくＴＡＧレンズ撮像システムの合焦位置を周期的に変調するステップであって、合焦位置は、少なくとも３０ｋＨｚの変調周波数で、ワークピースの表面高さを含む焦点範囲内で合焦軸方向に沿った複数の合焦位置において周期的に変調されるステップと、（ｄ）ＰＦＦモードを起動することでＴＡＧレンズ撮像システムを動作させるステップと、を含む。ＰＦＦモード動作ステップ（ｄ）は、（ｄ１）ＳＬＰＣＲＣに含まれるか又はＳＬＰＣＲＣに入力されるＰＦＦ露光制御データセットによって、ＰＦＦ画像露光シーケンスが規定され、ＰＦＦ画像露光シーケンスを用いて画像スタックを露光することであって、ＰＦＦ画像露光シーケンスは、周期的に変調される合焦位置の各位相に対応した個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、複数の個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって決定される、ことと、（ｄ２）画像スタックを処理して、ワークピースの表面形状に対応する３次元表面座標セットを定量的に示すＺ高さ座標マップ（例えばポイントクラウド）を決定又は出力することと、を含む。
様々な実施形態において、画像スタックはＳＬＰＣＲＣに含まれるフレームグラバ（framegrabber）に入力され、処理ステップ（ｄ２）は、フレームグラバに含まれるプロセッサにおいて、Ｚ高さ座標マップがフレームグラバから出力されるとともに、画像スタックがフレームグラバから出力されないように実行される。
様々な実施形態において、ＰＦＦ画像露光シーケンスは、１秒未満、５００ミリ秒未満、又は２５０ミリ秒未満で画像スタックを取得するように構成されている。
様々な実施形態において、制御タイミングはそれぞれ、ＰＦＦ画像露光シーケンス内の所定のシーケンスとして規定され、ＳＬＰＣＲＣは、ＰＦＦ画像露光シーケンスにおいて規定された所定のシーケンスを開始する単一の開始信号に基づいて画像スタック全体を提供するように構成されている。
様々な実施形態において、ＳＬＰＣＲＣの少なくとも一部はＴＡＧレンズ撮像システムのスマート照明モジュールに含まれ、ＰＦＦ露光制御データセットの少なくとも一部はスマート照明モジュールに含まれるか又はスマート照明モジュールに入力される。
様々な実施形態において、ＳＬＰＣＲＣの少なくとも一部はＴＡＧレンズ撮像システムのフレームグラバに含まれ、ＰＦＦ露光制御データセットの少なくとも一部はフレームグラバに含まれるか又はフレームグラバに入力される。
様々な実施形態では、露光ステップ（ｄ１）において、個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスに従ったＴＡＧレンズ撮像システムのフレームグラバによる画像取得の各インスタンスによって決定される。例えば、ＰＦＦ画像露光シーケンスに従った画像取得の各インスタンスに対してカメラが駆動される。いくつかの実施形態において、フレームグラバはＰＦＦ画像露光シーケンスに従って駆動信号をカメラに送信する。他の実施形態において、ＴＡＧレンズ撮像システムのスマート照明モジュールはＰＦＦ画像露光シーケンスに従って駆動信号をカメラに送信する。
様々な実施形態では、露光ステップ（ｄ１）において、個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスに従ったＴＡＧレンズ撮像システムのフレームグラバによる画像記憶の各インスタンスによって決定される。例えば、カメラが連続的に駆動されてフレームグラバに画像を連続的に出力し、複数の個別の画像露光量増分に対応する画像の各インスタンスのみがフレームグラバに記憶される。
様々な実施形態において、ＰＦＦモード動作ステップ（ｄ）は、第１の動作期間又は時間で実行され、方法は、（ｅ）第２の動作期間又は時間でＥＤＯＦモードを起動することでＴＡＧレンズ撮像システムを動作させることを更に含む。ＥＤＯＦモード動作ステップ（ｅ）は、（ｅ１）ＳＬＰＣＲＣに含まれるか又はＳＬＰＣＲＣに入力されるＥＤＯＦ露光制御データセットによって規定されるＥＤＯＦ画像露光シーケンスを用いて準備画像（preliminary image）を露光することであって、ＥＤＯＦ画像露光シーケンスは、周期的に変調される合焦位置の各位相に対応した個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、複数の個別の画像露光量増分はそれぞれ、ＥＤＯＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって決定される、ことと、（ｅ２）準備画像を処理して、単一焦点位置でのＴＡＧレンズ撮像システムよりも深い被写界深度を有するＥＤＯＦ画像を決定又は出力することであって、ＥＤＯＦ画像は実質的に深い被写界深度全体で合焦されている、ことと、を含む。
様々な実施形態において、準備画像はＳＬＰＣＲＣに含まれるフレームグラバに入力され、処理ステップ（ｅ２）は、フレームグラバに含まれるプロセッサにおいて、ＥＤＯＦ画像がフレームグラバから出力されると共に準備画像がフレームグラバから出力されないように実行される。
様々な実施形態において、ＥＤＯＦ画像露光シーケンスは、５００ミリ秒未満、２５０ミリ秒未満、１００ミリ秒未満、又は５０ミリ秒未満で準備画像を取得するように構成されている。
様々な実施形態において、制御タイミングはそれぞれ、ＥＤＯＦ画像露光シーケンス内の所定のシーケンスとして規定され、ＳＬＰＣＲＣは、ＥＤＯＦ画像露光シーケンスにおいて規定された所定のシーケンスを開始する単一の開始信号に基づいて準備画像全体を提供するように構成されている。
様々な実施形態において、ＳＬＰＣＲＣの少なくとも一部はＴＡＧレンズ撮像システムのスマート照明モジュールに含まれ、ＥＤＯＦ露光制御データセットの少なくとも一部はスマート照明モジュールに含まれるか又はスマート照明モジュールに入力される。
様々な実施形態において、ＳＬＰＣＲＣの少なくとも一部はＴＡＧレンズ撮像システムのフレームグラバに含まれ、ＥＤＯＦ露光制御データセットの少なくとも一部はフレームグラバに含まれるか又はフレームグラバに入力される。
様々な実施形態において、方法は、ＥＤＯＦモード動作ステップ（ｅ）を繰り返して複数のＥＤＯＦ画像を提供すること、及び、ＴＡＧレンズ撮像システムに含まれるディスプレイ上に提供されているライブビデオディスプレイウィンドウにワークピースの複数のＥＤＯＦ画像を表示することを更に含む。
更に別の実施形態において、ワークピースの少なくとも１つの画像を提供するための可変音響式屈折率分布型（ＴＡＧ）レンズ撮像システムが提供される。ＴＡＧレンズ撮像システムは、ＴＡＧレンズ撮像システムのポイントフロムフォーカス（ＰＦＦ）モードに対応する第１の露光制御モード及びＴＡＧレンズ撮像システムの拡張被写界深度（ＥＤＯＦ）モードに対応する第２の露光制御モードを提供するスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ）と、対物レンズと、ＴＡＧレンズと、カメラと、フレームグラバと、ストロボ照明光源を制御するスマート照明モジュールと、ストロボ照明光源を制御するように、かつ、ＴＡＧレンズ撮像システム内の要素間の間隔を巨視的に調整することなくＴＡＧレンズ撮像システムの合焦位置を周期的に変調するようＴＡＧレンズを制御するように構成された制御システムと、を含む。制御システムは更に、（ａ）少なくとも３０ｋＨｚの変調周波数で、ワークピースの表面高さを含む焦点範囲内で合焦軸方向に沿った複数の合焦位置にわたって合焦位置を周期的に変調するようＴＡＧレンズを制御し、（ｂ）第１の動作期間又は時間でＰＦＦモードを起動することによりＴＡＧレンズ撮像システムを動作させ、（ｃ）第２の動作期間又は時間でＥＤＯＦモードを起動することによりＴＡＧレンズ撮像システムを動作させるように構成されている。
本発明の前述の態様及び付随する利点の多くは、以下の詳細な説明を添付図面と関連付けて参照することでより良く理解すれば、いっそう容易に認められよう。
例示的な実施形態に従ったＴＡＧレンズ撮像システムを組み込むのに適した、汎用の精密マシンビジョン検査システムの種々の典型的なコンポーネントを示す図である。 図１のものと同様の、本発明に開示される特徴を含むＴＡＧレンズ撮像システムを組み込んでいるマシンビジョン検査システムの制御システム部及びビジョン構成要素部のブロック図である。 マシンビジョン検査システムに適合させることができ、本明細書に開示される原理に従って動作することができるＴＡＧレンズを含むＴＡＧレンズ撮像システムの一実施形態の概略図である。 本明細書に開示される原理に従ってスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ）によって制御されるＴＡＧレンズ撮像システムの光学撮像システム部及び制御システム部のブロック図である。 ＰＦＦモードに対応する第１の露光モード及びＥＤＯＦモードに対応する第２の露光制御モードを提供するＳＬＰＣＲＣを含むＴＡＧレンズ撮像システムを動作させるための方法の一実施形態を示すフロー図である。 本明細書に開示される原理に従ってＰＦＦモードで動作するＴＡＧレンズ撮像システムの一実施形態において使用することができる、画像露光中の焦点高さについての例示的なタイミング図を示す。 ＴＡＧレンズ撮像システムに関連付けられたディスプレイデバイスのスクリーンショットとして表されている例示的なグラフィカルユーザインタフェースを示しており、これは、ＰＦＦモードにおいて画像スタックを露光するため用いられるＰＦＦ画像露光シーケンスを規定するＰＦＦ露光制御データセットのユーザ制御（例えばユーザ入力）を可能とする。 本明細書に開示される原理に従ってＥＤＯＦモードで動作するＴＡＧレンズ撮像システムの一実施形態において使用することができる、画像露光中の焦点高さについての例示的なタイミング図を示す。 ＴＡＧレンズ撮像システムに関連付けられたディスプレイデバイスのスクリーンショットとして表されている例示的なグラフィカルユーザインタフェースを示しており、これは、ＥＤＯＦモードにおいて準備画像を露光するため用いられるＥＤＯＦ画像露光シーケンスを規定するＥＤＯＦ露光制御データセットのユーザ制御（例えばユーザ入力）を可能とする。
図１は、本明細書に記載される方法に従ったＴＡＧレンズ撮像システム３００を組み込むのに適した１つの例示的なマシンビジョン検査システム１０のブロック図である。本明細書において用いる場合、マシンビジョン検査システムがＴＡＧレンズ撮像システムを組み込むか又は具現化する限りにおいて、マシンビジョン検査システム及びＴＡＧレンズ撮像システムは同一の参照番号１０によって表され、交換可能に用いることができる。マシンビジョン検査システム１０は、制御コンピュータシステム１４とデータ及び制御信号を交換するように動作可能に接続された画像測定機１２を含む。制御コンピュータシステム１４は更に、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６とデータ及び制御信号を交換するように動作可能に接続されている。モニタ又はディスプレイ１６は、マシンビジョン検査システム１０の動作の制御及び／又はプログラミングに適したユーザインタフェースを表示することができる。様々な実施形態において、タッチスクリーンタブレット等が、コンピュータシステム１４、ディスプレイ１６、ジョイスティック２２、キーボード２４、及びマウス２６のいずれか又は全ての機能の代用となり得ること及び／又はこれらの機能を冗長的に与え得ることは認められよう。
制御コンピュータシステム１４は一般にいかなるコンピューティングシステム又はデバイスからも構成可能であることは当業者には認められよう。適切なコンピューティングシステム又はデバイスには、パーソナルコンピュータ、サーバコンピュータ、マイクロコンピュータ、メインフレームコンピュータ、上記のいずれかを含む分散型コンピューティング環境等が含まれ得る。このようなコンピューティングシステム又はデバイスは、本明細書に記載される機能を実現するためにソフトウェアを実行する１つ以上のプロセッサを含み得る。プロセッサには、プログラマブル汎用又は特殊用途マイクロプロセッサ、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）等、又はそのようなデバイスの組み合わせが含まれる。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ等のメモリ、又はそのようなコンポーネントの組み合わせに記憶することができる。また、ソフトウェアは、光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他のいずれかのタイプの不揮発性記憶媒体のような１つ以上の記憶デバイスに記憶してもよい。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む１つ以上のプログラムモジュールを含み得る。分散型コンピューティング環境では、プログラムモジュールの機能性は、有線又は無線のいずれかの構成において、複数のコンピューティングシステム又はデバイス間で組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。
画像測定機１２は、可動ワークピースステージ３２と、ズームレンズ又は交換可能レンズを含み得る光学撮像システム３４と、を含む。ズームレンズ又は交換可能レンズは一般に、光学撮像システム３４によって得られる画像に様々な倍率を与える。マシンビジョン検査システム１０は、本発明の譲受人に譲渡された米国特許第７，４５４，０５３号、第７，３２４，６８２号、第８，１１１，９０５号、及び８，１１１，９３８号にも記載されている。
図２は、図１のマシンビジョン検査システムと同様の、本明細書に記載される特徴を含むマシンビジョン検査システム１０の制御システム部１２０及びビジョン構成要素部２００のブロック図である。以下で詳述するように、制御システム部１２０を用いてビジョン構成要素部２００を制御する。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０、及び２４０（例えばストロボ照明光源）と、中央に透明部２１２を有するワークピースステージ３２と、を含む。ワークピースステージ３２は、ワークピース２０を配置することができるステージの表面に対して概ね平行な面内にあるＸ軸及びＹ軸に沿って制御可能に移動させることができる。光学アセンブリ部２０５は、カメラシステム２６０及び対物レンズシステム２５０を含む。様々な実施形態に従って、対物レンズシステム２５０は、可変焦点距離を有する可変音響式屈折率分布型（ＴＡＧ）レンズを含む。これについては後で詳述する。光学アセンブリ部２０５は、レンズ２８６と２８８を有するターレットレンズアセンブリ２８０も含む場合がある。ターレットレンズアセンブリの代わりに、固定もしくは手作業で交換可能な倍率可変レンズ（magnification-altering lens）、又はズームレンズ構成等を含んでもよい。
マシンビジョン検査システム１０を用いて撮像されるワークピース２０、又は複数のワークピース２０を保持しているトレイもしくは固定具は、ワークピースステージ３２上に配置されている。ワークピースステージ３２は、光学アセンブリ部２０５に対して移動するように制御され、ＴＡＧレンズを含む対物レンズシステム２５０がワークピース２０上の複数の位置間で及び／又は複数のワークピース２０間で移動できるようになっている。透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０（例えばストロボ照明光源）の１つ以上（まとめて光源と呼ぶ）が、それぞれ光源光２２２、２３２、及び／又は２４２を発して、１つ又は複数のワークピース２０を照明することができる。光源２３０は、ミラー２９０を含む経路に沿って光２３２を発することができる。光源光はワークピース光２５５として反射又は透過され、撮像のため用いられるワークピース光は、ＴＡＧレンズを含む対物レンズシステム２５０及びターレットレンズアセンブリ２８０を通過して、カメラシステム２６０によって集光される。カメラシステム２６０によりキャプチャされた１又は複数のワークピース２０の画像は、制御システム部１２０への信号ライン２６２に出力される。光源２２０、２３０、及び２４０は、それぞれ信号ライン又はバス２２１、２３１、及び２４１を介して制御システム部１２０に接続することができる。画像の倍率を変更するため、制御システム部１２０は、ターレットレンズアセンブリ２８０を軸２８４に沿って回転させることで、信号ライン又はバス２８１を介してターレットレンズを１つ選択することができる。
図２に示すように、種々の例示的な実施形態において制御システム部１２０は、制御部１２５、入出力インタフェース１３０、メモリ１４０、ワークピースプログラム発生器及び実行器１７０、及び電源部１９０を含む。これらのコンポーネント及び以下で説明する追加のコンポーネントの各々は、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。
入出力インタフェース１３０は、撮像制御インタフェース１３１、移動制御インタフェース１３２、照明制御インタフェース１３３、及びレンズ制御インタフェース１３４を含む。撮像制御インタフェース１３１はスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ）１３１ｅを含むことができ、これは、ＴＡＧレンズ撮像システムのＰＦＦモードに対応する第１の露光制御モード及びＴＡＧレンズ撮像システムのＥＤＯＦモードに対応する第２の露光制御モードを提供する。レンズ制御インタフェース１３４は、レンズ合焦駆動ルーチン／回路、レンズ合焦タイミングルーチン／回路、レンズ合焦較正ルーチン／回路等を含むレンズ制御部を含むことができる。様々な実施例において、レンズ制御部は、本明細書に開示される原理に従ってＳＬＰＣＲＣの動作を制御するマスタタイミング信号（図４を参照のこと）を発生する。ＳＬＰＣＲＣに関連した動作及びコンポーネントについては、図３から図９を参照して以下で更に説明する。
移動制御インタフェース１３２は、位置制御要素１３２ａ及び速度／加速度制御要素１３２ｂを含み得るが、これらの要素はマージされる及び／又は区別できない場合もある。
照明制御インタフェース１３３は、照明制御要素１３３ａ、１３３ｎ、及び１３３ｆｌを含み、これらは、マシンビジョン検査システム１０の様々な対応する光源について、例えば選択、パワー、オン／オフ切り換え、及びストロボパルスタイミングを制御する。例えば照明制御要素１３３ａ、１３３ｎ、又は１３３ｆｌは、ＴＡＧレンズ撮像システム３００のストロボ照明光源を制御するスマート照明モジュール（図４の４１０）とすることができる。様々な実施形態において、ＳＬＰＣＲＣ１３１ｅの少なくとも一部は、ＴＡＧレンズ撮像システムのそのようなスマート照明モジュール内に含めることができる。これについては図４を参照して後で詳述する。
メモリ１４０は、画像ファイルメモリ部１４１、エッジ検出メモリ部１４０ｅｄ、１つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部１４２、及びビデオツール部１４３を含むことができる。ビデオツール部１４３は、対応する各ビデオツールのためのＧＵＩや画像処理動作等を確定するビデオツール部１４３ａ及び他のビデオツール部（例えば１４３ｎ）、並びに関心領域（ＲＯＩ：region of interest）発生器１４３ｒｏｉを含む。関心領域発生器１４３ｒｏｉは、ビデオツール部１４３内に含まれる様々なビデオツールにおいて動作可能である様々なＲＯＩを規定する自動、半自動、及び／又は手動の動作をサポートする。ビデオツール部は、例えば合焦高さ測定動作のためのＧＵＩや画像処理動作等を確定する自動合焦ビデオツール１４３ａｆも含む。本開示の文脈において、当業者に既知であるように、「ビデオツール」という言葉は概ね、マシンビジョンユーザが、ビデオツールに含まれる動作の段階的シーケンスを生成することなく、また汎用のテキストベースのプログラミング言語等に頼ることもなく、比較的シンプルなユーザインタフェース（例えばグラフィカルユーザインタフェース、編集可能パラメータウィンドウ、メニュー等）を介して実施可能である比較的複雑な自動化又はプログラミングされた動作セットのことである。例えばビデオツールは、あらかじめプログラミングされた複雑な画像処理動作及び計算のセットを含み、これらの動作及び計算を規定する少数の変数及びパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。ビデオツールは、基礎にある動作及び計算の他に、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。例えば、多くのマシンビジョンビデオツールによってユーザは、マウスを用いたシンプルな「ハンドルドラッグ」動作を行ってグラフィックの関心領域（ＲＯＩ）インジケータを構成して、ビデオツールの特定のインスタンスの画像処理動作で解析対象となる画像サブセットの位置パラメータを定義することができる。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。
透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０のそれぞれの信号ライン又はバス２２１、２３１、及び２４１は全て、入出力インタフェース１３０に接続されている。カメラシステム２６０からの信号ライン２６２も入出力インタフェース１３０に接続されている。信号ライン２６２は、画像データの伝達に加えて、画像取得を開始する制御部１２５からの信号も伝達することができる。
１つ以上のディスプレイデバイス１３６（例えば図１のディスプレイ１６）及び１つ以上の入力デバイス１３８（例えば図１のジョイスティック２２、キーボード２４、及びマウス２６）も、入出力インタフェース１３０に接続することができる。ディスプレイデバイス１３６及び入力デバイス１３８を用いて、様々なグラフィカルユーザインタフェース（ＧＵＩ）機能を含み得るユーザインタフェースを表示することができる。それらの機能は、３Ｄ測定又は検査動作の実行、及び／又はパートプログラムの生成及び／又は修正、カメラシステム２６０によってキャプチャされた画像の閲覧、及び／又はビジョン構成要素部２００の直接制御のために使用可能である。ディスプレイデバイス１３６は、ＳＬＰＣＲＣ１３１ｅに関連付けたユーザインタフェース機能を表示することができる。これについては図７及び図９を参照して後で詳説する。
種々の例示的な実施形態において、ユーザがマシンビジョン検査システム１０を用いてワークピース２０のためのパートプログラムを生成する場合、ユーザは、マシンビジョン検査システム１０を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによって、パートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野（ＦＯＶ）内に配置し、照明レベルを設定し、合焦又は自動合焦を行い、画像を取得し、（例えばそのワークピース要素に対してビデオツールのうち１つのインスタンスを用いて）画像に適用される検査訓練シーケンスを提供することを含み得る。学習モードは、この１又は複数のシーケンスがキャプチャ又は記録されて、対応するパートプログラム命令に変換されるように動作する。パートプログラムが実行された場合、これらの命令はマシンビジョン検査システムに訓練した画像取得を再現させると共に、検査動作を行って、パートプログラムの生成時に用いた代表的ワークピースに合致する実行モード（run mode）の１又は複数のワークピース上の特定のワークピース要素（すなわち対応位置における対応する要素）を自動的に検査させる。本明細書に開示されるＳＬＰＣＲＣ（スマート光パルス制御ルーチン／回路）を用いたシステム及び方法は、ユーザが視覚的検査及び／又はワークピースプログラム生成のためにワークピースをナビゲートしながらリアルタイムでＰＦＦ３次元画像又はＥＤＯＦビデオ画像を見ることができるので、そのような学習モード及び／又は手動動作の際に有用である。ユーザは、ワークピース上の様々な顕微鏡的要素の高さに応じて高倍率画像を常に再合焦する必要がない。この再合焦は、特に高倍率では、面倒であると共に長い時間を要する可能性がある。
以下の図３及び図４の記載は、ＴＡＧレンズを含むＴＡＧレンズ撮像システム３００の様々な動作原理及び用途を説明する。そのような動作原理及び用途の更なる説明及び理解、並びに様々な態様については、米国特許第９，９３０，２４３号、第９，７３６，３５５号、第９，７２６，８７６号、第９，１４３，６７４号、第８，１９４，３０７号、及び第７，６２７，１６２号、並びに米国特許出願公報第２０１７／００７８５４９号、第２０１８／０１４３４１９号に、更に詳しく記載されている。
図３は、マシンビジョン検査システム１０に適合させることができ、本明細書に開示される原理に従って動作することができるＴＡＧレンズ撮像システム３００の一実施形態の概略図である。ＴＡＧレンズ撮像システム３００は、ＴＡＧレンズ撮像システム３００の視野内でワークピース２０を照明するように構成可能である光源３３０（例えばストロボ照明光源）、対物レンズ３５０、リレーレンズ３５１、リレーレンズ３５２、可変焦点距離を有するＴＡＧレンズ３７０、チューブレンズ３８６、及びカメラシステム３６０を含む。ＴＡＧレンズ（又は交換可能にＴＡＧ屈折率レンズと称する）３７０は、流体媒質中で音波を用いて合焦位置を変調する高速可変焦点距離レンズであり、焦点距離範囲を高周波数で周期的にスイープすることができる。このようなレンズは、論文「High-speed varifocal imaging with a tunable acoustic gradient index of refraction lens」（Optics Letters、Vol.33、No.18、2008年9月15日）の教示によって理解することができる。ＴＡＧ屈折率分布型レンズ及びこれに関連した制御可能信号発生器は、例えばTAG Optics,Inc.（ニュージャージー州プリンストン）から入手可能である。例えばTAG Opticsから入手可能なＳＲ３８シリーズレンズは、最大で１．０ＭＨｚまでの変調が可能である。
動作中、光源３３０は、光源光３３２を、ミラー３９０を含む経路に沿ってワークピース２０の表面へと発するように構成することができる。対物レンズ３５０は、ワークピース２０に近接した合焦位置ＦＰで集束されたワークピース光を含むワークピース光３５５を受光し、ワークピース光３５５をリレーレンズ３５１に出力する。リレーレンズ３５１はワークピース光３５５を受光し、これをリレーレンズ３５２に出力する。リレーレンズ３５２はワークピース光３５５を受光し、これをＴＡＧレンズ３７０に出力する。これと共に、ワークピース２０の各Ｚ高さ及び／又は合焦位置ＦＰで一定の倍率を与えるため、リレーレンズ３５１及びリレーレンズ３５２は、対物レンズ３５０とＴＡＧレンズ３７０との間に４ｆリレー光学系を提供する。ＴＡＧレンズ３７０はワークピース光３５５を受光し、これをチューブレンズ３８６に出力する。ＴＡＧレンズ３７０は、１回以上の画像露光中にＴＡＧレンズ撮像システム３００の合焦位置ＦＰを変えるよう電子的に制御可能である。合焦位置ＦＰは、合焦位置ＦＰ１と合焦位置ＦＰ２によって画定される範囲Ｒ内で動かすことができる。いくつかの実施形態において、範囲Ｒは、（１倍の対物レンズ３５０では）１０ｍｍの大きさとすることができる。いくつかの実施形態において、範囲Ｒは、例えばＳＬＰＣＲＣ１３１ｅによってサポートされるＰＦＦモード又はＥＤＯＦモードで、ユーザにより選択可能であることは認められよう。
様々な実施例において、ＴＡＧレンズ撮像システム３００は、ＴＡＧレンズ撮像システム３００内の要素間の間隔を巨視的に調整することなくＴＡＧレンズ撮像システム３００の合焦位置ＦＰを周期的に変調させるようにＴＡＧレンズ３７０を制御するよう構成されたスマートパルス制御ルーチン／回路（ＳＬＰＣＲＣ）１３１ｅを備えている。すなわち、合焦位置ＦＰを変化させるために対物レンズ３５０とワークピース２０との間の距離を調整する必要はない。合焦位置ＦＰは、少なくとも３０ｋＨｚの変調周波数で、測定／撮像対象のワークピース２０の表面高さを含む焦点範囲Ｒ内で合焦軸方向に沿った複数の合焦位置において周期的に変調される。いくつかの実施形態では、ＴＡＧレンズ３７０は極めて迅速に合焦位置ＦＰを調整又は変調することができる（例えば少なくとも７０ｋＨｚ、４００ｋＨｚ、又はそれ以上の速度で周期的に）。いくつかの実施形態において、ＴＡＧレンズ３７０は、合焦位置ＦＰが高周波数で経時的に正弦波状に変調されるように周期信号を用いて駆動することができる。
様々な実施形態に従って、ＳＬＰＣＲＣ１３１ｅの制御下にあるＴＡＧレンズ撮像システム３００は、ポイントフロムフォーカス（ＰＦＦ：points from focus）モードに対応する第１の露光制御モード及び拡大焦点深度（ＥＤＯＦ）モードに対応する第２の露光制御モードにおいて動作可能である。
ＰＦＦモードにおいて、ＴＡＧレンズ撮像システム３００は、ＳＬＰＣＲＣ１３１ｅに含まれるか又はＳＬＰＣＲＣ１３１ｅに入力されるＰＦＦ露光制御データセットによって規定される露光シーケンスを用いて画像のスタック（画像スタック）を露光するように動作する。サンプルＰＦＦ画像露光シーケンスが図６及び図７に示されており、これについては後で詳述する。ＰＦＦ画像露光シーケンスは、周期的に変調される合焦位置の各位相に対応した個別の合焦位置ＦＰで取得される複数の個別の画像露光量増分を規定する。複数の個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって決定される。画像スタックを処理して、ワークピース２０の表面形状に対応する３次元表面座標セットを定量的に示すＺ高さ座標マップ（例えばポイントクラウド）を決定又は出力する。
ＥＤＯＦモードにおいて、ＴＡＧレンズ撮像システム３００は、ＳＬＰＣＲＣ１３１ｅに含まれるか又はＳＬＰＣＲＣ１３１ｅに入力されるＥＦＯＦ露光制御データセットによって規定される露光シーケンスを用いて準備画像を露光するように動作する。サンプルＥＤＯＦ画像露光シーケンスが図８及び図９に示されており、これについては後で詳述する。ＥＤＯＦ画像露光シーケンスは、周期的に変調される合焦位置の各位相に対応した個別の合焦位置ＦＰで取得される複数の個別の画像露光量増分を規定する。複数の個別の画像露光量増分はそれぞれ、ＥＤＯＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって決定される。準備画像を処理して、単一焦点位置のＴＡＧレンズ撮像システムよりも深い（例えば、様々な実施形態では１０～２０倍又はそれ以上深い）被写界深度を有するＥＤＯＦ画像を決定又は出力する。ＥＤＯＦ画像は、実質的にこの深い被写界深度全体で合焦されている。様々な実施形態において、ＥＤＯＦ画像は、ほぼリアルタイムで表示するのに適した高速で提供することができる。例えばＥＤＯＦ画像露光シーケンスは、５００ミリ秒未満、又は２５０ミリ秒未満、又は１００ミリ秒未満、又は５０ミリ秒未満で準備画像を取得するように構成できる。
図４は、光学撮像システム３４と、ワークピースステージ３２と、ＴＡＧレンズ撮像システム３００のための制御システムとして動作可能なＳＬＰＣＲＣ１３１ｅとを含む、ＴＡＧレンズ撮像システム３００のブロック図である。様々な実施例において、ＴＡＧレンズ撮像システム３００は、マシンビジョンホストシステムに適合させるか又はスタンドアロンのシステムとして使用することができ、本明細書及び本願に含めた引用文献に開示されている原理に従って動作できる。
光学撮像システム３４は、画像検出器２６０（例えばカメラ）と、１つ以上のフィールドレンズ１５０（例えば図３の対物レンズ３５０並びにリレーレンズ３５１及び３５２）と、ＴＡＧレンズ３７０と、を含む。ＳＬＰＣＲＣ１３１ｅは、例えばホストＰＣ内に提供され得るシステムホスト回路及びルーチン４０１を含むことができる。システムホスト回路及びルーチン４０１は、ユーザインタフェース入出力モジュール４０２（例えば図１の様々なディスプレイデバイス又は入力デバイス１６、１８、２２、２４、２６）と、ＰＦＦモード及びＥＤＯＦモードにおけるＴＡＧレンズ撮像システム３００の動作を制御するよう構成されたモード制御モジュール４０３と、を含む。いくつかの実施形態において、モード制御モジュール４０３は、ＰＦＦ露光制御データセットに基づいてＰＦＦ画像露光シーケンスを規定すること、及びＥＤＯＦ露光制御データセットに基づいてＥＤＯＦ画像露光シーケンスを規定することを担当し得る。いくつかの実施形態において、ユーザは、図７及び図９に示されている例示的なグラフィカルユーザインタフェースを用いてＰＦＦ露光制御データセット及びＥＤＯＦ露光制御データセットを規定することができ、これに基づいて、適切なアルゴリズムを用いるＳＬＰＣＲＣ１３１ｅは、対応するＰＦＦ画像露光シーケンス又は対応するＥＤＯＦ画像露光シーケンスをそれぞれ発生することができる。ＰＦＦ画像露光シーケンスは、周期的に変調される合焦位置の各位相に対応した個別の合焦位置ＦＰで取得される複数の個別の画像露光量増分を規定し、複数の個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって決定される。ＥＤＯＦ画像露光シーケンスは、周期的に変調される合焦位置の各位相に対応した個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、複数の個別の画像露光量増分はそれぞれ、ＥＤＯＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって決定される。
ＳＬＰＣＲＣ１３１ｅは、ＰＦＦモード又はＥＤＯＦモードのいずれかにおいて、例えばユーザインタフェース入出力モジュール４０２を介した開始信号４０４の入力により、ＰＦＦ画像シーケンス又はＥＤＯＦ画像シーケンスの所定のシーケンスを開始させて、ＰＦＦモードのための画像スタック全体又はＥＤＯＦモードのための準備画像全体を与えるように構成することができる。これについては後で詳述する。
いくつかの実施例において、ワークピースステージ３２は、光学撮像システム３４に対してワークピース２０を移動させる（任意選択的な）移動制御システムを含むことができる。そのような実施例では、本願に含めた引用文献に開示されているように、システムホスト回路及びルーチン４０１はワークピースプログラム発生器及び実行器（図示せず）を含むことができ、これは、ワークピース２０を自動的に検査するためＴＡＧレンズ撮像システム３００の移動制御システム及び他の要素を動作させる。
また、ＳＬＰＣＲＣ１３１ｅは、画像取得記憶及び処理回路及びルーチン４０５と、レンズ制御部４０８（例えば図２のレンズ制御インタフェース１３４）と、スマート照明モジュール４１０と、を含むことができる。レンズ制御部４０８は、レンズ合焦駆動ルーチン／回路、レンズ合焦タイミングルーチン／回路、レンズ合焦較正ルーチン／回路等を含むことができ、これらを用いて、ＰＦＦモード又はＥＤＯＦモードでＴＡＧレンズ３７０の動作を制御することができる。先に概説したように、ＴＡＧレンズ３７０の光学パワーは、共振駆動信号（例えば、レンズ制御部４０８から信号ライン４１９に入力される）に応答して高周波数で連続的に変化する。様々な実施例において、駆動信号は、ＴＡＧレンズ３７０の動作の共振周波数における正弦波ＡＣ信号である。これに応じて光学撮像システム３４の有効合焦位置ＥＦＰが変化する。ＴＡＧレンズ３７０の光学パワーが正弦波状に変化している間の対応する時点又は「位相タイミング」において、有効合焦位置ＥＦＰに対応する焦点距離を利用できる。様々な実施形態において、レンズ制御部４０８は、本明細書に開示される原理に従ってＳＬＰＣＲＣ１３１ｅの動作を制御するマスタタイミング信号４０９（例えば７０ｋＨｚ）を発生する。図４に示されている実施形態では、マスタタイミング信号４０９はスマート照明モジュール４１０に入力される。
スマート照明モジュール４１０は、タイミング及び制御モジュール４１１と、パルスドライバ４１２と、パルスマネージャ４１３と、高パワーストロボ照明光源４１４（例えば図２の光源２２０、２３０、及び２４０）と、を含む。高パワーストロボ照明光源４１４は、変調サイクルの特定の位相又は「位相タイミング」でストロボ発光して、対応する有効合焦位置ＥＦＰ又は合焦距離で集束された画像露光を得ることができる。パルスドライバ４１２は、レンズ制御部４０８から入力されたマスタタイミング信号４０９に基づき、上述したシステムホスト回路及びルーチン４０１によって規定されたＰＦＦ画像露光シーケンス又はＥＤＯＦ画像露光シーケンスに従って、高パワーストロボ照明光源４１４を駆動することができる。この点に関して、ＰＦＦ画像露光シーケンスをＰＦＦモードルックアップテーブル（ＬＵＴ）記憶部４１５に記憶し、ＥＤＯＦ画像露光シーケンスをＥＤＯＦモードルックアップテーブル（ＬＵＴ）記憶部４１６に記憶することができる。これらは双方ともパルスマネージャ４１３の制御下にある。例えば、複数のＰＦＦ画像露光シーケンス及び複数のそのようなＥＤＯＦ画像露光シーケンスをＰＦＦモードＬＵＴ記憶部４１５及びＥＤＯＦモードＬＵＴ記憶部４１６に記憶し、これらから、システムホスト回路及びルーチン４０１から入力された開始信号４０４に応答して、１つのＰＦＦ画像露光シーケンス又は１つのＥＤＯＦ画像露光シーケンスを選択し実行することができる。また、パルスマネージャ４１３は、１つ以上のＰＦＦ画像露光シーケンスを規定する基礎となり得る１つ以上のＰＦＦ露光制御データセットと、１つ以上のＥＤＯＦ画像露光シーケンスを規定する基礎となり得る１つ以上のＥＤＯＦ露光制御データセットと、を記憶するように構成された画像フレームパラメータ記憶部４１７も含むことができる。
パルスドライバ４１２は、パルスマネージャ４１３と協働して高パワーストロボ照明光源４１４を駆動する。このためパルスドライバ４１２は、ＰＦＦ画像露光シーケンス又はＥＤＯＦ画像露光シーケンスに従って、ＴＡＧレンズ３７０により提供される周期的合焦位置変調と同期して様々な画像露光を制御するための回路及びルーチンを含む。いくつかの実施例において、パルスドライバ４１２及びパルスマネージャ４１３はマージされる及び／又は区別できない場合もある。パルスドライバ４１２は、例えば高パワーストロボ照明光源４１４について、選択、パワー、オン／オフ切り換え、及びストロボパルスタイミングを制御することができる。
図４に示されているように、高パワーストロボ照明光源４１４が駆動された場合、ストロボ光１５４がワークピース２０から／ワークピース２０を介してワークピース光１５５として反射されるか又は透過される。ワークピース光１５５は１又は複数のフィールドレンズ１５０及びＴＡＧレンズ３７０を通過し、測定又は撮像のため画像検出器２６０（例えばカメラ）によって集光される。様々な実施例において、画像検出器２６０は既知の電荷結合素子（ＣＣＤカメラ）画像センサ又は他の形態のカメラとすることができる。例えば光軸ＯＡに沿った撮像光路は、ワークピース２０から画像検出器２６０までワークピース撮像光１５５を伝達する様々な光学コンポーネントを含む。例えば、１又は複数のフィールドレンズ１５０、ＴＡＧレンズ３７０、及び画像検出器２６０は全て、それらの光軸がワークピース２０の表面と交差する同一の光軸ＯＡ上で位置合わせされるように配置できる。しかしながら、この実施例は例示のみを意図しており、限定でないことは認められよう。より一般的には、撮像光路はミラー及び／又は他の光学要素を含むことができ、既知の原理に従って画像検出器２６０を用いてワークピース２０を撮像するよう動作できる任意の形態をとり得る。
ワークピース２０の画像（「画像データ」）を含み、画像検出器２６０によってキャプチャされるワークピース画像露光は、撮像取得記憶及び処理回路及びルーチン４０５への信号ライン４２２上に出力される。信号ライン４２２上の画像データの出力は、画像取得記憶及び処理回路及びルーチン４０５から画像検出器２６０への信号ライン４２３上の制御信号伝達及び通信出力に応答して実行することができる。スマート照明モジュール４１０のタイミング及び制御モジュール４１１は、レンズ制御部４０８から入力されたマスタタイミング信号４０９に基づき、更にＰＦＦ画像露光シーケンス又はＥＤＯＦ画像露光シーケンスに基づいて、画像タイミング信号４２０及びグループ（画像グループ）タイミング信号４３０を発生し、これを画像取得記憶及び処理回路及びルーチン４０５に出力する。様々な実施形態において、画像取得記憶及び処理回路及びルーチン４０５は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）集積回路として実施できる。様々な実施形態において、画像取得記憶及び処理回路及びルーチン４０５は、画像検出器２６０によって取得されたビデオストリームから個々のフレーム（画像）をキャプチャする（すなわち「取り込む（grab）」）と共にキャプチャしたフレーム（画像）を記憶するように構成されたフレームグラバを組み込んでいる。スマート照明モジュール４１０からの画像タイミング信号４２０及びグループ（画像グループ）タイミング信号４３０は、フレームグラバが個々のフレーム（画像）をキャプチャ及び／又は記憶するタイミングを制御することができる。
画像取得記憶及び処理回路及びルーチン４０５は、ＰＦＦモード処理モジュール４４１及びＥＤＯＦモード処理モジュール４４２を含むことができる。ＰＦＦモード処理モジュール４４１は、例えば画像取得記憶及び処理回路及びルーチン４０５のフレームグラバを用いて、スマート照明モジュール４１０から入力された画像タイミング信号４２０及びグループタイミング信号４３０に従って、ＰＦＦモード中に画像（フレーム）のスタック（グループ）の画像取得、記憶、及び処理を制御するための回路／ルーチンを含む。ＥＤＯＦモード処理モジュール４４２は、例えばフレームグラバを用いて、画像タイミング信号４２０及びグループタイミング信号４３０に従って、ＥＤＯＦモード中に画像（フレーム）のグループの画像取得、記憶、及び処理を制御するための回路／ルーチンを含む。
上述したように、ＴＡＧレンズ撮像システム３００をＰＦＦモードで動作させた場合、ＰＦＦ画像露光シーケンスに従って画像のスタック（画像スタック）が露光され、この画像スタックを処理することで、ワークピース２０の表面形状に対応する３次元表面座標セットを定量的に示すＺ高さ座標マップ（例えばポイントクラウド）を決定又は出力する。
既知のコントラストベースの合焦解析方法を用いて、画像スタックを解析し、それらが合焦状態であるか否かを判定することができる。この代わりに又はこれに加えて、そのようなコントラストベースの合焦解析方法を用いて、対応する既知の位相タイミングセットで取得された画像セットからベストフォーカス画像を識別し、その「ベストフォーカス」位相タイミング値を出力することができる。各Ｚ高さ又は有効合焦位置ＥＦＰを各「ベストフォーカス」位相タイミングに関連付けるＺ高さ（有効合焦位置ＥＦＰ）較正データを利用することができ、その「ベストフォーカスの」画像に関連付けられた位相タイミングに基づいて、ワークピース２０の撮像された表面部分の表面高さ座標を決定できる。このように、ＰＦＦモードのＴＡＧレンズ撮像システム３００を用いて、ワークピース２０をスキャンすることによりワークピース２０の表面形状の３次元表面座標を測定又はプロファイリングできる。そのような測定プロセスの様々な態様は、本願に含めた引用文献において更に詳しく記載されている。
様々な実施例では、システムホスト回路及びルーチン４０１のユーザインタフェース入出力モジュール４０２を用いて、ＰＦＦモードで決定されたＺ高さ座標マップを出力することができる。この表示を含むこのような画像露光及び処理は、ＰＦＦモード処理モジュール４４１によって制御できる。いくつかの実施例において、画像スタックはＳＬＰＣＲＣ１３１ｅに含まれるフレームグラバに入力され、画像スタックの処理は、フレームグラバに含まれるプロセッサにおいて、Ｚ高さ座標マップがフレームグラバから出力される（例えばユーザインタフェース入出力モジュール４０２上に表示するため）と共に画像スタックがフレームグラバから出力されないように実行される。様々な実施例において、ＰＦＦ画像露光シーケンスは、１秒未満、又は５００ミリ秒未満、又は２５０ミリ秒未満のように高速で画像スタックを取得するように構成されている。様々な実施例において、画像スタックを取得するために用いられる複数の個別の画像露光量増分の制御タイミングはそれぞれ、ＰＦＦ画像露光シーケンス内の所定のシーケンスとして規定され、ＳＬＰＣＲＣ１３１ｅは、この所定のシーケンスを開始する単一の開始信号４０４に基づいて画像スタック全体を提供するように構成されている。
様々な実施例において、ＳＬＰＣＲＣ１３１ｅの少なくとも一部はＴＡＧレンズ撮像システム３００のスマート照明モジュール４１０に含まれ、ＰＦＦ画像露光シーケンスを規定するＰＦＦ露光制御データセットの少なくとも一部はスマート照明モジュール４１０に含まれるか又はこれに入力される（例えば画像フレームパラメータ記憶部４１７内）。他の様々な実施例において、ＳＬＰＣＲＣ１３１ｅの少なくとも一部はＴＡＧレンズ撮像システム３００のフレームグラバに含めることができ（例えば画像取得記憶及び処理回路及びルーチン４０５のフレームグラバ）、ＰＦＦ露光制御データセットの少なくとも一部はフレームグラバに含まれるか又はこれに入力される。
画像検出器２６０は、ＴＡＧレンズ３７０の変調サイクルの特定の位相又は「位相タイミング」で「ストロボ撮影（strobe）」して、対応する有効合焦位置ＥＦＰ又は合焦距離で集束された画像露光を得ることができる。特定の画像タイミングで画像検出器２６０を「ストロボ撮影」させるための駆動信号のような制御信号伝達及び通信は、画像取得記憶及び処理回路及びルーチン４０５から画像検出器２６０への信号ライン４２３上に出力することができる。いくつかの実施例において、ＰＦＦモード処理モジュール４４１及びＥＤＯＦモード処理モジュール４４２はそれぞれタイミング制御部を含み、ＰＦＦ画像露光シーケンス又はＥＤＯＦ画像露光シーケンスに従って、カメラ画像露光タイミングをＴＡＧレンズ合焦位置変調の所望の位相タイミング及び／又は照明タイミングと同期させることを可能とする。例えばＰＦＦ画像スタックの露光において、個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスに従ったＴＡＧレンズ撮像システム３００のフレームグラバによる画像取得の各インスタンスによって決定できる。様々な実施例において、画像検出器（例えばカメラ）２６０は、ＰＦＦ画像露光シーケンスに従った画像取得の各インスタンスで駆動することができる。画像検出器２６０に対する駆動信号は、ＴＡＧレンズ撮像システム３００のフレームグラバから及び／又はスマート照明モジュール４１０から送信することができる。
いくつかの実施例では、ＰＦＦ画像スタックの露光において、個別の画像露光量増分はそれぞれ、ＰＦＦ画像露光シーケンスに従ったＴＡＧレンズ撮像システム３００のフレームグラバにおける画像記憶（記録）の各インスタンスによって決定される。例えば、画像検出器（例えばカメラ）２６０は、連続的に駆動されてフレームグラバに画像を連続的に出力することができるが、フレームグラバに記憶（記録）されるのは、ＰＦＦ画像露光シーケンスに従った複数の個別の画像露光量増分に対応する画像の各インスタンスのみである。
上述のように、ＴＡＧレンズ撮像システム３００をＥＤＯＦモードで動作させた場合、ＥＤＯＦ画像露光シーケンスを用いて準備画像が露光され、この準備画像を処理することで、単一焦点位置でのＴＡＧレンズ撮像システム３００よりも深い被写界深度を有するＥＤＯＦ画像を決定又は出力する。ＥＤＯＦ画像は実質的にこの深い被写界深度全体で合焦されている。
既知の積分及び解析方法を用いて、合焦位置ＦＰを焦点範囲Ｒ内で変調しながら画像積分中に準備画像を露光することができ、ピンボケの画像成分を除去して、深い被写界深度全体で実質的に合焦されたＥＤＯＦ画像を与えることができる。このようなＥＤＯＦ撮像プロセスの様々な態様については、本願に含めた引用文献において更に詳しく記載されている。
様々な実施例において、システムホスト回路及びルーチン４０１のユーザインタフェース入出力モジュール４０２を用いて、ほぼリアルタイムでワークピース２０のＥＤＯＦ画像を出力できる。いくつかの実施例では、複数のＥＤＯＦ画像を提供し、ユーザインタフェース入出力モジュール４０２に結合されたライブビデオディスプレイウィンドウに表示することができる。
このような画像露光及び処理は、ＥＤＯＦモード処理モジュール４４２によって制御することができる。いくつかの実施例において、準備画像はＳＬＰＣＲＣ１３１ｅに含まれるフレームグラバに入力され、準備画像の処理は、フレームグラバに含まれるプロセッサにおいて、ＥＤＯＦ画像がフレームグラバから出力される（例えばユーザインタフェース入出力モジュール４０２上で表示するため）と共に準備画像がフレームグラバから出力されないように実行される。様々な実施例において、ＥＤＯＦ画像露光シーケンスは、５００ミリ秒未満、又は２５０ミリ秒未満、又は１００ミリ秒未満、又は５０ミリ秒未満のように高速で準備画像を取得するように構成されている。様々な実施例において、準備画像を取得するために用いられる複数の個別の画像露光量増分の制御タイミングはそれぞれ、ＥＤＯＦ画像露光シーケンス内の所定のシーケンスとして規定され、ＳＬＰＣＲＣ１３１ｅは、この所定のシーケンスを開始する単一の開始信号４０４に基づいて準備画像全体を提供するように構成されている。
様々な実施例において、ＳＬＰＣＲＣ１３１ｅの少なくとも一部は、ＴＡＧレンズ撮像システム３００のスマート照明モジュール４１０に含まれ、ＥＤＯＦ画像露光シーケンスを規定するＥＤＯＦ露光制御データセットの少なくとも一部は、スマート照明モジュール４１０に含まれるか又はこれに入力される（例えば画像フレームパラメータ記憶部４１７内）。様々な実施例において、ＳＬＰＣＲＣ１３１ｅの少なくとも一部はＴＡＧレンズ撮像システム３００のフレームグラバに含めることができ（例えば画像取得記憶及び処理回路及びルーチン４０５のフレームグラバ）、ＥＤＯＦ露光制御データセットの少なくとも一部はフレームグラバに含まれるか又はこれに入力される。
図４を参照して上述したＳＬＰＣＲＣ１３１ｅの様々なコンポーネント、回路、ルーチン、及びモジュールの各々は、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースによって又は様々な要素間の直接接続によって相互接続できることに留意するべきである。図４において、ＳＬＰＣＲＣ１３１ｅは、システムホスト回路及びルーチン４０１と、画像取得記憶及び処理回路及びルーチン４０５と、レンズ制御部４０８と、スマート照明モジュール４１０と、を含むか又はこれらで形成されたものとして図示されているが、ＳＬＰＣＲＣ１３１ｅは、これらの要素の１つ以上、又は図４に示されていないＴＡＧレンズ撮像システム３００の１つ以上の他の要素内に、分散させずに又は分散させて含めて、本明細書に開示される原理に従ってＰＦＦモード及びＥＤＯＦモードのＴＡＧレンズ撮像システム３００の動作をサポートすることも可能である。
図５は、ＰＦＦモード及びＥＤＯＦモードを提供するＳＬＰＣＲＣ１３１ｅを含むＴＡＧレンズ撮像システム３００を動作させるための方法の一実施形態を示すフロー図５００である。
ステップ５０１では、ＴＡＧレンズ撮像システム３００のＰＦＦモードに対応する第１の露光制御モード及びＴＡＧレンズ撮像システム３００のＥＤＯＦモードに対応する第２の露光制御モードをサポートするスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ）１３１ｅを提供する。
ステップ５０３では、ＴＡＧレンズ撮像システム３００の視野内にワークピース２０を配置する。
ステップ５０５では、ＴＡＧレンズ撮像システム３００内の要素間の間隔を巨視的に調整することなく、ＴＡＧレンズ撮像システム３００の合焦位置ＦＰを周期的に変調する。合焦位置ＦＰは、少なくとも３０ｋＨｚの変調周波数で、ワークピース２０の表面高さを含む焦点範囲Ｒ内で合焦軸方向に沿った複数の合焦位置ＦＰにおいて周期的に変調される。
ステップ５０７では、第１の動作期間又は時間でＰＦＦモードを起動することにより、ＴＡＧレンズ撮像システム３００を動作させる。
ステップ５０９では、任意選択的に、第２の動作期間又は時間でＥＤＯＦモードを起動することにより、ＴＡＧレンズ撮像システム３００を動作させる。
図６は、本明細書に開示される原理に従ってＰＦＦモードで動作しているＴＡＧレンズ撮像システム３００の一実施形態において使用することができる、画像露光中の焦点高さについての例示的なタイミング図６００Ａを示す。タイミング図６００Ａは、可変焦点ＴＡＧレンズ撮像システム３００の周期的に変調される合焦位置ＭＦＰを示し、これは、焦点範囲ＦＲにわたって、合焦軸方向（焦点面Ｚ位置軸に沿って示されている）に沿った複数の合焦位置ＦＰにおいて周期的に変調される（時間軸に沿って示されている）。タイミング図６００Ａは更に、カメラ（例えば画像検出器２６０）の露光時間を、「カメラフレームｉ＝０」、「カメラフレームｉ＝１２８」、及び「カメラフレームｉ＝２５５」として示す（これらの図示されているカメラフレーム間のカメラフレームｉ＝１～１２７及びｉ＝１２９～２５４は、不必要な詳細を省略するため図示されていない）。概して、タイミング図６００Ａは、ＳＬＰＣＲＣ１３１ｅに含まれるか又はこれに入力されるＰＦＦ露光制御データセットによって規定されるＰＦＦ画像露光シーケンスから得られた画像のスタック（画像スタック）の露光を表す。ＰＦＦ画像露光シーケンスは、周期的に変調される合焦位置ＭＦＰの各位相に対応した個別の合焦位置ＦＰで取得される複数の個別の画像露光量増分（例えば、図６に示されている例ではＥＩ1～ＥＩ50、ＥＩ1a～ＥＩ50a、及びＥＩ1b～ＥＩ50b）を規定する。例えば、ＥＩ1～ＥＩ50は合焦位置Ｚ１で取得され、ＥＩ1a～ＥＩ50aは合焦位置Ｚ２で取得され、ＥＩ1b～ＥＩ50bは合焦位置Ｚ３で取得される。参照用の略語ＥＩは添え字「ｉ」を含むことができ、これは特定の合焦位置に対応する特定の「ｉ番目」の露光量増分ＥＩを示す。複数の個別の画像露光量増分ＥＩ1～ＥＩ50、ＥＩ1a～ＥＩ50a、及びＥＩ1b～ＥＩ50bの各々は、照明光源ストロボ動作の各インスタンスによって決定され（図６では周期的に変調される合焦位置ＭＦＰを表す正弦波上に位置する円として示されている）、これは上述したように、照明光源ストロボ動作、カメラシャッタストロボ動作、フレームグラバ取得／記憶動作等のインスタンスとすることができ、ＰＦＦ画像露光シーケンスにおいて規定された制御タイミングを有する（図６のＴ１～Ｔ５０、Ｔ１ａ～Ｔ５０ａ、及びＴ１ｂ～Ｔ５０ｂ）。
図７は、（例えばユーザインタフェース入出力モジュール４０２のような）ＴＡＧレンズ撮像システムに関連付けられたディスプレイデバイスのスクリーンショットとして表されている例示的なグラフィカルユーザインタフェース（ＧＵＩ）７００を示す。これによって、ＰＦＦモードにおいて画像スタックを露光するため用いられるＰＦＦ画像露光シーケンスを規定するＰＦＦ露光制御データセットのユーザ制御（例えばユーザ入力）が可能となる。ＧＵＩ７００は、ＴＡＧレンズ撮像システム３００をＰＦＦモードで起動するため選択されるスイッチ７０２を含む。ＧＵＩ７００は画像フレームパラメータフィールド７０４を含み、これは図示されている例において、ＰＦＦマップのＺｉステップ（「Ｎｚｉ」）フィールド７０６と、１つのＺｉステップ当たりの露光パルス（「Ｎｐｕｌ」フィールド）７０７と、１つのＺｉ当たりのフレーム（「ＮｆｐｅｒＺｉ」）フィールド７０８と、を含む。様々な実施形態において、ＰＦＦ画像露光シーケンスを規定するため用いられるＰＦＦ露光制御データセットは、図７の例で画像フレームパラメータフィールド７０４に入力されるようなパラメータセットとすることができる。
図７のＧＵＩ７００において、ユーザ／オペレータは、ＰＦＦマップのＺｉステップ（「Ｎｚｉ」）フィールド７０６で、画像スタックに対して規定されたＺｉステップの合計数を規定することができる。これは、この例では「２５６」である。様々な例において、Ｎｚｉ数は、フレームパルステーブル７１０の「テーブル行」フィールド７１８に示されている行数に相当する。これについては以下で説明する。様々な実施形態において、ＴＡＧレンズ撮像システム３００の特定の焦点高さ（「Ｚｉ」）における少なくとも１つの露光パルスに対応してフレーム露光が実行され、１つのＺｉステップ当たりの露光パルス数は１つのＺｉステップ当たりの露光パルス（「Ｎｐｕｌ」フィールド」）７０７に示されている。１つのＺｉ当たり複数の露光パルスが規定されている場合、複数の露光パルスから得られる結果を組み合わせて（例えば平均化するか、又は異なるＸ－Ｙ位置からの結果を合成化する等）、１つのＺｉ当たり１つの画像（フレーム）を形成することができる。図７では７０７にＮｐｕｌ＝５０が示されている。これは、１つのＺｉ当たり露光パルスの５０のインスタンスを使用して５０の画像露光量増分を与えることに対応する（例えば図６に示されている例では、Ｚ１でＥＩ1～ＥＩ50、Ｚ２でＥＩ1a～ＥＩ50a、Ｚ３でＥＩ1b～ＥＩ50b）。ユーザ／オペレータは、ＧＵＩ７００の１つのＺｉ当たりのフレーム（「ＮｆｐｅｒＺｉ」）フィールド７０８で、１つのＺｉ当たり少なくとも１つのフレームを指定することができる。これらのフレームを組み合わせて（例えば平均化して）、１つのＺｉ当たり１つの画像を形成できる。図示されている例では、ユーザ／オペレータはＮｆｐｅｒＺｉ＝１を指定している。これは、図６に示されているように、１つのＺｉ当たり１つのフレームが取得されることを意味する。
様々な実施形態において、ＰＦＦ露光制御データセットによって規定されるＰＦＦ画像露光シーケンスは、図７のフレームパルステーブル７１０の形態で表現されている。このテーブル７１０は、画像スタックを形成する画像の合計数（例えば「テーブル行」フィールド７１８に示されているように、カメラフレームｉ＝０～２５５から成る合計「２５６」の画像）のそれぞれについて、「Ｚステップ、ｉ＝」７１２、パルス幅７１４、及び一時停止（pause）７１６を、全てナノ秒（ｎＳ）の単位でリスト化している。従って図７の例では、ＰＦＦ画像露光シーケンスは２５６のフレーム（画像）を規定し、これが１つの画像スタックを形成し、Ｚステップ、ｉ＝０～２５５の添え字が（７１２に）示されている。各Ｚステップ（各Ｚ合焦位置）における画像露光には、（７１４の）特定の光パルス幅、及び（７１６の）光パルス前の一時停止が関連付けられている。
図６に戻ると、タイミング図６００Ａの下方にパルス図６００Ｂが示されており、これは、レンズ制御部４０８（図４を参照のこと）から出力されるマスタタイミング信号６０２（例えば７０ｋＨｚ）、及び、ＰＦＦで画像スタック（例えば２５６の画像）を露光するための画像露光パルス６０４のタイミングを示している。パルス図６００Ｂは、（７１２の）第１の合焦位置「Ｚステップ、ｉ＝０」における画像露光がマスタタイミング信号６０２によって駆動され、その後、（７１６の）対応する一時停止時間期間が生じ、その後、（７１４の）規定のパルス幅を有する光露光が生じ、次いでアイドル時間期間が生じ、その後で、「Ｎｐｕｌ＝５０」回（すなわち「Ｚステップ、ｉ＝０」で画像露光が繰り返される回数）、同じ合焦位置（「Ｚステップ、ｉ＝０」）における次の画像露光が別のマスタタイミング信号６０２によって駆動されることを示している。次いで、「ｉ」を１だけ増分し、マスタタイミング信号６０２及び画像露光パルス６０４に従った画像露光シーケンスを、Ｚステップｉ＝１において「Ｎｐｕｌ＝５０」回繰り返す。Ｚステップ、ｉ＝２～２５５において、同一の画像露光シーケンスを同様に繰り返す。
図６において、タイミング図６００Ａにグラフで表されたＰＦＦ画像露光シーケンスは、時点６０６で単一の開始信号４０４（図４を参照のこと）によって開始し、「カメラフレームｉ＝０」のフレーム露光は、時点６０８でＳＬＰＣＲＣ１３１ｅ（図４）により発生した画像タイミング信号４２０及びグループタイミング信号４３０によって開始することができる。カメラフレームｉ＝１～１２７が露光された後（図示せず）、「カメラフレームｉ＝１２８」のフレーム露光は、時点６１０で画像タイミング信号４２０によって開始することができる。カメラフレームｉ＝１２９～２５４が露光された後（図示せず）、「カメラフレームｉ＝２５５」のフレーム露光は、時点６１２で画像タイミング信号４２０によって開始することができる。画像スタック全体（例えばＺ＝０～２５５における合計２５６の画像）が露光された後、ＰＦＦ画像露光シーケンスは時点６１４でグループタイミング信号４３０に基づいて終了する。概して、画像タイミング信号４２０は画像露光（又はフレーム露光）の開始及び／又は終了を制御し、グループタイミング信号４３０はＰＦＦモードで用いられる画像のスタック（又はグループ）の露光の開始及び／又は終了を制御する。図４に示されている実施形態では、ＰＦＦ画像露光シーケンスに対応する画像タイミング信号４２０及びグループタイミング信号４３０はスマート照明モジュール４１２のタイミング及び制御モジュール４１１によって発生されるが、これらのタイミング信号４２０及び４３０は、本明細書に開示される原理に従ってＳＬＰＣＲＣ１３１ｅに関連付けられた任意のコンポーネントによって発生させればよい。
いくつかの実施形態において、例えばフレームパルステーブル７１０で表現されているＰＦＦ画像露光シーケンスは、例えばユーザ／オペレータがフレームパルステーブル７１０に記入することによって、明示的に、手動で、又は半手動で規定することができる。これに加えて又はこの代わりに、様々な実施例においてＰＦＦ画像露光シーケンスは、例えば図７に示されているＧＵＩ７００の画像フレームパラメータフィールド７０４のような、ＳＬＰＣＲＣ１３１ｅに含まれるか又はこれに入力されるＰＦＦ露光制御データセットに基づいて、アルゴリズムにより発生させることも可能である。これに関連して、図７のＧＵＩ７００は更に、「テーブルをクリア」７２０、「テーブルを読み出す」７２２、「テーブルに書き込む」７２４、「フラッシュをコミット（Commit Flash）」７２６、及び「ＣＳＶをインポート」７２８と標示されたラジオボタンを含む。例示的な実施例では、「テーブルをクリア」７２０ボタンは、現在示されているフレームパルステーブル７１０をクリアし、「テーブルを読み出す」７２２ボタンは、メモリデバイス（例えば図４のＰＦＦモードルックアップテーブル（ＬＵＴ）記憶部４１５）に記憶された１つ以上の既定のＰＦＦ画像露光シーケンスから既定のＰＦＦ画像露光シーケンスを読み出し、「ＣＳＶをインポート」７２８ボタンは、ＴＡＧレンズ撮像システム３００に関連付けられたマシンビジョン検査システムから既定のＰＦＦ画像露光シーケンスをインポートする。「テーブルに書き込む」７２４ボタンは、様々な実施例では揮発性メモリにおいて、ユーザ／オペレータがフレームパルステーブル７１０に新しいＰＦＦ画像露光シーケンスを書き込むことを可能とする。「フラッシュをコミット」７２６ボタンは、新たに書き込まれたＰＦＦ画像露光シーケンスを、フラッシュメモリ等の不揮発性メモリ（例えば図４のＰＦＦモードルックアップテーブル（ＬＵＴ）記憶部４１５）に記憶（コミット）する。これは後に、ＰＦＦモードで動作しているＴＡＧレンズ撮像システム３００において検索することができる。
本明細書に開示される原理に従ってＰＦＦモードで動作しているＴＡＧレンズ撮像システム３００はワークピースの表面形状の高速３Ｄマッピングを行うので、このような撮像システムを利用してワークピースの３Ｄ表面座標を高速で繰り返し収集することができ、その３Ｄマッピングをリアルタイムビデオフレームとして表示することができる。
図８は、本明細書に開示される原理に従ってＥＤＯＦモードで動作しているＴＡＧレンズ撮像システム３００の一実施形態において使用することができる、画像露光中の焦点高さについての例示的なタイミング図８００Ａを示す。タイミング図８００Ａは、可変焦点ＴＡＧレンズ撮像システム３００の周期的に変調される合焦位置ＭＦＰを示し、これは、焦点範囲ＦＲにわたって、合焦軸方向（焦点面Ｚ位置軸に沿って示されている）に沿った複数の合焦位置ＦＰにおいて周期的に変調される（時間軸に沿って示されている）。タイミング図８００Ａは更に、カメラ（例えば画像検出器２６０）の露光時間を、「カメラフレーム－フレーム１」及び「カメラフレーム－フレーム２」として示す。概して、タイミング図８００Ａは、ＳＬＰＣＲＣ１３１ｅに含まれるか又はこれに入力されるＥＤＯＦ露光制御データセットによって規定されるＥＤＯＦ画像露光シーケンスから得られた１又は複数の準備画像の露光を表す。ＥＤＯＦ画像露光シーケンスは、周期的に変調される合焦位置ＭＦＰの各位相に対応した個別の合焦位置ＦＰで取得される複数の個別の画像露光量増分（例えば、図８に示されている例ではＥＩ1～ＥＩ255及びＥＩ1a～ＥＩ255a）を規定する。参照用の略語ＥＩは添え字「ｉ」を含むことができ、これは特定の合焦位置に対応する特定の「ｉ番目」の露光量増分ＥＩを示す。複数の個別の画像露光量増分ＥＩ1～ＥＩ255及びＥＩ1a～ＥＩ255aの各々は、照明光源ストロボ動作の各インスタンスによって決定され（図８では周期的に変調される合焦位置ＭＦＰを表す正弦波上に位置する円として示されている）、これは上述したように、照明光源ストロボ動作、カメラシャッタストロボ動作、フレームグラバ取得／記憶動作等のインスタンスとすることができ、ＥＤＯＦ画像露光シーケンスにおいて規定された制御タイミングを有する（Ｔ１～Ｔ２５５及びＴ１ａ～Ｔ２５５ａ）。
図９は、（例えばユーザインタフェース入出力モジュール４０２のような）ＴＡＧレンズ撮像システムに関連付けられたディスプレイデバイスのスクリーンショットとして表されている例示的なグラフィカルユーザインタフェース（ＧＵＩ）９００を示す。これによって、ＥＤＯＦモードにおいて準備画像を露光するため用いられるＥＤＯＦ画像露光シーケンスを規定するＥＤＯＦ露光制御データセットのユーザ制御（例えばユーザ入力）が可能となる。ＧＵＩ９００は、ＴＡＧレンズ撮像システム３００をＥＤＯＦモードで起動するため選択されるスイッチ９０２を含む。ＧＵＩ９００は画像フレームパラメータフィールド９０４を含み、これは図示されている例において、１サイクル当たりのＺステップ（「Ｎｚｓｔｅｐ」）フィールド９０６と、１フレーム当たりのＺサイクル（「Ｎｃｙｃ」フィールド）９０７と、１ＥＤＯＦ画像当たりのフレーム（「Ｎｆ」）フィールド９０８と、を含む。様々な実施形態において、ＥＤＯＦ画像露光シーケンスを規定するため用いられるＥＤＯＦ露光制御データセットは、図９の例で画像フレームパラメータフィールド９０４に入力されるようなパラメータセットとすることができる。様々な実施形態において、ＥＤＯＦ露光制御データセットによって規定されるＥＤＯＦ画像露光シーケンスは、Ｚサイクルパルステーブル９１０の形態で表現されている。このテーブル９１０は、「テーブル行」フィールド９１８に示されている１フレーム当たりの個別画像露光量増分（図８のＥＩ1～ＥＩ255又はＥＩ1a～ＥＩ255a）の合計数（例えば「２５６」）の各々について、「Ｚステップ、ｉ＝」９１２、パルス幅９１４、及び一時停止９１６を、全てナノ秒（ｎＳ）の単位でリスト化している。図９の例では、ＥＤＯＦ画像露光シーケンスは１フレーム当たり２５６の画像露光量増分ＥＩを規定し、Ｚステップ、ｉ＝０～２５５の添え字が示されている。各画像露光量増分ＥＩには、（９１４の）特定の光パルス幅、及び（９１６の）光パルス前の一時停止が関連付けられている。
図８に戻ると、（２つのフレームの）タイミング図８００Ａの下方に、１フレーム当たりのパルス図８００Ｂが示されている。パルス図８００Ｂは、レンズ制御部４０８（図４を参照のこと）から出力されるマスタタイミング信号８０２（例えば７０ｋＨｚ）、及び１フレーム当たりの画像露光パルス８０４のタイミングを示している。パルス図８００Ｂは、（９１２の）「Ｚステップ、ｉ＝」における画像露光量増分ＥＩがマスタタイミング信号８０２によって駆動され、その後、（９１６の）対応する一時停止時間期間が生じ、その後、（９１４の）規定のパルス幅を有する光露光が生じ、次いでアイドル時間期間が生じ、その後で、次の画像露光量増分ＥＩ（「Ｚステップ、ｉ＝」、ただし「ｉ」は１だけ増分されている）が別のマスタタイミング信号８０２によって駆動されることを示している。パルス図８００Ｂは、Ｚステップ、ｉ＝０、１、及び２における最初の３つの画像露光量増分ＥＩ1～ＥＩ3のパルス信号伝達のみを示しているが、図示された例においてパルス図８００Ｂは、各フレームで規定された画像露光量増分の全て、すなわちＺステップ、ｉ＝１～２５５におけるＥＩ1～ＥＩ256について継続することは理解されよう。
図９のＧＵＩ９００において、ユーザ／オペレータは、１サイクル当たりのＺステップ（「Ｎｚｓｔｅｐ」）フィールド９０６で、１周期変調サイクル当たりのＺステップ合計数を規定することができる。これは、この例では「２５６」である。様々な例において、Ｎｚｓｔｅｐ数は、図示されているように、Ｚサイクルパルステーブル９１０の「テーブル行」フィールド９１８に示された行数に相当する。様々な実施形態において、所望の焦点範囲ＦＲにわたるＴＡＧレンズ撮像システム３００の焦点高さの周期的変調の少なくとも１つのサイクル（「Ｚサイクル」）に対応してフレーム露光が実行され、１フレーム当たりのＺサイクル数は１フレーム当たりのＺサイクル（「Ｎｃｙｃ」フィールド」）９０７に示されている。１フレーム当たり複数のＺサイクルが実行される場合、複数のＺサイクル露光から得られる結果を組み合わせて（例えば平均化して）、１つの準備画像（又は準備フレーム）を形成することができる。図９では９０７にＮｃｙｃ＝８が示されているが、図８のタイミング図８００Ａ及びパルス図８００Ｂは、明確な図示のためＮｃｙｃ＝１の例を示している。ユーザ／オペレータは、ＧＵＩ９００の１ＥＤＯＦ画像当たりのフレーム（「Ｎｆ」）フィールド９０８において、より深い被写界深度を有すると共にこの深い被写界深度全体で合焦されている１つのＥＤＯＦ画像を形成するため処理され得る少なくとも１つの準備画像（準備フレーム）を指定することができる。図示されている例では、ユーザ／オペレータはＮｆ＝２を指定している。これは、図８のタイミング図８００Ａに示されているように、２つの準備画像（準備フレーム）を処理して（組み合わせて、平均化して等）、１つのＥＤＯＦ画像を形成することを意味する。
図８において、タイミング図８００Ａにグラフで表されたＥＤＯＦ画像露光シーケンスは、時点８０６で単一の開始信号４０４（図４を参照のこと）によって開始し、「フレーム１」のフレーム露光は、時点８０８でＳＬＰＣＲＣ１３１ｅ（図４）により発生した画像タイミング信号４２０及びグループタイミング信号４３０によって開始することができる。「フレーム２」のフレーム露光は、時点８１０で画像タイミング信号４２０によって開始することができる。図示されている例では、２つの準備画像を処理して１つのＥＤＯＦ画像を形成するので（例えば９０８で「Ｎｆ＝２」）、「フレーム２」の露光の後、ＥＤＯＦ画像露光シーケンスは時点８１２でグループタイミング信号４３０に基づいて（又はＮｆの値に基づいて）終了する。概して、様々な実施形態において、画像タイミング信号４２０は画像露光（又はフレーム露光）の開始及び／又は終了を制御し、グループタイミング信号４３０は、１つのＥＤＯＦ画像を取得するためのＥＤＯＦ画像露光シーケンス全体（例えば準備画像のグループを露光する）の開始及び／又は終了を制御する。図４に示されている実施形態では、ＥＤＯＦ画像露光シーケンスに対応する画像タイミング信号４２０及びグループタイミング信号４３０はスマート照明モジュール４１２のタイミング及び制御モジュール４１１によって発生されるが、これらのタイミング信号４２０及び４３０は、本明細書に開示される原理に従ってＳＬＰＣＲＣ１３１ｅに関連付けられた任意のコンポーネントによって発生させればよい。
いくつかの実施形態において、例えばＺサイクルパルステーブル９１０で表現されているＥＤＯＦ画像露光シーケンスは、例えばユーザ／オペレータがＺサイクルパルステーブル９１０に記入することによって、明示的に、手動で、又は半手動で規定することができる。これに加えて又はこの代わりに、様々な実施例においてＥＤＯＦ画像露光シーケンスは、例えば図９に示されているＧＵＩ９００の画像フレームパラメータフィールド９０４のような、ＳＬＰＣＲＣ１３１ｅに含まれるか又はこれに入力されるＥＤＯＦ露光制御データセットに基づいて、アルゴリズムにより発生させることも可能である。これに関連して、図９のＧＵＩ９００は更に、「テーブルをクリア」９２０、「テーブルを読み出す」９２２、「テーブルに書き込む」９２４、「フラッシュをコミット」９２６、及び「ＣＳＶをインポート」９２８と標示されたラジオボタンを含む。例示的な実施例では、「テーブルをクリア」９２０ボタンは、現在示されているＺサイクルパルステーブル９１０をクリアし、「テーブルを読み出す」９２２ボタンは、メモリデバイス（例えば図４のＥＤＯＦモードルックアップテーブル（ＬＵＴ）記憶部４１６）に記憶された１つ以上の既定のＥＤＯＦ画像露光シーケンスから既定のＥＤＯＦ画像露光シーケンスを読み出し、「ＣＳＶをインポート」９２８ボタンは、ＴＡＧレンズ撮像システム３００に関連付けられたマシンビジョン検査システムから既定のＥＤＯＦ画像露光シーケンスをインポートする。「テーブルに書き込む」９２４ボタンは、様々な実施例では揮発性メモリにおいて、ユーザ／オペレータがＺサイクルパルステーブル９１０に新しいＥＤＯＦ画像露光シーケンスを書き込むことを可能とする。「フラッシュをコミット」９２６ボタンは、新たに書き込まれたＥＤＯＦ画像露光シーケンスを、フラッシュメモリ等の不揮発性メモリ（例えば図４のＥＤＯＦモードルックアップテーブル（ＬＵＴ）記憶部４１６）に記憶（コミット）する。これは後に、ＥＤＯＦモードで動作しているＴＡＧレンズ撮像システム３００において検索することができる。
本明細書に開示される原理に従ってＥＤＯＦモードで動作しているＴＡＧレンズ撮像システム３００は高速の拡張被写界深度撮像を行うので、このような撮像システムを利用して、例えば毎秒３０フレーム又はそれ以上でビデオ撮像のためＥＤＯＦ画像を高速で繰り返し収集することができ、複数のＥＤＯＦをリアルタイムビデオフレームとして表示することができる。
本発明の様々な実施形態について図示及び記載したが、本開示に基づいて、図示及び記載した特徴の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。従って、本発明の精神及び範囲から逸脱することなく様々な変更を行い得ることは認められよう。

Claims (24)

  1. 可変音響式屈折率分布型（ＴＡＧ）レンズ撮像システムを動作させるための方法であって、
    （ａ）前記ＴＡＧレンズ撮像システムのポイントフロムフォーカス（ＰＦＦ）モードに対応する第１の露光制御モード及び前記ＴＡＧレンズ撮像システムの拡張被写界深度（ＥＤＯＦ）モードに対応する第２の露光制御モードを提供するスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ）を提供することと、
    （ｂ）前記ＴＡＧレンズ撮像システムの視野内にワークピースを配置することと、
    （ｃ）前記ＴＡＧレンズ撮像システム内の要素間の間隔を巨視的に調整することなく、前記ＴＡＧレンズ撮像システムの合焦位置を周期的に変調することであって、前記合焦位置は、少なくとも３０ｋＨｚの変調周波数で、前記ワークピースの表面高さを含む焦点範囲内で合焦軸方向に沿った複数の合焦位置にわたって周期的に変調されることと、
    （ｄ）前記ＰＦＦモードを起動することで前記ＴＡＧレンズ撮像システムを動作させることであって、
    （ｄ１）前記ＳＬＰＣＲＣに含まれるか又は前記ＳＬＰＣＲＣに入力されるＰＦＦ露光制御データセットによって、ＰＦＦ画像露光シーケンスが規定され、前記ＰＦＦ画像露光シーケンスを用いて画像スタックを露光し、
    前記ＰＦＦ画像露光シーケンスは、周期的に変調される前記合焦位置の各位相に対応したそれぞれの個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、
    前記複数の個別の画像露光量増分は、前記ＰＦＦ画像露光シーケンスで規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって、それぞれ決定され、
    （ｄ２）前記画像スタックを処理して、前記ワークピースの表面形状に対応する３次元表面座標セットを定量的に示すＺ高さ座標マップを決定又は出力すること、
    を含む、方法。
  2. 前記画像スタックは、前記ＳＬＰＣＲＣに含まれるフレームグラバに入力され、
    前記処理ステップ（ｄ２）は、前記フレームグラバに含まれるプロセッサにおいて、前記Ｚ高さ座標マップが前記フレームグラバから出力されるとともに、前記画像スタックが前記フレームグラバから出力されないように、実行される、
    請求項１に記載の方法。
  3. 前記ＰＦＦ画像露光シーケンスは、１秒未満、５００ミリ秒未満、又は２５０ミリ秒未満で、前記画像スタックを取得するように構成される
    請求項２に記載の方法。
  4. それぞれの前記制御タイミングは、前記ＰＦＦ画像露光シーケンス内の所定のシーケンスとして規定され、
    前記ＳＬＰＣＲＣは、前記ＰＦＦ画像露光シーケンスにおいて規定された前記所定のシーケンスを開始する単一の開始信号に基づいて、前記画像スタック全体を提供するように構成される、
    請求項２に記載の方法。
  5. 前記ＳＬＰＣＲＣの少なくとも一部は、前記ＴＡＧレンズ撮像システムのスマート照明モジュールに含まれ、
    前記ＰＦＦ露光制御データセットの少なくとも一部は、前記スマート照明モジュールに 含まれるか又は前記スマート照明モジュールに入力される、
    請求項１に記載の方法。
  6. それぞれの前記制御タイミングは、前記ＰＦＦ画像露光シーケンス内の所定のシーケンスとして規定され、
    前記ＳＬＰＣＲＣは、前記ＰＦＦ画像露光シーケンスにおいて規定された前記所定のシーケンスを開始する単一の開始信号に基づいて、前記画像スタック全体を提供するように構成される、
    請求項５に記載の方法。
  7. 前記ＳＬＰＣＲＣの少なくとも一部は、前記ＴＡＧレンズ撮像システムのフレームグラバに含まれ、
    前記ＰＦＦ露光制御データセットの少なくとも一部は、前記フレームグラバに含まれるか又は前記フレームグラバに入力される、
    請求項１に記載の方法。
  8. それぞれの前記制御タイミングは、前記ＰＦＦ画像露光シーケンス内の所定のシーケンスとして規定され、
    前記ＳＬＰＣＲＣは、前記ＰＦＦ画像露光シーケンスにおいて規定された前記所定のシーケンスを開始する単一の開始信号に基づいて、前記画像スタック全体を提供するように構成されている、
    請求項７に記載の方法。
  9. 前記露光ステップ（ｄ１）において、個別の画像露光量増分は、前記ＰＦＦ画像露光シーケンスに従った前記ＴＡＧレンズ撮像システムのフレームグラバによる画像取得の各インスタンスによって、それぞれ決定される、
    請求項１に記載の方法。
  10. カメラは、前記ＰＦＦ画像露光シーケンスに従った前記画像取得の各インスタンスに対して駆動される、
    請求項９に記載の方法。
  11. 前記フレームグラバは、前記ＰＦＦ画像露光シーケンスに従って、駆動信号を前記カメラに送信する、
    請求項１０に記載の方法。
  12. 前記ＴＡＧレンズ撮像システムのスマート照明モジュールは、前記ＰＦＦ画像露光シーケンスに従って、駆動信号を前記カメラに送信する、
    請求項１０に記載の方法。
  13. 前記露光ステップ（ｄ１）において、個別の画像露光量増分は、前記ＰＦＦ画像露光シーケンスに従った前記ＴＡＧレンズ撮像システムのフレームグラバによる画像記憶の各インスタンスによって、それぞれ決定される、
    請求項１に記載の方法。
  14. カメラは、連続的に駆動されて前記フレームグラバに画像を連続的に出力し、
    前記複数の個別の画像露光量増分に対応する画像の前記各インスタンスのみが、前記フレームグラバに記憶される、
    請求項１３に記載の方法。
  15. 前記ＰＦＦモード動作ステップ（ｄ）は、第１の動作期間又は時間で実行され、
    前記方法は、
    （ｅ）第２の動作期間又は時間で前記ＥＤＯＦモードを起動することで前記ＴＡＧレンズ撮像システムを動作させることであって、
    （ｅ１）前記ＳＬＰＣＲＣに含まれるか又は前記ＳＬＰＣＲＣに入力されるＥＤＯＦ露光制御データセットによって、ＥＤＯＦ画像露光シーケンスが規定され、前記ＥＤＯＦ画像露光シーケンスを用いて準備画像を露光し、
    前記ＥＤＯＦ画像露光シーケンスは、周期的に変調される前記合焦位置の各位相に対応したそれぞれの個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、
    前記複数の個別の画像露光量増分は、前記ＥＤＯＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって、それぞれ決定され、
    （ｅ２）前記準備画像を処理して、単一焦点位置での前記ＴＡＧレンズ撮像システムよりも深い被写界深度を有するＥＤＯＦ画像を決定又は出力することであって、
    前記ＥＤＯＦ画像は、実質的に前記深い被写界深度全体で合焦されている、
    ことを含む、
    請求項１に記載の方法。
  16. 前記準備画像は、前記ＳＬＰＣＲＣに含まれるフレームグラバに入力され、
    前記処理ステップ（ｅ２）は、前記フレームグラバに含まれるプロセッサにおいて、前記ＥＤＯＦ画像が前記フレームグラバから出力されると共に前記準備画像が前記フレームグラバから出力されないように実行される、
    請求項１５に記載の方法。
  17. 前記ＥＤＯＦ画像露光シーケンスは、５００ミリ秒未満、２５０ミリ秒未満、１００ミリ秒未満、又は５０ミリ秒未満で前記準備画像を取得するように構成されている、
    請求項１６に記載の方法。
  18. それぞれの前記制御タイミングは、前記ＥＤＯＦ画像露光シーケンス内の所定のシーケンスとして規定され、
    前記ＳＬＰＣＲＣは、前記ＥＤＯＦ画像露光シーケンスにおいて規定された前記所定のシーケンスを開始する単一の開始信号に基づいて、前記準備画像全体を提供するように構成されている、
    請求項１６に記載の方法。
  19. 前記ＳＬＰＣＲＣの少なくとも一部は、前記ＴＡＧレンズ撮像システムのスマート照明モジュールに含まれ、
    前記ＥＤＯＦ露光制御データセットの少なくとも一部は、前記スマート照明モジュールに含まれるか又は前記スマート照明モジュールに入力される、
    請求項１５に記載の方法。
  20. それぞれの前記制御タイミングは、前記ＥＤＯＦ画像露光シーケンス内の所定のシーケンスとして規定され、
    前記ＳＬＰＣＲＣは、前記ＥＤＯＦ画像露光シーケンスにおいて規定された前記所定のシーケンスを開始する単一の開始信号に基づいて、前記準備画像全体を提供するように構成されている、
    請求項１９に記載の方法。
  21. 前記ＳＬＰＣＲＣの少なくとも一部は、前記ＴＡＧレンズ撮像システムのフレームグラバに含まれ、
    前記ＥＤＯＦ露光制御データセットの少なくとも一部は、前記フレームグラバに含まれるか又は前記フレームグラバに入力される、
    請求項１５に記載の方法。
  22. それぞれの前記制御タイミングは、前記ＥＤＯＦ画像露光シーケンス内の所定のシーケンスとして規定され、
    前記ＳＬＰＣＲＣは、前記ＥＤＯＦ画像露光シーケンスにおいて規定された前記所定のシーケンスを開始する単一の開始信号に基づいて、前記準備画像全体を提供するように構成されている、
    請求項２１に記載の方法。
  23. 前記ＥＤＯＦモード動作ステップ（ｅ）を繰り返して複数のＥＤＯＦ画像を提供すること、及び、前記ＴＡＧレンズ撮像システムに含まれるディスプレイ上に提供されているライブビデオディスプレイウィンドウに前記ワークピースの前記複数のＥＤＯＦ画像を表示することと、
    を更に含む請求項１５に記載の方法。
  24. ワークピースの少なくとも１つの画像を提供するための可変音響式屈折率分布型（ＴＡＧ）レンズ撮像システムであって、
    前記ＴＡＧレンズ撮像システムのポイントフロムフォーカス（ＰＦＦ）モードに対応する第１の露光制御モード及び前記ＴＡＧレンズ撮像システムの拡張被写界深度（ＥＤＯＦ）モードに対応する第２の露光制御モードを提供するスマート照明パルス制御ルーチン／回路（ＳＬＰＣＲＣ）と、
    対物レンズと、ＴＡＧレンズと、カメラと、フレームグラバと、
    ストロボ照明光源を制御するスマート照明モジュールと、
    前記ストロボ照明光源を制御するように、かつ、前記ＴＡＧレンズ撮像システム内の要素間の間隔を巨視的に調整することなく、前記ＴＡＧレンズ撮像システムの合焦位置を周期的に変調するよう前記ＴＡＧレンズを制御するように構成された制御システムと、
    を備え、
    前記制御システムは、更に、
    （ａ）少なくとも３０ｋＨｚの変調周波数で、前記ワークピースの表面高さを含む焦点範囲内で合焦軸方向に沿った複数の合焦位置にわたって前記合焦位置を周期的に変調するよう前記ＴＡＧレンズを制御し、
    （ｂ）第１の動作期間又は時間で前記ＰＦＦモードを起動することで前記ＴＡＧレンズ撮像システムを動作させることであって、
    （ｂ１）前記ＳＬＰＣＲＣに含まれるか又は前記ＳＬＰＣＲＣに入力される、ＰＦＦ露光制御データセットによって、ＰＦＦ画像露光シーケンスが規定され、前記ＰＦＦ画像露光シーケンスを用いて画像スタックを露光し、
    前記ＰＦＦ画像露光シーケンスは、周期的に変調される前記合焦位置の各位相に対応したそれぞれの個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、
    前記複数の個別の画像露光量増分は、前記ＰＦＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって、それぞれ決定され、
    （ｂ２）前記画像スタックを処理して、前記ワークピースの表面形状に対応する３次元表面座標セットを定量的に示すＺ高さ座標マップを決定又は出力することと、
    を含み、
    （ｃ）第２の動作期間又は時間で前記ＥＤＯＦモードを起動することで前記ＴＡＧレンズ撮像システムを動作させることであって、
    （ｃ１）前記ＳＬＰＣＲＣに含まれるか又は前記ＳＬＰＣＲＣに入力される、ＥＤＯＦ露光制御データセットによって、ＥＤＯＦ画像露光シーケンスが規定され、前記ＥＤＯＦ画像露光シーケンスを用いて準備画像を露光し、
    前記ＥＤＯＦ画像露光シーケンスは、周期的に変調される前記合焦位置の各位相に対応したそれぞれの個別の合焦位置で取得される複数の個別の画像露光量増分を規定し、
    前記複数の個別の画像露光量増分は、前記ＥＤＯＦ画像露光シーケンスにおいて規定された制御タイミングを有する照明光源ストロボ動作の各インスタンスによって、それぞれ決定され、
    （ｃ２）前記準備画像を処理して、単一焦点位置の前記ＴＡＧレンズ撮像システムよりも深い被写界深度を有するＥＤＯＦ画像を決定又は出力することであって、
    前記ＥＤＯＦ画像は実質的に前記深い被写界深度全体で合焦されている、
    ことを含むように構成されている、ＴＡＧレンズ撮像システム。
JP2019225216A 2018-12-13 2019-12-13 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像 Active JP7319903B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/219,665 2018-12-13
US16/219,665 US10812701B2 (en) 2018-12-13 2018-12-13 High-speed tag lens assisted 3D metrology and extended depth-of-field imaging

Publications (2)

Publication Number Publication Date
JP2020095039A JP2020095039A (ja) 2020-06-18
JP7319903B2 true JP7319903B2 (ja) 2023-08-02

Family

ID=70858935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019225216A Active JP7319903B2 (ja) 2018-12-13 2019-12-13 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像

Country Status (4)

Country Link
US (1) US10812701B2 (ja)
JP (1) JP7319903B2 (ja)
CN (1) CN111325785B (ja)
DE (1) DE102019132174A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
EP4060394A1 (en) 2021-03-17 2022-09-21 Carl Zeiss Microscopy GmbH Microscope and method for forming a microscopic image with an extended depth of field
EP4137866A1 (en) * 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digital microscope and method for capturing and displaying microscopic images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104136A (ja) 2013-11-27 2015-06-04 株式会社ミツトヨ 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
JP2017223650A (ja) 2016-05-03 2017-12-21 株式会社ミツトヨ 可変焦点距離レンズシステムにおける位相差較正
JP2018084821A (ja) 2016-11-23 2018-05-31 株式会社ミツトヨ 拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP2005521123A (ja) * 2001-10-22 2005-07-14 ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー 光学顕微鏡検出３次元画像の生成方法及び生成装置
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
US7627162B2 (en) 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
US8194307B2 (en) 2007-02-26 2012-06-05 Trustees Of Princeton University Tunable acoustic gradient index of refraction lens and system
US8059336B2 (en) 2007-05-04 2011-11-15 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US8292434B2 (en) 2009-08-12 2012-10-23 Alcon Research, Ltd. White light emitting diode (LED) illuminator for ophthalmic endoillumination
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8649024B2 (en) * 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
JP5583049B2 (ja) * 2011-02-17 2014-09-03 富士フイルム株式会社 レンズ装置、テレビカメラシステムおよびフォーカシングアシスト方法
JP6136085B2 (ja) 2011-10-05 2017-05-31 ソニー株式会社 画像取得装置、画像取得方法、およびコンピュータプログラム
US9213175B2 (en) * 2011-10-28 2015-12-15 Craig B. Arnold Microscope with tunable acoustic gradient index of refraction lens enabling multiple focal plan imaging
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統
US9488819B2 (en) * 2012-08-31 2016-11-08 Nanotronics Imaging, Inc. Automatic microscopic focus system and method for analysis of transparent or low contrast specimens
JP6147080B2 (ja) * 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US10082658B2 (en) 2013-06-28 2018-09-25 Excelitas Canada, Inc. High power microscopy illumination system with liquid cooled solid state light source (SSLS) unit
US10178321B2 (en) * 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US9602715B2 (en) * 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US9930243B2 (en) 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US10445894B2 (en) * 2016-05-11 2019-10-15 Mitutoyo Corporation Non-contact 3D measuring system
US10101572B2 (en) 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104136A (ja) 2013-11-27 2015-06-04 株式会社ミツトヨ 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
JP2017223650A (ja) 2016-05-03 2017-12-21 株式会社ミツトヨ 可変焦点距離レンズシステムにおける位相差較正
JP2018084821A (ja) 2016-11-23 2018-05-31 株式会社ミツトヨ 拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法

Also Published As

Publication number Publication date
US10812701B2 (en) 2020-10-20
DE102019132174A1 (de) 2020-06-18
CN111325785B (zh) 2023-05-26
US20200195836A1 (en) 2020-06-18
JP2020095039A (ja) 2020-06-18
CN111325785A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
JP6792980B2 (ja) マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
JP7319903B2 (ja) 高速ｔａｇレンズ支援３ｄ計測及び拡張被写界深度撮像
JP6717692B2 (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP6502071B2 (ja) 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
CN108088424B (zh) 机器视觉检查系统和用于获得具有扩展景深的图像的方法
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
US9930243B2 (en) Variable focal length imaging system
JP6239232B2 (ja) 高性能エッジフォーカスツール
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
JP2017223650A (ja) 可変焦点距離レンズシステムにおける位相差較正
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
US11119382B2 (en) Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US10880468B1 (en) Metrology system with transparent workpiece surface mode
JP2022548206A (ja) 高速計測撮像のための高速高パワーパルス光源システム
US11249225B2 (en) Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230721

R150 Certificate of patent or registration of utility model

Ref document number: 7319903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150