JP5427018B2 - 高速近似焦点用システムおよび方法 - Google Patents

高速近似焦点用システムおよび方法 Download PDF

Info

Publication number
JP5427018B2
JP5427018B2 JP2009292649A JP2009292649A JP5427018B2 JP 5427018 B2 JP5427018 B2 JP 5427018B2 JP 2009292649 A JP2009292649 A JP 2009292649A JP 2009292649 A JP2009292649 A JP 2009292649A JP 5427018 B2 JP5427018 B2 JP 5427018B2
Authority
JP
Japan
Prior art keywords
focus
image
focus value
value
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009292649A
Other languages
English (en)
Other versions
JP2010152361A (ja
Inventor
ケー ブリル ロバート
ネイハム ミカエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of JP2010152361A publication Critical patent/JP2010152361A/ja
Application granted granted Critical
Publication of JP5427018B2 publication Critical patent/JP5427018B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Description

発明の分野
本発明は、一般に、マシンビジョン検査システムに関し、特に、マシンビジョン検査システムを自動で焦点合わせするためのシステムおよび方法に関する。
発明の背景
精密マシンビジョン検査システム(または略して「ビジョンシステム」)を用いて、検査対象物の正確な寸法測定値を取得し、かつ様々な他の物体特性を検査することができる。かかるシステムには、コンピュータ、カメラおよび光学系、ならびにワークピース検査を可能にするために多くの方向に可動な精密ステージが含まれ得る。汎用「オフライン」精密ビジョンシステムとして特徴づけることができる1つの例示的な先行技術のシステムが、イリノイ州オーロラ(Aurora,IL)にあるMitutoyo America Corporation (MAC)から入手可能で、市販されているPCベースビジョンシステムのQUICK VISION(登録商標)シリーズおよびQVPAK(登録商標)ソフトウェアである。ビジョンシステムのQUICK VISION(登録商標)シリーズおよびQVPAK(登録商標)ソフトウェアの特徴および動作が、例えば、2003年1月に出版されたQVPAK 3D CNC Vision Measuring Machine User's Guide、および1996年9月に出版されたthe QVPAK 3D CNC Vision Measuring Machine Operation Guideに一般的に説明されており、これらのそれぞれは、参照により、その全体において本明細書に援用されている。この種のシステムは、顕微鏡タイプの光学系を用い、ステージを移動させて、小さいかまたは比較的大きいワークピースの検査画像を様々な倍率で提供することができる。
QUICK VISIONTMシステムなどの汎用精密マシンビジョン検査システムはまた、一般に、自動ビデオ検査を提供するようにプログラム可能である。かかるシステムには、「非熟練」オペレータが操作およびプログラミングを実行できるように、典型的にはGUI機能および所定の画像解析「ビデオツール」が含まれる。例えば、参照によりその全体において本明細書に援用される米国特許第6,542,180号(以下では「’180特許」)は、自動ビデオ検査を用いるビジョンシステムを教示している。
’180特許で教示されているように、自動ビデオ検査計測機器は、一般に、各特定のワークピース構成に対して、ユーザが自動検査イベントシーケンスを定義できるようにするプログラミング能力を有する。かかるプログラミングは、テキストベースのプログラミングとして実現するか、またはユーザによって実行された検査動作のシーケンスに対応するマシン制御命令のシーケンスを記憶することによって、検査イベントシーケンスを徐々に「学習する」記録モードを介して実現するか、または両方の方法の組み合わせを介して実現することができる。かかる記録モードは、「学習モード」または「訓練モード」と呼ばれることが多い。どちらの技法においても、マシン制御命令は、一般に、パートプログラムとして記憶されるが、このパートプログラムは、特定のワークピース構成に特有であり、動作の「実行モード」中に検査動作の所定のシーケンスを自動で実行する。
一般に、自動焦点動作における周知のシーケンス中に、カメラは、Z軸に沿い一連の位置を通って移動し、各位置で画像を捕捉する。各捕捉された画像に対して、焦点メトリックが計算され、画像が捕捉されたときにおけるZ軸に沿ったカメラの対応位置に関連づけられる。自動焦点合わせの周知の一方法が、"Robust Autofocusing in Microscopy," by Jan-Mark Geusebroek and Arnold Smeulders in ISIS Technical Report Series, Vol. 17, November 2000,に論じられており、これは、参照により、その全体において本明細書に援用されている。自動焦点画像に対応するカメラのZ軸位置を決定するために、論じた方法は、カメラが、Z軸に沿って一定速度で、Z軸上の既知のオリジナルの位置から、画像が取得されるまでに移動する測定された時間量に基づいて、Z軸に沿ったカメラの位置を推定する。一定速度の運動中に、自動焦点画像は、40msの間隔(ビデオ速度)で捕捉される。開示の方法は、ビデオハードウェアが固定速度でフレームを捕捉すること、および焦点合わせ曲線のサンプリング密度が、ステージ速度を調整することによって影響され得ることを教示している。別の周知の自動焦点方法および装置が、米国特許第5,790,710号(以下では「’710特許」)に説明されており、この特許は、参照により、その全体において本明細書に援用されている。’710特許では、従来のモータ駆動運動制御システムと関連して圧電ポジショナを用いて、Z軸位置運動を制御する一方で、自動焦点画像を取得する。別の改善された自動焦点システムおよび方法が、米国特許第7,030,351号に説明されているが、この特許は、同一出願人によるものであり、参照により、その全体において本明細書に援用されている。これら全ての場合に、検査画像を取得する前に、比較的多数の画像が、自動焦点合わせの基礎として実行モード中に取得される。これらの改善にもかかわらず、計算速度の増加ゆえに、上記のシステムおよび方法に必要とされる物理的運動は、一般に、検査スループットを制限する主要な要因として残る。さらにスループットを改善できる自動焦点システムおよび方法が望ましい。
米国特許第6,542,180号 米国特許第5,790,710号 米国特許第7,030,351号
本発明は、改善された速度で検査画像を提供するためのシステムおよび方法に関する。より具体的には、制限された物理的運動量を用いて、許容可能な近似焦点位置に素早く調整されるシステムおよび方法が提供される。
発明の概要
この要約は、発明を実施するための形態において以下でさらに説明する概念の抜粋を単純化された形態で導入するために提供される。この要約は、特許請求される主題の主要な特徴を識別するようには意図されておらず、また特許請求される主題の範囲を決定する際の助けとして用いられるようにも意図されていない。
自動焦点動作を実行するための、前に説明した周知のシステムおよび方法のそれぞれとは対照的に、本発明は、汎用精密マシンビジョン検査システムにおけるいくつかの動作に適した高速近似自動焦点合わせを用いることによって、検査スループットの改善をもたらす。用語「高速近似自動焦点合わせ」および「高速近似焦点合わせ」は、一般に、本明細書において交換可能に用いられており、特に示されていない限り、同じことを意味していると取ってもよい。これらの方法のいくつかの有利な特徴には、これらの方法が、既に現場にあるマシンのスループットを改善するために実行可能であること、および特別な焦点センサを必要としないことが含まれる。本発明の一態様によれば、(例えば、一実施形態において、高速近似自動焦点ビデオツールを訓練することによって)学習モード中に高速近似自動焦点動作を実行するための一般的な方法が提供される。一般に、代表関心領域(ROI)の画像が与えられたとすると、代表焦点曲線および関連する焦点閾値を決定するための学習モード動作セットが提供される。一実施形態において、学習モード高速近似自動焦点学習または「ツール訓練」動作には、代表関心領域の代表画像を取得することが含まれる。例えば、関心領域は、ビデオツールユーザインタフェースを用いて定義してもよく、一般に、検査される代表特徴を含む。パートプログラムを生成するために、代表特徴は、他のワークピースにおける対応する特徴を表わす。次に、特徴固有の代表焦点曲線が、関心領域(ROI)に対して決定される。特徴特有焦点曲線は、撮像に用いられるZ座標の関数としてROI用の画像焦点を特徴づけるが、学習モード中に従来の方法によって決定してもよい。次に、所望の特徴検査動作をサポートするために十分な「近似焦点」レベルに対応する焦点閾値が、決定および/または学習される。(この文脈において、「学習される」は、対応する特徴に対する後続の自動検査用の基礎として、パートプログラムにおいて、ある形態で(例えば、ビデオツールパラメータとして)決定および記録されることを意味してもよい。)より一般的には、決定および/または得られた特徴固有の代表焦点曲線データおよび/または焦点閾値データは、任意の便利な形態で特徴付け、かつ記録してもよい。一実施形態において、「曲線データ」は、焦点曲線の従来の形態に対応してもよく、「値データ」は、標準閾値に対応してもよい。他の実施形態において、曲線データは、高密度な焦点曲線「F−Z」ルックアップテーブル、名目解析曲線形状をカスタマイズする係数、枝刈りされたルックアップテーブルなどの他のタイプのデータに対応してもよい。同様に、他の実施形態において、閾値データは、実行モード時に数値を計算するために曲線データと協力的に用いられる「被写界深度(DOF)単位」、学習時に計算および記憶された数値、焦点曲線ピーク高さ用の増倍率(例えば分数)などの他のタイプのデータに対応してもよい。
本発明の別の態様によれば、(例えば、高速近似自動焦点ビデオツールの動作を実行することによって)実行モード中に高速近似自動焦点動作を実行するための一般的方法が提供される。一般に、代表焦点曲線データおよび焦点閾値データを用いて、ワークピース特徴を検査するために用いられる画像用の高速近似焦点を確認または提供するための実行モード動作セットが提供される。一般に、代表焦点曲線データおよび焦点閾値データは、学習モード中になど、対応するワークピースにおける対応する特徴用に予め確立されることになる。高速近似焦点のかかる利用によって、検査動作が正確なZ座標データを必要としない多くの用途において、許容可能な精度レベルを提供する。例えば、適切な画像処理を用いて、様々なXYエッジ位置測定は、それらが、画像ボケを含む検査画像(例えば、単に、近似的に焦点が合っているだけの画像)から決定される場合であっても、比較的正確で再現可能である。
一実施形態において、実行モード高速近似自動焦点動作には、検査される特徴を含む関心領域の第1の画像を取得することが含まれる。次に、現在の関心領域および検査される特徴に対応する、前に得られた特徴固有の代表焦点曲線データおよび焦点閾値データが、アクセスされる。次に、第1の画像焦点値が、現在の関心領域に対して決定され、第1の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第1の画像焦点値が焦点閾値より大きい場合には、特徴検査動作が現在の画像において実行され、大きくない場合には、ピーク焦点Z高さへの推定一次調整距離にわたって、一次調整方向にZ軸移動がなされるが、一次調整距離は、特徴固有の代表焦点曲線データおよび第1の画像焦点値に基づいて推定される。推定一次調整距離において、第2の画像が取得され、第2の画像焦点値が、関心領域に対して決定される。次に、一実施形態において、第2の画像焦点値が第1の画像焦点値より悪いかどうかに関して決定がなされる。第2の画像焦点値が第1の画像焦点値より悪くないと判定された場合には、一実施形態において、特徴検査動作が、現在の画像において実行される。第2の画像焦点値が第1の画像焦点値より悪い場合には、ピーク焦点Z高さへの推定二次調整距離にわたって、一次調整方向と反対の方向にZ軸移動がなされるが、二次調整距離は、一次調整距離および特徴固有の代表焦点曲線データの少なくとも1つに基づいて推定される。推定二次調整距離において、第3の画像が取得され、次に、特徴検査動作が、現在の画像(第3の画像)において実行される。一実施形態において、二次調整距離は、ほぼ2×一次調整距離である。
本発明の別の態様によれば、高速近似焦点学習モードの拡張インプリメンテーションを利用してもよい。拡張インプリメンテーションにおいて、代表ワークピースが、検査用の動作可能な位置に提供され、検査される第1の/次の代表特徴が、視野に配置されるが、代表特徴は、他のワークピースにおける対応する特徴を表わし、画像が取得される。次に、(例えば、ユーザ入力に基づいて)高速近似焦点が用いられるかどうかに関して決定がなされる。高速近似焦点が用いられないと判定された場合には、他の特徴検査動作が定義される。高速近似焦点が用いられる場合には、(例えば、グラフィカルユーザインタフェースを用いてユーザによって)高速近似自動焦点ツールが選択される。ひとたびツールが選択されると、それを用いて、代表特徴を含む関心領域(ROI)を定義してもよく、上記で概説したように、関心領域(ROI)用に特徴固有の代表焦点曲線を決定してもよい。次に、所望の特徴検査動作をサポートするのに十分な「近似焦点」レベルに対応する焦点閾値が決定される。一実施形態において、ユーザは、ビジョンマシンを動作させて、ユーザが許容可能と思う最悪の焦点であると判断するレベルに脱焦された画像を提供してもよい。一実施形態において、ユーザは、この決定を、画像を見ることによって主観的に行う。別の実施形態において、ユーザは、様々な焦点レベルで検査動作を実行し、これらの結果の精度および/または再現性を、十分に焦点合わせされた画像からの結果と比較して評価することによって、この決定を行う。代替として、焦点閾値は、自動で決定してもよい。例えば、いくつかの実施形態において、これは、次のように行ってもよい。すなわち、特徴固有の代表焦点曲線において、焦点ピーク位置から離れた、現在の光学系の焦点深度の所定の増分数に対応する焦点値を決定することによって行ってもよい。次に、パートプログラムに関連して、特徴固有の代表焦点曲線データおよび焦点閾値データを含む高速近似自動焦点ツールデータおよび/またはパラメータが記録される。次に、関心領域において実行されることになる特徴検査動作が定義される。より多くの検査すべき特徴がある場合には、ルーチンは、次の特徴用に繰り返される。しかしながら、ルーチンの代替実施形態において、追加特徴が現在の特徴に実質的に類似している場合には、特徴固有の代表焦点曲線および代表焦点閾値を決定するブロック740における動作を、次の動作によって取り替えてもよいような動作が含まれる。すなわち、(例えば、ユーザ入力または特徴認識等に基づいて)実質的な類似性を判定し、かつ次に、実質的に類似した特徴用に決定された、前に決定の特徴固有の代表焦点曲線および代表焦点閾値を再使用する動作によって取り替えてもよいということである。
本発明の別の態様によれば、高速近似焦点の拡張インプリメンテーションが、例えば、以下のように、実行モードにおいて利用可能である。実行モードの最初に、パートプログラムが、検査用の位置におけるワークピースと共に提供される。パートプログラムが開始され、第1の/次のツールが決定され、(検査される)第1の/次の特徴が視野に配置される。高速近似自動焦点ツールが用いられる場合には、現在の特徴に対応して、特徴固有の代表焦点曲線データおよび焦点閾値データがアクセスされる。次に、第1の画像が取得され、第1の画像焦点値が、ツールによって定義された関心領域において決定され、第1の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第1の画像焦点値が焦点閾値より大きい場合には、特徴検査動作が開始される。第1の画像焦点値が、焦点閾値より大きくない場合には、特徴固有の代表焦点曲線データおよび第1の画像焦点値に基づいて、ピーク焦点Z高さへの一次調整距離が推定される。次に、ビジョンマシンは、Z高さを調整するために、一次調整方向に一次調整距離だけ移動され(例えば、Zを増加させ)、その後、第2の画像が取得され、第2の画像焦点値が、関心領域用に決定される。次に、第2の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第2の画像焦点値が焦点閾値より大きい場合には、特徴検査動作が開始され、それが、より大きくない場合には、さらに、第2の画像焦点値が第1の画像焦点値より大きいかどうかに関して決定がなされる。第2の画像焦点値が第1の画像焦点値より大きい場合には、これは、一次調整方向は適切だったが、しかし一次調整距離が適切ではなかったことを示す。したがって、一実施形態において、高速近似焦点動作は、デフォルト自動焦点動作(例えば、追加画像の取得、新しい焦点曲線の決定、そのピークの発見などの従来の動作)を呼び出すかまたは実行する。かかる動作は、より遅いがしかしより強固である。別の実施形態において、自動焦点動作は終了してもよく、誤り表示を出力してもよい。別の実施形態では、コントラスト曲線の形状に依存して、1つまたは複数の追加的な事前計算された調整を実行してもよい。第2の画像焦点値が第1の画像焦点値より大きくない場合には、二次調整距離が決定され、ビジョンマシンが、Z高さを調整するために、二次調整距離だけ、一次調整方向と反対の「反対調整」方向に移動される。二次調整距離は、一次調整距離および特徴固有の代表焦点曲線データの少なくとも1つに基づいて決定される。例えば、一実施形態において、二次調整距離は、一次調整距離のほぼ2倍として決定される。別の実施形態において、二次調整距離は、一次調整距離と無関係に、しかし同じ方法で決定される。次に、第3の画像が取得され、第3の画像焦点値が、関心領域において決定され、第3の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第3の画像焦点値が焦点閾値より大きくない場合には、高速近似焦点動作は、(例えば、上記のような)デフォルト自動焦点動作を呼び出すかまたは実行し、第3の画像焦点値がより大きい場合には、特徴検査動作が、現在の画像において実行される。一実施形態において、高速近似焦点動作は、追加態様を(オプションとして)有してもよいが、いくつかの状況下で、最後の成功した、プラスまたはマイナスZ調整方向は、検査される次の特徴のために、高速近似自動焦点動作を実行する後続の次のインスタンスにおける一次調整方向として記録および/または利用してもよい。より多くの検査すべき特徴がある場合には、ルーチンは、次の特徴から再び始めるか、そうでなければ、検査結果が記憶/出力され、かつ/またはパートプログラムが終了される。
最後の(前の)成功した調整方向と同じ方向に、後続の調整またはサーチを実行することは、検査されている部分が名目上平坦(またはほぼ平坦)であるが、しかしマシンビジョンシステムのステージにおいて傾斜またはワープしている場合には有利であることを理解されたい。かかる部分における特徴レイ(例えば、プリント回路基板ホール)を検査する場合には、前のワークピース特徴の検査中に成功した焦点調整方向が、次のワークピース特徴に対して正確な焦点調整方向になると思われるように、傾斜は一貫しているか、または少なくともゆっくりと変化しそうである。したがって、この方法は、かかるワークピースを検査している場合には、スループットを改善または最大限にすると思われる。
本発明の前述の態様および付随した利点の多くは、添付の図面と共に読んだときに、以下の詳細な説明に関連してよりよく理解されると共に、より容易に認識されるようになろう。
図面の簡単な説明
汎用精密マシンビジョン検査システムの様々な典型的コンポーネントを示す図である。 マシンビジョン検査システムの制御システム部およびビジョンコンポーネント部の図である。 一連の特徴検査中に、高速近似自動焦点動作の一実施形態に従って、カメラの一連の焦点位置と共に、検査されるワークピースおよび一連の特徴の上面図および側面図を示す図である。 得られた代表焦点曲線および相違するランタイム焦点曲線を示す代表グラフである。 学習モード中における高速近似焦点動作用の例示的な汎用ルーチンを示す流れ図である。 実行モード中における高速近似焦点動作用の例示的な汎用ルーチンを示す流れ図である。 学習モードにおける高速近似焦点動作の拡張インプリメンテーション用のルーチンを示す流れ図である。 実行モード中における高速近似焦点動作の拡張インプリメンテーション用のルーチンを示す流れ図である。 実行モード中における高速近似焦点動作の拡張インプリメンテーション用のルーチンを示す流れ図である。 ツールパラメータ編集ダイアログボックスを含む高速近似自動焦点ツールユーザインタフェースにおける一実施形態の様々な機能を示す図である。 ツールパラメータ編集ダイアログボックスを含む高速近似自動焦点ツールユーザインタフェースにおける一実施形態の様々な機能を示す図である。 ツールパラメータ編集ダイアログボックスを含む高速近似自動焦点ツールユーザインタフェースにおける一実施形態の様々な機能を示す図である。 高速近似自動焦点ツールに関連する様々な機能を含むマシンビジョン検査システムユーザインタフェースディスプレイの一実施形態を示す図である。
好ましい実施形態の詳細な説明
図1は、本発明に従って使用可能な1つの例示的マシンビジョン検査システム10のブロック図である。マシンビジョン検査システム10には、データおよび制御信号を制御コンピュータシステム14と交換するように動作可能に接続されたビジョン測定機12が含まれる。制御コンピュータシステム14は、さらに、モニタまたはディスプレイ16、プリンタ18、ジョイスティック22、キーボード24およびマウス26とデータおよび制御信号を交換するように、動作可能に接続されている。モニタまたはディスプレイ16は、マシンビジョン検査システム10の動作を制御および/またはプログラムするのに適したユーザインタフェースを表示してもよい。
ビジョン測定機12には、可動ワークピースステージ32、およびズームレンズまたは交換レンズを含むことが可能な光学撮像システム34が含まれる。ズームレンズまたは交換レンズは、一般に、光学撮像システム34によって提供される画像に対して様々な倍率を提供する。マシンビジョン検査システム10は、一般に、上記の、ビジョンシステムのQUICK VISION(登録商標)シリーズおよびQVPAK(登録商標)ソフトウェア、ならびに市販されている類似の最新式精密マシンビジョン検査システムに匹敵する。マシンビジョン検査システム10はまた、同一出願人による米国特許第7,454,053号に説明されており、それによって、この特許は、参照により、その全体において本明細書に援用されている。ビジョン測定機および制御システムの様々な態様がまた、2003年8月4日出願の、同時係属で同一出願人による米国特許出願第10/632,823号および2004年3月25日出願の米国特許第7,324,682号に説明されており、それによって、これらが、参照により、その全体において本明細書に援用されている。本明細書に開示されている高速近似焦点動作は、マシンビジョン検査システムのいくつかの用途に対して、スループットを劇的に増加させることができる。さらに、方法は、使いやすいビデオツールおよび/または自動焦点動作モードとして実行してもよい。
図2は、本発明によるマシンビジョン検査システム100の制御システム部120およびビジョンコンポーネント部200の図である。以下でより詳細に説明するように、制御システム部120は、ビジョンコンポーネント部200を制御するために用いられる。ビジョンコンポーネント部200には、光学アセンブリ部205、光源220、230、および240、ならびに中央透明部212を有するワークピースステージ210が含まれる。ワークピースステージ210は、ワークピース20を配置可能なステージ面に略平行な平面にあるXおよびYの軸に沿って制御可能に可動である。光学アセンブリ部205には、カメラシステム260、交換可能な対物レンズ250が含まれ、レンズ286および288を有するタレットレンズアセンブリ280、および同軸光源230を含んでもよい。タレットレンズアセンブリの代わりに、固定もしくは手動で交換可能な倍率変更レンズまたはズームレンズ構成等を含んでもよい。以下で説明するように、光学アセンブリ部205は、制御可能モータ294を用いることによって、XおよびY軸に略直角なZ軸に沿って制御可能に可動である。
マシンビジョン検査システム100を用いて撮像されることになるワークピース20は、ワークピースステージ210に載置される。ステージ光源220、同軸光源230および表面光源240の1つまたは複数が、それぞれ光源光222、232または242を放射して、ワークピース20を照明してもよい。光源光は、ワークピース光255として反射または透過されるが、ワークピース光255は、交換可能な対物レンズ250およびタレットレンズアセンブリ280を通過し、カメラシステム260によって集光される。カメラシステム260によって捕捉されたワークピース20の画像は、信号線262で制御システム部120に出力される。光源220、230および240は、それぞれ、信号線またはバス221、231および241を通して、制御システム部120に接続してもよい。画像倍率を変更するために、制御システム部120は、信号線またはバス281を介し、軸284に沿ってタレットレンズアセンブリ280を回転させて、タレットレンズを選択してもよい。
様々な例示的な実施形態において、光学アセンブリ部205は、制御可能モータ294を用い、ワークピースステージ210に対して垂直Z軸方向に可動であるが、この制御可能モータ294は、アクチュエータ、接続ケーブル等を駆動して光学アセンブリ部205をZ軸に沿って移動させ、カメラシステム260によって捕捉されるワークピース20の画像の焦点を変更する。本明細書で用いるように、用語Z軸は、光学アセンブリ部205によって取得される画像を焦点合わせするために用いられるように意図された軸を指す。制御可能モータ294は、用いられる場合には、信号線296を介して入力/出力インタフェース130に接続される。
図2に示すように、様々な例示的な実施形態において、制御システム部120には、コントローラ125、入力/出力インタフェース130、メモリ140、ワークピースプログラムジェネレータおよび実行器170、および電源部190が含まれる。これらのコンポーネントのそれぞれは、以下で説明する追加コンポーネントと同様に、1つもしくは複数のデータ/制御バスおよび/またはアプリケーションプログラミングインタフェースによってか、または様々な要素間の直接接続によって相互接続してもよい。
入力/出力インタフェース130には、撮像制御インタフェース131、運動制御インタフェース132、照明制御インタフェース133およびレンズ制御インタフェース134が含まれる。運動制御インタフェース132には、位置制御要素132aおよび速度/加速制御要素132bを含んでもよい。しかしながら、様々な例示的な実施形態において、かかる要素が、統合され、かつ/または区別不能であってもよいことを理解されたい。照明制御インタフェース133には、照明制御要素133a〜133nが含まれるが、これらの要素は、マシンビジョン検査システム100の様々な対応する光源に対して、例えば、選択、電力、オン/オフスイッチ、ストローブパルスタイミングを適宜制御する。
メモリ140には、画像ファイルメモリ部141、1つまたは複数のパートプログラム等を含み得るワークピースプログラムメモリ部142、およびビデオツール部143が含まれる。ビデオツール部143には、ツール部143aおよび他の類似のツール部(図示せず)が含まれるが、これらが、対応するツールのそれぞれに対して、GUI、画像処理動作等を決定する。ビデオツール部143にはまた、関心領域ジェネレータ143xが含まれるが、このジェネレータ143xは、ビデオツール部143に含まれる様々なビデオツールにおいて操作可能な様々なROIを定義する自動、半自動および/または手動操作を支援する。
特に、本発明による様々な実施形態において、ビデオツール部143には、自動焦点ツール部143fが含まれるが、この自動焦点ツール部143fは、以下でより詳細に説明するように、自動焦点動作に関連する様々な動作および機能を提供する。一実施形態において、自動焦点ツール部143fには、自動焦点モード制御部143fa、高精度自動焦点ツール143fb、および高速近似自動焦点ツール143fcを含んでもよい。簡潔に言えば、高精度自動焦点ツール143fbは、例えば、様々なZ高さにおける現在の画像スタックの取得、焦点曲線の全てまたは一部の生成、および現在のワークピース特徴および動作条件に対して常に「カスタマイズ」される最良の焦点位置として焦点曲線ピークを見つけることなど、学習モードおよび実行モードにおける動作を実行する周知の自動焦点ツールと同様に動作してもよい。高速近似自動焦点ツール143fcは、本発明の高速近似焦点方法に基づいて動作する。「高精度」自動焦点ツール143fbとは対照的に、高速近似自動焦点ツール143fcは、学習モードにおいて特定の特徴用に代表焦点曲線を決定し、かつ実行モード中に類似の特定の特徴を検査する場合に、その同じ焦点曲線データを参照して、実行モードにおける新しい画像スタックを取得および解析する、時間のかかるプロセスを回避する。自動焦点モード制御部143faは、本明細書で開示するように、どのツールまたはモードが作動されるかに依存して、自動焦点ツール(高精度自動焦点ツール143fbもしくは高速近似自動焦点ツール143fcである)またはツールモードを構成する動作を実行してもよい。
自動焦点ツール143fbの記述語「高精度」は、限定的であるようには意図されてなく、それは、単に、より高いスループットと引き換えに、いくらか低下した画像焦点を許容するように意図された高速近似自動焦点ツール143fcのより低い焦点精度と対照的に選択されている。高精度自動焦点ツール143fbは、一般に、最良の焦点位置を提供し、対応する表面のZ高さをかなり正確に示す。対照的に、高速近似自動焦点ツール143fcは、本発明の方法を用いて、近似的に焦点合わせされた画像を素早く提供し、十分に正確なX−Yエッジ測定を確実にサポートし得るが、しかしほとんどの場合、正確なZ高さ測定を決定するためには適していない。
自動焦点ツール部143fの代替構成が可能である。例えば、高精度自動焦点ツール143fbおよび高速近似自動焦点ツール143fcには、セパレートモード制御部143faが省略可能であるように区分モード制御機能を含んでもよい。代替として、自動焦点ツール部143fは、1つまたは複数の包括自動焦点ツール要素を提供してもよく、モード制御部143faは、高精度自動焦点ツール動作または高速近似自動焦点ツール動作が望ましいかどうかに依存する形で、ユーザインタフェース、および包括自動焦点ツール要素の相互関係を制御する動作を提供してもよい。かかる場合に、高精度自動焦点ツール143fbおよび/または高速近似自動焦点ツール143fcの動作を提供する回路、ルーチンまたはアプリケーションは、統合され、かつ/または区別不能であってもよい。いくつかのインプリメンテーションにおいて、自動焦点モード制御部143faを用いて、高速近似自動焦点モード(セパレートツールとは対立する)を実現してもよい。より一般的には、本発明は、マシンビジョン検査システム100と共に動作可能な、任意で現在周知の形態または後で開発される形態で実施し、高速近似自動焦点動作に関連して本明細書で開示する機能を提供してもよい。
一般に、メモリ部140は、ワークピース20の取得画像が所望の画像特性を有するように、ビジョンシステムコンポーネント部200を動作させてワークピース20の画像を捕捉または取得するように利用可能なデータを記憶する。メモリ部140はまた、検査結果データを記憶してもよく、さらに、手動または自動で、取得画像に様々な検査および測定動作を実行するようにマシンビジョン検査システム100を動作させるために(例えば、一部はビデオツールとして実行される)、および入力/出力インタフェース130を介して結果を出力するために利用可能なデータを記憶してもよい。メモリ部140にはまた、入力/出力インタフェース130を介して動作可能なグラフィカルユーザインタフェースを定義するデータを含んでもよい。
ステージ光源220、同軸光源230および表面光源240の信号線またはバス221、231および241は、それぞれ全て、入力/出力インタフェース130に接続される。カメラシステム260からの信号線262および制御可能モータ294からの信号線296は、入力/出力インタフェース130に接続される。画像データを搬送することに加えて、信号線262は、画像取得を開始するコントローラ125からの信号を搬送してもよい。
1つまたは複数のディスプレイ装置136および1つまたは複数の入力装置138もまた、入力/出力インタフェース130に接続することができる。ディスプレイ装置136および入力装置138は、ユーザインタフェースを表示するために用いることができるが、このユーザインタフェースには、検査動作を実行するために、および/またはカメラシステム260によって捕捉された画像を検査するようにパートプログラムを生成し、かつ/もしくは修正するために、および/またはビジョンシステムコンポーネント部200を直接制御するために利用可能な様々なグラフィカルユーザインタフェース(GUI)機能を含んでもよい。所定のパートプログラム(またはワークピースプログラム)を有する完全な自動システムにおいて、ディスプレイ装置136および/または入力装置138は省略してもよい。
様々な例示的な実施形態において、ユーザが、マシンビジョン検査システム100を用いてワークピース20用のパートプログラムを生成する場合には、ユーザは、ワークピースプログラミング言語を用いて、自動、半自動または手動で命令を明示的に符号化することによってか、またはマシンビジョン検査システム100を学習モードで動作させて所望の画像取得訓練シーケンスを提供することにより命令を生成することによって、パートプログラム命令を生成する。例えば、訓練シーケンスには、視野(FOV)へのワークピース特徴の配置、照明レベルの設定、焦点合わせまたは自動焦点合わせ、画像の取得、画像に適用される検査訓練シーケンスの提供(例えば、ビデオツールを用いて)を含んでもよい。学習モードは、シーケンス(単複)が、捕捉されて、対応するパートプログラム命令に変換されるように、動作する。これらの命令は、パートプログラムが実行された場合には、マシンビジョン検査システムに、訓練された画像取得および検査動作を再現させ、パートプログラムを生成する場合に用いられるワークピースと一致するワークピース(単数または複数)を自動で検査する。
ワークピース画像における特徴を検査するために用いられるこれらの解析および検査方法は、自動焦点ツール143fbおよび143fcを始めとして、メモリ140のビデオツール部143に含まれる様々なビデオツールに典型的に具体化される。多くの周知のビデオツールまたは略して「ツール」が、上記したビジョンシステムのQUICK VISION(登録商標)シリーズおよび関連するQVPAK(登録商標)ソフトウェアなどの市販のマシンビジョン検査システムに含まれる。
図3は、高速近似自動焦点動作の一実施形態に従って、一連の特徴検査中に、一連のカメラ焦点位置と共に、実行モードで検査される一連のワークピース特徴の上面図310および側面図320を示す図300である。上面図310に示すように、ワークピース311には、ワークピース特徴312A〜312Dが含まれる。説明のために、ワークピース特徴312A〜312Dのそれぞれは、関心領域(ROI)に包含されて示されているが、この関心領域(ROI)は、図10に関連して以下でより詳細に説明するように、パートプログラムを生成するために学習モードで選択、観察および操作可能なような、その対応する高速自動焦点ビデオツールの外側境界によって定義される。しかしながら、以下の説明で示されているように、様々な特徴およびそれらの対応するビデオツールが、典型的には、カメラの視野に1つずつ配置されることが理解されよう。高速自動焦点ビデオツールGUIウィジェットの各別個のインスタンスは、高速自動焦点ビデオツールの対応するインスタンスの一部である。この一対一対応ゆえに、グラフィカルウィジェットおよびツールを区別なく指し示すことは、便利なことが多く、その意味は、文脈に基づいて明らかになろう。しかしながら、2つの用語が実際には同一でなく、ツールには、ウィジェットに加えて、基礎をなす動作および他の機能が含まれることが理解されよう。
図3において、パートプログラム検査シーケンスは、矢印によって示すように左から右へ流れるが、ワークピース特徴312Aの検査から始まって、ワークピース特徴312B、312Cおよび312Dのそれぞれに引き続いて進む。説明のために、以下で概説するように、ワークピース311を横切って左から右へ移動し、ビデオツール314A〜314Dのそれぞれにおける関心領域の画像を連続的に取得するカメラを考えてもよい。高速自動焦点ビデオツール314A〜314Dは、対応する関心領域の許容可能な検査画像を取得するために実行される焦点合わせ動作を管理する。
側面図320に示すように、この例において、ワークピース311は、以下でより詳細に説明するように、学習モード中にパートプログラムを生成するために利用されたワークピースの平坦で水平な表面を表す水平破線321に対して、ワープされている。一般に、いくつかの名目上平坦で薄いワークピース部は、ステージ(例えば、プリント回路基板、大きな水平パネルディスプレイ等)上において変形が比較的容易で、かつ/または不注意に傾斜され得ることが理解されよう。したがって、実行モードワークピースは、学習モードにおける訓練用に用いられた代表ワークピースの形状と一致しない可能性がある。図3におけるワークピース311の変形は、例示のためにZ方向に誇張されている。さらに、カメラの純粋に概略的な表現を用いて、以下でより詳細に説明する焦点合わせ動作を強調した。
ワークピース特徴312A用の側面図320で示すように、カメラは、学習モード中に確立されるような平面321に対して、得られた初期焦点合わせ位置(Z位置)に対応する名目Z高さ322Aに最初は設定される。以下でより詳細に説明するように、ワークピース311のワープされた表面上のワークピース特徴312Aが、平面321より著しく下に下がっているので、カメラの名目Z高さ322Aが、ROIにおける許容可能な焦点メトリック値(また焦点値とも呼ばれる)に帰着しないことが理解されよう。デフォルト一次調整方向が最初にプログラムまたは確立されたが、これが、この場合には、Z高さ322AからZ高さ322A’へ、初期調整距離だけカメラを上方に移動させる。以下でより詳細に説明するように、初期調整距離は、学習モード中に決定された焦点曲線データおよび現在の焦点値に基づいた、Z高さ322Aから最良の焦点位置への推定距離である。Z高さ322A’において、新しい画像が取得され、焦点値は、再び評価され、再び許容可能ではないと判定され、さらに、第1の焦点値より悪いと判定される。この結論の結果として、次に、ルーチンは、前述のように、最良の焦点位置への距離として推定される調整距離(例えば、2×初期調整方向に移動された距離)だけ反対方向にカメラを移動させ、新しい画像が取得される。この調整は、カメラがZ高さ322A’’存在することに帰着する。ちょうどワークピース特徴312Aが、学習モード中のその対応する特徴の位置の下にあるように、Z高さ322A’’において、カメラは、最初に学習およびプログラムされた位置322Aより下にある。その結果として、新しい/現在の画像におけるROI用に決定された焦点値が、許容可能なレベル(例えば、図4に関連して以下に概説するような)にあると判定され、検査動作(例えば、X−Yエッジ位置測定動作)が、現在の画像において実行される。
次に、パートプログラムは、次のワークピース特徴312BのプログラムされたX−Y位置にカメラを移動させる。図3に示す高速近似焦点ビデオツール動作実施形態において、カメラは、学習モード中に観察または記録された可能性がある特徴312BのどんなZ高さにも「打ち勝って」、移動され、許容可能な検査画像を生成した、最後の成功したカメラZ高さに(すなわちZ高さ322A’’に)配置される。高速近似焦点ビデオツール動作の様々な実施形態にこの機能を含むことは有利であるが、しかし、それは、厳密には必要とされない。画像が初期Z高さ322B(322A’’に等しい)で取得され、ROIにおいて決定された焦点値は、ワークピース特徴312Aとほぼ同じ高さにワークピース特徴312Bを配置したワークピース311のワープゆえに、たまたま許容可能である。検査動作が、画像において実行される。
次に、パートプログラムは、次のワークピース特徴312CのプログラムされたX−Y位置にカメラを移動させる。前述のように、カメラは、移動されて、許容可能な検査画像を生成した、最後の成功したカメラZ高さに(すなわち、Z高さ322Bに)配置される。画像が、初期Z高さ322C(322Bに等しい)において取得される。ワークピース特徴312Cが、ワークピース特徴312Bとは著しく異なる高さにあり、カメラが、最初に同じZ高さにあるので、取得画像は、著しく焦点がずれており、ROIにおける許容可能な焦点値を提供しない。図3に示す高速近似焦点ビデオツール動作実施形態において、前の高速近似焦点ツールが成功した画像高さに移動した場合には、その移動の方向が記憶されて、高速近似焦点ツールにおけるその後のインスタンス用の一次調整方向として用いられる。この例では、これによって、カメラは、Z高さ322CからZ高さ322C’に、初期調整距離だけ下方に移動される。全ての調整距離と同様に、初期調整距離は、以下でより詳細に説明するように、学習モード中に決定された焦点曲線データおよび現在の焦点値中に基づいた、現在のZ高さ322Aから最良の焦点位置への推定距離である。Z高さ322C’において、新しい画像が取得され、焦点値は、再び評価され、再び許容可能ではないと判定され、さらに、第1の焦点値より悪いと判定される。この結論の結果として、次に、ルーチンは、前述のように、最良の焦点位置への距離として推定される調整距離(例えば、2×初期調整方向に移動された距離)だけ反対方向にカメラを移動させ、新しい画像が取得される。この調整は、カメラがZ高さ322C’’に配置されることに帰着する。ちょうどワークピース特徴312Cが、前のワークピース特徴312Bの位置の上にあるように、Z高さ322C’’において、カメラは、最後の成功したZ高さ332Bの上にある。今、カメラは、部分のローカルな変形または傾斜に従った。その結果として、新しい/現在の画像におけるROI用に決定された焦点値が、許容可能なレベルにあると判定され、検査動作が、現在の画像において実行される。
次に、パートプログラムは、次のワークピース特徴312DのプログラムされたX−Y位置、および許容可能な検査画像を生成した、最後の成功したカメラZ高さ(すなわちZ高さ322C’’)にカメラを移動させる。画像が、初期Z高さ322D(322C’’に等しい)で取得される。ワークピース特徴312Dが、ワークピース特徴312Cとは著しく異なる高さにあるので、取得画像は、著しく焦点がずれており、ROIにおける許容可能な焦点値を提供しない。前述のように、図3に示す高速近似焦点ビデオツール動作実施形態において、前の高速近似焦点ツールが、成功した画像高さに移動した場合には、その移動の方向が、記憶されて、後の高速近似焦点ツール用の初期サーチ方向として用いられる。これは、(現在の特徴にとってのケースである)表面の大きな部分に対して一貫した傾斜方向を一般に維持する、なだらかにワープまたは傾斜された表面にはよい戦略である。したがってこの例において、次に、カメラは、Z高さ322DからZ高さ322D’へ、初期調整距離だけ上方に移動する。初期調整距離は、上記で概説したように推定される。Z高さ322D’において、新しい画像が取得され、焦点値は再び評価され、許容可能であると判定される。ちょうどワークピース特徴312Dが、前のワークピース特徴312Cの位置の上にあるように、Z高さ322D’において、カメラは、最後の成功したZ高さ322C’’の上にある。カメラは、その部分のローカルな変形または傾斜に引き続き従った。その結果、新しい/現在の画像におけるROI用に決定された焦点値が、許容可能なレベルにあると判定され、検査動作が、現在の画像において実行される。
図4は、学習モード動作中にパートプログラムにおいて決定および記録された、得られた代表焦点曲線410、および相違する実行モード焦点曲線420を示すグラフ400の図である。各焦点曲線は、高速近似焦点ツールの1つのインスタンスにおいて定義されたROIに対応する。特に、ROIは、学習モードおよび実行モード動作中の同じ特徴に対応する。この文脈において、「同じ特徴」は、2つの異なるワークピースにおいて類似および一致する特徴を意味する。相違する実行モード焦点曲線420が実際には決定されず、それが、実行モード焦点動作の基礎となるかまたはそれを表し、かつ説明のために本明細書に示されていることを理解されたい。一般に、学習モード中に、得られた代表焦点曲線410を生成するために、マシンビジョンシステムのカメラは、Z軸に沿った一連の位置を通って移動され、各位置で画像を捕捉する。焦点曲線の決定および解析用の例示的な技術が、米国特許第6,542,180号において教示され、それによって、この特許は、参照により、その全体において本明細書に援用されている。各捕捉画像に対して、焦点メトリック値が、ROIの用に計算され、画像が捕捉された時間におけるカメラの対応するZ位置とペアにされて、焦点曲線を定義するデータポイント(座標)を提供する。一実施形態において、焦点メトリック値には、画像における関心領域のコントラストまたは鮮明度の計算を含んでもよい。様々な実施形態において、焦点値または曲線は、(例えば図4で示すように)正規化してもよい。一実施形態において、焦点値または曲線は、ROIにおける画像画素の平均グレースケール値または2乗グレースケール値の平均によって正規化してもよい。様々な焦点メトリックが、援用した参考文献に詳細に説明されており、様々な適した焦点値関数がまた、当業者には周知であろう。したがって、かかる関数は、さらには説明しない。
一般に知られているように、焦点曲線の形状は、表面タイプ(例えば形状、質感等)、被写界深度、関心領域のサイズ(例えば、より大きな関心領域は、より少ない雑音に相当し得る)、照明条件などの多くの要因に依存する。図4のY軸上の焦点メトリック値(例えば、正規化されたコントラスト値)は、一般に、対応する画像の関心領域に含まれる特徴の焦点の質に対応する。Y軸上の、より高い焦点値は、よりよい焦点に相当する。したがって、以下でより詳細に説明するように、最良の焦点位置は、焦点曲線のピークに対応する(例えばピーク焦点Z高さ411)。焦点曲線は、ほぼ対称であることが多く、釣鐘曲線に似ている。図4に示された実施形態において、曲線410および420用の焦点値は、それらが適切に比較され得るように、「理想的に」正規化された(すなわち、それらの最高値は等しくされたが、実際には、それらは、たとえ正規化後であっても、通常、わずかに異なるであろう)。焦点曲線420のデータが実際には得られないので(それは、図4に説明のためにのみ示されている)、完全な焦点曲線420の正規化が、実際の実施形態中では実行されないであろうことが理解されよう。しかしながら、第1の画像焦点値424、および(例えば、関心領域の平均グレースケール値または平均2乗グレースケール値による)実行モード中に決定された他の単独画像焦点値の正規化は、可変照明条件、表面仕上げ等の要因の影響を補償するために、一般に、様々な実施形態において行い得る。
上記で概説したように、得られた代表焦点曲線410は、学習モード中に高速近似焦点ツールのインスタンスを訓練しているときに決定された焦点値データポイントのセットに合致する曲線であってもよい。対照的に、実行モード焦点曲線420は、高速近似焦点動作によっては決定されない。しかしながら、高精度自動焦点動作が実行モード中に実行される場合には、焦点曲線420は、結果としてもたらされることになろう。以下でより詳細に説明するように、本発明の高速近似焦点動作の1つの重要な利点は、焦点曲線420が、一般に決定されず、これによって、焦点曲線の生成に関連する、時間のかかる画像取得動作が除去されるということである。より正確に言えば、得られた代表焦点曲線410は、許容可能な近似焦点位置を決定するために、基礎をなす実行モード焦点曲線420を表現するかまたはその代わりをする。
説明のために、図3に関連して前に記載したいくつかの動作の基礎を示す図4を検討してもよい。例えば、得られた代表焦点曲線410は、学習モード動作中の、図3の平面321における特徴に対応してもよい。相違する(例えば、より広い)実行モード焦点曲線420は、実行モード動作中の、ワープされたワークピース311における同じ特徴(この説明では特徴312A)に対応してもよい。両方の曲線は、前に概説したように、正規化される。実行モード焦点曲線420は、得られた代表焦点曲線410に対して、相違してもよい。なぜなら、ワープされたワークピース311が、学習モードワークピースの平面321とわずかに異なる構成を有するからである。かかる相違ゆえに、図3に関連して前に説明した推定調整距離は、得られた代表焦点曲線410に基づいているが、いくらか不正確である。したがって、推定調整距離は、ピーク焦点Z高さ411にカメラを正確には配置しない。しかしながら、図4に示された実施形態において、推定調整距離が、Z高さ境界414間に入る近似的に焦点合わせされたZ高さを提供する場合には、高速近似焦点動作は、これを、対応する画像において実行されることになる、後続の検査動作をサポートするのに十分な焦点レベルとして受け入れる。高速近似焦点動作の適用は、後の検査動作が、X−Yエッジ検出および関連するX−Y測定動作である場合には、特に有利になり得る。これは、かかるX−Y測定動作が、エッジプロファイルの中央位置(例えば、最大勾配点)をそれほどずらすことなくエッジプロファイルを広げる傾向がある適度な量の画像ボケに比較的無感応であるからである。したがって、かかる場合には、高速近似焦点ツールまたはモードを用いて、検査精度に著しく影響せずに、検査スループットを増加させてもよい。
近似的に焦点合わせされたZ高さ境界414は、高速近似焦点ツールまたはモードに含まれる所定の値またはアルゴリズムに従って確立し、続いてパートプログラムにおいて適用してもよい。この点に関して、近似的に焦点合わせされたZ高さ境界414が、代表焦点曲線410に適用される場合には、それらは、交点で代表焦点閾値415を定義すると見なすことができる。以下でより詳細に説明するように、焦点閾値415を用いて、許容可能な近似焦点を素早く達成するのを支援し、一方で、実行モード焦点曲線420を決定する時間のかかるタスクを回避してもよい。様々な実施形態において、Z高さ境界414は、現在の光学系の周知の被写界深度(DOF)の1〜7倍、より有利にはDOFの2〜7倍の間でピーク焦点Z高さから離れて有利に設定される。このように設定されたZ高さ境界は、典型的には、学習モードおよび実行モード焦点曲線間の不一致にもかかわらず、上記で概説した高速近似焦点動作用の十分に低い閾値を定義し、十分に焦点合わせされた画像を識別する。同時に、かかる設定は、種々様々なワークピースに対して、所望のレベルのX−Y測定精度および再現性を提供する、正規化された焦点閾値(学習モード焦点曲線における)を定義するように示された。しかしながら、より一般的には、Z高さ境界414は、十分に焦点合わせされた画像を確実に提供するが、しかもなお十分な画像のピンぼけを容認する任意の数のDOFに設定されて、高速近似焦点動作が、典型的には、Z高さ境界414に対応する焦点閾値415を超える焦点値を有する許容可能な画像を提供できるようにしてもよい。例えば、ある焦点値が焦点閾値415を超えない場合、その焦点値を「悪い」と判断して、焦点閾値415を超える焦点値を有する許容可能な画像を提供する。
前述の実施形態は、限定的ではない。例えば、いくつかの実施形態において、対応する焦点閾値415は、近似的に焦点合わせされたZ高さ境界414を明示的に用いるのではなく、パートプログラムにおいて適用される。他の実施形態において、他の閾値決定方法および/または値を用いてもよく、いくつかのインプリメンテーションでは、焦点閾値415は、可変であってもよい。いくつかのインプリメンテーションにおいて、焦点閾値415は、実行モードで取得された情報に基づいて、わずかに調整してもよい。
次の説明は、本質的には、図3の特徴312Aをめぐる動作の前述の説明を繰り返す一方で、図4の観点から付加説明を加える。図3に示すように、ワークピース特徴312Aの側面図320において、カメラは、学習モード中に確立されるような平面321に対する、得られた初期焦点合わせ位置(Z位置)に対応する名目Z高さ322Aに最初に設定される。第1の画像が取得され、かつ図4におけるライン424によって表わされるように、第1の画像焦点値が、その画像におけるROI用に決定される。図4に示すように、実行モードワークピースの構成が知られていないので、最良焦点Z高さの位置が、一般に、周知ではなく、かつ第1の画像焦点値424が、ポイント423Aおよび423Dによって表わされる2つの候補Z高さのどちらかに対応してもよいことが、理解されよう。本発明の高速近似焦点方法は、ほんのわずかな動きで、これらの場合の両方を自動でアドレスするように設計されている。図3における焦点動作の説明は、Z高さ322Aが候補ポイント423Aに実際に対応する場合に相当する。その場合に、ワークピース311のワープされた表面におけるワークピース特徴312Aが、図3に示すようなその推定Z高さ(学習モード中の平面321の高さ)より著しく下に下がるので、第1のZ高さ322Aの画像は、図4に示す比較的低い焦点値424に帰着する。焦点値424が、代表焦点閾値415より下にあるので、焦点値424は許容できず、第1の画像は、許容できない検査画像であると判定される。したがって、高速近似焦点動作は、推定一次調整距離にわたり、最初にプログラムまたは確立された初期または一次調整方向に沿って移動することによって、Z高さを調整するが、これによって、この場合にカメラは、Z高さ322AからZ高さ322A’へ、図4に示す初期調整距離417だけ上方に移動される。推定一次調整距離は、代表焦点曲線410(学習モード中に決定された)および現在の焦点値424に基づいた、Z高さ322Aからピーク焦点Z高さ411への推定距離である。Z高さ322A’において、第2の画像が取得され、第2の焦点値424A’が、ROI用に決定される。
この場合に、一次調整方向が間違った方向だったので、第2の焦点値424A’は、代表焦点閾値415より下にあって、第1の焦点値424よりさらに悪く、第2の画像は、許容できない検査画像であると判定される。その結果、高速近似焦点動作は、一次調整方向と反対の方向に沿って、二次調整距離418だけZ高さ322A’から移動することによってZ高さを調整し、Z高さ322A’’に到達する。前述のように、二次調整距離418は、現在のZ高さからピーク焦点Z高さ411への推定距離である。一実施形態において、二次調整距離は、単に、一次調整方向に移動された距離の2倍として推定されるが、この距離は、焦点曲線420が焦点曲線410と比較して相違せず、かつ焦点曲線410がほぼ対称である場合には、ピーク焦点Z高さに到達するはずである。別の実施形態において、二次調整距離は、代表焦点曲線410(学習モード中に決定されるような)および現在の焦点値424A’に基づいているが、これは、焦点曲線410が非対称である場合には、有利になり得る。いずれにせよ、Z高さ322A’’において、第3の画像が取得され、第3の画像焦点値424A’’が、ROI用に決定される。この場合に、相違する焦点曲線420の影響にもかかわらず、二次調整方向が正確な方向だったので、第3の画像焦点値424A’’は、代表焦点閾値415の上にあり、第3の画像は、それが許容可能な検査画像であるように近似的に焦点合わせされていると判定される。許容可能な、近似的に焦点合わせされた検査画像を提供するために、検査される現在の特徴における第1の画像取得に続いて、上記で概説した高速近似自動焦点動作が、Z方向に沿って多くても2つの移動しか必要としないことが理解されよう。これによって、従来の自動焦点方法およびツール(例えば、実行モード焦点曲線およびそのピーク焦点Z高さを実際に決定することに基づいた)と比較して、概説した高速近似焦点動作は、一連の特徴に対してコンパチブルな検査動作を反復して実行する場合には(例えば、ホール、フィードスルー、接続トレースなど、プリント回路基板またはIC素子のX−Y寸法および位置を測定する場合には)、検査スループットを著しく増加させる(例えば、スループットを2倍にする)ことが可能になる。
次の説明は、一般に、上記で概説した動作の初期シーケンスに従って理解してもよい。しかしながら、次の説明は、実行モードワークピースが、図3に示す構成を有しない仮定的な場合に対応する。より正確に言えば、それは、現在のワークピース特徴が、(例えば、図3に示すイメージのミラーイメージであるワーピングゆえに)その推定Z高さより著しく上に配置される構成を有する。図4に示すように、推定Z高さ322A−2は、第1の画像取得用に用いられる(すなわち、学習モード中の代表特徴高さ)。これは、初期Z高さ322A−2が、候補ポイント423Dに実際に対応する場合に相当する。図4に示すように、第1のZ高さ322A−2における画像は、比較的低い焦点値424に帰着する。焦点値424が、代表焦点閾値415より下にあるので、焦点値424は許容できず、第1の画像は、許容できない検査画像であると判定される。したがって、高速近似焦点動作は、推定一次調整距離にわたり、最初にプログラムまたは確立された初期または一次調整方向に沿って移動することによってZ高さを調整するが、これによって、この場合に再びカメラは、カメラは、Z高さ322A−2からZ高さ322A’’−2へ、図4に示す初期調整距離417だけ上方に移動される。推定一次調整距離は、再び、代表焦点曲線410(学習モード中に決定された)および現在の焦点値424に基づいた、Z高さ322A−2からピーク焦点Z高さ411への推定距離である。Z高さ322A’’−2において、第2の画像が取得され、第2の焦点値424D’が、ROI用に決定される。この場合に、相違する焦点曲線420の影響にもかかわらず、一次調整方向が正確な方向だったので、第2の画像焦点値424D’は、代表焦点閾値415の上にあり、第2の画像は、それが許容可能な検査画像であるように近似的に焦点合わせされていると判定される。
図5は、学習モード中に高速近似焦点動作を実行するための例示的な汎用ルーチン500を示す流れ図である。一般に、図5は、検査される代表特徴を含む代表関心領域(ROI)の画像が与えられたとすると、代表焦点曲線および焦点閾値を決定するための動作セットを説明する。図5に示すように、ブロック510において、検査される代表特徴を含む関心領域の代表画像が取得されるが、代表特徴は、他のワークピースにおける対応する特徴(例えば、図3の特徴312A〜312Dの1つ)を表わす。ブロック540において、関心領域(ROI)用の特徴固有の代表焦点曲線(例えば、図4の曲線410を参照されたい)が、決定および/または学習される。特徴固有の代表焦点曲線は、カメラと代表特徴との間のそれぞれのZ高さ段階における複数の画像に対応する。検査動作用の十分な焦点レベルを定義する焦点閾値(例えば、図4の閾値415を参照されたい)もまた、決定および/または学習される。画像が焦点閾値より上にある焦点値を提供する場合には、それは、たとえ焦点レベルが最良の焦点でなく、単に近似焦点である可能性があっても、実行されることになる検査動作の目的のために十分に「焦点があっている」と考えてもよいことが理解されよう。
ブロック550において、決定および/または得られた特徴固有の代表焦点曲線データおよび焦点閾値データが、他のワークピースにおける対応する特徴を検査する場合に後で用いるために記憶される。一実施形態において、以下でより詳細に説明するように、「曲線データ」は、焦点曲線の従来の形態に対応してもよく、「値データ」は、標準閾値に対応してもよい。他の実施形態において、曲線データは、高密度焦点曲線「焦点値対Z」ルックアップテーブル、名目解析曲線形状をカスタマイズする係数、枝刈りされたルックアップテーブルなどの他のタイプのデータに対応してもよい。同様に、他の実施形態において、焦点閾値データは、実行モードにおける数字による焦点値、学習時に計算および記憶された数値、焦点曲線ピーク高さ用の増倍率(例えば分数)等を計算するための、曲線データと共に協同して用いられる「被写界深度(DOF)単位」などの他のタイプのデータに対応してもよい。
図6は、実行モード中の高速近似焦点動作の実施形態用の例示的な汎用ルーチン600を示す流れ図である。一般に、図6は、代表焦点曲線データおよび焦点閾値データのセットを用いて、ワークピース特徴を検査するために用いられる画像用の高速近似焦点を提供するための、本発明による動作セットを説明する。一般に、代表焦点曲線データおよび焦点閾値データは、(例えば学習モードにおいて)、対応するワークピースにおける対応する特徴用に前もって確立されていることになろう。高速近似焦点動作のかかる利用によって、検査がX−Y測定に主として基づく多くの用途において許容可能な精度レベルが提供されるが、このX−Y測定は、それらが、ある量の画像ボケを含む検査画像(例えば、単に、近似的に焦点が合っているとみなしてもよい画像)から決定される場合であっても、様々な用途において依然として信頼できる可能性がある。
図6に示すように、ブロック615において、検査される特徴を含む、関心領域の第1の画像が取得される。ブロック622において、現在の関心電流領域に対応する、前に得られた特徴固有の代表焦点曲線データおよび焦点閾値データが、アクセスされる。ブロック632において、現在の関心領域における第1の画像焦点値が決定される。決定ブロック634において、第1の画像焦点値が焦点閾値より大きいかどうかに関して、決定がなされる。以下でより詳細に説明するように、第1の画像焦点値が、焦点閾値より大きくはない場合には、ルーチンは、ブロック640に進む。決定ブロック634において、第1の画像焦点値が、焦点閾値より大きいと判定された場合には、ルーチンはブロック680に進み、ブロック680において、特徴検査動作が、現在の画像において実行される。
ブロック640において、ピーク焦点Z高さへの推定一次調整距離にわたって一次調整方向に移動がなされるが、一次調整距離は、特徴固有の代表焦点曲線データおよび第1の画像焦点値に基づいて推定される。ブロック652において、第2の画像が取得され、第2の画像焦点値が、関心領域において決定される。決定ブロック656において、第2の画像焦点値が第1の画像焦点値より悪いかどうかに関して、決定がなされる。以下でより詳細に説明するように、第2の画像焦点値が第1の画像焦点値より悪い場合には、ルーチンは、ブロック660に進む。決定ブロック656において、第2の画像焦点値が、第1の画像焦点値より悪くないと判定された場合には、ルーチンはブロック680に進み、ブロック680において、特徴検査動作が、現在の画像において実行される。図8Aおよび8Bに関連して以下でより詳細に説明するように、他の実施形態において、高速近似焦点実行モードルーチンは、現在の画像において特徴検査を実行する前に、第2の画像焦点値が焦点閾値より大きいことをさらに検証してもよい。換言すれば、焦点値の改善が、決定ブロック656において認識される場合には、推定一次調整距離が、実行モード焦点曲線に似ていると仮定される、得られた代表焦点曲線に基づいたので、結果としてのZ高さが、焦点閾値の上にある焦点曲線ピークの十分近くにあるとさらに仮定されるように、ルーチン600は、よく管理されたワークピースが、得られた代表焦点曲線(例えば、図4の例を参照されたい)に予想どおりに類似した実行モード焦点曲線を提供する望ましい場合には有利になる可能性がある。
第2の画像焦点値が、第1の画像焦点値より悪いと前に判定されたので、ブロック660において、ピーク焦点Z高さへの推定二次調整距離にわたって、初期または一次調整方向と反対の方向に移動がなされるが、二次調整距離は、第2の画像焦点値と共に、一次調整距離および特徴固有の代表焦点曲線データの少なくとも1つに基づいて推定される。一実施形態において、推定二次調整距離は、反対方向にではあるが、一次調整距離のほぼ2倍であってもよい。ブロック662において、第3の画像が取得される。ブロック680において、特徴検査動作が、現在の画像において実行される。図8Aおよび8Bに関連して以下でより詳細に説明するように、他の実施形態において、高速近似焦点実行モードルーチンは、第3の画像において特徴検査動作を実行する前に、第3の画像焦点値が焦点閾値より大きいことをさらに検証してもよい。
図7は、学習モード中の高速近似焦点動作の拡張インプリメンテーション用のルーチン700を示す流れ図である。高速近似焦点学習モードルーチン700は、いくつかの実施形態において、図5の汎用高速近似焦点学習モードルーチン500の様々な実施形態の範囲内に入るか、またはその範囲と重なり合う拡張インプリメンテーションと考えてもよいことが理解されよう。図7に示すように、ブロック710において、代表ワークピースが、検査用に動作可能位置において提供される。ブロック712において、学習モードが開始される。ブロック714において、検査される第1の/次の代表特徴が、視野に配置されるが、代表特徴は、他のワークピースにおける対応する特徴を表わす。ブロック716において、画像が取得される。決定ブロック720において、高速近似焦点動作が用いられるかどうかに関して、決定がなされる。高速近似焦点動作が用いられる場合には、以下でより詳細に説明するように、ルーチンは、ブロック722に進む。決定ブロック720において、高速近似焦点動作が用いられないと決定された場合には、ルーチンはブロック780に進み、ブロック780において、他の特徴検査動作が定義される。ルーチンが、決定ブロック720からブロック780へ進む場合には、これは、いくつかのインプリメンテーションにおいて、現在の特徴において実行される検査動作にとって、高速近似焦点が適切ではないと示すことが理解されよう。したがって、ブロック720から進んだ場合には、ブロック780は、より従来的な自動焦点ツール(例えば、図2の高精度自動焦点ツール143fb、およびマシンビジョンシステム100の動作の完全なセット)用の機能を含んでもよい。
ブロック722において、高速近似自動焦点ツール(またはモード)が選択される。ブロック730において、(例えば、GUIにおいて高速近似自動焦点ツールウィジェットを構成することによって)代表特徴用の関心領域(ROI)が定義される。ブロック740において、関心領域(ROI)用の特徴固有の代表焦点曲線が、決定および/または学習される。特徴固有の代表焦点曲線は、カメラと代表特徴との間のそれぞれのZ高さ段階における複数の画像に対応する。検査動作用の十分な焦点レベルを定義する焦点閾値がまた、決定および/または学習される。ブロック750において、高速近似自動焦点ツールデータが、パートプログラム、特徴固有の代表焦点曲線データを含むツールデータ、および焦点閾値データと関連して記憶される。ブロック780において、特徴検査動作が定義される。ルーチンが、ブロック750からブロック780へ進む場合には、いくつかのインプリメンテーションにおいて、ブロック780の動作を用いて、実行モード中に高速近似自動焦点ツールによって提供される近似的に焦点合わせされた画像において実行される検査動作を教示/学習してもよいことが理解されよう。対照的に、学習モード中に、高速近似自動焦点ツールは、次の点において、ユーザがブロック780動作用に用いるための焦点合わせされた画像を自動で提供してもよい。すなわち、高速近似自動焦点ツールが終了したときに最良の焦点合わせされた画像を提供するための移動ができるように、完全な焦点曲線を特徴づける動作をちょうど最近実行したことになるという点である。追加的で潜在的な学習モード動作を備えた高速近似自動焦点ツールのより複雑なバージョンもまた、提供してもよいことが理解されよう。
図7に戻ると、決定ブロック790において、より多くの検査すべき特徴があるかどうかに関して、決定がなされる。より多くの検査すべき特徴がある場合には、ルーチンは、ブロック714に戻る。決定ブロック790において、さらに検査すべき特徴がないと判定された場合には、ルーチンはブロック795に進み、ブロック795においてパートプログラムが記憶されるが、これによって、自由に学習モードを終了してもよい。ルーチン700のいくつかのステップは、図5のより汎用的なルーチン500の一般動作を拡張すると考えてもよいことが理解されよう。より具体的には、いくつかの実施形態において、ルーチン700は、学習モードで高速近似焦点ビデオツールを訓練するという文脈においてルーチン500の一般動作を実行および/または拡張すると考えてもよく、かつツールの反復インスタンスを訓練する文脈にルーチン500を載置するが、これは、いくつかのインスタンスにおいて、(例えば、決定ブロック720で要求されるユーザ決定、ブロック722における高速近似焦点ツールのユーザ選択、およびブロック730における潜在的なユーザ動作によって示すように)他のタイプのツールの訓練に関連して学習モードに挿入してもよい。
図8Aおよび8Bは、実行モード中の高速近似焦点動作における拡張インプリメンテーション用のルーチン800の部分800Aおよびの800Bを示す流れ図である。高速近似焦点実行モードルーチン800は、いくつかの実施形態において、図6のより汎用的な高速近似焦点実行モードルーチン600の拡張インプリメンテーションであると考えてもよいことが理解されよう。図8Aに示すように、ブロック810において、パートプログラムおよび検査用の位置にあるワークピースが、提供される。ブロック812において、パートプログラムが、(例えば実行モードで)開始される。ブロック814において、第1の/次のツールが、決定(および/または構成、および/または定義)され、(検査される)第1の/次の特徴が、視野に配置される。
決定ブロック820において、高速近似自動焦点ツールが用いられているかどうかに関して判定がなされる。高速近似自動焦点ツールが用いられている場合には、以下でより詳細に説明するように、ルーチンは、ブロック822に進む。決定ブロック820において、高速近似自動焦点ツールが用いられていないと判定された場合には、ルーチンは、ポイントAに進むが、ポイントAは、以下でより詳細に説明するように、図8Bにおけるブロック870において継続する。
ブロック822において、現在の特徴に対応して、特徴固有の代表焦点曲線データおよび焦点閾値データがアクセスされる。ブロック832において、第1の画像が取得され、第1の画像焦点値が、関心領域で決定される。決定ブロック834において、第1の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第1の画像焦点値が焦点閾値より大きくない場合には、以下でより詳細に説明するように、ルーチンは、ブロック840に進む。決定ブロック834において、第1の画像焦点値が焦点閾値より大きいと判定された場合には、ルーチンは、ポイントBに進むが、ポイントBは、以下でより詳細に説明するように、図8Bのブロック880において継続する。
ブロック840において、一次調整距離が、特徴固有の代表焦点曲線データおよび第1の画像焦点値に基づいて、ピーク焦点Z高さに対して推定される。ブロック850において、Z高さは、推定一次調整距離を一次調整方向に移動することによって調整される。ブロック852において、第2の画像が取得され、第2の画像焦点値が、関心領域において決定される。
決定ブロック854において、第2の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第2の画像焦点値が焦点閾値より大きくない場合には、以下でより詳細に説明するように、ルーチンは、決定ブロック856に進む。決定ブロック854において、第2の画像焦点値が焦点閾値より大きいと判定された場合には、ルーチンは、ポイントBに進むが、ポイントBは、以下でより詳細に説明するように、図8Bのブロック880において継続する。
決定ブロック856において、第2の画像焦点値が第1の画像焦点値より大きいかどうかに関して決定がなされる。第2の画像焦点値が第1の画像焦点値より大きくない場合には、ルーチンは、ポイントCに進むが、ポイントCは、以下でより詳細に説明するように、図8Bのブロック860において継続する。決定ブロック856において、第2の画像焦点値が第1の画像焦点値より大きいと判定された場合には、ルーチンは、ポイントAに進むが、ポイントAは、以下でより詳細に説明するように、図8Bのブロック870において継続する。
図8Bに示すように、ブロック860(図8AのポイントCから継続する)において、Z高さは、一次調整方向と反対の方向に、推定二次調整距離を移動することによって調整されるが、推定二次調整距離は、第2の画像焦点値と共に、一次調整距離および特徴固有の代表焦点曲線データの少なくとも1つに基づいて決定される。ブロック862において、第3の画像が取得され、第3の画像焦点値が、関心領域において決定される。
決定ブロック866において、第3の画像焦点値が焦点閾値より大きいかどうかに関して決定がなされる。第3の画像焦点値が焦点閾値より大きくない場合には、以下でより詳細に説明するように、ルーチンは、ブロック870に進む。決定ブロック866において、第3の画像焦点値が焦点閾値より大きいと判定された場合には、以下でより詳細に説明するように、ルーチンは、ブロック880に進む。ブロック870において、デフォルト焦点動作(例えば実行モード中に新しい焦点曲線を決定する自動焦点動作)が実行される。ブロック870への到達は、先行する高速近似焦点動作が、十分に焦点合わせされた画像を提供できなかったことを示すことが理解されよう。学習モードにおいてワークピースパートプログラムを決定する場合に、ブロック870に繰り返し到達する場合には、それは、ワークピース表面または特徴が、一般に、「振る舞いの悪い」焦点曲線(例えば、著しく非対称の焦点曲線、または自身のZ範囲全体にわたって複数の有意の焦点ピークを備えた焦点曲線)を生成することを示している可能性がある。かかる場合には、高速近似焦点動作の利用は、適切ではない可能性がある。ブロック880において、特徴検査動作が、現在の画像において実行される。オプションのブロック885において、最も最近の成功した高速近似焦点ビデオツールからの最も最近の成功した調整方向が、(例えば、高速近似自動焦点ツールの次のインスタンス用の)一次調整方向として使用/記憶される。
決定ブロック890において、より多くの検査すべき特徴があるかどうかに関して決定がなされる。さらに検査すべき特徴がない場合には、ルーチンは、以下でより詳細に説明するように、ブロック895に進む。決定ブロック890において、より多くの検査すべき特徴があると判定された場合には、ルーチンは、ポイントDに進むが、ポイントDは、上記のように、図8Aのブロック814において継続する。ブロック895において、検査結果が、記憶/出力され、かつ/またはパートプログラムが終了される。
一実施形態において、図8Aおよび8Bのルーチン800は、図6におけるルーチン600の拡張インプリメンテーションと見なしてもよいことが理解されよう。例えば、図6のブロック656を、図8Aおよび8Bのブロック854および856ならびに後の動作と比較すると、ブロック656は、ランタイム焦点曲線および代表焦点曲線が、実質的に類似している(例えば、図4を参照されたい)理想的条件を仮定していることが理解されよう。ランタイム焦点曲線および代表焦点曲線が実質的に類似していると推定される理想的状況では、図6の決定ブロック656は、(例えば、図2の高精度自動焦点ツール143fbによって利用される動作など)デフォルト自動焦点動作に切り替わる必要が典型的にはないように2つの間の相違がほとんどないという点において、十分である。かかる理想的状況は、例えば、高度に再現可能な部分、一貫した照明等を利用する条件下で生じる可能性がある。対照的に、図8Aおよび8Bの決定ブロック854および856ならびに後の動作は、焦点曲線および代表焦点曲線が相違する可能性がある、潜在的に非理想的な状態に適した、より強固な拡張インプリメンテーションを示す。したがって、上記のように、決定ブロック854において、第2の画像焦点値が閾焦点値より大きいかどうかに関して決定がなされ、そうでない場合には、ブロック856において、第2の画像焦点値が第1の画像焦点値より大きいかどうかに関して決定がなされる。これは、次の点において、最良の全体的スループットを提供可能なステップの組み合わせである。すなわち、第2の画像焦点値が第1の画像焦点値より大きい場合には、Z高さ調整が正確な方向に行われたが、しかし結果としての画像焦点における予想された改善量を提供できなかったと推定可能だという点においてである。これから、次のこと、すなわち、学習モードおよび実行モード焦点曲線が著しく異なり、かつ高速近似焦点動作が、十分に焦点合わせされた画像を提供しそうにないように、実行モード条件が学習モード条件に十分に一致しないことが推測可能であり、この場合に、ルーチンは、ブロック870に進み、ブロック870において、デフォルト焦点動作(例えば、図2の高精度自動焦点ツール143fbの動作など)が実行される。反対に、決定ブロック856において、第2の画像焦点値が第1の画像焦点値より大きくないと判定された場合には、Z高さ調整が方向に行われたと推測してもよい。これは、高速近似焦点動作において予想される可能な中間結果の1つであり、したがって、動作は、ブロック860において実行される通常の高速近似焦点調整を継続する。
図9A〜9Cは、高速近似自動焦点ツールパラメータダイアログボックス900を含む高速近似自動焦点ツールユーザインタフェースの一実施形態における様々な機能を示す図である。一実施形態において、自動焦点パラメータダイアログボックス900など、ユーザ選択可能なタブ部910a、910bおよび910cを含むタブダイアログボックス構成を用いてもよい。図9Aは、タブ部910aを示すが、これは、「位置」選択用であり、高速近似自動焦点ツールROIの幅(W)および高さ(H)と同様に、XおよびYの中心座標を表す。これらの値は、ワークピース特徴が検査される関心領域のグラフィカルな定義によって決定してもよく、かつ/または、これらの値は、ダイアログボックスに直接入力してもよい。
図9Bは、タブ部910bを示すが、このタブ部910bは、「基本」選択用であり、高速近似焦点ツール動作中に第1の画像を取得するために用いられることになる初期Z高さ(「Z初期」)を決定する望ましい方法を表し、かつまた、実行モード高速近似焦点ツール動作中に一次調整方向を決定する望ましい方法を表す。Z初期用に、ユーザは、「手動」または「自動(水平シーケンス)」を選択するオプションを提供される。図3および4に関連して上記したように、「自動」選択に関し、ほぼ平坦な表面に沿って、ワークピース特徴シーケンス用に高速近似焦点動作を実行する場合には、高速近似焦点ツール動作は、Z初期を決定するための自動適応手順を実行してもよい。一実施形態において、実行モード中に、高速近似焦点ツールの現在のインスタンスが、先行する高速近似焦点ツールに続く場合には、かかるツールの第1の画像用に用いられる初期Z高さは、十分に焦点合わせされた画像を提供した、以前における最後の「成功した」Z高さに基づいて、適応的に設定してもよい。「自動(水平シーケンス)」設定を選択することによって、関連する高速近似焦点ツール(単複)用のかかる手順を作動してもよい。一実施形態において、初期Z高さは、最後の成功したZ高さに等しく設定してもよい。別の実施形態において、初期Z高さは、最後の成功したZ高さ、プラス(例えば、前に成功した複数のZ高さによって示される勾配に基づいて)最後の成功した調整方向における距離の、適応的に決定された追加増分と等しく適応的に設定してもよい。自動(水平シーケンス)選択は、いくつかの実施形態において、一般に、検査される一連の特徴が、ワークピース表面においてほぼ共面である場合には、最も効果的であると考えられる。
Z初期用に「手動」選択がなされた場合には、これは、実行モード中に高速近似焦点ツールの現在のインスタンスにおける第1の画像用に用いられる初期Z高さが、学習モード中にそのツールを訓練するときに用いられたZ高さである手順を実行してもよい。いくつかの実施形態において、この種の手動動作は、検査すべき比較的わずかな切り離された特徴しかない状況、または検査されているワークピースのタイプが、異なる高さの複数の表面に分配された特徴を有する傾向がある状況では、最も効果的であると考えてもよく、学習モード中に確立されたZ高さに初期Z高さが従うのが最良であるようにしてもよい。典型的には、かかるインスタンスにおけるZ高さは、ユーザがZ高さを設定することによってか、またはCADデータに基づいてZ高さを設定することによってなどで、学習モード中に確立してもよい。
また、タブ部910bによって、ユーザは、「手動」または「自動」で、実行モード高速近似焦点ツール動作中に用いられる一次調整方向を決定するための所望の方法を選択することが可能になる。一実施形態において、図3および4に関連して上記したように、「自動」選択に対して、前の高速近似焦点ツールのインスタンスからの、以前における最後の成功した移動方向は、高速近似焦点ツールの後続のインスタンス用の一次調整方向として利用してもよい。対照的に、「手動」選択に対して、一次調整方向は、学習モード中に一次調整方向としてユーザが入力するどんなものでもよい。例えば、一実施形態において、ユーザが「手動」を選択した場合には、ユーザが、「サーチアップ」または「サーチダウン」などの方向を選択できるようにする別のポップアップボックスを設けてもよい。これらのタイプのオプションは、カメラがワークピースに衝突しないために最初に表面に向かってサーチするのを避けることが望ましくなり得るように、マシンビジョンシステムが、でこぼこした表面に非常に接近して動作している状況では役立つ可能性がある。
図9Cは、タブ部910cを示すが、このタブ部910cは、「代表データ」選択用であり、かつ実行モード中に高速近似焦点ツールの対応するインスタンスと共に用いられることになる代表焦点曲線および代表焦点閾値を表示または識別する。前に開示したように、高速近似自動焦点ツールは、リアルタイム焦点曲線データとは対立する既存のデータまたは実行モード中に得られたデータを利用する。「代表焦点曲線データ、名前または位置」用に、実行モード中に用いられる代表焦点曲線データを定義する入力ができるボックスが設けられる。様々な実施形態において、(例えば、生の焦点曲線データポイント、または生の焦点曲線データポイントに合致する曲線を定義するための係数セットの形態で)データそれ自体を入力してもよい。または入力は、可変文字列名、もしくはファイル名、もしくはメモリアドレス位置、もしくは外部サブルーチン識別子等であってもよく、データは、それが、実行モード中に高速近似焦点ツールの対応するインスタンスによって呼び出し可能なように、記憶されるかもしくは特徴づけられる。一実施形態において、データは、学習モード中にボックスに自動で入力してもよく、ユーザは、(例えば、既存データを用いるべきかどうか、それに対して一般値を優先させるべきかどうか、またはデータ記憶位置の名前を変更すべきかどうか等に関して決定するために)ボックスにおけるデータを検討してもよい。
上記で概説した様々なユーザインタフェース機能および選択可能な動作機能が、単に例示的であり、限定的ではないことを理解されたい。例えば、様々な実施形態において、代表焦点曲線データおよび代表焦点閾値データは、パートプログラムに直接記憶してもよく、タブ部910cは、省略されることになろう。より一般的には、様々なオプションの機能は、ビデオツールから省略してもよく、したがって、それらの対応するユーザインタフェース機能もまた、省略してもよい。さらに、高速近似自動焦点ツールのユーザインタフェースに関連するするグラフィカルな形態およびメニュー階層が、他の実施形態では異なる形態を取ってもよいことが明白である。
また、タブ部901cによって、ユーザは、高速近似焦点ツールの同じタブおよび同じ対応するインスタンスにおいて識別された代表焦点曲線データに対応する「代表焦点閾値データ、名前または位置」用のデータを検討または入力することが可能になる。図3および4ならびに他のところに関連して上記したように、焦点閾値(または焦点閾値を定義するデータ)は、典型的には、学習モード中に確立され、実行モード中に用いられて、対応する画像が、ワークピース特徴検査動作をサポートする十分な焦点を提供することを、画像焦点値が示すかどうかを判定する。「代表焦点曲線データまたは名前または位置」と同様に、様々な実施形態において、「代表焦点閾値データ、名前または位置」は、いくつかのフォーマットのいずれかにおいて代表焦点閾値データを定義してもよい(例えば、数値、ファイル名、焦点グループデータ基づいて所望の値を計算するサブルーチン用のファイル名等)。一実施形態において、データは、学習モード中にボックスに自動で入力してもよく、ユーザは、(例えば、既存データを用いるべきか、別の値でそれを上書きすべきか、またはデータ記憶位置の名前を変更すべきかどうか等に関して決定するために)ボックスにおけるデータを検討してもよい。
タブ部910a〜910cの全てに対して、底部の「デフォルト」ボタンは、エントリ(例えば、タブ部910bにおける手動または自動選択)をそれらのデフォルト値へ回復し、「OK」ボタンは、現在のパラメータを受け入れて自動焦点パラメータダイアログボックス900を閉じ、「キャンセル」ボタンは、全てのパラメータを、現在の編集シーケンスが始まる前の状態に戻して、ダイアログボックス900を閉じる。
学習モード高速近似焦点動作に含まれるかまたはこれらの動作に関連する別のタイプのモードまたはルーチンは、未経験のユーザに有用な「使いやすい」機能を提供してもよく、かつタブ部(図示せず)パラメータを表示することが可能である。モードまたはサブルーチンは、学習モード中に高速近似焦点ツールを用いた検査動作におけるいくつかのシーケンスのいくらかの自動評価を伴う。一実施形態において、ツールモードまたはサブルーチンは、前に訓練された複数の高速近似焦点ツールを評価して、特徴検査動作が現在定義されつつあるワークピース表面が、名目的に平面でありそうかどうかを判定する(例えば、前に訓練された複数の高速近似焦点ツールが全て、比較的狭い範囲内に入る初期Z高さ、またはある他の適切な方法を含むかどうかを評価することによって)。もしそうならば、ツールモードまたはサブルーチンは、ユーザに、次のことを通知してもよい。すなわち、実際には、設定が既に不適切でない場合には、「基本」タブ910bに関連して前に説明した「自動」設定の1つまたは両方を実行することが適切であり得るということである。反対に、前に訓練されたZ初期高さの評価が、著しい高さ変動を示す場合には、ツールモードまたはサブルーチンは、ユーザに、次のことを通知してもよい。すなわち、実際には、設定が既に適切でない場合には、「基本」タブ910bに関連して前に説明した「手動」設定の1つまたは両方を実行することが適切であり得るということである。学習モード高速近似焦点動作に含まれるかかるモードまたはルーチンは、単に従来の自動焦点動作に精通しているだけのユーザが、高速近似焦点ツールを適切に用いることによって、より強固および/またはより高速なパートプログラムを生成するのを支援可能である。
図10は、高速近似自動焦点ツールに関連する様々な特徴の配置を含むマシンビジョン検査システムユーザインタフェースディスプレイ1000の一実施形態を示す図である。図10に示す例示的な状態において、ユーザインタフェースディスプレイ1000には、ワークピース画像1010を表示するビューウィンドウフィールド1003が含まれる。ユーザインタフェース1000にはまた、選択バー1020および1040などの様々な測定および/または動作選択バー、リアルタイムX−Y−Z(位置)座標ウィンドウ1030、ならびに照明制御ウィンドウ1050が含まれる。
ビューウィンドウフィールド1003には、検査される現在のワークピース特徴1012上に重ねられた例示的な高速近似自動焦点ウィジェット1014および関心領域1014’が含まれる。様々な実施形態において、ユーザが、(例えば、様々な代替ツールおよび/またはモード選択ボタンを表示する選択バーから)高速近似自動焦点ツールまたはモードを選択した場合に、ユーザインタフェースは、図9に示すような前述のパラメータダイアログボックス900などの自動焦点パラメータダイアログボックスを自動で表示してもよい。一実施形態において、ユーザインタフェースにウィジェット1014を自動で表示して、ユーザが、(例えば、コンピュータマウスおよびスクリーンカーソルを用いて、ウィジェット1014の境界に位置する正方形のハンドルをドラッグすることによって)高速近似焦点ツールのそのインスタンス用に関心領域1014’をグラフィカルに定義できるようにしてもよい。いくつかの実施形態において、ワークピース特徴1012ならびに高速近似自動焦点関心領域ウィジェット1014および関心領域1014’が現れ、図3の高速近似自動焦点関心領域314A〜314Dと同様に動作することが理解されよう。
本発明の方法を利用することによって、自動焦点合わせ動作の著しいスループットの改善が達成可能であることが理解されよう。いくつかの実施形態および応用例において、本発明の高速近似焦点合わせ動作は、実行モードにおいて焦点曲線を決定する、より従来的な自動焦点合わせ手順と比較して、約2.5〜15倍、スループットを向上させる。一般に、スループットにおける改善は、どの従来的な自動焦点合わせ動作モードが比較のために用いられているか(例えば、従来の実行モード焦点曲線を決定するために、低、中間または高密度の焦点曲線が用いられるかどうか)、およびパートプログラムにおいて用いられ、かつ高速近似自動焦点動作を適切に用いることができる連続焦点動作のシーケンスが、長いシーケンスかまたは短いシーケンスかどうかに依存する。スループット増加は、より長いシーケンスにはより大きく、これは、種々様々な比較的平面のまたは平坦な部分に生じる。
本発明の好ましい実施形態を図示および説明したが、図示および説明した特徴構成および動作シーケンスにおける多数の変形が、本開示に基づいて、当業者には明らかになろう。したがって、その点で、本発明の趣旨および範囲から逸脱せずに、様々な変更をなしえることが理解されよう。
独占的な権利または特権が請求される本発明の実施形態は、以下のように定義される。
10・・・マシンビジョン検査システム、12・・・ビジョン測定機、14・・・制御コンピュータシステム、16・・・ディスプレイ、18・・・プリンタ、20・・・ワークピース、22・・・ジョイスティック、24・・・キーボード、25・・・月、26・・・マウス、32・・・可動ワークピースステージ、34・・・光学撮像システム、100・・・マシンビジョン検査システム、120・・・制御システム部、125・・・コントローラ、130・・・出力インタフェース、131・・・撮像制御インタフェース、132・・・運動制御インタフェース、132a・・・位置制御要素、132b・・・加速制御要素、133・・・照明制御インタフェース、134・・・レンズ制御インタフェース、136・・・ディスプレイ装置、138・・・入力装置、140・・・メモリ、141・・・画像ファイルメモリ部、142・・・ワークピースプログラムメモリ部、143・・・ビデオツール部、170・・・実行器、190・・・電源部、200・・・ビジョンコンポーネント部、205・・・光学アセンブリ部、210・・・ワークピースステージ、212・・・中央透明部、220・・・光源、221・・・バス、222・・・光源光、230・・・同軸光源、240・・・表面光源、250・・・対物レンズ、255・・・ワークピース光、260・・・カメラシステム、262・・・信号線、280・・・タレットレンズアセンブリ、281・・・バス、284・・・軸、286・・・レンズ、294・・・制御可能モータ、296・・・信号線、310・・・上面図、311・・・ワークピース

Claims (18)

  1. マシンビジョン検査システムにおいて、検査画像を提供するために焦点合わせをするための方法であって、
    検査される特徴を含む現在の関心領域の第1の画像を取得し、前記現在の関心領域における第1の画像焦点値を決定することと、
    前記現在の関心領域に対応する、前に得られた、特徴固有の代表焦点曲線データおよび焦点閾値データにアクセスすることと、
    前記第1の画像焦点値を評価して、それが前記焦点閾値より悪いかどうかを判定することであって、前記第1の画像焦点値が前記焦点閾値より悪い場合には、
    (a)前記検査される特徴および(b)焦点決定光学素子のうちの1つである焦点合わせ要素を、推定一次調整距離にわたり一次調整方向に沿って移動させることであって、前記一次調整距離が、前記特徴固有の代表焦点曲線データおよび前記第1の画像焦点値に基づいて推定されることと、
    前記推定一次調整距離を移動した後で、前記現在の関心領域の第2の画像を取得し、前記第2の画像における前記関心領域において第2の画像焦点値を決定することと、
    前記第2の画像焦点値を評価して、それが、前記第1の画像焦点値および前記焦点閾値のいずれかである、前に決定された焦点値パラメータより悪いかどうかを判定し、前記第2の画像焦点値が、前記前に決定された焦点値パラメータより悪い場合には、(c)前記一次調整距離および(d)前記特徴固有の代表焦点曲線データの1つに少なくとも部分的に基づいて、最良の焦点位置への推定距離である推定二次調整距離にわたり、前記一次調整方向と反対の二次調整方向に沿って、前記焦点合わせ要素を移動させることと、
    を含む動作サブセットを実行する、判定することと、
    を含む一連の動作によって、前記マシンビジョン検査システムの実行モード中に、検査画像を自動で近似的に焦点合わせすることを含む、方法。
  2. 前記第1の画像焦点値が、前記焦点閾値より悪くない場合には、前記第1の画像が近似的に焦点合わせされていると判定され、前記第1の画像が検査画像として用いられ、追加的な移動、取得および評価ステップが必要とされない、請求項1に記載の方法。
  3. 前記第2の画像焦点値が、前記前に決定された焦点値パラメータより悪い場合には、前記動作サブセットが、前記二次調整距離を移動した後で、前記現在の関心領域の第3の画像を取得することと、前記第3の画像における前記関心領域において第3の画像焦点値を決定することと、をさらに含む、請求項1に記載の方法。
  4. 前記動作サブセットが、前記第3の画像焦点値を評価して、それが、前に決定された焦点値パラメータより悪いかどうかを判定し、前記第3の画像焦点値が前記前に決定された焦点値パラメータより悪い場合には、前記現在の関心領域用の実行モード焦点曲線を決定することを含む自動焦点合わせ動作の実行を履行しないことをさらに含む、請求項3に記載の方法。
  5. 前記前に決定された焦点値パラメータが、前記焦点閾値であり、前記第3の画像焦点値が前記焦点閾値より悪くない場合には、前記第3の画像焦点値が近似的に焦点合わせされていると判定され、前記第3の画像が検査画像として用いられる、請求項4に記載の方法。
  6. 前記第2の画像焦点値が、前記前に決定された焦点値パラメータより悪くない場合には、前記第2の画像が近似的に焦点合わせされていると判定され、前記第2の画像が検査として用いられ、第3の画像を取得しかつ第3の画像焦点値を決定する動作が必要ではない、請求項3に記載の方法。
  7. 前記一次調整方向に沿って、および前記一次調整方向と反対の前記二次調整方向に沿って、前記焦点合わせ要素を移動させた後で、前記現在の関心領域の画像を自動で近似的に焦点合わせする目的で前記焦点合わせ要素を追加的に移動させることがない、請求項1に記載の方法。
  8. 検査画像を自動で近似的に焦点合わせするために、一連の動作の、前に実行されたインスタンス中に検査画像として用いられた近似的に焦点合わせされた画像を提供した最後の成功した調整方向と同じ方向になるように前記一次調整方向が選択される、請求項1に記載の方法。
  9. 前記推定二次調整距離が、名目上、前記推定一次調整距離の2倍である、請求項1に記載の方法。
  10. 前記マシンビジョン検査システムに含まれるビデオツールを動作させることによって確立された動作に少なくとも部分的に基づいて実行される、請求項1に記載の方法。
  11. 前記現在の関心領域に対応する、前記得られた、特徴固有の代表焦点曲線データおよび焦点閾値データを決定および記憶するために、前記マシンビジョンシステムのユーザが、学習モードにおいて前記ビデオツールを選択および訓練することをさらに含む、請求項10に記載の方法。
  12. 前記前に得られた、特徴固有の代表焦点曲線データに含まれる焦点値、前記焦点閾値データ、前記第1の画像焦点値および前記第2の画像焦点値が、正規化された焦点値である、請求項1に記載の方法。
  13. 前記前に決定された焦点閾値が、前記特徴固有の代表焦点曲線データの焦点曲線におけるポイントに対応し、そのポイントは、それが、前記焦点曲線の前記ピーク焦点位置から、少なくとも2および多くて7被写界深度離れるように決定され、前記被写界深度が、前記方法の前記一連の動作内で画像を取得するために用いられる前記マシンビジョンにおける光学系の被写界深度である、請求項1に記載の方法。
  14. 前記推定二次調整距離が、前記特徴固有の代表焦点曲線データおよび前記第2の画像焦点値に基づいて推定される、請求項1に記載の方法。
  15. マシンビジョンシステムにおいて実行された場合に、検査画像を提供するために焦点合わせをする方法を実施するコンピュータ実行可能命令を含むコンピュータ可読媒体であって、前記方法が、
    検査される特徴を含む現在の関心領域の第1の画像を取得し、かつ前記現在の関心領域における第1の画像焦点を決定することと、
    前記現在の関心領域に対応する、前に得られた、特徴固有の代表焦点曲線データおよび焦点閾値データにアクセスすることと、
    前記第1の画像焦点値を評価して、それが前記焦点閾値より悪いかどうかを判定することであって、前記第1の画像焦点値が前記焦点閾値より悪い場合には、
    (a)前記検査される特徴および(b)焦点決定光学素子のうちの1つである焦点合わせ要素を、推定一次調整距離にわたり一次調整方向に沿って移動させることであって、前記一次調整距離が、前記特徴固有の代表焦点曲線データおよび前記第1の画像焦点値に基づいて推定されることと、
    前記推定一次調整距離を移動した後で、前記現在の関心領域の第2の画像を取得し、前記第2の画像における前記関心領域において第2の画像焦点値を決定することと、
    前記第2の画像焦点値を評価して、それが、前記第1の画像焦点値および前記焦点閾値のいずれかである、前に決定された焦点値パラメータより悪いかどうかを判定し、前記第2の画像焦点値が、前記前に決定された焦点値パラメータより悪い場合には、(c)前記一次調整距離および(d)前記特徴固有の代表焦点曲線データの1つに少なくとも部分的に基づいて、最良の焦点位置への推定距離である推定二次調整距離にわたり、前記一次調整方向と反対の二次調整方向に沿って、前記焦点合わせ要素を移動させることと、
    を含む動作サブセットを実行する、判定することと、
    を含む一連の動作によって、前記マシンビジョン検査システムの実行モード中に、検査画像を自動で近似的に焦点合わせすることを含む、コンピュータ可読媒体。
  16. 前記前に決定された焦点値パラメータが、前記焦点閾値であり、前記第2の画像焦点値が前記焦点閾値より悪い場合には、前記動作サブセットが、
    前記二次調整距離を移動した後に、前記現在の関心領域の第3の画像を取得し、前記第3の画像における前記関心領域において第3の画像焦点値を決定することと、
    前記第3の画像焦点値を評価して、それが前記焦点閾値より悪いかどうかを判定し、
    前記第3の画像焦点値が前記焦点閾値より悪い場合には、前記現在の関心領域用の実行モード焦点曲線を決定することを含む自動焦点合わせ動作の実行を履行せず、
    前記第3の画像焦点値が前記焦点閾値より悪くない場合には、前記第3の画像が近似的に焦点合わせされていると判定され、前記第3の画像が検査画像として用いられることと、
    をさらに含む、請求項15に記載のコンピュータ可読媒体。
  17. 前記方法が、前記一次調整方向に沿って、および前記一次調整方向と反対の前記二次調整方向に沿って、前記焦点合わせ要素を移動させた後で、前記現在の関心領域の画像を自動で近似的に焦点合わせする目的で前記焦点合わせ要素を追加的に移動させないことをさらに含む、請求項15に記載のコンピュータ可読媒体。
  18. 前記方法が、検査画像を自動で近似的に焦点合わせするために、動作セットの以前の実行インスタンス中に検査画像として用いられた近似的に焦点合わせされた画像を提供した最後の成功した調整方向と同じ方向になるように、前記一次調整方向が選択されることをさらに含む、請求項15に記載のコンピュータ可読媒体。
JP2009292649A 2008-12-23 2009-12-24 高速近似焦点用システムおよび方法 Expired - Fee Related JP5427018B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/343,383 US8111938B2 (en) 2008-12-23 2008-12-23 System and method for fast approximate focus
US12/343,383 2008-12-23

Publications (2)

Publication Number Publication Date
JP2010152361A JP2010152361A (ja) 2010-07-08
JP5427018B2 true JP5427018B2 (ja) 2014-02-26

Family

ID=42194267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009292649A Expired - Fee Related JP5427018B2 (ja) 2008-12-23 2009-12-24 高速近似焦点用システムおよび方法

Country Status (4)

Country Link
US (1) US8111938B2 (ja)
JP (1) JP5427018B2 (ja)
CN (1) CN101762268B (ja)
DE (1) DE102009029478B4 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101769475B (zh) * 2008-12-31 2013-04-24 鸿富锦精密工业(深圳)有限公司 影像测量仪光源及利用该光源的自动定位系统
JP5287385B2 (ja) * 2009-03-13 2013-09-11 オムロン株式会社 計測装置
US8155770B2 (en) * 2009-03-31 2012-04-10 Globalfoundries Inc. Method and apparatus for dispatching workpieces to tools based on processing and performance history
WO2011005238A1 (en) * 2009-07-08 2011-01-13 Freescale Semiconductor, Inc. Degree-of-focus determination module, position-of-best-focus selection modules, image processing module, imaging system, and corresponding method
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8581162B2 (en) * 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
WO2011113051A1 (en) * 2010-03-12 2011-09-15 Cascade Microtech, Inc. System for testing semiconductors
US8194251B2 (en) * 2010-08-26 2012-06-05 Mitutoyo Corporation Method for operating a dual beam chromatic point sensor system for simultaneously measuring two surface regions
US8648906B2 (en) 2010-10-13 2014-02-11 Mitutoyo Corporation Precision solder resist registration inspection method
US8773526B2 (en) 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
US8280172B1 (en) 2011-03-22 2012-10-02 Mitutoyo Corporation Edge location measurement correction for coaxial light images
US8269830B1 (en) 2011-04-14 2012-09-18 Mitutoyo Corporation Inspecting potentially interfering features in a machine vision system
US9080855B2 (en) 2011-09-23 2015-07-14 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system
US9013574B2 (en) 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
US9223306B2 (en) 2011-11-15 2015-12-29 Mitutoyo Corporation System and method utilizing an editing initialization block in a part program editing environment in a machine vision system
US8957960B2 (en) 2011-11-15 2015-02-17 Mitutoyo Corporation Machine vision system program editing environment including real time context generation features
US9167215B2 (en) 2011-11-15 2015-10-20 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US8902307B2 (en) 2011-11-15 2014-12-02 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US20130162806A1 (en) 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
CN104137147B (zh) 2011-12-23 2017-05-31 株式会社三丰 机器视觉系统中的使用多个光设置的对焦点操作
US8937654B2 (en) 2012-08-22 2015-01-20 Mitutoyo Corporation Machine vision inspection system comprising two cameras having a rotational offset
US9177222B2 (en) 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
US8689127B1 (en) 2012-11-05 2014-04-01 Mitutoyo Corporation Edge measurement video tool parameter-setting user interface
US8885945B2 (en) 2012-12-27 2014-11-11 Mitutoyo Corporation Method for improving repeatability in edge location results of a machine vision inspection system
US8995749B2 (en) 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9304089B2 (en) 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
US8917940B2 (en) 2013-04-26 2014-12-23 Mitutoyo Corporation Edge measurement video tool with robust edge discrimination margin
US9235337B2 (en) 2013-05-09 2016-01-12 Mitutoyo Corporation System, GUI and method for editing step and repeat operation instructions in a machine vision inspection system
US9733902B2 (en) 2013-05-13 2017-08-15 Mitutoyo Corporation Machine vision system program editing environment including operating context aware copy and paste feature
US9350921B2 (en) 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9456120B2 (en) 2013-07-11 2016-09-27 Mitutoyo Corporation Focus height repeatability improvement in a machine vision inspection system
JP6274794B2 (ja) * 2013-09-12 2018-02-07 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、及び画像測定装置
CN105555180A (zh) * 2013-09-24 2016-05-04 奥林巴斯株式会社 内窥镜装置和内窥镜装置的控制方法
US9444995B2 (en) * 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
US9182583B2 (en) 2013-11-15 2015-11-10 Mitutoyo Corporation Structured illumination microscopy optical arrangement including projection artifact supression element
US9726876B2 (en) 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US10178321B2 (en) 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US20150178484A1 (en) 2013-12-20 2015-06-25 Mitutoyo Corporation Remote Accessory Management in a Programming Environment for a Progammable Metrology System
US9606525B2 (en) 2013-12-23 2017-03-28 Mitutoyo Corporation Remote accessory for generating customized and synchronized reference notes for a programmable metrology system
DE102015208337A1 (de) 2014-06-17 2015-12-17 Mitutoyo Corp. Bearbeitungsumgebung eines maschinellen sichtsystems für ein teileprogramm, in dem ein durchgehender datenstrom von bilderfassungsvorgängen in einem laufmodus ausgeführt wird
US9740190B2 (en) 2014-10-09 2017-08-22 Mitutoyo Corporation Method for programming a three-dimensional workpiece scan path for a metrology system
US9602715B2 (en) 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
JP6599698B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
JP6599697B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
US9549125B1 (en) 2015-09-01 2017-01-17 Amazon Technologies, Inc. Focus specification and focus stabilization
US9774765B2 (en) 2015-09-15 2017-09-26 Mitutoyo Corporation Chromatic aberration correction in imaging system including variable focal length lens
US9930243B2 (en) 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9961253B2 (en) 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US9736355B1 (en) 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US10151962B2 (en) 2016-09-29 2018-12-11 Mitutoyo Corporation Variable focal length lens system with focus monitoring and control
US10142550B2 (en) 2016-11-15 2018-11-27 Mitutoyo Corporation Extending a focus search range in an imaging system including a high speed variable focal length lens
DE102017220101A1 (de) 2016-11-23 2018-05-24 Mitutoyo Corporation Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
US10101572B2 (en) 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing
US10768404B2 (en) 2017-03-22 2020-09-08 Mitutoyo Corporation Modulation monitoring system for use with an imaging system that includes a high speed periodically modulated variable focal length lens
US10593718B2 (en) 2017-03-28 2020-03-17 Mitutoyo Corporation Surface profiling and imaging system including optical channels providing distance-dependent image offsets
US10225457B1 (en) 2017-09-06 2019-03-05 Mitutoyo Corporation Stabilizing operation of a high speed variable focal length tunable acoustic gradient lens in an imaging system
US10341646B2 (en) 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
US10171725B1 (en) 2017-12-21 2019-01-01 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10281700B1 (en) 2017-12-21 2019-05-07 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10656780B2 (en) * 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
US10578827B2 (en) 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
CN110557547B (zh) 2018-05-30 2021-06-08 北京小米移动软件有限公司 镜头位置调整方法及装置
US10498948B1 (en) 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
JP2020069301A (ja) * 2018-11-02 2020-05-07 コニカミノルタ株式会社 超音波診断装置
US10812701B2 (en) 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
US11340439B2 (en) * 2019-03-21 2022-05-24 Sigtuple Technologies Private Limited Method and system for auto focusing a microscopic imaging system
CN114271031A (zh) 2019-08-30 2022-04-01 株式会社三丰 用于高速计量成像的快速高功率脉冲式光源系统
US10880468B1 (en) 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11249225B2 (en) 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11631196B2 (en) * 2020-07-31 2023-04-18 Zebra Technologies Corporation Systems and methods to optimize imaging settings for a machine vision job
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
US11587246B2 (en) 2020-10-30 2023-02-21 Mitutoyo Corporation Metrology system with projected pattern for points-from-focus type processes
US11486694B2 (en) 2020-12-18 2022-11-01 Mitutoyo Corporation Chromatic range sensor system for measuring workpiece thickness
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1313466C (en) * 1988-05-11 1993-02-09 Kenichi Kikuchi Image sensing apparatus having automatic focusing function of automatically matching focus in response to video signal
US5200828A (en) 1990-03-19 1993-04-06 Sam Jung Co., Ltd. Autofocusing device for use in a video camera and an autofocusing method thereof
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
JPH05292381A (ja) * 1992-04-08 1993-11-05 Hitachi Ltd 自動焦点調節方法
US5398096A (en) 1992-06-15 1995-03-14 Minolta Co., Ltd. Automated focus point control device
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
US5557097A (en) 1994-09-20 1996-09-17 Neopath, Inc. Cytological system autofocus integrity checking apparatus
JPH11127314A (ja) * 1997-10-21 1999-05-11 Seiko Epson Corp 画像読み取り装置及びそのフォーカス調整方法
US6608705B1 (en) 1997-10-21 2003-08-19 Seiko Epson Corporation Image reading device and focus adjustment method thereof
NZ515390A (en) 1999-06-04 2002-10-25 Janssen Pharmaceutica Nv Robust autofocus system for a microscope
US7034883B1 (en) * 1999-08-10 2006-04-25 Cellavision Ab Automatic focusing
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP3737483B2 (ja) 2001-03-30 2006-01-18 独立行政法人産業技術総合研究所 実時間全焦点顕微鏡カメラ
CN1419147A (zh) * 2001-11-13 2003-05-21 中国科学院力学研究所 三维物体的倍率可变光学成像系统的自动调焦方法和装置
DE10217404A1 (de) * 2002-04-18 2003-11-06 Leica Microsystems Autofokusverfahren für ein Mikroskop und System zum Einstellen des Fokus für ein Mikroskop
US6975810B2 (en) 2003-03-26 2005-12-13 Nikon Corporation Focal point detection device and camera
US20050031191A1 (en) 2003-08-04 2005-02-10 Mitutoyo Corporation Methods and apparatus for inspection of lines embedded in highly textured material
US7030351B2 (en) * 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7394943B2 (en) 2004-06-30 2008-07-01 Applera Corporation Methods, software, and apparatus for focusing an optical system using computer image analysis
US20060012836A1 (en) 2004-07-16 2006-01-19 Christian Boemler Focus adjustment for imaging applications
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7538813B2 (en) * 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
US7835637B2 (en) * 2006-09-20 2010-11-16 Qualcomm Incorporated Predictive focus value calculation for image capture devices
US20100157086A1 (en) * 2008-12-15 2010-06-24 Illumina, Inc Dynamic autofocus method and system for assay imager

Also Published As

Publication number Publication date
CN101762268B (zh) 2014-02-19
JP2010152361A (ja) 2010-07-08
US20100158343A1 (en) 2010-06-24
US8111938B2 (en) 2012-02-07
CN101762268A (zh) 2010-06-30
DE102009029478A1 (de) 2010-06-24
DE102009029478B4 (de) 2018-02-15

Similar Documents

Publication Publication Date Title
JP5427018B2 (ja) 高速近似焦点用システムおよび方法
JP6239232B2 (ja) 高性能エッジフォーカスツール
JP5570945B2 (ja) 正確な寸法検査用の自動焦点ビデオツールおよび方法
US7030351B2 (en) Systems and methods for rapidly automatically focusing a machine vision inspection system
JP6101706B2 (ja) マシンビジョンシステムにおいて複数の照明設定を使用する合焦点動作
JP6282508B2 (ja) 凸凹表面のエッジに向けて強化されたエッジ検出ツール
US9830694B2 (en) Multi-level image focus using a tunable lens in a machine vision inspection system
JP6717692B2 (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
US9444995B2 (en) System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
JP2006126200A (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
JP2019168520A (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
US11430105B2 (en) Workpiece inspection and defect detection system including monitoring of workpiece images
CN111325785A (zh) 高速tag透镜辅助3d计量和扩展景深成像
JP4791155B2 (ja) 合焦点方法及び合焦点装置並びにそれを使った測定装置
JP4017035B2 (ja) 複数種類の被検レンズを汎用的に検査するレンズ評価システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5427018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees