JP4641441B2 - 画像検査方法および画像検査システム - Google Patents

画像検査方法および画像検査システム Download PDF

Info

Publication number
JP4641441B2
JP4641441B2 JP2005084681A JP2005084681A JP4641441B2 JP 4641441 B2 JP4641441 B2 JP 4641441B2 JP 2005084681 A JP2005084681 A JP 2005084681A JP 2005084681 A JP2005084681 A JP 2005084681A JP 4641441 B2 JP4641441 B2 JP 4641441B2
Authority
JP
Japan
Prior art keywords
image
image inspection
extraneous
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005084681A
Other languages
English (en)
Other versions
JP2005274576A (ja
Inventor
エム ワッサーマン リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of JP2005274576A publication Critical patent/JP2005274576A/ja
Application granted granted Critical
Publication of JP4641441B2 publication Critical patent/JP4641441B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、画像検査方法および画像検査システムに関する。詳しくは、画像検査に際して外来特徴の影響を除去する画像検査方法および画像検査システムに関する。
従来、画像検査システムにより取得されるワーク画像に基づいてワークの寸法や形状などの特性を検査する画像検査方法が知られている。画像検査システムは、コンピュータと、ユーザインターフェイスと、照明システムと、カメラ・光学システムと、ワークの様々な特徴を画像化するためにオペレータがカメラを配置できるように複数の方向に移動可能なステージと、を含んで構成されている。ユーザインターフェイスは、ワーク画像上に配置可能な様々なビデオツールを含んでいる。これにより、画像検査システムのユーザは、画像処理の知識を有していなくても、ビデオツールを配置、操作することにより、制御や検査のための画像処理作業を行うことができる。従来、このような画像検査システムの一例として、イリノイ州オーロラにおけるミツトヨ・アメリカ社(MAC)が提供している画像検査装置のQUICK VISIONTMシリーズおよびQVPAKTMソフトウェアが知られている。画像検査装置のQUICK VISIONTMシリーズおよびQVPAKTMソフトウェアの特徴および操作については、例えば、2003年1月発行のQVPAK 3D CNC 画像測定装置ユーザーズガイドや、1996年9月発行のQVPAK 3D CNC画像測定装置オペレーションガイドにおいて一般的な説明が行われている。これらの製品は、例えばQV−302 Proにより実証されているように、様々な倍率のワーク画像を提供するために顕微鏡タイプの光学システムを使用している。
このような画像検査システムは汎用性に特徴があり、ユーザや自動プログラムは、様々なタイプのワークや、一つのワークにおける様々な側面に対して多種多様な検査タスクを行うために当該画像検査システムの設定や画像化パラメータを迅速に変更することができる
QUICK VISIONTMのような画像検査システムは、プログラミング可能であり、自動ビデオ検査を行うことができるのが一般的である。このような画像検査システムは、未熟練なオペレータであっても信頼度の高いオペレーションおよびプログラミングを行うことができるように、オペレーションおよびプログラミングおよびを簡素化する特徴およびツールを備えることが好ましい。
以上のような画像検査システムは、一般に、個々のワーク形状についてユーザが自動検査イベントシーケンスを定義することを可能にするプログラミング機能を有している。当該プログラミング機能は、検査作業の結果を記憶/出力する機能も含んでいる。このようなプログラミングは、例えばテキストベースプログラミングのような慎重な方法で実行することもできるし、また、ユーザが行う検査作業のシーケンスに対応する制御命令のシーケンスを記憶することにより検査イベントシーケンスを徐々に学習する記録モードを通じて実行することもできるし、また、これらの2つの方法を組み合わせて実行することもできる。このような記録モードは、学習モードや訓練モードなどと呼ばれる。
いずれの方法においても、制御命令は、個々のワーク形状に固有のパートプログラムとして記憶されるのが一般的である。作業の「実行モード」中に検査作業の所定のシーケンスを自動的に行う命令を含むパートプログラムを生成する能力は、同一のパートプログラムを互換性のある複数の画像検査システムについて複数の時点において自動的に実行する能力と同様に、検査の反復性の向上などの利益を提供する。
上記のQUICK VISIONTMなどの画像検査システムは、一連の自動焦点作業中の作業方法を含む作業方法を提供するために、従来型のPCベース画像取得アクセサリ、コンポーネントや、Windows(登録商標)オペレーティングシステムのような従来型のPCベースコンピュータオペレーティングシステムを使用する。
ところで、画像検査システムにおいては、閉塞の問題、すなわち、フォアグラウンド物体がバックグラウンド物体の視認性を阻害し、検査を妨げるという問題が発生することがある。しかしながら、ワーク検査用の画像検査システムの分野においては、閉塞の問題の解決への取り組みが十分になされてこなかった。そのため、従来は、閉塞物体(外来物体)およびその影を回避するために、ユーザの判断によってツールの大きさや配置を慎重に調整しなければならなかった。この場合、互いに近接しているフォアグラウンド特徴およびバックグラウンド特徴(例えば、エッジ特徴)を有する画像の検査の際には、ワーク、照明、影の構成におけるほんのわずかな変化のために、慎重に配置され訓練されたツールを用いたとしても間違った結果が生成されてしまうおそれがある。
また、望ましくない画像特徴(外来特徴)を除去するための画像フィルタリング処理方法が専門家により研究され、考案されている。しかしながら、このような画像フィルタリング処理方法では、所望の画像特徴(ワークの特徴)までもフィルタリングしてしまうので、その特性を変えてしまうおそれがある。そのため、ワーク特徴の検査精度を低下させてしまうおそれがある。
また、別の処理方法として、バックグラウンドにあるワークの特徴を再構成するために、領域または境界の成長処理方法および結合処理方法が使用されていた。しかしながら、このような方法の実施には、時間がかかリ、相当の知識も必要となる。さらに、このような方法は、画像において利用可能なリアルな情報を増やすわけではなく、人工的な特徴を生成しているだけである。このように、このような方法では、検査作業の結果が、オリジナルの画像ではなく、主として前記の人工的な特徴に依存してしまうので、検査作業の精度が低下する危険性がある。したがって、以上のような方法では、品質管理や検査作業が貧弱で精度が低くなってしまう危険性があり、このような危険性は、特に、信頼性の高い作業や、比較的簡単なプログラミング環境を、比較的未熟練のオペレータに提供することを目的とする画像検査システムにとっては致命的である。
本発明は、上記の欠点を克服する画像検査方法および画像検査システムを対象としている。詳細には、本発明は、検査作業から外来特徴を除去するための画像検査方法および画像検査システムを対象としている。
本発明は、検査作業から外来特徴を除去するための画像検査システムおよび画像検査システムを対象としている。
ここで、外来特徴の一例として、フラットパネルディスプレイスクリーンマスクにおけるスクリーンメッシュのようなグリッドを挙げることができ、当該グリッドは画像中にフォアグラウンド物体として現れる。このような場合には、グリッドが検査対象としてのバックグラウンド物体を閉塞(遮蔽)して視認性を阻害し、検査を妨げるおそれがある。特に、グリッドのようなフォアグラウンド物体がバックグラウンド物体を閉塞する時には、フォアグラウンド物体とバックグラウンド物体との間の境界として顕著なエッジが画像内に生成されることが多い。当然ながら、これらのエッジは、検査対象としてのバックグラウンド物体自体によるものではないので、検査の妨げになる可能性が高い。また、両物体の配置および照明の影響によって、フォアグラウンド物体の影のエッジがバックグラウンド物体上に映ってしまう可能性も高い。人間であれば影であることを簡単に認識することができるが、機械にとっては簡単なことではない。バックグラウンド物体と、顕著なフォアグラウンド物体や、その影とが画像内で非常に近接しているかもしれないので、バックグラウンド物体の特徴を測定しようとする作業からフォアグラウンド物体や、その影を自動的に除去することは困難である。
本発明では、フィルタリング処理などの画像修正処理が、検査対象特徴に対応する領域における除去されない画像データに対して行われない。また、本発明では、画像検査システムにおけるユーザインターフェイスを介して提供されるビデオツールについて定義される関心領域は、検査対象特徴に対応する領域、並びに、除去されるデータを有する領域を含むことができ、これによって、ビデオツールの使い勝手を向上させることができ、ビデオツールを検査対象特徴と外来特徴との間隔の変動に対してロバストにすることができる。
また、本発明によれば、画像検査システムの作業を定義する関心領域において外来画像除去作業を集中的に行うことができる。これにより、画像検査システムの特徴測定作業および特徴付け作業を、当該関心領域に除去すべきデータが存在していたか否かに関わらず、同程度の精度で行うことができる。ワークの自動検査を繰り返し行うためのパートプログラムを生成するために使用される学習モードまたは訓練モードにて画像検査システムが運転されるときには、外来特徴除去作業を行うために、様々なユーザインターフェイス特徴および方法が提供される。本発明が特に有用であるのは、検査対象特徴が外来特徴によって閉塞されていることが多いフラットパネルディスプレイや、その製造に使用されるパターンスクリーン印刷マスクを検査する場合である。
また、本発明では、外来特徴に対応する外来画素を識別し、当該外来画素を関心領域から除去する。
また、本発明によれば、外来画素が関心領域についての各種の作業(解析など)から除去されるので、外来特徴を考慮に入れずに関心領域を設定することができる。例えば、外来特徴と有効エッジ特徴とを含む関心領域を設定することもできる。これにより、関心領域を設定するためのツールを大幅に簡素化することができ、使い勝手を向上させることができる。
また、本発明では、外来特徴の外側のにおける有効画像データを含む画像部分については情報変更形態作業が行われない。これにより、オリジナルのワーク情報が完全な形で保存される。また、外来画素を識別する工程においては、非外来画素(検査対象特徴に対応する画素)に関する情報が修正されることはない。なお、外来画素のデータを修正して包含するよりも、外来画素を完全に排除する方が好ましい。
また、様々な画像測定ツールの標準的なバージョンが外来特徴を含む画像に対して機能できるように、外来画素の除去が行われる。その結果、ツールの増設や、オペレータの訓練が不要になり、システムの使用および保守を簡単にすることができる。
次に、本発明の実施形態を図面に基づいて説明する。
図1は、本発明に係る画像検査システム10の一実施形態を示す。画像検査システム10は、データ交換及び信号制御のために相互に接続された制御システム100および画像測定機200を含む。また、画像検査システム10には、データ交換及び信号制御のために、1つ以上のモニタ111、プリンタ112、ジョイスティック113、キーボード114、マウス115が接続されている。画像測定機200は、可動ワークステージ210と、画像を様々な倍率で拡大するズームレンズや多数の交換レンズなどが含まれる光学画像システム205を備える。
ジョイスティック113は、X方向及びY方向に沿った可動ワークステージ210の移動と、Z方向(焦点方向)に沿った光学画像システム205の移動を制御するために使用することができる。X方向及びY方向は、光学画像システム205の焦点面に平行であるのが一般的である。なお、ジョイスティック113のハンドルまたはノブを回転させることにより、光学画像システム205をZ方向に沿って移動させることができる。なお、図示のジョイスティック113によってXYZ移動制御を行う代わりに、モニタ111に表示させた仮想的なXYZ移動制御手段を、マウス115等の外部装置によって操作することによってXYZ移動制御を行わせてもよい。
図2は、検査対象のワークが表示されている画像検査システム10の表示エリア300の一部分を示した図である。この表示エリア300には、フラットパネルディスプレイスクリーンマスクのオーバーレイグリッドが含まれている。図2に示したように、表示エリア300は標準640×480カメラフォーマットであり、フラットパネルディスプレイスクリーンマスクの反復グリッドパターン304がオーバーレイされている。なお、グリッド304の公称寸法、レイアウト及び向きは検査前に分かっているが、以下でさらに詳細に説明する通り、このような情報は検査作業に必要ではない。グリッド304の下側にも、基板、パターン化フィルムなどからなるバックグラウンド層302があり、検査作業上重要ではない情報を含んでいる。ワークはトレース320及び330を含んでいるが、これらについては以下でさらに詳細に説明する。また、以下でもさらに詳細に説明するが、グリッドパターン304は、トレース320及び330のエッジ部分の決定及び評価を複雑にするような顕著に込み入ったエッジ特徴を有するために、検査作業を複雑化してしまう。
図3は、図2と同様の表示エリア300Aを示す図であり、特に、ワークにおけるいくつかのエッジ部分が円や楕円によって囲まれている。トレース320及び330を一層強調するために、表示エリア300Aは人工的に照明されている。バックグラウンド層302は、グリッド304の開口部を通じて視認可能になっている。なお、ここでは一例としてグリッドタイプの外来物体304について検討するが、本発明の方法はあらゆるタイプの外来フォアグランド物体、外来バックグラウンド物体に適用可能であることは当然である。グリッド部分304Aはバックグラウンド層302のセクションの上方に配置されており、一方、別のグリッド部分304Bはトレース320のセクションの上方に配置されている。一連の大きな楕円340はトレース320及び330のエッジ部分を囲んでいる。これらの大きな楕円340は、トレース320及び330のエッジ部分を強調する小さな円342を含んでいる。円350は、トレース330の円形端部を囲んでいる。円350は、当該円形端部のエッジを決定するような作業(例えば、円弧の半径又はトレース330の円形端部の直径を決定する作業の一部)のために用いることができるエッジ部分を囲んで強調する小さな円352を含んでいる。
トレース320のエッジの間の間隔(すなわち、幅)の決定のような作業のために、トレース320の両側の2つの大きな楕円内の画像情報を用いることができる。円342はこの作業を行うための有効なデータを含む領域を示している。このように、円342は利用可能な有効データ領域を示しているが、楕円340内にはその他の有効データ領域が存在することもある。以下でさらに詳細に検討するが、トレースの不可視部分(グリッド304に覆われた部分)の再構成の試みを行うことは望ましくない場合が多く、そうせずに、入手可能なデータから精密な測定値を得ることの方が望ましい。すなわち、測定作業にとっては、トレースの不可視部分を、可視部分を外挿して補完するなどして完全な物体を再構成する試みを行うことは、場合によっては物体のエッジが不正確になる可能性があるので望ましくない。
以下でさらに詳細に説明するが、本発明によれば、ビデオツールに、楕円340や円350のような、検査対象ワークを含む部分と排除データを有する部分とを包含する領域を撮像させることができるので、ビデオツールの使い勝手を向上させることができ、検査対象ワークと外来物体との間隔の変動に対して強固な画像検査システム10を提供することができる。また、以下でもさらに詳細に検討するが、画像検査システム10の作業領域たる関心領域において外来画像の除去作業を集中的に行うことによって、画像検査システム10の特徴測定作業や特徴付け作業が、関心領域に排除データがある場合もない場合も同様に行われるようにすることもできる。
図4は、図1の画像検査システム10の画像測定機200及び制御システム100の構成を示したブロック図である。図4に示されるように、制御システム100は画像測定機200を制御する。画像測定機200は、光学アセンブリ250、光源220、230、240、並びに、中央透明部分212を有するワークステージ210を含んで構成されている。ワークステージ210は、ワーク20を載置可能なステージの表面に平行なX及びY軸に沿って移動可能である。光学アセンブリ250は、カメラシステム260、交換可能な対物レンズ252、タレットレンズアセンブリ280、及び、光源230を含んで構成されている。光学アセンブリ250は、モータ294による制御の下、X軸及びY軸に対して直交するZ軸に沿って移動可能である。
画像検査システム10を使用して画像化すべきワーク20は、ワークステージ210上に置かれる。光源220、230又は240の少なくとも1つが、ワーク20を照明するための光源光222、232又は242をそれぞれ出射する。光源220、230、240から発せられた光はワーク20を照明し、ワーク光255として反射され、対物レンズ252及びタレットレンズアセンブリ280におけるレンズ286およびレンズ288のいずれか1つを通過し、カメラシステム260に入射する。カメラシステム260により取り込まれたワーク20の画像は信号線262により制御システム100に向けて出力される。
ワーク20を照明するために使用される光源220、230及び240は、信号線又はバス221、231、241を介して制御システム100にそれぞれ接続され、リング光のような、ステージ光(光源220)、同軸光(光源230)、表面光(光源240)を出射可能である。画像検査システム10の一次光学アセンブリとしての光学アセンブリ250は、既に挙げた構成要素に加えて、同軸照明を行うために必要となるようなレンズ、アパーチャ、ビームスプリッタのような光学エレメントを含んでもよい。制御システム100は、信号線又はバス281を介して伝送される制御信号に応じて、少なくとも第1タレットレンズ位置と第2タレットレンズ位置との間において、タレットレンズアセンブリ280を軸284の周りに回転させる。これにより、タレットレンズ286と288とを切り替えることができる。
ワークステージ210と光学アセンブリ250との間隔は、カメラシステム260により取り込まれるワーク20の画像の焦点を変えるために調節することができる。ここで、モータ294によってアクチュエータ、接続ケーブル等を駆動することにより、光学アセンブリ250をワークステージ210に対して垂直なZ軸方向に移動させることができる。なお、Z軸という語は、光学アセンブリ250により得られる画像に関する焦点合わせを行う際の光学アセンブリ250の移動方向を表す軸を意味している。モータ294は、信号線296を通じて制御システム100に接続される。
図4に示したように、制御システム100は、入出力インターフェイス110、コントローラ120、メモリ130、動作制御部(回路/ルーチン/アプリケーション)132、照明制御部(回路/ルーチン/アプリケーション)133、ビデオツール制御部(回路/ルーチン/アプリケーション)143、関心領域生成部(回路/ルーチン/アプリケーション)150、外来特徴識別・表示部(回路/ルーチン/アプリケーション)160、ワークプログラム生成・実行部(回路/ルーチン/アプリケーション)170、CADファイル特徴抽出部(回路/ルーチン/アプリケーション)180、及び電源190を含んで構成されている。制御システム100の個々の構成要素は、バスやアプリケーションプログラミングインターフェイス195により相互に接続されている。
制御システム100は、ワーク20の入力画像が関心領域において望ましい画像特性を示すように、画像取得に関する設定、パラメータの決定などを行った上で、ワーク20の画像の取得を行うことができる。ユーザがワーク20の画像取得についてのワークプログラム命令を生成するために画像検査システム10を使用する場合は、ワークプログラミング言語を使用して、ワークプログラム命令を自動、半自動又は手動で明示的にコード化するか、ワークプログラム命令が画像取得訓練シーケンスを取り込むように、画像取得訓練シーケンスを通じて画像検査システム10を動かすことによってワークプログラム命令を生成するか、のいずれかによってユーザはワークプログラム命令を生成する。このような命令により、画像検査システム10は、ワーク20の特定の部分がカメラシステム260の視野の中に入り、所望の倍率、所望の焦点状態、及び所望の照度が実現されるように、ワークステージ210やカメラシステム260を操作する。
制御システム100は、カメラシステム260に対して、ワーク20の画像を取り込んで、制御システム100に出力するよう指令する。このとき、画像は入出力インターフェイス110を介してカメラシステム260から制御システム100に入力され、コントローラ120の制御の下でメモリ130に記憶される。なお、コントローラ120は取り込んだ画像を表示装置102に表示させることもできる。
制御システム100は、取り込んだワーク画像に基づいてワークの特徴を検査し、検査結果を記憶、出力することもできる。ユーザがワーク20の画像検査についてのワークプログラム命令を生成するために画像検査システム10を使用する場合は、ワークプログラミング言語を使用して、ワークプログラム命令を自動、半自動又は手動で明示的にコード化するか、ワークプログラム命令が画像検査訓練シーケンスを取り込むように、画像検査訓練シーケンスを通じて画像検査システム10を動かすことによってワークプログラム命令を生成するか、のいずれかによってユーザはワークプログラム命令を生成する。
このような命令によって、画像検査システム10は画像に基づいて様々な検査作業を実施する。以下でさらに詳細に説明するが、様々な公知の画像システム「ツール」を、ビデオツール制御部143に用意しておき、様々な前記作業を実施する際に使用することができる。検査作業に使用可能なビデオツールの例が、米国特許出願第09/736,187号、第09/921,886号、及び米国特許第6,542,180号に開示されている。
表示装置102(例えば、図1のモニタ111及びプリンタ112)、及び入力装置104(例えば、図1の装置ジョイスティック113、キーボード114、マウス115)を入出力インターフェイス110に接続することができる。表示装置102及び入力装置104は、パートプログラムを閲覧、生成、修正などするため、カメラシステム260により取り込まれた画像を閲覧するため、画像測定機200を直接的に制御するため、などに使用することができる。なお、事前定義ワークプログラムを有する完全自動化システムにおいては、表示装置102、入力装置104を設けなくてもよい。
光源220、230及び240の信号線又はバス221、231及び241は、それぞれ入出力インターフェイス110に接続されている。タレットレンズアセンブリ280の制御信号線281も入出力インターフェイス110に接続されている。カメラシステム260からの信号線262及びモータ294からの信号線296も入出力インターフェイス110に接続されている。画像データの伝送に加えて、信号線262は、画像取得を開始する際のコントローラ120からの信号を伝送することもできる。
照明制御部133は、光制御素子133A〜133Nを含み、これらの光制御素子は、光源220、230及び240について、例えば、選択、電源及びオン/オフのタイミングを制御する。動作制御部132は位置制御素子や速度/加速度制御素子を含んで構成されている。
メモリ130は、入出力インターフェイス110を介して動作可能なグラフィカルユーザインターフェイスを定義するデータを記憶している。このような実施例は、例えば、前記QUICK VISIONTMシリーズの画像検査機及びQVPAKTMソフトウェアにより例証されている。メモリ130は、ワーク20の取込み画像が所望の画像特性を有するようにワーク20の画像の取込みを行うことを目的として画像測定機200を動作させるために使用可能なデータやツールを記憶することもできる。メモリ130は、この目的のために、さらに、取込み画像について手動又は自動で様々な検査及び測定作業を行うことと、入出力インターフェイス110を介してその結果を出力することを目的として画像測定機200を動作させるために使用可能なデータやビデオツール143A〜143Mを含むビデオツール制御部143を含んでいる。ビデオツール143A〜143Mは、GUI画像処理作業等を決定することもできる。関心領域生成部150は、ビデオツール制御部143に含まれる様々なビデオツールにおいて動作可能な関心領域を定義する自動、半自動及び/又は手動作業を支援することもできる。
様々な画像処理、特徴解析、検査ツール143は、様々な検査作業の実施の支援のために使用することもできる。かかるツールとしては、例えば、形状又はパターンマッチングツール、エッジ、境界検出ツール、円及び寸法測定ツール等が例示できる。本発明による精密画像検査システムにおけるこのようなビデオツールの使用の実例については、図10との関連において以下でさらに詳細に説明する。
ビデオツール制御部143は、関心領域生成部150を呼出すこともできる。関心領域生成部150は、関心領域を描かれるツール内のエリアのサブセットとして定義し、これはビデオツール内の内部エリア(例えば、内部ボックス又は円)から構成されていてもよい。
前述したように、関心領域生成部150は、ビデオツール画像処理アルゴリズムに伝送される有効データを抽出する作業を行うか、呼び出す。各種のビデオツールに関連する作業のセットを実行する各種のアルゴリズムは、通常の方法で動作することができる。すなわち、現在の多くのビデオツールの動作や画像処理アルゴリズムは、有効な測定結果や、利用されるアルゴリズムからの制御命令を提供する上で決定的に重要な特定の側面(例えば、走査線に沿って十分な隣接画素があるか、あるいは、十分なコントラストがあるか、など)を保証または確認できるように既に構築されている。従って、ビデオツールが受け取り、あるいは、処理する有効データを関心領域生成部150が定義する場合には、ビデオツールは「選別されていない」画像データの場合と同じ操作により動作することができ、有効な測定値を提供するか、さもなければ、失敗し、エラーフラグを設定する。また、外来データは、関心領域生成部150によってビデオツールに伝送されるアドレス又はデータから除去されるので、外来データの一部であるエッジなどの画像特性によってビデオツールが動作に際して混乱させられることはない。
要するに、関心領域生成部150は、関心画素を決定するだけではなく、外来または関心外画素を定義する判断基準に基づいて画素のいくつかを関心外であるとして取除く。さらに、外来画素(例えば、反復グリッドパターン304を撮像した画素)は、外来特徴識別・表示部160により識別される。なお、関心領域生成部150、外来特徴識別・表示部160、並びにビデオツール制御部143の動作については、以下でさらに詳細に説明する。
外来特徴識別・表示部160は、様々な画像処理作業から排除すべき外来特徴を有するワークの画像に対する外来特徴識別、除去、表示処理を生成または適用するために使用可能である。外来特徴識別・表示部160における外来特徴識別作業やパラメータを決定するために、オペレータは、パラメータやパートプログラム指令を選択または生成する。なお、予め設定された外来特徴識別作業が、適用すべき予め設定された外来特徴識別作業を選択したオペレータに提供されるようにしてもよい。いずれの場合にも、外来特徴識別作業が外来特徴識別・表示部160によって取り込んだ画像に対して行われる。外来特徴識別・表示部160は次に、コントローラ120の制御の下、その作業の結果をメモリ130に提供し、または、取り込んだ画像における所望の検査特徴に適用すべき画像処理や解析処理(例えば、ビデオツール制御部143により提供される画像処理や解析処理など)へ直接結果を出力する。
予め設定された外来特徴識別作業のセットがオペレータに提供される例においては、ワークに対する有効性に基づいて、ユーザが予め設定された外来特徴識別作業の一のセットを選択することもできる。さらに、外来特徴識別作業の選択セットが特定のクラスのワークについて最も信頼性の高い作業及び正確な結果を提供するようにカスタマイズすることができるように、外来特徴識別作業の選択セットを選択可能な各種のパラメータにより制御することもできる。このような選択可能な外来特徴識別作業及びパラメータを設定することにより、比較的未熟練のオペレータであっても、比較的複雑な画像処理作業を学習又は理解することなく、確実に動作するワーク固有のパートプログラムを生成するために、外来特徴識別作業の作業を変更することができる。外来特徴識別作業の選択セットは、作業の訓練モード中、あるいは、他のタイプのパートプログラミング中に、半自動又は手動で選択することもできる。なお、外来特徴解析、識別作業及びパラメータのデフォルトセットを使用してもよい。いったん解析パラメータについて1つ以上の適正な値が決定されると、トランスフォーム解析パラメータについての決定値に関するパートプログラム命令を生成するために、ワークプログラム生成・実行部170が起動される。
ワークプログラム生成・実行部170は、画像検査システム10の画像測定機200のオペレータ入力やオペレータ操作に基づきパートプログラムを生成するために使用可能である。ワークプログラム生成・実行部170は、パートプログラム言語を使用してパートプログラムを生成するために使用することができ、画像測定機200の操作を取り込み、画像検査システム10が訓練モードに移行された場合は、画像測定機200の当該操作に基づきパートプログラム命令を生成するために使用することができる。
CADファイル特徴抽出部180は、CADファイルのようなワーク定義ファイルを解析し、画像処理作業から除去すべき外来特徴の公称形状や配置などを含む線形特徴に関する幾何学的情報をワーク定義ファイルから抽出するために使用可能である。これらの抽出された幾何学的情報はその後、プログラミングやワークの検査を支援する目的で、位置、寸法、制約条件を決定、定義するために使用することができる。これらの制約条件は1組の線の間隔、1組の線の間の交角、線とワークとの間隔、及び線とワークとの交角を含む。
CADファイル特徴抽出部180は、ワークを表示するCADファイルのような情報、又は、実質的に同一のワークの以前の画像に基づいて動作するが、これらの情報又は画像は画像システムを産業上利用する際に入手可能であることが多い。
CADファイル表示の場合は、CADファイル表示におけるエッジや境界の位置を、公知のCADファイル特徴抽出法により、手動、半自動又は完全自動でCAD表示から抽出することができる。この場合、ワークの検査画像の現在のセットにおける対応するエッジや境界の空間位置は、次にさらなる多種多様な手動、半自動化又は自動化空間合同、特徴合同画像処理法により決定することもできる。これらの方法には、例えば、座標マッチング、パターンマッチング、テンプレートマッチング等が含まれる。例えば、このような方法は、前記QUICK VISIONTMシリーズの画像検査機及びQVPAKTMソフトウェアのような市販の画像検査システムにおいてワーク上のエッジや境界の位置を検査するために一般に使用されている。なお、CADファイル特徴抽出部180はオプションであり、幾何学的情報に基づく線関連制約条件を決定又は使用しない場合や、検査すべきワーク表面の電子バージョンが存在せず、あるいは、ワーク画像中の線の識別又は分離に使用されない場合には、除外することができる。
図5は、外来データ(例えば、反復グリッドパターン304)が除去された図2に示される表示エリア300Bを示した図である。図5に示したように、バックグラウンド層302及びトレース320及び330には、もはや反復グリッドパターン304はオーバーレイしていない。以下でさらに詳細に検討するが、本発明によれば、表示エリア300Bにおいて実施されたような外来データを除去するための作業を実施する場合は、外来構造を除去するだけではなく、外来構造のために画像内に存在する影を全て除去することが望ましい。従って、かかる影は、除去されるべき外来特徴及び外来データの一部をなす。
図5においては、白のエリアは、外来データ(例えば、反復グリッドパターン304)として識別されて除去されたエリアである。前述したように、フォアグラウンド構造(すなわち、外来構造)の物理的境界を除去するだけではなく、これに由来するあらゆる影も除去することが望ましい。すなわち、このような外来特徴がフォアグラウンドに存在する場合は、照明が影を当該外来特徴のまわりに作ることがあり、画像システムにおいて使用される光のタイプ及ワークの構造によっては、これらの影がかなり顕著なエッジを提供する場合がある。もしCADデータが外来画像特徴の予測位置をすでに示している場合は、ユーザが照明システムをどのように配置するかに応じて、影が画像内の外来画像特徴の位置を実質的に変え、外来画像特徴がCADデータの予測とは違う場所に現れることもある。以下でさらに詳細に検討するが、影から生じるあらゆる問題にも対処する外来データ(例えば、反復グリッドパターン304)の除去方法を用いることが望まれる。なお、影がそれほど大きな問題にはならない場合には、より簡単な方法(例えば、純粋な解析法)を利用することもできる。すなわち、もし画像内における外来画像特徴の挙動が特に良好であり、外来画像特徴が照明関係の問題(例えば、影)又はその他の問題を有していない場合には、外来画像特徴がどのように現れるかのモデルに基づいたCADデータを、画像から外来画像特徴を除去するための解析法の主要部分として用いることもできる。すなわち、もし外来データが特に決定論的である場合は、時には外来データを純粋な解析法により除去することができる。かかる解析法では、外部データを除去するために、外部画像特徴パターンを回転させるか、又はその適切な方向に操作するだけでよい。
上記のように、グリッドパターン304のような外部画像データを識別して、ワークのエッジ検出を実施する前に表示エリア300Bのデータから除去する際に取ることのできるアプローチは数多く存在している。
図6は、図2に示したフラットパネルディスプレイスクリーンマスクについて明示してあるように、外来特徴(グリッド304に相当)に対応する画素を識別及び除去するために使用可能な第1包括タイプの方法(本発明に含まれない)の1つの実施例を説明した中間画像又は擬似画像である。手短に言えば、第1包括タイプの方法は、画像内の外来画素に対応する領域を識別するために閾値技術を使用することと、領域の境界における異常部分をフィルタリングやスムージングするために形態論技術を使用することと、を含んでいる。
図6に示した結果に対して使用される方法の実施例においては、ワークにおける外来特徴の特性についての先験的な知識は不要である。特に効果的であるのは、画像内の外来データが比較的均一で、顕著な(高い又は低い)強度値を有する場合である。例えば、ワークが、有効特徴および外来特徴をバックライトによって照明して、これらを顕著なコントラストで示すステージ光などによって照明されるタイプのものである場合が相当する。
擬似画像600Aは、図2に示した画像から決定され、強度閾値を設定し、当該強度閾値を下回る強度を有する画素に0の値を割り当て、それ以外の画素に1の値を割り当てることにより生成される。強度閾値としては、例えば、略双峰性強度分布におけるピーク間の強度値を用いることができる。画像600A内のファジーな(ぼやけた)部分によって示したように、この閾値作業は必ずしも全ての外来(白の)画素を識別しないこともあり、公知の画像処理作業によって画像600A内に示された結果を改善することができる。なお、擬似画像600Aにおいて識別された外来画素(白の画素)は、本発明における画素の第1セットを構成している。
擬似画像600Bは、エロージョン作業、第1閉鎖作業(ディレーションおよびエロージョン)、ディレーション作業、第2閉鎖作業、最終ディレーション作業を適用することにより得られる結果を示している。例えば、エロージョン作業は、その周囲8近傍における最小画素値(2値画像の場合は、0)を各画素に割当てる作業を含む。ディレーション作業は、その周囲8近傍における最大画素値(2値画像の場合は、1)を各画素に割当てる作業を含む。画像600B内で見ることができるように、これらの作業は画像全体にわたって外来画像データ(白のグリッド)を忠実に識別しており、例外はほとんどない。なお、擬似画像600Bにおいて新たに識別された外来画素(白の画素)は、本発明における画素の第2セットを構成している。
外来データが2値画像内で“1”により表される場合は、最終ディレーション作業を実施することが、外来物体に対応する全ての画素が保存的に含まれる可能性を高めるために、外来データのエッジにおいて「緩衝領域」を提供するための1つの方法になっていることに注意すべきである。このような作業は、影などに対応する隣接画像を外来画像データに付け加える傾向もある。本発明による外来画像データ除去方法の1つの強みは、たとえいくつかの有効画像画素が除去すべき外来画像データに付け加えられてしまったとしても、残りの有効画像データは全く改変されないという点である。その一方で、以上のような緩衝領域を付け加えることによる唯一の欠点は、限られた数の有効画素が除去されてしまうことである。しかしながら、大部分の検査画像については、これは重要な問題ではない。このため、本発明による実施形態においては、外来画像データのセットが全ての外来画像データを含む可能性をさらに高めるために、画素2、3個の幅を有する緩衝領域がセットの全ての境界に付け加えられている。以上のような外来特徴データを識別するために適用可能な画像処理操作は、例えば、「Machine Vison,by Ramesh Jain,et al.,McGrow Hill,1995」のような画像処理関係文献に掲載されている。
図7は、図2に示したフラットパネルディスプレイスクリーンマスクについて明示してあるように、外来特徴(グリッド304に相当)に対応する画素を識別及び除去するために使用可能な第2包括タイプの方法(本発明に基づく)の1つの実施例を説明した中間画像又は擬似画像である。手短に言えば、第2包括タイプの方法は、ワークについての先験的知識を用いて、画像内の外来画素に対応する領域を解析的に決定する。例えば、ワークについての先験的知識は、ワーク仕様書、CADファイル、予備的画像測定結果、ワークの外来特徴の1つ以上の特性を表すテンプレート等のような画像特徴の予備的特徴付けに基づいて取得可能である。
図7に示した結果を得るためには、擬似画像600Aからスタートする。擬似画像テンプレート700Aは、擬似画像600Aにおいて見出された反復する特徴を示す画像部分である。例えば、このような画像部分はオペレータが訓練モード中に定義することもできる。その場合は、テンプレート700Aは外来グリッドパターン304の代表的交点を含む。
擬似画像700Bは、テンプレート700A及び擬似画像600Aに基づいて正規化相互相関行列を決定することにより得られた結果を示している。擬似画像700B内の強度が大きくなると、相関性も強くなっている。正規化相互相関法、及び代替的テンプレートマッチング法が、“A Survey of Image Registration Techniques ” by L.G.Brown,ACM Computing Surveys,vol.24,no.4,pp.325−376,1992、に掲載されている。外来グリッドパターン304の様々な交点の位置は擬似画像700B内の強度ピークにより明確に示されている。
各ピークの実効中心又は重心は公知の方法により決定される。例えば、擬似画像600Bについてすでに述べたように、閾値を擬似画像700Bに適用することができ、得られる2値画像内の相関ピークに対応する「島」の重心を決定することもできる。700Cは、閾値を700Bに適用して得られる結果を示す。そのとき、外来画像特徴が線のグリッドからなる場合は、複数の線が中心又は重心のグリッドにフィットさせられる。線フィッティングはグリッド線の方向や公称空間等についての先験的知識に基づき行うこともできる。線は、関心領域のような画像の局部領域における限定された数の点の全体にフィットさせることもできる。いずれにせよ、画像内のグリッドに生じうるあらゆる歪みに対応する方法で線が配置される。
中心または重心にフィットさせられた線には、公称線幅の仕様、測定値のような先験的知識に基づいて、外来特徴の公称線幅に対応する幅(本発明における幾何学的特徴)が付与される。公称幅を有する線は、除去すべき外来画像データを表す。画像700Dは、このように解析的に決定された外部画像データを、図2の画像に重ね合わせて得られる画像である。
より一般的には、外来画像特徴が、仕様、測定値のような先験的知識に基づいて特徴付けできる幾何学的特徴からなる場合は、当該幾何学的特徴を、上記の方法に類似した方法にて決定された1つ以上の相関ピーク位置に対して、適当な方法でフィッティング又は配置することができる。このようにフィッティング又は配置された幾何学的特徴は、本発明に従って除去すべき外来画像データである。排除すべき外来画像データの形状にかかわらず、上記のように、緩衝領域を外来画像データに付け加えることもできる。
前記の第1および第2の包括タイプの方法のどちらが使用されるにせよ、結果として生じる外来画素は検査作業中に識別されて、検査画像データから除去される。例えば、オリジナル画像データは外来グリッドパターンによりマスクされることがある。
外来特徴データを識別及び除去するために使用可能な前記の第1及び第2包括タイプの方法の少なくとも1つは、図4に示した外来特徴識別・表示部160により実施可能である。
図5について説明したように、外来画像画素のセットは、外来画像画素又は外来画像データ(例えば、反復グリッドパターン304)がすでに除去されている表示エリアにより示され、除去データであると識別された画像部分、並びに、残りの有効画像データがオペレータにとって簡単に視覚的にはっきりと理解できるものになる。このことは、外来データ除去作業の結果の観察、確認にとっても、特徴検査作業の後続のオペレータ定義にとっても有益である。本発明の基本的なポイントは、あらゆるプログラム構造の下のあらゆる現在公知の、又は、今後開発される手段によって、外来データを後に画像解析作業から除去し、又は、画像解析作業には利用不能にすることができるように、外来データを識別することにある。
図8は、図5の拡大図であり、ワークのエッジセクションにおいて用いられる線ツールが表示された表示エリア300Cを示した図である。より詳しくは、セレクタ612を備えた線ツール610が、トレース330の左エッジ部分650上に配置されていることが示されている。運転中には、ユーザはセレクタ612を可能な限りトレース330のエッジの近くに配置する。図9との関連において以下でさらに詳細に説明するが、線ツール610は、その全長にわたってデータ点(例えば、画素)全体を走査する。
図9は、図8の線ツール610全体で得られた画像強度値を示したグラフ700を示す図である。図9に示したように、線ツール全体におけるデータ点は水平軸に沿って0〜60から参照され、有効データ領域は線ツールの領域14〜37に略等しい。無効データ領域710(領域0〜14)及び無効データ領域730(領域37〜60)は、線ツール610によりカバーされる白のバックグラウンド外来特徴セクションに対応している(図8参照)。有効データ領域720(領域14〜37)は、その領域において線ツール610全体で得られた画像強度値を示している。データ点15を始点として示したように、画像強度値は最初には明るい方の領域を示しており、終点としてのデータ点37に向かうにつれて、暗い方の領域を示す強度値の急落が起こる。以下でさらに詳細に検討するが、トレース330のエッジの位置を決定するために、画像処理アルゴリズムはこれらの画像強度値の急落のデータを利用することができる。
トレース330のエッジの位置の決定のために、アルゴリズムは第1エッジを所望の特性であると考えるのが一般的である。強度データにおいて最大の勾配を示す点がエッジと決定される。もし複数の勾配が線ツール610に沿って存在する場合には、セレクタ612の位置を頼りにして、アルゴリズムはいずれの勾配が所望のものであるかを決定することができる。アルゴリズムが上昇エッジと下降エッジのどちらを探すべきかを決定するのを助けるために、所定の表示(例えば、ツール610の方向)を利用することもできる。
図9に示したように、エッジを決定する際には、外来のものであると識別されたデータは既に除去されており、線ツール610からは完全に無視される(前述したように、無効データ領域710及び730は、グリッドパターン304が既に除去されている白いバックグラウンドセクションに対応している。)。このように、無効又は外来画像データは、画像化ツールの通常の動作に影響を与えない。有効勾配を決定するのに十分な画素が存在するかどうかといったような考察のために、このようなツールには有効なアルゴリズムが組込まれている。図5〜9を参照して説明された各作業では、線ツール610が通常の方法で動作することができるような形で外来データ(反復グリッドパターン304)を除去する。
図10は、図5におけるワークが表示されている表示エリア300Dを示す図であり、本実施形態において使用可能なエッジ位置検出用のボックス、円弧、点ツールを表すGUI部品と、自動焦点ツールGUI部品とが示されている。図10に示したように、表示エリア300Dには、ボックスツール部品810A及び810B、線ツール部品820、円弧ツール部品830、及び表面焦点ツールGUI部品840が表示されている。これらのビデオツール810〜840は事前に定義済みデフォルト設定とともに使用される。これらの設定はユーザにより調整又は再定義されるが、しかしツールを使用するための再定義は不要である。ツールは、事前に定義済み選択可能な設定とともに用いられる。エッジ焦点ツールGUI部品及び表面焦点ツールGUI部品の様々な動作特性については、QVPAK 3D CNC画像測定機ユーザーズガイド及びQVPAK 3D CNC画像測定機オペレーションガイドに一般的な説明が行われている。
ボックスツール部品810A及び810Bは、側面の矢印と中心のセレクタを備えたボックスである。ボックスは、関心領域を表示するか、又は定義し、矢印が決定及び検査すべきエッジを表示するまで、ボックスツール部品810A及び810Bはオペレータにより所定の寸法に形成され、配置され、回転させられる。ボックスツール部品810A及び810Bは、従来型のエッジ勾配を関心領域のエッジに沿って使用し、エッジは、セレクタの位置及び走査線に沿ったエッジ勾配の局所的な大きさに基づいて決定される。矢印の方向は、エッジ勾配と関連付けるべき参照方向又は極性を定義する。ボックスツール部品810A及び810Bの境界により示される関心領域の範囲は、調整可能かつ回転可能である。
線ツール部品820は勾配を画素の列に沿って決定する(図8の線ツール610について既に説明した作業に類似)。円弧ツール部品830は曲線(例えば、半径)を画像特徴のエッジについて決定する。線ツール部品820と円弧ツール部品830のいずれも、画像特徴のエッジが、セレクタの位置及び走査線に沿ったエッジ勾配の局所的な大きさに基づいて決定されるという点でボックスツール部品810A及び810Bについての作業に類似の作業を含んでいる。図12との関連において以下でさらに詳細に説明するが、ボックスツール部品810A及び810B及び円弧ツール部品830の作業において、走査線の多重使用を行ってもよい。
表面焦点ツール部品840は、中心に“X”を有するボックスである。ボックスが自動焦点関心領域を表示するか、又は定義するまで、表面焦点ツール部品840はオペレータにより所定の大きさに形成され、配置され、回転させられる。高さ決定又は表面仕上げ評価のような検査作業に使用される適切な表面部分を含めるために、表面焦点ツール部品840の関心領域の寸法を増減させることができる。表面焦点作業は、関心領域における表面テクスチャの定義や鮮明さを最大限に向上させる画像焦点や、関心領域における平滑な表面に投影されるパターンを提供することにより、表面のZ軸方向に沿った正確な座標値を提供し、あるいは、表面検査のための最も明瞭な画像を提供する座標に検査画像を提供する。自動焦点画像についての焦点値を決定するために使用される表面焦点測定基準は関心領域内のコントラストの程度を表している。
図11は、ボックスツール部品810A及び810Bを説明した図10の表示エリアの拡大部分としての表示エリア300Eを示す。図11に示したように、ボックスツール部品810A及び810Bは中央セレクタ部分912A及び912Bをそれぞれ含んでおり、これらのセレクタ部分は線ツール610のセレクタ部分と同様に動作する。図12との関連において以下でさらに詳細に説明するが、ボックスツール部品810Aはトレース320の左エッジのエッジ部分910、920、930及び940を包含し、一方、ボックスツール部品810Bはトレース320の右エッジのエッジ部分950、960及び970を包含する。
図12は、ボックスツール部品810A及び810B内における走査線の使用及び有効データ領域の選択を説明した図11の表示エリア300Eを示す図である。図12に示したように、エッジ部分910は1本の走査線1010を含み、エッジ部分920は4本の走査線1020を含み、エッジ部分930は4本の走査線1030を含んでいる。これらの走査線は、ボックスツールの作業に含まれる判定基準に従って、有効エッジデータが発見される可能性があるエリアを表示する。走査線の間隔はユーザ操作やプログラムに基づいて適宜調整することができる。
表示エリア300Eにおいては、有効データ領域がほとんど存在しないので、走査線の間隔を比較的狭くする(例えば、画素1列又は2列置き)ことが望ましい。エッジ部分940は走査線を含んでいないことに注意すべきである。これは、エッジ部分940が、走査線を設けたとしても、ボックスツール部品810Aの作業により十分な連続有効データを当該走査線に沿って含むことがなく、エッジ評価作業に貢献することができないからである。同様に、ボックスツール部品810B内では、エッジ部分950及び960は走査線を含んでいる一方、エッジ部分970は十分な連続有効データを含んでいないとして走査線を含んでいない。
ボックスツール部品810A及び810Bは、図4のビデオツール143の一部として用いることができるタイプのツールの一例である。前述したように、関心領域生成部150は、ビデオツール143に含まれる様々なビデオツールにおいて動作可能な関心領域を定義する自動、半自動、手動作業を支援することができる。ボックスツール部品810A及び810Bに関して、関心領域生成部150は、様々なビデオツールによる画像処理機能に伝送される有効データを制限又は識別する作業により役立つこともできる。なお、関心領域生成部150の作業と外来特徴識別・表示部160の作業とをまとめて、互いに区別できない状態で実行させてもよい。いずれの場合でも、以下で概説するように、外来特徴識別・表示部160の作業の起動は、画像検査システム10のオペレータによる外部特徴排除モードの起動に依存するようにすることもできる。関心領域生成部150は、無効データを決定するための追加的内部判定基準を有することもできる。例えば、走査線に関して、関心領域生成部150は、データが有効であると判断するために、有効データ走査線を事前選別し、走査線の両側に十分な有効データを要求することもでき、この基準を満たさない場合には、データは、外来特徴識別作業により識別された無効データとともに選別除外される。このように、関心領域生成部150の機能によって、有効データ点の全てを抽出することができ、無効データ点の全てを排除することができる。なお、このような作業は関心領域生成部150の作業よりもむしろ画像処理作業に含めてもよい。前述したように、関心領域生成部150は、事前選別作業を実施することもできる(例えば、公称エッジ位置を決定し、もし十分な有効画素が存在する場合は、それを有効走査線位置として決定することもできる)。
図13は、関心領域における画像処理作業から除去すべき外来特徴を有するワークを検査するためのパートプログラムを生成及び使用するためのルーチン1100を示すフローチャートである。ブロック1110では、画像処理作業から排除すべき外来特徴を有するワークを検査するためのパートプログラムが生成される。ブロック1120では、生成されたパートプログラムが実行される。ブロック1130では、画像処理作業から排除すべき外来特徴を有するワークがパートプログラムを用いて検査される。
図14は、外来特徴に対応する外来画素データを排除するためのルーチン1200を示すフローチャートである。ブロック1210では、検査対象のワークと、当該ワークに近接した外来特徴とを含んだ画像が取得される。ブロック1220では、画像システムの作業領域としての関心領域(ワークの少なくとも一部分を含む)が定義される。なお、関心領域は、有効データ領域と無効データ領域との双方を含むことがある。前述したように、ボックスなどのツールを提供することにより、ユーザが関心領域を定義するのを助けることができるユーザインターフェイスが利用される。複数の点ツールなどをユーザによって認識された有効データ領域に個々に慎重に配置する必要があった公知のシステムと対照的に、本実施形態では使い勝手が良いことに注意すべきである。本実施形態によれば、検査対象のワーク特徴を囲み有効データと無効データとの双方を含む領域の全体に渡って、ボックスツールなどの効率的な多点ツールを配置することができる。従って、存在する可能性のある外来データに特別の考慮を払うことなく、ユーザは、このような効率的な多点ツールを簡単に使用することができる。ブロック1230では、外来特徴に対応する外来画素データを排除する関心領域において、指定された作業が画像システムにより実施される。
以下でさらに詳細に検討するが、図14のルーチン1200は訓練モードと実行モードとの両方において実行可能である。ルーチン1200では、画像全体に渡って外来特徴の位置確認を行う必要がなく、関心領域内における外来特徴の位置確認を行うだけで十分である。このことが特に有益であるのは、画像の歪みやワーク歪みが(例えば、外来ファブリックグリッドなどによって)予想され、外来物体の解析的な定義が画像上に配置されつつある場合であり、この場合にも、フィットが要求されるのは局所的な関心領域内のみであるから、画像全体に渡った歪みにもかかわらず正確にフィットすることができる可能性が高くなる。
図15は、関心領域内における検査対象特徴に対する作業の結果を提供するルーチン1300を示すフローチャートである。ルーチン1300は、図14のブロック1230において実行することもできる。図15に示したように、ブロック1310では、外部特徴に対応する外来画素が識別される。ブロック1320では、識別された外来画素が除去される。これにより、外来画素が、関心領域内における検査対象特徴に対する作業に影響を与えることがなくなる。識別された外来画素の除去は、関心領域処理作業や画像処理作業、あるいはその両方において実施してもよい。このように、外来特徴に対応する外来画素が識別されて除去され、検査対象の特徴に対応する有効画素だけが以降の処理作業の処理対象になる。外来画素の除去は、各種のデータ選択操作(例えば、アドレス除去、置換、数学的演算、画像処理作業によるスクリーニングなど)によって実施することができる。ブロック1330では、関心領域内において検査対象特徴に対応する有効画素に対する作業が実施される。なお、この作業によって、エッジ検出、表面焦点合わせ、エッジ焦点合わせ、円弧測定などを行ってもよい。ブロック1340では、作業結果が表示/出力される。
図16は、関心領域内の検査対象特徴を対象とする作業に対して、関心領域内の公称走査線における定義された動作可能部分を提供するルーチン1400を示すフローチャートである。ルーチン1400は、図15のブロック1320において実行することができる。図16に示したように、ブロック1410では、外来特徴除去モードが手動、半自動、自動で選択される。ブロック1420では、ツールパラメータに基づいて、関心領域内の公称走査線が識別される。前述したように、ツールパラメータは走査線の間隔のような特徴と関連することがある。ブロック1430では、識別された外来画素が公称走査線から除去され、関心領域内の公称走査線の動作可能部分が定義される。このように、外来画素を実際に除去する作業は、この場合、関心領域タイプの作業において行われて公称走査線が動作可能走査線に精緻化され、公称走査線の動作可能部分だけが次のステップに送られる。なお、外来画素の除去は、特定の外来データ識別子、フラグ、数値等に基づく画像処理作業や、関心領域作業と画像処理作業とを組み合わせた作業などにおいて行ってもよい。ブロック1440では、関心領域内の公称走査線の動作可能部分が、関心領域内の検査対象特徴を対象とする作業に提供される。前述したように、この作業によって、エッジ検出、表面焦点合わせ、エッジ焦点合わせ、円弧測定などを行ってもよい。ルーチン1400が生成済み画像処理ツールを簡単に動作させることができるとともに、比較的ロバストであり、また、既存のシステムに加える必要がある主な変更がほとんど関心領域ジェネレータのみにあるという点で、ルーチン1400は特に有益である。関心領域ジェネレータは、一般的にはモード選択に対する応答を求められる唯一のコンポーネントでもある。
図17は、訓練モードやマニュアルモードにおいて、外来特徴識別、除去作業と関連したマスクモード及び作業を選択するために使用可能な制御部品1520とともに、ボックスツールGUI部品1510を示したものである。制御部品1520は、オンボタン1522およびオフボタン1524を含んでいる。オンボタン1522がマウスのクリックなどによって作動された場合には、関心領域の解析を可能にするために、ボックスツールと関連した様々な画像処理作業から外来画素を除去する自動作業が開始される。なお、その他のツールについて、類似の制御部品1520を設けることもできる。当然ながら、制御部品1520は、その他の多くの形態、例えば、分割された形態、複雑な多機能部品に含まれた形態、ビデオツール表示に直接的に含まれた形態、などで実現することが可能である。制御部品1520の本質的な特徴は、様々な画像処理、解析作業から外来画像データを識別、排除するための運転モードを起動/停止するために使用可能であるという点にある。
本実施形態では、外来特徴識別作業に関連するデモンストレーションモードを設けることもできる。制御部品1520は、以上で概説したように、例えば、比較可能な実行モード作業の結果をプレビューや模倣する外来特徴識別学習、訓練モードデモンストレーションを提供する自動作業を開始するために、マウスなどによって作動されるようにしてもよい。このようなデモンストレーションは、その有効性や関連するプログラミングのパラメータ、命令を確認、拒否するために、マシンオペレータによって評価されるようにしてもよい。
なお、外来特徴除去モードが既に進行中である状況においては、制御部品1520は、例えば、完全に定義あるいは訓練された外来特徴識別作業の設定を受け入れるために、あるいは、訓練モード外来特徴識別デモンストレーションを回避するために、あるいは、訓練モード外来特徴識別デモンストレーションの結果として提供される評価画像によって示される結果を受け入れるために、マウスなどによって作動されるようにしてもよく、これによって追加的な訓練モード作業に移行させてもよい。言い換えれば、制御部品1520の動作が、機械を既に外来特徴除去モードに設定しているより高いレベルのコマンド又はバックグラウンドコマンドが存在するか否かに依存するようにしてもよい。例えば、外来特徴が検査対象特徴を含む画像のほとんどの部分を覆っている場合(例えば、反復グリッドパターン304が外来特徴として存在している場合)に、このようなモードが適切である。前述した外来特徴識別ツール、部品は、個別に利用してもよいし、組み合せて利用してもよい。また、GUI部品、制御部は、以上に説明した形態に限定されることはなく、他の形態をとることもできる。
図18は、外来特徴識別マスクモードセレクタ1610を含むグラフィカルユーザインターフェイスツールバーウインドウ1600を示す。ツールバーウインドウ1600の残りの部分は、前記のQVPAKTMソフトウェアにおいて提供されているものに類似している。マスクモードセレクタ1610は、グローバルマスクモードのために画像上にドラッグしてもよいし、ツール固有マスクモードのために個々のツール上にドラッグしてもよい。ツールは、マスクモードにおいて反射する部品を有することもできる。なお、マスクモードセレクタ1610はツールバー1600上に留まり、トグル機能を提供することもできる。マスクモードセレクタ1610がトグルによりオンになった場合は、ビデオツールがドラッグによりツールバー1600から離されてマスクモードになり、また、ビデオツールはマスクモードにあることを示す視覚的特徴を備えることもできる。ユーザインターフェイスは半自動外来画素識別法を支援することができ、この場合は、マスクモードが起動されると、ツールはユーザに半自動技術を選択するかどうかを問い合わせることも、ユーザが選択するためのいくつかの代替案を表示することもできる。すなわち、学習モードにおいては、ユーザは関心領域をクリックし、ユーザが除去したいと思うタイプの外来特徴上にカーソルを配置することができ、次に、システムが外来特徴を除去するためにいくつかの異なる方法を適用し、そして、システムは、最高の結果を提供する方法をユーザが主体的に選択し、その方法が使用されるモードとすることができるように、いくつかの方法の結果を表示する。ユーザインターフェイスによる半自動外来画素識別法の支援の例としては、閾値技術の利用と形態論技術との組合せ、テクスチャーツールと領域成長補完との組合せ、解析的パターンインポートとアラインメントの組合せ等がある。マスクモードが起動され、あるいは動作中であって、外来画素がビデオツールと関連した関心領域内において満足できる状態で確認された場合は、画像検査システムはこの状態を認識するプログラム命令に基づいて、関心領域内におけるビデオツールと関連した作業から外来画素を除去する。
図19は、マスクモード部品に関連した学習モード作業を実施するためのルーチン1700を示すフローチャートである。ブロック1710では、学習/訓練モードが入力される。ブロック1712では、関心領域内において除去すべき画素を識別するために使用可能な作業が提供される。ブロック1714では、マスクモードを関心領域内に設定するために使用可能なマスクモード起動/停止部品が提供される。
ブロック1720では、画像が取得される。ブロック1722では、ツールが訓練のためにセットアップされる。決定ブロック1724では、マスクモードが選択されたかどうかについての決定が行われる。以下でさらに詳細に説明するが、マスクモードが選択されない場合(No)は、ルーチンはブロック1740へと進む。マスクモードが選択された場合(Yes)は、ルーチンはブロック1730へと進む。
ブロック1730では、関心領域内の除去画素が識別/表示される。決定ブロック1732では、ブロック1730の結果が受け入れ可能であるかどうかについての決定が行われる。本実施形態では、手動、半自動、自動で決定を行うことができる。結果が受け入れ不能である場合(No)は、ルーチンはブロック1734へと進み、代替作業が選択され、あるいは、除去すべき画素を識別するための作業が修正された後、ルーチンはブロック1730に戻る。決定ブロック1732において、結果が受け入れ可能である場合(Yes)は、ルーチンはブロック1736へと進み、関心領域と関連したツールパラメータまたは作業が設定され、そのツールによるワーク特徴解析作業から除去対象画素が除去される。
ブロック1740では、ツールが訓練される。ブロック1742では、ツール訓練作業の結果が表示される。決定ブロック1744では、ツール訓練作業の結果が受け入れ可能であるかどうか(例えば、予想されたエッジが発見されたか、あるいは、その発見位置が予想通りであるか等)についての決定が行われる。結果が受け入れ不能である場合(No)は、ルーチンはブロック1722に戻る。結果が受け入れ可能である場合(Yes)は、ルーチンは決定ブロック1746へと進む。
決定ブロック1746では、さらに訓練作業を実施するかどうかについての決定が行われる。さらに訓練作業を実施すべきである場合(Yes)は、ルーチンは1720に戻る。さらに訓練作業を実施すべきではない場合(No)は、ルーチンはブロック1748へと進み、パートプログラムが保存され、学習モードが終了される。
標準タイプのビデオツールを用いることができ、カスタマイズされた作業の必要がないという点において、ルーチン1700はユーザにとって簡単な作業を提供することができる。つまり、ユーザがカスタマイズされた作業を実施するためにスクリプト言語を用いる必要がなくなる。さらには、以上のようなシステムは、未熟練のユーザであっても使用することができる事前プログラム化アイコン等の使用を可能にする。また、前述したように、関心領域は有効データと無効データとの両方を包含することができる。従って、ユーザは個々の点ツールを有効データ領域の全体にわたって配置する必要がなくなる。
最小限の「レトロフィット」改造を行えば、あるいは、何らの「レトロフィット」改造を行わなくても、既存の画像検査システムに本発明によるシステム、方法を適用することができ、当該既存の画像検査システムの外来特徴識別能力、ロバスト性、汎用性を本発明の原理にしたがってさらに向上させることができる。本発明の原理にしたがう画像検査ソフトウェア方法、修正を追加するだけでレトロフィット改造を行うこともできる。
以上、本発明の実施形態について説明を行ったが、本実施形態に関する様々な代替物、修正、変更、改良、実質的均等物は、公知のものであれ、未公知のものであれ、当業者には明白になるはずである。このように、本発明の実施形態は、説明を目的としたものであって、本発明の限定を目的としたものではない。そのため、本発明の精神及び範囲から逸脱することなく、様々な変更を行うこともできる。従って、本発明の技術的範囲には、全ての公知/未公知の代替物、修正、変更、改良、実質的均等物が、当然含まれるものである。
本発明は、画像検査に利用することができる。
本発明の実施形態に係る画像検査システムを示す斜視図である。 検査対象のワークが表示されている画像検査システムの表示エリアの一部分を示した図である。 図2と同様の表示エリアを示す図である。 図1の画像検査システムの画像測定機及び制御システムの構成を示したブロック図である。 外来データが除去された図2に示される表示エリアを示した図である。 外来特徴に対応する画素を識別及び除去するために使用可能な第1包括タイプの方法の1つの実施例を説明した中間画像又は擬似画像を示す図である。 外来特徴に対応する画素を識別及び除去するために使用可能な第2包括タイプの方法の1つの実施例を説明した中間画像又は擬似画像を示す図である。 図5の拡大図であり、ワークのエッジセクションにおいて用いられる線ツールが表示された表示エリアを示した図である。 図8の線ツール全体で得られた画像強度値を示したグラフを示す図である。 図5におけるワークが表示されている表示エリアを示す図であり、本実施形態において使用可能なエッジ位置検出用のボックス、円弧、点ツールを表すGUI部品と、自動焦点ツールGUI部品とが示されている図である。 ボックスツール部品を説明した図10の表示エリアの拡大部分としての表示エリアを示す図である。 ボックスツール部品内における走査線の使用及び有効データ領域の選択を説明した図11の表示エリアを示す図である。 関心領域における画像処理作業から除去すべき外来特徴を有するワークを検査するためのパートプログラムを生成及び使用するためのルーチンを示すフローチャートである。 外来特徴に対応する外来画素データを排除するためのルーチンを示すフローチャートである。 関心領域内における検査対象特徴に対する作業の結果を提供するルーチンを示すフローチャートである。 関心領域内の検査対象特徴を対象とする作業に対して、関心領域内の公称走査線における定義された動作可能部分を提供するルーチンを示すフローチャートである。 訓練モードやマニュアルモードにおいて、外来特徴識別、除去作業と関連したマスクモード及び作業を選択するために使用可能な制御部品とともに、ボックスツールGUI部品を示した図である。 外来特徴識別マスクモードセレクタを含むグラフィカルユーザインターフェイスツールバーウインドウを示す図である。 マスクモード部品に関連した学習モード作業を実施するためのルーチンを示すフローチャートである。
符号の説明
10…画像検査システム
20…ワーク
100…制御システム
102…表示装置
104…入力装置
110…入出力インターフェイス
120…コントローラ
130…メモリ
132…動作制御部
133…照明制御部
133A〜133N…光制御素子
143…ビデオツール制御部
143A〜143M…ビデオツール
150…関心領域生成部
160…外来特徴識別・表示部
170…ワークプログラム生成・実行部
180…ファイル特徴抽出部
200…画像測定機
205…光学画像システム
210…ワークステージ
220,230,240…光源
250…光学アセンブリ
252…対物レンズ
260…カメラシステム
280…タレットレンズアセンブリ
286,288…レンズ
294…モータ
302…バックグラウンド層
304…グリッド
610…線ツール
612…セレクタ
810A,B…ボックスツール部品
820…線ツール部品
830…円弧ツール部品
840…表面焦点ツール部品
1520…制御部品
1600…グラフィカルユーザインターフェイスツールバーウインドウ
1610…マスクモードセレクタ

Claims (21)

  1. 画像検査システムにより取得されるワークの画像検査方法であって、
    外来特徴を含む画像を取得する工程と、
    前記画像検査システムにおけるユーザインターフェイスを介して提供されるビデオツールについて関心領域を定義する工程と、
    前記関心領域内において前記外来特徴に対応する外来画素を識別する工程と、
    識別された前記外来画素を前記関心領域から除去する工程と、
    前記外来画素が除去された前記関心領域に対して前記ビデオツールを用いた所定の作業を行う工程と、
    を有し、
    前記外来画素を識別する工程では、
    前記外来特徴の少なくとも一部分のテンプレートを決定する工程と、
    前記テンプレートおよび検査画像に基づいて相関作業を実施し、前記テンプレートと略適合する前記検査画像内の特徴に対応する相関ピーク位置を識別する工程と、
    前記ワークについての先験的な知識に基づいて、前記外来特徴の少なくとも一部分に対応する幾何学的特徴を特徴付ける工程と、
    前記幾何学的特徴を前記相関ピーク位置に対して配置する工程と、
    配置された前記幾何学的特徴に対応する画素を前記外来画素として識別する工程と、
    が設けられることを特徴とする画像検査方法。
  2. 請求項1に記載の画像検査方法において、
    前記外来特徴が、グリッド状の特徴、及び、フラットパネルディスプレイスクリーンマスクにおけるグリッド状の特徴、の少なくともいずれかを含む、
    ことを特徴とする画像検査方法。
  3. 請求項1または請求項2に記載の画像検査方法において、
    前記関心領域内において識別された前記外来画素以外の画素に対応する画像データが、前記ビデオツールを用いた前記作業より前には修正されない、
    ことを特徴とする画像検査方法。
  4. 請求項1から請求項3のいずれかに記載の画像検査方法において、
    前記関心領域内において前記外来画素を識別する工程では、
    前記外来特徴に対応するものと推定される画素の第1セットを識別する工程と、
    前記第1セットの画素に隣接する緩衝領域を構成する画素の第2セットを決定する工程と、
    前記第1および第2セットに対応する画素を前記外来画素に含める工程と、
    が設けられることを特徴とする画像検査方法。
  5. 請求項4に記載の画像検査方法において、
    前記第2セットを決定する工程では、前記第1セットに対してディレーション作業を行う、
    ことを特徴とする画像検査方法。
  6. 請求項1から請求項5のいずれかに記載の画像検査方法において、
    前記外来画素は、前記関心領域内においてのみ識別される、
    ことを特徴とする画像検査方法。
  7. 請求項1から請求項6のいずれかに記載の画像検査方法において、
    前記ユーザインターフェイスによって、前記外来画素を識別する作業が起動される前記画像検査システムの作業モードの開始、および、前記外来画素を識別する作業が起動される前記画像検査システムの作業モードのオン状態の表示、の少なくともいずれかを実行することが可能である、
    ことを特徴とする画像検査方法。
  8. 請求項1から請求項7のいずれかに記載の画像検査方法において、
    前記ユーザインターフェイスによって、前記外来画素を識別する作業が起動される前記画像検査システムの作業モードの停止を実行することが可能である、
    ことを特徴とする画像検査方法。
  9. 請求項1から請求項7のいずれかに記載の画像検査方法において、
    前記関心領域を定義する工程では、
    前記ビデオツールの関心領域表示部品を使用して前記関心領域を定義し、
    前記外来画素を識別する作業が起動される前記画像検査システムの作業モードの開始、および、オン状態の表示、の少なくともいずれかが、前記ビデオツールに関連するモード状態表示手段およびモード制御手段の少なくともいずれかによって実行される、
    ことを特徴とする画像検査方法。
  10. 請求項1から請求項9のいずれかに記載の画像検査方法において、
    前記外来画素を識別する工程では、前記外来画素に対応する領域を識別するための閾値技術と、識別された当該領域の境界における異常部分をフィルタリングするための形態論技術と、を使用する、
    ことを特徴とする画像検査方法。
  11. 請求項1から請求項10のいずれかに記載の画像検査方法において、
    前記画像検査システムは、前記外来画素を識別する作業が起動される作業モードを有し、
    前記ユーザインターフェイスは、前記作業モードを起動するための制御部品を有する、
    ことを特徴とする画像検査方法。
  12. 請求項1から請求項11のいずれかに記載の画像検査方法において、
    前記画像検査システムは、所定の外来画素識別作業を行い、
    前記ユーザインターフェイスは、画像に適用すべき前記外来画素識別作業のサブセット、および、画像に適用すべき前記外来画素識別作業を制御するパラメータ、の少なくともいずれかを決定するためにオペレータによって使用可能な特徴を含んで構成され、
    前記外来画素を識別する工程では、オペレータによって、前記サブセットおよび前記パラメータの少なくともいずれかが選択される、
    ことを特徴とする画像検査方法。
  13. 請求項12に記載の画像検査方法において、
    前記外来画素を識別する工程では、
    前記オペレータによる前記サブセットおよび前記パラメータの少なくともいずれかの選択に応じて外来画素のセットを識別する工程と、
    オリジナルの検査画像における所定の位置に重ね合わされた前記外来画素のセットの表示を提供する工程と、
    前記表示に基づいて前記オペレータが前記外来画素のセットを承認する工程と、
    が設けられ、
    前記ビデオツールを用いた前記作業を行う前に、前記オペレータによる承認が行われる、
    ことを特徴とする画像検査方法。
  14. 請求項13に記載の画像検査方法において、
    当該画像検査方法は、前記画像検査システムの訓練モード中に実施され、
    前記ビデオツールを用いた前記作業を行う前に前記オペレータによる承認が行われる場合には、前記オペレータによる前記サブセットおよび前記パラメータの少なくともいずれかの選択に対応する制御命令が、前記ワークの自動検査のためのパートプログラム内にある、
    ことを特徴とする画像検査方法。
  15. 請求項1から請求項14のいずれかに記載の画像検査方法において、
    前記関心領域内において前記外来画素を識別するために使用される作業の第1セットが、前記ビデオツールを用いた前記作業を行うために使用される作業の第2セットが開始される前に行われる、
    ことを特徴とする画像検査方法。
  16. 請求項15に記載の画像検査方法において、
    前記画像検査システムの作業を制御するために使用されるプログラムのソースコードにおいて、前記作業の第1セットを行うためのプログラム命令の間には、前記作業の第2セットを行うためのプログラム命令が入り込まない、
    ことを特徴とする画像検査方法。
  17. 外来特徴を含むワークの画像を検査可能な画像検査システムであって、
    外来特徴を含む画像を取得する画像取得手段と、
    ユーザインターフェイスを介して提供される各ビデオツールについて関心領域を定義する関心領域定義手段と、
    前記関心領域内において前記外来特徴に対応する外来画素を識別する外来画素識別手段と、
    識別された前記外来画素を前記関心領域から除去する外来画素除去手段と、
    前記外来画素が除去された前記関心領域に対して前記ビデオツールを用いた所定の作業を行うビデオツール作業手段と、
    を有し、
    前記外来画素識別手段は、
    前記外来特徴の少なくとも一部分のテンプレートを決定し、
    前記テンプレートおよび検査画像に基づいて相関作業を実施し、前記テンプレートと略適合する前記検査画像内の特徴に対応する相関ピーク位置を識別し、
    前記ワークについての先験的な知識に基づいて、前記外来特徴の少なくとも一部分に対応する幾何学的特徴を特徴付け、
    前記幾何学的特徴を前記相関ピーク位置に対して配置し、
    配置された前記幾何学的特徴に対応する画素を前記外来画素として識別する処理を行う
    ことを特徴とする画像検査システム。
  18. 請求項17に記載の画像検査システムにおいて、
    前記外来画素除去手段は、前記外来画素識別手段によって識別された前記外来画素を自動的に除去する、
    ことを特徴とする画像検査システム。
  19. 請求項17または請求項18に記載の画像検査システムにおいて、
    前記ユーザインターフェイスによって、前記外来画素を識別する作業が起動される前記画像検査システムの作業モードの開始、および、前記外来画素を識別する作業が起動される前記画像検査システムの作業モードのオン状態の表示、の少なくともいずれかを実行することが可能である、
    ことを特徴とする画像検査システム。
  20. 請求項17から請求項19のいずれかに記載の画像検査システムにおいて、
    前記関心領域定義手段は、前記ビデオツールの関心領域表示部品を使用して前記関心領域を定義し、
    前記外来画素を識別する作業が起動される前記画像検査システムの作業モードの開始、および、オン状態の表示、の少なくともいずれかが、前記ビデオツールに関連するモード状態表示手段およびモード制御手段の少なくともいずれかによって実行される、
    ことを特徴とする画像検査システム。
  21. 請求項17から請求項20のいずれかに記載の画像検査システムにおいて、
    前記外来画素識別手段は、所定の外来画素識別作業を行い、
    前記ユーザインターフェイスは、画像に適用すべき前記外来画素識別作業のサブセット、および、画像に適用すべき前記外来画素識別作業を制御するパラメータ、の少なくともいずれかを決定するためにオペレータによって使用可能な特徴を含んで構成され、
    前記外来画素識別手段は、オペレータによる前記サブセットおよび前記パラメータの少なくともいずれかの選択に応じて前記外来画素を識別する、
    ことを特徴とする画像検査システム。
JP2005084681A 2004-03-25 2005-03-23 画像検査方法および画像検査システム Expired - Fee Related JP4641441B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/808,948 US7324682B2 (en) 2004-03-25 2004-03-25 System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system

Publications (2)

Publication Number Publication Date
JP2005274576A JP2005274576A (ja) 2005-10-06
JP4641441B2 true JP4641441B2 (ja) 2011-03-02

Family

ID=34862086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005084681A Expired - Fee Related JP4641441B2 (ja) 2004-03-25 2005-03-23 画像検査方法および画像検査システム

Country Status (4)

Country Link
US (1) US7324682B2 (ja)
EP (1) EP1580693A3 (ja)
JP (1) JP4641441B2 (ja)
CN (1) CN1699916B (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266420B2 (en) * 2004-04-03 2007-09-04 Gerald Walter Budd Automatic detection system for broken tools in CNC machining centers using advanced machine vision techniques
EP1763756A4 (en) * 2004-05-21 2009-05-06 Pressco Tech Inc USER CONFIGURATION INTERFACE OF A GRAPHICAL REINSPECTION
KR101079599B1 (ko) * 2004-08-06 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US7698010B2 (en) * 2004-09-29 2010-04-13 Haeger, Inc. Methods, systems and computer program products for altering video images to aid an operator of a fastener insertion machine
US7583852B2 (en) * 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US7627162B2 (en) * 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
DE102005009536A1 (de) * 2005-02-25 2006-08-31 Carl Zeiss Sms Gmbh Verfahren zur Maskeninspektion im Rahmen des Maskendesigns und der Maskenherstellung
US8311311B2 (en) * 2005-10-31 2012-11-13 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
US8126253B2 (en) * 2005-11-12 2012-02-28 Cognex Technology And Investment Corporation Automatically determining machine vision tool parameters
EP1960964A1 (en) * 2005-12-16 2008-08-27 Thomson Licensing Method, apparatus and system for color component registration
US7567713B2 (en) * 2006-02-08 2009-07-28 Mitutoyo Corporation Method utilizing intensity interpolation for measuring edge locations in a high precision machine vision inspection system
US7570795B2 (en) * 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
US7769222B2 (en) * 2006-10-27 2010-08-03 Mitutoyo Corporation Arc tool user interface
US7925075B2 (en) * 2007-05-07 2011-04-12 General Electric Company Inspection system and methods with autocompensation for edge break gauging orientation
DE102007036811B3 (de) * 2007-08-03 2008-12-18 Vistec Semiconductor Systems Gmbh Vorrichtung und Verfahren zum Erfassen der gesamten Oberfläche eines Wafers
US8085295B2 (en) * 2007-10-26 2011-12-27 Mitutoyo Corporation Controllable micro light assembly
WO2010016137A1 (ja) * 2008-08-07 2010-02-11 株式会社ケー・デー・イー 検査システム
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8581162B2 (en) * 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US8271895B2 (en) * 2010-03-22 2012-09-18 Mitutoyo Corporation GUI for programming step and repeat operations in a machine vision inspection system
US8194251B2 (en) 2010-08-26 2012-06-05 Mitutoyo Corporation Method for operating a dual beam chromatic point sensor system for simultaneously measuring two surface regions
US8456637B2 (en) 2010-08-26 2013-06-04 Mitutoyo Corporation Multiple measuring point configuration for a chromatic point sensor
US8648906B2 (en) 2010-10-13 2014-02-11 Mitutoyo Corporation Precision solder resist registration inspection method
US8773526B2 (en) 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
CN102162722A (zh) * 2010-12-30 2011-08-24 广东万濠精密仪器股份有限公司 密集型多边测量工件之影像寻边方法
US8280172B1 (en) * 2011-03-22 2012-10-02 Mitutoyo Corporation Edge location measurement correction for coaxial light images
US8269830B1 (en) 2011-04-14 2012-09-18 Mitutoyo Corporation Inspecting potentially interfering features in a machine vision system
US9080855B2 (en) 2011-09-23 2015-07-14 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system
CN103092577A (zh) * 2011-10-28 2013-05-08 鸿富锦精密工业(深圳)有限公司 三维影像量测程序生成系统及方法
US8957960B2 (en) 2011-11-15 2015-02-17 Mitutoyo Corporation Machine vision system program editing environment including real time context generation features
US9223306B2 (en) 2011-11-15 2015-12-29 Mitutoyo Corporation System and method utilizing an editing initialization block in a part program editing environment in a machine vision system
US8902307B2 (en) 2011-11-15 2014-12-02 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
DE102012220759A1 (de) 2011-11-15 2013-06-27 Mitutoyo Corporation Programmbearbeitungsumgebung eines maschinell sehenden Systems mit synchronisierten Benutzerschnittstellenmerkmalen
US9013574B2 (en) 2011-11-15 2015-04-21 Mitutoyo Corporation Machine vision system program editing environment including synchronized user interface features
US9167215B2 (en) 2011-11-15 2015-10-20 Mitutoyo Corporation Machine vision system editing environment for a part program in which a continuous stream of image acquisition operations are performed during a run mode
US20130162806A1 (en) 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
DE112012005389T5 (de) * 2011-12-23 2014-09-11 Mitutoyo Corp. "Points-from-Focus"-Operationen, die mehrere Beleuchtungseinstellungen in einem maschinell sehenden System verwenden
US10599944B2 (en) * 2012-05-08 2020-03-24 Kla-Tencor Corporation Visual feedback for inspection algorithms and filters
US8989511B1 (en) * 2012-06-28 2015-03-24 Western Digital Technologies, Inc. Methods for correcting for thermal drift in microscopy images
US8937654B2 (en) 2012-08-22 2015-01-20 Mitutoyo Corporation Machine vision inspection system comprising two cameras having a rotational offset
US9177222B2 (en) 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
US8689127B1 (en) 2012-11-05 2014-04-01 Mitutoyo Corporation Edge measurement video tool parameter-setting user interface
US8885945B2 (en) 2012-12-27 2014-11-11 Mitutoyo Corporation Method for improving repeatability in edge location results of a machine vision inspection system
US10477154B2 (en) 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
US8995749B2 (en) 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9304089B2 (en) 2013-04-05 2016-04-05 Mitutoyo Corporation System and method for obtaining images with offset utilized for enhanced edge resolution
US8917940B2 (en) 2013-04-26 2014-12-23 Mitutoyo Corporation Edge measurement video tool with robust edge discrimination margin
US9235337B2 (en) 2013-05-09 2016-01-12 Mitutoyo Corporation System, GUI and method for editing step and repeat operation instructions in a machine vision inspection system
CN105264474B (zh) 2013-05-13 2018-10-09 株式会社三丰 包括操作上下文感知复制和粘贴特征的机器视觉系统程序编辑环境
US9350921B2 (en) 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9456120B2 (en) 2013-07-11 2016-09-27 Mitutoyo Corporation Focus height repeatability improvement in a machine vision inspection system
US9444995B2 (en) 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
CN104551865A (zh) * 2013-10-17 2015-04-29 鸿富锦精密工业(深圳)有限公司 影像量测系统及方法
US9182583B2 (en) 2013-11-15 2015-11-10 Mitutoyo Corporation Structured illumination microscopy optical arrangement including projection artifact supression element
US9726876B2 (en) * 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US10178321B2 (en) * 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
US20150178484A1 (en) 2013-12-20 2015-06-25 Mitutoyo Corporation Remote Accessory Management in a Programming Environment for a Progammable Metrology System
CN103674857B (zh) * 2013-12-23 2015-09-30 中国科学院自动化研究所 基于机器视觉的牧草饲料检测系统和方法
US9606525B2 (en) 2013-12-23 2017-03-28 Mitutoyo Corporation Remote accessory for generating customized and synchronized reference notes for a programmable metrology system
DE102015208337A1 (de) 2014-06-17 2015-12-17 Mitutoyo Corp. Bearbeitungsumgebung eines maschinellen sichtsystems für ein teileprogramm, in dem ein durchgehender datenstrom von bilderfassungsvorgängen in einem laufmodus ausgeführt wird
US9740190B2 (en) 2014-10-09 2017-08-22 Mitutoyo Corporation Method for programming a three-dimensional workpiece scan path for a metrology system
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
US9261351B1 (en) 2015-03-04 2016-02-16 Mitutoyo Corporation Chromatic range sensor including high sensitivity measurement mode
US9602715B2 (en) 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6599698B2 (ja) * 2015-08-31 2019-10-30 株式会社ミツトヨ 画像測定装置及びその制御プログラム
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
US9774765B2 (en) 2015-09-15 2017-09-26 Mitutoyo Corporation Chromatic aberration correction in imaging system including variable focal length lens
US9930243B2 (en) 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9961253B2 (en) 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US9736355B1 (en) 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US10262404B2 (en) * 2016-06-14 2019-04-16 General Electric Company Method and system for articulation of a visual inspection device
CN109073366A (zh) * 2016-06-20 2018-12-21 三洋机工株式会社 粘接剂检查装置及粘接剂检查方法
US10151962B2 (en) 2016-09-29 2018-12-11 Mitutoyo Corporation Variable focal length lens system with focus monitoring and control
US10142550B2 (en) 2016-11-15 2018-11-27 Mitutoyo Corporation Extending a focus search range in an imaging system including a high speed variable focal length lens
DE102017220101A1 (de) 2016-11-23 2018-05-24 Mitutoyo Corporation Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
US10101572B2 (en) 2016-11-23 2018-10-16 Mitutoyo Corporation Variable focal length lens system with multi-level extended depth of field image processing
JP6858878B2 (ja) * 2017-02-28 2021-04-14 クオリティー ヴィジョン インターナショナル インコーポレイテッドQuality Vision International, Inc. 3dモデルの試験対象物への自動アライメント
US10768404B2 (en) 2017-03-22 2020-09-08 Mitutoyo Corporation Modulation monitoring system for use with an imaging system that includes a high speed periodically modulated variable focal length lens
DE102017109698A1 (de) * 2017-05-05 2018-11-08 Carl Zeiss Microscopy Gmbh Bestimmen von Kontextinformation für Wechselkomponenten eines optischen Systems
CN107561875B (zh) * 2017-09-06 2019-12-24 上海华力微电子有限公司 一种套刻误差量测和问题评估的方法
CN107479334B (zh) * 2017-09-06 2019-08-23 上海华力微电子有限公司 一种线宽量测和问题评估的方法
US10225457B1 (en) 2017-09-06 2019-03-05 Mitutoyo Corporation Stabilizing operation of a high speed variable focal length tunable acoustic gradient lens in an imaging system
US10341646B2 (en) 2017-09-29 2019-07-02 Mitutoyo Corporation Variable focal length lens system with optical power monitoring
US10171725B1 (en) 2017-12-21 2019-01-01 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10281700B1 (en) 2017-12-21 2019-05-07 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10578827B2 (en) 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
US10812701B2 (en) 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
CN111382615A (zh) * 2018-12-28 2020-07-07 致茂电子(苏州)有限公司 影像检测方法
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
CN109900720B (zh) * 2019-03-22 2021-05-11 武汉艾维视智能技术有限公司 一种适应不同网板光学检测光源亮度自动调整方法及系统
US11313671B2 (en) 2019-05-28 2022-04-26 Mitutoyo Corporation Chromatic confocal range sensing system with enhanced spectrum light source configuration
CN110404985A (zh) * 2019-08-29 2019-11-05 福建三钢闽光股份有限公司 一种基于机器视觉的冷床智能控制系统及其使用方法
US11573498B2 (en) 2019-08-30 2023-02-07 Mitutoyo Corporation Fast high power pulsed light source system for high speed metrology imaging
JP7162750B2 (ja) * 2019-09-12 2022-10-28 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及び、プログラム
CN112749705B (zh) * 2019-10-31 2024-06-11 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
US10880468B1 (en) 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11249225B2 (en) 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
US11587246B2 (en) * 2020-10-30 2023-02-21 Mitutoyo Corporation Metrology system with projected pattern for points-from-focus type processes
US11486694B2 (en) 2020-12-18 2022-11-01 Mitutoyo Corporation Chromatic range sensor system for measuring workpiece thickness
JP2022134809A (ja) 2021-03-04 2022-09-15 株式会社リコー 画像検査装置及び画像形成装置
US20230032656A1 (en) 2021-07-29 2023-02-02 Mitutoyo Corporation Chromatic range sensor system including camera
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
CN114998357B (zh) * 2022-08-08 2022-11-15 长春摩诺维智能光电科技有限公司 基于多信息分析的工业检测方法、系统、终端和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481712A (en) * 1993-04-06 1996-01-02 Cognex Corporation Method and apparatus for interactively generating a computer program for machine vision analysis of an object
US5859698A (en) * 1997-05-07 1999-01-12 Nikon Corporation Method and apparatus for macro defect detection using scattered light
JP2000076431A (ja) * 1998-08-31 2000-03-14 Canon Inc 画像処理装置、画像処理方法、及び記憶媒体
JP2001212119A (ja) * 2000-02-04 2001-08-07 Canon Inc 画像取得装置及び画像取得方法
JP2002199216A (ja) * 2000-11-02 2002-07-12 Xerox Corp 自動画像処理技術を対話式に使用し、訓練する方法
JP2002325755A (ja) * 2001-05-01 2002-11-12 Canon Inc 放射線画像処理装置、画像処理システム、放射線画像処理方法、プログラムを記録したコンピュータ読出可能な記録媒体、及びプログラム
JP2003260053A (ja) * 2002-03-12 2003-09-16 Canon Inc 放射線画像処理装置、放射線画像処理システム、放射線撮影システム、放射線撮影装置、放射線画像処理方法、コンピュータ可読記憶媒体、及びプログラム
US20040015938A1 (en) * 2001-05-09 2004-01-22 Sun Microsystems, Inc. Method, system, program, and data structures for using a database to apply patches to a computer system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975972A (en) * 1988-10-18 1990-12-04 At&T Bell Laboratories Method and apparatus for surface inspection
JPH05256791A (ja) * 1992-03-13 1993-10-05 Komatsu Ltd 基板の欠陥検査装置
US5859923A (en) * 1992-12-29 1999-01-12 Cognex Corporation Mark quality inspection apparatus and method
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6542180B1 (en) * 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
CA2437454A1 (en) * 2001-02-01 2002-08-22 Creatv Microtech, Inc. Anti-scatter grids and collimator designs, and their motion, fabrication and assembly

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481712A (en) * 1993-04-06 1996-01-02 Cognex Corporation Method and apparatus for interactively generating a computer program for machine vision analysis of an object
US5859698A (en) * 1997-05-07 1999-01-12 Nikon Corporation Method and apparatus for macro defect detection using scattered light
JP2000076431A (ja) * 1998-08-31 2000-03-14 Canon Inc 画像処理装置、画像処理方法、及び記憶媒体
JP2001212119A (ja) * 2000-02-04 2001-08-07 Canon Inc 画像取得装置及び画像取得方法
JP2002199216A (ja) * 2000-11-02 2002-07-12 Xerox Corp 自動画像処理技術を対話式に使用し、訓練する方法
JP2002325755A (ja) * 2001-05-01 2002-11-12 Canon Inc 放射線画像処理装置、画像処理システム、放射線画像処理方法、プログラムを記録したコンピュータ読出可能な記録媒体、及びプログラム
US20040015938A1 (en) * 2001-05-09 2004-01-22 Sun Microsystems, Inc. Method, system, program, and data structures for using a database to apply patches to a computer system
JP2003260053A (ja) * 2002-03-12 2003-09-16 Canon Inc 放射線画像処理装置、放射線画像処理システム、放射線撮影システム、放射線撮影装置、放射線画像処理方法、コンピュータ可読記憶媒体、及びプログラム

Also Published As

Publication number Publication date
US20050213807A1 (en) 2005-09-29
CN1699916A (zh) 2005-11-23
EP1580693A3 (en) 2011-11-02
JP2005274576A (ja) 2005-10-06
CN1699916B (zh) 2010-10-06
US7324682B2 (en) 2008-01-29
EP1580693A2 (en) 2005-09-28

Similar Documents

Publication Publication Date Title
JP4641441B2 (ja) 画像検査方法および画像検査システム
JP4738925B2 (ja) 画像検査方法および画像検査装置
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
JP4950837B2 (ja) 画像検査システムおよび画像検査方法
JP6239232B2 (ja) 高性能エッジフォーカスツール
US7394926B2 (en) Magnified machine vision user interface
JP6282508B2 (ja) 凸凹表面のエッジに向けて強化されたエッジ検出ツール
JP4933771B2 (ja) 画像システムにおいてビデオツールを自動的にリカバリーするシステムおよび方法
JP2006127517A (ja) 機械視覚検査方法およびそのためのユーザーインターフェース
JP2005055443A (ja) 高度性状加工材料に埋込まれた線群の検査に用いられる画像測定機検査システムの操作方法および画像測定機検査システムのプログラミング方法
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
JP6243705B2 (ja) 自動パラメータ設定選択肢を含むエッジ測定ビデオツール及びインタフェース
US20130027538A1 (en) Multi-region focus navigation interface
JP2007026446A (ja) 適応型テンプレート分解による高速テンプレートマッチングのシステムと方法
WO2013096929A1 (en) Points from focus operations using multiple light settings in a machine vision system
JP2012132910A (ja) 構造化照明を用いるエッジ検出
JP2003065713A (ja) 画像測定装置用パートプログラム生成装置及びプログラム
JP6293453B2 (ja) エッジ測定ビデオツールパラメータ設定ユーザインタフェース
US12013525B2 (en) Magnified observation apparatus
US20220269061A1 (en) Magnified observation apparatus, magnified observation method, and non-transitory computer-readable storage medium or storage device
JP2004078988A (ja) 画像測定装置及び測定結果表示方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070703

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R150 Certificate of patent or registration of utility model

Ref document number: 4641441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees