JP5108003B2 - 多波長光による画像品質の改善 - Google Patents

多波長光による画像品質の改善 Download PDF

Info

Publication number
JP5108003B2
JP5108003B2 JP2009507835A JP2009507835A JP5108003B2 JP 5108003 B2 JP5108003 B2 JP 5108003B2 JP 2009507835 A JP2009507835 A JP 2009507835A JP 2009507835 A JP2009507835 A JP 2009507835A JP 5108003 B2 JP5108003 B2 JP 5108003B2
Authority
JP
Japan
Prior art keywords
image
contrast
target
background
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009507835A
Other languages
English (en)
Other versions
JP2009535705A (ja
Inventor
ヨハンセン,ブリアン
アルペイ,メーメット,イー.
Original Assignee
エレクトロ サイエンティフィック インダストリーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エレクトロ サイエンティフィック インダストリーズ インコーポレーテッド filed Critical エレクトロ サイエンティフィック インダストリーズ インコーポレーテッド
Publication of JP2009535705A publication Critical patent/JP2009535705A/ja
Application granted granted Critical
Publication of JP5108003B2 publication Critical patent/JP5108003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Description

本発明は、一般にモノクロカメラによって取得された画像中の画像品質を改善する方法に関する。
主として平面的で、鏡面である(平坦で、光沢のある)半導体製品の種類があり、平面および鏡面からのわずかな偏差でも適切なコントラスト付きで結像させるような方法で、これらのデバイスの画像を撮ることがしばしば必要である。このような種類の製品の1つは、特にウェーハ番号、製造業者を表示するしるしを備えることがある半導体ウェーハを含む。これらのしるしはウェーハ表面の欠陥であり、通常レーザエッチピットの字母である。これらは、普通、「ソフトマーク(soft marks)」または「基準マーカー(fiducial marks)」として当業者には知られている。製造プロセスに沿う種々のステップでコードを読み取るために、これらのマークの画像を撮ることが必要である。
レーザパワーの材料除去方式を用いて日常的に処理される他の種類の製品には、半導体デバイス用のチップキャリアまたは電子デバイス用のプリント配線板として使用される誘電体被覆の導電性金属基板を含む。これらもまた主として平面的で、鏡面であり(平坦で、光沢があり)、表面および/またはサブ表面のフィーチャが、適切なコントラスト付きで結像できるような方法で、これらのデバイスの画像を撮ることがしばしば必要である。このような種類の製品の1つは、特にプロセスデータを表示するしるしを備えることがある半導体チップキャリアを含む。これらしるしは、一般に加工物表面上または表面下の導電性金属(普通、銅または銅合金)であり、先行の処理ステップの間に金属導電層を化学エッチングすることによって形成された通常、円形、正方形または他の幾何学形状である。しかし、これらのしるしは、加工物全体を貫いて機械的に穿孔され、または打ち抜かれた穴も含んでよい。これらは、一般的に、「基準穴(tooling holes)」、「基準マーク(fiducial marks)」または単純に「アライメントターゲット(alignment targerts)」として当業者には知られている。製造プロセスに沿う種々のステップで機械に対して加工物を位置合わせし、サイズ合わせするためにこれらのマークの画像を撮ることが必要である。
デバイスは、処理された(一般にソーによって個々の矩形のデバイスに切断された)後、時間とともに伝播し、早期のデバイス故障を引き起こす小さなチッピングやクラックについて端部を検査し、あるいは外見的または機能的な理由によってレーザ処理後のフィーチャを検査することが必要である場合がある。これらの検査プロセスは自動化されており、電子撮像カメラをデジタル電子計算機と組み合わせて使用して、必要な検査、測定および識別を実行するようにプログラム化される。
これら物体の画像を適切に撮るために、これらの非常に小さいフィーチャを特に明るくすることを含めて、複数の照明システムおよびカメラが使用されている。例えば、「Illumination System for OCR of Indicia on a Substrate」と言う名称の本願と同一譲受人に譲渡された米国特許第5,737,122号は、参照により全体として本明細書に組み込まれる。この‘122号の特許は、カメラの軸と照明モジュールの軸が、正反射する物体の法線に関して対称な相補的(complimentary)鋭角であるシステムを説明している。狭い角度の暗視野ライトが、光軸に近接して配置され、カメラによって直接結像されないように、これを防ぐのに結像経路中にバッフルが置かれる。バッフルの配置は撮像装置の視野を制限するが、これは容認し得る妥協と考えられる。
別の例で、本願と同一譲受人に譲渡された米国特許第6,870,949号は、同軸対称の狭い角度の暗視野照明を用いて物体を照射する、テレセントリックレンズを使用する同軸の狭い角度の暗視野撮像システムを開示している。照明技法は、特に平面の正反射物体上の小さなフィーチャまたは欠陥を強調するのに適する。特に、同軸光源がテレセントリックレンズの方に光線を導き、テレセントリックレンズは、実質的に平面の正反射物体の方に再び光線を導く。この光線は反射され、テレセントリックレンズを通ってカメラに向かう。この光線が物体の中の平面の正反射部分から反射される程度まで、光線はテレセントリックストップによってブロックされる。平面の正反射物体中の欠陥またはフィーチャから反射した光線がストップ内の開口を通過してカメラに向かうことになる。米国特許第6,870,949号も参照により全体として本明細書に組み込まれる。
これらのおよび他のシステムと同じで、画像は通常グレースケールで表示されるモノクロカメラを用いて取得される。使用される光源は、白色または単一波長LED等の白色またはモノクロ光源である。これらの画像を用いた、検査および部分のアライメント目的のための加工物上の基準マークの自動識別は、機械加工業界では十分に確立した業務である。種々のアルゴリズムが、既に開発され、直ちに使用されて、この識別のために画像を処理している。しかしながら、アルゴリズムがいかに高度であっても、ターゲットと周囲の背景の間に高いレベルのコントラストを有する「良好な」画像は、依然としてその成功にとって重要である。
本明細書で開示される方法と装置は、モノクロカメラによって取得された画像中の画像コントラストを改善することによって画像品質を改善する。これらの改善された画像は、しるしを含むがそれに限らない表面上のマークの識別を決定するターゲット識別ルーチンまたはアルゴリズムに送り込まれてよい。
本明細書で教示されるモノクロカメラによって取得された表面の画像中の画像品質を改善する方法は、例えば、複数の画像を取得するために多波長照明を使用すること、および複数の画像に基づいて表面の部分の間のコントラストを最適化することを含む。
本明細書で教示されるモノクロカメラによって取得された表面の画像中の画像品質を改善する装置は、例えば、複数の画像を取得するために多波長照明を使用する手段と、複数の画像に基づいて表面の部分の間のコントラストを最適化する手段とを含む。
本発明のこれらのおよび他の固有の特徴が、更に以下で詳述される。
モノクロカメラによって取得された画像において、画像コントラストおよびターゲットの識別性の改善が本発明によって達成される。全体的に、複数波長の照明を用いるコントラスト最適化のアルゴリズムが実行される。最大コントラストは、単一波長を使用することによって、照明システムにおいて利用可能な波長の中で、どの特定波長が最も適するものになるかを決定する手順を用いて獲得できる。第2に、ターゲットの識別ルーチンに送り込まれることになる画像品質は、アクティブノイズ消去を通して更に改善可能であって、ターゲットと背景の間で最大および最小コントラストを与える照明方式を決定するコントラスト最適化アルゴリズムを利用することによる。次いで、画像テクスチャデータ(つまりノイズ)の望ましい除去は、画素毎に最大コントラスト画像を最小コントラスト画像で除算することを通して、達成できる。第3に、ターゲットと背景の間で高いコントラストを有する合成画像は、2つ以上の個別の波長によって照射された着目領域の画像を減算することによって生成し得る。次いで、その結果の合成画像は、複数の既知のターゲット識別アルゴリズムの任意の1つに送り込むことができる。
一般に制御器、カメラおよび照明システムを含む任意の既知の画像取得システムが、本明細書の説明に従って使用できる。本明細書で説明されるアルゴリズムは、標準のコントローラ中でプログラムでき、それによって実行することもできる。あるいは、このアルゴリズムは、アルゴリズムを記憶するメモリと連結した汎用のマイクロプロセッサ、または当業者には既知であるオンボードメモリ付きマイクロコントローラによって実行することもできる。
詳細は画像上のターゲット、例えばしるしと背景の間のコントラストについての数学モデルの第1展開によって最もよく記述される。以下の定義が使用される。モノクロカメラの分光感度G(λ)は、入射光の波長の関数としてのカメラの量子効率で定義される。第2に、平坦表面の反射スペクトルH(λ)は、表面が平坦なスペクトルの光源(つまり、カメラ/レンズ系が適切に応答し、集光する波長範囲にわたり安定したレベルの照明を提供する光源)によって照射される場合に表面からの正規化された反射スペクトルとして定義される。
図1は、一般的なモノクロ電荷結合素子(CCD)カメラの分光感度の一例である。図2および図3は、それぞれ例示のターゲットおよび背景領域の反射率(H(λ)およびH(λ))の例である。前述したように銅は一般的なターゲットなので、図2は銅の垂直入射反射率対波長を示すことに留意されたい。例示の背景はRCF樹脂であり、そこで図3にはRCF樹脂の垂直入射反射率対波長が示される。
波長λに一致するN個の異なる光源があると仮定し、ここでk=1,..,Nである。k番目の光源の分光感度F(λ)は以下の式(1)によって与えられる。
(λ)=αδ(λ−λ) (1)
ここで、αはk番目の光源の強度を表し、δはDirac−Delta関数を表す。空間的に均一なターゲットを仮定すると、ターゲット領域内の画素についてのカメラ出力(Cout)は次式によって与えられる。
Figure 0005108003
式(2)は、カメラ出力が飽和しないと仮定していることに留意されたい。同様に、背景領域のカメラ出力(Cout)は、以下で与えられる。
Figure 0005108003
これもカメラ出力は飽和しないと仮定する。
今、「コントラスト指標」(C)は次式により定義することができる。
Figure 0005108003
上で定義したコントラスト指標Cについて多くの重要な特徴がある。第1に、この指標は全体の強度の広範囲の変化に対して不変である。一般に、同じ要因による全光源の相対的強度変化は画像コントラストを変えないことになる。これは、誰もそれぞれの画素値に単に定数を掛けることによってグレースケール画像の実際のコントラストが改善されると期待しない共通感覚と一致する。この定義は、ターゲット識別について当業者には既知の正規化補正などの「正規化」アルゴリズムを使用すべきであるということを含意することも留意されたい。選択のターゲット識別方法を利用する前に、取得された全ての画像にヒストグラム均等化を適用することもできる。
第2の重要な特徴は、コントラスト指標Cはターゲットおよび背景に関して対称であることである。それは、「ターゲット」と考えたものと「背景」と考えたものを取り替えてもコントラスト指標Cは不変のままであることになる。これも、表現「ターゲットと背景の間のコントラスト」が普通に当業者には理解されるように、共通感覚と完全に一致する。「背景」に対して高いコントラストを有する「ターゲット」は自動的にターゲットに対して高いコントラストを有する背景を含意する。
コントラスト指標Cの第3の重要な特徴はその最大値が1であることである。これは、ターゲットまたは背景のどれかに対してカメラ応答が同じくゼロである場合に達成される。全体強度を適切にスケーリングした状態で、この事は白色背景に対する完全な黒色ターゲット、またはその逆に相当する。この特別な場合に指標が最高のコントラストをもたらすという事実は、再度共通感覚と一致する。
上記の所見から、上式(4)で定義したコントラスト指標Cは本明細書で説明する解析にとって適したツールである。
次いで、式(2)および式(3)からのCoutとCoutの表現を式(4)に代入すると、コントラスト指標Cについて以下の式(5)を得る。
Figure 0005108003
ここで、
Figure 0005108003
および、
Figure 0005108003
である。
CoutMAXでカメラの飽和レベルを定義すると、これで、直ぐ正確な数学用語でのコントラスト最適化問題が出てくる。
Figure 0005108003
の所与の集合に対して、以下の制限条件、
α≧0、
Figure 0005108003
および
Figure 0005108003
に従って式(5)を最大化するということが分かる。
一見、このコントラスト最適化問題を解くことは難しく見える。しかし、少ない所見が問題に取り掛かるための簡単なアルゴリズムをもたらす。第1に、αに関する制約条件、
Figure 0005108003
および
Figure 0005108003
が、N+2個の超平面によって制限された凸集合の実現可能な解をもたらす。直ぐ前のこれら2つの超平面は本明細書では「飽和超平面」と呼ばれる。
第2に、最適な解は、実現可能な解の集合の境界を形成するN+2超平面の中の1つに一致する表面上に存在する。これは、前述したコントラスト指標Cが全体の強度の変化に不変であるという事実の直接的な結果である。例えば、境界面上にない最適解
Figure 0005108003
が在ると仮定する。したがって、この場合、全ての最適解
Figure 0005108003
を適切なゲインファクタγによって単純にスケーリングして、その結果
Figure 0005108003
が境界面上に位置するようにできる。強度のこのような全体のスケーリングはコントラスト指標Cを変えないので、この解
Figure 0005108003
も最初の解と同じ最適コントラスト指標Cをもたらし、したがってそれ自体が最適解であることになる。
最適解は境界面上にあることになるという結論と同時に、追加的所見を述べることができる。第3の所見は、この解は飽和超平面の間の交線を形成するハイパーラインに沿っていないことになるということだ。理由は、このラインに沿ってコントラスト指標はゼロであることになり、最適(最大)解のであるはずはない。第4に、最適解は、飽和超平面によって形成される境界面のどれか1つの中央に位置するはずはないことが示される。任意のこのような実現可能な解について、その面上にとどまりながら適した方向に解の点を移動することで、より良い解があることを数学的に示すことができる。このより良い解の存在は、最初の解が最適解でなかった可能性があることを含意する。
これらの所見の全てをひとまとめにすると、最適解は、N−1個のα=0、k=1,..,N超平面と、2つの飽和超平面の1つとの交線によって形成される「コーナ」の1つでなければならない。これは、最適解が以下の式(6)の形を有するものであることを意味する。
Figure 0005108003
この式は最適コントラストをもたらすことになる照明構成を決定する簡単なアルゴリズムを与えるだけでなく、この問題について重要な洞察も与える。すなわち、最大コントラストはアクティブであるN光源の中のただ1つで獲得される。この所見の含意は後で、更に詳細に説明される。
次は、式(4)のコントラスト指標Cによって定義されているとして、最大コントラストが達成される照明条件を決定するためのアルゴリズムである。それぞれのk=1,..,Nについて、相当する単一光源のコントラストCM,k
Figure 0005108003
で求められる。
したがって、前のステップで計算した最大CM,kに一致する波長λが選択され、表面を照射するために使用される。
上記アルゴリズムは、最大コントラスト用に使用されることになる強度αの絶対値を特定しないことに留意されたい。これもまた、全体的強度レベルに対して不変であるコントラスト指標Cの数学的定義と一致する。しかし実際の実行にあたっては、αをその最大許容値:
Figure 0005108003
に設定することが、未加工の画像、つまりモノクロカメラによって取得された最適化前の画像中の信号対量子化雑音を改善することになる。
実際に上記アルゴリズムの例示のために、ターゲットおよび背景の表面が、赤色、緑色および青色(RGB)照明によって照射され、以下のΓ値が実測されたと仮定する。
Figure 0005108003
および
Figure 0005108003
本明細書の教示を利用すると、個別(赤色のみ、緑色のみ、および青色のみ)の照明方式について以下のコントラスト指標値を得る。
M,R=|5−2|/(5+2)=3/7、
M,G=|3−5|/(3+5)=2/8、および
M,G=|8−5|/(8+5)=3/13
この特定の例では、赤色のみの照明が背景とターゲットの間で最高のコントラストもたらすことになる。CoutMAXが255である場合、相当する強度ファクタαは、α=255/5=51に設定されるべきだ。
最大コントラストについて最適照明条件を決定するアルゴリズムは、多波長照明構成で利用可能な全ての波長に関してターゲットおよび背景についてカメラ出力を知る必要がある。これらの条件は以下の図4に関して説明されるアルゴリズムを実行することによって満たすことができる。
照明構成において利用可能なそれぞれの波長について、10でターゲットと背景を含めて画像が取得される。これらの画像内で2つの小さな「ターゲットのみ」または「背景のみ」の領域が、12で識別される。実際には、それを実行する最も容易な方法は、それぞれの領域に対して2つの境界ボックスを描くことである。次に、14では、12で識別された相当する領域に対して各波長のところで画像を取得しながら画素値を平均し、使用した特定の強度レベル(α)を除外(factoring out)することによって、カメラ出力が背景およびターゲットについて計算される。16でカメラ出力が、データ集合の中のどれかで飽和する場合、18でその画像に対して照明強度を低下させ、20で画像が再取得される。次にアルゴリズムは、新しい画像について12で領域の識別に戻り、14でそのまま計算を継続するか、状況に応じて直接14での計算に戻る。22では、コントラスト最適化アルゴリズムが、最大のコントラストをもたらすことになる照明波長、ならびに背景またはターゲット領域どれについても飽和限界までのカメラ出力で駆動することになる適切な強度レベルを決定するのに利用される。前述したように、これは未加工画像の信号対雑音比を改善するのに役立つものであることに留意されたい。
22で実行されるコントラスト最適化アルゴリズムは、前に説明さたもので、図5に示したように要約できる。更に具体的には24で、単一光源について単一光源コントラストCM,kが計算される。26で、単一光源コントラストCM,kが各光源について計算されたかどうか照会される。24で、全ての計算が為されるまで計算が反復される。28で、最大の単一光源コントラストCM,kが選択される。30で、最大の単一光源コントラストCM,kに相当する波長λkが選択されて、追加の処置について画像を獲得するためにこの表面を照射する。
これまでの開示ではターゲットと背景の間で最高のコントラストを有する単一画像をもたらすことになる照明方式を決定することに注目してきた。追加的利点が、複数画像を使用して、異なる照明方式の下で収集されたデータに基づいて「合成画像」を生成することによって獲得でき、後続のターゲット識別アルゴリズム、すなわちターゲット例えばしるしを識別するために本明細書で説明した最適化画像、または合成画像などの画像を使用する、従来技術で既知のアルゴリズムの性能を改善できる。次に、これら複数画像を使用する方法が説明される。
第1に、空間的に完全に均一であるターゲットおよび背景を有していれば事実上、任意の照明条件の下で完全なコントラストを有する画像を生成できる。ターゲットおよび背景についてカメラ出力の間に入る閾値が決定され、次いで2値化閾値が未加工画像に適用されて完全なコントラストを有するブラックアンドホワイト画像を生成することになる。実際に、この過度に単純化した手法が、たびたび失敗する2つの主要な理由がある。1つの理由は、背景かターゲットのどれか1つまたは両方が空間的に完全に均一であることはめったにないことである。多くの場合、これらはテクスチャ面/スペックル面であり、このことが、背景とターゲットを正確に「分離」する閾値の決定をかなり困難にしている。もう1つの理由は、光学的な制限か、ターゲットを生成するために背景に対して使用したプロセスの空間分解能のどれかに起因して、常にいくらかぼけのある端部があることである。
これらの問題に対する対応の1つは、このような不完全な画像の信号対雑音比(SNR)を改善することである。こうするための1つの方法は、ターゲットと背景が別個に応答する照明波長を選択することによってターゲットと背景の画像の間の差異を最大化する照明方式を厳選することである。これは、コントラスト最適化方法で前述したことである。
SNRを改善する別の手法はアクティブノイズ消去である。画像からターゲットを識別する文脈の中では、これは未加工画像からテクスチャ情報を除去して、最終的に「スムース」なターゲットおよび背景になることに相当するものである。単一波長照明の下で、これが何を課することになるかを理解するために、前述からのカメラ出力モデルは、一般化されて、以下のようにテクスチャ情報を含む。
Figure 0005108003
ここで、関数T(x,y)は全画像にわたりテクスチャ情報を表し、U(x,y)およびU(x,y)は、それぞれターゲット領域および背景領域上を除いてどこでもゼロであるマスク関数である。
この手法を用いるには、1つではなく2つの画像を獲得する。図6に示したように40で、最適照明条件を決定する方法において詳述したコントラストを最大にする波長を用いて第1画像が取得される。42で、第2画像は、コントラストを最小にする波長を有する照明方式を使用して取得されて、上記コントラスト最大化問題を解くのに使用されたものと同じ手続きを使用している。
定義によって、ターゲット(または基準)と背景の間のコントラストを最小にする照明方式によって取得された画像中に最小のターゲット−背景間微分情報がある。その結果、最小のコントラスト画像は、この方法が除去しようとしているテクスチャデータを主として含む。したがって、44で最大コントラストを有する画像が、最小コントラストを有する1つによって「除算」されて、式(7)、式(8)からT(x,y)項を効果的に打ち消す。すなわち、この画像の各画素に対する輝度値が、最小コントラストを有する画像中の対応する画素に対する輝度値によって除算される。これは、背景およびターゲットのかなりスムースな、つまり比較的雑音のない画像をもたらす。次いで、このいわゆる「合成」画像は、前述した処理のために46で下流のターゲット識別アルゴリズムに送り込まれてよい。
画像のSNRを改善する第3の手法は、ターゲットおよび背景が、2以上のそれぞれの波長によって照射される場合、取得された複数の画像から着目領域の合成画像を形成することである。この例では、1つの画像が他の画像から減算されて、ターゲットと背景の間で改善されたコントラストを有する合成画像を生成する。
更に具体的に、以下の実測されたΓ値を用いるRGB照明に関して上述した事を考察する。
Figure 0005108003
前の説明によれば、赤色照明だけが最高のコントラストの未加工画像を与えることである。しかし、青色照明の下で獲得された画像から緑色照明の下で獲得された画像を減算することによって獲得される合成画像を考える。これは、強度をα=0、α=−1、およびα=+1に設定することと同等である。式(5)に、これらの値を代入すると、合成画像についてコントラスト指標は1であることが分かり、これは赤色のみの照明で獲得された最適未加工画像で達成できたものよりかなり高い。
上述の例の2つの重要な態様は強調されるだけの価値がある。第1に、1つの未加工画像を別の画像から減算して生じた画像は、まさに「合成」である。このような画像を照明の修正を通して物理的に生成しようとするには、「負の」強度を必要とすることになり、物理的に可能性はない。第2に、未加工画像のスケーリングと減算を通して唯一のコントラスト指標を有する合成画像を獲得することが常に可能であることになる。つまり為すべきことの全ては、個々の画像をスケールすることであり、そこで、これらの画像のどれかがターゲット領域または背景領域に「マッチ」させ、次いで1つの(スケールした)画像を他の画像から減算する。
上記教示の実例が、図7乃至図11を参照して示される。この例では、PCB基板上のアライメントターゲットが青色、緑色、赤色および赤外LEDを用いて照射され、対応する4つの「未加工」画像が48で、モノクロカメラによって取得される。図8は説明した多色LEDのスペクトル出力を示す。その結果の未加工画像は図9A乃至図9Dによって分かり、ここで図9Aは青色LED照明の下でのターゲットおよび背景を示し、図9B〜図9Dは、それぞれ緑色LED照明、赤色LED照明および赤外(IR)LED照明の下での同じターゲットおよび背景を示す。
次に画像の「ターゲット」および「背景」領域について境界ボックスが、50で、それぞれの未加工画像に対して決定される。これらの境界ボックスの例は図9Aに示される。これら境界ボックス内の平均画素値が、4つの全画像について計算され、相当するコントラスト指標が52で決定される。これらの計算結果は図10に要約される。これらの結果により青色LED照明の下で獲得された未加工画像が、ターゲットおよび背景の間で最高のコントラストを有する。これは4つの画像の目視による比較と一致する。
「合成」画像は以下の方法で獲得し得る。第1に、代数的操作を用いて合成される画像のために使用される画像が、54で、選択される。この例では、選択された第1画像は、青色LED照明の下で獲得された未加工画像であり、選択された第2画像は、赤外LED照明の下で獲得された未加工画像である。これらの未加工画像は、互いに対して、それぞれの背景平均画素値とターゲットの平均画素値の間で逆転(inverted)した比を有する。次に画像の1つが、背景かターゲットのどれかについて平均画素値が、56で、「消去(zeroed)」できるようにスケーリングされる。この場合、例えば、赤外LED照明の下で獲得された未加工画像の全ての画素が、青色LED照明の下で獲得された未加工画像のターゲット平均画素値の、赤外LED照明の下で獲得された未加工画像のターゲット平均画素値による比、つまり144.1300/125.7639で乗算される。
スケールされた画像は、58で、画素毎に他の選択された画像、ここでは青色LED照明の下で獲得された未加工画像から減算される。これはターゲット領域について、事実上ゼロ(0)の平均画素値を有する画像をもたらす。このもたらされた画像について、次に、60で、消去されていない領域の平均画素値が計算される。この例示の画像について、平均背景画素値が計算される。次いで、62で、画像のそれぞれの画素が適切なファクタによってスケールされて、255などの最大画素値までの、平均画素値、ここでは背面領域について平均画素値をもたらす。
これらのステップを実行した後の合成画像が図11に示される。この画像についてコントラスト指標は0.9624と計算されており、理論的最大値1に極めて近い。このコントラスト指標は図10に示した4つの未加工画像と比べて、コントラストに関して著しい改善を示す。この改善も図11に示した画像の目視によって容易に確認される。
前述した実施形態は、本発明の容易な理解を可能にするために説明され、本発明を限定するものでない。反対に、本発明は、添付の特許請求の範囲の精神と範囲に含まれる様々な修正および同等の配置を含むものとし、その範囲は、適法であるこのような修正および同等の構成全てを包含するように広義に解釈することを許されるものである。
一般的なモノクロCCDカメラの分光感度の一例のグラフである。 ターゲット領域H(λ)の反射率の一例のグラフである。 背景領域H(λ)の反射率の一例のグラフである。 本発明の一態様によるコントラスト最適化のフローチャートである。 図4に示したコントラスト最適化のブロック50の細部のフローチャートである。 本発明の別の態様によるアクティブノイズ消去のフローチャートである。 2つの画像の合成を示すフローチャートである。 本明細書で説明した多色LEDの典型的なスペクトル出力を示すグラフである。 青色LED照明の下でモノクロカメラによって取得された実際のアライメントターゲットの未加工の画像ならびに、この画像の「ターゲット」領域および「背景」領域のための境界ボックスの図である。 緑色LED照明の下で同じモノクロカメラによって取得された同じアライメントターゲットの未加工の画像の図である。 赤色LED照明の下で同じモノクロカメラによって取得された同じアライメントターゲットの未加工の画像の図である。 赤外(IR)LED照明の下で同じモノクロカメラによって取得された同じアライメントターゲットの未加工の画像の図である。 図8A〜図8Dで与えられた4つの未加工の画像について平均の背景画素値、ターゲット画素値およびコントラスト指標を比較している表である。 図7のフローチャートによる青色および赤外LED照明の下で獲得された図9Aおよび図9Dの未加工の画像を代数的に結合することによって獲得された合成コントラスト画像の図である。

Claims (9)

  1. モノクロカメラによって取得された、ターゲットおよび背景を含む表面の画像の画像品質を改善する方法であって、
    複数の画像を取得するために多波長照明を使用するステップと、
    ここで、前記使用するステップは、前記多波長照明の波長に対して画像を取得するステップと、
    ターゲットのみの領域内で少なくとも2つのターゲット領域を識別するステップと、
    背景のみの領域内で少なくとも2つの背景領域を識別するステップと、
    前記少なくとも2つのターゲット領域についての画素値を平均するステップと、
    前記少なくとも2つの背面領域についての画素値を平均するステップとを含み、
    少なくとも1つの前記ターゲットと前記背景とが飽和したことを前記カメラ出力が示したときに、強度レベルを低下させると共に、前記画像を再取得するステップと、
    前記画像を取得しながら使用した強度レベルを除外するステップと、および
    前記ターゲットおよび前記背景についてのそれぞれのカメラ出力を使用することによって、前記複数の画像に基づいて前記表面の部分の間でコントラストを最適化するステップとを備えたことを特徴とする方法。
  2. 前記多波長照明を使用するステップは、
    複数波長の間で前記多波長照明を変化させるステップを更に備え、
    前記コントラストを最適化するステップは、
    前記複数の波長の間でどの波長が最適化コントラストを有する画像をもたらすかを決定するステップを更に含むことを特徴とする請求項1記載の方法。
  3. 複数波長の各波長に対して前記ターゲットおよび前記背景についてのそれぞれのカメラ出力を決定するステップと、
    コントラストを最適化する場合に、前記ターゲットおよび前記背景についてのそれぞれのカメラ出力を使用するステップとを更に備えたことを特徴とする請求項1又は2記載の方法。
  4. 前記表面の部分の間でコントラストを最適化するステップは、
    前記多波長照明の前記複数の利用可能な波長毎に前記表面についての単一光源コントラストを計算するステップと、
    最大単一光源コントラスト値に対応する波長を選択するステップとを更に備えたことを特徴とする請求項1乃至3のうちいずれか一項に記載の方法。
  5. モノクロカメラによって取得された、ターゲットおよび背景を含む表面の画像の画像品質を改善する方法であって、
    複数の画像を取得するために多波長照明を使用するステップと、
    前記複数の画像に基づいて前記表面の部分の間でコントラストを最適化するステップと、
    減少させた信号対雑音比を有する合成画像を生成するために、画素毎に最大コントラスト画像の最小コントラスト画像による除算を実行するステップとを備えたことを特徴とする方法。
  6. 前記多波長照明のコントラストを最適化するときに、取得した前記コントラストを用いて第1画像を取得するステップであって、前記第1画像が前記最大コントラスト画像であるステップと、
    前記複数の画像を用いて前記多波長照明のコントラストを最小化するステップと、
    前記多波長照明のコントラストを最小化するときに、取得した前記コントラストを用いて第2画像を取得するステップであって、前記第2画像が前記最小コントラスト画像であるステップとを更に備えたことを特徴とする請求項5に記載の方法。
  7. モノクロカメラによって取得された、ターゲットおよび背景を含む表面の画像の画像品質を改善する方法であって、
    複数の画像のそれぞれを取得するための複数波長の間で多波長照明を変化させることによって、前記複数の画像を取得するために前記多波長照明を使用するステップと、
    高コントラスト合成画像を合成するために異なる波長で得られた少なくとも2つの画像の画素を代数的に結合することによって、前記複数の画像に基づいて前記表面の部分の間でコントラストを最適化するステップとを備えたことを特徴とする方法。
  8. 前記少なくとも2つの画像の画素を代数的に結合するステップは、
    前記複数の画像中の第1画像を選択するステップと、
    前記複数の画像中の第2画像を選択するステップと、
    スケールした画像を取得するために前記第1画像の画素をスケーリングするステップと、
    第3画像を取得するために前記第2画像から前記スケールした画像の画素を減算するステップであって、前記第3画像の前記背景および前記ターゲットのコントラストの1つが約ゼロであるステップと、
    最大平均画素値を取得するために前記第3画像の各画素をスケーリングするステップであって、その結果の画像が前記高コントラスト合成画像であるステップとを備えたことを特徴とする請求項7記載の方法。
  9. モノクロカメラによって取得された、ターゲットおよび背景を含む表面の画像中の画像品質を改善する装置であって、
    複数の画像を取得するために多波長照明を使用する手段と、
    ここで前記使用する手段は、前記多波長照明の波長に対して画像を取得する手段と、
    前記ターゲットのみの領域内で少なくとも2つのターゲット領域を識別する手段と、
    前記背景のみの領域内で少なくとも2つの背景領域を識別する手段と、
    前記少なくとも2つのターゲット領域についての画素値を平均する手段と、
    前記少なくとも2つの背面領域についての画素値を平均する手段とを有し、
    少なくとも1つの前記ターゲットと前記背景とが飽和したことを前記カメラ出力が示したときに、強度レベルを低下させると共に、前記画像を再取得する手段と、
    前記画像を取得しながら使用した強度レベルを除外する手段と、および
    前記ターゲットおよび前記背景についての前記それぞれのカメラ出力を使用することによって、前記複数の画像に基づいて前記表面の部分の間でコントラストを最適化する手段とを備えたことを特徴とする装置。
JP2009507835A 2006-04-28 2007-04-27 多波長光による画像品質の改善 Active JP5108003B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/414,678 US7589869B2 (en) 2006-04-28 2006-04-28 Adjusting image quality using multi-wavelength light
US11/414,678 2006-04-28
PCT/US2007/010323 WO2007127420A2 (en) 2006-04-28 2007-04-27 Improving image quality via multi-wavelength light

Publications (2)

Publication Number Publication Date
JP2009535705A JP2009535705A (ja) 2009-10-01
JP5108003B2 true JP5108003B2 (ja) 2012-12-26

Family

ID=38647994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009507835A Active JP5108003B2 (ja) 2006-04-28 2007-04-27 多波長光による画像品質の改善

Country Status (6)

Country Link
US (1) US7589869B2 (ja)
JP (1) JP5108003B2 (ja)
KR (1) KR101370697B1 (ja)
CN (1) CN101536483B (ja)
TW (1) TWI418207B (ja)
WO (1) WO2007127420A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024060B2 (en) * 2008-06-16 2011-09-20 Electro Scientific Industries, Inc. Method for defining safe zones in laser machining systems
DE102008031243B4 (de) * 2008-07-02 2010-09-16 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Erzeugung von High Dynamic Range(HDR)-Bildaufnahmen sowie Belichtungsvorrichtungen zur Verwendung darin
US8570516B2 (en) * 2008-09-12 2013-10-29 Cognex Corporation Infrared direct illumination machine vision technique for semiconductor processing equipment
TWI391872B (zh) * 2008-10-14 2013-04-01 Chung Shan Inst Of Science Multi - band image imaging method
US8223327B2 (en) 2009-01-26 2012-07-17 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer
WO2010135385A1 (en) 2009-05-22 2010-11-25 Parker Hannifin Corporation Method for maximizing the contrast of an image
JP5417268B2 (ja) * 2010-06-28 2014-02-12 富士フイルム株式会社 内視鏡システム
GB2487940B (en) * 2011-02-09 2014-12-17 Tel Hashomer Medical Res Infrastructure & Services Ltd Methods and devices suitable for imaging blood-containing tissue
WO2013044405A1 (en) * 2011-09-26 2013-04-04 Metrologic Instruments, Inc. Optical indicia reading terminal with combined illumination
US9007454B2 (en) * 2012-10-31 2015-04-14 The Aerospace Corporation Optimized illumination for imaging
TWI477766B (zh) * 2012-12-18 2015-03-21 Ind Tech Res Inst 檢測裝置以及檢測方法
US9594937B2 (en) 2014-02-28 2017-03-14 Electro Scientific Industries, Inc. Optical mark reader
US9269035B2 (en) 2014-02-28 2016-02-23 Electro Scientific Industries, Inc. Modified two-dimensional codes, and laser systems and methods for producing such codes
WO2015198401A1 (ja) * 2014-06-24 2015-12-30 Ykk株式会社 ファスナエレメントの検査条件設定方法とファスナエレメント検査方法
US9747520B2 (en) * 2015-03-16 2017-08-29 Kla-Tencor Corporation Systems and methods for enhancing inspection sensitivity of an inspection tool
TWI531984B (zh) 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
WO2018176370A1 (zh) * 2017-03-31 2018-10-04 深圳配天智能技术研究院有限公司 一种视觉检测系统及方法
JP6500070B1 (ja) * 2017-10-16 2019-04-10 ジャパンシステム株式会社 検査装置、検査用照明装置
US11914129B2 (en) 2019-03-26 2024-02-27 The Johns Hopkins University Background-suppressed STED nanoscope
DE102021209240A1 (de) * 2021-08-23 2023-02-23 Pepperl+Fuchs Se Verfahren und Vorrichtung zur Führung eines Fahrzeugs auf einem Untergrund
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737122A (en) 1992-05-01 1998-04-07 Electro Scientific Industries, Inc. Illumination system for OCR of indicia on a substrate
JPH08219716A (ja) * 1994-12-13 1996-08-30 Toshiba Corp 入力画像コントラスト処理装置およびこれを用いた装置
US6298149B1 (en) * 1996-03-21 2001-10-02 Cognex Corporation Semiconductor device image inspection with contrast enhancement
US6259827B1 (en) * 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
JP3808169B2 (ja) * 1997-05-23 2006-08-09 株式会社ルネサステクノロジ 検査方法およびその装置並びに半導体基板の製造方法
AU3667900A (en) * 1999-04-07 2000-10-23 Mv Research Limited Material inspection
TW491938B (en) * 2000-11-28 2002-06-21 Yung-Chang Chen Method of designing a multichannel filtering system for measuring digital camera's spectral responsivities
EP1411824A2 (en) * 2001-07-16 2004-04-28 Art Advanced Research Technologies Inc. Multi-wavelength imaging of highly turbid media
JP2003130811A (ja) 2001-10-25 2003-05-08 Dainippon Screen Mfg Co Ltd 波長選択機能を利用した検査対象物の検査
US6847443B1 (en) * 2002-01-17 2005-01-25 Rudolph Technologies, Inc. System and method for multi-wavelength, narrow-bandwidth detection of surface defects
US7119351B2 (en) * 2002-05-17 2006-10-10 Gsi Group Corporation Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system
US6870949B2 (en) 2003-02-26 2005-03-22 Electro Scientific Industries Coaxial narrow angle dark field lighting
US7420675B2 (en) * 2003-06-25 2008-09-02 The University Of Akron Multi-wavelength imaging system
US7967205B2 (en) * 2005-11-17 2011-06-28 Hand Held Products, Inc. Optical reading device with programmable parameter control

Also Published As

Publication number Publication date
TWI418207B (zh) 2013-12-01
TW200816784A (en) 2008-04-01
KR20080113093A (ko) 2008-12-26
KR101370697B1 (ko) 2014-03-05
CN101536483A (zh) 2009-09-16
WO2007127420A2 (en) 2007-11-08
JP2009535705A (ja) 2009-10-01
WO2007127420A3 (en) 2009-04-02
US7589869B2 (en) 2009-09-15
CN101536483B (zh) 2011-08-31
US20070253033A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP5108003B2 (ja) 多波長光による画像品質の改善
JP6945245B2 (ja) 外観検査装置
EP2148189B1 (en) Lumber inspection method, device and program
KR101692115B1 (ko) 검사 장치 및 검사 방법
KR20030026839A (ko) 화상처리를 이용한 검사대상물의 표면검사방법 및 그 장치
JP5085860B2 (ja) 木材の検査方法及び装置及びプログラム
US8330948B2 (en) Semiconductor test instrument and the method to test semiconductor
KR101036066B1 (ko) 웨이퍼 수납 카세트 검사 장치 및 방법
EP1105716B1 (en) Inspection of printed circuit boards using color
US7599576B2 (en) Image subtraction of illumination artifacts
JP4910128B2 (ja) 対象物表面の欠陥検査方法
KR100827906B1 (ko) 기판 검사 장치
JP4015436B2 (ja) 金めっき欠陥検査装置
JP4216485B2 (ja) パターン検査方法およびその装置
JP2007010597A (ja) 表面検査装置
TWI447382B (zh) Wood inspection methods and apparatus and program
JP2009276108A (ja) イメージセンサ表面検査方法
JP4967132B2 (ja) 対象物表面の欠陥検査方法
JP4889018B2 (ja) 外観検査方法
KR20150137474A (ko) 컬러 이미지 분리를 이용한 비전검사 방법
JP7021886B2 (ja) 基板検査装置、基板処理装置、基板検査方法および基板処理方法
JP2000258348A (ja) 欠陥検査装置
JP2020153854A (ja) 基板検査装置、基板処理装置、基板検査方法および基板処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120620

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121004

R150 Certificate of patent or registration of utility model

Ref document number: 5108003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250