JP4267103B2

JP4267103B2 - Appearance image classification apparatus and method

Info

Publication number: JP4267103B2
Application number: JP26545198A
Authority: JP
Inventors: 敏文本田; 裕治高木; 秀明土井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-09-18
Filing date: 1998-09-18
Publication date: 2009-05-27
Anticipated expiration: 2018-09-18
Also published as: JP2000099727A

Description

【０００１】
【発明の属する技術分野】
本発明は、半導体の製造状態等を自動的に分類判定する装置に関し、特に半導体等の外観画像を取得し、前記外観画像を認識することで半導体の製造状態等を判定する外観画像分類装置およびその方法に関する。
【０００２】
【従来の技術】
半導体の画像を取得し、前記外観画像を認識することで半導体の製造状態を判定する装置としては、たとえば特開平０７−２０１９４６号公報に示されるように、欠陥の分類結果を修正するために分類結果を教示する手段と欠陥分類された結果を作業者に視覚的に提示し、作業者が欠陥分類結果とそれに関連する情報の各情報を確認できかつその情報を変更あるいは新たな情報を付加することを可能とする手段を有するユニットにより教示された分類結果をもとに対応する欠陥の特徴量の解釈を更新する装置があった。
【０００３】
【発明が解決しようとする課題】
しかし、上記従来の技術はあらかじめ欠陥の画像特徴を抽出する画像抽出アルゴリズムが決定されており、半導体製造プロセスの変化や半導体の設計の変化による良品や欠陥の外観が変化した場合に対応することが難しかった。上記従来の技術では装置にあらかじめ複数の画像特徴抽出アルゴリズムを組み込んでおき、ユーザの教示をもとに画像特徴抽出アルゴリズムの出力結果の解釈を変化させ欠陥の判定を行っていた。しかし、半導体製造プロセスは製造工程の違いにより欠陥の特徴や良品部分の特徴が変化してしまうため、プロセスの変更により当初は十分であった画像特徴の抽出アルゴリズム自体がその後の製造状態を判定するに足る画像特徴の抽出を実現できないケースが発生していた。このため、新たに画像特徴量を抽出するアルゴリズムを開発することなしに新たなプロセスに対応させることが困難であるという課題があった。
【０００４】
本発明の目的は、上記課題を解決すべく、プロセスが変化した場合にも画像特徴抽出アルゴリズムを変更すること無く半導体等の欠陥を発生させる半導体等の製造状態（カテゴリー）を分類できるようにした外観画像分類装置およびその方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に、分類判定する判定基準を教示する教示部と、該教示部で教示された判定条件に基いて、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像に対して該外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置である。
【０００６】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定し、該局所的な部位における画像の特徴の種類を入力する入力手段と、該入力手段によって指定された局所的な部位における前記入力手段で入力された画像の特徴の種類に応じた画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に分類判定する判定条件を教示する教示部と、該教示部で教示された判定条件に基いて、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像に対して該外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置である。
【０００７】
また、本発明は、前記外観画像分類装置の前記画像表示部において、前記入力手段によって画像の特徴の種類を画面上で入力できるように、画像の特徴の種類を表示するように構成したことを特徴とする。また、本発明は、前記外観画像分類装置の前記入力手段において、入力する局所的な部位における画像の特徴の種類として、少なくともエッジ、濃淡値、テクスチャ、色の少なくとも１つを入力可能に構成することを特徴とする。
【０００８】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における特徴ベクトルを算出し、この算出された特徴ベクトルから多次元特徴空間における分類判定する領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像より多次元特徴空間における多次元ベクトルで現される画像の特徴量を抽出し、この抽出された多次元ベクトルで現される画像の特徴量を多次元特徴空間にマッピングすることによって、前記教示部で教示された領域との関係から外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【０００９】
また、本発明は、前記外観画像分類装置の前記判定部において、分類用の外観画像に対して基底変換を施す基底変換部を有し、該基底変換部で基底変換された画像から多次元特徴空間における多次元ベクトルで現される画像の特徴量を抽出するように構成したことを特徴とする。
また、本発明は、前記外観画像分類装置の前記判定部において、分類用の外観画像に対して基底変換を施し、更に基底変化された画像を圧縮する基底変換部を有し、該基底変換部で基底変換されて圧縮された画像から多次元特徴空間における多次元ベクトルで現される画像の特徴量を抽出するように構成したことを特徴とする。
【００１０】
また、本発明は、前記外観画像分類装置の前記判定部において、分類用の外観画像を局所領域ごとに分割する画像分割部を有し、該画像分割部で分割された局所領域ごとの画像を前記基底変換部に入力するように構成したことを特徴とする。
【００１１】
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像に対して基底変換を施す基底変換部を有し、該基底変換部で基底変換された画像として得られた特徴量の内、入力手段によって指定された局所的な部位に対応する画像の特徴量を抽出するように構成したことを特徴とする。
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像に対して基底変換を施し、更に基底変化された画像を圧縮する基底変換部を有し、該基底変換部で基底変換されて圧縮された画像として得られた特徴量の内、入力手段によって指定された局所的な部位に対応する画像の特徴量を抽出するように構成したことことを特徴とする。
【００１２】
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像を局所領域ごとに分割する画像分割部を有し、該画像分割部で分割された局所領域ごとの画像を前記基底変換部に入力するように構成したことを特徴とする。
【００１３】
また、本発明は、前記外観画像分類装置の前記画像分割部において、分割された局所領域ごとの画像を前記画像表示部に表示するように構成したことを特徴とする。
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像に対して平行移動、回転、拡大、縮小の少なくとも１つの処理を施して分類用の画像に対応する教示用の画像を生成する教示用画像生成部を有することを特徴とすることを特徴とする。
【００１４】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルを中心とした楕円状の空間領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像より画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における多次元ベクトルを算出し、この算出された多次元ベクトルが前記教示部で教示された楕円状の空間領域内に存在する場合前記分類用の外観画像が前記教示用の画像と同一のグループであると判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【００１５】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に複数の教示用の外観画像の多次元特徴空間における複数の多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルを補間したベクトル軌跡を中心としたドーナツ状の空間領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像より画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における多次元ベクトルを算出し、この算出された多次元ベクトルが前記教示部で教示された楕円状の空間領域内に存在する場合前記分類用の外観画像が前記教示用の画像と同一のグループであると判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【００１６】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像に対して教示用の局所領域ごとに分割し、この分割された教示用の局所領域ごとの画像の特徴量を抽出し、この抽出された教示用の局所領域ごとの画像の特徴量を基に多次元特徴空間における多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルから多次元特徴空間における分類判定する各グループの領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像に対して局所領域ごとに分割し、この分割された局所領域ごとに、画像を位置、および形状について正規化し、この正規化された局所領域ごとの画像の特徴量を多次元特徴空間にマッピングすることによって、前記教示部で教示された各グループの領域との関係から外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【００１７】
また、本発明は、上記外観画像分類装置およびその方法の前記教示部および判定部において、画像をフーリエ変換して得られるスペクトル分布によって前記画像の特徴量を抽出するように構成したことを特徴とする。
また、本発明は、上記外観画像分類装置およびその方法の前記画像表示部において、分類用の外観画像上に、分類用の外観画像の判定に寄与した主要な画像特徴量を抽出した画像に対応する画像をオーバレイで表示するように構成したことを特徴とする。
また、本発明は、上記外観画像分類装置およびその方法の前記判定部において判定する際、その判定の確からしさを示す判定確信度を出力する出力手段を備えたことを特徴とする。
【００１８】
また、本発明は、被対象物についての教示用の外観画像を取得してメモリ部に記憶し、該記憶された教示用の外観画像を画像表示部に表示し、該表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定し、該指定された局所的な部位における画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に、分類判定する判定基準を教示する教示過程と、
被対象物についての分類用の外観画像を取得してメモリ部に記憶し、該記憶された分類用の外観画像に対して、前記教示過程で教示された判定基準に基いて、前記外観画像の状態を分類判定する判定過程とを有することを特徴とする外観画像分類方法である。
【００１９】
また、本発明は、被対象物についての教示用の外観画像を取得してメモリ部に記憶し、該記憶された教示用の外観画像を画像表示部に表示し、該表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定し、更に該局所的な部位における画像の特徴の種類を入力し、該指定された局所的な部位における前記入力された画像の特徴の種類に応じた画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に、分類判定する判定基準を教示する教示過程と、
被対象物についての分類用の外観画像を取得してメモリ部に記憶し、該記憶された分類用の外観画像に対して、前記教示過程で教示された判定基準に基いて、前記外観画像の状態を分類判定する判定過程とを有することを特徴とする外観画像分類方法である。
【００２０】
また、本発明は、前記外観画像装置において、教示用の画像を基底変換した状態で格納しておくことを特徴とする。
また、本発明は、前記外観画像装置において、基底変換して圧縮する際、対象の特徴的な外観を有する部位の画像特徴量に対応しない基底を縮退させることにより圧縮をおこなうように構成することを特徴とする。
また、本発明は、前記外観画像装置において、判定部は対象の製造状態を判定する際に判定の確からしさを示す判定確信度を出力可能であることと出力した判定確信度をキーとして判定部が処理した１群の画像を順番付けし、順番付けした順に１群の画像を１枚ずつ、あるいは並べて表示することを特徴とする。
【００２１】
以上説明したように、前記構成によれば、プロセスが変化した場合にも画像特徴抽出アルゴリズムを変更すること無く半導体の欠陥等を発生させる半導体等の製造状態（カテゴリー）を分類することができる。
【００２２】
【発明の実施の形態】
本発明に係る半導体ウエハ等の被対象基板の外観画像を基に製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定する製造状態自動判定装置の実施の形態を図面を用いて説明する。
【００２３】
図１は本発明に係る製造状態自動判定装置の基本構成を示す図である。
【００２４】
まず、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するためには、様々な製造プロセスで製造された半導体ウエハ等の被対象基板上に発生する異物や配線パターン欠陥などのサイズや表面状態が異なる様々な約０．１μｍ程度以下の微小欠陥まで、画像取得部１０１において、図３に示す如く、高精細な外観画像を取得する必要がある。
【００２５】
従って、画像取得部１０１としては、様々な約０．１μｍ程度以下の微小欠陥までの高精細な外観画像を取得できるＳＥＭまたはｉ線や紫外線等の短波長の光を用いた光学顕微鏡等が用いられる。
【００２６】
ところで、通常、半導体の製造ラインにおいては、光学的な外観検査装置（異物検査装置またはパターン検査装置）によって、様々な製造プロセスで製造された半導体ウエハ等の被対象基板に対して異物や配線パターン欠陥などの様々な微小欠陥の検査が行われ、欠陥が存在する場合には、被対象基板上の基準マークを基準に設定された座標系で、欠陥の概略位置座標が求められて出力されるようになっている。即ち、光学的な外観検査装置（異物検査装置またはパターン検査装置）は、検査された被対象基板に対して、欠陥が存在する場合には、通常その欠陥の概略位置座標が出力されるように構成されている。
【００２７】
そのため、全体制御部１０７は、異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板についての欠陥の概略位置座標を、光学的な外観検査装置（異物検査装置またはパターン検査装置）からネットワークまたは記録媒体を介して入力して、例えばメモリ部１０４に記憶することが可能である。
【００２８】
そこで、画像取得部１０１は、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するための教示用データを作成するための異物や配線パターン欠陥などの様々な教示用欠陥が存在する教示用基板や、半導体製造ラインから逐次得られ、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査されて製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定する必要のある異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板をステージ上に載置し、例えばメモリ部１０４に記憶された欠陥の概略位置座標を基に教示用基板や被対象基板を位置決めすることによって、図３に示すような教示用も含めて様々な微小欠陥の高精細な外観画像が取得してメモリ部１０４に記憶させることができる。
【００２９】
図２には、画像取得部１０１の一実施例であるＳＥＭ装置１０１ａを示す。ＳＥＭ装置１０１ａの場合、高精細な外観画像として電子線画像を取得することができる。ＳＥＭ装置１０１ａは、検出部１０と、電子線画像取り出し部３０とから構成される。検出部１０における電子光学計は、電子銃１１と、電子線引き出し電極（図示せず）、コンデンサレンズ１２、ブランキング用偏向器（図示せず）、絞り（図示せず）、走査偏向器１３、対物レンズ１４、検出電子を反射させる反射板（図示せず）、ＥｘＢ偏向器（図示せず）、およびビーム電流を検出するファラデーカップ（図示せず）から構成される。反射板は、円錐形状にして二次電子増倍効果を持たせた。電子検出部のうち、例えば二次電子、反射電子等の電子を検出する電子検出器２０が、例えば対物レンズ１４の上方または下方に設置される。そして、電子検出器２０の出力信号は、アンプ２１で増幅される。
【００３０】
試料室内には、高精細な外観画像を取得するための被対象基板（教示用基板も含む）１６を載置する試料台２３と、該試料台２３をＸ−Ｙ方向に移動するステージ１８と、該ステージの位置を測定する位置モニタ用測長器（図示せず）と、被対象基板１６の高さを測定する高さ測定器（図示せず）とが設置されている。位置モニタ用測長器は、ステージ１８等の位置を測定し、その結果を全体制御部１０７に転送する。また、ステージ１８の駆動系も全体制御部１０７によって制御される。従って、全体制御部１０７は、これらのデータに基いて電子線２２が照射されている領域や位置が正確に把握できるようになっている。さらに、メモリ部１０４には、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板（教示用基板も含む）についての欠陥の概略位置座標（概略位置データ）が記憶されている。従って、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板１６がステージ１８上に載置されると、全体制御部１０７はメモリ部１０４に記憶された欠陥の概略位置データと位置モニタ用測長器で測定されるステージ１８等の位置座標とに基いてステージ１８を制御することによって電子線２２が照射される領域（視野）内に欠陥を位置決めすることができる。
【００３１】
高さ測定器は、光学式測定器等が使用されてステージ１８上に載置された被対象基板（教示用基板も含む）１６の高さを測定するものである。そして、高さ測定器で測定された高さデータに基いて、電子線を細く絞るための対物レンズ１４の焦点距離がダイナミックに補正され、常に観察領域に焦点のあった状態で電子線が照射できるようになっている。
【００３２】
電子銃１１を出た電子ビームは、コンデンサレンズ１２、対物レンズ１４を経て、試料面では画素サイズ程度のビーム径に絞られる。この際、グランド電極１５、リターディング電極１７によって、試料１６に負電位を印加し、対物レンズ１４と被対象基板１６との間で電子ビームを減速することで低加速電圧領域での高分解能化を図る。電子線２２が照射されると、被対象基板（半導体ウエハ）１６からは電子が発生する。走査偏向器１３による電子線２２のＸ方向の繰り返し走査と、ステージ１８による被対象基板１６のＹ方向の連続的な移動に同期して被対象基板から発生する電子を検出することで、被対象基板の２次元の高精細な電子線像が得られる。被対象基板から発生した電子は、電子検出器２０で捕らえられ、アンプ２１で増幅される。ここで、走査偏向器１３としては、偏向速度の速い静電偏向器を用いるとよい。また、電子銃１１としては、電子ビーム電流を大きくできて照射時間を短くできる熱電界放射型電子銃を用いるのがよい。また、電子検出器２０には、高速駆動可能な半導体検出器を用いるのがよい。
【００３３】
画像取り出し部３０は、主としてＡ／Ｄ変換器３１と、前処理回路３２とによって構成される。そして、電子検出器２０で検出された電子検出信号は、アンプ２１で増幅され、Ａ／Ｄ変換器３１によりデジタル画像データ（階調画像データ）に変換される。この変換されたデジタル画像データは、例えば伝送手段（光ファイバケーブル）により伝送され、前処理回路３２に入力される。前処理回路３２では、暗レベル補正、電子線の揺らぎ補正、およびシェーディング補正等が行われ、さらにフィルタリング処理を行って画質を改善する。
【００３４】
以上説明したように、ＳＥＭ装置１０１ａにおいて、様々な製造プロセスから得られ、サイズや状態の異なる様々な微小欠陥が存在する被対象基板（教示用基板も含む）１６が、ステージ１８上に載置することによって、微小欠陥が電子線２２が照射される領域（視野）内に位置決めされ、該欠陥の電子線画像による高精細な外観画像が取得され、バス１０９を介してメモリ部１０４に蓄積されることになる。
【００３５】
次に、予め教示用として画像取得部１０１で取得してメモリ部１０４に蓄積した教示用の様々な微小欠陥の高精細な外観画像を基に、製造プロセスの状態を自動的に判定するための教示用データを作成し、この作成された教示用データを基に、画像取得部１０１で取得されてメモリ部１０４に記憶された製造プロセス状態判定分類用（欠陥カテゴリー分類用）の様々な微小欠陥の高精細な外観画像について製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定することについて説明する。
【００３６】
画像表示部１０２は、ＳＥＭや光学顕微鏡等の画像取得部１０１で取得され、画像メモリ等からなるメモリ部１０４に蓄積された（記憶された）教示用および、製造プロセス状態判定分類用（欠陥カテゴリー分類用）の半導体ウエハ等に発生した様々な欠陥の高精細な外観画像と、該欠陥のサイズを示すエッジ情報や欠陥の表面状態を示すテキスチャ、濃淡値、カラー（光学画像の場合は得られる。）等の欠陥の種類とを装置ユーザに対して表示するものである。入力手段１０３は、画像表示部１０２に表示したポインタを移動させるための情報等を装置ユーザが入力するためのものである。
【００３７】
ＣＰＵ等から構成された自動判定部１０５は、メモリ部１０４に蓄積された製造プロセス状態判定用（欠陥カテゴリー分類用）の各種の欠陥の高精細な外観画像に対して画像処理を施すことによって、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するものである。
【００３８】
自動判定部１０５内の画像特徴量自動抽出部を有する教示部１０６は、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するための教示データを作成するためのものである。
【００３９】
以上説明したように、本発明に係る製造状態自動判定装置は、画像取得部１０１、画像表示部１０２、メモリ部１０４、自動判定部１０５、および入力手段１０３等を接続した全体制御部１０７等を、バス１０９を介して接続して構成される。全体制御部１０７は、画像取得部１０１、メモリ部１０４、画像表示部１０２、および自動判定部１０５の全体を制御するものである。
【００４０】
次に、自動判定部１０５内の教示部１０６において、教示データを作成することについて図３を用いて説明する。まず、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板を基に、教示用の外観画像として選ばれた様々な欠陥が存在する被対象基板１６を投入し、図３に示すような教示用の外観画像を、画像取得部１０１で取得してメモリ部１０４に蓄積する。次に、全体制御部１０７は、入力手段１０３からの選択指令に基いて、メモリ部１０４に蓄積された教示用の外観画像から、所望のものを選択して画像表示部１０２に表示する。
【００４１】
画像表示部１０２に表示された教示用の外観画像は、半導体の欠陥部２０１の拡大画像であり、暗くかつ細かいテクスチャを示す領域２０２が存在し、且つその周囲にサイズを示す明確な円状のエッジ２０３があることが特徴である。このように欠陥２０１は、異物や局所的なプロセスにおける異常によりある局所的な領域において異常が発生するが、その１個所の異物においてもさまざまな特徴（エッジ、濃淡値、テクスチャ、色等）の組み合わせにより構成されている。なお、特徴として色のデータは、ＳＥＭ画像においては得られず、光学画像において得られるものである。特徴としてエッジ、濃淡値、テクスチャ等のデータについては、ＳＥＭ画像および光学画像の両方において得られるものである。
【００４２】
ところで、欠陥を特徴づける画像特徴量（エッジ、濃淡値、テクスチャ、色等の量）は、それぞれ単独ではその欠陥の性質（その欠陥のカテゴリー）を特徴づけることが困難であり、様々な画像特徴量を組み合わせることによりその欠陥の性質を特徴づけることが可能である。これは、それぞれの画像特徴量を要素とした多次元ベクトルにより欠陥を表現することにより実現される。ここで、ｎ個の画像の特徴量があれば、ベクトルの次元数はｎであり、多次元空間はｎ次元空間として表現される。ｎ次元空間内におけるベクトルの位置関係（ベクトル関係）をもとに、その欠陥のカテゴリーを特定することにより、同一の性質をもつ欠陥ごとに分類することが可能となる。
【００４３】
半導体の欠陥、および良品部分の外観は、半導体プロセスの変化によって異なってくる。このため、欠陥を特徴づける画像特徴を抽出するアルゴリズムはあらかじめ備えておくことができない。
【００４４】
この課題を解決するため、本発明では、例えば図３に示す教示用の拡大外観画像に対して入力手段１０３等を用いてユーザが教示したそれぞれの欠陥の各局所的な部位の画像特徴を自動的に抽出し、抽出された画像特徴をそのカテゴリーの欠陥の特徴的な画像特徴としてその後取得画像部１０１で取得されてメモリ部１０４に記憶された分類用の外観画像（製造プロセス状態判定分類用（欠陥カテゴリー分類用）の各種の欠陥の高精細な外観画像）に対して判定する。
【００４５】
装置ユーザは、画像表示手段１０２に表示された教示用の欠陥拡大画像を見て、該拡大画像におけるその欠陥の局所的な特徴を持つ部位を入力手段１０３を用いて入力する。ＣＰＵ等から構成された自動判定部１０５内の画像特徴量自動抽出部を有する教示部１０６は、ユーザが入力手段１０３を用いて入力した拡大画像における欠陥部２０１の部位における画像特徴（エッジ、テキスチャ、濃淡値、色等）を自動的に抽出する（例えば、エッジについては細いものなのか太いものなのか、黒いものなのか白いものなのか、テキスチャについては粗いものなのか細かいものなのか、濃淡値については濃いものなのか淡いものなのか、カラーについてはどんな色なのか）とともに、各部位の相対的なｎ次空間における位置関係を求める。
【００４６】
このように、ユーザが入力した部位における画像特徴を教示部１０６の画像特徴量自動抽出部において抽出する際に、ユーザがその画像特徴の概略（種類）をあらかじめ入力手段１０３等を用いて指定した方が教示部１０６の画像特徴量自動抽出部において画像特徴を抽出しやすい場合がある。これに対応するために、図１に示すように、全体制御部１０７は、自動判定部１０５内の記憶装置（図示せず）またはメモリ部１０４に記憶された予め既知である画像特徴の種類（エッジ、テキスチャ、濃淡値、色等）を画像表示部１０２に表示し、ユーザが欠陥部２０１に対して入力手段１０３を用いてポインタ等で指示することによって、画像特徴の種類を教示部１０６に対して入力することが可能となる。
【００４７】
特に、ＳＥＭで取得した画像の場合、欠陥位置自体を特定することが困難である場合がある。その理由は、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された被検査対象基板上の様々な欠陥の位置座標は、光学的な外観検査装置の座標系によって得られることから、光学的な外観検査装置で検査された欠陥の位置座標と、ＳＥＭ画像取得部１０１ａにおける高い倍率を有するＳＥＭ座標系との間において僅かなずれが生じてくるからである。従って、ＳＥＭ画像取得部１０１ａにおいて該画像取得部座標系で取得される画像を基に、欠陥位置自体を特定することが必要となる。そこで、ＳＥＭ等の画像取得部１０１で取得され、画像表示部１０２に表示された教示用画像に対してユーザが欠陥の存在する領域（エッジで示される。）をポインタで指示することによって、教示部１０６は該指示された領域から信頼性の高い画像特徴（エッジ、テキスチャ、濃淡値、色等）を抽出することができる。
【００４８】
次に、教示部１０６において、画像の特徴量（エッジ、テキスチャ、濃淡値、色等）を自動的に抽出する一実施例について、図４を用いて説明する。図４（ｂ）に示す１２０５は、画像の特徴量によって形成される空間であり、ｎ次元特徴空間である。ｎ次元特徴空間の各軸は、それぞれ異なる画像の特徴量を表わす。一般に画像を分類するためには、予めわかっている分類するのに都合のよい画像特徴、例えば欠陥中心部付近のテキスチャ特徴の大きさ、などをこのｎ次元特徴空間の軸としている。しかし、半導体欠陥のようにプロセスによってその外観が大きく変化するものに対しては、予め分類するのに都合のよい画像特徴がわからないため、例えば画像の空間周波数などのように特定の対象に依存しないより汎用的な画像特徴をｎ次元特徴空間の軸とする。任意の画像はこのｎ次元特徴空間にマッピングされることが可能である。画像の周波数のような特徴をｎ次元空間の軸に選択した場合、たとえば図４（ａ）に示したテキスチャ特徴がこの空間のどのベクトル成分に対応するかを求めることで、ｎ次元空間における画像特徴量の現われ方を抽出することが可能になる。
【００４９】
今、教示部１０６において、画像のカテゴリーを教示するために、画像取得部１０１で取得されてメモリ部１０４に記憶された教示用の欠陥画像が図４（ａ）に示す１２０１である。この欠陥画像１２０１の外観特徴の一つであるテキスチャが、上記ｎ次元特徴空間１２０５における現れ方を、テキスチャの無い画像が上記ｎ次元特徴空間１２０５のどこにマッピングされるかを評価することによって求めることが可能である。１２０１で示す欠陥画像のテキスチャ部分にデジタル処理を加えて、テキスチャ部分の明るさ変動（明るさ変化）を順次少なくした３つの欠陥画像信号を生成する。１２０６は、欠陥画像１２０１が多次元特徴空間１２０５において表現された多次元ベクトルであり、テキスチャ部分の明るさ変動（明るさ変化）を順次少なくした３つの欠陥画像信号もそれぞれ、多次元特徴空間１２０５において１２０７、１２０８、１２０９とマッピングされることになる。このようにテキスチャの明るさ変動が無くなるに従って、１２０６から１２０９へとベクトルが変化する。即ち、この多次元特徴空間１２０５における欠陥画像１２０１のテキスチャに対応するベクトルは、教示部１０６においてベクトル１２０６から１２０９への変化を基に、求めることができる。
【００５０】
このようにカテゴリーを教示する教示用の欠陥画像１２０１において、このテキスチャが特徴的な外観であるから、逆に言えば、テキスチャが無くなれば、この画像はテキスチャに対応するカテゴリーとはみなされなくなる。すなわち、教示しようとしている欠陥のカテゴリーにおいて、ベクトル１２０９とベクトル１２０６の差に対応するベクトル方向成分（図１３に示す９０２）に対応する領域（図１３に示す９０１）は狭いと推定できる。このようにして教示部１０６は、欠陥の外観特徴を基に、欠陥のカテゴリーのｎ次元特徴空間における領域を決定して教示することができる。さらに、この領域を正確に求めるためには、教示部１０６においてデジタル処理を加えた画像、即ち、テキスチャ部分の明るさ変動（明るさ変化）を順次少なくした３つの欠陥画像信号を画像表示部１０２に表示し、このカテゴリーとして許容可能な画像の範囲（テキスチャ部分の明るさ変動の許容できる範囲）をユーザに入力手段１０３を用いて特定させることが有効である。この場合には、ユーザが許容できる範囲（テキスチャ部分の明るさ変動を許容できる範囲）の欠陥画像を基に、ｎ次元特徴空間における領域を決定可能であるため、正確にカテゴリーの領域（図１３に示す９０１）を求めることが可能になる。教示部１０６は、ユーザの教示以外にも、同一カテゴリーの画像の多次元特徴空間における分布状態を基に、そのカテゴリーの領域を特定することも可能である。この手法としては、例えば最短距離法などよく知られているアルゴリズムを適用すれば良い。
【００５１】
即ち、教示部１０６は、教示用の欠陥画像１２０１を基に図６に示す処理フローに基いてカテゴリーが教示できる。まず、教示部１０６は、ステップＳ６０１において、画像取得部１０１で取得されてメモリ部１０４に記憶された教示用の欠陥画像１２０１を画像表示部１０２に表示する。次に、ステップＳ６０２において、ユーザが入力手段１０３を用いて画像表示部１０２に表示された欠陥画像１２０１の特徴の位置、および特徴の種類（エッジ、テキスチャ、濃淡値、色等）を指示して入力して自動判定部１０５内の記憶装置６０２またはメモリ部１０４に記憶させる。さらに、ステップＳ６０３において、教示部１０６は、入力して記憶された欠陥画像１２０１に対して、デジタル画像処理により、ユーザが指定した特徴（エッジ、テキスチャ、濃淡値、色等）について弱めた欠陥画像を生成し、自動判定部１０５内の記憶装置６０２に記憶させる。次に、教示部１０６は、ステップＳ６０４において、この生成されたユーザが指定した特徴について弱めた欠陥画像を画像表示部１０２に表示し、ユーザが入力手段１０３を用いて同一カテゴリーと判断可能な特徴量の許容範囲を示す欠陥画像を指定し、該指定された同一カテゴリーと判断可能な特徴量の許容範囲を示す欠陥画像を入力して自動判定部１０５内の記憶装置６０２に記憶させる。次に、教示部１０６は、ステップＳ６０５において、欠陥画像１２０１、およびデジタル画像処理によって指定特徴について弱めて生成された欠陥画像を図４（ｂ）に示すようにｎ次元特徴空間にマッピングし、次に、ステップＳ６０６において、ｎ次元特徴空間におけるユーザが指定した特徴のベクトル成分を算出し、次に、ステップＳ６０７において、算出されたベクトル成分と、ユーザが指定した同一カテゴリーのデジタル処理生成画像を基にｎ次元特徴空間におけるカテゴリーの領域（図１３に示す９０１）を決定し、自動判定部１０５内の記憶装置６０２に記憶させることによって教示データを取得することができる。
【００５２】
このように、教示部１０６は、カテゴリーを教示する際、そのカテゴリーに属する欠陥画像を基に、ｎ次元多次元特徴空間における、特徴的な外観に対応するベクトル（図１３における９０２）を求め、さらにこのカテゴリーのｎ次元特徴空間における領域（図１３に示す９０１）を決定する機能を果たす。
【００５３】
一方、自動判定部１０５、即ち、図７に示す画像特徴抽出部３０１およびｎ次元空間分類部３０２は、カテゴリーを教示する際ではなく、未判定の分類用欠陥画像に対してカテゴリーを決定する際に機能する。ここで、画像特徴抽出部３０１は教示部１０６が行ったのと同じ手法により、未判定の欠陥画像をｎ次元特徴空間にマッピングする。実際のシステムでは、このことから、画像特徴抽出部３０１と教示部１０６の一部とを同一の手段（ＣＰＵ）により実現することも可能である。ｎ次元空間分類部３０２は、ｎ次元特徴空間にマッピングされた未判定の分類用欠陥画像が、教示部１０６によって求められたｎ次元特徴空間における各欠陥のカテゴリーの領域のいずれに属するかを求めることによって、未判定の欠陥を分類する。例えば、ｎ次元特徴空間は、図５に示すように各欠陥カテゴリーの分布が決定される。図５に示す１３０１はｎ次元特徴空間の模式図であり、１３０２はある欠陥カテゴリーＡを示しており、１３０３はカテゴリーＢを示している。ｎ次元空間分類部３０２において、カテゴリーＡにもＢにも含まれない領域は、どちらのカテゴリーにも属さないと判定されるので、この場合、自動判定部１０５はユーザに対し、新たなカテゴリーを作成するか、あるいは既存のカテゴリーの領域を変更するかを、例えば画像表示部１０２に出力して問い合わせをおこなう。
【００５４】
次に、自動判定部１０５について図７を用いてさらに詳細に説明する。画像特徴抽出部３０１は、教示部１０６における画像特徴量自動抽出部と同様に、製造プロセスの状態を自動的に判定するための様々な欠陥が存在する被対象基板１６が投入されて、画像取得部１０１で取得されてメモリ部１０４に蓄積された未判定の分類用欠陥外観画像から複数のターゲットに依存しない汎用的な画像特徴、たとえば画像の空間周波数などを抽出し、未判定の分類用欠陥画像を多次元ベクトルとして表わすものである。ここで、画像の特徴量としてなるべく汎用的なものであれば空間周波数である必要はなく、たとえば画像をＫＬ変換、離散コサイン変換、ウェーブレット変換した画像自体、あるいはそれを圧縮した画像自体を特徴量としてもよい。また、エッジやテキスチャ、色といった特徴でもよい。
【００５５】
ｎ次元空間分類部３０２は、画像特徴抽出部３０１から出力される複数の特徴（エッジ、テキスチャ、濃淡値、色等）を入力し、未判定の分類用欠陥画像をそれぞれのカテゴリー毎に分類する。一般にｎ次元特徴空間における分類においては、複数のそのカテゴリーに属する欠陥サンプル画像より求めたｎ次元ベクトルの分布（図５に示す１３０２、１３０３：図１３に示す９０１）をもとに、主成分分析の手法によりｎ次元空間中におけるそのカテゴリーの存在範囲が決定される。しかし、この手法は１つのカテゴリーに属する欠陥に関し、数多くのバリエーションをもつサンプル画像が入手できない場合には正確なカテゴリーの存在範囲を決定することが困難である。
【００５６】
本発明では、教示部１０６が出力した欠陥画像の特徴のｎ次元特徴空間におけるベクトル成分（図１３に示す９０２）を求め、そのカテゴリーに特徴的な画像特徴が示すベクトルにおいてはその成分の分散が小さくなるという規則と、それとともにそのカテゴリーに属すサンプル画像の分布状態をもとにカテゴリーの範囲（図１３に示す９０１）を決定することにより、サンプル画像数が少ない場合にも正確な存在範囲を決定することが可能である。
【００５７】
教示部１０６は、ユーザからの入力によって、局所的な画像特徴の解析を行うが、ユーザが入力した部位の画像特徴のみから、画像取得部１０１で取得された様々な欠陥画像についてその複雑な形状の欠陥に対してカテゴリーの分類を実現することは困難であり、局所的な部位だけではなく、欠陥部全体の外観をもとにしたカテゴリーの分類が必要となる。
【００５８】
ところで、製造プロセスや設計ルールの変更に伴って欠陥および良品部の画像は大きく変化する場合がある。既に述べたように、自動判定部１０５は、教示部１０６にてカテゴリーに属する欠陥画像を基に、ｎ次元空間分類部３０２においてｎ次元特徴空間におけるカテゴリーの領域を決定する。しかし、画像特徴抽出部３０１において、欠陥の特徴に関する情報が欠落してしまったとしたら、教示部１０６においていくら教示したとしても欠陥を分類できない恐れがある。特に半導体欠陥の場合には、その後のプロセスの変更により、未知の複雑な形状をした欠陥が発生する可能性が高い。未知の欠陥に対して画像特徴抽出部３０１のアルゴリズムを変更すること無く、教示のみで正確な分類を実現させるためには、情報を欠落させること無しに欠陥画像の特徴を画像特徴抽出部３０１からｎ次元空間分類部３０２に入力させることが望ましい。
【００５９】
しかし、画像特徴抽出部３０１で何も処理をしないまま画像を多次元ベクトルであらわし、ｎ次元空間分類部３０２でｎ次元空間においてグループ分けすることは、位置に対する変動に対する弱さや莫大な計算量などの見地から不適切である。これを例をあげて説明する。
【００６０】
画像の水平方向のサイズ、垂直方向のサイズをそれぞれＭ、Ｍとした場合、画像のピクセル数はＭとＭの積、Ｍの２乗個の要素によってあらわすことができる。このＭＭ個の要素に１次元のインデックスをつけ、このそれぞれをベクトル要素とした多次元ベクトルで画像をあらわしたとする。画像を変数Ｐ［ｉ］［ｊ］であらわし、多次元ベクトルをｖ［ｋ］であらわす。画像に１本の水平方向の直線が存在していたとする。画像が８ｂｉｔ画像であるとし、直線の水平方向の位置が０ライン目であったとするとその画像は、次の（数１）式および（数２）式のようにあらわされる。
【００６１】
Ｐ［０］［ｊ］＝２５５（数１）
Ｐ［Ｉ］［ｊ］＝０（数２）
但し、ｊはＭ未満の任意の数、Ｉは０以外のＭ未満の任意の数である。
【００６２】
次に、直線が垂直方向に１画素分ずれたとする。このときの画像は次の（数３）式および（数４）式であらわされる。
【００６３】
Ｐ［１］［ｊ］＝２５５（数３）
Ｐ［Ｉ］［ｊ］＝０（数４）
但し、ｊはＭ未満の任意の数、Ｉは１以外のＭ未満の任意の数である。
【００６４】
次にこの垂直方向の直線が垂直方向であった場合を考える。画像の左端に存在する直線である場合、画像は次の（数５）式および（数６）式であらわされる。
【００６５】
Ｐ［ｉ］［０］＝２５５（数５）
Ｐ［ｉ］［Ｊ］＝０（数６）
但し、ｉはＭ未満の任意の数、Ｊは０以外のＭ未満の任意の数である。
【００６６】
ところで、（数１）および（数２）式、（数３）および（数４）式、並びに（数５）および（数６）式の各々から求めたベクトルをそれぞれｖ１、ｖ２、ｖ３というベクトルであらわすことによって、それぞれのベクトルの差ｄｖ２、ｄｖ３は、次の（数７）式および（数８）によって求められる。
【００６７】
ｄｖ２＝｜ｖ１−ｖ２｜＝√（５１２Ｍ）（数７）
ｄｖ３＝｜ｖ１−ｖ３｜＝√（５１０Ｍ）（数８）
すなわち、１画素しか離れていない水平直線の画像のベクトル間の距離ｄｖ２と水平と垂直という極めて異なった特徴を持つ画像のベクトル間の距離ｄｖ３では水平直線のベクトル間の距離の方が大きくなるという現象が発生してしまう。
【００６８】
これは、極めて似通った特徴を持つ画像をあらわす特徴同士がｎ次元空間内においてまったく異なった位置にマッピングされてしまうことを意味しており、画像特徴の近さによって正規分布することを期待することは不可能であることを意味している。すなわち、グループ分けの計算は極めて複雑になってしまい現実的では無くなってしまう。
【００６９】
この問題を解決するためには、図８に示す基底変換部４０２におけるフーリエ変換、ウェーブレット変換などの基底変換が効果を発揮する。画像をフーリエ変換した場合、適切な窓関数とともに用いれば、画像の位置ずれは周波数スペクトルには影響を与えず、位置ずれは連続的な位相の変化としてあらわれる。このため、欠陥画像そのままを扱うよりもグループを正規分布に近い形で扱うことが可能になる。計算量を少なくするためにはＫＬ変換、離散コサイン変換、フーリエ変換による画像圧縮が有効である。離散コサイン変換、フーリエ変換による画像圧縮では、画像をあらわすスペクトルの分散が小さいものを情報が少ないものとして取り除く。フーリエ変換は、画像のずれに対しては強力であるが、欠陥画像のように形状がさまざまに変化する場合には対応ができない。
【００７０】
この課題は、画像分割部４０１において、欠陥画像を局所領域ごとに分割することで対応可能である。
【００７１】
このときの画像特徴抽出部３０１の構成を図８を用いて説明する。
【００７２】
画像特徴抽出部３０１における画像分割部４０１は、未判定の欠陥画像を小領域（局所領域）ごとに分割し、基底変換部４０２は、小領域毎に分割された欠陥画像に対してフーリエ変換を行う。小領域は、それぞれオーバーラップ分をもって分割され、各オーバーラップ分にはそれぞれハミング窓のような窓関数をかける。十分なオーバーラップと適切な窓関数が設定されていれば、各小領域内のスペクトルは位置ずれに対して大きく変動しない。そこで、位置及び形状正規化部４０３内のばねマッチング部８０６において、それぞれの小領域がバネでつながったように一定範囲内で自由に移動可能とすることで異なった形状同士のマッチングにより形状の変化への対応が実現可能である。このように位置及び形状正規化部４０３において、小領域に分割された教示用画像を基準にして、小領域に分割された小領域ごとに、分類用画像を位置および形状について正規化することによって分類用画像の特徴量を教示用画像の特徴量に対して対応させることが可能となる。
【００７３】
なお、画像分割部４０１で分割する小領域の大きさを、欠陥画像の検出倍率などにより最適なサイズに変化させる必要がある。このため、画像分割部４０１は、分割する小領域のサイズを、図９に示すように、画像表示部１０２に表示してユーザが確認できるようにするのがよい。
【００７４】
一般に、基底変換部４０２における基底変換は、エッジ抽出などの画像処理に比較して多くの計算を要する。
【００７５】
本発明においては、自動判定部１０５において、画像取得部１０１で取得した未判定の分類用欠陥画像を、分類される可能性のある複数のカテゴリーの教示用画像と照合をとる必要がある。ここで、教示用画像は予め記憶装置に記憶されていることから、その度ごとに基底を変換する必要はなく、基底変換部６０５で基底変換した画像を記憶装置６０２に蓄積することにより、未判定の外観画像の分類において計算時間を短縮することが可能となる。
【００７６】
図１０に記憶装置６０２に教示用画像を記憶する場合の構成図を示す。教示用画像生成部６０１は、画像分割部４０１、および基底変換部４０２と同様に、画像取得部１０１で取得されてメモリ部１０４に記憶された教示用外観画像を画像分割部６０４において小領域ごとに分割し、さらに基底変換部６０５で基底変換を行う。教示用画像生成部６０１は、画像取得部１０１で取得した教示用画像そのもののみではなく、デジタル処理部６０３で該教示用画像に対し、大きさ（拡大、縮小）や回転、位置（平行移動）などをデジタル処理によって変化させたのちに、画像分割部６０４で小領域に分割し、基底変換部６０５で基底変換の処理を行うことも可能にする。
【００７７】
これを図１１を用いて説明する。７０１は取得した教示用画像である。フーリエ変換は一般に位置の変化を位相項の連続的な変化にすることを可能にするが、対象画像（分類用画像）が回転してしまった場合には対応することができない。また、分類用画像において、教示用画像に対して同じ特徴をもつ欠陥ではあるがそのサイズが大きく異なっていた場合にも、教示用画像に対する分類用画像の対応が困難になることが考えられる。これを解決するには、予め取得された教示用画像７０１よりサイズや回転角が異なった画像、すなわち７０２〜７０８に示すような画像を、デジタル処理部６０３におけるデジタル処理によって生成することで教示用画像を分類用画像に対応させることが可能となる。
【００７８】
次に、位置及び形状正規化部４０３の構成を図１２を用いて説明する。画像分割部４０１において、画像取得部１０１で取得された未判定の分類用画像を小領域ごとに分割し、基底変換部４０２において小領域ごとに分割した未判定の欠陥画像を基底変換した後、位置及び形状正規化部４０３に入力される。ここでは、基底変換としてフーリエ変換を例としてあげる。フーリエ変換された小領域同士の同一性のチェックは相関演算を行うことにより実現可能であるが、同一性を正確に行うためには位相算出部８０４で相対的な位相のずれを算出する必要があり、多くの計算を要する。この演算時間を短縮させるためには、まず、基底変換部４０２から得られる小領域からなる分類用画像をエッジ強調部８０１でエッジ（境界）を強調させ、基底変換部６０５から得られる小領域からなる教示用画像をエッジ強調部８０３でエッジ（境界）を強調させ、フーリエスペクトル比較部８０２において両者のフーリエスペクトルの分布状態を比較すれば良い。位相が変化した場合にもフーリエスペクトルは変化しない。このため、フーリエスペクトルの分布状態が、大きく異なっていればその小領域画像同士の画像は異なっていると判断することができる。
【００７９】
基底変換部４０２、６０５においてフーリエ変換した画像は、そのまま適用すると位相ずれによって特徴画像どうしを同一のものとして扱えない場合がある。８１１から８１５、８２１から８２４を用いてこれを説明する。８１１から８１５、８２１から８２３の画像は、取得画像を小領域ごとに分割した画像の模式図である。８１１から８１５は、８２４の画像から切り出された画像であるが、それぞれ切り出し位置の違いにより異なった画像となっている。８１１から８１３は暗い領域と明るい領域の境界において切り出された画像であり、その境界は画像全体における特徴を示す可能性がある。このため、境界画像は同一のものとして扱うことが求められる。しかし、相関演算を行うと、８１１は８１３よりも８１４に、８１３は８１１よりも８１５と近いと判定され、期待していた同一性の判定をおこなうことができない。この課題は、エッジ強調部８０１および８０３において、画像の低周波数成分（エッジ以外の部分）のゲインを下げることにより対応することが可能である。８１１から８１３の低周波数成分のゲインを下げた画像を８２１から８２３に示す。低周波数成分のゲインを減らすことにより、境界を含む画像を同一のものとして判定することができる。
【００８０】
この低周波数成分のゲインを減らす処理が、エッジ強調部８０１およびエッジ強調部８０３において実行される。
【００８１】
次に、フーリエスペクトル比較部８０２において、低周波数成分のゲインを減らした分類用画像と教示用画像とについておおまかなスペクトルの比較を行い、スペクトル分布が大きく異なった場合は同一ではないと判定する。スペクトル分布が似通った画像が複数あった場合は、位相算出部８０４で２つの画像の位相差を求め、特徴同一性評価部８０５で特徴の同一性の評価を行う。
【００８２】
ばねマッチング部８０６においては、特徴同一性評価部８０５から得られる各局所画像の同一性の評価結果とその配置関係をもとに分類用画像と教示用画像の同一性が評価される。即ち、ばねマッチング部８０６は、小領域からなる分類用画像と教示用画像とに基いて、各小領域同志の配置関係がばねでつながったように一定範囲内で自由に移動可能であるフレキシブルなマッチングにより、分離用画像と教示用画像との同一性を評価し、分類用画像が教示用画像に対して位置及び形状の正規化が行う。その結果、位置や形状に影響されること無く、ｎ次元空間分類部３０２において、ｎ次元空間内で特徴量の比較を行うことができるようになる。
【００８３】
分類用画像に撮像されている注目すべき個所、たとえば欠陥部が分類用画像のどの位置に撮像されているかは一般には未知である。この場合には各画像における注目個所の位置の違いによって発生する教示用画像と分類用画像の対応関係を変化させながら同一性の評価を行うことで位置ずれに対応させることが可能である。半導体の製造状態を判定する装置においては、一般に欠陥個所を特定するために良品の画像と欠陥画像の差画像を計算し、位置を特定することが一般的であるが、本手法により差画像なしでの解析が可能である。また、従来と同様に差画像を用いる欠陥位置の特定も可能である。
【００８４】
各小領域の同一性は、画像全体としての同一性の評価にあたり、それぞれが必ずしも同じだけの寄与をするわけではない。図１に示した入力手段１０３によりユーザが、教示用画像の画像特徴であると示した部位に対応する小領域の同一性を主として判断することにより、装置ユーザが特徴的外観として示した画像特徴をもつ教示用画像と同一であるとの評価がなされる。分類用画像と同じとされた教示用画像が複数存在した場合には局所画像の同一性の評価をもとに分類用画像の形状が教示用画像の形状をもとに正規化、すなわち、分類用画像と教示用画像の局所画像間の対応関係が求められる。このときにも、同一性を評価したときと同様に、装置ユーザが示した部位を含む小領域を主として小領域の対応関係を求めることで、装置ユーザが望む対応関係を得ることができる。
【００８５】
即ち、半導体欠陥は、それぞれ形状が異なっている。例えば、図１５に示すように教示用画像と分類用画像とが異なる画像であっても、同一のカテゴリーに分類する必要がある。分離用画像のＡ部と教示用画像のＢ部は、同じ局所的な特徴を持つが、欠陥の形状がことなるために、画像のそれぞれ異なる位置に出現する。画像を分類する際には、異なる２つの画像においてまったく異なる位置に特徴が表われた場合、異なるカテゴリーに分類する必要がある。また、全体的な形状が大きく変化しない範囲で異なる位置に同じ特徴が表われた場合は、同じカテゴリーと考えられる。即ち、欠陥を分類するには、局所的に特徴が一致するのみではなく、全体的に特徴が一致する必要がある。
【００８６】
そこで、位置及び形状正規化部４０３において、位置及び形状の正規化をおこなうことにより、上記課題を解決することができる。分類用画像および教示用画像を画像分割部４０１、６０４で小領域ごとに分割し、基底変換部４０２、６０５から得られる小領域ごとの特徴量をもとに位置合わせすることにより、全体形状が大きく変化しない範囲で特徴の出現する位置が異なっていた場合にも、同じ特徴を持つ同志を比較することが可能となる。
【００８７】
このように教示用画像自体を持つことにより、教示用画像を基準にした欠陥の位置および形状の正規化を実現できるため、その後のカテゴリーの分類が容易になる。
【００８８】
分類用画像は、それがどのカテゴリーの欠陥であるか予め知ることができない。このため、あらゆるカテゴリーの欠陥画像と照合し、それぞれの画像に対して最も画像がうまく対応する位置関係を求める必要がある。自動判定部１０５では、位置および形状の正規化という前処理を終了した後にカテゴリーごとにｎ次元特徴空間内で分類する。このとき、小領域ごとの特徴量をそれぞれ特徴空間の軸とする。ｎ次元空間分類部３０２におけるｎ次元特徴空間内におけるカテゴリーの領域は、教示用画像を基に求めるが、教示用画像も画像分割部６０４で小領域ごとに分割された後に、例えば基底変換されて画像特徴量自動抽出部１０６１で特徴量が抽出され、多次元特徴ベクトル算出部１０６２でこの特徴空間内のベクトル９０２に変換される。次に、このベクトルをもとに、領域教示部１０６３においてその教示用画像が属するカテゴリーの領域９０１が決定される。
【００８９】
教示用画像生成部６０１は基本的には教示用画像がｎ次元特徴空間のどこにプロットされるかを求めるために教示用画像を小領域に分割し、１つの欠陥画像から複数の欠陥画像を生成させ、少数の教示用画像から信頼性の高い分類が行えるよう、様々な状態（サイズ、回転など７０１〜７０８）の欠陥画像をデジタル処理により生成する。
【００９０】
なお、予め、教示用画像を小領域に分割し、基底変換したものを記憶装置６０２に記憶しておけば、分類用画像を判定分類する際、教示用画像に対する基底変換にかかる時間を短縮することができる。
【００９１】
ところで、各画像は、それぞれ周波数であらわされる特徴をもとに多次元ベクトルで表現可能である。各小領域が示す空間周波数をそれぞれ特徴量のベクトルとすることで、図１３に示すように、多次元空間を形成することが可能である。あるカテゴリーに含まれる画像の特徴は、図１３に示すように、このカテゴリーに属する教示用画像が示す特徴ベクトル９０２を中心とした楕円状の領域９０１に存在すると考えることができる。ここで、楕円状の領域９０１が示す主軸９０２は、楕円状の領域９０１が示すカテゴリーの多次元空間内における分散を示している。カテゴリーを示す領域９０１は、楕円で示されており、楕円のそれぞれの主軸９０２が特徴を示していると考えられる。９０２はユーザがこのカテゴリーの外観画像の特徴として示した部位を教示部１０６にて解析した画像特徴を多次元特徴空間において示したベクトルである。画像をグループ分けするに重要となる画像特徴は、すべてのそのカテゴリーに属する画像が持つであろう特徴と考えることができる。このため、そのカテゴリーが示す楕円９０１は、そのベクトル方向９０２に対して分散が小さいと考えることができる。装置ユーザが教示部１０６に何も入力しなかった場合、装置にはそのカテゴリーの分布に関する情報が与えられていないことになるため、カテゴリーを示す領域はすべてのベクトル方向で等しい距離、すなわち球となる。この場合には、ｎ次元空間分類部３０２は、多次元特徴空間において分類する必要はなく、分類用画像と教示用画像の同一性が評価された段階で認識は終了することとなる。すなわち、装置ユーザは入力手段１０３に何も入力すること無しに分類することも可能である。このように、ｎ次元空間分類部３０２は、画像特徴抽出部３０１によって図１３に示すようなｎ次元特徴空間にマッピングされた未判定の分類用欠陥画像が、教示部１０６によって求められたｎ次元特徴空間における各欠陥のカテゴリーの領域のいずれに属するかを求めることによって、未判定の欠陥を分類する。
【００９２】
教示用画像は、図１１に示したように、検出した画像を変換して与える場合がある。たとえば参照画像をアファイン変換を用いて生成した場合、回転させる角度により教示用画像を連続的に変化させることができる。回転角に伴い、多次元空間において表される特徴量も連続的に変化する。しかし、この回転に伴う特徴量の変化を連続的に求めることは計算時間を多く要するため困難である。
【００９３】
この課題は、検出画像より複数の離散的な角度の教示用画像を生成し、該教示用画像が示す特徴ベクトルを補間することにより解決可能である。たとえば図１１において、画像の角度は７０１、７０２、７０３、７０４、７０１とそれぞれ順を追って変化している。すなわち、７０１から７０２の間の回転角は７０１で求めた特徴ベクトルと７０２で求めた特徴ベクトルにより補間するといった方法によりあらゆる角度の変化に対応させることが可能である。即ち、教示部１０６は、教示用画像において、入力手段１０３によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に、複数の教示用画像の多次元特徴空間における多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルを補間したベクトル軌跡を中心としたドーナツ状の空間領域を教示することができる。
【００９４】
本システムを実際に半導体の製造現場にて適用するにあたっては、ユーザは指定した部位がもつ外観特徴を実際にシステムが認識しているかどうか確認する必要がある。これを実現するためには主として画像をグループ分けするのに用いられた画像特徴を確認するための表示が必要である。これは多次元空間における分散が小さいベクトル成分（分類用の外観画像の分類判定に寄与した主要な画像特徴量を抽出した画像）に対応する画像特徴を分類用画像に対してオーバレイで表示することで実現できる。これを図１４を用いて説明する。図１４において１０２は図１における画像表示部である。画像特徴量ベクトル画像変換部１００１は、教示部１０６または分類部３０２から得られる図１３における９０２が示す分散が小さいベクトル成分を、表示できる画像に変換する。９０２に示されるベクトル成分は教示用画像を用いて装置ユーザが特徴となる部位を示して算出されたものであり、分類用画像とは直接対応していないが、教示用画像と分類用画像との分割小領域画像間の対応関係は、位置及び形状正規化部４０３において既に求められている。そこで、画像位置変換部１００２は、この対応関係をもとに画像特徴量ベクトル画像変換部１００１が出力する画像の位置を補正することによって、分類用画像上に、該分類用画像に対応した分散が小さいベクトル成分９０２を画像でオーバレイ表示することができる。
【００９５】
即ち、画像位置変換部１００２より出力された画像は、装置が分類用画像に対して認識した画像特徴と考えることができる。これを分類用画像に対してオーバレイで表示することでユーザは装置の認識を直接確認することができる。このオーバレイでの表示はそれぞれの周波数スペクトルごとに色、マーク、テキスチャを変更させるなどの手法でユーザにわかりやすく表示させることができる。なお、ここでは周波数スペクトルとしたが、そのほかの画像特徴であっても多次元空間で表現される特徴であれば適用可能である。
【００９６】
装置ユーザは、自動判定部１０５において正常に分類できなかった画像に対して正常な分類を教える必要がある。正常な分類を教える方法としては、その画像が属するカテゴリーを教える方法、図１に示す画像表示部１０２、および入力手段１０３で説明したように特徴的な画像特徴部位を示す方法、欠陥の属する領域を指定する方法が挙げられる。なお、単にカテゴリーを教える方法についてはここまででは説明していないが、その時に示された画像が新たな教示用画像となり、その教示用画像が示す多次元ベクトルを中心とした楕円近似された領域が、教示されたカテゴリーの画像が存在する新たな領域として設定されることになる。教示は装置が正常に分類できなかった画像には、必須の作業であるが分類可能であった画像に対しての必要性は低い。このため、ユーザが装置に教示するモードにおいては、装置が正常に分類できなかった可能性の高い画像から順番に画像を表示すると共に必要であったら教示を行うという方法がもっとも効果的である。
【００９７】
自動判定部１０５が分類できたかどうかの判断を装置自身がおこなうことは一般には不可能であるが、その分類が正確である確実性を示す確信度を求めることは可能である。この確信度の算出の方法は複数挙げられるが、その代表的なものとしては多次元空間における分類用画像のベクトルともっとも分類用画像のベクトルに近かった教示用画像ベクトルとの距離があげられる。多次元空間中の距離が短かければ、分類用画像と教示用画像が似通った特徴を持つと判断可能であるが、その距離が長ければそれぞれの特徴が異なっていると判断可能である。よって、多次元空間における距離の逆数を確信度とすると、その値が大きければ正常に分類できたと判断することが可能である。ユーザが装置に教示するモードにおいては、教示部１０６が、画像表示部１０２に、この確信度が小さい画像を順に表示させ、ユーザが分類が間違っていると判断した場合に教示を行うようにすることで効率の良い教示を実現することができる。即ち、自動判定部１０５において分類判定する際の判定の確からしさを示す判定確信度を画像表示部１０２等の出力手段に出力することによって、分類できた確信度をユーザに知らせることができる。
【００９８】
ここまでは本装置が半導体の製造状態を判定することを前提にして説明してきたが、他の画像処理に適用することも可能である。たとえば、はんだ検査装置の画像処理に適用した場合の実施例を図１６を用いて説明する。はんだ検査においては画像よりリード、パッド、フィレット部を抽出することが必要である。このため、従来はトライアンドエラーで画像処理アルゴリズムを作っていた。新たなリード形状の部品がターゲットとして出現した場合、新たな画像特徴抽出アルゴリズムを付け加える必要が発生し、新規部品に容易に対応することはできなかった。本装置で説明した画像処理方式を用いることにより、新たなアルゴリズムを付加すること無しに対応させることが可能になる。例としてリード位置を認識する場合について説明する。１１０１〜１１０３は実装の違いにより異なった外観を持つはんだ付け部分を示しており、教示用画像として用いられる。１１０４〜１１０６はそれぞれリードを示している。リード境界部分の濃淡値の変化はプロセスによって大きく異なっている。ユーザは教示用画像において、リードの境界を教示する。はんだ検査装置はユーザが指定した領域を小領域ごとにオーバーラップを持って分割し、半導体の場合と同様に画像を基底変換する。リードの場合は教示用画像間の対応、すなわち、各教示用画像においてどの小領域がリードの右辺に対応し、どの小領域が左辺に対応するかという対応、が予めわかっている。このため、各教示用画像と分類用画像の比較ではなく、各教示用画像に含まれる小領域画像の組み合わせによって生成された画像と分類用画像とを比較よりリード位置の決定が可能である。いま、１１１０を分類用画像とする。分類用画像の左辺は１１０３の左辺と、１１１０の下辺は１１０２の下辺、１１１０の右辺は１１０３の右辺とほぼ同じ特徴を有する。分類用画像の位置の特定は左辺が１１０３、下辺が１１０２、右辺が１１０３として生成された画像との比較により実現される。このため、少数の教示用画像によって位置の特定を行うことが可能になる。
【００９９】
【発明の効果】
本発明によれば、半導体の製造状態等を判定する外観画像分類装置およびその方法において、プロセスが変化した場合にも画像特徴抽出アルゴリズムを変更すること無く半導体等の欠陥を発生させる半導体等の製造状態（カテゴリー）を分類可能なように教示させることが可能になる効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る外観画像分類装置の一実施例を示す簡略構成図である。
【図２】本発明に係る画像取得部の一実施例であるＳＥＭ装置を示す図である。
【図３】本発明が対象とする半導体欠陥の説明図である。
【図４】本発明に係る教示部において教示するための教示用画像と教示されるｎ次元特徴空間を示す図である。
【図５】本発明に係る教示部において教示されるｎ次元特徴空間における各カテゴリー領域を示す図である。
【図６】本発明に係る教示部において教示の仕方を説明するための図である。
【図７】図１に示す自動判定部の一実施例を示す簡略構成図である。
【図８】図７に示す画像特徴抽出部の簡略構成図である。
【図９】画像分割部における画像の分割方法を説明するための図である。
【図１０】本発明に係る外観画像分類装置の他の一実施例を示す簡略構成図である。
【図１１】図１０に示す教示用画像生成部が生成する教示用画像群説明図である。
【図１２】図１０に示す位置及び形状正規化部を示す簡略構成図である。
【図１３】本発明に係る多次元特徴空間において教示された特徴ベクトルとカテゴリーの領域とを説明するための図である。
【図１４】本発明に係る分類判定において寄与した主要な画像特徴量を抽出した画像に対応する画像を分類用画像にオーバレイで表示する構成を示す図である。
【図１５】分類用画像と教示用画像との間において形状が異なる欠陥画像を示した図である。
【図１６】本発明が対象とするはんだ検査を説明する図である。
【符号の説明】
１０…検出部、３０…電子線画像取り出し部、１０１…画像取得部、１０１ａ…ＳＥＭ装置、１０２…画像表示部、１０３…入力手段、１０４…メモリ部、１０５…自動判定部、１０６…教示部（画像特徴量自動抽出部）、１０７…全体制御部、１０９…バス、２０１…半導体欠陥部、２０２…テキスチャ部、２０３…エッジ部、３０１…画像特徴抽出部、３０２…ｎ次元空間分類部、４０１、６０４…画像分割部、４０２、６０５…基底変換部、４０３…位置及び形状正規化部、６０１…教示用画像生成部、６０３…デジタル処理部、８０１、８０３…エッジ強調部、８０２…フーリエスペクトル比較部、８０４…位相算出部、８０５…特徴同一性評価部、８０６…ばねマッチング部、９０１…カテゴリーの領域、９０２…特徴ベクトル、１００１…画像特徴量ベクトル画像変換部、１００２…画像位置変換部、１０６１…画像特徴量自動抽出部、１０６２…多次元特徴ベクトル算出部、１０６３…領域教示部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for automatically classifying and determining a semiconductor manufacturing state and the like, and in particular, an external image classification apparatus for acquiring an external image of a semiconductor and the like and determining the semiconductor manufacturing state and the like by recognizing the external image and the like It relates to that method.
[0002]
[Prior art]
As an apparatus for acquiring a semiconductor image and determining the semiconductor manufacturing state by recognizing the appearance image, for example, as disclosed in Japanese Patent Application Laid-Open No. 07-201946, classification is performed to correct a defect classification result. Means for teaching the results and the results of defect classification are visually presented to the worker, so that the worker can confirm each information of the defect classification result and related information, and change or add new information. There has been an apparatus for updating the interpretation of the feature quantity of the corresponding defect based on the classification result taught by the unit having means for enabling the above.
[0003]
[Problems to be solved by the invention]
However, the above-mentioned conventional technology has already determined an image extraction algorithm for extracting image features of defects, and can cope with changes in the appearance of non-defective products and defects due to changes in the semiconductor manufacturing process and semiconductor designs. was difficult. In the prior art described above, a plurality of image feature extraction algorithms are incorporated in the apparatus in advance, and the defect is determined by changing the interpretation of the output result of the image feature extraction algorithm based on the user's instruction. However, in the semiconductor manufacturing process, the characteristics of defects and the characteristics of non-defective parts change due to differences in the manufacturing process, so the image feature extraction algorithm that was initially sufficient due to the process change determines the subsequent manufacturing state. In some cases, it was impossible to extract image features sufficient for. Therefore, there is a problem that it is difficult to cope with a new process without developing an algorithm for newly extracting an image feature amount.
[0004]
An object of the present invention is to solve the above-mentioned problem, and can classify a manufacturing state (category) of a semiconductor or the like that causes a defect such as a semiconductor without changing an image feature extraction algorithm even when a process is changed. An object of the present invention is to provide an appearance image classification apparatus and method.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an image acquisition unit that acquires teaching and classification appearance images of an object, and a teaching and classification appearance image acquired by the image acquisition unit. A memory unit for storing, an image display unit for displaying an external appearance image for teaching stored in the memory unit, and a local part showing a characteristic external appearance in the external appearance image for teaching displayed by the image display unit An input means for designating and inputting the image, and a feature amount of the image at the local part designated by the input means is extracted, and classification determination is made based on the extracted feature quantity of the image at the local part A teaching unit that teaches a determination criterion, and a state of the appearance image with respect to the classification appearance image acquired by the image acquisition unit and stored in the memory unit based on the determination condition taught by the teaching unit. A determination unit for determining classification It is an external image classification apparatus according to claim.
[0006]
Further, the present invention provides an image acquisition unit that acquires teaching and classification appearance images of the object, a memory unit that stores the teaching and classification appearance images acquired by the image acquisition unit, An image display unit for displaying a teaching appearance image stored in the memory unit, and a local part showing a characteristic appearance in the teaching appearance image displayed in the image display unit is designated, An input means for inputting the type of image feature in the specific part, and an image feature amount corresponding to the type of image feature input by the input means in the local part specified by the input means A teaching unit that teaches a determination condition for classification determination based on the extracted feature amount of an image at a local site, and the image acquisition unit that is acquired based on the determination condition taught by the teaching unit. Minutes stored in the memory An external image classification apparatus being characterized in that a classification determination unit for determining status of the external appearance image to look image use.
[0007]
In the image display unit of the appearance image classification device, the image feature type may be displayed so that the input feature type can be input on the screen by the input unit. Features. Further, according to the present invention, the input unit of the appearance image classification device is configured to be able to input at least one of an edge, a gray value, a texture, and a color as the type of image feature in the local region to be input. It is characterized by that.
[0008]
Further, the present invention provides an image acquisition unit that acquires teaching and classification appearance images of the object, a memory unit that stores the teaching and classification appearance images acquired by the image acquisition unit, An image display unit for displaying a teaching appearance image stored in the memory unit, and a local part indicating a characteristic appearance in the teaching appearance image displayed on the image display unit is designated and input. Extracting the feature quantity of the image at the input part and the local part specified by the input means, calculating the feature vector in the multidimensional feature space based on the feature quantity of the extracted image, A teaching unit for teaching a region for classification determination in a multidimensional feature space from a feature vector, and a multidimensional vector in a multidimensional feature space from an appearance image for classification acquired by the image acquisition unit and stored in a memory unit By extracting the feature amount of the displayed image and mapping the feature amount of the image expressed by the extracted multidimensional vector to the multidimensional feature space, the appearance is determined from the relationship taught by the teaching unit. An appearance image classification apparatus and method including a determination unit that classifies and determines the state of an image.
[0009]
In the present invention, the determination unit of the appearance image classification apparatus includes a basis conversion unit that performs basis conversion on the classification appearance image, and multidimensional features are obtained from the image subjected to basis conversion by the basis conversion unit. A feature is that the feature amount of an image represented by a multidimensional vector in space is extracted.
In the present invention, the determination unit of the appearance image classification apparatus includes a basis conversion unit that performs basis conversion on the classification appearance image and further compresses the base-changed image. The feature amount of the image represented by the multidimensional vector in the multidimensional feature space is extracted from the image that has been subjected to the base transformation and compressed by the method.
[0010]
Further, according to the present invention, the determination unit of the appearance image classification apparatus includes an image dividing unit that divides the appearance image for classification into local regions, and images for each local region divided by the image dividing unit are obtained. It is configured to input to the basis conversion unit.
[0011]
The teaching unit of the appearance image classification apparatus includes a basis conversion unit that performs basis conversion on the appearance image for teaching, and is obtained as an image subjected to basis conversion by the basis conversion unit. It is characterized in that the feature amount of the image corresponding to the local part designated by the input means is extracted from the feature amount.
The teaching unit of the appearance image classification apparatus further includes a basis conversion unit that performs basis conversion on the teaching appearance image and further compresses the base-changed image. The feature amount of the image corresponding to the local part designated by the input means is extracted from the feature amount obtained as a compressed image after being subjected to the base conversion in step (1).
[0012]
In the teaching unit of the appearance image classification apparatus, the teaching unit includes an image dividing unit that divides a teaching appearance image for each local region, and images for each local region divided by the image dividing unit are displayed. It is configured to input to the basis conversion unit.
[0013]
Further, the present invention is characterized in that the image dividing unit of the appearance image classification apparatus is configured to display an image for each divided local region on the image display unit.
In the teaching unit of the appearance image classification apparatus, the teaching unit corresponding to the classification image by performing at least one of translation, rotation, enlargement, and reduction on the teaching appearance image. It is characterized by having a teaching image generation part which generates the above-mentioned image.
[0014]
Further, the present invention provides an image acquisition unit that acquires teaching and classification appearance images of the object, a memory unit that stores the teaching and classification appearance images acquired by the image acquisition unit, An image display unit for displaying a teaching appearance image stored in the memory unit, and a local part indicating a characteristic appearance in the teaching appearance image displayed on the image display unit is designated and input. Extracting the feature quantity of the image in the input means and the local part specified by the input means, calculating a multidimensional feature vector in the multidimensional feature space based on the feature quantity of the extracted image, and calculating Image features from a teaching unit that teaches an elliptical spatial region centered on a multidimensional feature vector in the generated multidimensional feature space, and an appearance image for classification acquired by the image acquisition unit and stored in the memory unit Extract quantity When a multidimensional vector in a multidimensional feature space is calculated based on the extracted feature quantity of the image, and the calculated multidimensional vector exists in the elliptical space region taught by the teaching unit An appearance image classification apparatus and method including a determination unit that determines that the classification appearance image is in the same group as the teaching image.
[0015]
Further, the present invention provides an image acquisition unit that acquires teaching and classification appearance images of the object, a memory unit that stores the teaching and classification appearance images acquired by the image acquisition unit, An image display unit for displaying a teaching appearance image stored in the memory unit, and a local part indicating a characteristic appearance in the teaching appearance image displayed on the image display unit is designated and input. And extracting the feature amount of the image at the local site designated by the input means, and a plurality of teaching appearance images in a multidimensional feature space based on the extracted feature amount of the image A multi-dimensional feature vector is calculated, a teaching unit that teaches a donut-shaped space area centered on a vector locus obtained by interpolating the multi-dimensional feature vector in the calculated multi-dimensional feature space, and acquired by the image acquisition unit The feature amount of the image is extracted from the appearance image for classification stored in the memory portion, the multidimensional vector in the multidimensional feature space is calculated based on the feature amount of the extracted image, and the calculated multidimensional vector Is included in an elliptical space region taught by the teaching unit, and includes a determination unit that determines that the classification appearance image is in the same group as the teaching image. An appearance image classification apparatus and method.
[0016]
Further, the present invention provides an image acquisition unit that acquires teaching and classification appearance images of the object, a memory unit that stores the teaching and classification appearance images acquired by the image acquisition unit, The teaching appearance image stored in the memory unit is divided for each teaching local area, the feature amount of the image for each divided teaching local area is extracted, and the extracted teaching image is used. The multidimensional feature vector in the multidimensional feature space is calculated based on the feature amount of the image for each local region of the group, and the classification of each group in the multidimensional feature space is determined from the calculated multidimensional feature vector in the multidimensional feature space. A teaching unit that teaches a region and a classification appearance image acquired by the image acquisition unit and stored in the memory unit, are divided for each local region, and the image is positioned for each of the divided local regions, and The appearance image state is classified based on the relationship with the regions of each group taught by the teaching unit by normalizing the shape and mapping the normalized feature amount of each local region to the multidimensional feature space. An appearance image classification apparatus and a method therefor characterized by including a determination unit for determination.
[0017]
Further, the present invention is characterized in that the feature amount of the image is extracted by a spectral distribution obtained by Fourier transforming the image in the teaching unit and the determination unit of the appearance image classification device and method thereof. To do.
Further, the present invention corresponds to an image obtained by extracting main image feature amounts contributing to the determination of the classification appearance image on the classification appearance image in the image display unit of the appearance image classification apparatus and method. The image to be displayed is displayed with an overlay.
In addition, the present invention is characterized by comprising output means for outputting a determination certainty factor indicating the certainty of the determination when the determination is performed by the determination unit of the appearance image classification apparatus and method.
[0018]
Further, the present invention acquires an appearance image for teaching about an object and stores it in a memory unit, displays the stored appearance image for teaching on an image display unit, and displays the displayed teaching image for teaching. A local part showing a characteristic appearance in the appearance image is designated, an image feature amount in the designated local part is extracted, and the image feature amount in the extracted local part is extracted. A teaching process for teaching a judgment criterion for classification;
An appearance image for classification of the object is acquired and stored in the memory unit, and the appearance image of the appearance image is stored based on the determination criterion taught in the teaching process. It is a method for classifying appearance images, comprising: a determination process for classifying and determining a state.
[0019]
Further, the present invention acquires an appearance image for teaching about an object and stores it in a memory unit, displays the stored appearance image for teaching on an image display unit, and displays the displayed teaching image for teaching. A local part showing a characteristic appearance in the appearance image is designated, and the type of the image feature in the local part is inputted, and the feature of the input image in the designated local part is inputted. Extracting the feature amount of the image according to the type, and teaching process for teaching the determination criterion for classification based on the extracted feature amount of the image in the local region,
An appearance image for classification of the object is acquired and stored in the memory unit, and the appearance image of the appearance image is stored based on the determination criterion taught in the teaching process. It is a method for classifying appearance images, comprising: a determination process for classifying and determining a state.
[0020]
Further, the present invention is characterized in that, in the appearance image device, a teaching image is stored in a state in which base conversion is performed.
Further, the present invention is configured such that, in the appearance image device, when performing base conversion and compression, compression is performed by degenerating a base that does not correspond to an image feature amount of a part having a target characteristic appearance. It is characterized by.
Further, according to the present invention, in the appearance image device, the determination unit can output a determination certainty factor indicating the certainty of determination when determining the manufacturing state of the target, and the determination unit using the output determination certainty factor as a key. The group of images processed in the above is ordered, and the group of images are displayed one by one or in a line in the order in which they are ordered.
[0021]
As described above, according to the above configuration, it is possible to classify the manufacturing state (category) of a semiconductor or the like that causes a semiconductor defect or the like without changing the image feature extraction algorithm even when the process changes.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram showing an embodiment of a manufacturing state automatic determination device that automatically determines a state of a manufacturing process (particularly, a defect occurrence state, that is, a defect category) based on an appearance image of a target substrate such as a semiconductor wafer according to the present invention. Will be described.
[0023]
FIG. 1 is a diagram showing a basic configuration of a manufacturing state automatic determination device according to the present invention.
[0024]
First, in order to automatically determine the state of the manufacturing process (particularly, the state of occurrence of defects, that is, the category of defects), foreign matter and wiring generated on a target substrate such as a semiconductor wafer manufactured by various manufacturing processes. As shown in FIG. 3, it is necessary to acquire a high-definition appearance image in the image acquisition unit 101 up to various minute defects of about 0.1 μm or less having various sizes and surface states such as pattern defects.
[0025]
Therefore, as the image acquisition unit 101, an SEM that can acquire various high-definition appearance images up to various minute defects of about 0.1 μm or less, an optical microscope using i-line, ultraviolet light, or other short wavelength light is used. It is done.
[0026]
By the way, in general, in a semiconductor production line, a foreign matter or a wiring pattern is applied to a target substrate such as a semiconductor wafer manufactured by various manufacturing processes by an optical appearance inspection device (foreign matter inspection device or pattern inspection device). Various minute defects such as defects are inspected, and if a defect exists, the approximate position coordinates of the defect are obtained and output in a coordinate system set based on the reference mark on the target substrate. It is like that. That is, when an optical appearance inspection apparatus (foreign particle inspection apparatus or pattern inspection apparatus) has a defect with respect to the inspected target substrate, the approximate position coordinates of the defect are usually output. It is configured.
[0027]
For this reason, the overall control unit 107 sends the approximate position coordinates of the defect for the target substrate in which various defects such as foreign matters and wiring pattern defects exist from the optical appearance inspection device (foreign matter inspection device or pattern inspection device) to the network. Alternatively, it can be input via a recording medium and stored in the memory unit 104, for example.
[0028]
Therefore, the image acquisition unit 101 performs various teachings such as foreign matter and wiring pattern defects for creating teaching data for automatically determining the state of the manufacturing process (particularly, the defect occurrence state, that is, the defect category). The state of the manufacturing process (especially the defect occurrence state, that is, the defect) obtained sequentially from the teaching substrate on which the defect is present and the semiconductor manufacturing line and inspected by the optical appearance inspection device (foreign particle inspection device or pattern inspection device) The target substrate on which various defects such as foreign matter and wiring pattern defects that need to be automatically determined are placed on the stage, and the approximate position coordinates of the defects stored in the memory unit 104 are determined, for example. By positioning the teaching substrate and the target substrate based on them, high-definition appearance images of various micro defects including those for teaching as shown in FIG. It can be stored in 104.
[0029]
FIG. 2 shows an SEM apparatus 101a which is an embodiment of the image acquisition unit 101. In the case of the SEM apparatus 101a, an electron beam image can be acquired as a high-definition appearance image. The SEM apparatus 101a includes a detection unit 10 and an electron beam image extraction unit 30. The electron optical meter in the detection unit 10 includes an electron gun 11, an electron beam extraction electrode (not shown), a condenser lens 12, a blanking deflector (not shown), a diaphragm (not shown), and a scanning deflector 13. , An objective lens 14, a reflector (not shown) for reflecting detection electrons, an ExB deflector (not shown), and a Faraday cup (not shown) for detecting a beam current. The reflector was conical and had a secondary electron multiplication effect. Among the electron detectors, for example, an electron detector 20 that detects electrons such as secondary electrons and reflected electrons is installed above or below the objective lens 14. The output signal of the electron detector 20 is amplified by the amplifier 21.
[0030]
In the sample chamber, a sample table 23 on which a target substrate 16 (including a teaching substrate) for acquiring a high-definition appearance image is placed, and a stage 18 that moves the sample table 23 in the XY direction, A position monitor length measuring device (not shown) for measuring the position of the stage and a height measuring device (not shown) for measuring the height of the target substrate 16 are installed. The position monitor length measuring device measures the position of the stage 18 and the like, and transfers the result to the overall control unit 107. The drive system for the stage 18 is also controlled by the overall control unit 107. Therefore, the overall control unit 107 can accurately grasp the region and position where the electron beam 22 is irradiated based on these data. Further, the memory unit 104 includes a target substrate (including a teaching substrate) on which various defects such as a foreign matter and a wiring pattern defect inspected by an optical appearance inspection device (foreign matter inspection device or pattern inspection device) exist. The approximate position coordinates (approximately position data) of the defect are stored. Therefore, when the target substrate 16 on which various defects such as foreign matters and wiring pattern defects inspected by an optical appearance inspection device (foreign matter inspection device or pattern inspection device) exist is placed on the stage 18, The control unit 107 irradiates the electron beam 22 by controlling the stage 18 based on the approximate position data of the defect stored in the memory unit 104 and the position coordinates of the stage 18 and the like measured by the position monitor length measuring device. The defect can be positioned in the area (field of view).
[0031]
The height measuring device measures the height of the target substrate 16 (including the teaching substrate) placed on the stage 18 using an optical measuring device or the like. Then, based on the height data measured by the height measuring device, the focal length of the objective lens 14 for narrowing the electron beam is dynamically corrected, and the electron beam is always irradiated with the focus in the observation region. It can be done.
[0032]
The electron beam exiting the electron gun 11 passes through the condenser lens 12 and the objective lens 14, and is narrowed to a beam diameter of about the pixel size on the sample surface. At this time, a negative potential is applied to the sample 16 by the ground electrode 15 and the retarding electrode 17, and the electron beam is decelerated between the objective lens 14 and the target substrate 16, thereby increasing the resolution in the low acceleration voltage region. Plan. When the electron beam 22 is irradiated, electrons are generated from the target substrate (semiconductor wafer) 16. By detecting the electrons generated from the target substrate in synchronization with the repeated scanning of the electron beam 22 in the X direction by the scanning deflector 13 and the continuous movement of the target substrate 16 in the Y direction by the stage 18, A two-dimensional high-definition electron beam image of the substrate can be obtained. Electrons generated from the target substrate are captured by the electron detector 20 and amplified by the amplifier 21. Here, an electrostatic deflector having a high deflection speed may be used as the scanning deflector 13. As the electron gun 11, it is preferable to use a thermal field emission type electron gun that can increase the electron beam current and shorten the irradiation time. The electron detector 20 may be a semiconductor detector that can be driven at high speed.
[0033]
The image extraction unit 30 is mainly configured by an A / D converter 31 and a preprocessing circuit 32. The electron detection signal detected by the electron detector 20 is amplified by the amplifier 21 and converted into digital image data (gradation image data) by the A / D converter 31. The converted digital image data is transmitted by, for example, a transmission means (optical fiber cable) and input to the preprocessing circuit 32. The pre-processing circuit 32 performs dark level correction, electron beam fluctuation correction, shading correction, and the like, and further performs a filtering process to improve image quality.
[0034]
As described above, in the SEM apparatus 101a, the target substrate 16 (including the teaching substrate) obtained from various manufacturing processes and having various micro defects having different sizes and states is placed on the stage 18. As a result, the minute defect is positioned in the region (field of view) irradiated with the electron beam 22, and a high-definition appearance image is acquired by the electron beam image of the defect, and is accumulated in the memory unit 104 via the bus 109. Will be.
[0035]
Next, the state of the manufacturing process is automatically determined based on high-definition appearance images of various minute defects for teaching acquired in advance by the image acquiring unit 101 for teaching and accumulated in the memory unit 104. Various micro defects for manufacturing process state determination classification (for defect category classification) acquired by the image acquisition unit 101 and stored in the memory unit 104 based on the generated teaching data are created. A description will be given of automatically determining the state of the manufacturing process (particularly, the state of occurrence of defects, that is, the category of defects) for a high-definition appearance image.
[0036]
The image display unit 102 is used for teaching and manufacturing process state determination classification (defect category) acquired (stored) in a memory unit 104 including an image memory and the like acquired by the image acquisition unit 101 such as an SEM or an optical microscope. A high-definition appearance image of various defects generated on a semiconductor wafer for classification), edge information indicating the size of the defect, texture indicating the surface state of the defect, gray value, and color (obtained in the case of an optical image) .) And the like are displayed to the apparatus user. The input means 103 is used by the apparatus user to input information for moving the pointer displayed on the image display unit 102.
[0037]
An automatic determination unit 105 configured by a CPU or the like performs image processing on high-definition appearance images of various defects for manufacturing process state determination (for defect category classification) stored in the memory unit 104, The state of the manufacturing process (in particular, the state of occurrence of defects, ie, the category of defects) is automatically determined.
[0038]
The teaching unit 106 having an image feature amount automatic extraction unit in the automatic determination unit 105 creates teaching data for automatically determining the state of the manufacturing process (particularly, the defect occurrence state, that is, the defect category). Is.
[0039]
As described above, the manufacturing state automatic determination device according to the present invention includes the image acquisition unit 101, the image display unit 102, the memory unit 104, the automatic determination unit 105, the overall control unit 107 connected to the input unit 103, and the like. , Connected via a bus 109. The overall control unit 107 controls the entire image acquisition unit 101, memory unit 104, image display unit 102, and automatic determination unit 105.
[0040]
Next, creation of teaching data in the teaching unit 106 in the automatic determination unit 105 will be described with reference to FIG. First, it was selected as a teaching appearance image based on a target substrate on which various defects such as foreign matters and wiring pattern defects were inspected by an optical appearance inspection device (foreign matter inspection device or pattern inspection device). A target substrate 16 having various defects is inserted, and an appearance image for teaching as shown in FIG. 3 is acquired by the image acquisition unit 101 and stored in the memory unit 104. Next, the overall control unit 107 selects a desired one from the teaching appearance images stored in the memory unit 104 and displays the selected image on the image display unit 102 based on a selection command from the input unit 103.
[0041]
The teaching appearance image displayed on the image display unit 102 is an enlarged image of the defective portion 201 of the semiconductor, and there is a region 202 showing a dark and fine texture, and a clear circular shape showing the size around it. The feature is that there is an edge 203. As described above, the defect 201 has an abnormality in a certain local region due to the foreign matter or an abnormality in the local process, but various characteristics (edge, gray value, texture, color, etc.) are also present in the single foreign matter. It consists of a combination. Note that color data as a feature is not obtained in the SEM image but is obtained in the optical image. Data such as edges, gray values, and textures as features are obtained in both SEM images and optical images.
[0042]
By the way, it is difficult to characterize the nature of the defect (category of the defect) for each image feature amount (amount of edge, gray value, texture, color, etc.) that characterizes the defect. By combining quantities, it is possible to characterize the nature of the defect. This is realized by expressing a defect by a multidimensional vector having each image feature amount as an element. Here, if there are n image feature quantities, the number of dimensions of the vector is n, and the multidimensional space is expressed as an n-dimensional space. By specifying the defect category based on the positional relationship (vector relationship) of the vectors in the n-dimensional space, it becomes possible to classify the defects by the same property.
[0043]
Defects in semiconductors and the appearance of non-defective parts vary with changes in semiconductor processes. For this reason, an algorithm for extracting image features that characterize defects cannot be prepared in advance.
[0044]
In order to solve this problem, in the present invention, for example, the image feature of each local part of each defect taught by the user using the input means 103 or the like is automatically applied to the enlarged external appearance image shown in FIG. And the extracted image feature as a characteristic image feature of the defect of the category, which is then acquired by the acquisition image unit 101 and stored in the memory unit 104 (for manufacturing process state determination classification) The determination is made for high-definition appearance images of various defects (for defect category classification).
[0045]
The apparatus user looks at the defect enlarged image for teaching displayed on the image display unit 102 and inputs a part having the local feature of the defect in the enlarged image using the input unit 103. The teaching unit 106 having an image feature amount automatic extraction unit in the automatic determination unit 105 configured by a CPU or the like has an image feature (edge, texture) at the site of the defective portion 201 in the enlarged image input by the user using the input unit 103. (For example, whether the edge is thin or thick, whether it is black or white, whether the texture is coarse or fine, whether it is thin or fine) Whether the value is dark or light, or what color is the color), the relative positional relationship of each part in the n-order space is obtained.
[0046]
As described above, when the image feature in the part input by the user is extracted by the image feature amount automatic extraction unit of the teaching unit 106, the user designates the outline (type) of the image feature in advance using the input unit 103 or the like. In some cases, the image feature amount automatic extraction unit of the teaching unit 106 may easily extract image features. In order to cope with this, as shown in FIG. 1, the overall control unit 107 includes a type of image feature (a type known in advance) stored in a storage device (not shown) in the automatic determination unit 105 or the memory unit 104. Edge, texture, gray value, color, and the like) are displayed on the image display unit 102, and the user instructs the defect unit 201 with a pointer or the like using the input unit 103, whereby the type of image feature is displayed on the teaching unit 106. It becomes possible to input it.
[0047]
In particular, in the case of an image acquired by SEM, it may be difficult to specify the defect position itself. The reason is that the position coordinates of various defects on the inspection target substrate inspected by the optical appearance inspection apparatus (foreign particle inspection apparatus or pattern inspection apparatus) are obtained by the coordinate system of the optical appearance inspection apparatus. This is because a slight deviation occurs between the position coordinates of the defect inspected by the optical appearance inspection apparatus and the SEM coordinate system having a high magnification in the SEM image acquisition unit 101a. Therefore, it is necessary to specify the defect position itself based on the image acquired in the image acquisition unit coordinate system in the SEM image acquisition unit 101a. Therefore, the teaching is performed by the user indicating the area where the defect exists (indicated by the edge) with the pointer with respect to the teaching image acquired by the image acquiring unit 101 such as SEM and displayed on the image display unit 102. The unit 106 can extract highly reliable image features (edge, texture, gray value, color, etc.) from the designated area.
[0048]
Next, an embodiment in which the teaching unit 106 automatically extracts image feature amounts (edge, texture, shading value, color, etc.) will be described with reference to FIG. 1205 shown in FIG. 4B is a space formed by the feature amount of the image, and is an n-dimensional feature space. Each axis of the n-dimensional feature space represents a feature amount of a different image. In general, in order to classify an image, an image feature that is convenient for classification that is known in advance, such as the size of a texture feature near the center of a defect, is used as an axis of the n-dimensional feature space. However, for semiconductor defects such as semiconductor defects whose appearance changes greatly depending on the process, the image features that are convenient for pre-classification are not known, so it does not depend on a specific object such as the spatial frequency of the image. A more general image feature is used as the axis of the n-dimensional feature space. Any image can be mapped to this n-dimensional feature space. When a feature such as the frequency of the image is selected as the axis of the n-dimensional space, for example, by determining which vector component of this space the texture feature shown in FIG. It is possible to extract how the feature amount appears.
[0049]
A teaching defect image 1201 acquired by the image acquisition unit 101 and stored in the memory unit 104 in order to teach the image category in the teaching unit 106 is 1201 shown in FIG. The appearance of the texture, which is one of the appearance features of the defect image 1201, is obtained by evaluating where the image without the texture is mapped in the n-dimensional feature space 1205. Is possible. Digital processing is applied to the texture portion of the defect image indicated by reference numeral 1201 to generate three defect image signals in which the brightness fluctuation (brightness change) of the texture portion is sequentially reduced. Reference numeral 1206 denotes a multi-dimensional vector in which the defect image 1201 is expressed in the multi-dimensional feature space 1205. Three defect image signals in which the brightness variation (brightness change) of the texture portion is sequentially reduced are also respectively represented in the multi-dimensional feature space 1205. 1207, 1208, and 1209 are mapped. In this way, the vector changes from 1206 to 1209 as the brightness of the texture disappears. That is, the vector corresponding to the texture of the defect image 1201 in the multidimensional feature space 1205 can be obtained based on the change from the vector 1206 to 1209 in the teaching unit 106.
[0050]
In this way, in the defect image 1201 for teaching that teaches a category, this texture has a characteristic appearance. In other words, if there is no texture, this image is not regarded as a category corresponding to the texture. That is, in the defect category to be taught, it can be estimated that the region (901 shown in FIG. 13) corresponding to the vector direction component (902 shown in FIG. 13) corresponding to the difference between the vectors 1209 and 1206 is narrow. In this way, the teaching unit 106 can determine and teach a region of the defect category in the n-dimensional feature space based on the appearance feature of the defect. Further, in order to accurately obtain this area, the image display unit 102 obtains an image digitally processed by the teaching unit 106, that is, three defect image signals in which the brightness fluctuation (brightness change) of the texture portion is sequentially reduced. It is effective to allow the user to specify the range of the image that is acceptable as the category (the range in which the brightness fluctuation of the texture portion is acceptable) by using the input unit 103. In this case, since the region in the n-dimensional feature space can be determined based on the defect image within the range that the user can tolerate (the range in which the brightness fluctuation of the texture portion can be permitted), the category region (FIG. 13) can be accurately determined. 901) shown in FIG. The teaching unit 106 can specify the area of the category based on the distribution state in the multi-dimensional feature space of the images of the same category in addition to the teaching of the user. As this method, for example, a well-known algorithm such as the shortest distance method may be applied.
[0051]
That is, the teaching unit 106 can teach a category based on the processing flow shown in FIG. 6 based on the defect image 1201 for teaching. First, in step S <b> 601, the teaching unit 106 displays the teaching defect image 1201 acquired by the image acquisition unit 101 and stored in the memory unit 104 on the image display unit 102. Next, in step S <b> 602, the user instructs the position of the feature of the defect image 1201 displayed on the image display unit 102 using the input unit 103 and the type of feature (edge, texture, gray value, color, etc.). The data is input and stored in the storage device 602 or the memory unit 104 in the automatic determination unit 105. Further, in step S603, the teaching unit 106 uses the digital image processing to weaken the defect image 1201 that has been input and stored for the feature (edge, texture, gray value, color, etc.) specified by the user. And is stored in the storage device 602 in the automatic determination unit 105. Next, in step S <b> 604, the teaching unit 106 displays the generated defect image weakened with respect to the feature specified by the user on the image display unit 102, and the feature that the user can determine as the same category using the input unit 103. A defect image indicating the allowable range of the quantity is designated, and the defect image showing the allowable range of the feature quantity that can be determined as the designated category is input and stored in the storage device 602 in the automatic determination unit 105. Next, in step S605, the teaching unit 106 maps the defect image 1201 and the defect image generated by weakening the specified feature by digital image processing into the n-dimensional feature space as shown in FIG. In step S606, the vector component of the feature specified by the user in the n-dimensional feature space is calculated. Next, in step S607, the calculated vector component and the digital processing generation image of the same category specified by the user are calculated. The teaching data can be acquired by determining the category region (901 shown in FIG. 13) in the n-dimensional feature space and storing it in the storage device 602 in the automatic determination unit 105.
[0052]
Thus, when teaching a category, the teaching unit 106 obtains a vector (902 in FIG. 13) corresponding to a characteristic appearance in the n-dimensional multidimensional feature space based on the defect images belonging to the category, Further, it functions to determine a region (901 shown in FIG. 13) in the n-dimensional feature space of this category.
[0053]
On the other hand, the automatic determination unit 105, that is, the image feature extraction unit 301 and the n-dimensional space classification unit 302 shown in FIG. 7, do not teach a category but determines a category for an undetermined classification defect image. To work. Here, the image feature extraction unit 301 maps the undetermined defect image to the n-dimensional feature space by the same method as that performed by the teaching unit 106. In an actual system, it is possible to realize the image feature extraction unit 301 and a part of the teaching unit 106 by the same means (CPU). The n-dimensional space classification unit 302 determines which of the defect category regions in the n-dimensional feature space determined by the teaching unit 106 the undetermined classification defect image mapped to the n-dimensional feature space belongs to. Thus, the undetermined defects are classified. For example, in the n-dimensional feature space, the distribution of each defect category is determined as shown in FIG. 1301 shown in FIG. 5 is a schematic diagram of the n-dimensional feature space, 1302 indicates a defect category A, and 1303 indicates category B. In the n-dimensional space classification unit 302, it is determined that a region that is not included in either category A or B does not belong to either category. In this case, the automatic determination unit 105 determines a new category for the user. An inquiry is made, for example, by outputting to the image display unit 102 whether to create or change an existing category area.
[0054]
Next, the automatic determination unit 105 will be described in more detail with reference to FIG. Similar to the image feature amount automatic extraction unit in the teaching unit 106, the image feature extraction unit 301 inputs the target substrate 16 having various defects for automatically determining the state of the manufacturing process, and acquires an image. General-purpose image features that do not depend on a plurality of targets, such as the spatial frequency of the image, are extracted from the undetermined classification defect appearance image acquired by the unit 101 and accumulated in the memory unit 104 to determine the undetermined classification defect An image is represented as a multidimensional vector. Here, if it is as general as possible as the feature amount of the image, it is not necessary to use the spatial frequency. For example, the image itself obtained by KL transform, discrete cosine transform, wavelet transform, or the compressed image itself is the feature amount. It is good. Also, features such as edges, textures, and colors may be used.
[0055]
The n-dimensional space classification unit 302 inputs a plurality of features (edge, texture, gray value, color, etc.) output from the image feature extraction unit 301, and classifies the undetermined classification defect image for each category. . In general, in classification in an n-dimensional feature space, principal component analysis is performed based on n-dimensional vector distributions (1302, 1303: 901 shown in FIG. 13) obtained from a plurality of defect sample images belonging to the category. Thus, the existence range of the category in the n-dimensional space is determined. However, in this method, it is difficult to determine an accurate range of the category for a defect belonging to one category when sample images having many variations are not available.
[0056]
In the present invention, a vector component (902 shown in FIG. 13) in the n-dimensional feature space of the feature of the defect image output from the teaching unit 106 is obtained, and the variance of the component is distributed in the vector indicated by the image feature characteristic in the category. By determining the category range (901 shown in FIG. 13) on the basis of the rule of decreasing and the distribution state of the sample images belonging to the category, an accurate existence range can be obtained even when the number of sample images is small. It is possible to determine.
[0057]
The teaching unit 106 analyzes a local image feature based on an input from the user, but the complex shape of various defect images acquired by the image acquiring unit 101 from only the image feature of the part input by the user. It is difficult to classify the category of the defect, and it is necessary to classify the category based on the appearance of the entire defect portion as well as the local part.
[0058]
By the way, the image of a defect and a non-defective part may change greatly with a change of a manufacturing process or a design rule. As described above, the automatic determination unit 105 determines the category region in the n-dimensional feature space in the n-dimensional space classification unit 302 based on the defect image belonging to the category in the teaching unit 106. However, if the image feature extraction unit 301 loses information on the defect features, no matter how much the teaching unit 106 teaches, the defect may not be classified. In particular, in the case of a semiconductor defect, there is a high possibility that a defect having an unknown complicated shape will occur due to a subsequent process change. In order to realize accurate classification only by teaching without changing the algorithm of the image feature extraction unit 301 for an unknown defect, the feature of the defect image is extracted from the image feature extraction unit 301 without missing information. It is desirable for the n-dimensional space classification unit 302 to input the data.
[0059]
However, if the image feature extraction unit 301 does not perform any processing, the image is represented as a multidimensional vector, and the n-dimensional space classification unit 302 groups the images in the n-dimensional space. From the viewpoint of This will be described with an example.
[0060]
When the horizontal size and the vertical size of the image are M and M, respectively, the number of pixels of the image can be expressed by the product of M and M and the square of M. Assume that a one-dimensional index is attached to the MM elements, and an image is represented by a multidimensional vector in which each is a vector element. An image is represented by a variable P [i] [j], and a multidimensional vector is represented by v [k]. Assume that there is one horizontal straight line in the image. Assuming that the image is an 8-bit image and the horizontal position of the straight line is the 0th line, the image is expressed by the following equations (1) and (2).
[0061]
P [0] [j] = 255 (Equation 1)
P [I] [j] = 0 (Equation 2)
However, j is an arbitrary number less than M, and I is an arbitrary number less than M other than 0.
[0062]
Next, it is assumed that the straight line is shifted by one pixel in the vertical direction. The image at this time is expressed by the following formulas (3) and (4).
[0063]
P [1] [j] = 255 (Equation 3)
P [I] [j] = 0 (Equation 4)
However, j is an arbitrary number less than M, and I is an arbitrary number less than M other than 1.
[0064]
Next, consider the case where the vertical straight line is the vertical direction. In the case of a straight line existing at the left end of the image, the image is expressed by the following equations (5) and (6).
[0065]
P [i] [0] = 255 (Equation 5)
P [i] [J] = 0 (Equation 6)
However, i is an arbitrary number less than M, and J is an arbitrary number less than M other than 0.
[0066]
By the way, vectors obtained from the equations (Equation 1) and (Equation 2), (Equation 3) and (Equation 4), and (Equation 5) and (Equation 6) are vectors v1, v2, and v3, respectively. Thus, the differences dv2 and dv3 between the respective vectors are obtained by the following equations (7) and (8).
[0067]
dv2 = | v1-v2 | = √ (512M) (Equation 7)
dv3 = | v1-v3 | = √ (510M) (Equation 8)
That is, the distance dv2 between the vectors of the horizontal straight line image that is separated by only one pixel and the distance dv3 between the vectors of the image having very different characteristics such as the horizontal and vertical directions have a larger distance between the horizontal straight line vectors. The phenomenon will occur.
[0068]
This means that features representing images with very similar features are mapped to completely different positions in the n-dimensional space, and expects a normal distribution depending on the proximity of the image features. Means impossible. That is, the grouping calculation becomes extremely complicated and unrealistic.
[0069]
In order to solve this problem, base transform such as Fourier transform and wavelet transform in the base transform unit 402 shown in FIG. 8 is effective. When an image is Fourier transformed and used with an appropriate window function, the image misalignment does not affect the frequency spectrum and the misalignment appears as a continuous phase change. For this reason, it is possible to handle the group in a form close to a normal distribution rather than handling the defect image as it is. In order to reduce the amount of calculation, image compression by KL transformation, discrete cosine transformation, and Fourier transformation is effective. In image compression by discrete cosine transform and Fourier transform, those having a small spectral dispersion representing an image are removed as those having less information. The Fourier transform is powerful against image shift, but cannot cope with various changes in shape such as a defect image.
[0070]
This problem can be dealt with by dividing the defect image for each local region in the image dividing unit 401.
[0071]
The configuration of the image feature extraction unit 301 at this time will be described with reference to FIG.
[0072]
The image division unit 401 in the image feature extraction unit 301 divides an undetermined defect image for each small region (local region), and the base conversion unit 402 performs a Fourier transform on the defect image divided for each small region. Do. Each small area is divided with an overlap portion, and a window function such as a Hamming window is applied to each overlap portion. If a sufficient overlap and an appropriate window function are set, the spectrum in each small region does not fluctuate greatly with respect to the positional deviation. Therefore, in the spring matching unit 806 in the position and shape normalization unit 403, the shape changes by matching different shapes by allowing each small region to move freely within a certain range as if connected by a spring. It is feasible to respond to In this way, the position and shape normalization unit 403 normalizes the classification image with respect to the position and shape for each of the small areas divided into the small areas on the basis of the teaching image divided into the small areas. It is possible to make the feature amount of the classification image correspond to the feature amount of the teaching image.
[0073]
It is necessary to change the size of the small area divided by the image dividing unit 401 to an optimum size depending on the detection magnification of the defect image. Therefore, the image dividing unit 401 may display the size of the small area to be divided on the image display unit 102 as shown in FIG. 9 so that the user can check it.
[0074]
In general, the base conversion in the base conversion unit 402 requires more calculations than image processing such as edge extraction.
[0075]
In the present invention, it is necessary for the automatic determination unit 105 to collate undetermined classification defect images acquired by the image acquisition unit 101 with teaching images of a plurality of categories that may be classified. Here, since the teaching image is stored in the storage device in advance, there is no need to convert the base every time, and the image subjected to the base conversion by the base conversion unit 605 is not stored in the storage device 602. It is possible to reduce the calculation time in the classification of the appearance image for determination.
[0076]
FIG. 10 shows a configuration diagram when a teaching image is stored in the storage device 602. Similar to the image division unit 401 and the base conversion unit 402, the teaching image generation unit 601 uses the image division unit 604 to display the teaching appearance image acquired by the image acquisition unit 101 and stored in the memory unit 104 for each small area. And the basis conversion unit 605 performs basis conversion. The teaching image generation unit 601 is not only the teaching image itself acquired by the image acquisition unit 101 but also the teaching image generated by the digital processing unit 603, its size (enlargement / reduction), rotation, position (parallel movement). And the like are changed by digital processing, and then divided into small regions by the image dividing unit 604, and the basis conversion processing can be performed by the basis conversion unit 605.
[0077]
This will be described with reference to FIG. Reference numeral 701 denotes the acquired teaching image. The Fourier transform generally enables a change in position to be a continuous change in phase term, but cannot cope with a case where the target image (classification image) has been rotated. Further, in the classification image, it is considered that it is difficult to correspond the classification image to the teaching image even though the defect has the same characteristics as the teaching image but the size thereof is greatly different. In order to solve this problem, an image having a different size or rotation angle from the previously acquired teaching image 701, that is, an image as shown in 702 to 708 is generated by digital processing in the digital processing unit 603. It becomes possible to make the image correspond to the image for classification.
[0078]
Next, the configuration of the position and shape normalization unit 403 will be described with reference to FIG. The image dividing unit 401 divides the undetermined classification image acquired by the image acquisition unit 101 for each small region, and the base conversion unit 402 performs base conversion on the undetermined defect image divided for each small region, This is input to the position and shape normalization unit 403. Here, Fourier transform is given as an example of basis transform. Checking the identity of small regions that have undergone Fourier transform can be realized by performing a correlation operation. However, in order to accurately perform the identity, it is necessary to calculate a relative phase shift by the phase calculation unit 804. There are many calculations. In order to shorten the calculation time, first, an edge (boundary) is emphasized by the edge enhancement unit 801 in a classification image composed of small regions obtained from the base conversion unit 402, and then the small regions obtained from the base conversion unit 605 are used. The edge emphasis unit 803 emphasizes the edge (boundary), and the Fourier spectrum comparison unit 802 compares the distribution states of the two Fourier spectra. The Fourier spectrum does not change even when the phase changes. For this reason, if the distribution state of the Fourier spectrum is greatly different, it can be determined that the images of the small area images are different.
[0079]
If the images subjected to the Fourier transform in the base transform units 402 and 605 are applied as they are, the feature images may not be handled as the same due to a phase shift. This will be described using 811 to 815 and 821 to 824. The images 811 to 815 and 821 to 823 are schematic diagrams of images obtained by dividing the acquired image for each small area. 811 to 815 are images cut out from the image 824, but are different images depending on the cutout positions. Reference numerals 811 to 813 denote images cut out at the boundary between the dark area and the bright area, and the boundary may indicate the characteristics of the entire image. For this reason, it is required to treat the boundary images as the same. However, if correlation calculation is performed, it is determined that 811 is closer to 814 than 813 and 813 is closer to 815 than 811, and the expected identity cannot be determined. This problem can be dealt with by lowering the gain of low-frequency components (portions other than the edges) of the image in the edge enhancement units 801 and 803. Images 821 to 823 are obtained by reducing the gain of the low frequency components 811 to 813. By reducing the gain of the low frequency component, it is possible to determine that the images including the boundary are the same.
[0080]
The edge enhancement unit 801 and the edge enhancement unit 803 execute processing for reducing the gain of the low frequency component.
[0081]
Next, in the Fourier spectrum comparison unit 802, a rough spectrum comparison is performed between the classification image and the teaching image with the gain of the low frequency component reduced, and it is determined that they are not the same if the spectrum distribution is greatly different. When there are a plurality of images having similar spectrum distributions, the phase calculation unit 804 calculates the phase difference between the two images, and the feature identity evaluation unit 805 evaluates the feature identity.
[0082]
In the spring matching unit 806, the identity between the classification image and the teaching image is evaluated based on the evaluation result of the identity of each local image obtained from the feature identity evaluation unit 805 and its arrangement relationship. In other words, the spring matching unit 806 is a flexible that can freely move within a certain range such that the arrangement relation of the small areas is connected by the spring based on the classification image and the teaching image composed of the small areas. By matching, the identity between the separation image and the teaching image is evaluated, and the position and shape of the classification image are normalized with respect to the teaching image. As a result, the feature quantity can be compared in the n-dimensional space in the n-dimensional space classification unit 302 without being affected by the position and shape.
[0083]
It is generally unknown where to be noted in the classification image, for example, in which position the defect portion is imaged in the classification image. In this case, it is possible to cope with the positional deviation by evaluating the identity while changing the correspondence between the teaching image and the classification image generated due to the difference in the position of the target portion in each image. In an apparatus for determining the manufacturing state of a semiconductor, it is common to calculate the difference image between a non-defective image and a defect image and specify the position in order to identify the defect location. Analysis is possible. Also, the defect position using the difference image can be specified as in the conventional case.
[0084]
The identity of each small region does not necessarily make the same contribution in evaluating the identity of the entire image. The image feature shown as a characteristic appearance by the apparatus user by mainly judging the identity of the small area corresponding to the part indicated as the image feature of the teaching image by the input means 103 shown in FIG. It is evaluated that it is the same as the teaching image having. If there are multiple teaching images that are the same as the classification image, the shape of the classification image is normalized based on the shape of the teaching image based on the evaluation of the identity of the local image, that is, the classification Correspondence between local images of the image for teaching and the image for teaching is obtained. At this time, as in the case where the identity is evaluated, the correspondence relationship desired by the device user can be obtained by mainly obtaining the correspondence relationship between the small regions including the region indicated by the device user.
[0085]
That is, the semiconductor defects have different shapes. For example, as shown in FIG. 15, even if the teaching image and the classification image are different images, it is necessary to classify them into the same category. The A portion of the separation image and the B portion of the teaching image have the same local characteristics, but appear at different positions in the image because of the different defect shapes. When classifying images, if features appear at completely different positions in two different images, they need to be classified into different categories. In addition, if the same feature appears at different positions within a range where the overall shape does not change significantly, it is considered to be the same category. That is, in order to classify defects, it is necessary not only to match the features locally but also to match the features as a whole.
[0086]
Therefore, the position and shape normalization unit 403 can solve the above problem by normalizing the position and shape. The classification image and the teaching image are divided into small regions by the image dividing units 401 and 604, and are aligned based on the feature amounts of the small regions obtained from the base conversion units 402 and 605, whereby the overall shape is obtained. It is possible to compare comrades having the same characteristics even when the positions where the characteristics appear are different within a range that does not change greatly.
[0087]
By having the teaching image itself in this way, it is possible to realize normalization of the position and shape of the defect with reference to the teaching image, so that subsequent classification of categories becomes easy.
[0088]
The classification image cannot know in advance which category of defect it is. For this reason, it is necessary to collate with defect images of all categories and obtain a positional relationship in which the images correspond best to each image. The automatic determination unit 105 classifies each category in the n-dimensional feature space after completing the preprocessing of position and shape normalization. At this time, the feature amount for each small region is used as an axis of the feature space. The category region in the n-dimensional feature space in the n-dimensional space classification unit 302 is obtained based on the teaching image. The teaching image is also divided into small regions by the image dividing unit 604 and then subjected to base conversion, for example. A feature amount is extracted by the image feature amount automatic extraction unit 1061 and converted into a vector 902 in the feature space by the multidimensional feature vector calculation unit 1062. Next, based on this vector, the area teaching unit 1063 determines a category area 901 to which the teaching image belongs.
[0089]
The teaching image generation unit 601 basically divides the teaching image into small regions in order to determine where the teaching image is plotted in the n-dimensional feature space, and generates a plurality of defect images from one defect image. In addition, defect images in various states (size, rotation, etc. 701 to 708) are generated by digital processing so that highly reliable classification can be performed from a small number of teaching images.
[0090]
In addition, if the teaching image is divided into small areas in advance and the basis conversion is stored in the storage device 602, the time required for the base conversion for the teaching image is reduced when the classification image is determined and classified. be able to.
[0091]
By the way, each image can be expressed by a multidimensional vector based on the characteristics represented by the frequency. By using the spatial frequency indicated by each small region as a vector of feature amounts, a multidimensional space can be formed as shown in FIG. As shown in FIG. 13, the features of an image included in a certain category can be considered to exist in an elliptical region 901 centered on a feature vector 902 indicated by a teaching image belonging to this category. Here, the main axis 902 indicated by the elliptical region 901 indicates the dispersion of the category indicated by the elliptical region 901 in the multidimensional space. The area 901 indicating the category is indicated by an ellipse, and it is considered that each main axis 902 of the ellipse indicates a feature. Reference numeral 902 denotes a vector indicating, in a multidimensional feature space, an image feature obtained by analyzing the part indicated by the user as a feature of the appearance image of this category by the teaching unit 106. Image features that are important for grouping images can be thought of as features that all images in that category will have. For this reason, it can be considered that the ellipse 901 indicated by the category has a small variance with respect to the vector direction 902. If the device user does not input anything to the teaching unit 106, the device is not given information on the distribution of the category, so the area indicating the category is the same distance in all vector directions, ie, the sphere Become. In this case, the n-dimensional space classification unit 302 does not need to classify in the multi-dimensional feature space, and recognition ends when the identity between the classification image and the teaching image is evaluated. That is, the apparatus user can also classify without inputting anything into the input means 103. As described above, the n-dimensional space classification unit 302 obtains the n-dimensional space in which the undetermined classification defect image mapped by the image feature extraction unit 301 in the n-dimensional feature space as shown in FIG. Undetermined defects are classified by determining which one of the defect categories in the feature space belongs to.
[0092]
As shown in FIG. 11, the teaching image may be given by converting the detected image. For example, when the reference image is generated using affine transformation, the teaching image can be continuously changed depending on the rotation angle. With the rotation angle, the feature amount expressed in the multidimensional space also changes continuously. However, it is difficult to continuously obtain the change in the feature amount accompanying this rotation because it takes a lot of calculation time.
[0093]
This problem can be solved by generating teaching images having a plurality of discrete angles from the detected image and interpolating the feature vectors indicated by the teaching images. For example, in FIG. 11, the angles of the images change in order of 701, 702, 703, 704, and 701, respectively. That is, the rotation angle between 701 and 702 can be made to correspond to any angle change by a method of interpolating between the feature vector obtained in 701 and the feature vector obtained in 702. That is, the teaching unit 106 extracts a feature amount of an image at a local site designated by the input unit 103 from the teaching image, and based on the extracted feature amount of the image, a plurality of teaching images are extracted. A multi-dimensional feature vector in the multi-dimensional feature space is calculated, and a donut-shaped space region centered on a vector locus obtained by interpolating the calculated multi-dimensional feature vector in the multi-dimensional feature space can be taught.
[0094]
When the system is actually applied at a semiconductor manufacturing site, the user needs to confirm whether or not the system actually recognizes the appearance characteristics of the designated part. In order to realize this, a display for confirming the image feature used to group the images is necessary. This is to display the image features corresponding to the vector components with small variance in the multidimensional space (images extracted from the main image feature amounts that contributed to the classification judgment of the appearance image for classification) as an overlay on the classification images. Can be realized. This will be described with reference to FIG. In FIG. 14, reference numeral 102 denotes the image display unit in FIG. The image feature vector image conversion unit 1001 converts a vector component having a small variance indicated by 902 in FIG. 13 obtained from the teaching unit 106 or the classification unit 302 into an image that can be displayed. The vector component 902 is calculated by using the teaching image to indicate a part that is characteristic of the device user, and does not directly correspond to the classification image. The correspondence relationship between the divided small region images has already been obtained by the position and shape normalization unit 403. Therefore, the image position conversion unit 1002 corrects the position of the image output from the image feature vector image conversion unit 1001 based on this correspondence relationship, so that the variance corresponding to the classification image is displayed on the classification image. The vector component 902 with a small can be displayed as an overlay on the image.
[0095]
That is, the image output from the image position conversion unit 1002 can be considered as an image feature recognized by the apparatus for the classification image. By displaying this as an overlay on the classification image, the user can directly confirm the recognition of the device. This overlay display can be displayed in an easy-to-understand manner for the user by changing the color, mark, and texture for each frequency spectrum. Although the frequency spectrum is used here, other image features can be applied as long as they are features expressed in a multidimensional space.
[0096]
The device user needs to teach normal classification for images that could not be normally classified by the automatic determination unit 105. As a method of teaching normal classification, a method of teaching a category to which the image belongs, a method of showing a characteristic image feature part as described in the image display unit 102 and the input means 103 shown in FIG. 1, a region to which a defect belongs Can be specified. Note that the method of simply teaching a category has not been described so far, but the image shown at that time becomes a new teaching image, and an elliptically approximated area centered on the multidimensional vector indicated by the teaching image Is set as a new area where an image of the taught category exists. Teaching is an essential task for images that the device could not classify normally, but the need for images that could be classified was low. For this reason, in the mode in which the user teaches the apparatus, the method of displaying the images in order from the images that are most likely not correctly classified by the apparatus and teaching them if necessary is the most effective.
[0097]
Although it is generally impossible for the apparatus itself to determine whether or not the automatic determination unit 105 has been able to classify, it is possible to obtain a certainty factor indicating certainty that the classification is accurate. There are a plurality of methods for calculating the certainty factor. A typical example is the distance between the vector of the classification image in the multidimensional space and the teaching image vector closest to the vector of the classification image. If the distance in the multidimensional space is short, it can be determined that the classification image and the teaching image have similar characteristics, but if the distance is long, it can be determined that the respective characteristics are different. Therefore, if the reciprocal of the distance in the multidimensional space is used as the certainty factor, it can be determined that the classification can be performed normally if the value is large. In the mode in which the user teaches the apparatus, the teaching unit 106 causes the image display unit 102 to sequentially display images with a small degree of certainty so that the teaching is performed when the user determines that the classification is wrong. Thus, efficient teaching can be realized. In other words, by outputting the determination certainty factor indicating the certainty of the determination at the time of the classification determination in the automatic determination unit 105 to the output unit such as the image display unit 102, the certainty factor that can be classified can be notified to the user.
[0098]
Up to this point, the present apparatus has been described on the assumption that the manufacturing state of the semiconductor is determined, but the present invention can also be applied to other image processing. For example, an embodiment when applied to image processing of a solder inspection apparatus will be described with reference to FIG. In solder inspection, it is necessary to extract leads, pads, and fillets from images. For this reason, conventionally, an image processing algorithm has been made by trial and error. When a new lead-shaped component appears as a target, it is necessary to add a new image feature extraction algorithm, and the new component cannot be easily handled. By using the image processing method described in the present apparatus, it is possible to cope with without adding a new algorithm. A case where the lead position is recognized will be described as an example. Reference numerals 1101 to 1103 denote soldered portions having different appearances depending on the mounting, and are used as teaching images. Reference numerals 1104 to 1106 denote leads. The change in the gray value at the lead boundary varies greatly depending on the process. The user teaches the lead boundary in the teaching image. The solder inspection apparatus divides the area specified by the user into small areas with overlap, and performs base conversion of the image as in the case of the semiconductor. In the case of lead, the correspondence between teaching images, that is, the correspondence between which small region corresponds to the right side of the lead and which small region corresponds to the left side in each teaching image is known in advance. For this reason, it is possible to determine the lead position not by comparing each teaching image and the classification image but by comparing the image generated by the combination of the small region images included in each teaching image and the classification image. Now, let 1110 be a classification image. The left side of the image for classification has the same characteristics as the left side of 1103, the lower side of 1110 has the lower side of 1102, and the right side of 1110 has the same characteristics as the right side of 1103. The position of the classification image is specified by comparison with an image generated with 1103 on the left side, 1102 on the lower side, and 1103 on the right side. For this reason, it becomes possible to specify the position by a small number of teaching images.
[0099]
【The invention's effect】
According to the present invention, in an appearance image classification apparatus and method for determining a manufacturing state of a semiconductor and the like, the manufacturing of a semiconductor and the like that generates a defect such as a semiconductor without changing an image feature extraction algorithm even when the process changes There is an effect that the state (category) can be taught so that it can be classified.
[Brief description of the drawings]
FIG. 1 is a simplified configuration diagram showing an embodiment of an appearance image classification apparatus according to the present invention.
FIG. 2 is a diagram showing an SEM apparatus which is an embodiment of an image acquisition unit according to the present invention.
FIG. 3 is an explanatory diagram of a semiconductor defect targeted by the present invention.
FIG. 4 is a diagram showing a teaching image and an n-dimensional feature space taught in the teaching unit according to the present invention.
FIG. 5 is a diagram showing each category region in an n-dimensional feature space taught in a teaching unit according to the present invention.
FIG. 6 is a diagram for explaining a teaching method in a teaching unit according to the present invention.
FIG. 7 is a simplified configuration diagram showing an embodiment of the automatic determination unit shown in FIG. 1;
FIG. 8 is a simplified configuration diagram of the image feature extraction unit shown in FIG. 7;
FIG. 9 is a diagram for explaining an image dividing method in an image dividing unit;
FIG. 10 is a simplified configuration diagram showing another embodiment of the appearance image classification apparatus according to the present invention.
11 is an explanatory diagram of a teaching image group generated by the teaching image generation unit shown in FIG.
12 is a simplified configuration diagram showing a position and shape normalization unit shown in FIG. 10;
FIG. 13 is a diagram for explaining feature vectors and category regions taught in a multidimensional feature space according to the present invention.
FIG. 14 is a diagram illustrating a configuration in which an image corresponding to an image from which main image feature amounts contributing to classification determination according to the present invention are extracted is displayed as an overlay on the classification image.
FIG. 15 is a diagram showing defect images having different shapes between a classification image and a teaching image.
FIG. 16 is a diagram illustrating solder inspection targeted by the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Detection part, 30 ... Electron beam image extraction part, 101 ... Image acquisition part, 101a ... SEM apparatus, 102 ... Image display part, 103 ... Input means, 104 ... Memory part, 105 ... Automatic determination part, 106 ... Teaching part (Image feature amount automatic extraction unit), 107 ... overall control unit, 109 ... bus, 201 ... semiconductor defect part, 202 ... texture part, 203 ... edge part, 301 ... image feature extraction part, 302 ... n-dimensional space classification part, 401, 604: Image segmentation unit, 402, 605: Base conversion unit, 403: Position and shape normalization unit, 601: Teaching image generation unit, 603: Digital processing unit, 801, 803: Edge enhancement unit, 802: Fourier Spectrum comparison unit, 804 ... phase calculation unit, 805 ... feature identity evaluation unit, 806 ... spring matching unit, 901 ... category region, 902 ... feature vector, 001 ... image feature quantity vector image conversion unit, 1002 ... image position conversion unit, 1061 ... image feature quantity automatic extraction unit, 1062 ... multidimensional feature vector calculating unit, 1063 ... region teaching unit.

Claims

An SEM apparatus or an i-line or ultraviolet ray that acquires a high-definition appearance image of various micro defects for teaching and classification by inputting an object having various micro defects inspected by an optical visual inspection apparatus An image acquisition unit composed of an optical microscope using short wavelength light ,
A memory unit for storing high-definition appearance images of various minute defects for teaching and classification acquired by the image acquiring unit;
An image display unit for displaying high-definition appearance images of various minute defects for teaching stored in the memory unit;
An input means for designating and inputting a local part showing a characteristic appearance in a high-definition appearance image of various minute defects for teaching displayed on the image display unit;
Extracting an image feature amount consisting of a plurality of combinations in a local region showing a characteristic appearance in a high-definition appearance image of various minute defects for teaching specified by the input means, and extracting the plurality of extracted features A multidimensional vector in a multidimensional feature space using each image feature quantity of the combination of the elements is calculated, and the defect in the multidimensional feature space is calculated from the multidimensional vector using the calculated image feature quantities of the plurality of combinations as elements . A teaching unit for determining and teaching a region for classifying and determining a category ;
An image feature amount composed of a plurality of combinations represented by a multidimensional vector in a multidimensional feature space from a high-definition appearance image of various minute defects for classification acquired by the image acquisition unit and stored in a memory unit. By extracting and mapping each image feature amount of a plurality of combinations represented by the extracted multidimensional vector to a multidimensional feature space, the defect is determined from the relationship with the classification determination region taught by the teaching unit . An appearance image classification apparatus comprising: a determination unit that classifies and determines a category .

The determination unit includes a base conversion unit that performs base conversion on a high-definition appearance image of various minute defects for classification, and the multi-dimensional feature space includes a basis conversion unit that performs base conversion on the basis conversion image. appearance image classification apparatus according to claim 1, characterized by being configured to extract an image feature quantity consisting of a plurality of combinations revealed by dimensional vector.

The determination unit includes a base conversion unit that performs base conversion on a high-definition appearance image of various minute defects for classification , and further compresses the base-changed image. configuration was that the appearance image classification apparatus according to claim 1, wherein to extract an image feature quantity consisting of a plurality of combinations revealed a multidimensional vector in the multidimensional feature space from the compressed image is.

The determination unit includes an image dividing unit that divides a high-definition appearance image of various minute defects for classification into local regions, and the basis conversion is performed on the images of the local regions divided by the image dividing unit. appearance image classification apparatus according to claim 2 or 3, wherein the configured to enter the section.

The teaching unit includes a basis conversion unit that performs basis conversion on a high-definition appearance image of various minute defects for teaching, and the feature amount obtained as an image subjected to basis conversion by the basis conversion unit. among them, the appearance image classification apparatus according to claim 1, characterized by being configured to extract an image feature quantity consisting of a plurality of combinations corresponding to the specified local site by the input means.

The teaching unit includes a base conversion unit that performs base conversion on a high-definition appearance image of various minute defects for teaching , and further compresses the base-changed image. An image feature quantity composed of a plurality of combinations corresponding to a local part designated by the input means is extracted from the feature quantities obtained as a compressed image. The appearance image classification apparatus according to 1 .

The teaching unit includes an image dividing unit that divides a high-definition appearance image of various minute defects for teaching for each local region, and the basis conversion is performed on the image for each local region divided by the image dividing unit. appearance image classification apparatus according to claim 5 or 6, wherein the configured to enter the section.

Wherein the image dividing section, the divided appearance image classification apparatus according to claim 4 or 7, wherein the image of each local region, characterized by being configured to display on the image display unit.

In the teaching unit, translation, rotation, enlargement, high definition of the various micro-defects for the subjected to at least one processing reduction classification for high-definition appearance images of various small defects for the teaching have a teaching image generation unit for generating a high definition appearance image appearance image classification apparatus according to claim 1, wherein the characterized by a variety of micro-defects for the teaching corresponding to the appearance images.

Various objects for teaching and classification using an SEM apparatus or an optical microscope using short-wavelength light such as i-line or ultraviolet light after an object having various micro defects inspected by an optical appearance inspection apparatus is input. An image acquisition process of acquiring a high-definition appearance image of a minute defect and storing it in a memory unit,
In the image acquisition process, high-definition appearance images of various minute defects for teaching stored in the memory unit are displayed on the image display unit, and in the displayed high-definition appearance images of various minute defects for teaching A local part showing a characteristic appearance is specified, an image feature quantity composed of a plurality of combinations in the specified local part is extracted, and each image feature quantity of the extracted plurality of combinations is used as an element. Teaching a region for determining and classifying a defect category in a multidimensional feature space from a multidimensional vector that uses each of the calculated image feature quantities of the plurality of combinations as an element Process,
Extracting image feature quantities consisting of a plurality of combinations represented by multidimensional vectors in a multidimensional feature space from high-definition appearance images of various minute defects for classification stored in the memory unit in the image acquisition process, By classifying the image feature quantities of multiple combinations represented by the extracted multidimensional vector into the multidimensional feature space, the defect category is classified and determined from the relationship with the classification and determination area taught in the teaching process. A method for classifying an appearance image.