JP3834041B2 - 学習型分類装置及び学習型分類方法 - Google Patents

学習型分類装置及び学習型分類方法 Download PDF

Info

Publication number
JP3834041B2
JP3834041B2 JP2004107738A JP2004107738A JP3834041B2 JP 3834041 B2 JP3834041 B2 JP 3834041B2 JP 2004107738 A JP2004107738 A JP 2004107738A JP 2004107738 A JP2004107738 A JP 2004107738A JP 3834041 B2 JP3834041 B2 JP 3834041B2
Authority
JP
Japan
Prior art keywords
region
classification
teacher data
area
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004107738A
Other languages
English (en)
Other versions
JP2005293264A (ja
Inventor
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004107738A priority Critical patent/JP3834041B2/ja
Priority to EP05721668A priority patent/EP1734456A4/en
Priority to PCT/JP2005/006170 priority patent/WO2005096181A1/ja
Publication of JP2005293264A publication Critical patent/JP2005293264A/ja
Priority to US11/520,555 priority patent/US7773801B2/en
Application granted granted Critical
Publication of JP3834041B2 publication Critical patent/JP3834041B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Description

本発明は、学習型分類装置及び学習型分類方法に関するものである。
学習型分類装置としては、特開平8−21803号公報に、画像内より抽出した欠陥部の特徴量を入力パターンとし、その欠陥種を出力するよう学習させたニューラルネットワークを構築して、これにより欠陥を分類する装置の構成が示されている。
また、特開平11−344450号公報には、教師データ作成作業を支援する構成や、作成された教師データを基に統計判別分析を用いて欠陥画像を分類する構成等が示されている。なお、教師データとは、分類対象の画像情報あるいは画像より算出した特徴量情報と、その対象の正解クラス(=正解カテゴリ)の情報をセットにしたもの(同公報の図4参照)である。
特開平8−21803号公報 特開平11−344450号公報
特開平11−344450号公報では、欠陥を個別に撮像した欠陥画像に対して正解カテゴリを付与しているが、付与作業は画像毎に必要である。このため、統計分類に用いる多数の教師データを作成するには、非常に手間がかかってしまう。また、被写体を比較的低分解能で広範囲に撮影する光学マクロ検査では、1枚の画像内に複数の欠陥種が存在することは頻繁であり、このような場合には、画像単位で1つの正解カテゴリを付与する方法では適切な教師データを作成することはできない。
一方、特開平8−21803号公報では、画像内で抽出した各欠陥部の特徴量と正解欠陥種情報により教師データを構成しており、1枚の画像内に複数の欠陥種が存在する場合にも対応可能であるが、教師データ作成の詳細に関しては、特に述べられておらず、仮に各抽出欠陥に対して個別に正解欠陥種を付与する場合には、前述と同様に作業の煩雑さが残ることとなる。
本発明はこのような課題に着目してなされたものであり、その目的とするところは、複数の分類対象物が存在する画像に対して、効率良く教師データを作成できる学習型分類装置及び学習型分類方法を提供することにある。
上記の目的を達成するために、第1の発明は、学習型分類装置であって、分類対象となる複数の領域が存在する画像より分類対象の領域を抽出する領域抽出手段と、前記抽出した分類対象の領域に対する特徴量を算出する特徴量算出手段と、前記算出した特徴量を基に、前記抽出した分類対象の領域を所定のクラスに分類する分類手段と、前記分類結果のクラスが同じである領域を統合する領域統合手段と、前記統合領域の画像及び前記分類結果を表示する表示手段と、前記分類結果の誤りを修正するための入力手段と、前記統合領域に対する分類結果を、前記統合領域に含まれる各領域に反映して、各領域毎の教師データを作成する教師データ作成手段と、を備える。
また、第2の発明は、第1の発明に係る学習型分類装置において、前記領域統合手段は、誤った統合がなされた領域が前記入力手段により選択された場合に、その統合領域内の複数の領域を特徴空間内で少なくとも2つ以上のクラスタに分割し、各々のクラスタに属する領域毎に再統合する。
また、第3の発明は、第2の発明に係る学習型分類装置において、前記クラスタの作成は、前記入力手段により指定された特徴軸上での距離を用いて行われる。
また、第4の発明は、第1乃至第3のいずれか1つの発明に係る学習型分類装置において、教師データ数の増加に伴うクラス毎の分類正解率の変化より更なる教師データ作成の必要性を判断する判断手段を更に備える。
また、第5の発明は、学習型分類方法であって、領域抽出手段と、特徴量算出手段と、分類手段と、領域統合手段と、表示手段と、入力手段と、教師データ作成手段とを具備する分類装置が教師データを作成する学習型分類方法であって、前記領域抽出手段が、分類対象となる複数の領域が存在する画像より分類対象の領域を抽出するステップと前記特徴量算出手段が、前記抽出した領域に対する特徴量を算出するステップと前記分類手段が、前記算出した特徴量を基に前記領域を所定のクラスに分類するステップと前記領域統合手段が、前記分類結果のクラスが同じである領域を統合するステップと前記表示手段が、前記統合した領域の画像及び前記分類結果を表示するステップと前記入力手段が、前記分類結果の誤りを修正するための指示情報を取得するステップと前記教師データ作成手段が、前記統合領域に対する分類結果を、前記統合領域に含まれる各領域に反映して、各領域毎の教師データを作成するステップと、を行う
また、第6の発明は、第5の発明に係る学習型分類方法において、前記領域統合手段が、前記入力手段で前記取得した指示情報により誤った統合がなされた領域が選択された場合に、その統合領域内の複数の領域を特徴空間内で少なくとも2つ以上のクラスタに分割し、各々のクラスタに属する領域毎に再統合する。
また、第7の発明は、第5の発明に係る学習型分類方法において、前記クラスタは、前記入力手段により指定された特徴軸上での距離を用いて作成される。
また、第8の発明は、第5の発明に係る学習型分類方法において、前記分類装置がさらに判断手段を具備し、前記判断手段が、前記教師データ数の増加に伴うクラス毎の分類正解率の変化より更なる教師データ作成の必要性を判断する。
本発明によれば、教師データ作成というユーザーインタラクティブな作業において、画像内の複数の分類対象領域を適当に自動統合しながら表示し、統合領域に対する修正内容を統合領域内の各領域に反映して教師データを自動作成するようにしたので、個々の領域に対する修正の手間を省き、複数の分類対象物が存在する画像に対して効率良く教師データを作成することができる。
また、本発明によれば、領域再統合のための基準をユーザーが指定することにより、ユーザーの感性に合った領域再統合が行われるため、正確な教師データを効率良く作成することができる。
また、本発明によれば、教師データ作成が必要な領域に集中して修正作業を行うことができるため効率良く教師データを作成することができる。
以下、図面を参照して本発明の実施形態を詳細に説明する。ここでは、本発明の実施形態として半導体マクロ検査(半導体マクロ検査の説明は特願2001−370218号を参照)の欠陥分類装置を例に説明する。しかしながら、本発明の学習型分類装置は、検査画像内に複数種の分類対象物(例えば細胞)が存在する場合の、他の分類装置にも適用可能である。
(第1実施形態)
図1は、本発明の第1実施形態に係る欠陥分類装置の構成を示す図であり、欠陥領域抽出手段101と、特徴量算出手段102と、分類手段103と、領域統合手段104と、教師データ作成手段105と、教師データ蓄積手段106と、メモリ107と、表示手段108と、入力手段109とから構成される。ここで、欠陥領域抽出手段101と、特徴量算出手段102と、分類手段103と、領域統合手段104と、教師データ作成手段105とはPC100内のCPUにより、教師データ蓄積手段106はPC100内のハードディスクにより、メモリ107はPC100内のメモリにより具現化される。さらに、表示手段108はモニタにより、入力手段109はマウスやキーボード等により具現化される。
なお、検査画像を取得するための構成は特に限定しないため図示しないが、例えば、被検体をCCDカメラにより撮像し、これを画像入力ボードを通してPC100内のメモリに取り込むことで実現される。また、分類結果情報の処理に関する構成についても特に限定しないため説明を省略する。
図2は、上記した欠陥分類装置の処理の流れを説明するためのフローチャートである。本欠陥分類装置の処理には、学習時(教師データ作成時)の処理と、検査時の処理の2つの処理の流れがある。学習時(教師データ作成時)の処理は図2ではステップS1〜14により実現され、検査時の処理はステップS1〜S4を繰り返すことにより実現される。
以下、図2に示す処理の流れを図1を参照して説明する。欠陥分類装置は、まず、分類対象である欠陥部を含む検査画像を取得する(ステップS1)。次に、欠陥領域抽出手段101において、取得した検査画像から分類対象となる欠陥領域を抽出する(ステップS2)。ステップS2での欠陥領域抽出には、予め参照となる検査対象の良品画像を保持しておき、これと検査画像とを比較することにより異常な輝度を持つ領域を欠陥領域として抽出する方法や、規則正しく並ぶパターンの周期性を利用し、同一パターンを持つ小区画同士を比較することにより異常な輝度を持つ領域を欠陥領域として抽出する方法がある。また、欠陥部が周囲と異なる輝度で撮像されるような場合には、比較対象を必要とせずに2値化処理で抽出する方法もある。
欠陥領域を抽出した後は、特徴量算出手段102において、各欠陥領域の特徴量を算出する(ステップS3)。なお、半導体ウェア等では下地パターンやダイシングライン等の影響により、領域抽出時に同一の欠陥が分割されて抽出される場合がある。このため必要に応じてモルフォロジー処理((参考):コロナ社:モルフォロジー:小畑秀文著)等による領域連結を行ってから特徴量を算出する。ここでの特徴量とは、抽出領域単体の大きさ、形状、位置、濃度、テクスチャに関するものや、複数の領域がなす配置構造に関するもの等である。マクロ検査における特徴量に関しては、本発明人による特開2003−168114の中で開示している。
なお、領域の抽出方法や、特徴量の算出方法は分類の対象に応じて変更されるものであり、本発明の内容を限定するものではない。
各領域の特徴量を算出した後は、分類手段103において、各欠陥領域を所定の欠陥種に分類する(ステップS4)。分類の方法としては、予め幾つかの教師データを教師データ蓄積手段106に貯えておき、これらの中から特徴空間内で分類対象の欠陥領域に対して近傍となる教師データk個を選び、その中で最も多い欠陥種に分類する方法がある(k近傍法)。なお、学習時の初期段階で事前の教師データが全くない場合には、後述のクラスタリング処理と同様の方法で、画面内の欠陥領域を適当にクラス分けし、仮の欠陥種を付けておく(正解欠陥種の情報は以後のユーザー操作により得る)。
検査時には、ステップS4によって得られた分類結果の情報を出力し、後段の処理、例えば分類結果に応じた測定処理、修復処理のための入力情報としたり、あるいは記録して後でまとまった単位で結果確認する等を行う。
一方、学習時(教師データ作成時)には、前記のステップS4の処理に続いて以下の処理を行う。まず、領域統合手段104において、分類手段103で同じ欠陥種に分類された欠陥領域を統合する(ステップS5)。欠陥領域を統合した後は、表示手段108において、統合領域毎に識別可能であるように(色分け等して)表示すると共に、その統合領域の欠陥種を表示する(ステップS6)。
図3は、ステップS6を実行したときの表示手段108の表示画面の一例を示しており、統合領域毎に色分けして表示する表示エリア150と、統合領域の欠陥種を表示するための表示エリア141とを有する。ここでは、同一の色の表示を同一種類の図柄を施して表現することとする。従って、図3の表示エリア150に表示された領域151〜159のうち、領域151〜154、158、159は同一の欠陥種に属するものとして同一の色で統合表示され、領域155、156は他の同一の欠陥種に属するものとして他の同一の色で統合表示され、領域157はさらに他の欠陥種に属するものとしてさらに他の色で表示される。また、表示エリア141には、領域151〜154、158、159の欠陥種は欠陥A、領域155、156の欠陥種は欠陥B、領域157の欠陥種は欠陥Cに属することが示される。
ここで、ユーザーは表示画面の表示結果に対する判定の正否を判断し(ステップS7)、判定が正確であった場合には、入力手段109を用いて判定結果がOKである旨の指示を行う (ステップS8)。ステップS8でOKが指示された後は、教師データ作成手段105において、各統合領域に対する分類結果を、それぞれの統合領域に含まれる各領域の分類結果として、教師データを作成する(ステップS9)。図4は、図3に示す表示状態に基づいて作成される教師データを示している。
一方、ステップS7において、判定が不正確であった場合には、ユーザーは更に領域の統合結果の妥当性を確認する(ステップS10)。その結果、領域の統合が妥当である場合には、ユーザーは入力手段109を用いて判定結果のみを修正する(ステップS11)。図5は、このときの修正用インタフェースの一例を示している。修正後は前述のステップS8に移行する。
一方、ステップS10において、領域の統合結果が妥当でない場合には、ユーザーは入力手段109を用いて妥当でない統合領域を選択する(ステップS12)。選択の方法には画面内の領域をポインタで指示する等が考えられる。
妥当でない統合領域が選択された後は、領域統合手段104において、選択された統合領域内の各領域を特徴空間内でクラスタリングする(ステップS13)。図6は、図3に斜線で示される統合領域内の各領域151〜154、158,159を特徴空間内でクラスタリングした例を示している。ここで、各領域は、特徴空間内では、その特徴量の値に対応した点で示される。
クラスタリングの手法に関しては、様々な方法があるが、ここでは一般的な融合法によるクラスタリング処理の流れを図7に示す。まず、クラスタリング処理停止判断用の最小クラスタ間距離Dを決定する(ステップS20)。次に、クラスタ間の距離行列を算出する(ステップS21)。次に、クラスタ間距離の最小値が最小クラスタ間距離Dよりも小さいかどうかを判断し(ステップS22)、NOの場合には最小クラスタ間距離のクラスタ対を融合して新たなクラスタとし(ステップS23)、ステップS21に戻って処理を継続する。そしてステップS22の判断がYESになったときに処理を終了する。
なお、ステップS20で決定したクラスタリング処理停止判断用の最小クラスタ間距離Dは、初期状態(統合領域内の各領域に対応する点が特徴空間内に存在している状態)における各点間距離の平均値に適当な係数を乗じて算出したり、初期状態における主成分方向の分散値に適当な係数を乗じて算出する等が考えられる。また、処理停止の判断にクラスタ数を用いてもよい。例えば2つのクラスタになるまで続けてその後処理を停止する等である。
ステップS13でのクラスタリング処理の後は各領域をクラスタ毎に再統合する(ステップS14)。再統合の後は、前述のステップS6に戻って処理を続ける。再統合により新たにできた統合領域に対する分類結果は未定なので、ステップS7の判断はNOとなりステップS10に進む。ステップS10で統合結果が妥当であればステップS11、S8、S9を実行した後、処理が終了となる。
一方、ステップS10の判断が妥当でない場合にはステップS12、S13、S14、S6を順に実行し、より細かい設定がなされる。但し、最初から全ての領域を設定するわけではないので、手間は省かれる。
図8は、図3での欠陥Aの領域統合結果が妥当でないとして、ステップS12〜S14、S6を実行したときの表示手段108の表示画面の一例を示している。表示エリア160には図6のクラスタリング結果に基づく再統合の結果が表示されている。つまり、図3で欠陥Aとして統合表示されていた領域“151〜154、158、159”は、新たに“151〜153”、“154、159”、“158”の異なる3つの統合領域として、各々の色で表示されている。
また、表示エリア161、162には結果修正の例が示されており、表示エリア161の表示は修正前の内容であり、表示エリア162の表示は修正後の内容である。表示エリア162の表示が示すように、修正後は、領域151〜153の欠陥種は欠陥A、領域155、156の欠陥種は欠陥B、領域157の欠陥種は欠陥C、領域158の欠陥種は欠陥D、領域154、159の欠陥種は欠陥Eに属することが示される。図9は、図8に示す表示状態に基づいて作成される教師データを示している。
上記した第1実施形態によれば、教師データ作成というユーザーインタラクティブな作業において、画像内の複数の分類対象領域を適当に自動統合しながら表示し、統合領域に対する修正内容を統合領域内の各領域に反映して教師データを自動作成することにより、個々の領域に対する修正の手間を省き、効率良く教師データを作成することができる。
(第2実施形態)
以下に本発明の第2実施形態を説明する。第2実施形態の欠陥分類装置は、第1実施形態の欠陥分類装置において、図2のステップS12で妥当でない統合領域を選択する際に、領域再統合のためのクラスタリングに用いる特徴軸を指定可能にしたことを特徴とする。
図10は、統合領域の選択及び特徴軸の指定を行う際の画面の一例を示している。図3と同様に、表示画面は統合領域毎に色分けして表示する表示エリア170と、統合領域の欠陥種を表示するための表示エリア171とを有する。図10に表示された領域151〜159に関する説明は図3と同様であるため、説明を省略する。表示エリア171も図3の表示エリア141と同様であるため、説明を省略する。
ここで、特徴軸を指定することで領域の再統合の仕方を制御することができる。例えば、図10に示される領域151〜154、158、159の統合が誤っており、特に面積による差をユーザーが優先的に考えたとすると、選択メニュー172から「面積」をクラスタリングに用いる軸として選択することになる。これにより、クラスタリングにおける距離計算は、この面積値を示す軸に沿って行われるため、図11に示すようなクラスタリング結果となる。また、図12は、このクラスタリング結果を基に欠陥領域の再統合を行った結果を表示エリア180、181に表示したようすを示している。
表示エリア180には図11のクラスタリング結果に基づく再統合の結果が表示されている。つまり、図3で欠陥Aとして統合表示されていた領域“151〜154、158、159”は、新たに“151〜153”、“154、158、159”の異なる2つの統合領域として、各々の色で表示されている。また、表示エリア181には、領域151〜153の欠陥種は欠陥A、領域155、156の欠陥種は欠陥B、領域157の欠陥種は欠陥C、領域154、158、159の欠陥種は欠陥Dに属することが示されている。
また、ユーザーが区画位置依存性(ステッパを用いて順次露光を行う半導体ウェハでは、ステッパの露光区画位置に依存する欠陥などがある。詳細は特願2001−370218号参照)による差を優先的に考えた場合には、図13に示すような、異なったクラスタリング結果が得られる。このようにユーザーの特徴軸指定により再統合の仕方を変更することで、教師データ作成を支援する。
上記した第2実施形態によれば、領域再統合のための基準をユーザーが指定することにより、ユーザーの感性に合った領域再統合が行われるため、正確な教師データを効率良く作成することができる。
(第3実施形態)
以下に本発明の第3実施形態を説明する。図14は、第3実施形態の欠陥分類装置の構成を示している。第3実施形態の欠陥分類装置は、第1実施形態の欠陥分類装置の構成に加えて、教師データ数の増加に伴うクラス毎の分類正解率の変化より更なる教師データ作成の必要性を判断する判断手段112を備えていることを特徴とする。
判断手段112は、教師データの作成時、最初に分類装置が判定した結果と、ユーザーが修正した後の結果を基に、各欠陥種毎の分類正解率を算出する。例えば図3に示される結果が分類装置によるもので、その後ユーザーの修正により図8の結果が得られたとすると、各欠陥種の正解率は以下のように算出される。但しここでは正解率を、(正解した個数)/(実際の個数)で表現するものとする。
・ 欠陥A=3/3=100%
・ 欠陥B=1/1=100%
・ 欠陥C=2/2=100%
・ 欠陥D=0/1=0%
・ 欠陥E=0/1=0%
教師データ作成作業が繰り返される過程において、この正解率を常に算出し、その変化を記録していくと、十分な教師データが得られた欠陥種に対しては正解率が安定して高い数値をとるようになる。そこで分類正解率に、ある閾値を設け、この値を継続して超える正解率が維持される欠陥種に関しては、教師データが十分であると判断し、統合結果表示の際、表示しないようにする(または表示の仕方を他の領域と変える)。これによりユーザーは正解率が低い欠陥種に集中して修正作業を行うことができる。
上記した第3実施形態によれば、教師データ作成が必要な領域に集中して修正作業を行うことができるため効率良く教師データを作成することができる。
本発明の第1実施形態に係る欠陥分類装置の構成を示す図である。 第1実施形態の欠陥分類装置の処理の流れを説明するためのフローチャートである。 ステップS6を実行したときの表示手段108の表示画面の一例を示す図である。 図3に示す表示状態に基づいて作成される教師データを示す図である。 分類結果の修正用インタフェースの一例を示す図である。 図3に欠陥Aで示される統合領域内の各領域を特徴空間内でクラスタリングした例を示す図である。 融合法によるクラスタリング処理の流れを示す図である。 ステップS14後のステップS6を実行したときの表示手段108の表示画面の一例を示す図である。 図8に示す表示状態に基づいて作成される教師データを示す図である。 統合領域の選択及び特徴軸の指定を行う際の画面の一例を示す図である。 図10に欠陥Aで示される統合領域に含まれる各領域を特徴軸1(面積)でクラスタリングした例を示す図である。 図11に示すクラスタリング結果に基づく再統合の一例を示す図である。 図10に欠陥Aで示される統合領域に含まれる各領域を特徴軸2でクラスタリングした例を示す図である。 本発明の第3実施形態に係る欠陥分類装置の構成を示す図である。
符号の説明
100…PC、101…欠陥領域抽出手段、102…特徴量算出手段、103…分類手段、104…領域領域統合手段、105…教師データ作成手段、106…教師データ蓄積手段、107…メモリ、108…表示手段(モニタ)、109…入力手段(マウス、キーボード)。

Claims (8)

  1. 分類対象となる複数の領域が存在する画像より分類対象の領域を抽出する領域抽出手段と、
    前記抽出した分類対象の領域に対する特徴量を算出する特徴量算出手段と、
    前記算出した特徴量を基に、前記抽出した分類対象の領域を所定のクラスに分類する分類手段と、
    前記分類結果のクラスが同じである領域を統合する領域統合手段と、
    前記統合領域の画像及び前記分類結果を表示する表示手段と、
    前記分類結果の誤りを修正するための入力手段と、
    前記統合領域に対する分類結果を、前記統合領域に含まれる各領域に反映して、各領域毎の教師データを作成する教師データ作成手段と、
    を備えることを特徴とする学習型分類装置。
  2. 前記領域統合手段は、誤った統合がなされた領域が前記入力手段により選択された場合に、その統合領域内の複数の領域を特徴空間内で少なくとも2つ以上のクラスタに分割し、各々のクラスタに属する領域毎に再統合することを特徴とする請求項1に記載の学習型分類装置。
  3. 前記クラスタの作成は、前記入力手段により指定された特徴軸上での距離を用いて行われることを特徴とする請求項2に記載の学習型分類装置。
  4. 教師データ数の増加に伴うクラス毎の分類正解率の変化より更なる教師データ作成の必要性を判断する判断手段を更に備えることを特徴とする請求項1乃至3のいずれか1つに記載の学習型分類装置。
  5. 領域抽出手段と、特徴量算出手段と、分類手段と、領域統合手段と、表示手段と、入力手段と、教師データ作成手段とを具備する分類装置が教師データを作成する学習型分類方法であって、
    前記領域抽出手段が、分類対象となる複数の領域が存在する画像より分類対象の領域を抽出するステップと
    前記特徴量算出手段が、前記抽出した領域に対する特徴量を算出するステップと
    前記分類手段が、前記算出した特徴量を基に前記領域を所定のクラスに分類するステップと
    前記領域統合手段が、前記分類結果のクラスが同じである領域を統合するステップと
    前記表示手段が、前記統合した領域の画像及び前記分類結果を表示するステップと
    前記入力手段が、前記分類結果の誤りを修正するための指示情報を取得するステップと
    前記教師データ作成手段が、前記統合領域に対する分類結果を、前記統合領域に含まれる各領域に反映して、各領域毎の教師データを作成するステップと
    を行うことを特徴とする学習型分類方法。
  6. 前記領域統合手段が、前記入力手段で前記取得した指示情報により誤った統合がなされた領域が選択された場合に、その統合領域内の複数の領域を特徴空間内で少なくとも2つ以上のクラスタに分割し、各々のクラスタに属する領域毎に再統合することを特徴とする請求項5に記載の学習型分類方法。
  7. 前記クラスタは、前記入力手段により指定された特徴軸上での距離を用いて作成されることを特徴とする請求項5に記載の学習型分類方法。
  8. 前記分類装置がさらに判断手段を具備し、前記判断手段が、前記教師データ数の増加に伴うクラス毎の分類正解率の変化より更なる教師データ作成の必要性を判断することを特徴とする請求項5記載の学習型分類方法。
JP2004107738A 2004-03-31 2004-03-31 学習型分類装置及び学習型分類方法 Expired - Fee Related JP3834041B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004107738A JP3834041B2 (ja) 2004-03-31 2004-03-31 学習型分類装置及び学習型分類方法
EP05721668A EP1734456A4 (en) 2004-03-31 2005-03-30 CLASSIFICATION DEVICE AND METHOD OF LEARNING TYPE
PCT/JP2005/006170 WO2005096181A1 (ja) 2004-03-31 2005-03-30 学習型分類装置及び学習型分類方法
US11/520,555 US7773801B2 (en) 2004-03-31 2006-09-13 Learning-type classifying apparatus and learning-type classifying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004107738A JP3834041B2 (ja) 2004-03-31 2004-03-31 学習型分類装置及び学習型分類方法

Publications (2)

Publication Number Publication Date
JP2005293264A JP2005293264A (ja) 2005-10-20
JP3834041B2 true JP3834041B2 (ja) 2006-10-18

Family

ID=35063983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004107738A Expired - Fee Related JP3834041B2 (ja) 2004-03-31 2004-03-31 学習型分類装置及び学習型分類方法

Country Status (4)

Country Link
US (1) US7773801B2 (ja)
EP (1) EP1734456A4 (ja)
JP (1) JP3834041B2 (ja)
WO (1) WO2005096181A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226490A1 (en) * 2002-01-29 2005-10-13 Phillips Brian S Method and apparatus for improved vision detector image capture and analysis
US7545949B2 (en) * 2004-06-09 2009-06-09 Cognex Technology And Investment Corporation Method for setting parameters of a vision detector using production line information
US9092841B2 (en) 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US8243986B2 (en) 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection
US20050276445A1 (en) 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
US8127247B2 (en) 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US8891852B2 (en) 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
US7720315B2 (en) 2004-11-12 2010-05-18 Cognex Technology And Investment Corporation System and method for displaying and using non-numeric graphic elements to control and monitor a vision system
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US7636449B2 (en) 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
JP4961161B2 (ja) * 2006-04-27 2012-06-27 株式会社日立ハイテクノロジーズ 検査装置
JP2008027238A (ja) * 2006-07-21 2008-02-07 Hitachi Ltd 文書属性値付与装置及びその文書属性値付与方法
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
JP2008152619A (ja) 2006-12-19 2008-07-03 Fuji Xerox Co Ltd データ処理装置およびデータ処理プログラム
US8237099B2 (en) 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
JP5255953B2 (ja) * 2008-08-28 2013-08-07 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
JP5075070B2 (ja) * 2008-09-19 2012-11-14 大日本スクリーン製造株式会社 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP5075083B2 (ja) * 2008-10-08 2012-11-14 大日本スクリーン製造株式会社 教師データ作成支援方法、並びに、画像分類方法および画像分類装置
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP5342606B2 (ja) * 2011-06-27 2013-11-13 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置
US9651499B2 (en) 2011-12-20 2017-05-16 Cognex Corporation Configurable image trigger for a vision system and method for using the same
JP5439543B2 (ja) * 2012-06-14 2014-03-12 株式会社日立製作所 欠陥分類方法及びその装置
WO2014076360A1 (en) * 2012-11-16 2014-05-22 Metso Automation Oy Measurement of structural properties
JP2014207110A (ja) * 2013-04-12 2014-10-30 株式会社日立ハイテクノロジーズ 観察装置および観察方法
US9177225B1 (en) 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
WO2016147653A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法および記録媒体
US10339422B2 (en) 2015-03-19 2019-07-02 Nec Corporation Object detection device, object detection method, and recording medium
JP2017009314A (ja) * 2015-06-17 2017-01-12 株式会社Screenホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
JP6597972B2 (ja) * 2016-03-23 2019-10-30 株式会社Screenホールディングス 画像処理装置および画像処理方法
CN105787958A (zh) * 2016-05-20 2016-07-20 东南大学 一种基于三维Zernike矩的肾脏动脉CT造影图像血管分割方法
JP6842745B2 (ja) * 2016-07-28 2021-03-17 国立大学法人信州大学 画像判別装置及び画像判別方法
JP6809250B2 (ja) 2017-01-23 2021-01-06 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP6985856B2 (ja) * 2017-08-31 2021-12-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US11138507B2 (en) * 2017-09-28 2021-10-05 Applied Materials Israel Ltd. System, method and computer program product for classifying a multiplicity of items
JP6971112B2 (ja) * 2017-09-29 2021-11-24 株式会社Screenホールディングス 教師データ作成支援装置、分類装置および教師データ作成支援方法
JP6936957B2 (ja) * 2017-11-07 2021-09-22 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
EP3721373A1 (en) 2017-12-07 2020-10-14 Ventana Medical Systems, Inc. Deep-learning systems and methods for joint cell and region classification in biological images
JP7320704B2 (ja) * 2018-05-31 2023-08-04 パナソニックIpマネジメント株式会社 学習装置、検査装置、学習方法および検査方法
JP7196529B2 (ja) * 2018-10-18 2022-12-27 コニカミノルタ株式会社 情報処理装置及びプログラム
JP7167315B2 (ja) * 2019-03-29 2022-11-08 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム
JP7408516B2 (ja) 2020-09-09 2024-01-05 株式会社東芝 欠陥管理装置、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0460865A (ja) * 1990-06-29 1992-02-26 Iwatsu Electric Co Ltd 神経回路網学習法及び装置
US6546308B2 (en) * 1993-12-28 2003-04-08 Hitachi, Ltd, Method and system for manufacturing semiconductor devices, and method and system for inspecting semiconductor devices
JP3476913B2 (ja) 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
JP4132229B2 (ja) 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
US6476913B1 (en) * 1998-11-30 2002-11-05 Hitachi, Ltd. Inspection method, apparatus and system for circuit pattern
JP4526661B2 (ja) * 2000-06-28 2010-08-18 株式会社日立製作所 検査装置および検査方法

Also Published As

Publication number Publication date
US20070009152A1 (en) 2007-01-11
US7773801B2 (en) 2010-08-10
JP2005293264A (ja) 2005-10-20
WO2005096181A1 (ja) 2005-10-13
EP1734456A1 (en) 2006-12-20
EP1734456A4 (en) 2009-05-27

Similar Documents

Publication Publication Date Title
JP3834041B2 (ja) 学習型分類装置及び学習型分類方法
EP3480735B1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
US8428336B2 (en) Inspecting method, inspecting system, and method for manufacturing electronic devices
JP5075111B2 (ja) 画像分類基準更新方法、プログラムおよび画像分類装置
US7681159B2 (en) System and method for detecting defects in a semiconductor during manufacturing thereof
JP4253522B2 (ja) 欠陥分類方法及び装置
KR101704325B1 (ko) 결함 관찰 방법 및 결함 관찰 장치
KR101764658B1 (ko) 결함 해석 지원 장치, 결함 해석 지원 장치에 의해 실행되는 프로그램 및 결함 해석 시스템
WO2011125925A1 (ja) 検査方法およびその装置
JP2019091249A (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JPH11344450A (ja) 教示用データ作成方法並びに欠陥分類方法およびその装置
TW201200869A (en) An inspection system and method for inspecting line width and/or positional errors of a pattern
JP5202110B2 (ja) パターン形状評価方法,パターン形状評価装置,パターン形状評価データ生成装置およびそれを用いた半導体形状評価システム
JP2013074221A (ja) 画像分類支援を行う荷電粒子線装置
JP5075070B2 (ja) 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP5323457B2 (ja) 観察条件決定支援装置および観察条件決定支援方法
JP2007198968A (ja) 画像分類方法及び画像分類装置
JP7380332B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
KR102252326B1 (ko) 웨이퍼 이미지 대 설계 좌표 매핑을 자동적으로 생성하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품
JP2020085705A (ja) 判定装置及び判定方法
JP7390851B2 (ja) 欠陥分類装置、欠陥分類プログラム
JP2023024148A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JPWO2020031422A1 (ja) オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060720

R151 Written notification of patent or utility model registration

Ref document number: 3834041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130728

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees