JP7463592B2 - 製品の二次元のデジタル画像で異常を検出する方法および装置 - Google Patents

製品の二次元のデジタル画像で異常を検出する方法および装置 Download PDF

Info

Publication number
JP7463592B2
JP7463592B2 JP2023060801A JP2023060801A JP7463592B2 JP 7463592 B2 JP7463592 B2 JP 7463592B2 JP 2023060801 A JP2023060801 A JP 2023060801A JP 2023060801 A JP2023060801 A JP 2023060801A JP 7463592 B2 JP7463592 B2 JP 7463592B2
Authority
JP
Japan
Prior art keywords
value
maximum
minimum
determined
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023060801A
Other languages
English (en)
Other versions
JP2023156241A (ja
Inventor
ジークリスト ミヒャエル
バスタック マヌエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wipotec Wiege und Positioniersysteme GmbH
Original Assignee
Wipotec Wiege und Positioniersysteme GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wipotec Wiege und Positioniersysteme GmbH filed Critical Wipotec Wiege und Positioniersysteme GmbH
Publication of JP2023156241A publication Critical patent/JP2023156241A/ja
Application granted granted Critical
Publication of JP7463592B2 publication Critical patent/JP7463592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20161Level set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、請求項1ないし2のプレアンブルの構成要件を有する、製品の二次元のデジタル画像で異常を検出する方法に関する。さらに本発明は、この方法を実施する装置並びにコンピュータプログラム製品に関する。
製品の製造にあたっては、その製品が特に欠損個所、異物などの異常を有していないかどうか、製造された製品を引き続いてチェックにかけるという要望ないし必要がある場合が多い。たとえば食品産業ではヨーグルトやチーズの製造にあたって、望ましくない異物やその他の望ましくない材料領域が製品内部にないかどうか、完成した製品を継続的に検査するという課題が課せられる場合がある。この問題を解決するために実作業では、製品を電磁放射によって、特にX線スペクトルの放射によって、透過照射する検査装置が利用される。このようにして、製品の外的な幾何学寸法ないし表面に関する情報だけでなく、製品の内部に関する情報も含んでいる製品のデジタル画像が生成される。このとき検出されるべき異常はその減衰に依存して、透過照射されたときに、異常を有していない画像領域(以下「領域」と呼ぶ)に比べたとき、合格領域よりも高い、または低い、「グレー値」すなわちピクセル値を有する画像領域につながり得る。本件の記述において「グレー値」という概念は、基準となる露光時間中に検出される、個々のピクセルに当たった放射出力ないしこれに相当する放射エネルギーに依存して検出器が生成する情報について使用しており、該当するデジタル画像でピクセル値をどのような色や方式で表示可能であるかを問わない。
このような種類の製品の検査のために、検査されるべき製品が完全に透過照射される(すなわち、放射源と検出器が製品の向かい合う側に位置する)のではなく、検査されるべき製品の十分に奥まで放射が浸透して製品内で「反射」される装置ないし方法も知られており、このような「反射」は、容積領域に浸透した放射の散乱によって、または容積領域での蛍光放射の生成によって、物理的に惹起される。このような種類の検査装置では、放射源と検出器が、検査されるべき製品の同一の側にあってもよい。
このとき検査されるべき製品は、搬送装置により検査装置を通るように運ばれる、任意の形式の個別品の形態で、または、ばら荷として、存在することができる。
放射に対する検出器として、検査されるべき製品が搬送経路に沿って動いていく製造ラインで、それぞれ事前設定された個数のピクセルを含む1つまたは複数の検出器ラインを有するライン検出器がしばしば利用される。このときデジタル画像は、通常は一定の速度で、このような種類のスキャン装置を通るように動き、検出された多数のラインが組み合わされてデジタル画像が構成される。しかし当然ながら、ラインスキャナに代えてエリアスキャナを使用することも同じく可能である。この場合には検査されるべき製品のデジタル画像を、ただ1回の検出プロセス(すなわち、ただ1回の「露光プロセス」)によって検出することができる。
こうして生成されたデジタル画像が引き続き、通常は自動式に、該当する製品の内部に異常がないかどうか検査される。その際には、実行されたスキャンプロセスによって生成された画像を、このような検査の前に直接的に加工ないし前処理することができる。そのために、当初の画像をたとえばデジタル式にフィルタリングすることができ、そのために使用されるフィルタがコントラスト改善を惹起することができる。
画像を生成するときに、特に異常の検出の観点から、コントラストを改善するための方策を講じることも同じく可能である。たとえばデュアルエネルギー法を採用することができ、この場合、該当する部分画像を重ね合わせることでコントラスト改善がもたらされるように、両方のスペクトルが選択される。
さらに、複数の画像を生成するスペクトル解像式の検出器を使用することが可能であり、この場合、検出された放射のそれぞれ特定のスペクトル部分の放射エネルギーにグレー値が相当しているピクセルから、各々の画像が構成される。そして異常の検出のために、そのようなスペクトル解像式の検出器の全部の部分画像または選択された部分画像から、たとえば該当するピクセル値の重みづけされた加算によって生成される画像を利用することができる。しかしながら異常があるか否かについて、各々の部分画像を別々に検査することもできる。
製品のデジタル画像の自動式の検査のために閾値が規定される方法が知られており、少なくとも1つのピクセルのグレー値が閾値よりも大きい場合には、異常が存在している。そのために学習プロセスで、通常、同一の製品型式の事前設定された数の合格製品(すなわち異常を有していない製品)がスキャンされて、そのような合格製品で通常生じる最大のグレー値に関する情報を得る。そしてこれに依存して、誤廃棄率(たとえば百分率または千分率)の設定された値が遵守されるように閾値が規定される。ここでの誤廃棄率は、合格製品が「不合格製品」として認識される確率である。合格製品が不合格製品として識別される経験的な頻度を決定することによって、このような(理論上の)誤廃棄率をチェックすることができる。そのために、十分な数の合格製品のデジタル画像を生成し、規定された閾値を利用したうえでチェックすることができ、不合格製品として認識された合格製品を合格製品の総数で除した商として、経験的な誤廃棄率が規定される。
すなわち、このような閾値の決定は、合格製品の比較的多数のデジタル画像が生成されなければならない、高いコストのかかる学習プロセスを必要とする。しかしこれは欠点である。最初に、該当する生産ラインによって、このような数の合格製品を製作しなければならず、すなわち、相応の生産時間が失われるからである。そのうえ、所望の誤廃棄率が遵守されるように高い信頼度で閾値を規定できるようにするのに、学習プロセスに必要な合格製品の個がどの程度多くなければならないかを予測することは、まず無理である。
このような従来技術を前提としたうえで、本発明の課題は、異常の検出のために利用される閾値の規定のための自動化されたプロセスを、いっそう少ない数のデジタル画像を用いて迅速かつ確実に実行することができる、スキャンされた製品のデジタル画像で異常を検出する方法を提供することにある。さらに本発明の課題は、この方法を実施するための装置並びにコンピュータプログラム製品を提供することにある。
本発明は、請求項1および2、ないし16および17の構成要件によってこれらの課題を解決する。
本発明が前提とする知見は、検査されるべきデジタル画像での異常の認識のために利用される固有の量の最大値ないし最小値(以下において極値と呼ぶ)の統計的な分布に関する想定が立てられれば、比較的少ないデジタル画像を用いた学習プロセスで良好な信頼性をもって、製品のデジタル画像で異常を検出するための閾値を決定することができるということにある。そのために本発明では、パラメータ化されるべき設定された確率密度関数によって、極値の分布を十分に良好に表現することができるという想定が立てられる(「パラメータ化する」という用語により、本明細書においては、確率密度関数のパラメータについての値の判定ないし規定が意味される)。換言すると、それぞれ設定された確率密度関数のランダムサンプルの要素(すなわち、それぞれの最大値または最小値の集合)があれば十分であるという想定が立てられ、ないしは、その出現確率がこの確率密度関数によって良好に表現されるという想定が立てられる。ランダムサンプルの要素を利用したうえで、確率密度関数の決定されるべきすべてのパラメータ(すなわち、場合によりすでに設定されているのでないすべてのパラメータ)についての見積値が判定される。確率密度関数はしばしば2つのパラメータを有しており、たとえば正規分布のケースでは、それは期待値μと標準偏差σないし分散σである。
本発明の1つの実施形態では、極値分布、特に設定された態様の一般化された極値分布、すなわちワイブル分布、フレシェ分布、またはガンベル分布が、固有の量の最大値または最小値の分布を表現するために利用される。当然ながら、一般化された極値分布自体をその3つのパラメータをもって利用することもできる。
このとき本発明は、ピクセル値が、特にそれぞれの個々のピクセル値が、ピクセル値についての閾値との関連で、検査されるべきデジタル画像が異常を含んでいるか否かの決定のために援用される、冒頭で説明したケースだけに限定されるものではない。
むしろ本発明は、このような方式の根底にある原理を一般化する。検査されるべき画像が1つまたは複数の区域に分割され、各々の区域に、少なくとも1つの同一の特性または複数の同一の特性が割り当てられる。このとき各々の区域はちょうど1つまたは複数のピクセルを含んでおり、複数のピクセルが同一の区域に割り当てられるのは、これらが隣接している場合に限られる(すなわち、この区域の各々のピクセルは、直接的に隣接する、同一の区域の少なくとも1つのピクセルを有する)。このとき、着目されるピクセルに対して隣接するとみなすことができるのは、1つの辺をもって、着目されるピクセルの1つの辺に隣接する各々のピクセルであり(すなわち、着目されるピクセルの上、下、左、および右のピクセル)、または、1つの角をもって、着目されるピクセルの1つの角に隣接する各々のピクセルである(すなわち、着目されるピクセルの対角線の延長上にあるピクセル)。事前に規定された区域の各々の特性について、それぞれの特性を表現する値が判定される。各区域に複数の特性が割り当てられる場合、各々の特性について別個の値を規定することができ、または、たとえば数学演算(たとえば乗算または除算または重みづけされた加算)によって、2つまたはそれ以上の特性の値を組み合わせて1つの値にすることができる。
異常の検出は、このような一般化のもとでは、各々の特性について、または複数の特性の各々の組み合わせについて、閾値が決定されることによって行われる。
極端なケースでは、画像全体を1つの区域として把握ないし規定することができる。ただしこの場合、異常を検出するための固有の量として、各々のピクセルのピクセル値が、当該値がピクセル値について設定された閾値を上回っているか下回っているかに関して検査されると、このことは、ちょうど1つのピクセルを含む区域として各々のピクセルが把握ないし規定されたときと同一の結果につながる。このケースでは、事前定義された区域と、割り当てられた任意の特性とを利用したうえでの上で説明した一般化は、個々のピクセルがそのピクセル値に関して、これらがピクセル値についての閾値を上回っているか下回っているかを検査される従来から普通である方式につながる。
1つの特性についての閾値の決定は、ないし特性の組み合わせについての閾値の決定は、本発明によると学習プロセスで行われる。閾値の決定のために必要な画像は、すでに事前に十分な設定された数で生成しておくことができ、または必要に応じて作成され、すなわち十分な数に達するまで、1つまたは複数の新たなデジタル画像が連続して生成される。ここで指摘しておくと、学習プロセスはどのような任意の時点でも実行することができ、特に、相応の装置や設備の(生産での)使用開始前に実行されなくてもよい。特に、このプロセスは設備の生産の稼働中に実行することもでき、それは特に、その際に合格製品または少なくとも合格プロセス製品が製作される場合である(下記参照)。学習プロセスは、本発明の1つの好ましい実施形態では自動化されて実行される。しかしながら、デジタル画像の生成(当初に検出されたデジタル画像の加工もこれに該当する)など、プロセスの特定のステップを完全に手動式に実行し、または手動式にサポートして実行することも同じく可能である。
本発明に基づく方法の1つの態様では、少なくとも1つの特性についての閾値を決定するための学習プロセスないし自動化されたプロセスは、異常を有していない合格製品のデジタル画像を利用したうえで実行される。すでに上で述べたとおり、スキャンプロセスの直接的な結果であってよい画像をまず加工することができ、ないしは検出方法のために前処理することができる。このとき、製品を全体として含む、または設定された部分領域を含む、判定された画像全体の適当な一部分を生成することもできる。こうして生成された一部分を、または検出されたデジタル画像全体を、たとえば異常をいっそう強く際立たせることを目的としてコントラスト改善を惹起するために、デジタルフィルタリングにかけることができる。エンドレス式に生産される製品またはばら荷製品が異常に関して検査されるべきである場合、このような製品の断片のデジタル画像を生成し、単独の製品(またはこのような種類の製品の一部分)の画像を用いて可能であるのと同様に、これを処理して検査することができる。
ここで付言しておくと、自動化されたプロセスを合格製品だけを用いて実行することが、必ずしも必須なわけではない。むしろ自動化されたプロセスは、いずれの製品も不合格製品でないことが保証されないまま生産ラインで製作される製品の画像を用いて実行することもできる。このように合格製品に代えて、「合格プロセス製品」と呼ぶ製品を利用することもでき、これら複数の合格プロセス製品は大部分が合格製品からなり、小部分だけが不合格製品からなる。というのも実作業では、複数の合格プロセス製品における不合格製品の割合は低く、特に25%より低く、好ましくは10%より低く、高くとも好ましくは5%より低いと考えられるからである。
自動化されたプロセスの枠内で、固定的に設定された数のデジタル画像、または自動化されたプロセスの過程で決定されるべき数の画像が、合格製品ないし合格プロセス製品について生成され、ないしは利用される。
各々のデジタル画像について1つまたは複数の区域が規定され、各々の区域について、少なくとも1つの特性の値、または複数の特性についての組み合わされた値が決定される。これらの値のうち最大の値が、最大値ランダムサンプルの最大ランダムサンプル値として決定され、および/またはこれらの値のうち最小の値が、最小値ランダムサンプルの最小ランダムサンプル値として決定される。
このとき、妥当性のない極値または一義的にエラーを示唆している極値は除外することができる。たとえば極値の判定にあたって、使用されるグレー値スケールの絶対的な最大値または絶対的な最小値を有しているピクセル値を除外することができる。相応の最小値は、たとえば値が0の最小値は、検出器の不具合があるピクセルを示唆する可能性があり、最大値は、検出器のオーバーシュートしたピクセルを示唆する可能性があるからである。
こうして決定される極値が上で述べたランダムサンプルであり、たとえばリストとして保存しておくことができる(場合により最小値と最大値について別々に)。
引き続いて、最大ランダムサンプル値を利用したうえで、最大値ランダムサンプルを表現するために設定された確率密度関数の、設定されていないすべての未決のパラメータについて、および/または最小ランダムサンプル値を利用したうえで、最小値ランダムサンプルを表現するために設定された確率密度関数の、設定されていないすべての未決のパラメータについて、見積値を決定することができる。そのために統計的な見積方法が適用される。
特に、見積関数(統計的な推定量とも呼ぶ)を利用する統計的な見積方法の有意義な結果は、ランダムサンプルが最低数の値を含んでいる場合にのみ期待できるので、通常はそのような最低数が設定され、このことは、ひいては相応の最低数のデジタル画像をもたらす。
本発明の1つの要点は、検査されるべき画像で(閾値を利用する方法の実施時に)誤って最大異常が検出される率が検出される率が設定され、または、検査されるべき画像で(閾値を利用する方法の実施時に)正しく最大異常が検出されない率が設定され、および/または検査されるべき画像で(閾値を利用する方法の実施時に)誤って最小異常が検出される率が設定され、または、検査されるべき画像で(閾値を利用する方法の実施時に)正しく最小異常が検出されない率が設定されることにある。すなわち決定されるべき最大閾値または最小閾値は、設定された率が遵守されるように決定することができる。
ここで率という概念は、テストの適用時に該当する率基準を満たす合格製品の数と、合格製品ないしプロセス製品の設定された総数との商であると理解される。それに伴い、検査されるべき画像で誤って最大異常または最小異常が検出される率は、実作業でしばしば使用される「誤廃棄率」という概念に相当する。検査されるべき画像で誤って最大異常ないし最小異常が検出される率と、検査されるべき画像で正しく最大異常ないし最小異常が認識されない率とは、合計でその都度、1になる。設備の稼働時にこれらの率を浮動値として、すなわち、たとえば直近にチェックされた個数Nの製品を通じて、判定することもできる。
設定された確率密度関数が見積方法によってパラメータ化される場合、最大閾値は、以前にパラメータ化された確率密度関数またはこれに相当する分布関数を利用したうえで、最大閾値よりも大きい、またはこれに等しい、最大の値の出現についての確率が、検査されるべき画像で誤って最大異常が検出される、該当する設定された率に相当するように決定することができ、または、最大閾値よりも小さい、またはこれに等しい、最大の値の出現についての確率が、検査されるべき画像で正しく最大異常が認識されない、設定された率に相当するように決定することができる。換言すると最大閾値は、最大閾値よりも上方の確率密度関数の下側の面積が、ないしは最大閾値よりも下方の確率密度関数の下側の面積が、該当する設定された率に相当するように決定することができる。
これに準じて最小閾値は、以前にパラメータ化された確率密度関数またはこれに相当する分布関数を利用したうえで、最小閾値よりも小さい、またはこれに等しい、最小の値の出現についての確率が、検査されるべき画像で誤って最小異常が検出される、該当する設定された率に相当するように決定することができ、または、最小閾値よりも大きい、またはこれに等しい、最小の値の出現についての確率が、合格製品で正しく最小異常が認識されない、設定された率に相当するように決定することができる。換言すると最小閾値は、最小閾値よりも下方の該当する確率密度関数の下側の面積が、ないしは最小閾値よりも下方の確率密度関数の下側の面積が、該当する設定された率に相当するように決定することができる。
これらの面積を決定するために、当然ながら確率密度関数の積分を利用することもでき、この積分は、該当する閾値から、確率密度関数の定義区間の上側の限界(たとえば無限、または設定された上側の限界値であってこれよりも上方では積分の値すなわち面積が設定された誤差境界よりも少なくしか変化しなくなるもの)まで形成され、ないしは、定義区間の下限(たとえばマイナス無限、または設定された下側の限界値であってこれよりも下方では積分の値すなわち面積が設定された誤差境界よりも少なくしか変化しなくなるもの)から閾値まで形成される。
当然ながら、上で説明したような積分の計算に代えて、該当する確率密度関数の分布関数を援用することもできる。分布関数は、マイナス無限から、ないしは確率密度関数の定義区間の下側の限界から、該当する閾値までの確率密度関数の積分の値を表すからである。このように確率密度関数の下側の主要な面積は、すなわち、積分の値ないし分布関数の値は、合格製品の画像の各区域の特性の最大ないし最小の値が該当する閾値よりも小さいか、またはこれに等しい(理論上の)確率に相当する。最大ないし最小の値が閾値よりも大きいか、またはこれに等しい確率を計算しようとするときには、そのために、このようにして計算された確率を1から減算するだけでよい。
この計算のためには面積ないし積分ないし分布関数の値が設定されるので、相応の逆関数が利用されなければならない。このような計算は分析的に、または数値法によって、行うことができる。本発明に基づく方法の別の態様では、不合格製品のデジタル画像を用いて、自動化されたプロセスを実行することもできる。各々の(「意図的に」製作された)不合格製品には、異常を検出する本発明の方法が適用されるべき製品型式で実際に発生し得る、少なくとも1つの異常が含まれる。その際に生成される異常は、実作業で発生し得るようなスペクトルをカバーするのがよい。
検査されるべきデジタル画像でこのような種類の異常にどのような性質があるかが既知であれば、特に、各区域の特性が、異常として認識されるべきどのような最大ないし最小の値を取り得るかが既知であれば、学習プロセスの実行のためのデジタル画像を人工的に生成することも可能であり、合格製品の画像へ相応の異常をデジタル式にフェードインすることもできる。ただし、その際に有意義な閾値へと至るためには、実作業で発生する異常に関する十分な知見が必要である。
すでに上で示唆したとおり、学習プロセスのための不合格製品のデジタル画像がただ1つの異常だけでなく、複数の異常を有することが起こり得る。このようなケースでは、本発明によるとこのようなデジタル画像を、それぞれただ1つの異常を含む複数の画像に分割するのが好適である。この分割は位置情報の知見のもとで、すなわち、どのような異常が表面ないし製品内部のどの位置にあり、およびこれに伴って-画像がどのように記録されたか(視角、撮影の方式、たとえば写真や透過放射スキャンなど)を考慮したうえで-、画像内部のどの位置にどのような異常が存在しているかの情報の知見のもとで、行われなければならない。
そして、こうして生成されたそれぞれ異常を含んでいる不合格製品のデジタル画像を用いて、上で説明した学習プロセスを同様の方式で実行することができるので、以下においては主要な相違点だけを詳しく述べる。
不合格製品だけを利用する代わりに、大部分が不合格製品を含んでいる、すなわち低い度合いで合格製品も含んでいる、不合格製品も利用することができる。そのような製品を以下においては不合格プロセス製品と呼ぶ。あとで説明するとおり、合格プロセス製品に含まれる合格製品ないしこれらに帰せられる極値と、不合格プロセス製品に含まれる合格製品ないしこれらに帰せられる極値との両方を、適当な方法によって該当するランダムサンプルから除外することができる。
デジタル画像は、不合格製品のケースでは異常によって引き起こされる、各区域の特性の最大または最小の値を有しているので、これらに対応する確率密度関数は異常だけを表現しており、製品の合格領域を表現していない。したがってこの情報を、誤廃棄率を設定ないし実現するために利用することはできない。むしろこの情報はその代わりに、不合格製品がいつ、ないしどのような前提条件のもとで、誤って不合格製品として認識されなくなるかに関する判断材料を得るために利用することができる。
不合格製品ないしプロセス不合格製品を用いて学習プロセスが実行される場合、検査されるべき画像で正しく最大異常ないし最小異常が検出されるべき率がその都度設定され、または、検査されるべき画像で誤って最大異常ないし最小異常が認識されるべきでない率がその都度、設定される。
そして、パラメータ化された確率密度関数またはこれに相当する分布関数を利用したうえでの最大閾値の決定は、最大閾値よりも小さい、またはこれに等しい、最大の値の出現についての確率が、検査されるべき画像で誤って最大異常が検出されない設定された率に相当するように行われ、または、最大閾値よりも大きい、またはこれに等しい、最大の値の出現についての確率が、検査されるべき画像で正しく最大異常ないし最小異常が認識される設定された率に相当するように行われる。
パラメータ化された確率密度関数またはこれに相当する分布関数を利用したうえで最小閾値が決定されるべきとき、このことも上に準ずる方式で、最小閾値よりも大きい、またかこれに等しい、最小の値の出現についての確率が、検査されるべき画像で誤って最小異常が検出されない、該当する設定された率に相当するように行われ、または、最小閾値よりも小さい、これに等しい、最小の値の出現についての確率が、検査されるべき画像で正しく最小異常が認識される、該当する設定された率に相当するように行われる。
本発明の1つの実施形態では、設定される確率密度関数のパラメータについての見積値は、統計的な推定量(見積関数とも呼ぶ)によって、たとえば最尤法やモーメント法によって、決定することができる。ランダムサンプル要素を「ビン分割」し、すなわち、設定された幅を有する隣接する区間にそれぞれ割り当て、それに伴って経験的な頻度分布を作成することも同じく可能である。そしてこの頻度分布から、パラメータ化されるべき選択された確率密度関数をフィッティングすることができる。そのために、たとえば最小二乗法を利用することができる。しかしながら通常は、そのためにいっそう好ましい統計的な見積関数、たとえば最尤法やモーメント法を利用することができる。
その結果として、設定された確率密度関数のパラメータについての値が得られる。ここで付言しておくと、特定のケースでは、確率密度関数の特定のパラメータについての1つまたは複数の値を設定し、残った「未決の」パラメータだけを上に説明した方式で決定することも可能である。
さらに別の実施形態では、各区域をベース閾値によって規定することができ、ピクセル値がベース閾値よりも大きい(またはこれに等しい)隣接するピクセルが、第1の群の区域を形成し、ピクセル値がベース閾値よりも小さい隣接するピクセルが、第2の群の区域を形成する。第1および第2の群の区域を、ただ1つの群をなすようにまとめることもできる。各区域を規定するためのさらに別の手段は、事前定義された(幾何学的な)マスクの利用にある。たとえば、たとえば正方形の格子(すなわちチェス盤状の格子)をデジタル画像の上に載せるマトリクス状のマスクを利用することができ、すべてのピクセルが正方形の内部で1つの区域を形成する。当然ながらマスクはこれ以外の下位区分を惹起することもでき、画像全体が各区域に分割されなくてもよい。
本発明によると各区域に、1つの値をもって表すことができる1つの特性が割り当てられる。これは特に各区域の面積、円周、直径などの幾何学的な特性であってよく(各区域が少なくとも近似的に円形である場合)、または、該当する区域のピクセル値からもたらされる値によって表現されるピクセル値特性、たとえば1つの区域の最大または最小の値、平均値、もしくはピクセル値の分散であってよい。
複数の特性を組み合わせることもでき、そしてこれらの特性を、組み合わされた値によって表すことができる。たとえば平均値と標準偏差を加算することができ、この情報がピクセル値についての一種の信頼区間となる。最大値と最小値との差異を、その区域の明度差を表現する組み合わされた値として利用することもできる。この目安は外れ値に対して敏感であるため、これに代えて分位数、たとえば最大値と最小値の代替として10%および90%の分位数を利用することができる。さらに、区域がどれくらい良好に円形であるか、ないしは円形性からどれだけ大きく相違しているかを推定するために、円周と面積の商を利用することができる。或いは、幾何学的な特性とピクセル特性とを組み合わせることもできる。
すでに上で述べたとおり、ランダムサンプルの要素の数は、すなわち極値(最大または最小のグレー値)の数は、あらかじめ固定的に設定されていなくてもよい。特に、合格製品ないし合格プロセス製品または不合格製品ないし不合格プロセス製品のデジタル画像の数は、少なくとも1つの停止基準を利用したうえで、学習プロセスの過程で決定することができる。そのために、少なくとも1つの停止基準が満たされるまで、デジタル画像の現在の数を増やしていくことができる。このとき、該当する閾値が決定される上述した方法が各々のステップで、すなわちデジタル画像の数が増やされるたびに、実行される。
このとき当然ながら、第1のステップで少なくとも1つの最低数のデジタル画像を評価して、最大ないし最小のグレー値のランダムサンプルごとの最低数の要素を得ることが可能である。この最低数は、適用される見積関数が、該当する確率密度関数のパラメータについて、すでに一定程度の確率をもって一定程度の有意義な見積値を生成することができるような大きさに選択される。
本発明の1つの実施形態では、少なくとも1つの停止基準は、該当する確率密度関数の少なくとも1つのパラメータについての信頼区間によって形成され、またはこれから導き出されていてよい。信頼区間を決定するために、たとえば95%または99%の信頼レベルを設定することができる。設定された信頼レベルに対して信頼区間が十分に小さい(設定された)全幅を有していれば、または、信頼区間の上側ないし下側の限界に対して十分に小さい(設定された)距離を有していれば、停止基準が満たされたものとみなすことができる。ただしこの態様が選択されるのは、該当する確率密度関数の1つまたは複数のパラメータの相応の不確実性が、決定されるべき閾値に対してどのような影響を及ぼすかの経験がすでに得られている場合に限られる。
別の実施形態では、少なくとも1つの停止基準は最小閾値または最大閾値についての閾値信頼区間によって形成され、閾値信頼区間は、各々のパラメータについて信頼区間が決定され、この信頼区間が閾値信頼区間に及ぼす影響が、特に誤差伝播の手法を利用したうえで、特にガウスの誤差伝播の手法を利用したうえで、決定されることによって、決定される。それにより、閾値についての不確実性が直接的に認識可能になるという利点がもたらされる。誤差伝播については、該当するパラメータについての信頼区間の左と右の限界が決定され、そこから見積値と、該当する限界との間の差異が決定される。そしてこの差異を、誤差伝播について利用することができる。
最後に、少なくとも1つの停止基準として、最小閾値または最大閾値についての閾値信頼区間を利用することも同じく可能であり、閾値信頼区間は統計的な方法によって、特にブートストラッピング法を利用したうえで、決定される。このとき、その都度、既存の最大ないし最小のグレー値のランダムサンプルから多数の別のランダムサンプルが生起され、これらは通常は同一の規模を有するとともに、既存のランダムサンプルからそれぞれあらためての「復元抽出」によって(同じ選択確率のもとで)生成される。こうして生起されたこのようなランダムサンプルを用いて、その都度あらためて該当する見積関数を利用したうえで閾値が計算される。このことは区間内で閾値が分布することにつながり、この分布が信頼区間の決定のために利用される。
同様の方式で、1つまたは複数の該当する設定される率についての信頼区間を設定することができる。
ごく一般には信頼区間の設定について、同一の学習プロセスで最小閾値と最大閾値を両方とも決定しようとする場合、両方の停止基準が満たされたときに初めて停止が行われる。
別の実施形態では、該当するパラメータ化された確率密度関数と、各々の検出された最大ランダムサンプル値または最小ランダムサンプル値についての該当するパラメータとを利用したうえで、該当する検出された最大ランダムサンプル値または最小ランダムサンプル値よりも小さい、またはこれに等しい値が現れる確率と、該当する検出された最大ランダムサンプル値または最小ランダムサンプル値よりも大きい、またはこれに等しい値が現れる確率とが決定される。確率密度関数についてのパラメータはこの結果を利用したうえで新規に決定され、それは、検出された最大ランダムサンプル値または最小ランダムサンプル値のうちの少なくとも1つについて、それぞれこうして決定された両方の確率のうちの一方が設定された外れ値境界よりも小さいときであり、新規決定にあたってはこの最大ランダムサンプル値または最小ランダムサンプル値は考慮に含まれない。
それにより、出現確率がきわめて低いランダムサンプルの要素(すなわち極値)が確率密度関数の決定にあたって考慮外とされる、外れ値認識が具体化される。このことは特に、合格製品だけを用いて、または不合格製品だけを用いて、学習プロセスが実行されることが保証されていない場合にも、本発明による方法を適用することを可能にする。たとえば生産ラインの始動時に(或いは進行している生産中に)、その都度生産される製品が、ないしは設備に供給される製品が、その都度の閾値を決定(または新規決定)するために利用される学習プロセスを実行することができる。このような製品の中に不合格製品があるとき(すなわち、これは合格プロセス製品である)、その場合に不合格製品を特徴づける、該当する最大ないし最小のグレー値を除外することができる。
このような方式を再帰的に実行することができる。ランダムサンプルが除外されるとき、変更された新たなパラメータ化された確率密度関数がもたらされ、この確率密度関数が、その後に利用されるランダムサンプル値に関しても、変更された出現確率につながるからである。このとき最大に実行される再帰の回数を、当然ながら制限することができる。同様に、該当するランダムサンプルが最低数の値を含んでいる場合に初めて、このような外れ値認識を開始することができる。
ここで付言しておくと、当然ながら対応する分布関数によって同じく発生確率を判定することもでき、確率密度関数の積分のためにその都度、新たな計算プロセスを必要とすることがない。
本発明の別の実施形態では、その都度、設定された確率密度関数が、これについて判定されたパラメータの見積値を利用したうえで、該当する検出された最大および/または最小のグレー値の形態の経験的な分布を十分に正確に表現しているか否かに関する判断材料を供給する統計的なテストを実行することができる。考えられる統計的なテストの例として、カイ二乗フィッティング検定、コルモゴルフ・スミルノフ・フィッティング検定、アンダーソン・ダーリング・フィッティング検定、ジャック・ベラ・フィッティング検定、またはリリーフォースフィッティング検定を挙げておく。
それにより、確率密度関数のパラメータを見積るために十分な数のランダムサンプル要素が利用されていて、さらにこれらが確率密度関数を十分に正確に特徴づけていることを、ないしは、該当するランダムサンプルの経験的な分布密度を特徴づけるのに選択されたタイプの確率密度関数が適していることを、保証することができる。
パラメータの見積りは、好ましくは設定された最低数の最大ランダムサンプル値または最小ランダムサンプル値が検出された後に、設定された複数のそれぞれ異なる確率密度関数について行うことができ、こうしてパラメータ化された確率密度関数の各々について統計的なテストが実行され、それ以後の方法については、統計的なテストがもっとも妥当な結果をもたらした確率密度関数が、設定された確率密度関数として利用される。それにより学習プロセスで、設定された数のタイプの確率密度関数の中から、特徴ないし性質(特に検査されるべき製品のジオメトリーや素材、および発生する異常)に依存して、最適であることが判明したタイプを選択することができる。
本発明の1つの実施形態では、最大閾値および/または最小閾値についての信頼区間の限界から、該当する所定の率についての信頼区間および/または少なくとも1つの誤差限界を決定することができる。このことは当然ながら、同じく確率密度関数の積分によって、または対応する分布関数の利用によって、行うことができる。
そして、こうして決定された値を学習プロセスの終了後に、すなわち相応に決定された閾値を用いての方法の実施時に、製品を製造、加工、またはチェックするための役目を果たす装置または生産ライン全体の監視および/または制御のために出力することができる。たとえば、たとえば生産時間に依存して現在の率を監視し、および/またはディスプレイに表示させることができる。その際に決定的となるのは、特に検査されるべき画像で誤って最大異常または最小異常が検出されるべき率が設定されるケースにおける上側の誤差限界、ないしは、検査されるべき画像で正しく最小異常ないし最大異常が検出されるべき率が設定されるケースにおける下側の誤差限界である。
スキャンされる製品を製造、加工、またはチェックするための役目を果たす装置または生産ライン全体を監視および/または制御するために、最大閾値および/または最小閾値を出力することも同じく可能である。特に、デジタル画像が生成される検査装置の放射源(たとえばX線放射源)の出力を、所望の(低い)設定された率を依然として実現できる程度まで低減することができるであろう。
本発明の別の実施形態では、判定された最大閾値をベースとして二次的な最大閾値を判定することができ、二次的な最大閾値は、最大閾値について決定された信頼区間の限界の内部で、またはこの信頼区間の限界に等しく、選択される。同様の方式で、判定された最小閾値をベースとして二次的な最小閾値を判定することができ、二次的な最小閾値は、最小閾値について決定された信頼区間の限界の内部で、またはこの信頼区間の限界に等しく、選択される。それにより最大異常ないし最小異常の検出を、改善された(低減された)誤廃棄率の方向へ、または改善された異常の認識の感度の方向へ、最適化することができる。実作業でこれにもっとも関連するとみなすことができるのは、最大閾値についての信頼区間の上限に合わせて二次的な最大閾値をセットすることによる、ないしは、最小閾値についての信頼区間の下限に合わせて二次的な最小閾値をセットすることによる、誤廃棄率の低減である。
上に説明した本発明による方法を実施するための本発明による装置は、異常に関して検査されるべき製品のデジタル画像を表現するデジタル画像データを得るために構成されたデータ処理デバイスを含む。この装置全体は、たとえばデジタル画像を生成する装置、たとえば検査装置であってよく、この検査装置は、製品内部に関する情報もデジタル画像の形態で生成されるX線検査装置として、または、製品の2D画像もしくは3D画像が生成される1つまたは複数のカメラを備えた検査装置として、構成されていてよい。
本発明による装置に適したデータ処理デバイスは、通常の方式で、適当な出入力インターフェースを備えたプロセッサを有することができる。プロセッサは、たとえば産業用の画像処理のための専用のプロセッサとして構成されていてよい。当然ながらプロセッサは、通常のプロセッサと専用の画像処理プロセッサとの組み合わせによって具体化されていてもよい。データ処理デバイス全体は、相応のインターフェースを備えた独立したCPUユニットとして、或いはスロットCPUとして、具体化されていてよい。
本発明のその他の実施形態は従属請求項から明らかとなる。
次に、図面に示されている実施例を参照しながら、本発明について詳しく説明する。図面には次のものが示されている:
本発明に基づく方法を実施する装置を有するX線検査装置を示す模式図である。 合格製品のデジタル画像で以前に決定された区域の特性の最大の値のランダムサンプルの経験的な頻度分布を示すグラフであり、並びに、これに合わせてフィッティングされた確率密度関数である。 合格製品(または合格プロセス製品)のデジタル画像を利用したうえで決定された、特性の最小および最大の値についての確率密度関数をそれぞれ示すグラフである。 不合格製品(または負合格プロセス製品)のデジタル画像を利用したうえで決定された、特性の最小および最大の値についての確率密度関数をそれぞれ示すグラフである。 閾値を決定する方法を説明するための簡略化したフローチャートである。 図1に示すX線検査装置の作動時に発生し得る廃棄率を時間に依存して示すグラフであり、少なくとも浮動平均値に着目したとき、設定された上側の信頼限界が遵守されている。 図6のグラフであるが、上側の信頼限界が超過されている。 図6および7に類似するグラフであるが、上側の信頼限界が遵守されており、下側の信頼限界をまだ下回っている。 合格製品(または合格プロセス製品)を利用したうえで決定された、デジタル画像特性の最大の値についての第1の確率密度関数(曲線(a))と、不合格製品(または不合格プロセス製品)を利用したうえで決定された、デジタル画像特性の最大の値についての第2の確率密度関数(曲線(b))とを示すグラフであり、曲線(a)から判定される閾値Xsoは、曲線(b)から判定される閾値Yso’よりも大きい。 図9に準ずるグラフであるが、曲線(a)から判定される閾値Xsoは、曲線(b)から判定される閾値Yso’よりも小さい。
図1には、以下に説明する方法を実施するために構成された、デジタル画像で異常を検出する装置102を有するX線検査装置100が模式的に示されている。X線検査装置100は、異常を含み得るデジタル画像をどのようにして生起することができるかの、考えられる1つの例であるにすぎない。異常の存在に関して検査されるべき任意のデジタル画像に、本発明による方法を適用することが可能である。
すでに上で説明したとおり、デジタル画像は通常、検出されるべき異常を有する製品を表す。図1に示すX線検査装置の事例では、例示として個別品の形態の製品104が検査される。しかしながら、たとえばばら荷製品など、その他の任意の製品のデジタル画像を生成することも同様に可能である。そのようなケースでは、ばら荷製品の断片をそれぞれ表すデジタル画像が生成される。
図1に示すX線検査装置100では、検査されるべき製品104が搬送デバイス106により、設定された搬送経路(矢印Fによって示唆)に沿って運ばれていく。ここでは搬送デバイス106は、複数のコンベヤベルト108、110、112、114を有している。コンベヤベルト108は製品104を搬入するための役目を果たし、コンベヤベルト114は製品を搬出するための役目を果たす。検査装置100は、コンベヤベルト110および112が中に配置された遮蔽ハウジング116を有しており、並びに、X線放射源118およびX線放射検出器120を有している。X線放射源118は、紙面に対して垂直に扇形の形状を有するとともに搬送方向で僅少な幅を有するX線ビーム121を生成する。X線ビーム121は、コンベヤベルト110および112の互いに向かい合う端面の間の間隙ないし自由空間を通過してから、図1に示すX線検査装置100の実施形態ではコンベヤベルト110、112の下方に配置されたX線放射検出器120に当たる。X線放射検出器120は、紙面に対して垂直の方向で、検査されるべき製品の最大の幅に相当する幅を有している。通常、X線放射検出器の幅は、コンベヤベルト110、112の幅とほぼ同じ大きさに選択される。X線放射検出器120は、紙面に対して垂直の方向に1つまたは複数の検出器ラインを有するライン検出器として構成されていてよく、各々の検出器ラインが設定された数のピクセルを有する。
異常を検出する装置102は、X線放射検出器120の信号が供給される画像処理ユニット122を有している。画像処理ユニット122は、1つまたは複数のプロセッサと、ワーキングメモリと、場合によりハードディスクメモリまたはSSDメモリと、X線放射検出器120の信号の供給のための、およびその他のデータの供給ないし受信と送出ないし送信のための適当なインターフェースとを有する、通常のコンピュータユニットとして構成されていてよい。さらに装置102は、画像処理ユニット122によって生起された、またはこれに供給された、情報を表示することができる表示ユニット124を有している。
図1に模式的に示すように、検査されるべき製品104は扇形のX線ビーム121を通って動き、それにより、ライン検出器として構成されているX線放射検出器120によって相応のデジタル画像信号が生成されて、これが画像処理ユニット122に供給される。画像処理ユニット122は、個別品のケースでは製品104の全体を含む、または少なくとも1つの設定された一部分を含む、デジタル画像がまず画像信号から生成されるように構成されていてよい。この一部分は、画像処理ないしパターン認識の通常の手法によって選択することができる。画像処理ユニット122は、こうして生成されたデジタル画像から、以下に説明する方法によって異常の存在に関して検査されるべき最終的なデジタル画像を、たとえばデジタル式のフィルタリングなどの別の画像処理にかけることもでき、この画像処理は、検出されるべき異常がより良く認識可能となるように、特に残りの画像に対してより良く際立つように、選択される。このような種類の画像前処理は、たとえばノイズ抑圧など、その他の任意の画像処理ステップも含むことができる。このような種類の(必ず必要というわけではない)画像前処理の最後に、異常の存在に関して次に検査されるべきデジタル画像が生じる。
冒頭で説明したとおり、異常の検出のためにピクセル値についての閾値を利用することが知られている。このケースでは異常の存在が検出されるのは、1つのピクセル値が、または設定された最低数のピクセルを含む隣接するピクセルの群が、閾値を上回っている場合である。1つまたは複数の異常がデジタル画像で検出されると、その情報を利用して、対応する製品に関するアクションを起こすことができ、たとえばその製品を製品流から導出することができる。その代替または追加として、該当する製品を物理的または仮想的に、すなわち相応のデータを割り当てることによって、マーキングすることができる。
表示ユニット124は、たとえば検査されるべきデジタル画像および場合によりその中で検出された異常、その都度、適用される閾値、選択された確率密度関数の種類、対応するパラメータ、ランダムサンプルに合わせた確率密度関数のフィッティングの品質、閾値についての信頼区間、パラメータまたは率(特に誤廃棄率)など、所望の情報を表示するために利用することができる。出力は、当然ながらデータ(数値)および/またはグラフィックの形態で行うことができる。装置の通常の作業モードで検出が実行される場合、図6から7のものと同じ、またはこれに類するグラフを表示することもでき、特に、装置102の(通常の)作業動作中における(或いは学習プロセス中における)現在の廃棄率の推移を時間にわたって表示することもでき、設定されている率(たとえば誤廃棄率)や、設定された率についての信頼区間を表示することもできる。さらに、ランダムサンプル値を含むリストおよび/または図2に類するグラフィックを表示することもできる。該当するデータを当然ながら上位のユニットに出力し、および/または保存することもできる。
画像処理ユニット122には、以下に説明する方法によってその後に検査されるべき製品型式についてすでに判定されている1つまたは複数のスタート閾値を供給することもでき、または、以下に説明する方法の実施のために必要であるその他の情報を供給することもでき、これは、たとえば設定された確率密度関数の利用されるタイプに関わる情報や、検査されるべきデジタル画像で各区域がどのような方式で定義されるかに関わる情報である(下記参照)。
上で説明したとおり、デジタル画像で異常を検出するための以下に説明する方法は、1つまたは複数のピクセル値が設定された最大閾値を上回っているか否か、または設定された最小閾値を下回っているか否かのチェックだけに限定されるものではない。むしろ以下に説明する方法は、最大閾値または最小閾値を規定ないし決定するために、検査されるべきデジタル画像で事前に規定される各区域の任意の特性について最大閾値および/または最小閾値が決定されるように、一般化することができる。
そのためには検査されるべきデジタル画像で、まず、設定された特性の値をそれぞれ割り当てることができる区域が定義されなければならない。区域の定義は、たとえばベース閾値が利用されるように行うことができ、この場合、閾値に等しい、またはこれを上回る、すべてのピクセル値が第1の群の区域を形成し、残りのピクセル値が第2の群の区域を形成する。検査されるべき特性に依存して、第1または第2の群だけが、その都度さらに処理されれば十分であり得る。このことが該当するのは、たとえば区域の特性として、区域の最大または最小のピクセル値もしくは平均のピクセル値だけが異常の認識のために評価される場合である。
しかしながら、個々のピクセル値によってのみ表現されるのではない1つまたは複数の特性を各区域に割り当てることも可能である。たとえば、たとえば面積、円周、直径(少なくとも近似的に円形の区域のケース)、または円形からの誤差など、幾何学的な特性を1つの区域に割り当てることができる。そのようなケースで異常が認識されるのは、該当する特性の値が、それについて設定された最大閾値を上回っている場合、ないし設定された最小閾値を下回っている場合である。このような一般的なケースでも、そのために必要な最大閾値ないし最小閾値を以下に説明する方法によって決定することができる。
検査されるべきデジタル画像における区域の決定のための別の選択肢は、画像の上に載せられる、設定された幾何学的なマスクを利用することにある。これはたとえば設定された大きさの、同じ大きさの隣接する正方形から構成されるマスクであってよい。
この場合にも、こうして定義される各々の区域に、1つまたは複数の特性を割り当てることができ、たとえば区域に含まれるピクセル値の分散や標準偏差、該当する平均値、またはそこに含まれる最大値や最小値などを割り当てることができる。
それぞれ異なる特性についての2つまたはそれ以上の値から判定される、各々の区域について組み合わされた値を決定することもできる。たとえば特に算術演算によって、たとえば(重みづけされた)加算によって、ピクセル値の分散や標準偏差についての値と、平均値とを組み合わされた値をなすようにまとめることができ、このことは、当該区域のピクセル値がある程度まで正規に分布している場合には、この特別なケースにおいて一種の信頼区間を表す。組み合わされた値ないし各区域の特性の組み合わせについての別の例は、それぞれの中に含まれる最大のピクセル値と最小のピクセル値との間の差異である。外れ値に対していっそう安定的であるために、最大値と最小値の代替として分位数、たとえば10%および90%の分位数を利用することもできる。
以下において、相応の最大閾値ないし最小閾値を、どのようにしていっそう少ない数のデジタル画像で決定できるかを説明する。上で説明したとおり、そのような学習プロセスは合格製品ないし合格プロセス製品を用いて実行できるだけでなく、不合格製品ないし不合格プロセス製品を用いて実行することもできる。学習プロセスは、たとえばこのような種類の検査装置を含む、製品を製造または加工するための設備の使用開始時に実行することができる。その際には一般に、各々の製品型式についての閾値を決定することが必要となる。
当然ながら特定の製品型式についての閾値を保存しておくことができ、それにより、検査されるべき製品の型式の変更が行われていなければ、学習プロセスを毎回新たに実行する必要がなくなる。
さらに、進行している設備の稼働中に学習プロセスを実行することが可能であり、それは少なくとも、この設備が合格プロセス製品を製作すること、すなわち大部分が(異常を含まない)合格製品である製品を製作することを前提にできる場合である。というのもこのようなケースでは、上で説明したとおり、合格プロセス製品に含まれる不合格製品は、必要なランダムサンプルの作成時に外れ値として除外されるからである。
閾値を決定するための以下に説明する本発明の方法の1つの主要な構成要件は、合格製品が利用されるケースにおいて、検査されるべき画像で誤って最大異常が検出される率(以下において偽陽性率とも呼ぶ)、または、検査されるべき画像で正しく最大異常が認識されない率(以下において真陰性率とも呼ぶ)が設定され、および/または不合格製品が利用されるケースにおいて、検査されるべき画像で正しく最大異常が検出される率(以下において真陽性率とも呼ぶ)が設定され、または、検査されるべき画像で誤って最大異常が認識されない率(以下において偽陰性率とも呼ぶ)が設定されることにある。すなわち、第1のステップで閾値が決定されて、第2のステップで、該当する閾値が利用されたときに相応の是認できる率がもたらされるか否かがチェックされる必要がなくなる。
このとき本発明の方法は、比較的少ない数のデジタル画像を用いて閾値を判定できることを保証する。
デジタル画像の必要数は、すなわち合格製品または合格プロセス製品の数は、あらかじめ規定しておくことができるが、その場合にはこのような数は、閾値が所望の信頼度で決定されるように多く選択されなければならない。しかしながら、デジタル画像の必要数を学習プロセスの過程で決定することも可能である(画像が学習プロセス中に生成されるか、それとも、学習プロセスのスタート前からすでに利用できるかを問わない)。その際には、まず最低数のデジタル画像をもってスタートし、その都度、決定される閾値が十分に信頼できるようになるまで、すなわち設定された率が十分に確実に遵守されるようになるまで、この最低数を1つまたは複数のデジタル画像だけ段階的に増やしていくのが好適である。このことは、信頼区間を決定することでチェックすることができる。
その次のステップで、通常の動作モードでの(すなわち学習プロセス以外での)異常の検出のときと同じく、各々のデジタル画像について区域が規定され、各々の区域について、その区域にそれぞれ割り当てられる少なくとも1つの特性の値が決定される。そして各々のデジタル画像について、それぞれ1つの特性または該当する複数の特性の最大の値および/または最小の値が判定され、ないしは複数の特性について組み合わされた値が判定され、相応のランダムサンプルに割り当てられる。このことはたとえば、すべての最小の値が最小値リストに保存され、すべての最大の値が最大値リストに保存されることによって行うことができる。ここで付言しておくと、当然ながら本方法の両方の選択肢が同時に適用されていなくてもよい。通常の作業運転で最大異常が検出されたときには、すなわち最大閾値が超過されたときに異常として認識される異常が検出されたときには、当然ながら、最大閾値だけが決定されればよい。同様のことは、最小異常だけが検出されるべきケースについても当てはまる。
十分な数のランダムサンプル要素(少なくとも1つの特性ないし組み合わされた特性についての最大ないし最小の値)が決定されていれば、その次のステップで、統計的な見積方法を利用したうえで、最大値リストないし最小値リストについてそれぞれ設定される確率密度関数をパラメータ化することができる。このことは、該当するランダムサンプルの経験的な頻度分布に合わせた確率密度関数のフィッティングに相当する。
そのためにランダムサンプルをビン分割することができ、すなわち、ランダムサンプル要素が、対応する値範囲のそれぞれ等しい幅の隣接する区間に割り当てられる。そしてこの経験的な(相対的な)頻度分布に合わせて、たとえば最小二乗法を利用することで、該当する設定された確率密度関数をフィッティングすることができる。しかしながら通常は、そのためにいっそう好ましい統計的な見積関数、たとえば最尤法やモーメント法を利用することができる。
本方法の実施のために設定されなければならない確率密度関数として、実行されるパラメータ化の際にランダムサンプルを良好に表現することができると想定されるタイプが選択されるとよい。本例のケースでは、該当する特性についての極値が選択されてそれぞれのランダムサンプルを形成するので、ガンベル分布、ワイブル分布、およびフレシェ分布をまとめた、一般化された極値分布のタイプまたは一般化された極値分布(その3つのパラメータを含む)がしばしば選択される。しばしば利用されるガンベル分布は次の形を有する:
ここでfは、ランダム量xの関数としての確率密度の値を表す。それぞれのランダム量の値xは、本例のケースでは、該当する特性の値または組み合わされた値を表す。パラメータμは、選択された統計的方法によって決定される。
図2は、最大のピクセル値の相対的な経験的な頻度分布に合わせた確率密度関数f(x)のフィッティングを模式的に表すグラフを示しており、xによってピクセル値が表されている。横軸にピクセル値、縦軸に確率密度の値ないし相対的な頻度がプロットされている。
こうしてパラメータ化された確率密度関数により、(検査されるべき画像で誤って最大異常が検出される率についての、ないしは検査されるべき画像で正しく最大異常が認識されない率についての)所望の閾値を別のステップで決定することができる。そのために閾値は、閾値の上方でのパラメータ化された確率密度関数の下側の面積が、検査されるべき画像で誤って最大異常が検出される設定された率に等しくなるように規定され、ないしは、閾値の下方でのパラメータ化された確率密度関数の面積が、検査されるべき画像で正しく最大異常が認識されない設定された率に等しくなるように規定される。というのもこの面積は、閾値よりも大きい、またはこれに等しい、該当する特性の最大値がデジタル画像で発生する確率に相当するからである。閾値は、逆関数について閉じた解が存在するケースでは、パラメータ化されるべき確率密度関数に属する分布関数の逆関数から式を変換することで行うことができる。それ以外の場合、閾値の計算は周知の適当な数値法によって行うことができる。
図2には、1.0%、0.6%、および0.1%の偽陽性率に相当するXso,1,Xso,2およびXso,3が図示されており、すなわち、これらの閾値の右側での確率密度関数の下側の面積は0.01、0.006、および0.001の値をもたらす。
所望の偽陽性率に代えて真陰性率が設定されるときは、上側の閾値Xの下方での確率密度関数の下側の面積が、同様の方式で最大閾値の計算のために利用されなければならない。
図3には、図2に類似するグラフが示されているが、すでにフィッティングされた確率密度関数の推移だけが示されている。この例では、最大閾値Xsoと最小閾値Xsuがいずれもパラメータ化された確率密度関数を参照して決定される。このとき両方のケースで、すなわち最大閾値の決定についても最小閾値の決定についても、同一の偽陽性率Rfpが設定され、最小閾値Xsuの決定については偽陽性率Rfpは、最小閾値Xsuの下方での確率密度関数の下側の面積に等しい。それに応じて真陰性率Rrnは、最小閾値Xsuの上方での確率密度関数の下側の面積に等しい。というのも最小異常が検出されるのは、該当する特性の値ないし複数の特性について組み合わされた値が、基準となる最小閾値Xsuよりも小さい場合だからである。
図3に示すパラメータ化された確率密度関数のケースでは、デジタル画像が異常を含んでいるとして検出されるのは、少なくとも1つの区域について、最小閾値と最大閾値の間の合格領域の範囲外にある、着目される特性の値が、または該当する特性についての組み合わされた値が、生じた場合ということになる(または換言すると、該当する値が最小閾値Xsuよりも小さいか、もしくはこれに等しい場合、または最大閾値Xsoよりも大きいか、もしくはこれに等しい場合)。
さらに図3には、最大閾値Xsoについての信頼区間が図示されており、ここでは簡略化のために、限界Xso-ΔXsoおよびXso+ΔXsoを有する対称の信頼区間が想定されている。誤廃棄率をいっそう高い確実性をもって所望の設定された値まで低減するために、異常が検出されたとき、判定された閾値XsoよりΔXsoの分だけ大きい二次的な最大閾値を利用することができる。同様の方式で、判定された閾値Xsuより、下側の閾値Xsuについての信頼区間の幅ΔXsuの分だけ小さい二次的な最小閾値を利用することができる。換言すると、二次的な最大閾値は最大閾値についての信頼区間の上側の限界に相当し、二次的な最小閾値は最小閾値についての信頼区間の下側の限界に相当する。
図4は、図3のグラフに類似するグラフを示しているが、該当する実施例では、一方または両方の閾値XsuおよびXsoの決定のために不合格製品が援用される。ただしこのケースでは閾値を決定する方法で、不合格製品の異常で援用される情報が利用される。ここでは偽陽性率に代えて、上で説明したとおり、真陽性率fないし偽陰性率が設定される。
両方の閾値は、このケースでは区別のためにYsuおよびYsoとして表されている。このとき最小閾値Ysuは、最小閾値Ysuの上方での確率密度関数の下側の面積が所望の偽陰性率に相当するように(ないしは、最小閾値Ysuの下方での確率密度関数の下側の面積が所望の真陽性率に相当するように)選択されなければならない。これと同様の方式で最大閾値Ysoは、最大閾値Ysoの下方での確率密度関数の下側の面積が所望の偽陰性率に相当するように(ないしは、最大閾値Ysoの上方での確率密度関数の下側の面積が所望の真陽性率に相当するように)選択されなければならない。それに応じて図4のグラフによると、非・不合格領域が両方の閾値YsuおよびYsoの間に生じている。
上で説明したとおり、1つまたは閾値(最大閾値または最小閾値)の決定のためのデジタル画像の数は、固定的に設定されていてよい。ただしこの数は、十分に信頼できる閾値が判定される多さに選択されなければならないことになる。
しかし必要なデジタル画像の数は、別の実施形態では、学習プロセス中に決定することもできる。そのために少なくとも1つの停止基準が規定される。そして、設定された最低数のデジタル画像を前提としたうえで、少なくとも1つの停止基準が満たされるまで学習プロセスのループが実行される。各々のループの実行後に、デジタル画像の数を1つまたは複数の画像だけ増やすことができる。このループは、停止基準が満たされるか、またはデジタル画像について設定された最大数に達するまで実行される。
停止基準として、たとえばパラメータ化の際に決定される、確率密度関数のパラメータのうちの1つまたは複数についての信頼区間を規定することができる。ただしこの選択肢の有意義な適用のためには、これらのパラメータの誤差ないし不確実性が、決定されるべき閾値に対してどのような影響を及ぼすかについて、十分な経験が存在することが前提条件となる。
該当する閾値についての信頼区間を決定するほうが好ましい。そのために各々のパラメータについて信頼区間を決定し、次いで、閾値に対するこのような不確実性の影響を決定することができる。そのために、たとえば誤差伝播を決定する手法によって、たとえばガウスの誤差伝播の手法によって、パラメータの決定にあたって該当する閾値の計算に及ぼされる誤差の影響を(閾値についての信頼区間の上側および下側の限界を利用したうえで)判定することができる。
該当する閾値についての信頼区間を決定するために、または設定された率についての信頼区間を決定するために、誤差伝播法に代えて、これ以外の適当な統計的方法を利用することもできる。その例としてブートストラッピング法を挙げておく。しかしこれは周知の数学的な方法であるので、立ち入った説明は省略する。
すでに上で述べたとおり、必要なデジタル画像の作成のために合格プロセス製品が利用されるときには、合格プロセス製品に含まれる不合格製品をベースとする画像が、すなわち不合格製品となる画像が、1つまたは複数の閾値の決定にあたって考慮から外されるのが好ましい。このことは、ランダムサンプルの極値がその発生確率に関して検査されることによって行うことができる。そのために-まずランダムサンプルのすべての極値を利用したうえで-パラメータ化された確率密度関数を利用することができ、該当するサンプルの各々のランダムサンプル値について、該当する検出されたランダムサンプル値よりも小さい、またはこれに等しい、値の出現についての確率が決定され、および、該当する検出されたランダムサンプル値よりも大きい、またはこれに等しい、値の出現についての確率が決定される。ランダムサンプル値についてこうして決定された確率のうちの1つが、設定された外れ値境界よりも小さい場合、このランダムサンプル値が外れ値として認識される。
引き続き、該当する確率密度関数のあらためてのパラメータ化を実行することができ、外れ値として認識されたランダムサンプル値は考慮されない(たとえば該当するリストから消去される)。
このような方法を反復して実行することができ、実行される回数を最大数までに限定することができる。
同様のことは、1つまたは複数の閾値を決定するために不合格プロセス製品が利用される場合にも当然当てはまる。ただしこの方法は、実作業においてはどちらかというと副次的な役割しか果たさない。不合格製品が通常は意図的に生成され、そのため、不合格製品の中に外れ値として除外されるべき合格製品があることは、どちらかというと起こり難いからである。
最後に、設定された(パラメータ化された)確率密度関数が、該当するランダムサンプル値の経験的な分布をどれくらい良好に表現していかに関する判断材料を供給する、統計的なテストを実行することができる。考えられる統計的なテストの例として、カイ二乗フィッティング検定、コルモゴルフ・スミルノフ・フィッティング検定、アンダーソン・ダーリング・フィッティング検定、ジャック・ベラ・フィッティング検定、またはリリーフォースフィッティング検定を挙げておく。その都度、判定されたパラメータ化された確率密度関数について、このテストが満足のいく結果をもたらさなかったときには、すなわち、テストの品質を表現する値が設定された信頼領域の外にあるときには、エラーメッセージを生成することができる。
複数の(それぞれ異なるタイプの)確率密度関数を設定し、2つまたはそれ以上の設定されたパラメータ化された確率密度関数を用いて、統計的なテストを実行することも可能である。そして、統計的なテストに最高の結果をもたらした確率密度関数を、最終的な閾値の決定のために援用することができる。
次に、閾値を決定する方法の基本的な手順について、図5に示す簡略化したフローチャートを参照しながら再度短く説明する。第1のステップで、まず確率密度関数のタイプが選択され、たとえば特定のタイプの一般化された極値分布が選択される。その次のステップで、合格プロセス製品または不合格プロセス製品の第1の画像が選択される。この画像を該当するステップで初めて生成することもでき、すなわち記録しておき、場合により加工することができる。引き続き別のステップで、事前に決めておいた基準に従って区域が規定され、各々の区域について、その区域の該当する特性の値が決定され、たとえば各々の区域内部での最大のピクセル値が決定される。引き続き、各区域の特性のこれらの値の1つまたは複数の所望の極値(最大値および/または最小値)が決定される。
そして、デジタル画像の数と一致する、こうして決定された極値の数が(タイプすなわち最小値または最大値ごとに)十分であるかどうかチェックされる。たとえばこのテストは、設定された最低数の最大値に達しているか否かに関して行うことができる。
これに続けて別のステップで、確率密度関数のパラメータが上に説明した方式のうちの1つで決定される。そして、こうしてパラメータ化された確率密度関数ないしこれに対応する分布関数から、前述した方式で、(最大値および/または最小値についての)該当する閾値を決定することができ、そのために、たとえば誤廃棄率などの設定された率が利用される。すなわち閾値は、決定されるべき閾値を利用したうえで異常を検出する方法が適用されるとき、たとえば誤廃棄率などの設定された率が遵守されるように決定される。
閾値はその決定後に、本方法が実施されるときに適用することができる。当然ながら、閾値を保存し、出力し、またはその他の方式で利用することもできる。
確率密度関数のパラメータが決定されるステップの後、上で説明したとおり、極値ないし最大値のランダムサンプルに合わせた確率密度関数のフィッティングの品質が十分であるかどうかのテストを行うこともできる。それが十分でない場合、(デジタル画像の)最大値の数を増やすことができ、および/または別のタイプの確率密度関数を選択することができる。
さらに、前述した方式で閾値を決定するステップで(またはこれに引き続いて)、閾値についての信頼区間を決定して、信頼区間の幅が十分に小さいかどうかをテストすることができる。それが十分でない場合、ランダムサンプル値(最大値ないし極値)の数をさらに増やすことができる。
図6は、廃棄率(合格プロセス製品の場合)が単位%で時間に依存して表されたグラフを示し、すなわち、異常が検出された画像を、すぐ前の過去に検査された一定の数の(または固定的なタイムスパンの内部の)画像(ないし製品)で除算した比率が表されたグラフを示している。このグラフには、該当する閾値-これは合格製品ないし合格プロセス製品を利用したうえで判定されたものである-の決定のために設定される0.6%の偽陽性率、並びに信頼区間の限界が記入されており、信頼区間の上側の限界は0.85%、下側の限界は0.45%のところにある。このグラフから明らかなように、廃棄率は120時間の時間帯にわたって実質的に信頼区間の内部で、設定された偽陽性率を中心として変動している。ここでは平滑なほうの曲線が24時間にわたって判定された廃棄率を表し、不安定なほうの曲線は1時間にわたって判定された廃棄率を表している(それぞれ浮動平均値として算定)。
図7は、図6に準ずるグラフを示しているが、平滑なほうの曲線でさえ約60から100時間の間の領域で、偽陽性率についての信頼区間の上側の限界から離れている。ただしこの曲線を参照しても、それが正しく検出された異常であるのか、偽陽性で検出された異常であるのかを断定することはできない。しかしながらこの上昇はそのことには関わりなく、検査された画像を原因とする、製品の製造ないし加工のプロセスでの問題または変化を示唆し得る。
図8は図6および7に準ずるグラフを示しているが、両方の曲線(1時間と24時間にわたって決定された廃棄率)が、設定された偽陽性率の明らかに下方に位置しており、しかも、該当する信頼区間の下限の明らかに下方に位置している。この情報を利用して、実際の異常の改善された検出のために、設定される偽陽性率を(学習プロセスの反復の際に)引き上げることができ、換言すると、検出方法がいっそう高い感度で構成される。
この情報は、学習が行われていた時点と比較して製品品質が改善されていると解釈することもできる。すなわち、同一の偽陽性率を用いて学習を繰り返すことができ、設定された偽陽性率を同時に遵守しながら(ただし明らかに下回ることはなくなる)、改善された感度を得ることになる。
それに伴って本発明は、閾値を利用したうえで異常を検出する方法を提供し、閾値を決定するために、検査されるべき画像で誤って最大異常ないし最小異常が検出されるべき率を、または検査されるべき画像で正しく最大異常ないし最小異常が認識されないべき率を、設定することができ(合格製品または合格プロセス製品の画像を利用するケース)、ないしは、検査されるべき画像で正しく最大異常ないし最小異常が検出されるべき率を、または検査されるべき画像で誤って最大異常ないし最小異常が認識されないべき率を、検出することができる(不合格製品または不合格プロセス製品の画像が利用されるケース)。
本方法は、任意の方式で生成することができる、製品の任意の特性を表す製品の画像で、異常を検出するために適している。特に本方法は、X線放射またはテラヘルツ放射を用いて作成され、そのようにして製品内部に関する情報を生成することができる、検査装置によって得られた画像を分析するために適している。本方法は、特にソフトウェアを通じて検査装置にインプリメントすることができる。検出方法の結果は、たとえば仕分け装置などの他の装置を制御するために利用することができる。
設定されるべき率は固定的に設定されていてよく(たとえばソフトウェアに)、または、本方法の利用者により、ないし本方法がインプリメントされた本装置の利用者により、設定することができる。
同様のことは、確率密度関数ないしこれに対応する分布関数についても当てはまる。相応のソフトフェアに、このような複数の関数が利用者による選択のために組み込まれていてもよい。
該当する率は機械固有ないし設備固有に設定できるだけでなく、たとえば複数の機械ないし設備について設定することもできる。たとえば、その率が複数の同種類の(或いは異種類の)設備についての汎用率として適用されるべきことを規定することができる。機械または設備について設定される率の値は、時間単位で設定に応じて検出される画像/製品の記録から決定することもでき、そのためには、さらに処理量(時間単位あたりの画像/製品の総数)が既知になっていなければならない。
時間単位ごとに設定に応じて検出された画像/製品のこのような値(たとえば1時間ごとの誤廃棄の数)は、実際上の条件から求めることができる。たとえば廃棄された製品をチェックし、場合により後作業し、引き続いて検出部に後置されたプロセスに再び投入する2人の人物が意図されていてよい。このような各々の工程(チェックおよび場合により後作業)が5分かかるとすると、1時間あたり最大で24個の製品を該当する設定に応じて検出し、廃棄することができる。したがって、たとえば1200/hの処理量のもとでは、最新の廃棄率が2%より大きくなっていてはならない。このように設定される誤廃棄率は、検証可能かつ場合により後作業可能な製品がせき止められることなくチェックと後作業を行えるようにするために、いかなる場合にも2%より大きくなってはならない。
さらに、同一の発生源から供給を受ける2つの同種類の検出装置の間で、最新の廃棄率を比較することが可能である。そのときに相違する重大な最新の廃棄率が生じたとき、このことは検出におけるエラーを示唆している。
最後に付言しておくと、該当する閾値Xsuおよび/またはXsoないしYsuおよび/またはYsoが判定される両方の方法を同時に適用することもでき、それは、閾値を判定するためにその都度、設定される率が、是認できる閾値をもたらしているか否かをチェックするためである。
このようなチェック手法について、以下に図9を参照しながら説明する。図9は、合格製品(または合格プロセス製品)のデジタル画像を利用したうえで決定された、特性の最大の値についての確率密度関数を示す曲線(a)と、不合格製品(または不合格プロセス製品)のデジタル画像を利用したうえで決定された、特性の最大の値についての第2の確率密度関数(曲線(b))とを示している。曲線(a)が定義する確率密度関数から対応する偽陽性率(誤廃棄率とも呼ぶことができる)を利用したうえで、或いはこれに対応する偽陰性率から、該当する上側の閾値Xsoが判定されている。さらに、曲線(b)が定義する確率密度関数から対応する偽陰性率(誤検出率とも呼ぶことができる)を利用したうえで、或いはこれに対応する真陽性率から、該当する上側の閾値Ysoが判定されている。
通常の場合、両方の閾値XsoおよびYsoは同一にはならない。図9に示すとおり、設定された誤廃棄率から判定された閾値Xsoが、設定された検出率から判定された閾値Ysoよりも大きいとき、このことは矛盾を示唆している:というのも閾値Xsoを利用すれば、曲線(b)から帰結される誤廃棄率(すなわち、マイナス無限から閾値Xsoまで曲線(b)を積分した値)は、誤検出率について設定された値よりも大きくなるはずだからである。逆に閾値Ysoを利用した場合にも、曲線(a)から帰結される誤廃棄率(すなわち、マイナス無限から閾値Ysoまで曲線(a)を積分した値)は、誤検出率について設定された値よりも大きくなるはずである。
最小異常の状況に着目してみても、これに準ずる(ただし逆の)様相が生じる:閾値Xsuが閾値Ysuよりも小さいとき、このことは、閾値Xsuを利用したとき、閾値Ysuの決定のために設定された誤検出率よりも大きい誤検出率(すなわち、不合格製品によって決定された最小異常についての確率密度関数をXsuからプラス無限大まで積分した値)が、それぞれ他方の確率密度関数から生じることを意味するはずである。同様にしてこのケースでは、それぞれ他方の確率密度関数から不合格製品について得られる誤廃棄率は、その計算のために閾値Ysuが利用されれば、設定された誤廃棄率よりも大きいはずである。
この種のケースでは最終的に経済的な条件を考慮したうえで、高い誤検出率(すなわち、最大異常を有する製品が不合格製品として認識されない確率)のほうに高い意義を認めるか、それとも誤廃棄率(すなわち、合格製品が不合格製品として認識される確率)のほうに認めるかを決めざるを得ない。そしてこのような矛盾への対処として、重要性が低いと位置づけられたほうの該当する設定された率を変更して、矛盾として位置づけられることがなくなる、対応する閾値が得られるようにせざるを得ない。
図10は、この種の矛盾が現れる状況を示している。閾値Xsoが閾値Ysoよりも小さくなっており、それにより、両方の設定された率を同時に満たすことができる。誤廃棄率と誤検出率がそれぞれ上限をなしているからである。換言するとこのケースでは、該当する率を利用したうえでそれぞれ対応する確率密度関数によって計算された閾値が、それぞれ他方の確率密度関数に由来するそれぞれ他方の率を計算するために利用されたとき、こうして判定された率は、それぞれ他方の確率密度関数の判定のために設定されている率よりも低いか、またはこれに等しく、それに伴って是認できる範囲内にあることが明らかとなるはずである。
そのようなケースでは、それぞれ一方または両方の設定された率を、帰結される閾値がさらに相互に近づくように、または極端なケースではさらに同一となるように、変更することができる。
100 X線検査装置
102 異常を検出する装置
104 製品
106 搬送デバイス
108 コンベヤベルト
110 コンベヤベルト
112 コンベヤベルト
114 コンベヤベルト
116 遮蔽ハウジング
118 X線放射源
120 X線放射検出器
121 X線ビーム
122 画像処理ユニット
124 表示ユニット
F 搬送方向
su 下側の閾値(合格製品ないし合格プロセス製品を用いての閾値の決定)
su 下側の閾値(不合格製品ないし不合格プロセス製品を用いての閾値の決定)
so 上側の閾値(合格製品ないし合格プロセス製品を用いての閾値の決定)
so 上側の閾値(不合格製品ないし不合格プロセス製品を用いての閾値の決定)
ΔXso 最大閾値についての信頼区間の幅
ΔXsu 最小閾値についての信頼区間の幅
fp 偽陽性率
rn 真陰性率
rp 真陽性率
fn 偽陰性率

Claims (17)

  1. 製品のデジタル画像で異常を検出する方法であって、各々のデジタル画像は多数のピクセルによって形成され、各々のピクセルは該当する画像の割り当てられた場所を表現し、該当する場所を特徴づける値を有し、
    (a)検査されるべき各々の画像が1つの区域として把握され、または2つまたはそれ以上の区域に下位区分され、該区域はそれぞれ1つまたは複数の隣接するピクセルから構成され、
    (b)各々の区域について少なくとも1つの特性についての値が、または区域の複数の特性について組み合わされた値が、決定され、
    (c)1つの区域が最大異常として検出されるのは、当該区域の少なくとも1つの特性の値または複数の特性についての組み合わされた値が設定された最大閾値またはこれから導き出される二次的な最大閾値よりも大きいときであり、および/または1つの区域が最小異常として検出されるのは、当該区域の少なくとも1つの特性の値または複数の特性についての組み合わされた値が設定された最小閾値またはこれから導き出される二次的な最小閾値よりも小さいときである、
    方法において、
    (d)最大閾値および/または最小閾値は、次の各ステップが実行される学習プロセスで決定され、
    (i)異常を含んでいない合格製品の、または大部分が異常を含んでいない合格プロセス製品の、複数のデジタル画像が生成または利用されること、画像の数は設定されており、または学習プロセスの過程で決定され、
    (ii)各々のデジタル画像について、1つの区域または複数の区域が規定されること、各々の区域の少なくとも1つの特性の値または複数の特性についての組み合わされた値が決定されること、および前記値の最大の値が最大値ランダムサンプルの最大ランダムサンプル値として決定されること、および/または前記値の最小の値が最小値ランダムサンプルの最小ランダムサンプル値として決定されること、
    (iii)統計的な見積方法を利用したうえで、最大値ランダムサンプルを表現するために設定される確率密度関数の設定されていないすべての未決のパラメータについての見積値が最大ランダムサンプル値を利用したうえで決定されること、および/または最小値ランダムサンプルを表現するために設定される確率密度関数の設定されていないすべての未決のパラメータについての見積値が最小ランダムサンプル値を利用したうえで決定されること、
    (iv)検査されるべき画像で誤って最大異常が検出される第1の率が、または検査されるべき画像で正しく最大異常が認識されない第2の率が、設定されること、および/または検査されるべき画像で誤って最小異常が検出される第3の率が、または検査されるべき画像で正しく最小異常が認識されない第4の率が、設定されること、
    (v)前記(iii)に従ってパラメータ化された確率密度関数またはこれに対応する分布関数を利用したうえで最大閾値が決定されること、それにより、最大閾値よりも大きい、またはこれに等しい、最大の値の出現についての確率が設定された前記第1の率に相当するようにされ、または、最大閾値よりも小さい、またはこれに等しい、最大の値の出現についての確率が設定された前記第2の率に相当するようにされ、および/または、
    (vi)前記(iii)に従ってパラメータ化された確率密度関数またはこれに対応する分布関数を利用したうえで最小閾値が決定されること、それにより、最小閾値よりも小さい、またはこれに等しい、最小の値の出現についての確率が設定された前記第3の率に相当するようにされ、または、最小閾値よりも大きい、またはこれに等しい、最小の値の出現についての確率が設定された前記第4の率に相当するようにされる、
    ことを特徴とする、方法。
  2. 製品のデジタル画像で異常を検出する方法であって、各々のデジタル画像は多数のピクセルによって形成され、各々のピクセルは該当する画像の割り当てられた場所を表現し、該当する場所を特徴づける値を有し、
    (a)検査されるべき各々の画像が1つの区域として把握され、または2つまたはそれ以上の区域に下位区分され、該区域はそれぞれ1つまたは複数の隣接するピクセルから構成され、
    (b)各々の区域について少なくとも1つの特性についての値が、または区域の複数の特性について組み合わされた値が、決定され、
    (c)1つの区域が最大異常として検出されるのは、当該区域の少なくとも1つの特性の値または複数の特性についての組み合わされた値が設定された最大閾値またはこれから導き出される二次的な最大閾値よりも大きいときであり、および/または1つの区域が最小異常として検出されるのは、当該区域の少なくとも1つの特性の値または複数の特性についての組み合わされた値が設定された最小閾値またはこれから導き出される二次的な最小閾値よりも小さいときである、
    方法において、
    (d)最大閾値および/または最小閾値は次の各ステップが実行される学習プロセスで決定され、
    (i)少なくとも1つの異常を含んでいる不合格製品の、または大部分が異常を含んでいる不合格プロセス製品の、複数のデジタル画像が生成または利用されること、画像の数は設定されており、または学習プロセスの過程で決定され、
    (ii)各々のデジタル画像について、1つの区域または複数の区域が規定されこと、各々の区域の少なくとも1つの特性の値または複数の特性についての組み合わされた値が決定されること、および前記値の最大の値が最大値ランダムサンプルの最大ランダムサンプル値として決定されること、および/または前記値の最小の値が最小値ランダムサンプルの最小ランダムサンプル値として決定されること、
    (iii)統計的な見積方法を利用したうえで、最大値ランダムサンプルを表現するために設定される確率密度関数の設定されていないすべての未決のパラメータについての見積値が最大ランダムサンプル値を利用したうえで決定されること、および/または最小値ランダムサンプルを表現するために設定される確率密度関数の設定されていないすべての未決のパラメータについての見積値が最小ランダムサンプル値を利用したうえで決定されること、
    (iv)検査されるべき画像で正しく最大異常が検出される第5の率が、または検査されるべき画像で誤って最大異常が認識されない第6の率が、設定されること、および/または検査されるべき画像で正しく最小異常が検出される第7の率が、または検査されるべき画像で誤って最小異常が認識されない第8の率が、設定されること、
    (v)前記(iii)に従ってパラメータ化された確率密度関数またはこれに対応する分布関数を利用したうえで最大閾値が決定されること、それにより、最大閾値よりも小さい、またはこれに等しい、最大の値の出現についての確率が設定された前記第6の率に相当するようにされ、または、最大閾値よりも大きい、またはこれに等しい、最大の値の出現についての確率が設定された前記第5の率に相当するようにされ、および/または、
    (vi)前記(iii)に従ってパラメータ化された確率密度関数またはこれに対応する分布関数を利用したうえで最小閾値が決定されること、それにより、最小閾値よりも大きい、またはこれに等しい、最小の値の出現についての確率が設定された前記第8の率に相当するようにされ、または、最小閾値よりも小さい、またはこれに等しい、最小の値の出現についての確率が設定された前記第7の率に相当するようにされる、
    ことを特徴とする、方法。
  3. (a)1つまたは複数の区域の規定がベース閾値を利用したうえで行われ、各々の孤立したピクセルおよび隣接するピクセルの各々の群であってそのピクセル値がそれぞれベース閾値より大きいものが区域の第1の群の1つの区域にそれぞれ割り当てられ、および/または各々の孤立したピクセルおよび隣接するピクセルの各々の群であってそのピクセル値がそれぞれベース閾値より小さいか、またはこれに等しいものが区域の第2の群の1つの区域にそれぞれ割り当てられ、または、
    (b)1つまたは複数の区域の規定が幾何学的なマスクを、特に固定的に設定されたマスクまたは画像処理によってそれぞれの画像から生成されるマスクを、利用したうえで行われることを特徴とする、請求項1または2に記載の方法。
  4. 区域の特性として区域のピクセルの位置情報から判定される幾何学的な特性、特に面積、円周、または直径が利用され、または、区域の特性として区域のピクセルの値から判定されるピクセル値特性、特に区域のすべてのピクセルの最大値または最小値、平均値、分散、または標準偏差が利用されることを特徴とする、先行請求項のうちいずれか1項に記載の方法。
  5. 合格製品、合格プロセス製品、不合格製品、または不合格プロセス製品の、学習プロセスの過程で決定されるべきデジタル画像の数は少なくとも1つの停止基準を利用したうえで決定され、少なくとも1つの停止基準が満たされるまでデジタル画像の最新の数が増やされることを特徴とする、先行請求項のうちいずれか1項に記載の方法。
  6. 少なくとも1つの停止基準は該当する確率密度関数の少なくとも1つのパラメータについての信頼区間によって形成され、またはこれから導き出されることを特徴とする、請求項5に記載の方法。
  7. 少なくとも1つの前記停止基準は最小閾値または最大閾値についての閾値信頼区間によって形成され、閾値信頼区間は各々のパラメータについて信頼区間が決定されることによって、および閾値信頼区間に及ぼすこれらの信頼区間の影響が決定されることによって、特に誤差伝播の手法、特にガウスの誤差伝播の手法を利用したうえで、決定されることを特徴とする、請求項5に記載の方法。
  8. 少なくとも1つの前記停止基準は最小閾値または最大閾値についての閾値信頼区間によって形成され、該当する信頼区間は統計的な方法によって、特にブートストラッピング法を利用したうえで、決定されることを特徴とする、請求項5に記載の方法。
  9. 該当する確率密度関数と、各々の検出された最大ランダムサンプル値および/または最小ランダムサンプル値についての該当するパラメータとを利用したうえで、該当する検出された最大ランダムサンプル値または最小ランダムサンプル値よりも小さい、またはこれに等しい、値の出現についての確率が決定され、および、該当する検出された最大ランダムサンプル値または最小ランダムサンプル値よりも大きい、またはこれに等しい、値の出現についての確率が決定され、検出された最大ランダムサンプル値または最小ランダムサンプル値のうちの少なくとも1つについて、それぞれこのようにして決定された両方の確率のうちの1つが設定された外れ値境界よりも小さいときに、確率密度関数についてのパラメータが新たに決定され、新規決定にあたってこれらの最大ランダムサンプル値または最小ランダムサンプル値が考慮外とされることを特徴とする、先行請求項のうちいずれか1項に記載の方法。
  10. その都度、設定される確率密度関数が、そのために判定されるパラメータについての見積値を利用したうえで、該当する検出された最大ランダムサンプル値または最小ランダムサンプル値の形態の経験的な分布を十分に正確に表しているか否かに関する判断材料を供給する統計的なテストが実行されることを特徴とする、先行請求項のうちいずれか1項に記載の方法。
  11. パラメータの見積りは、好ましくは最低数の最大ランダムサンプル値または最小ランダムサンプル値の検出後に、設定された複数の異なる確率密度関数について実行され、このようにして決定された各々の確率密度関数について統計的なテストが実行され、以後の方法については、統計的なテストがもっとも妥当な結果をもたらした確率密度関数が、設定された確率密度関数として利用されることを特徴とする、請求項10に記載の方法。
  12. 最大閾値および/または最小閾値についての信頼区間の限界から、該当する設定された率についての信頼区間または誤差限界が決定されることを特徴とする、請求項7から11のいずれか1項に記載の方法。
  13. 該当する設定された率についての信頼区間および/または誤差限界が、製品を製造、加工、またはチェックする役目を果たす装置または生産ライン全体の監視および/または制御のために出力されることを特徴とする、先行請求項12に記載の方法。
  14. 二次的な最大閾値が判定され、二次的な最大閾値は最大閾値について決定される信頼区間の限界の内部で、またはこの信頼区間の限界に等しく、選択され、および/または二次的な最小閾値が判定され、二次的な最小閾値は最小閾値について決定される信頼区間の限界の内部で、またはこの信頼区間の限界に等しく、選択されることを特徴とする、先行請求項のうちいずれか1項に記載の方法。
  15. 設定される確率分布は一般化された極値分布、特にその特殊ケース、ガンベル分布、ワイブル分布、またはフレシェ分布であることを特徴とする、先行請求項のうちいずれか1項に記載の方法。
  16. 製品のデジタル画像のデジタル画像データを取得して処理するために構成されたデータ処理デバイスを有する、製品のデジタル画像で異常を検出する装置において、前記データ処理デバイスは先行請求項のうちいずれか1項に記載の方法を実施するために構成されることを特徴とする、装置。
  17. データ処理デバイスによってコマンドが実行されたときに先行請求項のうちいずれか1項に記載の方法を実施するようこれに指図するコマンドを含んでいる、製品のデジタル画像で異常を検出するためのコンピュータプログラム製品。
JP2023060801A 2022-04-12 2023-04-04 製品の二次元のデジタル画像で異常を検出する方法および装置 Active JP7463592B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022108979.7A DE102022108979A1 (de) 2022-04-12 2022-04-12 Verfahren und Vorrichtung zur Detektion von Anomalien in zweidimensionalen digitalen Bildern von Produkten
DE102022108979.7 2022-04-12

Publications (2)

Publication Number Publication Date
JP2023156241A JP2023156241A (ja) 2023-10-24
JP7463592B2 true JP7463592B2 (ja) 2024-04-08

Family

ID=85873708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023060801A Active JP7463592B2 (ja) 2022-04-12 2023-04-04 製品の二次元のデジタル画像で異常を検出する方法および装置

Country Status (5)

Country Link
US (1) US20230334652A1 (ja)
EP (1) EP4287116A3 (ja)
JP (1) JP7463592B2 (ja)
CN (1) CN116912525A (ja)
DE (1) DE102022108979A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060115143A1 (en) 2004-11-29 2006-06-01 Ditza Auerbach Method for filtering nuisance defects
JP2010529810A (ja) 2007-06-14 2010-08-26 トムソン ライセンシング 所望される偽確率が与えられたときに検出閾値を設定するための方法および装置
JP2011013007A (ja) 2009-06-30 2011-01-20 Kobe Steel Ltd 磁粉探傷装置
JP2012068026A (ja) 2010-09-21 2012-04-05 Toshiba Corp 錠剤包装検査装置、錠剤包装検査プログラム、錠剤包装検査方法
JP2021128130A (ja) 2020-02-17 2021-09-02 オムロン株式会社 画像検査装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653235B2 (en) * 2005-10-27 2010-01-26 Honeywell International Inc. Surface anomaly detection system and method
DE102017121490A1 (de) 2017-09-15 2019-03-21 Yxlon International Gmbh Verfahren zum Charakterisieren von Materialien mit Einschlüssen
DE102018206737A1 (de) 2018-05-02 2019-11-07 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung eines Systems zur Erkennung von Eindringversuchen in einem Rechnernetzwerk
SE1930421A1 (en) 2019-12-30 2021-07-01 Unibap Ab Method and means for detection of imperfections in products

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060115143A1 (en) 2004-11-29 2006-06-01 Ditza Auerbach Method for filtering nuisance defects
JP2010529810A (ja) 2007-06-14 2010-08-26 トムソン ライセンシング 所望される偽確率が与えられたときに検出閾値を設定するための方法および装置
JP2011013007A (ja) 2009-06-30 2011-01-20 Kobe Steel Ltd 磁粉探傷装置
JP2012068026A (ja) 2010-09-21 2012-04-05 Toshiba Corp 錠剤包装検査装置、錠剤包装検査プログラム、錠剤包装検査方法
JP2021128130A (ja) 2020-02-17 2021-09-02 オムロン株式会社 画像検査装置

Also Published As

Publication number Publication date
CN116912525A (zh) 2023-10-20
DE102022108979A1 (de) 2023-10-12
EP4287116A2 (de) 2023-12-06
JP2023156241A (ja) 2023-10-24
EP4287116A3 (de) 2024-01-24
US20230334652A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US8775101B2 (en) Detecting defects on a wafer
KR102203112B1 (ko) 표준 기준 이미지로부터 결정된 속성에 기초한 결함 검출 및 분류
JP4317566B2 (ja) X線検査装置およびx線検査装置の画像処理手順の生成方法
KR101674698B1 (ko) 웨이퍼 상의 결함들 검출
EP1279923A2 (en) Method and apparatus for circuit pattern inspection
US20150324964A1 (en) Inspection Recipe Setup from Reference Image Variation
JP2019211288A (ja) 食品検査システムおよびプログラム
JP2021196711A (ja) 情報処理装置、判定方法、および情報処理プログラム
CN109074644B (zh) 用于使用局部自适应阈值识别制造组件缺陷的系统、方法及计算机程序产品
JP4250931B2 (ja) 外観検査装置および外観検査方法
JP2016156647A (ja) 電磁波を使用した検査装置
JP7463592B2 (ja) 製品の二次元のデジタル画像で異常を検出する方法および装置
JP2015129751A (ja) 検査方法及びその装置
JP2005031069A (ja) X線検査装置
JP2800726B2 (ja) 織布の検反装置
KR20220111214A (ko) 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램
CN115420763A (zh) 罐体异物检测的数据库建立方法
JP2009229100A (ja) 食品用x線異物検査装置およびその方法
CN117120951A (zh) 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置
CN118297933A (en) Method and apparatus for detecting anomalies in two-dimensional digital images of products
WO2018168668A1 (ja) X線検査装置
JPWO2017159855A1 (ja) X線検査装置
Fleßner et al. Analyzing image data to detect a CT system’s error state and identify the corresponding root cause
JP2022140081A (ja) 検査システム、検査管理装置、検査方法、及びプログラム
JP2011021920A (ja) X線検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240327

R150 Certificate of patent or registration of utility model

Ref document number: 7463592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150