JP5702404B2 - センサ内均一性補正を使用した光学的ウェブベース欠陥検出 - Google Patents

センサ内均一性補正を使用した光学的ウェブベース欠陥検出 Download PDF

Info

Publication number
JP5702404B2
JP5702404B2 JP2012548062A JP2012548062A JP5702404B2 JP 5702404 B2 JP5702404 B2 JP 5702404B2 JP 2012548062 A JP2012548062 A JP 2012548062A JP 2012548062 A JP2012548062 A JP 2012548062A JP 5702404 B2 JP5702404 B2 JP 5702404B2
Authority
JP
Japan
Prior art keywords
web
pixel
normalization
defect
normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012548062A
Other languages
English (en)
Other versions
JP2013519069A (ja
JP2013519069A5 (ja
Inventor
ピー.フローダー スティーブン
ピー.フローダー スティーブン
ブイ.ランドクイスト マシュー
ブイ.ランドクイスト マシュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of JP2013519069A publication Critical patent/JP2013519069A/ja
Publication of JP2013519069A5 publication Critical patent/JP2013519069A5/ja
Application granted granted Critical
Publication of JP5702404B2 publication Critical patent/JP5702404B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、自動検査システムに関し、より詳細には連続的に移動するウェブの光学的検査に関する。
移動ウェブ材料の解析に関する目視検査システムは、近代の製造作業に重要であることが判明している。金属製作、製紙、不織布、及びフィルムといった広範な産業では、製品保証及びオンラインプロセス監視の両面でこれらの自動検査システムに依存している。
連続移動ウェブで製造される製品の自動目視検査システムは、典型的に1つ以上の画像取り込み装置を使用し、製造中にウェブの画像を取り込む。解析用コンピュータは、画像処理アルゴリズムを適用し、ウェブ内の潜在的欠陥を表す異常を検出する。異常を含むウェブの領域は、所定の製品の欠陥分類レベルに達する場合は廃棄されることがあり、又は異常による影響を受けないであろう他の製品に加工されることがある。
ラインスキャン又は線状配列カメラは、移動材料の製造に一般的に使用される例示的な画像取り込み装置である。これらのカメラは、画像データを取り込むための単配列のピクセルセンサを有する。例えば、自動目視検査システムは、移動ウェブの幅全体に及ぶように配置された多数のラインスキャンカメラを使用することがある。各ラインスキャンカメラは、画像データの線分(例えば、2048×1ピクセル)を提供するフォトダイオードセンサの線状配列を含むことがある。多数のラインスキャンカメラの配列によりもたらされる収集画像データは、ウェブ横断方向でウェブ全体に及ぶ単一ラインの画像データを表す。別の例示的な画像取り込み装置には、マルチラインマトリックスカメラ、密着型センサ(CIS)、及びラスタがウェブの規定部分全体を掃引して画像データを生成するラスタスキャンカメラが挙げられる。
多くの場合に、従来の目視検査システムは、個々の画像取り込み装置に関する装置内検出不均一性を欠点として有する。すなわち、1つ以上の画像取り込み装置の装置内不均一性は、異常が画像取り込み装置の異なる視界領域内に位置した結果、実質的に同じウェブの異常を異なって分類することがある。この装置内不均一性の潜在的要因には、装置の光学的配列の偏差(例えば、レンズ特性)、不均一な照明、材料自体の特性(例えば、偏光)、及び画像取り込み装置の視界全体での光と材料との相互作用の変動(例えば、角度の影響)が挙げられ得る。
一般に、本開示は、センサ内不均一性補正を有する移動材料用目視検査システムについて記載する。例えば、本開示は、目視検査システムの背景応答を正規化する既存の技法が、所定の画像取り込み装置の視界全体で均一なウェブ横断背景信号を達成できても、必ずしも画像取り込み装置の視界全体で均一なウェブ横断欠陥検出をもたらさないことがあるという認識に基づく、柔軟な装置内ピクセル正規化技法について記載する。換言すれば、本明細書に記載の技法は、場合によっては、ウェブ横断位置を基準とする欠陥検出に対する目視検査システムのシステム応答が、背景信号の正規化に対するシステム応答とは異なることがあるという認識に基づいている。すなわち、目視検査システムを較正して単一の画像取り込み装置でウェブ横断背景信号の均一性を達成するよう適用される数学的アルゴリズムは、必ずしもその同じ画像取り込み装置の視界全体で潜在的欠陥を均一に処理しないことがある。
この認識に対処するために、本明細書の技法は、原画像データを正規化する数学的画像処理が製造材料の欠陥応答と一致するように、ユーザー又は自動ソフトウェアが複数の異なるピクセル正規化アルゴリズム(例えば、ゲインベース又はオフセットベース補正)から取得される正規化構成要素を選択及び調整できる、柔軟な装置内画像補正技法を提供する。
一実施形態では、方法は、画像取り込み装置を使用してウェブ材料から画像データを取り込むステップであって、画像データが画像取り込み装置の視界にわたるウェブ材料のウェブ横断部分の画像を含む、ステップと、複数の正規化関数のうちの1番目を画像データに適用して画像の各ピクセルの第1正規化値を生成するステップと、複数の正規化関数のうちの2番目を画像データに適用して各ピクセルの第2正規化値を生成するステップと、を含む。方法は、各ピクセルの第1正規化値の部分及び第2正規化値の部分の合計として各ピクセルの最終正規化値を計算するステップと、最終正規化値を処理して、ウェブ材料中の潜在的欠陥を表す異常を含むウェブ材料上の領域を識別するステップと、を更に含む。
別の実施形態では、システムは、ウェブ材料から画像データを取り込むための画像取り込み装置を含む。画像データは、画像取り込み装置のウェブ横断視界に対するピクセル値を含む。システムは、画像取り込み装置のウェブ横断背景信号を一般的に望ましい値に正規化するための複数の異なる正規化アルゴリズムのパラメーターを格納する、コンピュータ読み取り可能な媒体を含む。コンピュータ読み取り可能な媒体は、複数の正規化アルゴリズムのそれぞれの係数を更に格納する。解析用コンピュータは、格納されたパラメーターを使用して少なくとも2つのピクセル正規化アルゴリズムの適用から得た結果の加重和として画像データの各ピクセルの正規化値を計算し、格納された係数は、異なる正規化アルゴリズムのそれぞれの結果に対する重み付けを定義する。
別の実施形態では、システムは、画像取り込み装置のウェブ横断背景信号を一般的に望ましい値に正規化するための複数の異なる正規化アルゴリズムのパラメーターを格納する、コンピュータ読み取り可能な媒体を含む。コンピュータ読み取り可能な媒体は、複数の正規化アルゴリズムのそれぞれの係数を更に格納する。解析用コンピュータは、画像取り込み装置のウェブ横断視界のピクセルに対する値を有する画像データを受信し、格納されたパラメーターを使用して少なくとも2つのピクセル正規化アルゴリズムの適用から得た結果の加重和として画像データの各ピクセルの正規化値を計算する。格納された係数は、画像取り込み装置の視界全体でウェブ中の欠陥の均一な処理をもたらす異なる正規化アルゴリズムのそれぞれの結果に対する重み付けを定義する。
別の実施形態では、コンピュータ読み取り可能な記憶媒体は、プログラマブルプロセッサに画像取り込み装置を使用してウェブ材料から画像データを受信させる命令を有するプログラムコードを含み、画像データは、画像取り込み装置の視界にわたるウェブ材料のウェブ横断部分の画像を含む。命令により、更にプロセッサは、複数の正規化関数のうちの1番目を画像データに適用して画像の各ピクセルの第1正規化値を生成し、複数の正規化関数のうちの2番目を画像データに適用して各ピクセルの第2正規化値を生成し、各ピクセルの第1正規化値の部分及び第2正規化値の部分の合計として各ピクセルの最終正規化値を計算する。命令により、更にプロセッサは、最終正規化値を処理し、ウェブ材料中の潜在的欠陥を表す異常を含むウェブ材料上の領域を識別する。
本願に記載する技法は、特定の利点をもたらし得る。例えば、本技法は、画像取り込み装置の視界内のウェブ異常の位置が異常の欠陥としての分類に影響を与えないように、検出均一性を得ることができる。換言すれば、本技法は、所定の特性(例えば、寸法、形状、及び密度)を有する欠陥の検出が画像取り込み装置の視界内の欠陥の位置による影響を受けないようにすることができる。更に、本技法は、補正方法及びその構成要素を調整して製造材料の特定の種類及び特性に対する欠陥応答と一致させる柔軟性を提供する。
ウェブ検査システムを使用するコンピュータ化された意思決定の例は、共にSteven P.Floederらの米国特許第7,120,515号「METHOD FOR CONTROLLING INVENTORY OF WEB BASED ARTICLES」及び同第7,187,995号「MAXIMIZATION OF YIELD FOR WEB−BASED ARTICLES」に記載されており、それぞれの内容全体は参照により本明細書に引用される。
ウェブ材料を製造して製品に加工するグローバルネットワーク環境を示すブロック図。 ウェブ製造工場の代表的な実施形態を示すブロック図。 ウェブ製造工場の代表的な作業を示すフローチャート。 加工管理システムの例示的実施形態を示すブロック図。 加工管理システムによる異常情報の代表的な処理を示すフローチャート。 ウェブ検査システムの画像取り込み装置から得られる理論的画像データを示すプロットであり、画像データは異なる補正アルゴリズムを使用して正規化されている。 ウェブ検査システムの画像取り込み装置から得られる理論的画像データを示すプロットであり、画像データは異なる補正アルゴリズムを使用して正規化されている。 ウェブ検査システムの画像取り込み装置から得られる理論的画像データを示すプロットであり、画像データは異なる補正アルゴリズムを使用して正規化されている。 ウェブ検査システムの画像取り込み装置から得られる理論的画像データを示すプロットであり、画像データは異なる補正アルゴリズムを使用して正規化されている。 目視検査システムが受信した生ビデオデータの正規化に使用される多項式の係数を決定する例示的処理を示すフローチャート。 ウェブ材料の模擬原画像データから計算された例示的欠陥分布特性を示すグラフ。 ウェブ材料の模擬原画像データから計算された第2の例示的欠陥分布特性を示すグラフ。
図1は、その中で変換制御システム4がウェブ材料の変換を制御する、グローバルネットワーク環境2を示すブロック図である。より具体的には、ウェブ製造工場6A〜6Nは、ウェブロール10の形態でウェブ材料を製造及び発送する製造サイトを意味する。ウェブ製造工場6A〜6Nは、地理的に分布されていてもよい。
製造されるウェブ材料は、一方向に固定寸法を有し、直交する方向に既定又は不定のいずれかの長さを有する、任意のシート様の材料を含むことができる。ウェブ材料の例には、金属、紙、織布、不織布、ガラス、ポリマーフィルム、フレキシブル回路又はこれらの組合せが含まれるが、これらに限られない。金属には、鋼鉄又はアルミニウムなどの材料を挙げることができる。織布には一般的に様々な織物が挙げられる。不織布には、紙、濾材又は絶縁材料などが挙げられる。フィルムには、例えば積層体及びコーティングされたフィルムを含む無色(clear)かつ不透明なポリマーフィルムが挙げられる。
多数の用途において、ウェブロール10のウェブ材料は、一般に基底ウェブ材料の露出面に塗布される塗布コーティングを有していてもよい。コーティングの例には、接着剤、光学密度コーティング、低接着性裏面コーティング、金属化コーティング、光学活性コーティング、電気的に導電性若しくは非導電性コーティング、又はこれらの組み合わせが挙げられる。コーティングは、ウェブ材料の少なくとも一部に塗布されていてもよく、又は基底ウェブ材料の表面を完全に覆っていてもよい。更に、ウェブ材料はパターン形成されていてもよく、パターン形成されていなくてもよい。
ウェブロール10は、異なる国内で地理的に分布され得る、加工サイト8A〜8Nに発送される。加工サイト8A〜8N(「加工サイト8」)は、各ウェブロール10を1つ以上の製品に加工する。具体的には、加工サイト8のそれぞれは、所定のウェブロール10のウェブを、製品12A〜12Nと呼ばれる多数の個々のシート、個々の部分、又は多数のウェブロールに物理的に切断する、1つ以上のプロセスラインを含む。一例として、加工サイト8Aは、フィルムのウェブロール10を携帯電話のディスプレイ又はコンピュータのモニタ用の個々のシートに加工できる。同様に、ウェブ材料の他の形態は、顧客14A〜14Nによって意図されたアプリケーションに基づいて、異なる形状及び寸法の製品12に加工されてもよい。変換サイト8のそれぞれは、異なるタイプのウェブロール10を受け取ることができ、並びにそれぞれの変換サイトは、変換サイトの場所及び顧客14の特有の需要によって、異なる製品12を製造することができる。
本明細書に詳細に記載するように、ウェブ製造工場6のそれぞれは、1つ以上の画像取り込み装置を使用して製造中にウェブの画像を取り込む1つ以上の自動目視検査システムを含む(図1には図示なし)。1つ以上の目視検査システムは、本明細書に記載の技法を適用して、画像取り込み装置の正規化した背景光度信号だけでなく、欠陥検出に対する実質的に正規化したシステム応答ももたらす、装置内画像補正を提供する。本技法は、異なる正規化アルゴリズム(例えば、ゲインベース補正及びオフセットベース補正)の構成要素を組み合わせる装置内ピクセル正規化アルゴリズムを使用して、個々の画像取り込み装置の不均一性に対応することができる。本技法により、ユーザー(例えば、プロセスエンジニア)は、原画像データを正規化する数学的画像処理が製造材料の欠陥応答と一致するように、比例した正規化値を確定し、複数の異なるピクセル正規化アルゴリズム(例えば、ゲインベース補正及びオフセットベース正規化)から取得される構成要素を調整することができる。
画像補正アルゴリズムの適用後、ウェブ製造工場6の検査システムは、典型的にはより簡単な第1アルゴリズムを使用してウェブの予備検査を実行し、異常の一部は欠陥と判明できるが多くは「偽陽性」、すなわち欠陥ではない異常であろうという見込みを容認しながら、製造異常を識別する。実際に、製品12は、異なる等級レベル(品質レベルとも呼ばれる)を有し、製造異常について異なる許容度を有する。その結果、一部の異常領域は、対応するウェブロール10を特定の製品12に加工すれば最終的に欠陥として分類されるが、ウェブロールを異なる製品に加工すれば欠陥ではないと分類されることがある。
ウェブ製造工場6は、異常を含むウェブの領域に関する画像情報を後の処理のためにネットワーク9を介して加工管理システム4に通信する。加工管理システム4は、特定用途向け、すなわち製品12専用とされ得る1つ以上の欠陥検出アルゴリズムを適用する。解析に基づいて、加工管理システム4は、自動式又は半自動式に、特定のウェブロール10にウェブの最大収率(すなわち、利用)を達成させる製品12はどれかを判定する。判定に基づいて、加工管理システム4は、各ウェブロール10の加工計画(すなわち、ウェブロールを加工するために規定される命令)を生成し、ウェブを選択した製品に加工するのに用いる適切な加工サイト8にネットワーク9を介して加工計画を通信する。
特定の実施形態では、加工管理システム4は、個々の加工サイト8に対してこのような判定を行うことがある。換言すれば、加工管理システム4は、各加工サイト8向けのウェブロールを識別し、個々の加工サイトに対応付けられた製品12に基づいて加工計画を生成することができる。例えば、加工管理システム4は、加工サイト8A向けのウェブロールを識別し、加工サイト8Aが製造する製品12Aに基づいてウェブロールの収率を最大化するように加工計画を生成することができる。
あるいは、加工管理システム4は、加工サイト8にウェブロール10を発送する前にウェブロール10の加工計画を生成してもよい。したがって、加工管理システム4は、ウェブロール10の対応する加工計画を生成する際に、潜在的に使用可能なすべての製品12を考慮することがある。このように、加工管理システム4は、例えば、各ウェブロール10の収率を最大化するために、潜在的に使用可能なすべての製品12を考慮してもよい。この設定では、加工管理システム4は、加工計画を生成し、各ウェブロール10が発送されるべき特定の加工サイト8を識別する命令を出力する。
いくつかの実施形態では、加工管理システム4は、ウェブロール10に対して対応する加工サイト8を選択する際に、他のパラメーターを考慮する。このようなパラメーターには、各加工サイト8での製品12の現在の在庫量、顧客14から受けた最近の注文、各加工サイト8に関する発送時間及び費用、使用可能な発送方法、及び他のパラメーターが挙げられるが、これらに限定されない。
このように、加工管理システム4は、ウェブ製造工場6から受信した異常情報に用途別の欠陥検出アルゴリズムを適用し、最終的に1つ以上のパラメーターに基づいてウェブロール10の製品12への加工を指示する。以下に示すように、これらの係数は、ユーザーが選択可能であってもよく、重み関数又は他の技法を使用して独立又は一括して適用されてもよい。
図2は、図1のウェブ製造工場6Aの代表的な実施形態を示すブロック図である。代表的な実施形態では、連続移動ウェブ20の一部は、2つの支持ローラー間に配置されてもよい。
一例では、画像取り込み装置26A〜26Nは、移動ウェブ20の幅全体に及ぶ画像データを提供するようにごく近接して配置され、ウェブ横断配列に並べられている。すなわち、画像取り込み装置26は、ウェブのウェブ横断部分全体の画像データを一括して提供するように、ウェブ20の隣接する(ことによると部分的に重なる)線分の画像データを収集する。収集コンピュータ27は、画像取り込み装置26から画像データを収集し、その画像データを初期解析のための解析用コンピュータ28に送信する。例として、ウェブ20は、図2では方向Dに移動し、ウェブ横断方向Cを有するように示されている。
画像取り込み装置26は、移動ウェブ20の連続的な部分を読み取ることができ、デジタルデータストリームの形態で出力を提供できる、従来の撮像装置であってもよい。図2に示されているように、撮像装置26は、デジタルデータストリームを直接提供するカメラ又は追加のアナログ−デジタルコンバータを有するアナログカメラであってもよい。他のセンサ類、例えば、レーザースキャナなどが撮像取得デバイスとして利用されてもよい。ウェブの連続的な部分は、データが単一のラインの連続によって得られているということを示す。単一のラインは、センサ要素又はピクセルの一列に光学的にマップされる、連続移動ウェブの領域を含む。画像の取得に好適な装置の例として、パーキン・エルマー社(Perkin Elmer)(カリフォルニア州サニーヴェール(Sunnyvale,Calif.))の型式#LD21、ダルサ社(Dalsa)(カナダ、オンタリオ州、ウォータールー(Waterloo,Ontario,Canada))のピラニア(Piranha)モデル、又はトンプソン−CSF社(Thompson-CSF)(ニュージャージー州トタワ(Totawa, N. J.))の型式#TH78H15などのラインスキャンカメラが挙げられる。更なる例には、サーフェイス・インスペクション・システムズ社(Surface Inspection Systems GmbH)(ドイツ、ミュンヘン(Munich))からの、アナログ−デジタルコンバータと連結したレーザースキャナが挙げられる。
画像は所望により、画像の入手を支援する光学的組立体の利用を介して取得されてもよい。この組立体はカメラの一部であってもよく、又はカメラから分離されているいずれか一方でもよい。光学的組立体は、撮像プロセス中に反射光、透過光又は反射透過光(transflected light)を利用する。反射光は、例えば、表面のスクラッチなどウェブ表面の変形によって生じた欠陥の検出に、しばしば好適である。
バーコードコントローラ30は、ウェブ20からロール及び位置情報を入力するために使用可能なバーコードリーダー29を制御する。バーコードコントローラ30は、ロール及び位置情報を解析用コンピュータ28に通信する。
解析用コンピュータ28は、収集コンピュータ27から得た画像ストリームを処理する。より具体的には、解析用コンピュータ28は、異常情報の生成前に1つ以上の前処理アルゴリズムを画像ストリームに適用することができる。一例として、解析用コンピュータ28は、本明細書に記載するような画像補正アルゴリズムを適用し、任意の画像取り込み装置26が示し得る任意の装置内不均一性に対して補正を行う。以下に更に詳細に記載するように、解析用コンピュータ28は、収集コンピュータ27から受信した生ビデオデータを正規化する装置内ピクセル正規化アルゴリズムを適用する。更に、装置内ピクセル正規化アルゴリズムは、各ピクセルでの背景信号から得た検出差に対してピクセル値を目標光量に正規化し、更に欠陥検出に対するシステム応答と一致するように調整された係数を有する多項式を使用してピクセル値を正規化する。この方法では、装置内ピクセル正規化アルゴリズムは、所定の画像取り込み装置の視界全体にわたる背景信号及び欠陥応答の値に対してピクセルの正規化及び均一性を達成する。解析用コンピュータ28は、異なる画像収集コンピュータ及び対応する画像取り込み装置26から受信した各画像データストリームに個別に装置内ピクセル正規化アルゴリズムを適用することができる。各画像取り込み装置26に対して、例えば、解析用コンピュータ28は、特定の画像取り込み装置が示す特定の装置内不均一性の特徴と検査中の製品との組み合わせを考慮して、異なる正規化アルゴリズム(例えば、ゲインベース補正及びオフセットベース補正)の構成要素を組み合わせるよう調整された装置内ピクセル正規化アルゴリズムを適用することができる。解析用コンピュータ28に関する例のために記載するが、収集コンピュータ27は、ビデオデータを解析用コンピュータに通信する前に代わりに画像補正アルゴリズムを適用することができる。
画像データを前処理した後、解析用コンピュータ28は、1つ以上の異常識別アルゴリズムを用いてデジタル情報を処理し、最終的に欠陥としてみなす恐れがある異常を含むウェブ20のいずれかの領域を識別する異常情報を生成する。特定された各異常について、解析用コンピュータ28は、その異常、そしておそらくはウェブ20のうちのその異常の周辺部分を包含するピクセルデータを含んだ異常画像を、画像データから抽出する。
解析用コンピュータ28は、データベース32内にロール情報、位置情報、及び異常情報を格納する。データベース32は、1つ以上のデータベースサーバーを実行するデータストレージファイル又は1つ以上のデータベース管理システム(DBMS)を含む、様々な形態の任意の数で実行されてもよい。データベース管理システムは、例えば、リレーショナル(RDBMS)、階層的(HDBMS)、多次元(MDBMS)、オブジェクト指向(ODBMS若しくはOODBMS)又はオブジェクトリレーショナル(ORDBMS)データベース管理システムであってもよい。一例として、データベース32は、SQLサーバー(SQL Server)(商標)によってマイクロソフト社(Microsoft Corporation)から提供されているリレーショナルデータベースとして実行される。
解析用コンピュータ28は、後のオフラインでの詳細な解析のために、ロール情報、並びに異常情報及び対応する副画像を加工管理システム4に通信する。例えば、この情報は、解析用コンピュータ28と加工管理システム4との間のデータベース同期を経由して通信されてもよい。
図3は、ウェブ製造工場6Aの代表的な作業を示すフローチャートである。初めに、画像取り込み装置26及び収集コンピュータ27が移動ウェブ20から画像データを収集する(40)。画像データは、デジタル式に(例えば、デジタルビデオカメラを介して)形成されてもよく、又はデジタル情報に変換されてもよい(42)。いずれの場合でも、収集コンピュータ27は、デジタル画像情報のストリームを解析用コンピュータ28に出力する(44)。
解析用コンピュータ28は、各画像データストリームに装置内ピクセル正規化アルゴリズムを適用し、アルゴリズムのパラメーターは、異なるピクセル正規化技法(例えば、ゲインベース補正及びオフセットベース補正)を組み合わせた適用を制御するよう構成されている(45)。
次に、解析用コンピュータ28は、異常検出アルゴリズムを適用し、異常を含むウェブの領域を識別する(46)。いくつかの簡便な実施形態では、最初の異常検出アルゴリズムは、移動ウェブ20のライン速度が高速であっても汎用計算装置によるリアルタイムでの実行が可能なように、非常に高速である。その結果、異常を含むと識別された領域の一部は「偽陽性」を含むことがある。たとえ多くの偽陽性があり得ても、最初のアルゴリズムは、好ましくは「もれ」(すなわち、異常として検出されない本当の欠陥)がめったに生じないように設計される。
最初の異常検出アルゴリズムの適用後、解析用コンピュータ28は、識別された領域に関する異常データを集め、異常データをデータベース32内に格納する(48)。データは、典型的にウェブ内の異常の開始位置及び各識別領域の包含ピクセル面積を含む。この処理中、解析用コンピュータ28は、異常を含む各識別領域の画像データの一部を抽出する(50)。具体的には、加工管理システム4による後のより高度な解析のために、元のデジタル画像情報の一部のみを抽出する必要がある。識別領域は、バイト単位のファイルサイズなどの任意の簡便な測定値でのサイズで示すとき、例えば、デジタル情報より少なくとも1桁少ない情報を典型的に含む。
抽出された異常画像は、データベース32又はファイルサーバー(図示なし)に格納され(52)、次に異常及びロール情報と共に加工管理システム4に通信され得る(54)。あるいは、ロール情報、異常情報、及び異常画像は、加工管理システム4による処理のために直接転送されてもよい。
図4は、加工管理システム4の例示的実施形態を更に詳細に示すブロック図である。例示的実施形態では、アプリケーションサーバー58は、ソフトウェアモジュール61に操作環境を提供する。ソフトウェアモジュールは、複数の欠陥処理モジュール60A〜60M、ユーザーインターフェースモジュール62、及び加工管理エンジン64を含む。
ソフトウェアモジュール61は、データベース70と対話し、異常データ72A、ロールデータ72B、画像データ72C、製品データ72D、加工サイトデータ72E、欠陥マップ72F、複合欠陥マップ72G、加工管理規則72H、及び加工計画72Iを含み得るデータ72にアクセスする。
データベース70は、1つ以上のデータベースサーバーを実行するデータストレージファイル又は1つ以上のデータベース管理システム(DBMS)を含む、様々な形態の任意の数で実行されてもよい。一例として、データベース32は、SQLサーバー(SQL Server)(商標)によってマイクロソフト社(Microsoft Corporation)から提供されているリレーショナルデータベースとして実行される。
異常データ72A、ロールデータ72B、及び画像データ72Cは、ウェブ製造工場6(図1)から受信したロール情報、異常情報、及び対応の異常画像を表す。製品データ72Dは、製品12(図1)に関するデータを表す。より具体的には、製品データ72Dは、各加工サイト8で製造可能な各製品12の種類を定義する。各製品12に対して、製品データ72Dは、所定のウェブロール10が特定の製品の品質要件を満たすかどうかの判定に必要な1つ以上の欠陥処理モジュール60を指定する。換言すれば、製品データ72Dは、各製品12の異常データ72A及び画像データ72Cの解析に用いられるべき1つ以上の欠陥処理モジュール60を指定する。
加工サイトデータ72Eは、加工サイト8に関するデータを表す。例えば、加工サイトデータ72Eは、各加工サイト8のサイト所在地、プロセスライン数、及び各プロセスラインの現在使用可能な生産能力を格納することができる。加工サイトデータ72Eは、他のデータを格納してもよく、これには各加工サイト8での各製品12の現在の在庫量を指定するデータ、各加工サイトへのウェブロールの発送に伴う発送費用、各加工サイトで使用可能な発送オプション、各加工サイトが受信した顧客14からの現在の注文情報、各加工サイトの新規又は優先顧客を指定するデータ、及び加工計画の選択に有用であり得る他のデータが挙げられるが、これらに限定されない。
以下に更に詳細に記載するように、欠陥処理モジュール60は、異なる製品12に対して実際の欠陥とみなされる異常を指定する、欠陥マップ72Fを出力する。換言すれば、各欠陥マップ72Fは、個別のウェブロール10及び特定の製品12に対応する。各欠陥マップ72Fは、対応する製品12の製品特有の要件に基づいて、個別のウェブロール10の個別の欠陥位置を指定する。
加工管理エンジン64は、加工管理規則72Hに従って欠陥マップ72Fを解析し、各ウェブロール10に使用される最終加工を選択する。例えば、加工管理エンジン64は、欠陥マップ72Fを解析し、特定のウェブロール10にウェブの最大収率(すなわち、利用)を達成させる製品12はどれかを判定することができる。加工管理規則72Hは、欠陥マップ72Fの処理時に加工管理エンジン64が考慮する1つ以上のパラメーター、例えば、ウェブ材料の使用量、異なる製品12に対して各ウェブロール10が生産するであろうユニット数、各潜在的製品12に対してウェブロールが生産するであろう収益又は利益の見積もり額、異なる各製品に対してウェブの加工に要するであろう処理時間、加工サイト10内の各プロセスラインの現在の機械能力、各製品12の現在の需要量、及び他のパラメーターなどを指定する。
この処理中、加工管理エンジン64は、複数の製品12に加工すれば特定のウェブロール10を最大限利用できる(例えば、最大収率を達成できる)と判断することがある。換言すれば、加工管理エンジン64は、ウェブの第1部分は第1製品に加工すると最大限利用でき、第2部分は異なる製品に最大限利用できると判断することがある。この場合、加工管理エンジン64は、ウェブの部分が加工される対応する製品に基づいて、ウェブの各部分内で欠陥位置を指定する「複合」欠陥マップ72Gを生成する。加工管理エンジン64は、2つ以上の欠陥マップ72Fの部分を接合してウェブ全体の完全な複合欠陥マップを形成することにより、複合欠陥マップを作製することができる。
所定のウェブロール10に特定の製品又は製品一式を選択すると、加工管理エンジン64はそれぞれの加工計画72Iを生成する。各加工計画72Iは、対応のウェブロールを処理するための明確な命令を提供する。より具体的には、各加工計画72Iは、ウェブを個々の製品シートに物理的に切り取るための処理レーンの配置を定義する。加工管理システム4は、各ウェブロール10をそれぞれの仕向け先の加工サイト8へ発送するよう指示する発送命令を出力する。更に、加工管理システム4は、ウェブロールを選択した製品に加工するのに用いる適切な加工サイト8にネットワーク9を介して加工計画を通信する。
ユーザーインターフェースモジュール62は、加工管理エンジン64が使用するパラメーターをユーザーが設定できるインターフェースを提供する。例えば、ユーザーインターフェースモジュール62により、ユーザーは、ウェブの最大利用、製造ユニット数、見積もり収益、見積もり利益、機械能力、現在の需要量、及び/又は他のパラメーターの1つ以上を考慮するよう加工管理エンジン64に指示することができる。
図5は、加工管理システム4による異常情報の処理を更に詳細に示すフローチャートである。特に、図5は、欠陥処理モジュール60による異常データ72A及び画像データ72Cの処理を示す。
加工管理システム4は、ウェブ製造工場6に配置された解析用コンピュータ28が簡単な最初の検出アルゴリズムを使用してウェブ20から初期抽出した画像及び異常データ(例えば、画像144、146)を受信する。
図5に示すように、欠陥処理モジュール60は、製品12の最大N個の異なる要件80に対して、必要に応じて「M」個の異なるアルゴリズム(図5ではA〜A88で示される)を適用する。図5の相互参照表82は、要件80と欠陥処理モジュール60とのマッピングを示すために使用される。具体的には、相互参照表82は、所定の要件80に対して各異常が欠陥か又は偽陽性かを判定するのに使用する欠陥処理モジュール60を示す。
いくつかの実施形態では、より多くのどちらかといえばより簡単なアルゴリズムが同時に都合よく使用される。特に、少なくとも1つの後続の欠陥処理モジュール60が、閾値とピクセルサイズとの複合基準に対して各異常を比較することを含むアルゴリズムを適用することは、多くの場合に好都合である。例えば、光学フィルムでの現実実務において、対象との輝度値の差がごく小さい異常は領域が大きければ許容されず、対象値との輝度の差が大きい異常は領域が非常に小さくても許容されない。
更に、欠陥処理モジュール60が適用するアルゴリズムは、非常に複雑な画像処理及び欠陥抽出を組み込むことができ、これには近傍平均、近傍格付(neighborhood ranking)、コントラスト拡張、種々の単項又は二項画像処理、デジタルフィルタリング(例えば、ラプラシアン(Laplacian)フィルタ、ソベル(Sobel)演算子、ハイパスフィルタリング、及びローパスフィルタリング)、テクスチャ解析、フラクタル解析、周波数処理(例えば、フーリエ変換及びウェーブレット変換)、コンボリューション、形態素処理、閾値処理、連結成分解析、ブロブ処理、ブロブ分類、又はこれらの組み合わせが挙げられるが、これらに限定されない。欠陥検出の所望の精度値を達成するために、他のアルゴリズムを特定のウェブ及び欠陥の種類に基づいて適用してもよい。
N個の製品要件88のそれぞれは、個々の欠陥処理要件82の選択した組み合わせを使用して達成することができる。アルゴリズムは、非常に簡単な閾値及び最小限のブロブ処理を使用するか、又はより複雑なアルゴリズム、例えば、空間フィルタ、モルフォロジー演算、周波数フィルタ、ウェーブレット処理、若しくはいずれか他の既知の画像処理アルゴリズムを使用することができる。この例示の相互参照表82では、製品要件Rは、アルゴリズムA、A、及びAの組み合わせを使用し、それぞれがすべての異常画像に適用され、どの異常がRに対する実際の欠陥かを判定する。最も簡便な実施形態では、簡単なOR論理を使用し、すなわち、A、A、及びAのいずれかが異常を実際の欠陥と報告すれば、ウェブ20のその部分は製品要件Rに適合しない。特化用途では、製品要件80に適合するかどうかの判定に後続の要件82の報告が組み込まれる論理は、簡単なOR論理より複雑なことがある。同様に、製品要件Rは、A、A、及びAなどを使用する。したがって、Rで欠陥と特定される異常は、Rでの欠陥と同じでも又は著しく異なっていてもよい。
相互参照表82の使用により実際の欠陥とみなされる異常を判定した後、加工管理エンジン64は、ロールの種々の製品要件に対応する実際の欠陥位置の欠陥マップ72Fを作成する。場合によっては、加工管理エンジン64は、1つ以上の欠陥マップ72Fの部分を接合することで1つ以上の複合欠陥マップ72Gを生成することができる。この図示した実施例では、加工管理エンジン64は、第1製品要件の欠陥マップ(MAP−R1)から接合した第1部分90と、第2製品要件の欠陥マップ(MAP−R2)から得た第2部分92とを有する、複合マップ72Gを生成する。このように、加工管理エンジン64は、ウェブの特定部分を異なる製品に加工すればウェブを最大限利用できると判断することがある。これを行うと、多くの場合に副画像情報を廃棄して必要な記憶媒体を最小化することができる。
欠陥処理モジュール60が適用する異常検出アルゴリズムの画像処理及び後続のアプリケーションの更なる詳細は、2003年4月24日に出願された、代理人整理番号58695US002を有する、本発明の譲受人に譲渡された同時係属米国特許出願第10/669,197号「APPARATUS AND METHOD FOR AUTOMATED WEB INSPECTION」に記載されており、その内容全体は参照により本明細書に引用される。
本明細書に記載の装置内ピクセル正規化技法は、目視検査システムの背景応答を正規化して所定の画像取り込み装置で均一な背景信号を達成する既存の技法が、必ずしも均一な欠陥検出をもたらさないことがあるという認識を利用している。換言すれば、本明細書に記載の技法は、場合によっては、欠陥検出に対する目視検査システムのシステム応答が、背景信号の正規化に対するシステム応答とは異なることがあるという認識に基づいている。すなわち、目視検査システムを較正して単一の画像取り込み装置でウェブ横断背景光度信号の均一性を達成するよう適用される数学的アルゴリズムは、必ずしもその同じ画像取り込み装置の視界全体で潜在的欠陥を均一に処理しないことがある。
この認識に対処するために、本明細書の技法は、原画像データを正規化する数学的画像処理が製造材料の欠陥応答と一致するように、ユーザー(例えば、プロセスエンジニア)又は自動ソフトウェアが複数の異なるピクセル正規化アルゴリズム(例えば、ゲインベース補正及びオフセットベース正規化)から取得される正規化構成要素を確定及び調整できる、柔軟な装置内画像補正技法を提供する。図6A〜6Dは、これらの概念を示す簡単な例を提供する。
図6Aは、単一の画像取り込み装置から得た背景信号出力の例示的な原画像データ110を示すプロットである。すなわち、この例では、原画像データ110は、画像取り込み装置による均一な較正用背景材料から得られたウェブ横断方向の単一ピクセルラインの背景信号出力を示す。この例では、単一ラインスキャンの中央のピクセルP1において、背景信号110は90単位の値を有する(例えば、グレーレベル)。画像取り込み装置の中央に位置する所定の欠陥は、光度を更に25単位上昇させ、115単位の読み取り値になることがある。しかしながら、場合によっては、寸法、形状、及び密度の点で全く同じ物理的特性を有する、視界の端に位置する欠陥(この例ではピクセルP2)は、光度を27単位上昇させ、157単位の読み取り値をもたらすことがある。これは、例えば、2つの位置の照明角度の差、異なる照明角度に対する材料応答の変動、異なる位置にある光センサ若しくは画像取り込み装置の他の光学素子の光学特性の変動、又は環境条件(例えば、温度)の局所的な差によって生じることがある。
図6Bは、ゲインのみのピクセル正規化法を使用して背景信号を100単位の均一な目標光量に正規化した場合の例示的な結果を示す。この例では、各ピクセル位置の倍率は、視界のウェブ横断位置に対して計算され、その位置での対応する読み取り値に適用される。一般に、特定のウェブ横断ピクセル位置の倍率は、以下のように計算され得る。
倍率=目標正規化値/平均(すなわち、背景)ピクセル値
例えば、目標正規化値を100とすると、ピクセル位置P1の倍率SP1は、以下のように計算され得る。
P1=100/90=1.111
同様に、ピクセル位置P2の倍率SP2は、以下のように計算され得る。
P2=100/130=0.769
図6Bでは、正規化背景信号120は、上記のように計算した倍率を使用してゲインベース正規化を適用することにより達成され得る。図示したように、正規化背景信号120は、ウェブ横断方向で均一に平らであり、較正用背景材料でスキャンを行うと、各ピクセル位置は100の正規化光量を生じる。しかしながら、ここで適用した技法は、背景光度信号の較正に対しては方法を適用して均一な装置内応答を達成できるが、ゲインのみの方法は欠陥検出に対して必ずしも均一なシステム応答を達成できないことが認められる。すなわち、ここでの技法は、欠陥検出に対するシステム応答が、背景変動に対するシステム応答とは異なることがあるという認識に基づいている。
例えば、図6Bに示すように、ピクセル位置P1及びP2の同じ欠陥の光度値115及び157に倍率SP1及びSP2を適用すると、それぞれ127.7単位及び120.7単位の正規化値が得られる。したがって、倍率の適用により正規化背景信号は均一になり得るが、異なるピクセル位置の同じ欠陥から得られる光度値は、それにもかかわらず異なる光度を生じることがある。この例では、視界の端付近のピクセル位置P2に位置するとき、正規化光度値は欠陥分類閾値Tの125光単位を下回ることがあり、材料中の異常を見落とすことになる。対照的に、視界の中央付近のピクセル位置P1に位置するとき、同じ欠陥が欠陥分類閾値Tを上回る127.7の正規化光度値を生じることがあり、材料中の異常を欠陥として処理することになる。この例は、倍率を使用して背景信号を較正及び正規化しても、検出装置の視界内の位置に対する欠陥の元の応答の変動は、欠陥の分類の変動として現れることを実証している。更に、この例では、ゲインのみの正規化法を適用することにより、視界の中央では欠陥として分類される異常が多く、視界の端では欠陥として分類される異常が少なくなり得る。本明細書では説明のために単位を10進値として示しているが、一部のシステムではこのようなピクセル値を2進整数値として表すことがある。
図6Cは、オフセットのみの方法を使用して背景信号を100単位の均一な光量に正規化した場合の例示的な結果を示す。この例では、各位置のオフセットは、視界のウェブ横断位置に対して計算され、その位置での対応する読み取り値に補正値として適用される。一般に、特定のウェブ横断ピクセル位置のオフセットは、以下のように計算され得る。
オフセット=目標正規化値−未加工ピクセル値
例えば、目標正規化値を100とすると、ピクセル位置P1のオフセットOP1は、以下のように計算され得る。
P1=100−90=10.0
同様に、ピクセル位置P2のオフセットOP2は、以下のように計算され得る。
P2=100−130=−30.0
図6Cに示すように、正規化背景信号130は、上記で計算したオフセットを背景材料から得た未加工ビデオ110に加えることでオフセットベース正規化を適用することにより達成され得る。図示したように、正規化背景信号130は、ウェブ横断方向で均一に平らであり、較正用背景材料をスキャンすると、各ピクセル位置は100単位の正規化光量を生じる。しかしながら、上述したように、ここで適用した技法は、ゲインのみの方法のように、背景の較正に対してはオフセットのみの方法を適用して均一な装置内応答を達成できるが、オフセットのみの方法は欠陥検出に対して必ずしも均一なシステム応答を達成できないことが認められる。
例えば、図6Cに示すように、ピクセル位置P1及びP2の同じ欠陥の光度値115及び157にオフセットOP1及びOP2を適用すると、それぞれ125.0単位及び127.0単位の正規化値が得られる。したがって、倍率の適用により正規化背景信号は均一になり得るが、異なるピクセル位置の同じ欠陥から得られる光度値は、それにもかかわらず異なる光度を生じることがある。この例では、視界の端付近のピクセル位置P2に位置するとき、正規化光度値は欠陥分類閾値Tの125光単位を上回り、材料中の異常を欠陥として処理することになる。対照的に、視界の中央付近のピクセル位置P1に位置するとき、対応するオフセットの適用により同じ欠陥が閾値を下回る125の正規化光度値を生じ、異常を見落とすことになる。この例は、各ウェブ横断位置のオフセットを使用して背景光量を較正及び正規化しても、検出装置の視界内の位置に対する欠陥の元の応答の変動は、欠陥の分類の変動として現れ得ることを実証している。更に、この例では、オフセットのみの正規化法を適用することにより、視界の端では欠陥として分類される異常が多く、視界の中央では欠陥として分類される異常が少なくなり得る。
図6Dは、背景材料から得た未加工ビデオ110を正規化するためにゲインベース補正の構成要素をオフセットベース補正と組み合わせる技法を適用することで達成された均一な背景信号140を示す。すなわち、この技法は、ゲインベース及びオフセットベース正規化の両方から構成要素を有する比例補正を適用し、選択された構成要素は適応的に計算される。すなわち、重み係数s〜sを使用して異なる正規化アルゴリズムの比率を表すことができ、係数は動的に適応できる、すなわち調整可能である。換言すれば、各ピクセルに対し、本明細書に記載の技法は、ピクセル毎の異なる正規化結果間の比例関係(例えば、ゲインベース正規化ピクセル値とオフセットベース正規化ピクセル値との比例関係)を選択するために使用される。
図6Dの例では、第1係数のs=0.8が選択され、第2係数のs=0.2が選択されており、sはオフセットベース法から取得される正規化部分を表し、sはゲインベース法から取得される正規化部分を表す。換言すれば、図6Dは、ゲインベース正規化アルゴリズムに対する20%の重み付けと共にオフセットベース正規化アルゴリズムに対する80%の重み付けを用いたときの正規化信号140を表す。図示したように、正規化背景信号140は、同様にウェブ横断方向で均一に平らであり、較正用背景材料をスキャンすると、各ピクセル位置は100単位の正規化光量を生じる。例えば、係数を20%及び80%と仮定すると、目標正規化値が100であるピクセルP1での未加工背景光量の読み取り値90単位は、以下のように正規化されるであろう。
=0.2×SP1×90+0.8×(90+OP1
=0.2×1.11×90+0.8×(90+10)
得られるピクセルP1での正規化ピクセル値は、以下のとおりである。
=100
同様に、ピクセル位置P2での未加工背景光量の読み取り値130単位は、100の値に正規化されるであろう。
ただし、欠陥の分類に関しては、ピクセル位置P1及びP2の同じ欠陥の光度値115及び157は、それぞれ125.6単位及び125.8単位の正規化値になる。したがって、オフセット/ゲイン補正の比率80/20を選択することにより、異なるピクセル位置の同じ欠陥から得られる光度値は、本明細書に記載の技法を使用すると実質的に同じ正規化光度を生じる。この例では、ピクセル位置P1及びP2の両方の正規化光度値は、欠陥分類閾値Tの125光単位を上回り、材料中の異常を欠陥として分類することになる。欠陥に対するシステム応答が所定の検出装置の視界内の位置によって異なることがあっても、この変動が本明細書に記載の較正及び正規化法を使用する理由であり得る。
一般に、本技法は、所定の画像取り込み装置の視界に対してウェブ横断方向で均一な欠陥検出を達成するように、異なる係数を有する異なる正規化法を重み付けする、ピクセル毎の多項式補正の適用と考えられることがある。より高次のピクセル補正用多項式は、一般に以下のように表され得る。
Figure 0005702404
式中、Pは補正ピクセル値を表し、pは未加工ピクセル値を表し、A、B〜Zは異なる画像補正用アルゴリズム(例えば、オフセットベース、ゲインベース、バックグラウンド除去法、ダークオフセット(dark offsets))を表し、s〜sは多項式の係数である。これらの係数s〜sは、異なるアルゴリズムから取得される正規化部分を表し、係数は動的に適応できる、すなわち調整可能である。換言すれば、本明細書に記載の技法は、ピクセル毎の異なる正規化結果間の比例関係(例えば、上記で示したように、ゲインベース正規化ピクセル値とオフセットベース正規化ピクセル値との比例関係)を選択するために使用される。全ピクセルに対して同じ比例関係を使用してもよく、又は各ピクセルに対して決定してもよい。
この柔軟な方法は、多くの異なる産業用途で有用なことがある。場合によっては、例えば、製造及び検査される材料は、光を均一に通過させる均質構造を有する傾向があり得る(例えば、グレーフィルム)。このようなフィルムでは、フィルム検査時にフィルムに適用する光度を上げると、目視検査システムが受け取る光度も同様に上昇する。このような場合、ゲインベース正規化により多く重み付けした技法が好ましいことがある。この場合、sはゼロに近づくことがある。別の場合では、オフセットベース正規化により多く重み付けした技法が好ましいことがあり、すなわちsがゼロに近づくことがある。このような技法は、例えば、欠陥が存在しなければ標準的なフィルムの応答ではセンサに届く光が少ないか又は光が届かない、いわゆる暗視野用途で有用なことがある。更に別の場合では、sもsもゼロに設定されない、比例正規化法が提供される。更に、場合によっては、本技法を使用して、より高次の多項式を用いる補正を適用してもよい。これは、例えば、材料がウェブ横断方向で材料の光学的性質が変化する活性光学フィルム(例えば、光導体)であり得るときに有用なことがある。
比例画像補正を適用する別の方法は、任意の所定の正規化アルゴリズムの比例関係が多項式中のより低次の任意の正規化アルゴリズムで先に決定された比例関係に少なくとも部分的に基づく、比例関係に対する反復法を採用することである。例えば、これは、必要なオフセット量(例えば)を最初に計算し、その量の一部のみを使用して、必要な補正の残りはより高次に割り当てられたゲイン又は更なる正規化技法によって得ることにより実行され得る。この方法では、単一の比例定数が存在し、より高次の係数はこのスカラー量に依存する。以下の式は、この1次多項式の実行を要約している。
Figure 0005702404
式中、pは未加工ピクセル値であり、sは(ピクセル毎の又は全ピクセルに一定の)比例定数であり、Tは目標正規化値であり、
Figure 0005702404
は平均背景ピクセル値であり、Oは平均ピクセルオフセットであり、Gはピクセルゲインである。この方法は、図6Dでs=0.80のときに示した同じ結果を生じる。これは、80%オフセット及び20%ゲインの採用とみなされ得る。検査構成及び材料が異なると、2つの実行の間で同じ比例関係(例えば、80/20)が必ずしも得られないことがある。
図7は、目視検査システムが受信した生ビデオデータの正規化に使用される多項式の係数を決定する例示的処理を示すフローチャートである。一例示的実施形態では、較正用材料を最初に製品製造ラインの目視検査システムの画像取り込み装置で処理し、生ビデオデータを生成する(150)。較正用材料は、例えば、製品製造ラインで製造予定の種類の材料であってもよく、較正用材料は既知の欠陥分布特性を有していてもよい。例えば、較正用材料の全長にわたって考慮するとき、ウェブ横断方向での欠陥の分布は、特定のウェブ横断位置が他のウェブ横断位置に比べて統計上有意に欠陥が多い又は少ないことがないように、実質的に均一であり得る。別の例では、材料の製造中に材料から生ビデオデータをリアルタイムで取り込むことができ、製造ウェブ材料の所定の長さ(例えば、50メートルのウェブ材料)の検査後に、平均ウェブ横断欠陥分布特性を繰り返し計算し、リアルタイムで適応的に調整することができる。この例では、製造ウェブ材料の実際のウェブ横断欠陥分布は、均一であるか、さもなければ既知の特性に一致すべきであると仮定されることがある。
別の場合では、プロセスエンジニア又は自動ソフトウェアが、装置内ピクセル正規化式に使用される最初の係数一式を選択する(154)。すなわち、最初の比例関係は、使用可能な画像正規化アルゴリズムのそれぞれに対して選択される。最初の係数一式は、プロセスエンジニアが先に設定したデフォルトの係数から選択されてもよく、製造予定の材料の種類に基づいて選択されてもよい。一例として、グレーフィルムでは、デフォルト係数の100%ゲイン及び0%オフセットを最初に設定することができる。暗視野用途では、デフォルト係数の0%ゲイン及び100%オフセットを使用することができる。別の例として、1次多項式のデフォルト係数は、80%オフセット及び20%ゲインの比例関係で他の種類のピクセル毎の正規化に設定されてもよい。
最初の係数一式を選択した後、現在選択している係数一式を使用して原画像データを正規化し、画像データのダウンウェブ長さ(down-web length)にわたって各スキャンラインの各ウェブ横断ピクセル位置での正規化値を計算する(156)。次に、正規化した画像データを1つ以上の手段を使用して解析し、検出した異常を異なる手法の欠陥又は対応する欠陥一式に分類する(158)。
その後、得られた欠陥データを解析し、現在選択しているカメラの視界に対するウェブ横断方向での欠陥分布特性を確立する(160)。すなわち、画像データのダウンウェブ長さにわたって各ウェブ横断位置に対する欠陥の合計数を決定し、較正用材料又は現在製造中の材料の部分に対するウェブ横断欠陥分布特性を形成する。
次に、欠陥分布特性は、プロセスエンジニア又は自動ソフトウェアのいずれかにより考察され、欠陥分布特性が許容可能に平らであるかどうかが判定される。一例として、欠陥分布特性を解析し、最大欠陥数を有するウェブ横断カメラ内位置と最小欠陥数を有する位置との範囲を決定してもよい。許容量(例えば、最大及び最小欠陥数を有する位置間の差が1%)を使用して、現在の係数が許容可能な欠陥分布特性をもたらしたかどうかを判定することができる。各カメラ内ピクセル位置での欠陥数の標準偏差など、他の技法を使用して現在の欠陥分布特性が平らかどうかを判定してもよい。
欠陥分布特性が許容可能でない場合、プロセスエンジニア又は自動ソフトウェアは、装置内ピクセル正規化式に異なる重み係数一式を選択する(154)。一例として、現在の係数が100%ゲインベース正規化及び0%オフセットベース正規化を指定していると仮定すると、規定された増分により係数を調整して、例えば、95%ゲイン及び5%オフセットを指定することができる。次に、新しい係数を使用して原画像データを正規化し、欠陥分布特性を作成及び解析して、欠陥分布が許容可能かどうかを判定する(156〜162)。許容可能な欠陥分布特性を達成するまでこの過程を続行し、繰り返し適用してより高次の多項式の係数の組み合わせを順に行ってもよい。
許容可能な欠陥分布特性を達成したら(162の「はい」)、目視検査システムの各画像取り込み装置に対してこの過程を繰り返す(164)。この方法では、装置内ピクセル正規化式は、各画像取り込み装置に対して策定される。策定後、装置内ピクセル正規化式を適用して対応する画像取り込み装置から得た原画像データを正規化し、正規化された画像データを処理してウェブ材料を1つ以上の製品に加工する際に欠陥を有するウェブ材料の部分を識別する。
図8は、ウェブ材料の模擬原画像データから計算された欠陥分布特性を示すグラフである。図8に示すように、背景材料を使用するとき、画像取り込み装置は平均背景信号200を生成した。これは、材料部分の長さにわたるピクセル毎の背景値の平均、又は単一のウェブ横断ピクセルラインにわたる背景信号を表すことがある。いずれの場合でも、図示するように、背景信号200は、画像取り込み装置が視界の端でより感度が高いことを示す。更に、図8は、画像データの未補正のウェブ横断欠陥分布特性202を示す。この例では、未補正の欠陥分布特性202は、光度に対して示されており、欠陥が画像取り込み装置の各ウェブ横断ピクセル位置に存在するときのシステム応答を示す。別の例では、欠陥分布特性202は、材料の規定のダウンウェブ長さにわたって各ピクセル位置で検出された欠陥数の合計として計算され得る。
図8の残りのプロットは、装置内ピクセル正規化式に使用される係数をプロセスエンジニア又は自動ソフトウェアが選択する、上記の過程を更に説明するのに役立つ。この例では、プロット203は、生ピクセルデータの正規化に100%オフセットベース補正及び0%ゲイン補正の係数を適用するときの欠陥検出に対するシステム応答を示す。残りのプロット204〜220は、100%オフセットベース正規化から100%ゲインベース正規化までの係数の組み合わせを、各繰り返しで10%ずつ減らしながら、繰り返して順に行うよう本明細書に記載の技法を適用したときのシステム応答を示す。各繰り返しにおいて、オフセットベースの構成要素の比率を調整し、補正の残りの部分はゲインベースの係数を使用して実行し、オフセット/ゲインの重み付けの組み合わせを100%オフセット/0%ゲインから0%オフセット/100%ゲインまで生成する。
図8に示すように、100%オフセットベースでも100%ゲインベースでもない方法が実質的に平らな正規化をもたらした。すなわち、100%オフセットベース正規化は、端において欠陥を増加させる欠陥分布特性202を生成したのに対し、100%ゲイン法は、視界の中央で欠陥を増加させる欠陥分布特性200を生じた。この例では、計算した係数の組み合わせのうち、オフセットベース正規化対ゲインベース正規化の比率50/50が、最も平らな又は最も均一なウェブ横断カメラ内特性を有する分布特性214を生成した。したがって、この例では、以下の装置内ピクセル正規化式:
=0.5×SP1×90+0.5×(90+OP1
が選択され、各ピクセル位置での未加工画像値を正規化するよう使用されるであろう。式中、SP1及びOP1は、そのピクセルでの未加工背景光度値を目標光度値に個別に正規化する、ゲインベースの倍率及びオフセット値をそれぞれ表す。選択した係数を装置内ピクセル正規化アルゴリズムに使用すると、図8の模擬データは、画像取り込み装置の視界全体でウェブ横断方向での背景信号及び欠陥検出の両方に対するシステム応答の正規化を達成することができる。
図9は、ウェブ材料の模擬原画像データから計算された欠陥分布特性を示すグラフである。この例では、背景信号300及び未補正ピクセル値302は図8と同じである。図9の残りのプロットは、装置内ピクセル正規化式に使用されるオフセット比例定数をプロセスエンジニア又は自動ソフトウェアが選択する、上記の過程を更に説明するのに役立つ。この例では、プロット303は、生ピクセルデータの正規化に100%オフセットベース補正(s=1.0)及び0%ゲイン補正の係数を適用するときの欠陥検出に対するシステム応答を示す。残りのプロットは、100%オフセットベース正規化(プロット303)から100%ゲインベース正規化(プロット320)までの係数の組み合わせを、各繰り返しで10%ずつ減らしながら、繰り返して順に行うよう本明細書に記載の技法を適用したときのシステム応答を示す。各繰り返しにおいて、オフセットベースの構成要素の比率を調整し、補正の残りの部分はゲインベースの係数を使用して実行し、オフセット/ゲインの重み付けの組み合わせを100%オフセット/0%ゲインから0%オフセット/100%ゲインまで生成する。
図9に示すように、100%オフセットベースでも100%ゲインベースでもない方法が実質的に平らな正規化をもたらした。すなわち、100%オフセットベース正規化は、端において欠陥を増加させる欠陥分布特性302を生成したのに対し、100%ゲインの方法は、視界の中央で欠陥を増加させる欠陥分布特性320を生じた。この例では、計算した係数の組み合わせのうち、(図8の作成に用いた50/50の正規化の実行に対して)オフセットベース正規化対ゲインベース正規化の比率60/40が、最も平らな又は最も均一なウェブ横断カメラ内特性を有する分布特性322を生成した。したがって、この例では、以下の装置内ピクセル正規化式:
Figure 0005702404
が選択され、各ピクセル位置での未加工画像値を正規化するよう使用されるであろう。式中、G及びOは、そのピクセルでの未加工背景光度値を目標光度値に正規化する、ゲインベースの倍率及びオフセット値をそれぞれ表す。選択した係数を装置内ピクセル正規化アルゴリズムに使用すると、図9の模擬データは、画像取り込み装置の視界全体でウェブ横断方向での背景信号及び欠陥検出の両方に対するシステム応答の正規化を達成することができる。
本発明の様々な実施形態について説明してきた。これら及び他の実施形態は、以下の特許請求の範囲の範囲内である。

Claims (1)

  1. 製造材料から画像データを取り込むための画像取り込み装置であって、前記画像データが前記画像取り込み装置の視界に対するピクセル値を含む、画像取り込み装置と、
    前記画像取り込み装置の背景信号を正規化するための複数の異なるピクセル正規化アルゴリズムのパラメーターを格納するコンピュータ読み取り可能な媒体であって、前記コンピュータ読み取り可能な媒体が前記複数のピクセル正規化アルゴリズムのそれぞれの係数を更に格納する、コンピュータ読み取り可能な媒体と、
    前記格納されたパラメーターを使用して少なくとも2つの前記ピクセル正規化アルゴリズムの適用から得た結果の加重和として前記画像データの各ピクセルの正規化値を計算する、解析用コンピュータであって、前記格納された係数が前記異なるピクセル正規化アルゴリズムのそれぞれの結果に対する重み付けを定義し、前記解析用コンピュータが、高次の多項式を適用することにより各ピクセルの前記正規化値を計算し、その中で、複数の異なる正規化法がピクセル毎に適用され、前記係数を重み付けとして使用して結果が合計される、解析用コンピュータと、
    を含む、システム。
JP2012548062A 2010-01-08 2011-01-03 センサ内均一性補正を使用した光学的ウェブベース欠陥検出 Active JP5702404B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/684,170 US8270701B2 (en) 2010-01-08 2010-01-08 Optical web-based defect detection using intrasensor uniformity correction
US12/684,170 2010-01-08
PCT/US2011/020028 WO2011084914A2 (en) 2010-01-08 2011-01-03 Optical web-based defect detection using intrasensor uniformity correction

Publications (3)

Publication Number Publication Date
JP2013519069A JP2013519069A (ja) 2013-05-23
JP2013519069A5 JP2013519069A5 (ja) 2014-02-13
JP5702404B2 true JP5702404B2 (ja) 2015-04-15

Family

ID=44258562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012548062A Active JP5702404B2 (ja) 2010-01-08 2011-01-03 センサ内均一性補正を使用した光学的ウェブベース欠陥検出

Country Status (7)

Country Link
US (1) US8270701B2 (ja)
JP (1) JP5702404B2 (ja)
KR (1) KR101749782B1 (ja)
CN (1) CN102971619B (ja)
SG (1) SG182314A1 (ja)
TW (1) TW201135220A (ja)
WO (1) WO2011084914A2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553228B2 (en) * 2011-09-30 2013-10-08 3M Innovative Properties Company Web inspection calibration system and related methods
US8923571B2 (en) 2012-07-16 2014-12-30 Hewlett-Packard Development Company, L.P. Automated camera flat fielding and alignment
CN104298190A (zh) * 2013-07-09 2015-01-21 Abb技术股份公司 用于现场仪器的维护系统
US11854180B2 (en) 2016-01-15 2023-12-26 Corning, Incorporated Non-contact method of characterizing isostatic strength of cellular ceramic articles
JP6807459B2 (ja) * 2017-07-25 2021-01-06 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
DE102019109791A1 (de) * 2019-04-12 2020-10-15 Stephan Krebs Vorrichtung zur Druckbildkontrolle für eine Druck- oder Konfektioniermaschine und Verfahren zur Validierung von Inspektionsalgorithmen einer Vorrichtung zur Druckbildkontrolle
US11151710B1 (en) * 2020-05-04 2021-10-19 Applied Materials Israel Ltd. Automatic selection of algorithmic modules for examination of a specimen
CN117745603B (zh) * 2024-02-20 2024-06-14 湖南科洛德科技有限公司 基于线阵扫描设备的产品图像校正方法及设备和存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602291A (en) 1984-05-09 1986-07-22 Xerox Corporation Pixel non-uniformity correction system
JPS647174A (en) 1987-06-29 1989-01-11 Mitsubishi Electric Corp Background correction method
US4899054A (en) 1988-01-19 1990-02-06 General Electric Company Gamma camera with image uniformity by energy correction offsets
DE69119589T2 (de) 1991-09-26 1996-12-19 Dornier Medizintechnik Automatische Optimalisierung der gleichmässigen Intensität eines Bildes für ein Ultraschallabbildungsystem
DE19509345A1 (de) * 1995-03-15 1996-09-19 Ver Glaswerke Gmbh Verfahren zum Erkennen und Bewerten von Fehlern in teilreflektierenden Oberflächenschichten
JPH09178666A (ja) * 1995-10-24 1997-07-11 Nkk Corp 表面検査装置
JP3809226B2 (ja) 1996-06-06 2006-08-16 富士写真フイルム株式会社 リニアイメージセンサの出力画像信号の補正方法
JP3466855B2 (ja) 1997-02-07 2003-11-17 株式会社リコー 画像読取装置
JP3397101B2 (ja) * 1997-10-29 2003-04-14 株式会社日立製作所 欠陥検査方法および装置
JP4024381B2 (ja) * 1998-04-21 2007-12-19 株式会社ルネサステクノロジ 欠陥検査方法および装置
US6687396B1 (en) * 1998-07-29 2004-02-03 Pentax Corporation Optical member inspection apparatus, image-processing apparatus, image-processing method, and computer readable medium
TW380180B (en) 1998-11-13 2000-01-21 China Textile Inst On-line uniformity inspection method and apparatus for web applying digital image processing
US20050033185A1 (en) 2003-08-06 2005-02-10 Cytometrics, Llc Method for correcting vessel and background light intensities used in beer's law for light scattering in tissue
JP4731698B2 (ja) 2000-04-06 2011-07-27 キヤノン株式会社 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
US6757442B1 (en) 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
US6970577B2 (en) 2000-12-19 2005-11-29 Lockheed Martin Corporation Fast fourier transform correlation tracking algorithm with background correction
US6950547B2 (en) * 2001-02-12 2005-09-27 3M Innovative Properties Company Web inspection method and device
JP2003284707A (ja) 2002-03-27 2003-10-07 Canon Inc 撮影装置、ゲイン補正方法、記録媒体及びプログラム
JP4479877B2 (ja) * 2003-02-20 2010-06-09 谷電機工業株式会社 画像認識による不良検査方法
JP4468083B2 (ja) 2003-08-26 2010-05-26 キヤノン株式会社 放射線撮影装置、放射線撮影方法
DE10340166B4 (de) 2003-09-01 2016-12-08 Robert Bosch Gmbh Verfahren zur Erweiterung des Dynamik-Bereichs eines Halbleiter-Bildsensors
US7335183B2 (en) 2003-09-15 2008-02-26 Aligned Innovation, Inc. Nursing aid system
US7027934B2 (en) * 2003-09-24 2006-04-11 3M Innovative Properties Company Apparatus and method for automated web inspection
US7187995B2 (en) 2003-12-31 2007-03-06 3M Innovative Properties Company Maximization of yield for web-based articles
JP2007523810A (ja) 2003-12-31 2007-08-23 スリーエム イノベイティブ プロパティズ カンパニー ウェブに基づく物品の在庫管理
US7259857B2 (en) 2004-01-14 2007-08-21 Xerox Corporation Methods for automated uniformity assessment and modification of image non-uniformities
JP2006177852A (ja) * 2004-12-24 2006-07-06 Toshiba Corp 表面検査装置、およびその方法
JP2006275802A (ja) * 2005-03-29 2006-10-12 Nippon Steel Corp 欠陥検査方法及び装置
JP4990613B2 (ja) * 2006-12-27 2012-08-01 大王製紙株式会社 シートロール形状不良判別装置及び判別方法
JP4747313B2 (ja) * 2006-12-28 2011-08-17 公立大学法人高知工科大学 薄板状部品の検査方法と検査装置
JP2008175549A (ja) * 2007-01-16 2008-07-31 Olympus Corp 欠陥検出装置および欠陥検出方法
JP2009204388A (ja) * 2008-02-27 2009-09-10 Toppan Printing Co Ltd 欠陥検査方法
JP2009300426A (ja) * 2008-05-16 2009-12-24 Nuflare Technology Inc レチクル欠陥検査装置およびレチクル欠陥検査方法

Also Published As

Publication number Publication date
JP2013519069A (ja) 2013-05-23
WO2011084914A3 (en) 2013-02-21
SG182314A1 (en) 2012-08-30
US8270701B2 (en) 2012-09-18
US20110170762A1 (en) 2011-07-14
CN102971619A (zh) 2013-03-13
KR101749782B1 (ko) 2017-06-21
CN102971619B (zh) 2015-08-12
TW201135220A (en) 2011-10-16
KR20120115356A (ko) 2012-10-17
WO2011084914A2 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
JP5702404B2 (ja) センサ内均一性補正を使用した光学的ウェブベース欠陥検出
EP1664749B1 (en) Apparatus and method for automated web inspection
US7187995B2 (en) Maximization of yield for web-based articles
JP7005930B2 (ja) シート検査装置及び検査システム
US11327010B2 (en) Infrared light transmission inspection for continuous moving web
EP3580720A1 (en) Real-time, full web image processing method and system for web manufacturing supervision
KR101203325B1 (ko) 시트-기반 물품에 대한 재고품 제어
KR20130141584A (ko) 웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출
US8045788B2 (en) Product setup sharing for multiple inspection systems
KR102409084B1 (ko) 원통체 표면 검사 장치 및 원통체 표면 검사 방법
JP4563183B2 (ja) スジ状ムラ欠陥の検査方法および装置
JP4563184B2 (ja) ムラ欠陥の検査方法および装置
JP4549838B2 (ja) 光沢度測定方法および装置
Ding et al. An automated cotton contamination detection system based on co-occurrence matrix contrast information
MXPA06007470A (en) Maximation of yield for web-based articles
CN116164657A (zh) 非接触式的热轧钢卷卷径及塔形缺陷在线检测方法及系统
JP2008145316A (ja) 色むら検査装置
MXPA06007469A (en) Inventory control for web-based articles

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150219

R150 Certificate of patent or registration of utility model

Ref document number: 5702404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250