JP5898221B2 - 製造されたウェブ製品のデジタルサンプルに対する評価のコンピュータ支援割り当て - Google Patents

Description

（関連出願の相互参照）
本願は、その開示が参照により本明細書に組み込まれる、２０１０年１０月１９日出願の米国特許仮出願第６１／３９４，４２８号による利益を請求する。

（発明の分野）
本発明は、移動ウェブの検査のためのコンピュータ化システム等の自動化検査システムに関する。

移動ウェブ材料の解析に関するコンピュータ化検査システムは、近代の製造作業に重要であることが判明している。例えば、光学検査センサ（例えば、カメラ）によって捕捉されたデジタル画像に基づいて、製造された製品の品質を自動的に分類できる画像ベースの検査システムを配備することは益々一般的となっている。これらの検査システムは一般に、機械学習、パターン認識、及びコンピューター・ビジョン等の複雑な技術に依存している。

いくつかの検査システムは、多くの場合「識別子」と称されるアルゴリズムを適用し、該識別子は、捕捉された各デジタル画像（即ち「サンプル」）に、評価を割り当て、評価は、最も単純な場合では、サンプルが許容可能若しくは許容不可能のいずれであるかを示し、又は変動の程度若しくは品質のレベルに対応するより精緻な標識のセットを示す。これらのタイプの検査システムは、通常、２つの別個の処理段階にて進行する。

オフラインで行われる第１の工程は、「訓練段階」と称される。訓練段階中、１セットのエキスパートによって、１セットの代表的なサンプル画像に評価（本明細書で「標識」とも称する）を手動で割り当てる。エキスパートは、例えば、手動でウェブ製品を検査し、潜在的な欠陥を識別することにかなりの経験を有するプロセス技術者であってもよい。サンプル画像に基づいて、コンピュータ化検査システムが使用できる、訓練データに関する分類モデルを開発する。このように、訓練段階は、検査プロセスの学習部分と考えることができる。

訓練データからモデルが開発された後、潜在的には、処理の「分類段階」中、新たに製造された製品から捕捉した新しいサンプルにリアルタイムで該モデルが適用されてもよい。即ち、分類モデルは、コンピュータ化ウェブ検査システムによりオンラインで使用されて、サンプルのそれぞれに標識を割り当てることによって新たなサンプルの画像の分類ができる。

コンピュータ化検査システムが新たなサンプル画像を正確に評価する能力は、訓練システムに使用された当初の訓練データ、即ちサンプル画像と、エキスパートが割り当てたそれらの対応する標識との品質及び精度に直接関連する。例えば、訓練セットにおけるサンプルは、所定のウェブ用途から得られることが期待されるデータ分布全体を代表するものである必要がある。したがって、モデルをより効果的に訓練し、過剰適合の効果の低減を補助できる大多数の訓練サンプルを有することが一般に有利であり、前記過剰適合は、ノイズ、又は訓練サンプルの間の他の有意でない相違を区別し、訓練サンプルセット以外の予測性能が乏しいモデルによって特徴付けられる。しかしながら、大多数のサンプルを手動で標識する仕事は、非常に時間がかかり、エキスパートにとって単調で退屈であり得る。更に悪いことには、この標識付けは主観的であり、製品を熟知しているエキスパートは、仕事の性質に起因して、一貫性のない標識を生じる可能性がある。更に、異なるエキスパート評価者間で不一致が生じる可能性がある。これらの困難は、訓練セットのサイズが増大するにつれて増幅し、同一のウェブ材料が、異なる許容耐性（acceptance tolerance）を有する異なるエンドユーザに適用され得るという事実により悪化される。その結果、１人のエンドユーザにとって許容できないと思われ得る製品が、別のエンドユーザにとっては許容できる可能性がある。

一般に、本開示は、所定の製品のサンプルを表す多数のデジタル画像に対して、ユーザがエキスパート評価（即ち、標識）を効率的かつ一貫して割り当てることを援助できる、コンピュータ化評価ツールについて記載する。一例として、標識は、サンプル中に存在する特定の不均一性欠陥の重大度に対応し得る。ユーザが各サンプルを個々に標識する必要がある（単調で退屈であり、主観的であり、間違いやすい場合があり、また一貫性のない標識付けをもたらし得る）代わりに、コンピュータ化ツールは、最も煩わしい局面を自動化することによって、仕事を簡素化すると共に、ユーザに直感的視覚的フィードバックと、データと交流するための手段とを提供する。いくつかの代表的な実施形態において、コンピュータ化ツールは、視覚的に訴える方法でユーザに画像を表示し、ユーザがサンプル間の関係を空間的に視覚化することを可能にすることによって、一貫した標識の割り当ての仕事を容易にする。別の実施形態では、コンピュータは、サンプルを表す多数のデジタル画像に対して、評価（即ち、標識）を自動的に割り当てる。

いくつかの代表的な実施形態では、記載したコンピュータ化評価ツールは、画像のクラスタリング及び順序付けを含む、直感的かつ構成可能な様式でデータを視覚化するための機構を提供する。所定の代表的な実施形態では、コンピュータ化ツールは、データ中に表される多数のタイプの欠陥を探索し、エキスパート評価を効率的に割り当てるための簡便なインターフェースを提供する。加えて、コンピュータ化ツールは、画像の欠陥に関する最も関連したサブセットを自動的に識別及び選択し、このサブセットから、更なるユーザ交流を必要とすることなく、残りの画像に標識を自動的に伝播する能力を含む、非常に大きいデータセットの標識に理想的な能力を有する。

例示的な一実施形態では、装置は、プロセッサ、又はプロセッサを含むコンピュータと、複数の訓練サンプルを記憶するメモリと、プロセッサ上で実行する評価ソフトウェアと、を備える。評価ソフトウェアは、対応する訓練画像の画素値から、訓練画像のそれぞれに関する数値記述子を算出することによって、複数の訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含む。評価ソフトウェアは、第１のクラスタリングプロセスを実行して訓練画像の数値記述子を処理し、訓練画像の代表的なサブセットを自動的に選択し、訓練画像の代表的なサブセットに関する複数の画像クラスターを算出する。

いくつかの代表的な実施形態では、プロセッサ上で実行する評価ソフトウェア、又は、評価ソフトウェアにより提示され、かつユーザからの入力を受信するための入力機構を提供するユーザインターフェースの少なくとも一方は、代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、欠陥のクラスのそれぞれに関する１セットの評価標識とを特定する。所定の代表的な実施形態では、ユーザインターフェースは入力機構を含んで、特定された欠陥クラスのそれぞれに関する画像クラスターのそれぞれに個々の評価標識を割り当てる入力を受信する。

追加の又は代替的な代表的な実施形態では、プロセッサ又はコンピュータは、代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、複数の画像クラスターのそれぞれに、特定された欠陥クラスのそれぞれに関する重大度標識を割り当てる。いくつかの特定の代表的な実施形態では、プロセッサ上で実行される評価ソフトウェアは、代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、複数の画像クラスターのそれぞれに、特定された欠陥クラスのそれぞれに関する重大度標識を割り当てる。

前述した任意の代表的な実施形態では、評価ソフトウェアは、画像クラスターに関する欠陥クラスに割り当てられた個々の評価標識のそれぞれを、その画像クラスター内の訓練画像の全部に自動的に伝播してもよい。

更なる実施形態では、方法は、コンピュータ上で評価ソフトウェアを実行して、それぞれの訓練画像の画像値から、訓練画像のそれぞれに関する数値記述子を算出することによって、複数の訓練画像のそれぞれからフィーチャを抽出する工程を含む。方法は更に、評価ソフトウェアを用いて訓練画像の数値記述子を処理して、訓練画像の代表的なサブセットを自動的に選択する工程と、評価ソフトウェアを用いて第１のクラスタリングプロセスを実行して、訓練画像の代表的なサブセットの数値記述子を処理する工程と、訓練画像の代表的なサブセットに関する複数の画像クラスターを算出する工程と、を含む。

いくつかの代表的な実施形態では、プロセッサ上で評価ソフトウェアが実行され、評価ソフトウェアは、それぞれの訓練画像の画素値から、訓練画像のそれぞれに関する数値記述子を算出することによって、複数の訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含み、評価ソフトウェアは、第１のクラスタリングプロセスを実行して訓練画像の数値記述子を処理して、訓練画像の代表的なサブセットを自動的に選択し、訓練画像の代表的なサブセットに関する複数の画像クラスターを算出する。プロセッサ上で実行する評価ソフトウェア、又は、評価ソフトウェアにより提示され、かつユーザからの入力を受信するための入力機構を有するユーザインターフェースの少なくとも一方は、代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、欠陥のクラスのそれぞれに関する１セットの個々の評価標識とを特定する。

それ故、いくつかの特定の代表的な実施形態では、方法は更に、評価ソフトウェアを用いてユーザインターフェースを提示して、代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、欠陥のクラスのそれぞれに関する１セットの評価標識とを特定するユーザからの入力を受信する工程と、画像クラスターのそれぞれに、特定された欠陥クラスのそれぞれに関する個々の評価標識を割り当てる入力を受信する工程と、画像クラスターのそれぞれに関して、画像クラスターに関する欠陥のクラスに割り当てられた個々の評価標識のそれぞれを、その画像クラスター内の訓練画像の全部に自動的に伝播する工程と、を含む。

しかしながら、別の追加の又は代替的な代表的な実施形態では、方法は更に、代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、欠陥のクラスのそれぞれに関する１セットの評価標識とを特定する、コンピュータからの入力を受信する工程を含む。所定のそのような実施形態では、コンピュータから入力を受信する工程は更に、コンピュータを使用して、代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てることを含む。

技術は、１つ以上の利点を提供することができる。例えば、訓練データの大きいセットを手動で標識付けすることを考慮すると、本明細書に記載したコンピュータ化ツールは、大きいデータセットを標識付けするこの単調で退屈なプロセスの部分を自動化する一方、ループ内の人を、その人の専門技術を効率的に利用する方法で尚維持する。これにより、管理された／半ば管理された分類アルゴリズムの訓練段階を介して開発されたモデルを、コンピュータ化検査システムによって上手く適用することができる。

本発明の１つ以上の実施形態の詳細を添付図面及び以下の説明に示す。本発明の他の特徴、目的、及び利点は、説明及び図面、並びに特許請求の範囲から明らかとなるであろう。

本明細書に記載される技術が適用され得るウェブ製造及び変換システムの一例を示す構成図。 例示的なウェブ製造工場における、検査システムの例示的な実施形態を示す構成図。 ソフトウェア評価ツールの作動の一例を示すフローチャート。 評価ツールにより提示されるユーザインターフェースのフィーチャの例。 評価ツールにより提示されるユーザインターフェースのフィーチャの例。 評価ツールにより提示されるユーザインターフェースのフィーチャの例。 評価ツールにより提示されるユーザインターフェースのフィーチャの例。 評価ツールにより提示されるユーザインターフェースのフィーチャの例。 評価ツールにより提示されるユーザインターフェースのフィーチャの例。

図１は、本明細書に記載される技術が適用され得るシステム２の一例を示す構成図である。ウェブ製造工場６Ａ〜６Ｎ（ウェブ製造工場６）は、ウェブロール７の形態のウェブ材料を生産及び出荷する製造サイトを表す。ウェブ製造工場６は、地理的に分散していてもよく、各ウェブ製造工場は、１つ以上の製造プロセスラインを有してもよい。一般に、ウェブロール７は、製造工場６のいずれかにより製造され、更なる加工のためにウェブ製造工場間で出荷されてもよい。完成したウェブロール１０は変換サイト８Ａ〜８Ｎ（変換サイト８）に出荷されて、製品１２Ａ〜１２Ｎ（製品１２）に変換される。図１に示すように、変換制御システム４、ウェブ製造工場６Ａ〜６Ｍ（ウェブ製造工場６）及び変換サイト８Ａ〜８Ｎ（変換サイト８）は、コンピュータネットワーク９によって相互接続されて、ウェブ材料の製造と、製品１２への変換に関する情報（例えば、欠陥情報）を交換する。

一般に、ウェブロール７、１０は、既製のウェブ材料を含んでもよく、そのウェブ材料は、ある方向には一定の寸法を、またその直交方向には所定の又は不定の長さを有する任意のシート状材料であってよい。ウェブ材料の例には、金属、紙、織布、不織布、ガラス、ポリマーフィルム、フレキシブル回路又はこれらの組合せが含まれるが、これらに限られない。金属には、鋼又はアルミニウム等の材料を挙げることができる。織布には一般的に様々な織物が挙げられる。不織布には、紙、濾材又は絶縁材料等が挙げられる。フィルムには、例えば積層体及びコーティングされたフィルムを含む無色（clear）かつ不透明なポリマーフィルムが挙げられる。

変換サイト８は、ウェブ製造工場６から完成ウェブロール１０を受容し、完成ウェブロール１０を個々のシートに変換して、消費者１４Ａ〜１４Ｎ（消費者１４）に販売される製品１２に組み込んでもよい。変換システムは、例えば製品に関連した等級レベル等の様々な基準に基づいて、所定の完成ウェブロール１０がどの製品１４に変換されるかを決定してもよい。即ち、どのシートがどの製品１２に組み込まれるべきかという選択プロセスは、各シートが満たしている特定の等級レベルに基づき得る。本願に記載する技法に従えば、加工現場８はまた、完成したウェブロール１０の異常、即ち潜在的な欠陥に関するデータを受領してもよい。最終的に、加工現場８は、完成したウェブロール１０を個々のシートに変換してもよく、それらのシートは、消費者１４Ａ〜１４Ｎ（消費者１４）に販売される製品１２に組み込まれてもよい。

製品１２に組み込むための個々のシートに加工する準備のできた完成したウェブロール１０を生産するために、未完成のウェブロール７は、１つのウェブ製造工場、例えばウェブ製造工場６Ａにて、あるいは複数の製造工場にて、多数のプロセスラインによるプロセスを受けることが必要となり得る。各プロセスに関して、ウェブロールは典型的に、ウェブがそこから製造プロセスの中へ送られるソースロールとして使用される。各プロセスの後、ウェブは通常ウェブロール７に再度収集されて、別の製品ラインに移動されるか又は別の製造工場に出荷され、次にそこで広げられ、処理され、かつ再度ロールに収集される。最終的に完成したウェブロール１０が製造されるまでこのプロセスが繰り返される。多数の応用例で、各ウェブロール７のウェブ材料は、１つ以上のウェブ製造工場６の１つ以上の生産ラインで多数のコーティングを施されることがある。このコーティングは一般に、最初の製造プロセスの場合にはベースウェブ材料の露出表面に、後の製造プロセスの場合には既に施されたコーティングの露出表面に施される。コーティングの例には、接着剤、ハードコート、低接着性裏面コーティング、金属化コーティング、中性密度コーティング、電気的に導電性若しくは非導電性コーティング、又はこれらの組合せが挙げられる。

ウェブロール７の所定の１つに関する各製造プロセス中に、１つ以上の検査システムは、ウェブの異常情報を取得する。例えば、図２に示すように、生産ラインのための検査システムは、ウェブが処理されるとき、例えば、１つ以上のコーティングがウェブに塗布されるとき、連続して移動するウェブに直近して配置される１つ以上の画像取得装置を含んでもよい。画像取得装置は、連続して移動するウェブの連続的な部分を走査してデジタル画像を取得する。検査システムは、１つ以上のアルゴリズムによって画像を解析して、所謂「局所」異常情報を生成してもよく、前記情報は、ウェブが変換される最終的な製品１２に応じた実際の「欠陥」を表し得る。検査システムは、例えば、各欠陥が単一範囲に制限される「点」欠陥に関する異常情報を生成し得る。別の例として、検査システムは、ウェブ材料が広い範囲にわたって不均一な変動性を有する、「不均一」欠陥又は「不均一性」に関する異常情報を生成してもよい。そのような不均一性の例には、まだら、びびり模様、バンディング及び筋が挙げられる。

ウェブ製造工場内の解析用コンピュータは、捕捉された各デジタル画像（即ち、「サンプル」）に品質評価（即ち、標識）を割り当てる、本明細書で「識別子」と称するアルゴリズムを適用してもよい。解析用コンピュータは、ウェブが製造されているときにリアルタイムで、又はウェブに関する全画像データが捕捉された後にオフラインで、アルゴリズムを適用してもよい。いずれの場合でも、標識は、ウェブの対応する各領域を品質レベルに分類する。一例において、標識は、各領域を許容可能又は許容不可能のいずれかとして分類する。別の例では、識別子は、変動の程度に相当する複雑な標識のセットを割り当ててもよい。割り当てられた標識は、最終的に、ウェブが変換される特定の製品１２に基づいて、ウェブ材料の領域の許容又は拒絶に使用され得る。

分類プロセス中、解析用コンピュータは、訓練データに基づいて開発された識別モデルを適用することによって、捕捉されたデジタル画像を分類する。訓練データは、典型的には、アルゴリズムの「訓練段階」中に処理され、訓練データと最良に一致する識別モデルが開発される。即ち、訓練段階と分類モデルの開発との後、訓練データに分類モデルを適用することは、高い確率の正確さで訓練データを標識するであろう。訓練データからモデルが開発された後、解析用コンピュータは、処理の「識別段階」中、潜在的にはリアルタイムで、新たに製造された製品から捕捉したサンプルに該モデルを適用する。

いくつかの実施形態では、所定の製造ウェブのデジタル画像の識別は、変換制御システム４によってオフラインで行われてもよい。変換制御システム４は、所定のウェブの識別に基づいて、各ウェブロール１０用の変換プランを選択及び生成し得る。識別は、所定の異常が１つの製品、例えば、製品１２Ａで欠陥をもたらし得る一方、その異常が異なる製品、例えば、製品１２Ｂでは欠陥の原因となり得ない点で用途特異的であり得る。各変換計画は、最終的に消費者１４に販売され得る製品１２を作製するために、対応する完成したウェブロール１０を加工処理する規定の指示を表すものである。例えば、ウェブロール１０は、最終製品、例えば、ノートブックコンピュータのディスプレーに適用するための特定寸法のシートに変換され得る。別の例として、この同じウェブロール１０は、携帯電話のディスプレーに適用するための最終製品に変換されてもよい。変換制御システム４は、異常に適用され得る異なる欠陥検出アルゴリズムに照らして、どの製品がウェブの最大利用率といった特定のパラメータを最良に達成するかを識別することができる。

図２は、図１の例示的なウェブ製造工場６Ａ内にある、ウェブプロセスライン２１の一部分の中に配置された検査システムの例示的な実施形態を示す構成図である。この例示的な実施形態において、ウェブ２０の一区間が、２つの支持ロール２２、２４の間に配置されている。画像取得デバイス２６Ａ〜２６Ｎ（画像取得デバイス２６）は、連続して移動するウェブ２０に直近して配置され、連続移動ウェブ２０の連続的な部分を走査して画像データを取得する。取得用コンピュータ２７が画像取得デバイス２６から画像データを収集し、その画像データを解析用コンピュータ２８に送信する。

画像取得デバイス２６は、移動ウェブ２０の連続的な部分を読取ることができ、またデジタルデータストリームの形態で出力を提供することができる従来の撮像デバイスであってもよい。図２に示すように、撮像デバイス２６は、デジタルデータストリームを直接提供するカメラ又は追加のアナログ−デジタルコンバータを有するアナログカメラであってもよい。例えばレーザースキャナ等の他のセンサが、画像取得デバイスとして使用されてもよい。ウェブの連続的な部分は、データが単一のラインの連続によって得られているということを示す。単一のラインは、センサ要素又は画素の一列に位置する、連続して移動するウェブの領域を含む。画像を取得するのに好適なデバイスの例には、Ｄａｌｓａ（Ｗａｔｅｒｌｏｏ，Ｏｎｔａｒｉｏ，Ｃａｎａｄａ）のＰｉｒａｎｈａ Ｍｏｄｅｌｓ、又はＡｔｍｅｌ（Ｓａｎ Ｊｏｓｅ，Ｃａｌｉｆ）のＭｏｄｅｌ Ａｖｉｉｖａ ＳＣ２ ＣＬ等のラインスキャンカメラが挙げられる。更なる例には、Ｓｕｒｆａｃｅ Ｉｎｓｐｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ＧｍｂＨ（Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ）の、アナログ−デジタルコンバータと連結したレーザースキャナが挙げられる。

画像データは、場合により、画像の取得を支援する光学アセンブリの使用を通じて取得することができる。このアセンブリはカメラの一部であってもよく、又はカメラから分離されていてもよい。光学アセンブリは、撮像プロセス中、反射光、透過光又は反射透過光（transflected light）を使用する。反射光は、例えば、表面のスクラッチ等、ウェブ表面の変形によって生じた欠陥の検出に、しばしば好適である。

いくつかの実施形態において、基準マークコントローラ３０が基準マークリーダ２９を制御して、ロール及び位置の情報をウェブ２０から集める。例えば、基準マークコントローラ３０は、バーコード又は他のしるしをウェブ２０から読取るための１つ以上の写真光学センサを有していてもよい。加えて、基準マークコントローラ３０は、ウェブ２０及び／又はローラ２２、２４と係合した１つ以上の高精度エンコーダから位置信号を受信してもよい。この位置信号に基づいて、基準マークコントローラ３０は、検出された各基準マークに対する位置情報を判定する。基準マークコントローラ３０は、検出された異常に関連付けるために、ロール及び位置の情報を解析用コンピュータ２８に通信する。

解析用コンピュータ２８は、取得用コンピュータ２７から得られた画像データのストリームを処理する。即ち、本明細書に記載した技術によれば、解析用コンピュータ２８は、識別子を適用して、訓練データ３５に基づいて開発された分類モデル３４（「モデル３４」）に従って、捕捉された各デジタル画像に品質評価（即ち、標識）を割り当てる。識別子及び識別子構造の更なる詳細は、ＰＣＴ国際出願公開第２０１０／０５９６７９号に記載されている。

訓練データ３５は、典型的には、１人以上のエキスパート３８によって評価を割り当てられた代表的なサンプルのデジタル画像の大きいセットからなる。デジタル画像は、例えば、ウェブ２０、又はウェブプロセスライン２１が以前に生産した別のウェブから取得したサンプルを表すものであってもよい。

それ故、いくつかの代表的な実施形態では、訓練サーバー３６はソフトウェア実行用の作動環境を提供し、前記ソフトウェアは、コンピュータ化エキスパート評価ツール３７（「評価ツール３７」）を提供して、エキスパート３８が効率的かつ一貫して、サンプルを表す多数のデジタル画像に評価（即ち、標識）を割り当てることを援助する。即ち、１人以上のエキスパート３８は、エキスパート評価ツール３７により提示されるユーザインターフェースと交流して、サンプルセットの各デジタル画像に品質評価を割り当てる。本明細書に更に詳細に記載されるように、エキスパート評価ツール３７はユーザインターフェースを提供し、前記ユーザインターフェースは、１人以上のエキスパート３８が訓練データ３５中の画像のクラスターを視覚化及び変更し、訓練データを探索して、表された欠陥のタイプを識別し、画像にエキスパート評価を割り当てることを可能にする。

より詳細には、エキスパート評価ツール３７は、サンプル画像のクラスタリング及び順序付けのためのフィーチャを含む、データを直感的かつ構成可能な様式で視覚化するための機構を提供する。エキスパート評価ツール３７はまた、データ中に表された多数のタイプの欠陥を探索し、エキスパート評価を効率的に割り当てるための簡便なインターフェースを提供する。加えて、エキスパート評価ツール３７は、欠陥に関する最も関連した画像のサブセットを自動的に識別及び選択し、更なるユーザ交流を必要とすることなく、このサブセットからの標識を残りの画像に自動的に伝播する能力を含む、非常に大きいデータセットの標識に理想的な能力を有する。これにより、管理された／半ば管理された分類アルゴリズムの訓練段階の結果を、製造工場６内のコンピュータ化検査システムによって上手く適用することができる。エキスパート３８は、ローカルユーザインターフェースを介して（例えば、製造工場６Ａ内のエキスパート３８Ａ）、又はネットワーク９によって遠隔から（例えば、エキスパート３８Ｂ）訓練サーバー３６と直接交流できる。

別の代表的な実施形態では、サンプルを表す多数のデジタル画像に評価（即ち、標識）を自動的に割り当てるコンピュータを、更に又は代替的に有することが所望され得る。例えば、訓練サーバー３６は、例えば各画像内に観察されるいくつかの欠陥に基づいて、類似する画像を欠陥クラス内に纏めることによって、いくつかの欠陥クラスの判断を自動的に提供し、それによってサンプルセットの各デジタル画像に品質評価を自動的に割り当てるソフトウェア実行用の作動環境を提供してもよい。このことは、例えば、画像から抽出されたフィーチャを比較し、それらの類似性を算出することにより行うことができる。これを行なった後、例えば画像を、欠陥を有する他の画像と比較し、現在の画像内に示される重大度を他に関連して判断することによって、標識の初期判断を各欠陥クラス内の画像に自動的に割り当てることができる。

エキスパート評価ツール３７は、少なくとも部分的に又は完全にでも、ソフトウェア命令が訓練サーバー３６の１つ以上のプロセッサにより実行されると同時に実施されてもよく、前記プロセッサは、１つ以上のハードウェアマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰｓ）、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲート配列（ＦＰＧＡｓ）、又は任意の他の等価な集積若しくはディスクリート論理回路、及びそのような構成要素の任意の組み合わせを含む。ソフトウェア命令は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、プログラム可能なリード・オンリー・メモリ（ＰＲＯＭ）、消去可能プログラム可能なリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能でプログラム可能なリード・オンリー・メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光学媒体、又は他のコンピュータ−可読記憶媒体等の非一時的なコンピュータ可読媒体内に記憶されてもよい。

例を目的として、製造工場６Ａ内に配置されるように示されたが、訓練サーバー３６及び評価ツール３７は、製造工場の外部、例えば中央位置又は変換サイトに位置してもよい。例えば、訓練サーバー３６及び評価ツール３７は、変換制御システム４内で作動してもよい。この例では、訓練サーバー３６は、ウェブ材料２０から収集されたサンプルへの適用のために、分類モデル３４を解析用コンピュータ２８に通信する。

訓練データ３５及び分類モデル３４が確立された後、訓練サーバー３６は訓練データを処理して、収集コンピュータ２７から受信されたウェブ材料２０に関する画像データのリアルタイム解析及び分類での使用のためのモデル３４を生成する。この方法で、ウェブ材料２０の領域の新たな画像は、分類モデル３４に従って分類され得る。解析用コンピュータ２８は、ニューラル・ネットワーク、適応制御、データマイニング、遺伝的プログラミング、クラスター分析、主成分分析、パターン認識、及びコンピューター・ビジョン含む機械学習等の、エキスパートにより評価された訓練データ３５を利用し得る任意の技術を使用することができる。検出され得る欠陥の例には、まだら、びびり模様、バンディング及び筋等の不均一性、並びに斑点、スクラッチ、油たれを含む部分的欠陥が挙げられる。

解析用コンピュータ２８は、ウェブ２０のロール識別情報及び各異常の位置情報を含めて、ウェブ２０の異常情報をデータベース３２に記憶する。例えば、解析用コンピュータ２８は、基準マークコントローラ３０により生成される位置データを使用して、プロセスラインの座標系内で各異常の空間的位置又は画像領域を判定してもよい。即ち、解析用コンピュータ２８は、基準マークコントローラ３０から得た位置データに基づいて、現在のプロセスラインにより使用されている座標系内における、各異常のｘ、ｙ軸上の位置、そしておそらくはｚ軸上の位置又は範囲を判定する。例えば、座標系は、ｘ次元が、ウェブ２０を横断する距離を表し、ｙ次元がウェブの長さに沿った距離を示し、ｚ次元がウェブの高さを表すように定義されてもよく、これはコーティング、材料又はウェブに既に適用された他の層の数に基づいてもよい。

更に、ｘ、ｙ、ｚ座標系の原点は、プロセスライン内のある物理的な箇所で規定されてもよく、典型的には、ウェブ２０の初期供給点の配置に関連付けられる。データベース３２は、１つ以上のデータベースサーバーを実行するデータストレージファイル又は１つ以上のデータベース管理システム（ＤＢＭＳ）を含む、様々な形態の任意の数で実行されてもよい。データベース管理システムは、例えば、リレーショナル（ＲＤＢＭＳ）、階層的（ＨＤＢＭＳ）、多次元（ＭＤＢＭＳ）、オブジェクト指向（ＯＤＢＭＳ若しくはＯＯＤＢＭＳ）又はオブジェクトリレーショナル（ＯＲＤＢＭＳ）データベース管理システムであってもよい。一例として、データベース３２は、ＳＱＬ Ｓｅｒｖｅｒ（商標）によってＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから提供されているリレーショナルデータベースとして実行される。

処理が終了した後、解析用コンピュータ２８は、データベース３２に収集されたデータを、ネットワーク９を介して変換制御システム４に送信し得る。例えば、解析用コンピュータ２８は、ロール情報と異常情報、及び各異常に対応するサブ画像を、続くオフラインでの分類モデル３４に従った詳細な解析のために変換制御システム４に通信してもよい。例えば、この情報は、データベース３２と変換制御システム４との間のデータベース同期によって通信されてもよい。いくつかの実施形態では、製品１２のうちの、各異常によって欠陥が発生し得る製品を、解析用コンピュータ２８ではなく変換制御システム４が判定してもよい。完成したウェブロール１０についてのデータがデータベース３２に収集されると、そのデータは、変換サイト８に通信され、及び／又は除去可能な若しくは水性のマークで直接ウェブの表面上にて、あるいは、ウェブ上の異常をマークする前若しくはその間にウェブに貼り付けられ得るカバーシート上にて、ウェブロール上の異常をマークするために使用されることができる。

図３は、評価ツール３７の作動の一例を示すフローチャートである。最初に、評価ツール３７は、典型的には画像（５０）のセットの形態で訓練データ３５を入力として受信する。次に、評価ツール３７のフィーチャ抽出ソフトウェアモジュールが画像のそれぞれを処理してフィーチャ（５２）を抽出する。フィーチャ抽出は、各画像の数値記述子を、各画像に固有の関連した情報のコンパクトな数値表現として提供する。フィーチャは、訓練セット中の画像間の関係に関する有用な情報を保存すると同時に、情報を与えない画像特性を排除する任意の方法で抽出されてもよい。

通常のフィーチャ抽出技術の例としては、画像を１セットのフィルターで畳み込み、フィルタリングされた画像の統計値を算出し、又は色若しくは強度ヒストグラムに基づいてフィーチャを抽出することが挙げられる。時には、画素値がフィーチャとして使用され得るが、この場合、画像全体を記憶する必要があるため、記述子にコンパクト性が存在しない。一般に、得られたフィーチャは、対応する画像内の関連情報のコンパクトな記述として処理される。一実施形態では、フィーチャは特定用途向けであるが、その代わりに、異なる用途が、異なるフィーチャサブセットを使用する、フィーチャの豊富なセットを提供する。即ち、この例では、フィーチャは、複雑な特定用途向けのフィルターの使用を介して抽出されない。むしろ、フィルターは、画像の類似性を測定するための画像間の直接的な対比較のみを容易にする。評価ツール３７は、任意の特定のフィーチャ抽出方法論による使用に限定されず、他のタイプのフィーチャがより適切である用途に容易に適用することができる。

関連画像情報をコンパクトな形態に封入する例示的な一方法は、特にそれがテクスチャに関連する場合、画像全域にわたって画素フィーチャの小さい共分散行列を算出することである。この小さい共分散行列（例えば、５×５）を抽出した後、画像を直接扱う代わりに、画像間の対比較をそれらの行列のみに基づいて効率的に行うことができる。例えば、グレースケール画像は二次元配列として規定され、画素座標ｘ及びｙによってＩ（ｘ、ｙ）としてインデックスされる。各画素位置（ｘ、ｙ）において、画素の強度値と、その画素における第１及び第２の導関数とに基づいてフィーチャベクトルが抽出される。

画像の導関数（勾配）は、各画素における強度間の前方又は中心差分により単純に近似することができる。最後に、これら画素フィーチャの共分散行列が画像全体にわたって算出される。

式中、Ｎは、画像内の画素数であり、

は、画素フィーチャの平均である。アルゴリズムのクラスタリング段階を含む、続く処理工程では、画像間の対距離を算出することが有用であり得る。これらの共分散行列記述子の場合、対距離は、

として算出され、式中、λ_ｉ（Ｃ_Ｉ１；Ｃ_Ｉ２）は、２つの共分散行列のｉ番目の一般化固有値である。

更なる詳細は、参照により本明細書に組み込まれるＯ．Ｔｕｚｅｌ，Ｆ．Ｐｏｒｉｋｌｉ，ａｎｄ Ｐ．Ｍｅｅｒ．「Ｒｅｇｉｏｎ Ｃｏｖａｒｉａｎｃｅ：Ａ Ｆａｓｔ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」。Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００６に見出すことができる。

訓練画像のそれぞれからフィーチャを抽出した後、評価ツール３７はクラスタリング段階（５３）に入り、画像から抽出された記述的フィーチャに基づいて画像がクラスタリングされる。分類アルゴリズムの訓練及び試験に使用される画像のセットが、多くの場合、ほぼ何万もの非常に大きい画像であることは希なことではない。この多数の画像を短時間で詳細にクラスタリング及び視覚化することは、殆どの大きいデータセットがかなりの余剰を含むため、一般に実際的ではなく、また必要でない可能性があり、したがって代表的なサブセットのみを詳細に解析することが必要である。

いくつかの代表的な実施形態では、コンピュータ又はプロセッサは、該コンピュータ又はプロセッサ上で実行するソフトウェアから情報を自動的に受信し、前記ソフトウェアは、代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、欠陥のクラスのそれぞれに関する１セットの評価標識と、を特定する。このように、そのような所定の実施形態では、コンピュータ又はプロセッサは、代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てるソフトウェア（例えば、評価ツール３７）を実行する。いくつかの代表的な特定の実施形態では、コンピュータ又はプロセッサ上で実行される評価ソフトウェアは、代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てる。

所定の代表的な実施形態では、存在するいくつかの欠陥タイプの判定と、それらの各欠陥クラスにおける画像の重大度標識の割り当てとの一方又は両方は、ユーザ入力として受信され、及び／又は、例えば、コンピュータ若しくはプロセッサ上のソフトウェアを実行して、それら入力の全部若しくは一部を自動的に計算若しくは判断することによって、コンピュータからの入力として受信されてもよい。しかしながら、当業者は、コンピュータからの入力の受信は、様々な方法で達成できることを理解するであろう。

本明細書で角度量子化（Angle Quantization）法と称される一例として、コンピュータは、以下の工程を実行することにより入力を受信してもよく、この工程は、別の工程によって特定の順序に制限又は限定されない限り、任意の順序で行うことができる。第１の工程（上記に更に記載されている）は、処理する画像の代表的なサブセットを選択する工程と、これら画像のそれぞれから記述的な数値フィーチャベクトルを抽出する工程と、それらをクラスタリングする工程と、を含む。存在するいくつかの欠陥タイプは、最初に、全体的な重心と称される空間内の全画像の重心を算出し（即ち、全画像から抽出されたフィーチャ記述子の平均）、次に他のクラスターに関するベクトルと比較した、全体的な重心から各個別クラスターの重心へのベクトルの角度を算出することによって、コンピュータ又はプロセッサ上で実行するソフトウェアにより判断することができる。おそらくは多数のクラスターの１セットが、それらの間に非常に小さい角度を有するベクトルを有すると見出された場合、このクラスターのセットは、単一タイプの欠陥を有する画像を表すと仮定することができる。そのような小さい角度を有するベクトルを有するクラスターのセットの全部を識別することにより、存在するいくつかの欠陥タイプが判定されるであろう。

欠陥の各タイプを識別した後、これらのタイプは、最初にこの欠陥タイプを含むクラスターのベクトルを正規化し、次にそれらの平均を算出することにより、全体的な重心を起源とする単一ベクトルによって表すことができる。最後に、所定の欠陥クラスにおける画像の重大度標識は、この画像のベクトル（フィーチャ空間内における全体的な重心からこの画像への）の、特定の欠陥タイプに関する代表的なベクトルに対する投影を算出することにより、自動的に判断することができ、欠陥の重大度は、この投影の長さによって与えられる。

本明細書でトピック・モデリング（Topic Modeling）法と称される別の例として、コンピュータは、以下の工程を実行することにより入力を受信してもよく、この工程は、別の工程によって特定の順序に制限又は限定されない限り、任意の順序で行うことができる。画像が角度量子化法におけるようにクラスタリングされた後、各画像（又は画像の数が多い場合、各クラスターの重心）は、特定のサイズの正方形パッチに分割される。次に、発生確率的プロセスとして画像形成がモデリングされ、その目的は、画像が生成される理論的プロセスをできる限り正確にモデリングすることを試みることである。この発生モデルに従って、各画像が欠陥タイプの混合物から構成され、欠陥タイプのそれぞれは、この画像の構成にどのパッチが選択されるかに影響を与えるであろう。この発生プロセスを支配するパラメータは、例えばマルコフ連鎖モンテカルロサンプリング等の確率推論技術を用いて、画像から学習される。この推論の結果は、これらの画像内に見出される様々なタイプの欠陥のモデルを生成し、セット内の各画像は、これらの欠陥のいくつかの混合物としてモデリングされている。これもまた、所定の画像内での各欠陥タイプの寄与（即ち、重大度レベル）を測定する手段を提供するであろう。

代表的な追加の又は代替的な実施形態では、１人以上のエキスパート３８は、評価ツール３７により提示されるユーザインターフェースと交流して、サンプルセットの各デジタル画像に品質評価を割り当て、評価ツール３７は、画像の代表的なサブセットを自動的に選択して、標識プロセスにおいてエキスパート３８を援助する（５４）。エキスパート３８がデータを能動的に探索し、存在する欠陥のタイプを識別することを援助するために、評価ツール３７は、訓練データ３５内に存在する異なるタイプの欠陥の極度の例と、通常レベルの欠陥を有する画像の例とを含むようにサブセットを自動的に選択する。

そのような代表的な実施形態の１つでは、評価ツール３７は、ウェブベース製品の画像における不均一性（即ち、テクスチャ）を特徴付けるのに十分であると認められた画素強度の分散を使用して、比較的極度の欠陥性の場合を区別する。更に、画素分散の算出は、比較的計算コストが低く、このことは訓練画像の非常に大きいセットに有利であり得る。上記に概略した共分散行列記述子の場合、画素強度分散は、行列Ｃ_Ｉの左上の要素内に与えられ、したがって更なる算出は不要である。この例では、サブセットの選択における第１の工程は、最も高い分散を有するＮ_１画像を識別することである（５４）。これらは、データ３５内の最も欠陥の多い画像Ｎ_１にほぼ対応する。サブセットはセット全体の代表であることも重要であるため、評価ツール３７は、残りのセットからＮ_２画像も無作為に選択する。このＮ_１＋Ｎ_２画像のセットは、初期サブセットＳ_０（図３で「サブセット０」と示される）を含む。サイズＮ_１及びＮ_２は、ユーザにより選択される。

加えて、評価ツール３７は、未だＳ_０に含まれていない、Ｓ_０でよく表されない任意のアウトライアーを含むようにサブセットを生成する（５６）。上述した距離関数（ｅｑ．４）を使用して、Ｓ_０内に含まれない残りの各画像を処理して、フィーチャ空間内におけるそのｋ最近隣（ｋＮＮｓ）を識別する。用語「フィーチャ空間」は、上記のｅｑ．１に規定されたフィーチャベクトル等のフィーチャベクトルの次元により規定される多次元空間を指す。そのｋＮＮｓの全部に対する距離が、閾値Ｔ_ｄよりも大きい場合、画像はアウトライアーと考慮される。パラメータｋ及びＴ_ｄはエキスパート３８により構成されてもよいが、デフォルト値を使用してもよい。このことはエキスパート３８が異なる値を試み、結果を視認することを可能にする。デフォルト値の例は、例えば、ｋ＝５及びＴ_ｄ＝１．０であってもよい。評価ツール３７は、この方法で選択された任意のアウトライアーを、以前選択されたＮ_１＋Ｎ_２画像に追加して、完全なサブセットＳ_１（図１で「サブセット１」と示される）を形成する。

訓練画像の代表的なサブセットＳ_１を選択した後、評価ツール３７は、そのサブセットにクラスタリングアルゴリズムを適用して、サブセットＳ_１内の画像から比較的類似する画像の小グループを形成する（６０）。評価ツール３７はクラスターを形成して訓練データセットのより直感的視覚化を提示し、エキスパート３８の探索をより容易にする。一例において、評価ツール３７はボトムアップ型（bottom-up）凝集クラスタリングアルゴリズムを適用して、それらの共分散行列記述子に従って、画像クラスターをサブセットＳ_１内に形成する。このプロセスでは、各画像は当初別個のクラスターとして処理され、以前確立されたクラスターを使用して、連続的なクラスターが識別される。例えば、（４）を使用して算出された画像間距離に基づいて、評価ツール３７は、訓練データ間の階層的な相互関係（inter-relationship）を封入する凝集型階層的関連ツリーを形成する。評価ツリーは所定の地点でプロセスを終了して（即ち、関連ツリーを「中断」して）、エキスパート３８により特定される、設定された数のクラスターＮ_ｃを生成する。凝集型階層的クラスタリングに関する更なる情報は、Ｗ．Ｈ．Ｅ．Ｄａｙ ａｎｄ Ｈ．Ｅｄｅｌｓｂｒｕｎｎｅｒ，「Ｅｆｆｉｃｉｅｎｔ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ａｇｇｌｏｍｅｒａｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｃｌｕｓｔｅｒｉｎｇ Ｍｅｔｈｏｄｓ」Ｊｏｕｒｎａｌ ｏｆ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｖｏｌ．１，ｎｏ．１，ｐｐ．７〜２４，１９８４に見出すことができる。

多数のクラスター（例えば、いくつかの場合では、数百）が存在し得るため、評価ツール３７はまた、最も類似するグループが互いに直近して表示されるように、クラスターを互いに関連して順序付ける。これは評価ツール３７が、この場合はクラスター自体の間の関係を封入する第２の凝集型階層的関連ツリーを形成することにより達成される。それ故、クラスターの順序付けは、第２のツリーの最下レベル（リーフノード）を観察することにより得ることができる。第２の階層的関連ツリーを形成するために、評価ツリー３７は画像クラスターを対で解析し、各クラスター対の間の対的な（pair-wise）クラスター間距離を算出する。クラスターのそれぞれの間のクラスター間距離を使用して、第２の関連ツリーを形成する。一例では、評価ツリー３７は、２つのクラスター内の画像の間の個々の距離の中央値として、２つのクラスターの間の距離を算出する。評価ツール３７は、第２のツリーのリーフノードの配置を用いて、画像クラスターの表示を調整し、それによって最も類似する画像クラスターを互いに空間的に直近して表示する。これはエキスパート３８が、訓練データ中に存在し、かつ訓練データにより表される欠陥を理解することを援助する。

いくつかの代表的な実施形態では、関連ツリーの開発により訓練画像をクラスタリングした後、評価ツール３７はユーザインターフェースを提示し、エキスパートはそのインターフェースによって、クラスターを視覚化し、クラスタリングが視覚的に許容できない場合に画像を再割り当てする機会を与えられる（６２）。次に、ユーザは、各画像を独立して標識するのとは対照的に、画像のクラスターのそれぞれにエキスパート評価を割り当て（６４）、そして評価ツール３７が更なるユーザ交流を必要とせずにこれらエキスパート評価を残りの画像のセットに伝播し、かくしてデータセット全体に関するエキスパート評価をもたらす（６６）。即ち、評価ツール３７は、明細書に記載したアルゴリズムを適用して、訓練画像のデータセット全体にエキスパート評価を自動的に割り当てる。換言すれば、エキスパート３８は、評価ツール３７により提供されるユーザインターフェースを使用して、識別された各欠陥クラスにおけるサブセットＳ_１内の全部（又はいくつか）の画像クラスターにエキスパート評価を割り当てることのみを必要とする。

評価ツール３７は、サブセットＳ_１内に含まれない非標識画像を含む、残りの非標識画像にエキスパート評価を自動的に伝播する。各非標識画像Ｉ_ｕに関して、評価ツール３７は、この画像から各標識画像Ｉ_ｌ（即ち、エキスパート評価が割り当てられているサブセットＳ_１内の各画像）への対距離を、距離関数（ｅｑ．４）を使用して算出する。次に、これらの距離を

に従って、対的アフィニティー（wise affinity）に変換する（式中、帯域幅パラメータσは、距離上で機能するヒューリスティックに従って選択される）

これらのアフィニティーは、重量に正規化される。

量

は、フィーチャ空間を通して酔歩において画像Ｉ_ｕから画像Ｉ_ｌへ移行する確率に対応し、ｗは、

のように正規化される。

最後に、画像Ｉ_ｕが、この欠陥クラスにおけるエキスパート評価ｅに属する確率が、

のように算出される（式中、

は指示関数であり、したがって、標識画像

が、この欠陥クラスにおけるエキスパート評価ｅに割り当てられた場合、

であり、そうでない場合、ゼロである）。帰属の確率ｐ_ｅ（Ｉ_ｕ）を、可能な各エキスパート評価ｅに関して算出し、最も高い確率を有するものを非標識画像Ｉ_ｕのエキスパート評価として選択する。評価ツール３７は、各欠陥クラスにおいて、このプロセスを反復し、非標識画像の全部に関して反復される。標識伝播に関する更なる例示的な情報は、その全内容が参照により本明細書に組み込まれるＸ．Ｚｈｕ ａｎｄ Ｚ．Ｇｈａｈｒａｍａｎｉ，「Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｌａｂｅｌｅｄ ａｎｄ Ｕｎｌａｂｅｌｅｄ Ｄａｔａ ｗｉｔｈ Ｌａｂｅｌ Ｐｒｏｐａｇａｔｉｏｎ」。ＣＭＵ ＣＡＬＤ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＡＬＤ−０２−１０７，２００２に見出すことができる。

再び図３を参照すると、いくつかの代表的な実施形態では、エキスパート３８が画像の各クラスターにエキスパート評価を割り当て、残りの画像に標識が自動的に伝播された後、評価ツール３７は、エキスパートが訓練データ３５を探索し、必要であれば標識割り当てを調整して（６８）、訓練データ３５のセット全体に関するエキスパート評価を最終的に生成することを可能にする。この方法で、評価ツール３７は、自動的サブセット選択と、続く訓練データ３５内の画像のより大きいセットに対するエキスパート評価の伝播との機能性を提供する。その結果、評価ツール３７は、画像が有意な余剰を含み得る場合であっても、エキスパート３８が容易に操作し、大きいデータセット（例えば、ほぼ何万もの画像）に評価を割り当てることを可能にし得る。

図４は、評価ツール３７のユーザインターフェースにより提示される例示的なウィンドウ８０の図であり、エキスパート３８は、このインターフェースによって、クラスタリングプロセスを調整するパラメータを設定する。この例では、ウィンドウ８０は入力機構を含み、エキスパート３８はこの機構によって、訓練画像のディレクトリー、訓練画像のフォーマット、結果を出力するためのディレクトリー、及び評価ツールが画像の新たなクラスタリングを行う必要があるか、又は読取りが以前のクラスタリングプロセスからの入力結果であるかを示す選択を特定する。

加えて、エキスパート３８は、クラスタリングプロセスを調整する所定のパラメータを特定することができる。詳細には、ウィンドウ８０は、評価ツール３７が訓練画像を組織化するクラスターの数を特定するための入力フィールドを含む。上述したように、評価ツール３７は、ユーザにより特定された所望の数のクラスターを使用して、特定の数のクラスターに一致し又は該数を超えるいくつかのリーフノードを有するように第１の関連ツリーを生成する際にクラスタリングプロセスを中断する。加えて、エキスパート３８は、訓練データ３５が大きいデータセットであり、評価ツール３７が本明細書に記載したクラスタリングのための画像の代表的なサブセットを自動的に識別する必要があるか否かを特定し得る。この場合、エキスパート３８は、代表的なサブセットＳ_０のサイズ、即ち、含ませる最も高い分散を有する画像の数Ｎ_１（図４の１５０）と、残りの画像から無作為に選択するための画像の数Ｎ_２（図４の５０）とを調整するためのパラメータも特定し得る。このＮ_１＋Ｎ_２画像のセットは、初期サブセットＳ_０を含む。加えて、エキスパート３８は、評価ツール３７が代表的なセットＳ_１内にアウトライアーを含むか否かを特定し得、もしそうであれば、各画像のフィーチャ空間内を検査するための最近隣の数ｋ（ｋＮＮｓ）（図４の５）と、画像をアウトライアーとして特徴付けるための閾値Ｔ_ｄ（図４の１．０）とを特定し得る。

図５は、クラスタリング操作の結果を表示する、評価ツール３７により提示されるクラスター視認ウィンドウ９０の一例の図である。理解し得るように、２つの別個のパネル９１Ａ、９１Ｂ内に画像クラスターが視覚的に表示されており、ユーザはこのパネル９１Ａ、９１Ｂを介して、埋め込まれたハイパーリンクを使用してクラスターをナビゲート及び探索することができる。左側のパネル９１Ａは、各クラスター９２Ａ〜９２Ｎからの単一の代表的な（重心）画像を表示することによって、クラスタリング結果の高いレベルの外観を提供する。各クラスターに関して、パネル９１Ａは代表的な画像、クラスターに関連した識別子を表示し、そのクラスターに割り当てられた画像の数を括弧内に示す。例えば、クラスター９２Ａは、識別子「１０」を有し、３つの画像がこのクラスターに割り当てられている。評価ツール３７は、上述した第２の凝集型階層的関連ツリーに従って、クラスター９４Ａ〜９４Ｎをスクロール可能なパネル９１Ａ内に配置し、したがって、類似した画像を含むクラスターは、パネル内にて互いに直近して位置づけられる。換言すれば、評価ツール３７は、第２の凝集型階層的関連ツリーのリーフノードに従って、クラスターをスクロール可能なパネル９１Ａ内に配置し得る。

より詳細に探索するために、エキスパート３８は次に、任意のクラスター９２の代表的な画像又は識別子を選択（例えば、その上をクリック）して、その中に含まれる画像を右側パネル９１Ｂ内で視認することができる。図５の例では、エキスパート３８は、検査のためにクラスター９２Ａ（即ち、識別子「１０」を有するクラスター）を選択している。この例では、パネル９１Ｂは、クラスターに割り当てられた３つの画像を示し、全部が互いに強い類似性を有し、そのクラスタリングアルゴリズムがそれらを適切にグループ分けしたことを示す。パネル９１Ａにより提示されるようなサブセットＳ１内の画像のグループ分け及び順序付けにより、エキスパート２８は、クラスタリングされた訓練データ３５を非常に直感的に探索することができる。これは、手動での検査と標識割り当てのために画像の大きい未組織化集合がユーザに単に提示され得る他の技術を越える利点を有し得る。本明細書に記載されるクラスタリング及び視覚化の能力は、エキスパート３８のデータ探索の仕事を簡素化し、代表的な訓練データ中に存在する欠陥のタイプをエキスパートが迅速に識別することを可能にし得る。

図５に示すように、クラスター視認ウィンドウ９０は入力領域９６を含み、エキスパート３８はこの入力領域９６によって個々の画像のクラスター割り当てを変更するよう交流し、また画像を異なるクラスター又は新たなクラスターのいずれかに移動する能力を含む。加えて、入力領域９８は、ユーザがクラスター自体と交流することを可能にし、それには２つのクラスターを合併する能力と、クラスターを表示順の異なる位置に物理的に移動する能力と、が含まれる。評価ツール３７は、クラスター視認ウィンドウ９０内のディスプレーパネル９１Ａ、９１Ｂをリアルタイムで自動的に更新して、クラスター割り当てに為された変化を反映する。このように、評価ツール３７は、訓練データ３５内の代表的な画像の任意のタイプのグループ分け又は割り当てに関する最終的な決定権をエキスパート３８が有することを可能にする方法で使用され得る。これは、クラスタリング及び順序付け操作の最終的な目的が、訓練データの視覚化及び評価の能力を高めることであるため、視覚化の面での柔軟性の追加の手段も提供する。

加えて、クラスター視認ウィンドウ９０は、訓練データ３５内に存在する欠陥クラスの数を規定するための入力領域１００を含む。クラスター視認ウィンドウ９０は、エキスパート評価を画像に割り当てるための入力領域１０４も含む。入力領域１００、１０２のそれぞれは、以下に更に詳細に論じられる。

所定の代表的な実施形態では、評価ソフトウェアをユーザインターフェースに提供して、代表的な訓練画像内に存在する欠陥の１つ以上のクラスを特定する、ユーザからの入力を受信することが望ましい場合がある。１つの例示的なユーザインターフェースを図６に示す。図６は、視認ウィンドウ９０の入力領域１００を更に詳細に示す。この例では、エキスパート３８は、クラスター視認ウィンドウ９０を介した、クラスタリングされた訓練データ３５の検査及び探索に基づいて、訓練データ中に３つの欠陥クラスが存在することを示している。図７に示すように、エキスパート３８が欠陥クラスの数を設定した後、クラスター視認ウィンドウ９０は、同一位置に別のメニュー１０２を提示して、ユーザが欠陥クラスの名称を入れることを可能にし、このことは、それらを識別する有意義な方法を提供する。図７の例では、エキスパート３８は、訓練データ３５内で識別された欠陥クラスの３つのタイプに、「びびり模様」、「まだら」及び「筋」の名称を入れている。クラスター視認ウィンドウ９０内のディスプレーパネル９１Ａ、９１Ｂは、エキスパート３８が入力領域１００及びメニュー１０２と交流する間、開放された状態のままであり、したがってエキスパートは、代表的な訓練データに関する欠陥クラスの数を割り当て、欠陥クラスのそれぞれに名称を割り当てる一方、クラスタリングされた訓練データをナビゲートし及び視覚化するオプションを尚、有している。

図８は、訓練データ３５の代表的なサブセットＳ_１内の画像クラスターにエキスパート評価標識を割り当てるための、クラスター視認ウィンドウ９０の入力領域１０４を示す。エキスパート３８が入力領域１００及びメニュー１０２と交流して、データ中に存在する欠陥クラスの数及び名称を割り当てた後、評価ツール３７は、エキスパートが入力領域１０４と交流して訓練データ３５の画像にエキスパート評価を割り当てることを可能にする。この仕事を多大に簡素化するために、評価ツール３７は、非常に単調で退屈であり、かつ間違いやすい可能性がある、エキスパート３８による個々の画像に対する標識の必要性の代わりに、クラスター全体に対する評価標識の割り当てを可能にする。加えて、エキスパート３８は、いずれのクラスターも標識しないオプションを有する。続く処理において、サブセットＳ_１内に含まれない残りの画像に標識が伝播された際、標識は、標識されていない任意のクラスター内の画像にも伝播される。図６から理解し得るように、クラスター視認ウィンドウ９０は、エキスパート３８がクラスター内の全欠陥クラスを同時に標識することを可能にする。例えば、図６において、エキスパート３８は特定された標識「５」、「１」を有し、「１」は、訓練データのクラスター「１３」内の欠陥「びびり模様」、「まだら」及び「筋」である。更に、一例において、評価ツール３７は、割り当てられ得るエキスパート評価のタイプに関して制限を与えない。標識は、本明細書に示す「１」及び「５」標識等の数値であってもよく、又はテキストの「許容可能」及び「拒絶」標識であってもよい。クラスターにエキスパート評価が割り当てられた後、パネルディスプレー９１はリアルタイムで更新されて、これらの変化を反映する。

図９は、評価ツール３７により提示される最後のエキスパート評価視認ウィンドウ１１０の図であり、エキスパート３８はこのウィンドウを使用して、各欠陥クラスにおけるエキスパート評価を視覚化及び変更することができる。エキスパート評価視認ウィンドウ１１０は、全画像に関する最終的なエキスパート評価標識を表示する。図９に示すように、エキスパート評価視認ウィンドウ１１０は、隣り合った２つのＨＴＭＬディスプレーパネル１１２、１１４を含み、ユーザはこのＨＴＭＬディスプレーパネル１１２、１１４を介して、埋め込まれたハイパーリンクを使用して、ページを通してナビゲートすることによって結果を視覚化することができる。エキスパート評価視認ウィンドウ１１０は、左側に、エキスパート評価を変更するためのメニューオプション１２０も含む。

視覚化の面で、エキスパート評価視認ウィンドウ１１０は、直感的であり、またエキスパート３８又は他のユーザが容易に理解できるやり方で、標識プロセスの結果を表示する。一例として、エキスパート評価視認ウィンドウ１１０は、各欠陥クラスに関する結果を別個のＨＴＭＬページに表示する。各欠陥クラスにおいて、可能な各エキスパート評価を有する画像が、その欠陥クラスのためのＨＴＭＬページの別個の部分としてパネル１１４内に示される。例えば、図９に示すように、ＨＴＭＬパネル１１２は、欠陥クラスを列挙している。欠陥クラスの１つを選択すると、ＨＴＭＬパネル１１４は、可能な各エキスパート評価に関する画像を示す。これによりエキスパート３８は、画像に割り当てられたその欠陥の異なる標識に基づいて、クラスター非依存的な方法で、欠陥を視認することができる。図９の例では、ソフトウェアツールは、ページ頂部の、標識「１」を受容した画像から開始して、「欠陥クラス１（びびり模様）」における結果を提示している。ＨＴＭＬパネル１１４は、欠陥クラスに使用されている各標識と、その標識のために、該標識が割り当てられた各画像とをエキスパート３８が検査できるように上下方向にスクロール可能である。

ユーザがデータを理解する能力を更に向上させるために、評価ツール３７は、所定の欠陥クラスにおける可能な各エキスパート評価内の画像を、類似する画像の比較的小さいグループにクラスタリングする別のクラスタリング操作を行う。評価ツール３７は、現在選択された欠陥クラス（例えば、「欠陥クラス１（びびり模様）」）のためのＨＴＭＬパネル１１４を生成して、各クラスターの重心画像のみを示し、このことはディスプレー上に小さい、管理できる数の画像のみを保持することを助ける。例えば、「びびり模様」欠陥クラス内の標識「１」の場合、評価ツール３７は重心画像１１６を表示するＨＴＭＬパネル１１４のみを生成している。エキスパート３８は、各クラスターに関する重心画像をクリックして、そのクラスター内に含まれる全画像が表示されている別のＨＴＭＬページにナビゲートすることができる。

ＨＭＴＬパネル１１４を生成するためのクラスタリング操作に関連して、評価ツール３７は、欠陥クラスの全部に関して、可能な各エキスパート評価内の別個のクラスタリング算出を行う。即ち、記載したように、各画像は、全欠陥クラスにおけるエキスパート評価を受信する。換言すれば、各欠陥クラスは全部の画像を含むが、画像は一般に、各欠陥クラスにおける可能なエキスパート評価の間で異なるように分配される。例えば、所定の画像は、欠陥クラス「びびり模様」においてエキスパート評価「１」を有し得るが、欠陥クラス「まだら」においてエキスパート評価「５」を有し得る。評価ツール３７は、各欠陥クラスの各標識に関する独立した関連ツリーを算出するように、別個のクラスタリングを行う。一例として、評価ツール３７は、エキスパート評価「１」を有する画像及びエキスパート評価「５」を有する画像に関して欠陥クラス「びびり模様」におけるクラスタリングを算出してもよく、他の欠陥クラスにおいても同様に算出してもよい。

例示的な一実施形態では、クラスターは、以下のように算出される。欠陥クラスｃにおけるエキスパート評価ｅを有する画像のセットは、

と称される。セット

は、初期サブセットＳ_１からの画像と、エキスパート評価が伝播されて

からの他の画像との両方から構成される。画像

は、本発明者らが以前に標識した初期サブセットＳ_１内に含まれていた、欠陥クラスｃにおけるエキスパート評価ｅを有する画像を表す。Ｓ_１内の画像は以前にクラスタリングされたため、

内の各画像は、既にクラスターに割り当てられている。評価ツール３７は、これらのクラスター割り当てを使用して、

のクラスタリングを開始する。即ち、これはプロセスを開始するための初期クラスタリングとして用いられ、次に、これらのクラスターは、それらに新たな画像が連続的に追加されるときに変更される。

内の各画像（即ち、

クラスター割り当てを未だ有さない画像）の場合、その画像を、それが最も近い

内のクラスターに割り当てる。この手順は、本発明者らの以前のクラスタリングＳ_１を利用し、残りの画像

を増分的にクラスタリングするため、各セット

に関する新たなクラスタリングを全面的に算出するよりも効率的である。

エキスパート評価視認ウィンドウ１１０は、画像名称を入れることによって任意の画像に関するエキスパート評価を変更するメニューオプション１２０も左側に含む。ユーザは、メニューオプション１２０を使用して、全欠陥クラスにおける画像の現在のエキスパート評価の視認と、必要であればそれらの変更との両方が可能である。

本発明の様々な実施形態について説明してきた。これらの及び他の実施形態は、以下の特許請求の範囲に含まれる。

Claims (6)

1. コンピュータ上で評価ソフトウェアを実行して、それぞれの訓練画像の画素値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出する工程と、
   前記訓練画像の前記数値記述子を前記評価ソフトウェアを用いて処理して、前記訓練画像の代表的なサブセットを自動的に選択する工程と、
   前記評価ソフトウェアを用いて第１のクラスタリングプロセスを実行して、前記訓練画像の代表的なサブセットの前記数値記述子を処理し、訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出する工程と、
   前記複数の画像クラスターのそれぞれに、特定された欠陥のクラスのそれぞれに関する個々の評価標識を割り当てる、ユーザ又は前記コンピュータの少なくとも一方から入力を受信する工程と、
   を含み、前記ユーザから入力を受信する工程が、更に、前記評価ソフトウェアを用いてユーザインターフェースを提示して、前記複数の訓練画像内に存在する欠陥の１つ以上のクラスを特定する前記ユーザからの入力を受信することを含み、
   前記コンピュータから入力を受信する工程が、更に、前記コンピュータを使用して、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを判定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥のクラスのそれぞれに関する重大度標識を割り当てることを含み、
   前記画像クラスターのそれぞれに関して、前記評価ソフトウェアを用いて、前記画像クラスターに関する前記欠陥のクラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播する工程、
   を更に含む方法。
2. 前記評価ソフトウェアを用いて、前記訓練画像の前記代表的なサブセット内に含まれない、前記訓練画像の残りの全部に、欠陥のクラスのそれぞれに関する評価標識を自動的に割り当てる工程、を更に含み、任意に、前記評価ソフトウェアを用いて評価標識を自動的に割り当てる工程が、前記訓練画像の前記代表的なサブセット内に含まれない前記未標識訓練画像のそれぞれに関して、
   前記未標識訓練画像の前記数値記述子の、前記訓練画像の前記代表的なサブセット内の前記標識画像のそれぞれの前記数値記述子への対距離を算出する工程と、
   特定された各欠陥クラスに関する１セットの確率を算出する工程であって、前記各欠陥クラスに関する確率の１セットが、前記欠陥クラスに関して特定された前記評価標識のそれぞれに関する確率を含み、前記未標識訓練画像が、その特定の欠陥クラスに関するその特定の評価標識が割り当てられている前記訓練画像のメンバーである確率を示す、工程と、
   前記欠陥クラスのそれぞれのうち最も高い確率を有する前記評価標識を、前記未標識訓練画像に割り当てる工程と、
   を含む、請求項１に記載の方法。
3. 前記訓練画像のそれぞれに関する数値記述子を算出することが、
   (a) 前記訓練画像のそれぞれに関して、複数の隣接画素に対する画素の強度値の１つ以上の導関数に基づいて、前記訓練画像の前記画素のそれぞれにおけるフィーチャベクトルを算出し、前記訓練画像の前記画素のそれぞれに関する前記フィーチャベクトルに基づいて、前記訓練画像に関する共分散行列を算出すること、
   (b) 前記訓練画像のそれぞれに関して、前記訓練画像の前記画素値を１つ以上のフィルターで畳み込んで、前記訓練画像に関する前記数値記述子を算出すること、又は、
   (c) 前記訓練画像のそれぞれに関して、前記訓練画像の前記画素の強度値のヒストグラムを算出し、前記強度値のヒストグラムから前記訓練画像に関する前記数値記述子を算出すること、
   の(a)、(b)、又は(c)のうちの一つを含む、請求項１に記載の方法。
4. 前記訓練画像の代表的なサブセットを自動的に選択する工程が、
   (a) 前記評価ソフトウェアを用いて前記訓練画像の前記数値記述子を処理して、前記訓練サンプルのそれぞれに関する画素強度分散を算出し、前記評価ソフトウェアを用いて、最も高い画素強度分散を有する前記訓練画像の第１のサブセットを識別して、前記訓練画像の前記代表的なサブセット内に含めること、又は、
   (b) 前記評価ソフトウェアを実行して、前記第１のサブセットの選択後に残留した前記訓練画像から第２のサブセットを無作為に選択し、前記訓練画像の第２のサブセットを含むように、前記代表的なサブセットを算出すること、
   の(a)又は(b)のうちの一つを含む、請求項１に記載の方法。
5. 装置であって、
   プロセッサと、
   複数の訓練サンプルを記憶するメモリと、
   前記プロセッサ上で実行される評価ソフトウェアであって、前記評価ソフトウェアは、それぞれの訓練画像の画素値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含み、前記評価ソフトウェアは、第１のクラスタリングプロセスを実行して前記訓練画像の前記数値記述子を処理して、前記訓練画像の代表的なサブセットを自動的に選択し、前記訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出する、評価ソフトウェアと、
   前記代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、前記欠陥クラスのそれぞれに関する１セットの個々の評価標識と、を特定する、前記プロセッサ上で実行される前記評価ソフトウェア、又は、前記ソフトウェアにより提示されかつユーザからの入力を受信するための入力機構を有するユーザインターフェース、のうちの少なくとも一方と、
   を備え、前記ユーザインターフェースが更に入力機構を含んで、前記特定された欠陥クラスのそれぞれに関する前記画像クラスターのそれぞれに個々の評価標識を割り当てる入力を受信し、
   前記プロセッサ上で実行される前記評価ソフトウェアが、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥クラスのそれぞれに関する重大度標識を割り当て、
   前記画像クラスターのそれぞれに関して、前記評価ソフトウェアが、前記画像クラスターに関する前記欠陥クラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播し、前記評価ソフトウェアが、前記訓練画像の前記代表的なサブセット内に含まれない、前記訓練画像の残りの画像の全部に、前記欠陥のクラスのそれぞれに関する評価標識を自動的に割り当てる、
   装置。
6. システムであって、
   評価ソフトウェアを実行するサーバーを備え、前記サーバーが、
   プロセッサと、
   複数の訓練サンプルを記憶するメモリと、
   前記プロセッサ上で実行される評価ソフトウェアであって、前記評価ソフトウェアは、それぞれの訓練画像の画素値から、前記訓練画像のそれぞれに関する数値記述子を算出することによって、複数の前記訓練画像のそれぞれからフィーチャを抽出するフィーチャ抽出モジュールを含み、前記評価ソフトウェアは、第１のクラスタリングプロセスを実行して前記訓練画像の前記数値記述子を処理して、前記訓練画像の代表的なサブセットを自動的に選択し、前記訓練画像の前記代表的なサブセットに関する複数の画像クラスターを算出する、評価ソフトウェアと、
   を含み、前記プロセッサ上で実行される前記評価ソフトウェア、又は、前記評価ソフトウェアにより提示されるユーザインターフェース、のうちの少なくとも一方が、前記代表的な訓練画像内に存在する欠陥の１つ以上のクラスと、前記欠陥クラスのそれぞれに関する１セットの個々の評価標識と、を特定し、
   更に、前記ユーザインターフェースが、前記特定された欠陥クラスのそれぞれに関する前記画像クラスターのそれぞれに個々の評価標識を割り当てるユーザからの入力を受信する入力機構を含み、
   前記プロセッサ上で実行される前記評価ソフトウェアが、前記代表的な訓練画像内に存在するいくつかの欠陥クラスを特定し、前記複数の画像クラスターのそれぞれに、前記特定された欠陥クラスのそれぞれに関する重大度標識を割り当て、
   前記画像クラスターのそれぞれに関して、前記評価ソフトウェアが、前記画像クラスターに関する前記欠陥のクラスに割り当てられた前記個々の評価標識のそれぞれを、その画像クラスター内の前記訓練画像の全部に自動的に伝播し、
   更に、前記評価ソフトウェアが訓練段階を実行して、前記訓練画像に割り当てられた前記評価標識に基づいて分類モデルを算出し、
   ウェブ材料の連続的な部分を走査してサンプルを取得するコンピュータ化検査システムを備え、前記コンピュータ化検査システムは、前記分類モデルに従って、サンプルのそれぞれに評価を割り当てる、識別子（classifiers）と称されるアルゴリズムを適用する、
   システム。

Images