JP2023551696A - 自動外観検査用の画像拡張技術 - Google Patents

Abstract

様々な技術が、画像分類用のＡＶＩニューラルネットワークなどの自動外観検査（ＡＶＩ）モデルの訓練及び／又は検証に使用され得る、画像ライブラリの開発を容易にする。一態様では、算術転置アルゴリズムを使用して、画素レベルのリアリズムで、元の画像上に特徴（例えば、欠陥）を転置することによって、元の画像から合成画像を生成する。他の態様では、元の画像から現実的な合成画像を生成するために、デジタルインペインティング技術が使用される。深層学習ベースのインペインティング技術は、欠陥又は他の示された特徴を追加、除去、及び／又は修正するために使用され得る。更に他の態様では、ＡＶＩモデルを訓練及び／若しくは検証するための画像ライブラリの適合性を評価するため、並びに／又は別個の画像がそのようなライブラリに含めるのに適しているかどうかを評価するために、品質管理技術が使用される。

Description

本出願は、概して、製薬又は他のアプリケーション用の自動外観検査システムに関し、より具体的には、そのようなシステムの開発、訓練、及び／又は検証において使用する画像ライブラリを拡張する技術に関する。

様々な背景において、品質管理手順では、サンプルに欠陥がないかを慎重に検査する必要があり、欠陥を示すいかなるサンプルも、拒絶され、廃棄され、及び／又は更に分析される。例えば、医薬製造の背景では、販売又は流通の前に、容器（例えば、シリンジ若しくはバイアル）及び／又はその内容物（例えば、液体若しくは凍結乾燥医薬品）に欠陥がないかを厳格に検査しなければならない。同様に、他の多くの産業でも、製品品質を保証するため、又は他の目的で、外観検査に依存している。ヒューマンエラーを排除し、コストを低減し、及び／又は検査時間を短縮するため（例えば、商業生産において大量の薬剤又は他のアイテムを扱うため）に、欠陥検査タスクは、ますます自動化されてきている（すなわち、「自動外観検査」又は「ＡＶＩ」）。例えば、「コンピュータビジョン」又は「マシンビジョン」ソフトウェアは、医薬の背景において使用されてきた。

最近、深層学習技術が、ＡＶＩ用の有望なツールとして出現している。しかしながら、一般に、これらの技術は、モデル（例えば、ニューラルネットワーク）を開発し、訓練し、且つ完全にテストするために、従来のＡＶＩシステムよりもはるかに多くの画像を必要とする。更に、ロバストなモデル性能は、一般に、慎重に設計された画像セットに依存する。例えば、画像セットは、（例えば、異なる位置における欠陥を示し、且つ異なる形状及びサイズの範囲を有することなどによって）十分に多様な状態を示すべきである。更に、たとえ大規模で多様な訓練画像ライブラリであっても、画像セットが深層学習モデルに誤った理由に対する（例えば、無関係な画像特徴に基づく）決定を行わせる場合は、不良なＡＶＩ性能をもたらす可能性がある。これは、示された欠陥が他の（欠陥なし）画像特徴に対して小さいか又は当たり障りのないものである背景又はシナリオにおいて、特に問題となる可能性がある。

深層学習、及び更に従来の旧来の（例えば、マシンビジョン）ＡＶＩシステムの両方の場合、サンプル画像ライブラリを使用する開発及び適格化プロセスは、偽陰性又は「偽受容」（すなわち、欠陥を見逃すこと）、並びに偽陽性又は「偽拒絶」（すなわち、欠陥を誤って特定すること）が許容閾値内にあることを確実にするべきである。例えば、特定の背景（例えば、患者の安全が懸念される医薬の背景）では、偽陰性がゼロ又はゼロに近いことが必要とされ得る。偽陽性はそれほど重要ではない可能性もあるが、経済的な観点で非常にコストがかかり得、ＡＶＩシステムを開発する際に偽陰性よりも対処が困難であり得る。これら及び他の要因により、画像ライブラリの開発は、非常に複雑で、労働集約的で、且つコストがかかる、高度に反復的なプロセスとなる可能性がある。更に依然として、製品ラインの変更（例えば、新しい薬剤、新しい容器、容器内の薬剤用の新しい充填レベルなど）、又は検査プロセス自体の変更（例えば、異なるタイプのカメラレンズ、カメラの位置又は照明の変更など）により、モデルの再訓練及び／又は再適格化だけでなく、（場合によっては）画像ライブラリの部分的又は全体の再構築が必要になる可能性がある。

本明細書で説明する実施形態は、ＡＶＩ用のロバストな深層学習モデルを開発、訓練、及び／又は検証するための画像ライブラリの生成及び／又は評価において支援する、自動画像拡張技術に関する。特に、本明細書で開示される様々な画像拡張技術は、（例えば、深層学習ＡＶＩアプリケーション用、又はより伝統的なコンピュータ／マシンビジョンＡＶＩアプリケーション用の）訓練ライブラリの範囲を人工的に拡大するために、「元の」画像にデジタル変換を適用するものである。画像ライブラリの拡大のために以前に使用されてきた比較的シンプルな画像変換（例えば、反射、線形スケーリング、及び回転）とは異なり、本明細書に記載の技術は、より大きくてより多様であるだけでなく、よりバランスもとれた、「因果関係」、すなわち、無関係な画像特徴を重視するよりも、正しい理由に対して分類／決定を行う可能性が高く、したがって広範囲のサンプルにわたって良好な性能を提供する可能性が高い、ライブラリの生成を容易にすることができる。因果関係を確実にするために、本明細書に記載の実装形態は、大量の「集団代表的」合成画像（すなわち、実行時動作においてモデルによって推論される画像を十分に代表する合成画像）を生成するために使用される。

本開示の一態様では、新規の算術転置アルゴリズムを使用して、画素レベルのリアリズムで、元の画像上に特徴を転置することによって、元の画像から合成画像を生成する。算術転置アルゴリズムは、欠陥自体の画像を使用して「良好」画像（すなわち、それらの欠陥を示さない画像）を拡張することによって、合成「欠陥あり」画像（すなわち、欠陥を示す画像）を生成するために使用され得る。一例として、アルゴリズムは、欠陥のないシリンジの画像並びにシリンジの欠陥画像を使用して、亀裂、変形したプランジャ、及び／又は他の欠陥を有するシリンジの合成画像を生成することができる。別の例として、アルゴリズムは、欠陥のない本体部品の画像並びに欠陥画像を使用して、欠け、傷、凹み、及び／又は他の欠陥を有する自動車本体部品の合成画像を生成することができる。品質管理又は他の背景では、多数の他のアプリケーションもまた可能である。

本開示の他の態様では、デジタル「インペインティング」技術は、ＡＶＩモデル（例えば、深層学習ベースのＡＶＩモデル）の訓練及び／又は検証用の画像ライブラリを補完するために、元の画像から現実的な合成画像を生成するために使用される。そのような一態様では、元の画像内に示された欠陥は、元の画像内の欠陥をマスクし、（１）マスクされた領域に隣接する元の画像の部分と、（２）マスクされた領域の外側の元の画像の他の部分との間の対応指標を計算し、且つ計算された指標に基づいて、マスクされた領域を人工的な欠陥のない部分で充填することによって、除去することができる。画像から欠陥を除去する能力は、訓練画像ライブラリに対して、微妙だが重大な影響を与える可能性がある。特に、補完的な「良好」画像及び「欠陥あり」画像は、ＡＶＩモデルを訓練する際に背景上のバイアスの影響を最小化するために、タンデムで使用することができる。

本開示の他のデジタルインペインティング技術は、部分畳み込みに基づく深層学習などの深層学習を活用する。これらの深層学習に基づくインペインティング技術のバリエーションは、元の画像から欠陥を除去するため、元の画像に欠陥を追加するため、及び／又は元の画像内の特徴を修正する（例えば、移動若しくはその外観を変更する）ために、使用することができる。例えば、これらの技術のバリエーションは、医薬品を含むシリンジの画像から亀裂、欠け、繊維、変形したプランジャ、又は他の欠陥を除去するため、欠陥がもともと示されていなかったシリンジ画像にそのような欠陥を追加するため、又は元のシリンジ画像内に示されたメニスカス若しくはプランジャを移動又は他の方法で修正するために使用することができる。これらの深層学習ベースのインペインティング技術は、訓練画像ライブラリの慎重な設計を容易にし、コスト効率の良い方法で訓練画像ライブラリを開発することが従来は困難であった多品種少量生産アプリケーションに対しても良好なソリューションを提供することができる。

一般に、本明細書に開示された画像拡張技術は、「偽受容」及び「偽拒絶」の両方に対して、ＡＶＩ性能を改善することができる。示された属性／特徴（例えば、メニスカスレベル、空隙サイズ、気泡、ガラス容器壁内の小さい凹凸など）に可変性を加える画像拡張技術は、偽拒絶を低減するために特に有用であり得る。

本開示の更に他の態様では、ＡＶＩ深層学習モデルを訓練及び／若しくは検証するための画像ライブラリの適合性を評価するため、並びに／又は別個の画像がそのようなライブラリに含めるのに適しているかどうかを評価するために、品質管理技術が使用される。これらは、データセットにわたる画像可変性を評価する「前処理」品質管理技術、及び合成／拡張画像と画像セット（例えば、示された特徴を追加、除去、又は修正することによって変更されていない実画像）との間の類似性の程度を評価する「後処理」品質管理技術の両方を含むことができる。

本明細書で説明する図は、説明のために含められたものであり、本開示を限定するものではないことが当業者に理解されるであろう。図面は、必ずしも縮尺通りではなく、代わりに本開示の原理を示すことに重点が置かれている。場合により、記載される実施の種々の態様は、記載される実施の理解を促進するために誇張又は拡大して示される場合があることを理解されたい。

自動外観検査（ＡＶＩ）画像ライブラリの開発及び／又は評価に関連する本明細書に記載の様々な技術を実装することができる、例示的なシステムの簡略ブロック図である。 図１のシステムなどのシステムにおいて使用され得る、例示的な外観検査システムを示す図である。 図２の外観検査システムなどの外観検査システムを使用して検査され得る、様々な例示的な容器タイプを示す図である。 図２の外観検査システムなどの外観検査システムを使用して検査され得る、様々な例示的な容器タイプを示す図である。 図２の外観検査システムなどの外観検査システムを使用して検査され得る、様々な例示的な容器タイプを示す図である。 画素レベルのリアリズムで画像に特徴を追加するために使用され得る、算術転置アルゴリズムを示す図である。 画素レベルのリアリズムで画像に特徴を追加するために使用され得る、算術転置アルゴリズムを示す図である。 図４Ａの算術転置アルゴリズム中に生成され得る、例示的な欠陥行列ヒストグラムを示す図である。 図４Ａの算術転置アルゴリズム中に生成され得る、例示的な欠陥行列ヒストグラムを示す図である。 特徴画像が数値行列に変換される動作の一例を示す図である。 マニュアル的に生成された実世界の亀裂を有するシリンジの画像を、デジタル的に生成された亀裂を有するシリンジの合成画像と比較する図であり、合成画像は、図５の算術転置アルゴリズムを使用して生成されている。 図７の画像に対応する画素レベルを比較する図である。 従来技術を使用して合成された欠陥を、図５の算術転置アルゴリズムを使用して合成された欠陥と比較する図である。 図５の算術転置アルゴリズムを使用して生成された、欠陥を有する様々な合成画像を示す図である。 その各々が図５の算術転置アルゴリズムへの入力として使用され得る、例示的な亀裂欠陥画像のコレクションを示す図である。 拡張画像の有効性を評価するために使用されるヒートマップを示す図である。 訓練画像セット及びテスト画像セットにおける合成画像及び実画像の異なる組み合わせに対する、ＡＶＩニューラルネットワーク性能を示すプロットである。 示された特徴を追加、除去、又は修正することによって合成画像を生成するために使用され得る、例示的な部分畳み込みモデルを示す図である。 部分畳み込みモデルの訓練において使用するためにランダムに生成され得る、例示的なマスクを示す図である。 合成画像が部分畳み込みモデルを使用して実画像から欠陥をデジタル的に除去することによって生成される、３つの例示的なシーケンスを示す図である。 合成画像が部分畳み込みモデルを使用して実画像から欠陥をデジタル的に除去することによって生成される、３つの例示的なシーケンスを示す図である。 部分畳み込みモデルを使用して実画像から欠陥をデジタル的に除去することによって生成された合成画像の他の例を示す図であり、実画像がどのように修正されたかを示す差分画像を伴っている。 欠陥のあるシリンジの実画像と欠陥のないシリンジとの合成画像を示す図であり、合成画像は、部分畳み込みモデルを使用して実画像に基づいて生成されている。 第１の技術に従って、欠陥をシリンジ画像にデジタル的に追加するために部分畳み込みモデルとともに使用され得る、３つの例示的な欠陥画像を示す図である。 第１の技術に従って、欠陥をシリンジ画像に追加するために部分畳み込みモデルが使用される、２つの例示的なシーケンスを示す図である。 欠陥のないシリンジの実画像と欠陥のあるシリンジとの合成画像を示す図であり、合成画像は、部分畳み込みモデル及び第１の技術を使用して実画像に基づいて生成されている。 第２の技術に従って、欠陥をシリンジ画像に追加するために部分畳み込みモデルが使用される、３つの例示的なシーケンスを示す図である。 第２の技術に従って、欠陥をシリンジ画像に追加するために部分畳み込みモデルが使用される、３つの例示的なシーケンスを示す図である。 欠陥のないシリンジの実画像及び欠陥のあるシリンジの合成画像を示す図であり、合成画像は、部分畳み込みモデル及び第２の技術を使用して実画像に基づいて生成されている。 第２の技術に従って、シリンジ画像内のメニスカスを修正するために部分畳み込みモデルが使用される、例示的なシーケンスを示す図である。 シリンジの実画像、及びメニスカスがデジタル的に変更されている合成画像を示す図であり、合成画像は、部分畳み込みモデル及び第２の技術を使用して実画像に基づいて生成されている。 合成訓練画像を用いて及び用いずに訓練されたＡＶＩ深層学習モデルによって行われた予測の基礎となる因果関係を示す、例示的なヒートマップを示す図である。 合成訓練画像を用いて及び用いずに訓練されたＡＶＩ深層学習モデルによって行われた予測の基礎となる因果関係を示す、例示的なヒートマップを示す図である。 画像セットにおける多様性を評価するために使用され得る視覚化を生成するための例示的なプロセスを示す図である。 図２５のプロセスによって生成された例示的な視覚化を示す図である。 別のプロセスを使用して画像セットの多様性を評価するために使用され得る、例示的な視覚化を示す図である。 合成画像と画像セットとの間の類似性を評価するための例示的なプロセスを示す図である。 図２７のプロセスを使用して生成された例示的なヒストグラムを示す図である。 元の画像上に特徴を転送することによって合成画像を生成するための例示的な方法のフロー図である。 元の画像内に示された欠陥を除去することによって合成画像を生成するための例示的な方法のフロー図である。 元の画像内に示された特徴を除去又は修正することによって、又は元の画像内に示された特徴を追加することによって、合成画像を生成するための例示的な方法のフロー図である。 訓練画像ライブラリにおいて使用される合成画像を評価するための例示的な方法のフロー図である。

上記で導入として説明され、以下でより詳細に論じられる様々な概念は、多くの方法のうちのいずれかで実施することができ、記載される概念は、いかなる特定の実施態様の様式にも限定されるものではない。実施態様の例は、例証を目的として提供されている。

本明細書で使用される（相互交換可能に使用される）「合成画像」及び「拡張画像」という用語は、一般に、画像がもともと示すものとは異なる何かを示すためにデジタル的に変更された画像を指し、示されたものの本質を変更しない他のタイプの画像処理（例えば、コントラストの調整、解像度の変更、切り取り、フィルタリングなど）によって生み出される出力と区別されるべきである。逆に、本明細書で言及される「実画像」とは、画像に他のタイプの画像処理が以前に適用されたかどうかにかかわらず、合成／拡張画像ではない画像を指す。本明細書で言及される「元の画像」は、合成／拡張画像を生成するためにデジタル的に修正されている画像であり、実画像又は合成画像（例えば、追加の拡張ラウンドの前に、以前に拡張された画像）であり得る。本明細書において示される「特徴」（例えば、示された「欠陥」）への言及は、画像化されたものの特徴（例えば、シリンジの画像内に示されたシリンジの亀裂若しくはメニスカス、又は構成要素の画像内に示された自動車の本体部品の傷若しくは凹みなど）への言及であり、画像化されたものの性質とは関連のない画像自体の特徴（例えば、画像の色あせた部分若しくは汚れた部分などの、画像の欠損部分若しくは損傷部分など）とは区別される。

図１は、自動外観検査（ＡＶＩ）訓練及び／又は検証画像ライブラリの開発及び／又は評価に関連する本明細書に記載の様々な技術を実装することができる、例示的なシステム１００の簡略ブロック図である。例えば、画像ライブラリは、ＡＶＩタスクを実行する１つ以上のニューラルネットワークを訓練するために使用され得る。いったん訓練されて適格化されると、ＡＶＩニューラルネットワークは、欠陥を検出するために、製造時の（及び／又は他の背景において）品質管理用に使用され得る。医薬の背景では、例えば、ＡＶＩニューラルネットワークは、シリンジ、バイアル、カートリッジ、又は他の容器のタイプに関連する欠陥（例えば、容器の亀裂、傷、汚れ、構成部品の欠落など）を検出し、及び／又は容器内の流体若しくは凍結乾燥医薬品に関連する欠陥（例えば、繊維及び／又は他の異物粒子の存在）を検出するために使用されてもよい。別の例として、自動車の背景では、ＡＶＩニューラルネットワークは、自動車又は他の車両の車体構造内の欠陥（例えば、亀裂、傷、凹み、汚れなど）を、製造中及び／又は（例えば、公正な再販価値を判定するのに役立つ、返却されたレンタル車両の状態をチェックするなどの）他の時点で検出するために使用されてもよい。多数の他の使用もまた、可能である。開示された技術は、画像ライブラリの構築に関連するコスト及び時間を実質的に低下させることができるため、ＡＶＩニューラルネットワークは、事実上あらゆる品質管理アプリケーション（例えば、販売前の家電機器、住宅サイディング、織物、ガラス製品などの状態のチェック）において目に見える欠陥を検出するために使用されてもよい。本明細書に提供される例は、主に医薬の背景に関するものであるが、本明細書に記載される技術は、そのようなアプリケーションに限定される必要はないことが理解されよう。更に、いくつかの実装形態では、合成画像は ＡＶＩニューラルネットワークの訓練以外の目的に使用される。例えば、画像は、深層学習を使用せずにコンピュータビジョンを使用するシステムを適格化するために、代わりに使用されてもよい。

システム１００は、訓練画像及び／又は検証画像を生成するように構成された外観検査システム１０２を含む。具体的には、外観検査システム１０２は、サンプル（例えば、流体又は凍結乾燥物質を保持する容器）のデジタル画像を捕捉するよう構成されたハードウェア（例えば、搬送機構、光源、カメラなど）、並びにファームウェア及び／又はソフトウェアを含む。外観検査システム１０２の一例は、図２を参照して以下に説明されるが、任意の適切な外観検査システムが使用されてもよい。いくつかの実施形態では、外観検査システム１０２は、商業用ライン機器ステーションの重要な態様（例えば、光学系、照明など）を緊密に複製する、オフライン（例えば、実験室ベース）の「模倣ステーション」であり、それによって、商業用ライン機器の過度のダウンタイムを引き起こすことなく訓練及び／又は検証ライブラリの開発を可能にする。例示的な模倣ステーションの開発、配置、及び使用は、ＰＣＴ特許出願第ＰＣＴ／ＵＳ２０／５９７７６号明細書（発明の名称「Ｏｆｆｌｉｎｅ Ｔｒｏｕｂｌｅｓｈｏｏｔｉｎｇ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｆｏｒ Ａｕｔｏｍａｔｅｄ Ｖｉｓｕａｌ Ｉｎｓｐｅｃｔｉｏｎ Ｓｔａｔｉｏｎｓ」、２０２０年１１月１０日出願）に示されて検討されており、その全体が、参照により本書に組み込まれる。他の実施形態では、外観検査システム１０２は、生産中にも使用される商業用ライン機器である。

外観検査システム１０２は、複数のサンプル（例えば、容器）の各々を順次画像化してもよい。この目的のために、外観検査システム１０２は、各サンプルを画像化のための適切な位置に連続的に移動させ、次いで、いったんサンプルの画像化が完了すると、サンプルを遠ざけるように移動させる、デカルトロボット、コンベヤベルト、カルーセル、スターホイール、及び／又は他の搬送手段を含むか、又はこれらと併せて動作してもよい。図１には示していないが、外観検査システム１０２は、コンピュータシステム１０４との通信を可能にする通信インターフェース及びプロセッサを含んでいてもよい。

コンピュータシステム１０４は、一般に、以下で更に説明するように、外観検査システム１０２の動作を制御／自動化し、且つ、外観検査システム１０２によって捕捉／生成された画像を受信及び処理するよう構成され得る。コンピュータシステム１０４は、本明細書で検討する動作を実行するよう特別にプログラムされた汎用コンピュータであってもよく、又は専用コンピューティングデバイスであってもよい。図１に見られるように、コンピュータシステム１０４は、処理ユニット１１０、及びメモリユニット１１４を備える。しかしながら、いくつかの実施形態では、コンピュータシステム１０４は、互いに同じ場所に配置されているか、又は互いに離れている２つ以上のコンピュータを含む。これらの分散型実施形態では、処理ユニット１１０及びメモリユニット１１４に関連する、又は処理ユニット１１０がメモリユニット１１４に記憶された命令を実行する際に実施されるモジュールのいずれかに関連する、本明細書に記載される動作は、複数の処理ユニット及び／又は複数のメモリユニットの間で分割されてもよい。

処理ユニット１１０は１つ以上のプロセッサを備え、１つ以上のプロセッサのそれぞれが、メモリユニット１１４に記憶されたソフトウェア命令を実行して、本明細書中に説明するコンピュータシステム１０４の機能の一部又は全てを実行するプログラム可能なマイクロプロセッサであってもよい。処理ユニット１１０は、例えば、１つ以上のグラフィックス処理ユニット（ＧＰＵ）、及び／又は１つ以上の中央処理ユニット（ＣＰＵ）を含んでいてもよい。代替的に、又は追加的に、処理ユニット１１０内の１つ以上のプロセッサは、他のタイプのプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）であってもよく、本明細書中に説明するコンピュータシステム１０４の機能のいくつかは、代わりにハードウェアで実装されてもよい。

メモリユニット１１４は、１つ以上の揮発性及び／又は不揮発性メモリを含んでいてもよい。読み取り専用メモリ（ＲＯＭ）、及び／又はランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）などのメモリユニット１１４には、任意の適切なメモリのタイプが含まれ得る。まとめて、メモリユニット１１４は、１つ以上のソフトウェアアプリケーション、それらのアプリケーションによって受信／用いられるデータ、及びそれらのアプリケーションによって出力／生成されるデータを記憶してもよい。

特に、メモリユニット１１４は、処理ユニット１１０によって実行されると、１つ以上のＡＶＩニューラルネットワーク、及び／又は他のタイプのＡＶＩソフトウェア（例えば、コンピュータビジョンソフトウェア）を訓練、検証、及び／又は適格化する目的で様々な機能を実行する様々なモジュールのソフトウェア命令を記憶する。具体的には、図１の例示的な実施形態では、メモリユニット１１４は、ＡＶＩニューラルネットワークモジュール１２０と、外観検査システム（ＶＩＳ）制御モジュール１２２と、ライブラリ拡大モジュール１２４と、画像／ライブラリ評価モジュール１２６と、を含む。他の実施形態では、メモリユニット１１４は、モジュール１２０、１２２、１２４、及び１２６のうちの１つ以上を省略してもよく、並びに／又は１つ以上の追加モジュールを含んでいてもよい。上記のように、コンピュータシステム１０４は、分散型システムであってもよく、その場合、モジュール１２０、１２２、１２４、及び１２６のうちの１つ、いくつか、又は全てが、全体又は一部が異なるコンピューティングデバイス又はシステムによって（例えば、１つ以上の有線及び／又は無線通信ネットワークを介してコンピュータシステム１０４に結合されたリモートサーバによって）実装されてもよい。更に、モジュール１２０、１２２、１２４、及び１２６のいずれか１つの機能は、異なるソフトウェアアプリケーションの間で分割されてもよい。単なる一例として、コンピュータシステム１０４がウェブサービスにアクセスして１つ以上のＡＶＩニューラルネットワークを訓練して使用する実施形態では、ＡＶＩニューラルネットワークモジュール１２０のソフトウェア命令の一部又は全部は、リモートサーバにおいて記憶及び実行されてもよい。

ＡＶＩニューラルネットワークモジュール１２０は、訓練画像ライブラリ１４０に記憶された画像を使用して１つ以上のＡＶＩニューラルネットワークを訓練するソフトウェアを含む。訓練画像ライブラリ１４０は、メモリユニット１１４に、及び／又は別のローカル若しくはリモートメモリ（例えば、リモートライブラリサーバに結合されたメモリなど）に記憶されてもよい。いくつかの実施形態では、訓練に加えて、ＡＶＩニューラルネットワークモジュール１２０は、例えば、外観検査システム１０２（若しくは別の外観検査システム）によって新たに取得された画像を、検証、適格化、又は場合によってはランタイム動作のためにニューラルネットワークに適用することによって、訓練されたＡＶＩニューラルネットワークを実施／実行することができる。様々な実施形態では、ＡＶＩニューラルネットワークモジュール１２０によって訓練されたＡＶＩニューラルネットワークは、画像全体を分類し（例えば、欠陥あり対欠陥なし、若しくは特定のタイプの欠陥の存在若しくは不存在など）、画像を画素単位（すなわち、画像セグメンテーション）で分類し、画像内のオブジェクトを検出し（例えば、傷、亀裂、異物などの特定の欠陥タイプの存在及び位置を検出し）、又はこれらの組み合わせ（例えば、１つのニューラルネットワークが画像を分類し、別のニューラルネットワークがオブジェクト検出を実行する）を行う。いくつかの実装形態では、ＡＶＩニューラルネットワークモジュール１２０は、（後述する理由により）訓練されたＡＶＩニューラルネットワークの動作に関連するヒートマップを生成する。この目的のために、ＡＶＩニューラルネットワークモジュール１２０は、ＨＡＬＣＯＮ（登録商標）からのＭＶＴｅｃ、Ｃｏｇｎｅｘ（登録商標）からのＶｉｄｉ（登録商標）、Ａｍａｚｏｎ（登録商標）からのＲｅｋｏｇｎｉｔｉｏｎ（登録商標）、ＴｅｎｓｏｒＦｌｏｗ、ＰｙＴｏｒｃｈ、及び／又は他の適切な既製若しくはカスタマイズされた深層学習ソフトウェアなどの深層学習ソフトウェアを含んでいてもよい。ＡＶＩニューラルネットワークモジュール１２０のソフトウェアは、例えば、ＲｅｓＮｅｔ５０又はＶＧＧＮｅｔ等の１つ以上の予め訓練されたネットワーク、及び／又は１つ以上のカスタムネットワークの上に構築されてもよい。

いくつかの実施形態では、ＶＩＳ制御モジュール１２２は、サンプル画像（例えば、容器画像）を人間の相互作用をほとんど又は全く伴わずに生成することができるように、外観検査システム１０２の動作を制御／自動化する。ＶＩＳ制御モジュール１２２は、（例えば、制御ライン上でパルスを生成するなどの）コマンド又は他の電子信号を所定のカメラに送信することによって、所与のカメラにサンプル画像を捕捉させてもよい。外観検査システム１０２は、捕捉された容器画像を、ローカル処理のために画像をメモリユニット１１４に記憶することができるコンピュータシステム１０４に送信してもよい。代替の実施形態において、外観検査システム１０２は、ローカルに制御されてもよく、その場合、ＶＩＳ制御モジュール１２２は、本明細書中に説明するものより少ない機能（例えば、外観検査システム１０２からの画像の読み出しのみを扱う）を有していてもよく、又はメモリユニット１１４から完全に省略されてもよい。

ライブラリ拡大モジュール１２４（本明細書では単に「モジュール１２４」とも呼ばれる）は、外観検査システム１０２（及び／又は他の外観検査システム）によって生成されたサンプル画像を処理して、訓練画像ライブラリ１４０に含めるための追加の、合成／拡張された画像を生成する。モジュール１２４は、本明細書で開示される画像拡張技術のうちの任意の１つ以上を含む、１つ以上の画像拡張技術を実装することができる。後述するように、それらの画像拡張技術のいくつかは、合成画像を生成するために特徴画像ライブラリ１４２を利用することができる。特徴画像ライブラリ１４２は、メモリユニット１１４、及び／又は別のローカル若しくはリモートメモリ（例えば、リモートライブラリサーバに結合されたメモリなど）に記憶されてもよく、様々なタイプの欠陥（例えば、亀裂、傷、欠け、汚れ、異物など）の画像、並びに／又は各欠陥タイプのバリエーションの画像（例えば、異なるサイズ及び／若しくはパターンの亀裂、異なる形状及びサイズを有する異物など）を含む。代替的に、又は追加的に、特徴画像ライブラリ１４２は、欠陥を示しても示さなくてもよい、様々な他のタイプの特徴（例えば、異なるメニスカス）の画像を含んでもよい。特徴画像ライブラリ１４２内の画像は、例えば、各画像の実質的な部分が特徴（例えば、欠陥）を含むように、完全なサンプル画像の切り取られた部分であってもよい。

一般に、特徴画像ライブラリ１４２は、画像化されているサンプルに関連する事実上あらゆるタイプの特徴の画像を含むことができる。例えば、医薬の背景では、特徴画像ライブラリ１４２は、容器（例えば、シリンジ、カートリッジ、バイアルなど）、容器内容物（例えば、液体又は凍結乾燥医薬品）、及び／又は容器とそれらの内容物との間の相互作用（例えば、漏れなど）に関連する欠陥を含んでもよい。非限定的な例として、欠陥画像には、バレル、肩部、ネック部、又はフランジの亀裂、欠け、傷、及び／又は擦れ、破損又は変形したフランジ、バレル、肩部、ネック壁部のガラス内のエアライン、バレル、肩部、ネック部のガラス内の不連続性、バレル、肩部、ネック壁の内側又は外側（又は内部）の汚れ、バレル、肩部、ネック部上のガラスの付着、バレル、肩部、ネック壁の節、バレル、肩部、又はネック壁のガラス内部に埋め込まれた異物粒子、異質、位置ずれ、欠損、又は余分なプランジャ、プランジャの汚れ、プランジャの変形したリブ、プランジャの不完全な又は剥離したコーティング、許容できない位置にあるプランジャ、欠損、曲げ、変形した、又は破損した針シールド、針シールドから突出する針などの、シリンジの欠陥画像を含む場合がある。シリンジとシリンジ内容物との間の相互作用に関連する欠陥の実施例には、プランジャを介した液体の漏れ、プランジャのリブ内の液体、針シールドからの液体の漏れなど、を含む場合がある。後述する図３Ａには、例示的なシリンジの様々な構成要素が示されている。

カートリッジに関連する欠陥の非限定的な実施例には、バレル又はフランジの亀裂、欠け、傷、及び／又は擦れ、破損又は変形したフランジ、バレル内の不連続性、バレルの内側又は外側（又は内側）の汚れ、バレルに付着した材料、バレル壁の節、異質、位置ずれ、欠損、又は余分なピストン、ピストンの汚れ、ピストンの変形したリブ、許容できない位置にあるピストン、バレル壁のフローマーク、フランジ、バレル、ルアーロックのプラスチック内の空隙、カートリッジの不完全な成形、ルアーロックのキャップの欠損、切断、位置ずれ、緩み、損傷、などを含む場合がある。カートリッジとカートリッジ内容物との間の相互作用に関連する欠陥の実施例には、ピストンを介した液体の漏れ、ピストンのリブ内の液体など、を含む場合がある。後述する図３Ｂには、例示的なカートリッジの様々な構成要素が示されている。

バイアルに関連する欠陥の非限定的な実施例には、本体の亀裂、欠け、傷、及び／又は擦れ、本体のガラス内のエアライン、本体のガラス内の不連続性、本体の内側又は外側（又は内部）の汚れ、本体のガラスの付着、本体壁の節、本体壁のフローマーク、クリンプの欠損、位置ずれ、緩み、突出又は損傷、フリップキャップの欠損、位置ずれ、緩み、損傷など、を含む場合がある。バイアルとバイアル内容物との間の相互作用に関連する欠陥の実施例には、クリンプ又はキャップを介した液体の漏れなど、を含む場合がある。後述する図３Ｃには、例示的なバイアルの様々な構成要素が示されている。

容器内容物（例えば、シリンジ、カートリッジ、バイアル、又は他の容器タイプの内容物）に関連する欠陥の非限定的な実施例には、液体内容物内に浮遊する異物、プランジャドーム、ピストンドーム、又はバイアル床面にある異物、変色した液体又はケーキ、亀裂、分散、又はその他の異常に分散／形成したケーキ、濁った液体、高い又は低い充填レベル、等。「異物」粒子は、例えば、繊維、ゴム、金属、石、プラスチックの破片、髪の毛など、を含む場合がある。いくつかの実施形態において、気泡は無害であるとみなされ、欠陥であるとはみなされない。

特徴画像ライブラリ１４２の画像内に示され得る他のタイプの特徴の非限定的な例には、異なる形状及び／又は異なる位置のメニスカス、異なるタイプ及び／又は異なる位置のプランジャ、異なるサイズ及び／若しくは形状、並びに／又は容器内の異なる位置の気泡、容器内の異なる空隙サイズ、ガラス又は別の半透明材料における異なるサイズ、形状、及び／又は凹凸の位置など、を含む場合がある。

動作中、コンピュータシステム１０４は、外観検査システム１０２によって（場合によってはコンピュータシステム１０４による切り取り及び／又は他の画像前処理の後に）収集されたサンプル画像、並びにライブラリ拡大モジュール１２４によって生成された合成画像、並びに場合によっては１つ以上の他のソースからの実画像及び／又は合成画像を、訓練画像ライブラリ１４０内に記憶する。ＡＶＩニューラルネットワークモジュール１２０は、次いで、訓練画像ライブラリ１４０内のサンプル画像の少なくともいくつかを使用してＡＶＩニューラルネットワークを訓練し、ライブラリ１４０内（又は図１に示されていない別のライブラリ内）の他の画像を使用して、訓練されたＡＶＩニューラルネットワークを検証する。本明細書で使用される場合、ニューラルネットワークを「訓練すること」、「検証すること」、又は「適格化すること」という用語は、（例えば、ニューラルネットワークを訓練するか、又は訓練されたニューラルネットワークを実行するように、リモートサーバに命令又は要求することによって）ニューラルネットワークを実行するソフトウェアを直接実行することを包含し、また、ニューラルネットワークの実行を開始することを包含する。いくつかの実施形態では、例えば、コンピュータシステム１０４は、ＡＶＩニューラルネットワークモジュール１２０を含むリモートサーバにアクセスすることによって（例えば、リモートサーバによってサポートされるウェブサービスにアクセスすることによって）、ニューラルネットワークを「訓練」してもよい。

モジュール１２０～１２６の各々の動作は、様々な他の図の要素を参照して、以下で更に詳細に検討される。

図２は、医薬のアプリケーションにおいて、図１の外観検査システム１０２として使用され得る、例示的な外観検査システム２００を示している。外観検査システム２００は、カメラ２０２、レンズ２０４、前方傾斜光源２０６ａ及び２０６ｂ、後方傾斜光源２０８ａ及び２０８ｂ、バックライト光源２１０、並びに撹拌機構２１２を含む。カメラ２０２は、容器２１４（例えば、シリンジ、バイアル、カートリッジ、又はその他の適切なタイプの容器）の１つ以上の画像を捕捉し、容器２１４は、撹拌機構２１２によって保持され、光源２０６、２０８、及び／又は２１０によって照明される（例えば、ＶＩＳ制御モジュール１２２が、異なる画像のために異なる光源を連続的又は同時に作動させる）。外観検査システム２００は、（例えば、バックライト光源２１０を省略することによって）追加の光源又はより少ない光源を含んでもよい。容器２１４は、例えば、液体又は凍結乾燥医薬品を保持してもよい。

カメラ２０２は、高性能産業用カメラ又はスマートカメラであってもよく、レンズ２０４は、例えば、高忠実度テレセントリックレンズであってもよい。一実施形態において、カメラ２０２は、電荷結合素子（ＣＣＤ）センサを含む。例えば、カメラ２０２は、２４４８×２０５０画素の解像度を有するＢａｓｌｅｒ（登録商標）ｐｉｌｏｔ ｐｉＡ２４００－１７ｇｍモノクロ領域スキャンＣＣＤ産業用カメラであってもよい。本明細書中で用いるように、用語「カメラ」とは、任意の適切なタイプの画像化デバイス（例えば、ヒトの可視周波数スペクトル部分を捕捉するカメラ又は赤外線カメラ等）を指す可能性がある。

異なる光源２０６、２０８、及び２１０を用いて、異なるカテゴリの欠陥を検出するための画像を収集してもよい。例えば、前方傾斜光源２０６ａ及び２０６ｂは、反射性粒子又は他の反射性欠陥を検出するために用いられてもよく、後方傾斜光源２０８ａ及び２０８ｂは、概して、粒子のために用いられてもよく、バックライト光源２１０は、不透明粒子を検出するか、並びに／又は、容器（例えば、容器２１４）の不正確な寸法及び／若しくは他の欠陥を検出するために用いられてもよい。光源２０６及び２０８は、ＣＣＳ（登録商標）ＬＤＬ２－７４Ｘ３０ＲＤバーＬＥＤを含んでいてもよく、バックライト光源２１０は、例えば、ＣＣＳ（登録商標）ＴＨ－８３Ｘ７５ＲＤバックライトであってもよい。

撹拌機構２１２は、容器２１４等の容器を保持し、回転させる（例えば、回動させる）ためのチャック又は他の手段を含んでいてもよい。例えば、撹拌機構２１２は、各容器（例えば、シリンジ）をモータに固定して取り付けるばね式チャックを有するＡｎｉｍａｔｉｃｓ（登録商標）ＳＭ２３１６５Ｄ ＳｍａｒｔＭｏｔｏｒを含んでいてもよい。

外観検査システム２００は、１つ以上のＡＶＩニューラルネットワークを訓練及び／又は検証するよう容器画像を生成することに適していてもよいが、広範囲のカテゴリにわたって欠陥を検出する能力は、異なる視点を必要とする場合がある。したがって、いくつかの実装形態では、図１の外観検査システム１０２は、代わりに、マルチカメラシステムであってもよい。更に他の実装形態では、図１の外観検査システム１０２は、ラインスキャンカメラを含み、サンプル（例えば、容器）を回転させて各画像を捕捉してもよい。更に、訓練画像のはるかに大きいセットを迅速に得るために、サンプルの自動ハンドリング／搬送が望ましい場合がある。外観検査システム１０２は、例えば、その全体が参照により本明細書に組み込まれる（「Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｐｌａｔｆｏｒｍｓ ｆｏｒ Ａｕｔｏｍａｔｅｄ Ｖｉｓｕａｌ Ｉｎｓｐｅｃｔｉｏｎ」と題する、２０２０年５月５日に出願された）米国仮特許出願第６３／０２０，２３２号明細書に示され及び／若しくは説明されている外観検査のいずれか、又は任意のタイプの製品に適した任意の他の外観検査システムであってもよい。例えば、自動車の背景では、外観検査システム２００は、照明源、並びに特定のコンベヤベルトステーションの上方及び／又は周囲に取り付けられた複数のカメラを有する、コンベヤベルトを含んでもよい。

図３Ａ～図３Ｃは、特定の医薬の背景において、図１の外観検査システム１０２又は図２の外観検査システム２００によって画像化されるサンプルとして使用され得る、様々な例示的な容器のタイプを示している。最初に図３Ａを参照すると、例示的なシリンジ３００は、中空バレル３０２と、フランジ３０４と、バレル３０２の内部に可動流体シールを提供するプランジャ３０６と、シリンジ針（図３Ａには図示せず）を覆う針シールド３０８とを含む。例えば、バレル３０２及びフランジ３０４は、ガラス及び／又はプラスチックから形成されてもよく、プランジャ３０６は、ゴム及び／又はプラスチックから形成されてもよい。針シールド３０８は、シリンジ３００の肩部３１０によって間隙３１２だけ分離されている。シリンジ３００は、バレル３０２内及びプランジャ３０６の上方に液体（例えば、医薬品）３１４を含む。液体３１４の上部はメニスカス３１６を形成し、その上に空隙３１８がある。

次に図３Ｂを参照すると、例示的なカートリッジ３２０は、中空バレル３２２と、フランジ３２４と、バレル３２２の内部に可動流体シールを提供するピストン３２６と、ルアーロック３２８とを含む。例えば、バレル３２２、フランジ３２４、及び／又はルアーロック３２８は、ガラス及び／又はプラスチックから形成されてもよく、ピストン３２６は、ゴム及び／又はプラスチックか形成されてもよい。カートリッジ３２０は、バレル３２２内及びピストン３２６の上方に液体（例えば、医薬品）３３０を含む。液体３３０の上部はメニスカス３３２を形成し、その上に空隙３３４がある。

次に図３Ｃを参照すると、例示的なバイアル３４０は、中空本体３４２及びネック部３４４を含み、２つの間の移行部が肩部３４６を形成している。バイアル３４０の底部において、本体３４２はヒール３４８に移行している。クリンプ３５０は、バイアル３４０の上部に流体シールを提供するストッパ（図３Ｃでは見えていない）を含み、フリップキャップ３５２が、クリンプ３５０を覆っている。例えば、本体３４２、ネック部３４４、肩部３４６、及びヒール３４８は、ガラス及び／又はプラスチックから形成されてもよく、クリンプ３５０は、金属から形成されてもよく、フリップキャップ３５２は、プラスチックから形成されてもよい。バイアル３４０は、本体３４２内部に液体（例えば、医薬品）３５４を含んでいてもよい。液体３５４の上部は、メニスカス３５６（例えば、本体３４２が比較的大きい直径を有する場合、極めてわずかに湾曲するメニスカス）を形成してもよく、その上に空隙３５８がある。他の実施形態において、液体３５４は、代わりに、バイアル３４０内の固体材料である。例えば、バイアル３４０は、「ケーキ」とも称する、凍結乾燥（フリーズドライされた）医薬品３５４を含んでいてもよい。

例えば、ライブラリ拡大モジュール１２４（処理ユニット１１０により実行される）によって実施され得る様々な画像拡張技術が、ここで説明される。最初に図４Ａを参照すると、モジュール１２４は、画素レベルのリアリズムで、元の（例えば、実）画像に特徴（例えば、欠陥）を追加するために、算術転置アルゴリズム４００を実施することができる。図４Ａは、「容器」画像を参照して、特にガラス容器を参照してアルゴリズム４００を説明しているが、モジュール１２４は、代わりにアルゴリズム４００を使用して、他のタイプのサンプル（例えば、プラスチック容器、車両本体部品など）の画像を拡張してもよいことが理解されよう。

最初に、ブロック４０２において、モジュール１２４は、欠陥画像、及び欠陥画像内に示された欠陥のない容器画像を、メモリ（例えば、メモリユニット１１４）内にロードする。容器画像（例えば、図３Ａ～図３Ｃに示される容器のうちの１つと同様のシリンジ、カートリッジ、又はバイアル）は、例えば、図１の外観検査システム１０２又は図２の外観検査システム２００によって捕捉された実画像であってもよい。実装形態によっては、実画像は、ブロック４０２の前に他の方法（例えば、切り取り、フィルタリングなど）で処理されている場合がある。欠陥画像は、例えば、モジュール１２４が特徴画像ライブラリ１４２から取得された特定のタイプの欠陥（例えば、傷、亀裂、汚れ、異物、変形したプランジャ、割れたケーキなど）であり得る。

ブロック４０４において、モジュール１２４は、欠陥画像及び容器画像を、本明細書ではそれぞれ「欠陥行列」及び「容器画像行列」と呼ばれる、それぞれの２次元の数値行列に変換する。これらの数値行列の各々は、対応する画像の各画素に対して１つの行列要素を含むことができ、各行列要素は、対応する画素の（グレースケール）強度値を表す数値を有する。例えば、８ビットフォーマットを有する典型的な産業用カメラの場合、各行列要素は、０（黒）から２５５（白）までの強度値を表すことができる。例えば、容器が逆光になるような実装形態では、ガラス及び透明な流体のみを示す容器画像の領域は、比較的高い強度値を有する場合がある一方で、欠陥を示す容器画像の領域は、比較的低い強度値を有する場合がある。しかしながら、アルゴリズム４００は、示された欠陥の強度レベルが、欠陥なしで示されたガラス／流体領域の強度レベルとは十分に異なる限り、他のシナリオにおいて有用であり得る。他のグレースケール解像度に対して他の数値が使用されてもよく、又は（例えば、カメラが赤－緑－青（ＲＧＢ）色値を生成する場合）行列が、より多くの次元を有してもよい。図５は、モジュール１２４がグレースケール画素５０２を有する特徴（亀裂）画像５００を特徴行列５０４に変換する、例示的な動作を示している。明確にするために、図５は、特徴画像５００内の画素５０２の一部のみを示しており、且つ対応する特徴行列５０４の一部のみを示している。

ブロック４０４において、画素サイズｍ×ｎの容器画像に対して生成される２次元行列は、以下のｍ×ｎ行列として表すことができる。

例えば、Ｃ_１１は、容器画像の左上画素の値（例えば、０～２５５）を表す。行の数ｍ及び列の数ｎは、必要とされる画像解像度及びコンピュータシステム１０４の処理能力に応じて、任意の適切な整数にすることができる。モジュール１２４は、欠陥画像に対して、同様の、より小さい以下の行列を生成する。

欠陥行列のサイズは、欠陥画像のサイズ（例えば、小さい粒子に対して８×８の画像及び行列、蛇行した長い亀裂に対して３２×１２８の画像及び行列など）に応じて変化してもよい。

ブロック４０６において、ライブラリ拡大モジュール１２４は、欠陥が容器画像内に配置され得る場所に対する制限を設定する。例えば、モジュール１２４は、例えば、透明な容器内の半透明な流体の外側領域への転置を不許可とすることによって、強度及び／又は外観において大きい不連続性を有する容器の領域への欠陥の転置を許可しない場合がある。他の実施態様では、欠陥は、サンプル上のどこにでも配置され得る。

ブロック４０８において、モジュール１２４は、ブロック４０６において設定された任意の制限内で、容器画像内の「代理」領域を特定する。代理領域は、欠陥が転送されることになる領域であり、したがって、欠陥画像と同じサイズである。モジュール１２４は、（例えば、ブロック４０６において設定された制限内でｘ－座標及びｙ－座標をランダムに選択する）ランダムプロセスを使用して代理領域を特定してもよく、又は（例えば、アルゴリズム４００の複数の反復において、モジュール１２４が規則的又は不規則な間隔／スペースで異なる転置位置を介してステップする実装形態では）所定の位置に代理領域を設定してもよい。

ブロック４１０において、モジュール１２４は、容器画像の代理領域に対応する代理領域行列を生成する。行列は、元の容器画像の代理領域における画素の強度を数値に変換することによって形成されてもよく、又はブロック４０４において生成された容器画像行列の対応部分から数値を直接コピーすることによってシンプルに形成されてもよい。いずれの場合も、代理領域行列は、欠陥が転置されることになる容器画像の正確な位置／領域に対応し、欠陥行列とサイズ及び形状（すなわち、行及び列の数）が等しくなる。したがって、代理領域行列は、以下の形態を有することができる。

ブロック４１２において、欠陥行列の各行に対して、モジュール１２４は、要素値のヒストグラムを生成する。欠陥行列の単一の行に対する例示的な欠陥ヒストグラム４５０が、図４Ｂに示されている。ヒストグラム４５０では、第１のピーク部分４５２は、欠陥自体を示す欠陥画像の領域に対する比較的低強度の画素値に対応し、第２のピーク部分４５４は、ガラス／流体（欠陥なし）のみを示す欠陥画像の領域に対する比較的中強度の画素値に対応し、第３のピーク部分４５６は、欠陥からの光の反射を示す欠陥画像の領域に対する比較的高強度の画素値に対応する。ヒストグラム４５０がピーク部分４５４を含むことを確実にするために、欠陥画像サイズの慎重な選択が重要である。特に、ブロック４０２においてロードされた欠陥画像は、欠陥画像の全ての行にわたって、少なくともいくつかのガラス領域（すなわち、欠陥なし）を捕捉するのに十分な大きさであるべきである。

欠陥行列の各行に対して、モジュール１２４はまた（ブロック４１２において）、欠陥なしで示されたガラスに対応するピーク部分（例えば、ヒストグラム４５０内のピーク部分４５４）を特定し、そのピーク部分の中心に対する欠陥行列のその行の要素値を正規化する。いくつかの実装では、欠陥画像の寸法は、最大のピークを有するピーク部分が欠陥画像のガラス／欠陥なし領域に対応することになるように選択される。これらの実装形態では、モジュール１２４は、最大のピーク値を有するピーク部分を選択することによって、示されたガラス（欠陥なし）に対応するピーク部分を特定することができる。モジュール１２４は、実装形態に応じて、様々な方法でピーク部分の「中心」を判定することができる。例えば、モジュール１２４は、ピーク部分のローサイド及びハイサイド強度値（例示的なヒストグラム４５０では、それぞれローサイド値（ＬＳＶ）４５７及びハイサイド値（ＨＳＶ）４５８として示されている）を判定し、次いで、その２つの平均（すなわち、中心＝（ＨＳＶ－ＬＳＶ）／２）を計算することができる。或いは、モジュール１２４は、中央強度値、又はピーク部分のピークに対応する強度値などとして、中心を計算することができる。欠陥画像のＨＳＶ値及びＬＳＶ値は、かなり接近していてもよく、例えば、８～１０グレースケールレベル離れた程度の距離である。

欠陥行列を正規化するために、モジュール１２４は、行内の各要素値から中心値を減算する。この例は、図４Ｃに示されており、ヒストグラム４５０を有する欠陥画像は、正規化された欠陥行列がヒストグラム４６０を有するように正規化されている。図４Ｃに見られるように、この例では、ピーク部分４５２は、負の値のみを含むピーク部分４６２に変換され、ピーク部分４５４は、要素値０を中心とするピーク部分４６４に変換され、ピーク部分４５６は、正の値のみを含むピーク部分４６６に変換されている。モジュール１２４は、アルゴリズム４００を実行する際に必ずしもヒストグラム４６０を生成しないことが理解される。事実上、正規化された欠陥行列は、欠陥行列の「平坦化」バージョンであり、欠陥自体を代表する情報を保持しながら、周囲のガラス（及び場合によっては流体など）で値がキャンセルされる。全ての行に対して実行される際、正規化された欠陥行列は、以下のように表現され得る。

ブロック４１４において、モジュール１２４は、代理領域行列の各行に対して同様のヒストグラムを生成し、代理領域内に示されたガラス／流体に対応するピーク部分を特定し、そのピーク部分のローサイド値及びハイサイド値を記録する。容器画像がいかなる欠陥も示さない実装形態／シナリオでは、ヒストグラム内に１つのピークしか存在しない場合がある（例えば、ＬＳＶ４５７とＨＳＶ４５８のピーク部分４５０と同様に）。欠陥画像及び容器画像が捕捉されるときの照明（及び場合によっては他の）条件はまったく同じではないため、ブロック４１４において特定されるピーク部分は、ブロック４１２において特定される欠陥画像ピーク部分とは少なくともいくつかの点で異なることになる。

アルゴリズム４００は、上述したように行単位で実行されてもよく、又は列単位で実行されてもよいことが理解される。ブロック４１２及び４１４の動作を行単位又は列単位で実行することは、円筒形の容器がカメラに直交して配置され、容器の中心軸／長軸が容器画像にわたって水平又は垂直に延びる場合に特に有利であり得る。そのような構成では、照明のタイプや位置に応じて、外観の変化は、（容器の直径又は幅にわたる）１つの方向ではより急であり、（容器の長軸に沿った）他の方向ではより急ではない傾向があり、したがって、各行又は各列に対して（すなわち、変化のより少ない方向に対応するどちらにも）正規化などを行うことによって失われる情報は少なくなる。いくつかの実装形態では（例えば、底側からバイアルを画像化する場合）、ブロック４１２及び４１４は、代理領域行列の２次元領域（例えば、２×２、又は４×４など）内の値を平均化するなどの他の動作を伴う場合がある。

ブロック４１６～４２０において、モジュール１２４は、欠陥行列の各要素に対して比較を反復的に実行することによって（例えば、要素Ｄ_１１から始まる欠陥行列をスキャンすることによって）、容器画像行列の代理領域上に正規化された欠陥行列をマッピングする。正規化された欠陥行列の所与の要素に対して、ブロック４１６において、モジュール１２４は、代用領域行列の対応する要素の値にその要素の値を加算し、得られた合計が（それらの値がブロック４１４において判定されたように）対応する行のローサイド値とハイサイド値との間にあてはまるどうかを判定する。そうである場合、次いでブロック４１８Ａにおいて、モジュール１２４は、容器画像行列の代理領域内の対応する要素の元の値を保持する。

そうでない場合、次いでブロック４１８Ｂにおいて、モジュール１２４は、容器画像行列の対応する要素の値に、正規化された欠陥行列要素値を加算する。例えば、要素Ｎ_１１が範囲［ＬＳＶ，ＨＳＶ］の外側にある場合、モジュール１２４は、容器画像内の対応する要素を（Ｎ_１１＋Ｓ_１１）に等しく設定する。ブロック４２０において示されるように、モジュール１２４は、正規化された欠陥行列の残りの各要素に対して、ブロック４１６（及び必要に応じて、ブロック４１８Ａ又はブロック４１８Ｂ）を反復する。ブロック４２２において、モジュール１２４は、修正された容器画像（少なくとも代理領域）の全ての値が有効なビットマップ値（例えば、８ビットフォーマットが使用される場合は０～２５５）であることを確認し、ブロック４２４において、モジュール１２４は、修正された容器画像行列をビットマップ画像に変換し、得られた「欠陥」容器画像を（例えば、訓練画像ライブラリ１４０に）保存する。ブロック４１６～４２０の正味の効果は、容器画像内のガラス（又は他の半透明材料）レベルよりも強度が低い（暗い）欠陥画像画素、並びにガラスレベルよりも強度が高い（明るい／白い）画素（例えば、欠陥における反射に起因）を「キャッチする」又は維持することである。

アルゴリズム４００について上述した様々なブロックは、上述した様々な選択肢以外の（又はそれに加えた）方法を含む、他の実装形態において異なってもよいことが理解される。ほんの一例として、ブロック４１６～４２０のループは、最初に正規化された欠陥行列を代理面積行列と（容器画像行列について上述したように要素ごとに）マージして置換行列を形成し、次いで、（すなわち、容器画像行列全体を直接修正するのではなく）容器画像行列の対応する領域を置換行列で置換することを伴う場合がある。別の例として、ブロック４１６Ａ及び４１６Ｂは代わりに、（すなわち、ブロック４１８Ａが実行される各場合において要素値をゼロに変更することによって）正規化された欠陥行列を修正するように動作することができ、その後、正規化された欠陥行列の修正バージョンが容器画像行列の代理領域に追加される。更に、アルゴリズム４００は、上述された１つ以上の動作（例えば、ブロック４０６）を省略することができ、及び／又は上述されていない追加の動作を含むことができる。

いくつかの実施形態及び／又はシナリオでは、アルゴリズム４００は、容器画像の代理領域上に欠陥を転置する前に、欠陥画像（ブロック４０２においてロードされた）、又は（ブロック４０４において）欠陥画像から導出された数値行列を、回転及び／又はスケーリング／サイズ変更することを含む。例えば、欠陥画像又は数値行列の回転及び／又はサイズ変更は、ブロック４１２の前の任意の時間（例えば、ブロック４１０、４０８、４０６、及び４０４のいずれか１つの直前）に発生してもよい。回転は、例えば、欠陥画像又は数値行列の中心点又は中心画素に対して実行されてもよい。サイズ変更には、１つ又は２つの軸に沿って（例えば、欠陥画像の軸に沿って、又は示された欠陥の長軸及び短軸に沿って、など）、欠陥画像又は数値行列を拡大又は縮小することを含んでもよい。一般に、画像のスケーリング／サイズ変更には、単一の画素に画素のグループをマッピングする（縮小）、又は画素のグループに単一の画素をマッピング（拡大／伸張）することを含む。欠陥画像から導出される数値行列に対して動作を実行する場合、画素ではなく行列要素に対して同様の動作が必要であることが理解される。いったん欠陥画像又は数値行列が回転及び／又はサイズ変更されると、アルゴリズム４００の残りの部分は、変更されなくてもよい（すなわち、上述したのと同じ方法で発生し、回転及び／又はサイズ変更が発生したかどうかに関しては不可知である場合がある）。

（例えば、算術転置アルゴリズム４００を実装するライブラリ拡大モジュール１２４による）回転及び／又はサイズ変更は、特徴画像ライブラリ１４２のサイズ及び多様性を、そうでなければ欠陥画像の固定セットで可能であったものをはるかに超えて増加させるのに役立ち得る。回転は、（１）画像化された容器が有意な回転対称性を有し（例えば、容器が、検査中に画像化される円形又は半円形の表面を有する）、及び（２）画像化された欠陥がその対称性に依存する視覚特性を有する傾向があるタイプのものである、使用例において特に有用であり得る。例えば、ガラスバイアルの円形又は円形に近い底部では、いくつかの亀裂は、円の中心から円の周囲への方向に概ね伝播する傾向があり得、又はその逆も同様である。例えば、ライブラリ拡大モジュール１２４は、欠陥画像の軸が、欠陥が転置されている代理領域の回転位置と整列するように、亀裂又は他の欠陥を回転させることができる。より具体的には、回転の量は、元の欠陥画像における欠陥の回転、及び所望の回転（例えば、欠陥が転置されている代理領域に対応する回転）の両方に依存してもよい。

所望の回転及び／又はサイズ変更に必要な画素（又は行列要素）マッピングを達成するために、ニアレストネイバー、バイリニア、高品質バイリニア、バイキュービック、又は高品質バイキュービックなどの任意の適切な技術が使用されてもよい。上記で列挙した５つの例示的な技術のうち、ニアレストネイバーはより低品質の技術であり、高品質バイキュービックは最高品質の技術である。しかしながら、回転及び／又はサイズ変更された欠陥を、検査に使用されることになる画像化システム（例えば、外観検査システム１０２）によって提供される画像品質に非常に近い画像品質にすることが目標であることを考えると、最高品質の技術は最適でない場合がある。上記で列挙した５つなどの異なる技術の出力を比較し、定性的／主観的な意味で最良である技術を選択するために、マニュアルユーザレビューが実行されてもよい。いくつかの実装形態では、高品質バイキュービックが使用され、又はデフォルト設定として使用される。

アルゴリズム４００（任意の回転及び／又はサイズ変更あり、及び／又は変更なし）は、任意の数の異なる「良好」画像及び任意の数の「欠陥あり」画像に対して、任意の所望の組み合わせで繰り返すことができる（例えば、Ｎ箇所の各々において、Ｌ個の欠陥画像の各々をＭ個の良好な容器画像の各々に適用して、訓練画像ライブラリ１４０内のＭ個の良好な容器画像に基づいてＬ×Ｍ×Ｎの合成画像を生成する）。したがって、例えば、１０個の欠陥画像、１，０００個の良好容器画像、及び欠陥タイプごとに１０個の欠陥位置は、１００，０００個の欠陥画像をもたらし得る。任意の特定の良好容器画像に対して欠陥が転置される場所／位置は、予め判定されてもよく、又は（例えば、モジュール１２４によって）ランダムに判定されてもよい。

アルゴリズム４００は、１つ以上の特徴による画素強度レベルのシャープなコントラスト又は移行を含む代理領域上に欠陥が転置される状況においても、非常にうまく機能することができる。例えば、アルゴリズム４００は、ガラスシリンジの代理領域がメニスカス及びメニスカスの両側の領域（すなわち、それぞれ、空気及び流体）を含む場合であっても、うまく機能することができる。アルゴリズム４００はまた、代理領域が欠陥画像における欠陥を取り囲む領域と非常に異なる、特定の他の状況を扱うことができる。例えば、アルゴリズム４００は、透明な流体で充填されたガラスシリンジの欠陥画像から、バイアルが不透明な凍結乾燥ケーキで充填された代理領域内のバイアル画像上に、欠陥を転置する際に、うまく実行することができる。しかしながら、いくつかの使用例又はシナリオに対して、アルゴリズム４００を修正することが有益である場合がある。容器画像の代理領域が２つの非常に異なる領域間（例えば、バイアル画像のガラス／空気部分と凍結乾燥ケーキ部分との間）の移行を示す場合、例えば、モジュール１２４は、代理領域行列を複数の部分（例えば、同じサイズ若しくは異なるサイズの２つの行列）に分割するか、又は第１の例において２以上の代理領域行列を単に形成することができる。次いで、欠陥画像の対応する部分は、上で検討したようにアルゴリズム４００の異なるインスタンスを使用して、異なる代理領域上に個別に転置されてもよい。

いくつかの実装形態では、特徴画像ライブラリ１４２の画像内に示された欠陥及び／又は他の特徴は、モジュール１２４がアルゴリズム４００を使用してそれらの特徴を元の画像に追加する前に、１つ以上の方法でモーフィングすることができる。このようにして、モジュール１２４は、特徴画像ライブラリ１４２のサイズ及び可変性を効果的に増加させ、したがって、訓練画像ライブラリ１４０のサイズ及び可変性を増加させることができる。例えば、モジュール１２４は、回転、（１次元又は２次元の）スケーリング／伸長、スキュー、及び／又は他の変換を適用することによって、欠陥及び／又は他の特徴をモーフィングすることができる。追加的に、又は代替的に、示された特徴は、より複雑及び／又は微妙な方法で修正されてもよい。例えば、モジュール１２４は、欠陥（例えば、亀裂）を異なる円弧に、又はより複雑な亀裂構造に（例えば、複数の異なる分岐パターンの各々に）適合させることができる。その性質上、画素ベースのアルゴリズム４００は、このようなタイプの細かい特徴制御／修正を処理する能力を十分に備えている。

図５の算術転置アルゴリズム４００を使用して生成された合成画像は、図６で見られ得るように、極めて現実的であり得る。図６は、マニュアル的に生成された実世界での亀裂を有するシリンジの実画像６００を、アルゴリズム４００を使用して人工的に生成された亀裂を有するシリンジの合成画像６０２と比較している。更に、合成画像の「リアリズム」は、画素レベルまで拡大することができる。図７は、図６の画像６００、６０２に対応する画素レベルの比較を提供している。具体的には、画像部分７００Ａは、容器画像６００における実世界の欠陥の拡大図であり、画像部分７０２Ａは、容器画像６０２における人工的な欠陥の拡大図である。画像部分７００Ｂは、画像部分７００Ａの更なる拡大図であり、画像部分７０２Ｂは、画像部分７０２Ａの更なる拡大図である。画像部分７００Ｂ及び７０２Ｂに見られるように、欠陥を転置することによって作成される、容易に観察可能な画素レベルのアーチファクト又は他の非類似性は存在しない。

この画素レベルのリアリズムがなければ、ＡＶＩニューラルネットワークは、合成画像が欠陥であると判定する際に、「誤った」特性（例えば、画素レベルのアーチファクト）にフォーカスし得る。容器の材料（例えば、ガラス又はプラスチック）は肉眼には均一な表面に見えるが、実際には照明及び容器の材料の特性（例えば、容器の湾曲）により画素間の変動を生じさせ、所与の容器画像上の各代理領域は、全ての他の可能な代理領域とは少なくともいくつかの点で異なっている。更に、欠陥画像を捕捉する際に使用した条件／材料（例えば、照明及び容器の材料／形状）が、「良好」容器画像を捕捉する際に使用した条件／材料と比較して、更に大きい変動が生じる可能性がある。この潜在的な例は、図８に示されており、第１の転置欠陥８０２と第２の転置欠陥８０４の両方を有する複合合成画像８００を示している。第１の転置欠陥８０２は、欠陥画像を元の容器画像上に直接重畳させるという従来のシンプルな技術を使用して作成され、第２の転置欠陥８０４は、算術転置アルゴリズム４００を使用して作成される。図８に見られるように、第１の転置欠陥８０２に対応する欠陥画像の境界は、明確に見ることができる。第１の転置欠陥８０２などの欠陥を有する合成画像を用いて訓練されたＡＶＩニューラルネットワークは、例えば、容器を検査する際に単に同様の境界を探す場合があり、これが、多数の偽陰性及び／又は他の不正確さをもたらすかもしれない。

図９Ａは、算術転置アルゴリズム４００の実装形態を使用して生成された、９００～９１０とラベル付けされた、追加された欠陥を有する様々な他の合成画像を示している。いずれの場合も、欠陥を示しているシリンジ画像の部分は、画像を巨視的レベルで見るか又は画素レベルで見るかにかかわらず、画像の周囲の部分とシームレスにブレンドされる。

図９Ｂは、そのいずれかが算術転置アルゴリズム４００への入力として使用され得る、例示的な亀裂欠陥画像９２０のコレクションを示している。いくつかの実装形態では、上記のように、算術転置アルゴリズム４００は、アルゴリズム４００の残りの部分を実行する前に、所与の欠陥画像（又は対応する数値行列）の回転及び／又はサイズ変更を含み得る。回転が望まれる場合、一般に、元の欠陥画像に対応する回転を知ることが重要である。例えば、例示的な亀裂欠陥画像９２０では、元の画像に対応する回転／角度は、ファイル名自体に含まれている（図９Ｂでは各画像のすぐ下に示されている）。したがって、例えば、「２５０＿ｃｒａｃｋ０００２」は、（１８０度回転を希望する場所に亀裂を位置付けるには、反時計回りに７０度回転する必要があるような）２５０度回転における特定の亀裂であり、「２７０＿ｃｒａｃｋ０００３」は、（１８０度の回転を希望する場所に亀裂を位置付けるには、反時計回りに９０度回転する必要があるような）２７０度回転における別の亀裂であり得る、などである。ライブラリ拡大モジュール１２４は、この示された元の回転、及び所望の回転（例えば、欠陥が転置されている代理領域の角度位置に対応する回転）に基づいて、適用すべき回転の程度を計算することができる。

算術転置アルゴリズム４００は、Ｃ＋＋、．ＮＥＴ環境などの大部分の高級言語で実装することができる。処理ユニット１１０の処理能力に応じて、アルゴリズム４００は、回転及び／又はサイズ変更によってこれらの時間が一般的に増加するが、潜在的には、１５分以内に数千の合成画像を生成することができる。しかしながら、訓練画像は大部分のアプリケーションではリアルタイムで生成する必要がないため、実行時間は一般に、（たとえ回転及び／又はサイズ変更を伴っても）重要な問題ではない。

米国仮特許出願第６３／０２０，２３２号明細書に記載されているように、様々な画像処理技術を使用して、利用可能な各画像の主要な指標を測定することができ、訓練画像ライブラリ１４０などの訓練画像ライブラリの慎重なキュレーションが可能になる。上述の算術転置アルゴリズム４００の開発中、特定のパラメータの慎重な制御が重要であり得ることが発見された。例えば、１ｍｌのガラスシリンジを考慮する際に、画像における液体メニスカス及びプランジャ（例えば、ゴム製プランジャ）の位置は、画像ごとに異なり得る重要な属性となる可能性がある。合成画像が全て同じ「良好」容器画像で（又は小さすぎる、及び／又は似すぎている良好な容器画像セットで）作成された場合、深層学習ＡＶＩモデルのその後の訓練は、画像の変動の欠如から生じるバイアスによって損なわれる場合がある。

主要な画像指標を使用することにより、これらのバイアスが低減又は回避されるように、（例えば、アルゴリズム４００を使用して）拡張すべき「良好」画像のライブラリを慎重に選択することができる。そのような指標はまた、訓練画像ライブラリのブレンドに使用することができ、その結果、得られる合成ライブラリには、実画像と合成画像との適切なバランスが含まれるだけでなく、主要指標の各々の分散が自然に表示されることになる。

そのような画像上で訓練されたＡＶＩ深層学習モデルのロバスト性を含む、アルゴリズム４００を使用して生成された合成画像の品質を評価するために、様々な実験が行われた。これらの実験に対して、各々約３００個の画像を有する４つのデータセット、すなわち、（１）実験室設定において、デカルトロボットベースシステムによって捕捉された、目に見える欠陥のないシリンジの実画像である、「実欠陥なし」画像セット、（２）異なる位置に異なるサイズの亀裂があるシリンジの実画像であり、同じく実験室設定においてデカルトロボットベースシステムによって捕捉された、「実欠陥」画像セット、（３）プランジャ及びメニスカスの位置を変えることなく、実欠陥画像から示された亀裂を除去して作成された合成画像である、「合成無欠陥」画像セット、（４）実欠陥なし画像に亀裂の描写を追加し、Ｘ方向及びＹ方向にランダムに配置した合成画像である、「合成欠陥」画像セットが使用された。合成欠陥画像は、算術転置アルゴリズム４００の実装形態を使用して生成された。実欠陥なし画像と実欠陥あり画像におけるシリンジは、異なる位置にメニスカスを有していた。

ＡＶＩ深層学習モデルは、実データセット及び拡張データセットからの画像の割合の異なる組み合わせ（０％、５０％、又は１００％）を使用して訓練された。各組み合わせに対して、２つの画像ライブラリ、すなわち、各々約３００個の画像を有する、良好（欠陥なし）画像ライブラリ及び欠陥画像ライブラリがブレンドされた。訓練中、これら２つのライブラリの各々は３つの部分に分割され、７０％の画像が訓練用に、２０％の画像が検証用に、１０％の画像がテストデータセット用に使用された。事前訓練されたＲｅｓＮｅｔ５０アルゴリズムを使用されて、ＨＡＬＣＯＮ（登録商標）ソフトウェアを使用するモデルを訓練し、入力画像を欠陥ありクラス又は無欠陥クラスに分類した。深層学習モデルの訓練後、テストデータセットを使用してその性能を評価した。モデルを０％実画像（つまり１００％合成画像）で訓練した場合、拡張テストセットの精度は、実データセットの精度よりも高いことが観察された。１００％実画像（すなわち、０％合成画像）でモデルを訓練した場合、実データセットの精度は、拡張データセットよりも高くなった。５０％実画像及び５０％合成画像を使用してモデルを学習訓練した、実データセット及び拡張データセットの両方に対して精度は同様であり、且つ高い精度であった。これらの実験から、訓練データセット内の実画像又は合成画像のいずれかの割合が増えると、それぞれの（実画像又は拡張）データセットに対する深層学習モデルの精度がそれに応じて増加すると結論付けられた。

１００％実画像でモデルを訓練した場合、合成／拡張テスト画像に関してモデルの精度がより低くなる理由として１つ考えられるのは、訓練画像セット及びテスト画像セットのシリンジにおけるメニスカスが異なることであり得る。０％実画像で訓練されて、実画像のみでテストされたモデルは、メニスカスが異なるためにテスト画像を誤って分類することがあった。同様に、１００％実画像で訓練されて、合成画像のみを使用してテストされた場合、メニスカスが異なるために、モデルがテスト画像を誤って分類することがあった。これらの誤って分類された画像は、グラデーションクラスアクティベーションマップ（Ｇｒａｄ－ＣＡＭ）アルゴリズムを使用して生成されたヒートマップを視覚化することによって評価された。この種のヒートマップは、米国仮特許出願第６３／０２０，２３２号においてより詳細に検討されている。そのような場合、本明細書で検討した画像拡張技術を使用して、訓練画像内のメニスカスに対して可変性を追加することによって、分類器の性能を改善することができる。

モデルが訓練されて、上記のテストによりモデルが適切に訓練されたことが示された後、「最終テスト」フェーズが実行された。このフェーズに対して、前述の同じ一般的なタイプの４つのデータセット（「実欠陥なし」、「実欠陥あり」、「合成欠陥なし」、「合成欠陥あり」）が再び使用されたが、全ての画像は別のソースから入手し（すなわち、全ての画像が訓練／検証／テストフェーズで使用したものとは異なる製品のものであり）、全ての画像はモデル性能のテストのみに使用した（すなわち、いずれの画像もモデルの訓練には使用しなかった）。この第２のフェーズに対しても同様の傾向が観察され、実画像の割合が高いほど、実「最終テスト」画像に対するモデル精度が増加し、合成画像の割合が高いほど、合成「最終テスト」画像に対するモデル精度が増加している。

図１０は、合成画像の有効性を評価するために使用された、様々なＧｒａｄ－ＣＡＭが生成したヒートマップ１０００、１００２、及び１００４を示している。ヒートマップ１０００は、「真陽性」、すなわち、ＡＶＩニューラルネットワークがデジタル的に追加された亀裂を正しく特定した場合を反映している。すなわち、図１０に見られるように、亀裂に関連する画素は、ＡＶＩニューラルネットワークが「欠陥」推論を行うときに最も依拠した画素であった。しかしながら、ヒートマップ１００２は、ＡＶＩニューラルネットワークが合成画像を欠陥画像として分類したが、誤った理由に対する（すなわち、デジタル的に追加された亀裂から離れた領域にフォーカスすることによる）「偽陽性」を反映している。ヒートマップ１００４は、モデルがメニスカスの領域に過度にフォーカスしているため、ＡＶＩニューラルネットワークが合成画像を欠陥画像として分類することができなかった「偽陰性」を反映している。この誤分類は、合成された「欠陥あり」訓練画像が、「欠陥なし」テスト画像と同様のメニスカスを有することの結果である。これは、１００％実画像で訓練を行った後に合成画像上でモデルを実行した場合、又は１００％合成画像で訓練を行った後に実画像上でモデルを実行した場合に最も発生しやすい。代わりに、５０％実画像、５０％合成画像程度で訓練すると、そのような不具合は劇的に減少する。

ＡＶＩニューラルネットワーク性能はまた、実画像及び合成画像の異なる組み合わせを訓練データとして使用する際に、ＡＶＩモデル用の混同行列を生成することによって測定された。１００％合成画像上でＡＶＩモデルを訓練した場合、１００％合成画像セットに対するモデル性能は、以下のようになった。

５０％実画像及び５０％合成画像上でＡＶＩモデルを訓練した場合、１００％合成画像セットに対するモデル性能は、以下のようになった。

１００％実画像上でＡＶＩモデルを訓練した場合、１００％合成画像セットに対するモデル性能は、以下のようになった。

１００％合成画像上でＡＶＩモデルを訓練した場合、１００％実画像セットに対するモデル性能は、以下のようになった。

５０％実画像及び５０％合成画像上でＡＶＩモデルを訓練した場合、１００％実画像セットに対するモデル性能は、以下のようになった。

１００％実画像上でＡＶＩモデルを訓練した場合、１００％実画像セットに対するモデル性能は、以下のようになった。

これらの結果はまた、図１１にも反映されており、これは、訓練及びテスト画像セットにおける合成画像及び実画像の異なる組み合わせに対するＡＶＩニューラルネットワーク性能を示すプロット１１００である。プロット１１００において、Ｘ軸は、訓練セットにおける実画像の割合を表し、残りは合成／拡張画像であり、Ｙ軸は、訓練されたＡＶＩモデルの割合精度を表す。トレース１１０２は、１００％実画像上で実行されるテストに対応し、トレース１１０４は、１００％合成画像上で実行されるテストに対応する。プロット１１００及び上記の混同行列から分かり得るように、（例えば、訓練画像ライブラリ１４０内の）５０％実画像及び５０％程度の合成画像の混合が最適であるように見える（約９８％の精度）。もちろん、プロット１１００におけるデータ点の疎密は、最適点が５０％実画像の多少上又は下であることを意味し得る。例えば、実訓練画像の割合が５～１０％低いことで、９８％の精度に非常に近いものが得られた場合、合成画像の割合が高い訓練画像ライブラリを開発するコスト／時間を節約するために、（実画像上でテストした際の）性能の小さい低下を受け入れることが望ましい場合がある。

上記の検討は、主に合成「欠陥あり」画像の生成、すなわち、人工的だが現実的に示された欠陥を追加することによって「良好」実画像を拡張することに関するものである。しかしながら、場合によっては、欠陥又は異常が示された実画像から合成「良好」画像を作成することが有利であり得る。これは、訓練画像ライブラリを更に拡大することができるとともに、また、訓練画像ライブラリにおける「欠陥あり」画像と「欠陥なし」画像との特性のバランスをとるのに役立つ。特に、欠陥の除去は、欠陥を示している画像に補完的なカウンタを提供することによって、ＡＶＩモデルによる非因果関係を低減することができる。これにより、場合によっては非常に微妙であり得る因果関係を特定するために、ＡＶＩモデルに、適切な対象領域にフォーカスすることを促す。

いくつかの実装形態では、欠陥（又は他の特徴）除去は、対象の欠陥を示す画像のサブセットに対して実行され、その後、合成（欠陥なし）画像及び対応する元の（欠陥あり）画像の両方が訓練セット（例えば、訓練画像ライブラリ１４０内）に含まれる。欠陥ありサンプルとは無関係であるが、訓練画像の約１０％が欠陥画像から作成された合成「良好」画像である、良好画像で訓練されたＡＶＩ分類モデルは、欠陥アーチファクトが画像内に見えない欠陥ありサンプルから完全に調達された良好画像で訓練されたＡＶＩモデルの因果関係予測性能と一致するか又はそれを超えることが示されている。

（欠陥の除去のみとは対照的に）より一般的な特徴の除去を利用して、よりフォーカスした分類を提供することができる。例えば、訓練セットの元の画像が特定の領域又は対象領域（例えば、外観及び位置が変化し得るメニスカス）を示している場合、そのような領域を（例えば、それらの領域の特定されている特性を除去又は修正することによって）置換し、編集された画像を補完的な訓練画像として追加することができる。これは、例えば、ＡＶＩモデルが特定の入力サイズを必要とする場合、及び／又は複数の分散された対象領域が存在する場合、切り取る（例えば、メニスカスを示すシリンジ画像の一部を切り取る）よりも好ましい可能性がある。

示された欠陥又は他の特徴を元の画像から除去するために、異なるデジタル「インペインティング」技術が本明細書で説明される。いくつかの実装形態では、モジュール１２４は、最初に欠陥又は他の特徴をマスクし（例えば、特徴領域に対応する全ての画素を均一に最小又は最大強度に設定し）、次いで、周囲の画素統計を一致させることにより穴（マスクされた部分）に最良に「適合」する領域に対してマスクされた画像で反復的にサーチすることによって、画像特徴を除去する。より具体的には、モジュール１２４は、（１）マスクされた領域に隣接する画像の部分（例えば、パッチ）と、（２）マスクされた領域の外側の画像の他の部分との間の対応関係を判定することができる。例えば、モジュール１２４は、パッチマッチアルゴリズムを使用して、マスクされた領域をインペイントすることができる。画像のマスクされていない領域がマスクされた領域と同じ特徴（例えば、同じ欠陥）を示さない場合、モジュール１２４は、マスクされた領域を充填する際にその特徴を除去することになる。

このインペインティング技術は、一般に、「滑らか」で現実的な外観結果をもたらすことができる。しかしながら、この技術は、利用可能な画像統計によって制限され、また、画像のテーマ又はセマンティクスに関する概念を有しない。したがって、いくつかの合成された画像は、実際の「良好」画像を微妙に、又は総体的に表現していないものであり得る。これらの懸念に対処するために、いくつかの実装形態では、深層学習ベースのインペインティングが使用される。これらの技術では、入力画像と出力ラベルとの間の複雑な関係性をマッピングするために、ニューラルネットワークが使用される。そのようなモデルは、より高いレベルの画像テーマを学習することができ、拡張画像に連続性を提供する意味のある相関関係を特定することができる。

いくつかの深層学習の実装形態では、モジュール１２４は、部分畳み込みモデルを使用して画像をインペイントする。部分畳み込みモデルは、画像全体にわたって畳み込みを実行し、これにより、合成（インペイント）画像に画素ノイズ及び変動の態様が追加され、したがって、たとえインペイント領域を超えても、合成画像を元のものからわずかに区別する。ＡＶＩモデルを訓練するために、（例えば、ＡＶＩニューラルネットワークモジュール１２０による）この画素ノイズ／変動を有する合成画像を使用することは、追加の変動によりモデルがオーバーレイ固有の相関を描くことを防ぐため、モデルのオーバーフィッティングを防止するのに役立ち得る。このため、ＡＶＩモデルは、その集団の特定のサブセットだけを理解するのではなく、総画像集団よりよく「理解」することができる。その結果、より効率的に訓練されフォーカスされたＡＶＩ深層学習モデルが得られる。

図１２は、モジュール１２４が合成画像を生成するために使用され得る、例示的な部分畳み込みモデル１２００を示している。「Ｕ－Ｎｅｔ」アーキテクチャとして知られるモデル１２００の一般的な構造は、画像セグメンテーションアプリケーションで使用されてきた。モデル１２００では、入力画像及びマスクペア１２０２が、モデル１２００のエンコーダ１２０４に（同じ寸法を有する２つの個別の入力として）入力される。図１２に示される例では、入力ペア１２０２の画像及びマスクは、両方とも５１２×５１２画素／要素を有し、且つ両方とも（赤、緑、及び青（ＲＧＢ）値を表現するための）画素／要素ごとに３次元を有する。他の実装形態では、入力ペア１２０２の画像及びマスクは、幅及び高さがより大きくても小さくてもよく（例えば、２５６×２５６など）、３つの画素次元よりも多くても少なくてもよい（例えば、グレースケール画像が使用される場合は１次元である）。

訓練中、モジュール１２４が入力ペア１２０２として特定の入力及びマスクを入力すると、モデル１２００は、画像をマスクでドット化して（すなわち、画像にマスクを適用して）訓練サンプルを形成する一方で、元の画像（すなわち、入力ペア１２０２の画像）はターゲット画像として機能する。エンコーダ１２０４の第１段階において、モデル１２００は、入力画像のマスクされたバージョン、及びマスク自体を、２次元畳み込み層への個別の入力として適用し、それぞれ、画像出力及びマスク出力を生成する。各段階におけるマスク出力は、範囲［０，１］にクリップされてもよい。モデル１２００は、画像出力及びマスク出力をドット化し、ドット化された画像出力及びマスク出力を個別の入力として、次の２次元畳み込み層にフィードする。モデル１２００は、エンコーダ１２０４内に畳み込み層が残らなくなるまで、このプロセスを反復的に繰り返す。各連続畳み込み層において、画素／要素の寸法はある値（図１２の例では５１２）まで増加し得るが、マスクされた画像及びマスクのサイズは、十分に小さいサイズ（図１２の例では２×２）に達するまで減少する。エンコーダ１２０４は、Ｎ個の２次元畳み込み層を有し、ここで、Ｎは１よりも大きい任意の好適な整数であり、調節可能なハイパーパラメータである。モデル１２００の他の調節可能なハイパーパラメータには、カーネルサイズ、ストライド、及びパディングを含み得る。

モデル１２００が（マスクされた）画像及びマスクをエンコーダ１２０４に通した後、モデル１２００は、（今は小さいが、より高次元の）マスクされた画像及びマスクをデコーダ１２０６の転置畳み込み層に通す。デコーダ１２０６は、エンコーダ１２０４と同じ数（Ｎ）の層を含み、画像及びマスクをそれらの元のサイズ／寸法に復元する。デコーダ１２０６の各転置層の前に、モデル１２００は、図１２に示されるように、以前の層からの（すなわち、エンコーダ１２０４の最後の畳み込み層からの、又はデコーダ１２０６の前の転置層からの）画像及びマスクを、エンコーダ１２０４内の対応する畳み込み層の出力と連結させる。

デコーダ１２０６は、再構成された（出力）画像及び対応するマスクを含む、出力ペア１２０８を出力する。訓練の場合、上記のように、元の画像は、モジュール１２４が各反復において出力ペア１２０８の画像を比較する、ターゲット画像として機能する。モジュール１２４は、以下の６つの損失を最小化することを試みることによって、モデル１２００を訓練することができる。
－ 有効損失：マスクの外側の領域における画素損失。モジュール１２４は、入力／元の画像と出力／再構築された画像との間の画素値差を合計することによって、この損失を計算することができる。
－ 穴損失：マスクされた領域における画素損失。
－ 知覚損失：より高レベルの特徴損失であり、モジュール１２４は、個別に訓練された（事前訓練された）ＶＧＧ１６モデルを使用して計算することができる。ＶＧＧ１６モデルは、関連する特徴（例えば、欠陥）を有するサンプルと有しないサンプルとを分類するように事前訓練されてもよい。モデル１２００の訓練中、モジュール１２４は、元の画像及び再構成された画像を事前訓練されたＶＧＧ１６モデルにフィードし、元の画像及び再構成された画像のＶＧＧ１６モデルにおける３つの最大プーリング層の差をとることによって、知覚損失を計算することができる。
－ スタイル損失１：モジュール１２４は、より高いレベルの画像特徴における総変動の測定値を得るために、元の画像及び再構成された画像のＶＧＧ１６モデルにおける３つの最大プーリング層のグラム行列値の差（すなわち、知覚的損失に対して使用される同じ差）をとることによって、この損失を計算することができる。
－ スタイル損失２：有効損失と同様の損失であるが、モジュール１２４は、有効損失に使用される再構成／出力画像の代わりに、合成画像（マスクされていない領域における元の画像及びマスクされた領域における再構成／出力画像を含む）を使用して損失を計算する。
－ 変動損失：再構成された画像のマスクされた領域からマスクされていない領域への移行の測定値。

他の実施形態では、より多くの、より少ない、及び／又は異なる損失タイプが、モデル１２００を訓練するために使用されてもよい。各反復において、モデル１２００が特定の入力／元画像をどれだけうまく再構成したかに応じて（最小化されている損失に基づいて測定されるように）、モジュール１２４は、モデル１２００の値又はパラメータを調整する（例えば、畳み込み重みを調整する）ことができる。

元の（例えば、実）「欠陥あり」画像から合成「良好」画像を生成するために、モデル１２００は、良好／欠陥なし画像を使用して広範囲に訓練される。いくつかの実装形態では、モジュール１２４は、訓練中に使用されるマスク（例えば、入力ペア１２０２の異なるインスタンスに適用されるマスク）をランダムに生成する。マスクは、例えば、異なる幅、長さ、及び位置／向きを有する線から完全に構成され得る。より具体的な例として、モジュール１２４は、２５６×２５６画像に対して、５０～１００ポイントの線幅を有する７本の線を含むマスクを各々ランダムに生成することができる。図１３は、モジュール１２４によって生成され得る、この種の２つの例示的なマスク１３０２、１３０４を示している。一般に、狭すぎる線を有するマスクは非常に長い訓練時間を必要とし、広すぎる線を有するマスクは非現実的なインペインティングをもたらすことになる。他の実装形態では、モジュール１２４は、他の形状（例えば、矩形、円、形状の混合など）を使用してマスクをランダムに生成し、及び／又は事前設計されたマスクのセットから選択する。

いったんモデル１２００がこのように訓練されると、モジュール１２４は、欠陥を不明瞭にする対応するマスクを有する欠陥画像をモデル１２００に入力することができる。図１２は、モジュール１２４が（シリンジプランジャ上の異物を示している）欠陥画像１２１０、及び欠陥を不明瞭にするマスク１２１２を入力ペア１２０２としてモデル１２００に適用する例を示している。訓練されたモデル１２００は、次いで。画像１２１０を欠陥なし画像１２１４として再構成する。モジュール１２４は、次に、入力画像１２１０の元の位置に対応するフル容器画像の部分上に画像１２１４を重畳させることができる。他の実装形態では、モジュール１２４は、容器全体（又は他の物体）の画像をモデル１２００に入力することができ、モデル１２００は、容器全体（又は他の物体）の再構成された画像を出力することができる。

図１４は、モデル１２００と同様の部分畳み込みモデルを使用して実際の２５６×２５６画像（図１４の左側）から欠陥をデジタル的に除去することによって合成の２５６×２５６画像（図１４の右側）が生成される、３つの例示的シーケンス１４０２、１４０４、１４０６を示している。例示的なシーケンス１４０２、１４０４、１４０６に見られ得るように、シリンジプランジャ上又はその近くの欠陥を選択的に不明瞭にすることができるマスクが生成される。具体的には、プランジャ自体の欠陥は、シーケンス１４０２においてマスクされ、プランジャ上に静止している異物は、シーケンス１４０４及び１４０６においてマスクされる。マスクは、マニュアル的に生成されてもよく、例えば、物体検出技術を使用してモジュール１２４によって生成されてもよい。シーケンス１４０６に見られるように、マスクは、不規則な形状（例えば、任意の軸に対して対称でない）であり得る。

図１５は、実画像をどのように修正して合成画像に至ったかを示す差分画像（図１５の中央）を伴う、モデル１２００と同様の部分畳み込みモデルを使用して、２５６×２５６の実画像（図１５の左側）から欠陥をデジタル的に除去することによって生成された２５６×２５６の合成画像（図１５の右側）の別の例を示している。差分画像には、実画像からの主な変化はプランジャの欠陥の除去であったが、実画像にもいくらかのノイズが付加されていることが示されている。上記したように、このノイズは、訓練中のＡＶＩモデル（ニューラルネットワーク）のオーバーフィッティングを低減するのに役立ち得る。

図１６は、プランジャ欠陥を有するシリンジの実画像１６００、及びモデル１２００と同様の部分畳み込みモデルを使用して生成された欠陥のない合成画像１６０２を示している。この例では、画像１６００、１６０２は両方とも、２５１×１６５１画像である。この特定の例の場合、最初に、欠陥が示されている画像１６００の正方形の部分を切り取り、より小さく切り取られた画像のマスクを生成することによって、再構成がより効率的に行われた。部分畳み込みモデルを使用して切り取られた領域を再構成した後、再構成された領域を元の画像１６００内に再び挿入して合成画像１６０２を得た。図１６に見られるように、合成画像１６０２は、欠陥のないシリンジの現実的な描写を提供する。更に、肉眼では容易に見えないが、合成画像１６０２は、上述したように訓練プロセスを支援することができる付加的なノイズを含んでいる。しかしながら、この場合、使用された切り取り技術により、付加されたノイズは、画像１６０２全体にわたって分散していない。いくつかの実装形態では、再構成された領域と周囲の領域との間のより現実的な移行を確実にするため、及び／又は任意のアーチファクトを除去又は最小化するために、１つ以上の後処理技術を使用されてもよい。例えば、再構成された領域を元の画像１６００内に再び挿入することによって合成画像１６０２を生成した後、モジュール１２４は、画像１６０２全体を通じて分散されたノイズを追加し、及び／又は画像１６０２に対して平滑化を実行してもよい。

いくつかの実装形態では、モジュール１２４はまた、又は代わりに、深層学習ベースのインペインティング（例えば、モデル１２００と同様の部分畳み込みモデル）を逆方向で使用して、元の「良好」画像から合成「欠陥あり」画像を生成する。第１の実施形態では、これは、（例えば、入力ペア１２０２に対して良好画像を使用して）欠陥を追加するケースについて上述したのと同じ方法で部分畳み込みモデル（例えば、モデル１２００）を訓練することによって、達成することができる。しかしながら、欠陥を追加するために、訓練された部分畳み込みモデルに異なる画像が入力される。具体的には、「良好」画像を入力する代わりに、モジュール１２４は最初に、所望の位置において所望の欠陥画像を良好画像に追加する。このステップでは、良好画像の一部を所望の欠陥画像で単に置換するなどの、シンプルな画像処理技術を使用することができる。モジュール１２４は、例えば、特徴画像ライブラリ１４２から欠陥画像を取得することができる。図１７は、特徴画像ライブラリ１４２に含まれ得る３つの例示的な欠陥画像１７００Ａ～１７００Ｃを示しており、そのうちのいずれか１つが、元の画像の一部を置換するために使用され得る。代わりに、任意の他の適切な欠陥タイプが使用されてもよい（例えば、図１の特徴画像ライブラリ１４２に関連して上述した欠陥タイプのいずれか、又は自動車車体検査などの他の背景に関連する欠陥タイプなど）。

いくつかの実装形態では、（例えば、グラフィカルユーザインタフェースを介したソフトウェアツールのユーザからの入力を用いて、又はモジュール１２４によって完全に）欠陥画像が所望の位置に配置された後、モジュール１２４は、重畳された欠陥画像と同じサイズ及び元の画像内の位置を有するように閉塞領域を設定することによって、マスクを自動的に作成する。モジュール１２４は、次いで、部分畳み込みモデル（例えば、モデル１２００）への個別の入力として、（重畳された欠陥画像を有する）修正された元の画像及びマスクを入力することができる。

図１８は、この技術が２５６×２５６の部分シリンジ画像に欠陥を追加するために使用される、２つの例示的なシーケンス１８００、１８０２を示している。シーケンス１８００では、モジュール１２４は、実画像１８０４Ａを取得し、選択された（例えば、マニュアル的に又はランダムに判定された）位置又は所定の位置において所望の欠陥画像１８０４Ｂを重畳させ、実画像１８０４Ａのサイズに一致するが重畳された欠陥画像１８０４Ｂのサイズ及び位置に一致する閉塞領域を有するマスク１８０４Ｃを生成し、修正された実画像及びマスク１８０４Ｃを部分畳込みモデル（例えばモデル１２００）への個別の入力として適用して合成画像１８０４Ｄを生成する。同様に、シーケンス１８０２では、モジュール１２４は、実画像１８１０Ａを取得し、選択された（例えば、マニュアル的に又はランダムに判定された）位置又は所定の位置において所望の欠陥画像１８１０Ｂを重畳させ、実画像１８１０Ａのサイズに一致するが重畳された欠陥画像１８１０Ｂのサイズ及び位置に一致する閉塞領域を有するマスク１８１０Ｃを生成し、修正された実画像及びマスク１８１０Ｃを部分畳み込みモデル（例えばモデル１２００）への個別の入力として適用して合成画像１８１０Ｄを生成する。合成画像１８０４Ｄ、１８１０Ｄを生成するために、１６ｐｔのマスク線幅が使用された。図１８に見られるように、この技術は、適用された欠陥でマスクされた領域を不鮮明にし、現実的な外観を有する滑らかな移行領域を提供する。別の例が、図１９に示されており、ここで、この同じ技術が合成欠陥画像１９０２を得るために、実際の２５１×１６５１画像１９００を拡張するために使用された。

他の実装形態では、モジュール１２４は、モデル１２００などの部分畳み込みモデルを使用して元の画像に欠陥を追加するが、ランダム欠陥生成をサポートするために、異なる方法でモデルを訓練する。この実装形態では、訓練中、モジュール１２４は、各欠陥画像（例えば、実際の欠陥画像）を部分畳み込みモデルにフィードして、ターゲット画像として機能させる。訓練サンプルは、同じ欠陥画像であるが、（欠陥画像に適用されると）欠陥をマスクするマスクを有する。多数の欠陥画像に対してこれを繰り返すことにより、モジュール１２４は、欠陥を有する各マスク／穴領域をインペイントするように部分畳み込みモデルを訓練する。いったん部分畳み込みモデルが訓練されると、モジュール１２４は、所望の欠陥位置におけるマスクとともに、良好／欠陥なし画像を入力ペアとして適用することができる。

これらの実装形態では、複数の欠陥タイプが望まれる場合、異なる欠陥タイプに対して個別の部分畳み込みモデルを訓練することが有利であり得る。例えば、モジュール１２４は、スペックを追加することによって良好画像を拡張するための第１の部分畳み込みモデル、及び不正なプランジャリブなどを追加することによって画像を拡張するための第２の部分畳み込みモデルを訓練することができる。これは一般に、欠陥インペインティングに対するより多くの制御を提供し、（例えば、各欠陥タイプに関連する異なる複雑性を考慮するために異なるハイパーパラメータを用いて）異なるモデルを独立して訓練することを可能にする。これはまた、例えば、合成画像が、異なる欠陥クラスを特定するコンピュータビジョンシステムを訓練するために使用される場合に有用であり得る、（すなわち、単一の欠陥クラス内で明確に）より「純粋な」欠陥を生成することができる。図２０は、この技術がシリンジ画像に欠陥を追加するために使用された、３つの例示的なシーケンス２０００、２００２、２００４を示している。各シーケンスでは、モジュール１２４は、実画像を取得し（図２０の左側）、欠陥が追加されるべき実画像の一部を閉塞するマスクを生成し（図２０の中央）、実画像及びマスクを個別の入力として、（モデル１２００と同様の）訓練された部分畳み込みモデルに適用して合成画像を生成する（図２０の右側）。別の例が、図２１に示されており、ここで、この同じ技術が、合成欠陥画像２１０２を得るために、実際の２５１×１６５１画像２１００を拡張するために使用された。

いくつかの実装形態では、モジュール１２４はまた、又は代わりに、深層学習ベースのインペインティング（例えば、モデル１２００と同様の部分畳み込みモデル）を使用して、元の（例えば、実）画像内に示されている特徴を修正する（例えば、その外観を移動及び／又は変更する）。例えば、モジュール１２４は、（例えば、シリンジ内の）メニスカスの外観を移動及び／又は変更することができる。これらの実装形態では、モジュール１２４は、部分畳み込みモデル（例えば、モデル１２００）を使用して欠陥を追加するという背景で上述された、以下の２つの技術のいずれかを使用することができる。（１）「良好」画像をターゲット画像として使用してモデルを訓練し、次いで、元の画像を所望の特徴外観／位置を示す特徴画像（例えば、特徴画像ライブラリ１４２からの）と重畳させて合成画像を生成する、又は（２）（特徴を不明瞭にする対応するマスクを有する）所望の特徴外観／位置を示す画像を使用してモデルを訓練し、次いで、所望の特徴位置において元の画像をマスクして合成画像を生成する。これら２つの選択肢のうち後者を使用して合成画像を生成するための例示的なシーケンス２２００を、図２２に示している。図２２に見られるように、不規則な形状とすることができるマスクは、関連する特徴（ここではメニスカス）が示された元の画像の部分、及びその特徴が転置される元の画像の部分の両方を閉塞する必要がある。別の例が図２３に示されており、ここで、この同じ技術が、合成画像２３０２を得るために、（具体的には、メニスカスを新しい位置に移動し、メニスカスを「再形成」することによって）実際の２５１×１６５１の画像２３００を拡張するために使用された。図１６に示される再構成と同様に、最初に、メニスカスが示されている画像２３００の正方形の部分を切り取り、次いでより小さく切り取られた画像のマスクを生成することによって、再構成がより効率的に行われた。部分畳み込みモデルを使用して切り取られた領域を再構成した後、再構成された領域を元の画像２３００内に再び挿入して合成画像２３０２を得た。

モジュール１２４はまた、又は代わりに、プランジャ（バレルに沿ってプランジャをデジタル的に移動させることによって）、凍結乾燥バイアル内容物（例えば、バイアルの充填レベルをデジタル的に変更することによって）など、他の特徴を移動／変更するために、この技術を使用することができる。部分畳み込みモデルが、所望の特徴位置／外観を示すターゲット画像を用いて訓練される実装形態（すなわち、上述の２つの技術のうちの後者）では、モジュール１２４は、各特徴タイプに対して異なるモデルを訓練して使用することができる。所与の部分畳み込みモデルの場合、モデルが人工的に生成する特徴（例えば、メニスカス）の範囲及び変動は、訓練サンプル間の変動を制御することによって調節することができる。一般に、メニスカスなどの特徴を標準状態に拡張することにより、特徴の変動（例えば、異なるメニスカスの位置）が分類器を「混乱させる」のを防止する一方で、分類器が欠陥のみに集中するのを助けることによって、ＡＶＩ分類モデルの訓練を助けることができる。

部分畳み込みモデルを使用するインペインティングは、非常に効率的であり得る。メニスカス拡張の場合、例えば、利用可能な処理能力に応じて（例えば、処理ユニット１１０に対して）、単一のベースマスクを使用して、数分間に数千の画像を生成することができる。欠陥の生成も同様に、効率的であり得る。欠陥をカバーするために各画像に対してマスクが描かれる欠陥除去（画像あたり約１秒かかり得る）の場合、出力は、（例えば、各マスクが作成され得る迅速さの程度に応じて、１時間あたり数千個の画像において）より遅くなり得る。しかしながら、これらのプロセスは全て、実際のサンプルにおいてマニュアル的に欠陥を作成及び除去するよりも、はるかに速く且つ低コストである。

いくつかの実装形態では、処理能力の制約により、拡張される画像のサイズ（例えば、およそ５１２×５１２画素以下の画像）が制限されることがあり、これにより、拡張の前に画像を切り取り、次いで切り取られた拡張画像を再挿入することが必要になり得る。これには余分な時間がかかり、他の望ましくない（例えば、深層学習ベースのインペインティング技術の場合、図１６に関連して上述したように、小さい／切り取られた部分だけでなく、画像全体にわずかなノイズ／変動を付加するという利点を達成できない）結果が生じる可能性がある。いくつかの実装形態では、モジュール１２４は、ＶＧＧ特徴抽出器ではなく、ＲｅｓＮｅｔ特徴抽出器を使用することによって、これに対処する。これらのような特徴抽出器は、訓練中にインペインティングモデルの重みを調節するように使用される、損失を計算するために使用される。モジュール１２４は、画像寸法及び所望の訓練速度に応じて、ＲｅｓＮｅｔ特徴抽出器の任意の適切なバージョン（例えば、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＲｅｓＮｅｔ１５２など）を使用してもよい。

更に、いくつかの実装形態では、モジュール１２４は、望ましくないアーチファクトを低減するために、合成画像に対して後処理を適用してもよい。例えば、モジュール１２４は、各合成画像にノイズを付加し、各合成画像にフィルタリング／スムージングを実行し、並びに／又は各合成画像に高速フーリエ変換（ＦＦＴ）周波数スペクトル解析及び操作を実行することができる。そのような技術は、任意のアーチファクトを軽減するのに役立ち、一般に、画像をより現実的なものにすることができる。別の例として、モジュール１２４は、各合成画像を精製器に通過させることができ、精製器は、精製器を特定器とペアリングすることによって訓練されたものである。訓練中、精製器及び特定器の両方は、（例えば、モジュール１２４によって）合成画像及び実画像をフィードされる。特定器の目的は、実画像と合成画像との間の特定であり、精製器の目的は、特定器がもはや実画像から合成画像を区別できなくなるポイントまで合成画像を精製することである。このように、精製器と特定器は互いに敵対し、ＧＡＮ（敵対的生成ネットワーク）と同様に作用する。訓練の複数のサイクル後、精製器は画像を精製することに非常に熟達することができ、したがって、モジュール１２４は、訓練画像ライブラリ１４０に追加される合成画像からアーチファクトを除去するように、訓練された精製器を使用することができる。上述の技術のいずれもまた、上述のアルゴリズム４００を使用して生成された合成画像など、深層学習技術なしで生成された合成画像を処理／精製するために使用することができる。

元の画像から補完的な合成画像を生成すること（例えば、実「良好」画像に対する合成「欠陥あり」画像、又は実「欠陥あり」画像に対する合成「良好」画像）が、ＡＶＩ深層学習モデル（例えば、画像分類器）の訓練を大幅に改善することができ、ＡＶＩモデルが欠陥の位置を正確に特定するように導くことを示すために、様々なテストが行われた。そのようなテストの１つでは、シリンジに対するＲｅｓＮｅｔ５０欠陥分類器が、２つの訓練サンプルセット上で訓練された。第１の訓練サンプルセットは、欠陥のある２７０個の元の画像、及び欠陥のない２７０個の元の画像で構成された。第２の訓練サンプルセットでは、欠陥なしサンプルは２７０個の元の画像及び（もともと欠陥ありサンプルから生成され、インペイントツールを使用して欠陥が除去された）２７０個の合成画像からなり、一方、欠陥ありサンプルは（合成欠陥なし画像の生成に使用された）２７０個の元の画像及び（元の欠陥画像２７０枚から、マスクなしのインペイントツールを使用して生成された）２７０個の合成画像から構成された。どちらの場合も、テストサンプルは、欠陥ありと欠陥なしとが混在する６０個の元の画像であった。特に、テストサンプルは訓練サンプルと同じシリンジからの画像であり、且つ回転のみが異なるため、テストサンプルは訓練サンプルから独立していなかった。

以下の表は、２つの異なるＡＶＩ画像分類モデル（「分類器１」及び「分類器２」）を訓練するために使用された、これらの訓練サンプルセットの詳細をまとめたものである。

分類器１及び分類器２は各々、学習率０．０００１のＡｄａｍ最適化器を使用して８つのエポックに対して、各々訓練させた。図２４Ａは、白黒の汚れ欠陥に対して、分類器１及び分類器２をそれぞれ使用して生成された、Ｇｒａｄ－ＣＡＭ画像２４００、２４０２を示している。分類器１及び分類器２の両方が、使用されたテストサンプルに対して１００％の精度を提供しており、図２４Ａから、分類器２が分類器１に対して劇的な改善を提供したことが分かり得る。具体的には、分類器２は、サンプル画像の正しい領域（プランジャリブ）にフォーカスする一方で、分類器１は代わりに、欠陥が存在しないメニスカスの領域にフォーカスした。更に、分類器１のみが正しい分類（「欠陥」）を提供したのは、上記のように、この画像が、分類器が訓練中に既に見られたサンプルに対する回転によって関連していたためである。別の例が図２４Ｂに示されており、スペック欠陥に対して、分類器１及び分類器２をそれぞれ使用して生成されたＧｒａｄ－ＣＡＭ画像２４１０、２４１２を示している。ここでも、分類器２は、正しい領域にフォーカスし、分類器１は、誤った領域にフォーカスしている。これはまた、テストされた３つの他の欠陥クラスに対して同様であった。このように、５０％合成画像を訓練サンプルセットに含めることにより、テストされた全てのケースにおいて分類器の性能が劇的に改善された。

ＡＶＩモデル（例えば、画像分類モデル）を適切に訓練するために、１つ以上の段階において品質管理手段を含めることが賢明である。これは、安全で信頼性の高い医薬品を確実にすることによって患者の安全を保護する必要がある、医薬の背景では特に重要であり得る。いくつかの実装形態では、「処理前」及び「処理後」の両方の品質チェックが（例えば、画像／ライブラリ評価モジュール１２６によって）実行される。一般に、これらの処理前及び処理後の品質チェックは、様々な画像処理技術を活用して、画素単位で情報を分析及び／又は比較することができる。

画像は通常、厳密に制御された条件下で捕捉されるため、同じデータセットからの任意の２つの画像間には、しばしば微妙な差しか存在しない。データセット全体にわたる画像パラメータの変動を測定するには手間がかかるが、そのような変動を迅速且つ視覚的に評価することにより、（例えば、誤った属性の測定を回避することによって）時間を節約することができ、画像捕捉条件に対する初期品質チェックとして機能することができる。この変動を知ることは、２つの理由から有用であり得る。第１に、特定の属性（例えば、プランジャ位置）における変動は、実際の欠陥からの信号を圧倒し、その結果、アルゴリズムが欠陥自体よりも変動属性を重く評価し得るため、誤分類につながる可能性がある。第２に、画像拡張の目的で、所与の属性の変動範囲を知っておくことは、集団を代表する合成画像を作成する際に、それらの属性をその範囲に制約するのに有用であり得る。

図２５は、画像セットにおける多様性を迅速に評価するために使用され得る、視覚化を生成するための例示的なプロセス２５００を示している。プロセス２５００は、画像／ライブラリ評価モジュール１２６（単に「モジュール１２６」とも呼ばれる）によって実行されてもよい。プロセス２５００では、モジュール１２６は、画像セット２５０２を、各々が画像セット２５０２からの対応する画像内の各画素に対して正確に１つの行列要素を有する、それぞれの数値行列のセット２５０４に変換する。次いで、モジュール１２６は、各行列位置（ｉ，ｊ）における数値行列２５０４の全てにわたる最大値を判定し、最大値行列２５０６内の対応する位置（ｉ，ｊ）を集合するように最大値を使用する。次に、モジュール１２６は、最大値行列２５０６を最大変動複合（ビットマップ）画像２５０８に変換する。或いは、モジュール１２６は、新しい最大値行列２５０６の作成を回避し、代わりに（例えば、その数値行列の各要素値を全ての他の数値行列２５０４の対応する要素値と連続的に比較して、より大きい値が見つかるたびに更新することによって）セット２５０４から特定の数値行列を更新することができる。

コンピュータシステム１０４は、次いで、データセットの可変性を迅速に視覚化できるように、得られた複合画像２５０８をディスプレイ上に提示することができる。図２６Ａは、そのような視覚化２６００の一例を示している。この例では、プランジャが点２６０２と同じくらい離れて左に移動していることが分かり得る。これは、所望の制約に依存して、許容されても許容されなくてもよい。モジュール１２４は、その後、（例えば、異なるプランジャ位置を有する合成画像を作成する際に）例えば、プランジャの左端境界として点２６０２を使用することができる。いくつかの実装形態では、モジュール１２４は、連続する列にわたる１次導関数がある閾値を超える点（例えば、画素位置）を判定することによって、この境界をより正確に判定する。

視覚化２６００の他のバリエーションも可能である。例えば、モジュール１２６は、最小（すなわち、全ての数値行列２５０４にわたる各行列位置における最小要素値をとる）画像、又は平均（すなわち、全ての数値行列２５０４にわたる各行列位置における平均値をとる）画像などを判定してもよい。例示的な平均画像視覚化２６０４が、図２６Ｂに示されている。これらの実装形態のいずれにおいても、この技術は、品質チェックとしての可変性を表示するため、及び／又は合成画像が遵守しなければならない属性／特徴境界を判定するために使用することができる。

図２７は、合成画像と画像セットとの間の類似性を評価するための例示的なプロセス２７００を示している。プロセス２７００は、例えば、ライブラリ拡大モジュール１２４によって生成された合成画像を評価するために、画像／ライブラリ評価モジュール１２６によって実行されてもよい。モジュール１２６は、１つ以上の他の技術（例えば、合成画像が訓練セットに追加される前後のＡＶＩモデル性能の評価）に加えて、プロセス２７００を使用することができる。しかしながら、プロセス２７００は、各合成画像が元の実画像と根本的には異ならないことを確実にするするために、より的を絞った方法で使用される。

プロセス２７００のブロック２７０２において、実画像セット内の全ての画像に対して、モジュール１２６は、実画像セット内の全ての他の画像に対する平均二乗誤差（ＭＳＥ）を計算する。任意の２つの画像間のＭＳＥは、全ての位置における（例えば、対応する行列要素値における）画素値の二乗差の平均である。例えば、ｉ×ｊ画像の場合、ＭＳＥは、全てのｉ×ｊ画素／要素位置にわたる二乗差の合計を、量ｉ×ｊで除算したものである。したがって、モジュール１２６は、実画像セット内のあらゆる可能な画像ペアに対してＭＳＥを計算する。実画像セットは、全ての利用可能な実画像、又は実画像のより大きいセットのサブセットを含み得る。

ブロック２７０４において、モジュール１２６は、ブロック２７０２において計算された全てのＭＳＥの中から最大ＭＳＥを判定し、その最大ＭＳＥに等しい上部境界を設定する。この上部境界は、例えば、合成画像と実画像セットとの間の非類似度の最大許容量として機能することができる。下部境界は、必然的にゼロである。

ブロック２７０６において、モジュール１２６は、考慮中の合成画像と実画像セット内の全ての画像との間のＭＳＥを計算する。その後、ブロック２７０８において、モジュール１２６は、ブロック２７０６において計算されたＭＳＥのうち最大のものが、ブロック２７０４において設定された上部境界よりも大きいかどうかを判定する。そうである場合、ブロック２７１０において、モジュール１２６は、実画像セットに対する合成画像の非類似性の指示を生成する。例えば、モジュール１２６は、上部境界を超えたというインジケータの表示、又は合成画像を訓練画像ライブラリ１４０に追加すべきではないことを示すフラグの生成を引き起こす場合がある。ブロック２７０６において計算されたＭＳＥの最大値がブロック２７０４において設定された上部境界よりも大きくない場合、ブロック２７１２において、モジュール１２６は非類似性の指示を生成しない。例えば、モジュール１２６は、上部境界を超えなかったというインジケータを表示させるか、又は合成画像が訓練画像ライブラリ１４０に追加されるべき、又は追加されてもよいということを示すフラグを生成することができる。

いくつかの実装形態では、プロセス２７００は、図２７に示されるものから１つ以上の点で変化する。例えば、ブロック２７０８において、モジュール１２６は代わりに、ブロック２７０６において計算された全てのＭＳＥの平均が上部境界を超えるかどうかを判定することができる。別の例として、いくつかの実装では、モジュール１２６は、ブロック２７０８、２７１０、又はブロック２７０８、２７１２を実行する代わりに（又はそれに加えて）、ブロック２７０６において計算されたＭＳＥのヒストグラムを生成する。そのようなヒストグラム２８００の一例を、図２８に示す。例示的なヒストグラム２８００のＸ軸は、ＭＳＥを示し、Ｙ軸は、合成画像と実画像との比較中にＭＳＥが発生した回数を示している。品質プロキシとしてＭＳＥを使用することにはいくつかの固有の制限があるが、この指標は、ＡＶＩモデル性能の分析を補完する妥当なアプローチを提供することができる。

いくつかの実装形態では、上述した技術（例えば、プロセス２７００）に加えて、又は代わりに、コンピュータシステム１０４は、（例えば、所与の合成画像と他の画像との間の類似性を判定するため、又は画像セットの多様性を測定するなどのため）１つ以上の他の画像品質指標を判定する。例えば、コンピュータシステム１０４は、この目的のために、米国仮特許出願第６３／０２０，２３２号に記載されている技術のいずれかを使用することができる。

図２９～図３２は、上述した様々な技術に対応する例示的な方法のフロー図を示している。最初に図２９を参照すると、合成画像を生成するための方法２９００は、元の画像上に特徴を転送することによって、（例えば、処理ユニット１１０がメモリユニット１１４に記憶されたモジュール１２４の命令を実行する際に）例えば、図１のモジュール１２４によって実行されてもよい。

ブロック２９０２において、特徴行列が受信又は生成される。特徴行列は、特徴を示す特徴画像の数値表現である。特徴は、例えば、容器（例えば、シリンジ、バイアル、カートリッジなど）又は容器の内容物（例えば、流体若しくは凍結乾燥医薬品）に関連する欠陥であり得、例えば、亀裂、欠け、汚れ、異物などである。或いは、特徴は、他の物体（例えば、自動車の本体の傷又は凹み、家のサイディングの凹み又は亀裂、ガラス窓の亀裂、気泡、又は不純物など）に関連する欠陥であり得る。ブロック２９０２には、例えば、図４Ａのブロック４０４の欠陥画像変換を実行することを含み得る。いくつかの実施形態では、ブロック２９０２には、特徴行列を回転及び／若しくはサイズ変更すること、又は特徴行列が導出される画像を回転及び／若しくはサイズ変更することを含む（例えば、「特徴」が欠陥であるより具体的な場合について図４Ａに関連して上述したように）。特徴画像が回転及び／又はサイズ変更される場合、このステップは、特徴行列が回転を反映することを確実にするために、特徴行列を生成する前に行われる。ブロック２９０２が特徴行列又は特徴画像を回転させることを含む場合、方法２９００は、（１）特徴画像内に示された特徴の回転、及び（２）特徴画像内に示された特徴の所望の回転、の両方に基づく量だけ、特徴行列又は特徴画像を回転させることを含んでもよい。方法２９００は、例えば、特徴が転送されることになる領域の位置に基づいて、この「所望の」回転を判定することを含むことができる。ブロック２９０２はまた、又は代わりに、特徴行列又は特徴画像をサイズ変更することを含んでもよい。

ブロック２９０４において、代理領域行列が受信又は生成される。代理領域行列は、特徴が転送／転置されることになる、元の画像内の、領域の数値表現である。ブロック２９０４は、例えば、図４Ａのブロック４１０と同様であってもよい。

ブロック２９０６において、特徴行列は、示された特徴を表さない特徴行列の部分に対して正規化される。ブロック２９０６は、例えば、図４Ａのブロック４１２を含んでもよい。

ブロック２９０８において、代理領域行列及び正規化された特徴行列に基づいて、合成画像が生成される。ブロック２９０８は、例えば、図４Ａのブロック４１４、４１６、４１８、４２０、４２２、及び４２４を含んでもよい。

方法２９００のブロックは、示された順序で厳密に発生する必要はないことが理解される。例えば、ブロック２９０６及び２９０８は、並行して発生してもよく、ブロック２９０４は、ブロック２９０２の前に発生してもよい、などである。

次に図３０を参照すると、合成画像を生成するための方法３０００は、元の画像内に示された欠陥を除去することによって、（例えば、処理ユニット１１０がメモリユニット１１４に記憶されたモジュール１２４の命令を実行する際に）例えば、図１のモジュール１２４によって実行されてもよい。

ブロック３００２において、欠陥を示す元の画像の一部がマスクされる。マスクは、例えば、自動的に（例えば、最初にオブジェクト検出を使用して欠陥を検出することによって）適用されてもよく、又は適切なマスクされた領域を特定するユーザ入力に応じて適用されてもよい。

ブロック３００４において、対応指標が計算される。この指標は、マスクされた部分に隣接する元の画像の部分と、元の画像の他の部分との間の対応関係を示す画素統計を反映している。

ブロック３００６において、ブロック３００４で計算された対応指標は、元の画像のマスクされた部分を欠陥なし画像部分で充填するために使用される。例えば、マスクされた部分は、元の画像内の他のパターンを模倣しようとする方法で充填／描画されてもよい。

ブロック３００８において、合成画像（例えば、複数の他の実画像及び合成画像）を使用して、自動外観検査用にニューラルネットワークが訓練される。ＡＶＩニューラルネットワークは、例えば、画像分類ニューラルネットワーク、又は物体検出（例えば、畳み込み）ニューラルネットワークなどであってもよい。

方法３０００のブロックは、示された順序で厳密に発生する必要はないことが理解される。

次に図３１を参照すると、元の画像内に示された特徴を除去又は修正することによって、又は元の画像内に示された特徴を追加することによって、合成画像を生成するための方法３１００は、（例えば、処理ユニット１１０がメモリユニット１１４に記憶されたモジュール１２４の命令を実行する際に）例えば、図１のモジュール１２４によって実行されてもよい。

ブロック３１０２において、部分畳み込みモデル（例えば、モデル１２００と同様）が訓練される。部分畳み込みモデルは、一連の畳み込み層を有するエンコーダ、及び一連の転置畳み込み層を有するデコーダを含む。ブロック３１０２は、訓練画像セットの各画像に対して、訓練画像及び対応するマスクを部分畳み込みモデルへの個別の入力として適用することを含む。

ブロック３１０４において、合成画像が生成される。ブロック３１０４は、元の画像の各々に対して、元の画像（又は元の画像の修正バージョン）及び対応するマスクを、訓練された部分畳み込みモデルへの個別の入力として適用することを含む。元の画像は、例えば、訓練された部分畳み込みモデルへの入力として修正された元の画像及び対応するマスクを適用する前に、追加される特徴（例えば、欠陥）の切り取られた画像を重畳させることによって最初に修正されてもよい。

ブロック３１０６において、合成画像を使用して（場合によっては元の画像もまた使用して）、自動外観検査用のニューラルネットワークが訓練される。ＡＶＩニューラルネットワークは、例えば、画像分類ニューラルネットワーク、又は物体検出（例えば、畳み込み）ニューラルネットワークなどであってもよい。

方法３１００のブロックは、示された順序で厳密に発生する必要はないことが理解される。

次に図３２を参照すると、例えば、訓練画像ライブラリにおいて使用され得る合成画像を評価するための方法３２００は、（例えば、処理ユニット１１０がメモリユニット１１４に記憶されたモジュール１２４の命令を実行する際に）図１のモジュール１２４によって実行されてもよい。

ブロック３２０２において、（１）画像セット（例えば、実画像）内の各画像と（２）画像セット内の他の各画像との間の差分を示す指標が、画像の画素値に基づいて計算される。ブロック３２０２は、例えば、図２７のブロック２７０２と同様であってもよい。

ブロック３２０４において、ブロック３２０２で計算された指標に基づいて、閾値差分値（例えば、図２７の「上部境界」）が生成される。ブロック３２０４は、例えば、図２７のブロック２７０４と同様であってもよい。

ブロック３２０６において、合成画像の各々に対して様々な操作が繰り返される。特に、ブロック３２０８において、合成画像指標が、合成画像の画素値に基づいて計算され、ブロック３２１０において、合成画像の受容性が、合成画像指標及び閾値差分値に基づいて判定される。例えば、ブロック３２０８は、図２７のブロック２７０６と同様であってもよく、ブロック３２１０は、図２７のブロック２７０８、及びブロック２７１０又はブロック２７１２のいずれかを含んでもよい。いくつかの実装形態では、ブロック３２０６は、１つ又はマニュアルのステップ（例えば、図２８に示されるヒストグラム２８００と同様の表示されたヒストグラムに基づいて、受容性をマニュアル的に判定する）を含む。

方法３２００のブロックは、示された順序で厳密に発生する必要はないことが理解される。

システム、方法、デバイス及びそれらの構成要素を例示的な実施形態の観点から説明してきたが、それらは、これらの例示的な実施形態に限定されない。詳細な説明は、例としてのみ解釈されるものとし、可能な実施形態の全てを説明することは、不可能ではないにしても非現実的であることから、本発明の全ての可能な実施形態を説明しているわけではない。現在の技術又は本特許の出願日以降に開発された技術のいずれかを用いて、多くの代替的な実施形態を実施することができ、それは、本発明を定義する特許請求の範囲内に依然として含まれる。

当業者であれば、本発明の範囲から逸脱することなく、上記の実施形態に対する多様な修正形態、変形形態及び組み合わせをなすことができ、そうした修正形態、変形形態及び組み合わせが本発明の概念の範囲内であると解釈されるべきであることを理解するであろう。

Claims (102)

1. 元の画像上に特徴を転送することによって合成画像を生成する方法であって、
   特徴行列の各要素が特徴画像の異なる画素に対応している、前記特徴を示す前記特徴画像の数値表現である前記特徴行列を受信又は生成することと、
   代理領域行列の各要素が前記元の画像の異なる画素に対応している、前記元の画像内の、前記特徴が転送される領域の数値表現である前記代理領域行列を受信又は生成することと、
   前記特徴を表さない前記特徴行列の部分に対して、前記特徴行列を正規化することと、
   （ｉ）前記代理領域行列及び（ｉｉ）前記正規化された特徴行列に基づいて、前記合成画像を生成することと、
   を含む、方法。
2. 前記元の画像が、容器の画像であり、
   前記特徴が、前記容器又は前記容器の内容物に関連する欠陥である、
   請求項１に記載の方法。
3. 前記容器が、シリンジであり、
   前記特徴が、前記シリンジのバレル、前記シリンジのプランジャ、前記シリンジの針シールド、又は前記シリンジ内の流体に関連する欠陥である、
   請求項２に記載の方法。
4. 前記容器が、バイアルであり、
   前記特徴が、前記バイアルの壁、前記バイアルのキャップ、前記バイアルのクリンプ、又は前記バイアル内の流体若しくは凍結乾燥ケーキに関連する欠陥である、
   請求項２に記載の方法。
5. 前記特徴行列を正規化することが、行単位又は列単位で前記特徴行列を正規化することを含む、請求項１～４のいずれか一項に記載の方法。
6. 行単位又は列単位で前記特徴行列を正規化することが、前記特徴行列の各行又は列に対して、
   前記特徴行列の前記行又は列の要素値の特徴行ヒストグラムを生成すること
   を含む、請求項５に記載の方法。
7. 行単位又は列単位で前記特徴行列を正規化することが、前記特徴行列の各行又は列に対して、
   前記特徴を表さない前記特徴行列の前記行又は列の部分に対応する、前記特徴行ヒストグラムのピーク部分を特定することと、
   前記特徴行列の前記行又は列の各要素に対して、前記要素の値から前記ピーク部分の中心値を減算することと、
   を更に含む、請求項６に記載の方法。
8. 前記要素の前記値から前記ピーク部分の前記中心値を減算することが、（ｉ）前記ピーク部分に対応する前記行又は列内の全ての値の平均値を（ｉｉ）前記要素の前記値から減算することを含む、請求項７に記載の方法。
9. 前記代理領域行列の各行又は列に対して、
   代理領域行ヒストグラムを生成することと、
   前記代理領域行ヒストグラムのピーク部分を特定することと、
   前記代理領域行ヒストグラムの前記ピーク部分の幅を表す数値範囲を判定することと、
   を更に含み、
   前記合成画像を生成することが、（ｉ）前記特徴行列の各行又は列に対する前記数値範囲及び（ｉｉ）前記正規化された特徴行列に基づいて、前記合成画像を生成することを含む、
   請求項１～８のいずれか一項に記載の方法。
10. 前記合成画像を生成することが、前記特徴行列の各行又は列に対して、
    前記特徴行列の前記行又は列の各要素に対して、前記特徴行列の前記要素が前記数値範囲内の値を有しているかどうかを判定することと、
    前記元の画像の数値表現である元の画像行列を、（ｉ）前記特徴行列の前記要素が前記数値範囲内の値を有する場合、前記元の画像行列の対応する要素の元の値を保持するか、又は（ｉｉ）前記特徴行列の前記要素の前記値が前記数値範囲内にない場合、前記元の画像行列内の前記対応する要素を、前記元の値と前記特徴行列内の前記要素の前記値との合計に等しく設定するか、のいずれかによって、修正することと、
    を含む、請求項９に記載の方法。
11. 前記合成画像を生成することが、前記修正された元の画像行列をビットマップ画像に変換することを含む、請求項１０に記載の方法。
12. 前記特徴行列を受信又は生成することが、前記特徴行列又は前記特徴画像を回転させることを含む、請求項１～１１のいずれか一項に記載の方法。
13. 前記特徴行列又は前記特徴画像を回転させることが、（ｉ）前記特徴画像内に示された前記特徴の回転及び（ｉｉ）前記特徴画像内に示された前記特徴の所望の回転に基づく量だけ、前記特徴行列又は前記特徴画像を回転させることを含む、請求項１２に記載の方法。
14. 前記特徴が転送されることになる前記領域の位置に基づいて、前記所望の回転を判定すること、
    を更に含む、請求項１３に記載の方法。
15. 前記特徴行列を受信又は生成することが、前記特徴行列又は前記特徴画像をサイズ変更することを含む、請求項１～１４のいずれか一項に記載の方法。
16. 特徴ライブラリ内の異なる特徴に対応する複数の特徴の各々に対して、前記方法を繰り返すこと、
    を更に含む、請求項１～１５のいずれか一項に記載の方法。
17. 複数の元の画像の各々に対して前記方法を繰り返すことによって、複数の合成画像を生成すること、
    を更に含む、請求項１～１６のいずれか一項に記載の方法。
18. 前記複数の合成画像及び前記複数の元の画像を使用して、自動外観検査用のニューラルネットワークを訓練すること、
    を更に含む、請求項１７に記載の方法。
19. 前記訓練されたニューラルネットワークを使用して、示された欠陥の複数の画像を検査すること、
    を更に含む、請求項１８に記載の方法。
20. システムであって、
    １つ以上のプロセッサと、
    命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記命令が、前記１つ以上のプロセッサによって実行されると、前記システムに、
    特徴行列の各要素が特徴画像の異なる画素に対応している、特徴を示す前記特徴画像の数値表現である前記特徴行列を受信又は生成させ、
    代理領域行列の各要素が前記元の画像の異なる画素に対応している、元の画像内の、前記特徴が転送されることになる領域の数値表現である前記代理領域行列を受信又は生成させ、
    前記特徴を表さない前記特徴行列の部分に対して、前記特徴行列を正規化させ、
    （ｉ）前記代理領域行列及び（ｉｉ）前記正規化された特徴行列に基づいて、前記合成画像を生成させる、
    １つ以上の非一時的コンピュータ可読媒体と、
    を備える、システム。
21. 前記特徴行列を正規化することが、行単位又は列単位で前記特徴行列を正規化することを含む、請求項２０に記載のシステム。
22. 行単位又は列単位で前記特徴行列を正規化することが、前記特徴行列の各行又は列に対して、
    前記特徴行列の前記行又は列の要素値の特徴行ヒストグラムを生成すること
    を含む、請求項２１に記載のシステム。
23. 行単位又は列単位で前記特徴行列を正規化することが、前記特徴行列の各行又は列に対して、
    前記特徴を表さない前記特徴行列の前記行又は列の部分に対応する、前記特徴行ヒストグラムのピーク部分を特定することと、
    前記特徴行列の前記行又は列の各要素に対して、前記要素の値から前記ピーク部分の中心値を減算することと、
    を更に含む、請求項２２に記載のシステム。
24. 前記要素の前記値から前記ピーク部分の前記中心値を減算することが、（ｉ）前記ピーク部分に対応する前記行又は列内の全ての値の平均値を（ｉｉ）前記要素の前記値から減算することを含む、請求項２３に記載のシステム。
25. 前記命令が、前記システムに更に、
    前記代理領域行列の各行又は列に対して、
    代理領域行ヒストグラムを生成させ、
    前記代理領域行ヒストグラムのピーク部分を特定させ、
    前記代理領域行ヒストグラムの前記ピーク部分の幅を表す数値範囲を判定させ、
    前記合成画像を生成することが、（ｉ）前記特徴行列の各行又は列に対する前記数値範囲及び（ｉｉ）前記正規化された特徴行列に基づいて、前記合成画像を生成することを含む、
    請求項２０～２４のいずれか一項に記載のシステム。
26. 前記合成画像を生成することが、
    前記特徴行列の各行又は列に対して、
    前記特徴行列の前記行又は列の各要素に対して、前記特徴行列の前記要素が前記数値範囲内の値を有しているかどうかを判定することと、
    前記元の画像の数値表現である元の画像行列を、（ｉ）前記特徴行列の前記要素が前記数値範囲内の値を有する場合、前記元の画像行列の対応する要素の元の値を保持するか、又は（ｉｉ）前記特徴行列の前記要素の前記値が前記数値範囲内にない場合、前記元の画像行列の前記対応する要素を、前記元の値と前記特徴行列内の前記要素の前記値との合計に等しく設定するか、のいずれかによって、修正することと、
    前記修正された元の画像行列をビットマップ画像に変換することと、
    を含む、請求項２５に記載のシステム。
27. 前記特徴行列を受信又は生成することが、前記特徴行列又は前記特徴画像を回転させることを含む、請求項２０～２６のいずれか一項に記載のシステム。
28. 前記特徴行列又は前記特徴画像を回転させることが、（ｉ）前記特徴画像内に示された前記特徴の回転及び（ｉｉ）前記特徴画像内に示された前記特徴の所望の回転に基づく量だけ、前記特徴行列又は前記特徴画像を回転させることを含む、請求項２７に記載のシステム。
29. 前記命令が、前記システムに更に、
    前記特徴が転送されることになる前記領域の位置に基づいて、前記所望の回転を判定させる、
    請求項２８に記載のシステム。
30. 前記特徴行列を受信又は生成することが、前記特徴行列又は前記特徴画像をサイズ変更することを含む、請求項２０～２９のいずれか一項に記載のシステム。
31. 元の画像内に示された欠陥を除去することによって合成画像を生成する方法であって、
    前記欠陥を示す前記元の画像の部分をマスクすることと、
    合成画像を生成することであって、少なくとも部分的に、
    （ｉ）前記マスクされた部分に隣接する前記元の画像の部分と（ｉｉ）前記元の画像の他の部分との間の対応関係を示す、対応関係指標を計算すること、及び
    前記計算された対応関係指標を使用して、前記元の画像の前記マスクされた部分を欠陥なし画像部分で充填すること
    によって、合成画像を生成することと、
    前記合成画像を使用して、自動外観検査用のニューラルネットワークを訓練することと、
    を含む、方法。
32. 前記対応関係指標を計算することが、
    前記マスクされた部分に隣接する前記元の画像の複数の隣接部分の各々に対して、第１の統計を計算することと、
    （ｉ）前記マスクされた部分及び（ｉｉ）前記複数の隣接部分の両方の外側にある前記元の画像の複数の部分の各々に対して、第２の統計を計算することと、
    前記第１の統計及び前記第２の統計に基づいて、前記対応指標を計算することと、
    を含む、請求項３１に記載の方法。
33. 前記元の画像が、容器の画像であり、
    前記欠陥が、前記容器又は前記容器の内容物に関連している、
    請求項３１又は３２に記載の方法。
34. 前記容器が、シリンジであり、
    前記欠陥が、前記シリンジのバレル、前記シリンジのプランジャ、前記シリンジの針シールド、又は前記シリンジ内の流体に関連している、
    請求項３３に記載の方法。
35. 前記容器が、バイアルであり、
    前記欠陥が、前記バイアルの壁、前記バイアルのキャップ、前記バイアルのクリンプ、又は前記バイアル内の流体若しくは凍結乾燥ケーキに関連している、
    請求項３３に記載の方法。
36. 複数の元の画像の各々に対して前記方法を繰り返すことによって、複数の合成画像を生成すること
    を更に含み、
    自動外観検査用の前記ニューラルネットワークを訓練することが、前記複数の合成画像を使用して前記ニューラルネットワークを訓練することを含む、
    請求項３１～３５のいずれか一項に記載の方法。
37. 前記自動外観検査用の前記ニューラルネットワークを訓練することが、前記複数の合成画像及び前記複数の元の画像を使用して前記ニューラルネットワークを訓練することを含む、請求項３６に記載の方法。
38. 前記訓練されたニューラルネットワークを使用して、複数の画像を検査すること、
    を更に含む、請求項３１～３７のいずれか一項に記載の方法。
39. システムであって、
    １つ以上のプロセッサと、
    命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記命令が、前記１つ以上のプロセッサによって実行されると、前記システムに、
    欠陥を示す元の画像の部分をマスクさせることと、
    合成画像を生成させることであって、少なくとも部分的に、
    （ｉ）前記マスクされた部分に隣接する前記元の画像の部分と（ｉｉ）前記元の画像の他の部分との間の対応関係を示す、対応関係指標を計算すること、及び
    前記計算された対応関係指標を使用して、前記元の画像の前記マスクされた部分を欠陥なし画像部分で充填すること
    によって、合成画像を生成させることと、
    前記合成画像を使用して、自動外観検査用のニューラルネットワークを訓練させることと、
    を行わせる、１つ以上の非一時的コンピュータ可読媒体と、
    を備える、システム。
40. 前記対応関係指標を計算することが、
    前記マスクされた部分に隣接する前記元の画像の複数の隣接部分の各々に対して、第１の統計を計算することと、
    （ｉ）前記マスクされた部分及び（ｉｉ）前記複数の隣接部分の両方の外側にある前記元の画像の複数の部分の各々に対して、第２の統計を計算することと、
    前記第１の統計及び前記第２の統計に基づいて、前記対応指標を計算することと、
    を含む、請求項３９に記載のシステム。
41. 前記元の画像が、容器の画像であり、
    前記欠陥が、前記容器又は前記容器の内容物に関連している、
    請求項３９又は４０に記載のシステム。
42. 前記容器が、シリンジであり、
    前記欠陥が、前記シリンジのバレル、前記シリンジのプランジャ、前記シリンジの針シールド、又は前記シリンジ内の流体に関連している、
    請求項４１に記載のシステム。
43. 前記容器が、バイアルであり、
    前記欠陥が、前記バイアルの壁、前記バイアルのキャップ、前記バイアルのクリンプ、又は前記バイアル内の流体若しくは凍結乾燥ケーキに関連している、
    請求項４１に記載のシステム。
44. 元の画像内に示された特徴を除去若しくは修正することによって、又は示された特徴を前記元の画像に追加することによって、合成画像を生成する方法であって、
    複数の訓練画像の各々に対して、少なくとも、前記訓練画像及び対応する訓練マスクを部分畳み込みモデルへの個別の入力として適用することによって、（ｉ）一連の畳み込み層を有するエンコーダ及び（ｉｉ）一連の転置畳み込み層を有するデコーダを含む、部分畳み込みモデルを訓練することと、
    前記元の画像の各々に対して、少なくとも、（ｉ）前記元の画像又は前記元の画像の修正バージョンのいずれか、及び（ｉｉ）対応するマスクを、前記訓練された部分畳み込みモデルへの個別の入力として適用することによって、前記合成画像を生成することと、
    前記合成画像を使用して自動外観検査用のニューラルネットワークを訓練することと、
    を含む、方法。
45. 前記方法が、前記元の画像内に示された欠陥を除去することによって前記合成画像を生成する、請求項４４に記載の方法。
46. 前記合成画像を生成することが、前記元の画像の各々に対して、前記元の画像及び前記対応するマスクを前記訓練された部分畳み込みモデルへの個別の入力として適用することを含み、
    前記元の画像が、対応する欠陥を示す画像であり、
    前記対応するマスクが、前記元の画像に適用されると、前記対応する欠陥を不明瞭にする、
    請求項４５に記載の方法。
47. 前記訓練画像、前記元の画像、及び前記合成画像が、容器を示している、請求項４６に記載の方法。
48. 前記容器が、シリンジである、請求項４７に記載の方法。
49. 前記対応する欠陥が、シリンジバレル欠陥、シリンジプランジャ欠陥、又はシリンジ内容物に関連する欠陥である、請求項４８に記載の方法。
50. 前記容器が、バイアルである、請求項４７に記載の方法。
51. 前記対応する欠陥が、バイアル壁欠陥、バイアルキャップ欠陥、バイアルクリンプ欠陥、又はバイアル内容物に関連する欠陥である、請求項５０に記載の方法。
52. 前記方法が、示された欠陥を前記元の画像に追加すること、又は前記元の画像内に示された特徴を修正することによって、前記合成画像を生成する、請求項４４に記載の方法。
53. 前記合成画像を生成することが、前記元の画像の各々に対して、
    前記元の画像の特定の部分を特徴画像で置換することによって、前記元の画像を修正することと、
    前記修正された元の画像及び前記対応するマスクを前記訓練された部分畳み込みモデルへの個別の入力として適用することと、
    を含み、
    前記対応するマスクが、前記修正された元の画像に適用されると、前記元の画像の前記特定の部分を不明瞭にする、
    請求項５２に記載の方法。
54. 前記合成画像を生成することが、前記元の画像の各々に対して、前記元の画像の前記特定の部分に対応するように前記対応するマスクを自動的に生成することを含む、請求項５３に記載の方法。
55. 前記訓練画像、前記元の画像、及び前記合成画像が、容器を示している、請求項５３又は５４に記載の方法。
56. 前記容器が、シリンジである、請求項５５に記載の方法。
57. 前記方法が、示された欠陥を前記元の画像に追加することによって前記合成画像を生成し、
    前記特徴画像が、シリンジバレル欠陥、シリンジプランジャ欠陥、又はシリンジ内容物に関連する欠陥画像である、
    請求項５６に記載の方法。
58. 前記容器が、バイアルである、請求項５５に記載の方法。
59. 前記方法が、示された欠陥を前記元の画像に追加することによって前記合成画像を生成し、
    前記特徴画像が、バイアル壁欠陥、バイアルキャップ欠陥、バイアルクリンプ欠陥、又はバイアル内容物に関連する欠陥画像である、
    請求項５８に記載の方法。
60. 前記方法が、前記元の画像内に示された特徴を修正することによって前記合成画像を生成し、
    前記特徴画像が、メニスカスの画像である、
    請求項５３～５５のいずれか一項に記載の方法。
61. 前記対応する訓練マスクが、前記訓練画像に適用されると、前記訓練画像内に示された対応する特徴を不明瞭にし、
    前記合成画像を生成することが、前記元の画像の各々に対して、前記元の画像及び前記対応するマスクを前記訓練された部分畳み込みモデルへの個別の入力として適用することを含む、
    請求項５２に記載の方法。
62. 前記訓練画像、前記元の画像、及び前記合成画像が、容器を示している、請求項６１に記載の方法。
63. 前記容器が、シリンジである、請求項６２に記載の方法。
64. 前記方法が、示された欠陥を前記元の画像に追加することによって前記合成画像を生成し、
    前記対応する特徴が、シリンジバレル欠陥、シリンジプランジャ欠陥、又はシリンジ内容物に関連する欠陥である、
    請求項６３に記載の方法。
65. 前記容器が、バイアルである、請求項６２に記載の方法。
66. 前記方法が、示された欠陥を前記元の画像に追加することによって前記合成画像を生成し、
    前記対応する特徴が、バイアル壁欠陥、バイアルキャップ欠陥、バイアルクリンプ欠陥、又はバイアル内容物に関連する欠陥である、
    請求項６３に記載の方法。
67. 前記部分畳み込みモデルを訓練することが、前記部分畳み込みモデルを訓練して特定のタイプの欠陥を追加することを含み、
    前記対応する特徴が、前記特定のタイプの欠陥に対応している、
    請求項６１～６６のいずれか一項に記載の方法。
68. 前記方法が、前記元の画像内に示された特徴を修正することによって前記合成画像を生成し、
    前記対応する特徴が、メニスカスである、
    請求項６１に記載の方法。
69. 前記部分畳み込みモデルを訓練することが、複数の損失を最小化することを含み、前記複数の損失が、少なくとも有効損失、穴損失、知覚損失、スタイル損失、及び変動損失を含む、請求項４４～６８のいずれか一項に記載の方法。
70. システムであって、
    １つ以上のプロセッサと、
    命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記命令が、前記１つ以上のプロセッサによって実行されると、前記システムに、
    複数の訓練画像の各々に対して、少なくとも、前記訓練画像及び対応する訓練マスクを部分畳み込みモデルへの個別の入力として適用することによって、（ｉ）一連の畳み込み層を有するエンコーダ及び（ｉｉ）一連の転置畳み込み層を有するデコーダを含む、部分畳み込みモデルを訓練させ、
    複数の元の画像の各々に対して、少なくとも、（ｉ）前記元の画像又は前記元の画像の修正バージョンのいずれか、及び（ｉｉ）対応するマスクを、前記訓練された部分畳み込みモデルへの個別の入力として適用することによって、複数の合成画像を生成させ、
    前記合成画像を使用して自動外観検査用のニューラルネットワークを訓練させる、
    １つ以上の非一時的コンピュータ可読媒体と、
    を備える、システム。
71. 前記システムが、前記元の画像内に示された欠陥を除去することによって前記合成画像を生成する、請求項７０に記載のシステム。
72. 前記合成画像を生成することが、前記元の画像の各々に対して、前記元の画像及び前記対応するマスクを、前記訓練された部分畳み込みモデルへの個別の入力として適用することを含み、
    前記元の画像が、対応する欠陥を示す画像であり、
    前記対応するマスクが、前記元の画像に適用されると、前記対応する欠陥を不明瞭にする、
    請求項７１に記載のシステム。
73. 前記訓練画像、前記元の画像、及び前記合成画像が、容器を示している、請求項７２に記載のシステム。
74. 前記システムが、示された欠陥を前記元の画像に追加すること、又は前記元の画像内に示された特徴を修正することによって、前記合成画像を生成する、請求項７０に記載のシステム。
75. 前記合成画像を生成することが、前記元の画像の各々に対して、
    前記元の画像の特定の部分を特徴画像で置換することによって、前記元の画像を修正することと、
    前記修正された元の画像及び前記対応するマスクを前記訓練された部分畳み込みモデルへの個別の入力として適用することと、
    を含み、
    前記対応するマスクが、前記修正された元の画像に適用されると、前記元の画像の前記特定の部分を不明瞭にする、
    請求項７４に記載のシステム。
76. 前記訓練画像、前記元の画像、及び前記合成画像が、容器を示している、請求項７５に記載のシステム。
77. 前記システムが、示された欠陥を前記元の画像に追加することによって前記合成画像を生成し、
    前記特徴画像が、欠陥の画像である、
    請求項７５又は７６に記載のシステム。
78. 前記システムが、前記元の画像内に示された特徴を修正することによって前記合成画像を生成し、
    前記特徴画像が、メニスカスの画像である、
    請求項７５又は７６に記載のシステム。
79. 前記対応する訓練マスクが、前記訓練画像に適用されると、前記訓練画像内に示された対応する特徴を不明瞭にし、
    前記合成画像を生成することが、前記元の画像の各々に対して、前記元の画像及び前記対応するマスクを前記訓練された部分畳み込みモデルへの個別の入力として適用することを含む、
    請求項７４に記載のシステム。
80. 前記訓練画像、前記元の画像、及び前記合成画像が、容器を示している、請求項７９に記載のシステム。
81. 前記システムが、示された欠陥を前記元の画像に追加することによって前記合成画像を生成し、
    前記対応する特徴が、前記訓練画像内に示された欠陥である、
    請求項７９又は８０に記載のシステム。
82. 前記部分畳み込みモデルを訓練することが、前記部分畳み込みモデルを訓練して特定のタイプの欠陥を追加することを含み、
    前記対応する特徴が、前記特定のタイプの欠陥に対応している、
    請求項８１に記載のシステム。
83. 前記システムが、前記元の画像内に示された特徴を修正することによって前記合成画像を生成し、
    前記対応する特徴が、メニスカスである、
    請求項７９又は８０に記載のシステム。
84. 前記部分畳み込みモデルを訓練することが、複数の損失を最小化することを含み、前記複数の損失が、少なくとも有効損失、穴損失、知覚損失、スタイル損失、及び変動損失を含む、請求項７０～８３のいずれか一項に記載のシステム。
85. 訓練画像ライブラリにおいて使用される合成画像を評価する方法であって、
    画像セットの画素値に基づいて、（ｉ）前記画像セット内の各画像と（ｉｉ）前記画像セット内の他の各画像との間の差分を示す指標を計算することと、
    前記計算された指標に基づいて、閾値差分値を生成することと、
    複数の合成画像の各々に対して、
    前記合成画像の画素値に基づいて合成画像指標を計算することと、
    前記合成画像指標及び前記閾値差分値に基づいて、前記合成画像の受容性を判定することと、
    を含む、方法。
86. 前記複数の合成画像の各々に対して、前記合成画像の前記受容性に基づいて、前記合成画像を前記訓練画像ライブラリに追加するか、又は前記訓練画像ライブラリから前記合成画像を省略するか、のいずれか、
    を更に含む、請求項８５に記載の方法。
87. 前記合成画像の各々を追加又は省略した後、前記訓練画像ライブラリを使用して自動外観検査用のニューラルネットワークを訓練すること、
    を更に含む、請求項８６に記載の方法。
88. 前記訓練されたニューラルネットワークを使用して、示された欠陥の複数の容器画像を検査すること、
    を更に含む、請求項８７に記載の方法。
89. 各画像と他の各画像との間の差分を示す前記指標を計算することが、
    （ｉ）前記画像セット内の各画像の前記画素値と（ｉｉ）前記画像セット内の他の各画像の前記画素値との間の平均二乗誤差を計算すること、
    を含む、請求項８５～８８のいずれか一項に記載の方法。
90. 前記閾値差分値を生成することが、
    前記画像セットから形成された画像ペアに対して計算された前記平均二乗誤差の中から、最大平均二乗誤差を判定すること、
    を含む、請求項８９に記載の方法。
91. 前記合成画像指標を計算することが、
    各合成画像の平均二乗誤差が（ｉ）前記合成画像の前記画素値と（ｉｉ）前記画像セット内のそれぞれの画像の前記画素値との間の二乗平均誤差である、複数の合成画像の平均二乗誤差を計算すること、
    を含む、請求項８９又は９０に記載の方法。
92. 前記合成画像の受容性を判定することが、（ｉ）前記合成画像の平均二乗誤差の最大値及び（ｉｉ）前記最大平均二乗誤差に基づく、請求項９１に記載の方法。
93. 前記合成画像の受容性を判定することが、（ｉ）前記合成画像の平均二乗誤差の平均及び（ｉｉ）前記最大平均二乗誤差に基づく、請求項９１に記載の方法。
94. 前記合成画像の受容性を判定することが、
    ディスプレイ上に、前記合成画像の合成画像平均二乗誤差を表すヒストグラムを提示すること、
    を含む、請求項９１～９３のいずれか一項に記載の方法。
95. 前記画像セットが、デジタル的に変更されていない容器画像セットであり、前記合成画像が、デジタル的に変更された容器画像である、請求項８５～９４のいずれか一項に記載の方法。
96. システムであって、
    １つ以上のプロセッサと、
    命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記命令が、前記１つ以上のプロセッサによって実行されると、前記システムに、
    画像セットの画素値に基づいて、（ｉ）前記画像セット内の各画像と（ｉｉ）前記画像セット内の他の各画像との間の差分を示す指標を計算させ、
    前記計算された指標に基づいて、閾値差分値を生成させ、
    複数の合成画像の各々に対して、
    前記合成画像の画素値に基づいて合成画像指標を計算させ、
    前記合成画像指標及び前記閾値差分値に基づいて、前記合成画像の受容性を判定させる、
    １つ以上の非一時的コンピュータ可読媒体と、
    を備える、システム。
97. 各画像と他の各画像との間の差分を示す前記指標を計算することが、
    （ｉ）前記画像セット内の各画像の前記画素値と（ｉｉ）前記画像セット内の他の各画像の前記画素値との間の平均二乗誤差を計算すること、
    を含む、請求項９６に記載のシステム。
98. 前記閾値差分値を生成することが、
    前記画像セットから形成された画像ペアに対して計算された平均二乗誤差の中から、最大平均二乗誤差を判定すること、
    を含む、請求項９７に記載のシステム。
99. 前記合成画像指標を計算することが、
    各合成画像の平均二乗誤差が（ｉ）前記合成画像の前記画素値と（ｉｉ）前記画像セット内のそれぞれの画像の前記画素値との間の二乗平均誤差である、複数の合成画像の平均二乗誤差を計算すること、
    を含む、請求項９７又は９８に記載のシステム。
100. 前記合成画像の受容性を判定することが、
     前記合成画像の平均二乗誤差及び前記最大平均二乗誤差の最大値、又は
     前記合成画像の平均二乗誤差及び前記最大平均二乗誤差の平均、
     に基づく、請求項９９に記載のシステム。
101. 前記命令が、前記システムに更に、
     ディスプレイ上に、前記合成画像の前記合成画像平均二乗誤差を表すヒストグラムを提示させる、
     請求項９９又は１００に記載のシステム。
102. 前記画像セットが、デジタル的に変更されていない容器画像セットであり、前記合成画像が、デジタル的に変更された容器画像である、請求項９６～１０１のいずれか一項に記載のシステム。

Images