JP7351898B2 - 外観検査のための画像サンプリング - Google Patents

Description

関連出願の相互参照
２０１８年７月２６日に出願された米国仮特許出願第６２／７３６，９７５号に付与された優先権が主張される。その内容全体はこの参照により本明細書に組み込まれる。

本出願は、一般に、品質管理の目的で医薬製品の分析に使用されるものなどの自動外観検査システムに関し、より具体的には、自動撮像装置によって生成された画像をサンプリングするための技法に関する。

医薬製品の検査は、手動で（すなわち、人間により目視で）行われる場合もあれば、又ははるかに効率的には、自動外観検査システムによって行われる場合もある。自動システムでは、外観検査レシピ（アルゴリズムなど）が複雑であり得、検査レシピの開発は、自動検査プロセスを微調整するために多くのサンプル画像を必要とし得る。特に、自動外観検査システムは、厳格な品質管理基準を満たすべき場合には大規模な訓練画像の集合を使用して訓練しなければならない機械学習モデルを採用する場合がある。最初のレシピが開発された後、追加の画像が、実行時の動作中（例えば、製造ロットの処理中）に保存され、検査レシピの微調整及び／又はトラブルシューティングに使用され得る。これらの追加の画像は１つの製造ロットに対して数百万あり、大規模なストレージ要件を発生させる場合がある。例えば、８台のカメラが２０枚のサンプルの画像をそれぞれキャプチャし、製造ロットが５００，０００個のサンプルを含み、各画像に４メガバイト（ＭＢ）のストレージが必要とされる場合、たった１つの製造ロットに対する完全な画像の集合は３２０テラバイト（ＴＢ）のストレージスペースを必要とする。

ストレージ要件を減らすために、様々なサンプリング技法が使用されてきた。例えば、最後の（最新の）Ｘ枚の画像のみを保存して分析する場合もあれば、又はＹ枚の画像ごとに１枚のみを保存して分析する場合もある。前者の（最新のＸ枚の画像のみを保存する）技法は、ロットの外観検査が途中で中断された場合でも、一般に必要総数のサンプルが確実に保存されるという点で有利であり得る。しかしながら、この技法ではロット全体にわたって画像が保存されないため、例えばサンプル及び／又は動作条件がロットの検査中に少しでも変化する場合などに問題になり得る。一方、後者の（Ｙ枚の画像ごとに１枚を保存する）技法は、ロット全体にわたってサンプルを収集するが、ロットの検査が途中で中断された場合、必要総数のサンプルを提供できない場合がある。このことが問題なのは、特に新製品のための新しいアルゴリズムを開発するときには、検査プロセスが途中で中断されることは珍しいことではないためである（例えば、品質管理手順において誤検出及び／又は検出漏れが多すぎることが示された場合など）。

したがって、上記の両方の手法の利点を持つ、すなわち、ロット全体にわたってサンプルを取得すると同時に、検査プロセスの早い段階であっても必要総数のサンプルを得ることによる画像サンプリング技法が必要とされている。サンプルの多様性により、製造ロットの検査中に検査モデルをより効果的に微調整することが可能になり、また必要総数のサンプルを利用できることにより、検査プロセスが途中で中断された場合に、より効果的なトラブルシューティングが可能になる。

本明細書において記述されている実施形態は、自動外観検査システムにおいて生成された画像をサンプリングするための従来の技法を改善するシステム及び方法に関する。自動外観検査において、最初に必要総数の画像が画像ライブラリに（例えば、必要総数をＸとし、第１のＸ枚の画像を保存することによって）保存される。「必要総数」は、例えば分類／予測モデルを適切に訓練したり、又はそのようなモデルを適切に微調整若しくはトラブルシューティングしたりなどするために必要な何らかの最小数の画像（又は画像サブセット）と見なされ得る。自動外観検査システムの設計者は、Ｘの値を適宜選択することができる。

外観検査プロセスが進むにつれて、画像ライブラリの画像は、検査プロセス全体を通して、又は検査プロセスを実質的に通して次の２つの要件を満たす（又は実質的に満たす）ように順次置き換えられる。（１）画像ライブラリが必要総数の画像を（例えば、Ｘが必要総数である場合、第１のＸ枚の画像が生成されるとすぐに）含み、（２）画像ライブラリが検査されたロット全体にわたって（すなわち、その時点までに検査されているロットの部分全体にわたって）分布している画像を含む。そのような一実施形態では、第ｎの画像集合が受信されると、画像ライブラリのｎ枚ごとの画像が第ｎの画像集合のｎ枚ごとの画像に置き換えられ、画像ライブラリの他の画像はそのまま残される。例えば、必要総数が２５０枚の画像の場合、第１の２５０枚の画像のすべてが保存され得る。画像２５１～５００が利用可能になると、保存されている画像の２枚ごとの画像が、画像２５１～５００の２枚ごとの画像に置き換えられる（例えば、画像番号２５２が画像番号２に置き換わり、画像番号２５４が画像番号４に置き換わり、画像番号２５６が画像番号６に置き換わり、以下同様）。画像５０１～７５０が利用可能になると、保存されている画像の３枚ごとの画像が、画像５０１～７５０の３枚ごとの画像に置き換えられる（例えば、画像番号５０３が画像番号３に置き換わり、画像番号５０６が画像番号２５６に置き換わり、以下同様）。このサンプリングプロセスは、例えば、最後の２５０枚の画像の集合（又はその一部）が生成されるまで繰り返されてもよいし、又はプロセスは、第２５０の画像の集合の第２５０の画像が生成された後などに変更されてもよい。

このような技法を使用すると、画像ライブラリは、各反復／パス後の画像の分散を良好にし、少なくとも最初の反復／パスが終了するとすぐに必要総数の画像を含む。更に、これらの有用な特性は、多くの反復／パスの後でも維持される。

本技法の変形形態を用いることもできる。例えば、画像ライブラリのｎ枚ごとの画像を置き換えるのではなく、２つ以上の画像のサブセットをｎ個ごとに置き換えてもよい（例えば、各サブセットが異なる製品サンプル、又は異なるイメージャの視点に対応するなどの状態で）。

当業者は、本明細書において記述されている図は、例示を目的として含まれるものであり、且つ、本開示を限定するものではないことを理解するであろう。図面は、必ずしも縮尺が正確ではなく、その代わりに、本開示の原理を図示することに重点が置かれている。いくつかの例においては、記述されている実装形態の理解を促進するべく、記述されている実装形態の様々な態様が誇張又は拡大された状態で示されている場合があることを理解されたい。図面においては、様々な図面の全体を通じて、同一の参照符号は一般に、機能的に類似した且つ／又は構造的に類似したコンポーネントを参照している。

本明細書において記述されている画像サンプリング技法を実装し得る例示的な自動外観検査システムの概略ブロック図である。 図１の自動外観検査システムにおいて生成され得る例示的な一連の連続する画像集合を示すテーブルである。 図２Ａの連続する画像集合を受信したときに実行され得る画像ライブラリのための例示的な一連の連続する画像置換動作を示すテーブルである。 図２Ａの連続する画像集合を受信し、図２Ｂの連続する画像置換動作を適用したときの画像ライブラリの例示的な一連の連続する内容を示すテーブルである。 自動撮像装置によって生成された画像をサンプリングするための例示的なアルゴリズムのフロー図である。 自動撮像装置によって生成された画像をサンプリングするための例示的な方法のフロー図である。

上記において紹介されると共に以下において更に詳述される様々な概念は、多数の方法のうちの任意のものにおいて実装することができると共に、記述されている概念は、実装の任意の特定の方式に限定されるものではない。例示を目的として、実装形態の例が提供されている。

図１は、本明細書において記述されている画像サンプリング技法を実装し得る例示的な自動外観検査システム１００の概略ブロック図である。システム１００は、撮像装置１０２と、撮像装置１０２に通信可能に結合されたコンピュータ１０４と、ネットワーク１０８を介してコンピュータ１０４に通信可能に結合されたデータベースサーバ１０６とを備える。ネットワーク１０８は、単一の通信ネットワークであってもよいし、又は１つ又は複数のタイプの複数の通信ネットワーク（例えば、１つ若しくは複数の有線及び／若しくは無線ローカルエリアネットワーク（ＬＡＮ）、並びに／又はインターネットなどの１つ若しくは複数の有線及び／若しくは無線広域ネットワーク（ＷＡＮ））を含んでもよい。

撮像装置１０２は、１つ又は複数のイメージャ（例えば、電荷結合素子（ＣＣＤ））と光学系（例えば、１つ又は複数のレンズ、場合により１つ又は複数のミラーなど）とを備え得る。１つ又は複数のイメージャ及び光学系は、外観検査のためにサンプルのデジタル画像をキャプチャするように一緒に構成される。検査対象のサンプル（図１に示さず）は、特定の用途にとって重要な視覚的属性又は特性を示し得るものであればどのようなものであってもよい。例えば製薬との関連では、検査されるサンプルは、シリンジ、バイアル、若しくは流体（例えば、医薬製品）を入れる他の容器であってよく、任意の流体が、望ましくない粒子（又は特定の視覚的属性を有する粒子など）を含む場合も含まない場合もある、並びに／又は検査されるサンプルは容器自体であってよく、任意の容器が、亀裂及び／若しくは他の欠陥を呈する場合も呈さない場合もある。そのような実施形態では、視覚的特性／属性は、例えば品質管理基準を満たす目的のためには重要であり得る。サンプルは、コンピュータ１０４によって制御されるモータ駆動システム又は別の装置若しくはシステムを使用することなどによって自動的に撮像装置１０２に順次提示され得る。

実装形態に応じて、撮像装置１０２は、サンプルごとに１つの画像、又はサンプルごとに複数の画像をキャプチャし得る。例えば、撮像装置１０２は、特定のサンプルを異なる視点から捉える物理的構成をそれぞれ有する３つのイメージャ（又は１０個のイメージャ、２０個のイメージャなど）を備え得る。イメージャのそれぞれは、各サンプルの単一の画像のみをキャプチャしてもよいし、又は各サンプルの複数の画像を経時的にキャプチャしてもよい（例えば、任意の瞬間に１つ又は複数の粒子による閉塞の可能性に起因する問題を克服し得る、粒子を経時的に追跡可能にする時系列画像を生成するために）。よって、例えば、撮像装置は、サンプルごとに１枚、２枚、３枚、１０枚、２０枚、１００枚、又は任意の他の適切な枚数の画像をキャプチャし得る。サンプルの数も、例えば現在検査中の製造ロットの規模によって異なる場合がある。

コンピュータ１０４は、一般に、撮像装置１０２によって生成／キャプチャされた画像を分析し、それらの画像のサンプリングを長期ストレージのためのデータベースサーバ１０６に送信するために、撮像装置１０２を自動化／制御するように構成される。いくつかの代替的な実施形態では、これらの機能は、代わりに、２つ以上の異なるコンピュータに分割され得る、及び／又はこれらの機能の１つ又は複数が、代わりに、撮像装置１０２によって実装され得ることが理解される。図１から分かるように、コンピュータ１０４は、処理ユニット１１０と、ネットワークインターフェース１１２と、メモリ１１４とを備える。処理ユニット１１０は１つ又は複数のプロセッサを備え、１つ又は複数のプロセッサのそれぞれが、メモリ１１４に格納されたソフトウェア命令を実行して、本明細書において記述されているようにコンピュータ１０４の機能の一部又はすべてを実行するプログラム可能なマイクロプロセッサであり得る。或いは、処理ユニット１１０におけるプロセッサのうちの１つ、いくつか、又はすべては、他のタイプのプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）であってもよく、本明細書において記述されているコンピュータ１０４の機能は、代わりに、部分的又は全体的にハードウェアにおいて実装されてもよい。

ネットワークインターフェース１１２は、１つ又は複数の通信プロトコルを使用してネットワーク１０８を介して通信するように構成された任意の適切なハードウェア（例えば、フロントエンド送信機及び受信機ハードウェア）、ファームウェア、及び／又はソフトウェアを含み得る。例えば、ネットワークインターフェース１１２は、コンピュータ１０４がインターネット又はイントラネットなどを介してデータベースサーバ１０６と通信することを可能にするイーサネットインターフェースであり得るか、又はイーサネットインターフェースを含み得る。

メモリ１１４は、揮発性及び／又は不揮発性メモリを含む１つ又は複数の物理メモリデバイス又はユニットを備え得る。読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）など、１つ又は複数の任意の適切なメモリタイプを含めることができる。まとめて、メモリ１１４は、１つ又は複数のソフトウェアアプリケーション、それらのアプリケーションによって受信／使用されるデータ、及びそれらのアプリケーションによって出力／生成されるデータを格納し得る。

メモリ１１４は、処理ユニット１１０によって実行されると、撮像装置１０２と制御メッセージを交換させる制御モジュール１２６のソフトウェア命令を格納する。制御モジュール１２６は、一般に、サンプルの画像が人間の介入をほとんど又はまったく必要とせずに収集され得るように撮像装置１０２の動作を自動化するように構成され得る。特に、制御モジュール１２６は、サンプルごとに特定の数の画像を撮像装置１０２にキャプチャ／生成させることができ（おそらく、１つ又は複数のイメージャ、又はサンプル自体の自動回転又は他の動きを伴うなど）、更にそれらの画像をコンピュータ１０４に撮像装置１０２に送信させることができる。コンピュータ１０４は、最初に、受信した画像を画像メモリ１２８に格納し、画像メモリ１２８は、コンピュータ１０４が各画像を削除前に分析できるようにする任意の適切なタイプの一時ストレージ（例えば、ＲＡＭ）であり得る。画像メモリ１２８は、例えば、新しい画像又は新しい画像のサブセットが撮像装置１０２から到着するたびに上書きされ得る。

メモリ１１４は、処理ユニット１１０によって実行されると、１つ又は複数のサンプル属性又は特性に関して各サンプルを分類する（又はより正確には、各サンプルの１つ又は複数の画像を分類する）分類モジュール１３０のソフトウェア命令を格納する。この目的のために、分類モジュール１３０は、機械学習（ＭＬ）モデル１３２を訓練及び実装し得る。例えば、流体サンプルの１つ又は複数の画像をＭＬモデル１３２に入力することができ、画像を処理した後、ＭＬモデル１３２は、流体サンプル中の予測粒子数を出力し得る、及び／又は流体サンプルなどに含まれる粒子又はオブジェクトタイプの分布を出力し得る。ＭＬモデル１３２は、線形回帰モデル、畳み込みニューラルネットワーク、再帰型ニューラルネットワークなど、任意の適切なタイプの機械学習モデルであり得る。或いは、ＭＬモデル１３２は、代わりに、訓練を必要とせずに分類機能を実行する非ＭＬアルゴリズムのソフトウェア命令（すなわち、視覚分析ソフトウェア）を含み得る。いくつかの実施形態では、分類モジュール１３０はまた、ＭＬモデル１３２の出力を使用して、所与のサンプルを拒否するべきか又は受け入れるべきか（又は手動での検査などのために取っておくべきか）を判定する。代替的な実施形態では、ＭＬモデル１３２の出力自体が、サンプルを受け入れるべきか若しくは拒否するべきか（若しくは更なる検討のために取っておくべきかなど）を直接示す分類を含むか、又はメモリ１１４（若しくは、図１に示されていないが、システム１００の別のコンピュータのメモリ）の異なるモジュールがサンプルを受け入れるべきか拒否するべきかを判定する。

ＭＬモデル１３２は、撮像装置１０２によってキャプチャされた画像が、画像を確認する人間によって手動でラベル付けされて訓練データとして使用される試行を実行することなどによる、任意の適切な方式で訓練され得る。ＭＬモデル１３２を最初に生成／訓練することに加えて、分類モジュール１３０は、例えば製造ロットの検査の進行中に、追加の画像に基づいてＭＬモデル１３２を維持又は「微調整」し得る。例えば、品質管理手順は、撮像装置１０２によってキャプチャされた限られた画像の集合を、人間が手動で検査してラベル付けすることを必要とし得る。次に、分類モジュール１３０は、これらのラベル付き画像を追加の訓練データとして使用して、ＭＬモデル１３２を改良し得る。いくつかの実施形態又はシナリオでは、特定の画像の人間による検査を使用して、検査プロセスがトラブルシューティングを必要とするか否かを判定することもできる。例えば、人間による画像の検査（及び／又はサンプル自体の検査）は、許容できないほど多数の誤検出及び／又は検出漏れがＭＬモデル１３２によって出力されていることを明らかにし得る。このようなシナリオでは、トラブルシューティング技法を適用して、よりロバストな検査プロセス及びより正確なＭＬモデル１３２を確保した後、製造ロットの検査を停止及び／又は再実行する必要があり得る。これらのトラブルシューティング技法は、十分な数及び十分な多様性（例えば、その時点までに検査されている様々なサンプル中に十分に分布していること）の両方を備えた画像の集合を得ることに大きく依存し得る。

ＭＬモデル１３２の微調整及び／又はトラブルシューティングをサポートするために、データベースサーバ１０６は、データベースサーバ１０６にあるか、又はデータベースサーバ１０６に通信可能に結合されたメモリ（図１に示さず）に格納された画像ライブラリ１３４を維持する。メモリは、例えばＨＨＤ又はＳＳＤメモリなどの不揮発性で永続的なメモリとすることができる。撮像装置１０２によってキャプチャされたすべての画像が、画像ライブラリ１３４に格納され、将来使用するために利用可能になることが理想的である。残念ながら、このことは、画像及びそのメモリ要件が膨大な数になる可能性があるため、並びに／又はネットワーク１０８上で十分に高速に画像を移すことが難しいため、実現困難であり得るか、又は多くの費用がかかり得る。例えば背景技術において上述したように、いくつかの検査レシピは、単一の製造ロットのみに対して数百テラバイト以上のストレージを必要とし得る。

ストレージ要件を減らすために、コンピュータ１０４のメモリ１１４は、漸進的更新サンプリングモジュール１３６のソフトウェア命令を格納する。ソフトウェア命令は、処理ユニット１１０によって実行されると、画像ライブラリ１３４でのストレージのために撮像装置１０２からの限られた画像のサブセットのみを選択／識別する。一実施形態では、漸進的更新サンプリングモジュール１３６は、ネットワークインターフェース１１２に、これらの選択された画像のみをデータベースサーバ１０６に（ネットワーク１０８を介して）送信させる。次に、漸進的更新記録モジュール１４０は、受信した画像のそれぞれを画像ライブラリ１３４に格納する。漸進的更新記録モジュール１４０はまた、新しいイメージを追加するときに画像ライブラリ１３４から削除する古い画像を判定する。いくつかの実施形態では、漸進的更新記録モジュール１４０は、削除される古い画像が存在するメモリロケーションにおいて新しい画像のそれぞれを上書きする。他の実施形態では、そのような対応は必要とされない（例えば、画像ライブラリ１３４から「削除」された画像は、しばらくの間メモリに依然として存在し得るが、新しいデータで上書きされることからもはや保護されていない）。

他の実施形態も可能である。例えば、コンピュータ１０４は、撮像装置１０２からネットワーク１０８を介してデータベースサーバ１０６にすべての画像を転送／送信でき、この場合、漸進的更新サンプリングモジュール１３６は、メモリ１１４ではなくデータベースサーバ１０６のメモリに存在し得る。しかしながら、このような手法では、一般に、ネットワーク１０８上で必要以上のトラフィックを必要とするため、好ましくない場合がある。別の代替的な実施形態では、画像ライブラリ１３４はメモリ１１４（又はコンピュータ１０４に通信可能に結合された別のローカルメモリ）にローカルに格納され、漸進的更新記録モジュール１４０はデータベースサーバ１０６のメモリではなくメモリ１１４に含まれる（例えば、コンピュータ１０４が、画像ライブラリ１３４におけるストレージ及び更新に関連する、本明細書において記述されているデータベースサーバ１０６の動作を行うように）。この後者の実施形態では、システム１００は、データベースサーバ１０６及びネットワーク１０８を省略してもよい。

漸進的更新サンプリングモジュール１３６及び漸進的更新記録モジュール１４０が、画像ライブラリ１３４に追加する画像、及び画像ライブラリ１３４から削除する画像を一緒に判定するアルゴリズムは、具体的な実施形態に応じて変わり得る。しかしながら、一般に、アルゴリズムは、画像ライブラリ１３４が常に、又は実質的に常に（例えば、少なくとも何らかの閾値数の画像が最初に収集された後など）、ＭＬモデル１３２の適切な改良及び／又はトラブルシューティングを可能にするために、十分に数が多く、十分に多様である（例えば、その時点までに収集されている様々な画像中に十分に分布している）画像の集合を維持することを確保しようとする。いくつかの実施形態では、例えば、漸進的更新サンプリングモジュール１３６及び漸進的更新記録モジュール１４０は、到来する画像を離散画像「集合」として扱い、各画像集合は互いに及び画像ライブラリ１３４と同じ数の画像を有する。次に、漸進的更新サンプリングモジュール１３６及び漸進的更新記録モジュール１４０は一緒に、撮像装置１０２から受信された画像集合ごとに、画像集合中に均一又は不均一に分散されている合計ｊ枚の画像を画像ライブラリ１３４に追加し、画像ライブラリ１３４の現在のインスタンス中に均一又は不均一に分散されている合計ｊ枚の画像を画像ライブラリ１３４から削除し、ｊは連続する画像集合ごとに減少する正の整数である。加えて、いくつかの実施形態では、（現在の画像集合及び画像ライブラリ１３４の現在のインスタンスの両方において）ｊ枚の画像のそれぞれを分離する画像の数は、連続する画像集合ごとに増加する。

例えば、１つのアルゴリズムでは、漸進的更新記録モジュール１４０は、例えば、データベースサーバ１０６によって受信された第１のＸ枚の画像のすべてを格納することによって、最初に必要総数のＸ枚の画像を画像ライブラリ１３４に格納する。第２のＸ枚の画像の集合がコンピュータ１０４で利用可能になると、漸進的更新記録モジュール１４０は、画像ライブラリ１３４の２枚ごとの画像をその第２の画像の集合の２枚ごとの画像に置き換えることができる。次に、プロセスは、第３のＸ枚の画像の集合がコンピュータ１０４で利用可能になると、漸進的更新記録モジュール１４０によって、画像ライブラリ１３４の３枚ごとの画像をその第３の画像の集合の３枚ごとの画像に置き換えることを繰り返す。一般に、第ｎのＸ枚の画像の集合がコンピュータ１０４で利用可能になると、漸進的更新記録モジュール１４０は、画像ライブラリ１３４のｎ枚ごとの画像をその第ｎの画像の集合のｎ枚ごとの画像に置き換える。いくつかの実施形態では、任意の新しい画像集合についての画像ライブラリ１３４への更新が漸進的に行われ、漸進的更新サンプリングモジュール１３６によって、撮像装置１０２からの次の画像を受信するのを待たずに、選択された各画像がデータベースサーバ１０６に送信される、及び／又はデータベースサーバ１０６によって、コンピュータ１０４からの次の画像を受信するのを待たずに、画像ライブラリ１３４に新しい画像が追加される（且つ、古い画像を画像ライブラリ１３４から削除する）。他の実施形態では、バッチ処理手法が使用され、バッチ処理手法では、漸進的更新サンプリングモジュール１３６が、現在の画像集合全体がコンピュータ１０４で受信された後でのみ、選択されたすべての画像（例えば、第２の画像集合の２枚ごとの画像）をデータベースサーバ１０６に送信し、漸進的更新記録モジュール１４０が、その時点でその画像集合についてすべての置換動作を実行する。

上記のアルゴリズムの動作は図２Ａ～図２Ｃに示され、一実施形態では、画像集合のそれぞれ及び画像ライブラリ１３４が、２５０枚の画像をそれぞれ含む。読みやすくするために、図２Ａ、図２Ｂ、及び図２Ｃはそれぞれ、部分的なテーブル２００、２１０、及び２２０のみを示している。テーブル２００、２１０、及び２２０のそれぞれにおける列は、検査期間及び対応する画像集合の時系列番号を表す。

次に図２Ａのテーブル２００を特に参照すると、各行は、それぞれの２５０枚の画像の集合内の所与の画像の通し番号を表す。通し番号は、同じ画像集合の残りの部分に対して所与の画像が受信された順序を表し得る。或いは、行は、代わりに、それぞれの画像集合内の画像に割り当てられた任意の識別子（例えば、撮像装置１０２、制御モジュール１２６、分類モジュール１３０、又は漸進的更新サンプリングモジュール１３６によって割り当てられた識別子）を表し得る。テーブル２００のエントリに示されている様々な値は、一意の画像を表す。値は、他のすべての画像に対する撮像装置１０２によって一意の画像が生成された順序、撮像装置１０２がコンピュータ１０４に一意の画像を送信した順序、一意の画像が分類モジュール１３０によって処理された順序などとすることができる。或いは、値は、画像番号１～２５０がすべて第１の検査期間の間に撮像装置１０２によって生成され、画像番号２５１～５００がすべて第２の検査期間の間に撮像装置１０２によって生成され、以下同様であるという時間的制約を条件として、（例えば、上記のように）画像に割り当てられた任意の識別子であってもよい。

テーブル２００は、撮像装置１０２によって生成された画像が各画像集合内にどのように配置されるかを簡単に示している。例えば、第１の検査期間の間に撮像装置１０２によって生成された第１の画像集合は、「１」～「２５０」とラベル付けされた２５０枚の画像を含む（分かりやすくするために、図１には最初の１６枚のみを示す）。次の／第２の検査期間の間に撮像装置１０２によって生成された第２の画像集合は、「２５１」～「５００」とラベル付けされた別の２５０枚の画像を含み（同様に、図１には最初の１６枚のみを示す）、以下同様である。

次に図２Ｂを参照すると、テーブル２１０は、新しい画像集合／検査期間ごとに画像ライブラリ１３４のどの位置が更新されるかを示している。テーブル２１０の行によって表される「位置」は、純粋に論理的な構成概念であり得、特定のメモリロケーションが関与することを必ずしも意味しないことが理解される。テーブル２１０において、空白のエントリは、（画像ライブラリ１３４がその時点で存在するとき）画像ライブラリ１３４の対応する位置がそれぞれの画像集合に対して変更されないことを意味し、「Ｙ」は画像ライブラリ１３４の対応する位置が、現在の画像を新しい画像集合からの画像に置き換えることにより更新されることを示す。

上記の例示的なアルゴリズムでは、テーブル２１０にしたがって更新された位置ごとに、新しい画像集合の対応する通し番号を有する画像を使用して、古いエントリが置き換えられる。例えば、第１の画像集合の場合、第１の画像集合の２５０枚の画像すべてが画像ライブラリ１３４の入力に使用される。その後、第２の画像集合の２枚ごとの画像が、現在画像ライブラリ１３４の２つごとの位置にある画像を置き換える。次の検査期間に移ると、第３の画像集合の３枚ごとの画像が、現在画像ライブラリ１３４の３つごとの位置にある画像を置き換え、以下同様である。これは、テーブル２１０に示されているように、またその先も進み得る。

図２Ｃのテーブル２２０は、各検査期間／画像集合後に、本手法により結果として得られる画像ライブラリ１３４の内容を示している。テーブル２２０では、各行は（図２Ｂに関連して上述したように）画像ライブラリ１３４の異なる位置を表し、テーブルの各エントリは（図２Ａに関連して上述したように）一意の画像を表す。よって、テーブル２２０の第１の列は、第１の画像集合に基づいて更新が行われた後であるが第２の画像集合に基づいて更新が行われる前の画像ライブラリ１３４の内容を表し、テーブル２２０の第２の列は、第２の画像集合に基づいて更新が行われた後であるが第３の画像集合に基づいて更新が行われる前の画像ライブラリ１３４の内容を表し、以下同様である。図２Ｃから分かるように（テーブル２２０の行が省略されなかった場合には、示されているパターンは画像ライブラリ１３４の位置番号２５０まで続くことを理解した上で）、画像ライブラリ１３４は、第１の画像集合を受信した後、必要総数の２５０枚の画像を含み、現在の画像集合／検査期間までに受信された画像集合のすべてにわたって極めて均一に分布しているサンプリングされた画像を含む。

図２Ｃにおいてテーブル２２０の列が省略されなかった場合には、これらの有益な属性の両方が、少なくとも最初の２５０の検査期間／画像集合についてはそのまま残ることも分かるはずである。検査期間及び画像集合の数が最終的に画像ライブラリ１３４のエントリ数を超え得るシナリオを扱うために、漸進的更新サンプリングモジュール１３６及び漸進的更新記録モジュール１４０によって一緒に実装されるアルゴリズムは更なる工程を含み得る。例えば、画像ライブラリ１３４及び各画像集合がＸ個のエントリを含む場合、第（Ｘ＋１）の画像集合から始まる異なるアルゴリズムが使用され得る。一実施形態では、例えば、第（Ｘ＋１）の画像集合からの画像は画像ライブラリ１３４に追加されず、第（Ｘ＋２）の画像集合からの１つの画像が画像ライブラリ１３４の第２の画像に置き換わり、第（Ｘ＋３）の画像集合からの画像はライブラリに追加されず、第（Ｘ＋４）の画像集合からの１つの画像が画像ライブラリ１３４の第４の画像に置き換わり、以下同様である。受信される画像集合の数によっては、アルゴリズムへの更なる工程又は変更も必要になり得る。しかしながら、必要総数の画像及び十分に多様な画像サンプリングを実現することの利益は、アルゴリズムの開発の比較的初期の段階（例えば、初期ロット）で最も重要であり得る。これはなぜなら、ＭＬモデル１３２の微調整が初期段階でより重要であり得るためである、及び／又は初期段階でトラブルシューティングの必要性がより高くなり得るためである。

いくつかの実施形態では、上記のアルゴリズムにおける画像のそれぞれ（及び図２Ａ～図２Ｃにおいて表されている画像のそれぞれ）は、代わりに、２つ以上の画像を含む画像サブセットであり、例えば各サブセットのサイズが等しい。各サブセットは、例えば、特定のロットサンプルに対して撮像装置１０２が生成したすべての画像を含み得る。そのような実施形態では、画像ライブラリ１３４に対する更新は、上記のように一度に１つの画像ではなく、一度に１つの画像サブセットで行われ得る。

図３は、（制御モジュール１２６を介してコンピュータ１０４によって自動化／制御されている）撮像装置１０２など、自動撮像装置によって生成された画像をサンプリングするための例示的なアルゴリズム３００のフロー図である。アルゴリズム３００は、例えば、コンピュータ１０４の漸進的更新サンプリングモジュール１３６と、データベースサーバ１０６の漸進的更新記録モジュール１４０とによって一緒に実施され得る。他の実施形態では、アルゴリズム３００は、コンピュータ１０４によってのみ（例えば、図１の画像ライブラリ１３４がコンピュータ１０４に対してローカルである実施形態において）、又はデータベースサーバ１０６によってのみ（例えば、コンピュータ１０４が、すべての画像を、最初にそれらの画像のうちの特定の画像をサンプリングすることなく、データベースサーバ１０６に送信する実施形態において）実施され得る。

例示的なアルゴリズム３００では、ステップ３０２において、（例えば、撮像装置１０２からコンピュータ１０４によって）第ｎの画像集合の第ｉの画像が受信され、第ｎの画像集合はＸ枚の画像を含む（例えば、２５０枚の画像、１０００枚の画像など）。アルゴリズム３００が開始されるとき、ｉ及びｎの両方とも１に等しい。ステップ３０２の後、フローはステップ３０４に進む。ステップ３０４において、ｉがｎの倍数である整数であるか否かが判定される。否である場合、フローはステップ３０６に進む。しかしながら、ｉがｎの倍数である整数である場合、フローは代わりにステップ３０８に進む。ステップ３０８において、画像ライブラリ３１４の第ｉの画像は、第ｎの画像集合の第ｉの画像に置き換えられる。ステップ３０８の後、フローはステップ３０６に進む。

ステップ３０６において、ｉがＸに等しいか否かが判定される。否である場合、フローはステップ３１０に進み、現在の画像集合内の次の画像に進むためにｉがインクリメントされる。しかしながら、ｉがＸに等しい場合（すなわち、画像集合が完成している場合）、フローは代わりにステップ３１２に進み、次の画像集合に進むためにｎがインクリメントされる。次に、実施されているのがステップ３１０であっても又はステップ３１２であっても、フローはステップ３０２に戻る。ステップ３０２～３１０（又は３１２）は、例えば異なる又は修正されたアルゴリズムが適用され得る時点に第Ｘの画像集合が受信されるまで繰り返され得る。

図３は１つの可能なアルゴリズムにのみ対応することが理解される。例えば、１つの代替的なアルゴリズムでは、画像ライブラリは、画像集合全体が受信された後、画像集合ごとに１回だけ更新される。別の例として、アルゴリズム３００において言及される各「画像」は、代わりに、それぞれの画像集合内の２つ以上の連続する画像のサブセットである。別の例として、アルゴリズムは、画像ライブラリのｎ枚ごとの画像を置き換えるのではなく、画像ライブラリの（２ｎ）枚ごとの画像を現在の画像集合の（２ｎ）枚ごとの画像を使用して置き換えることができる。更に別の例として、アルゴリズムは、現在の画像集合の（Ｘ－ｎ）枚ごとの画像を使用して、画像ライブラリの（Ｘ－ｎ）枚ごとの画像を置き換えることができる（Ｘは、各画像集合及び画像ライブラリの画像の数である）。更に他の例では、画像ライブラリのどの画像を置き換えるかを判定するとき、及び／又は画像ライブラリのどの画像が古い画像を置き換えるかを判定するときに、ある程度のランダム性が導入され得る。当業者であれば、本明細書に開示された原理に含まれるアルゴリズムについて更に他の可能性又は変形形態を理解するはずである。

図４は、（制御モジュール１２６を介してコンピュータ１０４によって自動化／制御されている）撮像装置１０２など、自動撮像装置によって生成された画像をサンプリングするための例示的な方法４００のフロー図である。方法４００は、例えば、コンピュータ１０４の漸進的更新サンプリングモジュール１３６と、データベースサーバ１０６の漸進的更新記録モジュール１４０とによって一緒に実施され得る。他の実施形態では、方法４００は、コンピュータ１０４によってのみ（例えば、図１の画像ライブラリ１３４がコンピュータ１０４に対してローカルである実施形態において）、又はデータベースサーバ１０６によってのみ（例えば、コンピュータ１０４が、すべての画像を、最初にそれらの画像のうちの特定の画像をサンプリングすることなく、データベースサーバ１０６に送信する実施形態において）実施され得る。画像は、任意のタイプのアイテム（例えば、シリンジ又は液体を収容する他の容器、空の容器など）の画像であってよく、実施形態に応じて任意の目的（例えば、機械学習モデルの微調整及び／若しくはトラブルシューティング並びに／又はアーカイブ目的など）のためにサンプリング／格納され得る。

ブロック４０２において、第１の画像集合が受信される。第１の画像集合は、第１の検査期間の間に自動撮像装置（例えば、制御モジュール１２６を介してコンピュータ１０４によって自動化／制御されている図１の撮像装置１０２）によって生成される／生成された画像を含む。第１の検査期間は、第１のサンプル（例えば、製品サンプル）のみの分析に対応するのであってもよいし、又は自動撮像装置が何らかの特定の数の画像（例えば、２５０枚の画像又は１０００枚の画像など）をキャプチャするのにかかる時間に対応するのであってもよい。いくつかの実施形態では、第１の画像集合のすべての画像は、第１の検査期間の間に自動撮像装置によって連続的に生成された画像である。

ブロック４０４において、画像ライブラリがメモリに格納される。画像ライブラリ（例えば、図１の画像ライブラリ１３４）は、すべてに入力されると、第１の画像集合と同じ数の画像を含み得る。メモリは、例えばＳＳＤ又はＨＤＤメモリなどの任意の不揮発性又は永続的なメモリデバイスを含み得る。ブロック４０４に最初に格納されるため、画像ライブラリは第１の画像集合のみから構成され得る。ブロック４０４は、ブロック４０２と同時に行われてもよいし（例えば、第１の画像集合の新しい画像のそれぞれが、新しい画像が受信されるとすぐに画像ライブラリに格納される）、又はブロック４０２の完全に後に（例えば、バッチプロセスで）行われてもよい。いくつかの実施形態では、画像ライブラリの各画像は、画像がキャプチャされた（又は受信などされた）時間及び／又は同じロットの他の画像に対してその画像がキャプチャされた（又は受信などされた）順序を示す関連メタデータとともに格納される。メタデータは、例えば、ブロック４０２で画像とともに受信されてもよいし、又はブロック４０４で生成されてもよい。

ブロック４０６において、後続の検査期間の間に自動撮像装置によって生成された後続の画像集合が順次受信される。後続の画像集合のそれぞれが、第１の画像集合及び画像ライブラリと同じ数の画像を含み得る。後続の検査期間のそれぞれは、異なるサンプルの分析に対応する場合もあるし、又は自動撮像装置が特定の数の画像（例えば、第１の検査期間の間にキャプチャされた同じ数の画像）をキャプチャするのにかかる時間に対応する場合もある。いくつかの実施形態では、後続の画像集合のそれぞれのすべての画像は、それぞれの検査期間の間に自動撮像装置によって連続的に生成された画像である。

ブロック４０８において、メモリに格納された画像ライブラリが更新される。更新プロセスは、後続の画像集合ごとに、その画像集合中に分布しているｊ枚の画像を画像ライブラリに追加し、画像ライブラリの現在のインスタンス中に分布しているｊ枚の画像を削除することであって、ｊは連続する画像集合ごとに減少する正の整数である、ことを含み得る。加えて、いくつかの実施形態では、（画像集合及び画像ライブラリの両方において）ｊ枚の画像のそれぞれを分離する画像の数は、連続する画像集合ごとに増加する。いくつかの実施形態では、ブロック４０８における更新プロセスは、ブロック４０６で受信された画像集合ごとに、画像集合のｎ枚ごとの画像を画像ライブラリに追加し、画像ライブラリの現在のインスタンスのｎ枚ごとの画像を画像ライブラリから削除することであって、ｎは画像集合が自動撮像装置によって生成された検査期間の番号である、ことを含み得る。例えば、更新プロセスは、図３に示されるアルゴリズムにしたがうことができる、及び／又は図２Ａ～図２Ｃのテーブル２００、２１０、及び２２０に対応するアルゴリズムにしたがうことができる。いくつかの実施形態では、上述のように、画像ライブラリに追加された各画像は、画像がキャプチャされた（又は受信などされた）時間及び／又は同じロットの他の画像に対してその画像がキャプチャされた（又は受信などされた）順序を示す関連メタデータとともに格納される。メタデータは、例えば、ブロック４０６で画像とともに受信されてもよいし、又はブロック４０８で生成されてもよい。

或いは、画像ライブラリを更新するたびに、２枚以上の画像（すなわち、画像サブセット）を置き換えることを含むこともできる。例えば、ブロック４０８における更新プロセスは、ブロック４０６で受信された画像集合ごとに、画像集合の２枚以上の画像のサブセットをｎ個ごとに画像ライブラリに追加し、画像ライブラリの現在のインスタンスの２枚以上の画像のサブセットをｎ個ごとに画像ライブラリから削除することであって、ｎは、同様に、画像集合が自動撮像装置によって生成された検査期間の番号である、ことを含み得る。ブロック４０８は、ブロック４０６と同時に行われ得る（例えば、後続の画像集合のそれぞれが受信されたときに画像ライブラリへの更新が行われ、場合により、第ｎの画像集合の第ｎの画像又は画像サブセットが受信されるたびに画像ライブラリの単一の画像又は画像サブセットへの更新が行われる状態で）。

実施形態に応じて、上記の異なるブロックは、異なるロケーションで行われ得る。例えば、ブロック４０２及び４０６は、図１のコンピュータ１０４で行われ得る一方、ブロック４０４及び４０８は、図１のデータベースサーバ１０６で行われ得る。更に、いくつかの実施形態では、方法４００は、図４に示されていない１つ又は複数のブロックを含む。例えば、方法４００は、画像ライブラリの現在のインスタンスのいくつか又はすべての画像が、機械学習モデル（例えば、図１のＭＬモデル１３２）の更なる訓練（例えば、「微調整」）などの特定の目的のため、又は検査レシピのトラブルシューティングなどに使用される、更なるブロックを含み得る。別の例として、方法４００は、ロットに関連するすべての画像が、それらの画像がキャプチャされた（又は受信などされた）順序にしたがって並べ替えされる、更なるブロックを（例えば、ブロック４０８の後に）含み得る。

次に、上記の開示及び図面に関連する更なる考慮事項について取り上げる。

本明細書において記述されている図のいくつかは、１つ又は複数の機能可能なコンポーネントを有する例示用のブロック図を示している。このようなブロック図は、例示を目的としたものであり、且つ、記述及び図示されている装置は、図示されているものよりも多くの数の、少ない数の、又は代替的な、コンポーネントを有し得ることを理解されたい。これに加えて、様々な実施形態においては、コンポーネント（のみならず、個々のコンポーネントによって提供される機能）は、任意の適切なコンポーネントと関連付けられていてもよく、或いは、さもなければ、その一部として統合されてもよい。

本開示の実施形態は、様々なコンピュータ実装された動作を実行するべくコンピュータコードを有する非一時的コンピュータ可読ストレージ媒体に関する。「コンピュータ可読ストレージ媒体」という用語は、本明細書においては、本明細書において記述されている動作、方法、及び技法を実行するべく、命令又はコンピュータコードのシーケンスを保存又はエンコードする能力を有する任意の媒体を含むべく、使用されている。媒体及びコンピュータコードは、本開示の実施形態を目的として特別に設計及び構築されたものであってもよく、或いは、これらは、コンピュータソフトウェア技術の分野における当業者にとって周知の且つ入手可能な種類のものであってもよい。コンピュータ可読ストレージ媒体の例は、限定を伴うことなしに、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ及びホログラフィック装置などの光媒体、光ディスクなどの磁気－光媒体、並びに、ＡＳＩＣ、プログラム可能な論理装置（「ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ」）、及びＲＯＭ装置やＲＡＭ装置などのプログラムコードを保存及び実行するように特別に構成されたハードウェア装置を含む。

コンピュータコードの例は、コンパイラによって生成されるものなどの、機械コードと、インタープリタ又はコンパイラを使用してコンピュータによって実行される相対的にハイレベルなコードを収容するファイルと、を含む。例えば、本開示の一実施形態は、Ｊａｖａ、Ｃ＋＋、又はその他のオブジェクト指向のプログラミング言語及び開発ツールを使用することにより、実装することができる。コンピュータコードの更なる例は、暗号化されたコード及び圧縮されたコードを含む。更には、本開示の一実施形態は、コンピュータプログラム製品としてダウンロードされてもよく、これは、リモートコンピュータ（例えば、サーバコンピュータ）から要求元のコンピュータ（例えば、クライアントコンピュータ又は異なるサーバコンピュータ）に送信チャネルを介して転送されてもよい。本開示の別の実施形態は、機械実行可能なソフトウェア命令の代わりに、或いは、これとの組合せにおいて、配線接続された回路として実装することができる。

本明細書において使用されている「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」という単数形の用語は、文脈がそうではない旨を明示的に示していない限り、複数の参照物を含み得る。

本明細書において使用されている「接続する（ｃｏｎｎｅｃｔ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、及び「接続（ｃｏｎｎｅｃｔｉｏｎ）」という用語は、機能可能な結合又はリンク付けを意味している。接続されたコンポーネントは、例えば、別のコンポーネントの組を通じて、互いに直接的に又は間接的に結合され得る。

本明細書において使用されている「ほぼ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「実質的な（ｓｕｂｓｔａｎｔｉａｌ）」、及び「約（ａｂｏｕｔ）」という用語は、小さな変動を記述及び説明するべく使用されている。イベント又は状況との関連において使用された際に、これらの用語は、そのイベント又は状況が正確に発生している事例のみならず、イベント又は状況が、近接した程度にまで、発生している事例をも意味し得る。例えば、数値との関連において使用された際に、これらの用語は、±５％以下、±４％以下、±３％以下、±２％以下、±１％以下、±０．５％以下、±０．１％以下、又は±０．０５％以下などの、その数値の±１０％以下の変動の範囲を意味し得る。例えば、２つの数値は、値の間の差が、値の平均の±５％以下、±４％以下、±３％以下、±２％以下、±１％以下、±０．５％以下、±０．１％以下、又は±０．０５％以下などの、±１０％以下である場合に、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」同一であると判断され得る。

これに加えて、量、比率、及びその他の数値は、場合により、本明細書においては、範囲のフォーマットにおいて提示されている。このような範囲のフォーマットは、利便及び簡潔性を目的として使用されており、且つ、範囲の限度として明示的に規定された数値を含んでいるが、それぞれの数値及びサブ範囲がまるで明示的に規定されているのかのように、その範囲内において包含されるすべての個々の数値又はサブ範囲をも含むものとして、柔軟に理解するべきであることを理解されたい。

本開示は、その特定の実施形態を参照して説明及び図示されているが、これらの説明及び図示は、本開示を限定するものではない。当業者には、添付の請求項によって定義されている本開示の真の趣旨及び範囲を逸脱することなしに、様々な変更が実施され得ると共に、均等物が置換され得ることが理解されるはずである。図示は、必ずしもその縮尺が正確ではない場合がある。製造プロセス、公差、及び／又は他の理由に起因して、本開示における技術的表現と実際の装置との間には、差異が存在し得る。具体的に示されていない本開示のその他の実施形態が存在し得る。（特許請求の範囲以外の）本明細書及び図面は、限定ではなく、例示を目的としたものとして見なすことを要する。特定の状況、材料、事物の組成、技法、又はプロセスを本開示の目的、趣旨、及び範囲に対して適合させるべく、変更を実施することができる。すべてのこのような変更は、本明細書に添付されている特許請求の範囲に含まれるべく意図されている。本明細書において開示されている技法は、特定の順序において実行される特定の動作を参照して記述されているが、これらの動作は、本開示の教示内容を逸脱することなしに、均等な技法を形成するべく、組み合わせられてもよく、サブ分割されてもよく、或いは、再順序付けられてもよいことを理解されたい。したがって、本明細書において具体的に示されていない限り、動作の順序及びグループ分けは、本開示を限定するものではない。

Claims (20)

1. 自動撮像装置によって生成された画像をサンプリングするためのコンピュータ実施方法であって、前記方法が、
   第１の検査期間の間に前記自動撮像装置によって生成された第１の画像集合を受信することと、
   画像ライブラリをメモリに格納することであって、最初に前記画像ライブラリが前記第１の画像集合から構成される、ことと、
   複数の後続の検査期間の間に前記自動撮像装置によって生成された複数の後続の画像集合を順次受信することと、
   前記メモリに格納された前記画像ライブラリを更新することであって、
   前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記後続の画像集合中に分布しているｊ枚の画像を前記画像ライブラリに追加し、前記画像ライブラリの現在のインスタンス中に分布しているｊ枚の画像を前記画像ライブラリから削除することであって、ｊはゼロより大きい整数である、ことを含み、
   前記複数の後続の画像集合の連続する画像集合ごとに、ｊが減少する、ことと
   を含む、コンピュータ実施方法。
2. （ｉ）前記画像ライブラリと、（ｉｉ）前記第１の画像集合と、（ｉｉｉ）前記複数の後続の画像集合のそれぞれとのそれぞれが、同じ数の画像を含む、請求項１に記載のコンピュータ実施方法。
3. 第１の画像集合を受信することが、前記自動撮像装置によって連続的に生成された第１のＸ枚の画像の集合を受信することであって、Ｘは１より大きい整数である、ことを含み、
   前記複数の後続の画像集合を順次受信することが、後続の画像集合ごとに、前記自動撮像装置によって連続的に生成された新しいＸ枚の画像の集合を受信することを含む、請求項１又は２に記載のコンピュータ実施方法。
4. 前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像を前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことを含む、請求項１～３のいずれか一項に記載のコンピュータ実施方法。
5. 前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記後続の画像集合のｎ枚ごとの画像を前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像を前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことを含む、請求項１～４のいずれか一項に記載のコンピュータ実施方法。
6. 前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記後続の画像集合のＹ枚の画像のサブセットをｎ個ごとに前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのＹ枚の画像のサブセットをｎ個ごとに前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号であり、Ｙは１より大きい整数である、ことを含む、請求項１～３のいずれか一項に記載のコンピュータ実施方法。
7. 前記メモリがサーバ内にあるか、又は前記サーバと通信可能に結合され、
   前記第１の画像集合を受信することが、コンピュータにおいて前記第１の画像集合を受信することを含み、
   前記画像ライブラリを前記メモリに格納することが、前記第１の画像集合をネットワークを介して前記サーバに送信し、前記サーバによって前記第１の画像集合を前記メモリに格納することを含み、
   前記複数の後続の画像集合を順次受信することが、前記コンピュータにおいて前記複数の後続の画像集合を順次受信することを含み、
   前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、
   前記サーバによって、前記後続の画像集合中に分布している前記ｊ枚の画像を前記画像ライブラリに追加することと、
   前記サーバによって、前記画像ライブラリの前記現在のインスタンス中に分布している前記ｊ枚の画像を前記画像ライブラリから削除することと
   を含む、請求項１～６のいずれか一項に記載のコンピュータ実施方法。
8. 第１の画像集合を受信することが、前記自動撮像装置によって連続的に生成された第１のＸ枚の画像の集合を受信することであって、Ｘは１より大きい整数である、ことを含み、
   前記複数の後続の画像集合を順次受信することが、後続の画像集合ごとに、前記自動撮像装置によって連続的に生成された新しいＸ枚の画像の集合を受信することを含み、
   前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記後続の画像集合のｎ枚ごとの画像又は画像サブセットを前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像又は画像サブセットを前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことを含む、請求項１又は７に記載のコンピュータ実施方法。
9. １つ又は複数のイメージャを備え、サンプルの画像をキャプチャするように構成された自動撮像装置と、
   メモリと、
   １つ又は複数のプロセッサであって、
   第１の検査期間の間に前記自動撮像装置によって生成された第１の画像集合を受信し、
   画像ライブラリを前記メモリに格納し、最初に前記画像ライブラリが前記第１の画像集合から構成され、
   複数の後続の検査期間の間に前記自動撮像装置によって生成された複数の後続の画像集合を順次受信し、
   前記メモリに格納された前記画像ライブラリを更新し、
   前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記後続の画像集合中に分布しているｊ枚の画像を前記画像ライブラリに追加し、前記画像ライブラリの現在のインスタンス中に分布しているｊ枚の画像を前記画像ライブラリから削除することであって、ｊはゼロより大きい整数である、ことを含み、
   前記複数の後続の画像集合の連続する画像集合ごとに、ｊが減少する、
   ように構成された１つ又は複数のプロセッサと
   を備える、自動外観検査システム。
10. （ｉ）前記画像ライブラリと、（ｉｉ）前記第１の画像集合と、（ｉｉｉ）前記複数の後続の画像集合のそれぞれとのそれぞれが、同じ数の画像を含む、請求項９に記載のシステム。
11. 前記第１の画像集合が、前記自動撮像装置によって連続的に生成された第１のＸ枚の画像の集合を含み、
    後続の画像集合のそれぞれが、前記自動撮像装置によって連続的に生成されたそれぞれの新しいＸ枚の画像の集合を含む、請求項９又は１０に記載のシステム。
12. 前記１つ又は複数のプロセッサが、少なくとも、後続の画像集合ごとに、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像を前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことにより、前記メモリに格納された前記画像ライブラリを更新するように構成される、請求項９～１１のいずれか一項に記載のシステム。
13. 前記１つ又は複数のプロセッサが、少なくとも、後続の画像集合ごとに、前記後続の画像集合のｎ枚ごとの画像を前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像を前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことにより、前記メモリに格納された前記画像ライブラリを更新するように構成される、請求項９～１２のいずれか一項に記載のシステム。
14. 前記１つ又は複数のプロセッサが、少なくとも、後続の画像集合ごとに、前記後続の画像集合のＹ枚の画像のサブセットをｎ個ごとに前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのＹ枚の画像のサブセットをｎ個ごとに前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号であり、Ｙは１より大きい整数である、ことにより、前記メモリに格納された前記画像ライブラリを更新するように構成される、請求項９～１３のいずれか一項に記載のシステム。
15. 前記システムが、（ｉ）前記自動撮像装置に通信可能に結合されたコンピュータと、（ｉｉ）ネットワークを介して前記コンピュータに通信可能に結合されたサーバとを備え、
    前記１つ又は複数のプロセッサが、（ｉ）前記コンピュータの少なくとも１つのプロセッサと、（ｉｉ）前記サーバの少なくとも１つのプロセッサとを含み、
    前記メモリが前記サーバ内にあるか、又は前記サーバと通信可能に結合され、
    前記コンピュータの前記少なくとも１つのプロセッサが、前記自動撮像装置からの前記第１の画像集合を受信し、前記第１の画像集合を前記ネットワークを介して前記サーバに送信し、前記複数の後続の画像集合を順次受信し、後続の画像集合ごとに、前記後続の画像集合中に分布している前記ｊ枚の画像のみを前記ネットワークを介して前記サーバに送信するように構成され、
    前記サーバの前記少なくとも１つのプロセッサが、前記第１の画像集合を前記画像ライブラリに追加し、後続の画像集合ごとに、前記後続の画像集合中に分布している前記ｊ枚の画像を前記画像ライブラリに追加し、前記画像ライブラリの現在のインスタンス中に分布している前記ｊ枚の画像を前記画像ライブラリから削除するように構成される、請求項９～１４のいずれか一項に記載のシステム。
16. １つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、
    第１の検査期間の間に自動撮像装置によって生成された第１の画像集合を受信し、
    画像ライブラリをメモリに格納し、最初に前記画像ライブラリが前記第１の画像集合から構成され、
    複数のそれぞれの検査期間の間に前記自動撮像装置によって生成された複数の後続の画像集合を順次受信し、
    前記メモリに格納された前記画像ライブラリを更新し、
    前記メモリに格納された前記画像ライブラリを更新することが、後続の画像集合ごとに、前記後続の画像集合中に分布しているｊ枚の画像を前記画像ライブラリに追加し、前記画像ライブラリの現在のインスタンス中に分布しているｊ枚の画像を前記画像ライブラリから削除することであって、ｊはゼロより大きい整数である、ことを含み、
    前記複数の後続の画像集合の連続する画像集合ごとに、ｊが減少する、
    ようにさせる命令を格納する、１つ又は複数の非一時的コンピュータ可読媒体。
17. （ｉ）前記画像ライブラリと、（ｉｉ）前記第１の画像集合と、（ｉｉｉ）前記複数の後続の画像集合のそれぞれとのそれぞれが、同じ数の画像を含む、請求項１６に記載の１つ又は複数の非一時的コンピュータ可読媒体。
18. 前記命令が、前記１つ又は複数のプロセッサに、少なくとも、後続の画像集合ごとに、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像を前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことにより、前記メモリに格納された前記画像ライブラリを更新するようにさせる、請求項１６又は１７に記載の１つ又は複数の非一時的コンピュータ可読媒体。
19. 前記命令が、前記１つ又は複数のプロセッサに、少なくとも、後続の画像集合ごとに、前記後続の画像集合のｎ枚ごとの画像を前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像を前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことにより、前記メモリに格納された前記画像ライブラリを更新するようにさせる、請求項１６～１８のいずれか一項に記載の１つ又は複数の非一時的コンピュータ可読媒体。
20. 前記第１の画像集合が、前記自動撮像装置によって連続的に生成された第１のＸ枚の画像の集合を含み、Ｘは１より大きい整数であり、
    前記複数の後続の画像集合のそれぞれが、前記自動撮像装置によって連続的に生成された新しいＸ枚の画像の集合を含み、
    前記命令が、前記１つ又は複数のプロセッサに、少なくとも、後続の画像集合ごとに、前記後続の画像集合のｎ枚ごとの画像又は画像サブセットを前記画像ライブラリに追加し、前記画像ライブラリの前記現在のインスタンスのｎ枚ごとの画像又は画像サブセットを前記画像ライブラリから削除することであって、ｎは前記後続の画像集合が生成された前記検査期間の番号である、ことにより、前記メモリに格納された前記画像ライブラリを更新するようにさせる、請求項１６に記載の１つ又は複数の非一時的コンピュータ可読媒体。

Images