JP6865776B2 - 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理 - Google Patents

Description

本開示は、全般的に、品質管理のためのコンピュータ実装された方法および品質管理システムに関する。

企業は、製品および／またはサービスの品質を確保するために品質管理プロセスを採用する。様々な産業で事業を行う企業が品質管理プロセスを実装する。例示の産業には、医薬、生物工学、ワクチン、体外診断、食品、飲料、化学、および公共事業が含まれるがこれらに限定はされない。例えば食品産業では、品質管理プロセスを使用して、販売される食品に汚染物（例えば微生物学的）が存在しない（または少なくとも閾値レベルを下回る）ことを確実にすることができる。しかし、品質管理プロセスは、手作業が多く、誤りを伴う場合がある。場合によっては、許容されない可能性のあるレベルの汚染物が、品質管理プロセスにおいて適切に検出されない。

本開示の各実装は、全般的に、コンピュータビジョニングおよび深層学習を使用した品質管理システムを対象とする。特に、本開示の各実装は、自動的または半自動的に徹底した品質管理プロセスを実行する、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）ベースのコンピュータビジョニングシステムを対象とする。

一部の実装において、アクションは、製品のサンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって特徴のセットを提供することであって、残差ネットワークの第１の層はサンプルデータの特徴１つ以上を識別し、残差ネットワークの第２の層は第１の層の１つ以上の特徴を受け取って追加の特徴１つ以上を識別する、提供することと、製品のサンプルの領域のセットを識別するために特徴のセットを処理することと、識別された領域のセットに基づいて、製品のサンプルのデジタルデータ表現の分解能を変更することと、領域のセットの中の領域中の物体少なくとも１つを識別して少なくとも１つの物体のタイプを判断するために、特徴のセットを処理することと、製品のサンプル内の汚染を示す警告を、少なくとも１つの物体のタイプに少なくとも部分的に基づいて選択的に発することと、を含む。この側面の他の実装は、対応するシステム、装置、および方法のアクションを実行するように構成されコンピュータ記憶デバイス上にエンコードされたコンピュータプログラムを含む。

これらおよび他の実装はそれぞれ任意選択で、以下の特徴のうちの１つ以上を含むことができる：残差ネットワークはＲｅｓｎｅｔ−１０１であること、特徴のセットは畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して処理されること、ＣＮＮは領域ベースＣＮＮ（Ｒ−ＣＮＮ：ｒｅｇｉｏｎ−ｂａｓｅｄ ＣＮＮ）であること、アクションがさらに、ユーザインターフェース内にサンプルの視覚的描写を提供することを含み、視覚的描写はサンプルにおいて識別された物体を示す１つ以上のグラフィックオーバーレイを含むこと、アクションがさらに、サンプルを収容しているサンプル容器をカメラに対して相対的な或るポジションにロボットアームを使用して移動させることを含み、カメラはサンプルデータを生成すること、そのポジションは、サンプル容器内のサンプルの撮像のためにカメラへとサンプル容器を運搬するコンベヤ上に位置すること、出力が、提供されて、サンプル内の少なくとも１つの物体を表すワンホットエンコードされたベクトルと、信頼度スコアとを含み、信頼度スコアは、少なくとも１つの物体が分類されたタイプのものであることの信頼度の程度を表現すること、サンプルデータはサンプルのデジタル画像１つ以上を含むこと、特徴のセットが、領域の体積および／または領域の面積および／または領域の色を識別するために処理されること、製品が生物学的物質および／または医薬製品および／または食料品を含むこと、識別された領域が水分のコロニーを含むこと、および識別された物体がバクテリアを含むこと。

本開示は、１つ以上のプロセッサに結合され、命令が記憶されているコンピュータ可読記憶媒体をさらに提供し、命令は、１つ以上のプロセッサによって実行されると１つ以上のプロセッサに本願明細書において提供された方法の実装に従った動作を実行させる。

本開示はさらに、本願明細書において提供された方法を実装するシステムを提供する。システムは、１つ以上のプロセッサと、命令が記憶され１つ以上のプロセッサに結合されているコンピュータ可読記憶媒体とを含み、命令は、１つ以上のプロセッサによって実行されると１つ以上のプロセッサに本願明細書において提供された方法の実装に従った動作を実行させる。

当然のことながら、本開示に従った方法は、本願明細書に記載される側面および特徴の任意の組み合わせを含むことができる。つまり、本開示に従った方法は、本願明細書に具体的に記載される側面および特徴の組み合わせに限定されず、提供される側面および特徴の任意の組み合わせも含む。

本開示の１つ以上の実装の詳細は、添付の図面および以下の説明に記載される。本開示の他の特徴および利点は、本記載および図面、ならびに特許請求の範囲から明らかになるであろう。

本開示の実装を実行することができる例示のシステムを示す。 本開示の実装に従った例示のモジュールアーキテクチャを示す。 例示のサンプルを含む例示のサンプル容器を示す。 本開示の各実装において実行できる例示のプロセスを示す。

本開示の各実装は、全般的に、コンピュータビジョニングおよび深層学習を使用した品質管理システムを対象とする。特に、本開示の各実装は、自動的または半自動的に徹底した品質管理プロセスを実行する、コンピュータビジョニングを用いる人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）ベースの品質管理プラットフォームを対象とする。一部の実装において、アクションは、製品のサンプルを表すデジタルデータとして生成されるサンプルデータを受け取ることと、残差ネットワークの複数の層を介してサンプルデータを処理することによって特徴のセットを提供することであって、残差ネットワークの第１の層はサンプルデータの特徴１つ以上を識別し、残差ネットワークの第２の層は第１の層の１つ以上の特徴を受け取って追加の特徴１つ以上を識別する、提供することと、領域のセットと、領域のセットの中の領域中の物体少なくとも１つとを識別して、少なくとも１つの物体のタイプを判断するために、畳み込みニューラルネットワーク（ＣＮＮ）を使用して特徴のセットを処理することと、製品のサンプル内の汚染を示す警告を少なくとも１つの物体のタイプに少なくとも部分的に基づいて選択的に発することとを含む。

図１は、本開示の実装を実行することができる例示のシステム１００を示す。例示のシステム１００は、データ捕捉システム１０２、バックエンドシステム１０８、およびネットワーク１１０を含む。一部の例では、ネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット、またはその組み合わせを含み、ウェブサイト、デバイス（例えばデータ捕捉システム１０２のコンポーネント）、およびバックエンドシステム（例えばバックエンドシステム１０８）を接続する。一部の例において、ネットワーク１１０は、有線および／または無線の通信リンク上でアクセスできる。例えば、スマートフォンなどのモバイルコンピューティングデバイスは、セルラネットワークを利用してネットワーク１１０にアクセスすることができる。

示されている例において、バックエンドシステム１０８は、少なくとも１つのサーバシステム１１２およびデータストア１１４（例えばデータベース）を含む。一部の例において、少なくとも１つのサーバシステム１１２は、ユーザがコンピューティングデバイスを使用して相互作用できる１つ以上のコンピュータ実装されたサービスをホストする。例えばサーバシステム１１２は、本開示の各実装に従って徹底した品質管理プロセスを自動的または半自動的に実行する、コンピュータ実装された品質管理プラットフォームをホストすることができる。

示されている例において、データ捕捉システム１０２は、サンプル容器１２０のセット、コンベヤベルト１２２、ロボットアーム１２４、およびカメラ１２６を含む。サンプル容器１２０は、品質管理のために分析されるべき項目のサンプルを収容する任意の適切な容器（例えば保管箱、ペトリ皿）を含むことができる。一部の例において、カメラ１２６は、デジタル画像および／またはデジタルビデオを捕捉する任意の適切なデバイスを含むことができる。一部の例において、カメラ１２６は、立体画像を捕捉することができる。一部の例において、カメラ１２６は、コンベヤベルト１２２に対して相対的に固定のポジションにある。一部の例において、カメラ１２６は自由に、コンベヤベルト１２２に対して相対的に移動することができる。例えばカメラ１２６は、第１のポジションからデジタルデータを捕捉し、移動して、第２のポジションからデジタルデータを捕捉することができる。

図１には示されていないが、例示のデータ捕捉システム１０２はさらに、コンピューティングデバイスおよび／または１つ以上の光源を含むことができる。一部の例において、コンピューティングデバイスは、データ捕捉システム１０２の２つ以上のコンポーネント間のアクティビティを調整する。一部の例において、コンピューティングデバイスは、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯電話、ネットワークアプライアンス、カメラ、スマートフォン、拡張汎用パケット無線サービス（ＥＧＰＲＳ：ｅｎｈａｎｃｅｄ ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ）モバイル電話、メディアプレーヤ、ナビゲーションデバイス、電子メールデバイス、ゲーム機、またはこれらのデバイスもしくは他のデータ処理デバイスの任意の２つ以上の適切な組み合わせなど、任意の適切なタイプのコンピューティングデバイスを含むことができる。一部の例において、１つ以上の光源は、サンプル容器内のサンプルを照明することができる。一部の例において、１つ以上の光源は、可視光、紫外線（ＵＶ：ｕｌｔｒａ−ｖｉｏｌｅｔ）光、赤外線（ＩＲ：ｉｎｆｒａ−ｒｅｄ）光を含むことができる。一部の例では、データ捕捉システム１０２は、多角ビューを得るための追加のカメラ、またはバーコードスキャナ、計算されたデータを送信できるように任意の適切な情報システムへのインターフェース、および／または無菌環境で作業するための垂直ラミナーフローフードを含むことができる。

一部の実装において、バックエンドシステム１０８は、本開示の各実装に従ったＡＩベースの品質管理プラットフォームをホストする。一部の例では、本願明細書にさらに詳細に記載されるように、ＡＩベースの品質管理プラットフォームは、コンピュータビジョニングおよびＡＩを使用してサンプルデータを処理して、サンプル内の物体１つ以上を検出し、各物体のタイプを判断する。一部の例において、物体は、複数タイプの汚染（例えば生物学的）を含む場合がある。一部の例において、１つ以上のタイプの汚染がもたらされる。一部の例において、汚染が検出された場合、ＡＩベースの品質管理システムは警告を提供する。一部の例において、汚染が検出され閾値レベルを上回る場合、ＡＩベースの品質管理システムは警告を提供する。一部の例において、警告が生成された場合、警告を生じさせたサンプルを、後の分析のために保管所に移動させることができる。

本願明細書にさらに詳細に記載されるように、ロボットアーム１２４は、選択的に、サンプル容器１２０をコンベヤベルト１２２に載せ、サンプル容器１２０をコンベヤベルト１２２から取り去る。一部の例において、サンプル容器１２０は保管箱および／またはペトリ皿として提供される。一部の実装において、サンプル容器１２０がコンベヤベルト１２２に載せられた後、コンベヤベルト１２２は、サンプル容器１２２をカメラ１２６による撮像のためのポジションへと運搬する。カメラ１２６は、デジタル画像および／またはデジタルビデオを捕捉する。例えばカメラ１２６は、サンプル容器１２０内に収容されたサンプルのデジタル画像および／またはデジタルビデオ１つ以上を捕捉できる。一部の例において、デジタル画像および／またはデジタルビデオは、サンプルファイルにサンプルデータを記録する。一部の例において、サンプルファイルは、本願明細書にさらに詳細に記載されるように、処理のためにＡＩベースの品質管理プラットフォームへ送られる。

本願明細書にさらに詳細に記載されるように、本開示のＡＩベースの品質管理プラットフォームは、品質管理試験の支援として、識別の加速され増大された信頼性、ならびに汚染のタイプの量を可能にする。さらに、分析の結果が判断された後、ＡＩベースの品質管理プラットフォームは、結果を、任意の適切なタイプの情報システムまたはソフトウェア（例えばエンタープライズリソースプランニング（ＥＲＰ：ｅｎｔｅｒｐｒｉｓｅ ｒｅｓｏｕｒｃｅ ｐｌａｎｎｉｎｇ）システム）へ送信することができる。

本開示の各実装は、非限定的な例示の状況を参照して、本願明細書にさらに詳細に記載される。例示の状況は、食品の品質管理を含む。例えば、本願明細書に記載されるように、本開示のＡＩベースの品質管理プラットフォームにより食品項目のサンプルを汚染について分析でき、警告を選択的に発することができる。なお、本開示の各実装は、任意の適切な状況（例えば食品、飲料、医薬、ワクチン、生物工学、化学、公共事業の各産業）において実現可能であると考えられる。

図２は、本開示の実装に従った例示のモジュールアーキテクチャ２００を示す。例示のモジュールアーキテクチャ２００は、ＡＩベースの品質管理プラットフォーム２０２を含む。本願明細書にさらに詳細に記載されるように、本開示の各実装に従い、ＡＩベースの品質管理プラットフォーム２０２は、サンプルデータ２０４を受け取り、サンプルデータ２０４を処理して出力２０６を提供する。一部の例において、サンプルデータ２０４は、項目（例えば食品）のサンプルを表すデジタル画像および／またはデジタルビデオ（集合的にデジタルデータ）を含む。一部の例において、出力２０６は、サンプルデータ２０４について判断された、汚染、またはそれがないことを表すデータを含む。一部の例において、出力２０６は警告を含む。

図２の例において、ＡＩベースの品質管理プラットフォーム２０２は、インターフェースモジュール２０８、深層学習（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）物体検出器モジュール２１０、物体カウントモジュール２１２、および汚染タイプカウントモジュール２１４を含む。一部の例において、インターフェースモジュール２０８は、サンプルデータ２０４をＤＬ物体検出器モジュール２１０に提供する。一部の例において、インターフェースモジュール２０８は、ユーザがＡＩベースの品質管理プラットフォームと相互作用できるようにする１つ以上のユーザインターフェース（ＵＩ：ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を提供する。例えばインターフェースモジュール２０８は、結果（例えば出力２０６のグラフィック表現）を見るため、サンプルデータ２０４（例えば処理されているサンプルのデジタルデータ）を見るため、および／または警告が発せられていれば警告を見るためにユーザが使用できる１つ以上のＵＩを提供することができる。一部の例において、１つ以上のＵＩは、リアルタイムの結果、解析、および／または警告を提供するダッシュボードの一部として提供される。

本開示の各実装に従って、サンプルデータ２０４は、１つ以上のＤＬアルゴリズムを使用して処理される。例えばＤＬ物体検出器モジュール２１０は、サンプルデータ２０４において検出された汚染のタイプ１つ以上を識別し、適格とし、分類するために、１つ以上のＤＬアルゴリズムを介してサンプルデータ２０４を処理する。一部の例において、ＤＬアルゴリズムは、サンプルデータ２０４中の１つ以上の特徴を識別する。例示の特徴には、形状、点、水分、透明度、幅、反射、屈折、偏光、吸収、およびフォトルミネセンスが含まれるが、これに限定はされない。一部の例において、連続した抽象化層において１つ以上の特徴が識別される。例示の抽象化層には、基本的特徴、局所的特徴、複合的特徴、および大域的特徴が含まれるが、これに限定はされない。識別された特徴に基づいて、ＡＩベースの品質管理プラットフォームは、サンプル内の１つ以上のタイプの物体（例えば微生物学的汚染、水分）を識別する。

一部の実装において、本開示のＤＬは、畳み込みニューラルネットワーク（ＣＮＮ）を使用して実装される。例示のＣＮＮは、残差ネットワーク（ｒｅｓｎｅｔ）バックボーンを用いて実装された領域ベースＣＮＮ（Ｒ−ＣＮＮ）を含む。Ｒ−ＣＮＮは、画像内の、物体が中に位置するかもしれない領域を識別するＣＮＮと説明することができる。例示のｒｅｓｎｅｔは、Ｒｅｓｎｅｔ−１０１（例えば１０１の層を有する残差ネットワーク）を含む。なお、本開示の各実装は、任意の適切なニューラルネットワークおよび／または残差ネットワークを使用して実現できると考えられる。

一部の実装において、ｒｅｓｎｅｔは、正規化画像としてサンプルデータ２０４を処理する特徴抽出器である。一部の例において、正規化画像を提供するために、デジタル画像を処理して、すべての画素強度が所定範囲の値以内となるように画素強度値の範囲を調節することができる。一部の例において、デジタル画像は画素をゼロセンタリングすることにより正規化される。一部の例において、センタリングは、事前訓練用データセットの各チャネル（例えば赤、緑、青）の平均強度に基づく。その場合、チャネルごとの平均がデジタル画像内の各画素のチャネルから減算される。

一部の実装において、ｒｅｓｎｅｔバックボーンを介したサンプルデータ（画像）の処理は、事前訓練されたモデルに基づく。一部の例において、事前訓練されたモデルは、関心対象となり得る物体（例えば汚染物、水分）に関連する特徴の検出のために訓練される。一部の例において、事前訓練されたモデルは第三者により提供される。例示の事前訓練されたモデルには、Ｍｉｃｒｏｓｏｆｔによって提供されているコモン・オブジェクツ・イン・コンテクスト（ＣｏＣｏ：Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ）モデルが含まれるが、これに限定はされない。一部の例において、本開示の状況では、事前訓練されたモデルは物体（例えば汚染物、水分）を含むサンプルのラベル付き画像に基づく。

一部の実装において、処理されている画像（例えばＲＧＢ画像形式）（例えば正規化画像）は、ｒｅｓｎｅｔバックボーンを段階的に通過する。各層にて、画像内の特徴が識別され、精緻化される。さらに詳細には、画像は、ｒｅｓｎｅｔバックボーンの畳み込み層のセットを介して処理され、各層でフィルタリングされ、特徴が識別される。一部の例では、コントラストの変化（例えば左から右、水平から垂直）に基づいて特徴が識別される。次の層は、さらなる処理、および追加の特徴があればその識別のために、前の層において識別された特徴を受け取る。

ｒｅｓｎｅｔは、特徴のセットを出力し、それらはＣＮＮに入力される。一部の実装において、ＣＮＮは、複数ステップのプロセスにおいて特徴のセット中の特徴を処理する。例示のステップは、領域提案および分類を提供することを含む。一部の例において、領域提案は、ＣＮＮの１つ以上の層を介して判断された関心対象領域のセット（領域のセットとも呼ばれる）を含む。一部の例において、関心対象領域は、物体を含むかもしれないサンプルのエリアを含む。例示の物体には、汚染（例えば（微）生物学的汚染）および水分が含まれるがこれに限定はされない。一部の実装において、領域のセットの中の各領域は、サイズを変更され、ＣＮＮの１つ以上の層（例えば最後の層）が、存在する物体のタイプを予測する。つまり、各領域内の１つ以上の物体がタイプ（例えば汚染または水分）により分類される。

一部の実装において、サンプル内で検出された物体の数が物体の閾値数よりも多ければ、サンプルデータが調節され、再処理される。一部の例において、サンプルデータの調節は、分解能を調節することを含む。つまり、画像の分解能を反復的に調節できる。一部の例では、画像が分割され、分解能が調節される。一部の例では、画像は重なり合う複数の部分（例えば重なり合う４つの部分）へと分割される。一部の例において、分割されたそれぞれの幅（個々の高さ）は完全な画像の幅（個々の高さ）の１／２＋１／８＝５／８である。ここで重なり合いがあるのは、コンテクストの不足（例えば生物学的なコロニーが２つに分割される）により予測が妨げられることが決してないようにするためである。非最大値抑制が、予測されたボックスに適用される。コロニーが２回発見された場合、最も信頼度の高い予測のみが保持される。

一部の実装では、各物体について、信頼度スコアと、サンプル内の物体の場所を特定する境界線とが提供される。一部の例において、信頼度スコアは、物体が実際に、分類されたタイプのものである信頼度の程度を表現する。一部の例において、境界線は、物体の全部または少なくとも一部分を囲む、サンプルのデジタル画像上の視覚的なオーバーレイとして提供される。境界線は、任意の適切な形状（例えば正方形、矩形、楕円形）とすることができると考えられる。一部の例において、異なる物体に対して異なる境界線を提供できる。例えば、汚染に対して第１の境界線を提供でき、水分に対して第２の境界線を提供でき、第１の境界線は第２の境界線とは異なる。

一部の実装において、ＡＩ処理の出力は、エンコードされた１つ以上のベクトルを含む。一部の例において、各ベクトルは、サンプル内の識別された物体（例えば微生物学的なコロニー）のタイプに対応する。一部の例において、エンコードされたベクトルは、ワンホットエンコードされたベクトルとして提供される。一部の例において、ワンホットエンコードされたベクトルは、１は個々の物体が特定のタイプのものであることを示し、０は個々の物体が特定のタイプのものでないことを示す、タイプ（カテゴリ）のベクトルを含むことができる。

一部の実装において、各ベクトルは、物体が実際に、分類されたタイプのものであることの信頼度の程度を表現する個別の信頼度スコアに関連する。一部の実装において、１つ以上の信頼度閾値が規定され、これに対して信頼度スコアを比較できる。一部の例において、信頼度スコアが第１の閾値を上回る場合、予測が正確である信頼度は高い（例えば緑のレベル）。一部の例において、信頼度スコアが第２の閾値を上回るが第１の閾値を上回らない場合、予測が正確である信頼度はより低い（例えばオレンジのレベル）。一部の例において、信頼度スコアが第２の閾値を上回らない場合、予測が正確である信頼度は低い（例えば赤のレベル）。一部の例において、信頼度レベル（例えば緑、オレンジ、赤）をＵＩの中に視覚的に示すことができる。

図３は、例示のサンプル３０２を含む例示のサンプル容器３００を示す。図３の例は、サンプル容器３００およびサンプル３０２のデジタル画像を含むことができる（例えばＵＩの中に表示される）。示されている例では、サンプル３０２は、サンプル３０２内の識別された複数の物体を含む。各物体は、デジタル画像内のグラフィックオーバーレイとしてそれぞれが提供される境界線により境界を示されていている。図３の例には、異なる２つのタイプの物体が示され、個々の境界線３０４、３０６により境界を示されている。例えば、第１のタイプの物体は、境界線３０４により境界を示された汚染物を含むことができ、第２のタイプの物体は、境界線３０６により境界を示された水分を含むことができる。

一部の実装では、各タイプの物体のいくつかのインスタンスのカウントに基づいて物体カウントを提供できる。図３の例では、第１のタイプの物体について第１の物体カウントを６として提供でき、第２のタイプの物体について第２の物体カウントを４として提供できる。一部の実装では、各タイプの物体の量が提供される。一部の例では、物体のタイプについて、面積に基づいて量が求められ、さらに／または体積が求められる。例えば、各タイプの物体について各境界線内の量を求めることができ、各量が合計されて各タイプの物体の総量を求めることができる。

図４は、本開示の各実装において実行可能な例示のプロセス４００を示す。一部の例において、例示のプロセス４００は、１つ以上のコンピューティングデバイス（例えば図１のバックエンドシステム１０８）により実行される１つ以上のコンピュータ実行可能プログラムを使用して提供される。

サンプル容器が選択される（４０２）。例えば、ロボットアーム１２４は、サンプル容器のセットからサンプル容器１２０を選択することができる。一部の例において、各サンプル容器１２０は、一意の識別子（ＵＩＤ：ｕｎｉｑｕｅ ｉｄｅｎｔｉｆｉｅｒ）を含み、ＵＩＤは、サンプル容器１２０および／またはその中に収容されたサンプルを一意に識別する。一部の例において、サンプル容器はＵＩＤに基づいて選択される。例えば、機械可読コード（例えばバーコード、ＱＲコード）がＵＩＤをエンコードし、分析されるべき対象サンプル容器１２０を識別するためにサンプル容器１２０の機械可読コードが（例えばコードリーダによって）読み取られる。ロボットアーム１２４は、サンプル容器１２０をつかむ。

サンプル容器はコンベヤに移動される（４０４）。例えばロボットアーム１２４は、サンプル容器１２０を或る場所からコンベヤ１２２に移動させる。一部の例において、ロボットアーム１２４は、サンプル容器１２０をコンベヤ１２２上の他のサンプル容器１２０の後ろに並べて配置する。一部の例において、コンベヤ１２２は、カメラ１２６の下にサンプル容器１２０を運搬する。サンプルデータが生成される（４０６）。例えば、サンプル容器１２０がカメラ１２６の真下に配置されると、カメラ１２６はサンプルデータを生成する。一部の例において、サンプルデータは、１つ以上のデジタル画像および／またはデジタルビデオとして提供される。サンプルデータは正規化される（４０８）。一部の例において、サンプルデータを正規化するために、１つ以上の画像処理技術がサンプルデータに対して実行される。

特徴のセットが判断される（４１０）。例えば、本願明細書にさらに詳細に記載されたように、サンプルデータはｒｅｓｎｅｔ（例えばＲｅｓｎｅｔ−１０１）の複数の層を介して処理され、ｒｅｓｎｅｔバックボーンを段階的に通過する。ｒｅｓｎｅｔバックボーンの各層にて、サンプルデータ（例えばデジタル画像）内の特徴が識別され、精緻化される。１つ以上の物体と、物体のタイプ１つ以上とが識別される（４１２）。例えば、本願明細書にさらに詳細に記載されたように、領域提案および分類を提供するために、特徴のセットの中の各特徴が、ＣＮＮ（例えばＲ−ＣＮＮ）を介して複数ステップのプロセスにおいて処理される。一部の例において、領域提案は、ＣＮＮの１つ以上の層を介して判断された関心対象領域のセット（領域のセットとも呼ばれる）を含む。一部の例において、関心対象領域は、物体を含むかもしれないサンプルのエリアを含む。一部の実装において、領域のセットの中の各領域は、サイズを変更され、ＣＮＮの１つ以上の層（例えば最後の層）が、存在する物体のタイプを予測する。一部の実装では、各物体について、信頼度スコアと、サンプル内の物体の場所を特定する境界線とが提供される。一部の例において、信頼度スコアは、物体が実際に、分類されたタイプのものである信頼度の程度を表現する。一部の例において、境界線は、物体の全部または少なくとも一部分を囲む、サンプルのデジタル画像上の視覚的なオーバーレイとして提供される。

結果が記録される（４１４）。一部の例において、１つ以上のシステムに結果を記録できる。例示のシステムはＥＲＰシステムを含むことができる。例えば、サンプルは企業により販売される製品のものとすることができる。結果は、特定の製品および／または製品のバッチの品質管理分析を追跡するために、企業のＥＲＰシステムに記録できる。

汚染が存在するかどうかが判断される（４１６）。例えば、結果を処理して汚染が存在するかどうかを判断できる。一部の例では、サンプル内の汚染物の単一のインスタンスが、汚染が存在することを示すことができる。一部の例において、汚染が存在するかどうかは汚染物の量に基づいて判断できる。例えば、汚染物の量が閾値量を上回れば、汚染は存在すると判断される。汚染物の量が閾値量を上回らなければ、汚染は存在しないと判断される。

汚染が存在すれば、警告が発せられ（４１８）、サンプルは保管される（４２０）。例えば警告がＵＩの中で提供され、サンプル（例えばＵＩＤ）、汚染物、および／または汚染物の量を示すことができる。一部の例において、サンプル（すなわちサンプルを収容しているサンプル容器１２０）は、後の検査に利用できるように、保管場所に（例えばロボットアーム１２４によって）移動される。汚染が存在しなければ、通知が発せられ（４２２）、サンプルは解放される（４２４）。

本明細書に記載された各実装およびすべての機能動作は、デジタル電子回路において、またはこの明細書で開示された構造およびその構造上の等価物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの１つ以上の組み合わせにおいて実現され得る。各実装は、１つ以上のコンピュータプログラム製品として、すなわちデータ処理装置により実行されまたはデータ処理装置の動作を制御するようコンピュータ可読媒体上にエンコードされたコンピュータプログラム命令の１つ以上のモジュールとして実現されてもよい。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の構成、またはそれらのうちの１つ以上の組み合わせとされてもよい。「コンピューティングシステム」という用語は、データを処理するすべての装置、デバイス、および機械を含み、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む。この装置は、ハードウェアに加えて、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上の組み合わせなどを構成する、対象のコンピュータプログラム（例えばコード）の実行環境を作り出すコードを含んでもよい。伝播信号とは、適切な受信機装置に伝送される情報をエンコードするために生成される人工的に生成された信号（例えば機械生成された電気信号、光信号、または電磁信号）である。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイル型またはインタープリタ型言語を含む任意の適切な形態のプログラミング言語で書かれてもよく、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境用に適した他のユニットとしてを含め、任意の適切な形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに格納される１つ以上のスクリプト）、対象のプログラム専用の単一ファイル、または複数の連携ファイル（例えば１つ以上のモジュール、サブプログラム、またはコードの一部を格納する複数ファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータ上または１つの場所に位置するかもしくは複数の場所に分散し通信ネットワークにより相互接続された複数のコンピュータ上で実行されるよう展開されてもよい。

本明細書に記載されたプロセスおよび論理フローは、入力データに作用し出力を生成することにより機能を実行する１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサにより実行されてもよい。プロセスおよび論理フローは、専用論理回路（例えばＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ：フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：特定用途向け集積回路））によっても実行でき、装置は該専用論理回路としても実装できる。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用および専用両方のマイクロプロセッサ、ならびに任意の適切な種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受け取る。コンピュータの構成要素は、命令を実行するプロセッサ、ならびに命令およびデータを記憶する１つ以上のメモリデバイスを含むことができる。一般に、コンピュータはさらに、データを記憶する１つ以上の大容量記憶デバイス（例えば磁気、光磁気ディスク、もしくは光ディスク）を含むか、またはそれからデータを受け取るよう、もしくはそれへデータを転送するよう動作可能に結合されるか、またはその両方である。なお、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス（例えばモバイル電話、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、モバイルオーディオプレーヤ、衛星航法システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機）に組み込まれてもよい。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含み、例として、の半導体メモリデバイス（例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（例えば内蔵ハードディスクまたはリムーバブルディスク）、光磁気ディスク、ならびにＣＤ ＲＯＭおよびＤＶＤ−ＲＯＭディスクなどが含まれる。プロセッサおよびメモリは、専用論理回路により補完されてもよく、またはそれに組み込まれてもよい。

ユーザとの相互作用を提供するために、情報をユーザに表示するディスプレイデバイス（例えばＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ：陰極線管）、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：液晶ディスプレイ）、ＬＥＤ（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ：発光ダイオード）モニタ、ならびにユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス（例えばマウスまたはトラックボール）を有するコンピュータ上で、各実装が実現されてもよい。他の種類のデバイスが、同じくユーザとの相互作用を提供するために使用されてもよい。例えば、ユーザに提供されるフィードバックは、任意の適切な形態の感覚フィードバック（例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、音響、発話、または触覚入力を含め、任意の適切な形態で受け取られてもよい。

各実装は、バックエンドコンポーネントを含むコンピューティングシステム（例えばデータサーバとして）、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えばアプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えばユーザが実装と相互作用するのに用いることができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントのうちの１つ以上の任意の適切な組み合わせにおいて実現されてもよい。システムのコンポーネントは、任意の適切な形態または媒体のデジタルデータ通信（例えば通信ネットワーク）により相互接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、およびワイドエリアネットワーク（「ＷＡＮ」）（例えばインターネット）を含む。

コンピューティングシステムは、クライアントおよびサーバを含んでもよい。クライアントおよびサーバは、一般に、互いに遠隔にあり、典型的には通信ネットワークを介して相互作用する。クライアントおよびサーバの関係は、個々のコンピュータ上で実行され互いにクライアント−サーバ関係を有するコンピュータプログラムにより生じる。

本明細書は多数の詳述を含むが、これらは、本開示の範囲または特許請求の範囲に対する制限として解釈されるべきではなく、むしろ特定の実装に特有の特徴の記載として解釈されるべきである。別々の実装との関連で本明細書に記載されている特定の特徴はさらに、単一の実装に組み合わせて実装されることも可能である。逆に、単一の実装との関連で記載されている様々な特徴はさらに、複数の実装において別々に、または任意の適切な一部組み合わせにおいて実装されてもよい。さらに、各特徴は、特定の組み合わせで動作するよう上述されていることもあり、当初そのように請求されていることもあるが、一部のケースでは、請求されている組み合わせの特徴１つ以上が、その組み合わせから削除されることが可能であり、請求されている組み合わせは、一部組み合わせまたは一部組み合わせの変形物を対象とし得る。

同じく、各動作は図面内に特定の順序で示されているが、これは、望ましい結果を達成するために、当該の動作が示されている特定の順序もしくは順次的な順序で実行されることまたは示されているすべての動作が実行されることを要求するものと理解されてはならない。特定の状況では、マルチタスクおよび並列処理が有利なこともある。さらに、上述の実装における様々なシステムコンポーネントの分離は、すべての実装においてそのような分離を要求するものと理解されてはならず、当然のことながら、記載されているプログラムコンポーネントおよびシステムは、一般に、単一ソフトウェア製品に統合されても、または複数のソフトウェア製品にパッケージ化されてもよい。

いくつかの実装について記載した。しかし、当然のことながら、本開示の意図および範囲から逸脱することなく、様々な変更が加えられ得る。例えば、ステップが並べ替え、追加、または削除された、上記で示されたフローの種々の形態が使用されてもよい。よって、他の実装は、添付の特許請求の範囲に記載の範囲内にある。

Claims (36)

1. 製品のサンプル１つ以上に基づく品質管理のためのコンピュータ実装された方法であって、前記方法は、１つ以上のプロセッサによって実行され、
   前記製品のサンプルを表すデジタルデータとして生成されるサンプルデータを、前記１つ以上のプロセッサによって受け取るステップと、
   残差ネットワークの複数の層を介して前記サンプルデータを処理することによって、特徴のセットを前記１つ以上のプロセッサによって提供するステップであって、前記残差ネットワークの第１の層は前記サンプルデータの特徴１つ以上を識別し、前記残差ネットワークの第２の層は前記第１の層の前記１つ以上の特徴を受け取って追加の特徴１つ以上を識別する、前記提供するステップと、
   畳み込みニューラルネットワークを使用して前記製品の前記サンプルの領域のセットを識別するために、前記特徴のセットを前記畳み込みニューラルネットワークに入力し前記１つ以上のプロセッサによって処理するステップと、
   前記識別された領域のセットに基づいて、前記製品の前記サンプルの前記デジタルデータ表現の分解能を、前記１つ以上のプロセッサによって変更するステップであって、前記デジタルデータ表現を重なり合う複数の部分へと分割することを含む、変更するステップと、
   前記領域のセットの中の領域中の物体少なくとも１つを識別して前記少なくとも１つの物体のタイプを判断するために、前記１つ以上のプロセッサによって前記特徴のセットを処理するステップと、
   前記製品の前記サンプル内の汚染を示す警告を、前記少なくとも１つの物体の前記タイプに少なくとも部分的に基づいて、前記１つ以上のプロセッサによって選択的に発するステップと、
   を含む方法。
2. 前記残差ネットワークは、Ｒｅｓｎｅｔ−１０１である、請求項１に記載の方法。
3. 前記畳み込みニューラルネットワークは、領域ベース畳み込みニューラルネットワークである、請求項１に記載の方法。
4. 前記方法はさらに、ユーザインターフェース内に前記サンプルの視覚的描写を提供するステップを含み、前記視覚的描写は、前記サンプルにおいて識別された物体を示す１つ以上のグラフィックオーバーレイを含む、請求項１に記載の方法。
5. 前記方法はさらに、前記サンプルを収容しているサンプル容器を、カメラに対して相対的な或るポジションに、ロボットアームを使用して移動させるステップを含み、前記カメラは、前記サンプルデータを生成する、請求項１に記載の方法。
6. 前記ポジションは、前記サンプル容器内の前記サンプルの撮像のために前記カメラへと前記サンプル容器を運搬するコンベヤ上に位置する、請求項５に記載の方法。
7. 出力が、提供されて、前記サンプル内の前記少なくとも１つの物体を表すワンホットエンコードされたベクトルと、信頼度スコアとを含み、前記信頼度スコアは、前記少なくとも１つの物体が分類された前記タイプのものであることの信頼度の程度を表現する、請求項１に記載の方法。
8. 前記サンプルデータは、前記サンプルのデジタル画像１つ以上を含む、請求項１に記載の方法。
9. 前記特徴のセットは、前記領域の体積、および／または前記領域の面積、および／または前記領域の色を識別するために処理される、請求項１に記載の方法。
10. 前記製品は、生物学的物質、および／または医薬製品、および／または食料品を含む、請求項１に記載の方法。
11. 前記識別された領域は、水分のコロニーを含む、請求項１に記載の方法。
12. 前記識別された物体は、バクテリアを含む、請求項１に記載の方法。
13. １つ以上のプロセッサに結合され、命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、製品のサンプル１つ以上に基づく品質管理のための動作を実行させ、前記動作は、
    前記製品のサンプルを表すデジタルデータとして生成されるサンプルデータを、前記１つ以上のプロセッサによって受け取ることと、
    残差ネットワークの複数の層を介して前記サンプルデータを処理することによって、特徴のセットを前記１つ以上のプロセッサによって提供することであって、前記残差ネットワークの第１の層は前記サンプルデータの特徴１つ以上を識別し、前記残差ネットワークの第２の層は前記第１の層の前記１つ以上の特徴を受け取って追加の特徴１つ以上を識別する、前記提供することと、
    畳み込みニューラルネットワークを使用して前記製品の前記サンプルの領域のセットを識別するために、前記特徴のセットを前記畳み込みニューラルネットワークに入力し前記１つ以上のプロセッサによって処理することと、
    前記識別された領域のセットに基づいて、前記製品の前記サンプルの前記デジタルデータ表現の分解能を、前記１つ以上のプロセッサによって変更することであって、前記デジタルデータ表現を重なり合う複数の部分へと分割することを含む、変更することと、
    前記領域のセットの中の領域中の物体少なくとも１つを識別して前記少なくとも１つの物体のタイプを判断するために、前記１つ以上のプロセッサによって前記特徴のセットを処理することと、
    前記製品の前記サンプル内の汚染を示す警告を、前記少なくとも１つの物体の前記タイプに少なくとも部分的に基づいて、前記１つ以上のプロセッサによって選択的に発することと、
    を含む、コンピュータ可読記憶媒体。
14. 前記残差ネットワークは、Ｒｅｓｎｅｔ−１０１である、請求項１３に記載のコンピュータ可読記憶媒体。
15. 前記畳み込みニューラルネットワークは、領域ベース畳み込みニューラルネットワークである、請求項１３に記載のコンピュータ可読記憶媒体。
16. 前記動作はさらに、ユーザインターフェース内に前記サンプルの視覚的描写を提供することを含み、前記視覚的描写は、前記サンプルにおいて識別された物体を示す１つ以上のグラフィックオーバーレイを含む、請求項１３に記載のコンピュータ可読記憶媒体。
17. 前記動作はさらに、前記サンプルを収容しているサンプル容器を、カメラに対して相対的な或るポジションに、ロボットアームを使用して移動させることを含み、前記カメラは、前記サンプルデータを生成する、請求項１３に記載のコンピュータ可読記憶媒体。
18. 前記ポジションは、前記サンプル容器内の前記サンプルの撮像のために前記カメラへと前記サンプル容器を運搬するコンベヤ上に位置する、請求項１７に記載のコンピュータ可読記憶媒体。
19. 出力が、提供されて、前記サンプル内の前記少なくとも１つの物体を表すワンホットエンコードされたベクトルと、信頼度スコアとを含み、前記信頼度スコアは、前記少なくとも１つの物体が分類された前記タイプのものであることの信頼度の程度を表現する、請求項１３に記載のコンピュータ可読記憶媒体。
20. 前記サンプルデータは、前記サンプルのデジタル画像１つ以上を含む、請求項１３に記載のコンピュータ可読記憶媒体。
21. 前記特徴のセットは、前記領域の体積、および／または前記領域の面積、および／または前記領域の色を識別するために処理される、請求項１３に記載のコンピュータ可読記憶媒体。
22. 前記製品は、生物学的物質、および／または医薬製品、および／または食料品を含む、請求項１３に記載のコンピュータ可読記憶媒体。
23. 前記識別された領域は、水分のコロニーを含む、請求項１３に記載のコンピュータ可読記憶媒体。
24. 前記識別された物体は、バクテリアを含む、請求項１３に記載のコンピュータ可読記憶媒体。
25. １つ以上のプロセッサと、
    前記１つ以上のプロセッサに結合され、命令が記憶されているコンピュータ可読記憶デバイスと、
    を含むシステムであって、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、製品のサンプル１つ以上に基づく品質管理のための動作を実行させ、前記動作は、
    前記製品のサンプルを表すデジタルデータとして生成されるサンプルデータを、前記１つ以上のプロセッサによって受け取ることと、
    残差ネットワークの複数の層を介して前記サンプルデータを処理することによって、特徴のセットを前記１つ以上のプロセッサによって提供することであって、前記残差ネットワークの第１の層は前記サンプルデータの特徴１つ以上を識別し、前記残差ネットワークの第２の層は前記第１の層の前記１つ以上の特徴を受け取って追加の特徴１つ以上を識別する、前記提供することと、
    畳み込みニューラルネットワークを使用して前記製品の前記サンプルの領域のセットを識別するために、前記特徴のセットを前記畳み込みニューラルネットワークに入力し前記１つ以上のプロセッサによって処理することと、
    前記識別された領域のセットに基づいて、前記製品の前記サンプルの前記デジタルデータ表現の分解能を、前記１つ以上のプロセッサによって変更することであって、前記デジタルデータ表現を重なり合う複数の部分へと分割することを含む、変更することと、
    前記領域のセットの中の領域中の物体少なくとも１つを識別して前記少なくとも１つの物体のタイプを判断するために、前記１つ以上のプロセッサによって前記特徴のセットを処理することと、
    前記製品の前記サンプル内の汚染を示す警告を、前記少なくとも１つの物体の前記タイプに少なくとも部分的に基づいて、前記１つ以上のプロセッサによって選択的に発することと、
    を含む、システム。
26. 前記残差ネットワークは、Ｒｅｓｎｅｔ−１０１である、請求項２５に記載のシステム。
27. 前記畳み込みニューラルネットワークは、領域ベース畳み込みニューラルネットワークである、請求項２５に記載のシステム。
28. 前記動作はさらに、ユーザインターフェース内に前記サンプルの視覚的描写を提供することを含み、前記視覚的描写は、前記サンプルにおいて識別された物体を示す１つ以上のグラフィックオーバーレイを含む、請求項２５に記載のシステム。
29. 前記動作はさらに、前記サンプルを収容しているサンプル容器を、カメラに対して相対的な或るポジションに、ロボットアームを使用して移動させることを含み、前記カメラは、前記サンプルデータを生成する、請求項２５に記載のシステム。
30. 前記ポジションは、前記サンプル容器内の前記サンプルの撮像のために前記カメラへと前記サンプル容器を運搬するコンベヤ上に位置する、請求項２９に記載のシステム。
31. 出力が、提供されて、前記サンプル内の前記少なくとも１つの物体を表すワンホットエンコードされたベクトルと、信頼度スコアとを含み、前記信頼度スコアは、前記少なくとも１つの物体が分類された前記タイプのものであることの信頼度の程度を表現する、請求項２５に記載のシステム。
32. 前記サンプルデータは、前記サンプルのデジタル画像１つ以上を含む、請求項２５に記載のシステム。
33. 前記特徴のセットは、前記領域の体積、および／または前記領域の面積、および／または前記領域の色を識別するために処理される、請求項２５に記載のシステム。
34. 前記製品は、生物学的物質、および／または医薬製品、および／または食料品を含む、請求項２５に記載のシステム。
35. 前記識別された領域は、水分のコロニーを含む、請求項２５に記載のシステム。
36. 前記識別された物体は、バクテリアを含む、請求項２５に記載のシステム。

Images