JP2023507082A - 分析データに基づく特徴付けのための機械視覚 - Google Patents

Abstract

機械視覚技術は、化学プロセスによって生成された製品の特性を予測するために使用することができる。予測は、化学プロセス、又は系列データを生成する検出器を用いる化学プロセスによって生成された製品の分析的特徴付けに基づくことができる。系列データは、画像に変換され、画像に基づいて製品の特性を予測するように訓練された人工ニューラルネットワーク（ＡＮＮ）に入力することができる。製品の特性の予測は、ＡＮＮから受信され、化学プロセスを調整するために、又は製品を拒絶するかどうかを判定するために使用することができる。【選択図】図１Ａ、図１Ｂ、図１Ｃ、図１Ｄ

Description

本開示は、分析データに基づく特徴付けのための機械視覚に関する。そのような技術は、製品を作産するために使用される化学プロセスを調整するために、又は製品を拒絶するかどうかを判定するために、製品の特性を予測するのに特に有用であり得る。

人工ニューラルネットワーク（Artificial neural network、ＡＮＮ）は、特定の環境で感知されている情報（例えば、刺激）を処理するために、人間の脳内のニューロンなどのニューロンのネットワークをモデル化することによって情報を処理することができるネットワークである。人間の脳と同様に、ニューラルネットワークは、典型的には、複数のニューロントポロジ（例えば、人工ニューロンと称され得る）を含む。ＡＮＮ演算とは、人工ニューロンを使用して所与のタスクを実施するための入力を処理する演算を指す。ＡＮＮ演算は、入力を処理するために、様々な機械学習アルゴリズムを実施することを含み得る。ＡＮＮ演算を実施することによって処理することができる例示的なタスクは、機械視覚、音声認識、機械翻訳、ソーシャルネットワークフィルタリング、及び／又は医療診断を含むことができる。

クロマトグラフィ、分光法、及び多くの他の分析的特徴付け方法では、時系列又は対になったｘ－ｙ系列のデータ型などの系列データを作成することができる。分離は、材料の特徴付けに有用であり得る。例えば、ゲル浸透クロマトグラフィ（gel permeation chromatography、ＧＰＣ）などのサイズ排除クロマトグラフィは、分子量標準を用いる注意深い較正、又はレーザ光散乱などの分子量感度検出器と組み合わせて、ポリマー試料の定量的分子量分布を提供することができる。分子量分布は、ポリマー材料の多くの物理的特性を予測することができる。分子量分布を調整することは、ポリマー製造において有益である。例えば、ＧＰＣデータ分析の改善は、プロセス制御又は構造解明を改善することができる。

本開示は、化学プロセスによって生成された製品の特性を予測するための機械視覚技術における改善を使用することを対象とする。予測は、化学プロセス、又は系列データを生成する検出器を用いる化学プロセスによって生成された製品の分析的特徴付けに基づくことができる。系列データは、画像に変換され、画像に基づいて製品の特性を予測するように訓練された人工ニューラルネットワーク（ＡＮＮ）に入力することができる。製品の特性の予測は、ＡＮＮから受信され、化学プロセスを調整するために、又は製品を拒絶するかどうかを判定するために使用することができる。

特定の例として、プロセス計量化学及び分析化学における用途のための機械視覚モデルの有効性が本明細書に記載されている。化学製品から収集されたＧＰＣデータの画像は、分類問題（例えば、良好と不良の化学製品）に、及び／又は製品の特性を予測するために使用することができる。本開示は、ＧＰＣデータ（例えば、数平均分子量及び重量平均分子量）からの要約統計量の使用と比較して、改善されたモデル性能を提供する。

本開示の上記の概要は、各開示された実施形態を説明するようにも、本開示のすべての実装態様を説明するようにも意図されていない。より具体的に示す本明細書は、例示的な実施形態を例示するものである。本出願全体にわたるいくつかの場所では、例のリストを通じて指針が提供され、これらの例は、様々な組み合わせで使用することができる。どの場合も、列挙されたリストは、代表的なグループとしてのみ機能し、排他的なリストとして解釈されるべきではない。

検出器応答を別個のパネルでプロットする１つの例示的なアプローチを示し、スケールが各検出器に対して調整されている。

３つの検出器からの検出器応答を単一のプロットに重ね合わせる１つの例示的なアプローチを示す。

グラミアン角和フィールド（Gramian angular summation field、ＧＡＳＦ）変換後の図１Ａからのデータを示す。

ＧＡＳＦ変換後の図１Ｂからのデータを示す。

データのＧＡＳＦ変換の一例を示す。

本開示の少なくとも一実施形態に従って使用されるネットワークの概略図を示す。

溶媒ピークに整列することなく、数年にわたる一組の１００ＧＰＣ実行を示す。

溶媒ピークに整列する、数年にわたる一組の１００ＧＰＣ実行を示す。

不良であることが知られているいくつかのバッチを含む化学製品バッチの重量平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。

不良であることが知られているいくつかのバッチを含む化学製品バッチの数平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。

化学製品の品質によって示されるクロマトグラムの主成分分析クラスタリングを示す。

クロマトグラフィのための機械視覚のワークフローの概略図を示す。

本開示の少なくとも一実施形態による、機械学習アーキテクチャで訓練されたクロマトグラムの重ね合わせ画像を使用して、予測と実際との化学製品の特性の重量パーセントレベルの比較を示す。

分析データに基づく特徴付けのための機械視覚のためのシステムの一例を示す。

本明細書で考察される様々な方法論を機械に実施させるための一組の命令が実行され得る例示的な機械を示す。

深層学習は、計算能力、データの有用性、及びソフトウェアツールの改善によって有効にされている機械学習のタイプである。深層学習は、ＡＮＮを適用して、これまでコンピュータには実施することが不可能であると考えられていたタスクを達成することができる。深層学習の「深層」は、ＡＮＮにおける複数の層の使用を指す。これらの層は、生の入力から連続的に高次の特徴を抽出する。機械視覚の場合、入力画像の低次の特徴の例には、縁又は色が含まれる。ネットワーク内のより深い層で学習されたより高次の特徴は、顔又は手書きの数字のような物体であり得る。

オープンソース、十分に訓練されたネットワークは、何百万もの画像を含むデータベース上に構築されている。これらのネットワークは、転移学習を介して新しいデータと連携することができ、これは、最初のネットワークを構築するために数百万個のデータ点が必要であったが、ネットワークを新しい使用に適合させるには、より少ないデータで済むことを意味する。本開示の少なくとも一実施形態によれば、二次元画像入力ネットワークなどの事前訓練された深層学習ネットワークを、分析的特徴付け方法によって作成された対のｘ－ｙデータに使用することができる。ＧＰＣクロマトグラムの画像への変換は、９６％超の予測精度を有するＡＮＮによって分類を可能にすることができる。画像への分析データ（ＧＰＣデータなど）の変換は、例えば、ｘ－ｙ対になったデータの配列画像によって、線プロットに行うことができる。別の例は、分析データ（例えば、検出器応答又はｙ値）の二次元行列へのＧＡＳＦ変換であり、次いで、各行列エントリの値によって色付けされる。本明細書で使用するとき、画像は、何かしらの視覚的又は光学的表現（例えば、データの視覚的表現）を指すことができる。また、画像は、画像を定義するデータを指すことができる。（例えば、画像が有形の機械可読媒体に記憶されているとき）。例えば、画像は、コンピュータ画面上に表示される視覚的表現、又は画面上に表示された画像を定義するデータを含む電子ファイルを指すことができる。データの画像への変換は、データが非画像形式から、画像に基づいて製品の特性を予測するように訓練されたＡＮＮを用いる使用に好適な画像形式に変換されることを意味する。

本開示の実施形態は、クロマトグラフィのスペクトルのプロセスと、必要とされる主題の専門的技術が非常に少ない他のデータとの組み合わせに拡張することができる。これは、利用可能なすべてのデータを使用するために、はるかに速く、より容易に活用される方法を提示する。化学的及び物理的特徴付け技術など、本開示の様々な実施形態に適用可能とすることができるデータソースの範囲が存在する。ＧＰＣは、本明細書の様々な例に関して説明されているが、実施形態は、そのように限定されるものではない。他の化学的及び物理的特徴付け技術を使用することができる。そのような技術の例としては、サイズ排除クロマトグラフィ（例えば、ＧＰＣ）、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、又は核磁気共鳴分光法が挙げられる。このリストは、網羅的ではない。むしろ、本開示の実施形態は、本明細書に記載の分析データ及び／又は系列データに一致する任意の測定方法に適用することができる。

本明細書で使用するとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、内容により明白に別段の指示がない限り、単数形及び複数形の指示対象を含む。更に、「ｍａｙ」という単語は、本出願全体を通して、義務的な意味（すなわち、しなければならない）ではなく、許容の意味（すなわち、可能性がある、することができる）で使用される。「含む」という用語、及びその派生語は、「含むが、これらに限定されるものではない」という意味である。「結合された」という用語は、特に明記しない限り、直接的又は間接的に接続されることを意味し、無線接続を含むことができる。

理解されるように、本明細書の様々な実施形態に示される要素は、本開示のいくつかの追加の実施形態を提供するように、追加される、交換される、及び／又は排除され得る。加えて、理解されるように、図に提供される要素の比率及び相対スケールは、本発明のある特定の実施形態を例示することを意図しており、限定的な意味で解釈されるべきではない。

ＧＰＣデータ構造は、ｘ－ｙデータの配列である。ｘ軸は、時間（通常は分）又は容量（通常は、ミリリットル「ｍＬ」）のいずれかである。ｙ軸は、検出器応答であり、これは、複数の検出器から構成され得る。時間（又は容量）の関数としての検出器応答の変化は、所与の試料の分子量分布を決定するために必要な情報を提供する。このデータ構造は、データが溶出時間によって順序付けられるため、時系列のタイプである。時系列データ分析の一例は、時系列予測であり、これは、一組の変数の履歴データを経時的に使用して、将来の設定期間にわたるそれらの変数の将来の値を予測する。後の保持容量において将来の値を予測することは、ＧＰＣには有用ではない場合がある。本開示の少なくとも一実施形態は、時系列分類又は時系列回帰を含む。時系列分類は、ロット品質判別（例えば、良好と不良の材料）など、一組の所定のカテゴリへのＧＰＣデータの分類を伴い、これは、化学プロセスによって作産された製品を拒絶するかどうかを判定するために使用することができる。時系列回帰は、同じ基礎となるタスクを実施するが、予測出力は、粘度又はメルトインデックスの予測などの連続変数である。

単変量時系列Ｘ＝［ｘ_１，ｘ_２，．．．，ｘ_Ｔ］は、実数値の順序付き集合である。Ｘの長さは、実数値Ｔの数に等しい。多変量時系列は、Ｘ＝［Ｘ_１，Ｘ_２，．．．，Ｘ_Ｍ］と定義され、Ｘ_ｉ∈Ｒ^Ｔを有するＭ個の異なる単変量時系列から構成されている。データセットＤ＝（Ｘ_１，Ｙ_１），（Ｘ_２，Ｙ_２），．．．，（Ｘ_Ｎ，Ｙ_Ｎ）は、（Ｘ_ｉ、Ｙ_ｉ）の対の集合であり、Ｘ_ｉは、単変量時系列又は多変量時系列のいずれかであり得る。このタイプのデータの例は、ＧＰＣであり、ここで、Ｘは、保持容量であり、Ｙは、検出器応答である。

従来、これらの高次元のデータをまとめて管理可能なサイズにするために、様々な統計学が使用されている。ＧＰＣデータを分析するための従来のアプローチは、分子量分布（例えば、数平均分子量Ｍ_ｎ、重量平均分子量Ｍ_ｗ、分散度

分光分析データのピーク下の面積、又は動的機械分析データからの弾性率）を説明するための要約統計量に依存する。しかしながら、いくつかの場合では、これらの要約統計量は、フルデータセットが含む材料の詳細レベルをキャプチャするための正確さ及び／又は精度を有さない。一例は、ピークショルダーなどの小さい微細な特徴である。これらの場合では、要約統計量ではなく多変量分析で利用可能なすべての分析データを使用することが有利である。分析計量化学の分野では、これまで、近赤外線分光法又はフーリエ変換赤外線分光法において、スペクトル全体を利用するために主成分分析法又は部分的最小二乗回帰などの方法を使用してきたが、この多変量アプローチを他の分析試験に拡張することはなかった。加えて、複数の分析手法からの、又はプロセスデータなど他のソースと分析データを組み合わせる方法も十分に開発されていない。データバランスに関する課題は、より小さい変数セットからの貴重な相関関係を隠す可能性があることである。

本開示の少なくとも一実施形態は、要約統計量又はデジタル化された時間強度配列の代わりに、画像を入力として使用するクロマトグラフデータを分析するための新しいアプローチを含む。機械視覚アプリケーションの成功を活用すると、深層ニューラルネットワークなどのＡＮＮは、分類タスク及び回帰タスクの両方についてＧＰＣデータの画像で訓練することができる。従来のＧＰＣデータ分析と比較して、これは、実装を成功させるために、著しくより多くの計算資源及びより大きいデータセットを必要とする。

複雑なポリマー構造を有するシリコーン材料の幅広い配列が存在する。クロマトグラフィ、主にＧＰＣを使用して、これらの材料の品質を特徴付けることができる。シリコーン材料は、他の製品を作製するための原材料として使用することができる。しかしながら、ＧＰＣ要約統計量を介して異常な特性を示さない原材料ロット（例えば、Ｍ_ｎ、Ｍ_ｗ）、又は他のロット合格要件（例えば、シラノール）は、それにもかかわらず、下流側で問題を引き起こすということがあった。

先端材料の組成及び性能を適切に特徴付ける問題は、シリコーンにおける多くの用途にわたって蔓延している。品質管理上のギャップは、プロダクトバイプロセスのアプローチと、材料のロットを特定することができる定量的な特性メトリックの取得との間に生じる。分析的特徴付けの専門家は、ターゲット材料及びその特性をより良好に理解することによって、プロセスの改善を可能にすることができる。

数年にわたるシリコーン材料のプロセス内分析のために収集されたＧＰＣデータを一例として使用する。ＡＮＮを使用して、既知の製造アプセットによって判断されるシリコーンポリマー原材料の品質を予測し、最終製品の特性、すなわちビニル及びシラノールの割合を予測することができる。ＧＰＣデータを要約統計量に低減することを含む以前のアプローチでは、ポリマー又は下流側の製品の品質の分類をうまくモデル化することはできなかった。

様々なアプローチを使用して、試料について画像を生成することができる。図２Ａは、検出器応答を別個のパネルでプロットする１つの例示的なアプローチを示し、スケールが各検出器に調整されている。これは、ファセットプロットと称される。図１Ｂは、３つの検出器からの検出器応答を単一のプロットに重ね合わせる１つの例示的なアプローチを示す。図１Ｃは、ＧＡＳＦ変換後の図１Ａからのデータを示す。図１Ｄは、ＧＡＳＦ変換後の図１Ｂからのデータを示す。ＧＡＳＦ変換は、データの代替符号化である。

図２は、データのＧＡＳＦ変換の一例を示す。ＧＡＳＦ変換は、データ拡大の３つのステップを含むことができる。第１に、ｎ個の観測値の時系列Ｘ＝｛ｘ_１，ｘ_２，．．．，ｘ_ｎ｝が与えられた場合、すべての値が区間［０、１］に入るようにＸのスケールを変更する。

第２に、スケールを変更された時系列

を、値

を角度余弦として、時間を半径として使用し、極座標に変換する。下記の式では、Ｎは、極座標のスパンを正則化する定数である。

第３に、ＧＡＳＦをとる。

上記の式では、Ｉは、単位行ベクトルである。極座標は、絶対的な時間関係を保存するが、デカルト座標はこれを保存しない。極座標では、角度余弦は値（例えば、検出器応答）であり、半径は時間ステップ（例えば、保持容量）である。極座標の１つの利点は、絶対的な時間関係の保存である。グラミアン変換は、デカルト時系列プロットと比較して、ネットワークに供給される画像のスパース性を低減する。この場合、スパース性は、クロマトグラムの画像におけるホワイトスペースの比率を指す。信号の重ね合わせ画像（図１Ｂ）の場合、画素の９３％超が白色である。グラミアン変換は、白色画素の数をほぼゼロまで低減する。インピュテーションは、生の時系列データと比較して、本方法によって改善され得る。

図３は、本開示の少なくとも一実施形態に従って使用されるネットワークの概略図を示す。ネットワークは、３つの畳み込みブロックを備える全体として１１の層である。各ブロックは３つの畳み込み層を含み、合計で９つの畳み込み層がある。しかしながら、実施形態は、任意の特定の数の層又は畳み込みブロックに限定されるものではない。各畳み込み後、バッチ正規化及び活性化ステップが存在し得る。バッチ正規化ステップでは、ゼロに近い平均及び１に近い標準偏差を有するように層出力を正規化することができる。正規化方法は、過剰適合を制限するために脱落させる代替手段として使用することができる。活性化ステップは、整流型線形ユニットを活性化関数として使用することができる。最後から２番目の層は、グローバル平均プーリング演算を実施することができる。最後の層は、予測ステップである。ネットワーク概略図に示されているショートカットは、残留ネットワーク接続を指す。残留ネットワーク迂回畳み込みブロックは、ネットワーク最適化中に勾配を消失させる問題を解くことによって、深層ネットワークの訓練時間を著しく改善することが示されている。例えば、これらのショートカットは、ネットワーク最適化及び誤差低減が深層ニューラルネットワークの多くの層を通過することを可能にした。

モデルのためのハイパーパラメータは、本開示の所与の実施形態のモデル精度を改善するように調整することができる。非限定的な例として、ＣＮＮ層フィルタは、それぞれ、コードブロック１、２、及び３内の層に対して３２、６４、及び６４とすることができる。８×８、３×３、及び１×１のカーネルサイズは、それぞれ、所与の畳み込みブロック内の層１、２、及び３に使用することができる。データ分析は、利用可能なツールを使用して実施することができる。

図４Ａは、溶媒ピークに整列することなく、数年にわたる一組の１００ＧＰＣ実行を示す。１７．５～１８．５ｍＬの保持容量において現れるピークは、一貫したサイズを有する既知のモノマー種に対応する。モノマーは、すべての試料にわたって構造的に同様であるため、ＧＰＣにおいて対応するピークは、同じ方法で分析されたすべての実験にわたって重複するべきである。図４Ａでは、ピークは十分に整列しておらず、ＧＰＣの結果が数ヶ月又は数年にわたっていくらかのドリフトを有することを示している。図４Ｂは、溶媒ピークに整列する、数年にわたる一組の１００ＧＰＣ実行を示す。この溶媒ピークに整列させることにより、モノマーピークによって観察される全体的な実験の整列がはるかに改善される。整列されたＧＰＣの結果を、その後の分析に使用した。図４Ａ～図４Ｂに提示されているデータは、整列されたクロマトグラムの結果を示しているが、実施形態は、正確な機械学習モデルを生成するためのそのような整列に限定されるものではない。分類モデルの精度は、モデル精度に関して整列されたデータと整列されていないデータとの間で区別ができない場合がある。

要約統計量の分析におけるこれまでの努力では、これらのバッチにおいて良好５０３と不良５０１の化学製品とを識別することができるＧＰＣの特徴を同定することができなかった。図５Ａは、性能が低いことが知られているいくつかのバッチを含む、化学製品バッチの重量平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。図５Ａ～図５Ｂの破線は、そのカテゴリの平均を表す。良好５０３及び不良５０１は、ほぼ同一の分布を有するように見える。重複部分は、５０５とラベル付けされている。図５Ａでは、破線は、良好５０３と不良５０１の化学製品バッチの平均間の重複部分５０５を表している。図５Ｂでは、良好５０３及び不良５０１のカテゴリの平均について、別個の破線が示されている。化学製品を作製するときのこれら特性の制御は、製品全体が数平均分子量値の分布の同様の気密性を有することを意味するものではない。

図５Ｂは、不良５０１であることが知られているいくつかのバッチを含む化学製品バッチの数平均分子量について、いくつかの以前のアプローチによるヒストグラムを示す。化学製品の数平均分子量の分布は、重量平均分子量よりも良好５０３と不良５０１との間のより大きい差を示す。不良５０１の試料分布は、平均でより多くの数平均分子量を有し、これは、一貫した重量平均分子量にもかかわらず、製品分布がバッチからバッチへと依然としてドリフトしていることを意味する。数平均分子量は、良好５０３と不良５０１の材料についてより多くの差を示すが、分布間の大きい重複により、数平均分子量がバッチ品質の正確な弁別器となることはできない。

教師なし学習は、組み立てられたデータに適用されて、様々な化学製品ロットにわたるＧＰＣデータの違いを見分けることができる。教師なし学習タスクは、各試料について明示的なラベル（Ｙデータ）なしでデータの基礎となる構造をモデル化するものである。そのような方法は、データ内のこれまで知られていないパターン又は特徴を同定することができる。この例では、教師なし学習タスクは、クロマトグラムのパターンを同定し、次いで、それらのパターンを使用して試料のクラスタを分離することができる。これらのクラスタは、良好及び不良の化学製品ロットを表すべきであるが、ラベルは、分析に含まれていない。教師なし学習のための方法の一例は、データ相違を強調する次元低減技術である主成分分析（principal component analysis、ＰＣＡ）である。図６は、化学製品の品質によって示されるクロマトグラムの主成分分析クラスタリングを示す。図６では、異なる化学製品の品質は、印刷された特許公開の制限に起因して、塗りつぶされた丸及び中が白い丸によって示される。しかしながら、実際のクロマトグラムは、典型的には、色によってそのような区別を行う。図６では、ＰＣＡベースの視覚化が、平均的な良好と不良とのロットにおける差を示すことはできるが、目に見えないＧＰＣデータ（新しいロットの品質を予測するために）について良好と不良とを識別するのに十分な有意分離を示さないことを示している。

深層ニューラルネットワークなどのＡＮＮを用いる画像分類は、機械学習の成功した適用である。本開示によれば、クロマトグラフデータの生成画像を入力画像として使用して、化学製品の分類タスクを実施することができる。図７は、クロマトグラフィのための機械視覚のワークフローの概略図を示す。ロット分類のためのネットワークアーキテクチャは、例えば、勾配を消失させることによってＡＮＮ（「深層ニューラルネットワーク」）を訓練することができる。ネットワーク最適化は、定義された損失関数を最小化するために、バックプロパゲーション及び勾配降下を使用して行うことができる。ＡＮＮを通じて伝播すると、ほとんど消失しそうな小さい勾配、モデル性能の飽和又は劣化を引き起こす可能性がある。ショートカット接続は、ネットワーク内の層をスキップするために統合することができ、これにより、多くの層（例えば、１００層を超える層）による勾配伝播を可能にする。

ＡＮＮの各層は、ノードの列として図７の簡略化された画像で表される。人工ニューロンに対応することができるノードは、様々な入力を受信することができる。相互接続領域は、図７のノードを結合する線によって示されるように、異なる層間のノードを結合することができる。ノードは、相互接続領域を介して他のノードからの入力を受信することができる。少なくとも一実施形態では、相互接続領域は、第１の層の各ノードを第２の層の各ノードと結合することができるが、実施形態はそのように限定されるものではない。ＡＮＮは、相互接続領域内の様々な接続が重み値を割り当てられるか、又はノードにおける演算又は計算に使用される新しい重み値で更新される訓練プロセスで構成することができる。訓練プロセスは、ＡＮＮの特定の用途又は使用に応じて異なり得る。例えば、ＡＮＮは、本明細書に記載の画像認識、又は別の処理若しくは計算タスクのために訓練され得る。

ＡＮＮは、画像の右側のノードの最後の列によって表される出力層を含むことができる。ノードの最後の列は、出力ノードと称され得る。出力ノードの各々は、ノードの以前の層のノードから入力を受信するように結合することができる（左側に）。第１の層（図７に示される左端の層）のノードに供給される入力の結果として、出力ノードの出力層で使用可能な出力を受信するプロセスは、推論又は順方向伝播と称され得る。すなわち、いくつかの実世界現象又は用途を表す入力信号は、訓練されたＡＮＮに供給され、様々なノード及び相互接続によって有効にされた計算の結果として発生する推論を通じて、結果が出力され得る。画像認識のために訓練されたＡＮＮの場合、入力は、クロマトグラムを表す信号であり得、出力は、クロマトグラムによって示される化学製品の品質を表す信号であり得る。

試験を実施し、化学製品の分類の結果を良好又は不良のいずれかとして以下のように入力画像タイプに従って要約する。各事例では、画像をトリミングし、正規化した。トリミングは、保持容量の範囲を狭めることを指し、関連するｂの内容領域専門家とみなされるクロマトグラムの領域のみを含む。正規化は、０～１の値を含むようにプロットをスケーリングすることによって実施された。別個のＧＰＣ曲線が入力されたとき、各象限は、単一のＧＰＣクロマトグラムを有した。データ前処理は、モデル化タスクに必要ではないが、場合によっては、無益なデータを廃棄することによってモデル性能を改善することができる。試験設定の精度は、９８．９％であった。重ね合わされたＧＰＣ曲線が入力されたとき、各画像にＧＰＣ曲線を重ね合わせた。試験設定の精度は、９９．２％であった。別個のＧＡＳＦ変換が入力されたとき、各象限は、単一のＧＡＳＦ変換されたＧＰＣ信号を有した。試験設定の精度は、９９．２％であった。単一のＧＡＳＦ変換画像が入力されたとき、画像は、ＧＰＣ信号の線形拡張のＧＡＳＦ変換であった。試験設定の精度は、９８．７％であった。各画像カテゴリの性能は、９９．０±０．２％の精度で優れていた。画像入力タイプ全体を比較すると、入力のいずれもで有意な性能差があるようには見えない。この分類課題に適用された最新技術の分析的特徴付け方法でさえ、化学製品を評価するための明らかなスタンドアロン方法が公開されていない。

回帰のためのネットワークアーキテクチャ及びハイパーパラメータは、分類モデルと同じとすることができる。分類モデルから回帰に変換するために、ニューラルネットワークの最後の層を、単一ノードを有するシグモイド活性化から、活性化が少しもない２つの出力ノードを有する層に変化させることができる。例えば、図７に関して、出力は、ロット品質ではなく製品の特性である。具体的には、シリコーン材料を作製する化学プロセスに関して、ノードのうちの１つは、ビニル含有量に対応し、他方はシラノール含有量に対応する。複数の出力ノードは、それらの変数を同時に予測するか、又は異なるモデルを各予測（出力ノード）に使用することができる。

図８は、本開示の少なくとも一実施形態による、機械学習アーキテクチャで訓練されたクロマトグラムの重ね合わせ画像を使用した、予測と実際との化学製品の特性値の比較を示す。予測プロットは、ＧＰＣ画像データ単独からの定量的予測を使用して、０．７％の相対誤差で化学製品の特性値を予測することができることを実証する。これは、化学プロセスによって作産された化学製品の機械学習方法の実用化を実証している。

図９は、分析データに基づく特徴付けのための機械視覚のためのシステムの一例を示す。システムは、化学プロセス９２４によって生成された製品９２２を分析的に特徴付けるように構成された検出器９２０を含むことができる。検出器９２０の例としては、濃度感度検出器、分子量感度検出器、組成物感度検出器、又はそれらの組み合わせが挙げられる。濃度感度検出器の例としては、紫外線吸収剤、示差屈折計又は屈折率検出器、赤外線吸収剤、及び密度検出器が挙げられる。分子量感度検出器の例としては、低角度光散乱検出器及び多角度光散乱検出器が挙げられる。分析的特徴付け方法の例としては、サイズ排除クロマトグラフィ、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、及び核磁気共鳴分光法が挙げられる。検出器９２０は、分析的特徴付けから系列データ９２６を生成するように構成することができる。例えば、系列データ９２６は、多変量データとすることができる。系列データ９２６は、例えば、複数の検出器を有する器具を含む実施形態（例えば、屈折率及び光散乱を有するＧＰＣ）、又は各々が少なくとも１つの検出器を有する複数の器具を含む実施形態（例えば、同じ製品の複数の別個の特徴付けのために）では、多変数とすることができる。製品９２２は、化学プロセス９２４によって生成されたポリマー材料とすることができる。

システムは、系列データ９２６から変換された画像９２８に基づいて製品９２２の特性９３２を予測するために、化学プロセス９２４によって生成された先行製品からの変換された系列データの複数の画像を用いて訓練されたＡＮＮ９３０を含むことができる。ＡＮＮ９３０は、画像内の特徴を同定するために事前訓練され、ＡＮＮ９３０がここで同定するように訓練された特徴が、製品９２２の特性９３２であるように、化学プロセス９２４によって生成された先行製品からの変換された系列データの複数の画像を用いて、転移学習を介して更に訓練され得る。製品９２２の特性９３２の例としては、分子量、密度、品質、性能、及び同定が挙げられる。少なくとも一実施形態では、ＡＮＮ９３０は、二次元画像入力ネットワークとすることができる。コントローラ９００とは別個のものとして示されているが、少なくとも一実施形態では、ＡＮＮ９３０は、コントローラ９００によって実装することができる。ＡＮＮ９３０は、上記でより詳細に説明される。

システムは、検出器９２０に結合され、ＡＮＮ９３０に結合されたコントローラ９００を含むことができる。具体的には図示されていないが、コントローラ９００は、本明細書に記載の機能を実施するためにコントローラ９００によって実行可能な命令を記憶するプロセッサ及びメモリリソースを含むことができる。コントローラ９００の一例は、図１０に関してより詳細に説明される。コントローラ９００は、系列データ９２６を画像９２８に変換し、画像９２８をＡＮＮ９３０に入力するように構成することができる。少なくとも一実施形態では、コントローラ９２０は、系列データ９２６を前処理することなく、系列データ９２６を画像９２８に変換するように構成することができる。本明細書に記載されるように、画像９２８への時系列データ９２６（ＧＰＣデータなど）の変換は、他の変換方法の中でも、例えば、ｘ－ｙ対になったデータの二次元線プロットへの配列画像によって、又はＧＡＳＦ変換によって行うことができる。コントローラ９００は、ＡＮＮ９３０から製品９２２の特性９３２の予測を受信するように構成することができる。

コントローラ９００は、特性９３２の予測に基づいて（例えば、特性９３２が特性９３２の事前定義された仕様を満たさない場合）、出力９３４を提供するように構成することができる。出力９３４の一例は、化学プロセス９２４に対する調整である。したがって、少なくとも一実施形態では、コントローラ９００は、化学プロセス９２４を制御するか、又は化学プロセス９２４を制御する他の制御回路に結合されるように構成することができる。そのような一例では、コントローラ９００は、化学プロセス９２４によってその後に作産された化学製品の特性が、事前定義された仕様内にある可能性が高くなるように、化学プロセスの１つ以上のパラメータを調整させることができる。別の例として、コントローラ９００からの出力９３４は、人間の介入によって化学プロセス９２４を調整するために使用することができる（例えば、化学プロセス９２４によってその後に作産された化学製品の特性が、事前定義された仕様内にある可能性が高くなるように、人間が化学プロセス９２４の１つ以上のパラメータを調整する場合）。出力９３４は、化学プロセス９２４の制御信号、製品９２２の受容性を示すデータ、又は製品９２２の受容性を示す光若しくは音などの指標とすることができる。別の例として、出力９３４は、製品９２２の拒絶とすることができる。例えば、コントローラ９００は、製品９２２が拒絶されるべきである指標をオペレータに提供することができるか、又はコントローラ９００は、拒絶のために製品９２２を自動的にフラグ付けすることができる。少なくとも一実施形態では、コントローラ９００は、製品の特性９３２に基づいて、化学プロセス９２４を調整し、製品９２２を拒絶することの両方を行うように構成することができる。

図１０は、本明細書で考察される様々な方法論を機械１０００に実施させるための一組の命令が実行され得る例示的な機械１０００を示す。様々な実施形態では、機械１０００は、図９に関して説明されたコントローラ９００と類似することができる。代替の実施形態では、機械１０００は、ＬＡＮ、イントラネット、エクストラネット、及び／又はインターネット内の他の機械に接続（例えば、ネットワーク化）することができる。機械１０００は、ピアツーピア方式（又は分散）ネットワーク環境内のピア機械として、又はクラウドコンピューティングインフラストラクチャ若しくは環境内のサーバあるいはクライアント機械として、クライアントサーバネットワーク環境内のサーバ又はクライアント機械として動作することができる。

機械１０００は、パーソナルコンピュータ（personal computer、ＰＣ）、タブレットＰＣ、セットトップボックス（set-top box、ＳＴＢ）、パーソナルデジタルアシスタント（Personal Digital Assistant、ＰＤＡ）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチ若しくはブリッジ、又はその機械がとる動作を指定する一組の命令（順次的、あるいはその他の方法）を実行することができる任意の機械とすることができる。更に、単一の機械１０００が図示されているが、「機械」という用語はまた、本明細書で考察される方法論のうちのいずれか１つ以上を実施するために、一組（又は複数組）の命令を個々に又は共同的に実行する機械の任意の集合を含むようにも解釈されるべきである。

例示的な機械１０００は、処理デバイス１００２、メインメモリ１００４（例えば、読み取り専用メモリ（read-only memory、ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）若しくはラムバスＤＲＡＭ（Rambus DRAM、ＲＤＲＡＭ）などの動的ランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ））、静的メモリ１００６（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（static random access memory、ＳＲＡＭ）など）、及びバス１０１０を介して互いに通信するデータ記憶システム１００８を含む。

処理デバイス１００２は、マイクロプロセッサ、中央処理ユニット（central processing unit、ＣＰＵ）などの１つ以上の汎用処理デバイスを表す。より具体的には、処理デバイスは、複合命令セットコンピューティング（complex instruction set computing、ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（reduced instruction set computing、ＲＩＳＣ）マイクロプロセッサ、超長命令語（very long instruction word、ＶＬＩＷ）マイクロプロセッサ、又は他の組の命令を実装するプロセッサ、あるいは複数組の命令の組み合わせを実装するプロセッサとすることができる。処理デバイス１００２はまた、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、ネットワークプロセッサなどの１つ以上の専用処理デバイスとすることができる。処理デバイス１００２は、本明細書で考察される動作及びステップを実施するための命令１０１８を実行するように構成されている。機械１０００は、ネットワーク１０１４を介して通信するためのネットワークインターフェースデバイス１０１２を更に含むことができる。

データ記憶システム１００８は、本明細書に記載の方法論又は機能のうちの任意の１つ以上を具現化する一組以上の命令１０１８又はソフトウェアを記憶する機械可読記憶媒体１０１６（コンピュータ可読媒体としても知られている）を含むことができる。命令１０１８はまた、機械１０００によるその実行中に、メインメモリ１００４内及び／又は処理デバイス１００２内に完全に、又は少なくとも部分的に存在することができ、メインメモリ１００４及び処理デバイス１００２もまた、機械可読媒体を構成する。

一実施形態では、命令１０１８は、本明細書に記載のＡＮＮに対応する機能を実装するための命令を含む。機械可読記憶媒体１０１６は、例示的な一実施形態では単一の媒体であるように示されているが、「機械可読記憶媒体」という用語は、１つ以上の組の命令を記憶する単一の媒体又は複数の媒体を含むように解釈されるべきである。「機械可読記憶媒体」という用語はまた、機械による実行のための一組の命令を記憶又は符号化することができ、機械に、本開示の方法論のうちのいずれか１つ以上を実施させる任意の媒体を含むように解釈されるものとする。したがって、「機械可読記憶媒体」という用語は、これらに限定されるものではないが、ソリッドステートメモリ、光学式媒体、及び磁気媒体を含むように解釈されるものとする。

特定の実施形態が上述されてきたが、これらの実施形態は、単一の実施形態のみが特定の特徴に関して説明されている場合でも、本開示の範囲を限定することを意図するものではない。本開示で提供される特徴の例は、特に明記しない限り、限定的ではなく例示的であることが意図される。上記の説明は、本開示の利益を有する当業者には明らかであるように、そのような代替案、修正案、及び等価物を網羅することを意図している。

本開示の範囲は、本明細書で対処される問題のいずれか又はすべてを軽減するか否かにかかわらず、本明細書に開示される任意の特徴又は特徴の組み合わせ（明示的若しくは暗黙的のいずれかで）、又はそれらの任意の一般化を含む。本開示の様々な利点が本明細書で説明されてきたが、実施形態は、そのような利点のうちのいくつか、すべてを提供し得るか、若しくは全く提供し得ないか、又は他の利点を提供し得る。

前述の詳細は説明では、いくつかの特徴は、本開示を合理化する目的で、単一の実施形態で一緒にグループ化される。本開示方法は、本開示の開示された実施形態が、各特許請求項に明示的に列挙されているよりも多くの特徴を使用する必要があるという意図を反映するものとして解釈されるものではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、単一の開示された実施形態のすべての特徴よりも少ない特徴に存在する。したがって、以下の特許請求の範囲は、発明を実施するための形態に本明細書に組み込まれ、各特許請求項は、別個の実施形態として独立している。

Claims (15)

1. 方法であって、
   化学プロセス、又は分析器を用いる前記化学プロセスによって生成された製品を分析的に特徴付け、それにより、系列データを生成することと、
   前記系列データを画像に変換することと、
   前記画像を、前記画像に基づいて前記製品の特性を予測するように訓練された人工ニューラルネットワーク（ＡＮＮ）に入力することと、
   前記ＡＮＮから前記製品の前記特性の前記予測を受信することと、
   前記製品の前記特性の前記予測に基づいて、前記化学プロセスを調整するか、又は前記製品を拒絶することと、を含む、方法。
2. 前記製品の前記特性の前記予測に基づいて、前記化学プロセスを調整することと、前記製品を拒絶することと、を更に含む、請求項１に記載の方法。
3. 前記ＡＮＮが、任意の画像内の特徴を同定するように事前訓練され、
   前記方法は、前記特徴が前記製品の前記特性を含むように、前記化学プロセスによって生成された先行製品からの変換された系列データの複数の画像を用いて、転移学習を介して前記ＡＮＮを訓練することを更に含む、請求項１に記載の方法。
4. 前記製品の前記特性の前記予測を受信することが、分子量、密度、品質、性能、及び同定を含む特性の群のうちの１つの前記予測を受信することを含む、請求項１～３のいずれか一項に記載の方法。
5. 前記製品を分析的に特徴付けることが、液体クロマトグラフィ、ガスクロマトグラフィ、熱勾配クロマトグラフィ、サイズ排除クロマトグラフィ、熱量測定、レオロジ、光学分光法、質量分析、粘度測定、粒度測定、及び核磁気共鳴分光法を含む分析的特徴付けの群のうちの１つを含む、請求項１～４のいずれか一項に記載の方法。
6. 前記系列データを前記画像に変換することが、前記系列データを二次元線プロットに変換することを含む、請求項１～５のいずれか一項に記載の方法。
7. 前記系列データを前記画像に変換することが、前記系列データをグラミアン角和フィールドに変換することを含む、請求項１～６のいずれか一項に記載の方法。
8. 前記系列データを前記画像に変換することが、前記系列データを前処理することなく、前記系列データを変換することを含む、請求項１～７のいずれか一項に記載の方法。
9. 前記画像を前記ＡＮＮに入力することが、前記画像を二次元画像入力ネットワークに入力することを含む、請求項１～８のいずれか一項に記載の方法。
10. システムであって、
    検出器であって、
    化学プロセスによって生成された製品を分析的に特徴付けることと、
    前記分析的特徴付けから系列データを生成することと、を行うように構成された検出器と、
    前記系列データから変換された画像に基づいて前記製品の特性を予測するために、前記化学プロセスによって生成された先行製品からの変換された系列データの複数の画像を用いて訓練された人工ニューラルネットワーク（ＡＮＮ）と、
    前記検出器及び前記ＡＮＮに結合されたコントローラであって、前記コントローラが、
    前記系列データを前記画像に変換することと、
    前記画像を前記ＡＮＮに入力することと、
    前記ＡＮＮから前記製品の前記特性の前記予測を受信することと、
    前記化学プロセスを調整するか、又は前記製品を拒絶することと、を行うように構成されているコントローラと、を備える、システム。
11. 前記システムが、複数の検出器を備え、前記系列データが、前記複数の検出器に対応する多変量データを含む、請求項１０に記載のシステム。
12. 前記検出器が、濃度感度検出器、分子量感度検出器、組成物感度検出器、及びそれらの組み合わせを含む、検出器の群のうちの１つを含む、請求項１０又は１１に記載のシステム。
13. 前記コントローラが、前記化学プロセスを調整し、前記製品を拒絶するように構成されている、請求項１０～１２のいずれか一項に記載のシステム。
14. 前記コントローラが、前記系列データを前処理することなく、前記系列データを前記画像に変換するように構成されている、請求項１０～１３のいずれか一項に記載のシステム。
15. 前記ＡＮＮが、二次元画像入力ネットワークである、請求項１０～１４のいずれか一項に記載のシステム。
    
    

Images