JP7475509B2 - 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 - Google Patents
畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 Download PDFInfo
- Publication number
- JP7475509B2 JP7475509B2 JP2023029259A JP2023029259A JP7475509B2 JP 7475509 B2 JP7475509 B2 JP 7475509B2 JP 2023029259 A JP2023029259 A JP 2023029259A JP 2023029259 A JP2023029259 A JP 2023029259A JP 7475509 B2 JP7475509 B2 JP 7475509B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- images
- machine learning
- training
- pharmaceutical product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims description 315
- 239000000825 pharmaceutical preparation Substances 0.000 title claims description 69
- 229940127557 pharmaceutical product Drugs 0.000 title claims description 61
- 238000013527 convolutional neural network Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 title description 8
- 238000012549 training Methods 0.000 claims description 186
- 238000010801 machine learning Methods 0.000 claims description 124
- 239000011521 glass Substances 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 15
- 238000002845 discoloration Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 2
- 230000004044 response Effects 0.000 claims 2
- 238000007689 inspection Methods 0.000 description 98
- 239000000047 product Substances 0.000 description 70
- 230000000875 corresponding effect Effects 0.000 description 69
- 238000013145 classification model Methods 0.000 description 34
- 230000015654 memory Effects 0.000 description 32
- 238000003860 storage Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 21
- 230000002950 deficient Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 102000004169 proteins and genes Human genes 0.000 description 17
- 108090000623 proteins and genes Proteins 0.000 description 17
- 238000013526 transfer learning Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 239000003814 drug Substances 0.000 description 12
- 238000011109 contamination Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 229940126534 drug product Drugs 0.000 description 8
- 239000013618 particulate matter Substances 0.000 description 8
- 229940022353 herceptin Drugs 0.000 description 7
- 239000004033 plastic Substances 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 239000000356 contaminant Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 238000004108 freeze drying Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000001225 therapeutic effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 239000002537 cosmetic Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 229960000575 trastuzumab Drugs 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 239000003242 anti bacterial agent Substances 0.000 description 2
- 229940088710 antibiotic agent Drugs 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004299 exfoliation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000004743 Polypropylene Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000012435 analytical chromatography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000007799 cork Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 239000002178 crystalline material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000012263 liquid product Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- -1 polypropylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000011819 refractory material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 229940126586 small molecule drug Drugs 0.000 description 1
- 239000012265 solid product Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000006188 syrup Substances 0.000 description 1
- 235000020357 syrup Nutrition 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本開示により、抗生物質を含む凍結乾燥タンパク質治療剤の欠陥検出を改善する検査システムおよび方法が提供される。
図3は、自動検査システム300の一例を示す。図3において、医薬製品の容器はバイアルからなる。図に見られるように、検査システム300のワークフローは、バイアルの画像取得、コンピュータビジョンモデルを用いたバイアルの分類、その後、良好なバイアルは通過させる一方、欠陥バイアルはさらなる検査のために戻されてよい。画像取得中、検査システム300は、1つまたは複数の光学カメラセンサを用いて1つまたは複数のクエリ画像を取得してよい。1つまたは複数の光学カメラセンサは、医薬製品の容器に対して、1つまたは複数の角度から1つまたは複数のクエリ画像をそれぞれキャプチャしてよい。その場合、検査システム300は、医薬製品の容器に対応する1つまたは複数のクエリ画像を受信してよい。1つまたは複数のクエリ画像のそれぞれは、医薬製品の容器の特定の視点に基づいてよい。バイアル分類中、検査システム300は2つのステップを実行してよい。第一に、検査システム300は、目標機械学習モデルを用いて1つまたは複数のクエリ画像を処理することにより、医薬製品の容器に対して、1つまたは複数の欠陥表示にそれぞれ対応する1つまたは複数の信頼スコアを計算してよい。第二に、検査システム300は、1つまたは複数の信頼スコアと1つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、医薬製品の容器に対して、1つまたは複数の欠陥表示から欠陥表示を決定してよい。
コンピュータビジョンモデル
に通す。ノードは、結合を共有しない層に群化されるため、同時計算可能である。全結合型ANNでは、層
の各ノードは、入力として前層
の全てのノードを含み、層の各ノードは、次層
の全てのノードへの入力となる。対照的に、畳み込みニューラルネットワーク(CNN)では、各ノードは局所的にのみ結合され、局所的なモチーフのみを学習する。局所結合型設計が当然のことながら画像分類に適しているのは、画像中の局所ピクセル群は、多くの場合、高い相関を有し、容易に検出される示差的なモチーフを形成するからである。ノードは、入力画像の異なる部分における同一パターンを検出するために重みを共有し、離散畳み込みを効果的に実行するものであり、CNNの名称はそれに由来する。
バイアルおよび欠陥
バイアル中の製剤例
目標機械学習モデルの概観
モデル構造
上述のように、欠陥を検出するために従来のCNNアーキテクチャを用いることが有効でない場合がある。そのため、本開示の検査システム300は、医薬製品の各容器に対応する複数の入力画像に基づくCNNアーキテクチャを用いてよい。まず、検査システム300は、1つまたは複数の光学カメラセンサを用いて複数の目標訓練画像を取得してよい。1つまたは複数の光学カメラセンサは、選択された製品に対して、1つまたは複数の角度から1つまたは複数の画像をそれぞれキャプチャしてよい。そして、検査システム300は、複数の目標訓練画像を1つまたは複数の目標訓練画像群に分割してよい。1つまたは複数の目標訓練画像群は、1つまたは複数のカメラセンサにそれぞれ関連してよい。また、検査システム300は、それぞれのカメラセンサに対応する1つまたは複数の目標訓練画像群に対して、1つまたは複数の特徴表現群をそれぞれ生成してよい。言い換えれば、同一の特徴量は、同一のカメラから(異なる角度で)取得される画像に対して抽出されてよい。そして、検査システム300は、1つまたは複数の特徴表現群にそれぞれ基づいて、1つまたは複数のサブモデルを学習してよい。さらに、検査システム300は、1つまたは複数のサブモデルを統合して、目標機械学習モデルを生成してよい。特定の実施形態において、目標機械学習モデルは、複数の層を含む畳み込みニューラルネットワークに基づいてよい。このようにして、それぞれのカメラセンサに対応する1つまたは複数の目標訓練画像群に対して、1つまたは複数の特徴表現群をそれぞれ生成することは、以下のステップを含んでよい。まず、検査システム300は、複数の層を、1つまたは複数のカメラセンサにそれぞれ対応する1つまたは複数の層群に分割してよい。そして、検査システム300は、1つまたは複数の層群によって、それぞれのカメラセンサに対応する1つまたは複数の目標訓練画像群を処理してよい。図6は、2つのカメラステーションから取得される複数の入力画像を用いる、例示的な畳み込みニューラルネットワーク(CNN)モデル600を示す。検査システム300は、各カメラに対して1つまたは複数の畳み込み層を含む、1つの共有畳み込みモデルを用いてよい。図6に示されるように、第1カメラステーションからキャプチャされる画像は、第1畳み込み層群、例えば層1aと層1bにより処理されてよい。処理により、第1カメラステーションによりキャプチャされる画像に関する特徴表現を得てよく、さらに、特徴表現は集約される。第1畳み込み層群は、目標機械学習モデルの第1サブモデルのベースとなってよい。同様にして、第2カメラステーションによりキャプチャされる画像は、第2畳み込み層群を含む第2サブモデルにより処理される。処理により、第2カメラステーションによりキャプチャされる画像に関する特徴表現を得てよく、さらに、特徴表現は集約される。そして、それぞれのサブモデルから集約された特徴表現は、ベクトル化により統合される。最終的にベクトル化された特徴量に基づいて、分類モデル、つまり目標機械学習モデルは学習されてよい。
モデル訓練
と表されてよい。
は、サンプル数を示してよい。
は、考えうるクラス数を示してよい。
は、サンプル
がクラス
に属するか否かを表す指示関数であってよい。
は、サンプル
がクラス
に属する予測確率であってよい。損失関数は、モデル誤差が増加するにつれて増加すると定義されてよく、勾配に基づく最適化アルゴリズムを、損失関数をイテレーションにより減少させるために用いてよい。各イテレーションにおいてモデル重みを適切に調整するために、アルゴリズムは、各モデル重みに対して損失関数の勾配を計算してよい。そして、重みベクトルは、アルゴリズムにより異なる方法で、勾配ベクトルの反対方向に調整されてよい。
からの学習済み重みを、目標CNNの最初の
として用いることにより、転移学習を用いてよい。そして、標準的な最適化工程を適用して、ランダムな初期化から開始して、目標ネットワークの残りの層を学習してよい。学習工程中、転移済み層の重みは、定数または「フリーズ」に固定されてよい。限定ではなく一例として、図4のモデルは、異なるタスクから学習された畳み込みモデルを用いて訓練されてよく、その結果、訓練対象は分類モデルのみになっていてよい。高レベル特徴量の訓練後、全てのモデルパラメータはさらに改善されてよく、これはファインチューニングとして知られるプロセスである。
ガラス欠陥検査例
システムおよび方法
雑記
さらに、本開示は、以下の条項に係る実施形態を含む。
[条項1]
コンピューティングシステムによって、
医薬製品の容器に対応する1つまたは複数のクエリ画像を受信することであって、前記1つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の角度に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記1つまたは複数のクエリ画像を処理することにより、1つまたは複数の欠陥表示にそれぞれ対応する1つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記1つまたは複数の信頼スコアと1つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記1つまたは複数の欠陥表示から欠陥表示を決定することと、を含む、方法。
[条項2]
前記1つまたは複数のクエリ画像に対して、前記1つまたは複数の欠陥表示に対応する前記1つまたは複数の信頼スコアを計算することが、
前記目標機械学習モデルを用いて、前記1つまたは複数のクエリ画像を処理することにより、前記1つまたは複数のクエリ画像の1つまたは複数の特徴表現を生成することと、
前記1つまたは複数の欠陥表示に対応する前記1つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との間の関係、または、
前記1つまたは複数のクエリ画像の前記生成された1つまたは複数の特徴表現、
のうちの1つまたは複数に基づいて計算することと、
を含む、条項1に記載の方法。
[条項3]
1つまたは複数の光学カメラセンサを用いて、前記1つまたは複数のクエリ画像を取得することであって、前記1つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、1つまたは複数の角度から、前記1つまたは複数のクエリ画像をそれぞれキャプチャすることをさらに含む、条項1または2に記載の方法。
[条項4]
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの1つまたは複数を含む、条項1~3のいずれか1項に記載の方法。
[条項5]
前記医薬製品には、凍結乾燥製品が含まれる、条項1~4のいずれか1項に記載の方法。
[条項6]
前記凍結乾燥製品が、1つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項5に記載の方法。
[条項7]
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの1つまたは複数が含まれる、条項1~6のいずれか1項に記載の方法。
[条項8]
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの1つまたは複数が含まれる、条項7に記載の方法。
[条項9]
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの1つまたは複数が含まれる、条項8に記載の方法。
[条項10]
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの1つまたは複数が含まれる、条項7に記載の方法。
[条項11]
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項1~10のいずれか1項に記載の方法。
[条項12]
前記1つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項1~11のいずれか1項に記載の方法。
[条項13]
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれている、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれている、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて、補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて、前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現および前記複数の欠陥表示に基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することと、をさらに含む、条項1~12のいずれか1項に記載の方法。
[条項14]
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも1つにおいて、前記容器の内側に見える、条項13に記載の方法。
[条項15]
1つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記1つまたは複数の光学カメラセンサが、選択された製品に対して、1つまたは複数の角度から、1つまたは複数の画像をそれぞれキャプチャする、取得することをさらに含む、条項13または14に記載の方法。
[条項16]
前記複数の目標訓練画像を1つまたは複数の目標訓練画像群に分割することであって、前記1つまたは複数の目標訓練画像群が、前記1つまたは複数のカメラセンサにそれぞれ対応する、分割することをさらに含む、条項15に記載の方法。
[条項17]
前記目標機械学習モデルを訓練することには、
前記それぞれのカメラセンサにそれぞれ対応する前記1つまたは複数の目標訓練画像群に対して、1つまたは複数の特徴表現群を生成することと、
前記1つまたは複数の特徴表現群にそれぞれ基づいて、1つまたは複数のサブモデルを学習することと、
前記1つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、がさらに含まれる、条項16に記載の方法。
[条項18]
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づき、前記それぞれのカメラセンサにそれぞれ対応する前記1つまたは複数の目標訓練画像群に対して、前記1つまたは複数の特徴表現群を生成することには、
前記複数の層を、前記1つまたは複数のカメラセンサにそれぞれ対応する1つまたは複数の層群に分割することと、
前記1つまたは複数の層群によって、前記それぞれのカメラセンサに対応する前記1つまたは複数の目標訓練画像群を処理することと、が含まれる、条項17に記載の方法。
[条項19]
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項13~18のいずれか1項に記載の方法。
[条項20]
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項13~19のいずれか1項に記載の方法。
[条項21]
ソフトウェアを実装した1つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアが、実行されると、
医薬製品の容器に対応する1つまたは複数のクエリ画像を受信することであって、前記1つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の視点に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記1つまたは複数のクエリ画像を処理することにより、1つまたは複数の欠陥表示にそれぞれ対応する1つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記1つまたは複数の信頼スコアと1つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記1つまたは複数の欠陥表示から欠陥表示を決定することと、を行うように動作可能である、1つまたは複数のコンピュータ可読非一時的記憶媒体。
[条項22]
前記1つまたは複数のクエリ画像に対して、前記1つまたは複数の欠陥表示に対応する前記1つまたは複数の信頼スコアを計算することには、
前記目標機械学習モデルを用いて前記1つまたは複数のクエリ画像を処理することにより、前記1つまたは複数のクエリ画像の1つまたは複数の特徴表現を生成することと、
前記1つまたは複数の欠陥表示に対応する前記1つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係、または、
前記1つまたは複数のクエリ画像の生成された前記1つまたは複数の特徴表現、
のうちの1つまたは複数に基づいて計算することと、
が含まれる、条項21に記載の媒体。
[条項23]
前記ソフトウェアが、実行されると、
1つまたは複数の光学カメラセンサを用いて前記1つまたは複数のクエリ画像を取得することであって、前記1つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、1つまたは複数の角度から、前記1つまたは複数のクエリ画像をそれぞれキャプチャすることを行うように、さらに動作可能である、条項21または22に記載の媒体。
[条項24]
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの1つまたは複数を含む、条項21~23のいずれか1項に記載の媒体。
[条項25]
前記医薬製品には、凍結乾燥製品が含まれる、条項21~24のいずれか1項に記載の媒体。
[条項26]
前記凍結乾燥製品が、1つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項25に記載の媒体。
[条項27]
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの1つまたは複数が含まれる、条項21~26のいずれか1項に記載の媒体。
[条項28]
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの1つまたは複数が含まれる、条項27に記載の媒体。
[条項29]
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの1つまたは複数が含まれる、条項28に記載の媒体。
[条項30]
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの1つまたは複数が含まれる、条項27に記載の媒体。
[条項31]
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項21~30のいずれか1項に記載の媒体。
[条項32]
前記1つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項21~31のいずれか1項に記載の媒体。
[条項33]
前記ソフトウェアが、実行されると、
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれる、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれる、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて、前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現と前記複数の欠陥表示とに基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することと、を行うように、さらに動作可能である、条項21~32のいずれか1項に記載の媒体。
[条項34]
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも1つにおいて、前記容器の内側に見える、条項33に記載の媒体。
[条項35]
前記ソフトウェアが、実行されると、
1つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記1つまたは複数の光学カメラセンサが、選択された製品に対して、1つまたは複数の角度から、1つまたは複数の画像をそれぞれキャプチャすることを行うようにさらに動作可能である、条項33または34に記載の媒体。
[条項36]
前記ソフトウェアが、実行されると、
前記複数の目標訓練画像を1つまたは複数の目標訓練画像群に分割することであって、前記1つまたは複数の目標訓練画像群が、前記1つまたは複数のカメラセンサにそれぞれ対応する、分割することを行うようにさらに動作可能である、条項35に記載の媒体。
[条項37]
前記目標機械学習モデルを訓練することが、
前記それぞれのカメラセンサにそれぞれ対応する1つまたは複数の目標訓練画像群に対して、1つまたは複数の特徴表現群を生成することと、
前記1つまたは複数の特徴表現群にそれぞれ基づいて、1つまたは複数のサブモデルを学習することと、
前記1つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、をさらに含む、条項36に記載の媒体。
[条項38]
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づいており、前記それぞれのカメラセンサにそれぞれ対応する1つまたは複数の目標訓練画像群に対して、1つまたは複数の特徴表現群を生成することが、
前記複数の層を、前記1つまたは複数のカメラセンサにそれぞれ対応する1つまたは複数の層群に分割することと、
前記それぞれのカメラセンサに対応する前記1つまたは複数の目標訓練画像群を、前記1つまたは複数の層群によって処理することと、を含む、条項37に記載の媒体。
[条項39]
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項33~38のいずれか1項に記載の媒体。
[条項40]
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項33~39のいずれか1項に記載の媒体。
[条項41]
各カメラは異なる画角に対応する、1つまたは複数のカメラと;
1つまたは複数のセンサと;
1つまたは複数のライトと;
1つまたは複数のトレイと;
1つまたは複数の高さ制御部と;
1つまたは複数のプロセッサと;
前記プロセッサに結合された非一時的メモリであって、前記プロセッサによって実行可能な命令を含み、前記プロセッサが、前記命令を実行すると、
医薬製品の容器に対応する1つまたは複数のクエリ画像を受信することであって、前記1つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の視点に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記1つまたは複数のクエリ画像を処理することにより、1つまたは複数の欠陥表示にそれぞれ対応する1つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記1つまたは複数の信頼スコアと1つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記1つまたは複数の欠陥表示から欠陥表示を決定することと、を行うように動作可能である、非一時的メモリと、を備える、装置。
[条項42]
前記1つまたは複数のクエリ画像に対して、前記1つまたは複数の欠陥表示に対応する前記1つまたは複数の信頼スコアを計算することには、
前記目標機械学習モデルを用いて前記1つまたは複数のクエリ画像を処理することにより、前記1つまたは複数のクエリ画像の1つまたは複数の特徴表現を生成することと、
前記1つまたは複数の欠陥表示に対応する前記1つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との間の関係、または、
前記1つまたは複数のクエリ画像の生成された前記1つまたは複数の特徴表現、のうちの1つまたは複数に基づいて計算することと、
が含まれる、条項41に記載の装置。
[条項43]
前記プロセッサが、前記命令を実行すると、
1つまたは複数の光学カメラセンサを用いて前記1つまたは複数のクエリ画像を取得することであって、前記1つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、1つまたは複数の角度から、前記1つまたは複数のクエリ画像をそれぞれキャプチャすることを行うようにさらに動作可能である、条項41または42に記載の装置。
[条項44]
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの1つまたは複数を含む、条項41~43のいずれか1項に記載の装置。
[条項45]
前記医薬製品には、凍結乾燥製品が含まれる、条項41~44のいずれか1項に記載の装置。
[条項46]
前記凍結乾燥製品が、1つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項45に記載の装置。
[条項47]
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの1つまたは複数が含まれる、条項41~46のいずれか1項に記載の装置。
[条項48]
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの1つまたは複数が含まれる、条項47に記載の装置。
[条項49]
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの1つまたは複数が含まれる、条項48に記載の装置。
[条項50]
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの1つまたは複数が含まれる、条項47に記載の装置。
[条項51]
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項41~50のいずれか1項に記載の装置。
[条項52]
前記1つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項41~51のいずれか1項に記載の装置。
[条項53]
前記プロセッサが、前記命令を実行すると、
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれる、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれる、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現と前記複数の欠陥表示とに基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することを行うように、さらに動作可能である、条項41~52のいずれか1項に記載の装置。
[条項54]
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも1つにおいて、前記容器の内側に見える、条項53に記載の装置。
[条項55]
前記プロセッサが、前記命令を実行すると、
1つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記1つまたは複数の光学カメラセンサは、選択された製品に対して、1つまたは複数の角度から、1つまたは複数の画像をそれぞれキャプチャすることを行うように、さらに動作可能である、条項53または54に記載の装置。
[条項56]
前記プロセッサが、前記命令を実行すると、
前記複数の目標訓練画像を1つまたは複数の目標訓練画像群に分割することであって、前記1つまたは複数の目標訓練画像群が、前記1つまたは複数のカメラセンサにそれぞれ対応する、分割することを行うように、さらに動作可能である、条項55に記載の装置。
[条項57]
前記目標機械学習モデルを訓練することには、
前記それぞれのカメラセンサにそれぞれ対応する前記1つまたは複数の目標訓練画像群に対して、1つまたは複数の特徴表現群を生成することと、
前記1つまたは複数の特徴表現群にそれぞれ基づいて、1つまたは複数のサブモデルを学習することと、
前記1つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、がさらに含まれる、条項56に記載の装置。
[条項58]
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づいており、前記それぞれのカメラセンサにそれぞれ対応する前記1つまたは複数の目標訓練画像群に対して、前記1つまたは複数の特徴表現群を生成することには、
前記複数の層を、前記1つまたは複数のカメラセンサにそれぞれ対応する1つまたは複数の層群に分割することと、
前記1つまたは複数の層群によって、前記1つまたは複数のカメラセンサに対応する前記1つまたは複数の目標訓練画像群を処理することと、が含まれる、条項57に記載の装置。
[条項59]
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項53~58のいずれか1項に記載の装置。
[条項60]
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項53~59のいずれか1項に記載の装置。
Claims (16)
- 医薬製品が充填された容器のクエリ画像の入力に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを出力する、訓練済みの機械学習モデルを生成する方法であって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含み、前記方法は、
複数のカメラセンサを用いて、医薬製品が充填された容器の複数の訓練画像を取得することと、
前記複数の訓練画像の各々を、前記複数の欠陥表示のうちの1つまたは複数の欠陥表示でラベル付けすることと、
コンピューティングシステムによって、異なるカメラセンサにより取得された訓練画像がそれぞれ異なる畳み込み層群に入力されるように、複数の畳み込み層群を含む畳み込みニューラルネットワークに前記複数の訓練画像を入力して、前記複数の訓練画像の特徴表現を生成することと
を含む方法。 - 前記複数の訓練画像のうちの少なくとも1つの訓練画像が、複数の欠陥表示でラベル付けされる、請求項1に記載の方法。
- 前記複数のカメラセンサのうちの少なくとも第1のカメラセンサおよび第2のカメラセンサが、それぞれ複数の訓練画像を取得し、
前記第1のカメラセンサにより取得された複数の訓練画像は、第1の畳み込み層群(1a,1b)に入力され、
前記第2のカメラセンサにより取得された複数の訓練画像は、前記第1の畳み込み層群(1a,1b)とは異なる第2の畳み込み層群(2a,2b)に入力される、
請求項1または2に記載の方法。 - 前記複数の訓練画像の前記特徴表現を生成することは、前記コンピューティングシステムによって、
前記第1の畳み込み層群(1a,1b)に、前記第1のカメラセンサにより取得された複数の訓練画像を入力して生成された特徴表現を、第1の特徴表現群として集約することと、
前記第2の畳み込み層群(2a,2b)に、前記第2のカメラセンサにより取得された複数の訓練画像を入力して生成された特徴表現を、第2の特徴表現群として集約することと、
前記第1の特徴表現群および前記第2の特徴表現群を、ベクトル化により統合することと
を含む、請求項3に記載の方法。 - 前記複数の訓練画像は、同一の容器を複数の異なる角度からキャプチャした画像を含む、請求項1から4のいずれか一項に記載の方法。
- 前記複数の異なる角度は、互いに90°の間隔を有する4つの角度を含む、請求項5に記載の方法。
- 請求項1から6のいずれか一項に記載の方法によって生成された訓練済みの機械学習モデルを用いて、医薬製品が充填された容器の欠陥を検出する方法であって、コンピューティングシステムによって、
それぞれが医薬製品が充填された容器を特定の角度からキャプチャした画像である、1つまたは複数のクエリ画像を受信することと、
前記訓練済みの機械学習モデルを用いて前記1つまたは複数のクエリ画像を処理することにより、前記医薬製品が充填された前記容器に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを計算することであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含む、複数の信頼スコアを計算することと、
前記複数の信頼スコアと複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記医薬製品が充填された容器に対して、前記複数の欠陥表示から、1つまたは複数の欠陥表示を決定することと
を含む方法。 - 複数の畳み込み層群を含む畳み込みニューラルネットワークに基づく訓練済みの機械学習モデルを用いて、医薬製品が充填された容器の欠陥を検出する方法であって、
複数のカメラセンサを用いて、医薬製品が充填された容器の、複数のクエリ画像を取得することと、
コンピューティングシステムによって、異なるカメラセンサにより取得されたクエリ画像がそれぞれ異なる畳み込み層群に入力されるように、前記複数のクエリ画像を前記訓練済みの機械学習モデルに入力することにより、前記医薬製品が充填された前記容器に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを計算することであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含む、複数の信頼スコアを計算することと、
前記コンピューティングシステムによって、前記複数の信頼スコアと複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記医薬製品が充填された前記容器に対して、前記複数の欠陥表示から、1つまたは複数の欠陥表示を決定することと
を含む方法。 - 前記複数のクエリ画像は、同一の容器を複数の異なる角度からキャプチャした画像を含む、請求項8に記載の方法。
- 前記複数の異なる角度は、互いに90°の間隔を有する4つの角度を含む、請求項9に記載の方法。
- 前記医薬製品が凍結乾燥製品である、請求項1から10のいずれか一項に記載の方法。
- 前記凍結乾燥製品が、1つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、請求項11に記載の方法。
- 前記複数の欠陥表示には、充填量欠陥、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、退色、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの1つまたは複数が含まれる、請求項11または12に記載の方法。
- 医薬製品が充填された容器のクエリ画像の入力に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを出力する、訓練済みの機械学習モデルを、コンピューティングシステムに生成させるためのプログラムであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含み、前記プログラムは、前記コンピューティングシステムに、
複数のカメラセンサを用いて取得された、医薬製品が充填された容器の複数の訓練画像であって、それぞれが前記複数の欠陥表示のうちの1つまたは複数の欠陥表示でラベル付けされた複数の訓練画像を、受信することと、
異なるカメラセンサにより取得された訓練画像がそれぞれ異なる畳み込み層群に入力されるように、複数の畳み込み層群を含む畳み込みニューラルネットワークに前記複数の訓練画像を入力して、前記複数の訓練画像の特徴表現を生成することと
を実行させるプログラム。 - 前記複数の訓練画像のうちの少なくとも1つの訓練画像が、複数の欠陥表示でラベル付けされている、請求項14に記載のプログラム。
- コンピューティングシステムに、医薬製品が充填された容器の欠陥を検出させるためのプログラムであって、前記コンピューティングシステムに、
複数のカメラセンサを用いて取得された、医薬製品が充填された容器の複数のクエリ画像を受信することと、
異なるカメラセンサにより取得されたクエリ画像がそれぞれ異なる畳み込み層群に入力されるように、前記複数のクエリ画像を、複数の畳み込み層群を含む畳み込みニューラルネットワークに基づく訓練済みの機械学習モデルに入力することにより、前記医薬製品が充填された前記容器に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを計算することであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含む、複数の信頼スコアを計算することと、
前記複数の信頼スコアと複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記医薬製品が充填された前記容器に対して、前記複数の欠陥表示から、1つまたは複数の欠陥表示を決定することと
を実行させるプログラム。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862748304P | 2018-10-19 | 2018-10-19 | |
US62/748,304 | 2018-10-19 | ||
US201962852237P | 2019-05-23 | 2019-05-23 | |
US62/852,237 | 2019-05-23 | ||
JP2021520557A JP2022504937A (ja) | 2018-10-19 | 2019-10-16 | 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 |
US16/654,200 | 2019-10-16 | ||
US16/654,200 US11263738B2 (en) | 2018-10-19 | 2019-10-16 | Defect detection in lyophilized drug products with convolutional neural networks |
PCT/US2019/056511 WO2020081668A2 (en) | 2018-10-19 | 2019-10-16 | Defect detection in lyophilized drug products with convolutional neural networks |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520557A Division JP2022504937A (ja) | 2018-10-19 | 2019-10-16 | 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023081901A JP2023081901A (ja) | 2023-06-13 |
JP7475509B2 true JP7475509B2 (ja) | 2024-04-26 |
Family
ID=70280742
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520557A Pending JP2022504937A (ja) | 2018-10-19 | 2019-10-16 | 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 |
JP2023029259A Active JP7475509B2 (ja) | 2018-10-19 | 2023-02-28 | 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520557A Pending JP2022504937A (ja) | 2018-10-19 | 2019-10-16 | 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11263738B2 (ja) |
EP (1) | EP3867919A4 (ja) |
JP (2) | JP2022504937A (ja) |
CN (1) | CN112912964A (ja) |
WO (1) | WO2020081668A2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112912964A (zh) | 2018-10-19 | 2021-06-04 | 豪夫迈·罗氏有限公司 | 利用卷积神经网络对冻干药物产品的缺陷检测 |
WO2020204904A1 (en) * | 2019-04-01 | 2020-10-08 | Google Llc | Learning compressible features |
GB2583509B (en) * | 2019-05-01 | 2023-02-22 | Advanced Risc Mach Ltd | System and method for fault detection and correction |
CN110779928B (zh) * | 2019-11-19 | 2022-07-26 | 汪科道 | 缺陷检测装置及方法 |
CN111768386B (zh) * | 2020-06-30 | 2024-02-20 | 北京百度网讯科技有限公司 | 产品缺陷检测方法、装置、电子设备和存储介质 |
JP7422621B2 (ja) | 2020-07-03 | 2024-01-26 | 株式会社日立製作所 | 認識管理装置、認識管理システム及び認識管理方法 |
CN113129265B (zh) * | 2021-03-18 | 2022-10-18 | 广东工业大学 | 瓷砖表面缺陷检测方法、装置及存储介质 |
CN113324993B (zh) * | 2021-05-19 | 2022-09-27 | 吉林大学 | 一种全方位的药瓶外观缺陷检测方法 |
EP4123506A1 (de) | 2021-07-20 | 2023-01-25 | Fujitsu Technology Solutions GmbH | Verfahren und vorrichtung zum analysieren eines produkts, trainingsverfahren, system, computerprogramm und computerlesbares speichermedium |
CN113673406A (zh) * | 2021-08-16 | 2021-11-19 | 杭州图灵视频科技有限公司 | 一种幕墙玻璃爆裂检测方法、系统、电子设备及存储介质 |
CA3229756A1 (en) * | 2021-08-23 | 2023-03-02 | Amgen Inc. | Apparatuses, systems and methods for vial seal inspection |
AU2022345880A1 (en) * | 2021-09-20 | 2024-03-28 | Eli Lilly And Company | Methods and apparatuses for detecting anomalies when filling a container with fluid |
CN114139456B (zh) * | 2021-12-03 | 2023-06-30 | 爱巢生物科技(常州)有限公司 | 基于卷积神经网络预测共熔点的干燥温度控制方法及系统 |
CN117562098B (zh) * | 2024-01-15 | 2024-05-03 | 河南科技学院 | 一种猪小里脊分离方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017004142A (ja) | 2015-06-08 | 2017-01-05 | 株式会社Preferred Networks | 学習装置ユニット |
WO2017187516A1 (ja) | 2016-04-26 | 2017-11-02 | 株式会社日立製作所 | 情報処理システムおよびその運用方法 |
JP2018018537A (ja) | 2015-10-30 | 2018-02-01 | 株式会社モルフォ | 閾値変更装置 |
JP2018514852A (ja) | 2015-03-27 | 2018-06-07 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 逐次画像サンプリングおよび微調整された特徴の記憶 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4912318A (en) * | 1987-08-04 | 1990-03-27 | Kanebo Ltd. | Inspection equipment for small bottles |
JP3351910B2 (ja) * | 1994-09-01 | 2002-12-03 | エーザイ株式会社 | バイアル瓶の検査方法と装置 |
JP2010181231A (ja) * | 2009-02-04 | 2010-08-19 | Hitachi Information & Control Solutions Ltd | 不透明溶液中の異物検査装置および異物検査方法 |
JP2011217835A (ja) * | 2010-04-06 | 2011-11-04 | Hoya Corp | 内視鏡の形状検出装置 |
US9098893B2 (en) * | 2011-12-21 | 2015-08-04 | Applied Materials Israel, Ltd. | System, method and computer program product for classification within inspection images |
BR112014018171A8 (pt) * | 2012-01-23 | 2017-07-11 | Perceptimed Inc | Identificação automatizada de pílulas farmacêuticas |
IL226111A (en) * | 2013-05-02 | 2015-11-30 | D I R Technologies Detection Ir Ltd | Thermography-based method, device and product to identify defects in sealing that includes a conductive internal gasket |
EP3915579A1 (en) | 2013-12-31 | 2021-12-01 | Infectious Disease Research Institute | Single vial vaccine formulations |
CN106462549B (zh) * | 2014-04-09 | 2020-02-21 | 尹度普有限公司 | 使用从显微变化中进行的机器学习来鉴定实体对象 |
WO2016080367A1 (ja) | 2014-11-18 | 2016-05-26 | 塩野義製薬株式会社 | 安定化されたペプチド組成物 |
CN107533671B (zh) | 2015-05-11 | 2021-02-23 | 株式会社东芝 | 模式识别装置、模式识别方法以及记录介质 |
GB2542115B (en) * | 2015-09-03 | 2017-11-15 | Rail Vision Europe Ltd | Rail track asset survey system |
WO2017106645A1 (en) * | 2015-12-18 | 2017-06-22 | The Regents Of The University Of California | Interpretation and quantification of emergency features on head computed tomography |
US11205119B2 (en) * | 2015-12-22 | 2021-12-21 | Applied Materials Israel Ltd. | Method of deep learning-based examination of a semiconductor specimen and system thereof |
US10115040B2 (en) * | 2016-09-14 | 2018-10-30 | Kla-Tencor Corporation | Convolutional neural network-based mode selection and defect classification for image fusion |
IL248641A0 (en) * | 2016-10-31 | 2017-02-28 | Rafael Advanced Defense Systems Ltd | A system and method for testing and classifying discrete objects |
US10713540B2 (en) * | 2017-03-07 | 2020-07-14 | Board Of Trustees Of Michigan State University | Deep learning system for recognizing pills in images |
WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
CN108229561B (zh) * | 2018-01-03 | 2022-05-13 | 北京先见科技有限公司 | 一种基于深度学习的颗粒产品缺陷检测方法 |
CN112912964A (zh) | 2018-10-19 | 2021-06-04 | 豪夫迈·罗氏有限公司 | 利用卷积神经网络对冻干药物产品的缺陷检测 |
-
2019
- 2019-10-16 CN CN201980068705.8A patent/CN112912964A/zh active Pending
- 2019-10-16 WO PCT/US2019/056511 patent/WO2020081668A2/en unknown
- 2019-10-16 JP JP2021520557A patent/JP2022504937A/ja active Pending
- 2019-10-16 US US16/654,200 patent/US11263738B2/en active Active
- 2019-10-16 EP EP19873903.9A patent/EP3867919A4/en active Pending
-
2022
- 2022-01-07 US US17/571,399 patent/US11810287B2/en active Active
-
2023
- 2023-02-28 JP JP2023029259A patent/JP7475509B2/ja active Active
- 2023-09-25 US US18/474,076 patent/US20240020817A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018514852A (ja) | 2015-03-27 | 2018-06-07 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 逐次画像サンプリングおよび微調整された特徴の記憶 |
JP2017004142A (ja) | 2015-06-08 | 2017-01-05 | 株式会社Preferred Networks | 学習装置ユニット |
JP2018018537A (ja) | 2015-10-30 | 2018-02-01 | 株式会社モルフォ | 閾値変更装置 |
WO2017187516A1 (ja) | 2016-04-26 | 2017-11-02 | 株式会社日立製作所 | 情報処理システムおよびその運用方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3867919A2 (en) | 2021-08-25 |
US20220207708A1 (en) | 2022-06-30 |
US20240020817A1 (en) | 2024-01-18 |
US20200126210A1 (en) | 2020-04-23 |
WO2020081668A2 (en) | 2020-04-23 |
EP3867919A4 (en) | 2022-08-31 |
US11810287B2 (en) | 2023-11-07 |
JP2022504937A (ja) | 2022-01-13 |
US11263738B2 (en) | 2022-03-01 |
WO2020081668A3 (en) | 2020-05-22 |
CN112912964A (zh) | 2021-06-04 |
JP2023081901A (ja) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7475509B2 (ja) | 畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出 | |
Zhang et al. | Automated machine vision system for liquid particle inspection of pharmaceutical injection | |
TWI582408B (zh) | 用於非破壞性檢測-流體中未溶解粒子之方法及裝置 | |
CN111696077A (zh) | 一种基于WaferDet网络的晶圆缺陷检测方法 | |
CN105403147B (zh) | 一种基于嵌入式的瓶胚检测系统和检测方法 | |
CN108896574A (zh) | 一种基于机器视觉的瓶装白酒杂质检测方法及系统 | |
CN111709948A (zh) | 容器瑕疵检测方法和装置 | |
Rill-García et al. | Inline monitoring of 3D concrete printing using computer vision | |
JPWO2020081668A5 (ja) | ||
Tsay et al. | Automating visual inspection of lyophilized drug products with multi-input deep neural networks | |
Vishwanatha et al. | A Survey on Defect Detection of Vials | |
WO2023154256A1 (en) | Visual inspection systems for containers of liquid pharmaceutical products | |
Yi et al. | Pharmaceutical foreign particle detection: an efficient method based on adaptive convolution and multiscale attention | |
Wang | RETRACTED ARTICLE: Application of deep learning to detect defects on the surface of steel balls in an IoT environment | |
Raab et al. | A Deep Learning-Based Model for Automated Quality Control in the Pharmaceutical Industry | |
Latina et al. | Empty Glass Bottle Defect Detection Based on Deep Learning with CNN Using SSD MobileNetV2 Model | |
JP7195342B2 (ja) | 検査プロセス | |
WO2022244075A1 (ja) | 検査システム | |
Wilkinson et al. | Predicting pharmaceutical powder flow from microscopy images using deep learning | |
Moghadas et al. | Detection and classification of foreign substances in medical vials using MLP neural network and SVM | |
Gui-Hua et al. | Research on Defect Detection in Aluminum-Plastic Blister Packaging of Pharmaceutical Products Based on Multi-Layer Perceptron | |
Patgiri et al. | Intelligent Defect Detection System in Pharmaceutical Blisters Using YOLOv7 | |
CN115841481A (zh) | 一种基于边界分布注意力的医药质量检测方法及系统 | |
Parducci | Deep Learning Object-Based Detection of Manufacturing Defects in X-ray Inspection Imaging | |
Wang et al. | Detection of Fiber Flaw on Pill Surface Based on Improved Deep Convolution Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |