JP2024001072A - 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム - Google Patents

医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム Download PDF

Info

Publication number
JP2024001072A
JP2024001072A JP2023164671A JP2023164671A JP2024001072A JP 2024001072 A JP2024001072 A JP 2024001072A JP 2023164671 A JP2023164671 A JP 2023164671A JP 2023164671 A JP2023164671 A JP 2023164671A JP 2024001072 A JP2024001072 A JP 2024001072A
Authority
JP
Japan
Prior art keywords
container
training
images
sample
imager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023164671A
Other languages
English (en)
Inventor
ドミトリー・フラドキン
Fradkin Dmitry
トーマス・クラーク・ピアソン
Clark Pearson Thomas
ニーリマ・チャバリ
Chavali Neelima
アーウィン・フロイント
Freund Erwin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amgen Inc
Original Assignee
Amgen Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amgen Inc filed Critical Amgen Inc
Publication of JP2024001072A publication Critical patent/JP2024001072A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9009—Non-optical constructional details affecting optical inspection, e.g. cleaning mechanisms for optical parts, vibration reduction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018—Dirt detection in containers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018—Dirt detection in containers
    • G01N21/9027—Dirt detection in containers in containers after filling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

【課題】シリンジ若しくはバイアルなどの医薬品容器の検査、及び／又はこのような容器内のサンプルの従来の検査手法を向上させる。【解決手段】ロボット検査プラットフォームは、ロボットアームと、イメージャと、コントローラとを含む。ロボットアームに、そのエンドエフェクタを使用して容器を取り出させ、容器がイメージャの視野内にある間に複数の向きに順次配置されるように、容器を操作させる。イメージャに画像を捕捉させ、各画像は、容器が向きのうちの各１つにある間に捕捉される。パターン認識モデルを使用して画像を解析することにより、容器及び／又は容器内のサンプルの１つ以上の属性を決定し、属性に基づいて、容器及び／又はサンプルが１つ以上の基準を満たしているかどうかを決定する。容器及び／又はサンプルが基準を満たしていない場合、ロボットアームに、不合格の容器及び／又はサンプル用に確保された領域内に容器を入れさせる。【選択図】図１

Description

本願は、概して、シリンジ若しくはバイアルなどの医薬品容器の検査、及び／又はこのような容器内のサンプルの検査に関する。
製造済み薬品の品質管理手順などの特定の状況では、流体又は他の（例えば、凍結乾燥）サンプルを、粒子、泡、又は汚れなどの様々な属性の存在に関して調べる必要がある。望ましくない粒子又は他の属性は、環境、誤った取り扱い若しくは保管、又は形成、包装、若しくは充填の副産物／残留物などの多くの異なる原因に由来し得る。状況に応じて、特定種類の属性（例えば、泡）は許容される場合があるが、他の属性（例えば、粒子、特定種類の粒子、特定の大きさ及び／又は数を超える粒子、等）は許容できない場合がある。許容できない属性が流体サンプル中に検出された場合、この流体サンプルは不合格にされる。
大型の商用検査機械において欠陥の検出のために従来使用されている画像処理法は、困難な検査タスクに直面した時に高い精度を達成するのに苦心することが多い。これは、欠陥属性と非欠陥属性とが同時に存在し得る一方で、非常に似た外観も有するサンプルを評価することが必要な検査に特に当てはまる。例えば、液体充填済みのシリンジの検査には、ピストンドーム上の粒子又は汚れ（欠陥）とピストンドーム上の無害な泡（非欠陥）との判別を伴う場合がある。自動化されたプロセスでは、このことが、不良サンプルを許容可能な比率（例えば、１００％の確率又は少なくとも９９．９９９９９％の確率等）で不合格にすることを確実にするのを困難にするとともに、適格サンプルが許容可能な比率で承認される（即ち、誤って不合格にされない）ことを確実にするのを困難にする可能性がある。前者の状況は、潜在的に危険な状態を招く可能性があり、後者の状況は、合格製品の不必要な廃棄による高コストを招く可能性がある。自動化されたシステムの精度の乏しさは場合によっては他の手段（例えば、検査の反復、手動検査等）によって補償することができるが、このような手法は、一般に、時間及びコスト両方の点において高額である。同様の欠点が、容器自体の欠陥を検査する場合などの他の品質手順に関連して存在する。
本明細書に記載される実施形態は、従来の検査手法を向上させるシステムに関する。特に、ロボット検査プラットフォームは、パターン認識（例えば、深層学習）モデル／手法を使用して医薬品容器（例えば、シリンジ、バイアル、カートリッジ等）の検査及び／又はこのような容器内のサンプル（例えば、流体、凍結乾燥製品等）の検査を実施し、非常に困難な検査タスクにも対処することができる。パターン認識モデルは、例えば、流体サンプル中の粒子と泡との間を、又は特定種類の粒子と特定種類の泡等との間を確実に判別することが可能であり得る。ロボット検査プラットフォームはまた、パターン認識モデルの初期（生産前）開発又は訓練を容易にするように構成されてもよい。いくつかの実施形態及び／又は状況においては、プラットフォームは、容器及び／又はサンプルの一次（例えば、単独又は初期）検査を実施するために使用されてもよい。或いは、プラットフォームは、別の自動化された検査システム（例えば、信頼性／精度がより低い従来の自動化された検査システム）によって不合格品又は不合格品の可能性が高いとして既に識別された容器及び／又はサンプルを再検査するために使用されてもよい。
プラットフォームが機械学習モデルを実装する実施形態では、モデルは、訓練用画像の大規模データセットと教師あり学習法とを使用して訓練されてもよい。プラットフォームは、訓練用画像を捕捉するために、制御された条件（例えば、正確で再現性のある容器の向き及び照明条件）下で使用されてもよく、その後、人の解析者が訓練用画像の属性に手動でラベル付けしてもよい。例えば、解析者は、訓練用画像内の物体を特定の物体の種類としてラベル付け／分類してもよい。訓練用画像を捕捉するために、プラットフォームのロボットアームがいくつかの容器のそれぞれを順次取り上げ、容器をイメージャの前に提示し、異なる角度／向きの画像が取得されている間、容器を操作（例えば、回転）してもよい。訓練プロセスでは、人の解析者が分類タスクを実施した時に十分に広範な欠陥及び／又は欠陥の種類に遭遇することを確実にするために、意図的に導入された欠陥を有する（及び／又は意図的に導入された欠陥を有するサンプルを保持する）容器が使用され得る。
モデルが訓練されて、組み込まれると、プラットフォームは、「生産」、「ランタイム」、「動作」、又は「処理」モードに切り替えることができる。このモードでは、訓練プロセス中に行ったのと同様に、ロボットアームは新たな容器（サンプルを保持している可能性がある）を取り出し、容器をイメージャの前で操作する。各容器に対する画像がメモリに保存され、コンピュータにより、訓練されたパターン認識モデルを使用して処理され得る。コンピュータはまた、容器が合格であるか「不合格」であるかどうかを決定するための１つ以上の基準を適用することによりモデルの出力を処理してもよい。容器が不合格になった場合（容器内のサンプルが欠陥を有する及び／又は容器自体が欠陥を有することにより）、ロボットアームは容器をその目的のために特に確保された箱又は他の領域に入れてもよい。ロボット検査プラットフォームは、実施形態及び／又は状況に応じて、容器のみを検査するように、製品サンプル（例えば、容器内の流体若しくは凍結乾燥製品）のみを検査するように、又は容器とサンプルの両方を検査するように構成されてもよい。一実施形態では、適切な機械学習モデルが導入される限り、例えば、単一のロボット検査プラットフォームがこれら機能のいずれも実施することができる。
当業者であれば、本明細書に記載される図は、説明の目的で含まれるものであり、本開示を限定するものではないことを理解するであろう。図面は必ずしも縮尺通りではなく、その代わりに、本開示の原理を示すことに重点が置かれている。いくつかの場合では、記載される実施形態の様々な態様は、記載される実施形態の理解を容易にするために、誇張又は拡大して示される場合があることは理解されたい。図面中、様々な図面における同様の参照符号は、全般的に、機能的に類似する及び／又は構造的に類似する構成要素を指す。
一実施形態による例示的なロボット検査プラットフォームを示す。 図１のロボット検査プラットフォームを使用して検査され得る例示的なシリンジとして、充填済みシリンジサンプルのプランジャの図を示す。 一実施形態による、図１のロボット検査プラットフォームと関連付けられ得る例示的な制御システムのブロック図である。 一実施形態による、パターン認識を使用して容器及び／又はサンプルの検査を実施する例示的な方法のフロー図である。 図４の方法とともに使用され得る、一連の容器及び／又は容器内に収容されたサンプルの検査を実施する例示的な方法のフロー図である。
上で紹介し、以下でより詳細に説明する様々な概念は、多くの手法のうちのいずれかで実施することができ、説明する概念は、任意の特定の実施手法に限定されるものではない。実施形態の例は、例示的な目的で提供される。
図１は、本開示の一実施形態によるロボット検査プラットフォーム１００を示す。ロボット検査プラットフォーム１００は、いくつかの容器１０４を収容するプレート１０２を含む。容器１０４は、シリンジ、バイアル、カートリッジ等のような完全に又は部分的に透明又は半透明な医薬品容器であってもよく、それぞれがサンプル（例えば、流体又は凍結乾燥医療製品）を収容してもよい。或いは、いくつかの実施形態及び／又は状況においては（例えば、ロボット検査プラットフォーム１００が容器内のサンプルではなくそれらの容器のみを解析する場合）、容器１０４は不透明であってもよい。各容器１０４は、プレート１０２の大きさ及び構成に応じて、任意の適切な量のサンプルを受け入れるように構成されてもよい。例えば、各容器１０４は、数十ナノリットルの流体、又は数ミリリットルの流体等を保持することができてもよい。プレート１０２は、容器１０４を、確実に、しかし取り外し可能に保持するような寸法にされたいくつかのキャビティ又はウェル（例えば、８０ウェル、９６ウェル等）を含んでもよい。
ロボット検査プラットフォーム１００はまた、撮像システム１０６を含む。撮像システム１０６は、概して、容器１０４などの容器を照明し、照明された容器の画像を捕捉するように構成されている。この目的のために、撮像システム１０６は、光源と、イメージャと、可能であれば、光源からの光及び／又はサンプル（及び／又は容器自体）によって散乱された光を適切な手法で方向転換するための１つ以上の鏡及び／又は他の光学要素とを含んでもよい。光源は、発光ダイオード（ＬＥＤ）ライト又は任意の他の好適な種類の光源であってもよく、任意の適切な波長（又は波長の範囲）の光を提供してもよく、１つ又は複数の位置にライトを含んでもよい。光源は、固定の若しくは手動で調節可能なパラメータのみを有してもよい、又は１つ以上のコンピュータ制御されるパラメータ（例えば、強度、方向等）を有してもよい。図１は、単一のイメージャ及び１つの鏡のみを示すが、その代わりに、撮像システム１０６は、異なる位置に配置された複数のイメージャ、複数の鏡（又は鏡なし）等を含んでもよい。イメージャは、イメージセンサ、光学式スタビライザー、画像バッファ、フレームバッファ、フレームグラバ、電荷結合デバイス（ＣＣＤ）、相補性金属酸化膜半導体（ＣＭＯＳ）デバイス等のようなハードウェア及び／又はソフトウェアの任意の適切な組み合わせを含んでもよい。いくつかの実施形態では、イメージャは、１つ以上の赤外線カメラデバイスなどの不可視波長で動作する撮像デバイスを含んでもよい。更に、いくつかの実施形態では、光源は、異なる構成、向き、パラメータ等を有するいくつかのライトを含んでもよく、光源は、異なるライトがストロボできるように構成されてもよい。このようにして、各画像が異なるライトに対応する異なる画像が取得され得る。ストロボライトの異なるものは、例えば、容器及び／又はサンプルの異なる属性を露出させるのにより適し得る。
ロボット検査プラットフォーム１００はまた、ロボットアーム１１０を含む。ロボットアーム１１０は、複数の関節式セグメント（例えば、６自由度の運動が可能な７つのセグメント）と、エンドエフェクタ１１２とを有する。ジョイントが様々なセグメントを接続し、セグメントは、制御可能なステッピングモータ又は他の適切な手段を用いて関節運動され得る。ロボットアーム１１０は、制御フィードバックを提供するためにモーションセンサ及び／又は他のセンサを組み込んでもよく、ロボットアーム１１０がある許容閾値内において意図した状態で動くことを確実とする。
プレート１０２内の容器１０４の中からロボットアーム１１０が取り出した容器（例えば、シリンジ）１１４を保持したエンドエフェクタ１１２を図１に示す。エンドエフェクタ１１２は、容器をしっかりと固定する（例えば、把持する）のに適した硬度を有しているが、壊れやすい（例えば、ガラス）容器の破損を避けることにも適した材料を含む。エンドエフェクタ１１２は、容器１１４を圧迫することによって、又は容器１１４に要素を挿入し、外側に向かって広げることによって動作してもよい。エンドエフェクタ１１２は、制御フィードバックを提供するために１つ以上の圧力センサを組み込んでもよく、エンドエフェクタ１１２がある許容閾値内における意図した量の力を提供することを確実とする。
ロボットアーム１１０は、モータ、又は他の適切な、エンドエフェクタ１１２によって保持された物体の回転操作／運動及び／又は並進操作／運動用の手段を含んでもよい。例えば、ロボットアーム１１０は、エンドエフェクタ１１２を回転させる及び／若しくは傾ける（ロール及びピッチのため）こと、並びに／又は関節式アームセグメントを動かす（ヨーのため）ことによって、容器１１４のロール角、ピッチ角、及びヨー角の調節が可能であってもよい。いくつかの実施形態では、ロボットアーム１１０は、Ｕｎｉｖｅｒｓａｌ Ｒｏｂｏｔｓ（ＵＲ（登録商標））によって提供されているＵＲ３ロボットアームなどの市販のデバイスである。
ロボット検査プラットフォーム１００はまた、不良品の容器及び／又はサンプルを廃棄するための不合格品箱１２０を含む。図１の実施形態では、不合格品箱１２０は、４つの側壁と、底面／床面と、開放頂部とを有する単純な容器である。他の実施形態では、不合格品箱１２０は、異なるように構築されてもよい（例えば、容器は、開放スロットを有する頂部、又はプレート１０２に類似する、ウェルを有するプレート、等を含む）。
図１には図示しないが、コントローラは、撮像システム１０６の少なくとも一部分と、ロボットアーム１１０とに通信的に結合されている。コントローラは、本明細書に記載される実施形態に従って特にプログラムされた汎用コンピューティングデバイスであってもよい、又は専用コントローラデバイス（例えば、撮像システム１０６及び／又はロボットアーム１１０内に統合された専用プロセッサ）であってもよい。コントローラの一実施形態について、図３とともに以下でより詳細に説明する。
コントローラは、ランタイム動作中の撮像システム１０６とロボットアーム１１０の動作を調整する。本明細書で使用される「ランタイム」動作という用語は、例えば、医薬品容器及び／又はサンプルの製造及び包装後、販売又は他の流通の前に、品質管理手順を適用するための、生産時のロボット検査プラットフォーム（例えば、プラットフォーム１００）の動作を指す。いくつかの実施形態では、以下で更に詳述するように、コントローラは、ランタイム動作の前に、パターン認識モデルの訓練中の撮像システム１０６とロボットアーム１１０の動作も調整する。
ランタイム動作中、コントローラはコマンド信号を生成し、コマンド信号を撮像システム１０６及び／又はロボットアーム１１０に送信する。コマンド／制御信号の伝送については、図３とともに以下で更に記載する。
ここで、一実施形態によるロボット検査プラットフォーム１００の制御／動作について記載する。最初に、コントローラはロボットアーム１１０に、エンドエフェクタ１１２を使用して容器１１４を固定すること（例えば、把持すること、吸引すること等）によってプレート１０２から容器１１４を取り出させ、撮像システム１０６のイメージャによって容器１１４がはっきりと「見える」位置に容器１１４を移動させる（例えば、図１に示すように）。撮像システム１０６の光源は、容器１１４及び（もしあれば）容器１１４内のサンプルを照明する。撮像システム１０６の様々な構成要素（例えば、イメージャ、鏡、光源）は、光源からの光が容器１１４を通過し、容器１１４内の物体（例えば、粒子、泡等）によって反射又は屈折又は遮断され、イメージャに入射するように構成されている。追加的に又は代替的に（例えば、容器１１４がサンプルを収容していない場合）、光は、容器１１４の様々な部分によって反射又は屈折又は遮断され得る。例えば、光源は長時間にわたって「オン」状態にあってもよい、又はコントローラが光源を適時にオンにしてもよい。
その後、コントローラは、イメージャに、容器１１４の少なくとも１つの画像、及び可能であれば、容器１１４内のサンプルも捕捉させる。しかしながら、容器１１４がサンプルを保持するいくつかの実施形態及び／又は用途では、コントローラは、最初、撮像の直前に、ロボットアーム１１０に容器１１４を撹拌させる（例えば、振とうさせる、反転させる、等）。最初の画像が捕捉された後、容器１１４が一連の異なる向きに配置されるように、コントローラはロボットアーム１１０にエンドエフェクタ１１２を操作させる。例えば、容器１１４を、その長手方向軸線を中心に２０度刻みで回転させてもよい（例えば、合計１８の異なる向きを提供する）及び／又は図１に示される垂直位置に対して様々な角度に傾けてもよい。この向きは、例えば、以下で更に記載されるように、人の解析者によって手動でラベル付けされた訓練用画像を得るために使用した向きと正確に対応する向きであり得る。各向きにおいて、コントローラはイメージャに、容器１１４及び容器１１４内の流体サンプルの１つ以上の画像を捕捉させてもよい。即ち、コントローラは、適時、コマンド信号を使用して、撮像システム１０６とロボットアーム１１０とを同期させてもよい。いくつかの実施形態では、撮像システム１０６の光源の異なるライト（例えば、異なる構成、向き、特性等を有するライト）が容器１１４のそれぞれの向きに対してストロボし、容器１１４を次の向きに移動させる前に、各ライトに対して容器１１４の少なくとも１つの画像が捕捉される。或いは、ロボットアーム１１０は、容器１１４を第１の光に対して全ての向きにわたって移動させ、その後、容器１１４を第２の光に対して全ての向きにわたって移動させる等であってもよい。
その後、コントローラは、捕捉された画像を処理し、容器１１４（例えば、容器自体又は容器１１４内のサンプル）を不合格にすべきかどうかを決定してもよい。不合格になった場合、ロボットアーム１１０は、容器１１４を不合格品箱１２０に入れることにより容器１１４を廃棄する。不合格でなかった場合、ロボットアーム１１０は容器１１４を、容器１１４を取り出したプレート１０２のウェルに戻してもよい、又は別の適切な位置に置いてもよい。ロボットアーム１１０は、例えば、このプロセスを、プレート１０２内に保管された容器１０４のそれぞれについて繰り返してもよい。
所与の容器を不合格にすべきかどうかを決定するために、コントローラは、容器及び／又はサンプルのいくつかの属性を決定してもよい。コントローラは、容器１１４の異なる向きに対応する画像を含む容器及び／又はサンプルの画像を、パターン認識モデルを使用して解析することにより、属性を決定してもよい。実施形態によっては、パターン認識モデルは、（例えば、教師あり学習法を用いて訓練された）機械学習モデルであってもよい、又は完全に人が設計したモデル（例えば、発見的モデル）であってもよい。機械学習モデルの訓練について以下で更に詳細に記載する。
本明細書で使用する場合、「属性」とは、サンプル又は容器の任意の確認可能な品質又は特性を広く意味し得る。例えば、且つ限定されることなく、流体サンプルの属性は、１つ以上の物体（例えば、粒子又は泡）の存在、１つ以上の特定種類の物体（例えば、特定の粒子の種類又は泡の種類、例えば、特定の材料からなる粒子、又は特定のサイズを有する若しくは特定のサイズ範囲内にある粒子若しくは泡、等）の存在、物体又は特定種類の物体の数、物体又は特定種類の物体のサイズ、汚れの存在又はサイズ、等であってもよい。別の例として、容器の属性は、１つ以上の欠け又は割れの存在、１つ以上の特定種類の欠け又は割れ（例えば、直線対鋸歯状の割れ、又は少なくとも特定の深さを有する欠け、等）の存在、容器における１つ以上の変形（例えば、反り）の存在、容器の特定の部分（例えば、プランジャ、フランジ等）における変形の存在、等であってもよい。したがって、パターン認識モデルは、物体、汚れ、欠け、割れ、変形等を識別及び／又は分類することにより動作し得る。単なる一例として、一実施形態では、モデルは、撮像システム１０６のイメージャによって捕捉されたデジタル画像中の特定の画素が全て、単一の物体に対応すると決定し、その後、識別された物体を、泡、粒子、特定種類の粒子又は泡等として分類してもよい。本明細書で使用する場合、「粒子」という用語は、例えば、タンパク質性粒子状物質又はガラス薄片などの、ガス入りの泡以外の物体を指す。
実施形態によっては、コントローラは、所与の容器又はサンプルに対して、１つの属性のみ又はいくつかの異なる属性を決定するように構成されてもよい。いくつかの実施形態では、例えば、コントローラのパターン認識モデルは、（例えば、特定の物体の存在を識別し、これら物体を分類するために）第１の属性セットを決定するように訓練又は設計され、その後、コントローラは、第２の属性セットを決定する（例えば、識別及び分類された物体の数を決定する、識別された物体のサイズを測定する、粒径のヒストグラムを生成する、等）ために更なる処理を実施する。
液体充填済みのシリンジのプランジャ１５０の拡大図を提供する図２に、流体サンプルの属性の一例を示す。例えば、シリンジは、図１の容器１１４であってもよい。図２に見られるように、側壁１５２がシリンジ内容物（即ち、流体サンプル）を包囲し、プランジャ１５０のピストン／ドームの表面１５４は、泡１６０Ａ～１６０Ｅ及び粒子１６０Ｆを含むいくつかの物体１６０により覆われている。泡１６０Ａ～１６０Ｅは、例えば、攪拌及び／又は化学反応の結果であり得る。粒子１６０Ｆは、流体サンプルの製造又は処理（又はプランジャ１５０の製造等）中に導入された汚染物質である可能性があり、無害又は有害な可能性がある。可能性のある欠陥の他の例（図２に図示せず）は、汚れ及び／又は他の属性を含み得る。
ここで再度図１を参照すると、コントローラは、容器及び／又は容器内のサンプルが１つ以上の基準を満たしていない場合、所与の容器を不合格にしてもよい。この基準は、少なくとも一部、決定された属性に基づくものである。基準は、比較的単純であってもよい（例えば、粒子又は他の非泡物体がサンプル内に存在する場合、流体サンプルは不合格にされる）、又はより複雑であってもよい（例えば、サンプルの「スコア」が閾値を超えた場合、流体サンプルは不合格にされる。この場合、コントローラは、サンプル中の粒子の数、種類、及び大きさとサンプル中の泡の数、種類、及び大きさとに基づいてスコアを計算する）。コントローラが異なる種類の容器及び／又はサンプル（及び／又は異なる視野／視点等）を検査可能な実施形態では、コントローラは、異なる容器及び／又はサンプルの種類（及び／又は異なる視野／視点等）に対する異なる基準セットを格納してもよい。
ここで、コントローラの例示的な実施形態について、図３を参照しながら説明する。図３に見られるように、制御システム２００は、コントローラ２０６（例えば、上述したコントローラ）を含んでもよい。コントローラ２０６は、ロボットアーム１１０と撮像システム１０６とを含む図１のロボット検査プラットフォーム１００の様々な構成要素と通信するように構成されており、且つこれらを制御するように構成されている。他の実施形態では、制御システム２００は、図１のプラットフォーム１００とは異なるロボット検査プラットフォームを制御するために使用されてもよい。
一実施形態では、制御システム２００は、ロボット検査プラットフォーム１００の完全自律又は半自律動作を容易にするように構成されている。特に、制御システム２００は、（例えば、上述した手法で）容器１０４などの容器の自動操作及び解析をサポートしてもよい。コントローラ２０６は、例えば、ロボットアーム１１０と撮像システム１０６とに結合された又はそうでなければロボットアーム１１０及び撮像システム１０６と通信するハードウェア及び／又はソフトウェアの任意の適切な組み合わせとして実装されてもよい。例えば、コントローラ２０６は、ロボットアーム１１０及び／若しくは撮像システム１０６が取り付けられたステージに取り付けられた又はこのステージ内に統合されたデバイスとして実装されてもよい。或いは、コントローラ２０６は、ロボット検査プラットフォーム１００から離れて配置されてもよい。
いずれにしても、コントローラ２０６は、有線リンク、無線リンク、又はこれらの任意の適切な組み合わせを介してロボットアーム１１０及び／又は撮像システム１０６に結合されてもよい。したがって、図３において、リンク２１０及び／又はリンク２１２はそれぞれ、コントローラ２０６とロボットアーム１１０及び撮像システム１０６のうちの１つ又は両方との間の通信を容易にするための１つ以上の有線リンク及び／又は無線リンクを表し得る。図３には２つの別個のリンク２１０及びリンク２１２を示しているが、コントローラ２０６は、例えば、単一の共通リンク又はバスなどの任意の適切な数のリンクを介してロボットアーム１１０及び撮像システム１０６と通信してもよいと理解される。
ロボットアーム１１０及び撮像システム１０６との通信及びこれらの制御を容易にするために、コントローラ２０６は、処理ユニット２２０と、通信ユニット２２２と、メモリユニット２２４とを含んでもよい。処理ユニット２２０は、例えば、コントローラ２０６のホストプロセッサなどの、任意の適切な種類及び／又は数のプロセッサとして実装されてもよい。更なる例を提供すると、処理ユニット２２０は、コントローラ２０６と関連付けられた、特定用途向け集積回路（ＡＳＩＣ）、組み込みプロセッサ、中央処理ユニット（ＣＰＵ）等として実装されてもよい。図３には図示しないが、処理ユニット２２０は、例えば、任意の適切な数のデータ及び／又はアドレスバスなどの１つ以上の有線及び／又は無線相互接続を介して通信ユニット２２２及び／又はメモリユニット２２４と結合されてもよい（及び／又はそうでなければ、これと通信する、これを制御する、これとともに動作する、及び／又はこの動作に影響を及ぼすように構成されてもよい）。
例えば、処理ユニット２２０は、メモリユニット２２４に記憶されたデータ（例えば、撮像システム１０６の１つ以上のイメージャによって捕捉された画像）を検索、処理、及び／又は解析するように構成されてもよく、このようなデータをメモリユニット２２４に記憶するように構成されてもよく、メモリユニット２２４に記憶されたデータを入れ替えるように構成されてもよく、ロボットアーム１１０（例えば、本明細書に記載されるロボットアームの機能のいずれか）及び／又は撮像システム１０６（例えば、本明細書に記載される撮像機能のいずれか）と関連する様々な機能を制御するように構成されてもよい、等である。
通信ユニット２２２は、コントローラ２０６とロボットアーム１１０及び撮像システム１０６のうちの１つ又は両方との間の通信を容易にするための任意の適切な数及び／又は種類の通信プロトコルをサポートするように構成されてもよい。通信ユニット２２２は、コントローラ２０６とロボットアーム１１０及び撮像システム１０６のうちの１つ又は両方との間の（例えば、リンク２１０及び／又はリンク２１２を介した）任意の適切な種類の情報の交換を容易にするように構成されてもよく、且つこのような機能を容易にするためのハードウェア及び／又はソフトウェアの任意の適切な組み合わせとして実装されてもよい。例えば、通信ユニット２２２は、任意の数の有線及び／又は無線トランシーバ、モデム、ポート、入出力インターフェース、コネクタ、アンテナ等を実装してもよい。図３には図示しないが、ロボットアーム１１０及び／又は撮像システム１０６は、リンク２１０及び／又はリンク２１２を介した通信を可能にするために同様の種類の通信ユニットを含んでもよい。
様々な実施形態によれば、メモリユニット２２４は、任意の適切な揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、バッテリーバックアップＲＡＭ、ＦＬＡＳＨ等）、又はこれらの組み合わせを含む、１つ以上のコンピュータ可読の非一時的記憶デバイスであってもよい。メモリユニット２２４は、処理ユニット２２０によって実行され得る命令を記憶するように構成されてもよい。これら命令は、処理ユニット２２０によって実行されると、本明細書に記載される様々な行為を処理ユニット２２０に実施させる機械可読命令を含んでもよい。コントローラ２０６の様々な機能は、メモリユニット２２４に記憶された命令の、処理ユニット２２０による実行の観点から本明細書に記載されているが、その代わりとして、同等の機能を、ハードウェアコンポーネント（例えば、ハードウェアプロセッサ）のみを使用して実現してもよいことは理解されるであろう。メモリユニット２２４はまた、撮像システム１０６のイメージャによって捕捉された画像、識別されたサンプル及び／又は容器の属性を示すデータ等のような、ロボット検査プラットフォーム１００とともに使用される任意の他の適切なデータを記憶するように構成されてもよい。
制御モジュール２３０は、処理ユニット２２０によって実行されると、本明細書に記載される適切な実施形態に従う様々な行為を処理ユニット２２０に実施させる、メモリユニット２２４内の一連の命令である。一実施形態では、制御モジュール２３０は、処理ユニット２２０によって実行されると、処理ユニット２２０に、例えば図１と関連して上述したようなロボットアーム１１０の動作（例えば、運動）を制御するための１つ以上のコマンドをロボットアーム１１０に対して送信させる命令を含む。更に、制御モジュール２３０は、処理ユニット２２０によって実行されると、処理ユニット２２０に、例えば図１と関連して上述したような撮像システム１０６の動作を制御するための１つ以上のコマンドを撮像システム１０６に対して送信させる命令を含んでもよい。
例えば、処理ユニット２２０は、通信ユニット２２２を介してロボットアーム１１０にコマンドを送信してもよく、このコマンドは、ロボットアーム１１０に、プレート１０２から容器１０４を順次取り出させ、撮像システム１０６の１つ以上のイメージャの視野内に各容器１０４を置かせ、イメージャの視野内にある間に複数の向きを取るように各容器１０４を操作させる。或いは、処理ユニット２２０は、通信ユニット２２２を介して撮像システム１０６にコマンドを送信してもよく、このコマンドは、イメージャ（又は複数のイメージャ）を静止した容器に対して移動させる（例えば、容器が視野内に留まるように容器に対向しながら容器の周りを回転させる）。いずれの場合においても、同じ時間フレームにわたって、処理ユニット２２０は、通信ユニット２２２を介して撮像システム１０６にコマンドを送信してもよく、このコマンドは、イメージャに、上述の相対的な向きのそれぞれにある間の各容器１０４の画像を捕捉させ、これらの画像をコントローラ２０６に提供させ、メモリユニット２２４に記憶させる。いくつかの実施形態では、処理ユニット２２０はまた、通信ユニット２２２を介して撮像システム１０６にコマンドを送信し、このコマンドは、適時、撮像システム１０６の光源をオン及びオフにさせる（例えば、画像が捕捉される時に各容器１０４が照明されるように）、及び／又はこのような光源の他のパラメータ（例えば、強度レベル、波長等）を設定させる。
不合格品識別モジュール２３２は、処理ユニット２２０によって実行されると、本明細書に記載される適切な実施形態に従う様々な行為を処理ユニット２２０に実施させる、メモリユニット２２４内の一連の命令である。一実施形態では、不合格品識別モジュール２３２は、処理ユニット２２０によって実行されると、処理ユニット２２０に、撮像システム１０６から受信された容器／サンプル画像を、パターン認識モジュール２４０を使用して処理させる命令を含む。
パターン認識モジュール２４０は、任意の適切なパターン認識モデルを使用して、（例えば、１つの容器当たりに１つの、１つの向き当たりに１つの、又は１つの向き当たりに複数の）画像を処理し、これらの画像に対応する容器及び／又はサンプルの１つ以上の属性を決定してもよい。いくつかの実施形態では、パターン認識モジュール２４０は、以下で更に記載されるように、教師あり学習を用いて訓練された機械学習モデルを実装する。概して、パターン認識モデルは、パラメトリック又はノンパラメトリック分類アルゴリズム、ニューラルネットワーク、サポートベクターマシン等のような任意の適切な手法を使用してもよい。パターン認識モジュール２４０は、例えば、本明細書に記載される属性のいずれか（例えば、物体、特定の物体の種類、構造的欠陥等）などの特定の属性を識別するように訓練される又は設計される。
いくつかの実施形態では、パターン認識モジュール２４０は、入力（例えば、容器の１つ以上の画像）を受け付ける訓練済みの機械学習モデルを実装し、入力は訓練済みのモデルを１回通過し、「推論」の実行と呼ばれるプロセスで出力（例えば、容器及び／又は容器内のサンプルに関する１つ以上の属性分類）を生成する。ハードウェア又は他の処理ユニット（例えば、ＦＰＧＡ、ＡＳＩＣ、グラフィック処理ユニット（ＧＰＵ）等）に関する任意の適切な技術又は進歩を利用してこのような推論を非常に迅速に実行し、容器及び／又はサンプルの非常に高速且つ効率的な検査をもたらすことができる。
いくつかの実施形態では、パターン認識モジュール２４０は、特定の容器及び／又はサンプル属性を示す分類／ラベル／カテゴリのみならず、分類が正しい確率がどれほどであるかを反映する信頼度スコアも出力する。例えば、パターン認識モジュール２４０は、サンプル中に特異な粒子が存在する確率が６７．２２２％であることを示す値［粒子、０．６７２２２］、サンプルが種類Ａの特異な粒子を含有する確率が８５．３％であることを示す値［粒子Ａ、０．８５３］、又はサンプルが種類Ａの厳密に３つの粒子を含有する確率が５１％であることを示す値［３、粒子Ａ、０．５１０］等を出力し得る。
いくつかの実施形態では、不合格品識別モジュール２３２は、パターン認識モジュール２４０によって出力されない追加的な属性を決定するように構成されている。例えば、不合格品識別モジュール２３２は、パターン認識モジュール２４０によって分類された物体の大きさを決定／測定してもよい、及び／又は特定のクラス内の物体の数を決定／カウントしてもよい、等である。不合格品識別モジュール２３２が任意の追加的な属性を決定するかどうかを問わず、不合格品識別モジュール２３２は、決定された属性（及び可能であれば対応する信頼度スコアも）使用して、容器を不合格にすべきかどうか、即ち、容器及び／又はサンプルが１つ以上の基準を満たしていないかどうかを決定してもよい。
例えば、不合格品識別モジュール２３２は、対応する画像内に閾数（ｔｈｒｅｓｈｏｌｄ ｎｕｍｂｅｒ）の粒子及び／若しくは泡、閾数の特定種類の粒子及び／若しくは泡、又は少なくとも閾値サイズを有する閾数の特定種類の泡等をパターン認識モジュール２４０が識別したサンプルを保持する容器を不合格にしてもよい。いくつかの実施形態では、不合格品識別モジュール２３２は、属性と信頼度スコアとの数学関数であるスコアを計算する。スコアが所定の閾値を上回る（或いは、下回る）場合、容器は不合格にされる。不合格品識別モジュール２３２が所与の容器を不合格にすべきかどうかを決定した後、処理ユニット２２０は、通信ユニット２２２を介して、ロボットアーム１１０に容器を不合格品箱１２０（不合格にされた場合）内に入れさせる又はプレート１０２若しくは別の適切な位置（不合格にされなかった場合）に戻させるコマンドをロボットアーム１１０に送信してもよい。
いくつかの実施形態では、上述したように、ロボット検査プラットフォーム１００は、訓練済みの機械学習モデルを用いてサンプル（及び／又は容器自体）を解析するためだけでなく、そのモデルの訓練を容易にするためにも使用してよい。このような実施形態では、処理ユニット２２０は、訓練用容器（即ち、訓練用サンプルを保持している容器又は空の訓練用容器）の画像が捕捉され、手動ラベリングのために人の解析者に提示され、ラベル付けされた画像が教師あり学習プロセスで使用されるプロセスを実施してもよい。特に、処理ユニット２２０は、通信ユニット２２２を介してロボットアーム１１０にコマンドを送信してもよく、このコマンドは、ロボットアーム１１０に、プレート（例えば、プレート１０２に類似）又は他の適切なソース領域から訓練用容器を順次取り出させ、撮像システム１０６のイメージャの視界内に各訓練用容器を置かせ、イメージャの視野内にある間に複数の向きを取るように各訓練用容器を操作させる。同じ時間フレームにわたって、処理ユニット２２０は、通信ユニット２２２を介して撮像システム１０６にコマンドを送信してもよく、このコマンドは、撮像システム１０６のイメージャに、容器（或いは、イメージャ）がいくつかの異なる向きにある間の各訓練用容器の画像を捕捉させ、これらの訓練用画像をコントローラ２０６に提供させ、メモリユニット２２４に記憶させる。いくつかの実施形態では、処理ユニット２２０はまた、通信ユニット２２２を介して撮像システム１０６にコマンドを送信し、このコマンドは、適時、撮像システム１０６の光源をオン及びオフにさせる（例えば、訓練用画像が捕捉される時に各訓練用容器が照明されるように）、及び／又はこのような光源の他のパラメータ（例えば、強度レベル、波長等）を設定させる。
概して、処理ユニット２２０は、ロボット検査プラットフォーム１００をランタイム動作と同様に動作させてもよい。例えば、訓練用サンプル容器（又はイメージャ）は、上述のように、後にランタイム動作中に使用されるのと同じ向きを取るように操作されてもよい。光源がコンピュータ制御可能なパラメータ（例えば、強度、波長等）を有する場合、訓練プロセスは、後にランタイム動作中に使用されるものと同じ光源パラメータを訓練中に存在させるコマンドを処理ユニット２２０が送信することも含んでよい。手動で調節可能な光源の任意のパラメータ又は構成に関しては、概して、訓練とランタイム動作の両方の際のパラメータ／構成が同じである又は少なくとも非常に似ていることが重要である。
人の解析者は、実施形態に応じて様々な手法で訓練用画像にラベル付けしてもよい。例えば、処理ユニット２２０は、メモリユニット２２４に訓練用画像を記憶し、所与の訓練用容器に関して記憶した画像を提示するグラフィカルユーザインタフェース（ＧＵＩ）を生成してもよい。処理ユニット２２０はまた、解析者のラベリングプロセスを支援する様々なインタラクティブ機能を提供してもよい。１つのこのような実施形態では、解析者は、画像内の物体又は他の属性の周囲に矩形又は他の多角形をドラッグ又は描画し、囲まれた属性の分類をタイプしてもよい（又はメニュー等から選択してもよい）。図２を参照すると、例えば、示されたシリンジ１５０の画像を見ている解析者は、粒子１６０Ｆの周囲に矩形を描画し、粒子１６０Ｆを正確に描写していると自身が考える粒子の種類をタイプ又は選択してもよい。別の例として、解析者は、泡１６０Ｃの周囲に矩形を描画し、ラベル等として「泡」（又は特定の泡の種類）をタイプ又は選択してもよい。
図４は、一実施形態による、パターン認識を使用して容器（即ち、容器内のサンプル及び／又は容器自体）の検査を実施する例示的な方法３００を示すフロー図である。方法３００は、全体的に又は部分的に、例えば、コントローラ２０６、ロボットアーム１１０、及び／又は撮像システム１０６によって実施されてもよい。いくつかの実施形態では、メモリユニット２２４に記憶された命令を実行すると、方法３００の全部が、コントローラ２０６の処理ユニット２２０によって実施される。
方法３００では、ロボットアームに、ロボットアームのエンドエフェクタを使用して容器を取り出させる（ブロック３０２）。ロボットアームは、例えば、図１及び図３のロボットアーム１１０に類似してもよく、エンドエフェクタは、図１のエンドエフェクタ１１２に類似してもよい。容器は、実施形態に応じて、シリンジ、バイアル、カートリッジ、又はサンプル（例えば、流体又は凍結乾燥製品）を収容していてもしていなくてもよい任意の他の種類の容器であってもよい。ブロック３０２は、例えば、１つ以上のコマンド信号を生成し、信号をロボットアーム（例えば、ロボットアーム内のスレーブコントローラ）に送信することによって実施されてもよい。
容器がイメージャ（例えば、図１の撮像システム１０６のイメージャ）の視野内にある間に容器が複数の向きに順次配置されるように、ロボットアームに、エンドエフェクタを使用して容器を操作させる（ブロック３０４）。いくつかの実施形態では、容器は、１つ以上の追加的なイメージャ（例えば、それぞれ二次元平面内で１２０度離れている合計３つのイメージャ）の視野内に同時に配置される。ブロック３０４は、例えば、１つ以上のコマンド信号を生成し、信号をロボットアーム（例えば、ロボットアーム内のスレーブコントローラ）に送信することによって実施されてもよい。
イメージャに、複数の画像を捕捉させ（ブロック３０６）、各画像は、容器が向きのうちの各１つにある間に捕捉される。向きは、例えば、容器の長手方向軸線に対する異なる回転位置（例えば、全円の２０度毎又は９０度毎等）を含んでもよい。ブロック３０６は、例えば、１つ以上のコマンド信号を生成し、信号をイメージャ（例えば、イメージャ内のスレーブコントローラ）に送信することによって実施されてもよい。ブロック３０６は、イメージャによって捕捉された画像を受信することと、これらの画像をメモリ（例えば、図３のメモリユニット２２４）に記憶することと、を更に含んでもよい。
別の実施形態では、ブロック３０４は、代わりに（又は更に）、ロボットアームのエンドエフェクタを介した容器の任意の追加の運動（例えば、回転）を必ずしも必要とすることなく容器とイメージャとの間の相対的な向きが変化するように、イメージャ（又は複数のイメージャ）を容器に対して移動させることを含む。例えば、容器は、最初にロボットアームによって所定の位置に置かれたら静止したままであってもよく、イメージャが容器の周囲の円形経路を（例えば、全円を２０度刻みで）移動してもよい。このような一実施形態では、ブロック３０６は、イメージャの各位置で１つ以上の画像をイメージャに捕捉させることを含んでもよい。
ブロック３０６で捕捉された画像を、パターン認識モデルを使用して解析することにより容器及び／又はサンプルの１つ以上の属性が決定される（ブロック３０８）。属性は、機械学習モデルを使用して、例えば、（例えば、教師あり学習法を用いて）容器及び／又はサンプルの属性を分類するように訓練されたモデルを用いて容器及び／又はサンプルを解析することにより決定されてもよい。属性は、一般的な物体の存在、特定種類の物体の存在、汚れ若しくはある種類の汚れの存在、容器の割れ若しくは変形の存在、及び／又は他の属性を含んでもよい。
ブロック３０８で決定された属性に基づいて、容器及び／又はサンプルが１つ以上の基準を満たしているかどうかを決定する（ブロック３１０）。基準は、例えば、物体の種類に応じた少なくとも１つの基準（例えば、サンプルが粒子、泡、特定種類の粒子又は泡等を含有するかどうか）を含んでもよい。１つ以上の基準はまた、属性の１つ以上と関連付けられた信頼度レベル／スコアを考慮に入れてもよい。
１つ以上の基準が満たされているかどうかに基づいて、ロボットアームに、不合格の容器及び／若しくはサンプル用に確保された領域（例えば、図１の不合格品箱１２０）内に容器を入れされるか、又は不合格にならなかった容器及び／若しくはサンプル用に確保された領域（例えば、図１のプレート１０２）内に容器を入れさせる（ブロック３１２）。ブロック３１２は、例えば、１つ以上のコマンド信号を生成し、信号をロボットアーム（例えば、ロボットアーム内のスレーブコントローラ）に送信することによって実施されてもよい。
いくつかの実施形態では、方法３００は、図４に図示しない１つ以上の追加的なブロックを含む。ブロック３０６で機械学習モデルが使用されるいくつかの実施形態では、例えば、方法３００は、ブロック３０２の前に、機械学習モデルの訓練に相当するいくつかの追加的なブロックを含んでもよい。例えば、方法３００は、ロボットアームに、エンドエフェクタを使用して複数の訓練用容器を順次取り出させる追加的なブロックを含んでもよい。取り出された訓練用容器のそれぞれに関して、方法は、容器がイメージャの視野内にある間に容器が複数の向きに順次配置されるように、ロボットアームに、エンドエフェクタを使用して容器を操作させることと、イメージャに各訓練用画像を捕捉させる（各訓練用画像のそれぞれは、訓練用容器が向きのうちの各１つにある間に捕捉される）ことと、訓練用容器及び／又は訓練用容器内のサンプルに関する属性の手動ラベリングを容易にするために、各画像を、ディスプレイを介して使用者に提示させることと、を含んでもよい。これら追加的なブロックは、例えば、コマンド信号を生成することと、適切な宛先（例えば、ロボットアームのスレーブコントローラ及びイメージャのスレーブコントローラ）に信号を送信することと、を含んでもよい。
図５は、一実施形態による、一連の容器の検査を実施する例示的な方法３５０のフロー図である。方法３５０は、全体的に又は部分的に、例えば、コントローラ２０６（例えば、処理ユニット２２０）、ロボットアーム１１０、及び／又は撮像システム１０６によって実施されてもよい。以下で更に記載されるように、方法３５０は、図４の方法３００とともに使用されてもよい。
方法３５０は、異なる向きにある容器の画像を捕捉すること（ブロック３５２）と、捕捉された画像を処理し、容器（及び／又は容器内のサンプル）の属性、及び１つ以上の基準が満たされているかどうかを決定すること（ブロック３５４）とによって開始されてもよい。容器は、１つ以上の基準が満たされていなければ不合格品として、又は１つ以上の基準が満たされていれば合格品として分類されてもよい。所与の容器に関しては、例えば、ブロック３５２は、方法３００のブロック３０２～３０６に対応してもよく、ブロック３５４は、方法３００のブロック３０８及びブロック３１０に対応してもよい。
所与の容器が解析され、不合格品又は合格品のいずれかとして分類されたら、方法３５０は、解析のために選択した全ての容器が既に解析されたかどうかを決定すること（ブロック３５６）を含んでもよい。この決定は、例えば、既知の数の容器（例えば、２４個又は９６個）を有する所与の種類のプレートに関して、解析された容器の全体数を追跡することと、この数が容器の全体数以下であるかどうかを決定することとによって行われてもよい。或いは、決定は、例えば、使用者が任意の適切な数（この数は、プレート内の全容器よりも少なくてよい）の容器を解析のために入れることと、解析された容器の全体数を追跡することと、この数が、入れられた被試験容器の数以下であるかどうかを決定することとによって行われてもよい。
いずれにしても、更なる容器を解析する必要がある場合、方法３５０は、次の容器を取り出すこと（ブロック３５８）によって継続する。次の容器が適切に配置されたら、方法３５０は、その容器及び／又は容器内のサンプルの画像を捕捉すること（ブロック３５２）によってプロセスを繰り返してもよい。逆に、解析された容器が解析されるべき最後の容器であった場合、方法３５０は終了する。終了すると（又はブロック３５４の反復と並行して）、方法３５０は、各容器の解析レポートを（例えば、図３に示すようにメモリユニット２２４に）記憶又は出力することを含んでもよい。このレポートが完了したら、使用者はレポートを見てもよい、及び／又は新たなプレートに関してプロセスを開始してもよい。
本明細書に記載される図のいくつかは、１つ以上の機能構成要素を有する例示的なブロック図を示す。このようなブロック図は、例示的な目的のためであり、記載及び図示されるデバイスは、図示されているものよりも多い、少ない、又は別の構成要素を有してもよいことは理解されるであろう。更に、様々な実施形態では、構成要素（及び各構成要素によって提供される機能）は、任意の適切な構成要素の一部として関連付けられてもよい、或いは統合されてもよい。
本開示の実施形態は、コンピュータで実施される様々な動作を実施するためのコンピュータコードを有する非一時的コンピュータ可読記憶媒体に関連する。本明細書で使用される「コンピュータ可読記憶媒体」という用語は、本明細書に記載される動作、技法、及び手法を実施するための一連の命令又はコンピュータコードを記憶又は符号化することが可能な任意の媒体を含む。媒体及びコンピュータコードは、本開示の実施形態のために特別に設計され、構築されたものであってもよい、又はコンピュータソフトウェア技術の当業者に周知であり且つ利用可能な種類のものであってもよい。コンピュータ可読記憶媒体の例としては、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体；ＣＤ－ＲＯＭ及びホログラフィックデバイスなどの光学媒体；光ディスクなどの光磁気媒体；並びにＡＳＩＣ、プログラマブルロジックデバイス（「ＰＬＤ」）、並びにＲＯＭ及びＲＡＭデバイスなどの、プログラムコードを記憶し、実行するように特別に構成されたハードウェアデバイスが挙げられるが、これらに限定されない。
コンピュータコードの例としては、コンパイラによって生成されるようなマシンコード、及びインタプリタ又はコンパイラを使用してコンピュータにより実行されるより高水準のコードを含むファイルが挙げられる。例えば、本開示の実施形態は、Ｊａｖａ、Ｃ＋＋、又は他のオブジェクト指向プログラミング言語及び開発ツールを使用して実装されてもよい。コンピュータコードの更なる例としては、暗号化されたコード及び圧縮されたコードが挙げられる。更に、本開示の実施形態は、コンピュータプログラム製品としてダウンロードされてもよく、コンピュータプログラム製品は、リモートコンピュータ（例えば、サーバコンピュータ）から伝送チャネルを介して要求元のコンピュータ（例えば、クライアントコンピュータ又は異なるサーバコンピュータ）に転送されてもよい。本開示の別の実施形態は、マシンで実行可能なソフトウェア命令の代わりに又はこれと併せて、ハードワイヤード回路に実装されてもよい。
本明細書で使用する場合、単数形の用語「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈に明示されない限り、複数の指示対象も含み得る。
本明細書で使用する場合、「上方（ａｂｏｖｅ）」、「下方（ｂｅｌｏｗ）」、「上（ｕｐ）」、「左（ｌｅｆｔ）」、「右（ｒｉｇｈｔ）」、「下（ｄｏｗｎ）」、「頂部（ｔｏｐ）」、「底部（ｂｏｔｔｏｍ）」、「垂直（ｖｅｒｔｉｃａｌ）」、「水平（ｈｏｒｉｚｏｎｔａｌ）」、「横（ｓｉｄｅ）」、「上方（ｈｉｇｈｅｒ）」、「下方（ｌｏｗｅｒ）」、「上方（ｕｐｐｅｒ）」、「上（ｏｖｅｒ）」、「下（ｕｎｄｅｒ）」、「内側（ｉｎｎｅｒ）」、「内部（ｉｎｔｅｒｉｏｒ）」、「外側（ｏｕｔｅｒ）」、「外部（ｅｘｔｅｒｉｏｒ）」、「前（ｆｒｏｎｔ）」、「後（ｂａｃｋ）」、「上向きに（ｕｐｗａｒｄｌｙ）」、「下向きに（ｄｏｗｎｗａｒｄｌｙ）」、「垂直に（ｖｅｒｔｉｃａｌｌｙ）」、「側方（ｌａｔｅｒａｌ）」、「側方に（ｌａｔｅｒａｌｌｙ）」等のような相対的な用語は、一連の構成要素の互いに対する向きを指す。この向きは、図面に従うが、製造又は使用中に要求されるものではない。
本明細書で使用する場合、「接続する（ｃｏｎｎｅｃｔ）」、「接続される（ｃｏｎｎｅｃｔｅｄ）」、及び「接続（ｃｏｎｎｅｃｔｉｏｎ）」という用語は、動作的結合又は連結を指す。接続される構成要素は互いに直接的に、又は例えば、別の一連の構成要素を介して間接的に結合され得る。
本明細書で使用する場合、「約（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「かなりの（ｓｕｂｓｔａｎｔｉａｌ）」、及び「約（ａｂｏｕｔ）」という用語は、わずかな変動を記述及び説明するために使用される。これらの用語は、事象又は状況とともに使用される場合、事象又は状況が完全に（ｐｒｅｃｉｓｅｌｙ）起こる場合、及び事象又は状況がほぼ（ｃｌｏｓｅ ａｐｐｒｏｘｉｍａｔｉｏｎ）起こる場合を意味し得る。例えば、数値とともに使用される場合、これらの用語は、その数値の±１０％以下、例えば、±５％以下、±４％以下、±３％以下、±２％以下、±１％以下、±０．５％以下、±０．１％以下、又は±０．０５％以下の変動範囲を意味し得る。例えば、２つの数値は、これら値間の差が、これら値の平均の±１０％以下、例えば、±５％以下、±４％以下、±３％以下、±２％以下、±１％以下、±０．５％以下、±０．１％以下、又は±０．０５％以下であれば、「実質的に」同じであると考えることができる。
更に、量、比率、及び他の数値は、本明細書中に範囲の形式で示されることがある。このような範囲の形式は、利便性及び簡略化のために使用されるものであり、範囲の限界として明示される数値を含むが、各数値及び部分範囲が明示されているかのごとく、その範囲内に包含されるあらゆる個々の数値又は部分範囲も含むものと柔軟に解釈されるべきことを理解されたい。
本開示を、その特定の実施形態を参照しながら説明及び図示してきたが、これらの説明及び図示は、本開示を限定するものではない。添付の特許請求の範囲に定義される本開示の真の趣旨及び範囲から逸脱することなく、様々な変更を施してもよく、等価物に代替してもよいことを当業者であれば理解すべきである。図は、縮尺どおりに描かれていない場合がある。本開示における芸術的表現（ａｒｔｉｓｔｉｃ ｒｅｎｄｉｔｉｏｎｓ）と実際の装置との間には、製造プロセス及び許容差に起因する差異が存在し得る。具体的に図示されない本開示の他の実施形態が存在し得る。明細書及び図面は、限定的なものというよりはむしろ例示的なものとみなされるべきである。特定の状況、材料、物質の組成、手法、又はプロセスを本開示の目的、趣旨及び範囲に適合させるような改変を行ってもよい。こうした改変は全て、本明細書に添付される特許請求の範囲に含まれるものとする。本明細書に開示される手法を、特定の順序で実施される特定の操作を参照しながら説明してきたが、これらの操作は、本開示の教示から逸脱することなく、等価な手法を形成するために、組み合わせてもよく、再分割してもよく、並べ替えてもよいことは理解されるであろう。したがって、本明細書に明示されない限り、操作の順序及びグループ化は、本開示を限定するものではない。

Claims (20)

  1. エンドエフェクタと複数の関節式セグメントとを含むロボットアームと、
    イメージャを含む撮像システムと、
    コントローラであって、
    前記ロボットアームに、前記エンドエフェクタを使用して容器を取り出させ、
    前記容器が前記イメージャの視野内にある間に前記容器が複数の向きに順次配置されるように、前記ロボットアームに、前記エンドエフェクタを使用して前記容器を操作させ、
    前記イメージャに複数の画像を捕捉させ、前記複数の画像のそれぞれは、前記容器が前記複数の向きのうちの各１つにある間に捕捉され、
    パターン認識モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記容器内のサンプルの１つ以上の属性を決定し、
    前記容器及び／又は前記サンプルの前記１つ以上の属性に基づいて、前記容器及び／又は前記サンプルが１つ以上の基準を満たしているかどうかを決定し、
    前記容器及び／又は前記サンプルが前記１つ以上の基準を満たしているかどうかに基づいて、（ｉ）前記ロボットアームに、不合格の容器及び／又はサンプル用に確保された領域内に前記容器を入れさせるか、又は（ｉｉ）前記ロボットアームに、不合格にならなかった容器及び／又はサンプル用に確保された領域内に前記容器を入れさせる、のいずれかである
    ように構成されている、コントローラと、
    を含む、ロボット検査プラットフォーム。
  2. 前記コントローラは、機械学習モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記サンプルの前記１つ以上の属性を決定するように構成されており、前記機械学習モデルは、前記容器及び／又はサンプルの属性を分類するように訓練されている、請求項１に記載のロボット検査プラットフォーム。
  3. 前記コントローラは、少なくとも、
    前記ロボットアームに、前記エンドエフェクタを使用して複数の訓練用容器を順次取り出させることと、
    取り出された前記複数の訓練用容器のそれぞれに関して、（ｉ）前記訓練用容器が前記イメージャの視野内にある間に前記訓練用容器が前記複数の向きに順次配置されるように、前記ロボットアームに、前記エンドエフェクタを使用して前記訓練用容器を操作させることと、（ｉｉ）前記イメージャに各複数の訓練用画像を捕捉させ、前記各複数の訓練用画像のそれぞれは、前記訓練用容器が前記複数の向きのうちの各１つにある間に捕捉されることと、（ｉｉｉ）前記訓練用容器及び／又は前記訓練用容器内のサンプルに関する属性の手動ラベリングを容易にするために、前記各複数の画像を、ディスプレイを介して使用者に提示させることと、
    によって、前記機械学習モデルの訓練を容易にするように構成されている、請求項２に記載のロボット検査プラットフォーム。
  4. 前記コントローラは、前記パターン認識モデルを使用して前記複数の画像を解析することにより、異なる物体の種類間を区別するように構成されている、請求項１～３のいずれか一項に記載のロボット検査プラットフォーム。
  5. 前記異なる物体の種類は、泡及び粒子を含む、請求項４に記載のロボット検査プラットフォーム。
  6. 前記異なる物体の種類は、（ｉ）特定種類の泡、及び（ｉｉ）特定種類の粒子のうちの１つ又は両方を含む、請求項４又は５に記載のロボット検査プラットフォーム。
  7. 前記１つ以上の基準は、物体の種類に応じた少なくとも１つの基準を含む、請求項４～６のいずれか一項に記載のロボット検査プラットフォーム。
  8. 前記複数の向きは、前記容器の長手方向軸線を中心とした複数の回転を含む、請求項１～７のいずれか一項に記載のロボット検査プラットフォーム。
  9. 不合格の容器及び／又はサンプルのために確保された前記領域は箱である、請求項１～８のいずれか一項に記載のロボット検査プラットフォーム。
  10. 前記コントローラは、前記ロボットアームにプレートから前記容器を取り出させるように構成されている、請求項１～９のいずれか一項に記載のロボット検査プラットフォーム。
  11. 不合格にならなかった容器及び／又はサンプルのために確保された前記領域は、前記プレート内の領域である、請求項１０に記載のロボット検査プラットフォーム。
  12. パターン認識を使用して容器の検査を実施する方法であって、
    ロボットアームに、前記ロボットアームのエンドエフェクタを使用して容器を取り出させることと、
    前記容器がイメージャの視野内にある間に前記容器が複数の向きに順次配置されるように、前記ロボットアームに、前記エンドエフェクタを使用して前記容器を操作させることと、
    前記イメージャに複数の画像を捕捉させることであって、前記複数の画像のそれぞれは、前記容器が前記複数の向きのうちの各１つにある間に捕捉されることと、
    パターン認識モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記容器内のサンプルの１つ以上の属性を決定することと、
    前記容器及び／又は前記サンプルの前記１つ以上の属性に基づいて、前記容器及び／又は前記サンプルが１つ以上の基準を満たしているかどうかを決定することと、
    前記容器及び／又は前記サンプルが前記１つ以上の基準を満たしているかどうかに基づいて、（ｉ）前記ロボットアームに、不合格の容器及び／又はサンプル用に確保された領域内に前記容器を入れさせること、又は（ｉｉ）前記ロボットアームに、不合格にならなかった容器及び／又はサンプル用に確保された領域内に前記容器を入れさせること、のいずれかと、
    を含む、方法。
  13. パターン認識モデルを使用して前記複数の画像を解析することにより、前記流体サンプルの前記１つ以上の属性を決定することは、
    機械学習モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記サンプルの前記１つ以上の属性を決定することであって、前記機械学習モデルは、前記容器及び／又はサンプルの属性を分類するように訓練されていること
    を含む、請求項１２に記載の方法。
  14. 少なくとも、
    前記ロボットアームに、前記エンドエフェクタを使用して複数の訓練用容器を順次取り出させることと、
    取り出された前記複数の訓練用容器のそれぞれに関して、（ｉ）前記訓練用容器が前記イメージャの視野内にある間に前記訓練用容器が前記複数の向きに順次配置されるように、前記ロボットアームに、前記エンドエフェクタを使用して前記訓練用容器を操作させることと、（ｉｉ）前記イメージャに各複数の訓練用画像を捕捉させることであって、前記各複数の訓練用画像のそれぞれは、前記訓練用容器が前記複数の向きのうちの各１つにある間に捕捉されることと、（ｉｉｉ）前記訓練用容器及び／又は前記訓練用容器内のサンプルに関する属性の手動ラベリングを容易にするために、前記各複数の画像を、ディスプレイを介して使用者に提示させることと、
    によって、前記機械学習モデルの訓練を容易にすることを更に含む、請求項１３に記載の方法。
  15. 前記パターン認識モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記サンプルの１つ以上の属性を決定することは、前記パターン認識モデルを使用して前記複数の画像を解析することにより、異なる物体の種類間を区別することを含む、請求項１２～１４のいずれか一項に記載の方法。
  16. 前記１つ以上の基準は、物体の種類に応じた少なくとも１つの基準を含む、請求項１５に記載の方法。
  17. 前記複数の向きは、前記容器の長手方向軸線を中心とした複数の回転を含む、請求項１２～１６のいずれか一項に記載の方法。
  18. パターン認識を使用して容器の検査を実施する方法であって、
    ロボットアームに、前記ロボットアームのエンドエフェクタを使用して容器を取り出させることと、
    イメージャを、前記容器が前記イメージャの視野内にある間に複数の向きに順次配置させることと、
    前記イメージャに前記容器の複数の画像を捕捉させることであって、前記複数の画像のそれぞれは、前記イメージャが前記複数の向きのうちの各１つにある間に捕捉されることと、
    パターン認識モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記サンプルの１つ以上の属性を決定することと、
    前記容器及び／又は前記サンプルの前記１つ以上の属性に基づいて、前記容器及び／又は前記サンプルが１つ以上の基準を満たしているかどうかを決定することと、
    前記容器及び／又は前記サンプルが前記１つ以上の基準を満たしているかどうかに基づいて、（ｉ）前記ロボットアームに、不合格の容器及び／又はサンプル用に確保された領域内に前記容器を入れさせること、又は（ｉｉ）前記ロボットアームに、不合格にならなかった容器及び／又はサンプル用に確保された領域内に前記容器を入れさせること、のいずれかと、
    を含む、方法。
  19. パターン認識モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記サンプルの前記１つ以上の属性を決定することは、
    機械学習モデルを使用して前記複数の画像を解析することにより、前記容器及び／又は前記サンプルの前記１つ以上の属性を決定することであって、前記機械学習モデルは、前記容器及び／又はサンプルの属性を分類するように訓練されていること
    を含む、請求項１８に記載の方法。
  20. 少なくとも、
    前記ロボットアームに、前記エンドエフェクタを使用して複数の訓練用容器を順次取り出させることと、
    取り出された前記複数の訓練用容器のそれぞれに関して、（ｉ）前記訓練用容器が前記イメージャの視野内にある間に前記イメージャを前記複数の向きに順次配置させることと、（ｉｉ）前記イメージャに各複数の訓練用画像を捕捉させることであって、前記各複数の訓練用画像のそれぞれは、前記イメージャが前記複数の向きのうちの各１つにある間に捕捉されることと、（ｉｉｉ）前記訓練用容器及び／又は前記訓練用容器内のサンプルに関する属性の手動ラベリングを容易にするために、前記各複数の画像を、ディスプレイを介して使用者に提示させることと、
    によって、前記機械学習モデルの訓練を容易にすることを更に含む、請求項１９に記載の方法。
JP2023164671A 2018-07-31 2023-09-27 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム Pending JP2024001072A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862712486P 2018-07-31 2018-07-31
US62/712,486 2018-07-31
PCT/US2019/036671 WO2020027923A1 (en) 2018-07-31 2019-06-12 Robotic system for performing pattern recognition-based inspection of pharmaceutical containers
JP2020568969A JP7359788B2 (ja) 2018-07-31 2019-06-12 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020568969A Division JP7359788B2 (ja) 2018-07-31 2019-06-12 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム

Publications (1)

Publication Number Publication Date
JP2024001072A true JP2024001072A (ja) 2024-01-09

Family

ID=69232284

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020568969A Active JP7359788B2 (ja) 2018-07-31 2019-06-12 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム
JP2023164671A Pending JP2024001072A (ja) 2018-07-31 2023-09-27 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020568969A Active JP7359788B2 (ja) 2018-07-31 2019-06-12 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム

Country Status (10)

Country Link
US (2) US11766700B2 (ja)
EP (1) EP3829980A4 (ja)
JP (2) JP7359788B2 (ja)
CN (2) CN112368212B (ja)
AU (1) AU2019314196A1 (ja)
CA (1) CA3103447A1 (ja)
IL (1) IL279322A (ja)
MA (1) MA53347A (ja)
SG (1) SG11202013075VA (ja)
WO (1) WO2020027923A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966824B2 (en) 2018-11-19 2024-04-23 Accenture Global Solutions Limited Identification and verification of medication
US10593425B1 (en) 2018-11-19 2020-03-17 Accenture Global Solutions Limited Identification and verification of medication
EP3882611A3 (en) * 2020-03-17 2021-09-29 Manuel A. Soto A pre-filled parenteral drug inspection station and method of using the same
IT202000014842A1 (it) * 2020-06-22 2021-12-22 S P A M I S R L Apparato e metodo di ispezione di un contenitore di sostanze medicali
EP4327277A1 (en) * 2021-04-20 2024-02-28 Radiometer Medical ApS Image processing during biological sample analysis
CN113600499A (zh) * 2021-07-14 2021-11-05 中北大学 罗汉果分拣机器人
GB2609969A (en) * 2021-08-19 2023-02-22 Ash Tech Limited System and method for inspecting an object
US11940451B2 (en) * 2021-12-20 2024-03-26 Instrumentation Laboratory Co. Microfluidic image analysis system
CN114047165B (zh) * 2022-01-13 2022-03-25 江苏奥琳斯邦装备科技股份有限公司 一种环氧树脂固化剂透光率检测装置
US20230254589A1 (en) * 2022-02-04 2023-08-10 Applied Materials, Inc. Pulsed illumination for fluid inspection
CN115342547B (zh) * 2022-08-15 2023-08-18 华北理工大学 基于二氧化碳直接蒸发式制冷装置及其控制系统
WO2024054894A1 (en) * 2022-09-07 2024-03-14 Siemens Healthcare Diagnostics Inc. Devices and methods for training sample container identification networks in diagnostic laboratory systems
WO2024052440A1 (en) * 2022-09-09 2024-03-14 F. Hoffmann-La Roche Ag Inspection system and method for a closed medical container

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040072143A1 (en) * 1998-06-01 2004-04-15 Weyerhaeuser Company Methods for classification of somatic embryos
US20040252299A9 (en) * 2000-01-07 2004-12-16 Lemmo Anthony V. Apparatus and method for high-throughput preparation and spectroscopic classification and characterization of compositions
US7336358B2 (en) 2003-02-24 2008-02-26 August Ninth Analyses, Inc. Method and apparatus for determining particle size and composition of mixtures
EP1630550A1 (en) * 2004-08-27 2006-03-01 Moller & Devicon A/S Methods and apparatuses of detecting foreign particles or faults in a plurality of filled containers
WO2006034129A2 (en) 2004-09-17 2006-03-30 Jmar Research, Inc. Systems and methods for detecting scattered light from a particle using illumination incident at an angle
EP1846751B1 (en) 2005-01-31 2020-04-22 The Board of Trustees of the University of Illionis Methods and devices for characterizing particles in clear and turbid media
JP4020144B2 (ja) * 2006-03-10 2007-12-12 オムロン株式会社 表面状態の検査方法
US7605919B2 (en) 2006-10-30 2009-10-20 Brightwell Technologies Inc. Method and apparatus for analyzing particles in a fluid
DK200801722A (en) 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample
EP2545522B1 (en) * 2010-03-09 2017-07-26 Perceptimed, Inc. Medication verification and dispensing
DE102010034176A1 (de) 2010-08-12 2012-02-16 Würth Elektronik Ics Gmbh & Co. Kg Behälter mit Erfassungsvorrichtung
TWI708052B (zh) 2011-08-29 2020-10-21 美商安美基公司 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
JP5717007B2 (ja) 2012-11-19 2015-05-13 株式会社安川電機 ロボットシステム、ロボットハンド、ロボット
US9904842B2 (en) 2012-12-19 2018-02-27 Koninklijke Philips N.V. System and method for classification of particles in a fluid sample
US9989463B2 (en) * 2013-07-02 2018-06-05 Canon Kabushiki Kaisha Material classification
US9619881B2 (en) 2013-09-26 2017-04-11 Cellogy, Inc. Method and system for characterizing cell populations
US10878551B2 (en) 2014-01-27 2020-12-29 Baxter International Inc. Visual inspection system for automated detection of particulate matter in flexible medical containers
DE102014006835A1 (de) * 2014-05-13 2015-11-19 Kocher-Plastik Maschinenbau Gmbh Prüfvorrichtung zum Überprüfen von Behältererzeugnissen
JP6473026B2 (ja) 2015-03-30 2019-02-20 三菱重工業株式会社 一方向性凝固物の異結晶検査装置及び検査方法
JP7129909B2 (ja) 2016-02-18 2022-09-02 オプトフルイディクス インコーポレイテッド 流体試料中の粒子を特徴付けるためのシステム及び方法
CA3025641A1 (en) * 2016-05-27 2017-11-30 Biomerieux, Inc. Method and apparatus for detection of foam in specimen containers
TWM530737U (zh) 2016-07-18 2016-10-21 Univ Nat Formosa 機器人校正系統
JP7002529B2 (ja) 2016-07-21 2022-02-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 自動臨床分析器システム及び方法
WO2018061196A1 (ja) 2016-09-30 2018-04-05 東洋ガラス株式会社 ガラス容器の焼傷検査装置
JP6900170B2 (ja) 2016-11-10 2021-07-07 キヤノン株式会社 情報処理システム、情報処理方法、およびプログラム
WO2019089825A1 (en) * 2017-11-02 2019-05-09 AMP Robotics Corporation Systems and methods for optical material characterization of waste materials using machine learning
CN113495073A (zh) * 2020-04-07 2021-10-12 泰连服务有限公司 视觉检查系统的自动对焦功能

Also Published As

Publication number Publication date
JP7359788B2 (ja) 2023-10-11
MA53347A (fr) 2021-11-03
US11766700B2 (en) 2023-09-26
AU2019314196A1 (en) 2021-01-07
JP2021532340A (ja) 2021-11-25
CN112368212B (zh) 2023-12-29
US20230398577A1 (en) 2023-12-14
EP3829980A4 (en) 2022-05-04
WO2020027923A1 (en) 2020-02-06
EP3829980A1 (en) 2021-06-09
IL279322A (en) 2021-01-31
SG11202013075VA (en) 2021-01-28
US20210213486A1 (en) 2021-07-15
CN112368212A (zh) 2021-02-12
CN117783557A (zh) 2024-03-29
CA3103447A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7359788B2 (ja) 医薬品容器のパターン認識に基づく検査を実施するためのロボットシステム
EP3408641B1 (en) Methods and apparatus for multi-view characterization
JP6870826B2 (ja) 側方多視点から試料を定量化するように構成された方法及び装置
US10928310B2 (en) Methods and apparatus for imaging a specimen container and/or specimen using multiple exposures
US11815446B2 (en) Methods and apparatus for characterizing a specimen container and specimen
TWI772897B (zh) 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
US20190271714A1 (en) Systems, methods and apparatus for didentifying a specimen container cap
US11386291B2 (en) Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training
CN108027329B (zh) 用于对未贴标签的容器进行光学透射光检验的检验法和检验设备
JP2022512430A (ja) 医薬品容器における粒子検出のためのシート照明
CN110832508A (zh) 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统
US20190178811A1 (en) Inspection apparatus and inspection method
US20240133908A1 (en) Methods and apparatus adapted to identify 3d center location of a specimen container using a single image capture device
CA3204014A1 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
WO2023017611A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
WO2024015534A1 (en) Devices and methods for training sample characterization algorithms in diagnostic laboratory systems
Dahal Design of object identification system based on machine vision
CN116692389A (zh) 一种多类别多自由度机械臂卸货方法
Лебедева PERSPECTIVES OF MACHINE VISION TECHNOLOGY IMPLEMENTATION

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528