JP7438345B2 - 診断分析器のモデルを訓練する装置および方法 - Google Patents

診断分析器のモデルを訓練する装置および方法 Download PDF

Info

Publication number
JP7438345B2
JP7438345B2 JP2022525251A JP2022525251A JP7438345B2 JP 7438345 B2 JP7438345 B2 JP 7438345B2 JP 2022525251 A JP2022525251 A JP 2022525251A JP 2022525251 A JP2022525251 A JP 2022525251A JP 7438345 B2 JP7438345 B2 JP 7438345B2
Authority
JP
Japan
Prior art keywords
tube
type
tube assemblies
cap
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022525251A
Other languages
English (en)
Other versions
JP2023501941A (ja
Inventor
ラヤル・ラジュ・プラサド・ナラム・ヴェンカット
ベンジャミン・エス・ポラック
イャオ-ジェン・チャン
ヴェンカテッシュ・ナラシムハムルシー
ヴィヴィック・シンフ
アンカー・カプール
Original Assignee
シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド filed Critical シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
Publication of JP2023501941A publication Critical patent/JP2023501941A/ja
Application granted granted Critical
Publication of JP7438345B2 publication Critical patent/JP7438345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/15Devices for taking samples of blood
    • A61B5/150007Details
    • A61B5/150343Collection vessels for collecting blood samples from the skin surface, e.g. test tubes, cuvettes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00821Identification of carriers, materials or components in automatic analysers nature of coded information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

関連出願の相互参照
本出願は、2019年10月31日に出願された「APPARATUS AND METHODS OF IDENTIFYING TUBE ASSEMBLIES」という名称の米国仮特許出願第62/929,071号の利益を主張し、その開示全体がすべての目的のために参照により本明細書に組み入れられる。
本開示の実施形態は、管アセンブリを識別する装置および方法に関する。
自動検査システムは、血液血清、血漿、尿、間質液、脳脊髄液などの生体試料中の分析物または他の成分を識別するために、1つまたはそれ以上の試薬を使用して臨床化学またはアッセイを行うことができる。利便性および安全上の理由により、これらの試料は、ほとんどの場合に試料管(たとえば採血管)に含まれている。試料管にはキャップがかぶせられ、場合によって、このキャップは、実施予定の検査の種類、管に含まれる添加物の種類(たとえば、血清分離剤、トロンビンなどの凝固剤、またはEDTAもしくはクエン酸ナトリウムのような、抗凝固剤およびその特定の種類、または抗解糖添加物)、管が真空機能を備えているか否か、などに関する情報を提供する色および/または形状を含み得る。
特定の自動検査システムでは、試料容器および試料は、キャップの種類および色を識別できるように、コンピュータ支援デジタル撮像システムなどを用いてデジタル撮像およびデジタル処理される。撮像中に、試料管(キャップを含む)および試料の1つまたはそれ以上の画像が取り込まれる。
しかし、このようなシステムは、特定の条件下では性能のばらつきをもたらし、場合によっては管タイプを不適切に特徴付けることがある。したがって、デジタル撮像およびデジタル処理によって試料管を特徴付ける改善された方法および装置が求められている。
第1の実施形態によれば、診断装置のモデルを訓練する方法が提供される。この方法は:第1のタイプの1つまたはそれ以上の第1の管アセンブリを診断装置に提供する工程と;第2のタイプの1つまたはそれ以上の第2の管アセンブリを診断装置に提供する工程と;撮像デバイスを使用して、1つまたはそれ以上の第1の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第1の画像を取り込む工程と;撮像デバイスを使用して、1つまたはそれ以上の第2の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第2の画像を取り込む工程と;1つまたはそれ以上の第1の画像および1つまたはそれ以上の第2の画像に基づいて、第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練する工程と;第1のタイプの管アセンブリを第1のグループにグループ分けする工程と;第2のタイプの管アセンブリを第2のグループにグループ分けする工程とを含む。
第2の実施形態によれば、診断装置を動作させる方法が提供される。この方法は、診断装置のモデルを訓練する工程を含み、この工程は:第1のタイプの1つまたはそれ以上の第1の管アセンブリを診断装置に提供すること;第2のタイプの1つまたはそれ以上の第2の管アセンブリを診断装置に提供すること;撮像デバイスを使用して、1つまたはそれ以上の第1の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第1の画像を取り込むこと;撮像デバイスを使用して、1つまたはそれ以上の第2の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第2の画像を取り込むこと;ならびに1つまたはそれ以上の第1の画像および1つまたはそれ以上の第2の画像に基づいて、第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練することを含む。この方法はさらに:第1のタイプの管アセンブリを第1のグループにグループ分けする工程と;第2のタイプの管アセンブリを第2のグループにグループ分けする工程と;検体を中に含む1つまたはそれ以上の管アセンブリを診断装置に装填する工程と;検体を含む1つまたはそれ以上の管アセンブリを撮像する工程と;モデルを用いて、検体を含む1つまたはそれ以上の管アセンブリを第1のタイプまたは第2のタイプとして識別する工程と;検体を含む1つまたはそれ以上の管アセンブリを、その識別に基づいて第1のグループまたは第2のグループにグループ分けする工程とを含む。
第3の実施形態によれば、診断装置が提供される。この装置は:第1のタイプの1つまたはそれ以上の第1の管アセンブリ、および第2のタイプの1つまたはそれ以上の第2の管アセンブリを収納するように構成された場所と;1つまたはそれ以上の第1の管アセンブリの少なくとも一部分、および1つまたはそれ以上の第2の管アセンブリの少なくとも一部分を撮像するように構成された撮像デバイスと;1つまたはそれ以上の第1の管アセンブリ、および1つまたはそれ以上の第2の管アセンブリを少なくとも撮像デバイスまで輸送するように構成された輸送デバイスと;メモリに連結されたプロセッサを含むコントローラとを含み、メモリには、プロセッサによって実行されたときに:第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練し;第1のタイプの管アセンブリを第1のグループに、第2のタイプの管アセンブリを第2のグループにグループ分けする命令が記憶されている。
本開示のさらに他の態様、構成、および利点は、いくつかの例示的な実施形態および実施態様を示す以下の説明から容易に明らかになろう。本開示はまた、他の別の実施形態の余地があり、そのいくつかの細目は様々な点で修正され、すべてが本発明の範囲から逸脱することがない。したがって、図面および説明は、限定的ではなく、本質的に説明的なものとみなされるべきである。本開示は、特許請求の範囲に入るすべての修正形態、等価物、および代替形態を包含するものである。
以下の図面は、例示を目的とし、必ずしも原寸に比例していない。したがって、図面および説明は、限定的なものではなく、説明的な性質のものとみなされるべきである。図面は、本発明の範囲を何ら限定するものではない。同じ数字が、全体を通して同じまたは同様の要素を示すために用いられている。
1つまたはそれ以上の実施形態による、管アセンブリを識別およびグループ化するように構成された診断装置の上面概略図である。 1つまたはそれ以上の実施形態による、管アセンブリを管タイプによって分類するように診断装置を訓練する方法を示すフローチャートである。 1つまたはそれ以上の実施形態による、管アセンブリを管タイプによって分類するように構成されている診断装置内の、トレイに配置された管アセンブリを示す図である。 1つまたはそれ以上の実施形態による、管アセンブリを管タイプによって分類するように構成されている診断装置内の、トレイに配置された管アセンブリを示す。 1つまたはそれ以上の実施形態による、ランタイム検査用の診断装置内のトレイに配置された管アセンブリを示す図である。 1つまたはそれ以上の実施形態による、様々なタイプの管アセンブリの例を示す図である。 1つまたはそれ以上の実施形態による、様々なタイプの管アセンブリの例を示す図である。 1つまたはそれ以上の実施形態による、様々なタイプの管アセンブリの例を示す図である。 1つまたはそれ以上の実施形態による、様々なタイプの管アセンブリの例を示す図である。 1つまたはそれ以上の実施形態による、1つのカメラからの、パックスロットに配置された管アセンブリの元の画像の一例を示す図であり、パックが管アセンブリの画像の一部分を覆い隠している。 1つまたはそれ以上の実施形態による、図4Aの画像に対応するバイナリマスクを示す図である。 1つまたはそれ以上の実施形態による、図4Bのバイナリマスクを使用して画像から抽出されたキャップパッチを示す図である。 1つまたはそれ以上の実施形態による、色抽出に使用されたキャップの画像の諸領域を示し、様々な画素が分類されている色クラスタを含む図であり、ベタ黒の背景は、元の画像の明度が無視されている画素を含む背景クラスを表す。 1つまたはそれ以上の実施形態による、診断装置によって検出され、ユーザに表示されるキャップの色を示す図である。 1つまたはそれ以上の実施形態による、マスク画像が図3Aの第1の管アセンブリと位置合わせされる場所を示すボックスを含む、第1の管の第1のキャップのマスク画像の概略図である。 1つまたはそれ以上の実施形態による、マスク画像が図3Bの第2の管アセンブリと位置合わせされる場所を示すボックスを含む、第2の管の第2のキャップのマスク画像の概略図である。 1つまたはそれ以上の実施形態による、行勾配を決定するために解析されるキャップを含む、第1の管アセンブリの一部分を示す図である。 1つまたはそれ以上の実施形態による、図9Aに示された第1の管アセンブリの垂直位置の関数として、幅を示すグラフである。 図9Bのグラフにプロットされた第1の管アセンブリのプロットの1次導関数を示すグラフである。 1つまたはそれ以上の実施形態による、行勾配を決定するために解析されるキャップを含む、第2の管アセンブリの一部分を示す図である。 1つまたはそれ以上の実施形態による、図10Aに示された第2の管アセンブリの垂直位置の関数として、幅を示すグラフである。 1つまたはそれ以上の実施形態による、図10Bのグラフにプロットされた第2の管アセンブリのプロットの1次導関数を示すグラフである。 1つまたはそれ以上の実施形態による、第1の管アセンブリを通過し、撮像デバイスによって取り込まれた例示的な光スペクトル(たとえば、R、G、B)の棒グラフを示す。 1つまたはそれ以上の実施形態による、第2の管アセンブリを通過し、撮像デバイスによって取り込まれた例示的な光スペクトル(たとえば、R、G、B)のグラフを示す。 1つまたはそれ以上の実施形態による、図11Aのグラフが得られた、後方照明された第1の管アセンブリの一部分の写真画像を示す図である。 1つまたはそれ以上の実施形態による、図11Bのグラフが得られた、後方照明された第2の管アセンブリの一部分の写真画像を示す図である。 異なる規格ごとに同じおよび/または異なる管タイプに使用されるキャップの、異なる色の組み合わせを示す図である。 (様々な製造業者の管タイプのセットについて)純粋に色に依拠して管タイプを分別しようとする、HSV色空間内のLDA(線形判別解析)プロットを示す図である。 1つまたはそれ以上の実施形態による、管タイプを撮像および識別するように適用された診断装置の概略図である。 1つまたはそれ以上の実施形態による、診断装置のモデルを訓練する方法を示すフローチャートである。 1つまたはそれ以上の実施形態による、診断装置を動作させる方法を示すフローチャートである。
診断検査室では、1つまたはそれ以上の検査を行うことが望まれる検体を含むのに、様々な製造業者の試験管(たとえば、管アセンブリ)を使用することができる。管アセンブリは、キャップが取り付けられている底部閉鎖管などの管を含み得る。異なる管アセンブリタイプ(たとえば、管タイプ)は、異なるサイズおよび異なる化学添加物などの、異なる特徴を有し得る。たとえば、多くの管タイプは化学的に活性である。つまり、管は、検体の状態を変化させる、もしくは保持するために、またはそれとは別に検体の処理を補助するために使用される、1つまたはそれ以上の添加化学物質を含む。たとえば、管の内壁は、1つまたはそれ以上の添加物でコーティングされ、または添加物が管のどこか他の場所に提供される。たとえば、管に含まれる添加物の種類は、血清分離剤、トロンビンなどの凝固剤、EDTAもしくはクエン酸ナトリウムのような抗凝固剤、抗解糖添加物、または検体の特性を変化させる、または保持するための他の添加物とすることができる。管アセンブリ製造業者は、管のキャップの色を、管に含まれる特定のタイプの化学添加物と関連付けることができる。
様々な製造業者が、キャップ色およびキャップ形状などの管アセンブリの構成を管アセンブリの特定の特性と関連付けるための、独自の基準を有し得る。たとえば、その構成は、管の内容物に関連し、または場合によって、管が真空機能を備えているか否かに関連している。いくつかの実施形態では、ある製造業者は、たとえば、灰色のキャップを有するすべての管アセンブリを、グルコースおよび乳酸を検査するように構成されたシュウ酸カリウムおよびナトリウムフルオレートを含む管と関連付け、緑色のキャップを有するすべての管アセンブリを、ナトリウム、カリウム、塩化物、および重炭酸などのstat電解質用のヘパリンを含む管と関連付けることができる。ラベンダ色のキャップでは、CBC w/diff、HgBA1c、および副甲状腺ホルモンを検査するように構成されたEDTA(エチレンジアミン四酢酸-抗凝固剤)を含む管を識別することができる。赤、黄、水色、藤紫色、ピンク、オレンジ、および黒などの他のキャップ色が、他の添加物を示すために、または、ある添加物がないことを示すために使用される。別の実施形態では、EDTAとゲル分離剤の組み合わせに黄色とラベンダ、またはリチウムヘパリンとゲル分離剤に緑と黄色などの、キャップの色の組み合わせが使用される。
検査室では、この色情報を管の別の処理に使用することができる。これらの管は、化学的に活性であり得るので(通常は、凝固剤、抗凝固剤、抗解糖化合物などの物質でライニングが施されている)、どの検査をどの管タイプで実施できるかを関連付けることは、検査がほとんど常に内容物に固有であるので重要になる。したがって、検査室では、管内の検体に対して実施されている検査が適正な検査であることを、キャップの色を解析することによって確認することができる。
製造業者に依拠するこれらの基準は、地域によって異なり得る。たとえば、ある製造業者が、ある管タイプにヨーロッパでは第1のキャップ色を使用し、同じ管タイプに米国では第2のキャップ色を使用することがある。規格が一貫していないので、現状では、診断装置が管の化学物質内容物をキャップの色だけに基づいて自動的に決定することは不可能である。上記のように、検査室では、管内の検体をさらに検査するために管タイプ情報を用いる。各管タイプは化学的に活性であり得るので、どの検査をどの管アセンブリで実施できるかを知ることが必要である。
類似している管タイプに使用される異なるキャップ規格の例を示す、図12を参照する。図12に示すように、異なるキャップ規格のいくつかでは、類似しているキャップタイプおよび/またはキャップカラーが異なる管タイプに使用されることがある。検査室における現行の仕事の流れでは、検査室の技師がこれらの管タイプ規格に極めて精通していることが期待されている。検査室の現場で使用される診断装置にはこれらの規格が未知であるので、管の内容物および検査室技師が望む機能を記述するために、一つ一つの管アセンブリの手入力が前もって行われる。新規の管タイプ、新規の管タイプ規格、および新規または既存の製造業者からの管アセンブリが検査室で使用されるときには、検査技師は、新しい管タイプおよび規格に精通するようになる必要がある。
本明細書で開示される方法および装置は、検査室技師が1つまたはそれ以上のモデル(たとえば、機械学習モデル)を様々な管タイプについて訓練するプロセスを提供することによって、管アセンブリごとに情報を手入力する労力を軽減することができる。検体検査中、訓練済みモデルは、様々なタイプの管アセンブリをリアルタイムで分類することができる。この方法および装置はまた、検査室間および/または診断装置間での機械学習モデルの転送を可能にする。
モデルの訓練は、診断装置のユーザによって行われる。ユーザは、同一の検査に使用される管アセンブリを入手し、これらの管アセンブリを診断装置に入れることができる。たとえば、ユーザは、第1の管タイプである第1の複数の管アセンブリを診断分析器に装填することができる。次に、診断分析器は、第1の複数の管アセンブリの画像を取り込むことができ、この画像は、モデルを訓練するために後で使用される。第2の管タイプの第2の複数の管アセンブリもまた、モデルをさらに訓練するために、診断分析器によって同様に撮像される。このモデルおよび/または診断分析器は、第1のタイプの管アセンブリを第1のグループに、また第2のタイプの管アセンブリを第2のグループにグループ分けする動作を行うことができる。第1のグループの管アセンブリは、診断分析器によって行われる特定の検査と関連付けられ、第2のグループの管アセンブリは、別の検査と関連付けられる。
いくつかの実施形態では、キャップの1つまたはそれ以上の色が画像から抽出または識別され、特定の管タイプを識別および/または分類するようにモデルを訓練する際に、ユーザを支援するための注釈が付けられる。他の実施形態では、管高および/または管径、管材料(半透明または透明)、キャップ材料、キャップ不透明度またはキャップ半透明度、キャップ形状、キャップ寸法、キャップ寸法勾配、キャップ重量などの、管アセンブリの画像からの他の情報が、モデルを訓練するために用いられる。このような他の情報は、画像から直接取得され、そうでなければ、モデルを訓練するオペレータによって注釈が付けられる。
本明細書に開示された検査方法および装置では、人工知能を使用して、すなわち、ニューラルネットワーク(たとえば、畳み込みニューラルネットワーク-CNN)などの1つまたはそれ以上の訓練済みモデル(たとえば、分類または識別モデル)を使用して、管アセンブリを管タイプによって識別および分類することができる。ディープラーニングが、管アセンブリを識別および分類するように特定のモデルを訓練するために使用される。管のいくつかの物理的特性および/または管に取り付けられたキャップの物理的特性および色が、様々な管アセンブリの管タイプを識別するために訓練済みモデルによって識別される。
本明細書に記載された装置および方法は、診断分析器で使用されるすべての管タイプを診断検査室で区別することを可能にし、このことは、従来の装置および方法に対して有利である。本明細書に開示された方法および装置により、オペレータが管アセンブリ情報を手入力するのに費やす時間を低減することができる。あらゆる実現可能な管タイプおよび/または管アセンブリのための統合モデルが不必要になり得る。その理由は、すべての実現可能な管タイプの小さいサブセットのみでよい、検査室および/または分析器で使用される管タイプについてだけ、オペレータがモデルを訓練すればよいからである。訓練は、診断分析器であっても診断分析器を含んでもよい訓練サイトにおいて容易にオフサイトで行うことができるので、モデルをオンサイトで訓練する時間が節約される。オフサイトで訓練されているモデルは、新規の診断装置に、セットアップ時に移植される(たとえば、ダウンロードされる)。訓練済みモデルを使用する診断装置は、リアルタイムで管内容物/機能の判定をすることができるので、多くの冗長な手入力情報は、前もって訓練されたモデルに基づいて自動的に推論される。
いくつかの実施形態では、本明細書に開示された方法および装置は、診断装置のユーザが、検査室の要件に合わせて管アセンブリの機能性をカスタマイズするために使用される、管アセンブリの独自の分類を画成することを可能にする。たとえば、本明細書に開示された訓練方法および装置は、ユーザが、診断分析器または検査室に特有の管タイプ、添加物および/または管機能に基づいて、管タイプを区別すること、および管アセンブリの部類またはグループを作成することを可能にし得る。
上記の方法および装置を本明細書の図1~図16に関してさらに詳細に説明する。
ここで、図1を参照する。この図は、診断装置100の一実施形態の上面概略図を示す。診断装置100は、管アセンブリ102内に配置された検体に対して、1つまたはそれ以上の検査(アッセイおよび/または化学的検査)を行うように構成される。管アセンブリ102は、診断装置100内の場所104で収納され、入力され、場合によっては出力される。図1に示された実施形態では、場所104は、複数のトレイ111を保持する容器または他の器具を含むことができ、各トレイ111は、1つまたはそれ以上の管アセンブリ102を保持することができる。
1つまたはそれ以上の撮像デバイス106は、診断装置100に配置、隣接、または連結されているビジョンシステム107に配置され、管アセンブリ102を撮像するように構成されている。いくつかの実施形態では、1つまたはそれ以上の撮像デバイス106は、撮像モジュール108の内部に、またはその一部として配置される。図1に示された実施形態では、撮像モジュール108の上部が、撮像モジュール108の内部に配置された構成要素を図示するために取り除かれている。1つまたはそれ以上の光源110は、撮像モジュール108内に配置され、本明細書に記載のように、管アセンブリ102を後方照明および/または前方照明するように構成されている。
診断装置100は、管アセンブリ102を少なくとも場所104から1つまたはそれ以上の撮像デバイス106までの間で、さらには1つまたはそれ以上の分析器モジュール118まで、搬送するように構成されている輸送デバイス112を含み得る。輸送デバイス112は、ロボット114およびコンベアまたはトラック116を含むことができ、ロボット114は、管アセンブリ102を場所104から、すなわちトレイ111の1つから、トラック116までの間で移動させるように構成されている。トラック116は、管アセンブリ102を少なくとも場所104から、管アセンブリを事前スクリーニングするためのビジョンシステム107までの間で輸送するように構成されている。
診断装置100は、管アセンブリ102内の試料に対して臨床化学検査またはアッセイを行うように構成された、1つまたはそれ以上の分析器モジュール118(たとえば、診断分析器またはイムノアッセイ機器など)を含むことができ、管アセンブリ102は、トラック116を経由して1つまたはそれ以上の分析器モジュール118にアクセスすることができる。いくつかの実施形態では、管アセンブリ102は、トラック116上で管アセンブリ102の動きを容易にするために、キャリア120(たとえばパック)に入れられる。トラック116まわりの所望の位置で停止するようにプログラムされたリニアモータデバイスなどの、他の適切なキャリアも使用される。
診断装置100は、少なくともロボット114と、トラック116と、キャリア120と、1つまたはそれ以上の撮像デバイス106と、1つまたはそれ以上の光源110とに連結されたコントローラ122を含み得る。コントローラ122は、少なくともロボット114、および1つまたはそれ以上の撮像デバイス106からデータを受けるように構成される。コントローラ122はまた、コマンドを少なくともロボット114と、1つまたはそれ以上の撮像デバイス106と、1つまたはそれ以上の光源110とに送出するように構成される。メモリ122Aには、プロセッサ122Bによって実行されたときに、本明細書に記載の様々なタイプの管アセンブリを識別するように1つまたはそれ以上のモデルを訓練するための命令が記憶されている。モデルは、他のタイプの管アセンブリ102を識別するように訓練される。プログラムされた命令はまた、コントローラ122に、様々なタイプの管アセンブリ102を様々なグループに分類するように指示することもできる。
図2Aをさらに参照する。この図は、診断装置100(図1)で使用されるモデルを訓練する方法200の一実施形態を示すフローチャートを表している。図2B~2Cもまた参照する。これらの図は、モデルが異なる段階の訓練を受けているときの診断装置100の実施形態の一部分を示す。図2B~2Cに示された実施形態では、管アセンブリ102は、診断装置100の複数のトレイ111に配置されている。診断装置100の実施形態では、場所104(図1)は、複数のトレイ111が配置されている引き出し217(たとえば、1つの場所)を含み得る。いくつかの実施形態では、診断装置100は、複数の引き出しを含むことができ、複数の引き出しのそれぞれは、1つまたは複数のトレイ111または容器を保持することができる。本明細書に記載のトレイ111は、モデルの訓練中に同一の管タイプの管アセンブリを一緒に分離するために使用される。図2B~2Cの実施形態では、引き出し217は、第1のトレイ211A(たとえば、第1の容器)、第2のトレイ211B(たとえば、第2の容器)、第3のトレイ211C(たとえば、第3の容器)、および第4のトレイ211D(たとえば、第4の容器)として個別に表されている、4つのトレイ111を含む。類似している管アセンブリ同士を離すために、他のデバイスが診断装置100で使用されることもある。
本明細書に記載の実施形態では、モデルを訓練するように適用された診断装置100に4つのタイプの管アセンブリ102(管タイプ)が配置され、トレイ111のそれぞれに1つの管タイプが訓練中に装填されている。装填は、たとえば、検査室オペレータによって手作業で行われる。別の個数のトレイ111および管タイプも使用される。管アセンブリ102の個々のタイプは、同一または非常に類似している物理的特性を有し得る。たとえば、類似している(たとえば、同一の)管タイプは、同じ製造業者からのものであっても、同一のキャップの色および/もしくは寸法、または高さ、幅および/もしくは重量などの他の特性を有し得る。
いくつかの実施形態では、異なる管タイプが、抗凝固機能、凝固機能、または他の機能などの、同一の機能を果たすように構成される。たとえば、第1の製造業者は、特定の化学添加物を含み、第1のタイプの検査に使用するように構成されている赤色のキャップを有する、第1の管タイプを供給することができる。第2の製造業者は、第1の管タイプと同じ化学添加物を含み、第1のタイプの検査に使用するように構成されている、色の異なる(たとえば、青色のキャップ)第2の管タイプを供給することができる。いくつかの実施形態では、本明細書に開示された方法および装置により、第1の管タイプと第2の管タイプを、これらは第1のタイプの検査で使用されるのと同じ化学物質を含むので一緒に分類するように、または一緒に(ソフトウェアで)グループ化するように、診断装置100のモデルを訓練することができる。
ブロック208でモデルを訓練するために、異なる管アセンブリタイプの様々な識別特性が、異なる管アセンブリタイプを分類するのに使用される。たとえば、識別特性には、キャップ色または2色以上のキャップ色の組み合わせ、キャップ形状、キャップ材料、キャップの不透明度または半透明度、キャップ重量、キャップ寸法または1つもしくはそれ以上の寸法勾配、管高、管径、管材料などの、特定の組み合わせが含まれ得る。いくつかの実施形態では、管タイプは、キャップ色またはキャップ色の組み合わせ(たとえば、灰色と赤)だけで画成される。
図2B~2Cに開示された実施形態では、4つの管アセンブリタイプ(管タイプ)が図示されており、これらは個別に、第1の管タイプ202A、第2の管タイプ202B、第3の管タイプ202C、および第4の管タイプ202Dと呼ばれる。第1の管タイプ202Aは、図示のように、横線で参照される。第2の管タイプ202Bは、図示のように、十字の線で参照される。第3の管タイプ202Cは、図示のように、斜線で参照される。第4の管タイプ202Dは、図示のように、縦線で参照される。もっと少ない、または多い管タイプも使用される。
さらに図3A~3Dを参照する。これらの図は、異なる管アセンブリ(管タイプ)の各実施形態の立面図を示す。図3Aは、第1の管タイプ202Aの第1の管アセンブリ320の立面図を示す。図3Bは、第2の管タイプ202Bの第2の管アセンブリ322の立面図を示す。図3Cは、第3の管タイプ202Cの第3の管アセンブリ324を示す立面図を示す。図3Dは、第4の管タイプ202Dの第4の管アセンブリ326の立面図を示す。第1の管アセンブリ320は、第1のキャップ320Aおよび第1の管320Bを含み得る。第2の管アセンブリ322は、第2のキャップ322Aおよび第2の管322Bを含み得る。第3の管アセンブリ324は、第3のキャップ324Aおよび第3の管324Bを含み得る。第4の管アセンブリ326は、第4のキャップ326Aおよび第4の管326Bを含み得る。
たとえば、第1の管アセンブリ320は第1の製造業者から提供され、第2の管アセンブリ322は第2の製造業者から提供され、第3の管アセンブリ324は第3の製造業者から提供され、第4の管アセンブリ326は第4の製造業者から提供される。いくつかの実施形態では、管アセンブリ320~326の全部または一部が同一の製造業者から提供される。第1の管アセンブリ320および第2の管アセンブリ322は、同一のタイプの検査で使用されるように構成されている。第3の管アセンブリ324および第4の管アセンブリ326は、異なるタイプの検査で使用されるように構成されている。図3A~3Cに示すように、第1のキャップ320A、第2のキャップ322A、および第3のキャップ324Aは異なる幾何学的特性を有し、キャップ320A~326Aは異なるキャップ色、さらには異なるキャップ色の組み合わせさえも有し得る。加えて、いくつかの管タイプは、高さおよび/または幅に関して異なり得る。たとえば、第2の管322Bは第1の管320Bよりも短く、第1の管320Bは他の管よりも幅広い。
診断装置100のオペレータまたはユーザは、同じ管タイプの複数のインスタンスを個々のトレイ111に装填することによって、ブロック206に記載され図2Aに示されている訓練方法200を開始することができる。たとえば、オペレータは、トレイ111のそれぞれに個々の管タイプを装填することができる。いくつかの実施形態では、管アセンブリ間の製造公差などのばらつきに対処するように訓練するために、同一の管タイプのいくつかのインスタンス(コピー)がトレイ111のそれぞれに提供される。このプロセスにより、管タイプごとに訓練される非常に厳密な管タイプモデルが得られる。
図2Bの実施形態では、第1の管タイプ202Aは第1のトレイ211Aに装填され、第2の管タイプ202Bは第2のトレイ211Bに装填され、第3の管タイプ202Cは第3のトレイ211Cに装填され、第4の管タイプ202Dは第4のトレイ211Dに装填されている。
管アセンブリ102が適切なトレイ211A~211Dに装填された後、輸送デバイス112(図1)は、モデルをブロック208で訓練するために、管アセンブリ102をビジョンシステム107まで輸送することができる。たとえば、ロボット114は、管アセンブリ102をトラック116まで移動させることができ、ここで管アセンブリ102は、コントローラ122からのコマンドに応答して管アセンブリ102の画像を取り込むことができる、ビジョンシステム107の1つまたはそれ以上の撮像デバイス106まで輸送される。取り込まれる画像は画素化画像でよく、各画素化画像は複数の画素を含み得る。画像が取り込まれた後、輸送デバイス112は次に、管アセンブリ102をトレイ111まで戻すことができる。
いくつかの実施形態では、管アセンブリ102は、ビジョンシステム107まで1つずつ送られ撮像される。たとえば、各管アセンブリ102は、輸送デバイスまたはキャリア120(たとえば、パック)に入れられ、ビジョンシステム107まで輸送される。以下で説明するように、アルゴリズムにより各画像を解析することができる。以前に取得された参照画像(たとえば、管アセンブリが入っていない空のキャリア120)と、同一のキャリアスロットまたはレセプタクル(たとえば、パックスロットまたはレセプタクル)内の管アセンブリ102の画像とを使用して、バックグラウンド除去が行われてバイナリマスクが得られ、このバイナリマスクは、管アセンブリ102に対応する画像内の画素を強調するために使用される。
図4Aは、パックスロットに配置された第2の管アセンブリ322の元の画像の1つの撮像デバイス(他の実施形態では、3つのカメラなどの別の個数の撮像デバイスを使用できる)の一例を示し、パック(たとえば、キャリア120、図1)が、第2の管322Bの画像のいくつかの下方部分を覆い隠している。図4Bは、図4Aの画像に対応するバイナリマスク428を示す。バイナリマスク428は、いくらかの外部ノイズを含むことがあり、このノイズは後でフィルタリングされる。
各管タイプのバイナリマスク428は、管アセンブリのどの部分がキャップに対応しているかを判定するために解析される。バイナリマスクの最上部は、キャップ(キャップ320A~326A、管タイプによる)の最上部画素に対応し、最下部画素は、形態素後処理を適用してキャップ領域を強調し、連結成分を用いてノイズを除去した後に、マスクのどの点で幅が最大であるかを推論することによって計算される。たとえば、画像またはマスクの最も幅広い部分W4は、キャップの底部であり得る。図5は、バイナリマスク428を使用して抽出された、結果として得られたキャップパッチ530(何らかの緩衝部付き、これは第2の管322Bの上部であり得る)の一例を示す。キャップパッチ530を生成することは、バイナリマスク428の最も幅広い部分W4を識別し、最も幅広い部分W4の上方の画素を第2のキャップ322Aとして指定する、アルゴリズムを必要とし得る。最も幅広い部分W4を含む画素、および最も幅広い部分W4の下方のいくつかの画素はまた、第2のキャップ322Aとして指定される。第2のキャップ322Aの下方の画素は、緩衝部と呼ばれる。いくつかの実施形態では、図5のキャップパッチ530は、図4Aの画像の先端の切り落とし部分であり得る。
キャップパッチ530の画像キャップ領域(何らかの緩衝部付き)は、画像を前から減算することにより生じるノイズなどのノイズを除去するために抽出され、後処理される。ノイズは、マスクおよび連結成分のまわりのノイズに対処するための(たとえば、予想マスク外側の外部ノイズに対処するための)形態素動作によって除去される。プロセスのこの時点で、キャップに対応する画像中の画素は既知である。画素の色および強度が抽出され、これらの画素のそれぞれが、たとえば、色相-飽和-値(HSV)色空間に変換される。HSV色空間にマッピングされたキャップの一例が図13に示されている。教師なしクラスタリングが、3次元円錐(HSV)色空間を正規化2次元円空間にマッピングしてキャップから2色を抽出することによって実施される。
図6は、色抽出に使用される図5からのキャップパッチ530の例示的な領域と、画素がどの色クラスタに入るかとを示す。図6の実施形態では、2つの色は、それぞれが画素を含み得る、明領域604および暗領域602として示されている。明領域604は、たとえば、キャップの青色部分であり得、暗領域602は、たとえば、第2のキャップ322Aの濃青色部分であり得る。キャップパッチ530について抽出された2色に関して、2次元円空間上のこれらの色間の距離が差分閾値に対して参照されて、その距離が第3のキャップ324A(図3C)などの多色キャップに対応するか否かが判定される。第3のキャップ324Aの実施形態では、明領域604は、たとえば、赤とすることができ、暗領域602は、たとえば、灰色とすることができる。ベタ黒の背景は、元の画像の部分の明度が無視されている画素を含む、背景クラスを表し得る。
診断装置100によって検出された色は、ユーザに表示される。多色キャップ(たとえば、第3のキャップ324A)などで、2つの色が検出された場合、両方の色、または2つの色のそれぞれの平均が表示される。たとえば、各色が2次元円空間において近接している場合には、両方の色の平均が表示される。キャップ色の表示740の一例が図7に示されている。第1のチャート750は、ビジョンシステム107(図1)によって撮像された第1のキャップの色であり得る、複数の個別セル750Aを示す。図7の実施形態では、個々のセル750Aは、ビジョンシステム107によって撮像されたラベンダ色のキャップの相違または異なる濃淡を示す。たとえば、個々のセル750Aのうちの1つまたはそれ以上が、ビジョンシステム107によって撮像されたラベンダ色を示すことができ、1つまたはそれ以上の他の個々のセル750Aが、ビジョンシステム107によって撮像された明ラベンダ色を示すことができる。診断装置100のユーザは、第1のチャート750に示された色が正しいこと、およびそれぞれの管アセンブリタイプがすべて同一の管タイプとして分類予定であることを確認することができる。
第2のチャート752は、青色キャップの色の相違を示し、これらのキャップは、同一の管タイプとして分類され、または単色キャップから分類される。たとえば、個々のセル752Aは、異なる青色の濃淡を示し得るが、ユーザは、全部が同一の管タイプに属することを確認することができる。第3のチャート754は、紫色のキャップの色の相違を示し、これらのキャップは、同一の管タイプとして分類され、または単色キャップから分類される。たとえば、個々のセル754Aは、異なる紫色の濃淡を示し得るが、ユーザは、全部が同一の管タイプに属することを確認することができる。第4のチャート756は、赤色および灰色を含むキャップの色の相違を示す。個々のセル756Aは、各キャップで撮像された2つの色を示している。第4のチャート756によって表されるキャップは、多色キャップ(たとえば、第3のキャップ324A、図3)からのものとして分類される。
訓練の結果(たとえば、訓練済みモデル)は、たとえば、メモリ122A(図1)に記憶される。いくつかの実施形態では、訓練の結果は、以下で説明するデータベースの形とすることができ、いくつかの目的に役立ち得る。このデータベースは、データベースまたは訓練済みモデルを他の診断装置へ転送することを可能にするように、移植性を提供することができる。データベースは、画像から抽出された構成がデータベースに記憶され、かつ訓練済みモデルによって将来の解析に使用されるので、管アセンブリの画像を記憶する必要性を無くすことができる。いくつかの実施形態では、撮像された管アセンブリのタイプに応じて1つまたは2つ(またはそれ以上)の色をユーザに表示するにもかかわらず、将来の解析のために、データベースは両方の色を(すべての場合に)記憶することができる。
モデルは、管アセンブリ102の画像および本明細書に記載の関連する画像処理によって識別される、管アセンブリ102の物理的特性に基づいて訓練される。訓練済みモデルは、本明細書に記載のように、管タイプによって管アセンブリを識別および分類する機械学習モデルおよび/またはニューラルネットワーク(たとえば、畳み込みニューラルネットワークCNN)などの、1つまたはそれ以上の訓練済み分類モデルを含み得る。したがって、モデルを訓練することは、たとえば、識別モデルを訓練すること、ニューラルネットワークを訓練すること、畳み込みニューラルネットワークを訓練すること、および/またはサポートベクターマシンを訓練することを含み得る。いくつかの実施形態では、本明細書に記載のように、管アセンブリを識別および分類するようにモデルを訓練するのに、ディープラーニングが使用される。
いくつかの実施形態では、診断装置100および/またはユーザは、訓練済み管タイプモデルを検証することができる。診断装置100および/またはユーザはまた、図2Aのブロック210に示すように、分類された2つの異なる管タイプが類似し過ぎている場合に競合を修正することもできる。診断装置100は、訓練プロセス中にエラー(たとえば、管アセンブリのうちの1つが異なるタイプである、1つの管に間違ったキャップが付いていた、など)が何もなかったことを保証するために、チェックを実行することができる。上述の実施形態では、ある管タイプの内部の管アセンブリごとに2つの色値が記憶されている場合があるので、色空間におけるこれらの点の両方が、その管タイプの他の管アセンブリと比較されて、これらの点が色空間において同一の管タイプを成すのに十分なだけ互いに近接していることを保証することができる。たとえば、これらの色は、色空間内で互いに所定の距離内にあり得る。このように間隔をとることの一例が、図13の第1のキャップ色1302および第2のキャップ色1304で示されている。第1のキャップ色1302と第2のキャップ色1304の両方が、本明細書に記載のように、同一の管タイプとして、または同一のグループ内にあるとして分類されている。
上述のように、管タイプモデルが訓練されていると、オペレータは、管タイプを1つまたはそれ以上のグループに割り当てることができ、個々のグループは、本明細書に記載のように、かつブロック208(図2A)に記述されているように、ある管アセンブリの内容物、またはある管タイプの特定の機能に関連している。いくつかの実施形態では、この割り当ては、モデルの訓練中に行われる。少なくとも1つのグループは、特定の検査の実施中に使用される管アセンブリを含み得る。たとえば、特定の一組の基準に従って、検査室では、図2Cに示すように、第1のトレイ211A内の第1の管タイプ202Aの第1の管アセンブリ320と、第2のトレイ211B内の第2の管タイプ202Bの第2の管アセンブリ322とを1つのグループ(グループA)に割り当てることができる。グループAは、グルコース検査などの特定の検査に用いられる画成された機能または化学添加物付きの管アセンブリを含むように画成される。グループBおよびグループCの管アセンブリは、特定の検査用の他の機能を実施するために使用される。
厳密に画成された管タイプモデルでは、ある管タイプが第1のグループにグループ分け(たとえば、分類)され、第1のグループの管タイプと他のグループの管タイプとの間に明確な境界を作成するエンベロープが計算される。いくつかの実施形態では、ユーザが、ある管タイプを代表し得る各トレイを1つのグループに割り当てることができる。このグループは、本明細書に記載のように、新規のグループでも既存のグループでもよい。たとえば、新規の管タイプのアセンブリは、本明細書に記載のように識別され、新規または既存のグループに割り当てられる。
グループが画成された後、グループ間に重複がないか調べられる。異なるグループ間に分離境界を画成することを困難にし得る、類似色のキャップ付きの管アセンブリが異なるグループ(たとえば、分類)に割り当てられていることがあるかどうかを、重複がないかを調べることにより確認することができる。たとえば、赤いプラスチックキャップ付きの管タイプと赤いゴムキャップ付きの管タイプは、異なるグループに割り当てられるが、診断装置はこれらのキャップを区別できない可能性がある。管タイプの画成が厳密に色に基づく実施形態では、対応する管アセンブリは同一のグループに属さなければならない場合があり、さもなければ診断装置は、実行時に信頼性のない分類結果を得る可能性がある。
いくつかの実施形態では、診断装置100またはそのユーザは、図2Aのブロック210に記述されているように、2つの学習済みグループが類似し過ぎている場合に競合を修正することができる。そうでなければ、診断装置100は、検査を進めることができる。モデルの訓練が成功している(すなわち、グループ間に重複がない)場合、訓練済みモデルは他の診断装置に移植(コピー)される。次に、別の診断装置の特性評価方法でその訓練済みモデルを使用して、本明細書に記載のように、管アセンブリを実行時(たとえば、検査中)に分類することができる。
実行時に、管アセンブリ102は、図2Dに示すように、トレイ111にランダムに装填される。診断装置100は、パックスロット占有、流量推定、バーコード読み取り、HILN(溶血、黄疸、脂肪血症、および正常判定)、アーチファクト検出(たとえば、血餅、泡または気泡の検出)などの、多数の機能を実施することができる。これらの機能に加えて、訓練に使用されるものなどのキャップおよび他の構成が抽出され、訓練済みモデルのすべてのグループに対して参照される。それに応じて、管アセンブリ102のうちの1つまたはそれ以上がデータベース内のグループの1つに分類され、その管グループに関連した対応する特性/機能は、管アセンブリに適用される。分類の後、オペレータは、モニタに表示された管内容物の特性が、上述のグループの形で事前情報を用いて自動的に取り込まれるのを見ることができる。たとえば、グループA(図2C)、グループB、およびグループCの管アセンブリの管内容物は、自動的に取り込まれモニタ123(図1)上に表示される。いくつかの実施形態では、オペレータは、管アセンブリ内の検体が、管アセンブリのグループまたは分類によって適切な検査に割り当てられていることを確認することができる。
本明細書に記載されたモデルの訓練は、既存の診断装置100を補完することができる。たとえば、訓練により多種多様な管タイプをサポートできるので、管タイプのうちのいくつかにしか視覚ベースのグループ分け競合があり得ないが、この競合は、本明細書に記載の他の方法によって解決される。加えて、本明細書に記載の訓練方法は、モデルを訓練するときに用いられる手作業の注釈付けが少ないので、検査室で使用される管タイプを識別するようにオペレータがモデルを迅速に訓練することを可能にし得る。
本明細書に記載のモデルおよび方法は、診断装置100(図1)が、グループに割り当てられた管タイプとの競合を、上述のように2つの類似している管タイプが異なるグループに割り当てられる場合などに、強調することを可能にし得る。さらに、実行時に、管アセンブリは、グループのうちの1つに手入力することに頼るのではなく、グループのうちの1つに迅速に分類される。加えて、グループは、オペレータによってカスタマイズされる。管タイプをグループにグループ分けすることによって、オペレータは、適正な管タイプが特定の検査に使用されていることを確信することができる。たとえば、方法およびモデルは、実行時に分類される管タイプと、管アセンブリ内の検体に対して指示されている1つまたはそれ以上の検査とを比較することによって、誤った管タイプが使用された場合の発見を容易にする。特定の分析器モジュール118の検査メニューなどに記憶されている、データベースまたは他の比較方法が、管タイプと特定の検査に許可された管タイプとを比較するために用いられる。
上記に加えて、本明細書に開示された方法、装置、およびモデルでは、異なる管タイプを区別するために、キャップ形状、キャップ色、ならびにキャップおよび管の他の特性を用いることができる。色および形状を含むキャップおよび/または管の構成は、管アセンブリを識別するために、線形サポートベクターマシンなどの多次元識別モデルでもよいモデルに入力される。これらの方法および装置では、管アセンブリ102の特性を識別するために、管アセンブリ102(図1)の前方照明および/または後方照明を使用することができる。たとえば、いくつかの実施形態では、1つまたはそれ以上のパネル光源などの、1つまたはそれ以上の光源110は、管アセンブリの前面を照明することができ、反射光の画像が取り込まれる。他の実施形態では、パネル光源などの1つまたはそれ以上の光源110が、管アセンブリを後方照明することができ、撮像デバイスが、管アセンブリを通過する光の画像を取り込むことができる。しかし、前方照明は、少なくとも色の識別の改善をもたらすことができる。
いくつかの実施形態では、キャップとして識別された領域の画像の、色決定アルゴリズムを使用するさらなる処理により、キャップの色を抽出または識別することができる。さらなる処理は、モデルを訓練するために使用され、かつ/または管アセンブリ102(図1)を分類するためにモデルによって使用される。上述のように、アルゴリズムにより、多色キャップ(たとえば、第3のキャップ324A、図3C)の色を決定することができる。これらの実施形態では、キャップを表す画素のそれぞれの色値が特定される。画素の全部または1つのパッチの色値の平均(平均色)は、コンピュータアルゴリズムを使用することなどによって決定される。平均色の色成分が次に決定され、モデルを訓練するために使用され、かつ/または管アセンブリ102を分類するためにモデルによって使用される。
いくつかの実施形態では、平均色は、色相、彩度、および値成分を得るためにHSV(色相、彩度、値)色空間で計算される。HSV色空間にマッピングされた管アセンブリの一例が図13に提供されている。これらの色成分は、管タイプを明確に分類する助けになるモデル(たとえば、識別モデル)に入力される、3つの大きさまたはベクトルを提供する。HSL、RGB(赤、緑、青)、Adobe RGB、YIQ、YUV、CIELCAB、CIELUV、ProPhoto、sRGB、Luma plus Chroma、CMYKなどを使用して、他の色特性評価方法も用いられる。
いくつかの実施形態では、キャップ形状に関連する構成がモデルに入力される。たとえば、寸法勾配(たとえば、寸法の変化率を示す行勾配および/または列勾配)に関連する幾何学的構成が、モデルに入力される。アルゴリズムにより、たとえば、キャップの画像を上部から下部または下部から上部へ走査(たとえば、ラスター走査)して、キャップの幅を垂直位置の関数として(たとえば、y軸に沿って)決定することができ、ここで幅は、横軸すなわちx軸に沿って計算される。たとえば、このアルゴリズムでは、マスクされたキャップ画像を上部から下部へ走査し、キャップの形状を解析し、キャップの画像のy軸に沿った幅の絶対値と1次導関数の両方を記憶することができる。1次導関数は、単一軸については、式(1)で次のように計算される:
Figure 0007438345000001
式(1)により、行勾配が得られる。RG-maxとして表される行勾配の最大値が計算される。RG-maxの値は、キャップの幅の最も急な変化の関数であり、その変化に関連しており、モデルへのベクトル入力であり得る。他の実施形態では、キャップの他の幾何学的構成が解析され、モデルに入力される。たとえば、キャップの上面に沿った輪郭が解析され、モデルに入力される。他の実施形態では、キャップ高の勾配が解析され、モデルに入力される。
いくつかの実施形態では、モデルに入力される1つまたはそれ以上の他の差別化特性を得るために、キャップの材料が解析される。キャップの材料を解析することには、キャップの不透明度の目安を計算することが含まれ得る。たとえば、あるアルゴリズムでは、複数の光スペクトル(波長)にわたって多くの露出時間にキャップの後方照明画像を使用することができ、その結果を解析することができる。いくつかの実施形態では、3つの可視光スペクトル(RGB)が使用される。たとえば、後方照明赤チャネル画像は、約10309μsの間露出され、後方照明緑チャネル画像は、約20615μsの間露出され、後方照明青チャネル画像は、約10310μsの間露出される。色チャネルのそれぞれの統計値が計算され、訓練中にモデルに入力される。たとえば、RGBの各波長の高露出画像の平均値が計算される。これらの3つの平均値(R-mean、G-mean、B-mean)を含めて、モデルは、多次元(7次元)の識別構成空間(H、S、V、RG-max、R-mean、G-mean、B-mean)をキャップ識別および/または分類のために用いることができる。
n次元構成空間(この実施形態ではn=7)において、モデル(たとえば、識別モデルまたは識別器)が、管タイプを適切に識別するように訓練される。識別器などのモデルの一例が線形サポートベクターマシン(SVM)であり、これは、高次元構成空間において各キャップおよび/または管タイプのまわりに決定超境界を描く。次に、キャップおよび/または管タイプが識別される。いくつかの実施形態では、キャップの高さ、直径、または他の視覚ベースの構成などの、より多くの構成がモデルの追加次元として含まれる。キャップ重量が、撮像段階の後のキャップ除去ステーションなどでも利用される。他の実施形態では、他の後方照明光または非可視光(たとえば、IRまたは近IR)が、より強力なモデルを追加して色空間の次元の複雑さを活用するために使用される。
本明細書に記載のモデルおよびアルゴリズムは、キャップの色だけに依存することなく、特定のキャップをその適切な管タイプと関連付けることができる。これらのモデルおよびアルゴリズムは、オペレータからの入力がなくてもこれらのタスクを実施することができる。すなわち、識別が自動化される。以下の説明では、管に取り付けられたキャップに基づいて管タイプを識別するために上述の方法および装置を実施するという一例を提供する。他の実施形態では、管アセンブリの特性が解析され、その解析に基づいて、これらのモデルおよびアルゴリズムで管タイプを決定することができる。
図3A~3Dを再び参照すると、第1のキャップ320Aは第1の色を有していてもよく、第2のキャップ322Aは第2の色を有していてもよい。いくつかの実施形態において、第1の色は第2の色と類似していることがあり、それにより、色だけのコンピュータアルゴリズムでは第1の色を第2の色と区別することができない可能性がある。他の実施形態では、第1の色は第2の色と異なっていることがある。本明細書に記載の方法および装置は、上述の構成および色を解析して、第1のキャップ320Aを第2のキャップ322Aと区別すること、それゆえに第1の管アセンブリ320の管タイプを第2の管アセンブリ322の管タイプと区別することができる。
第1の管アセンブリ320および第2の管アセンブリ322の1つまたはそれ以上の画像は、1つまたはそれ以上の撮像デバイス106(図1)によって取り込まれる。画像は、画素で構成された画素化画像でもよく、各画像は複数の画素を含む。さらに図8Aおよび図8Bを参照すると、図8Aは、第1の管320Bから取り外された第1のキャップ320Aのマスク画像の概略図を示し、図8Bは、第2の管322Bから取り外された第2のキャップ322Aのマスク画像の概略図を示している。いくつかの実施形態では、コントローラ122で実行されるアルゴリズムにより、画像中の画素をキャップとして分類することができ、これらの画素を追加の処理のために分離することができる。図8Aおよび図8Bのまわりのボックスは、マスク画像が、同様のボックスを含む図3Aの第1の管アセンブリ320および図3Bの第2の管アセンブリ322と位置が合うところを示す。
図8Aの画像中の画素位置は、第1のキャップ320Aの色を決定するために元のカラー画像を解析するのに使用される。第1のキャップ320Aの色を決定することは、画素の平均色、画素の中央色、画素の最頻値、または画素の他の色値を計算することによって行われる。また、k平均クラスタリングなどの、より高度な教師なし機械学習法もまた、色クラスタを作成するために用いられる。平均色は、第1の管アセンブリ320のモデルへの入力用のHSV色モデルの3つの色構成次元(H-色相、S-彩度、およびV-値(明るさ))を生成するために、HSV色空間内で計算される。同一のプロセスが、第2の管アセンブリ322のモデルへの入力用の3つの色構成次元を生成するために、図8Bの画素位置に適用される。
モデルへの入力用の追加の寸法は、第1のキャップ320Aおよび/または第1の管320Bを含む第1の管アセンブリと、第2のキャップ322Aおよび/または第2の管322Bを含む第2の管アセンブリ322との幾何学的構成を解析することによって得られる。コントローラ122上で実行されるアルゴリズムにより、第1のキャップ320Aの行勾配などの寸法勾配を解析すること、および第1の管320Bの一部分を含むことができる。同様に、このアルゴリズムにより、第2のキャップ322Aの行勾配などの寸法勾配を解析すること、および第2の管322Bの一部分を含むことができる。
図9Aを参照する。この図は、行勾配などの幾何学的勾配を決定するために解析される、第1の管アセンブリ320の一部分を示す。図10Aもまた参照する。この図は、行勾配などの幾何学的勾配を決定するために解析される、第2の管アセンブリ322の一部分を示す。図9Aを参照すると、アルゴリズムにより、第1のキャップ320Aおよび第1の管320Bの一部分を上部から下部へ走査して、第1のキャップ320Aおよび第1の管320Bの一部分の形状を示す数値を決定することができる。図3Aの実施形態では、これらの数値は、第1のキャップ320Aと第1の管320Bの上部との様々な幅である。
さらに図9Bを参照する。この図は、図9Aに示される第1の管アセンブリ320に沿った垂直寸法の関数としての様々な幅寸法をグラフで示す。図9Aおよび図9Bに示すように、第1の管アセンブリ320は、垂直位置V31において幅W31、および垂直位置V32において幅W32を有している。第1の管アセンブリ320は、垂直位置V33で幅W33を有しており、この幅は、第1の管320Bの幅である。これらの幅は、垂直位置の関数としての幅に関して、第1の管アセンブリ320の特有の幾何学的特性を表し得る。
さらに図9Cを参照する。この図は、第1の管アセンブリ320の図9Bの寸法グラフ(垂直寸法に対する幅寸法)の1次導関数を示す。式(1)が、図9Cのグラフを得るために図9Bのグラフに適用される。第1のキャップ320Aの最上部の行は処理中に無視されるので、式(1)が最上部の行の画素に適用されたときに1次導関数が無限大に近づかないことに留意されたい。図9Cのグラフのy軸は、ΔWidthと呼ばれる。RG-max1と呼ばれるΔWidthの最大値が図9Cのグラフに示されており、別のモデル入力として第1の管アセンブリ320のモデルに入力される。
さらに図10Bを参照する。この図は、図10Aに示される第2の管アセンブリ322の様々な幅を垂直寸法(位置)の関数としてグラフで示す。図10Aおよび図10Bに示すように、第2の管アセンブリ322は、垂直位置V41において幅W41、および垂直位置V42において幅W42を有している。第2の管アセンブリ322は、垂直位置V43において幅W43を有しており、この幅は、第2の管322Bの幅である。これらの幅は、第2の管アセンブリ322の特有の幾何学的特性を表し得る。
さらに図10Cを参照する。この図は図10Bのグラフにプロットされた第2の管アセンブリ322の1次導関数を示す。式(1)が、図10Cのグラフを得るために図10Bのグラフに適用される。第2のキャップ322Aの最上部の行は処理中に無視されるので、第1の行の導関数が計算されるときに1次導関数が無限大に近づかないことに留意されたい。図10Cのグラフのy軸は、ΔWidthと呼ばれる。RG-max2と呼ばれるΔWidthの最大ピークの値が図10Cのグラフに示されており、別のモデル入力として第2の管アセンブリ322のモデルに入力される。したがって、第1の管アセンブリ320および第2の管アセンブリ322の勾配は、管アセンブリを第1のキャップ320Aおよび第2のキャップ322Aの色に関係なく識別および/または区別するために使用される。いくつかの実施形態では、ΔWidthの最小値は、管アセンブリを識別および/または区別するために使用される。
第1の管アセンブリ320および第2の管アセンブリ322の別の差別化特性は、キャップ材料および/または管材料とすることができ、これらは、不透明度の目安を計算することによって決定される。この特性を評価するために、キャップを含む管アセンブリの一部分が後方照明され、管アセンブリの画像が多くの露出時間に取り込まれ、また複数の光スペクトルにわたっても取り込まれる。いくつかの実施形態では、3つの可視光スペクトル(赤(R)、緑(G)、および青(B))により第1の管アセンブリ320および第2の管アセンブリ322を後方照明することができる。
図11Aを参照する。この図は、第1の管アセンブリ320を通過し1つまたはそれ以上の撮像デバイス106によって取り込まれた、例示的な光スペクトルのグラフを示す。図11Bもまた参照する。この図は、第2の管アセンブリ322を通過し1つまたはそれ以上の撮像デバイス106によって取り込まれた、例示的な光スペクトルのグラフを示す。図11Aおよび図11Bのグラフは、0から255までの強度スケールでグラフ化されており、0は受けた光がないこと、255は管アセンブリによって遮断された光がないことを表している。図11Aのグラフによって表された第1の管アセンブリ320の部分は図9Aに示されており、図11Bのグラフによって表された第2の管アセンブリ322の部分は図10Aに示されている。いくつかの実施形態では、後方照明赤チャネル画像は約10309μsの間露出され、後方照明緑チャネル画像は約20615μsの間露出され、後方照明青チャネル画像は約10310μsの間露出される。
図11Cをさらに参照する。この図は、第1の管アセンブリ320の一部分の写真画像を示す。最も上の写真画像は、フルRGB色スペクトルの前景照明を用いて取り込まれた、第1の管アセンブリ320の一部分である。第2の画像は、赤色の背景照明で取り込まれた、第1の管アセンブリ320の一部分の単色写真画像である。第3の画像は、緑色の背景照明で取り込まれた、第1の管アセンブリ320の一部分の単色写真画像である。第4の画像は、青色背景照明で取り込まれた、第1の管アセンブリ320の一部分の単色写真画像である。
図11Dをさらに参照する。この図は、第2の管アセンブリ322の一部分の写真画像を示す。最も上の写真画像は、フルRGB色スペクトルの前景照明を用いて取り込まれた、第2の管アセンブリ322の一部分である。第2の画像は、赤色の背景照明で取り込まれた、第2の管アセンブリ322の一部分の単色写真画像である。第3の画像は、緑色の背景照明で取り込まれた、第2の管アセンブリ322の一部分の単色写真画像である。第4の画像は、青色背景照明で取り込まれた、第2の管アセンブリ322の一部分の単色写真画像である。
図11Aおよび図11Bのグラフにより、第1の管アセンブリ320が、波長(R、G、B)のいずれでもほぼ完全な不透明度を有し、第2の管アセンブリ322が、3つの波長すべてで多量の光を遮断することが示されている。いくつかの実施形態では、高露出画像の各波長の平均値が計算され、それぞれR-mean、G-mean、およびB-meanと呼ばれる。いくつかの実施形態では、高露出画像の各波長の中央値が計算される。
上述のすべての次元が計算された場合、管アセンブリごとに7次元の識別構成空間(H、S、V、RG-max、R-mean、G-mean、B-mean)があり得る。n次元の構成空間(この実施形態ではn=7)において、モデルは、様々な管タイプを適切に識別するように訓練される。このようなモデル(たとえば、識別器または判別モデル)の一例が線形SVMであり、これは、この高次元構成空間において各管タイプのまわりに決定超境界を描く。前述のモデルに基づいて、第1の管アセンブリ320は、第1のキャップ320Aと第2のキャップ322Aがたとえ同一または同様の色であっても、第2の管アセンブリ322と区別される。キャップ不透明度、キャップ重量、キャップ垂直高さ、直径、もしくは他の視覚ベースの幾何学的構成などの、より多くの構成、または異なる背景照明もしくは非可視光(たとえば、IRまたは近IR)を使用する照明などの、追加の画像タイプを用いて、さらに強力な識別モデルが、空間の次元の複雑さを活用するために使用される。
本明細書に記載の装置および方法は、診断検査室および上述のアルゴリズムが、検査室を通過し得る多くの異なる管タイプを区別できるようにする。キャップの色だけに依拠すると、製造業者および/または地域特有の基準が異なるので、信頼性の低い結果になる可能性がある。上記に基づいて、本明細書に開示された装置および方法は、キャップ色自体では様々な管タイプを区別するのに不十分である場合に、様々な管タイプの識別を改善するとともに、その区別の助けになる。このことは、診断デバイスまたは診断機が、オペレータによる手入力を必要とすることなく、診断デバイスまたは診断機に配置された1つまたはそれ以上のセンサにより管タイプ(それゆえに、対応する構成)を決定できるようになるので、有利である。本明細書に記載の装置および方法の利点に寄与する技法的な構成には、1つまたはそれ以上の搭載センサから収集されたデータを用いる各管タイプの高次元構成ベクトルと、管タイプを適切に決定するための高次元空間の識別モデルとが含まれ得る。このような高次元モデルを使用すると、試料処理の作業の流れを速めることができ、また、管に対して指示されたアッセイと、管の化学添加物または幾何学的特性との間の不整合を適正に識別することができる。
図14は、第1のキャップ320Aおよび第1の管320Bで構成された第1の管アセンブリ320の、1つまたはそれ以上の画像を取り込むように構成されている撮像システム800を示し、その1つまたはそれ以上の画像は画素で構成された画素化画像でもよく、各画像は複数の画素を含む。撮像システム800は、ビジョンシステム107(図1)で使用される。撮像システム800は、光源110(図1)でもよい光パネルなどの、前方光源810Bを含む。いくつかの実施形態では、撮像デバイス806のどちらかの側面に位置する光パネルなどの、1つまたはそれ以上の前方光源が使用される。いくつかの実施形態では、たとえば、不透明度を決定するための背面光を提供するための1つまたはそれ以上の光パネルなどの、1つまたはそれ以上の背面光の光源810Aが設けられる。他の配置も可能である。
撮像システム800は、撮像デバイス806および光源810A、810Bに通信可能に連結されたコントローラ822をさらに含み得る。コントローラ822は、コントローラ122(図1)と同じでもよく、本明細書に記載のモデルの形などの、実行可能なプログラム命令を記憶し実行するのに適しているプロセッサおよびメモリを含む、任意の適切なコンピュータでもよい。コントローラ822は、信号を適切な時間に光源810A、810Bへ送出して、前方照明および/または後方照明を提供することができる。コントローラ822は、撮像デバイス806によって生成された画像データを受け、その画像データを本明細書に記載のように処理して、モデルを訓練すること、ならびに/または管アセンブリ102(図1)を分類および/もしくは識別することができる。
ここで、図15を参照する。この図は、診断装置(たとえば、診断装置100)のモデルを訓練する方法1500を示す。方法1500は、1502で、第1のタイプ(たとえば、第1のタイプ202A)の1つまたはそれ以上の第1の管アセンブリ(たとえば、第1の管アセンブリ320)を診断装置に提供する工程を含む。方法1500は、1504で、第2のタイプ(たとえば、第2のタイプ202B)の1つまたはそれ以上の第2の管アセンブリ(たとえば、第2の管アセンブリ322)を診断装置に提供する工程を含む。この方法は、1506で、撮像デバイス(たとえば、撮像デバイス106)を使用して、1つまたはそれ以上の第1の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第1の画像を取り込む工程を含む。方法1500は、1508で、撮像デバイスを使用して、1つまたはそれ以上の第2の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第2の画像を取り込む工程を含む。方法1500は、1510で、1つまたはそれ以上の第1の画像および1つまたはそれ以上の第2の画像に基づいて、第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練する工程を含む。方法1500は、1512で、第1のタイプの管アセンブリを第1のグループにグループ分けする工程を含む。方法1500は、1514で、第2のタイプの管アセンブリを第2のグループにグループ分けする工程を含む。
図16を参照する。この図は、診断装置(たとえば、診断装置100)を動作させる方法1600を示す。方法1600は、1602で、診断装置のモデルを訓練する工程を含み、この訓練する工程は:第1のタイプ(たとえば、第1のタイプ202A)の1つまたはそれ以上の第1の管アセンブリ(たとえば、第1の管アセンブリ320)を診断装置に提供すること;第2のタイプ(たとえば、第2のタイプ202B)の1つまたはそれ以上の第2の管アセンブリ(たとえば、第2の管アセンブリ322)を診断装置に提供すること;撮像デバイス(たとえば、撮像デバイス106)を使用して、1つまたはそれ以上の第1の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第1の画像を取り込むこと;撮像デバイスを使用して、1つまたはそれ以上の第2の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第2の画像を取り込むこと;ならびに、1つまたはそれ以上の第1の画像および1つまたはそれ以上の第2の画像に基づいて、第1のタイプの管アセンブリと第2のタイプの管アセンブリを識別するようにモデルを訓練することを含む。方法1600は、1604で、第1のタイプの管アセンブリを第1のグループにグループ分けする工程を含む。方法1600は、1606で、第2のタイプの管アセンブリを第2のグループにグループ分けする工程を含む。方法1600は、1608で、検体を中に含む1つまたはそれ以上の管アセンブリを診断装置に装填する工程を含む。方法1600は、1610で、検体を含む1つまたはそれ以上の管アセンブリを撮像する工程を含む。方法1600は、1612で、モデルを用いて、検体を含む1つまたはそれ以上の管アセンブリを第1のタイプまたは第2のタイプとして識別する工程を含む。方法1600は、1614で、検体を含む1つまたはそれ以上の管アセンブリを、その識別に基づいて第1のグループまたは第2のグループにグループ分けする工程を含む。
本開示には、様々な修正形態および代替形態が可能であるが、特定のシステムおよび装置の実施形態とその方法とを図に例として示し、本明細書で詳細に説明している。しかし、本開示を、開示された特定の装置または方法に限定することは意図されていなく、それとは対照的に、その意図は、本開示の範囲に入るすべての修正形態、等価物、および代替形態を包含することであると理解されたい。

Claims (20)

  1. 生体試料の分析のための診断装置のモデルを訓練する方法であって:
    第1のタイプの1つまたはそれ以上の第1の管アセンブリを診断装置に提供する工程と;
    第2のタイプの1つまたはそれ以上の第2の管アセンブリを診断装置に提供する工程と;
    前記診断装置に配置された撮像デバイスを使用して、1つまたはそれ以上の第1の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第1の画像を取り込む工程と;
    前記撮像デバイスを使用して、1つまたはそれ以上の第2の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第2の画像を取り込む工程と;
    1つまたはそれ以上の第1の画像および1つまたはそれ以上の第2の画像に基づいて、第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練する工程と;
    訓練されたモデルにより第1のタイプの管アセンブリを第1のグループにグループ分けする工程であって、第1のグループは診断装置によって行われる第1の検査または第1のタイプ中の第1の化学添加物もしくは内容物と関連付けられる、工程と;
    訓練されたモデルにより第2のタイプの管アセンブリを第2のグループにグループ分けする工程であって、第2のグループは診断装置によって行われる第2の検査または第2のタイプ中の第2の化学添加物もしくは内容物と関連付けられる、工程とを含む、前記方法。
  2. 1つまたはそれ以上の第1の管アセンブリを、診断装置に配置された撮像デバイスまで輸送する工程と;
    1つまたはそれ以上の第2の管アセンブリを前記撮像デバイスまで輸送する工程とをさらに含む、請求項1に記載の方法。
  3. 第1の管アセンブリを提供する工程、および第2の管アセンブリを提供する工程は、第1のタイプの1つまたはそれ以上の第1の管アセンブリを第1の容器に配置すること、および第2のタイプの1つまたはそれ以上の第2の管アセンブリを第2の容器に配置することを含む、請求項1に記載の方法。
  4. 第3のタイプの1つまたはそれ以上の第3の管アセンブリを診断装置に提供する工程と;
    撮像デバイスを使用して、1つまたはそれ以上の第3の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第3の画像を取り込む工程とを含み、
    ここで、モデルを訓練する工程は、1つまたはそれ以上の第3の画像に基づいて、第3のタイプの管アセンブリを識別するようにモデルを訓練することを含み、
    さらに、第3のタイプの管アセンブリを第3のグループにグループ分けする工程を含む、請求項1に記載の方法。
  5. 第1のタイプの管アセンブリおよび第3のタイプの管アセンブリを第1のグループにグループ分けする工程と、第2のタイプの管アセンブリを第2のグループにグループ分けする工程とを含む、請求項4に記載の方法。
  6. モデルを訓練する工程は、識別モデルを訓練することを含む、請求項1に記載の方法。
  7. モデルを訓練する工程は、ニューラルネットワークを訓練することを含む、請求項1に記載の方法。
  8. モデルを訓練する工程は、畳み込みニューラルネットワークを訓練することを含む、請求項1に記載の方法。
  9. モデルを訓練する工程は、サポートベクターマシンを訓練することを含む、請求項1に記載の方法。
  10. モデルを訓練する工程は、1つまたはそれ以上の第1の画像を解析して、1つまたはそれ以上の第1の管アセンブリの少なくとも1つの特性を識別すること、ならびに、1つまたはそれ以上の第2の画像を解析して、1つまたはそれ以上の第2の管アセンブリの少なくとも1つの特性を識別することを含む、請求項1に記載の方法。
  11. 1つまたはそれ以上の第1の管アセンブリはキャップを含み、少なくとも1つの特性はキャップの色である、請求項10に記載の方法。
  12. 1つまたはそれ以上の第1の管アセンブリのキャップの少なくとも1つの色の画像を表示する工程をさらに含む、請求項11に記載の方法。
  13. 1つまたはそれ以上の第1の管アセンブリはキャップを含み、少なくとも1つの特性はキャップの幾何学的構成である、請求項10に記載の方法。
  14. 1つまたはそれ以上の第1の管アセンブリはキャップを含み、少なくとも1つの特性はキャップの不透明度である、請求項10に記載の方法。
  15. 少なくとも1つの特性は、少なくとも1つの波長の光の不透明度である、請求項14に記載の方法。
  16. モデルを訓練することにより訓練済みモデルを生成し、その訓練済みモデルを別の診断装置まで輸送する工程をさらに含む、請求項1に記載の方法。
  17. 第1のグループの管アセンブリが生体試料の第1の分析に使用され、第2のグループの管アセンブリが生体試料の第2の分析に使用される、請求項1に記載の方法。
  18. 生体試料の分析のための診断装置を動作させる方法であって:
    前記診断装置のモデルを訓練する工程であり:
    第1のタイプの1つまたはそれ以上の第1の管アセンブリを診断装置に提供すること;
    第2のタイプの1つまたはそれ以上の第2の管アセンブリを診断装置に提供すること;
    前記診断装置に配置された撮像デバイスを使用して、1つまたはそれ以上の第1の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第1の画像を取り込むこと;
    前記撮像デバイスを使用して、1つまたはそれ以上の第2の管アセンブリのそれぞれの少なくとも一部分の、1つまたはそれ以上の第2の画像を取り込むこと;ならびに
    1つまたはそれ以上の第1の画像および1つまたはそれ以上の第2の画像に基づいて、第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練することを含む工程と;
    訓練されたモデルにより第1のタイプの管アセンブリを第1のグループにグループ分けする工程であって、第1のグループは診断装置によって行われる第1の検査または第1のタイプ中の第1の化学添加物もしくは内容物と関連付けられる、工程と;
    訓練されたモデルにより第2のタイプの管アセンブリを第2のグループにグループ分けする工程であって、第2のグループは診断装置によって行われる第2の検査または第2のタイプ中の第2の化学添加物もしくは内容物と関連付けられる、工程と;
    検体を中に含む1つまたはそれ以上の管アセンブリを診断装置に装填する工程と;
    検体を含む1つまたはそれ以上の管アセンブリを撮像する工程と;
    モデルを用いて、検体を含む1つまたはそれ以上の管アセンブリを第1のタイプまたは第2のタイプとして識別する工程と;
    検体を含む1つまたはそれ以上の管アセンブリを、その識別に基づいて第1のグループまたは第2のグループにグループ分けする工程と
    を含む、前記方法。
  19. モデルを訓練する工程は、1つまたはそれ以上の第1の画像を解析して、1つまたはそれ以上の第1の管アセンブリの少なくとも1つの特性を識別すること、ならびに、1つまたはそれ以上の第2の画像を解析して、1つまたはそれ以上の第2の管アセンブリの少なくとも1つの特性を識別することを含む、請求項18に記載の方法。
  20. 生体試料の分析のための診断装置であって:
    第1のタイプの1つまたはそれ以上の第1の管アセンブリ、および第2のタイプの1つまたはそれ以上の第2の管アセンブリを収納するように構成された場所と;
    1つまたはそれ以上の第1の管アセンブリの少なくとも一部分、および1つまたはそれ以上の第2の管アセンブリの少なくとも一部分を撮像するように構成された撮像デバイスと;
    1つまたはそれ以上の第1の管アセンブリ、および1つまたはそれ以上の第2の管アセンブリを少なくとも撮像デバイスまで輸送するように構成された輸送デバイスと;
    メモリに連結されたプロセッサを含むコントローラとを含み、メモリには、プロセッサによって実行されたときに:
    第1のタイプの管アセンブリおよび第2のタイプの管アセンブリを識別するようにモデルを訓練し;
    第1のタイプの管アセンブリを第1のグループに、第2のタイプの管アセンブリを第2のグループにグループ分けする命令が記憶され、
    第1のグループは診断装置によって行われる第1の検査または第1のタイプ中の第1の化学添加物もしくは内容物と関連付けられ、
    第2のグループは診断装置によって行われる第2の検査または第2のタイプ中の第2の化学添加物もしくは内容物と関連付けられている、前記診断装置。
JP2022525251A 2019-10-31 2020-10-22 診断分析器のモデルを訓練する装置および方法 Active JP7438345B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962929071P 2019-10-31 2019-10-31
US62/929,071 2019-10-31
PCT/US2020/056932 WO2021086725A1 (en) 2019-10-31 2020-10-22 Apparatus and methods of training models of diagnostic analyzers

Publications (2)

Publication Number Publication Date
JP2023501941A JP2023501941A (ja) 2023-01-20
JP7438345B2 true JP7438345B2 (ja) 2024-02-26

Family

ID=75715565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022525251A Active JP7438345B2 (ja) 2019-10-31 2020-10-22 診断分析器のモデルを訓練する装置および方法

Country Status (5)

Country Link
US (1) US20220383618A1 (ja)
EP (1) EP4051434A4 (ja)
JP (1) JP7438345B2 (ja)
CN (1) CN114585443B (ja)
WO (1) WO2021086725A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204360A (ja) 2008-02-26 2009-09-10 Aloka Co Ltd 検体容器判別装置
US20170124704A1 (en) 2014-06-10 2017-05-04 Siemens Healthcare Diagnostics Inc. Drawer vision system
US20190271714A1 (en) 2016-07-25 2019-09-05 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for didentifying a specimen container cap

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170271B2 (en) * 2008-06-25 2012-05-01 Jadak Llc System and method for test tube and cap identification
JP5330313B2 (ja) * 2010-05-24 2013-10-30 株式会社日立ハイテクノロジーズ 生体試料の分析装置
EP2574933A1 (en) * 2011-09-29 2013-04-03 F. Hoffmann-La Roche AG Handling of sample tubes comprising geometric tube data
JP6718465B2 (ja) * 2015-02-18 2020-07-08 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
EP3408653B1 (en) * 2016-01-28 2024-01-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
US11815446B2 (en) * 2016-01-28 2023-11-14 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and specimen
WO2017132167A1 (en) * 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify a specimen container from multiple lateral views
US20180003706A1 (en) * 2016-06-30 2018-01-04 Sightline Innovation Inc. System, method, and module for biomarker detection
CN106383853A (zh) * 2016-08-30 2017-02-08 刘勇 一种电子病历后结构化以及辅助诊断的实现方法及其系统
CN110832508B (zh) * 2017-07-11 2023-08-11 美国西门子医学诊断股份有限公司 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统
US11378495B2 (en) * 2018-02-01 2022-07-05 Georgia Tech Research Corporation Methods, systems and devices for agent detection
CN109886302A (zh) * 2019-01-21 2019-06-14 河北新兴铸管有限公司 基于机器学习的管径判断方法及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204360A (ja) 2008-02-26 2009-09-10 Aloka Co Ltd 検体容器判別装置
US20170124704A1 (en) 2014-06-10 2017-05-04 Siemens Healthcare Diagnostics Inc. Drawer vision system
US20190271714A1 (en) 2016-07-25 2019-09-05 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for didentifying a specimen container cap

Also Published As

Publication number Publication date
EP4051434A4 (en) 2022-12-28
US20220383618A1 (en) 2022-12-01
EP4051434A1 (en) 2022-09-07
CN114585443A (zh) 2022-06-03
CN114585443B (zh) 2023-11-03
WO2021086725A1 (en) 2021-05-06
JP2023501941A (ja) 2023-01-20

Similar Documents

Publication Publication Date Title
JP6870826B2 (ja) 側方多視点から試料を定量化するように構成された方法及び装置
CN108738336B (zh) 用于多视图表征的方法和装置
JP6919139B2 (ja) 複数の側面図から試料容器を識別するように構成された方法および装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
US11238318B2 (en) Methods and apparatus for HILN characterization using convolutional neural network
JP6927465B2 (ja) 検体中の妨害因子を分類するためのモデルベース方法及び装置
JP2021510201A (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP7089071B2 (ja) 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け
JP7089072B2 (ja) 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置
US11852642B2 (en) Methods and apparatus for HILN determination with a deep adaptation network for both serum and plasma samples
JP7438345B2 (ja) 診断分析器のモデルを訓練する装置および方法
JP7177917B2 (ja) 視覚化分析装置および視覚的学習方法
JP7373659B2 (ja) 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
JP7407282B2 (ja) 管アセンブリタイプを識別する装置および方法
JP7458481B2 (ja) 自動診断分析システムにおいて検体のhiln決定に使用される訓練画像をハッシュおよび検索するための方法および装置
CN115908290A (zh) 血型卡缺陷检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7438345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150