JP7407282B2 - 管アセンブリタイプを識別する装置および方法 - Google Patents

Description

関連出願の相互参照
本願は、あらゆる目的のためにその全体を参照によって本明細書に組み入れる、２０１９年１０月３１日出願の「管アセンブリタイプを識別する装置および方法（ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＩＤＥＮＴＩＦＹＩＮＧ ＴＵＢＥ ＡＳＳＥＭＢＬＹ ＴＹＰＥ）」という名称の米国仮特許出願第６２／９２９，０７０号の利益を主張する。

本開示の実施形態は、管アセンブリを識別する装置および方法に関する。

血清、血漿、尿、組織液、脳脊髄液などの生体試料（試料）中の分析物またはその他の成分を識別するために、自動検査システムは、１つまたはそれ以上の試薬を使用して臨床化学検査またはアッセイを行う場合がある。利便性および安全性の理由から、これらの試料は、ほぼ例外なく、試料管（たとえば、血液採取管）に収容される。試料管は、キャップで蓋をすることができ、場合により、キャップは、行われる予定の検査の種類、管に収容されている添加剤の種類（たとえば、血清セパレータ、トロンビンなどの凝固剤、ＥＤＴＡもしくはクエン酸ナトリウムのような抗凝固剤およびその特定の種類、または抗解糖添加剤）、ならびに管が真空能力を備えているかどうかなどに関する情報を提供する色および／または形状を含む場合がある。

ある自動検査システムでは、試料容器および試料は、キャップのタイプおよび色を見分けることができるように、コンピュータ支援デジタル撮像システムなどを用いてデジタル撮像および処理が行われる。撮像中、（キャップを含む）試料管および試料の１つまたはそれ以上の画像が取り込まれる。

しかし、そうした自動検査システムは、ある状況下では、性能のばらつきをもたらし、管および／またはキャップタイプを不適当に特徴付けることがある。したがって、試料容器およびキャップのデジタル撮像および処理の改善された方法および装置が必要とされている。

第１の実施形態では、管タイプを識別する方法が提供される。方法は、管に取り付けられたキャップの１つまたはそれ以上の画像を取り込み、それによって複数の画素を含むキャップの画素化された画像を生成することと；キャップの画素化された画像の１つまたはそれ以上の画素の色を識別することと；キャップの１つまたはそれ以上の寸法勾配を識別することと；少なくとも：１つまたはそれ以上の画素の色、およびキャップの１つまたはそれ以上の寸法勾配に基づいて管タイプを識別することとを含む。

第２の実施形態では、管タイプを識別する方法が提供される。方法は、キャップの１つまたはそれ以上の画像を取り込み、それによってキャップの画素化された画像を生成することと；キャップの色を識別することと；キャップの寸法勾配を識別することと；少なくとも：キャップの色、および寸法勾配に基づいて管タイプを識別することと；指示された検査と管タイプの適合を識別することとを含む。

第３の実施形態では、診断装置が提供される。診断装置は、管に取り付けられたキャップを含む管アセンブリの１つまたはそれ以上の画像を取り込むように構成された撮像装置であって、１つまたはそれ以上の画像は、キャップの画素化された画像を含む、撮像装置と；撮像装置に通信可能に接続されたコントローラとを含み、コントローラは、メモリに接続されたプロセッサを含み、メモリは、キャップの画素化された画像の１つまたはそれ以上の画素の色を決定し；キャップの１つまたはそれ以上の寸法勾配を決定し；少なくとも：
１つまたはそれ以上の画素の色、および
キャップの１つまたはそれ以上の寸法勾配
に基づいて管タイプを識別するように実行可能な実行可能プログラム命令を記憶する。

以下に記載される図面は、説明を目的とするものであり、必ずしも原寸に比例して描かれていない。したがって、図面および説明は、本質的に例示的なものであり、限定的なものと考えるべきではない。図面は、いかなる形においても本開示の範囲の限定を意図するものではない。全体を通して、同じ番号は、同じまたは類似の要素を示すために使用される。

本開示の１つまたはそれ以上の実施形態による、管に取り付けられたキャップを含む第１の管アセンブリ、および図２Ａに示されるマスク画像の位置を示すボックスの側面図である。 本開示の１つまたはそれ以上の実施形態による、管に取り付けられたキャップを含む第２の管アセンブリ、および図２Ｂに示されるマスク画像の位置を示すボックスの側面図である。 本開示の１つまたはそれ以上の実施形態による、マスク画像と図１Ａの第１の管アセンブリが位置合わせされる位置を示すボックスを含む、第１の管アセンブリの第１のキャップのマスク画像の概略図である。 本開示の１つまたはそれ以上の実施形態による、マスク画像と図１Ｂの第２の管アセンブリが位置合わせされる位置を示すボックスを含む、第２の管アセンブリの第２のキャップのマスク画像の概略図である。 本開示の１つまたはそれ以上の実施形態による、多数の行勾配の決定のために分析される第１の管アセンブリの部分の側面図である。 本開示の１つまたはそれ以上の実施形態による、図３Ａの第１の管アセンブリの上部の幅のプロファイルを示すグラフである。 本開示の１つまたはそれ以上の実施形態による、図３Ｂのグラフの一次導関数を示すグラフである。 本開示の１つまたはそれ以上の実施形態による、多数の行勾配の決定のために分析される第２の管アセンブリの部分の側面図である。 本開示の１つまたはそれ以上の実施形態による、図４Ａの第２の管アセンブリの上部の幅のプロファイルを示すグラフである。 本開示の１つまたはそれ以上の実施形態による、図４Ｂのグラフの一次導関数を示すグラフである。 本開示の１つまたはそれ以上の実施形態による、第１の管アセンブリを通過する光のスペクトルをプロットした（波長対平均強度の）棒グラフである。 本開示の１つまたはそれ以上の実施形態による、第２の管アセンブリを通過する光のスペクトルをプロットした（波長対平均強度の）棒グラフである。 本開示の１つまたはそれ以上の実施形態による、図５Ａのグラフをもたらす、背面照明された第１の管アセンブリの一部分の写真画像である。 本開示の１つまたはそれ以上の実施形態による、図５Ｂのグラフをもたらす、背面照明された第２の管アセンブリの一部分の写真画像である。 本開示の１つまたはそれ以上の実施形態による、同じ検査に使用される、異なるキャップ色およびキャップ形状を有する異なる管アセンブリの例の表である。 本開示の１つまたはそれ以上の実施形態による、（様々な製造業者からの一組の管タイプについて）管タイプを類別するために、色だけの依拠を試みるＨＳＶ色空間におけるＬＤＡ（線形判別分析）プロットの図である。 本開示の１つまたはそれ以上の実施形態による、管アセンブリを撮像しキャップおよび管のタイプを弁別するように適用された診断分析装置の概略側面図である。 本開示の１つまたはそれ以上の実施形態による、管タイプを識別する方法の流れ図である。 本開示の１つまたはそれ以上の実施形態による、管タイプを識別する他の方法の流れ図である。

診断検査室では、複数の検査を実施するために様々な製造業者からの血液採取管（たとえば、管アセンブリ）を使用する場合がある。管アセンブリは、キャップが取り付けられた管を含む場合がある。それぞれの管アセンブリタイプは、異なるサイズおよび／または異なる中の化学添加剤など、異なる特徴を有することがある。たとえば、多くの管アセンブリタイプは、化学的に活性であり、つまり管は、分離を促すまたは特性を保持することなどによって試料の状態を変える、または別のやり方でその処理を支援することに使用される（たとえば、抗凝固剤、ゲルセパレータまたは無細胞の（ｃｅｌｌ－ｆｒｅｅ）保存剤である）１つまたはそれ以上の付加的な化学薬品を含む。

たとえば、いくつかの実施形態では、管の内壁が１つもしくはそれ以上の添加剤で被覆される、または管の他の場所に添加剤が設けられる場合がある。たとえば、管に収容される添加剤の種類は、血清セパレータ（たとえば、分離ゲル）、トロンビンなどの凝固剤、ヘパリンナトリウム、ナトリウムリチウム、ＥＤＴＡ、カリウムＥＤＴＡ、Ｋ_２ＥＤＴＡ、Ｋ_３ＥＤＴＡ、クエン酸ナトリウム１：９もしくは１：４、クエン酸デキストロース（ＡＣＤ）もしくはポリアネトールスルホン酸ナトリウム（ＳＰＳ）などの抗凝固剤、フッ化ナトリウムおよびシュウ酸カリウム、ナトリウムの結合物などの抗解糖添加剤、無細胞の保存剤などの他の添加剤、または試料の特性を変える、阻害するもしくは保持するもしくはその処理を助けるための同様のものであり得る。管製造業者は、管アセンブリのキャップの色と、管内の特定のタイプの化学添加剤を関連付ける場合がある。色のなかには、抗凝固剤または凝固活性剤などの他の添加剤と組み合わせられた血清セパレータゲルの存在を示すものもある。

さらに、それぞれの製造業者が、キャップの色およびキャップの形状などの管アセンブリの特徴と、管の内容物または管が真空能力を備える可能性の有無に関する場合がある管アセンブリの特定の特性を関連付ける独自の規格を有する場合がある。いくつかの実施形態では、製造業者は、管の内容物を示すラベルを含む場合があるが、場合によってこれらのラベルを隠してもよい。いくつかの実施形態では、診断装置がラベルを読み取る場合がある。

たとえば、製造業者は、薄緑色のキャップが付いたすべての管アセンブリを、たとえば、グルコース、ナトリウムおよびカリウムなどの電解質、コレステロール、いくつかの酵素ならびにマーカを検査するように構成されたヘパリンリチウムを含む管と関連付ける場合がある。ラベンダー色のキャップは、血液学（たとえば、白血球、血小板数およびヘモグロビン）を検査するように構成されたＥＤＴＡおよび誘導体（抗凝固剤）を含む管を識別する場合がある。黄色、金色、薄青色、白色、灰色、オレンジ色、赤色および黒色などの他のキャップの色も使用され、様々な意味を有する場合がある。いくつかの実施形態では、製造業者は、同じ管タイプに異なる色のキャップを使用する場合がある。検査室では、この色情報を管のさらなる処理に用いる。さらに、いくつかの管は、化学的に活性な物質を含む（一般に、凝固剤、抗凝固剤または抗解糖化合物のような物質でライニングされている）場合があるので、検査はほぼ例外なく内容物別に行われることから、どの検査がどの管タイプで行われるかを関連付けることが重要になる。たとえば尿用の管が別の体液の処理（たとえば、検査）に使用される、または、凝固剤を有する管が抗凝固剤を必要とする検査に使用されるなど、管タイプの混同は、不明確または誤った結果を生むおそれがある。

図６は、同じ検査に使用される様々なキャップ色およびキャップ形状を有する様々な管アセンブリの例の表である。表には、３つの異なる管タイプおよび３つの異なるキャップ規格についてのキャップ色およびキャップ形状が示されている。図６に示されるように、第１の管タイプは、３つのキャップ規格すべてについて同じキャップ形状（たとえば、第１のキャップ形状）を有するが、３つのキャップ規格についてキャップ色が異なる場合がある。たとえば、第１のキャップ規格は、黄褐色のストライプが入った透明であり、第２のキャップ規格は、暗赤色であり、第３のキャップ規格は、灰色である場合がある。図６の実施形態では、第２の管タイプの３つのキャップ規格は、同じキャップ形状である第１のキャップ形状を使用し、同じ色である黄褐色のストライプが入ったオレンジ色を使用する場合がある。第３の管タイプは、３つのキャップ規格について異なるキャップ形状および色を使用する場合がある。たとえば、第１のキャップ規格は、第１の形状を使用し、赤色のストライプが入った緑色であり、第２のキャップ規格は、第２のキャップ形状を使用し、赤色であり、第３のキャップ規格は、第２のキャップ形状を使用し、緑色である場合がある。

図７は、管タイプをできる限り差別化するために、（様々な製造業者からの一組の管タイプについての）色だけの依拠を試みるＨＳＶ色空間におけるＬＤＡ（線形判別分析）プロットを示す。図７のプロットにおける点は、異なる管タイプのキャップ色および異なる製造業者からのキャップ色など、異なるキャップ色を示す。図示のように、すべての管タイプをＨＳＶ色空間において簡単に差別化できるわけではない。たとえば、図６の第２のキャップ規格において、第１の管タイプは、暗赤色キャップを有し、第３の管タイプは赤色キャップを有する。機械が暗赤色キャップと赤色キャップを差別化する、したがってＨＳＶ色空間を用いて第１の管タイプと第３の管タイプを差別化することが難しい場合がある。図６の第３のキャップ規格において、第１の管タイプは灰色であり、第３の管タイプは緑色である。機械が灰色キャップと緑色キャップを差別化する、したがってＨＳＶ色空間を用いて第１の管タイプと第３の管タイプを差別化することが難しい場合がある。

図７に示されるように、キャップの色のみの検出は、製造業者が使用することがある規格が様々であることから、管タイプを正確に識別する十分な情報を提供しない。本明細書に開示されるようなさらに正確な管タイプ識別は、キャップの色以外の特徴を識別することを含む。本明細書に記載の実施形態は、キャップ色に関係なく、真空能力などの管の特定の特性を適切に識別するように管アセンブリタイプ同士の差別化を可能にする。具体的には、本明細書に記載の実施形態は、異なる管アセンブリタイプが似たキャップ色を有する場合でも管アセンブリタイプを識別することができる。

より具体的には、本明細書に開示の実施形態は、少なくともキャップ色ならびにキャップおよび／または管の幾何学的特徴を含むことができる様々なキャップ特徴を検出することによって、異なる管機能性および／または添加剤組成物を含む管アセンブリタイプ同士を差別化することができる。

本明細書に記載の方法および装置は、キャップ色自体が特定の識別のための十分な情報を提供できない場合でも、撮像装置または品質検査モジュールなどの機械が、様々な管アセンブリタイプ同士を適切に識別し、しっかりと区別することを可能にすることができる。本明細書に記載の方法および撮像装置は、人工知能、深層学習技術、統計学的モデルおよび／または他の同様の弁別モデルを用いて、管アセンブリのキャップの色、形状および／または他の特徴に基づいて管タイプを分類することができる。

いくつかの実施形態では、統計学的モデルおよび／または弁別モデルは、予め訓練されたモデルを含むことができる、サポートベクターマシン（ＳＶＭｓ）、決定木、畳み込みニューラルネットワーク（ＣＮＮｓ）などを含むことができる。本明細書に記載のプロセスは、メモリに接続されたプロセッサによって実施することができる。メモリは、方法を実行する適当なプロセッサ上で実行可能な実行可能プログラム命令を記憶している。いくつかの状況では、ＳＶＭは、分類および回帰分析のために使用されるデータを分析する関連の学習アルゴリズムを有する教師つき学習モデルである。

第１の広範な態様では、本開示の実施形態は、キャップおよび／または管の形状および色を示す１つまたはそれ以上の幾何学的特徴など、キャップおよび／または管の物理的特徴を決定するように構成され動作することができる（動作可能な）撮像方法および装置を提供する。いくつかの実施形態では、キャップの１つまたはそれ以上の寸法の勾配が決定され、使用される。キャップおよび／または管のこれらの特徴は、異なる管アセンブリの識別および／または分類に機械学習技術を用いる機械（たとえば、撮像装置または品質検査モジュール）によって使用される。

本明細書に開示の方法および装置は、キャップ幾何形状、キャップ色ならびにキャップおよび管の他の特徴を用いて異なる管タイプ同士を区別することができる。方法および装置は、管アセンブリの前面照明および／または背面照明を用いて管アセンブリの特徴を識別することができる。たとえば、いくつかの実施形態では、パネル化された光源などの光源は、管アセンブリの前面を照明し、前面からの反射光の画像が取り込まれる。他の実施形態では、パネル化された光源などの１つはまたはそれ以上の光源は、管アセンブリを背面照明し、撮像装置は、管アセンブリを通過した光の画像を取り込み、キャップの半透明性の特徴付けを可能にすることができる。いくつかの実施形態では、前面照明が、キャップの少なくとも色の改善された弁別を提供することができる。

管アセンブリの１つまたはそれ以上の画像を取り込むことによって、管アセンブリの１つまたはそれ以上の画素化された画像が生成される。各画素化された画像は、画像を形成する複数の画素を含む。１つまたはそれ以上の画像は、キャップが取り付けられた管タイプの識別に使用できる管および／またはキャップの幾何学的特徴を抽出するために分析される。たとえば、管および／またはキャップの特徴は、キャップの識別のために線形サポートベクターマシンなどの弁別モデルに入力される。管タイプは、いくつかの実施形態では、少なくとも部分的にキャップの識別に基づいて識別される。

いくつかの実施形態では、キャップとして識別された領域の画像のさらなる処理は、色決定アルゴリズムを用いて、キャップの色を抽出または識別することができる。いくつかの実施形態では、キャップを表す画素のそれぞれについての色値が識別される。画素のすべてまたは一パッチの色値の平均（平均色）が、コンピュータアルゴリズムなどを用いることによって決定される。次いで、平均色の色成分が決定される。いくつかの実施形態では、平均色は、色相、彩度および明度成分を得るために、ＨＳＶ（色相、彩度、明度）色空間に変換される。図７では、ＨＳＶ色空間にマッピングされた管アセンブリの一例が提供される。これらの色成分は、管タイプの明確な識別を助けるように弁別モデルに入力される３つの次元またはベクトルをもたらす。ＨＳＬ、ＲＧＢ（赤、緑、青）、Ａｄｏｂｅ ＲＧＢ、ＹＩＱ、ＹＵＶ、ＣＩＥＬＣＡＢ、ＣＩＥＬＵＶ、ＰｒｏＰｈｏｔｏ、ｓＲＧＢ、Ｌｕｍａ ｐｌｕｓ Ｃｈｒｏｍａ、ＣＭＹＫなどを用いることによる他の色特徴付け方法を使用してもよい。

いくつかの実施形態では、キャップ幾何形状に関連する特徴が弁別モデルに入力される。たとえば、勾配（たとえば、行勾配および／または列勾配）など、キャップの寸法に関連する幾何学的特徴が弁別モデルに入力される。本明細書で使用されるような勾配は、キャップの寸法の変化率（一次導関数）である。アルゴリズムは、たとえば、（たとえば、ｙ軸に沿った）垂直位置の関数としてキャップの幅を決定するように、キャップの画像を上から下、または下から上にスキャン（たとえば、レーザスキャン）することができる。決定される幅は、水平方向軸またはｘ軸に沿って計算される。

たとえば、アルゴリズムは、キャップの画像を上から下にスキャンし、キャップの形状を分析し、キャップの画像のｙ軸に沿った幅の絶対値と一次数値導関数の両方を記憶することができる。一次数値導関数は、単一軸について、下式（１）によって計算することができる：

式中：
ｕ_ｉ，ｊは、位置インデックスｉ、ｊでのｕの二次元値、
ｉは、ｘ軸位置インデックス、
ｊは、ｙ軸位置インデックス、
δｕ_ｉ，ｊ／δｙは、ｙ軸に対する位置ｉ、ｊでのｕの数値導関数、および、
Δｙは、垂直寸法における寸法の変化である。

式（１）によって、行勾配が得られる。ＲＧ－最大と称される行勾配の最大値が計算される。ＲＧ－最大の値は、キャップの幅の最も急な変化の関数であり、それに関連し、弁別モデルに入力されるベクトルであり得る。他の実施形態では、キャップの他の幾何学的特徴が分析され、弁別モデルに入力される。たとえば、キャップの上面に沿った寸法または形状の輪郭が分析され、弁別モデルに入力される。他の実施形態では、キャップ高さの勾配、すなわち幅の関数としてのキャップ高さの変化率が分析され、弁別モデルに入力される。

いくつかの実施形態では、弁別モデルに入力される他の差別化のための特徴を得るように、キャップの材料が分析される。キャップ材料の分析は、キャップの不透明性または半透明性の度合いを演算することを含むことができる。たとえば、アルゴリズムは、キャップの１つまたはそれ以上の背面照明画像を使用することができる。いくつかの実施形態では、キャップの背面照明画像が光の複数のスペクトル（波長）にわたって高露出時間で取り込まれ、その画像がアルゴリズムによって分析される。いくつかの実施形態では、３つの可視光スペクトル（ＲＧＢ）が使用される。たとえば、背面照明の赤色チャネル画像は、約１０，３０９μｓの間露出され、背面照明の緑色チャネル画像は、約２０，６１５μｓの間露出され、背面照明の青色チャネル画像は、約１０，３１０μｓの間露出される。各波長チャネルについての統計量が演算され、弁別モデルに入力される。たとえば、ＲＧＢの各波長の高露出画像の平均値が演算される。これら３つの平均値（Ｒ－平均、Ｇ－平均、Ｂ－平均）により、弁別モデルは、キャップ識別のための多次元弁別特徴空間を用いることができる。たとえば、キャップの識別に、７次元弁別特徴空間（Ｈ、Ｓ、Ｖ、ＲＧ－最大、Ｒ－平均、Ｇ－平均、Ｂ－平均）が使用される。しかし、色特徴空間のあらゆる組合せを使用することができる。

ｎ次元特徴空間（この実施形態ではｎ＝７）において、弁別モデル（たとえば、弁別器）は、キャップ、したがって管タイプを適切に識別するように訓練される。弁別器の一例は、高次元特徴空間において各キャップおよび／または管タイプの周りに決定ハイパー境界（ｈｙｐｅｒ－ｂｏｕｎｄａｒｉｅｓ）を引く、線形サポートベクターマシン（ＳＶＭ）である。こうしてキャップおよび／または管タイプが識別される。いくつかの実施形態では、キャップ高さ、キャップ直径、管径および／もしくは管高さまたは他の視覚ベースの特徴などのより多くの特徴が、弁別モデルへの追加の寸法または形状の入力として含まれる。キャップ重量は、撮像ステージ後のキャップ取外しステーションなどで用いてもよい。他の実施形態では、他の背面照明または不可視光（たとえば、ＩＲもしくは近ＩＲ）が用いられ、それによって色空間の次元的な複雑さを活用するよりパワフルな弁別モデルが追加される。

本明細書に記載のモデルおよびアルゴリズムは、キャップの色だけに依拠せずに、特定のキャップタイプをそれらの適切な管タイプと関連付けることができる。モデルおよびアルゴリズムは、オペレータからの入力なしにこれらのタスクを実行することができ、すなわち弁別を完全に自動化することができる。以下の説明は、管に取り付けられたキャップに基づいて管タイプを区別する、上述した方法および装置を実施する一例を提供する。他の実施形態では、管アセンブリの特徴が分析され、その分析に基づいてモデルおよびアルゴリズムが管タイプを決定することができる。

本明細書では、図１Ａから図８を参照して方法および装置のさらなる詳細について述べる。

まず、図１Ａおよび図１Ｂを参照する。図１Ａは、第１の管１０４Ａの頂部に取り付けられた第１のキャップ１０２Ａを含む第１の管アセンブリ１００Ａの側面図である。図１Ｂは、第２の管１０４Ｂの頂部に取り付けられた第２のキャップ１０２Ｂを含む第２の管アセンブリ１００Ｂの側面図である。たとえば、第１の管アセンブリ１００Ａは第１の製造業者および第２の管アセンブリ１００Ｂは第２の製造業者からのものである場合があり、または単純に同じ製造業者からの異なる管タイプのものである場合もある。第１の管アセンブリ１００Ａは、第１の検査の実施で使用される第１の管１０４Ａに入れられた１つまたはそれ以上の化学添加剤（図示せず）を含み、第２の管アセンブリ１００Ｂは、第２の検査の実施で使用される第２の管１０４Ｂに入れられた１つまたはそれ以上の化学添加剤（図示せず）を含む場合がある。第１の管アセンブリ１００Ａを参照すると、化学添加剤は、第１の管１０４Ａ内部のスプレーコーティング層として、ペレットもしくは局在する塊として、第１の管１０４Ａ内の他の場所、または第１のキャップ１０２Ａの下面内もしくは上に加えられる。化学添加剤は、第２の管アセンブリ１００Ｂにおいて同様の位置にあってよい。いくつかの実施形態では、第１の検査は第２の検査と同じであり、他の実施形態では、第１の検査は第２の検査と異なる場合がある。

第１のキャップ１０２Ａは第１の色を有し、第２のキャップ１０２Ｂは第２の色を有する場合がある。キャップのなかには、キャップのある部分に１つの色、キャップの他の部分に第２の色など、１つを上回る色を有するものもある。いくつかの実施形態では、第１の色が第２の色と酷似しており、したがって色だけのコンピュータアルゴリズムでは、第１の色と第２の色を区別することができない場合がある。他の実施形態では、第１の色は、第２の色と異なる場合がある。本明細書に記載の方法および装置は、上述した寸法および／または形状の特徴および色を分析し、第１のキャップ１０２Ａと第２のキャップ１０２Ｂ、したがって第１の管アセンブリ１００Ａの管タイプと第２の管アセンブリ１００Ｂの管タイプを区別することができる。

第１の管アセンブリ１００Ａおよび第２の管アセンブリ１００Ｂの１つまたはそれ以上の画像は、撮像装置８００（図８）によって取り込むことができる。画像は、画素の多数の行と列からなる画素化された画像であり、各画像は、複数の画素を含むことができる。さらに、図２Ａおよび図２Ｂを参照すると、図２Ａは、第１の管１０４Ａの画像から取り出された第１のキャップ１０２Ａのマスク画像の概略図であり、図２Ｂは、第２の管１０４Ｂから取り出された第２のキャップ１０２Ｂのマスク画像の概略図である。いくつかの実施形態では、コンピュータ上で実行されるアルゴリズムは、画像内の画素をキャップとして分類することができ、この分類は、図２Ａおよび図２Ｂに示されるように追加の処理のためにキャップとして分類されたそれらの画素を分離することに使用される。図２Ａおよび図２Ｂの周りのボックスは、マスク画像が、同じボックスを含む図１Ａの第１の管アセンブリ１００Ａおよび図１Ｂの第２の管アセンブリ１００Ｂと位置合わせされる場所を示す。ボックスのサイズ（幅および高さ）ならびにボックスの位置は、任意のサイズの管にもたらされる任意の予想されるキャップタイプを取り込むために必要なサイズおよび位置からもたらされる。

図２Ａの（斜線で示される）画像の画素の場所は、第１のキャップ１０２Ａの色を決定するために元の色の画像を分析することに使用することができる。第１のキャップ１０２Ａの色の決定は、画素の平均色、画素の中央色、画素の最頻値または画素の他の色値を計算することによって実施することができる。ｋ－平均クラスタリングなどのさらに進んだ教師なし機械学習法を用いて色クラスタを作成することもできる。平均色は、第１の管アセンブリ１００Ａの弁別モデルへの入力のための、ＨＳＶ色モデルの３つの色特徴次元（Ｈ－色相、Ｓ－彩度、およびＶ－明度（輝度））を生成するようにＨＳＶ色空間において演算される。同じ処理が、図２Ｂの（斜線で示される）画素にも適用され、それによって、第２の管アセンブリ１００Ｂの弁別モデルへの入力のための第２のキャップ１０２Ｂの３つの色特徴次元が生成される。

弁別モデルへの入力のための追加の次元は、第１のキャップ１０２Ａおよび／または第１の管１０４Ａを含む第１の管アセンブリ１００Ａならびに第２のキャップ１０２Ｂおよび／または第２の管１０４Ｂを含む第２の管アセンブリ１００Ｂの幾何学的特徴を分析することによって得ることができる。コンピュータ上で実行されるアルゴリズムは、エッジを識別するために色強度の急な変化を識別し、次いで、第１のキャップ１０２Ａの行勾配などの寸法勾配を分析することができ、第１の管１０４Ａの部分を含めることができる。同様に、アルゴリズムは、第２のキャップ１０２Ｂの行勾配などの寸法勾配を分析することができ、第２の管１０４Ｂの部分を含めることができる。

図３Ａを参照すると、行勾配などの幾何学的勾配を決定するように分析される第１の管アセンブリ１００Ａの部分が示されている。さらに、図４Ａを参照すると、行勾配などの幾何学的勾配を決定するように分析される第２の管アセンブリ１００Ｂの部分が示されている。図３Ａを参照すると、アルゴリズムは、第１のキャップ１０２Ａおよび第１の管１０４Ａの一部分の形状を示す数値を決定するために、第１のキャップ１０２Ａおよび第１の管１０４Ａの一部分を上から下（または下から上）にスキャンすることができる。図３Ａの実施形態では、数値は、第１のキャップ１０２Ａおよび第１の管１０４Ａの上部の様々な幅である。これらの数値は、第１のキャップ１０２Ａおよび第１の管１０４Ａのエッジを識別する画像色強度の変化に基づき得る。場合により、画素空間におけるキャップの境界の識別にセグメンテーションルーチンを使用してもよい。

さらに図３Ｂを参照すると、図３Ａに示される第１の管アセンブリ１００Ａに沿った垂直寸法（Ｙ寸法）の関数としての様々な幅寸法（ｘ寸法）を示すグラフである。図３Ａおよび図３Ｂに示されるように、第１の管アセンブリ１００Ａは、垂直位置Ｖ３１に幅Ｗ３１、垂直位置Ｖ３２に幅Ｗ３２を有する。第１の管アセンブリ１００Ａは、第１の管１０４Ａの幅である、垂直位置Ｖ３３に幅Ｗ３３を有する。これらの幅は、垂直位置の関数としての幅の点から第１の管アセンブリ１００Ａの特有の幾何学的特性を表すことができる。

さらに図３Ｃを参照すると、第１の管アセンブリ１００Ａの図３Ｂの寸法のプロット（幅寸法対垂直寸法）の一次導関数が示されている。図３Ｃのグラフは、式（１）を図３Ｂのグラフに適用することによって得ることができる。式（１）が最上行に適用されるときに一次導関数が無限大に近づかないように、第１のキャップ１０２Ａの最上行は、処理中は無視してよいことに留意されよう。図３Ｃのグラフのｙ軸は、Δ幅と称される。ＲＧ－最大１と称されるΔ幅の最大値は、図３Ｃのグラフに示され、色に加えて他のモデル入力として第１の管アセンブリ１００Ａの弁別モデルに入力される。

さらに図４Ｂを参照すると、垂直寸法（Ｙ寸法）の関数としての図４Ａに示される第２の管アセンブリ１００Ｂの様々な幅（ｘ寸法）を示すグラフである。図４Ａおよび図４Ｂに示されるように、第２の管アセンブリ１００Ｂは、垂直位置Ｖ４１に幅Ｗ４１、垂直位置Ｖ４２に幅Ｗ４２を有する。第２の管アセンブリ１００Ｂは、第２の管１０４Ｂの幅である、垂直位置Ｖ４３に幅Ｗ４３を有する。これらの幅は、第２の管アセンブリ１００Ｂの特有の幾何学的特性を表す。

さらに図４Ｃを参照すると、図４Ｂのグラフにプロットされているような第２の管アセンブリ１００Ｂの一次導関数が示されている。図４Ｃのグラフは、式（１）を図４Ｂのグラフに適用することによって得ることができる。最初の行の導関数の演算のときに一次導関数が無限大に近づかないように、第２のキャップ１０２Ｂの最上行は、処理中は無視してよいことに留意されよう。図４Ｃのグラフのｙ軸は、Δ幅と称される。ＲＧ－最大２と称されるΔ幅の最大ピーク値は、図４Ｃのグラフに示され、他のモデル入力として第２の管アセンブリ１００Ｂの弁別モデルに入力される。いくつかの実施形態では、Δ幅の１つまたはそれ以上の最小値は、色とともにモデル入力として使用することができる。

上述に基づいて、第１の管アセンブリ１００Ａおよび第２の管アセンブリ１００Ｂの勾配は、第１のキャップ１０２Ａおよび第２のキャップ１０２Ｂの色に関係なく管アセンブリの少なくともいくつかの特徴を識別および／または区別することに使用することができる。たとえば、キャップ勾配の弁別によって真空能力を区別することができる場合がある。いくつかの実施形態では、第１のキャップ１０２Ａおよび第２のキャップ１０２Ｂのキャップ幅の勾配がそれぞれ第１の管アセンブリ１００Ａおよび第２の管アセンブリ１００Ｂの少なくともいくつかの特徴を区別することに使用される。

第１の管アセンブリ１００Ａおよび第２の管アセンブリ１００Ｂにおける他の差別化のための特徴は、不透明性または半透明性の度合いを演算することによって決定されるキャップ材料および／または管材料であり得る。この特徴を測定するため、キャップを含む管アセンブリの部分を背面照明し、管アセンブリの画像をたとえば高露出時間で取り込み、さらに、複数の光スペクトルの照明を用いて取り込むことができる。いくつかの実施形態では、３つの可視光スペクトル（赤（Ｒ）、緑（Ｇ）および青（Ｂ））が第１の管アセンブリ１００Ａおよび第２の管アセンブリ１００Ｂを背面照明することができる。しかし、他の色も使用することができ、ＵＶおよびＩＲでの背面照明を含めて使用することができる。たとえば、第１の管アセンブリ１００Ａおよび第２の管アセンブリ１００Ｂは、不可視光を用いて照明してもよい。

図５Ａを参照すると、第１の管アセンブリ１００Ａの第１のキャップ１０２Ａを通過して撮像装置（たとえば、図８の１０７Ａ）によって取り込まれた例示的な光スペクトルのグラフである。さらに図５Ｂを参照すると、第２の管アセンブリ１００Ｂの第２のキャップ１０２Ｂを通過して撮像装置によって取り込まれた例示的な光スペクトルのグラフである。図５Ａおよび図５Ｂのグラフは、０から２５５までの強度目盛（たとえば、平均強度）上にグラフ化され、ここで、０は受光がなく、２５５は管アセンブリによる光の遮りがないことを示す。いくつかの実施形態では、背面照明の赤色チャネル画像は約１０，３０９μｓの間露出され、背面照明の緑色チャネル画像は約２０，６１５μｓの間露出され、背面照明の青色チャネル画像は約１０，３１０μｓの間露出される。他の露出も使用することができる。

さらに図５Ｃを参照すると、第１の管アセンブリ１００Ａの一部分の写真画像が上下に並んで示されている。最上の写真画像（ラベル１）は、全ＲＧＢ色スペクトルの前面照明で取り込まれた第１の管アセンブリ１００Ａの一部分である。２番目から４番目の白黒写真画像は、異なる波長（たとえば、色）の光に対する管部分の透明度を示す。たとえば、２番目の白黒写真画像（ラベル２）は、赤色背面照明で取り込まれた第１の管アセンブリ１００Ａの一部分である。３番目の白黒写真画像（ラベル３）は、緑色背面照明で取り込まれた第１の管アセンブリ１００Ａの一部分である。４番目の白黒写真画像（ラベル４）は、青色背面照明で取り込まれた第１の管アセンブリ１００Ａの一部分である。

さらに図５Ｄを参照すると、第２の管アセンブリ１００Ｂの一部分の写真画像が上下に並んで示されている。最上の写真画像（ラベル１）は、全ＲＧＢ色スペクトルの前面照明で取り込まれた第２の管アセンブリ１００Ｂの一部分である。２番目の白黒写真画像（ラベル２は）は、赤色背面照明で取り込まれた第２の管アセンブリ１００Ｂの一部分である。３番目の白黒写真画像（ラベル３）は、緑色背面照明で取り込まれた第２の管アセンブリ１００Ｂの一部分である。４番目の白黒写真画像（ラベル４）は、青色背面照明で取り込まれた第２の管アセンブリ１００Ｂの一部分である。

図５Ａおよび図５Ｂのグラフから、第１の管アセンブリ１００Ａの部分、ラベル１は、波長（Ｒ、Ｇ、Ｂ）すべてにおいてほぼ完全に透明であり、第２の管アセンブリ１００Ｂの部分、ラベル１は、３つの波長すべてで光の大部分を遮ることが分かる。いくつかの実施形態では、高露出画像の各波長の平均値が演算され、それぞれＲ－平均、Ｇ－平均およびＢ－平均と称される。いくつかの実施形態では、高露出画像の各波長の中央値が演算される。

上述の特徴量がすべて演算されると、各管アセンブリについての７次元弁別特徴空間（Ｈ、Ｓ、Ｖ、ＲＧ－最大、Ｒ－平均、Ｇ－平均、Ｂ－平均）になり得る。ｎ次元特徴空間（この実施形態では、ｎ＝７）において、弁別モデルは、様々な管タイプを適切に識別するように訓練することができる。弁別器の一例は、この高次元特徴空間において各管タイプの周りに決定ハイパー境界を引く、線形ＳＶＭである。上述のモデルに基づいて、第１のキャップ１０２Ａと第２のキャップ１０２Ｂが全く同じまたは似ている色であっても、第１の管アセンブリ１００Ａと第２の管アセンブリ１００Ｂを区別することができる。キャップの不透明性もしくは半透明性、キャップ重量、キャップの垂直高さ、直径、キャップ勾配もしくは他の視覚ベースの幾何学的特徴などのより多くの光学的特徴、または、異なる背面照明もしくは不可視光（たとえば、ＩＲもしくは近ＩＲ）を用いた照明などの追加の画像タイプを用いて、空間の次元的な複雑さを活用するさらによりパワフルな弁別モデルを使用することもできる。色空間特徴と幾何学的特徴のあらゆる組合せをキャップタイプの弁別に使用することができる。

本明細書に記載の装置および方法は、診断検査室が、検査室を通ることがある多くの異なる管タイプを差別化することを可能にする。キャップの色だけに依拠すると、様々な製造業者および／または領域特異的な規格により、信頼性の低い結果につながることがある。上述に基づいて、本明細書で開示される装置および方法は、キャップの色自体が様々な管タイプ同士の区別に十分でない場合、様々な管タイプ同士の弁別を向上させ、様々な管タイプ同士の区別を助ける。これにより、診断デバイスまたは機械が、オペレータからの任意の手動入力の必要なくして診断デバイスまたは装置内で管タイプ（したがって、対応する特徴）を決定することが可能になる、すなわち完全に自動化されることから、これは有利である。

いくつかの実施形態では、いくつかの対応する特徴は、オペレータによって手動で入力される、または他のセンサを介して取得される。本明細書に記載の装置および方法の利点に寄与する技術的な構成は、１つまたはそれ以上のオンボード画像取り込み装置またはセンサから収集されるデータ、および、管タイプを適切に決定するための高次元空間の弁別モデルを用いた、各管タイプについての高次元特徴ベクトルを含むことができる。そのような高次元弁別モデルの使用は、試料処理ワークフローの速度を上げることができ、指示される検査と使用される管タイプとの間の不適合を正確に識別することができる。したがって、キャップによって識別されるようなその化学添加剤または幾何学的特性に基づいて適切な管タイプの使用を確実にするように、チェックを行うことができる。

図８は、第１のキャップ１０２Ａおよび第１の管１０４Ａからなる第１の管アセンブリ１００Ａの１つまたはそれ以上の画像を取り込むように構成される撮像装置８００を示し、ここで、１つまたはそれ以上の画像は、画素からなる画素化された画像とすることができ、各画像は複数の画素を含む。撮像装置８００は、診断装置と称される場合もある。撮像装置８００は、光パネルの場合もある光源８０５Ａなどの前面光源を含む。いくつかの実施形態では、撮像装置８０７の左右前方に位置する光パネルなど、１つを上回る光源を使用する場合もある。光パネルなどの他の前面光源を、光源８０５Ａと同じ長手方向位置に、撮像装置８０７の他の側方前方（図示の紙面外）に設けてもよい。いくつかの実施形態では、光源８０５Ｂのような１つまたはそれ以上の背面光源を設けてもよい。光源８０５Ｂは、たとえば、不透明性の決定のために光を提供する１つまたはそれ以上の光パネルであり得る。他の配置も可能である。

撮像装置８００は、撮像装置８０７および光源８０５Ａ、８０５Ｂに通信可能に接続されたコントローラ８０９をさらに含む場合がある。コントローラ８０９は、弁別モデルの形態など、実行可能なプログラム命令の記憶および実行に適したプロセッサ８１０およびメモリ８１２を含む任意の適当なコンピュータであり得る。コントローラ８０９は、取り込まれる（背面照明または前面照明される）画像のタイプに応じて前面照明および／または背面照明をもたらすように、適切なときに光源８０５Ａ、８０５Ｂに信号を送信することができる。コントローラ８０９は、ＣＮＮまたは他の訓練されたモデルなど、任意の適当なセグメンテーションプログラムによって、第１のキャップ１０２Ａおよび第１の管１０４Ａを識別することができる。

第１のキャップ１０２Ａおよびそれを表す領域の識別後、その色が、ＨＳＶ色モデルなどの任意の適当な色空間における色モデルによって決定される。ＨＳＬ、ＲＧＢ（赤、緑、青）、Ａｄｏｂｅ ＲＧＢ、ＹＩＱ、ＹＵＶ、ＣＩＥＬＣＡＢ、ＣＩＥＬＵＶ、ＰｒｏＰｈｏｔｏ、ｓＲＧＢ、Ｌｕｍａ ｐｌｕｓ Ｃｈｒｏｍａ、ＣＭＹＫまたは他の適当な色空間モデルなどの他の適当な多要素色空間またはモデルを使用することもできる。さらに、第１のキャップ１０２Ａおよび第１の管１０４Ａの識別後、寸法決定プログラムまたはルーチンが、第１の管１０４Ａの幅および／または高さおよび／または寸法勾配（たとえば、キャップ高さの関数としての幅および／または幅の関数としての高さ）を決定することができる。これらの値は、第１の管アセンブリ１００Ａのタイプの決定のために任意の適当な識別モデル（たとえば、弁別モデル）に入力される。

次に、管タイプを識別する方法９００の流れ図である図９を参照する。方法９００は、９０２で、管（たとえば、第１の管１０４Ａ）に取り付けられたキャップ（たとえば、第１のキャップ１０２Ａ）の１つまたはそれ以上の画像を取り込み、それによって複数の画素を含むキャップの画素化された画像を生成することを含む。方法９００は、９０４で、キャップの画素化された画像の１つまたはそれ以上の画素の色を識別することを含む。方法９００は、９０６で、キャップの１つまたはそれ以上の寸法勾配を識別することを含む。方法９００は、９０８で、少なくとも：１つまたはそれ以上の画素の色、およびキャップの１つまたはそれ以上の寸法勾配に基づいて管タイプを識別することを含む。

次いで、管タイプを識別する方法１０００の流れ図である図１０を参照する。方法１０００は、１００２で、キャップ（たとえば、第１のキャップ１０２Ａ）の１つまたはそれ以上の画像を取り込み、それによってキャップの画素化された画像を生成することを含む。方法１０００は、１００４で、キャップの色を識別することを含む。方法は、１００６で、キャップの寸法勾配を識別することを含む。方法１０００は、１００８で、少なくとも：キャップの色、および寸法勾配に基づいて管タイプを識別することを含む。方法は、１００８で、指示された検査と管タイプの適合を識別することを含む。管タイプが指示された検査について適切な場合、コントローラ８０９は、ディスプレイ上に「使用に適切な管タイプ」と示す、または別のやり方で使用管タイプに間違いがないことを報告することができる。不適合と示された場合、システムは、「誤った管タイプ」が使用されたことをたとえばディスプレイ上に示すことによってまたは他のやり方で、エラーを報告することができる。

本開示は様々な修正および代替形態を許容可能であるが、特定の実施形態およびその方法が図面に例として示され、本明細書で詳細に説明されている。しかし、開示した特定のシステムまたは方法に本開示を限定する意図はなく、逆に、特許請求の範囲に属するすべての修正、均等物および代替形態が包含されることを理解されたい。

Claims (20)

1. 管タイプを識別する方法であって：
   管に取り付けられたキャップの１つまたはそれ以上の画像を取り込み、それによって複数の画素を含むキャップの画素化された画像を生成することと；
   キャップの画素化された画像の１つまたはそれ以上の画素の色を識別することと；
   キャップの１つまたはそれ以上の幅あるいは高さ寸法勾配を識別すること、ここで識別された勾配の最大値は、該識別された勾配の一次導関数から計算される、と；
   少なくとも：
   １つまたはそれ以上の画素の色、および、
   識別された勾配の最大値を含むキャップの１つまたはそれ以上の幅あるいは高さ寸法勾配
   に基づいて管タイプを識別することと
   を含む、前記方法。
2. 管タイプを識別することは、弁別モデルに基づいて行われる、請求項１に記載の方法。
3. 弁別モデルへの１つまたはそれ以上の入力は、管の幅および／または高さを含む、請求項２に記載の方法。
4. 弁別モデルへの１つまたはそれ以上の入力は、キャップの１つまたはそれ以上の幅あるいは高さ寸法勾配を含む、請求項２に記載の方法。
5. 弁別モデルへの入力は、キャップ重量を含む、請求項２に記載の方法。
6. 弁別モデルへの入力は、ＩＲまたは近ＩＲを含む不可視光を用いて照明されたときの画像を取り込むことを含む、請求項２に記載の方法。
7. 弁別モデルへの入力は、色特徴空間の組合せを含む、請求項２に記載の方法。
8. 弁別モデルへの入力は、色特徴空間とキャップの１つまたはそれ以上の幅あるいは高さ寸法勾配を含む弁別特徴空間の組合せを含む、請求項２に記載の方法。
9. 弁別モデルへの入力は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）、幅勾配の最大値（ＲＧ－最大）、Ｒ－平均、Ｇ－平均およびＢ－平均を含む７次元弁別特徴空間を含む、請求項２に記載の方法。
10. 弁別モデルは、線形サポートベクターマシンである、請求項２に記載の方法。
11. キャップの画素化された画像の１つまたはそれ以上の画素の色を識別することは、キャップの不透明性または半透明性および背面照明の利用を含む、請求項１に記載の方法。
12. １つまたはそれ以上の画素の色を識別することは、キャップの画素化された画像における複数の画素の平均色を計算することを含む、請求項１に記載の方法。
13. １つまたはそれ以上の画素の色を識別することは、ＨＳＶ、ＨＳＬ、ＲＧＢ、Ａｄｏｂｅ ＲＧＢ、ＹＩＱ、ＹＵＶ、ＣＩＥＬＣＡＢ、ＣＩＥＬＵＶ、ＰｒｏＰｈｏｔｏ、ｓＲＧＢ、Ｌｕｍａ ｐｌｕｓ Ｃｈｒｏｍａ、およびＣＭＹＫからなる群からの１つまたはそれ以上から選択される多要素色空間における色空間モデルによって決定される、請求項１に記載の方法。
14. １つまたはそれ以上の画素の色を識別することは、画素化された画像におけるキャップ
    の複数の画素の平均色を計算することと、ＨＳＶ色空間における平均色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）成分を識別することとを含む、請求項１に記載の方法。
15. キャップの１つまたはそれ以上の幅あるいは高さ寸法勾配は、１つまたはそれ以上の幅勾配を含む、請求項１に記載の方法。
16. １つまたはそれ以上の幅勾配は、幅勾配の最大値を含む、請求項１５に記載の方法。
17. キャップの１つまたはそれ以上の幅あるいは高さ寸法勾配は、キャップ幅またはキャップ高さの複数の勾配を含む、請求項１に記載の方法。
18. 指示された検査と管タイプの不適合を識別することを含む、請求項１に記載の方法。
19. 管タイプを識別する方法であって：
    キャップの１つまたはそれ以上の画像を取り込み、それによってキャップの画素化された画像を生成することと；
    キャップの色を識別することと；
    キャップの幅あるいは高さ寸法勾配を識別すること、ここで識別された幅あるいは高さ勾配の最大値は、該識別された幅あるいは高さ勾配の一次導関数から計算される、と；
    少なくとも：
    キャップの色、および、
    識別された幅あるいは高さ勾配の最大値を含む幅あるいは高さ寸法勾配
    に基づいて管タイプを識別することと；
    指示された検査と管タイプの適合を識別することと
    を含む、前記方法。
20. 診断装置であって：
    管に取り付けられたキャップを含む管アセンブリの１つまたはそれ以上の画像を取り込むように構成された撮像装置であって、該１つまたはそれ以上の画像は、キャップの１つまたはそれ以上の画素化された画像を含む、撮像装置と；
    該撮像装置に通信可能に接続されたコントローラとを含み、
    該コントローラは、メモリに接続されたプロセッサを含み、該メモリは：
    キャップの１つまたはそれ以上の画素化された画像の１つまたはそれ以上の画素の色を決定し；
    キャップの１つまたはそれ以上の幅あるいは高さ寸法勾配を決定、ここで識別された勾配の最大値は、該識別された勾配の一次導関数から計算される、し；
    少なくとも：
    １つまたはそれ以上の画素の色、および、
    識別された勾配の最大値を含むキャップの１つまたはそれ以上の幅あるいは高さ寸法勾配
    に基づいて管タイプを識別する
    ように実行可能な実行可能プログラム命令を記憶する、前記診断装置。

Images