JP6651537B2 - 視覚システムのための画像ベースチューブスロット円検出 - Google Patents

視覚システムのための画像ベースチューブスロット円検出 Download PDF

Info

Publication number
JP6651537B2
JP6651537B2 JP2017543752A JP2017543752A JP6651537B2 JP 6651537 B2 JP6651537 B2 JP 6651537B2 JP 2017543752 A JP2017543752 A JP 2017543752A JP 2017543752 A JP2017543752 A JP 2017543752A JP 6651537 B2 JP6651537 B2 JP 6651537B2
Authority
JP
Japan
Prior art keywords
circle
tube
processor
edge
dimensional map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543752A
Other languages
English (en)
Other versions
JP2018506978A5 (ja
JP2018506978A (ja
Inventor
チャーン、ヤオ−ジェン
ウー、ウエン
デュモン、ギヨーメ
ポラック、ベンジャミン
チェン、テレンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of JP2018506978A publication Critical patent/JP2018506978A/ja
Publication of JP2018506978A5 publication Critical patent/JP2018506978A5/ja
Application granted granted Critical
Publication of JP6651537B2 publication Critical patent/JP6651537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753Transform-based matching, e.g. Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)

Description

関連出願
本出願は、2015年2月18日に出願された「IMAGE−BASED TUBE SLOT CIRCLE DETECTION FOR A VISION SYSTEM」と題する米国仮出願第62/117,914号明細書に対する優先権を請求し、この開示は、参照により全体が本明細書に組み込まれる。
本明細書に開示された実施形態は、一般にチューブトレイの画像を取得してトレイ内に保持されたチューブの特徴を決定することに関し、より詳細には画像ベースのチューブ上部円(tube top circle)検出を使用してトレイ内に保持されたチューブの特徴を正確に決定することに関する。
体外診断(IVD)は、検査室が、患者の液状サンプルに対して行なわれる検査に基づいて疾病診断に役立つことを可能にする。IVDは、患者の体液又は膿瘍から得られた液体サンプルの分析によって行える患者の診断及び治療に関連した様々なタイプの分析試験及び検査を含む。そのような検査は、通常、患者サンプルを収容したチューブ又はガラス瓶が装填された自動臨床化学分析装置(分析装置)によって行われる。最新IVD検査で様々な検査が必要とされ、検査を行うのに大量の試験が必要なので、単一検査室内で複数の分析装置が使用されることが多い。分析装置の間では自動化システムも使用されうる。サンプルは、診療室から検査室に送られ、検査室に保管され、自動化システム又は分析装置に入れられ、その後の試験のために保管されうる。
分析装置間の保管と移送は、典型的には、トレイを使って行われる。トレイは、典型的には、テストチューブ内に蓄えられたいくつかの患者サンプルの配列である。そのようなトレイは、しばしば積み重ね可能であり、検査室の一部分から別の部分への複数サンプルの容易な搬送を可能にする。例えば、検査室は、病院又は診療所からの試験のために患者サンプルのトレイを受け取ることがある。その患者サンプルトレイは、実験室内の冷蔵庫に保管されうる。患者サンプルトレイは、引出し内にも保管されうる。いくつかの自動化システムでは、分析装置は、患者サンプルトレイを受け入れ、サンプルをそれ相応に取り扱うことができ、一方、いくつかの分析装置は、サンプルがオペレータによってトレイから取り出され、さらなる処理の前にキャリア(パックなど)に入れられることを必要とすることがある。トレイは、一般に、サンプルを搬送し、場合によっては順番に配列することを可能にする受動装置である。
一般に、トレイ内に保管されたサンプルチューブに関する情報は、オペレータ又はサンプル取り扱い機構が各チューブと相互作用するまで分からない。例えば、サンプル取り扱いロボットアームが、チューブを取り上げ、トレイから取り出し、キャリアに入れることがある。次に、キャリアは、デキャッパステーションまで移動して、キャップがあれば除去し、バーコードリーダのそばを通り、それにより、チューブの側面のバーコードを読み取ってチューブの内容を明らかにできる。多くの先行技術のサンプル取り扱い機構では、チューブの識別は、チューブがトレイから取り出された後まで分からない。このように、トレイ内のチューブはすべて、自動化システムでチューブが搬送台上に配置されるまで同じように取り扱われることが多い。
実施形態は、画像ベースチューブ上部円検出を使用する方法を提供する。方法は、少なくとも1つのカメラから、トレイの一連の画像を受け取ることを含む。トレイは、複数のチューブスロットを含む。各チューブスロットは、サンプルチューブを受け取るように構成される。トレイの一連の画像は、少なくとも1つのカメラによって取得される。方法は、また、プロセッサを使用して、一連の画像のうちの1つから関心領域(ROI)パッチを抽出することを含む。ROIパッチは、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って、複数の異なるタイプのチューブ上部円の二次元(2D)投影によって限定された境界を有する。方法は、また、プロセッサを使用して、抽出ROIパッチのエッジ勾配大きさマップを計算すること、及びプロセッサを使用して、円パラメータ空間の三次元(3D)マップを生成することを含み、ここで、三次元マップ内の各位置は、中心位置と直径を有する円パラメータに対応しうる。方法は、また、プロセッサを使用して、各エッジ点の勾配方向に沿ってエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付け投票を累積すること、及びプロセッサを使用して、三次元マップ内の累積投票が所定のしきい値以上のときに三次元マップ内の1つ以上の位置を円候補として決定することを含む。方法は、さらに、プロセッサを使用して、最も大きい累積投票を有する決定円候補を標的チューブ上部円として選択することを含む。
一実施形態によれば、トレイは、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、引出しが開位置と閉位置の間で移動されたときに少なくとも1つのカメラによってトレイの画像が取得される。
別の実施形態によれば、方法は、プロセッサを使用して、少なくとも1つのカメラの本質的較正とトレイの表面に対する非本質的姿勢に基づいて、複数の異なるタイプのチューブ上部円のそれぞれの二次元(2D)投影を予測することを含む。方法は、さらに、プロセッサを使用して、複数の異なるタイプのサンプルチューブの最大及び最小設定に基づいてROIパッチの境界を限定することを含み、最大及び最小設定は、(i)最大直径を有する最長チューブ、(ii)最小直径を有する最長チューブ、(iii)最大直径を有する最短チューブ、及び(iv)最小直径を有する最短チューブを含む。
更に別の実施形態によれば、方法は、プロセッサを使用して、最大及び最小設定に基づいて標的チューブ上部円中心が位置する領域を定義する多角形を決定することを含む。
一実施形態では、最大累積投票を有する決定円候補を標的チューブ上部円として選択することは、さらに、(i)円の中心が、別の円候補の中心の所定の距離しきい値以下であるかどうか、及び(ii)円候補の領域と他の円候補の領域が、所定の重なりしきい値以上の重なりを有するかどうかを含む。(i)と(ii)の両方が真であることが決定されたとき、直径が小さい方の円候補又は別の円候補が、円候補でなくされる。直径が等しい場合、累積投票の量が少ない方の円候補又は他の円候補が、円候補でなくされる。(i)又は(ii)のどちらかが誤りであると決定されたとき、円候補は、累積投票の量に従って、他の円候補と共に格付けされる。
別の実施形態では、各エッジ点のエッジ勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付き投票を累積することは、さらに、各エッジ点の勾配方向に沿ったエッジ点と交差する線を決定することと、各エッジ点から所定距離又はその所定距離内にある線上の点に重み付き投票の1つ以上を割り当てることを含む。
一実施形態の一態様では、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付き投票を累積することは、さらに、各エッジ点の負勾配方向に沿った点の投票よりも各エッジ点の正勾配方向に沿った点の投票に、より大きい重みを割り当てることを含む。
一実施形態によれば、方法は、さらに、プロセッサを使用して、ROIパッチ内の反射点を決定すること、プロセッサを使用して、各反射点の正勾配方向に沿った投票に第1の重みを割り当てること、及び各反射点の負勾配方向に沿った投票に第2の重みを割り当てることを含み、第1の重みと第2の重みが等しい。方法は、さらに、プロセッサを使用して、各反射点の正勾配方向及び各反射点の負勾配方向に沿った反射点からの三次元マップ内の投票を累積することを含む。
別の実施形態によれば、方法は、さらに、プロセッサを使用して、円中心パラメータ空間の二次元マップを生成することであって、二次元マップの各位置が円中心位置に対応することと、プロセッサを使用して、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から二次元マップのための累積重み付き投票を決定することと、プロセッサを使用して、二次元マップ上の対応する位置における累積投票が所定しきい値より低いときに、三次元マップ内の1つ以上の行をフィルタリングすることを含む。
更に別の実施形態では、方法は、さらに、プロセッサを使用して、円中心パラメータ空間の二次元マップを生成することであって、二次元マップの各位置が特定中心位置に対応することと、プロセッサを使用して、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点から二次元マップのための累積重み付き投票を決定することと、プロセッサを使用して、二次元マップ内の累積重み付き投票に従って二次元マップ内の二次元円中心位置を格付けすることを含む。
実施形態は、体外診断環境で使用される視覚システムを提供する。システムは、行と列の行列で配列された複数のチューブスロットを有するトレイを含む。各チューブスロットは、サンプルチューブを収容するように構成される。システムは、また、トレイと、引出しが移動されたときにトレイの一連の画像を取得するように構成された少なくとも1つのカメラとを収容するように構成された表面を含む。システムは、さらに、一連の画像のうちの1つから関心領域(ROI)を抽出するように構成されたプロセッサを含み、ROIパッチが、標的チューブ上部円を含み、また複数の異なるタイプのサンプルチューブの高さと直径に従って、複数の異なるタイプのチューブ上部円中心の二次元(2D)投影によって限定された境界を有する。プロセッサは、また、抽出ROIパッチのエッジ勾配大きさマップを計算し、円パラメータ空間の三次元(3D)マップを生成するように構成され、三次元マップ内の各位置が、中心位置と直径を有する円パラメータに対応しうる。プロセッサは、また、各エッジ点の勾配方向に沿ってエッジ勾配大きさマップ内のエッジ点から三次元マップ内の重み付け投票を累積し、三次元マップ内の1つ以上の位置での累積投票が所定のしきい値以上であるときに、三次元マップ内の1つ以上の位置を円候補として決定するように構成される。プロセッサは、さらに、最大累積投票を有する決定円候補を標的チューブ上部円として選択するように構成される。
実施形態は、画像ベースチューブトップ円検出を使用する方法を提供する。方法は、少なくとも1つのカメラから、複数のチューブスロットを含むトレイの一連の画像を受け取ることを含み、各チューブスロットが、サンプルチューブを収容するように構成され、トレイの一連の画像が、少なくとも1つのカメラによって取得される。方法は、さらに、プロセッサを使用して、一連の画像のうちの1つから関心領域(ROI)を抽出することを含み、ROIパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って、複数の異なるタイプのチューブ上部円中心の二次元(2D)投影によって限定された境界を有する。方法は、また、プロセッサを使用して、抽出ROIパッチのエッジ勾配大きさマップを計算し、プロセッサを使用して、円パラメータ空間の二次元マップと三次元(3D)マップを生成することを含み、二次元マップ内の各位置が、円中心位置に対応し、三次元マップ内の各位置が、円中心及び直径パラメータに対応する。方法は、また、プロセッサを使用して、各エッジ点の勾配方向に沿ったエッジ勾配大きさマップ内のエッジ点に基づいて二次元マップ内及び三次元マップ内の重み付き投票を累積し、プロセッサを使用して、第1の所定のしきい値より大きい累積投票を有する二次元マップ内の1つ以上の位置を決定することを含む。方法は、さらに、プロセッサを使用して、三次元マップ内の対応位置における累積投票が第2の所定のしきい値以上であるときに、三次元マップ内の対応位置を円候補として決定することと、プロセッサを使用して、最大累積投票を有する決定された円候補を標的チューブ上部円として選択することとを含む。
本開示の追加の特徴及び利点は、添付図面を参照して進む説明的実施形態の以下の詳細な説明から明らかにされる。
本明細書に開示された実施形態の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本明細書に開示された実施形態を例証するために、図には現在好ましい実施形態が示されるが、本明細書に開示された実施形態が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
一実施形態による、引出し内に保持された画像分析チューブトレイ及びチューブを評価するためのシステムを表わす図である。 一実施形態による、引出し上に配置されたチューブトレイの上に位置決めされた画像取得システムを含む例示的な引出し視覚システム試験ハーネスを示す図である。 一実施形態による、引出し内に保持されたチューブトレイとその上に収容されたチューブを、画像分析によって評価するためのシステムを表すブロック図である。 本明細書に示された実施形態によるサンプルチューブの特性を検出する方法を示すフローチャートである。 本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。 本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。 本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。 本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。 本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。 本明細書に示された実施形態による様々なサンプルチューブ外観を有するサンプルチューブの例示的な画像である。 本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。 それぞれ本明細書に示された実施形態による、図5A、図5C、図5E及び図5Gで画像500に示された調査領域を限定する例示的な抽出ROI画像パッチを示す図である。 本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。 それぞれ本明細書に示された実施形態による、図5A、図5C、図5E及び図5Gで画像500に示された調査領域を限定する例示的な抽出ROI画像パッチを示す図である。 本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。 それぞれ本明細書に示された実施形態による、図5A、図5C、図5E及び図5Gで画像500に示された調査領域を限定する例示的な抽出ROI画像パッチを示す図である。 本明細書に示された実施形態による、様々な関心チューブを有するトレイの一部分のカメラからの視界を示す例示的画像である。 それぞれ本明細書に示された実施形態による、図5A、図5C、図5E及び図5Gで画像500に示された調査領域を限定する例示的な抽出ROI画像パッチを示す図である。 本明細書に示された実施形態により使用されうるカメラの視界内のチューブのカメラからの例示的な画像である。 図6Aに示された例示的画像のバイナリエッジマップである。 図6Aに示された例示的画像のエッジ勾配大きさマップを示す図である。 本明細書に示された実施形態により使用されうるカメラの視界内の例示的な抽出ROI画像パッチを示す図である。 図7Aに示された例示的な抽出ROI画像パッチのバイナリエッジマップである。 図7Aに示された例示的な抽出ROI画像パッチのエッジ勾配大きさマップである。 図7Aに示された例示的な抽出ROI画像パッチの抽出反射点を示すマップである。 本明細書に開示された実施形態による例示的な三次元マップ構造の一部を示す図である。 本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ROI画像パッチを示す図である。 本明細書で開示された実施形態による、図9A、図9C、図9E及び図9Gにそれぞれ示されたROI画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。 本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ROI画像パッチを示す図である。 本明細書で開示された実施形態による、図9A、図9C、図9E及び図9Gにそれぞれ示されたROI画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。 本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ROI画像パッチを示す図である。 本明細書で開示された実施形態による、図9A、図9C、図9E及び図9Gにそれぞれ示されたROI画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。 本明細書に開示された実施形態による様々な標的チューブ上部円を有する例示的な抽出ROI画像パッチを示す図である。 本明細書で開示された実施形態による、図9A、図9C、図9E及び図9Gにそれぞれ示されたROI画像パッチ内の選択されたチューブ上部円及び他の検出された円候補を示す図である。 本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。 本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。 本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。 本明細書で開示された実施形態による、チューブ上部円検出の機能を評価するために使用されるチューブオフセットツールのサンプル画像を示す図である。 本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。 本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。 本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。 本明細書で開示された実施形態により行われたチューブ上部円検出の結果を示すグラフである。 本発明の実施形態が実現されうる計算処理環境の例を示す図である。
本出願は、参照により本明細書に組み込まれる、WuらによるPCT出願第PCT/US14/27217号及び米国特許出願第62/010370号明細書に記載された概念のいくつかに関する。
実施形態は、チューブトレイ及びチューブトレイ内に保持されたチューブの画像を取得するように構成された自動化視覚システムにおいて、チューブトレイ内に保持されたチューブの分類と特徴を決定するためのシステム及び方法を含む。いくつかの実施形態は、自動化システムにおいて手動で配置され整列されたトレイの画像を取得することを含む。例えば、自動化システムは、平坦面にガイドレールを提供し、オペレータがトレイ上のキー止め形状をレールに手動で位置合わせし、トレイを作業領域に押すことを可能にする。
いくつかの実施形態は、サンプルチューブが収容されたチューブトレイを装填し取り出すための引出しを含む自動引出し視覚システム(DVS)を含みうる。トレイの画像は、引出しが開位置と閉位置(例えば、作業領域位置)の間で移動されたときに、引出しの入口領域の上に取り付けられた1つ以上のカメラによって取得されうる。
実施形態は、取得画像を分析してチューブ分類及びチューブ特徴を決定した。実施形態は、画像ベースチューブ上部円検出を使用して入力画像内のチューブ上部円領域を局所化する。チューブ上部円領域を利用して、その外観のばらつきを有するチューブの分類と特徴を決定できる。例えば、それぞれの可能なチューブ上部円及び/又はチューブ上部円中心に関して画像内の二次元(2D)投影が予測されうる。物理的サンプルチューブ形状限定を使用して、画像から関心領域(ROI)パッチを抽出できる。限定は、チューブ高さとチューブ直径の最大及び最小二次元投影を含みうる。実施形態は、また、エッジ強度のエッジ勾配の大きさを使用し、画像内のチューブの反射点を抽出してチューブ上部円のトレースを取得する。
カメラの視界内に複数の円を有するROIの場合、実施形態は、三次元ハフ変換などの三次元(3D)マッピングアルゴリズムを使用して円の中心と半径(又は、直径)を同時に決定することによって、チューブの分類又は特徴を決定する。サンプルチューブの形状及び外観から得られた基準に基づいて、1つ以上の円候補から最適円が選択されうる。
PCT出願第PCT/US14/27217号明細書に記載されているように、DVSのチューブトレイは、引出し内に収まり、行と列の配列で配列されたスロット内に複数のチューブを保持するように構成される。画像は、トレイならびにトレイ上に保持されたチューブを評価するために使用される。詳細には、実施形態によれば、画像を分析することによって、チューブの種々の特徴(例えば、チューブを収容するトレイスロット、座標系におけるチューブの中心点、チューブの直径と高さ、引出し内のトレイの向き、チューブが単純チューブかどうか、チューブがキャップ又はチューブ上部サンプルカップで覆われているかどうか、チューブキャップの色、トレイ表面のバーコード、及びトレイを保持する引出しが作業環境に挿入又は取り出される速度など)を決定できる。実施形態は、高価な機器なしにまたチューブを取り扱ったり触れたりせずに、この情報と他の情報を素早く決定する。そのような知識は、チューブの効率的で合理的な処理、並びにセットアップ及び維持コストの低減を可能にする。
この情報は、サンプルハンドラがチューブを処理し、チューブを試験と分析のために分析装置まで移動させるIVD環境で貴重である。本発明の実施形態では、特にIVD環境に適しているが、決してIVD環境に限定されない。
図1Aは、一実施形態による、チューブトレイ120とそこに収容されたチューブ130を、その画像を取得し分析することによって評価する例示的な引出し視覚システム100を表す。1つ以上の引出し110が、開位置と閉位置の間で移動可能であり、サンプルハンドラのための作業エンベロープ105内で提供される。1つ以上のチューブトレイ120が、引出し110に装填されてもよく、引出し110の永久機能でもよい。各チューブトレイ120は、チューブ130が収容されうるスロットの行と列の配列(例示的トレイ121内に描かれたような)を有する。
実施形態により、チューブトレイ120の画像が撮影される。画像は、チューブトレイ120とチューブ130の特徴を決定するために分析される。画像をその分析のために取得するために、本明細書に提供された実施形態によれば、可動トレイ又は固定カメラ手法が使用される。チューブトレイ120が、例えば手動又は自動で引出し110に押し込まれることによって、作業エンベロープ105に入れられるとき、画像取得システム140を使用してチューブトレイ120とそこに収容されたチューブ130の画像を撮影する。
画像取得システム140は、作業エンベロープ105の入口又は入口近くに位置決めされた1つ以上のカメラ(例えば、図2に示された左側カメラ242と右側カメラ244)を含みうる。いくつかの実施形態では、1つ以上のカメラ242、244が、チューブトレイ120の表面の上に位置決めされうる。例えば、カメラ242,244は、チューブトレイ120の高解像度画像を取得するために、表面の76.2〜152.4mm(3〜6インチ)上に配置されうる。カメラ242,244の機能ならびに所望の視点及び画質により、他の距離及び/又は位置決めが使用されうる。必要に応じて、画像取得システム140は、LEDフラッシュなどの1つ以上の光源を含みうる。
図1Bは、本明細書に開示された実施形態と共に使用されうる例示的な引出し視覚システムの例示的な試験ハーネスを示す。図1Bに示されたように、画像取得システム140は、チューブ130を保持するチューブトレイ120の表面の上に位置決めされ、引出し110上に配置される。図1Bで実施形態に示された引出し110は、2つの55スロットトレイ又は6つの15スロットトレイを保持するように構成される。しかしながら、実施形態は、様々な数のスロットを有しかつ様々なサイズを有するトレイを保持するように構成されたトレイを含みうる。
図2は、一実施形態による、引出し110内に保持され収容されたチューブトレイ120とチューブ130を画像分析によって評価するための例示的なシステム200を表すブロック図を示す。画像取得システム140は、一実施形態によれば、2つのカメラ、すなわち左側カメラ242と右側カメラ244を含む。引出し110及びチューブトレイ120のサイズ、並びに所望の画質及び画像視点により、追加の又はより少ないカメラが含まれうる。また、光源246及び画像取得コントローラ248は、画像取得システム140の一部でもある。
チューブトレイ120の行が、1つ以上のカメラ242,244の下の中心位置又は実質的中心位置に移動されたことを決定するために、直角位相エンコーダなどのエンコーダ210が使用されうる。エンコーダ210は、チューブトレイ120の新しい行に対応するチューブトレイ120が、1つ以上のカメラ242,244の下の中心位置又は実質的中心位置に移動したことの検出に基づいて、画像取得コントローラ248に信号(すなわち、パルス)を送信する。信号は、画像取得コントローラ248が、信号の受信時にカメラ242,244に指示して画像を撮影させる命令として機能する。
カメラ242,244によって撮影された画像の画像分析を管理するためのコントローラ220が提供される。引出し110が閉じたことを検出すると、画像取得コントローラ248は、ダウンロードと処理のためにコントローラ220に画像を提供する。コントローラ220は、一実施形態によれば、IVD環境で、チューブトレイ120とチューブ130を作業エンベロープ105などの保管場所の間で取り扱い、分析装置まで移動させるために使用されるサンプルハンドラの一部である。コントローラ220によって行われる画像分析は、チューブトレイ120とチューブ130の様々な決定された特徴に基づいてサンプルハンドラに指示する役割をし、したがって、サンプルハンドラがそれに応じてチューブトレイ120とチューブ130を取り扱い処理することを可能にする。
1つ以上の記憶装置240が、コントローラ220と関連付けられる。1つ以上の記憶装置240は、コントローラ220の内部でも外部でもよい。
引出し110が完全に閉じられかつ/又は引出し110が完全に開かれたことを示すために、1つ以上の引出しセンサ230がコントローラ220に接続されうる。一実施形態によれば、引出し110が完全に閉じられたことは、取得され記憶された画像の画像処理を始める指示として機能する。引出し110が完全に閉められたとき、引出しセンサ230は、コントローラ220に信号を送る。
図3は、本開示の実施形態が実施されうるトレイスロットタイプとサンプルチューブのチューブタイプを決定する例示的な方法300を示すフローチャートである。図3に示されたように、例示的な方法は、ステップ306〜314によってトレイスロットタイプ(例えば、スロットが空か空でないか)を決定してもよくかつ/又はステップ316〜324によってチューブタイプ(例えば、単純チューブ、キャップ付きチューブ、又はチューブ上部サンプルカップ付きチューブ)を決定してもよい。トレイスロットタイプとチューブタイプを決定する例示的な方法は、「Locality−Based Detection of Tray Slot Types and Tube Types in a Drawer Vision System」と題する出願(整理番号2014P23283US)に記載されており、この出願は、参照により本明細書に組み込まれ、本出願と同時出願されている。
画像ベースチューブ上部円検出を使用する本明細書に記載された実施形態は、方法300の一部として実施されうる。例えば、ステップ302で画像が取得され、ステップ304でトレイ格子が位置合わせされた後、画像ベースチューブ上部円検出を使用する本明細書に記載された実施形態を使用して、図3のステップ316でチューブトップパッチを抽出し、その後引き続いてステップ318〜324でチューブタイプを決定できる。しかしながら、実施形態は、チューブタイプを決定するために他の方法の一部として使用されうる。以下の記述は、画像ベースチューブ上部円検出を使用する実施形態を対象とする。
従来の自動化システムには、高度なチューブ分類及び評価機能がない。例示的な引出し視覚システム100は、引出し入口の上に取り付けられたカメラ242,244を利用して、引出し挿入中にサンプルチューブ130の画像を取得する。次に、取得された画像を分析して、チューブ分類及びチューブ評価を決定できる。
サンプルチューブ130のカメラの視界は、トレイ120内の他のサンプルチューブ130によって部分的に妨げられるか、カメラ自体によって妨げられうる。チューブ130の上部円が、チューブ130の他の部分よりも妨げられる可能性が低いので、実施形態は、チューブ130の上部円に基づいてチューブ130の分類及び/又は特徴を決定する。
図4A〜図4Fは、様々なサンプルチューブ外観を有するサンプルチューブ130の例示的画像である。サンプルチューブ130の画像が取得されたときにサンプルチューブ130がカメラ242,244の近くにあるので、チューブ上部円の二次元投影が推定されうる。円検出には、ハフ変換に基づく手法などの従来の円検出アルゴリズムが使用されうる。しかしながら、サンプルチューブ外観のばらつきは、従来の円検出アルゴリズムを使用する正確な円検出にとって障害となる。
例えば、いくつかのチューブ上部は、円内に円を含みうる。図4Aに示されたように、キャップ付きチューブは、キャップの外側円404の真中に内側円402を含みうる。図4Bに示されたように、キャップ基部の上部のハットは、その二次元投影において基部の外側円408内に内側円406を形成しうる。図4Cに示されたように、サンプルカップのリングならびに基礎となる単純チューブ上部円412から複数の円410が観察されうる場合、チューブ上部サンプルカップは、単純チューブの上に円形サンプルカップを含みうる。二次元ハフ変換に基づく手法などの従来の円検出アルゴリズムは、そのようなアルゴリズムが最初に円中心を探し、次に最良直径を決定しようとするので、円内円を正確に検出できない。円内円は、円中心調査を妨げることがあり、サイズ又はエッジ数の点で最良の直径は、チューブ円検出に最適でないことがある。
様々なタイプのサンプルチューブ、サンプルカップ及びキャップのエッジ強度は異なることがある。従来の円検出アルゴリズムで使用されるバイナリエッジマップは、混ざったエッジ強度を有するサンプルチューブ、サンプルカップ及びキャップの円を正確に検出するに不十分である。バイナリエッジマップは、含む応答が少なすぎて弱いエッジを取得できないか、含む応答が多すぎて円中心と直径の調査を妨げることがある。場合によって、図4Dに示されたように、チューブトップ円上の不規則反射が、接続エッジの代わりに粗な反射スポット414を呈し、これより、前処理ステップとしてエッジ検出に純粋に依存する従来の円検出アルゴリズムが壊れる。
チューブスロット円416の一部分(図4Eに示されたような)とチューブラベル境界418の一部分(図4Fに示されたような)は、両方ともチューブ上部円ではなく、物理的なサンプルチューブ形状限定によって適切にフィルタリングされない場合に円検出を妨げることがある強いエッジを有する円形パターンを含みうる。また、近傍スロットからのサンプルチューブは、物理的なサンプルチューブ形状限定によって適切にフィルタリングされない場合に円検出を妨げうる。
チューブ上部円を決定する網羅的調査は、時間がかかり間違いが起こりやすい。サンプルチューブがチューブスロット内に保持され、サンプルチューブの高さと直径が一定範囲内にあるので、本明細書に記載された実施形態は、チューブ上部円の位置を効率的かつ正確に決定する。
図5A、図5C、図5E及び図5Gは、関心のある様々なチューブ130を有するトレイ120の一部分の、カメラ242,244からの視界を示す例示的な画像500である。図5B、図5D、図5F及び図5Hは、様々なタイプのサンプルチューブ130の二次元投影の最大及び最小の直径及び高さによってチューブ上部円502,504、506及び508によって限定された境界を有する例示的な抽出ROI画像パッチ520を示す。図5A、図5C、図5E及び図5Gの画像500は、関心のあるチューブ130に対する固定距離領域を示す。しかしながら、画像500内のこれらの領域は、より正確なチューブ上部円検出のために関心領域(ROI)に限定されうる。例えば、トレイ表面に対するカメラの本質的較正と非本質的姿勢から決定された情報を使用して、チューブ上部円中心の二次元投影は、そのチューブスロット位置、チューブ高さ及びチューブ直径から予測されうる。トレイ120の領域は、チューブ上部円とチューブ上部円中心の可能な二次元投影の位置に基づいてROIに限定される。次に、コントローラ220などのプロセッサを使用して、画像500のうちの1つからROIパッチが抽出されうる。
図5B、図5D、図5F及び図5Hに示された抽出ROI画像パッチ520はそれぞれ、図5A、図5C、図5E及び図5Gに示された画像500内の調査領域を限定する。図5B、図5D、図5F及び図5Hに示された実施形態に示されるように、最大及び最小設定は、次のもの、すなわち、(i)円502によって示されたような最大直径を有する最高チューブ、(ii)円504によって示されたような最小直径を有する最高チューブ、(iii)円506によって示されたような最大直径を有する最短チューブ、及び(iv)円508によって示されたような最小直径を有する最短チューブを含みうる。次に、最大及び最小設定に基づいて、チューブ上部円中心が配置されうる領域を画定する多角形510が決定されうる。図示されたように、多角形510の角は、円502、504、506及び508のチューブ上部円中心に対応する。最大及び最小設定502、504、506及び508と、多角形510とに基づいて、ROIは、コントローラ220などのプロセッサを使用して決定されてもよく、ROIは、可能なチューブ上部円の二次元投影が観察されうる境界に限定され、チューブ上部円検出のためのより適切な調査領域を提供する。また、抽出ROI画像パッチ520は、チューブ130がトレイ表面からその最大高さまで延びうる視点(カメラの視点から)に従う。したがって、他のスロットからのチューブ130は、抽出画像パッチ520に含まれる可能性が低い。
図6Aは、カメラの視界内のチューブ130のカメラ242,244からの例示的画像600である。図6Bは、図6Aに示された例示的画像600のバイナリエッジマップ602を示す。図6Cは、図6Aに示された例示的画像のエッジ勾配大きさマップ604を示す。様々なタイプのサンプルチューブを含む画像に、混ざったエッジ強度が存在するので、カニーエッジ検出などの従来のバイナリエッジ検出方法は、正確な円検出には十分でない。本明細書に述べる実施形態は、エッジ勾配の大きさを利用して画像内の各エッジの元強度を保つ。例えば、図6Cのエッジ勾配大きさマップは、図6Bのバイナリエッジマップではなく、図6Aの元画像内のエッジの元強度を保つ。抽出ROIパッチのエッジ勾配大きさマップ(例えば、図6Cのマップ)を計算するために、コントローラ220などのプロセッサが使用されうる。後でより詳細に述べる実施形態によれば、累積エッジ強度を使用して、最適円選択のために複数の円候補を比較できる。エッジ勾配の大きさによって提供されるエッジ強度は、累積エッジ強度を使用して最適円選択のための複数の円候補を比較するときに、最適円選択を決定するためのよりよい測定を提供する。
図7Aは、カメラの視界内のチューブ130の例示的な抽出ROI画像パッチである。図7Bは、図7Aで示された例示的な抽出ROI画像パッチのバイナリエッジマップである。図7Cは、図7Aに示された例示的な抽出ROI画像パッチのエッジ勾配大きさマップである。図7Dは、抽出された反射点を示す。
いくつかの実施形態では、チューブ上部円検出のために画像内の物体の反射点が検出されうる。例えば、図7Dに示された抽出反射点702などの反射点は、チューブ上部円検出にきわめて適切なキューを提供することがあり、エッジを利用した手法は、きわめて弱いエッジの大きさを有するチューブ上部円を抽出するのに十分でないことがある。反射点702は、FASTなどの角特徴検出器を使用して、チューブ上面で乱反射が生じるときにチューブ上部円のトレースを取得することによって検出されうる。
反射点702は、例えば、コントローラ220などのプロセッサによって決定されうる。コントローラ220は、各反射点702の正勾配方向と負勾配方向に沿った投票に等しい重みを割り当てうる。すなわち、正勾配方向に沿った投票に第1の重みが割り当てられてもよく、負勾配方向に沿った投票に、第1の重みと等しい第2の重みが割り当てられてもよい。正勾配方向と負勾配方向に沿った投票は、三次元マップ及び二次元マップに蓄積されうる。
画像の円を検出するための従来の方法は、円内の円を検出するのに十分ではない。例えば、そのような従来の方法では、典型的には、ハフ変換を利用した手法が、2つのステップで適用される。最初に、二次元ハフ変換を使用して、バイナリエッジカウントをその勾配方向に沿って累積することによって円中心を探す。次に、各円中心候補に、一次元ハフ変換を適用して、最高量のバイナリエッジを通る最良直径を、そのエッジ勾配方向を調べることなく探す。そのような従来方法は、画像内のコインやセルなどの円形パターンを効率的に局所化できるが、円内の円を処理するのに適していない。例えば、従来方法で累積されたエッジカウントは、エッジの強度を区別せず、その結果、ノイズの多いエッジ応答と本当のチューブ円エッジが等しくカウントされる。最適なチューブ上部直径が、最も高い累積エッジカウントを有していないことがあるので、従来方法の最良直径調査は、最適なチューブ上部直径を検出しないことがある。さらに、従来方法は、画像内に複数の円があるときなどに、他の円候補に寄与するエッジ点を含むことになるエッジ勾配方向を無視する。
本明細書で述べる実施形態は、三次元ハフ変換を使用してエッジ勾配大きさマップの三次元マップを生成して円中心と直径を同時に調べることによって、複数の円(例えば、円内の円)を有する画像内のチューブ上部円を正確に検出する。図8は、本明細書で開示された実施形態による例示的な三次元マップ構造の一部を示す。ROI上で1組のエッジ点(例えば、図8に示されたエッジ点A)と反射点702(図7Dに示された)が検出された場合、三次元ハフ変換のための三次元マップ802が生成される。図8に示された三次元マップ802は、別個の三次元円パラメータ空間であり、ここで、各位置(x,y,d)は、中心位置(x、y)と直径dを有する特定の円パラメータに対応する。三次元マップ302を生成するために、コントローラ220などのプロセッサが使用されうる。
いくつかの実施形態では、効率的な最適円検出のために、追加の二次元マップが生成されうる。二次元マップ(図示せず)は、各位置(x,y)が特定の円中心位置に対応する別個の二次元パラメータ空間である。いくつかの実施形態では、抽出された画像パッチは、250x250画素を超える画素分解能と、画像内の約70画素に対応するチューブ直径を含む。これらの画像パッチでは、三次元ハフ変換空間は大きいが、典型的にはROI内に円が少数しかないので、粗である。実施形態は、様々な画素分解能と、画像内の様々な量の画素に対応するチューブ直径とを有する画像パッチを含みうる。追加の二次元マップが、二次元ハフ変換によって生成され、三次元ハフ変換空間上の網羅的ソーティングを妨げるソーティングとプレフィルタリングのための各円中心に寄与する蓄積エッジの大きさを収集するために使用されることがある。二次元ハフ変換空間は、三次元ハフ変換が実行されたときに満たされることがある。このマップにより、十分な量の蓄積エッジの大きさで粗な位置を対象にできる。また、最適チューブ上部円を含みそうなより高い蓄積エッジの大きさを有する位置を対象にするために、ソーティングが行なわれてもよい。
三次元構成に戻って参照すると、実施形態は、ROI内の任意数のエッジに沿った任意数のエッジ点に基づいて三次元マップ802を生成することを含んでよく、任意数の円からのエッジ点(例えば、エッジ点A)は、そのエッジ勾配方向に沿った様々な円候補に対する投票に寄付してもよい。しかしながら、三次元構成プロセスの説明を単純にするため、図8は、円の単一検出エッジ804に沿った単一エッジ点Aに基づく三次元構造の一部を示す。
線Lは、その勾配方向に沿ったエッジ点Aによって決定されうる。線L上の、エッジ点Aから所定の距離又はその距離内にある点(x ,y )、(x ,y )、(x ,y )、(x ,y )、(x ,y )及び(x ,y )は、重み付けされた投票を受け取る。図8の示された実施形態では、正勾配側の3つの点(x ,y ),(x ,y ),(x ,y )と、負勾配側の3つの点(x 、y ),(x ,y ),(x ,y )は、エッジ点Aから所定の距離又はその距離内にあるように決定される。しかしながら、実施形態は、任意数の点(ゼロ点を含む)をエッジ点から所定距離又はその距離内にあるように決定してもよい。重み付き投票は、三次元マップ802と二次元マップの両方で累積されうる。例えば、コントローラ220などのプロセッサは、各エッジ点の勾配方向に沿ったエッジ勾配マップ内のエッジ点から、三次元マップ802及び二次元マップ内の重み付き投票を累積するために使用されうる。図8に示されたように、点Aはエッジ点であり、Lはその勾配に沿った線であり、ここで矢印は勾配方向を示す。正勾配側の点(例えば、(x ,y ),(x ,y ),(x ,y )…)は、重み付き投票vを受け取り、一方、負勾配側の点(例えば、(x ,y ),(x ,y ),(x ,y )…)は、重み付き投票vを受け取る。コントローラ220などのプロセッサは、三次元マップ802内の累積投票が所定のしきい値以上のときに、円候補として三次元マップ802内の1つ以上の位置を決定するために使用されうる。
真のチューブ上部円は、典型的には、主に背景のトレイ表面が黒なので、外側が暗くなり内側が明るくなる。したがって、実施形態は、1つ以上の非チューブ上部円(例えば、隣接スロットからのサンプルチューブの円パターン、チューブスロット及びチューブラベル境界)を有する抽出ROIパッチ内のチューブ上部円を正確に決定するために、正勾配方向に沿って円候補をより重く重み付けしてもよい。例えば、重み付き投票v及びvの値は、エッジ点Aにおけるエッジの大きさに比例するように設定されてもよく、この場合、vは、正勾配側の点に有利になるようにvより大きくなるように設定されてもよく、その逆の場合も同様である。これらの投票は、エッジ点Aまでの距離の2倍である位置(x,y)及び値d(kは整数)に基づいて三次元マップ内に累積される。換言すると、エッジ点Aは、位置(x ,y ,d )、(x ,y ,d )、(x ,y ,d )…で三次元マップへの投票vに寄与し、三次元マップの位置(x ,y ,d )、(x ,y ,d )、(x ,y ,d )…で投票vに寄与する。
反射点702を含むように決定された円候補の場合、典型的には反射点702の両側が同じように暗いので、正及び負勾配方向に等しい重みが与えられうる。例えば、ROI内の各反射点は、その勾配線上にある点に関して三次元マップへの投票v 及びv (sは整数)に寄与する。しかしながら、正及び負勾配側の点に対する投票は、反射点における勾配方向があまり信頼できないので、この実施形態では、同じ(すなわち、v =v )になるように設定される。
最初に、二次元ハフマップ内で最も高い累積投票を有するエッジ位置を識別することによって、最適なチューブ上部円が選択されうる。二次元マップは、三次元マップのその第三次元dに沿った積分投影と考えられうる。実際には、二次元マップは、第3パラメータdを無視することによって各エッジ点又は反射点が三次元マップに寄与する投票を使って効率的に生成されうる。二次元マップは、粗な三次元マップ内の最適パラメータを探すときに効率的なプレスクリーニングマップとして働きうる。すなわち、三次元マップ内の最適パラメータ(x,y,d)は、二次元マップ内の(x,y)に高度に累積された投票を有する可能性が高い。したがって、二次元マップを使用して三次元マップの行全体{(x,y,d)}d=dmin dmaxをフィルタリングでき、ここで、(x,y)における累積投票は、二次元マップ上の所定のしきい値より低い。あるいは、二次元マップ内の累積投票を使って円中心の位置を格付けできる。次に、二次元マップ内の円中心位置の順位に従って、三次元マップ内で最適な円中心と直径が決定されうる。
最も高い累積投票を有するエッジの位置が、二次元ハフマップ内で識別される。例えば、プロセッサは、第1の所定のしきい値より大きい累積投票を有する二次元マップ内の位置を決定してもよい。次に、対応する三次元ハフマップを横切って、各エッジの累積投票がエッジを円候補と見なすのに十分に大きいかどうかを決定できる。すなわち、プロセッサは、三次元マップ内の対応する位置を、三次元マップ内のその位置での累積投票が第2の所定のしきい値以上であるときに円候補として決定してもよい。いくつかの実施形態では、第1の所定のしきい値は、第2の所定のしきい値と等しくてもよい。他の実施形態では、第1の所定のしきい値は、第2の所定のしきい値と異なる値を有してもよい。累積投票が、エッジを円候補と見なすのに十分に大きいと決定されたとき、エッジの中心が既存の円候補の中心に近いかどうかと、2つの円候補の領域に十分に大きい重なりがあるかどうかが決定されうる。そのような場合、最大直径を有する円候補が、円候補として選択される。エッジの中心が既存の円候補の中心に近くないか、2つの円候補の領域に十分に大きい重なりがない場合、そのエッジが円候補として選択され、その累積投票に従って円候補リスト内で円が格付けされる。これは、円内に円を含む画像を有効に処理する。
物理的チューブ形状限定を満たす円候補の格付けリスト内の最も大きい累積投票を有する円候補が、コントローラ220などのプロセッサによって、標的チューブ上部円として選択されうる。図9A、図9C、図9E及び図9Gは、様々な標的チューブ上部円900をそれぞれ含む抽出ROI画像パッチを示す。図9B、図9D、図9F及び図9Hは、選択されたチューブ上部円902と他の円候補904を示すROI画像パッチである。図9B、図9D、図9F及び図9Hに示されたように、選択されたチューブ上部円902は、標的チューブ上部円900に対応する。チューブスロット中心の位置は、マーカ906によって示される。
図10A〜図10Dは、チューブオフセットツールのサンプル画像を示す。チューブ上部円検出の性能に関する正規評価を行うため、図10に示されたように様々なタイプのチューブを、ランダムに固定されたチューブ中心オフセットで接着させたチューブオフセットツールが作成された。各チューブの高さ、直径及び中心オフセットのグラウンドトゥルースが、座標測定装置CMMをシミュレートするロボットアームによって測定される。
図11A〜図11Dは、本明細書に開示された方法及びシステムからの結果を示すグラフによる説明図を示す。従来の二次元ハフ変換手法から適応された基本的実施態様を比較することによって、図11A〜図11Dに示されたような提案手法の大幅な改善を確認できる。
図12は、本発明の実施形態を実現できる例示的な計算処理環境1200の例を示す。計算処理環境1200は、本明細書に示された任意の構成要素の一部として実現されうる。計算処理環境1200は、本発明の実施形態を実現できる計算処理システムの一例であるコンピュータシステム1210を含みうる。図12に示されたように、コンピュータシステム1210は、コンピュータシステム1210内で情報を通信するためのバス1221や他の通信機構などの通信機構を含みうる。システム1210は、さらに、情報を処理するためにバス1221と結合された1つ以上のプロセッサ1220を含む。プロセッサ1220は、1つ以上のCPU、GPU、又は当該技術分野で知られた任意の他のプロセッサを含みうる。
コンピュータシステム1210は、また、情報及びプロセッサ1220によって実行される命令を記憶するために、バス1221に結合されたシステムメモリ1230を含む。システムメモリ1230は、読み取り専用メモリ(ROM)1231及び/又はランダムアクセスメモリ(RAM)1232などの揮発性及び/又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリRAM1232は、他のダイナミック記憶装置(例えば、ダイナミックRAM、スタティックRAM及びシンクロナスDRAM)を含んでもよい。システムメモリROM1231は、他のスタティック記憶装置(例えば、プログラマブルROM、消去可能PROM、及び電気的消去可能PROM)を含んでもよい。更に、システムメモリ1230は、プロセッサ1220による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム1210内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム(BIOS)1233が、ROM1231に記憶されてもよい。RAM1232は、プロセッサ1220がすぐにアクセスできかつ/又はプロセッサ1220が現在処理しているデータ及び/又はプログラムモジュールを含んでもよい。システムメモリ1230は、さらに、例えば、オペレーティングシステム1234、アプリケーションプログラム1235、他のプログラムモジュール1236及びプログラムデータ1237を含んでもよい。
コンピュータシステム1210は、また、磁気ハードディスク1241やリムーバブルメディアドライブ1242(例えば、フロッピディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び/又はソリッドステートドライブ)など、情報及び命令を記憶するための1つ以上の記憶装置を制御するためにバス1221に結合されたディスクコントローラ1240を含む。記憶装置は、適切な装置インタフェース(例えば、小型コンピュータシステムインタフェース(SCSI)、集積装置電子回路(IDE)、汎用シリアルバス(USB)又はファイヤワイヤ)を使用してコンピュータシステム1210に追加されてもよい。
コンピュータシステム1210は、また、情報をコンピュータユーザに表示するための陰極線管(CRT)や液晶表示装置(LCD)などのディスプレイ又はモニタ1266を制御するためにバス1221に結合されたディスプレイコントローラ1265を含んでもよい。コンピュータシステム1210は、コンピュータユーザと対話し情報をプロセッサ1220に提供するためのキーボード1262やポインティング装置1261などのユーザ入力インタフェース1260及び1つ以上の入力装置を含む。ポインティング装置1261は、例えば、指示情報とコマンド選択をプロセッサ1220に通信し、ディスプレイ1266上のカーソルの動きを制御するためのマウス、トラックボール又はポインティングスティックでよい。ディスプレイ1266は、ポインティング装置1261による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。
コンピュータシステム1210は、本発明の実施形態の処理段階の一部又はすべてを、システムメモリ1230などのメモリに含まれる1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ1220に応じて実行してもよい。そのような命令は、ハードディスク1241やリムーバブルメディアドライブ1242などの別のコンピュータ可読媒体からシステムメモリ1230に読み込まれてもよい。ハードディスク1241は、本発明の実施形態によって使用される1つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ1220は、また、システムメモリ1230に収容された命令の1つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでハードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
以上述べたように、コンピュータシステム1210は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも1つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ1220に提供することに関係する任意の持続性有形媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク1241やリムーバブルメディアドライブ1242など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ1230などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス1221を構成する線を含む同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。
計算処理環境1200は、更に、リモートコンピュータ1280などの1つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム1210を含んでもよい。リモートコンピュータ1280は、パーソナルコンピュータ(ラップトップ又はデスクトップ)、移動装置、サーバ、ルータ、ネットワークPC、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータ1210に関して前述した要素の多く又はすべてを含む。ネットワーク環境内で使用されるとき、コンピュータ1210は、インターネットなどのネットワーク1271を介した通信を確立するためのモデム1272を含んでもよい。モデム1272は、ネットワークインタフェース1270又は別の適切な機構を介してシステムバス1221に接続されうる。
ネットワーク1271は、コンピュータシステム1210と他のコンピュータ(例えば、リモート計算処理システム1280)間の通信を容易できるインターネット、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、直接接続、一連の接続、セルラ電話網又は、他のネットワーク若しくは媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク1271は、有線、無線又はその組み合わせでよい。有線接続は、イーサネット(登録商標)、汎用シリアルバス(USB)、RJ−11、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Wi−Fi、WiMAX及びBluetooth(登録商標)、赤外線、セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法で実現さてもよい。さらに、いくつかのネットワークは、ネットワーク1271内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。
プロセッサは、本明細書で使用されるとき、タスクを実行するために、コンピュータ可読媒体上に記憶された機械可読命令を実行する装置であり、ハードウェアとファームウェアのいずれか1つ又は組み合わせを含みうる。プロセッサは、また、タスクを実行するために実行可能な機械可読命令を記憶するメモリを含みうる。プロセッサは、使用する情報を実行可能手順又は情報装置によって処理、分析、修正、変換又は送信し、かつ/又は情報を出力装置に送ることによって情報に作用する。プロセッサは、例えば、コンピュータ、コントローラ又はマイクロプロセッサの能力を使用するか備えてもよく、また実行命令を使用して汎用コンピュータによって実行されない特殊目的の機能を実行するように調整される。プロセッサは、任意の他のプロセッサと結合されて(電気的及び/又は実行可能な構成要素を含むように)、それらの間の対話及び/又は通信を可能にしてもよい。コンピュータプログラム命令は、汎用コンピュータ若しくは専用コンピュータ、又は装置を作成する他のプログラム可能な処理装置を限定なしに含むコンピュータにロードされ、その結果、コンピュータ又は他のプログラム可能な処理装置上で実行するコンピュータプログラム命令が、フローチャートのブロックで指定された機能を実現するための手段を作成する。ユーザインタフェースプロセッサ又はジェネレータは、表示要素又はその一部分を生成するために電子回路もしくはソフトウェア又はその両方の組み合わせを含む既知の要素である。ユーザインタフェース(UI)は、プロセッサ又は他の装置とのユーザ相互作用を可能にする1つ以上の表示要素を含む。
本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、1つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメント、サブルーチン、実行可能アプリケーションのコード又は一部の他の別個のセクションを含む。これらのプロセスは、入力データ及び/又はパラメータを受け取り、受け取った入力データに基づいて演算を実行しかつ/又は受け取った入力パラメータに応じて機能を実行し、得られた出力データ及び/又はパラメータを提供することを含んでもよい。グラフィカルユーザインタフェース(GUI)は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置および関連データ取得及び処理機能とのユーザ対話を可能にする1つ以上の表示要素を含む。
UIは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してUI表示画像を表わす信号を生成する。そのような信号は、ユーザによる検討のために要素を表示する表示装置に供給される。実行可能手順又は実行可能アプリケーションは、更に、キーボード、マウス、ライトペン、タッチスクリーン、又はユーザがプロセッサにデータを提供することを可能にする他の手段などのユーザ入力装置から信号を受け取る。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてUI表示要素を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示要素と対話する。本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される動作(ステップを含む)は、ユーザが動作を直接指示することなく実行可能な命令又は装置動作に応じて実行される。
ワークフロープロセッサは、本明細書で使用されるとき、データを処理して、例えばプログラムで指定されたように、タスクリストに追加するタスク又はタスクリストから除去するタスクを決定するか、タスクリストに組み込まれたタスク又はタスクリストに組み込むタスクを修正する。タスクリストは、作業者、装置ユーザ、又は装置若しくは両方の組み合わせによって実行するためのタスクのリストである。ワークフロープロセッサは、ワークフローエンジンを使用してもよく使用しなくてもよい。ワークフローエンジンは、本明細書で使用されるとき、イベント及びイベント関連データに応じてプロセスを実行する所定のプロセス定義に応じて実行するプロセッサである。ワークフローエンジンは、イベント関連データに応じて、プロセスを順次かつ/又は並列に実行して、装置及び/又は作業者によって実行されるタスクを決定し、装置と作業者のタスクリストを決定されたタスクを含むように更新する。プロセス定義は、ユーザによって定義可能であり、例えば、装置と作業者によって実行される開始、待機、決定及びタスク割り当てステップの1つ以上を含む一連のプロセスステップを含む。イベントは、プロセス定義を使用して実行されるプロセスの動作に影響を及ぼすオカレンスである。ワークフローエンジンは、ユーザが従うプロセスを定義することを可能にするプロセス定義関数を含み、またイベントモニタを含むことがある。ワークフローエンジン内のプロセッサは、プロセス定義に従って、どのプロセスが動作しているか、どの患者に関するものか、医者、及び次にどのステップを実行すべきかを追跡し、実行されるタスクを医者に通知するための手順を含みうる。
本明細書に示された図のシステム及びプロセスは網羅的ではない。本発明の原理に従って、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行されうる。さらに、プロセス及びアプリケーションは、代替実施形態では、図12のユニットを結合するネットワーク上の1つ以上の(例えば、分散された)処理装置上にあってもよい。図に示された機能とステップはいずれも、ハードウェア、ソフトウェア又はこれらの両方の組み合わせで実現されうる。本明細書内の請求要素は、その要素が語句「means for」を使用して明示的に列挙されない限り米国特許法112条第6項の条件下で解釈されるべきである。
本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を行うことができ、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行なわれうることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。
100 引出し視覚システム
105 作業エンベロープ
110 引出し
120 チューブトレイ
130 チューブ
140 画像取得システム
242,244 カメラ

Claims (22)

  1. 画像ベースチューブ上部円検出方法であって、少なくとも1つのカメラからトレイの一連の画像を受け取るステップであって、前記トレイが複数のチューブスロットを含み、各チューブスロットが、サンプルチューブを収容するように構成され、前記トレイの前記一連の画像が、前記少なくとも1つのカメラによって取得されるステップと、
    プロセッサを使用して、前記一連の画像のうちの1つから関心領域(ROI)パッチを抽出するステップであって、前記ROIパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って複数の異なるタイプのチューブ上部円中心の二次元(2D)投影によって限定された境界を有するステップと、
    前記プロセッサを使用して、前記抽出ROIパッチのエッジ勾配大きさマップを計算するステップと、
    前記プロセッサを使用して、円パラメータ空間の三次元(3D)マップを生成するステップであって、前記三次元マップ内の各位置が、中心位置と直径を有する円パラメータに対応するステップと、
    前記プロセッサを使用して、各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記三次元マップ内の重み付き投票を累積するステップと、
    前記プロセッサを使用して、前記三次元マップ内の前記累積投票が所定のしきい値以上のときに、前記三次元マップ内の1つ以上の位置を円候補として決定するステップと、
    前記プロセッサを使用して、前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するステップとを含む方法。
  2. 前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分内に収まるように構成され、前記トレイの前記画像は、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記少なくとも1つのカメラによって取得される、請求項1に記載の方法。
  3. 前記プロセッサを使用して、前記トレイの表面に対する少なくとも1つのカメラの本質的較正と非本質的姿勢に基づいて、前記複数の異なるタイプのチューブ上部円中心それぞれの前記二次元(2D)投影を予測するステップと、
    前記プロセッサを使用して、前記複数の異なるタイプのサンプルチューブの最大及び最小設定に基づいて前記ROIパッチの前記境界を限定するステップとを含み、前記最大及び最小設定が、(i)最大直径を有する最高チューブ、(ii)最小直径を有する最高チューブ、(iii)最大直径を有する最短チューブ、及び(iv)最小直径を有する最短チューブを含む、請求項1に記載の方法。
  4. 前記プロセッサを使用して、前記最大及び最小設定に基づいて前記標的チューブ上部円中心が位置する領域を定義する多角形を決定するステップを更に含む、請求項1に記載の方法。
  5. 前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するステップが、さらに、
    (i)前記円の前記中心が、別の円候補の中心の所定の距離しきい値以下であるかどうか、及び(ii)前記円候補の領域及び前記他の円候補の領域が、所定の重なりしきい値以上の重なりを有するかどうかを決定するステップと、
    (i)と(ii)の両方が真であることが決定されたときに、前記より小さい直径を有する前記円候補又は前記他の円候補を円候補であることから除外し、前記直径が等しい場合に、前記より少量の累積投票を有する前記円候補又は前記他の円候補を円候補であることから除外するステップと、
    (i)又は(ii)が偽であることが決定されたときに、前記累積投票量に従って前記円候補を前記他の円候補と共に格付けするステップとを含む、請求項1に記載の方法。
  6. 各エッジ点の前記エッジ勾配に沿って前記エッジ勾配大きさマップ内の前記エッジ点から前記三次元マップ内の前記重み付き投票を累積するステップが、更に、
    各エッジ点の前記勾配方向に沿った各エッジ点と交差する線を決定するステップと、
    各エッジ点から所定距離又はその所定距離内にある前記線上の点に、前記重み付き投票の1つ以上を割り当てるステップとを含む、請求項1に記載の方法。
  7. 各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内の前記エッジ点から前記三次元マップ内の前記重み付き投票を累積するステップが、さらに、前記各エッジ点の負勾配方向に沿った点の投票よりも各エッジ点の正勾配方向に沿った点の投票に、より大きい重みを割り当てるステップを含む、請求項6に記載の方法。
  8. 前記プロセッサを使用して、前記ROIパッチ内の反射点を決定するステップと、
    前記プロセッサを使用して、各反射点の正勾配方向に沿った投票に第1の重みを割り当て、各反射点の負勾配方向に沿った投票に第2の重みを割り当てるステップであって、前記第1の重みと前記第2の重みが等しいステップと、
    前記プロセッサを使用して、各反射点の前記正勾配方向及び各反射点の前記負勾配方向に沿った前記反射点から前記三次元マップ内の投票を累積するステップとを更に含む、請求項1に記載の方法。
  9. 前記プロセッサを使用して、前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの各位置が、円中心位置に対応するステップと、
    前記プロセッサを使用して、各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップの累積された重み付き投票を決定するステップと、
    前記プロセッサを使用して、前記二次元マップ上の前記対応位置での前記累積投票が所定のしきい値より低いときに、前記三次元マップ内の1つ以上の行をフィルタリングするステップとを更に含む、請求項1に記載の方法。
  10. 前記プロセッサを使用して、前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの各位置が、特定中心位置に対応するステップと、
    前記プロセッサを使用して、各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップの累積重み付き投票を決定するステップと、
    前記プロセッサを使用して、前記二次元マップ内の累積重み付き投票に従って前記二次元マップ内の前記二次元円中心位置を格付けするステップとを更に含む、請求項1に記載の方法。
  11. 体外診断環境で使用される視覚システムであって、
    行と列の行列で配列された複数のチューブスロットを含むトレイであって、各チューブスロットが、サンプルチューブを収容するように構成されたトレイと、
    前記トレイを受け取るように構成された表面と、
    前記トレイの一連の画像を取得するように構成された少なくとも1つのカメラと、
    プロセッサであって、
    前記一連の画像のうちの1つから関心領域(ROI)パッチを抽出して、前記ROIパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って複数の異なるタイプのチューブ上部円中心の二次元(2D)投影によって限定された境界を有するようにし、
    前記抽出ROIパッチのエッジ勾配大きさマップを計算し、
    前記三次元マップ内の各位置が中心位置と直径を有する円パラメータに対応する円パラメータ空間の三次元(3D)マップを生成し、
    前記各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記三次元マップ内の重み付き投票を累積し、
    前記三次元マップ内の1つ以上の位置おける累積投票が、所定のしきい値以上であるときに、前記三次元マップ内の1つ以上の位置を円候補として決定し、
    最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するように構成されたプロセッサとを含む視覚システム。
  12. 前記表面が、開位置と閉位置の間で移動可能な引出しの一部分を含み、前記トレイの前記画像が、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記少なくとも1つのカメラによって取得される、請求項11に記載のシステム。
  13. 前記プロセッサが、さらに、
    前記トレイの表面に対して前記少なくとも1つのカメラの本質的較正と非本質的姿勢に基づいて前記複数の異なるタイプのチューブ上部円中心のそれぞれの前記二次元(2D)投影を予測し、
    前記複数の異なるタイプのサンプルチューブの最大及び最小設定に基づいて前記ROIパッチの前記境界を限定するように構成され、前記最大及び最小設定が、(i)最大直径を有する最高チューブ、(ii)最小直径を有する最高チューブ、(iii)最大直径を有する最短チューブ、及び(iv)最小直径を有する最短チューブを含む、請求項11に記載のシステム。
  14. 前記プロセッサが、更に、前記最大及び最小設定に基づいて前記標的チューブ上部円中心が配置された領域を定義する多角形を決定するように構成された、請求項11に記載のシステム。
  15. 前記プロセッサが、さらに、
    (i)前記円の前記中心が、別の円候補の中心の所定の距離しきい値以下であるかどうか、及び(ii)前記円候補の領域及び前記他の円候補の領域が、所定の重なりしきい値以上の重なりを有するかどうかを決定し、
    (i)と(ii)の両方が真であることが決定されたときに、前記より小さい直径を有する前記円候補又は前記他の円候補を円候補であることから除外し、前記直径が等しい場合に、前記より少量の累積投票を有する前記円候補又は前記他の円候補が円候補であることから除外し、
    (i)又は(ii)が偽であることが決定されたときに、前記累積投票量に従って前記円候補を前記他の円候補と共に格付けすることによって、前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するように構成された、請求項11に記載のシステム。
  16. 前記プロセッサが、さらに、
    各エッジ点の前記勾配方向に沿った各エッジ点と交差する線を決定し、
    各エッジ点から所定距離又はその所定距離内にある前記線上の点に1つ以上の重み付き投票を割り当てることによって、各エッジ点の前記勾配方向に沿った前記エッジ大きさマップ内の前記エッジ点から前記三次元マップ内の前記重み付き投票を累積するように構成された、請求項11に記載のシステム。
  17. 前記プロセッサが、さらに、各エッジ点の負勾配方向に沿った投票よりも各エッジ点の正勾配方向に沿った投票により大きい重みを割り当てることによって、各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点からの前記三次元マップ内の前記重み付き投票を累積するように構成された、請求項16に記載のシステム。
  18. 前記プロセッサが、さらに、
    前記抽出ROIパッチ内の反射点を決定し、
    各反射点の正勾配方向に沿った投票に第1の重みを割り当て、各反射点の負勾配方向に沿った投票に第2の重みを割り当て、前記第1の重みと前記第2の重みが等しく、
    各反射点の前記正勾配方向及び各反射点の前記負勾配方向に沿った前記反射点からの前記三次元マップ内の投票を累積するように構成された、請求項11に記載のシステム。
  19. 前記プロセッサが、さらに、
    1つ以上を有する前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの前記1つ以上の位置がそれぞれ円中心位置に対応し、
    各エッジ点の前記勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップ内の累積された重み付き投票を決定し、
    前記二次元マップ上の対応位置における前記累積投票が、所定のしきい値より低いときに、前記三次元マップ内の1つ以上の行をフィルタリングするように構成された、請求項11に記載のシステム。
  20. 前記プロセッサが、さらに、
    1つ以上の位置を有する前記円中心パラメータ空間の二次元マップを生成し、前記二次元マップの前記1つ以上の位置がそれぞれ特定の円中心位置に対応し、
    各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点から前記二次元マップの累積重み付き投票を決定し、
    前記二次元マップ内の累積重み付き投票に従って前記二次元マップ内の前記1つ以上の位置を格付けするように構成された、請求項11に記載のシステム。
  21. 画像ベースチューブ上部円検出を使用する方法であって、
    少なくとも1つのカメラから、トレイの一連の画像を受け取るステップであって、前記トレイが、複数のチューブスロットを含み、各チューブスロットが、サンプルチューブを収容するように構成され、前記トレイの前記一連の画像が、前記少なくとも1つのカメラによって取得されるステップと、
    前記プロセッサを使用して、前記一連の画像のうちの1つから関心領域(ROI)パッチを抽出するステップであって、前記ROIパッチが、標的チューブ上部円を含み、複数の異なるタイプのサンプルチューブの高さと直径に従って複数の異なるタイプのチューブ上部円中心の二次元(2D)投影によって限定された境界を有するステップと、
    前記プロセッサを使用して、前記抽出ROIパッチのエッジ勾配大きさマップを計算するステップと、
    前記プロセッサによって、円パラメータ空間の二次元マップと三次元(3D)マップを生成するステップであって、前記二次元マップ内の各位置が円中心位置に対応し、前記三次元マップ内の各位置が円中心と直径パラメータに対応するステップと、
    前記プロセッサを使用して、各エッジ点の勾配方向に沿った前記エッジ勾配大きさマップ内のエッジ点に基づいて前記二次元マップ内と前記三次元マップ内の重み付き投票を累積するステップと、
    前記プロセッサを使用して、前記第1の所定のしきい値よりも大きい累積投票を有する前記二次元マップ内の1つ以上の位置を決定するステップと、
    前記プロセッサを使用して、前記三次元マップ内の対応位置における累積投票が、第2の所定のしきい値以上であるときに、前記三次元マップ内の対応位置を円候補として決定するステップと、
    前記プロセッサを使用して、前記最大累積投票を有する前記決定された円候補を前記標的チューブ上部円として選択するステップとを含む方法。
  22. 前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記少なくとも1つのカメラによって前記トレイの前記画像が取得される、請求項21に記載の方法。
JP2017543752A 2015-02-18 2016-02-16 視覚システムのための画像ベースチューブスロット円検出 Active JP6651537B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562117914P 2015-02-18 2015-02-18
US62/117,914 2015-02-18
PCT/US2016/018109 WO2016133924A1 (en) 2015-02-18 2016-02-16 Image-based tube slot circle detection for a vision system

Publications (3)

Publication Number Publication Date
JP2018506978A JP2018506978A (ja) 2018-03-15
JP2018506978A5 JP2018506978A5 (ja) 2019-01-31
JP6651537B2 true JP6651537B2 (ja) 2020-02-19

Family

ID=56689060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543752A Active JP6651537B2 (ja) 2015-02-18 2016-02-16 視覚システムのための画像ベースチューブスロット円検出

Country Status (6)

Country Link
US (1) US10290090B2 (ja)
EP (1) EP3259341B1 (ja)
JP (1) JP6651537B2 (ja)
CN (1) CN107532125B (ja)
CA (1) CA2976938C (ja)
WO (1) WO2016133924A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290090B2 (en) * 2015-02-18 2019-05-14 Siemens Healthcare Diagnostics Inc. Image-based tube slot circle detection for a vision system
WO2018013346A1 (en) 2016-07-14 2018-01-18 Siemens Healthcare Diagnostics Inc. Methods, systems, and apparatus for dynamic pick and place selection sequence based on sample rack imaging data
CN109414811B (zh) 2016-07-14 2022-05-27 西门子医疗保健诊断公司 基于样品架成像数据的用于机器人夹持器动态位置调整的方法和装置
US10354371B2 (en) 2016-10-06 2019-07-16 General Electric Company System, method and apparatus for locating the position of a component for use in a manufacturing operation
US10288410B2 (en) * 2016-11-10 2019-05-14 The Boeing Company Method and system for identifying wire contact insertion holes of a connector
TWI660156B (zh) * 2017-04-28 2019-05-21 宏達國際電子股份有限公司 追蹤系統及方法
CN109214256A (zh) * 2017-07-07 2019-01-15 深圳市保千里电子有限公司 一种交通图标的检测方法、装置及车辆
CN110832508B (zh) 2017-07-11 2023-08-11 美国西门子医学诊断股份有限公司 用于样本管顶部圆形的基于学习的图像边缘增强的方法和系统
EP3652674B1 (en) * 2017-07-11 2024-02-28 Siemens Healthcare Diagnostics, Inc. Image-based tube top circle detection with multiple candidates
CN109978901B (zh) * 2019-03-07 2023-06-02 江苏亿通高科技股份有限公司 一种快速、精确的圆形检测和圆心定位方法
US20200320334A1 (en) * 2019-04-05 2020-10-08 Ent. Services Development Corporation Lp Systems and methods for digital image-based object authentication
CN110349199B (zh) * 2019-06-25 2021-07-30 杭州汇萃智能科技有限公司 一种物体圆度测量方法
CN110717890B (zh) * 2019-09-11 2022-06-03 北京控制工程研究所 一种对接环识别方法及介质
CN111223067B (zh) * 2020-02-21 2023-05-26 成都工业学院 一种用于桥梁锚具圆孔加工的自动对位方法
US11388423B2 (en) * 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
CN111445511B (zh) * 2020-03-24 2022-08-05 杭州东信北邮信息技术有限公司 一种图像中圆的检测方法
CN112132135B (zh) * 2020-08-27 2023-11-28 南京南瑞信息通信科技有限公司 一种基于图像处理的电网传输线检测方法、存储介质
IT202100001649A1 (it) * 2021-01-27 2022-07-27 Macs S R L Sistema di scansione 3d per la mappatura di piani di lavoro nella diagnostica in vitro
CN113160255A (zh) * 2021-02-24 2021-07-23 国网福建省电力有限公司检修分公司 一种运行线路走廊环境因子变化监控方法
CN113160201B (zh) * 2021-04-30 2024-04-12 聚时科技(上海)有限公司 基于极坐标的环状边界框的目标检测方法
WO2023088600A1 (en) 2021-11-22 2023-05-25 Roche Diagnostics Gmbh Method and system for operating a laboratory automation system
CN114549403B (zh) * 2022-01-07 2024-05-14 中国地质大学(武汉) 一种机械零部件侧剖面多单体智能精密几何圆心检测方法
CN116894400B (zh) * 2023-09-11 2023-12-12 南京邮电大学 一种基于视觉传感网络的空间组合选址方法
CN117173255A (zh) * 2023-09-26 2023-12-05 拓荆键科(海宁)半导体设备有限公司 多相机位置的标定方法、系统及晶圆键合检测设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783097B2 (en) * 2006-04-17 2010-08-24 Siemens Medical Solutions Usa, Inc. System and method for detecting a three dimensional flexible tube in an object
EP2453233A1 (en) * 2010-11-16 2012-05-16 Roche Diagnostics GmbH Method and apparatus for detecting foam on a liquid surface in a vessel
CN102147857A (zh) * 2011-03-22 2011-08-10 黄晓华 利用改进霍夫变换进行类圆形检测的图像处理方法
US8805117B2 (en) * 2011-07-19 2014-08-12 Fuji Xerox Co., Ltd. Methods for improving image search in large-scale databases
EP2574933A1 (en) * 2011-09-29 2013-04-03 F. Hoffmann-La Roche AG Handling of sample tubes comprising geometric tube data
US8854451B2 (en) * 2011-10-19 2014-10-07 Lam Research Corporation Automated bubble detection apparatus and method
US9135515B2 (en) * 2012-10-22 2015-09-15 Qiagen Gaithersburg, Inc. Automated pelletized sample vision inspection apparatus and methods
US9053389B2 (en) * 2012-12-03 2015-06-09 Analog Devices, Inc. Hough transform for circles
CN103150730A (zh) * 2013-03-07 2013-06-12 南京航空航天大学 一种基于图像的圆形小目标精确检测方法
WO2014152329A1 (en) * 2013-03-14 2014-09-25 Siemens Healthcare Diagnostics Inc. Tube tray vision system
CN104331885A (zh) * 2014-10-29 2015-02-04 电子科技大学 一种基于投票线聚类的圆形目标检测方法
US10290090B2 (en) * 2015-02-18 2019-05-14 Siemens Healthcare Diagnostics Inc. Image-based tube slot circle detection for a vision system

Also Published As

Publication number Publication date
CA2976938C (en) 2023-09-26
CN107532125A (zh) 2018-01-02
WO2016133924A1 (en) 2016-08-25
US20180047150A1 (en) 2018-02-15
US10290090B2 (en) 2019-05-14
EP3259341B1 (en) 2021-01-27
JP2018506978A (ja) 2018-03-15
EP3259341A4 (en) 2018-02-21
EP3259341A1 (en) 2017-12-27
CA2976938A1 (en) 2016-08-25
CN107532125B (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
JP6651537B2 (ja) 視覚システムのための画像ベースチューブスロット円検出
JP6718465B2 (ja) 視覚システムにおけるトレイスロットタイプ及びチューブタイプの位置ベース検出
US11774735B2 (en) System and method for performing automated analysis of air samples
JP6960980B2 (ja) 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定
US10796429B2 (en) Systems and methods for area-of-interest detection using slide thumbnail images
US9646376B2 (en) System and method for reviewing and analyzing cytological specimens
EP3652674B1 (en) Image-based tube top circle detection with multiple candidates
US20240168006A1 (en) Methods and apparatus for hashing and retrieval of training images used in hiln determinations of specimens in automated diagnostic analysis systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200122

R150 Certificate of patent or registration of utility model

Ref document number: 6651537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250