JP6108572B2 - 生体サンプル用の凍結アリコータのためのマシンビジョンシステム - Google Patents

生体サンプル用の凍結アリコータのためのマシンビジョンシステム Download PDF

Info

Publication number
JP6108572B2
JP6108572B2 JP2015510387A JP2015510387A JP6108572B2 JP 6108572 B2 JP6108572 B2 JP 6108572B2 JP 2015510387 A JP2015510387 A JP 2015510387A JP 2015510387 A JP2015510387 A JP 2015510387A JP 6108572 B2 JP6108572 B2 JP 6108572B2
Authority
JP
Japan
Prior art keywords
container
frozen sample
hole
sample
frozen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015510387A
Other languages
English (en)
Other versions
JP2015516077A (ja
JP2015516077A5 (ja
Inventor
モハマドレザ ラメザニファード,
モハマドレザ ラメザニファード,
サイード ソクハンバー,
サイード ソクハンバー,
トッド バスク,
トッド バスク,
ピーター エル. フラー,
ピーター エル. フラー,
マシュー スウィートランド,
マシュー スウィートランド,
Original Assignee
クライオエクストラクト インストゥルメンツ, エルエルシー
クライオエクストラクト インストゥルメンツ, エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/489,234 external-priority patent/US20130286192A1/en
Priority claimed from US13/844,156 external-priority patent/US20140267713A1/en
Application filed by クライオエクストラクト インストゥルメンツ, エルエルシー, クライオエクストラクト インストゥルメンツ, エルエルシー filed Critical クライオエクストラクト インストゥルメンツ, エルエルシー
Publication of JP2015516077A publication Critical patent/JP2015516077A/ja
Publication of JP2015516077A5 publication Critical patent/JP2015516077A5/ja
Application granted granted Critical
Publication of JP6108572B2 publication Critical patent/JP6108572B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/286Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q involving mechanical work, e.g. chopping, disintegrating, compacting, homogenising
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N2035/00891Displaying information to the operator
    • G01N2035/0091GUI [graphical user interfaces]

Landscapes

  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Description

本発明は、概して、マシンビジョンシステムおよび方法に関し、より具体的には、容器内の凍結サンプルから、凍結サンプルを融解させることなしに、複数の凍結サンプルコアを採取するためのロボットシステムの制御を容易にするマシンビジョンシステムに関する。
限定されるものではないが、橋渡し研究、分子医学、およびバイオマーカー探索を含む、広く多様な生物医学的および生物学的研究を支援するために、生体サンプルは、一般に保存される。生体サンプルには、動物(ヒトを含む)、植物、原生動物、菌類、細菌、ウイルス、またはその他の生体由来のあらゆるサンプルが含まれる。例えば、生体サンプルには、限定されるものではないが、生物、および血漿、血清、尿、全血、臍帯血、その他の血液ベースの派生物、脳脊髄液、粘液(気道、頸管由来)、腹水、唾液、羊水、精液、涙、汗、植物由来のあらゆる流体(樹液を含む)などの生物から分離もしくは分泌された生体液の両方、またはいずれか一方と、細胞(例えば、バフィーコートの細胞を含む、動物、植物、原生生物、菌類、または細菌性の細胞)と、細胞可溶化物、ホモジネート、もしくは懸濁液と、ミクロソームと、細胞器官(例えば、ミトコンドリア)と、染色体DNA、ミトコンドリアDNA、およびプラスミド(例えば、シードプラスミド)を含む、核酸(例えば、RNA、DNA)と、懸濁液または溶液中の小分子化合物(例えば、DMSO中の小分子化合物)と、その他の流体ベースの生体サンプルとが含まれる。生体サンプルにはまた、植物、植物の一部(例えば、種子)および組織(例えば、筋肉、脂肪、皮膚など)が含まれ得る。
バイオバンクは、一般に、これらの貴重なサンプルを容器(例えば、ウェルプレートもしくはウェルアレイ、試験管、バイアルなど)内に格納し、それらを低温保存する。試験管、バイアル、および同様の容器は、アレイ状に整理され、ウェルプレート、ラック、仕切りのある容器などに保管され得る。一部のサンプルは、比較的高温(例えば、摂氏−20度)で保管されるが、その他のサンプルは、はるかに低温で保管される。例えば、一部のサンプルは、液体窒素または液体窒素上方の気相を用いて摂氏−80度、またはそれ未満で冷凍庫の中に保管されて、インビボ状態にできるだけ近い状態に凍結サンプルの生化学的組成物および完全性を保存して、正確で再現性のあるサンプル分析を容易にする。
往々にして、凍結させたサンプルに対して1つまたは2つ以上の試験を行うことが望ましいこともある。例えば、研究者は、ある特性を有する一式のサンプルに対して試験を行うことを望むこともある。特定のサンプルは、多くの異なる試験を支えるのに十分な材料を含有し得る。資源を節約するために、一般に、1つまたは2つ以上の試験で使用するために、より大きな低温保存サンプル(これは、親サンプルと呼ばれることもある)から、アリコートとして知られるより少量のサンプルが取り出されて、親サンプルの残りを1つまたは2つ以上の異なる後の試験に利用できるようにする。
バイオバンクは、このサンプルアリコートを提供する必要性に対処するいくつかの異なる方法を採用した。1つの選択肢は、大量にサンプルを凍結させ、アリコートが求められたときにこれを融解し、次いで、将来アリコートが必要とされるまで低温保存状態で保管するために親サンプルの残りすべて再凍結させることである。この選択肢は、冷凍保存スペースを効率的に使用させるが、それでも、この効率は、サンプルの質を犠牲にして成り立っている。サンプルを繰り返し凍結/融解サイクルに曝すことは、サンプルの重要な生物学的分子(例えば、RNA)を劣化させ、バイオマーカーに損傷を与え得、これらのいずれかは、損傷したサンプルから得られたデータを使用したあらゆる研究の結果を損ない得る。
別の選択肢は、大量にサンプルを凍結させ、アリコートが求められたときにこれを融解し、親サンプルの残りを少量に分割して、後の試験のためにさらなるアリコートを作製し、次いで、後の試験に必要とされるまで、これらのより少量のアリコートを再凍結させて、各アリコートを別々に低温保存することである。この手法は、サンプルが曝される凍結/融解サイクルの数を制限するが、低温保存アリコートを維持するために必要とされる、より大きい冷凍保存スペースの容積、労力、およびより多いサンプル容器(例えば、試験管、バイアルなど)の在庫に関連する費用が増加する。さらに、アリコートは、凍結/融解サイクルの数を制限したとしても、劣化または損傷され得る。
さらに別の手法は、大量のサンプルを、これらを最初に凍結する前に、より小量のアリコートに分割することである。この手法は、サンプルが受け得る凍結融解サイクルの数を1回だけに制限できるが、それでも、この手法に伴う労力、冷凍保存スペース、および必要なサンプル容器在庫のコストに関連する不利な点がある。
米国公開特許公報第20090019877号は、参照によりその内容が本明細書に援用されるのであるが、元(親)サンプルを解凍することなく、凍結生体サンプルから凍結サンプルコアを抜き取るためのシステムを開示している。このシステムは、中空のコアリングビットを含むドリルを用いて、親サンプルを解凍することなしに、元の親サンプルから凍結コアサンプルを採取する。このドリルによって得られる凍結サンプルコアは、試験のアリコートとして使用される。凍結コアが取り去られた後、サンプルの残りは、後の試験において親サンプルからさらなるアリコートが必要とされるまで、その元の容器のまま冷凍保存場所に戻される。
米国特許出願公開第2009/0019877号明細書
本発明者らは、以下に説明されるシステムおよび方法を開発した。これは、凍結サンプルが先行する抜き取りに由来する1つまたは2つ以上の凍結サンプルコアの孔を含んでいるかどうかの自動認識、ならびにすべてのそのような孔の位置の自動認識を容易にして、サンプルからのさらなる凍結サンプルコアの自動抜き取りを実行する。
本発明の一態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器のうちの1つまたは2つ以上を支持するためのプラットフォームを含む。プラットフォームは、容器のうちの少なくとも1つを受容するための機構と、プラットフォーム上において、この機構に対して固定された位置にある一組のキャリブレーションマークとを有する。システムは、容器が機構で受容される間に、容器の画像を撮影するためのカメラを有する。プロセッサは、容器の画像を表す画像データをカメラから受信するように構成される。プロセッサは、(a)画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)孔候補に対するキャリブレーションマークの位置に関する情報を用いて、1つまたは2つ以上の候補が、サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成される。
本発明の別の態様は、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法である。本方法は、プラットフォーム上における容器を受容するための機構に容器を配置するステップを含む。プラットフォームは、プラットフォーム上において、この機構に対して固定された位置にある一組のキャリブレーションマークを有する。容器が機構で受容される間に、容器の画像が撮影される。容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置は、(a)画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)孔候補に対するキャリブレーションマークの位置に関する情報を用いて、1つまたは2つ以上の候補が、凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、判定するように構成される。凍結サンプルコアは、判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置でサンプルから採取される。
本発明のさらに別の態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器のうちの1つの画像を、それがプラットフォーム上にある間に撮影するために、プラットフォームとカメラとを含む。プロセッサは、カメラが撮影した画像を表す画像データをカメラから受信するように構成される。プロセッサは、(a)画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)1つまたは2つ以上の孔候補が、サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成される。プロセッサは、以下、すなわち、(i)孔候補の寸法、(ii)孔候補と容器の重心軸との間の距離、(iii)第1の線と第2の線との間に形成される角度であって、第1の線が、孔と容器の重心軸との間に延在し、第2の線が、容器の重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、(iv)1つまたは2つ以上の孔候補の位置と、予想されるサンプル中の孔のパターンとの間の関係、(v)容器の周縁部に対する1つまたは2つ以上の孔候補の位置、(vi)識別される孔候補の数、(vii)孔候補と孔候補の周囲の領域との間のコントラストの量、および(viii)これらの組み合わせのうちの少なくとも1つを用いて、1つまたは2つ以上の孔候補がアーティファクトである可能性が高いかどうか判定するように構成される。
本発明の別の態様は、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法である。本方法は、容器の画像を撮影するステップを含む。撮影した画像は、(a)画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)1つまたは2つ以上の孔候補が、凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するのに用いられる。以下の情報、すなわち、(i)孔候補の寸法、(ii)孔候補と容器の重心軸との間の距離、(iii)第1の線と第2の線との間に形成される角度であって、第1の線が、孔と容器の重心軸との間に延在し、第2の線が、容器の重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、(iv)1つまたは2つ以上の孔候補の位置と、予想される凍結サンプル中の孔のパターンとの間の関係、(v)容器の周縁部に対する1つまたは2つ以上の孔候補の位置、(vi)識別される孔候補の数、(vii)孔候補と周囲の領域との間のコントラストの量、および(viii)これらの組み合わせのうちの少なくとも1つを用いて、1つまたは2つ以上の孔候補が、本当の孔ではなく、アーティファクトである可能性が高いかどうか判定する。凍結サンプルコアは、判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置でサンプルから採取される。
本発明の別の態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムをキャリブレーションするように構成されるキャリブレーションシステムである。キャリブレーションシステムは、容器を支持するためのプラットフォームを含む。プラットフォームは、その上に1つまたは2つ以上の固定ターゲットを配置される。カメラは、容器がプラットフォームによって支持される間、1つまたは2つ以上の容器の画像を撮影するために、またプラットフォーム上に配置された1つまたは2つ以上の固定ターゲットの画像を撮影するために、ロボットシステム上に取り付けられる。プロセッサは、カメラが形成した画像を表す画像データをカメラから受信するように構成される。プロセッサは、プラットフォーム上にある1つまたは2つ以上の固定ターゲットの画像を用いて、ロボットシステムをキャリブレーションするように構成される。
本発明の別の態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムをキャリブレーションする方法である。本方法は、凍結サンプルから1つまたは2つ以上の凍結サンプルコアが既に採取されたかどうか判定するロボットシステムのプラットフォームによって容器が支持される間に、プラットフォーム上にある1つまたは2つ以上の固定ターゲットの画像を撮影するために、1つまたは2つ以上の容器の画像を撮影するためのカメラを用いるステップを含む。1つまたは2つ以上のターゲットの画像は、ロボットシステムをキャリブレーションするために用いられる。
本発明の別の態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するために適合されるロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器がプラットフォームによって支持される間に、容器の画像を撮影するためのカメラを含む。カメラは光学軸を有する。システムは、プラットフォーム上の容器を照らすためのリングライトを有する。リングライトは、環状パターンに配列された複数の光源を含む。カメラの光学軸は、環状パターンの中心部分を通って延在する。プロセッサは、カメラが撮影した画像を表す画像データをカメラから受信するように、また画像中のコントラストを評価することによって、容器に収容されたサンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合される。
本発明のさらに別の態様は、凍結サンプルの各々がそれぞれの容器に収容されている凍結サンプルから、凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。本方法は、容器のうちの最初の1つに対してカメラを移動して、カメラが第1の容器内の凍結サンプルに向けられるようにロボットシステムを操作するステップを含む。凍結サンプルは、リングライトを用いて照らされる。リングライトは、環状パターンに配列された複数の光源を有する。カメラは、環状パターンの中心部分を通って延在する光学軸を有する。カメラは、照らされた凍結サンプルの画像を撮影するために用いられる。撮影した画像のコントラストが評価され、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別し、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステムは、容器のうちの二番目に対してカメラを移動するように操作されて、カメラが第2の容器内の凍結サンプルに向けられるようにする。第2の容器中の凍結サンプルに対して撮像が繰り返される。
本発明のさらに別の態様は、各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。システムは、容器がプラットフォームによって支持される間に、容器の単色画像を撮影するために構成されるカメラを含む。照明は、容器がプラットフォームによって支持される間に、容器およびその中に収容されるサンプルを照らすように配置される。プロセッサは、カメラが形成した画像を表すグレースケール画像データをカメラから受信し、画像中のコントラストを評価することによって、サンプルから凍結サンプルコアが既に採取された位置を判定するように適合される。照明は、白色以外の色を有する光を放つ。
本発明の別の態様は、凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。凍結サンプルの各々は、それぞれの容器に収容されている。本方法は、容器のうちの最初の1つに対してカメラを移動して、カメラが第1の容器内の凍結サンプルに向けられるようにロボットシステムを操作するステップを含む。凍結サンプルは、着色光で照らされる。カメラは、照らされた凍結サンプルのグレースケール画像を撮影するために用いられる。撮影した画像のコントラストが評価され、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別し、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステムは、容器のうちの二番目に対してカメラを移動するように操作されて、カメラが前記第2の容器内の凍結サンプルに向けられるようにする。第2の容器中の凍結サンプルに対して撮像が繰り返される。
本発明の別の態様は、各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。システムは、容器がプラットフォームによって支持される間に、容器の画像を撮影するためのカメラを含む。照明は、容器がプラットフォームによって支持される間に、容器およびその中に収容されるサンプルを照らすように配置される。照明は、赤色発光素子、青色発光素子、および緑色発光素子を有する。赤色、青色、および緑色の発光素子の放つ光の強度は、選択的に調節可能であって、任意の複数の異なる光の色が、照明の放つ光の色として選択され得るようにする。プロセッサは、カメラが形成した画像を表す画像データをカメラから受信し、画像中のコントラストを評価することによって、サンプルから凍結サンプルコアが既に採取された位置を判定するように適合される。プロセッサは、容器中のサンプルの色に関する入力を受け、照明の放つ光の色を調節するように適合されて、サンプルの色と照明の放つ光の色との間の差を減らす。
本発明の別の態様は、凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。凍結サンプルの各々は、それぞれの容器に収容されている。本方法は、容器のうちの最初の1つに対してカメラを移動して、カメラが第1の容器内の凍結サンプルに向けられるようにロボットシステムを操作するステップを含む。凍結サンプルは、着色光で照らされる。光の色は、凍結サンプルの色と一致するように選択される。カメラは、照らされた凍結サンプルの画像を撮影するために用いられる。撮影した画像のコントラストが評価され、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別し、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステムは、容器のうちの二番目に対してカメラを移動するように操作されて、カメラが前記第2の容器内の凍結サンプルに向けられるようにする。第2の容器中の凍結サンプルに対して撮像プロセスが繰り返される。
本発明の別の態様は、各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器を支持するためのプラットフォームを含む。プラットフォームは、凍結サンプルコアが容器に収容された凍結サンプルから抜き取られる間に、容器のうちの1つを受容するための機構を有する。システムは、プラットフォーム上において、容器が機構で受容される間に、容器の画像を撮影するためのカメラを有する。照明は、バックライティングおよびサイドライティングのうちの少なくとも1つを提供する位置から容器を照らすように配置される。
本発明のさらに別の実施形態は、凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。凍結サンプルの各々は、それぞれの容器に収容されている。本方法は、ロボットシステムを操作して、凍結サンプルコアが容器に収容された凍結サンプルから抜き取られる間に、プラットフォーム上における容器を受容するための機構に容器のうちの1つを配置するステップを含む。照明は、容器に対してバックライティングおよびサイドライティングのうちの少なくとも1つを提供するために用いられる。カメラは、照明が照らす間に、凍結サンプルの画像を撮影するために用いられる。撮影した画像のコントラストが評価され、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別する。
別の本発明の態様は、各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するために適合されるロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、凍結サンプルコアが容器内に収容された凍結サンプルから抜き取られる間に、容器がプラットフォームによって容器を受容するための機構において支持される間に、容器の画像を撮影するためのカメラを含む。システムは、容器を、それがプラットフォーム上における機構にある間に、実質的に単色の赤色光で上方から照らすための赤色光を有する。プロセッサは、カメラが撮影した画像を表す画像データをカメラから受信するように、また画像中のコントラストを評価することによって、容器に収容されたサンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合される。
本発明のさらに別の態様は、凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。凍結サンプルの各々は、それぞれの容器に収容されている。本方法は、ロボットシステムを操作して、凍結サンプルコアが容器に収容された凍結サンプルから抜き取られる間に、プラットフォーム上における容器を受容するための機構に容器のうちの1つを配置するステップを含む。容器は、それがプラットフォーム上における機構にある間に、実質的に単色の赤色光で上方から照らされる。カメラは、赤色光で照らす間に、凍結サンプルの画像を撮影するために用いられる。撮影した画像のコントラストが評価され、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別する。
本発明の別の態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器のうちの1つまたは2つ以上を支持するためのプラットフォームを含む。プラットフォームは、容器のうちの少なくとも1つを受容するための機構を有する。システムは、容器が機構で受容される間に、容器の画像を撮影するためのカメラを有する。プロセッサは、容器の画像を表す画像データをカメラから受信するように構成される。プロセッサは、画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別、かつ容器の縁部を識別すること、および孔候補に対する位置に関する情報を用いて、1つまたは2つ以上の候補が、サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成される。
本発明の別の態様は、凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。凍結サンプルの各々は、それぞれの容器に収容されている。本方法は、ロボットシステムを操作して、凍結サンプルコアが容器に収容された凍結サンプルから抜き取られる間に、プラットフォーム上における容器を受容するための機構に容器のうちの1つを配置するステップを含む。カメラは、凍結サンプルの画像を撮影するために用いられる。撮影した画像のコントラストが評価されて、1つまたは2つ以上の孔候補を識別し、また容器の縁部を識別する。孔候補に対する縁部の位置に関する情報は、1つまたは2つ以上の孔候補が、サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するのに用いられる。
本発明の一態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器のうちの1つまたは2つ以上を支持するためのプラットフォームを含む。プラットフォームは、容器のうちの少なくとも1つを受容するための機構を有する。システムは、容器が機構で受容される間に、容器の画像を撮影するためのカメラを含む。システムは、凍結サンプルの表面の位置を検出するように適合される充填レベル検出システムを含む。プロセッサは、充填レベル検出システムから信号を受信し、この信号を用いて、凍結サンプルの画像を取得するためにカメラを位置づける場所を判定するように構成される。
本発明の別の態様は、凍結サンプルの各々がそれぞれの容器に収容されている凍結サンプルから、凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。本方法は、容器の底部から離間した凍結サンプルの表面の位置を測定するための充填レベル検出システムを用いるステップを含む。充填レベル検出システムからの情報は、カメラを位置づける場所を判定するために用いられて、カメラが、サンプルの表面に対して既定の位置を有し、カメラがその位置に移動するようにする。容器内の凍結サンプルの画像は、その位置から撮影される。画像は、サンプル中の1つまたは2つ以上の孔の位置を識別するために用いられる。
本発明のさらに別の態様は、各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器のうちの1つまたは2つ以上を支持するためのプラットフォームを含む。プラットフォームは、容器のうちの少なくとも1つを受容するための機構を有する。システムは、凍結サンプルから凍結サンプルコアを採取するためのコアリングプローブを含む。システムは、容器が機構で受容される間に、容器の画像を撮影するためのカメラを含む。プロセッサは、容器の画像を表す画像データをカメラから受信するように、また容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成される。プロセッサは、少なくとも1つの孔の開口端内にコアリングプローブを移動して、孔の開口端から細片を取り除くように構成される。
本発明の別の態様は、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法である。本方法は、プラットフォーム上における容器を受容するための機構に容器を配置するステップを含む。容器が機構で受容される間に、容器の画像が撮影される。容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置が判定される。凍結サンプルコアは、判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置でサンプルから採取される。凍結サンプルコアを凍結サンプルから採取した後、コアリングプローブは、凍結サンプルコアが採取された1つまたは2つ以上の位置内に挿入されて、凍結サンプルコアが採取された1つまたは2つ以上の位置から細片を取り除く。
本発明のさらに別の態様は、各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するために適合されるロボットシステムと共に用いるためのマシンビジョンシステムである。マシンビジョンシステムは、容器がプラットフォームによって支持される間に、容器の画像を撮影するためのカメラを含む。システムは、プラットフォーム上の容器を照らすための照明を含む。照明によって放出される光のエネルギーの大半は、620nmから750nmまでの範囲の波長の赤色光と、495nmから570nmまでの範囲の波長の緑色光とからなる群から選択される。プロセッサは、カメラが撮影した画像を表す画像データをカメラから受信するように、また画像を評価することによって、容器に収容されたサンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合される。
本発明の別の態様は、凍結サンプルの各々がそれぞれの容器に収容されている凍結サンプルから、凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法である。本方法は、容器のうちの最初の1つに対してカメラを移動して、カメラが第1の容器内の凍結サンプルに向けられるようにロボットシステムを操作するステップを含む。凍結サンプルは光で照らされ、照明によって放出される光のエネルギーの大半は、620nmから750nmまでの範囲の波長の赤色光と、495nmから570nmまでの範囲の波長の緑色光とからなる群から選択される。カメラは、照らされた凍結サンプルの画像を撮影するために用いられる。画像を用いて、撮影した画像において1つまたは2つ以上の孔候補を識別し、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステムは、容器のうちの二番目に対してカメラを移動するように操作されて、カメラが前記第2の容器内の凍結サンプルに向けられるようにする。前記第2の容器中の凍結サンプルに対して撮像が繰り返される。
その他の目的および特徴は、以下、一部が明らかにされ、一部が指摘される。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器のうちの1つまたは2つ以上を支持するためのプラットフォームであって、前記プラットフォームが、前記容器のうちの少なくとも1つを受容するための機構と、前記プラットフォーム上において、前記機構に対して固定された位置にある一組のキャリブレーションマークとを有する、プラットフォームと、
前記容器が前記機構で受容される間に、前記容器の画像を撮影するためのカメラと、
前記容器の前記画像を表す画像データを前記カメラから受信するように、ならびに、(a)前記画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)前記孔候補に対する前記キャリブレーションマークの前記位置に関する情報を用いて、前記1つまたは2つ以上の候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、前記容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成されるプロセッサと
を備えるマシンビジョンシステム。
(項目2)
前記孔候補に対する前記キャリブレーションマークの前記位置に関する情報を用いることが、前記キャリブレーションマークを用いて、前記容器の重心軸を識別することと、(i)前記容器の前記重心軸に対する前記1つまたは2つ以上の孔候補の前記位置に関する情報を用いること、および(ii)前記容器の前記重心軸に対する前記孔候補のうちの別の角度位置と比べた、前記容器の前記重心軸に対する前記孔候補のうちの1つの角度位置に関する情報を用いることのうちの少なくとも1つとを備える、項目1に記載のマシンビジョンシステム。
(項目3)
前記判定することが、前記1つまたは2つ以上の孔候補の寸法に関する情報を用いて、前記1つまたは2つ以上の候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することをさらに備える、項目1または2に記載のマシンビジョンシステム。
(項目4)
前記プロセッサが、前記容器の縁部を検出することなしに、前記キャリブレーションマークの前記位置に応じて、前記容器の前記重心軸を識別するように構成される、項目2〜3のいずれか1項に記載のマシンビジョンシステム。
(項目5)
前記プロセッサが、前記容器の縁部を識別するように構成され、前記判定することが、前記容器の前記縁部に対する前記1つまたは2つ以上の候補孔の前記位置に関する情報を用いて、前記1つまたは2つ以上の候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することを備える、項目1〜3のいずれか1項に記載のマシンビジョンシステム。
(項目6)
前記キャリブレーションマークが、低出力抵抗ヒーターを備えて、霜が前記キャリブレーションマーク上へ蓄積するのを抑制する、項目1〜5のいずれか1項に記載のマシンビジョンシステム。
(項目7)
前記プロセッサが、前記機構の位置に対して、前記カメラの位置を制御するようにさらに構成される、項目1〜6のいずれか1項に記載のマシンビジョンシステム。
(項目8)
前記プロセッサが、前記容器の重心軸に対する前記1つまたは2つ以上の孔候補の前記位置に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目1〜7のいずれか1項に記載のマシンビジョンシステム。
(項目9)
前記プロセッサが、前記容器の前記重心軸に対する前記孔候補のうちの別の角度位置と比べた、前記容器の前記重心軸に対する前記孔候補のうちの1つの角度位置に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目1〜8のいずれか1項に記載のマシンビジョンシステム。
(項目10)
前記プロセッサが、中心を前記キャリブレーションマークから三角測量することによって、前記容器の前記重心軸を識別するように構成される、項目1〜9のいずれか1項に記載のマシンビジョンシステム。
(項目11)
容器に収容された凍結サンプルから凍結サンプルコアを採取する方法であって、前記方法が、
プラットフォーム上における容器を受容するための機構に前記容器を配置するステップであって、前記プラットフォームが、前記プラットフォーム上において、前記機構に対して固定された位置にある一組のキャリブレーションマークを有する、配置するステップと、
前記容器が前記機構で受容される間に、前記容器の画像を撮影するステップと、
(a)前記画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)前記孔候補に対する前記キャリブレーションマークの前記位置に関する情報を用いて、前記1つまたは2つ以上の候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、前記容器に収容された前記凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するステップと、
前記判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置で前記サンプルから前記凍結サンプルコアを採取するステップと
を備える、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法。
(項目12)
前記判定するステップが、前記1つまたは2つ以上の候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するのを助けるために、前記1つまたは2つ以上の孔候補の寸法に関する情報を用いるステップをさらに備える、項目11に記載の方法。
(項目13)
前記撮影した画像において前記容器の周縁部を検出するステップをさらに備え、前記判定するステップが、前記容器の前記縁部に対する前記1つまたは2つ以上の孔候補の前記位置に関する情報を用いて、前記1つまたは2つ以上の候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するのを助けるステップをさらに備える、項目11〜12のいずれか1項に記載の方法。
(項目14)
前記キャリブレーションマークを加熱して、霜が前記キャリブレーションマーク上へ蓄積するのを抑制するステップをさらに備える、項目11〜13のいずれか1項に記載の方法。
(項目15)
前記1つまたは2つ以上の孔候補に対する前記キャリブレーションマークの前記位置に関する情報を用いるステップが、前記容器の重心軸を識別するステップと、前記容器の前記重心軸に対する前記孔候補の前記位置を評価するステップとを備えて、前記1つまたは2つ以上の候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定する、項目11または14に記載の方法。
(項目16)
前記容器の前記重心軸に対する前記孔候補の前記位置を評価するステップが、前記容器の前記重心軸に対する前記孔候補のうちの別の角度位置と比べた、前記容器の前記重心軸に対する前記孔候補のうちの1つの角度位置に関する情報を用いるステップを備えて、前記1つまたは2つ以上の候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定する、項目15に記載の方法。
(項目17)
前記容器の前記重心軸を識別するステップが、三角測量を用いるステップを備える、項目15〜16のいずれか1項に記載の方法。
(項目18)
前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別するステップが、前記画像に閾値処理フィルタを適用するステップを備える、項目11〜17のいずれか1項に記載の方法。
(項目19)
前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別するステップが、前記画像にモルフォロジカルフィルタを適用するステップを備える、項目11〜18のいずれか1項に記載の方法。
(項目20)
前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別するステップが、前記画像に前記閾値処理フィルタを適用するステップの後に、前記画像にモルフォロジカルフィルタを適用するステップをさらに備える、項目18に記載の方法。
(項目21)
前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別するステップが、前記フィルタリングの後、粒子分析画像アルゴリズムを適用するステップを備える、項目18〜20のいずれか1項に記載の方法。
(項目22)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
プラットフォームと、
前記容器のうちの1つの画像を、それが前記プラットフォーム上にある間に撮影するためのカメラと、
前記カメラによって撮影された前記画像を表す画像データを前記カメラから受信するように、ならびに、(a)前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)前記1つまたは2つ以上の孔候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを、
(i)前記孔候補の寸法、
(ii)前記孔候補と前記容器の重心軸との間の距離、
(iii)第1の線と第2の線との間に形成される角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、
(iv)前記1つまたは2つ以上の孔候補の前記位置と、予想される前記サンプル中の孔のパターンとの間の関係、
(v)前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の前記位置、
(vi)識別される孔候補の数、
(vii)前記孔候補と前記孔候補の周囲の領域との間のコントラストの量、および
(viii)これらの組み合わせ
のうちの少なくとも1つを用いて判定することによって、前記容器に収容された前記凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成されるプロセッサと
を備えるマシンビジョンシステム。
(項目23)
前記プロセッサが、前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の位置に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目22に記載のマシンビジョンシステム。
(項目24)
前記プロセッサが、前記1つまたは2つ以上の孔候補の前記寸法に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目22〜23のいずれか1項に記載のマシンビジョンシステム。
(項目25)
前記プロセッサが、前記孔候補と前記容器の重心軸との間の距離に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目22〜24のいずれか1項に記載のマシンビジョンシステム。
(項目26)
前記プロセッサが、第1の線と第2の線との間に形成される前記角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目22〜25のいずれか1項に記載のマシンビジョンシステム。
(項目27)
前記プロセッサが、前記1つまたは2つ以上の孔候補の前記位置と、予想される前記凍結サンプル中の孔のパターンとの間の前記関係に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目22〜26のいずれか1項に記載のマシンビジョンシステム。
(項目28)
前記プロセッサが、識別される孔候補の前記数に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目22〜27のいずれか1項に記載のマシンビジョンシステム。
(項目29)
前記プロセッサが、前記孔候補と前記孔候補の周囲の前記領域との間のコントラストの前記量に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、項目28に記載のマシンビジョンシステム。
(項目30)
容器に収容された凍結サンプルから凍結サンプルコアを採取する方法であって、前記方法が、
前記容器の画像を撮影するステップと、
(a)前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを、
(i)前記孔候補の寸法、
(ii)前記孔候補と前記容器の重心軸との間の距離、
(iii)第1の線と第2の線との間に形成される角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、
(iv)前記1つまたは2つ以上の孔候補の前記位置と、予想される前記凍結サンプル中の孔のパターンとの間の関係、
(v)前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の位置、
(vi)識別される孔候補の数、
(vii)前記孔候補と周囲の領域との間のコントラストの量、および
(viii)これらの組み合わせ
のうちの少なくとも1つを含む情報用いて判定することによって、前記容器に収容された前記凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するために、前記撮影した画像を用いるステップと、
前記判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置で前記サンプルから前記凍結サンプルコアを採取するステップと
を備える、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法。
(項目31)
前記判定するステップが、前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の位置に関する情報を用いるステップを備える、項目30に記載の方法。
(項目32)
前記判定するステップが、前記1つまたは2つ以上の孔候補の前記寸法に関する情報を用いるステップを備える、項目30〜31のいずれか1項に記載の方法。
(項目33)
前記判定するステップが、前記孔候補と前記容器の重心軸との間の前記距離に関する情報を用いるステップを備える、項目30〜32のいずれか1項に記載の方法。
(項目34)
前記判定するステップが、第1の線と第2の線との間に形成される前記角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度に関する情報を用いるステップを備える、項目30〜33のいずれか1項に記載の方法。
(項目35)
前記判定するステップが、前記1つまたは2つ以上の孔候補の前記位置と、予想される前記凍結サンプル中の孔のパターンとの間の前記関係に関する情報を用いるステップを備える、項目30〜34のいずれか1項に記載の方法。
(項目36)
前記判定するステップが、識別される孔候補の前記数に関する情報を用いるステップを備える、項目30〜35のいずれか1項に記載の方法。
(項目37)
前記判定するステップが、前記孔候補と前記周囲の領域との間のコントラストの前記量に関する情報を用いるステップを備える、項目30〜36のいずれか1項に記載の方法。
(項目38)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムをキャリブレーションするように構成されるキャリブレーションシステムであって、前記キャリブレーションシステムが、
前記容器を支持するためのプラットフォームであって、前記プラットフォームが、その上に1つまたは2つ以上の固定ターゲットを有する、プラットフォームと、
前記容器が前記プラットフォームによって支持される間、1つまたは2つ以上の容器の画像を撮影するために、また前記プラットフォーム上に配置された前記1つまたは2つ以上の固定ターゲットの画像を撮影するために、前記ロボットシステム上に取り付けられるカメラと、
プロセッサであって、
前記カメラが形成した画像を表す画像データを前記カメラから受信し、
前記プラットフォーム上にある前記1つまたは2つ以上の固定ターゲットの画像を用いて、前記ロボットシステムをキャリブレーションするように構成されるプロセッサと
を備える、キャリブレーションシステム。
(項目39)
前記プロセッサが、前記容器の画像中のコントラストを評価することによって、前記容器のうちの1つの凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するようにさらに構成される、項目38に記載のキャリブレーションシステム。
(項目40)
前記1つまたは2つ以上の固定ターゲットが、xおよびy方向のキャリブレーションのための像を有するターゲットと、z方向のキャリブレーションのための既知の寸法を有する形状とを備える、項目38〜39のいずれか1項に記載のキャリブレーションシステム。
(項目41)
前記プラットフォームが、前記容器を受容するための陥凹部を有する作業デッキを備え、xおよびy方向のキャリブレーションのための前記像を有する前記ターゲットと、z方向のキャリブレーションのための既知の寸法を有する形状とが、前記陥凹部の外側の前記作業デッキの上面に固定される、項目40に記載のキャリブレーションシステム。
(項目42)
前記1つまたは2つ以上の固定ターゲットが、前記陥凹部の底部に固定されるターゲットを含む、項目41に記載のキャリブレーションシステム。
(項目43)
前記陥凹部の前記底部に固定される前記ターゲットが、xおよびy方向のキャリブレーションのための像を有する、項目42に記載のキャリブレーションシステム。
(項目44)
前記カメラの明暗キャリブレーション用に、前記プラットフォーム上に濃度ステップ表示をさらに備える、項目38〜43のいずれか1項に記載のキャリブレーションシステム。
(項目45)
前記プロセッサが、
(i)凍結サンプルコアが採取される容器を受容するための機構、
(ii)凍結サンプルコアが置かれる容器を受容するための機構、
(iii)前記ロボットシステムのコアリングプローブを洗浄するための機構、
(iv)前記容器を保持するための前記プラットフォーム上の1つまたは2つ以上のトレイ、および
(v)これらの組み合わせ
からなる群から選択された前記プラットフォーム上の複数の特徴の画像を用いて前記ロボットシステムをキャリブレーションするようにさらに構成される、項目38〜44のいずれか1項に記載のキャリブレーションシステム。
(項目46)
ユーザが前記カメラを、前記ターゲットのうちの1つと位置合わせされていない位置から、前記ターゲットと位置合わせされている位置に向けて案内できるように構成されるユーザインターフェースをさらに備える、項目38〜45のいずれか1項に記載のキャリブレーションシステム。
(項目47)
前記ロボットシステムが、エンドエフェクタを備え、前記カメラが、前記エンドエフェクタと共に前記プラットフォームに対して移動するために、前記エンドエフェクタ上に取り付けられ、前記エンドエフェクタまたは前記エンドエフェクタと共に移動可能なあらゆる構成要素と、前記プラットフォームまたは前記プラットフォーム上の構成要素との間でいかなる物理的接触もなく、前記キャリブレーションシステムが、前記ロボットシステムのキャリブレーションを完了するように構成される、項目38〜46のいずれか1項に記載のキャリブレーションシステム。
(項目48)
前記ロボットシステムが、エンドエフェクタを備え、前記カメラが、前記エンドエフェクタと共に前記プラットフォームに対して移動するために、前記エンドエフェクタ上に取り付けられ、前記エンドエフェクタが、前記凍結サンプルから凍結サンプルコアを採取するためのコアリングプローブと、容器を選択的に保持および解放するように適合される、前記プラットフォームに対して前記容器を移動するための把持部とをさらに備え、前記キャリブレーションシステムが、前記カメラ、プローブ、および把持部の互いに対する位置を判定して、前記カメラ、プローブ、および把持部に関連する位置のオフセットに関する変動を補償するようにさらに構成される、項目38〜46のいずれか1項に記載のキャリブレーションシステム。
(項目49)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムをキャリブレーションする方法であって、前記方法が、
前記凍結サンプルから1つまたは2つ以上の凍結サンプルコアが既に採取されたかどうか判定する前記ロボットシステムのプラットフォームによって前記容器が支持される間に、前記プラットフォーム上にある1つまたは2つ以上の固定ターゲットの画像を撮影するために、1つまたは2つ以上の容器の画像を撮影するためのカメラを用いるステップと、
前記1つまたは2つ以上のターゲットの画像を用いて、前記ロボットシステムをキャリブレーションするステップと
を備える方法。
(項目50)
前記プラットフォームが、前記容器を受容するための陥凹部を有する作業デッキを備え、前記1つまたは2つ以上のターゲットのうちの少なくとも1つが、前記陥凹部の外側の前記作業デッキの上面に固定される、項目49に記載の方法。
(項目51)
前記1つまたは2つ以上の固定ターゲットがまた、前記陥凹部の底部に固定される少なくとも1つのターゲットを含む、項目50に記載の方法。
(項目52)
前記カメラの明暗設定をキャリブレーションするために、前記プラットフォーム上に濃度ステップ表示を用いるステップをさらに備える、項目49〜51のいずれか1項に記載の方法。
(項目53)
前記ロボットシステムのキャリブレーションを助けるために、前記プラットフォーム上の複数の追加的な特徴の画像を用いるステップをさらに備え、前記複数の追加的な特徴が、
(i)凍結サンプルコアが採取される容器を受容するための機構、
(ii)凍結サンプルコアが置かれる容器を受容するための機構、
(iii)前記ロボットシステムのコアリングプローブを洗浄するための機構、
(iv)前記容器を保持するための前記プラットフォーム上の1つまたは2つ以上のトレイ、および
(v)これらの組み合わせ
のうちの少なくとも1つを含む、項目49〜52のいずれか1項に記載の方法。
(項目54)
前記カメラを用いて、容器の画像を撮影するステップと、前記画像を用いて、前記サンプルにおける1つまたは2つ以上の孔の前記位置を判定するステップとをさらに備える、項目49〜53のいずれか1項に記載の方法。
(項目55)
各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器がプラットフォームで支持される間に、容器の画像を撮影するためのカメラであって、前記カメラが、光学軸を有する、カメラと、
前記プラットフォーム上の前記容器を照らすためのリングライトであって、前記リングライトが、環状パターンで配置される複数の光源を備え、前記カメラの前記光学軸が、前記環状パターンの中心部分を通って延在する、リングライトと、
前記カメラが撮影した前記画像を表す画像データを前記カメラから受信するように、また前記画像中のコントラストを評価することによって、前記容器に収容された前記サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合されるプロセッサと
を備えるマシンビジョンシステム。
(項目56)
前記リングライトが、赤色光を放出する、項目55に記載のマシンビジョンシステム。
(項目57)
前記リングライトが、緑色光を放出する、項目55に記載のマシンビジョンシステム。
(項目58)
前記リングライトが、赤色発光素子、青色発光素子、および緑色発光素子を備え、前記赤色、青色、および緑色の発光素子の放つ光の強度が、選択的に調節可能であって、任意の複数の異なる光の色が、前記リングライトによって放出される光の色として選択できるようにする、項目55に記載のマシンビジョンシステム。
(項目59)
前記リングライトが、多色LEDを備え、前記多色LEDのそれぞれが、赤色、緑色、青色、およびこれらの組み合わせを放出するように操作可能である、項目55に記載のマシンビジョンシステム。
(項目60)
容器および前記容器に収容される凍結サンプルと組み合わせて、前記カメラが、前記凍結サンプルの画像を撮影するように配置され、前記リングライトが、前記凍結サンプルの色と一致する光を放出するように適合される、項目55〜59のいずれか1項に記載のマシンビジョンシステム。
(項目61)
前記リングライトによって放出される前記光が、第1の色を有し、前記凍結サンプルの色が、第2の色を有し、前記第1の色が、(i)前記第2の色と同じ色、および(ii)6色RGB色相環における2つの隣接する色のうちの1つと比べて、前記第2の色とほぼ同じ色からなる群から選択される、項目60に記載のマシンビジョンシステム。
(項目62)
前記凍結サンプルが、黄色、橙色、および赤色からなる群から選択される色を有し、前記リングライトによって放出される前記光が、赤色である、項目60〜61のいずれか1項に記載のマシンビジョンシステム。
(項目63)
前記リングライトおよびカメラが、前記リングライトにおける前記光源から前記カメラに直接の経路がないように配置される、項目55〜62のいずれか1項に記載のマシンビジョンシステム。
(項目64)
前記カメラが、対象からの光を受容するための前端を有し、前記リングライトが、前記カメラよりもさらに前方に延在して、前記リングライトの放出する前記光が、前記カメラの前方の位置から放出されるようにする、項目55〜63のいずれか1項に記載のマシンビジョンシステム。
(項目65)
前記リングライトが、環状の溝を有するハウジングを備え、前記光源が、前記溝内の奥まった位置に配置される、項目55〜64のいずれか1項に記載のマシンビジョンシステム。
(項目66)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)前記容器のうちの最初の1つに対してカメラを移動して、前記カメラが前記第1の容器内の前記凍結サンプルに向けられるようにロボットシステムを操作するステップと、
(b)リングライトを用いて前記凍結サンプルを照らすステップであって、前記リングライトが、環状パターンで配置される複数の光源を備え、前記カメラが、前記環状パターンの中心部分を通って延在する光学軸を有する、照らすステップと、
(c)前記照らされた凍結サンプルの画像を撮影するために前記カメラを用いるステップと、
(d)前記撮影した画像において1つまたは2つ以上の孔候補を識別し、前記凍結サンプルにおいて、前記孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定するために、前記撮影した画像のコントラストを評価し、前記画像を処理するステップと、
(e)前記カメラが前記第2の容器内の前記凍結サンプルに向けられるように、前記容器のうちの二番目に対して前記カメラを移動するようにロボットシステムを操作するステップと、
(f)前記第2の容器中の前記凍結サンプルに対してステップ(b)−(d)を繰り返すステップと
を備える、方法。
(項目67)
ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目66に記載の方法。
(項目68)
ステップ(b)が、前記凍結サンプルを緑色光で照らすステップを備える、項目66に記載の方法。
(項目69)
ステップ(b)が、前記凍結サンプルの前記色と一致する色を有する光で前記凍結サンプルを照らすステップを備える、項目66に記載の方法。
(項目70)
前記凍結サンプルが、黄色、橙色、および赤色からなる群から選択される色を有し、ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目66に記載の方法。
(項目71)
ステップ(c)が、前記照らされた凍結サンプルのグレースケール画像を撮影するステップを備える、項目66〜70のいずれか1項に記載の方法。
(項目72)
各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器がプラットフォームによって支持される間に、前記容器の単色画像を撮影するために構成されるカメラと、
前記容器が前記プラットフォーム上で支持される間に、前記容器およびその中に収容される前記サンプルを照らすように配置される照明と、
前記カメラが形成した画像を表すグレースケール画像データを前記カメラから受信し、前記画像中のコントラストを評価することによって、前記サンプルから凍結サンプルコアが既に採取された位置を判定するように適合されるプロセッサとを備え、
前記照明が、白色以外の色を有する光を放出する、
マシンビジョンシステム。
(項目73)
前記カメラが、グレースケール画像を撮影するように構成される、項目72に記載のマシンビジョンシステム。
(項目74)
前記照明が、赤色光を放出する、項目72または73に記載のマシンビジョンシステム。
(項目75)
前記照明が、緑色光を放出する、項目72または73に記載のマシンビジョンシステム。
(項目76)
前記照明が、赤色発光素子、青色発光素子、および緑色発光素子を備え、前記赤色、青色、および緑色の発光素子の放つ光の強度が、選択的に調節可能であって、任意の複数の異なる光の色が、前記照明によって放出される光の色として選択できるようにする、項目72または73に記載のマシンビジョンシステム。
(項目77)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)前記容器のうちの最初の1つに対してカメラを移動して、前記カメラが前記第1の容器内の前記凍結サンプルに向けられるようにロボットシステムを操作するステップと、
(b)前記凍結サンプルを着色光で照らすステップと、
(c)前記照らされた凍結サンプルのグレースケール画像を撮影するために前記カメラを用いるステップと、
(d)前記撮影した画像において1つまたは2つ以上の孔候補を識別し、前記凍結サンプルにおいて、前記孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定するために、前記撮影した画像のコントラストを評価し、前記画像を処理するステップと、
(e)前記カメラが前記第2の容器内の前記凍結サンプルに向けられるように、前記容器のうちの二番目に対して前記カメラを移動するように前記ロボットシステムを操作するステップと、
(f)前記第2の容器中の前記凍結サンプルに対してステップ(b)−(d)を繰り返すステップと
を備える、方法。
(項目78)
ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目77に記載の方法。
(項目79)
ステップ(b)が、前記凍結サンプルを緑色光で照らすステップを備える、項目77に記載の方法。
(項目80)
ステップ(b)が、前記凍結サンプルの前記色と一致する色を有する光で前記凍結サンプルを照らすステップを備える、項目77に記載の方法。
(項目81)
前記凍結サンプルが、黄色、橙色、および赤色からなる群から選択される色を有し、ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目77に記載の方法。
(項目82)
各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器がプラットフォームによって支持される間に、前記容器の画像を撮影するためのカメラと、
前記容器が前記プラットフォーム上にある間に、前記容器およびその中に収容される前記サンプルを照らすように配置される照明であって、前記照明が、赤色発光素子、青色発光素子、および緑色発光素子を備え、前記赤色、青色、および緑色の発光素子の放つ光の強度が、選択的に調節可能であって、任意の複数の異なる光の色が、前記照明によって放出される光の色として選択できるようにする、照明と、
前記カメラが形成した画像を表すグレースケール画像データを前記カメラから受信し、前記画像中のコントラストを評価することによって、前記サンプルから凍結サンプルコアが既に採取された位置を判定するように適合されるプロセッサとを備え、
前記プロセッサが、前記容器中の前記サンプルの前記色に関する入力を受け、前記照明の放つ前記光の前記色を調節するように適合されて、前記サンプルの前記色と前記照明の放つ前記光の前記色との間の差を減らす、
マシンビジョンシステム。
(項目83)
前記システムが、前記サンプルの前記色に関する情報をユーザが入力できるように適合されるユーザインターフェースをさらに備える、項目81に記載のマシンビジョンシステム。
(項目84)
前記カメラが、カラーカメラであり、前記プロセッサが、前記カメラから受信した前記画像データの情報を用いて、前記サンプルの前記色を判定し、前記照明の前記色を自動的に調節するように適合する、項目81に記載のマシンビジョンシステム。
(項目85)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)前記容器のうちの最初の1つに対してカメラを移動して、前記カメラが前記第1の容器内の前記凍結サンプルに向けられるようにロボットシステムを操作するステップと、
(b)前記凍結サンプルを着色光で照らすステップであって、前記照明の前記色が、前記凍結サンプルの色と一致するように選択される、照らすステップと、
(c)前記照らされた凍結サンプルの画像を撮影するために前記カメラを用いるステップと、
(d)前記撮影した画像において1つまたは2つ以上の孔候補を識別し、前記凍結サンプルにおいて、前記孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定するために、前記撮影した画像のコントラストを評価し、前記画像を処理するステップと、
(e)前記カメラが前記第2の容器内の前記凍結サンプルに向けられるように、前記容器のうちの二番目に対して前記カメラを移動するようにロボットシステムを操作するステップと、
(f)前記第2の容器中の前記凍結サンプルに対してステップ(b)−(d)を繰り返すステップと
を備える、方法。
(項目86)
ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目85に記載の方法。
(項目87)
ステップ(b)が、前記凍結サンプルを緑色光で照らすステップを備える、項目85に記載の方法。
(項目88)
前記凍結サンプルが、黄色、橙色、および赤色からなる群から選択される色を有し、ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目85に記載の方法。
(項目89)
各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器を支持するためのプラットフォームであって、前記プラットフォームが、凍結サンプルコアが前記容器に収容された凍結サンプルから抜き取られる間に、前記容器のうちの1つを受容するための機構を有する、プラットフォームと、
前記プラットフォーム上において、容器の画像を、それらが前記機構で受容される間に撮影するためのカメラと、
バックライティングおよびサイドライティングのうちの少なくとも1つを提供する位置から前記容器を照らすように配置される照明とを備える、
マシンビジョンシステム。
(項目90)
前記カメラが形成した画像を表す画像データを前記カメラから受信し、前記画像に示される様々な位置で、どのくらいの光が前記容器を通過するかを評価することによって、前記サンプルから凍結サンプルコアが既に採取された位置を判定するように適合されるプロセッサをさらに備える、項目90に記載のマシンビジョンシステム。
(項目91)
前記照明が、バックライティングを提供する位置から前記容器を照らすように配置される、項目89〜90のいずれか1項に記載のマシンビジョンシステム。
(項目92)
前記照明が、サイドライティングを提供する位置から前記容器を照らすように配置される、項目89〜90のいずれか1項に記載のマシンビジョンシステム。
(項目93)
前記照明が、光ファイバーケーブルを備える、項目89〜92のいずれか1項に記載のマシンビジョンシステム。
(項目94)
第2の照明を備え、前記第2の照明が、前記容器への明視野照明を提供するように配置される、項目89〜93のいずれか1項に記載のマシンビジョンシステム。
(項目95)
前記第2の照明は、前記カメラと同軸上にあるリングライトを備える、項目94に記載のマシンビジョンシステム。
(項目96)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)プラットフォーム上における前記容器を受容するための機構に前記容器のうちの1つを配置するために、凍結サンプルコアが前記容器に収容された前記凍結サンプルから抜き取られる間に、ロボットシステムを操作するステップと、
(b)前記容器に対してバックライティングおよびサイドライティングのうちの少なくとも1つを提供するために照明を用いるステップと、
(c)前記照明が照らす間に、前記凍結サンプルの画像を撮影するためにカメラを用いるステップと、
(d)前記撮影した画像において1つまたは2つ以上の孔候補を識別するために、前記撮影した画像のコントラストを評価し、前記画像を処理するステップと
を備える、方法。
(項目97)
各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
容器の画像を、その中に収容された前記凍結サンプルから凍結サンプルコアが抜き取られる間に、前記容器がプラットフォームによって前記容器を受容するための機構において支持される間に撮影するためのカメラと、
前記容器を、それが前記プラットフォーム上における前記機構にある間に、実質的に単色の赤色光で上方から照らすための赤色光と、
前記カメラが撮影した前記画像を表す画像データを前記カメラから受信するように、また前記画像中のコントラストを評価することによって、前記容器に収容された前記サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合されるプロセッサと
を備えるマシンビジョンシステム。
(項目98)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)プラットフォーム上における前記容器を受容するための機構に前記容器のうちの1つを配置するために、凍結サンプルコアが前記容器に収容された前記凍結サンプルから抜き取られる間に、ロボットシステムを操作するステップと、
(b)前記容器を、それが前記プラットフォーム上における前記機構にある間に、実質的に単色の赤色光で上方から照らすステップと、
(c)前記赤色光で照らされる間に、前記凍結サンプルの画像を撮影するためにカメラを用いるステップと、
(d)前記撮影した画像において1つまたは2つ以上の孔候補を識別するために、前記撮影した画像のコントラストを評価し、前記画像を処理するステップと
を備える、方法。
(項目99)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器のうちの1つまたは2つ以上を支持するためのプラットフォームであって、前記プラットフォームが、前記容器のうちの少なくとも1つを受容するための機構を有する、プラットフォームと、
前記容器が前記機構で受容される間に、前記容器の画像を撮影するためのカメラと、
(a)前記画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別し、また前記容器の縁部を識別すること、および(b)前記孔候補に対する前記縁部の前記位置に関する情報を用いて、前記1つまたは2つ以上の候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、前記容器の前記画像を表す画像データを前記カメラから受信するように、また前記容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成されるプロセッサと
を備えるマシンビジョンシステム。
(項目100)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)プラットフォーム上における前記容器を受容するための機構に前記容器のうちの1つを配置するために、凍結サンプルコアが前記容器に収容された前記凍結サンプルから抜き取られる間に、ロボットシステムを操作するステップと、
(b)前記凍結サンプルの画像を撮影するためにカメラを用いるステップと、
(c)1つまたは2つ以上の孔候補を識別し、また前記容器の縁部を識別するために、前記撮影した画像のコントラストを評価するステップと、
(d)前記1つまたは2つ以上の候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するために、前記孔候補に対する前記縁部の前記位置に関する情報を用いるステップと
を備える、方法。
(項目101)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器のうちの1つまたは2つ以上を支持するためのプラットフォームであって、前記プラットフォームが、前記容器のうちの少なくとも1つを受容するための機構を有する、プラットフォームと、
前記容器が前記機構で受容される間に、前記容器の画像を撮影するためのカメラと、
前記凍結サンプルの表面の位置を検出するように適合される充填レベル検出システムと、
前記充填レベル検出システムから信号を受信し、前記凍結サンプルの画像を取得するために前記カメラを位置づける場所を判定するために、前記信号を用いるように構成されるプロセッサと
を備えるマシンビジョンシステム。
(項目102)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
前記容器の底部から離間した前記凍結サンプルの表面の位置を測定するために、充填レベル検出システムを用いるステップと、
カメラが前記サンプルの前記表面に対して既定の位置を有するように前記カメラを位置づける場所を判定するために、前記充填レベル検出システムからの情報を用い、また前記カメラをその位置に移動するステップと、
その位置から前記容器中の前記凍結サンプルの画像を撮影するステップと、
前記サンプル中の1つまたは2つ以上の孔の前記位置を識別するために、前記画像を用いるステップと
を備える、方法。
(項目103)
各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
前記容器のうちの1つまたは2つ以上を支持するためのプラットフォームであって、前記プラットフォームが、前記容器のうちの少なくとも1つを受容するための機構を有する、プラットフォームと、
前記凍結サンプルから凍結サンプルコアを採取するためのコアリングプローブと、
前記容器が前記機構で受容される間に、前記容器の画像を撮影するためのカメラと、
前記容器の前記画像を表す画像データを前記カメラから受信するように、また前記容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成されるプロセッサであって、前記プロセッサが、少なくとも1つの孔の開口端内に前記コアリングプローブを移動して、前記孔の前記開口端から細片を取り除くように構成される、プロセッサと
を備えるマシンビジョンシステム。
(項目104)
容器に収容された凍結サンプルから凍結サンプルコアを採取する方法であって、前記方法が、
プラットフォーム上における容器を受容するための機構に前記容器を配置するステップと、
前記容器が前記機構で受容される間に、前記容器の画像を撮影するステップと、
前記容器に収容された前記凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するステップと、
前記判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置で前記凍結サンプルから前記凍結サンプルコアを採取するステップと、
前記凍結サンプルコアを前記凍結サンプルから採取した後、前記凍結サンプルコアが採取された1つまたは2つ以上の位置から細片を取り除くために、凍結サンプルコアが採取された前記1つまたは2つ以上の位置内にコアリングプローブを挿入するステップと
を備える、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法。
(項目105)
各々が容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
容器の画像を、前記容器がプラットフォームによって支持される間に撮影するためのカメラと、
前記プラットフォーム上の前記容器を照らす照明であって、前記照明によって放出される光のエネルギーの大半が、620nmから750nmまでの範囲の波長の赤色光と、495nmから570nmまでの範囲の波長の緑色光とからなる群から選択される、照明と、
前記カメラが撮影した前記画像を表す画像データを前記カメラから受信するように、また前記画像を評価することによって、前記容器に収容された前記サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合されるプロセッサと
を備えるマシンビジョンシステム。
(項目106)
前記照明が、赤色光を放出する、項目105に記載のマシンビジョンシステム。
(項目107)
前記照明が、緑色光を放出する、項目105に記載のマシンビジョンシステム。
(項目108)
前記照明が、環状パターンで配置される複数の光源を備えるリングライトであり、前記カメラが、前記環状パターンの中心部分を通って延在する光学軸を有する、項目105〜107のいずれか1項に記載のマシンビジョンシステム。
(項目109)
前記画像中のコントラストを評価することによって、前記プロセッサが、前記凍結サンプルから凍結サンプルコアが既に採取された位置を判定するように適合される、項目105〜108のいずれか1項に記載のマシンビジョンシステム。
(項目110)
前記画像に示される様々な位置で、どのくらいの光が前記容器を通過するかを評価することによって、前記プロセッサが、前記凍結サンプルから凍結サンプルコアが既に採取された位置を判定するように適合される、項目105〜109のいずれか1項に記載のマシンビジョンシステム。
(項目111)
前記照明が、直接照明および間接照明のうちの少なくとも1つを提供する位置から前記容器を照らすように配置される、項目105〜110のいずれか1項に記載のマシンビジョンシステム。
(項目112)
前記カメラが、前記容器が前記プラットフォームによって支持される間に、前記容器の単色画像を撮影するために構成され、前記プロセッサが、前記カメラが形成した画像を表すグレースケール画像データを前記カメラから受信し、前記画像中のコントラストを評価することによって、前記サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように適合される、項目105〜111のいずれか1項に記載のマシンビジョンシステム。
(項目113)
前記カメラが、グレースケール画像を撮影するように構成される、項目112に記載のマシンビジョンシステム。
(項目114)
容器および前記容器に収容される凍結サンプルと組み合わせて、前記カメラが、前記凍結サンプルの画像を撮影するように配置され、前記照明が、前記凍結サンプルの色と一致する光を放出するように適合される、項目105〜113のいずれか1項に記載のマシンビジョンシステム。
(項目115)
凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する方法であって、前記凍結サンプルの各々が、それぞれの容器に収容され、前記方法が、
(a)前記容器のうちの最初の1つに対してカメラを移動して、前記カメラが前記第1の容器内の前記凍結サンプルに向けられるようにロボットシステムを操作するステップと、
(b)前記凍結サンプルを照明で照らすステップであって、前記照明によって放出される光のエネルギーの大半が、620nmから750nmまでの範囲の波長の赤色光と、495nmから570nmまでの範囲の波長の緑色光とからなる群から選択される、前記凍結サンプルを照らすステップと、
(c)前記照らされた凍結サンプルの画像を撮影するために前記カメラを用いるステップと、
(d)前記撮影した画像において1つまたは2つ以上の孔候補を識別し、前記凍結サンプルにおいて、前記孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定するために、前記画像を用いるステップと、
(e)前記カメラが前記第2の容器内の前記凍結サンプルに向けられるように、前記容器のうちの二番目に対して前記カメラを移動するようにロボットシステムを操作するステップと、
(f)前記第2の容器中の前記凍結サンプルに対してステップ(b)−(d)を繰り返すステップと
を備える、方法。
(項目116)
ステップ(b)が、前記凍結サンプルを赤色光で照らすステップを備える、項目115に記載の方法。
(項目117)
ステップ(b)が、前記凍結サンプルを緑色光で照らすステップを備える、項目15に記載の方法。
(項目118)
ステップ(b)が、前記凍結サンプルの前記色と一致する色を有する光で前記凍結サンプルを照らすステップを備える、項目115〜117のいずれか1項に記載の方法。
(項目119)
ステップ(c)が、前記照らされた凍結サンプルのグレースケール画像を撮影するステップを備える、項目115〜118のいずれか1項に記載の方法。
(項目120)
紫外線光および赤外線光のうちの少なくとも1つで前記容器を照らすステップをさらに備える、項目115〜119のいずれか1項に記載の方法。
図面全体を通して、対応する参照符号は、対応する部品を示す。
本発明のマシンビジョンシステムの一実施形態を含む凍結アリコータの一例の斜視図である。 凍結アリコータの上面図である。 そのプラットフォームの一実施形態の図を遮らないように部品を取り外した、凍結アリコータの上面図である。 図4の線4−4を含む平面で切断した、プラットフォームの拡大斜視図である。 図2の線5−5を含む平面で切断した断面で示される凍結アリコータの一部の斜視図である。 凍結アリコータと共に用いるロボットエンドエフェクタの一実施形態の斜視図である。 図6のロボットエンドエフェクタの底面図である。 凍結アリコータの一部の構成要素を示す概略図である。 寸法の異なる孔候補を示す概略図である。 それにしたがって凍結サンプルコアが凍結サンプルから抜き取られる幾何パターンの一実施形態を示す概略図である。 容器の中心から異なる距離を開けて配置される孔候補を示す概略図である。 容器の中心から互いに様々な異なる角度で配置される孔候補を示す概略図である。 凍結サンプルからの凍結サンプルコアの抜き取りのために計画された期待される並びにしたがっていない孔候補を示す概略図である。 画像データから容器の縁部の位置を識別するための縁部検出アルゴリズムの使用法を示す容器の写真である。 画像データ中の特徴の位置を識別するために固定キャリブレーションマークを用いるステップの一実施形態を示す概略図である。 容器に対して固定位置にある一組のキャリブレーションマークを示す写真である。 濃度ステップターゲットの一実施形態の写真である。 凍結サンプルの孔の上に配置されたコアリングプローブの概略図である。 孔内に挿入された図18のコアリングプローブの概略図である。
ここで図面、まず特に図1−図3を参照すると、容器に収容された凍結サンプルから凍結サンプルコアを採取するためのロボットシステムの一実施形態は、全体として101で表されている。システム101は、複数の容器105を支持するためのプラットフォーム103と、プロセッサ114(図8)によって制御されるモータ駆動システム113によりプラットフォームに対して移動可能なロボットエンドエフェクタ111とを含む。図示の実施形態では、ロボットシステム101は、直交座標ガントリ型ロボットであるが、これは必須ではなく、本発明の範囲内においてその他のタイプのロボットシステムを用いることもできる。凍結サンプルコアを凍結サンプルから採取するためのロボットシステムに関するさらなる詳細は、米国公開特許公報第20090019877号、2011年11月17日に出願されたPCT国際出願第PCT/US2011/61214号、および2012年1月26日に出願された米国特許出願第13/359,301号に説明されており、参照によりその内容が本明細書に援用される。
図示の実施形態では、プラットフォーム103は、容器105を保持するための1つまたは2つ以上の可動式トレイ117を受容するための寸法および形状になされた陥凹部115を含む。例えば、トレイ117aのうちの1つまたは2つ以上は、好適には、複数の送り元容器105を保持する送り元トレイであり、送り元容器のそれぞれが、採取される凍結サンプルコアを収容し、1つまたは2つ以上のトレイ117bは、好適には、複数の送り先容器を保持する送り先トレイであり、送り先容器のそれぞれが、送り元トレイ上の容器から採取された1つまたは2つ以上の凍結サンプルコアの保持用である。
図3および図4に示されるように、プラットフォーム103はまた、その中に収容される凍結サンプルから凍結サンプルコアが抜き取られる間、送り元容器のうちの1つを受容するように適合される送り元容器機構107と、1つまたは2つ以上の凍結サンプルコアがその内部に置かれる空の容器を受容するように適合される送り先容器機構109とを含む。図4に示されるように、送り元容器機構107は、容器105を受容するためのレセプタクル106と、レセプタクルの頂部の両側の一組の締め付け顎部108、110とを含む。選択的に、容器105を機構107における適所に保持して、凍結サンプルの抜き取りの間、所定の位置に保持したり、また容器を解放して、これが機構から取り出され、その後トレイ117に戻され得るようにしたりするために、顎部のうちの少なくとも1つ108は、空気圧式アクチュエータ(図示せず)などによって、他方の顎部110に対して選択的に接離可能である。所望であれば、サンプルを受容する機構109で容器105を保持するために、同様の顎部が用いられ得る。
図示のシステム101は、個々の容器105に保存される凍結サンプルと共に用いるために適合される。しかしながら、システムは、複数の異なる凍結サンプルが単一の容器に保存されるウェルプレートまたはウェルアレイと共に用いるために適合され得ることが理解される。例えば、個々の容器ではなく、ウェルプレートまたはウェルアレイを移動するために、適切な構成要素が(例えば、エンドエフェクタ上に)提供され得、また、容器を受容するための機構107、109は、本発明の範囲から逸脱することなしに、ウェルプレートまたはウェルアレイを受容するように適合され得る。同様に、クランピングシステムは、本発明の範囲内で、ウェルプレートまたはウェルアレイを保持するように適合され得る。
凍結サンプルコアを凍結サンプルから抜き取るために用いられるサンプルコアリングプローブ121を洗浄するための洗浄機構119もまた、プラットフォーム上にある。好適な洗浄機構の構造および操作に関する詳細は、2011年11月17日に出願されたPCT国際出願第PCT/US2011/61214号に提供されており、本明細書において繰り返される必要はない。
凍結サンプルおよびそこから抜き取られた凍結サンプルコアを凍結状態に保つための冷却システム131は、図示の実施形態において、プラットフォーム103の下方に配置される。しかし、本発明の範囲から逸脱することなしに、冷却システムは他の場所へ配置され得る、または、その他の冷却システムが用いられ得る、あるいはこれらの両方であり得る。図5−図7に示されるように、ロボットシステム101のエンドエフェクタ111は、サンプルコアリングプローブ121と、サンプルコアリングプローブを容器105のうちの1つにおける凍結サンプルのうちの1つの中に移動し、次いで、コアリングプローブを凍結サンプルから引き抜いて、凍結サンプルから凍結サンプルコアを取得するように操作可能な、サンプルコア抜き取りシステム123とを含む。図示の実施形態では、例えば、サンプルコア抜き取りシステム123は、ロボット駆動システム113がサンプルコアリングプローブを容器内に降ろした後、これを容器の外へ引きあげると、サンプルコアリングプローブ123を回転するように適合されるモータ125を含む。凍結サンプルから凍結サンプルコアを抜き出すためのコアリングプローブの操作に関するさらなる詳細は、米国公開特許公報第20090019877号、2011年11月17日に出願されたPCT国際出願第PCT/US2011/61214号、および2012年1月26日に出願された米国特許出願第13/359,301号に説明されており、本明細書において繰り返される必要はない。凍結サンプルコアを凍結サンプルから抜き取るように操作され得る、その上、結果として、凍結サンプルおよびそこから抜き取られた凍結サンプルコアの融解が限られているかまったくない限り、本発明の範囲内において、任意のサンプルコアリングプローブおよびサンプル抜き取りシステムが使用され得ることが理解される。
エンドエフェクタ111はまた、凍結サンプルコアが採取される容器および凍結サンプルコアが内部に置かれる容器のためのプラットフォーム上において、容器をトレイ117と機構107、109との間で往復して動かす場合における、ロボットシステム101による使用のための、容器105を選択的に保持および解放するように操作可能な把持システム127を含む。当業者は、使用され得る様々な市販の把持システムを熟知している。図示の実施形態では、例えば、把持システムは、プロセッサ114の制御下で1つまたは2つ以上の空気圧式アクチュエータ(図示せず)によって動かすことができる複数の可動式の指部129を含む。その他の把持システムが、本発明の範囲内で使用され得ることが理解される。例えば、把持システムは、所望であれば、把持システムの使用を容易にして、複数の凍結サンプルを収容するウェルプレートまたはウェルアレイを移動するように修正され得る。
図8に概略的に示されるように、ロボットシステム101は、(もしあれば)容器105中の凍結サンプルから凍結サンプルコアが既に採取された位置を自動認識するように構成されるマシンビジョンシステム141と連携して、既にコアリングされた凍結サンプルからのさらなる凍結サンプルコアの採取を容易にする。これらの位置では、凍結サンプル中に孔または穴が存在する。一部の場合、孔は空であり得るが、その他の場合、孔は、サンプル上で(例えば、サンプルが冷凍保存場所にある間に)成長した霜の結晶、または細片、またはその他の理由、あるいはこれらの組み合わせを含み得る、またはこれによって遮られ得る。マシンビジョンシステム141はまた、それからいかなる凍結サンプルコアも抜き取られていない凍結サンプル中に、いかなる孔も無いことを認識するように構成される。マシンビジョンシステム141は、アリコートを取得するために先にサンプリングされた後、そのサンプルからのさらなる凍結サンプルコアが要求されて、後の試験にさらなるアリコートが提供される前のある期間の間、冷凍保存場所に戻された凍結サンプルから凍結サンプルコアを採取するロボットシステム101の使用を容易にする。
マシンビジョンシステム141は、容器がプラットフォーム103によって支持される間に、容器105およびその中に収容された凍結サンプルの画像を撮影するために取り付けられたカメラ143を含む。図示の実施形態では、マシンビジョンシステム141は、捕捉された、または処理された、あるいはこれら両方が行われた画像データを表示するために、プロセッサ114に連結されるディスプレイ146を含む。カメラ143は、好適には、ロボットシステムによる、容器105に対する移動のために、ロボットシステム101上に搭載される。例えば、図示の実施形態では、カメラ143は、エンドエフェクタと共に移動するために、エンドエフェクタ111上に搭載される。カメラが、本発明の範囲内で、プラットフォームに対して固定位置に搭載され得ることが認識される。
カメラ143およびプロセッサ114は、互いに通信するように構成されて、プロセッサが、適切な時間に画像を撮影するようにカメラに命令し、またカメラが撮影した画像を表す画像データをカメラから受信する。ビジョンシステム141用のプロセッサ114は、好適には、ロボットシステム101の操作を制御するプロセッサと同じプロセッサであり得るが、本発明の範囲内で、別個のプロセッサが用いられ得る。種々のカメラを、広範な本発明の範囲内で使用することができる。例えば、カメラ143は、撮影した画像を電気信号に変換する、CCDアレイ(図示せず)を含むデジタルカメラであり得る。図示の実施形態におけるカメラ143は、以下に詳述する理由により、カラー画像ではなく、単色(例えば、グレースケール)画像を撮影するように構成されるが、カメラは、広範な本発明の範囲内で、カラー画像を撮影するように構成され得る。
マシンビジョンシステム141はまた、カメラ143によって撮像される容器105を照らすための照明145を含む。様々な異なる構成、配置、および色を有する1つまたは2つ以上の照明を、本発明の範囲内で使用することができる。照明は、本発明の範囲内で、可動式(例えば、エンドエフェクタ111に搭載される)であっても、あるいは固定(例えば、プラットフォーム103に固定、または内蔵)であってもよい。1つまたは2つ以上の照明は、明視野照明、暗視野照明、間接照明(例えば、サイドライティング)、バックライティング、直接照明(すなわち、照らされる表面に対して垂直に向けられる照明)、およびこれらの組み合わせを提供するように配置され得る。図4は、凍結サンプルを保持する容器105を受容するための機構に対して固定位置に配置され得る3つのオプションの照明181、183、185を示す。例えば、光ファイバーケーブルは、プラットフォームを通って敷設、またはプラットフォーム上に提供されて、181、または183、または185、あるいはこれらの組み合わせで示される位置に照明を提供し得る。その他のタイプの照明もまた、プラットフォーム上または内のこれらの位置に固定され得る。
容器105は、一般に透明、または少なくとも半透明であって、光が容器の側面または底部を通過し、内部の凍結サンプルと相互作用できるようにする。容器105を受容するためのレセプタクル106の底部にある照明181は、バックライティングのオプションを提供する。容器の頂部にある照明183は、好適には、顎部108、110のうちの1つの中に固定されて、サンプルの表面に対して、サイドライティング、または暗視野照明、あるいはこれらの両方のオプションを提供する。レセプタクル106の側面にある照明185は、好適には、凍結サンプルの表面の下方または表面上でサイドライティングのオプションを提供する。サイドライティング、またはバックライティング、あるいはこれらの両方のオプションが使用される場合、凍結サンプル中の孔は、一般に、対応する画像の凍結サンプルよりも明るい外観を有する。サイドライティング、またはバックライティング、あるいはこれらの両方は、霜またはその他の細片によって満たされた、あるいは完全に遮られた、本当の孔の検出において有用であり得る。マシンビジョンシステム141は、複数の異なる照明を含み得、また、プロセッサ114は、所望であれば、順番に照明を操作して、異なる照明条件下で凍結サンプルの画像データを利用するように構成され得る。
図6および図7に示されるように、図示の実施形態における照明145は、リングライトである。リングライト145は、環状(例えば、円形)パターンに配列された複数の光源147(例えば、LED)を有する。例えば、リングライト145は、好適には、一方の端部に溝153を有する中空の円筒形のハウジング151を有し得る。光源147は、溝153内の奥まった位置に配置されて、ハウジングが、広角の光源からの光の直接の経路を遮るようにする。透明な窓、透明もしくは半透明の拡散板、またはレンズなどのカバー149は、所望であれば、溝に取り付けられて、光源147を囲繞し得る。
図6−図7に示される実施形態では、カメラ143は、カメラ143の光学軸155が、リングライト151の環状パターンの中心部分を通って延在するように配置される。例えば、環状リングライト145は、好適には、カメラの光学軸155と同一直線上にある中心軸を有する。リングライト145およびカメラ143は、好適には、リングライトにおける光源147からカメラに直接の経路がないように配置される。図5では、例えば、カメラ143は、撮像される対象からの光を受容するための前端157を有し、リングライト145は、好適には、カメラよりもさらに前方に延在するように配置されて、リングライトの放出する光が、カメラの前方の位置から放出されるようにする。さらに図5に示されるように、リングライト145のハウジング151の縁部は、好適には、光源147とカメラ143との間に延在して、光源から直接カメラ内に入る光の経路を遮るようにする。
プロセッサ114は、容器105およびその中の凍結サンプルの画像を表す画像データをカメラ143から受信するように、またカメラからの画像データを用いて、容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成される。プロセッサ114は、様々な方法を用いて、この判定をなすように構成され得る。例えば、プロセッサ114は、好適には、画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別し、次いで、画像からの情報を用いて、1つまたは2つ以上の孔候補が、サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成され得る。
プロセッサ114は、好適には、容器105が照明145により様々な方法で照らされる間に撮影した画像を処理して、この判定を容易にする。例えば、一実施形態では、プロセッサ114は、生の画像データに閾値処理フィルタをかけ、閾値処理画像に1つまたは2つ以上のモルフォロジカルフィルタ(例えば、収縮、または膨張、またはオープニング、またはクロージング、あるいはこれらの組み合わせ)を適用し、次いで、粒子分析を適用して、1つまたは2つ以上の孔候補を識別するように構成される。
プロセッサにより識別された孔候補は、本当の孔ではなく、アーティファクトである特徴も含み得ることが理解される。例えば、サンプル表面は、まだらであり得る、または時間を経てまだらになり得る(例えば、凍結サンプル上への霜の結晶の望ましくない形成、サンプルが凍結された速さに起因する凍結サンプルの表面輪郭の凹凸、容器の蓋または側面から落下するなどによる、凍結サンプルの上面に蓄積し得る氷のかけらおよびその他の細片などに起因する)。さらに、凍結サンプルコアの抜き取りに由来する本当の孔は、一般に、当初、非常に均一な(例えば、円形の)外観であるが、凍結サンプルが冷凍保存場所に戻された後に凍結サンプル上で成長し得る霜の結晶は、孔の中、または孔の頂部にある開口部の上に伸展して、孔の外観を変え得る。このように、美しく完璧に形成された孔を探して、それ以外のすべてを孔候補のリストから排除するマシンビジョンシステムは、特に、凍結サンプルが、その凍結サンプルからのさらなる凍結サンプルコアが必要とされるまで長期間にわたって、冷凍保存場所に戻される場合に、サンプルに存在する実際の孔の認識失敗の重大な危険性をもたらすことが分かっている。
したがって、プロセッサ114は、好適には、複数の種類の情報を用いて、孔候補が本当の孔候補もしくはアーティファクトである可能性が高いかどうか判定するように構成される。たとえば、プロセッサ114は、好適には、
孔候補の寸法、
孔候補と容器の重心軸との間の距離、
第1の線と第2の線との間に形成される角度であって、第1の線が、孔と容器の重心軸との間に延在し、第2の線が、容器の重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、
1つまたは2つ以上の孔候補の位置と、予想されるサンプル中の孔のパターンとの間の関係、
容器の周縁部に対する1つまたは2つ以上の孔候補の位置、
特定の容器に関連する孔候補の総数、
孔候補と孔候補の周囲の領域との間のコントラストの量、および
これらの組み合わせ
からなる群から選択される情報を用いるように構成されて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうか判定するのを助ける。
多くの場合、凍結サンプルコアを凍結サンプルから抜き取ることによって形成された孔に対して、予想される寸法(例えば、直径)の範囲がある。しかしながら、一部の孔候補は、図9に示されるように、予想されるものよりも実質的に大きい、または実質的に小さい。このように、寸法が大きすぎる(例えば、図9のD1)、または小さすぎる(例えば、図9のD2)ということに基づいて、特定の孔候補がアーティファクトである可能性が高いとプロセッサ114が判定し得ることも有り得る。
多くの場合、凍結サンプルコアは、既定の幾何パターンまたは撮影した画像データからプロセッサ114によって認識され得る幾何パターンにしたがって凍結サンプルから抜き取られる。幾何パターンは、凍結サンプルから抜き取られ得る凍結サンプルコアの数を最大化する、または中心から特定の半径方向の位置においてできるだけ多くの凍結サンプルコアを採取するなどの達成されるべき目的に応じて変わり得る。図10は、5つのサンプルコアが凍結サンプルから抜き取られる1つの幾何パターンの例を示している。このパターンから得られる孔はすべて、容器の中心からほぼ同じ距離D3だけ離間し、隣接する孔における対応する点の(例えば、中心)間に延在する線の間の角度θはすべて、ほぼ等しい。幾何パターンにおける孔の数は、本発明の範囲内で変わり得る。図10のパターンは、規則的なパターンである、つまり、孔は、すべて同じ寸法であり、すべて同じ距離だけ中心から離間し、すべて等しい角度で離間しているが、パターンは、本発明の範囲内で不規則であり得ることが理解される。
図11に示されるように、一部の孔候補は、中心に非常に密接して(例えば、図11の距離D4を参照)、または容器の中心から非常に遠くに(例えば、図11の距離D5を参照)配置され、あるいは反対に、容器の縁部が検出され得る場合、容器の縁部に対して非常に密接して、または遠くに配置されて、幾何パターン内に入るようし得る。同様に、図12に示されるように、孔候補のうちの1つまたは2つ以上の間の角度の間隔は、予想される角度の間隔とは異なり得る(非常に大きいθか、非常に小さいθ)。このように、プロセッサ114は、孔候補と容器の重心軸との間(または容器の縁部から)の距離が予測される範囲内にないこと、または、2つの孔候補における対応する点(例えば、図示のように中心、または縁部)と容器の重心軸との間に延在する線の間に形成される角度が予測される範囲内にないこと、あるいはこれらの両方に基づいて、特定の孔候補がアーティファクトである可能性が高いと判定し得る。
多くの場合、凍結サンプルコアは、特定の規則的な順番にしたがって、凍結サンプルから抜き取られる。図10に示されるように、例えば、凍結サンプルコアは、一番上の位置から開始し、次いで、最後のサンプルコアが採取されるまで、幾何パターンの周りを時計回りに移動して、抜き取られる。図13に示されるように、一部の場合、孔候補のうちの1つまたは2つ以上は、幾何パターン内の正確な位置に配置され得るにもかかわらず、適切でないこともある。例えば、孔候補のうちの1つ305と、その他の孔候補301、303との間のパターン内に何もない隔たり307が存在し得、すべての孔候補が本当の孔の場合、結果は、予想される順番通りになされなかったということを示している。この場合、プロセッサ114は、これにしたがって凍結サンプルから凍結サンプルコアが抜き取られると期待される順番に関して適切でないことに基づいて、特に、複数の孔候補301、303が期待される順番にしたがっており、唯一1つの孔候補305だけが順番から外れている場合、孔候補がアーティファクトであると判定し得る。
一部の場合では、孔候補の数は、予想よりも多いこともある。プロセッサ114は、好適には、これを、孔候補のうちの1つまたは2つ以上がアーティファクトである可能性が高いことの指標として、認識するように構成される。プロセッサ114は、より厳密な基準を適用して、孔候補の数が多すぎる場合に、アーティファクトの可能性が高いものの排除を助け得る。
孔候補とその周囲の領域との間のコントラストの量が、本当の孔とアーティファクトとの区別を助け得ることもある。例えば、大きいコントラストは、本当の孔の優れた候補であることを示し得るが、他方、小さいコントラストは、その他の理由(例えば、孔候補が多すぎる、2つの孔候補しかなく、これらが予想される幾何パターンにしたがっていないなど)で疑問の余地が残る一式の孔候補のうちの1つが、その他のものよりも、アーティファクトである可能性が高いことを示し得る。
プロセッサが、凍結サンプルを保持する容器105の重心軸の位置を参照して、あるいは、容器の周縁部に対して孔候補の位置を評価し得る1つの方法がある。プロセッサ114は、本発明の範囲内で、様々な方法で、容器105の縁部および中心の両方、またはいずれか一方を識別するように構成され得る。例えば、選択肢の1つは、縁部検出アルゴリズムを用いて、容器105の内側または外側の周縁部を識別し、次いで、その縁部の幾何学的な中心を計算して、容器の中心を識別することである。例えば、図14は、容器105の画像を、一組の同心円163、165と、円の間に延在する複数の放射状に延在する走査線167とを含むオーバーレイと共に示している。円163、165は、容器105の縁部を識別するための試行において、走査される領域を画定している。プロセッサ114は、好適には、画像データを評価して、各線に沿って、明確なコントラストがある点169を判定するように構成される。各点169は、容器105の縁部と、それぞれの走査線167との間の交点を潜在的に表している。容器の縁部を識別する試行がうまくいった場合、かなりの数の点169が同じ円(または、容器が円形でない場合、その他の形状)上に並び、この場合、プロセッサ114は、その上にある点169が容器105の縁部を既定していると結論付ける。本明細書で用いられるように、縁部検出技術ならびに容器の縁部に関する情報を使用して、孔候補を識別する、または評価する、あるいはこれらの両方を行うという文脈において、容器の縁部は、ウェルもしくはウェルプレート上に1つの凍結サンプルが保存されるその他の分離領域、または複数の異なるサンプルを保持するために適合されるその他の容器の縁部を指し得ることが理解される。
縁部検出技術は、特定の状況において非常に良く機能し得るが、容器の縁部と背景との間のコントラストが低い場合、縁部検出は正常に機能しないこともある。凍結アリコータのためのマシンビジョンシステムの文脈において、縁部検出だけに頼る場合、このことは問題を呈し得る。それは、最も一般的な容器の色のうちの1つが白色または半透明であり、白色の霜が容器に隣接する表面に形成し得て、画像において、容器の縁部と周囲との間のコントラストが低くなり得るという潜在的な問題につながるためである。紫外線または赤外線照明は、画像において、容器の縁部と周囲との間のコントラストを強調するのを助け得る。この強調されたコントラストにより、容器の縁部の検出および識別を改善される。一実施形態では、別個のUVまたはIR光源が配置されて、容器を照らし得る。UVまたはIRの光源は、本発明の範囲内で、可動式(例えば、エンドエフェクタ111に搭載される)であっても、あるいは固定(例えば、プラットフォーム103に固定、または内蔵)であってもよい。一実施形態では、別個のUVまたはIR光源は、プラットフォームに配置されて、間接照明(例えば、バックライティングまたはサイドライティング)を容器に提供して、縁部検出を助け得る。別の実施形態では、照明145、181、183、185のうちの任意の1つまたはこれらの組み合わせは、UVまたはIR光源を含み得る。
図15および図16に示されるように、一組のキャリブレーションマーク161は、好適には、プラットフォーム103上の送り元容器機構107に対して固定された位置に提供される。キャリブレーションマーク161は、背景に対して十分なコントラストを有する任意の構造またはマーキングであって、プロセッサ114によって画像データからキャリブレーションマークが確実に識別されるのを可能にし得る。例えば、キャリブレーションマーク161は、好適には、暗い開口部、暗色のマーキング(例えば、ドット)、またはその他の構造であり得る。キャリブレーションマーク161は、好適には、ヒーター(例えば、小型の低電力抵抗ヒーター)であって、またはヒーターを含んで、キャリブレーションマークを遮ることもある霜がキャリブレーションマーク上へ蓄積するのを抑制する。
プロセッサ114は、好適には、キャリブレーションマーク161を用いて(例えば、縁部検出との組み合わせで、または縁部検出なしで)、1つまたは2つ以上の孔候補が、凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される。キャリブレーションマーク161は、霜が形成されていたとしても、または画像データにおいて、容器105の縁部と、その周囲との間のコントラストを最小化するその他の条件であったとしても、画像において、キャリブレーションマークと周囲の物体との間に、確実に強い色のコントラストが存在するように設計される。キャリブレーションマーク161が送り元容器105を受容する機構107に対して固定位置に存在することから、プロセッサ114は、孔候補の位置をキャリブレーションマークの位置と比較することによって、それらの位置を判定し得る。
例えば、キャリブレーションマーク161は、好適には、容器の中心と共に三角形を形成するように配置される。キャリブレーションマークどうしを結ぶ線と、キャリブレーションマークから中心に引いたそれぞれの線との間に形成される角度αおよびβは、ビジョンシステム141が凍結サンプルを検査する前に把握され得る。したがって、プロセッサ114は、中心をキャリブレーションマークから三角測量することによって、容器の重心軸を識別するように構成され得る。キャリブレーションマーク161を用いて容器の中心を識別するように構成されるプロセッサ114を含むマシンビジョンシステム141は、カメラの回転における誤差またはカメラの移動における誤差に反応しない。容器の中心を判定するのに縁部検出を用いることが実際的でない場合(例えば、低コントラストのために)、プロセッサ114は、容器の縁部を検出することなしに、キャリブレーションマークの位置に応じて、容器105の縁部および容器の重心軸の両方、またはいずれか一方を識別するように構成され得る。あるいは、プロセッサ114は、キャリブレーションマークと周縁部検出との両方を用いて、容器の中心を識別するように構成され得る。プロセッサ114は、孔候補の位置を、直接、キャリブレーションマーク161の位置と比較して、孔候補と、容器の中心もしくは容器の縁部との間の相対的な距離を計算することなしに、または、容器の中心を計算することなしに、または、容器の縁部を計算することなしに、あるいは、これらの組み合わせで、どの孔候補がアーティファクトの可能性が高いかを判定するように構成され得る。
プロセッサが画像データから、特定の凍結サンプルに孔があるかどうかと、またそのような孔の位置とを判定したならば、プロセッサ114は、ロボットシステム101がさらなる凍結サンプルコアを採取し得る、凍結サンプルにおける好ましい位置を自動的に選択するように構成される(または、凍結サンプルコアがまだ採取されていない凍結サンプルの場合、最初の凍結サンプルコアが抜き取られる位置を自動的に選択するように構成される)。このことは、サンプルから抜き取られたかもしれない先行する凍結サンプルコアの数、または、そのようなサンプルコアが採取された凍結サンプル内の位置に関する情報をプロセッサ114が入手できることを要求せずに、先行する凍結サンプルコアの抜き取りが既になされたかもしれないサンプルから凍結サンプルコアを採取するのを容易にする。このことは、容器105を特定の方法で並べるために人手を介する必要性を排除し、またサンプルアリコートに関する注文を満たすため凍結サンプルコアを凍結サンプルから抜き取る際に、サンプルをうまく管理および処理するために追跡されるべきサンプルに関するデータの量を大幅に削減する。これはまた、これまでサンプルコアの抜き取りに1つまたは2つ以上の異なる手法(例えば、取得され得るサンプルの数を最大化するサンプルコアの幾何パターンを用いるものに対して、これが抜き取られ得るサンプルコアの最大数を減らすことになったとしても、中心から特定の半径方向距離にある凍結サンプルの部分から一部またはすべてのサンプルが採取されるサンプルコアの幾何パターンを用いるもの)を用いてきたバイオバンクに、ロボットシステム101を据え付ける機能を助ける。このように、バイオバンクが既に、凍結サンプルコアを抜き取るための1つの戦略または特定の一式の運用手順を採用している場合、先に抜き取られた凍結サンプルコアが、過去に用いられていたいかなるそれ以外の手続きでもなく、システム101の手続きにしたがって抜き取られている場合、孔が予想される場所になかったとしても、システム101は、依然として、凍結サンプルにおける孔を認識し得る。
例えば、プロセッサ114が凍結サンプルにおいて1つまたは2つ以上の既に存在する孔を検出した場合、プロセッサは、既に開始された幾何パターンを続ける、次の凍結サンプルコアのための位置を選択するように構成され得る。次のサンプルコアが凍結サンプルにおける特定の半径方向の位置から採取されることが望まれる場合、別の選択肢は、プロセッサ114が、容器の中心からの所望の半径方向距離にあり、かつ凍結サンプルにおける既存の孔から十分に離間される位置を選択するように構成され得ることである。プロセッサ114は、任意の特定の容器または容器一式のためにこれらの選択肢のうちのどちらを用いるか、ユーザが選択し得るように構成され得る。
プロセッサ114はまた、プロセッサが凍結サンプルに既存の孔は存在しないと判定する場合、複数の凍結サンプルコアが抜き取られる位置のための適切な初期の幾何パターンを選択するように構成される。プロセッサ114は、凍結サンプルから採取され得る凍結サンプルコアの数を最大化する幾何パターンを選択するように構成され得る、または、プロセッサ114は、1つまたは2つ以上の凍結サンプルコア(例えば、すべての凍結サンプルコア)が容器の中心からの特別に所望の半径方向の距離から採取されるように幾何パターンを選択するように構成され得る、あるいはこれらの両方であり得る。プロセッサ114は、異なる容器または容器一式において凍結サンプルコアが抜き取られる位置の幾何パターンの計画に関して、いくつかの異なる戦略のどれを用いるかをユーザが選択できるように構成され得る。所望の場合、プロセッサ114は、プロセッサにより選択された幾何パターンおよびプロセッサにより選択された位置(複数可)の両方、またはいずれか一方を、凍結サンプルの抜き取りのための部位(複数可)として表示して、人間のオペレータによる確認および介入の両方、またはいずれか一方を容易にするように構成される。
照明145により放出される照明の色は、重要であることが判明している。一般に、凍結サンプルを照らすのに使用される照明が凍結サンプルの色と一致する場合に、より良い結果が得られる。例えば、凍結サンプルを照らすのに用いられる照明の色は、好適には、サンプルの色と同じである、あるいは、次の順番、すなわち、赤、黄、緑、青緑、青、マゼンタになり赤に戻るように配置され、環の周りに延在する6色を有するRGB色相環における2つの隣接する色のうちの1つと比べて、サンプルの色とほぼ同じである。例えば、赤色光は、赤色のサンプル、橙色のサンプル、および黄色のサンプルに適している。研究用に凍結されている血液(赤色)および尿(黄色または橙色)のサンプルが大量にあるため、照明145は、赤色光を放出して凍結サンプルを照らすことが望ましいと考えられる。一部の場合には、照明が緑色光または青色光を放出することが望ましいことも考えられる。しかしながら、照明は、広範な本発明の範囲内で、任意の色を放出できる。
一実施形態では、照明145は、赤色発光素子、青色発光素子、および緑色発光素子を含み、赤色、青色、および緑色の発光素子の放つ光の強度は、選択的に調節可能であって、任意の複数の異なる光の色が、サンプルを照らすのに用いられる光の色として選択され得るようにする。一実施形態では、照明145は、約620nmから約750nmまで(約400THzから約484THzまで)の範囲の波長の赤色光を放出する赤色発光素子を含む。例えば、照明によって放出される光のエネルギーの大半(例えば、実質的に光のエネルギーのすべて)は、好適には、約620nmから約750nmまでの範囲内である。光源は、約620nmから約750nmまでの波長範囲に集中させた光を放出するLEDを含み得る。別の実施形態では、照明145は、約495nmから約570nmまで(約526THzから約606THzまで)の範囲の波長の緑色光を放出する緑色発光素子を含む。例えば、照明によって放出される光のエネルギーの大半(例えば、実質的に光のエネルギーのすべて)は、好適には、約495nmから約570nmまでの範囲内である。光源は、約495nmから約570nmまでの波長範囲に集中させた光を放出するLEDを含み得る。光源147は、赤色光のみを放出するいくつかの光源と、緑色光のみを放出するその他の光源と、青色光のみを放出するその他の光源とを含み得る。別の選択肢は、それぞれが赤色、緑色、青色、およびこれらの組み合わせを放出するように操作可能な多色LEDを、光源が含むことである。
照明の色が調節可能である場合、プロセッサ114は、好適には、容器中のサンプルの色に関する入力を受け、照明の放つ光の色を調節するように適合されて、サンプルの色と照明の放つ光の色との間の差を減らす。例えば、ビジョンシステム141は、サンプルの色に関する情報をユーザが入力できるように構成されるユーザインターフェースを含み、プロセッサ114は、ユーザによる色入力と一致するように、照明の色を調節するように構成され得る。別の選択肢は、カメラ143が、サンプル(またはサンプルのグループの代表サンプル)のカラー画像を撮影するように適用され得、プロセッサ114が、撮影されたカラー画像におけるサンプルの色と一致するように、照明の色を調節するように構成され得ることである。プロセッサは、好適には、サンプルの色を判定して、正確な色判定を容易にするのに用いられる画像を撮影する際に、サンプルを照らすのに用いられる照明の色を白色に調整し、次いで、照明の色をサンプルの色と一致するように調節する。一部の場合、サンプル一式全体は色が似ていることが知られることもあり、この場合、プロセッサは、サンプルのうちの1つのカラー画像を撮影して、その一式におけるすべてのサンプルの色を評価し、その一式におけるすべてのサンプルの色と一致するように、一度だけ色を調節するように構成される。
ビジョンシステムは、本発明の範囲内で、カメラが、凍結サンプルのカラー画像を撮影し、プロセッサが、カラー画像からの情報を用いて、凍結サンプルコアが既に採取された場所を識別するように構成され得るが、ビジョンシステムは、カメラが、凍結サンプルの単色(例えば、グレースケール)画像を撮影し(サンプルを照らす照明が、例えば、サンプルの色に一致するように選択されて、白色以外であっても)、プロセッサが、グレースケール画像を用いて、凍結サンプルから凍結サンプルコアが既に採取されたかどうか判定し、採取されていれば、凍結サンプルコアが既に採取された位置を識別するように構成される場合に、驚くほど良好な結果が得られる。グレースケール画像とカラー画像との両方を撮影し得るデジタルカメラが利用できるため、カメラは、1つまたは2つ以上のカラー画像を撮影し(例えば、サンプルの色を識別して、サンプルを照らすために用いられる照明をサンプルの色と一致するように調節し得るように)、さらに、凍結サンプル内において孔が存在する位置を識別するためのプロセッサ用のグレースケール画像を撮影することが可能である。
マシンビジョンシステム141は、好適には、ロボットシステム101をキャリブレーションするように構成されるキャリブレーションシステムの構成要素である。図1−図3に示されるように、プラットフォーム103は、その上に1つまたは2つ以上の固定ターゲット171を配置される。カメラ143は、ロボットシステム101上に搭載されて、これが、固定ターゲット171のそれぞれの画像を撮影するために移動できるようにする。プロセッサは、好適には、カメラが形成したターゲット(複数可)の画像を表す画像データをカメラから受信するように構成され、プラットフォーム103上にある1つまたは2つ以上の固定ターゲット171の画像を用いて、ロボットシステム101をキャリブレーションするように構成される。図1に示されるように、ターゲット173のうちの少なくとも1つは、xおよびy方向のキャリブレーションのための点または線の交点を有する画像(例えば、クロスヘア)と、z方向のキャリブレーションのための既知の寸法を有する形状(例えば、円)とを有する。キャリブレーションシステムは、好適には、ユーザがカメラを、ターゲットのうちの1つと位置合わせされていない(例えば、このため、撮影した画像に重なるレチクルがクロスヘアに位置合わせされていない)位置から、前記ターゲットと位置合わせされている(例えば、このため、レチクルがクロスヘアと一致している)位置に向けて案内できるように構成されるユーザインターフェース(図示せず)を有する。
また、図1−図3に示されるように、ターゲット171のうちの1つ(例えば、クロスヘアと円とを有するターゲット173)は、トレイを受容するための陥凹部115の外側の作業デッキの上面に固定される。さらに、ターゲット175のうちの1つは、好適には、容器105を受容するための陥凹部の底部に固定される(例えば、図3に示されるように、トレイ117間、かつ機構107、109に隣接して)。図示の実施形態では、陥凹部115におけるターゲット175もまた、クロスヘアを含む。
図示の実施形態における別のターゲットは、好適には、カメラ143の明暗設定のキャリブレーション用に、薄い色から濃い色へと配置された1つまたは2つ以上の一連のブロックを含む画像を有する濃度ステップターゲット177(図17参照)である。
プロセッサ114は、好適には、プラットフォーム103上の複数のさらなる特徴をターゲットとして用いて、ロボットシステム101をキャリブレーションするのを助けるように構成される。例えば、プロセッサ114は、好適には、
凍結サンプルコアが採取される容器105を受容するための機構107、
凍結サンプルコアが置かれる容器105を受容するための機構109、
ロボットシステム101のコアリングプローブ121を洗浄するための機構119、
容器105を保持するためのプラットフォーム103上の1つまたは2つ以上のサンプルトレイ117、および
これらの組み合わせ
からなる群から選択されたプラットフォーム103上の複数の特徴の画像を用いてロボットシステム101をキャリブレーションするように構成される。
例えば、図3は、キャリブレーションシステムの1つの特定の実施形態にしたがって用いられ得る13のキャリブレーションポイントを示し、キャリブレーションポイントのそれぞれが、201から213へ連続的に符号を付与されている。点201は、陥凹部115において、プラットフォーム103上のターゲット175に対応している。点201、202、および203は、それぞれ、容器105を受容するための機構107、109、およびコアリングプローブ121を洗浄するための機構119に対応している。点204−208は、トレイの一方117aの様々な点(例えば、角部の点)に対応し、点209−212は、トレイの他方117bの様々な点(例えば、角部の点)に対応している。点213は、プラットフォーム103のデッキ上のターゲット173に対応している。キャリブレーションに含まれる点は、好適には、少なくとも実質的な操作領域の一部分にわたって、集団で延在するように選択されるが、キャリブレーションプロセスで用いられる特定の点は、本発明の範囲内で変わり得る。
キャリブレーションシステムは、好適には、(i)エンドエフェクタ111またはエンドエフェクタと共に移動可能なあらゆる構成要素と、(ii)プラットフォーム103またはプラットフォーム上の構成要素との間でいかなる物理的接触もなく、ロボットシステム101のキャリブレーションを完了するように構成される。
キャリブレーションシステムはまた、好適には、カメラ143、コアリングプローブ143、および把持部127の互いに対する位置を判定して、カメラ、プローブ、および把持部に関連する位置のオフセットに関する変動を補償するように構成される。例えば、キャリブレーションシステムは、好適には、ユーザがエンドエフェクタ111の動きを誘導して、カメラ143、コアリングプローブ121、および把持システム127のそれぞれをターゲット171またはその他の基準点に位置合わせし、これらのうちの1つがそこに位置合わせされるたびに、プロセッサ114に指示を提供することができるように構成される。このことにより、プロセッサ114は、これらの構成要素間のオフセットを計算できるようになり、これにより、ロボットシステム101の組み立ての間、またはその他のなんらかの理由で生じ得る位置の変動を相殺される。このことは、より正確なロボットシステム101の構成要素の位置を容易にする。
ロボットシステム101の最初の設置の間、またその後必要に応じて時々、マシンビジョンシステム141は、好適には、ロボットシステムをキャリブレーションするのに用いられる。ロボット駆動システム113は、ターゲット171のうちの1つと位置合わせされるようにプロセッサにより推測される位置にカメラ143を移動する。次いで、カメラ143からの画像データが(プロセッサまたはユーザのどちらかによって)用いられて、ターゲットと位置合わせされるまでカメラの位置を調節するように、ロボット駆動システム113に命令する。ターゲット171が、z方向のキャリブレーションのための既知の寸法を有する円またはその他の形状を含む場合、カメラ143からの画像データが(プロセッサまたはユーザのどちらかによって)用いられて、カメラがターゲットから適切なz方向の距離にあることをカメラによって撮影した画像中の形状の寸法が示すまで、カメラを昇降するように、ロボット駆動システム113に命令する。z方向のキャリブレーションは、その代わりに、既知の焦点距離を有するカメラ143のレンズ設定を用い、次いで、画像の焦点が合うまでカメラの高さを調節して達成され得る。カメラ143がターゲット171と位置合わせされ、ターゲットから正しい距離にある場合、プロセッサは、ロボットシステム101(例えば、ロボットシステムの様々な構成要素の位置に関する位置関連フィードバックを提供するエンコーダまたはその他の装置からのデータ)からの位置情報を記録し、それぞれのターゲットに対応するセットポイントに対応するものとして、その情報を指定する。プロセスは、ターゲット171のそれぞれに対して繰り返される。例えば、図3に示される実施形態では、プロセスは、キャリブレーションポイント201−213のそれぞれに対して繰り返される。
ターゲット171およびキャリブレーションポイントの両方、またはいずれか一方は、プラットフォーム103上の様々な場所に配置され得るが、図示の実施形態では、ターゲットは、好適には、あるターゲット173をプラットフォームのデッキの上面に、また別のターゲット175をプラットフォームの陥凹部にを含む。ターゲット171およびキャリブレーションポイントの両方、またはいずれか一方は、好適には、
凍結サンプルコアが採取される容器105を受容するための機構107、
凍結サンプルコアが置かれる容器105を受容するための機構109、
コアリングプローブ121を洗浄するための機構119、
容器105を保持するためのプラットフォーム103上の1つまたは2つ以上のトレイ117a、117b、および
これらの組み合わせ
のうちの少なくとも1つを含む複数のターゲットを含む。
例えば、一実施形態では、キャリブレーションターゲット171およびキャリブレーションポイントは、図3の点201−213のそれぞれを含む。
濃度ステップターゲット177もまた、キャリブレーションプロセスの間に用いられて、カメラ設定および光の強度を調節して、標準的な画像撮影条件を提供する。照明145が点灯され、カメラが濃度ステップターゲット177の画像を撮影する間、濃度ステップターゲットカメラ143上の特定の濃さのブロックが、カメラ143によって、特定のグレーレベルとして読み取られるまで、カメラ143の絞りおよび照明に供給される電流の強さの両方、またはいずれか一方が調節される。例えば、標準濃度ステップターゲットの明るい方から3番目のカラーブロックが、カメラによって、200グレーレベルとして読み取られるように照明145およびカメラ143が調節される場合、良好な結果が得られている。
ロボットシステム101はまた、カメラ143、コアリングプローブ121、および把持システム127の位置の間におけるオフセットにおいて、あらゆる変動を調節するようにキャリブレーションされる。例えば、カメラ143は、まず、ターゲット171のうちの1つ、またはプラットフォーム103上のその他の基準点と位置合わせされて配置され、その点において、ユーザは、プロセッサ114にカメラがそこで位置合わせされていることを指示する。次いで、ユーザは、コアリングプローブ121がターゲット171または基準点と位置合わせされるまでエンドエフェクタ111の位置を調節し、コアリングプローブがそこで位置合わせされていることをプロセッサ114に指示する。最後に、ユーザは、把持システム127がターゲット171または他の基準点と位置合わせされるまでエンドエフェクタの位置を調節し、把持システムがそこで位置合わせされていることをプロセッサに指示する。本方法のステップに関する順番は、重要ではない。プロセッサ114は、このプロセスで提供される情報を用いて、カメラ143、コアリングプローブ121、把持アセンブリ127の間の位置関連オフセットを判定する。全キャリブレーションプロセスは、好適には、エンドエフェクタ111またはエンドエフェクタと共に移動可能なあらゆる構成要素と、プラットフォーム103またはプラットフォーム上のあらゆる構成要素との間でいかなる物理的接触もなく、完了される。
凍結サンプルコアを凍結サンプルから抜き取るために、プラットフォーム103上に凍結サンプルを含む容器105一式が配置される。例えば、1つまたは2つ以上のトレイ117aは、サンプル容器105を装填した後に、プラットフォーム103上(例えば、陥凹部115内)に配置され得る。凍結サンプルコアを抜き取り後に受容するための空の容器105一式は、1つまたは2つ以上の追加トレイ117bに装填され、プラットフォーム103上に配置される。ロボットシステム101は、把持システム127を用いて、凍結サンプルを含む容器105のうちの1つを、凍結サンプルコアがそこから抜き取られる容器を受容するための機構107に移動し、空の容器のうちの1つを、凍結サンプルコアがその中へ置かれる送り先容器を受容するための機構109に移動する。
次いで、ロボットシステムは、カメラ143を、凍結サンプルを含む容器105を保持するための機構107上の所定の位置に、凍結サンプルコアがそこから抜き取られる間、移動する。ロボットシステムは、好適には、凍結サンプルの上面の高さを検出するための充填レベル検出システムを含む。好適な充填レベル検出システムの構造および操作に関する詳細は、2012年1月26日に出願された、Robotic End Effector for Frozen Aliquotter and Methods of Taking a Frozen Aliquot from Biological Samplesと題する米国特許出願第13/359,301号に提供されており、参照によりその内容が本明細書に援用される。充填レベル検出システムは、凍結サンプルの上面の位置に関する情報を提供する。充填レベル検出システムは、カメラ143を凍結サンプルの上方の所望の高さに配置して、カメラの焦点合わせを改善するために用いられ得る。例えば、プロセッサ114は、充填レベル検出システムからの凍結サンプルの上面の位置に関する情報を用いて、カメラがサンプルの上面からの距離に関して最適範囲内にある間、凍結サンプルの画像を取得するためのカメラを配置する高度を判定する。照明145は、機構107の容器105およびその中にある凍結サンプルを照らすために用いられる。マシンビジョンシステム141が、照明145の色を調節するオプションを含む場合、凍結サンプルの色が(例えば、カメラからの画像データおよびユーザ入力の両方、またはいずれか一方を用いて)測定され、上述のように、照明の色は、凍結サンプルの色と一致するように調節される。例えば、凍結サンプルが、赤色、橙色、または黄色の場合、照明145は、赤色光を放出するように調節され得る。同様に、追加的な照明オプションが用いられる場合、照明を提供する照明181、183、185のうちの1つまたは2つ以上で、容器105の追加的な画像が捕捉される。
カメラ143は、照らされた容器105および凍結サンプルの1つまたは2つ以上の生の画像を撮影する。生の画像は、好適には、孔候補の認識を容易にするように処理される。例えば、閾値処理フィルタは、好適には、照明145からの照明で取得された生の画像に適用される。モルフォロジカルフィルタもまた、画像に適用され得る。画像にフィルタをかけた後、粒子分析画像アルゴリズムが行われて、孔候補を認識する。次いで、凍結サンプルから凍結サンプルコアが既に採取されたかどうか判定し、採取されていれば、凍結サンプルコアが既に採取された位置を識別するために、プロセッサは、画像データを用いて、任意の孔候補が実際の孔もしくは単なるアーティファクトかどうか評価する。
キャリブレーションマーク161を用いて、孔候補の位置を評価するというオプションが用いられる場合、本方法は、好適には、キャリブレーションマークが霜に遮られないように確保するために、低出力抵抗ヒーターを用いてキャリブレーションマークを加熱するステップを含む。
ひとたびプロセッサ114が、孔候補を識別し、どの孔候補がアーティファクトである可能性が高く、どれが本当の孔である可能性が高いかを判定したならば、プロセッサは、凍結サンプルに既に存在する孔がもしあれば、その位置を考慮して、凍結サンプルコアが抜き取られる位置を自動的に選択する。次いで、プロセッサ114は、ロボットシステム101に命令して、コアリングプローブ121を選択された位置の上の所定の位置に移動させ、またサンプル抜き取りシステムに命令して、凍結サンプルコアをその位置から抜き取らせる。その結果、コアリングプローブ121は、凍結サンプル内に(例えば、サンプル抜き取りシステム123が掘削動作を用いる場合、回転しながら)延長され、次いで、その中に凍結サンプルコアを含み、凍結サンプルから引き抜かれる。ロボットシステム101は、コアリングプローブ121を、送り先容器を保持するための機構109で、容器105の頂部の上の所定の位置に移動し、コアリングプローブから凍結サンプルコアを送り先容器内に取り出す。注文されたアリコートに十分な材料を提供するために、2つ以上の凍結サンプルコアが必要とされる場合、凍結サンプルコア抜き取りプロセスは、十分な量のサンプル材料が送り先容器105に置かれるまで、プロセッサによって自動的に判定される、凍結サンプル内の別の好適な位置で繰り返される。
十分な量のサンプル材料が送り先容器105に置かれた後、凍結親サンプルは、さらに、凍結サンプルの孔のそれぞれにおけるあらゆる霜の結晶およびその他の細片を一掃するように処理されて、冷凍保存場所からサンプルが後に再び回収されて、さらなる凍結サンプルコアを取得する場合、マシンビジョンシステム141においてよりよい精度および信頼性を確保する。上述のように、孔は、サンプル上で(例えば、サンプルが冷凍保存場所にある間に)成長した霜の結晶、または細片(例えば、先の凍結サンプルコアの掘削に起因)、またはその他の理由、あるいはこれらの組み合わせを含み得る、またはこれによって遮られ得る。これが次に冷凍保存場所から回収される際、凍結親サンプルにある孔を認識する能力を改善するために、プロセッサ114は、好適には、最後の凍結サンプルコアが抜き取られる前にサンプルから取得した画像データを用いる(すなわち、孔候補を評価するために用いられる画像データ、凍結サンプルから凍結サンプルコアが既に採取されたかどうかの判定、および、凍結サンプルコアが既に採取されていれば、それが既に採取された位置(複数可))。プロセッサ114は、好適には、最後の凍結サンプルコアの抜き取りの間に取得されたデータも用いる(例えば、最後の凍結サンプルコア(複数可)を取得する際に用いた幾何サンプリングパターン、最後の凍結サンプルコアが採取された位置に関する情報)。最後の抜き取り前のあらゆる孔の位置(複数可)に関するこの画像データおよび最後の抜き取りの間に作られたあらゆる穴の位置(複数可)に関するデータを用いて、プロセッサ114は、凍結サンプルにおけるすべての孔および疑わしい孔の位置(複数可)を判定する。ひとたびプロセッサ114が、凍結サンプルにおけるすべての孔(複数可)を識別したならば、プロセッサは、ロボットシステムに命令して、コアリングプローブ121を、順に、各孔の上の所定の位置に移動して、細片を有する孔を再処理または洗浄する。プロセッサ114は、孔が、それを遮る、またはそこに含まれるなんらかの細片を有するかどうかに関する情報を有しても有さなくてもよく、したがって、ロボットシステムに命令して、コアリングプローブ121を、孔の中になんらかの細片が識別されるか否かに関わらず、孔の中に降下するために、順に、各孔の上の所定の位置に移動するようにする。一実施形態では、プロセッサ114は、ロボットシステムに命令して、最後の凍結サンプルコアが抜き取られる前に取得された画像データを用いて識別されるあらゆる孔(複数可)を再処理または洗浄し、次いで、ロボットシステムに引き続いて命令して、最後の凍結サンプルコアの抜き取りの間に作られたあらゆる孔(複数可)を再処理または洗浄する。別の実施形態では、プロセッサ114は、ロボットシステムに命令して、最後の凍結サンプルコアの抜き取りの間に作られたあらゆる孔(複数可)を再処理または洗浄し、次いで、ロボットシステムに引き続いて命令して、最後の凍結サンプルコアが抜き取られる前に取得された画像データを用いて識別されるあらゆる孔(複数可)を再処理または洗浄する。別の実施形態では、プロセッサ114は、ロボットシステムに命令して、最後の凍結サンプルコアが抜き取られる前に取得された画像データを用いて識別されるあらゆる孔(複数可)のみを再処理または洗浄する。別の実施形態では、プロセッサ114は、ロボットシステムに命令して、最後の凍結サンプルコアの抜き取りの間に作られたあらゆる孔(複数可)のみを再処理または洗浄する。さらに別の実施形態では、プロセッサ114は、ロボットシステムに命令して、ロボットシステムに最後の凍結サンプルコアを抜き取るように命令する前に、最後の凍結サンプルコアが抜き取られる前に取得された画像データを用いて識別されたあらゆる孔(複数可)を再処理または洗浄する。
洗浄プロセスの任意の順番または組み合わせは、本発明の広範な範囲内にある。図18および図19に示されるように、例えば、プロセッサ114は、エンドエフェクタ111の取り出しピン190を誘導して、取り出しピンがコアリングプローブ121の遠位端部から伸長する伸長位置に移動させ得る。コアリングプローブ121は、識別された孔192(図18)の上に配置され、次いで、孔の中に降下させられて、細片を有する孔を洗浄する(図19)。コアリングプローブ121は、孔に細片があってもなくても、識別された孔192内に降下させられる。取り出しピン190が抵抗にあう(例えば、識別された孔が実際にはアーティファクトであり、本当の孔でない)場合、この抵抗が(例えば、充填レベル検出システムの構成要素を用いて)検出され、コアリングプローブ121および取り出しピンの下方向への動きが停止されて、凍結サンプルおよびロボットシステムに損傷を与えないようにする。マシンビジョンシステム141は、2012年1月26日に出願された、米国特許第13/359,301号に説明されるようなセンサを含んで、降下して凍結サンプルと接触したのではなく、取り出しピン190が孔の中に降下されたかどうかを判定し得る。取り出しピン190が孔の開口端に入ると、あらゆる霜、細片または孔の視認性を遮り得るその他の類似の物体は、孔の底部に払い落とされることによって、または、脇に押しのけられることによって、孔の開口端から払い落とされる。孔(複数可)から細片および霜を除去することは、さらなる凍結サンプルコアが必要とされ、凍結サンプルが次に冷凍保存場所から回収される際、マシンビジョンシステム141が凍結サンプルの孔を正確に識別することを容易にする。コアリングプローブおよび取り出しピン190は、プロセスのその他の部分を完了するために、サンプルに接触することを既に余儀なくされていることから、孔の開口端から細片を取り除くためにコアリングプローブおよび取り出しピンを用いることによって、サンプルを汚染する追加的な危険性は実質的に存在しない。
以下の説明は、本発明の態様が実施され得る好適な処理環境の簡単な概要の説明を提供することを意図している。必須ではないが、本発明の態様は、ネットワーク環境においてコンピュータまたはプロセッサによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明される。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、特定のタスクを実行する、または特定の抽象データ型を実装する。コンピュータ実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書に開示される方法のステップを実行するためのプログラムコード手段の例を表している。このような実行可能命令または関連データ構造などの特定のシーケンスは、このようなステップにおいて説明される機能を実施するための対応する作用の例を表している。
本発明の態様は、パーソナルコンピュータ、携帯型機器、マルチプロセッサシステム、マイクロプロセッサを用いる、またはプログラム可能な電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータなどを含む、多くの種類のコンピュータシステム構成と共にネットワークコンピューティング環境において実施され得ることが当業者には理解される。本発明の態様はまた、通信ネットワークを介して(有線リンク、または無線リンク、あるいは有線もしくは無線リンクの組み合わせによって)リンクされるローカルおよびリモートの処理装置によってタスクが実行される、分散コンピューティング環境において実施され得る。分散コンピューティングまたは処理環境では、プログラムモジュールは、ローカルおよびリモートの両方のメモリ記憶装置に配置され得る。
本発明の態様を実施するための例示的なシステムは、処理装置、システムメモリ、およびシステムメモリを含む様々なシステム構成要素を処理装置に連結するシステムバスを含む従来型のコンピュータの形態の汎用計算機を含む。システムバスは、メモリバスもしくはメモリコントローラ、周辺機器用バス、および任意の様々なバスアーキテクチャを用いるローカルバスを含む、任意のいくつかのタイプのバス構造であり得る。システムメモリは、読み出し専用メモリ(ROM)およびランダムアクセスメモリ(RAM)を含む。起動時などにコンピュータ内の要素間における情報の転送を助ける基本ルーチンを含む基本入出力システム(BIOS)は、ROMに格納され得る。
コンピュータはまた、磁気ハードディスクに対し読み書きするための磁気ハードディスク駆動装置、リムーバブル磁気ディスクに対し読み書きするための磁気ディスク駆動装置、およびCD−ROMまたはその他の光メディアなどのリムーバブル光ディスクに対し読み書きするための光ディスク駆動装置を含み得る。磁気ハードディスク駆動装置、磁気ディスク駆動装置、および光ディスク駆動装置は、それぞれ、ハードディスク駆動装置インターフェース、磁気ディスク駆動装置インターフェース、および光駆動装置インターフェースによって、システムバスに接続される。駆動装置およびそれに関連するコンピュータ可読媒体は、コンピュータ実行可能命令、データ構造、プログラムモジュール、およびその他のコンピュータ用データの不揮発性記憶域を提供する。本明細書に説明される例示的な環境は、磁気ハードディスク、リムーバブル磁気ディスク、およびリムーバブル光ディスクを利用しているが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、RAM、ROMなどを含む、データを記憶するためのその他のタイプのコンピュータ可読媒体も用いられ得る。
1つまたは2つ以上のプログラムモジュールを備えるプログラムコード手段は、オペレーティングシステム、1つまたは2つ以上のアプリケーションプログラム、その他のプログラムモジュール、およびプログラムデータを含み、ハードディスク、または磁気ディスク、または光ディスク、またはROM、またはRAM、あるいはこれらの組み合わせに記憶され得る。ユーザは、キーボード、ポインティングデバイス、またはマイクロホン、ジョイスティック、ゲームパッド、衛星アンテナ、スキャナなどのその他の入力装置を介して、コンピュータにコマンドおよび情報を入力し得る。これらおよびその他の入力装置は、しばしば、システムバスに連結されたシリアルポートインターフェースを介して処理装置に接続される。あるいは、入力装置は、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(USB)などのその他のインターフェースによって接続され得る。モニタまたは別の表示装置もまた、ビデオアダプタなどのインターフェースを介してシステムバスに接続される。モニタに加えて、パーソナルコンピュータは、一般に、スピーカおよびプリンタなどのその他の周辺出力機器(図示せず)を含む。
コンピュータは、リモートコンピュータなどの1つまたは2つ以上の遠隔のコンピュータに対して論理結合を用いて、ネットワーク化された環境で動作し得る。遠隔のコンピュータは、それぞれ、別のパーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピアデバイスまたはその他の一般的なネットワークノードであり、一般に、コンピュータに関して上述した要素の大半またはすべてを含み得る。論理結合は、ローカルエリアネットワーク(LAN)および広域ネットワーク(WAN)を含むが、これは、例としてここに示すものであり、限定するものではない。このようなネットワーク環境は、事務所規模または企業規模のコンピュータネットワーク、イントラネットおよびインターネットにおいて一般的なものである。
LANネットワーク環境で用いられる場合、コンピュータは、ローカルネットワークにネットワークインターフェースまたはアダプタを介して接続される。WANネットワーク環境で用いられる場合、コンピュータは、モデム、無線リンク、またはインターネットなどの広域ネットワーク上で通信を確立するためのその他の手段を含み得る。内蔵または外付けであり得るモデムは、シリアルポートインターフェースを介してシステムバスに接続される。ネットワーク環境においては、コンピュータ、またはその一部に関して説明されたプログラムモジュールは、遠隔のメモリ記憶装置に記憶され得る。当然のことながら、提示したネットワーク接続は、例示的なものであり、広域ネットワーク上で通信を確立するためのその他の手段が用いられてもよい。
本発明の範囲内の実施形態はまた、コンピュータ実行可能命令またはデータ構造を内部に記憶した、搬送または有するためのコンピュータ可読媒体を含む。このようなコンピュータ可読媒体は、汎用または専用コンピュータによってアクセスされ得る任意の入手可能な媒体であり得る。例としてであり、限定するものではないが、このようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMもしくはその他の光ディスク記憶装置、磁気ディスク記憶装置、もしくはその他の磁気記憶装置、または所望のプログラムコード手段をコンピュータ実行可能命令もしくはデータ構造の形態で搬送もしくは記憶するのに用いられ得る、また汎用もしくは専用コンピュータによってアクセスされ得る任意のその他の媒体を備え得る。ネットワークまたは別の通信接続上で、情報がコンピュータに転送または提供される場合(有線、または無線、あるいは有線もしくは無線の組み合わせ)、コンピュータは、適切に、この接続をコンピュータ可読媒体とみなす。このように、あらゆるこのような接続は、適切に、コンピュータ可読媒体と称される。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。コンピュータ実行可能命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理装置に特定の機能または機能群を実行させる命令およびデータを備える。
一動作モードでは、容器105に収容される凍結サンプルは、キャリブレーションマーク161を機構に対して固定された位置に有するプラットフォーム103上の機構107に(例えば、ロボットシステムによって)配置される。カメラ143は、容器105が機構107で受容される間に、容器105およびその中のサンプルの画像を撮影する。プロセッサ114は、(a)画像中のコントラストを評価して、凍結サンプルにおける1つまたは2つ以上の孔候補を識別すること、および(b)孔候補に対するキャリブレーションマークの位置に関する情報を用いて、1つまたは2つ以上の候補が、凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうか判定することによって、容器105に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する。凍結サンプルコアは、プロセッサによって判定される凍結サンプルコアが未だ採取されていない位置でサンプルから採取される。
別の動作モードでは、カメラは、凍結サンプルを収容する容器105の画像を撮影する。プロセッサ114は、(a)画像中のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)1つまたは2つ以上の孔候補が、凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定することによって、撮影した画像を用いて、容器に収容された凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定する。この判定を行うために、プロセッサ114は、以下の情報、すなわち、
孔候補の寸法、
孔候補と容器105の重心軸との間の距離、
第1の線と第2の線との間に形成される角度であって、第1の線が、孔と容器の重心軸との間に延在し、第2の線が、容器の重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、
1つまたは2つ以上の孔候補の位置と、予想される凍結サンプル中の孔のパターンとの間の関係、
容器の周縁部に対する1つまたは2つ以上の孔候補の位置、
識別される孔候補の数、
孔候補と周囲の領域との間のコントラストの量、および
これらの組み合わせ
のうちの少なくとも1つを含む情報を用いる。
システムは、プロセッサによって判定される凍結サンプルコアが未だ採取されていない位置で、凍結サンプルコアを凍結サンプルから採取する。
さらに別の動作モードでは、ロボットシステム101は、カメラ143を用いて、プラットフォーム103上にある1つまたは2つ以上の固定ターゲット171の画像を撮影することによって、キャリブレーションされる。プロセッサ114は、1つまたは2つ以上のターゲット171の画像を用いて、ロボットシステムをキャリブレーションする。次いで、同じカメラ143を用いて、容器がプラットフォームによって支持されている間に、1つまたは2つ以上の容器105の画像を撮影して、凍結サンプルから1つまたは2つ以上の凍結サンプルコアが既に採取されたかどうかを判定する。
さらに別の動作モードでは、ロボットシステム101は、第1の容器105内の凍結サンプルに対してカメラ143を移動するように操作されて、カメラが、第1の容器内の凍結サンプルに向けられるようにする。容器105内の凍結サンプルは、リングライト145を用いて照らされる。カメラ143は、照らされた凍結サンプルの画像を撮影するために用いられる。プロセッサ114は、撮影した画像のコントラストを評価し、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別する。プロセッサ114は、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステム101は、容器105のうちの二番目に対してカメラを移動して、カメラが第2の容器内の凍結サンプルに向けられるようにし、そして処理が繰り返される。
さらに別の動作モードでは、ロボットシステム101は、第1の容器105に対してカメラ143を移動して、カメラが、第1の容器内の凍結サンプルに向けられるようにする。容器105内の凍結サンプルは、着色光で照らされる。カメラ143は、照らされた凍結サンプルのグレースケール画像を撮影する。プロセッサ114は、撮影した画像のコントラストを評価し、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別する。プロセッサ113は、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステム101は、容器105のうちの二番目に対してカメラ143を移動して、カメラが第2の容器内の凍結サンプルに向けられるようにする。プロセスは、繰り返される。
別の動作モードでは、ロボットシステム101は、第1の容器105に対してカメラ143を移動して、カメラが、第1の容器内の凍結サンプルに向けられるようにする。容器105内の凍結サンプルは、凍結サンプルの色と一致するように選択される色を有する照明145で照らされる。カメラ143は、照らされた凍結サンプルの画像を撮影する。プロセッサ114は、撮影した画像のコントラストを評価し、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別する。プロセッサ114は、凍結サンプルにおいて、孔候補がアーティファクトもしくは本当の孔である可能性が高いかどうかを判定する。ロボットシステムは、容器105のうちの二番目に対してカメラ143を移動して、カメラが第2の容器内の凍結サンプルに向けられるようにし、そして処理が繰り返される。
別の動作モードでは、ロボットシステム101は、凍結サンプルコアが容器に収容された凍結サンプルから抜き取られる間に、容器を受容するための機構107に、プラットフォーム103上の容器105のうちの1つを配置する。照明181、183、185のうちの1つまたは2つ以上は、容器105に対してバックライティングおよびサイドライティングのうちの少なくとも1つを提供する。別の実施形態では、1つまたは2つ以上の照明は、容器105に直接照明を提供し得る。カメラ143は、凍結サンプルの画像を、これが直接的または間接的に(例えば、サイドライトおよびバックライトの両方、またはいずれか一方)照らされる間に撮影する。プロセッサ114は、撮影した画像のコントラストを評価し、画像を処理して、撮影した画像において1つまたは2つ以上の孔候補を識別する。
上述の動作モードは、本発明の範囲内で、組み合わせて用いられ得る、または、これらは別個に用いられ得る。
本発明の要素またはその好ましい実施形態を導入する際、冠詞「a」、「an」、「the」、および「前記(said)」は、要素のうちの1つまたは2つ以上が存在することを意味することが意図される。「備える(comprising)」、「含む(including)」、および「有する(having)」という用語は、包括的であることが意図され、列挙された要素以外の追加的な要素が存在してもよいことを意味する。
上記を鑑みれば、本発明のいくつかの目的が達成され、その他の有利な結果が得られたことが分かる。
上記の構築物には、本発明の範囲から逸脱することなく、種々の変更を行うことができることから、上記の説明に包含され、添付の図面に示されるすべての事項は、例示的に解釈されるべきものであり、限定的な意味で解釈されるべきではないことが意図される。

Claims (16)

  1. 各々がそれぞれの容器に収容されている凍結サンプルから、複数の凍結サンプルコアを採取するためのロボットシステムと共に用いるためのマシンビジョンシステムであって、前記マシンビジョンシステムが、
    プラットフォームと、
    前記容器のうちの1つの画像を、それが前記プラットフォーム上にある間に撮影するためのカメラと、
    前記カメラによって撮影された前記画像を表す画像データを前記カメラから受信するように、ならびに、(a)前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)前記1つまたは2つ以上の孔候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを、
    (i)前記孔候補の寸法、
    (ii)前記孔候補と前記容器の重心軸との間の距離、
    (iii)第1の線と第2の線との間に形成される角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、
    (iv)前記1つまたは2つ以上の孔候補の前記位置と、予想される前記サンプル中の孔のパターンとの間の関係、
    (v)前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の前記位置、
    (vi)識別される孔候補の数、
    (vii)前記孔候補と前記孔候補の周囲の領域との間のコントラストの量、および
    (viii)これらの組み合わせ
    のうちの少なくとも1つを用いて判定することによって、前記容器に収容された前記凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するように構成されるプロセッサと
    を備えるマシンビジョンシステム。
  2. 前記プロセッサが、前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の位置に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項に記載のマシンビジョンシステム。
  3. 前記プロセッサが、前記1つまたは2つ以上の孔候補の前記寸法に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項のいずれか1項に記載のマシンビジョンシステム。
  4. 前記プロセッサが、前記孔候補と前記容器の重心軸との間の距離に関する情報を用いて、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項のいずれか1項に記載のマシンビジョンシステム。
  5. 前記プロセッサが、第1の線と第2の線との間に形成される前記角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項のいずれか1項に記載のマシンビジョンシステム。
  6. 前記プロセッサが、前記1つまたは2つ以上の孔候補の前記位置と、予想される前記凍結サンプル中の孔のパターンとの間の前記関係に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項のいずれか1項に記載のマシンビジョンシステム。
  7. 前記プロセッサが、識別される孔候補の前記数に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項のいずれか1項に記載のマシンビジョンシステム。
  8. 前記プロセッサが、前記孔候補と前記孔候補の周囲の前記領域との間のコントラストの前記量に関する情報を用いることによって、前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを判定するように構成される、請求項に記載のマシンビジョンシステム。
  9. 容器に収容された凍結サンプルから凍結サンプルコアを採取する方法であって、前記方法が、
    前記容器の画像を撮影するステップと、
    (a)前記画像のコントラストを評価して、1つまたは2つ以上の孔候補を識別すること、および(b)前記1つまたは2つ以上の孔候補が、前記凍結サンプルの本当の孔ではなく、アーティファクトである可能性が高いかどうかを、
    (i)前記孔候補の寸法、
    (ii)前記孔候補と前記容器の重心軸との間の距離、
    (iii)第1の線と第2の線との間に形成される角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度、
    (iv)前記1つまたは2つ以上の孔候補の前記位置と、予想される前記凍結サンプル中の孔のパターンとの間の関係、
    (v)前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の位置、
    (vi)識別される孔候補の数、
    (vii)前記孔候補と周囲の領域との間のコントラストの量、および
    (viii)これらの組み合わせ
    のうちの少なくとも1つを含む情報用いて判定することによって、前記容器に収容された前記凍結サンプルから凍結サンプルコアが既に採取された1つまたは2つ以上の位置を判定するために、前記撮影した画像を用いるステップと、
    前記判定するステップにおいて判定される、凍結サンプルコアが未だ採取されていない位置で前記サンプルから前記凍結サンプルコアを採取するステップと
    を備える、容器に収容された凍結サンプルから凍結サンプルコアを採取する方法。
  10. 前記判定するステップが、前記容器の周縁部に対する前記1つまたは2つ以上の孔候補の位置に関する情報を用いるステップを備える、請求項に記載の方法。
  11. 前記判定するステップが、前記1つまたは2つ以上の孔候補の前記寸法に関する情報を用いるステップを備える、請求項10のいずれか1項に記載の方法。
  12. 前記判定するステップが、前記孔候補と前記容器の重心軸との間の前記距離に関する情報を用いるステップを備える、請求項11のいずれか1項に記載の方法。
  13. 前記判定するステップが、第1の線と第2の線との間に形成される前記角度であって、前記第1の線が、前記孔と前記容器の前記重心軸との間に延在し、前記第2の線が、前記容器の前記重心軸と別の孔候補との間に延在する、第1の線と第2の線との間に形成される角度に関する情報を用いるステップを備える、請求項12のいずれか1項に記載の方法。
  14. 前記判定するステップが、前記1つまたは2つ以上の孔候補の前記位置と、予想される前記凍結サンプル中の孔のパターンとの間の前記関係に関する情報を用いるステップを備える、請求項13のいずれか1項に記載の方法。
  15. 前記判定するステップが、識別される孔候補の前記数に関する情報を用いるステップを備える、請求項14のいずれか1項に記載の方法。
  16. 前記判定するステップが、前記孔候補と前記周囲の領域との間のコントラストの前記量に関する情報を用いるステップを備える、請求項15のいずれか1項に記載の方法。
JP2015510387A 2012-04-30 2013-04-30 生体サンプル用の凍結アリコータのためのマシンビジョンシステム Expired - Fee Related JP6108572B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261640662P 2012-04-30 2012-04-30
US61/640,662 2012-04-30
US13/489,234 US20130286192A1 (en) 2012-04-30 2012-06-05 Machine Vision System for Frozen Aliquotter for Biological Samples
US13/489,234 2012-06-05
US13/844,156 US20140267713A1 (en) 2013-03-15 2013-03-15 Machine Vision System for Frozen Aliquotter for Biological Samples
US13/844,156 2013-03-15
PCT/US2013/038880 WO2013166022A2 (en) 2012-04-30 2013-04-30 Machine vision system for frozen aliquotter for biological samples

Publications (3)

Publication Number Publication Date
JP2015516077A JP2015516077A (ja) 2015-06-04
JP2015516077A5 JP2015516077A5 (ja) 2016-06-16
JP6108572B2 true JP6108572B2 (ja) 2017-04-05

Family

ID=49515022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015510387A Expired - Fee Related JP6108572B2 (ja) 2012-04-30 2013-04-30 生体サンプル用の凍結アリコータのためのマシンビジョンシステム

Country Status (7)

Country Link
EP (1) EP2845013A2 (ja)
JP (1) JP6108572B2 (ja)
CN (1) CN104428678A (ja)
AU (1) AU2013256489A1 (ja)
BR (1) BR112014026936A2 (ja)
CA (1) CA2870505A1 (ja)
WO (1) WO2013166022A2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223034A (zh) * 2021-04-16 2022-10-21 中国科学院上海药物研究所 一种冷冻电镜自动选孔方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085443A1 (en) * 2000-12-13 2004-05-06 Kallioniemi Olli P Method and system for processing regions of interest for objects comprising biological material
US8068988B2 (en) * 2003-09-08 2011-11-29 Ventana Medical Systems, Inc. Method for automated processing of digital images of tissue micro-arrays (TMA)
PT1756545E (pt) * 2004-06-18 2011-10-24 Covance Inc Micromatriz de tecido congelado
US7405056B2 (en) * 2005-03-02 2008-07-29 Edward Lam Tissue punch and tissue sample labeling methods and devices for microarray preparation, archiving and documentation
WO2007084483A2 (en) * 2006-01-13 2007-07-26 President And Fellows Of Harvard College Systems, methods, and devices for frozen sample distribution
US9533418B2 (en) * 2009-05-29 2017-01-03 Cognex Corporation Methods and apparatus for practical 3D vision system
CN102869975B (zh) * 2010-02-09 2015-10-14 国际基因组学协会 用于激光切割的系统和方法

Also Published As

Publication number Publication date
JP2015516077A (ja) 2015-06-04
EP2845013A2 (en) 2015-03-11
CA2870505A1 (en) 2013-11-07
WO2013166022A3 (en) 2014-03-13
BR112014026936A2 (pt) 2017-06-27
WO2013166022A2 (en) 2013-11-07
CN104428678A (zh) 2015-03-18
AU2013256489A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
EP1810003B1 (en) Determination of the boundaries between fractions and extraction of selected fractions in a fractionated sample
US8633017B2 (en) Device, a system and a method for monitoring and/or cultivation of microscopic objects
US9109194B2 (en) Device for harvesting bacterial colony and method therefor
JP4953092B2 (ja) 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
US20130286192A1 (en) Machine Vision System for Frozen Aliquotter for Biological Samples
US9310287B2 (en) Method and apparatus for the identification and handling of particles
JP4985980B2 (ja) ウェルプレートとそれを用いた蛍光イメージングシステム
JP2020502540A (ja) 自動化された組織ダイセクション機器、およびそれを用いる方法
JP2011017964A (ja) 培養観察装置
US20140267713A1 (en) Machine Vision System for Frozen Aliquotter for Biological Samples
JP6108572B2 (ja) 生体サンプル用の凍結アリコータのためのマシンビジョンシステム
BR112019007302B1 (pt) Método para pegar e recolher matéria vegetal, sistema para pegar matéria vegetal e para coletar a matéria vegetal pega em uma bandeja tendo pelo menos um compartimento, e unidade de coleta
US20190225923A1 (en) Apparatus for embryo biopsy
CN111542742B (zh) 载片架确定系统
US11367294B2 (en) Image capture system
JP2002542456A (ja) 2次元電気泳動ゲルからの自動サンプル摘出方法及び装置
JP7287427B2 (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
CN116802463A (zh) 具有共焦成像的用于微孔板的通用多功能检测系统
JP3966220B2 (ja) 蛋白質結晶観察装置
US10591501B2 (en) Automatic structure determination
WO2019159524A1 (ja) 撮像システム及び生体対象物移動装置
CN113166701A (zh) 用于细胞培养监测的紧凑型光学成像系统
EP4062150B1 (en) Trace microanalysis microscope systems and methods
JP2015516077A5 (ja)

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170303

R150 Certificate of patent or registration of utility model

Ref document number: 6108572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees