JP6871970B2 - 撮像試料用の光学歪み補正 - Google Patents

撮像試料用の光学歪み補正 Download PDF

Info

Publication number
JP6871970B2
JP6871970B2 JP2019095280A JP2019095280A JP6871970B2 JP 6871970 B2 JP6871970 B2 JP 6871970B2 JP 2019095280 A JP2019095280 A JP 2019095280A JP 2019095280 A JP2019095280 A JP 2019095280A JP 6871970 B2 JP6871970 B2 JP 6871970B2
Authority
JP
Japan
Prior art keywords
image
imaging
substrate
nucleic acid
imaged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019095280A
Other languages
English (en)
Other versions
JP2019169176A (ja
Inventor
ラングロワ ロバート
ラングロワ ロバート
ベリッツ ポール
ベリッツ ポール
Original Assignee
イラミーナ インコーポレーテッド
イラミーナ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イラミーナ インコーポレーテッド, イラミーナ インコーポレーテッド filed Critical イラミーナ インコーポレーテッド
Publication of JP2019169176A publication Critical patent/JP2019169176A/ja
Application granted granted Critical
Publication of JP6871970B2 publication Critical patent/JP6871970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80
    • G06T3/04
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502715Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by interfacing components, e.g. fluidic, electrical, optical or mechanical interfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G06T3/02
    • G06T3/147
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/401Compensating positionally unequal response of the pick-up or reproducing head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/02Adapting objects or devices to another
    • B01L2200/025Align devices or objects to ensure defined positions relative to each other
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/08Geometry, shape and general structure
    • B01L2300/0809Geometry, shape and general structure rectangular shaped
    • B01L2300/0829Multi-well plates; Microtitration plates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/08Geometry, shape and general structure
    • B01L2300/0861Configuration of multiple channels and/or chambers in a single devices
    • B01L2300/0877Flow chambers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00Additional constructional details
    • B01L2300/08Geometry, shape and general structure
    • B01L2300/0896Nanoscaled
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0031Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26Electron or ion microscopes
    • H01J2237/28Scanning microscopes
    • H01J2237/2813Scanning microscopes characterised by the application
    • H01J2237/2817Pattern inspection

Description

<関連出願の相互参照>
本願は,2017年 3月 7日付の米国特許仮出願第62/468,347号(発明の名称:撮像試料用
の光学歪み補正)の優先権を主張するものであり,同出願はその全体が本願に取り込まれ
る。更に,本願は,2017年 5月 5日付のオランダ国特許出願第N2018852号(発明の名称:
撮像試料用の光学歪み補正)の優先権も主張するものである。
光学レンズを使用する撮像に付随する1つの問題点は,レンズの光学的配置により,画
像に異なる形式の歪みが誘発されることである。このような歪みには,例えば,拡大歪み
,スキュー歪み,並行歪み,バレル歪み及びピンクッション歪み等の非線形歪みが含まれ
る。これらの歪みは,一般的には,画像中心から離れた画像点において,より顕著である
試料面を一方向に走査するラインスキャナにおいて,歪みは,走査対象画像の走査方向
に対して垂直なエッジに沿う方向において最も顕著である。例えば,光学系における対物
レンズ又はその他の光学素子により生じる収差は,倍率が一軸(例えば,x軸に沿って走
査されるラインの場合には,そのx軸)に沿って変動する「ストレッチ歪み」を誘発する
ことがある。この歪みは,多数(数千単位,数百万単位,数十億単位等)のパターン化ス
ポットを有する基板のマルチサイクル撮像の場合に,走査された画像上における実際のス
ポット位置を,予想されたスポット位置からシフトさせる可能性がある点において特に致
命的である。その結果,データスループットにおける欠落や,マルチサイクル撮像ランの
間における誤差率の増大を生じさせかねない。この問題を,図1A及び図1Bに示す。図
1Aは,蛍光染料を有する複数の試料領域を備えるパターン化ターゲットのスキャン画像
における中心を示す。画像の中心において,スポット50における検出可能な歪みは認めら
れない。図1Bは,図1Aにおけるスキャン画像の右側を示す。右側においては,スポッ
ト50の光学収差が顕著である。
本願において開示する実施形態は,撮像試料における光学歪みを補正する技術に関する
ものである。
第1態様は,撮像試料用の光学歪み補正方法に関するものであり,この方法は,複数の
スポットを備えるパターン化試料について第1撮像サイクルを実行するステップ;該第1
撮像サイクルの間に生成された撮像データの第1のセットを,第1の複数の撮像データサ
ブセットに分割するステップであって,該第1の複数の撮像データサブセットにおける各
撮像データサブセットが,前記パターン化試料におけるそれぞれの領域に対応し,前記パ
ターン化試料の各領域が複数のスポットを含む,ステップ;前記第1の複数の撮像データ
サブセットについて画像歪み補正係数セットを計算するステップ;パターン化試料につい
て第2撮像サイクルを実行して,撮像データの第2のセットを生成するステップ;前記第
2撮像サイクルの間に生成された撮像データの第2のセットを,第2の複数の撮像データ
サブセットに分割するステップであって,該第1の複数の撮像データサブセットにおける
各撮像データサブセットは,第1の複数の撮像データサブセットにおける1つの撮像デー
タサブセットと対応する,前記パターン化された試料におけるそれぞれの同一領域に対応
する,ステップ;及び,前記第2の複数の撮像データサブセットにおける各撮像データサ
ブセットにつき,前記パターン化試料におけるそれぞれの同一領域に対応する,前記第1
の複数の撮像データサブセットにおける前記1つの撮像データサブセットについて計算し
た前記画像歪み補正係数を適用するステップを備える。
第1態様の一実施形態において,前記パターン化試料における複数のスポットの各スポ
ットは,蛍光タグ付けされた核酸を備え,前記第1撮像サイクルは第1シーケンスサイク
ルであり,前記第2撮像サイクルは第2シーケンスサイクルである。
第1態様の一実施形態において,前記撮像データの第1セット及び前記撮像データの第2セットの各セットは,それぞれ第1色チャンネルの撮像データ及び第2色チャンネルの撮像データを備え,前記第1の複数の撮像データサブセットについて画像歪み補正係数セットを計算するステップは,各撮像データの各色チャンネルについて歪み補正係数セットを決定するステップを備える。
第1態様の一実施形態において,前記第1の複数の撮像データサブセットの各々につい
て画像歪み補正係数セットを計算するステップは,前記撮像データサブセットのアフィン
変換を予測するステップ;前記撮像データサブセットを尖鋭化するステップ;及び,前記
撮像データサブセットについて最適な歪み補正係数セットを反復探索するステップ;を備
える。
第1態様の一実施形態において,前記撮像データの第1セット及び前記撮像データの第
2セットを,少なくとも前記試料の基点位置を使用して分割し,前記第1の複数の撮像デ
ータサブセットの各々についてのアフィン変換を,前記基点を使用して予測する。
第2態様は,複数のスポットを備えるパターン化試料の画像における光学歪みを補正する方法に関するものである。この方法は、画像のアフィン変換を予測するステップ;前記画像を尖鋭化するステップ;及び,尖鋭化された画像につき,最適歪み補正係数セットを反復探索するステップを備える。尖鋭化された画像につき,最適化された歪み補正係数セットを反復探索する前記ステップは,該画像における複数のスポット位置についての平均純度を算出するステップ,及び,予測されたアフィン変換を各反復探索の間に適用するステップを備える。
第2態様の一実施形態において,尖鋭化された画像につき,最適化された歪み補正係数セットを反復探索する前記ステップは,前記画像について光学歪み補正係数セットを生成するステップ;前記予測されたアフィン変換を,前記画像における複数のスポット位置に適用するステップ;及び,前記予測されたアフィン変換を適用した後,前記光学歪み補正係数セットを前記複数のスポット位置の各々に適用するステップ;を備える。他の実施形態において,光学歪み補正方法は,前記光学歪み補正係数セットを前記複数のスポット位置の各々に適用した後,前記複数のスポット位置の各々について信号強度を抽出するステップを備える。更に他の実施形態において,光学歪み補正方法は:前記抽出された信号強度を正規化するステップ;及び,前記複数のスポット位置についての平均純度を,少なくとも前記正規化された信号強度を使用して計算するステップ;を備える。
第2態様の特定の実施形態において,前記複数のスポット位置についての平均純度を,
少なくとも前記正規化された単一強度を使用して計算するステップは,前記複数のスポッ
ト位置の各々について純度を,少なくとも,当該スポット位置の正規化された信号強度に
対応する地点からガウス重心までの距離を使用して,計算するステップを備える。
第2態様の特定の実施形態において,尖鋭化された画像につき,最適化された歪み補正係数セットを反復探索する前記ステップは,該画像における複数のスポットをサブサンプリングするステップを備え,先鋭化された画像の行内におけるスポットがサブサンプリングされた場合,該行内における全てのスポットをサブサンプリングする。
本開示に係る技術の他の特徴及び特色は,添付図面に関連しての以下の詳細な記載から
明白である。図面は,開示される技術の特徴を例示するものである。要約は,特許請求の
範囲の記載に基づいて定めるべき発明の技術的範囲及びその均等範囲を限定するものでは
ない。
上述した概念の全ての組み合わせは,特段の理由のない限り,本願で開示される発明の
一部を構成する。特に,特許請求の範囲に記載される特徴の全ての組み合わせは,本願に
おいて開示される発明の一部を構成するものである。
図1Aは、蛍光染料を有する複数の試料領域を備えるパターン化ターゲットの走査画像における中心部の一例を示す説明図である。図1Bは、図1Aの右側を示す説明図である。 本発明に係るシステム及び方法を実施するための例示的な画像走査システムの一般化されたブロック線図である。 特定の実施形態において使用することのできる2チャンネル型ライン走査用のモジュラー光学撮像システムを示すブロック線図である。 本発明の実施形態に従って撮像することのできるパターン化試料を例示する説明図である。 本発明に係る撮像ランの間に画像歪みを動的に補正するために実施することのできる方法を例示するフローチャートである。 スポットアレーを有する試料を撮像するためのNチャンネル撮像システムについて,撮像データを複数の撮像データサブセットに分割する態様の一例を示す説明図である。 撮像システムにより生成された撮像データについて歪み補正係数を計算する方法を例示するローチャートである。 6つの基点を含むタイルを例示する説明図である。 1回のシーケンスサイクルの間に2チャンネルベースコーリングから得られるクラウドを例示する説明図である。 フローセルを使用する2チャンネルシーケンス装置における光学系用タイルセットのための歪み曲線群を例示するグラフである。 フローセルを使用する別の2チャンネルシーケンス装置における光学系用タイルセットのための歪み曲線群を例示するグラフである。 フローセルを使用する4チャンネルシーケンス装置における光学系用タイルセットのための2つの異なる色チャンネルに対応する4本の歪み曲線を例示するグラフである。 図10Aは、ラインスキャナを使用してシーケンスを行ったフローセルのスポットのうち,歪み補正を行わずに純度フィルタを通過してX軸に対する視野を横切って排出される割合(%PF)を示す例示的な実験結果の箱ひげ図である。図10Bは、シーケンスを行ったフローセルのスポットのうち,歪み補正を行った後に純度フィルタを通過した割合を示す例示的な実験結果の箱ひげ図である。 撮像レンズ(例えば,対物レンズ)の設計最適化のために使用することのできる光学歪み補正係数を決定するための例示的な方法を示すフローチャートである。 歪み補正のために5次多項式を適用した後,視野を横切るピクセル中に残留する光学歪みを例示する残留歪みプロットである。 本願に開示する実施形態における各種の特徴を実行するために使用することのできる計算モジュールを例示するブロック図である。
以下,添付図面を参照して,本発明を各種実施形態について詳述する。図面は,単なる
例示として提示されており,本発明の典型的又は例示的な実施形態を示すに過ぎない。
図面は,網羅的なものではなく,また,本発明を開示される実施形態に限定するもので
はない。
本明細書において,「スポット」又は「特徴」とは,パターンにおける点又はエリアで
あって,他の点又はエリアから相対位置に応じて区別できるものを指す。個々のスポット
は,特定形式の1つ又は複数の分子を含むことができる。例えば,スポットは,特定塩基
配列を有する単一の目標核酸分子を含むことができ,或いは,同一塩基配列(又は,その
相補的塩基配列)を有する数個の核酸分子を含むことができる。
本明細書において,「基点」とは,対象物における区別可能な参照点を指す。参照点は
,対象物の画像中に存在することができ,又は対象物の検出から得られる別のデータセッ
ト中に存在することができる。参照点は,対象物面内におけるx座標及び/又はy座標で
特定することができる。代替的又は付加的に,参照点は,xy面に垂直で,例えば対象物
及び検出器の想定位置により規定されるz座標で特定することができる。参照点について
の1つ又は複数の座標は,物体における,或いは物体から得られる画像又は他のデータセ
ットにおける1つ又は複数の他の特徴に対して特定することができる。
本明細書において,「タイル」とは,試料における同一領域の1つ又は複数の画像を指
し,該1つ又は複数の画像の各々は,それぞれの色チャンネルに対応する。タイルは,1
回の撮像サイクルの撮像データセットにおける撮像データサブセットを形成することがで
きる。
本明細書において,「純度」とは,タイル上におけるスポット位置の「品質」の目安と
なる評価指数を指す。純度は,歪み補正係数をスポット位置に適用する前後の両者におい
て決定することができる。「平均純度」とは,タイル上における全てのスポット位置又は
スポット位置サブセットに亘る純度の平均値を指す。
本明細書において,「xy面」とは,デカルト座標系における直線的なx軸及びy軸で
規定される二次元的エリアを指す。検出器及び該検出器で観察すべき対象物に関して使用
される場合,そのエリアは,検出器と,観察すべき対象物との間の観察方向に対して垂直
であるものとして更に特定することができる。ラインスキャナに言及する際に使用される
場合,「y方向」とは,走査方向を指す。
本明細書において,「z座標」とは,xy面に対して垂直な軸線に沿う点,線又はエリ
アの位置を特定する情報を指す。特定の実施形態において,z軸は,検出器によって観察
すべき対象物のエリアに対して垂直である。例えば,光学系の焦点方向はz軸に沿って特
定することができる。
本明細書において,「ラインを走査する」とは,対象物のxy面内における二次元的な
矩形状又は横長形状の断面を検出し,その断面と対象物との間で相対変位を生じさせるこ
とを指す。例えば,蛍光撮像の場合,走査に際しての所定の時点において,矩形状又は横
長形状を有する観察物のエリア(他のエリアは除外する)を特に励起させ,及び/又は当
該エリア(他のエリアは除外する)からの放出を特に取得することができる。
本願において開示される実施形態は,複数の繰り返しスポットを有するパターン化試料
の撮像に際して生じる画像歪みの動的補正に関する。画像歪み補正係数をマルチサイクル
撮像ラン(例えば,シーケンス・ラン)の間に計算し,引き続き,後続サイクルの間に生
成される画像データにリアルタイムで適用することができる。
第1実施形態において,試料についてのキャリブレーション撮像サイクル(例えば,第
1撮像サイクル)の間に生成された撮像データは,パターン化試料の各領域に対応する惹
く数の撮像データサブセット(例えば,タイル)に分割することができる。各タイルは,
パターン化試料の領域における複数のサンプルスポットにそれぞれ対応する複数のスポッ
トを含むことができる。各タイルについて,歪み補正係数セットを計算することができる
。タイルが多色チャンネルの撮像データを含む場合,タイルの各色チャンネルについて歪
み補正係数セットを計算することができる。キャリブレーション撮像サイクルの間に計算
された歪み補正係数セットを,パターン化試料についての後続の撮像サイクルの間にそれ
ぞれのタイルに適用することができる。かくして,試料の異なる領域について画像歪みを
個別的に補正することができる。この領域固有の歪み補正により,グローバル剛体登録で
は考慮できなかった歪み補正が可能となる。例えば,レンズの形状により,非線形歪み(
線形アフィン変換では考慮外)を誘発させることができる。更に,撮像された基板も製造
プロセスにより歪みを誘発させ得る。例えば,基板の非剛性によるウェルの接合又は移動
に基づく3Dバスタブ効果である。最後に,ホルダ内における基板のチルトは,線形アフ
ィン変換では対応されない。
第2実施形態は,タイルについての歪み補正係数を生成するための特定の方法に関する
。この方法は,タイルの基点を使用してタイルのアフィン変換を予測するステップと;タ
イルを先鋭化するステップと;タイルにおける複数のスポットの平均純度を最大化する歪
み補正係数を探索するステップと;を含む。画像についての単一のアフィン変換のみを行
うことにより,開示される方法は,最適な歪み補正係数セットを探索するに要する時間を
劇的に短縮させることができる。特定の実施形態において,歪み補正係数の探索は,以下
のステップの反復を含むことができる。即ち,歪み補正係数を生成するステップと;生成
された歪み補正係数を画像における各スポット位置に適用するステップと;画像における
各スポット位置について信号強度を抽出するステップと;信号強度を空間的に正規化する
ステップと;タイルにおける複数のスポット位置の平均純度を計算するステップと;少な
くとも,計算された平均純度を使用して,歪み補正係数の探索を反復するか否かを決定す
るステップと;を反復するものである。
特定の実施形態において,歪み補正係数を生成するための開示された方法は,4種の異
なる試料(例えば,4種の異なるDNA塩基形式)の身元(アイデンティティ)をエンコ
ードした2つの異なる色チャンネルが含まれる画像データにおける画像歪みを補正するた
めに使用することができる。
本発明に係るシステム及び方法の実施形態を記載するに先立ち,開示される技術を実施
する例示的な環境について記載しておくことが有用である。そのような例示的な環境は,
図2Aに示す撮像システム100の環境である。この例の撮像システムは,試料の画像を取
得又は生成する装置を含むことができる。図2Aに示す例は,バックライト形式の例示的
な撮像形態を示すものである。システム及び方法を,その時々において例示的な撮像シス
テム100との関連で記載することがあるが,これらは開示される画像歪み補正方法の実施
例に過ぎないことに留意されたい。
図2Aに示す例から明らかなとおり,試料は試料容器110(例えば,本明細書に記載さ
れたフローセル)内に収められ,試料容器110は対物レンズ142の下方における試料ステー
ジ170上に配置される。光源160及び関連する光学系により光ビーム,例えばレーザ光を,
試料容器110上における選択された試料位置に向けて照射する。試料の蛍光発光及び結果
的に生じる光を対物レンズにより集光し,カメラシステムにおける画像センサに入射させ
て蛍光を検出する。試料ステージ170を対物レンズ142に対して移動させることにより,試
料容器110上における次の試料位置を対物レンズ142の焦点に位置決めする。試料ステージ
170の対物レンズ142に対する移動は,試料ステージ自体,対物レンズ,撮像システムにお
ける他の構成部品,又はこれらの任意の組み合わせの移動により達成することができる。
更なる実施形態として,固定された試料上で撮像システム全体を移動させることもできる
流体配送モジュール又はデバイス100により,試薬(例えば,蛍光ラベルを施したヌク
レオチド,緩衝液,酵素,切断試薬等)の流れを試料容器110及び排液弁120に導く。試料
容器110は,試料を載置する1つ又は複数の基板を含むことができる。例えば,多数の核
酸塩基配列を分析するためのシステムの場合,試料容器110は,その上にシーケンスすべ
き結合し,取付け,又は関連させるための1つ又は複数の基板を含むことができる。各種
の実施形態において,拡散が取付け可能な不活性の基板又はマトリックス,例えばガラス
面,プラスチック面,ラテックス面,デキストラン面,ポリスチレン面,ポリプロピレン
面,ポリアクリルアミドジェル,金面及びシリコンウェファ等,を含むことができる。幾
つかのアプリケーションにおいて,基板は,マトリックス内に形成されたチャンネル又は
その他にエリア内に,或いは試料容器110を横切るアレー内に配置される。
幾つかの実施形態において,試料容器110は,1種又は複数種の蛍光色素を使用して撮
像された生物学的試料を含むことができる。例えば,特定のアプリケーションにおいて,
試料容器110は,透明カバープレートと,基板と,これらの間に挟まれる液体とを含むパ
ターン化フローセルとして構成することができ,生物学的試料は,透明カバープレートの
内面又は基板の内面に配置することができる。フローセルは,基板における既定のアレー
(例えば,六角形アレー,正方形アレー等)にパターン化される多数(例えば,数千,数
百万,数十億)のウェル又は領域を含むことができる。各領域は,例えば合成によるシー
ケンス手法によりシーケンスすることのできるDNA,RNA,又は他のゲノム材料より
なる生物学的試料のクラスタ(例えば,モノクローナルクラスタ)を形成することができ
る。フローセルは,各々がクラスターの六角形アレーを含む複数の離間したレーン(例え
ば,8本のレーン)に分割することができる。本発明において使用することのできるフロ
ーセルは,例えば米国特許第8,778,848号明細書に開示されている。
システムは,温度ステーションアクチュエータ130と,試料容器110内における流体温度
条件を制御可能とするヒータ/クーラ135とを備える。試料容器のシーケンスをモニタし
,又は追跡するために,カメラシステム140を配備することができる。カメラシステム140
は,例えば,電荷結合デバイス(CCD)型カメラ(例えば,時間差積分(TDI)型C
CDカメラ)として構成することができ,これは,フィルタ切り替えアセンブリ145内に
おける各種フィルタ,対物レンズ142及びフォーカシングレーザ/フォーカシングレーザ
アセンブリ150と協働させることができる。カメラシステム140はCCDカメラに限定され
るものではなく,他のカメラやイメージセンサ技術も使用可能である。特定の実施形態に
おいて,カメラセンサは,ピクセルサイズを約5〜15μmとすることができる。
カメラシステム140のセンサからの出力データは,リアルタイム分析モジュール(図示
せず)に送信することができる。この分析モジュールは,画像データを分析し(例えば,
画質評価),レーザービームの特性(例えば,焦点,形状,強度,パワー,輝度,位置)
をグラフィカルユーザインターフェース(GUI)に報告又は表示し,更に,画像データ
におる歪みを後述する態様で動的に補正するソフトウェアアップリケ―ションとして構成
することができる。
光源160(例えば,複数のレーザを任意的に含むアセンブリにおける励起レーザ)又は
他の光源を配備して,試料内における蛍光シーケンス反応を,光ファイバインターフェー
ス(任意的に,1つ又は複数の再撮像レンズや,光ファイバマウント等を含む)を介して
照射することができる。図示例においては,低出力のランプ165,合焦レーザ150及び反転
ダイクロイック185も配備されている。幾つかの実施形態において,合焦レーザ150は,撮
像の間はスイッチオフされる。他の実施形態において,代替的な合焦形態は,データ収集
と同時に表面で反射された散乱ビームの位置を検出するための第2焦点カメラ(図示せず
)を含むことができ,これは象限検出器又は位置感知センサ(PSD)等のセンサで構成
することができる。
バックライトデバイスとして開示されているが,他の例として,レーザ又は他の光源か
らの光を,対物レンズ142を通して試料容器110内における試料に照射する構成とすること
もできる。試料容器110を試料ステージ170上に載置して,試料容器110を対物レンズ142に
対して移動及び整列させることができる。試料ステージ170は,これを三次元における任
意の方向に移動可能とする1つ又は複数のアクチュエータを備えることができる。例えば
,デカルト座標系に関して,ステージ170を対物レンズに対してx方向,y方向及びz方
向に移動可能とするアクチュエータを設けることができる。これにより,試料容器110上
における試料位置を対物レンズに対して最適整合状態に位置決めすることができる。
本例においては,光学素子を試料容器110に対して焦点方向(典型的には,z軸又はz
方向)に位置決め制御するために合焦(z軸)部品175が設けられている。合焦部品175は
,光学ステージ,試料ステージ又はこれら双方に物理的に結合される1つ又は複数のアク
チュエータを含むことができ,該アクチュエータにより試料ステージ170上の試料容器110
を光学素子(例えば,対物レンズ142)に対して移動させて撮像操作のために適正な合焦
状態を提供する構成とすることができる。例えば,アクチュエータは,ステージに対する
直接的又は間接的な,機械的,磁気的,流体的又はその他の取付け手段により,或いは接
触により,対応するステージに物理的に結合することができる。1つ又は複数のアクチュ
エータは,ステージをz方向に移動させると共に試料ステージを同一面内に維持する(即
ち,光軸に対して垂直なレベル又は水平高度を維持する)ように構成することができる。
1つ又は複数のアクチュエータは,ステージをチルトさせるように構成することもできる
。これは,例えば,試料容器110を,その面の傾斜が補償されるよう,動的にレベル合わ
せすることで行うことができる。
システムの合焦とは,対物レンズの焦点面を,撮像すべき試料に対して選択された試料
位置において整列させることを意味する。しかしながら,合焦とは,試料表示の所望の特
性,例えばテスト試料画像の所望の先鋭度又はコントラストを得るためのシステム調整も
意味する。対物レンズの焦点面視野における使用可能な深度は小さい(時には,1μm以
下のオーダ)ことがあり得るため,合焦部品175は,撮像される表面に密接に追従する。
試料容器は,器材への取付け状態で完全に平坦ではないため,合焦部品175は,走査方向
(以下,y軸と称する。)に移動させる間にそのプロファイルに追従するようにセットア
ップすることができる。
撮像される試料位置におけるテスト試料から発せられる光は,カメラシステム140にお
ける1つまたは複数の検出器に向けることができる。開口を位置決め配置して,焦点エリ
アから発せられる光のみを検出器に向けて通過可能とすることができる。開口は,焦点エ
リア外のエリアから発せられる光の成分を取り除くことにより画質を向上させるために設
けることができるものである。発光フィルタをスイッチングアセンブリ145内に配備して
,決定された発光波長のみを記録し,かつレーザ迷光をカットアウトすることができる。
図示しないが,操作サイクルを制御するためのコントローラを設けることができる。コ
ントローラは,システムの作動要件,例えば,合焦,ステージ移動及び撮像操作を制御す
るように構成することができる。各種の実施形態において,コントローラは,ハードウェ
ア,アルゴリズム(例えば,コンピュータで実行可能な命令),又はこれらの組み合わせ
を使用する構成とすることができる。例えば,幾つかの実施形態において,コントローラ
は,1つ又は複数のCPU又はプロセッサと,関連するメモリーを含むことができる。他
の実施形態として,コントローラは,作動を制御するためのハードウェア又は回路,例え
ばコンピュータプロセッサ及び,コンピュータ可読命令を記憶している非一時的コンピュ
ータ可読媒体を含むことができる。例えば,この回路は,現場プログラマブルゲートアレ
ー(FPGA),特定用途向け集積回路(ASIC),プログラマブルロジックデバイス
(PLD),コンプレックスプログラマブルロジックデバイス(CPLD),プログラマ
ブルロジックアレー(PLA),プログラマブルアレーロジック(PAL),或いは他の
同様なプロセッシングデバイス又は回路の1種又は複数種を含むことができる。更に他の
実施形態として,コントローラは,この回路と,1つ又は複数のプロセッサの組み合わせ
を含むこともできる。
図2Bは,特定に実施形態において使用することのできる2チャンネルライン走査モジ
ュール型の撮像システム200の一例を示す。システム及び方法を,その時々において,例
示的な撮像システム200との関連で記載することがあるが,これらは本願において開示さ
れる技術を実施する態様の一例に過ぎないことに留意されたい。
幾つかの実施形態において,システム200は,核酸のシーケンスのために使用すること
ができる。適用可能な技術には,核酸をアレーにおける固定位置(例えば,フローセルに
おけるウェル)に固定し,アレーを反復的に撮像する技術が含まれる。このような実施形
態において,システム200は,特定のヌクレオチド塩基形式を互いに区別可能とする2つ
の異なる色チャンネルで画像を取得することができる。より具体的に,システムは「ベー
スコーリング」と称されるプロセスを実行し,これは,撮像サイクルにおける画像の所定
のスポット位置に対して塩基形式(例えば,アデニン(A),シトシン(C),グァニン
(G),チミン(T))を決定するプロセスである。2チャンネルベースコーリングの間
,2つの画像から抽出された画像データを使用し,2つの画像の強度の組み合わせとして
塩基形式をエンコードすることにより,4種の延期形式の1つの存在を判定することがで
きる。2つの画像の各々における所定のスポット位置について,塩基形式は,信号の組み
合わせが[on, on],[on, off],[off, on]又は[off, off]の何れであるかによっ
て決定することができる。
再び撮像システム200を参照すると,このシステムは,2つの光源211, 212を内蔵した
ライン生成モジュール(LGM)210を含む。光源211, 212は,レーザービームを出力す
るレーザーダイオード等の,コヒーレント光源で構成することができる。光源211は第1
波長(例えば,赤色波長)で発光することができ,光源212は第2波長(例えば,緑色波
長)で発光することができる。光源211, 212から出力される光ビームは,ビーム整形レン
ズ213を通過させることができる。幾つかの実施形態において,単一のビーム整形レンズ
を使用して両光源から出力される光ビームを整形する。他の実施形態において,各光ビー
ムのための別個のビーム整形レンズを使用する。幾つかの実施形態において,ビーム整形
レンズは,光ビームをラインパターンに整形するパウエルレンズで構成する。ライン生成
モジュール(LGM)210のビーム整形レンズ,又は撮像システムにおける他の光学素子
は,光源211, 212から出力される光ビームをラインパターンに整形する(例えば,1つ又
は複数のパウエルレンズ,その他のビーム整形レンズ,回折素子,散乱素子等を使用する
)ことができる。
ライン生成モジュール(LGM)210は,更に,光ビームを,単一インターフェースポ
ートを通して発光光学モジュール(EOM)230に導くためのミラー214と半反射ミラー21
5を含むことができる。光ビームは,シャッター素子216を通過させることができる。発光
光学モジュール(EOM)230は,対物レンズ235と,対物レンズ235をターゲットに対し
て接近又は離間させるためのzステージ236とを含むことができる。例えば,ターゲット2
50は,液体層252及び透明カバープレート251を含み,生物学的試料は,透明カバープレー
トの内面,及び,液体層の下方に位置する基体層の内面に配置することができる。そして
,zステージにより対物レンズを移動させて光ビームをフローセルの何れかの内面に合焦
させる(即ち,生物学的試料に合焦させる)ことができる。生物学的試料は,DNA,R
NA,タンパク質,又は既知の光学的シーケンスに適合する他の生物学的材料とすること
ができる。
発光光学モジュール(EOM)230は,焦点追尾モジュール(FTM)から発せられる
焦点追尾光ビームをターゲット250に向けて反射させ,引き続いて,ターゲット250から返
される光ビームを焦点追尾モジュール(FTM)に戻されるように反射するための半反射
ミラー233を含むことができる。焦点追尾モジュール(FTM)は,戻された焦点追尾光
ビームの特性を検出し,かつ,ターゲット250に対して対物レンズ235を最適合焦させるた
めのフィードバック信号を発生する焦点追尾光学センサを含むことができる。
発光光学モジュール(EOM)230は,光ビームを対物レンズ235から出射させると共に
,ターゲット250から戻される光ビームを通過させるための半反射ミラー234も含むことが
できる。幾つかの実施形態において,発光光学モジュール(EOM)230はチューブレン
ズ232を含むことができる。チューブレンズ232を通過した光ビームは,フィルタ素子231
を通してカメラモジュール(CAM)220に入射させることができる。カメラモジュール
(CAM)220は,入射光ビームに応じて生物学的試料から発せられる光を検出するため
の1つ又は複数の光学センサ221を含むことができる。
カメラモジュール(CAM)220のセンサからの出力データは,リアルタイム分析モジュール225に送信することができる。各種の実施形態において,リアルタイム分析モジュールは,画像データを分析し(例えば,画質評価,ベースコーリング等),ビームの特性をグラフィックユーザインターフェース(GUI)に報告又は表示するための,コンピュータ可読命令を実行する。これらの操作を撮像サイクルの間にリアルタイムで実行して,下流側での分析時間を最小化すると共に,リアルタイムでフィードバックを行い,かつ撮像ランの間におけるトラブルシューティングを可能とする。実施形態において,リアルタイム分析モジュール225は,撮像システム200に通信接続されて同システムを制御するためのコンピュータデバイス(例えば,コンピュータデバイス1000)で構成することができる。また,後述する実施形態において,アルタイム分析モジュール225は,カメラモジュール(CAM)220から受信した出力画像データにおける歪みを補正するためのコンピュータ可読命令を更に実行することができる。
図3は,本発明の実施形態に基づいて撮像することのできるパターン化試料300の一例
を示す。本例において,試料300は,撮像ランの間に同時に撮像可能なスポット又は特徴3
10の六角形アレーとしてパターン化される。図示例では六角形アレーとしているが,他の
実施形態において,試料は,直線的アレー,円形アレー,八角形アレー又は他のアレーパ
ターンとしてパターン化することができる。図示の簡略化のため,試料300は,数十ない
し数百のスポット310を有するものとして示されている。しかしながら,試料300が数千,
数百万,数十億のスポット310を有し得ることは,言うまでもない。更に,場合によって
は,試料は,撮像ランの間にサンプリングされるスポット310の多層面(合焦方向に対す
る垂直面)を含む多層面試料で構成することができる。
特定の実施形態において,試料300は,レーンに区分けされた数百万又は数十億のウェ
ルをもってパターン化されたフローセルで構成することができる。この特定の実施形態に
おいて,フローセルにおける各ウェルは,合成によるシーケンスを使用してシーケンス対
象の生物学的材料を含むことができる。
上述したように,光学歪みは,多数のスポットを有するパターン化試料300についての
マルチサイクル撮像において特に致命的である。光学歪みにより,走査画像におけるスポ
ットの実際の位置がスポットの予想位置からシフトするためである。歪み効果は,視野の
エッジ部に沿って特に顕著となり,これらスポットの撮像データを潜在的に使用不能とす
る。その結果,データスループットにおける欠落や,マルチサイクル撮像ランの間におけ
る誤差率の増大を生じさせかねない。以下に記載する実施形態は,撮像ラン(例えば,シ
ーケンスラン)の間に画像歪みを動的に補正し,これによりデータスループットを改善す
ると共に撮像ランの間における誤差率を低下させようとするものである。
図4は,本発明の開示に基づいて,撮像ランの間に画像歪みを動的に補正するために実
行することのできる例示的な方法400を示すフローチャートである。方法400は,その時々
において2チャンネル撮像システム(例えば,撮像システム200)と関連させて記載され
るが,方法400は任意数のチャンネル(例えば,1チャンネル,3チャンネル,4チャン
ネル等)を有する撮像システムにも適用することができる。
ステップ410において,パターン化試料のキャリブレーション撮像サイクルを実行する
。キャリブレーション撮像サイクルの間,画像データは,(例えば,ラインスキャナを使
用して)サンプルエリアを1つ又は複数のコヒーレント光源で操作することにより,試料
全体について収集する。例示として,撮像システム200は,赤色スペクトル域内の波長を
有する光で試料をライン走査すると共に,緑色スペクトル域内の波長を有する光で試料を
ライン走査するためのシステム光学系と連携するライン生成モジュール(LGM)210を
使用することができる。ライン走査に応じて,試料の異なるスポット上に位置する蛍光色
素が蛍光発光し,その光が対物レンズ235に集光され,CAM220のイメージセンサに入射
して蛍光を検出することができる。例えば,各スポットの蛍光は,CAM220の数ピクセ
ルにより検出することができる。CAM220からの画像データ出力は,画像歪み補正(例
えば,対物レンズ235のジオメトリから生じる画像歪みの補正)のために,リアルタイム
分析モジュール225に送信することができる。
各種の実施形態において,キャリブレーション撮像サイクルは,マルチサイクル撮像ラ
ンにおける最初の撮像サイクル(例えば,DNAシーケンスラン)とすることができる。
特に,撮像システムは,各撮像ランの開始の間に歪み補正係数を自動的に決定することが
できる。
ステップ430において,キャリブレーション撮像サイクルにより生成された画像データ
は,パターン化試料のそれぞれの領域に対応する複数の画像データサブセット(例えば,
タイル)に分割される。換言すれば,画像データサブセットは,1回の撮像サイクルの画
像データセットにおけるピクセルのサブセットを含む。図5は,スポットのアレーを有す
る試料(例えば,試料300)を撮像するためのNチャンネル撮像システムについて,撮像
データを複数の画僧データサブセットに分割する手法を視覚的に示す。説明の簡略化のた
め,図5において画像歪みは示されていない。図示のとおり,各チャンネルについて,画
像データは,試料の領域に対応する複数のタイル445又は画像データサブセットに分割さ
れる。各画像データサブセット自体は,試料上で予想位置から歪んだ複数の画像スポット
443(特に,タイルのエッジ部に沿う)を含む。例示として,2チャンネル撮像システム
についての画像データサブセットは,各チャンネルについての試料のそれぞれの領域に係
る画像データ(例えば,チャンネル1の頂部右側のタイル及びチャンネル2の頂部右側の
タイル)を含む。図5に示すように,画像データは,各色チャンネルについて28個のタ
イルに分割される。画像データを複数のタイル445に分割することにより,画像処理操作
の並行化が可能となる。更に,以下に記載するように,これにより試料の各領域について
,試料に局在する追加的な歪み(即ち,光学系によるものではない歪み)を補正するよう
な独立した歪み補正が可能となる。このような歪みは,フローセルのチルトにより,又は
フローセルの3D曲率,例えばバスタブ形状により誘起されるチルトにより導入され得る
ものである。
各種の実施形態において,画像データサブセットのサイズは,試料内又は試料上におけ
る撮像システムの視野内に基点マーカ又は基点を配置することにより決定することができ
る。画像データサブセットは,各画像データサブセット又はタイルのピクセルが所定数の
基点(例えば,少なくとも3個の基点,4個の基点,6個の基点,8個の基点等)を有す
るように分割することができる。例えば,画像データサブセットにおけるピクセルの総数
は,画像データサブセットの境界と基点との間の所定ピクセル距離に基づいて決定するこ
とができる。図7は,6個の基点510を含むタイル500を例示する。以下に記載するとおり
,これらの基点は,画像を整列させ,歪み係数を決定するための参照点として使用するこ
とができる。
ステップ450において,その特定の実施形態については更に後述するが,各画像データ
サブセットについて画像歪み補正係数セットを個別的に計算する。画像データサブセット
が多色チャンネルを含む場合,各色チャンネルについて別個の歪み補正係数セットを計算
することができる。これらの歪み補正係数セットは,キャリブレーション撮像サイクルに
おける画像データの歪みを補正するために適用することができる。
ステップ470において,パターン化試料についての次の撮像サイクルを実行して,新た
な画像データを生成する。ステップ490において,キャリブレーション撮像サイクルの間
に計算した歪み補正係数を現在の撮像サイクルの画像データに適用して歪みを補正する。
計算された歪み補正係数の各セットは,現在の撮像サイクルの画像データにおける対応す
るタイルに適用することができる。その後,ステップ470及び490は反復させることができ
る。このようにして,最初の撮像サイクルの間に計算された歪み補正係数を後続の撮像サ
イクルに適用して,画像データの異なるタイルにおける歪みを個別的に補正することがで
きる。
図6は,撮像システムにより生成された画像データについての歪み補正係数を計算する
ための例示的な方法450を示すフローチャートである。例示的な方法450は,画像データサ
ブセット445に適用するものとして示されているが,全画像データセット(即ち,試料全
体の画像データ)に適用できる点に特に留意されたい。
方法450は,撮像サイクルの間に生成された試料の領域に対応する画像データサブセッ
ト445を入力とし,後続の撮像サイクルの間に得られた試料の同一領域についての i)画
像データサブセット及び ii)画像データにおける歪みを補正するために適用すること
のできる多項式のための歪み補正係数468を出力するものである。画像データサブセット
が第1色チャンネルについての画像データと,第2色チャンネルについての画像データを
含む場合,歪み補正係数セットは,画像データサブセットの各色チャンネルについて生成
させることができる。方法450の実施形態を,主として2チャンネル画像データについて
の歪み補正係数の決定に関連させて記載するが,方法450は,任意数のチャンネルに対応
する画像データについての歪み補正係数の決定にも適用することができる点に留意された
い,多チャンネル撮像システムにおいて,ステップ451-452 及び 461-465は,各チャンネ
ルに対応する画像データについて個別に実行することができる点にも留意されたい。説明
を簡略化するため,これらのステップは,主として,単一チャンネルについて実行するか
のごとく記載する。説明を更に簡略化するため,方法450についての記載は,画像として
画像データサブセットに言及する。
ステップ451において,画像についてのアフィン変換を,画像基点を使用して予測する
。例えば,図7に示すように,ブルズアイリング形状の基点510(コントラストを強調す
るために暗い縁取りで包囲された光輪)を画像中に見出して,画像中におけるそれらの実
際の位置を決定することができる。一実施形態において,画像中における基点の位置は,
参照仮想基点との相互相関を行い,相互相関スコアが最大化される位置を取り出して見出
すことができる。相互相関は,離散関数についての相互相関方程式〔数1〕を使用して実
行することができる。
Figure 0006871970
ここに,画像中の基点と仮想基点とのフィットの良否は,スコアリング方程式(2)を使用
して計算することができる。
Score = 1 - (RunnerUp_CC - Minimum_CC) / (Maximum_CC - MInimum_CC) (2)
ここに,Minimum_CC は相互相関の最小値,Maximum_CC は相互相関の最大値,RunnerUp_C
C はMaximum_CCの位置から4ピクセルの半径の外側における最大の相互相関値である。基
点の位置を決定するための特定の方法は,米国特許公開第2015-0125053号明細書(米国特
許出願第14/530529号)に詳述されている。
基点の理論的な位置を既知とすれば(例えば,基点間に存在すべき等間隔スポットの個
数に基づいて),画像上における基点の実際の位置に対する理論的な位置を描くアフィン
変換を決定することができる。予測されたアフィン変換は,基点の予想位置からの並進,
回転及び拡大を描くことができる。
画像の理論的な位置x,y(即ち,基点のピクセルが実際の試料形態を使用してい
る場合)と,実際の画像の位置x,y((基点のピクセルが画像上で実際に現れる場
合)とを所与とすれば,アフィン変換は数学的に〔数2〕で表すことができる。
Figure 0006871970
ここに,1番目のマトリックスは並進マトリックス,2番目のマトリックスは画像点をx
方向に倍率s で,y方向に倍率 s で拡大する倍率マトリックス,3番目のマトリ
ックスは画像点をz軸(図縄稚,画像に対して垂直な焦点方向)周りで角度θだけ回転さ
せる回転マトリックスである。代替的に,アフィン変換は〔数3〕で表すこともできる。
Figure 0006871970
ここに,係数a11及びa23 は画像点のx及びy方向に沿う並進を表し,他の4つの係数
は画像点のスケーリング及び拡大の組み合わせを表す。画像上における3個の基点の実際
の位置(u1,v1(u2,v2),(u3,v3)と,3個の基点の理論的な位置(x1,y1
(x2,y2),(x3,y3)を所与とすれば,アフィン変換は〔数4〕を解くことによ
り予測することができる。
Figure 0006871970
〔数4〕を解くため,最小二乗式〔数5〕を解くことができる。
Figure 0006871970
6つの変数の各々に関して誤差関数の6つの偏微分を取り出し,この表現をゼロとすれば
,〔数6〕のマトリックスで表される6つの方程式が得られる。
Figure 0006871970
ステップ452において,画像を先鋭化する。例えば,画像は,ラプラス畳み込み又は他
の既知の画像先鋭化技術を使用して先鋭化することができる。
ステップ460において,画像における複数のスポットの平均純度を最大化する歪み補正
係数の反復探索を行う。各種の実施形態において,探索はパターン化された探索である。
代替的に,他の既知の探索アルゴリズムを適用することもできる。ステップ460における
手順は,以下に記載するとおりである。
ある実施形態において,探索アルゴリズムは,画像におけるスポットのサブサンプリン
グによって加速可能である。特に,その場合の2チャンネル実施形態において,サブサン
プリングは,幾つかの行における全てのスポットを含むものでなければならない。これは
,[off, off]の信号強度を有する信号の2チャンネル(2色)エンコーディング
(例えば,ベースコール)に固有の問題である。ベースコールの場合,「off」(ラベ
ル無し)クラスターとして指定されるガウスクラスターは,「on」として登録すること
ができる。代替的に,信号をクラスター(即ち,ウェル間のエリア)から抽出し,「of
f」信号として登録することもできる。この問題は,行内における全てのウェルにつき,
そして十分な数の行について,ガウスクラスターが純度費用関数を起動しないようにサン
プリングを行うことによって克服することができる。
ステップ461において,歪み補正係数セットを生成する。歪み補正係数は,画像の歪み
補正関数の多項式表示を提供するものである。位置実施形態において,歪み補正係数は,
二次多項式,三次多項式,四次多項式又は五次多項式,或いは更に高次の多項式に対応さ
せることができる。撮像システムがラインスキャナ―である場合,歪み補正は数学的に〔
数7〕で表すことができる。
Figure 0006871970
ここに,
Figure 0006871970
は,画像座標(x,y)の画像における歪み補正位置,a1・・a はn次多項式を記
述する歪み補正係数,c はxに係る画像における中心点であり,yはラインスキャナ
―の走査方向である。この実施形態において,y方向における歪みはx方向に関して測定
可能である。これは,最大歪みを有する寸法であるためである。(例えば,撮像要件によ
って)y方向における歪みが無視できる場合,その歪みは,dy=0 と仮定することがで
き,画像中の歪み補正位置は〔数8〕に簡略化することができる。
Figure 0006871970
一実施形態において,探索ステップ460は,探索の第1段階の間,歪み補正係数を0値
(即ち,画像に歪みがない)として開始させることができる。代替的に,探索を開始させ
るために事前に学習した係数値セットを使用することもできる。
ステップ462において,ステップ451において予測したアフィン変換を画像中のスポット
位置に適用する。例えば,アフィン変換を上述した〔数3〕に従って適用することができ
る。
ステップ463において,予測されたアフィン変換をスポット位置に適用した後,生成さ
れた歪み補正係数を画像中のスポット位置に適用する。例えば,歪みをラインスキャナ―
のために二次元的に補正する場合には,〔数7〕を適用することができる。代替的に,y
方向における歪みが無視し得る程度であれば,〔数8〕を適用することができる。
ステップ464において,画像中における各スポット位置について信号強度を抽出する。
例えば,所与のスポット位置につき,信号強度は,スポット位置におけるピクセルの強度
の重み付け平均値を決定することにより抽出することができる。例えば,中心のピクセル
及び隣接するピクセルの重み付け平均化は,バイリニア補間等として行うことができる。
一実施形態において,画像中における各スポット位置は,数個のピクセル(例えば,1個
〜5個のピクセル)を含むことができる。
任意的なステップ465において,抽出された信号強度を空間的に正規化して,サンプリ
ングされた画像における照度の変動を補償する。例えば,強度値は,5パーセンタイル及
び95パーセンタイルの値がそれぞれ0及び1となるように正規化することができる。
ステップ466において,画像についての正規化された信号強度(例えば,各チャンネル
についての)正規化された強度)は,画像中における複数のスポットの平均純度を計算す
るために使用することができる。平均純度を計算するための例示的な方法は,後述すると
おりである。
一実施形態において,ベースコーリングを行う2チャンネルシステムについて平均純度
を計算することができる。一般的に,ベースコーリングとは,上述したとおり,撮像サイ
クルの間に画像における所与のスポット位置についてベースコール(例えば,A,C,G
又はT)を決定するプロセスを指す。ベースコーリングは,強度データに数学的モデルを
割り当てることにより実行することができる。好適に使用することのできる数学的モデル
には,例えば,k−means−likeクラスタリングアルゴリズム,期待値最大化ク
ラスタリングアルゴリズム,ヒストグラム的方法等が含まれる。4通りのガウス分布を2
チャンネル強度データに適合させて,1つの分布をデータセットに示される4種のヌクレ
オチドのそれぞれに的お湯することができる。
特定の実施形態において,期待値最大化(EM)アルゴリズムを適用することができる
。EMアルゴリズムによれば,X,Y強度値の各々(それぞれ,2チャンネル強度値の各
々に対応する)につき,あるX,Y強度値がデータを適合させる4種のガウス分布の内の
1種に属する確率を表す値を生成することができる。4種の塩基が4種の別個の分布を与
える場合,各X,Y強度値は,それぞれ4種の塩基の各塩基に1種ずつ対応する4種の確
率値を有する。4種の確率値における最大の確率値が,ベースコールを示すものである。
図8に示すとおり,クラスターが両チャンネルにおいて「off」であれば,ベースコー
ルはGである。クラスターが一方のチャンネルで「off」,他方のチャンネルで「on
」であればベースコールはC又はTの何れかであり(どのチャンネルがonであるかによ
る),クラスターが両チャンネルにおいて「on」であればベースコールはAである。
より一般的に,任意チャンネル数のベースコール実施形態につき,所与の画像スポット
の純度は,少なくとも,それぞれのガウス分布中心に対するチャンネル強度点の距離を使
用して決定することができる。画像スポットの強度点が読み取られた塩基の分布中心によ
り近いほど,読み取られた塩基がより正確であり,純度値がより高いことを示す。4チャ
ンネル実施形態において,所与のスポットについてのベースコールの品質(即ち,純度値
)は,最も高い強度値をその最高値と2番目に高い強度値の和で除することにより表すこ
とができる。2チャンネル実施形態において,所与のデータ点についてのベースコールの
品質又は純度は,最も近い重心点までの距離を2番目に近い重心点までの距離で除するこ
とにより表すことができる。数学的に,2チャンネル実施形態における所与の点について
の純度は,(10)により表すことができる。
C=1.0−D1/(D1+D2) (10)
ここに,D1は最も近いガウス平均値までの距離であり,D2は2番目に近いガウス平均
値までの距離である。距離は,(各ガウス重心及び検討対象点で規定される線に沿う分布
幅を考慮する)マハラノビス法に基づいて測定することができる。
ステップ468において,探索460を反復すべきか否かを決定する。この決定は,各種の実
施形態において,平均純度決定値が最適な歪み補正係数セットに収束したか否か,探索46
0が所定回数だけ反復されたか否か,所定の平均純度値が計算されたか否か,又はこれら
の組み合わせに依存する。例えば,係数セットが全体的な平均純度を向上するものであれ
ば,これらの係数は,新たな係数セットの探索及びサンプリングの次の反復の開始点とな
り得る。特定の実施形態において,探索460は,数十回,数百回,又は数千回に亘って反
復することができる(パターン化探索の使用による)。
図9A及び図9Bは,それぞれ,フローセルを使用する2チャンネルシーケンス装置に
おける光学系用タイルセットのための歪み曲線群を例示するグラフである。図9Aは1つ
の装置からのデータに,そして図9Bは別の装置からのデータにそれぞれ対応し,装置毎
の可変性を示すものである。これらの曲線は,いずれも表面(番号1)及びレーン(番号
2)により得られたものである。プロットが示すように,歪みはフローセルのレーン及び
表面の両者により変化する。図9Cは,フローセルを使用する4チャンネルシーケンス装
置における単一の光学系用タイルのための2つの異なる色チャンネルに対応する4本の歪
み曲線を例示するグラフである。この場合,フローセルの異なる領域について,開示され
た実施形態に基づいて行われる独立した画像歪み補正(領域及び色チャンネルの両者によ
る)は,画質を更に改善するものである。
図10Aは,ラインスキャナを使用してシーケンスを行ったフローセルのスポットのう
ち,歪み補正を行わずに純度フィルタを通過してX軸に対する視野を横切って排出される
割合(%PF)を示す例示的な実験結果の箱ひげ図である。撮像サイクルの間に純度フィ
ルタリングを行って,「低画質」スポットからのデータを除外することができる。例えば
,スポットは,所定回数のシーケンスの後に所定の純度値を超えなければ,データ点とし
ては無視することができる。図10Aにおいて,サブタイルビン番号はタイル画像の中心
の対するスポットのx方向における距離を示す。所与のx方向について,結果はタイルの
全てのy方向(y方向は,走査方向である。)に亘って平均化した。図示のとおり,歪み
補正を行わなければ,タイルのエッジ部における少ない割合のスポットが純度フィルタを
通過し,これらスポットについてのデータは使用不能となった。図10Bは,シーケンス
を行ったフローセルのスポットのうち,歪み補正を行った後に純度フィルタを通過した割
合を示す例示的な実験結果の箱ひげ図である。図示のとおり,純度フィルタを通過したス
ポット数は,タイルのエッジ部に向けて劇的に改善された。
更なる実施形態において,光学歪みは,撮像システムにおける撮像レンズ(例えば,対
物レンズ)の光学設計を最適化することにより,撮像システム内において低減させること
ができる。光学レンズの設計は,レンズにより撮像された画像にたいして,少なくとも,
所定の画像歪み補正アルゴリズム(例えば,本願において開示される画像歪み補正アルゴ
リズム)を適用してレンズを調整することにより最適化することができる。例えば,画像
歪み補正アルゴリズムがレンズ内における0.2〜0.4ピクセルの歪みを想定する場合
,歪み無しとは対照的に,想定されるレベルの歪みを有するレンズを設計するのが有利で
あり得る。
図11は,撮像レンズ(例えば,対物レンズ)の設計最適化のために使用することのできる光学歪み補正係数を決定するための例示的な方法600を示すフローチャートである。方法600は,レンズの視野及びイメージセンサのピクセルサイズを入力とし,5次多項式のフィット位置から最大絶対光学歪み及び最大誤差を出力するものである。
ステップ610において,点拡がり関数の重心ベクトルを計算する。点拡がり関数のベク
トルは,最大歪み(DistMax)変数をゼロに初期化し,Dist>DistMax
である間に以下のステップを反復して計算することができる。
・視野高さFにおける近軸Y高さ(Yref)を計算する。
・ホイヘンス点拡がり関数の重心(Yreal)を計算する。
・歪みを計算する:Dist=100ABSO(Yreal−Yref)/Yref
・Yrealをベクトル(Vyreal)として保存し,Fをベクトル(VF)として
保存する。
ステップ620において,点拡がり関数の多項式フィットを計算する。多項式フィットは
,特定の実施形態において,VF及びVyrealの多項式フィットを,Vyreal=
a1F+a3F^3+a5F^5として計算することにより求めることができる。
ここに,a1は倍率,a3は3次係数,a5は5次係数である。
ステップ630において,各重心をフィット位置と比較することができる。この比較は,フィット位置からの最大誤差(ErrMax)をゼロに初期化し,Err>ErrMaxである間に以下のステップを反復して行うことができる。
・視野高さFの近軸Y高さ(Yref)を計算する。
・ホイヘンス点拡がり関数の重心(Yreal)を計算する。
・a1,a3,a5からの予想される重心位置(Yexp)を計算する。
・誤差をErr=abs(Yexp−Yreal)/Spixとして計算し,ここにSpixはイメージセンサのピクセルサイズである。
この例では,ステップ640において,少なくとも,フィット位置からの決定された最大
誤差及び決定された最大絶対歪みを使用してレンズ設計を最適化することができる。一実
施形態において,この最適化は,決定された最大誤差,決定された最大絶対及び波面誤差
の歪み根二乗和(rss)を求める最小二乗最小化技術に基づくものとすることができる
図12は,歪み補正のために5次多項式を適用した後,視野を横切るピクセル中に残留
する光学歪みを例示する残留歪みプロットである。
図13は,本願に開示する実施形態における各種の特徴,例えば前述した方法400及び5
00における1つ又は複数の態様の特徴及び機能を実行するために使用することのできる計
算モジュールを例示するブロック図である。例えば,計算部品は,リアルタイム分析モジ
ュール225として構成することができる。
本明細書において,「モジュール」とは,本願の1つ又は複数の実施形態において実行
可能な所与の機能ユニットを記述する用語である。本明細書において,モジュールは,任
意形式のハードウェア,ソフトウェア,又はこれらの組み合わせとして構成することがで
きる。例えば,1つ又は複数のプロセッサ,コントローラ,ASIC,PLA,PAL,
CPLD,FPGA,論理素子,ソフトウェアルーチン又は他の機構を使用してモジュー
ルを構成することができる。実施に際して,本明細書に開示する各種モジュールは離散的
なモジュールとして構成することができ,記載した機能及び特徴を1つ又は複数のモジュ
ールにおいて部分的又は全面的に共有させることもできる。換言すれば,本明細書を読了
した当業者には明らかなことであるが,本願において開示される各種の特徴及び機能は,
任意のアプリケーションについて実行可能であり,各種の組み合わせ及び順列における1
つ又は複数の別個の,又は共有型モジュールにおいて実行可能である。機能の各種特徴又
は素子を別個のモジュールとして個別的に記載される場合があるが,これらの特徴及び機
能を1つ又は複数の共通ソフトウェア及びハードウェア素子間で共有することができ,か
かる記載は当該特徴及び機能を実行するために別個のソフトウェア又はハードウェア素子
を要求し,又は示唆するものでないことは,言うまでもない。
アプリケーションの部品又はモジュールが全体的又は部分的にソフトウェアを使用する
ものである場合,一実施形態において,これらのソフトウェア素子は,関連して記載され
た機能を実行するためのコンピュータ又はプロセッサモジュールと協働するように構成す
ることができる。そのようなコンピュータモジュールの一例を図13に示す。各種の実施
形態は,この例示的なコンピュータモジュール1000との関連で記載されるものである。他
のコンピュータモジュール又はアーキテクチャを使用してアプリケーションを実行する態
様は,本明細書を読了した当業者は明らかなことである。
図13を参照すれば,コンピュータモジュール1000とは,例えば,デスクトップ,ラッ
プトップ,ノートブック及びタブレット型コンピュータ装置,ハンドヘルドコンピュータ
装置(タブレット,PDA,スマートフォン,セルフォン,パームトップ等),メインフ
レーム,スーパーコンピュータ,ワークステーション又はサーバ,或いは所与のアプリケ
ーション又は環境について望ましい,又は適切な任意形式の特定用途用又は汎用コンピュ
ータ装置におけるコンピュータ機能又はプロセッサ機能を指す。コンピュータモジュール
1000とは,所定の装置においてエンベッドされ,又は利用可能とされたコンピュータ機能
も指す。例えば,コンピュータモジュールは,他の電子機器,例えばデジタルカメラ,ナ
ビゲーションシステム,セルフォン,ポータブルコンピュータ装置,モデム,ルータ,W
AP,ターミナル及び何らかの形式のプロセッサ能力を有するその他の電子機器で構成す
ることもできる。
コンピュータモジュール1000は,例えば,1つ又は複数のプロセッサ,コントローラ,
制御モジュール又は他のプロセッサ,例えばプロセッサ1004を含むことができる。プロセ
ッサ1004は,汎用又は特定アプリケーション用のプロセッサエンジン,例えばマイクロプ
ロセッサ,コントローラ又はその他の制御ロジックで構成することができる。図示の実施
形態において,プロセッサ1004はバス1002に接続されているが,制御モジュール1000にお
ける他の部品との相互作用を容易とし,又は外部との通信のために任意の通信媒体を使用
することもできる。
コンピュータモジュール1000は,本明細書において単にメインメモリ1008と称される1つ又は複数のメモリーモジュールを含むことができる。例えば,好適には,ランダムアクセスメモリー(RAM)又はその他のダイナミックメモリーを使用して,プロセッサ1004において実行される情報及び命令を保存することができる。メインメモリー1008は,プロセッサ1004により実行すべき命令を実行している間に一時的変数又は中間的情報を保存するために使用することもできる。同様に,コンピュータモジュール1000も,バス1002に接続されてプロセッサ1004用の情報及び命令を保存するための読み出し専用メモリー(ROM)又はその他の静的保存デバイスを含むことができる。
コンピュータモジュール1000は,1つ又は複数の各種形式の情報保存機構1010を含み,
該機構が,例えば,メディアドライブ1012及び保存ユニットインターフェース1020を含む
構成とすることができる。メディアドライブ1012は,固定型又は着脱型保存媒体1014をサ
ポートするドライブ又は他の機構を含むことができる。例えば,ハードディスクドライブ
,ソリッドステートドライブ,磁気テープドライブ,光ディスクドライブ,CD又はDV
Dドライブ(R又はRW),或いは他の固定型又は着脱型メディアドライブを設けても良
い。即ち,保存媒体1014は,例えば,メディアドライブ1012により読み取り,書き込み又
はアクセス可能なハードディスク,ソリッドステートドライブ,磁気テープ,カートリッ
ジ,光ディスク,CD,DVD,ブルーレイ,或いは他の固定型又は着脱型メディアを含
むことができる。これらの何れも,保存媒体1014が,コンピュータソフトウェア又はデー
タを保存したコンピュータ可用保存媒体を含み得ることを示すものである。
代替的な実施形態において,情報保存機構1010は,コンピュータモジュール1000にコン
ピュータプログラム,他の命令,又は他のデータのローディングを行うための他の類似手
段を含むことができる。このような手段には,例えば,固定型又は着脱型の保存ユニット
1022及びインターフェース1020が含まれる。このような保存ユニット1022及びインターフ
ェース1020の例には,ソフトウェア及びデータを保存ユニット1022からコンピュータモジ
ュール1000に転送可能とするプログラムカートリッジ及びカートリッジインターフェース
,着脱型メモリー(例えば,フラッシュメモリー又は着脱型メモリーモジュール)及びメ
モリースロット,PCMCIAスロット及びカード,並びにその他の固定型又は着脱型の
保存ユニット1022及びインターフェースが含まれる。
コンピュータモジュール1000は,通信インターフェース1024を含むことができる。通信
インターフェース1024は,ソフトウェア及びデータをコンピュータモジュール1000と外部
デバイスとの間で転送可能とするように使用することができる。通信インターフェース10
24には,モデム又はソフトモデム,ネットワークインターフェース(例えば,イーサネッ
ト,ネットワークインターフェースカード,WiMedia,IEEE802.XX,又
は他のインターフェース),通信ポート(例えば,USBポート,赤外線ポート,RS2
32ポート,ブルートゥース(登録商標)インターフェース,或いはその他のポート)が
含まれる。通信インターフェース1024を介して転送されるソフトウェア及びデータは,典
型的には,電子信号,電磁信号(光学的信号も含む),又は所定の通信インターフェース
1024により交換可能なその他の信号により搬送することができる。これらの信号は,チャ
ンネル1028を介して通信インターフェース1024に供給することができる。このチャンネル
1028は,信号を搬送することができ,有線又はワイヤレスの通信媒体を使用して構成する
ことができる。幾つかの例において,チャンネルは,例えば,電話回線,セルリンク,R
Fリンク,オプティカルリンク,ネットワークインターフェース,LAN又はWAN,或
いはその他の有線又はワイヤレス通信チャンネルを含むことができる。
本明細書において,「コンピュータ可読媒体」,「コンピュータ可用媒体」及び「コン
ピュータプログラム媒体」とは,一般的に,揮発性又は不揮発性の非一時的媒体を指す。
これには,例えば,メモリー1008,記憶ユニット1022及び媒体1014が含まれる。これらの
,及びその他の各種形態のコンピュータプログラム媒体及びコンピュータ可用媒体は,1
つ又は複数の命令における1つ又は複数の手順をプロセッサ装置まで担持して実行させる
ために使用することができる。媒体上に保存された命令は,一般的に,「コンピュータプ
ログラムコード」又は「コンピュータ製品」(コンピュータプログラム又はその他のグル
ープとしてグループ化されることがある。)と称される。実行すると,このような命令は
,コンピュータモジュール1000により本明細書に開示する発明の機能又は特徴を発揮させ
る。
以上においては,本発明を各種の実施形態及び実施例について記載したが,1つ又は複
数の個別的な実施形態における特徴,態様及び機能は,これらについて記載した特定の実
施形態にその可用性が限定されるものではなく,単独で,又は組合わせて,1つ又は複数
の他の実施形態にも適用可能であり,当該他の実施形態が記載されているか否かを問わず
,また,当該特徴が,記載された実施形態の一部として提示されているか否かを問うもの
ではない。そして,本発明の保護範囲は上述した例示的な実施形態により限定されるもの
ではない。
上述した概念の全ての組み合わせ(互いに排他的でない限り)は,本願において開示さ
れた発明の一部と解すべきである。特に,特許請求の範囲に記載された主題の全ての組み
合わせは,本願において開示された発明の一部と解すべきである。
本明細書及び特許請求の範囲において,「実質的に」及び「約」とは,例えば処理に際しての変動に起因する僅かなバラツキを含ませる意図で使用する用語である。これらの用語は,例えば,±5%以内,±2%以内,±1%以内,±0.5%以内,±0.2%以内,±0.1%以内又は±0.05%以内を指すことがある
本明細書において,「第1」,「第2」,「第3」等は,単に別個の客体を指すために
使用する用語であり,特に明記しない限り,経時的な順序を含意するものでない。
本願における用語及び語句は,特に明記しない限り,開放的であって閉鎖的ではない。
例えば,「含む」とは,「含むが,限定されるものではない」ことを意味する。「例」と
は,論じている客体の例示列挙を意味し,限定列挙ではない。「ある」又は「1つの」と
は,「少なくとも1つ」或いは「1つ又は複数」を意味する。また,「従来の」,「伝統
的な」,「通常の」,「標準的な」,「既知の」等の用語は,記載される客体を所定の時
点におけるものに限定する趣旨ではなく,現時点において,或いは将来の時点において公
知であって利用可能な,従来の,伝統的な,通常の,又は標準的な客体を含むものと解す
べきである。同様に,当業者にとって明白な,又は既知の技術に言及する場合,そのよう
な技術は,現時点において,或いは将来の時点において当業者にとって明白又は公知とな
る技術を含むものである。
「1つ又は複数の」,「少なくとも」又は「限定されるものではない」等の拡張的語句
は,そのような語句がない場合に想定される事項のみに狭義解釈すべきでないことを意味
する。「モジュール」とは,その一部として記載された構成部品又は機能の全てが共通パ
ッケージとして構成されることを意味するものではない。実際,モジュールにおける各種
構成部品は,制御ロジックであるか否か,又はその他の構成部品であるか否かを問わず,
単一パッケージとして,又は個別に保守できるものであり,複数のグループ又はパッケー
ジに,或いは複数の位置に対して横断的に組み合わせ得るものである。
更に,本願において開示される各種実施形態は,例示的なブロック図やフローチャート
等に関連して記載したものである。本明細書を読了した当業者には明らかであるが,図示
の実施形態及び各種変形例は,図示例に限定されずに実施し得るものである。例えば,ブ
ロック線図及びその関連記載は,特定の構造又は形態を必須とするものではない。
以上,本発明の各種実施形態について記載したが,これは単に例示としての提示に過ぎ
ず,限定的なものではない。同様に,各種の線図は構造形態を例示するものであり,本願
において含むことのできる特徴及び機能の理解に資するものとして提示するものである。
本願の開示は,図示例の構造形態に限定されるものではなく,所望の機能は,各種の変形
的な構造又は形態によって具現することができる。実際,代替となり得る機能的,論理的
又は物理的な区分又は形態を,本願において開示する発明の機能を発揮させるために採択
し得ることは,当業者において明白である。また,本願において開示する以外の複数の異
なる構成モジュールを各種区分に適用することができる。更に,フローチャート,操作関
連の記載,又は方法関連の請求項に関して,ステップを提示した順序は,特に明記しない
限り,言及された機能を同一の順序で実施する必要があることを意味するものではない。

Claims (16)

  1. シーケンスのための方法であって、
    1つ以上の試料が結合された基板に対して第1撮像サイクルを実行するステップであって、該第1撮像サイクルが、
    第1の検出可能な要素を有する前記1つ以上の試料を前記基板に接触させることと、
    少なくとも部分的に、前記第1の検出可能な要素を用いて、前記基板の一部分を撮像システムで撮像して1つ以上の光学的信号を検出することと
    第2の検出可能な要素を有する前記1つ以上の試料を前記基板に接触させることと、
    少なくとも部分的に、前記第2の検出可能な要素を用いて、前記基板の前記一部分を前記撮像システムで撮像して1つ以上の光学的信号を検出することとを含み、前記第1の検出可能な要素は第1の蛍光タグ付けされた核酸であり、前記第2の検出可能な要素は第2の蛍光タグ付けされた核酸であり、前記第1の蛍光タグ付けされた核酸と前記第2の蛍光タグ付けされた核酸とが異なるステップと
    少なくとも部分的に、前記第1撮像サイクルにおける前記基板の前記撮像した部分毎の1つ以上の補正係数を用いて、前記第1撮像サイクルにおける前記基板の前記撮像した部分毎に、前記1つ以上の光学的信号を変換するステップであって、前記基板の前記撮像した部分毎の前記1つ以上の補正係数は、前記撮像した部分の各々の画像のアフィン変換を予測し、前記撮像した部分の各々の画像を尖鋭化し、少なくとも、前記撮像した部分の各々の画像中の複数のスポット位置の各々から抽出した信号強度を用いて、前記尖鋭化した画像について最適な歪み補正係数セットを反復探索することに基づいて決定されるステップと、
    前記1つ以上の補正係数を用いて、前記基板に取り付けられた前記1つ以上の試料のシーケンスを、複数の検出可能なラベルを用いて行うステップと
    を含む方法。
  2. 請求項1に記載の方法であって、前記1つ以上の試料が1つ以上の核酸塩基配列である方法。
  3. 請求項1に記載の方法であって、前記検出可能な要素が、蛍光タグ付けされた核酸である方法。
  4. 請求項1に記載の方法であって、前記1つ以上の光学的信号を変換するステップが、少なくとも部分的に、第1要素の画像上の実際の位置に対する該第1要素の理論的な位置を用いる方法。
  5. 請求項4に記載の方法であって、前記第1要素が基点である方法。
  6. 請求項1に記載の方法であって、前記スポット位置のサイズが5ピクセル未満である方法。
  7. 請求項1に記載の方法であって、前記スポット位置のサイズが1ピクセル〜5ピクセルである方法。
  8. 請求項1に記載の方法であって、前記1つ以上の補正係数を、前記予測したアフィン変換を用いて計算する方法。
  9. 請求項8に記載の方法であって、前記予測したアフィン変換は、少なくも部分的に、基点の画像上の実際の位置に対する該基点の理論的な位置を用いて予測したアフィン変換である方法。
  10. 請求項1に記載の方法であって、前記第1の蛍光付けされた核酸が第1色チャンネルで発光し、前記第2の蛍光付けされた核酸が第2色チャンネルで発光する方法。
  11. シーケンスのためのシステムであって、
    基板の1つ以上の部分を撮像する撮像システムと、
    処理システムとを具えたシステムにおいて、該処理システムは、
    前記撮像システムが、前記基板の一部分に結合された1つ以上の試料の検出可能な要素から発光する1つ以上の光学的信号を検出する第1撮像サイクルを開始し、
    少なくとも部分的に、前記第1撮像サイクルにおける前記基板の前記撮像した部分毎の1つ以上の補正係数を用いて、前記基板の前記撮像した部分毎に、前記1つ以上の光学的信号を変換するように構成され、
    前記第1撮像サイクルは、
    第1の検出可能な要素を有する前記1つ以上の試料を前記基板に接触させることと、
    少なくとも部分的に、前記第1の検出可能な要素を用いて、前記基板の一部分を前記撮像システムで撮像して1つ以上の光学的信号を検出することと、
    第2の検出可能な要素を有する前記1つ以上の試料を前記基板に接触させることと、
    少なくとも部分的に、前記第2の検出可能な要素を用いて、前記基板の前記一部分を前記撮像システムで撮像して1つ以上の光学的信号を検出することとを含み、
    前記第1の検出可能な要素は第1の蛍光タグ付けされた核酸であり、前記第2の検出可能な要素は第2の蛍光タグ付けされた核酸であり、前記第1の蛍光タグ付けされた核酸と前記第2の蛍光タグ付けされた核酸とが異なり、
    前記基板の前記撮像した部分毎の前記1つ以上の補正係数は、前記撮像した部分の各々の画像のアフィン変換を予測し、前記撮像した部分の画像の各々を尖鋭化し、少なくとも、前記撮像した部分の各々の画像中の複数のスポット位置の各々から抽出した信号強度を用いて、前記尖鋭化した画像について最適な歪み補正係数セットを反復探索することに基づいて決定されるシステム。
  12. 請求項11に記載のシステムであって、前記1つ以上の試料が1つ以上の核酸塩基配列であるシステム。
  13. 請求項11に記載のシステムであって、前記検出可能な要素が、蛍光タグ付けされた核酸であるシステム。
  14. 請求項11に記載のシステムであって、前記1つ以上の光学的信号を変換することが、少なくとも部分的に、第1要素の画像上の実際の位置に対する該第1要素の理論的な位置を用いるシステム。
  15. 請求項14に記載のシステムであって、前記第1要素が基点であるシステム。
  16. 請求項11に記載のシステムであって、前記スポット位置のサイズが5ピクセル未満であるシステム。
JP2019095280A 2017-03-07 2019-05-21 撮像試料用の光学歪み補正 Active JP6871970B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762468347P 2017-03-07 2017-03-07
US62/468347 2017-03-07
NL2018852A NL2018852B1 (en) 2017-05-05 2017-05-05 Optical distortion correction for imaged samples
NLN2018852 2017-05-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018032025A Division JP6563539B2 (ja) 2017-03-07 2018-02-26 撮像試料用の光学歪み補正

Publications (2)

Publication Number Publication Date
JP2019169176A JP2019169176A (ja) 2019-10-03
JP6871970B2 true JP6871970B2 (ja) 2021-05-19

Family

ID=59521607

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018032025A Active JP6563539B2 (ja) 2017-03-07 2018-02-26 撮像試料用の光学歪み補正
JP2019095280A Active JP6871970B2 (ja) 2017-03-07 2019-05-21 撮像試料用の光学歪み補正

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018032025A Active JP6563539B2 (ja) 2017-03-07 2018-02-26 撮像試料用の光学歪み補正

Country Status (15)

Country Link
US (5) US10152776B2 (ja)
EP (2) EP3373238B1 (ja)
JP (2) JP6563539B2 (ja)
KR (2) KR102072232B1 (ja)
CN (2) CN108573468B (ja)
AU (1) AU2018201352B2 (ja)
BR (1) BR102018004557A2 (ja)
CA (2) CA2996541C (ja)
ES (1) ES2948760T3 (ja)
IL (1) IL257826B (ja)
NL (1) NL2018852B1 (ja)
NZ (1) NZ740201A (ja)
SA (1) SA118390405B1 (ja)
SG (2) SG10202002144PA (ja)
TW (2) TWI685653B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062400B (zh) * 2018-10-16 2024-04-30 浙江宇视科技有限公司 目标匹配方法及装置
CN111351794B (zh) * 2018-12-20 2021-12-10 上海微电子装备(集团)股份有限公司 一种物体表面检测装置及检测方法
EP4321922A2 (en) * 2019-01-28 2024-02-14 The General Hospital Corporation Speckle-based image distortion correction for laser scanning microscopy
US11347965B2 (en) 2019-03-21 2022-05-31 Illumina, Inc. Training data generation for artificial intelligence-based sequencing
NL2023314B1 (en) * 2019-03-21 2020-09-28 Illumina Inc Artificial intelligence-based quality scoring
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
WO2020191387A1 (en) * 2019-03-21 2020-09-24 Illumina, Inc. Artificial intelligence-based base calling
NL2023316B1 (en) * 2019-03-21 2020-09-28 Illumina Inc Artificial intelligence-based sequencing
US11593649B2 (en) 2019-05-16 2023-02-28 Illumina, Inc. Base calling using convolutions
WO2021102005A1 (en) * 2019-11-22 2021-05-27 10X Genomics, Inc. Systems and methods for spatial analysis of analytes using fiducial alignment
IL295560A (en) 2020-02-20 2022-10-01 Illumina Inc An artificial intelligence-based many-to-many base reader
US11188778B1 (en) * 2020-05-05 2021-11-30 Illumina, Inc. Equalization-based image processing and spatial crosstalk attenuator
US11443411B2 (en) 2020-07-08 2022-09-13 Nxp Usa, Inc. Method and system for image distortion correction using quarter and tangential lookup tables
US11200446B1 (en) 2020-08-31 2021-12-14 Element Biosciences, Inc. Single-pass primary analysis
US11361194B2 (en) 2020-10-27 2022-06-14 Illumina, Inc. Systems and methods for per-cluster intensity correction and base calling
CN112489115B (zh) * 2020-11-27 2023-09-08 杭州海康威视数字技术股份有限公司 发光模块定位方法、装置、电子设备、存储介质及系统
CN116745598A (zh) * 2021-01-25 2023-09-12 纳恩泰株式会社 使用多通道样本薄片的微粒计数方法及实现其的微粒计数设备
WO2022197754A1 (en) * 2021-03-16 2022-09-22 Illumina Software, Inc. Neural network parameter quantization for base calling
US20220336054A1 (en) 2021-04-15 2022-10-20 Illumina, Inc. Deep Convolutional Neural Networks to Predict Variant Pathogenicity using Three-Dimensional (3D) Protein Structures
WO2022269033A1 (en) * 2021-06-25 2022-12-29 Illumina Cambridge Limited Linear fourier fiducial
US11455487B1 (en) 2021-10-26 2022-09-27 Illumina Software, Inc. Intensity extraction and crosstalk attenuation using interpolation and adaptation for base calling
US20230296516A1 (en) 2022-02-17 2023-09-21 Illumina, Inc. Ai-driven signal enhancement of sequencing images
WO2023158809A1 (en) 2022-02-17 2023-08-24 Illumina, Inc. Ai-driven enhancement of motion blurred sequencing images
WO2023239917A1 (en) * 2022-06-09 2023-12-14 Illumina, Inc. Dependence of base calling on flow cell tilt
CN115242985B (zh) * 2022-07-08 2024-05-03 苏州华星光电技术有限公司 摄像装置校正方法和摄像装置校正装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671623B1 (en) 1999-10-15 2003-12-30 Schlumberger Technology Corporation Methods and system for characterizing the response of subsurface measurements to determine wellbore and formation characteristics
JP4278800B2 (ja) * 1999-10-27 2009-06-17 株式会社ミツトヨ 撮像空間の幾何学的歪み解消方法
US20040146917A1 (en) * 2001-08-03 2004-07-29 Nanosphere, Inc. Nanoparticle imaging system and method
JP4280720B2 (ja) * 2002-02-14 2009-06-17 日本碍子株式会社 試料解析装置および試料解析方法
US7339661B2 (en) * 2002-09-30 2008-03-04 Doron Korngut Dark field inspection system
WO2008067552A2 (en) * 2006-11-30 2008-06-05 Fluidigm Corporation Method and apparatus for biological sample analysis
US8289430B2 (en) * 2007-02-09 2012-10-16 Gentex Corporation High dynamic range imaging device
US8186909B2 (en) 2008-02-26 2012-05-29 Artificial Sea-Mount Institute Corporation Artificial sea mount
JP5415176B2 (ja) 2009-08-06 2014-02-12 株式会社マキタ スイッチ
KR101569835B1 (ko) * 2009-10-06 2015-11-17 삼성전자주식회사 스캐닝 이미지의 왜곡 보정 방법
US8965076B2 (en) * 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
JP2011182705A (ja) * 2010-03-09 2011-09-22 Toray Ind Inc Dnaチップ解析方法および解析装置
JP5817378B2 (ja) 2011-01-28 2015-11-18 東レ株式会社 マイクロアレイの解析方法および読取り装置
WO2012170936A2 (en) 2011-06-09 2012-12-13 Illumina, Inc. Patterned flow-cells useful for nucleic acid analysis
WO2013051147A1 (ja) * 2011-10-07 2013-04-11 キヤノン株式会社 画像取得装置の調整方法、画像取得装置および画像取得装置の製造方法
KR102019534B1 (ko) * 2013-02-01 2019-09-09 케이엘에이 코포레이션 결함 특유의, 다중 채널 정보를 이용한 웨이퍼 상의 결함 검출
CN103116889A (zh) * 2013-02-05 2013-05-22 海信集团有限公司 一种定位方法及电子设备
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
US20160003375A1 (en) 2014-07-01 2016-01-07 Roy Lee Robertson, Jr. Versatile hanging system for roof support systems
JP2016033620A (ja) * 2014-07-31 2016-03-10 キヤノン株式会社 画像取得装置
WO2016033207A1 (en) 2014-08-27 2016-03-03 Pacific Biosciences Of California, Inc. Arrays of integrated analyitcal devices
US9897791B2 (en) 2014-10-16 2018-02-20 Illumina, Inc. Optical scanning systems for in situ genetic analysis

Also Published As

Publication number Publication date
US11816816B2 (en) 2023-11-14
NL2018852B1 (en) 2018-11-14
TW202014696A (zh) 2020-04-16
JP2019169176A (ja) 2019-10-03
KR20200012006A (ko) 2020-02-04
CA2996541C (en) 2022-01-04
EP3373238A1 (en) 2018-09-12
CN111652797A (zh) 2020-09-11
IL257826B (en) 2020-02-27
KR20180102509A (ko) 2018-09-17
AU2018201352A1 (en) 2018-09-27
US20240029217A1 (en) 2024-01-25
KR102455926B1 (ko) 2022-10-17
US11568522B2 (en) 2023-01-31
ES2948760T3 (es) 2023-09-18
JP6563539B2 (ja) 2019-08-21
EP4187234A1 (en) 2023-05-31
SG10201801648VA (en) 2018-10-30
KR102072232B1 (ko) 2020-01-31
SA118390405B1 (ar) 2021-04-14
JP2018173943A (ja) 2018-11-08
US20180260940A1 (en) 2018-09-13
CA3139142A1 (en) 2018-09-07
SG10202002144PA (en) 2020-05-28
CN108573468A (zh) 2018-09-25
US20190087948A1 (en) 2019-03-21
BR102018004557A2 (pt) 2018-12-04
CA3139142C (en) 2023-01-10
AU2018201352B2 (en) 2019-05-02
IL257826A (en) 2018-04-30
CA2996541A1 (en) 2018-09-07
CN108573468B (zh) 2020-06-09
US10152776B2 (en) 2018-12-11
TWI728645B (zh) 2021-05-21
EP3373238B1 (en) 2023-04-05
NZ752391A (en) 2020-09-25
TWI685653B (zh) 2020-02-21
US10909666B2 (en) 2021-02-02
TW201842322A (zh) 2018-12-01
NZ740201A (en) 2019-09-27
US20210224961A1 (en) 2021-07-22
US20230131965A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP6871970B2 (ja) 撮像試料用の光学歪み補正
US11422351B2 (en) Real-time autofocus scanning
CN110140129A (zh) 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
CN111323397A (zh) 光学成像系统、成像检测系统与方法及基因测序方法
NZ752391B2 (en) Optical distortion correction for imaged samples

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210416

R150 Certificate of patent or registration of utility model

Ref document number: 6871970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250