JP5726284B2 - 生体試料の光学セグメンテーション方法及び装置 - Google Patents

生体試料の光学セグメンテーション方法及び装置 Download PDF

Info

Publication number
JP5726284B2
JP5726284B2 JP2013501212A JP2013501212A JP5726284B2 JP 5726284 B2 JP5726284 B2 JP 5726284B2 JP 2013501212 A JP2013501212 A JP 2013501212A JP 2013501212 A JP2013501212 A JP 2013501212A JP 5726284 B2 JP5726284 B2 JP 5726284B2
Authority
JP
Japan
Prior art keywords
image
biological sample
fluorescence
light
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013501212A
Other languages
English (en)
Other versions
JP2013524261A (ja
JP2013524261A5 (ja
Inventor
フィルキンス,ロバート
タシミ,クレナー
カシュフ,バーマン・イー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2013524261A publication Critical patent/JP2013524261A/ja
Publication of JP2013524261A5 publication Critical patent/JP2013524261A5/ja
Application granted granted Critical
Publication of JP5726284B2 publication Critical patent/JP5726284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は生体試料の光学セグメンテーション方法及び装置に関する。
分子病理学のための一般的な蛍光撮像法では、異的タンパク又は細胞内コンパートメント標識するために染料が使用される。多くの場合、最も関心のあるタンパクは、低レベルで発現ししかも撮像用の蛍光リポーター励起に発現され、組織切片などの生体試料全体が照明され、目標の関心領域外での内在源又は非特異的結合に起因する蛍光発光を生じる。余計な発光源は雑音信号であり、低発現タンパクを正確に定量化するには、一般に、後処理法によって除去又は排除なければならない。
構造化照明顕微鏡法(SIM)は、そのような後処理法を伴う撮像技術であり、関心のある特異的細胞領域の照明及び解像度の空間的制御ができるように照明パターン又はマスクを使用する。この方法は、自己蛍光低減、拡張ダイナミックレンジ撮像及び光学的深さセクショニングのような用途に使用される。
国際公開第2008/145720号
しかし、画像取得自体の間に、関心のある特異的領域を目標とするために或いはコントラスト及び信号対雑音比を局所的に向上させるために使用することができる方法必要とされている。リアルタイムSIMプロセスは、後続の照明パターンを調整するために組織画像の前の情報又は特異的特徴を使用して試料の蛍光励起及び解析の効率又は特異性を向上させることができる。しかし、これを達成するには、プロセスにおいて、取得され画像照明マスクとを位置合わせして、後続の画像取得の際に照明マスクを試料に正確に重ねることができるようにする必要がある。
本発明は、光学セグメンテーションを用いた生体試料中のタンパク発現及び場所の撮像に関する。
したがって、本発明の一実施形態は、固体支持体に配置され、蛍光顕微鏡に取り付けられた生体試料の光学セグメンテーションのための方法を包含する方法は、光源から所定の波長の光を生体試料に送るステップであってその光によって生体試料から蛍光を発光せしめるステップと、画像取込デバイスを使用して生体試料の蛍光画像を取得するステップと生体試料中の特異的構造に対応するマスキングパターンを生成するために、少なくとも部分的に特徴情報又は画素強度情報を利用して蛍光画像を解析するステップと、画像取込デバイスの画像をデジタルマイクロミラーデバイス(DMD)の空間座標に位置合わせするために、マスキングパターンを再構成マスキングパターンに変換するステップと、光源と生体試料との間に配置されたデジタルマイクロミラーデバイス(DMD)を使用して、再構成マスキングパターンを生体試料に投影するステップであって、構成マスク化パターンが生体試料と位置合わせされるステップと、生体試料のマスク化蛍光画像を画像取込デバイスで取得するステップと、マスク化蛍光画像をデジタル画像に転換するステップとを含む。
別の実施形態では、本発明は、固体支持体に配置された生体試料の光学セグメンテーションのための画像解析システムを含む。画像解析システムは、生体試料を取り付けるためのステージを有する蛍光顕微鏡と、生体試料を照明するための光源であって、光が光顕微鏡の開口を通って生体試料へと導かれるように配置された光源と、光源と蛍光顕微鏡の開口との間に配置されるデジタルマイクロミラーデバイス(DMD)と、蛍光顕微鏡に取り付けられ、生体試料の蛍光画像を取得するように構成された画像取込デバイスと、デジタル光プロセッサとを備える。デジタル光プロセッサは、画像取込デバイスからの蛍光画像を受け取り、生体試料中の特異的構造に対応するマスキングパターンを生成するために、少なくとも部分的に特徴情報又は画素強度情報を利用して蛍光画像を解析し、画像取込デバイスの画像をDMDの空間座標に位置合わせするために、マスキングパターンを再構成マスキングパターンに変換るように構成される。
本発明の上記その他の特徴、態様び利点については、図面と併せて以下の詳細な説明を参照することによって理解を深めることができるであろう。図面を通して、同様の部分には同様の符号を付した。
「オン」及び「オフ」状態マイクロミラー表面に入射する光を示すDMD動作の概略図である。 誘導DMDデバイスを用いる照明システムを通しての照明経路を示す概略図である。 カメラ座標をDMDの座標にマッピングするためのパラメータを解くのに用いることができる1つの較正ルーチンを示す流れ図である。 DLP座標に一致させためうにカメラ画像を較正するのに使用される目標DMD画像の顕微鏡写である。 ハニング窓を乗算した後のカメラ画像及びDMD画像の顕微鏡写である。 DMD画像(A)及びカメラ画像(B)のフーリエ変換の大きさの対数極座標変換の顕微鏡写である。 赤血球が飽和を引き起こす300ms露光時間で撮像した均一照明の前立腺試料の顕微鏡写である。 前に飽和した領域の励起を低減する照明マスクを使用して、900ms露光時間で撮像した前立腺試料の顕微鏡写である。 APIチャネルで撮像した結腸試料の染色核を示す顕微鏡写真、(A)、Cy3バンドでケラチン染色(B)、及びラチン画像を照明マスクとして用いたDAPIチャネルで撮像した上皮核(C)の顕微鏡写である。
従来の蛍光撮像システムでは、心のある蛍光標識イオマーカーを励起するために空間的に均一な光源が用いられており、生体試料中の性蛍光体及び内性蛍光化合物が共に励起されていた。しかし、所与のタンパクが、細胞核又は上皮のような特異的細胞領域で主発現することが知られている場合、この情報を利用すれば蛍光励起の効率又は特異性を改善することができる。心のある構造の均一照明像を所与のチャネルで取り込んでから、その画像を、関心のあるマーカーに対応するチャネルの照明マスクとして使用することよって、タンパク質発現領域の外部での励起を避けることができる。
本発明は、概して、均一照明の生体試料から得られた情報を使用して、生体試料の関心のある構造特徴を選択的に照明する画像取得法に関する。この方法は、生体試料の特異的構造に対応するマスキングパターンを生成することを含む。特異的構造は、限定されるものではないが、マーカー、血管マーカー、核染色、腫瘍マーカー、上皮マーカーは間質マーカーを始めとする高発現形態学的信号である。
生成されたマスキングパターンは、少量マーカーが存在すると推定される領域の照明使用きる。したがって、この方法は、リポフスチンや赤血球のような試料の高発光源に関連する問題の幾つかを軽減することによって試料のダイナミックレンジ撮像を拡大するのに使用される。例えば、選択された細胞内組織領域のダイナミックレンジ撮像は、赤血球などの試料の他の物体の励起を避けながら、必要とされる場所の照明を増すことによって、最適化することができる。換言すると、目標とされていない、生体試料中の性蛍光体及び内性蛍光化合物励起を共に減少させることができる。さらに、形態学的マーカーを使用して設計された照明マスクによって、特異的細胞及び組織構造における他のバイオマーカーの検出可能とな
幾つかの実施形態では、生体試料は固体支持体に取り付け、生体試料上に投されるマスキングパターンを使用して解析するための蛍光顕微鏡に配置することができる。生体試料という用語は、生体内又は生体外で得られる生体組織又は流体起源の試料を始めとする生物学的対象から得られる試料をいう。そのような試料は、限定されるものではないが、人間を始めとする哺乳動物から分離された体液(例えば、血液、血漿、血清は尿)、臓器、組織、画分及び細胞とすることができる。生体試料は、組織を始めとする生体試料の切片(例えば、臓器又は組織の薄片部分)を含んでいてもよい。生体試料は、生体試料からの抽出物、例えば、生体液(例えば、血液又は尿)からの抗原を含んでいてもよい
生体試料は原核生物起源のものでも、真核生物起源(例えば、昆虫、原生動物、鳥、魚、爬虫類)のものでもよい。実施形態によっては、生体試料は哺乳類(例えば、ネズミ、マウス、牛、犬、ロバ、モルモットはウサギ)である。幾つかの実施形態では、生体試料は霊長類起源(例えば、チンパンジー又は人間)である。さらに、固体支持体は、生体試料を固定化し、次いで本明細書で開示する方法によって検出することのできる物品をいう。生体試料は、物理吸着共有結合形成はそれらの組合せによって固体支持体に固定できる。固体支持体は、ポリマー材料、ガラスは金属材料を含むことができる。固体支持体の例としては、膜、マイクロタイタープレートビーズ、フィルタ、テストストリップ、スライド、カバーガラス及び試験管が挙げられる。
撮像に先立って、生体試料、まず、蛍光色素又は蛍光体を有する分子マーカー(色素及び抗体)を用いて標識してもよい。例えば、細胞核はDAPI(DNAに特異的に結合する蛍光色素)で染色することができ、組織の他の領域は、直結合した抗体によっては主要な二次増幅検出によって関心分子をターゲティングす免疫蛍光法で標識することができる。赤血球(RBC)のようなある種の構造では、自己蛍光が起こることがある。
マスキングパターンを生成する方法は、源から所定の波長の光を生体試料に導くことを含んでおり、その光によって生体試料は蛍光を発する。幾つかの実施形態では、生体試料は表面全域で均一に照明される。他の実施形態では、試料を選択的に照明するのに、以前の走査又は同様の試料得られた画像情報を用いることができる。選択的な照明は、後取り込まれる広視野蛍光画像の信号対雑音比、忠実度、特異性はそれらの組合せを向上させることができる。
体試料の広視野蛍光画像は画像取込デバイスを用いて取り込んで解析のためデジタル光プロセッサ(DLP)に移送することができる。画像は、生体試料中の特異的構造に対応するマスキングパターンを生成するため、少なくとも部分的に特徴情報又は画素強度情報を用いて解析される
マスキングパターンは、広視野蛍光画像をデジタルマイクロミラーデバイス(DMD)の空間座標に位置合わせするためにDLPを用いて再構成することができ、デジタルマイクロミラーデバイス(DMD)は、光源と撮像システムの照明光学系との間に配置され、取り付けられた生体試料上に再構成マスク化画像を投するのに使用される。画像をDMD座標に再構成すると、広視野画像とDMDデバイスとの間のアレイ密度の差に関連する画像解像度の変動が除去され、ねられた画像の配置が改良される。
DMDは様々な画素アレイで構成することができる。幾つかの実施形態では、DMDは、光を照明経路又は液晶デバイスの内外に誘導することができるMEMSミラーとすることができる。MEMS(Micro Electro Mechanical Systems)ミラーはリソグラフィで製造されるミラーであり、様のリソグラフィ技術で製造される集積回路を通して印加される電圧信号で作動される。これらのミラーは、一般に、ミリメートル又は1ミリメートルの数分の1寸法を有する。幾つかの実施形態では、DMDを構成するマイクロミラーは、「オン」状態及び「オフ」状態に対応する2つの角度の一方配置される。状態切り替えるために、各ミラーはその対角軸のまわり個々に回転る。各マイクロミラーから反射される光は、図1に示ように、「オン」状態では顕微鏡の照明光学系に誘導され「オフ」状態では顕微鏡の入口の外に偏向される。
図2は、ステムを通る照明経路を示す本発明の一実施形態の図であり、顕微鏡に取り付けられる。コリメータレンズ40は、光源(図示せず)からの光を撮像素子50(限定されるものではないが、非球面レンズなど)を通して集束し、光は広帯域ミラー60からDMD70に反射される。DMDマイクロミラー表面に入射し、顕微鏡対物レンズ80に誘導される光は、非球面結像レンズ90を通り視野絞り開口100進む。
像を図2に示す照明経路の視野絞り上に合焦することによって、試料それ自体に焦点が合っている限り、DMDパターン試料上に鮮明に結像させることができる。視野絞りは対物レンズの焦点面と共役であり、そのため、視野絞りと同一平面上にある画像対物レンズの焦点面にリレーされる
カメラで取得された画像をDMDパターンとして使用するために、画像顕微鏡光学系を通して影する際に生じるスケール、平行移動びシフト一致させるためアフィン変換を適用することができる。アフィン変換は、当初線上あるすべての点が変換後の線上にも残り、距離の比並びに線分の中点が変換後も中点として残るように共線形性が保たれる変換をいう
アフィン変換の必要性に加えて、形状因子に不一致が存在することがある。例えば、DMD768×1024ミラーミラーアレイを有していて、カメラセンサ1728×2352画素画素アレイを有していることがある。その場合、DMDで使用するためにカメラ画像を再構成するプロセスは、最終フォーマットが元のカメラ画像よりも画素数が少ないので、ダウンサンプリング必要とる。
変換パラメータが分かればそれらをカメラで取得された画像に適用して再構成画像を得ることができ、それをDMDに転送することができる。再構成画像は、顕微鏡を通して投影すれば、試料と正確に位置合わせされ。図3は、カメラ座標をDMDの座標にマッピングするアフィンパラメータを解くのに使用きる1つの較正ルーチンを示す流れ図である。目標の画像は、ラメータS、θ、びy(それぞれ、スケール、回転、xシフトびyシフトを解くために元の画像に位置合わせされる。
一実施形態では、図3に示ように、目標画像DMDに転送し(1)、較正試料上に投影させる(2)。試料上のこの目標の画像は顕微鏡カメラ取得される(3)。次に、試料は、2つの画像の間の形状係数を一致させて再サンプリングしたカメラ画像を生成するために間引き選択することができる(4)。再サンプリングされたカメラ画像と目標DMD画像は位置合わせされ、ン変換パラメータ、すなわち、2つの画像間の回転、スケーリング(拡大縮小)及びx−y平行移動を解くのに使用される(5及び6)。変換パラメータ計算、パラメータは記憶され(7)、同じ顕微鏡カメラ及びDMDを用いた生体試料画像の位置合わせに適用される(8)
一実施形態では、較正ルーチンは、変換パラメータのために目標DMD画像を使用するが、DMD画像は角と直線のような明確な特徴を使用して、目標と試料平面上のその投との間の堅固な位置合わせを図る。このタイプの較正使用される較正目標画像図4に示すが、スライドガラスとカバーガラスとの間高濃度Cy3色素の薄層からなる。この目標は、Cy3フィルタセットで観察すると明るい蛍光の均一な層を生じた。色素層の薄さによって高いコントラスト最良合焦の狭い範囲が担保された。図4は、DMD目標画像(A)と共に、位置合わせの前(B)及び後(C)の試料への投影像を示す。
物体への目標DMD投が768×1024画素を有し、カメラの画像が1728×2352画素を有すると仮定すると、カメラ画像の再サンプリングを用して、位置合わせ前の2つの画像間の形状係数を一致させることができる。幾つかの実施形態では、メラ画像の非整数座標での画素値を求めるために、双一次補間を使用する
幾つかの実施形態では、ハニング窓などの2Dテーパリング又はエッジフィルタリング関数を使用することができる。例えば、図4に示すような画像に2Dハニング窓関数を乗算して、画像の外側の50画素をゼロまで滑らかにテーパリングすることができる。そのようなテーパリング窓は、位置合わせの際に画像特徴として間違えることがあるエッジアーチファクトの存在を避けるために使用きる。窓処理後アフィン変換パラメータを解くために、目標DMD画像と再サンプリングされたカメラ画像とを位置合わせすればよい
2つの画像の回転、スケーリング及びx−y平行移動が判明すれば、適切な変換を適用してパラメータの各々を系統的に分離し、解くことができる。
幾つかの実施形態では、フーリエ変換を使用することができる画像のシフトは、フーリエ変換の大きさを変更しないからである。したがって、各画像のフーリエ変換の大きさのみを考慮することによって、画像位置合わせ回転及びスケーリングの係数に限定することができる。画像の回転は、そのフーリエ変換の大きさの等しい回転をもたらす。画像のα倍のスケーリングは、1/α倍スケーリングされたフーリエ変換の大きさもたら。しかし、これらのパラメータは、多くの場合、フーリエ変換から直接評価するが難しい。別の手法は、フーリエ変換の大きさを対数極座標空間で表すことである
対数極座標変換画像を径座標及び角度座標に割り当てるので、対数極座標変換を適用するとスケーリング及び回転は基本的にρ軸及びθ軸上の平行移動に変換される。画像のフーリエ変換の大きさは以下の通りである。
C=log(abs(F(c)))
及び
D=log(abs(F(d)))
こで、c及びdは、それぞれ、ハニング窓を乗算した後のカメラ画像及びDMD画像を表す。画像C及びDが図5に示され、上フル画像であり、下は拡大区域を示す。
図5にみられる通り、画像CはDをスケーリング及び回転したものであり、そのため、極座標変換Cp及びDpは以下の関係式を有する。
Cp(ρ;θ)=Dp(ρ/α,θ−θ’)
ここで、αはスケーリング係数であり、θ’は度単位の回転である。したがって、回転はθ軸に沿った平行移動に換算される。スケーリング係数を半径軸に沿った平行移動に換算するために、ρ軸は対数目盛り表すことができる。その結果は対数極座標画像Clp及びDlpであり、それらは、以下の関係を有する。
Clp(ρ;θ)=Dlp(log(ρ)−log(α),θ−θ’)
するとスケール係数は、以下のように対数極座標空間で平行移動log(a)を求めて指数化することによって解くことができる。
a=e log(a)
様に、回転は、ρ軸に沿ったシフトについて解くことによって決定される。対数極座標表現Clp及びDlp図6に示。図6は、DMD画像(A)及びカメラ画像(B)のフーリエ変換の大きさの対数極座標変換の顕微鏡写である。これらの変換は中心としてフーリエ変換の中心又はDC項を使用しており、したがって、前のフーリエ変換で観察されたスケール及び回転をρ軸及びθ軸に沿った平行移動に転換する。
平行移動は、位相相関、すなわち、2つの画像の相対シフトをそれらの位相オフセットに基づいて決定する周波数ドメイン技を使用して決定することができる。2つの画像a及びbからの位相相関は、まず2つの信号の規格化クロスパワースペクトルを計算することによって決定することができ、以下の通り定義される。
R=AB*/[AB*
こで、A及びBは画像a及びbのフーリエ変換である。この場合、a及びbは対数極座標変換Clp及びDlpである。すると、関数rがRの逆フーリエ変換から得られる。横方向シフトは、rのピークの水平及び垂直の位置に対応する。
(Δx;Δy)=argmax(r)
この技を使用して、対数極座標プロットにおけるlog(r)及びθシフトを解くことができる。同様に、スケーリング及び回転適用後に得られるつの画像x及びyのシフトの点のみで異なる。位相相関を適用して、2つの画像のx及びy平行移動を見いだすことができる。
実験
構造化照明は、市販のDMD開発基盤のDLP(登録商標)DISCOVERY(商標)4000(テキサス州、ダラスのTexas Instruments Inc.)を用いて実施た。このモジュール、8ビットグレースケール画像を転送し、XGA解像度(768×1024画素)で表示することができる。広帯域水銀ランプであるEXFO X−CITE(登録商標)120Q(カナダ、ケベックのEXFO Electro−Optical Engineering Inc.)システム照明光源として使用た。ンプからの出力光をコリメートレンズまで導くのに液体ライトガイドを使用した。次に、200mm焦点距離の非球面レンズでコリメートビームをほぼDMDのサイズ(対角線長さ0.7インチ)のスポットに集束する。集束ビームの経路は、まず方向転換ミラーで適切な角度で方向づけてから、DMDの面上に集束させる。最後に、直径インチの100mm非球面ダブルレンズを使用して、DLPの画像Olympus(登録商標)BX−51顕微鏡(ペンシルバニア州、Center ValleyのOlympus America Inc.)の視野絞り上にリレーする。
A.ダイナミックレンジ拡大
照明強度の空間的な変更を用いると、そうしなければ検出器を飽和させてしまう領域から発せられる信号の量を減少させることができる。これ、赤血球を含む前立腺試料を用いて実証し、試料を図7に示ようにCy3チャネルで撮像した。赤血球は、カメラのダイナミックレンジを十分に上回る強度蛍光を発し、そのため関心のある信号は比較的低い信号対雑音比(SNR)であった。赤血球励起を低減するマスクを用いて照明した後、集積時間を3倍にしたが検出器飽和しなかった。これ図8に示。信号領域の0.35メガ画素区域での平均化によって、飽和均一照明画像では43.1の平均画素値となったのに対して、構造化照明での同領域の平均値は91.9であった
構造化照明の使用によって、飽和を避けながら平均信号2倍超増た。この結果は、強い自己蛍光源を取り扱うシステムのダイナミックレンジの有効な増加を実証している。飽和の場合、均一照明画像を使用し飽和画素をゼロに設定することによって照明マスクが形成される。
B.光学セグメンテーション
生体構造の光学セグメンテーションは、関心のある形態学的特徴について染色した試料の画像を取得することによって行われる。この画像処理よって、関心のある構造に対応する領域にしか励起光が到達できないようにする照明マスクを生成する。このマスクを異なるチャネルに使用することにより、マスクに対応する生体試料の形態構造の空間境界内での任意のバイオマーカーのセグメンテーションが可能になる。これ、上皮核と間質のセグメンテーションに関して様々な組織試料で実証た。
図9は、ケラチン及び核を染色た結腸組織の例であり、DAPIチャネルで撮像した染色(A)、Cy3バンドケラチン染色(B)及びケラチン画像を照明マスクとして用いたDAPIチャネルで撮像した上皮核(C)ある。ケラチン(上皮に大量に存在するタンパク質)をCy3バンドで染色し、核をDAPIで染色した上皮のCy3チャネル画像が得られると、ヒストグラム正規化とその後の閾値処理によって、上皮組織の2値マップが得られる。のマップを次いで位置合わせしてDMDに送。DAPIチャネルへの切替え及び上皮照明マスクの適用によって、上皮核だけを励起することができる
本発明は、被検体の検出、組織化学、免疫組織化学は免疫蛍光法などの分析、診断予後用途生体試料を使用すること全般に関係する実施形態を含む。幾つかの実施形態では、本明細書で開示された方法は、特に、組織化学、免疫染色、免疫組織化学、免疫測定は免疫蛍光法に応用することができる。幾つかの実施形態では、本明細書で開示された方法は、免疫ブロット技、例えば、ウェスタンブロットは酵素結合免疫吸着検定法(ELISA)などの免疫測定に応用することができる。
本発明の要旨又は本質的特徴から逸脱せずに、その他の特異的形態で本発明を具体化することができる。したがって、述の実施形態は例示にすぎず、本明細書に記載された限定するものではな。したがって、本発明の技術的範囲は述の説明はなく添付の特許請求の範囲によって規定され、したがって、特許請求の範囲の均等に属するあらゆる変更も本発明の技術的範囲包含され
40 コリメータレンズ
50 結像要素
60 広帯域ミラー
70 デジタルマイクロミラーデバイス(DMD)
80 顕微鏡対物レンズ
90 非球面結像レンズ
100 視野絞り開口

Claims (15)

  1. 固体支持体に配置され、蛍光顕微鏡に取り付けられた生体試料の光学セグメンテーションのための方法であって、
    生体試料がその表面全域で均一に照明されるように光源から所定の波長の光を生体試料に送り、前記光によって生体試料から蛍光を発光せしめるステップと
    画像取込デバイスを使用して体試料の蛍光画像を取得するステップと
    生体試料中の特異的構造に対応するマスキングパターンを生成するために、少なくとも部分的に特徴情報又は画素強度情報を利用して光画像を解析するステップと
    画像取込デバイスの画像をデジタルマイクロミラーデバイス(DMD)の空間座標に位置合わせするために、前記マスキングパターンを再構成マスキングパターンに変換するステップと
    光源と生体試料との間に配置されたデジタルマイクロミラーデバイス(DMD)を使用して、再構成マスキングパターンを体試料に投影するステップであって再構成マスク化パターンが体試料と位置合わせされるステップと
    生体試料がその表面全域で均一に照明されるように光源から所定の波長の光を再構成マスキングパターンを通して生体試料に送り、前記光によって生体試料から蛍光を発光せしめるステップと、
    体試料のマスク化蛍光画像を取込デバイスで取得するステップと
    スク化蛍光画像をデジタル画像に転換するステップと
    含む方法。
  2. 前記マスキングパターンを再構成マスキングパターンに変換することが、アフィン変換パラメータをスキングパターンに適用することを含む、請求項1記載の方法。
  3. 前記アフィン変換パラメータが較正手順を用いて計算され、前記較正手順が、
    目標画像をMDに転送像を較正試料上に投し、
    正試料上に投された標画像の較正画像を取得し、
    取込デバイスとデジタルマイクロミラーデバイス(DMD)の空間座標との間の形状係数を一致させるために、較正画像をダウンサンプリングして、再構成画像を生成し、
    再構成画像を標画像と位置合わせしン変換パラメータについて解くこと
    を含む、請求項2記載の方法。
  4. 前記ダウンサンプリングが画像取込デバイスからの画像に一次補間及び2Dテーパリング関数適用することを含む、請求項3記載の方法。
  5. 前記アフン変換ラメータについて解くことが、フーリエ変換画像位置合わせに適用することを含む、請求項3記載の方法。
  6. 前記フーリエ変換大きさが対数極座標空間表される、請求項5記載の方法。
  7. 前記再構成マスクパターンを生体試料に投影することが、生体試料の空間照明の変更をもたらす、請求項1記載の方法。
  8. 前記マスク化蛍光画像をデジタル画像に転換することが、再構成マスキングパターンのポジ又はネガ画像を表す、請求項1記載の方法。
  9. 体試料の蛍光画像を取得することが、光画像の信号対雑音比、忠実度、特異性はそれらの組合せを向上させるために料を選択的に照明するために以前の画像からの画像情報を使用することを含む、請求項1記載の方法。
  10. 固体支持体に配置された生体試料の光学セグメンテーションのための画像解析システムであって、
    体試料を取り付けるためのステージを有する蛍光顕微鏡と、
    体試料を照明するための光源であって、光が光顕微鏡の開口を通って生体試料へと導かれるように配置された光源と、
    源と光顕微鏡の口との間に配置されるデジタルマイクロミラーデバイス(DMD)と、
    光顕微鏡に取り付けられ、体試料の蛍光画像を取得するように構成された画像取込デバイスと、
    デジタル光プロセッサであって、
    取込デバイスからの蛍光画像を受け取り、
    生体試料中の特異的構造に対応するマスキングパターンを生成するために、少なくとも部分的に特徴情報又は画素強度情報を利用して光画像を解析し、
    画像取込デバイスの画像をDMDの空間座標に位置合わせするために、前記マスキングパターンを再構成マスキングパターンに変換し、
    光源から所定の波長の光が再構成マスキングパターンを通して生体試料に送られるようにDMDを制御して、生体試料中の特異的構造がその表面全域で均一に照明され、前記光によって生体試料から蛍光を発光せしめる
    ように構成された、デジタル光プロセッサと
    を備えるシステム。
  11. 前記デジタル光プロセッサがアフィン変換パラメータをスキングパターンに適用するように構成される、請求項10記載のシステム。
  12. 前記デジタル光プロセッサが、前に解析された1以上の試料からのアフィン変換パラメータを記憶するようにさらに構成される、請求項11記載のシステム。
  13. 前記以前に解析された試料が較正試料からのものである、請求項12記載のシステム。
  14. 前記DMDが、個々のマイクロミラー表面に入射する光が蛍光顕微鏡の開口の中又は外に偏向され、パターン画像を生体試料上に投影できるように構成された2次元MEMSミラーアレイである、請求項10記載のシステム。
  15. 前記デジタル光プロセッサが、以前の画像からの画像情報を用いて生体試料の照明を制御するようにさらに構成されており、前記照明によって、取得された蛍光画像の信号対雑音比、忠実度、特異性又はそれらの組合せが向上する、請求項10記載のシステム。
JP2013501212A 2010-03-26 2011-03-23 生体試料の光学セグメンテーション方法及び装置 Active JP5726284B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/732,272 2010-03-26
US12/732,272 US8532398B2 (en) 2010-03-26 2010-03-26 Methods and apparatus for optical segmentation of biological samples
PCT/SE2011/050321 WO2011119096A1 (en) 2010-03-26 2011-03-23 Methods and apparatus for optical segmentation of biological samples

Publications (3)

Publication Number Publication Date
JP2013524261A JP2013524261A (ja) 2013-06-17
JP2013524261A5 JP2013524261A5 (ja) 2015-02-26
JP5726284B2 true JP5726284B2 (ja) 2015-05-27

Family

ID=44656541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013501212A Active JP5726284B2 (ja) 2010-03-26 2011-03-23 生体試料の光学セグメンテーション方法及び装置

Country Status (5)

Country Link
US (1) US8532398B2 (ja)
EP (1) EP2553629A4 (ja)
JP (1) JP5726284B2 (ja)
CN (1) CN102804205A (ja)
WO (1) WO2011119096A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998165A1 (en) * 2007-06-01 2008-12-03 The European Community, represented by the European Commission Method of fluorescence imaging
WO2012027358A1 (en) 2010-08-23 2012-03-01 President And Fellows Of Harvard College Optogenetic probes for measuring membrane potential
US9207237B2 (en) 2010-08-23 2015-12-08 President And Fellows Of Harvard College Systems, methods, and workflows for optogenetics analysis
US10580128B2 (en) * 2013-01-10 2020-03-03 Akoya Biosciences, Inc. Whole slide multispectral imaging systems and methods
US10088658B2 (en) * 2013-03-18 2018-10-02 General Electric Company Referencing in multi-acquisition slide imaging
JP6211389B2 (ja) * 2013-10-25 2017-10-11 株式会社キーエンス 顕微鏡装置
WO2015164378A1 (en) 2014-04-22 2015-10-29 Q-State Biosciences, Inc. Analysis of compounds for pain and sensory disorders
US9518103B2 (en) 2014-06-18 2016-12-13 President And Fellows Of Harvard College Optogenetic probes for measuring membrane potential
WO2016115333A1 (en) 2015-01-15 2016-07-21 President And Fellows Of Harvard College Optical selection of cells
US10048275B2 (en) 2015-03-13 2018-08-14 Q-State Biosciences, Inc. Cardiotoxicity screening methods
EP3298448A4 (en) 2015-05-21 2019-03-27 Q-State Biosciences, Inc. OPTOGENETIC MICROSCOPE
US10839509B2 (en) 2015-07-10 2020-11-17 3Scan Inc. Spatial multiplexing of histological stains
ES2765748T3 (es) * 2015-12-10 2020-06-10 Qiagen Gmbh Clasificación de objetos en imágenes digitales
KR101865624B1 (ko) 2016-06-10 2018-06-11 주식회사 토모큐브 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법
CN110178014B (zh) * 2016-11-14 2023-05-02 美国西门子医学诊断股份有限公司 用于使用图案照明表征样本的方法和设备
CN108229098A (zh) * 2016-12-09 2018-06-29 深圳市瀚海基因生物科技有限公司 单分子的识别、计数方法及装置
CN107065159B (zh) * 2017-03-24 2019-10-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
EP3987481A1 (en) * 2019-06-18 2022-04-27 SurgVision GmbH Luminescence imaging with refining loop based on combination of partial illuminations

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5587832A (en) * 1993-10-20 1996-12-24 Biophysica Technologies, Inc. Spatially light modulated confocal microscope and method
US20020145610A1 (en) * 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
US7346776B2 (en) * 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
GB0106342D0 (en) 2001-03-15 2001-05-02 Renishaw Plc Spectroscopy apparatus and method
US6885492B2 (en) * 2001-11-08 2005-04-26 Imaginative Optics, Inc. Spatial light modulator apparatus
US7355716B2 (en) * 2002-01-24 2008-04-08 The General Hospital Corporation Apparatus and method for ranging and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands
AU2003210669B2 (en) * 2002-01-24 2009-10-29 The General Hospital Corporation Apparatus and method for rangings and noise reduction of low coherence interferometry LCI and optical coherence tomography (OCT) signals by parallel detection of spectral bands
DE10228374A1 (de) * 2002-06-25 2004-01-15 Leica Microsystems Heidelberg Gmbh Verfahren zur Mikroskopie und Mikroskop
WO2005043197A2 (en) * 2003-10-28 2005-05-12 University Of Maryland, Baltimore Spatial light modulator apparatus and method
JP4471666B2 (ja) * 2004-01-05 2010-06-02 独立行政法人科学技術振興機構 光フーリエ変換装置及び方法
DE602005007403D1 (de) * 2004-03-25 2008-07-24 Olympus Corp Scannendes konfokales Mikroskop
JP2006171024A (ja) * 2004-12-10 2006-06-29 Olympus Corp 多点蛍光分光測光顕微鏡および多点蛍光分光測光方法
JP2006292421A (ja) * 2005-04-06 2006-10-26 Sharp Corp 蛍光検出装置
US7329860B2 (en) 2005-11-23 2008-02-12 Illumina, Inc. Confocal imaging methods and apparatus
US8131476B2 (en) * 2006-08-07 2012-03-06 General Electric Company System and method for co-registering multi-channel images of a tissue micro array
EP1998165A1 (en) * 2007-06-01 2008-12-03 The European Community, represented by the European Commission Method of fluorescence imaging
US8031924B2 (en) * 2007-11-30 2011-10-04 General Electric Company Methods and systems for removing autofluorescence from images
JP2009257967A (ja) * 2008-04-17 2009-11-05 Olympus Corp 蛍光観察装置および蛍光観察方法

Also Published As

Publication number Publication date
US20110235875A1 (en) 2011-09-29
EP2553629A4 (en) 2013-08-14
CN102804205A (zh) 2012-11-28
US8532398B2 (en) 2013-09-10
WO2011119096A1 (en) 2011-09-29
JP2013524261A (ja) 2013-06-17
EP2553629A1 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
JP5726284B2 (ja) 生体試料の光学セグメンテーション方法及び装置
JP2013524261A5 (ja)
JP7308848B2 (ja) デジタル病理画像の変換
Cheng et al. High-speed imaging and tracking of very small single nanoparticles by contrast enhanced microscopy
Sograte-Idrissi et al. Circumvention of common labelling artefacts using secondary nanobodies
Baddeley et al. 4D super-resolution microscopy with conventional fluorophores and single wavelength excitation in optically thick cells and tissues
CN110869764A (zh) 用于检测样品中的细胞外囊泡的方法
US20220012456A1 (en) Particle characterization using optical microscopy
Cheng et al. Plasmonic gold nanoparticles as multifaceted probe for tissue imaging
JP2023522172A (ja) 感度増強のためのアグリゲーション誘発によるアッセイ
JP2022548760A (ja) スライドフリーな組織学的撮像法及びシステム
JP2020173204A (ja) 画像処理システム、画像処理方法及びプログラム
JP2018179762A (ja) 被検物質の情報取得方法
US10281399B2 (en) Systems and methods for particle tracking using spatiotemporal offset light beams
US20160274346A1 (en) Optical System for Fast Three-Dimensional Imaging
US9966223B2 (en) Device for correlative scanning transmission electron microscopy (STEM) and light microscopy
JP2006284243A (ja) 高時間分解能画像化方法及び装置並びに全反射型蛍光顕微鏡
Klauss et al. Upgrade of a scanning confocal microscope to a single-beam path STED microscope
WO2018123677A1 (ja) 画像処理方法及び画像処理システム
Rebenku et al. Taking molecular pathology to the next level: Whole slide multicolor confocal imaging with the Pannoramic Confocal digital pathology scanner
CN113514441A (zh) 基于细胞旋转主动光操控技术的光片荧光显微方法和系统
WO2019087853A1 (ja) 生体物質定量方法、画像処理装置及びプログラム
Kanemaru et al. A simple preparation method for CLEM using pre-embedding immunohistochemistry with a novel fluorescent probe and stable embedding resin
JP2000356611A (ja) 熱レンズ顕微鏡超微量分析方法とその装置
US20200264170A1 (en) Method for acquiring information on analyte

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150331

R150 Certificate of patent or registration of utility model

Ref document number: 5726284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250