JP4064550B2 - プログラム可能であり空間的に光変調された顕微鏡および顕微鏡による方法 - Google Patents

プログラム可能であり空間的に光変調された顕微鏡および顕微鏡による方法 Download PDF

Info

Publication number
JP4064550B2
JP4064550B2 JP30100398A JP30100398A JP4064550B2 JP 4064550 B2 JP4064550 B2 JP 4064550B2 JP 30100398 A JP30100398 A JP 30100398A JP 30100398 A JP30100398 A JP 30100398A JP 4064550 B2 JP4064550 B2 JP 4064550B2
Authority
JP
Japan
Prior art keywords
image
confocal
light
detector
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP30100398A
Other languages
English (en)
Other versions
JPH11194275A (ja
Inventor
トーマス・エム・ヨフィン
クウェンティン・ハンレイ
ペーター・フェアフェール
Original Assignee
マツクス−プランク−ゲゼルシャフト ツール フエルデルング デル ヴイツセンシャフテン エー フアウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マツクス−プランク−ゲゼルシャフト ツール フエルデルング デル ヴイツセンシャフテン エー フアウ filed Critical マツクス−プランク−ゲゼルシャフト ツール フエルデルング デル ヴイツセンシャフテン エー フアウ
Publication of JPH11194275A publication Critical patent/JPH11194275A/ja
Application granted granted Critical
Publication of JP4064550B2 publication Critical patent/JP4064550B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • G02B21/0084Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/004Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0048Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G02B26/0841Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD the reflecting element being moved or deformed by electrostatic means

Description

【0001】
【発明の属する技術分野】
本発明は、共焦点点顕微鏡、特にプログラム可能であり空間的に光変調されたまたはプログラム可能なアレイ顕微鏡と、照射および/または検出のために自由にプログラム可能なパターンを使用する顕微鏡方法に関する。
【0002】
【従来の技術】
ポイント走査システムに基づいた照射および検出開口の共役対を有する共焦点点顕微鏡は、直接光区分により極微物体を調査するように極微物体をイメージする有用な器具である。ディスクリートな開口スポットは顕微鏡の対物平面で照射され、そこから反射された光または蛍光性の光が画像平面の共役検出開口を通じて観察される。機械的に変形された開口ディスク(いわゆる複数の開口を有するニコウの円板)を有する走査システム、またはレーザビームで物体を走査するように構成された回転ミラーを有する走査システムに基づいた共焦点顕微鏡(共焦点レーザ走査顕微鏡、CSLM)が通常使用されている。
【0003】
両走査システムはある制限を有する。開口ディスクは特に照射フィールドに関する制限、劣化したコントラストおよび高い強度損失を有する。ピンホール間の間隔が共焦点効果を維持するだけの大きさでなければならないので、典型的にディスクの3%に満たない程度が透過性である。一方、CSLMの走査ミラーは逐次的な1つの点のデータ獲得により低いデューティサイクルを生じる。
【0004】
強度損失の問題は開口補正顕微鏡の導入により発生し、このことはR. JuskaitisとT. Wilson による“Nature”(383 巻、1996年、 804〜806 頁)と、T. Wilson とR. Juskaitisによる“Optics Letters”(21巻、1996年、1879〜1881頁)に記載されている。図9で概略して示されているようなこのような顕微鏡は、試験体照射のために光源とプログラム可能な開口マスクとの組合わせにより形成される多点光源を使用している。試験体により反射される光の検出は、同一の開口マスクを通じてカメラにより行われる。開口マスクは、アドレス可能な画素のアレイにより形成される高速度の空間的光変調器または固定して変調コードが付けられている回転ディスクである。
【0005】
マスクは補正されていない開口と閉塞のパターンを有し、ディスクの透過性を約50%まで増加する。 Juskaitis等により使用されるコード化シーケンスを防止する相関のため、検出された画像は共焦点画像と一般的な画像との重畳されたものである。最終的な共焦点画像を獲得するため、前記重畳から削除するように分離する一般的な画像を(例えば回転ディスクのブランクセクタにより)独立して検出することが必要である。
【0006】
一般的な画像のこの付加的な検出は時間を浪費し、それによって限定されたデータ獲得速度しか得られない。開口補正技術の適用性は透過性の制限によりさらに制限される。それ故、蛍光測定は高い蛍光が生じる例外的な場合でのみ可能である。照射強度の対応する増加により、受入れがたい光損傷または漂白反応が起こる。
【0007】
これらの欠点に関して、改良された空間的に光変調された顕微鏡がM. Liangによる“Optics Letters”(22巻、1997年、 751〜753 頁)と、対応する米国特許第5 587 832 号明細書に記載されている。この従来技術の顕微鏡が図10で概略して示されている。2次元の空間光変調器はデジタルマイクロミラー装置(以下“DMD”と言う)により形成され、これは光源(レーザまたは白色光源)から照射光をプローブへ反射し、検出光をプローブから2次元検出器へ反射する。DMDの各マイクロミラーは照射と検出スポットを形成するかしないかを個々に制御可能である。
【0008】
【発明が解決しようとする課題】
光変調器としてDMDを使用することによって共焦点画像の直接検出を可能にする。さらに共焦点性に妥協せずに最小の共焦点パターン周期(照射スポットを形成するマイクロミラーの距離)を決定することが可能である。それにもかかわらず、米国特許第5 587 832 号明細書の顕微鏡は、物体の反射光の一部のみしかイメージ形成に使用されることができないので、照射強度が制限される。さらに、イメージ形成に使用されるこの光は“焦点が合っていない”オフセットを有し、不都合な方法で共焦点画像のSNRに影響する。したがって従来技術の顕微鏡は一般的な画像を獲得する可能性なしに共焦点イメージに特定化される。
【0009】
特に細胞またはその一部等の生物物体をイメージする分野における実時間共焦点顕微鏡またはイメージでは、感度、検出速度に関する改良と、さらに測定原理の実行により応用性を拡張することが要求されている。
【0010】
本発明の目的は、特に実効的な光による区分、高い空間的解像度および/または高い光効率で急速なデータ獲得を可能にする共焦点イメージ形成のための改良された装置および方法を提供することである。本発明の特別な目的は、生物または化学材料(例えば生きた細胞、反応生成物等)の2次元または3次元イメージ、およびしたがって分子構造および機能についての情報を迅速に与えることである。固有の感度および選択性により、分子蛍光は新しいイメージ装置および方法で実行するのに好ましい分光現象である。
【0011】
【課題を解決するための手段】
前述の目的は、それぞれ請求項1または請求項14の特徴をもつ共焦点画像装置または方法により解決される。本発明の有用な実施形態は従属請求項に記載されている。
【0012】
本発明の基本的な考えは、空間光変調器手段(以下SLMとする)を有するプログラム可能な空間的に光変調された共焦点顕微鏡(以下PAMとする)として共焦点光イメージシステムの動作であり、それによって試験体または物体から出力された光出力全体は同時または順次的に集められる2つの画像に分解される。通常、空間光変調器手段は変調器素子のアレイを具備し、その透過または反射特性は個々に制御可能である。SLM変調器素子の第1のグループ(“オン”−素子)により、物体は照射され、焦点共役画像が集められ、一方、SLM変調器素子の第2のグループ(“オフ”−素子)により、非共役画像が集められる。非共役画像は焦点が合っていない光を含んでいる。SLM変調器素子により形成される焦点スポットは物体の焦点平面に焦点を結ばれる。
【0013】
顕微鏡の画像平面に位置されるとき、物体の焦点平面の異なった点に対してそれぞれ共役されたSLM素子は照射および/または検出に使用されるプログラム可能なアレイを限定する。
【0014】
第1のグループの変調器素子は個々に制御可能であり、それによって照射スポットのパターンシーケンスは時間依存性の体系的にシフトしたグリッドパターン、または有限の長さの疑似ランダムシーケンスに基づくパターンにより表される。第1のケースでは、第1の画像は共焦点画像に対応する画像であり、第2の画像は非共焦点画像と第1の画像との差画像である。第2のケースでは、第1の画像は共焦点画像と非共焦点画像の重畳であり、第2の画像は非共焦点画像と共焦点画像との差画像である。どんなケースでも、第1の画像は図2で示されているように共役画像の一部を含むことができる。
【0015】
SLMは透過または反射モードで動作されることができる。検出手段の検出器システム数に応じて、PAMはいわゆる単一通路または二重通路のPAMとして構築されることができる。好ましい配列にしたがって、共焦点光イメージシステムの光源手段は白色光ランプと、波長選択手段とを含んでいる。
【0016】
共焦点光イメージシステムの好ましい応用は、細胞および組織の生物学的調査、解析/生物工学処理、遺伝解析におけるもとの位置の交配、位置選択光化学反応のための光マスクの形成、チップ上における生化学アレイの生成および読出し、半導体産業および/または光記録および読出しにおける大規模の表面検査である。
【0017】
本発明は以下の利点を有する。PAMは現存の顕微鏡のモジュール拡張として構成されることができる。一般的なCLSMで通常拒否される焦点が合っていない光が集められ、焦点の合った画像を強調するために使用される。変調器素子の第1のグループの各素子は個々に制御可能であるかプログラム可能であり、それによって照射スポットのパターンシーケンスは、物体に関する少なくとも1つの予め定められた問題領域を照射する。(任意選択的にレーザにより)全(フル)フィールドおよび/または共焦点イメージができる高度のフレキシブルな白色光顕微鏡の構成が利用可能である。高い光スループットにより、白色光照射は顕微鏡の拡張された応用能力が得られることを可能にする。
【0018】
“オン”素子および“オフ”素子を介して伝送される両画像の同時の使用は、本発明の特有の特徴であり、特定の改良されたデコンボリューションアルゴリズムで可能である。
【0019】
【発明の実施の形態】
本発明のさらに詳細な点および利点を添付図面を参照して以下説明する。
本発明にしたがったプログラム可能なアレイ顕微鏡(PAM)は、透過のときに動作する(例えば液晶に基づいたプログラム可能な開口マスクまたはマイクロメカニカルスイッチ)空間光変調器(以下SLMとする)、または反射のときに動作する空間光変調器(例えばDMD)に基づいて、構成されることができる。以下の説明では、(1例として)DMDを有する反射SLMとを限定ではない方法で参照する。本発明を類似の方法で透過SLMで実行することができる。
【0020】
図1は本発明にしたがった蛍光PAM100 の概略図を表している。PAM100 は基本的に、白色光ランプまたはレーザ源である光源110 と、SLMとして動作するDMD120 と、イメージ光学系130 と、プローブ部分140 と、検出システム150 、160 とを含んでいる。
【0021】
DMD120 は方形ミラー 121a、 121b…からなり(1つの素子だけがそれぞれ示されている)、それぞれ垂線に対して予め定められた傾斜角度±αにわたって2つの安定な固定状態に別々に傾斜されることができる。傾斜角度αの値は実際に使用されるDMDに依存する。各ミラー素子はDMDに依存する予め定められた面積を有する。好ましいパラメータは例えば20μm以下の方形ミラーでα=±10°である。各ミラー素子は予め定められた変調パターンにしたがって、KHz範囲の特徴周波数により固定状態間で切換えられることができる。固定状態は、検出システム150 、160 へ偏向される検出された光のそれぞれの共役貢献と非共役貢献にしたがって“オン”と“オフ”位置と呼ばれる。以下概略するように得られる所望の共焦点画像に基づいて両者の貢献は焦点共役画像Ic と非共役画像Incをそれぞれ生じる。
【0022】
検出システム150 、160 は共通通路二重反射システムである。この命名法を以下の理由で使用する。“共通通路”は照射および検出が照射開口と検出開口との間の基本的に共通の光路に従うことを意味する。“二重反射”はSLM素子が光を2つの縦続的な光路に沿って導くことができることを意味する。したがって画像IncとIc (以下参照)は同時に集められることができる。二重通路単一反射システムとして別のシステムを後述する(図4)。
【0023】
再び図1を参照すると、各通路は2次元カメラ151 、161 と検出光学系111 、112 、162 をそれぞれ含んでいる。カメラ151 は“オン位置”でミラーにより反射された光を検出し、カメラ161 は“オフ位置”で反射された光を受けるように構成されている。
【0024】
以下、図1にしたがったシステムのカメラ151 による焦点共役画像Ic の検出と、カメラ161 による焦点共役画像Incの検出を説明する。検出後、画像処理、記憶、表示等のさらに別のステップが付加される。これらのステップは走査システムからよく知られているので、詳細には説明しない。
【0025】
フレーム集積期間中、SLM(DMD120 )の変調パターンは共焦点画像(走査)を発生するためにN回変更される。SLMのi番目の変調は以下のように示される。
Figure 0004064550
ここで、xd ,yd はSLMの連続座標であり、素子(ミラー)の形状および定型サイズはSi に含まれている。
(焦点共役画像の検出)
焦点共役画像Ic を得るため、変調Si は以下説明するグリッドパターン方法または疑似ランダムシーケンス方法にしたがって選択されることが好ましい。グリッドパターン方法は簡単な構成であり、後処理せずに共焦点画像を生成する利点を有する。疑似ランダムシーケンス方法では幾らかの後処理が必要とされるが、所定の信号レベルに対するフレーム積分時間は基本的に短い。
(i)グリッドパターン方法
グリッドパターン方法では、SLMの素子(例えばマイクロミラーまたは液晶素子)はグリッドパターンおよびシフトされた体系にしたがってオンに切換えられる。変調パターンは次式にしたがって選択される
a,b (xd ,yd )=G(xd −aη,yd −bη) (2)
ここで、ηは素子のサイズであり(方形素子は100%の充填率であると仮定する)、式(1)の指数iは2次元整数指数a、bにより置換され、0≦a<nx 、0≦b<ny である。グリッドは以下の特性により限定される。
【0026】
【数1】
Figure 0004064550
δx =nx ηおよびδy =ny ηはグリッドの格子(lattice )距離である。関数Gに含まれている真の格子パラメータは異なった適切な形状を生じる。これらの形状は例えば正方形の形状を有するが、疑似六角形状のグリッドまたは線パターンまたはより複雑な形状も可能である。
【0027】
距離zs にわたる変位により軸方向で走査される場合の、物体空間での座標システム(x0 ,y0 ,z0 )中の物体O(x0 ,y0 ,z0 )の焦点共役画像は次式により得られる。
【0028】
【数2】
Figure 0004064550
ここでMは倍率であり、Tは総フレーム積分時間であり、Hem(x0 ,y0 ,z0 )は対物レンズの放射PSF(ポイントスプレッド関数)である。IG は次式にしたがった総照射である。
【0029】
【数3】
Figure 0004064550
ここで、Hem(x0 ,y0 ,z0 )は対物レンズの励起PSFである。総照射は式(4)を入力し、横方向の空間的に可変のシフトは次式により得られる。
Φx =xd modη Φy =yd modη (6)
式(4)にしたがった画像はΦx 、Φy 、xd 、yd の依存性により空間的に可変のPSFを有する3次元のコンボリューションとして観察されることができる。SLMは連続的に走査できず、G(xd ,yd )は(いわゆるタンデム走査顕微鏡のような既知の顕微鏡における連続動作とは対照的に)ηの整数倍にわたってシフトするだけである。η/Mが画像のサンプリング密度と比較して小さいならば、差は無視できる程度である。ηが非常に大きい場合、画像の画素化が生じる。PSFはηにわたってSLMを走査することにより空間的に不変にされることができる(いわゆるデイザリング)。
【0030】
式(4)にしたがって無限に薄い蛍光平面の応答における数字のシミュレーションが、焦点平面に関する平面位置の関数として図2に示されている。シミュレーションは例えばパラメータδx =δy ={2,3,5,10,20}、η,素子サイズη=17μm、NA=1.4、M=100、励起波長λex=633nm、放射波長λex=665nm、屈折率1.515の可変格子距離の正方形グリッドに基づいている。これらのパラメータは本発明の実際的構造にのみ適合する例である。通常の顕微鏡および理想的な共焦点顕微鏡の画像と比較して結果が標準化(正規化)される。通常の応答(以下説明する図2または図5の測定されたデータの最上部線)は有限サイズの画像における無限に大きい物体をシミュレートする結果として予測された直線から偏位している。比較的小さい格子距離においてさえも、背景が増加していることによるが区分効果は明白である。格子距離間隔が増加している場合、応答はより急峻になり、背景抑圧はより効率的である。図2で示されているようなオフセット上昇の類似の動作が、有限長の疑似ランダムシーケンスにおける傾斜間隔が変化されるときに得られる。
(ii)疑似ランダムシーケンス方法
疑似ランダムシーケンス方法では、SLMの素子も有限長の疑似ランダムシーケンスにしたがって切換えられる。SLMが所定の積分フレーム内でそのパターンを変化することができる回数が限定されているので、完全に相関されていない変調の理想的な状況を実際に実現することは困難である。それ故、完全な平面はN個の2次元パターンRi (a,b)の反復されたシーケンスで変調される。数Nと1パターンの周期は、シーケンスが1フレームの積分時間と比較して短いように選択されることができる。しかしながら別の選択も可能である。パターンシーケンスRi (a,b)は以下の特性を有する。
【0031】
【数4】
Figure 0004064550
ここで、Ri (a,b)は値1または−1を有する。特性(7)を有する2次元パターンの疑似ランダムシーケンスは周期的なアダーマールマトリックスの1次元行または列の適切なマッピングから得られ、これはHarwit等の“Hadamard Transform Optics ”(Academic Press、1979年、ニューヨーク)に記載されている。Si (xd ,yd )は値0および1のみと想定されることができるので、シーケンス(1+Ri (a,b))/2が使用される。Juskaitis 等の前述の文献にしたがった別の開口相関シーケンス方法が使用されることができる。
【0032】
i番目のパターンを“傾斜”するための式(3)にしたがったグリッドを基礎として、完全な変調パターンSi (xd ,yd )が形成される。G(xd −aη,yd −bη)=1の全てのSLM素子がシーケンス(1+Ri (a,b))/2を使用して同一方法で切換えられる。i番目の変調は、全ての素子が同時に切換えられるとき全てのaおよびbにわたる合計により与えられる。
【0033】
【数5】
Figure 0004064550
結果的な変調と、それにしたがって結果的な信号は2つの部分からなり、ここで第1の部分は一般的なフルライト画像を生成する“一定”変調である。
【0034】
座標システム(x0 ,y0 ,z0 )の物体O(x0 ,y0 ,z0 )の焦点共役画像は次式により得られる。
【0035】
【数6】
Figure 0004064550
疑似ランダムシーケンス方法は全てのSLMの50%が“オン”であるとき、非常に少ない効率を有する。これは式(9)により支持され、式(9)は第2項のT/nx y の代わりに係数T/4が使用されている点を除いて式(4)に等しい。両者の方法は同一のグリッドG(xd ,yd )で同一の共焦点画像を生成するが、疑似ランダムシーケンスは非常に大きい信号を発生し、その強度はシーケンス長とは独立している。
【0036】
式(9)にしたがった無限の薄い蛍光平面の応答における数値シミュレーションは、一定のオフセットを除いて図2の数値シミュレーションと同一である。
【0037】
疑似シーケンス方法により共焦点画像を得るため、補償項が減算されなければならない。これはJuskaitis 等により記載された前述の技術にしたがった一般的画像であるか、好ましくは非共役画像である。後者の場合、前者に関して2倍の共焦点信号が得られる。
(非共役画像の検出)
非共役画像Incは第2のカメラ161 でイメージされることができる。代わりに、共役画像Ic と同様のカメラで非共役画像Incをイメージすることが可能である。共通の通路タイプのこのような単一カメラシステムの1例を図7のA、Bを参照して以下説明する。本発明にしたがって、全ての蛍光、またはSLM上に落ちる物体から反射された光はカメラにより収集される。それ故、検出された画像の合計は通常の画像でなければならず、それによって非共役画像Incは式(4)または(9)で得られる通常の画像と共焦点画像との差である。疑似ランダムシーケンスに対して、Ic とIncの差は所望の共焦点画像に等しい。
(デコンボリューション)
画像が前述の方法にしたがって得られたならば、さらに改良された物体の再構成または回復のためにデコンボリューションアルゴリズムが条件的に実行されることができる。これはデコンボリューションアルゴリズムの性能が入力画像の特性およびSNRにより強く限定されるので基本的な利点である。共焦点顕微鏡の検出された信号が劣化した回復結果により非常に騒音が大きく、(劣化した分解能を有し区分能力がない)一般的な顕微鏡の検出された信号が非常に強く、改良されたデコンボリューションを可能にする。本発明はデコンボリューションにより共焦点イメージおよび一般的なイメージとの両者の利点を組合わせることを可能にする。前述の限定はデコンボリューションアルゴリズムにしたがって減少され、1以上の光セクションの両画像は適切な増強アルゴリズムで結合される。
【0038】
増強アルゴリズムは、3以上のセクションが単一の増強された画像を発生するために使用される最隣接方法、または画像の3Dスタックが全(フル)3D再構成に対して使用されるアルゴリズムであり、これはP. J. Verveer とT. M. Jovin の“Journal of the Optical Society of America A ”(14巻、1997年、1696〜1706)に記載されている。後者のモデルは以下のマトリックス表記で説明される。
【0039】
多次元のディスクリートな画像は画素の積重ねによりベクトルで表示される。多次元線形ぼけ(blurring)動作は1つのマトリックスにより表される。これは次のようなイメージ式を導く。
i=N[Hf+b] (10)
ここでi、f、bは検出された画像、物体、既知の背景をそれぞれ表している。顕微鏡光学系により誘発されたぼけは線形であると仮定され、マトリックスHによる乗算で与えられる。関数N[.]はベクトルアーギュメントの各素子、通常は蛍光イメージにおけるポアッソン分布へ雑音プロセスを適用することを表している。
【0040】
共役画像ic =N[Hc f+bc ]および非共役画像inc=N[Hncf+bnc]の対応する式は、ic とincを1つのベクトルにスタックし、Hc とHncを複素演算子へスタックすることによって、本発明にしたがって次のような1つの式に結合されることができる。
【0041】
【数7】
Figure 0004064550
式(11)は式(10)と同一形態であるので、利用可能なアルゴリズムは式 (11)で簡単に変形されることができる。
【0042】
式(10)、(11)では、画像の次元は無関係である。Hの構成は次元に依存するが、アルゴリズム自体はそれに依存しない。通常、次元は3(空間的次元)に等しい。しかしながら、スペクトルまたは時次元等のさらに別の次元が、ただ1つだけのHの変化に付加されることができる。例えば、時間依存が各画像画素または画像画素のグループで測定されるならば、次元は4に等しい。ぼけが時次元中に存在するならば、これは時次元でHを拡張することによりデータからデコンボリューションされることができる。以前は空間次元に限定されていたこれらのデコンボリューションアルゴリズムをスペクトルおよび時次元にも適用する能力は本発明の基本的な利点を表している。
(さらに別のPAM配列)
図3は本発明にしたがった共通通路二重反射PAM300 の概略図を示している。図1で示されているのと同様に、PAM300 は基本的に、光源310 、SLM320 、イメージ光学系330 、プローブ部分340 、検出システム350 、360 を含んでいる。PAM300 は側面照射ポート(例えばZeiss Axioplan)を有する顕微鏡とCCDカメラ(例えば、光度測定計のCH220 カメラ、Tucson、米国、コダックKAF1400 CCD センサ付)と組合わせた光源として(例えばテキサスインストルメント社、ダラス、米国)のデジタル光処理キットが使用されることができる。プローブ部分340 は、例えばLudl Electronics Products 社、ホーソン、米国のコンピュータ化された焦点制御装置のようなz変位(焦点平面に対して垂直)のための駆動装置を含んでいる。PAM300 は変調器素子を制御するための駆動装置、制御装置、計算およびデコンボリューション回路、表示装置(図示せず)を付加的に含んでいる。照射通路はハッチで示されている。
【0043】
(前述したように)DMDであるSLM320 は濾光された白色ランプ光源310 により照射される。フィルタは問題の予め定められた波長範囲用の帯域通過フィルタである。“オン素子” 320a(1つの素子のみを図示する)からの反射は対物レンズ342 によって対物平面341 に焦点を結ばれる。対物平面341 で励起された蛍光光は同一の光路を経てSLM320 へ戻り、ここで、光は半透明ミラー311 上で反射されてIc 路に沿ってフィルタ353 とレンズ352 を経てカメラ351 へ反射される。焦点が外れた位置(例えば図3の挿入図中の平面nc)から発生した光は“オフ”素子 321b(1つの素子のみが図示されている)によりミラー364 上で反射されてInc路に沿ってフィルタ363 とレンズ362 を経てカメラ361 へ入射される。共焦点配列は対応するSLM素子がオフに切換えられたとき焦点平面から光を拒否することを可能にする。フィルタ353 と363 は蛍光測定に適合された長波長の通過フィルタであることが好ましい(λem>λ0 )。
【0044】
図1で示されているように、焦点共役画像Ic はカメラ351 により収集され、非焦点共役画像Incはカメラ361 により収集される。
【0045】
図4は本発明の別の実施形態である二重通路単一反射PAM400 の概略図を示している。“二重通路”は照射および検出が2つの異なった光路に従うことを意味する。さらに、SLMは光を2方向で誘導することができるが、単一の反射方向だけが使用される。図3の実施形態では、共焦点は同一のSLM素子により限定され、図4にしたがって共焦点は照射側のSLM素子と、検出側のCCD画素により限定される。
【0046】
PAM400 は、1つの光軸を有する一般的な顕微鏡に簡単な方法で適合され、その光軸上にプローブ部分440 と、画像光学系430 と検出システム450 が配置されている。顕微鏡は前述した構成要素と同じ基本構成要素を具備することができる。光源410 からの照射光は顕微鏡のSLM420 と側面ポートを経て光軸上でビームスプリッタ(例えば半鍍銀ミラー)へ反射される。
【0047】
検出システム450 が1つのカメラ451 しか有しないとき、Ic とInc画像の分離はカメラ画像の解析を基礎として行われる。解析再構成と組合わせた二重通路PAMは、簡単な構成能力と高い効率と光学的処理能力とを有する利点がある。
【0048】
シフトされたグリッド方法にしたがって、“オン”素子の画像画素は最大のグレー値を選択することにより記録されたセットで発見される。DMDの各SLM素子は1つのシリーズで丁度1回だけ“オン”に切換えられ、“オン”状態の画素は最大の強度を有する。Ic 画像はこれらの選択された画素から再構成され、一方、Inc画像は残りの画素の合計から生じる。
【0049】
疑似ランダムシーケンス方法では、全体の半分を占める最も輝度の高い画像はIc 画像であり、残りの半分はInc画像である。Ic 画像とInc画像は一般的な画像と共焦点画像の和と差をそれぞれ表しているので、共焦点画像は差Ic −Incにより計算されることができる。
【0050】
図5は、(544μmのスポット距離に対応する)32×32の正方形格子と、100×1.3NA(開口の数)のオイル充填対物レンズと、λ=450〜490nmであるDMDを使用してPAMの軸応答特性を示している。反射表面の軸方向zの走査は、図2のシミュレーションにしたがって強力な光区分能力を示す強度をもつ共焦点画像を生成する。
【0051】
光区分中の背景信号の抑圧の実験による確証が図6で示されている。反射表面(ミラー)は焦点平面を通ってz軸に沿って走査される。パラメータは距離δx =δy ={3,5,10,20}η,η=17μm(16μmサイズ+ミラー間のギャップ1μmに対応する)、100×1.3NAのオイル充填対物レンズと、λ=450〜490nmである正方形格子である。
【0052】
図7のA、Bは、画像収集用に単一のカメラを使用している2つの照射軸を有する共通通路二重反射PAM700 の別の例を示している。この概念は1つのカメラだけを使用して価格を節約し、画像Ic 、Incに対する光路を形成する素子の光学的整列が簡単であるという利点を有する。
【0053】
PAM700 は図3で示されているPAM300 と基本的に類似の構成要素、特に光源 710a 、 710b、SLM720 、画像光学系730 、対物レンズ743 、プローブ部分740 、検出システム750 を具備している。1つの全(フル)画像の収集は2つのステップで行われる。画像シーケンスの収集では、画像Ic 、Incは交互に集められる。
【0054】
最初に、画像Ic は、半透明ミラー711 、SLM720 、画像光学系730 を経て、光源 710aにより第1の側面から物体を照射し、逆方向の光路に沿ってSLM720 、半透明ミラー711 、フィルタ753 、レンズ752 を経てカメラ751 により焦点平面画像を検出することにより収集される。この状況は図7のAに示されている。SLM720 の制御に使用されるパターンはSLMで表示される疑似ランダムシーケンスまたはその他のシーケンスに対応して“正”表示と呼ばれる。
【0055】
次に、図7のBで示されているように、画像Incは、第2の側面(光源 710b)から物体を照射し、前述の第1のステップでオン素子を制御するために使用したシーケンスにしたがって全てのオフ素子が制御されるいわゆる“負”表示でSLM720 を制御することにより収集される。照射光が第1のステップ照射と対称的に配置された第2の軸に沿って誘導されるとき、画像Ic 、Incの位置は逆にされる。
【0056】
種々の方法にしたがって、例えば2つの照射軸に沿ってミラーにより誘導される単一の光源により、または2つの同一の光源により2面の照射が実行されることができる。
(その他の利点および方法)
一般的な共焦点レーザ走査顕微鏡(CLSM)と比較して本発明によるPAMの改良された性能は以下のような相対的なパラメータ(PAM/CLSM)、即ちα 焦点平面における相対的放射、β 相対的な検出器の量子効率、γ 1画素当りの相対的な滞留時間、δ 走査開口の相対数から得られることができる。以下の例では、画像フィールドが103 ×103 素子(総画素数:N=106 )、グリッド周期がn=10と仮定される。したがって、δはN/n2 =104 に等しい。αとβの典型的な値は、10-2(回折が制限されているレーザ光源と比較した全(フル)フィールドランプ照射)と、10(光増倍器の陰極と比較したCCDセンサ)である。1ms(PAM)と10μs(CLSM)の滞留時間では、γは100であり、速度(δ/γ)の比例的増加を表している。α・β・γによって表される相対的な信号強度はPAMでは10倍高くなる。疑似ランダムシーケンス方法は、各SLM素子の50%の活性状態のために信号レベルのさらなる増加(この例ではn2 /2)を生じる。したがって、疑似ランダムシーケンス方法は生体内の生物サンプルの顕微鏡調査に好ましい。
【0057】
PAMは獲得速度を2桁増加させる潜在性を有する。PAMのランプ光源はCLSMのレーザよりも焦点平面で非常に低い放射を生じるが、これは並列に走査されるより多数の点(より長い滞留時間を可能にする)と、検出器におけるより高い量子効率により補償される。
【0058】
本発明は、細胞および生物組織に関する生物学、実時間の医療診断処理における中間情報としての画像データの導出、(例えば遺伝解析におけるもとの位置の交配等の)分析/生物工学処理、チップ上の生化学アレイの読出し、例えば半導体産業および/または光記録および読出し等における大規模表面検査等の好ましい応用が期待される。
【0059】
本発明による顕微鏡システムは、例えばプロテイン合成のような光化学反応を開始し同時に監視することを可能にする。適切な波長で予め定められた物質を放射することにより開始が実現され、監視はこれらの物質または反応生成物を顕微鏡測定することによって行われる。特定の応用は(例えばDNAシーケンスの合成等の)位置選択性の光化学反応のための光マスクを基体上に形成することである。
【図面の簡単な説明】
【図1】本発明にしたがった蛍光PAMの概略図。
【図2】照射スポット格子距離に依存する無限平面のイメージングのシミュレーションのグラフ。
【図3】本発明にしたがった共通通路二重反射PAMの概略図。
【図4】本発明にしたがった二重通路単一反射PAMの概略図。
【図5】PAMの軸応答特性のグラフ。
【図6】区分と背景抑圧のグラフ。
【図7】本発明にしたがった単一カメラの共通通路二重反射PAMの概略図。
【図8】光区分能力を示している本発明にしたがった顕微鏡画像の図。
【図9】回転ディスク技術(従来技術)を使用している補正されていない開口を生成するための既存のシステムの概略図。
【図10】空間的に光変調された共焦点顕微鏡(従来技術)の概略図。

Claims (24)

  1. 光源手段と、少なくとも1つの2次元検出器カメラを有する検出器手段と、変調器素子の第1および第2のグループを有する空間的光変調器手段とを具備し、変調器素子の第1のグループは、物体の位置を共役するように焦点を結ばれた照射スポットの予め定められたパターンシーケンスにしたがって、検査されるべき物体を照射するように構成され、共役位置からの検出光は検出器手段において第1の画像Ic を形成する共焦点光イメージシステムにおいて、
    素子の第2のグループは物体の非共役位置で光を集めるように構成され、非共役位置からの検出光は検出器手段において第2の画像Incを形成することを特徴とする共焦点光イメージシステム。
  2. 変調器素子の第1のグループの各素子は、照射スポットのパターンシーケンスが時間依存性の体系的シフトグリッドパターンにより表され、第1の画像Ic が共焦点画像であり、第2の画像Incが非共焦点画像と第1の画像Ic との差画像であるように個々に制御可能である請求項1記載の共焦点光イメージシステム。
  3. 変調器素子の第1のグループの各素子は、照射スポットのパターンシーケンスが有限長の疑似ランダムシーケンスに基づく時間依存性のパターンにより表され、第1の画像Ic が共焦点画像と非共焦点画像の重畳されたものであり、第2の画像Incが共焦点画像と非共焦点画像との差画像であるように個々に制御可能である請求項1記載の共焦点光イメージシステム。
  4. 前記パターンシーケンスは、
    有限長の疑似ランダムシーケンスにしたがって、またSマトリックスタイプのアダマールシーケンスにしたがって規則的な間隔またはランダムな間隔の体系的にシフトされた単数または複数のラインであり、
    三角形、正方形、長方形、六角形等の規則的なドット格子と、
    いわゆるウォルシュ、シルヴェスター、アダマール、またはゴレイシーケンスに基づいて有限長のランダムパターンまたは疑似ランダムパターンと、
    交差するラインパターンから形成される正方形または長方形グリッドと、
    全(フル)フィールド“オン”パターンと、
    SLMで逐次的に生成されるとき整数の回数だけSLM素子をオン切換えするように構成された平面充填パターンと、
    循環アダマールマトリックスの行または列から得られた2次元パターンの反復シーケンスと、または
    上記パターンシーケンスの組合わせとから選択される請求項2または3記載の共焦点光イメージシステム。
  5. 検出器手段は両画像Ic 、Incの結合された検出によってシステムの画像平面で得られる光を収集するように構成されている請求項1乃至4のいずれか1項記載の共焦点光イメージシステム。
  6. 空間的光変調器手段は透過マスクまたは反射マスクを具備している請求項1乃至5のいずれか1項記載の共焦点光イメージシステム。
  7. 反射マスクは複数のマイクロミラーを有するデジタルマイクロミラー装置であり、複数のマイクロミラーはそれぞれ垂線に対して予め定められた傾斜角度±αで2つの安定した静止状態に別々に傾斜されることができ、第1、第2の静止状態はそれぞれ変調器素子の第1、第2のグループに影響する請求項6記載の共焦点光イメージシステム。
  8. 検出器手段は2つの検出器システムを具備し、それらの検出器システムはそれぞれ第1の画像Ic または第2の画像Incを集めるための2次元カメラを備えている請求項1乃至7のいずれか1項記載の共焦点光イメージシステム。
  9. 検出器手段は1つの検出器システムを具備し、その検出器システムは第1の画像Ic と第2の画像Incを同時または逐次的に集めるための2次元カメラを有する請求項1乃至7のいずれか1項記載の共焦点光イメージシステム。
  10. カメラは第1および第2の画像を同時に集めるように構成され、前記イメージシステムはさらに第1の画像Ic と第2の画像Incを分離するように構成されている画像解析用の回路を具備している請求項9記載の共焦点光イメージシステム。
  11. カメラは第1および第2の画像を逐次的に集めるように構成され、それにおいて第1に、変調器素子の第1のグループの各素子が、第1の画像Ic を集めるための前記パターンシーケンスにしたがって個々に制御され、それに続いて、変調器素子の第2のグループの各素子が、第2の画像Incを集めるための前記パターンシーケンスにしたがって個々に制御され、光源手段は2つの軸に沿って物体を照射する第1、第2の光源を具備している請求項9記載の共焦点光イメージシステム。
  12. 検出光は、物体から放射された蛍光または燐光またはラマン散乱光である請求項1乃至10のいずれか1項記載の共焦点光イメージシステム。
  13. プログラム可能な空間的に光変調された共焦点顕微鏡の一部である請求項1乃至11のいずれか1項記載の共焦点光イメージシステム。
  14. 光源手段から、変調器素子の第1、第2のグループを有する空間的光変調器手段へ光を導き、
    物体の共役位置に焦点を結ばれた照射スポットの予め定められたパターンシーケンスにしたがって検査されるべき物体に変調器素子の第1のグループから光を導き、
    共役位置から検出器手段へ検出光を導くことによって検出器手段により第1の画像Ic を収集するステップを有する共焦点光イメージ形成方法において、
    物体の非共役位置から検出器手段へ前記検出光を導くことによって、変調器素子の第2のグループにより物体の非共役位置から検出光を収集し、第2の画像Incを形成することを特徴とする共焦点光イメージ方法。
  15. 変調器素子の第1のグループの各素子は個々に制御され、それにおいて照射スポットのパターンシーケンスは物体に関する少なくとも1つの予め定められた問題領域を照射する時間依存性の体系的シフトグリッドパターンであり、第1の画像Ic は共焦点画像であり、第2の画像Incは非共焦点画像と第1の画像Ic との差画像である請求項14記載の共焦点光イメージ方法。
  16. 変調器素子の第1のグループの各素子は個々に制御可能であり、それにおいて照射スポットのパターンシーケンスは有限長の疑似ランダムシーケンスに基づき、物体の問題となる少なくとも1つの予め定められた領域を照射する時間依存性のパターンであり、第1の画像Ic は共焦点画像と非共焦点画像の重畳されたものであり、第2の画像Incは共焦点画像と非共焦点画像との差画像である請求項15記載の共焦点光イメージ形成方法。
  17. 変調器素子の第のグループの各素子は、照射スポットのパターンシーケンスが2次元パターンの反復されたシーケンスにより表されるように個々に制御される請求項16記載の共焦点光イメージ形成方法。
  18. 検出器手段は2次元カメラをそれぞれ含んでいる2つの検出器システムを具備し、第1および第2の画像はそれぞれ2つのカメラにより収集される請求項14乃至17のいずれか1項記載の共焦点光イメージ形成方法。
  19. 検出器手段は2次元カメラを有する1つの検出器システムを具備し、第1および第2の画像は共にカメラにより収集される請求項14乃至17のいずれか1項記載の共焦点光イメージ形成方法。
  20. 第1および第2の画像を分離する画像解析をさらに含み、第1の画像の画像画素が最大のグレー値を選択することによって、または最高の半分の輝度の画素を選択することによって収集された画像中で発見される請求項19記載の共焦点光イメージ形成方法。
  21. 光源手段から空間的光変調手段へ光を導くステップが波長選択を含んでいる請求項14乃至20のいずれか1項記載の共焦点光イメージ形成方法。
  22. デコンボリューション処理をさらに含み、物体は1以上の収集された光セクションの第1および第2の両画像を結合するデコンボリューションアルゴリズムによって再構成される請求項14乃至21のいずれか1項記載の共焦点光イメージ形成方法。
  23. デコンボリューションアルゴリズムは最隣接方法を有する増強アルゴリズムを含んでおり、単一の増強画像を生成するために3以上のセクションが使用される請求項22記載の共焦点光イメージ形成方法。
  24. 細胞および組織の生物学的調査と、
    予め定められた物質を適切な波長で放射することを含む基体上の光化学反応の位置選択開始および物質または反応生成物による蛍光測定を含む同時の監視と、
    分析/生物工学処理過程と、
    遺伝解析におけるもとの位置の交配と、
    位相変調技術および/または偏極測定等による位置選択蛍光測定および寿命時間測定と、
    チップ上での生化学アレイの生成および読出しと、
    半導体産業における大規模な表面検査と、
    光学的な記録および読出しと、
    2以上のマルチ光子顕微鏡検査と、
    立体顕微鏡検査との応用に対する請求項1乃至23のいずれか1項記載の共焦点光イメージシステムまたはイメージ形成方法の使用方法。
JP30100398A 1997-10-22 1998-10-22 プログラム可能であり空間的に光変調された顕微鏡および顕微鏡による方法 Expired - Lifetime JP4064550B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP97118354A EP0911667B1 (en) 1997-10-22 1997-10-22 Programmable spatially light modulated microscope and microscopy method
DE97118354.6 1997-10-22

Publications (2)

Publication Number Publication Date
JPH11194275A JPH11194275A (ja) 1999-07-21
JP4064550B2 true JP4064550B2 (ja) 2008-03-19

Family

ID=8227511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30100398A Expired - Lifetime JP4064550B2 (ja) 1997-10-22 1998-10-22 プログラム可能であり空間的に光変調された顕微鏡および顕微鏡による方法

Country Status (5)

Country Link
US (1) US6399935B1 (ja)
EP (1) EP0911667B1 (ja)
JP (1) JP4064550B2 (ja)
AT (1) ATE236412T1 (ja)
DE (1) DE69720458T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928970A (zh) * 2012-10-19 2013-02-13 华中科技大学 一种大样本快速三维显微成像的方法和系统
KR101907782B1 (ko) 2017-04-12 2018-10-12 한국과학기술원 광학 현미경 장치 및 시편의 영상 측정 방법

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388809B1 (en) 1997-10-29 2002-05-14 Digital Optical Imaging Corporation Methods and apparatus for improved depth resolution use of out-of-focus information in microscopy
ATE220465T1 (de) 1997-10-29 2002-07-15 Calum E Macaulay Gerät und verfahren zur mikroskopie unter verwendung räumlich modulierten lichtes
GB9901365D0 (en) * 1999-01-22 1999-03-10 Isis Innovations Ltd Confocal microscopy apparatus and method
JP3544892B2 (ja) * 1999-05-12 2004-07-21 株式会社東京精密 外観検査方法及び装置
US6700606B1 (en) * 1999-06-09 2004-03-02 Activcard Ireland Limited Micromirror optical imager
DE19932487A1 (de) * 1999-07-09 2001-02-08 Epigenomics Gmbh Vorrichtung und Verfahren zur photolithographischen Belichtung von biologischen Stoffen
DE19960583A1 (de) * 1999-12-15 2001-07-05 Evotec Biosystems Ag Verfahren und Vorrichtung zur Mikroskopie
US6663560B2 (en) * 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
US6530882B1 (en) * 2000-06-30 2003-03-11 Inner Vision Imaging, L.L.C. Endoscope having microscopic and macroscopic magnification
JP4610713B2 (ja) * 2000-10-13 2011-01-12 オリンパス株式会社 内視鏡装置
JP4932076B2 (ja) * 2000-10-30 2012-05-16 オリンパス株式会社 走査型レーザ顕微鏡
JP4153675B2 (ja) * 2001-04-10 2008-09-24 三菱重工業株式会社 材料寿命の評価システム、及び、その評価方法
EP1397668A2 (en) * 2001-06-06 2004-03-17 Digital Optical Imaging Corporation Light modulated microarray reader and methods relating thereto
WO2003025656A1 (fr) * 2001-09-03 2003-03-27 Kabushiki Kaisha Hayashi Soken Procede et dispositif de balayage a commande numerique
US6885492B2 (en) * 2001-11-08 2005-04-26 Imaginative Optics, Inc. Spatial light modulator apparatus
ATE360227T1 (de) * 2002-02-04 2007-05-15 Zeiss Carl Surgical Gmbh Stereo-untersuchungssysteme und stereo- bilderzeugungsvorrichtung sowie verfahren zum betrieb einer solchen
US6996292B1 (en) * 2002-04-18 2006-02-07 Sandia Corporation Staring 2-D hadamard transform spectral imager
US7193775B2 (en) 2002-05-30 2007-03-20 Dmetrix, Inc. EPI-illumination system for an array microscope
WO2004017069A1 (ja) * 2002-08-16 2004-02-26 Kabushiki Kaisha Hayashi Soken バイオチップ分析装置およびオンライン分析システム
US7164533B2 (en) 2003-01-22 2007-01-16 Cyvera Corporation Hybrid random bead/chip based microarray
US7872804B2 (en) 2002-08-20 2011-01-18 Illumina, Inc. Encoded particle having a grating with variations in the refractive index
US7900836B2 (en) 2002-08-20 2011-03-08 Illumina, Inc. Optical reader system for substrates having an optically readable code
US7923260B2 (en) 2002-08-20 2011-04-12 Illumina, Inc. Method of reading encoded particles
US7508608B2 (en) 2004-11-17 2009-03-24 Illumina, Inc. Lithographically fabricated holographic optical identification element
US7901630B2 (en) 2002-08-20 2011-03-08 Illumina, Inc. Diffraction grating-based encoded microparticle assay stick
US7092160B2 (en) 2002-09-12 2006-08-15 Illumina, Inc. Method of manufacturing of diffraction grating-based optical identification element
US20100255603A9 (en) 2002-09-12 2010-10-07 Putnam Martin A Method and apparatus for aligning microbeads in order to interrogate the same
US7706584B2 (en) * 2002-10-22 2010-04-27 Baylor College of Medicine and William Marsh Rice University Random access high-speed confocal microscope
FR2848682B1 (fr) 2002-12-13 2005-02-18 Commissariat Energie Atomique Microscope optique a eclairage structure modifiable
US7339148B2 (en) * 2002-12-16 2008-03-04 Olympus America Inc. Confocal microscope
US7002164B2 (en) * 2003-01-08 2006-02-21 Intel Corporation Source multiplexing in lithography
JP4031716B2 (ja) * 2003-02-06 2008-01-09 株式会社コーナン・メディカル 眼科用撮影装置
DE10327987A1 (de) * 2003-06-21 2005-01-20 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Konfokales optisches System
US7881502B2 (en) * 2003-06-30 2011-02-01 Weyerhaeuser Nr Company Method and system for three-dimensionally imaging an apical dome of a plant embryo
DE602004024464D1 (de) * 2003-07-04 2010-01-14 Vincent Lauer Bildgebungsvorrichtung für konfokale Mikroskopie mit Bildsubstraktion
US8269174B2 (en) * 2003-07-18 2012-09-18 Chemimage Corporation Method and apparatus for compact spectrometer for multipoint sampling of an object
US7433123B2 (en) 2004-02-19 2008-10-07 Illumina, Inc. Optical identification element having non-waveguide photosensitive substrate with diffraction grating therein
WO2006020363A2 (en) 2004-07-21 2006-02-23 Illumina, Inc. Method and apparatus for drug product tracking using encoded optical identification elements
EP1622200A1 (en) 2004-07-26 2006-02-01 CSEM Centre Suisse d'Electronique et de Microtechnique SA Solid-state photodetector pixel and photodetecting method
US20060066842A1 (en) * 2004-09-30 2006-03-30 Saunders Winston A Wafer inspection with a customized reflective optical channel component
JP2006133499A (ja) * 2004-11-05 2006-05-25 Shimadzu Corp 共焦点スキャナ及び共焦点顕微鏡
EP2194485B1 (en) 2004-11-16 2012-10-17 Illumina, Inc. Method and apparatus for reading coded microbeads
WO2006055735A2 (en) * 2004-11-16 2006-05-26 Illumina, Inc Scanner having spatial light modulator
JP2006154290A (ja) * 2004-11-29 2006-06-15 Hamamatsu Univ School Of Medicine 蛍光顕微鏡システム
JP2006235420A (ja) * 2005-02-28 2006-09-07 Yokogawa Electric Corp 共焦点顕微鏡
JP3755888B2 (ja) * 2005-06-14 2006-03-15 株式会社林創研 バイオチップオンライン分析システム
GB0514656D0 (en) 2005-07-16 2005-08-24 Cairn Res Ltd Control of illumination in microscopy
EP1746410B1 (en) 2005-07-21 2018-08-22 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Apparatus and method for fluorescence lifetime imaging
US7593156B2 (en) * 2005-08-26 2009-09-22 Leica Microsystems (Schweiz) Ag Microscope with micro-mirrors for optional deflection and/or beam splitting
DE102005040471B4 (de) * 2005-08-26 2007-06-21 Leica Microsystems (Schweiz) Ag Mikroskop
DE502005010557D1 (de) * 2005-09-13 2010-12-30 Univ Albert Ludwigs Freiburg Mikroskopieverfahren mit räumlich modulierbarer Beleuchtung
JP4831072B2 (ja) * 2005-10-13 2011-12-07 株式会社ニコン 顕微鏡装置
DE102005058185A1 (de) * 2005-12-01 2007-06-14 Friedrich-Schiller-Universität Jena Verfahren und Anordnung zur Detektion von Fluoreszenz- oder Reflexionsspektren beliebig wählbarer Bereiche und Strukturen eines vom Fremdlicht überlagerten Objekts unter geringer Strahlenbelastung
JP2007171598A (ja) * 2005-12-22 2007-07-05 Olympus Corp 共焦点顕微鏡
GB0606788D0 (en) * 2006-04-03 2006-05-10 Ind Co Ltd Confocal microscopy
US7830575B2 (en) 2006-04-10 2010-11-09 Illumina, Inc. Optical scanner with improved scan time
WO2007124437A2 (en) * 2006-04-20 2007-11-01 Washington University In St. Louis Objective-coupled selective plane illumination microscopy
DE102006022592B4 (de) * 2006-05-15 2008-02-07 Leica Microsystems (Schweiz) Ag Mikroskop mit Beleuchtungseinheit
DE102006040636B3 (de) * 2006-05-15 2007-12-20 Leica Microsystems (Schweiz) Ag Autofokus-System und Verfahren zum Autofokussieren
US7460248B2 (en) * 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
DE102006025149A1 (de) * 2006-05-30 2007-12-06 Leica Microsystems (Schweiz) Ag Optisches Gerät mit erhöhter Tiefenschärfe
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
US7990524B2 (en) * 2006-06-30 2011-08-02 The University Of Chicago Stochastic scanning apparatus using multiphoton multifocal source
JP4891057B2 (ja) * 2006-12-27 2012-03-07 オリンパス株式会社 共焦点レーザー走査型顕微鏡
DE102008011993A1 (de) 2008-02-29 2009-09-10 Leica Microsystems Cms Gmbh Synchronisierte Bildgebung mittels optischer Verfahren und Rasterkraftmikroskopie
US8531662B2 (en) * 2008-06-17 2013-09-10 Koninklijke Philips N.V. Method and device for optically examining the interior of turbid media
CN101655601B (zh) * 2008-08-22 2012-09-26 麦克奥迪实业集团有限公司 一种基于dmd的结构光显微镜成像方法及系统
WO2010036972A1 (en) 2008-09-25 2010-04-01 The Trustees Of Columbia University In The City Of New York Devices, apparatus and method for providing photostimulation and imaging of structures
KR101495096B1 (ko) * 2008-10-31 2015-02-25 삼성전자주식회사 협대역 엑스레이 필터링 장치 및 방법
EP2317362B1 (de) * 2009-10-28 2020-01-15 Carl Zeiss Microscopy GmbH Mikroskopisches Verfahren und Mikroskop mit gesteigerter Auflösung
JP5393406B2 (ja) * 2009-11-06 2014-01-22 オリンパス株式会社 パターン投影装置、走査型共焦点顕微鏡、及びパターン照射方法
CN102883658B (zh) * 2009-11-19 2016-06-22 调节成像公司 用于使用结构化照明经由单元件检测来分析浑浊介质的方法和设备
DE102009047198A1 (de) * 2009-11-26 2011-06-01 Universität Rostock Mikroarraybasiertes Ortsfilter
EP2369401B1 (en) * 2010-03-23 2015-09-23 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Optical modulator device and spatio-temporally light modulated imaging system
US8237835B1 (en) * 2011-05-19 2012-08-07 Aeon Imaging, LLC Confocal imaging device using spatially modulated illumination with electronic rolling shutter detection
DE102012009836A1 (de) * 2012-05-16 2013-11-21 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zur Bildaufnahme mit einem Lichtmikroskop
DE102012217329B4 (de) * 2012-09-25 2024-03-21 Carl Zeiss Jena Gmbh Projektionsvorrichtung
DE102013001238B4 (de) * 2013-01-25 2020-06-10 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Mikroskopieverfahren
CN103364345B (zh) * 2013-06-25 2015-11-11 浙江大学 基于数字微镜元件的全反射显微镜环形扫描方法和装置
US9535242B1 (en) * 2014-06-26 2017-01-03 Verily Life Sciences Llc Parallel programmable array microscope
US9485491B2 (en) * 2014-12-15 2016-11-01 Test Research, Inc. Optical system
KR20160115682A (ko) * 2015-03-25 2016-10-06 삼성전자주식회사 대상에 대하여 공간적으로 가변하는 오토 포커싱을 가능하게 하는 방법 및 이를 이용하는 촬상 시스템
DE102015210016A1 (de) * 2015-06-01 2016-12-01 Carl Zeiss Microscopy Gmbh Verfahren zum Ermitteln einer ortsaufgelösten Höheninformation einer Probe mit einem Weitfeldmikroskop und Weitfeldmikroskop
CN105092603B (zh) * 2015-09-07 2017-09-05 哈尔滨理工大学 碗型工件内壁的在线视觉检测装置和方法
WO2017112634A1 (en) 2015-12-21 2017-06-29 Verily Life Sciences Llc Spectrally and spatially multiplexed fluorescent probes for in situ cell labeling
JP2019514051A (ja) 2016-03-24 2019-05-30 マツクス−プランク−ゲゼルシヤフト ツール フエルデルング デル ヴイツセンシヤフテン エー フアウMAX−PLANCK−GESELLSCHAFT ZUR FOeRDERUNG DER WISSENSCHAFTEN E.V. 垂直方向のカメラを含む時空間光変調結像システム、および物体を共焦点結像させるための方法
WO2017162257A1 (en) 2016-03-24 2017-09-28 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Spatio-temporally light modulated imaging system, method for confocal imaging an object and carrier wheel device
US10551604B2 (en) 2016-05-27 2020-02-04 Verily Life Sciences Llc Spatial light modulator based hyperspectral confocal microscopes and methods of use
DE102016119727A1 (de) * 2016-10-17 2018-04-19 Carl Zeiss Microscopy Gmbh Vorrichtung zur Strahlmanipulation für ein Scanning-Mikroskop und Mikroskop
JP2019066706A (ja) 2017-10-02 2019-04-25 ソニー株式会社 蛍光顕微鏡装置及び蛍光顕微鏡システム
US20210003834A1 (en) * 2017-12-20 2021-01-07 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E. V. Method and apparatus for optical confocal imaging, using a programmable array microscope
WO2019159933A1 (ja) * 2018-02-19 2019-08-22 京セラ株式会社 電磁波検出装置および情報取得システム
JP7260966B2 (ja) * 2018-02-19 2023-04-19 京セラ株式会社 電磁波検出装置
WO2020031668A1 (ja) 2018-08-09 2020-02-13 ソニー株式会社 光学顕微鏡装置及び光学顕微鏡システム
DE102018127281A1 (de) * 2018-10-31 2020-04-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur Mikroskopie
DE102019110869A1 (de) * 2018-12-21 2020-06-25 Leica Microsystems Cms Gmbh Mikroskop
JP7395511B2 (ja) * 2019-01-16 2023-12-11 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
US20230049486A1 (en) * 2020-01-13 2023-02-16 Haag-Streit Ag Ophthalmologic microscope with micro-mirror balancing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0485803B1 (de) * 1990-11-10 1996-05-01 Grosskopf, Rudolf, Dr.-Ing. Optische Abtastvorrichtung mit konfokalem Strahlengang, in der Lichtquellen- und Detektormatrix verwendet werden
US5532873A (en) * 1993-09-08 1996-07-02 Dixon; Arthur E. Scanning beam laser microscope with wide range of magnification
US5587832A (en) * 1993-10-20 1996-12-24 Biophysica Technologies, Inc. Spatially light modulated confocal microscope and method
GB9603788D0 (en) * 1996-02-22 1996-04-24 Isis Innovation Confocal microscope
AU1975197A (en) * 1996-02-28 1997-10-01 Kenneth C. Johnson Microlens scanner for microlithography and wide-field confocal microscopy
US6038067A (en) * 1996-05-23 2000-03-14 The Regents Of The University Of California Scanning computed confocal imager

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928970A (zh) * 2012-10-19 2013-02-13 华中科技大学 一种大样本快速三维显微成像的方法和系统
CN102928970B (zh) * 2012-10-19 2014-10-29 华中科技大学 一种大样本快速三维显微成像的方法和系统
KR101907782B1 (ko) 2017-04-12 2018-10-12 한국과학기술원 광학 현미경 장치 및 시편의 영상 측정 방법

Also Published As

Publication number Publication date
JPH11194275A (ja) 1999-07-21
US6399935B1 (en) 2002-06-04
DE69720458T2 (de) 2004-02-26
DE69720458D1 (de) 2003-05-08
ATE236412T1 (de) 2003-04-15
EP0911667A1 (en) 1999-04-28
EP0911667B1 (en) 2003-04-02

Similar Documents

Publication Publication Date Title
JP4064550B2 (ja) プログラム可能であり空間的に光変調された顕微鏡および顕微鏡による方法
US10795144B2 (en) Microscopy with structured plane illumination and point accumulation for imaging and nanoscale topography
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
Verveer et al. Theory of confocal fluorescence imaging in the programmable array microscope (PAM)
Neil et al. Real time 3D fluorescence microscopy by two beam interference illumination
JP5087178B2 (ja) 顕微鏡用物体の検査及び操作のための装置及び方法
JP7233129B2 (ja) 時間的多重化ライトシートを利用する高速体積蛍光顕微鏡法のための装置及び方法
US8504140B2 (en) Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
US20110267688A1 (en) Microscopy Method and Microscope With Enhanced Resolution
JPH11249023A (ja) 共焦点分光システムおよび分光方法
US20220205919A1 (en) Widefield, high-speed optical sectioning
JP2004170977A (ja) 分解能の深度で試料を光学的に把握する方法および配置
JP2012515930A (ja) 広視野の超解像顕微鏡を提供するためのシステム、方法及びコンピューターがアクセス可能な媒体
EP2831657B1 (en) Improved confocal microscopy methods and devices
Boyer et al. Biomedical three–dimensional holographic microimaging at visible, ultraviolet and X–ray wavelengths
NL2008873C2 (en) Method and apparatus for multiple points of view three-dimensional microscopy.
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
JP4615941B2 (ja) 光信号解析方法
KR20220074886A (ko) 초고해상도 이미징을 위한 고속 스캐닝 시스템
JP7268144B2 (ja) 試料を走査する方法および装置
Enderlein Advanced fluorescence microscopy
US11156818B2 (en) Flexible light sheet generation by field synthesis
EP3627205A1 (en) Confocal laser scanning microscope configured for generating line foci
CN111189807A (zh) 基于波动的荧光显微术
WO2024044981A1 (zh) 超分辨率分析系统、方法及相应成像设备和模型训练方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term