JP6876626B2 - 構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法 - Google Patents

構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法 Download PDF

Info

Publication number
JP6876626B2
JP6876626B2 JP2017562591A JP2017562591A JP6876626B2 JP 6876626 B2 JP6876626 B2 JP 6876626B2 JP 2017562591 A JP2017562591 A JP 2017562591A JP 2017562591 A JP2017562591 A JP 2017562591A JP 6876626 B2 JP6876626 B2 JP 6876626B2
Authority
JP
Japan
Prior art keywords
housing
sample
imaging
item
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017562591A
Other languages
English (en)
Other versions
JP2018522267A5 (ja
JP2018522267A (ja
Inventor
スティーブン リトル,
スティーブン リトル,
ポール ボスホーテン,
ポール ボスホーテン,
アンドリュー ガンダーソン,
アンドリュー ガンダーソン,
クリス ネム,
クリス ネム,
Original Assignee
ライフ テクノロジーズ コーポレーション
ライフ テクノロジーズ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライフ テクノロジーズ コーポレーション, ライフ テクノロジーズ コーポレーション filed Critical ライフ テクノロジーズ コーポレーション
Publication of JP2018522267A publication Critical patent/JP2018522267A/ja
Publication of JP2018522267A5 publication Critical patent/JP2018522267A5/ja
Application granted granted Critical
Publication of JP6876626B2 publication Critical patent/JP6876626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0044Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本出願は、2015年6月2日に出願された米国特許出願第62/169,655号の優先権を主張するものであり、該出願は、参照によりその開示全体が本明細書に援用される。
本明細書に記載の実施形態は、蛍光イメージングに関し、より具体的には、蛍光イメージングシステムにおける合成共焦点画像を生成することに関する。
関連技術
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である(クロロフィルのような)か、蛍光染色で処理されるかのいずれかで有り得る。
当該技術において既知の基本的な広視野蛍光顕微鏡は、光源と、蛍光染色と一致する波長に対応するいくつかのフィルタとを含む。光源からの光の励起波長を選択するために励起フィルタが設けられ、ダイクロイックビームスプリッタは、光源からの光を反射させて試料を照明する。照明された光は、放射フィルタによってさらに弱い放射された蛍光から分離される。蛍光領域は、顕微鏡において観察され、暗い背景に対して高コントラストで光る。
構造化照明イメージングシステムは、既に記載した広視野イメージングシステムとほぼ同じ原理を用いるが、一度にサンプルの一部のみが照明されることがキーである。励起光の大部分は遮断され、遮断されない照明のパターンをサンプル全体にわたらせてサンプルの領域それぞれがほぼ等しい励起光を受光するようにされる。典型的には、この工程において複数の画像が別個の間隔でキャプチャされ、別個の入力画像を解析して対応する出力画像を構築する画像処理アルゴリズムによって単一全照明画像が生成される。この出力画像は、サンプルの焦点が合っていない領域から集められる光が低減することにより向上した信号雑音比、より高い縦方向および軸方向空間解像度、または両方がもたらされるため、シンプルな広視野イメージング技術を用いてキャプチャされた画像よりも優れている。
共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、信号雑音比を向上させる、または光学解像度を増大させるのに用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
本技術は、一度に1ポイントのみを撮像可能である。したがって、単一2D共焦点画像を構築するためには、ビームまたはサンプルを2次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図5に示す。
図5から分かるように、光源からの光802は、第二のディスク808に含まれるピンホールマスク810上に光を集束させる複数の集束レンズ806を含む第一のディスク804上に入射する。ピンホールマスク810を透過する光802がその後、対物レンズ812を介して試料814上に集束される。光802が蛍光体に吸収され、それにより蛍光体が光816を放射し、これが対物レンズ812およびピンホールマスク810を逆透過して、ミラー818上に入射する。ミラー818は、例えば光学系820を介して、放射された光816を、それが検出され得るセンサ822上に反射させる。
図5に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタの間のより複雑な同期を必要とする。
本明細書では、システムを用いてピンホールマスクによって合成共焦点画像を生成することが可能となるような、蛍光イメージングシステムのためのシステムおよび方法が開示される。
一態様によると、構造化照明画像を生成する装置は、筐体と、筐体内に取り付けられた、フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成されたイメージング光学系と、筐体内に取り付けられて照明をサンプルに反射させるよう構成されたリフレクタと、照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、筐体内に取り付けられた1つ以上のフィルタを含むフィルタ装置と、装置がイメージングシステム内に設置されることを可能にするよう構成された、筐体上の取り付け機構と、を備える。
別の態様によると、構造化照明システムは、筐体と、筐体内に取り付けられた、フォトマスク上のパターンに対応する焦点が合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成されたイメージング光学系と、筐体内に取り付けられて照明をサンプルに反射させるよう構成されたリフレクタと、照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、筐体内に取り付けられた1つ以上のフィルタを含むフィルタ装置と、装置がイメージングシステム内に設置されることを可能にするよう構成された筐体上の取り付け機構と、複数のイメージング装置がシステム上またはシステム内に取り付けられることを可能にするよう構成された取り付け構造と、を含むイメージング装置、を備える。
別の態様によると、照明源と特定のサンプル色素に対して最適化された光学系とを含む筐体を備えるイメージングシステムを構成する方法は、筐体内にイメージング光学系を取り付けることと、フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするようイメージング光学系を構成することと、照明サンプルからの放射のみがセンサを通過することを可能にするよう構成された、1つ以上のフィルタを有するフィルタ装置を筐体内に取り付けることと、サンプルを照明するために照明源、イメージング光学系、およびフィルタ装置を較正することと、筐体を取り付け構造に取り付けることと、を含む。
本発明は、例えば、以下を提供する。
(項目1)
構造化照明画像を生成する装置であって、
筐体と、
フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成された、前記筐体内に取り付けられたイメージング光学系と、
前記筐体内に取り付けられ、前記照明をサンプルに反射するよう構成されたリフレクタと、
前記照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、前記筐体内に取り付けられた1つ以上のフィルタを含むフィルタ装置と、
前記装置がイメージングシステム内に設置されることを可能にするよう構成された、前記筐体上の取り付け機構と、を備える、装置。
(項目2)
前記筐体は、フォトマスクを含むスライドを前記照明源と前記イメージング光学系との間の前記筐体内に挿入することを可能にする開口をさらに備える、項目1に記載の装置。
(項目3)
前記筐体内に取り付けられ、前記照明源からの照明をフォトマスク上に焦点合わせするよう構成された照明源光学系をさらに備える、項目1に記載の装置。
(項目4)
前記筐体内に取り付けられた照明源をさらに備える、項目1に記載の装置。
(項目5)
前記照明源は、発光ダイオード(LED)である、項目4に記載の装置。
(項目6)
前記スライドは、1つ以上のピンホールマスクまたはクリア窓を含む、項目2に記載の装置。
(項目7)
前記1つ以上のピンホールマスクは、座標系によって規定されるピンホールのパターンを含む、項目2に記載の装置。
(項目8)
合成画像を生成するのに必要な複数の画像をキャプチャする必要に応じて、前記スライドを動かすよう構成された移動装置をさらに備える、項目2に記載の装置。
(項目9)
前記リフレクタは、ダイクロイックミラーである、項目1に記載の装置。
(項目10)
前記筐体上または前記筐体内に取り付けられ、前記装置が制御システムと通信することを可能にするよう構成された回路をさらに備える、項目1に記載の装置。
(項目11)
前記回路は、前記装置についての情報を前記制御システムに提供するよう構成される、項目9に記載の装置。
(項目12)
前記照明源およびフィルタ装置は、特定の種類のサンプル染色に対して最適化される、項目1に記載の装置。
(項目13)
前記取り付け機構は、前記装置が設置されるたびに、前記装置に関連付けられた光路内の同じ位置および方向に前記リフレクタを位置付けるように、前記装置の前記位置を少なくとも部分的に制約するよう構成される、項目1に記載の装置。
(項目14)
前記取り付け機構は、運動ガイド、ダブテールガイド、または他の機械的ガイドのうちの少なくとも1つを含む、またはこれと協働するよう構成される、項目1に記載の装置。
(項目15)
構造化照明システムであって、
筐体、
フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成された、前記筐体内に取り付けられたイメージング光学系、
前記筐体内に取り付けられ、前記照明をサンプルに反射するよう構成されたリフレクタ、前記照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、前記筐体内に取り付けられた1つ以上のフィルタを含むフィルタ装置、および
前記装置がイメージングシステム内に設置されることを可能にするよう構成された、前記筐体上の取り付け機構、を備えるイメージング装置と、
複数のイメージング装置が前記システム上または前記システム内に取り付けられることを可能にするよう構成された取り付け機構と、を備えるシステム。
(項目16)
前記筐体は、フォトマスクを含むスライドを前記筐体内の前記照明源と前記イメージング光学系との間の前記筐体内に挿入することを可能にする開口をさらに備える、項目15に記載のシステム。
(項目17)
前記筐体に取り付けられ、前記照明源からの照明をフォトマスク上に焦点合わせするよう構成された照明源光学系をさらに備える、項目15に記載のシステム。
(項目18)
照明源をさらに備える、項目15に記載のシステム。
(項目19)
前記照明源は、前記筐体内に取り付けられる、項目18に記載のシステム。
(項目20)
前記照明源は、発光ダイオード(LED)である、項目18に記載のシステム。
(項目21)
前記スライドは、1つ以上のピンホールマスクまたはクリア窓を含む、項目16に記載のシステム。
(項目22)
前記1つ以上のピンホールマスクは、座標系によって規定されるピンホールのパターンを含む、項目16に記載のシステム。
(項目23)
合成画像を生成するのに必要な複数の画像をキャプチャする必要に応じて、前記スライドを動かすよう構成された移動装置をさらに備える、項目16に記載のシステム。
(項目24)
前記リフレクタは、ダイクロイックミラーである、項目15に記載のシステム。
(項目25)
前記筐体上または前記筐体内に取り付けられ、前記装置が制御システムと通信することを可能にするよう構成された回路をさらに備える、項目15に記載のシステム。
(項目26)
前記回路は、前記装置についての情報を前記制御システムに提供するよう構成される、項目25に記載のシステム。
(項目27)
前記照明源およびフィルタ装置は、特定の種類のサンプル色素に対して最適化される、項目15に記載のシステム。
(項目28)
前記複数のイメージング装置それぞれは、特定の種類の色素に対して最適化され、前記システムは、前記複数のイメージング装置の特定の1つを、前記関連する色素を含むサンプルを撮像するのに使用される位置とすることを可能にする機構を備える、項目27に記載のシステム。
(項目29)
照明源および特定のサンプル色素に対して最適化された光学系を含む筐体を備えるイメージングシステムを構成する方法であって、
イメージング光学系を前記筐体内に取り付けて、前記イメージング光学系を、フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように、照明源からの照明を焦点合わせするよう構成することと、
1つ以上のフィルタを含むフィルタ装置を前記筐体内に取り付けることであって、前記フィルタ装置は前記照明されたサンプルからの放射のみが前記センサを透過することを可能にするよう構成される、取り付けることと、
前記照明源、イメージング光学系、およびフィルタ装置を、前記サンプルを照明するために較正することと、
前記筐体を取り付け構造に取り付けることと、を含む方法。
(項目30)
照明源光学系を前記筐体に取り付けることと、前記照明源光学系を、前記照明源、イメージング光学系、およびフィルタと共に較正することと、をさらに含む、項目29に記載の方法。
(項目31)
リフレクタを前記筐体に取り付けることと、前記リフレクタを、前記照明源、イメージング光学系、およびフィルタと共に較正することと、をさらに含む、項目29に記載の方法。
(項目32)
前記筐体が前記取り付け機構上に取り付けられると、照明源を用いて、ピンホールパターンを含むフォトマスクを通してサンプルを照明することと、
センサを用いて、前記サンプルの画像をキャプチャすることと、
前記画像をデータに変換することと、
処理モジュールにおいて、
前記ピンホールパターンのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールパターンに対する既知のパターンを、前記データに対する最良適合を特定するために前記領域に適合させることと、
記憶媒体に、前記最良適合データを以後の画像キャプチャルーチンで使用するために保存することと、をさらに含む、項目29に記載の方法。
(項目33)
前記処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目32に記載の方法。
(項目34)
前記データを高めることが、前記データの鮮明度およびコントラストをブーストすることを含む、項目33に記載の方法。
(項目35)
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目32に記載の方法。
(項目36)
前記処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目32に記載の方法。
(項目37)
前記処理モジュールにおいて、輝度閾値を上回る前記フィルタされたデータにおけるデータのみを維持することをさらに含む、項目36に記載の方法。
(項目38)
ヒストグラムビニング技法を用いて、前記輝度閾値を上回るデータを特定する、項目37に記載の方法。
(項目39)
前記処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも1つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目32に記載の方法。
(項目40)
前記最良適合データを用いて前記サンプルの合成画像を取得することをさらに含む、項目32に記載の方法。
(項目41)
前記筐体に照明源を取り付けることをさらに含む、項目29に記載の方法。
本発明のこれらおよび他の特徴、態様、ならびに実施形態は、「発明を実施するための形態」と題される項において以下に記載される。
特徴、態様、ならびに実施形態は、添付の図面と共に記載される。
図1は、一実施形態によって構成された蛍光イメージングシステムの一例である。 図2は、図1の少なくともいくつかの構成要素の光キューブ実装の実施形態の一例を示す。 図3は、一実施形態による、図1の照明システムの動作を制御するための制御システムの一例を示す。 図4は、一実施形態による、図1のシステム、および、特に、図2の光キューブ実装に用いることが可能なピンホールマスクの一例を示す。 図5は、従来のスピニングディスク共焦点イメージングシステムを示す。 図6は、本明細書に記載の種々の実施形態に関して用いることが可能な、有線または無線システムの一例を示す。 図7は、一実施形態による、図1のシステム、および、特に図2の光キューブに用いることが可能な移動装置の一例を示す。 図8は、一実施形態による、放射路ピンホールマスクを不要にするために図1のシステムを較正する方法の一例を示す。 図9Aは、画像に対して判定されたピンホールの位置を示す。 図9Bは、生データと比較してオーバーレイされた判定された位置の画像の一部のクローズアップである。
本明細書に記載の実施形態で、合成共焦点画像を生成するシステム、装置および方法が開示される。記載の実施形態は例示としてのみ記載される。さらに、図は例示であり、開示のシステムおよび方法の記載を助けることを意図するものである。したがって、図は、完全なシステムを描くのに必要な構成要素、回路、エレメント等の全てを含んでいない場合がある。したがって、図およびそれらに伴う開示は実施形態を特定の構成に制限するものとみなされるべきではなく、開示の構成においてさらなる構成要素等の、または更なる構成の含有を排除するものとみなされるべきではない。
上記のとおり、構造化照明システムは、従来の広視野システムに対して特定の利点を有する。共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、光学解像度およびコントラストを増大させて、取得した一連の画像から3次元構造を再構築することを可能にするために用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ、すなわち本質的に単画素カメラ、内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
本技術は、1ポイントのみ、すなわち一度に画像の1画素のみを撮像可能である。したがって、単一2D共焦点画像を構築するためには、ビームまたはサンプルを2次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図5に示す。
図5から分かるように、光源からの光802は、第二のディスク808に含まれるピンホールマスク810上に光を集束させる複数の集束レンズ806を含む第一のディスク804上に入射する。ピンホールマスク810を透過する光802がその後、対物レンズ812を介して試料814上に集束される。光802が蛍光体に吸収され、それにより蛍光体が光816を放射し、これが対物レンズ812およびピンホールマスク810を逆透過して、ミラー818上に入射する。ミラー818は、例えば光学系820を介して、放射された光816を、それが検出され得るセンサ822上に反射させる。
図5に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタの間のより複雑な同期を必要とする。
図1は、本明細書に記載のシステムおよび方法によって構成された、蛍光イメージングシステム100の実施形態の一例を示す。図1は、構造化照明顕微鏡における、本明細書に記載のシステムおよび方法を示す。点線で囲まれた領域におけるエレメントは、図2に示す光キューブ200に含まれている。これらの要素は、光源102、照明光学系204(図2の)、フォトマスクイメージング光学系106、フォトマスク108、および構造化照明パターンの少なくとも一部を、対物レンズ112を介してサンプル114に方向付ける、ダイクロイックミラーまたはビームスプリッタであることが多いミラー110を含む。フォトマスク108は、フォトマスク上のパターンに対応する焦点の合った光のパターンが対物レンズ112の焦点面においてサンプル114上に投射されるようにフォトマスクイメージング光学系106に対して焦点合わせされる。その後、サンプルから放射された光が対物レンズ112を逆透過し、その一部がミラー110を通ってカメラレンズを透過して、センサ120、例えばCCD、CMOS、または類似の種類のセンサ上に光を集束させる。
フォトマスク108は、不透明な背景におけるいくつかのパターンの透明窓からなる。パターンには、直角座標系、四角形座標系、または円筒座標系などの座標系によって規定できる予測可能な窓のパターンが含まれる。円筒座標系に基づくパターンを用いる場合には、マスクは、x−y平面での動きではなく回転させることができる。さらに、ピンホールの代わりに、構造化照明に適した任意の他のパターンがマスク108に用いられてもよい。
フォトマスク108は、運動制御装置がフォトマスク108を横方向にスキャンして、焦点の合った構造化照明パターンをサンプル視野全体にわたらせる場合であっても、パターンがフォトマスクイメージング光学系106と焦点が合ったままとなるよう取り付けることができる。
別の実施形態では、ピンホールマスクの代わりにクリア窓を用いてもよい。このような構成では、システム100は従来の広視野イメージングシステムとして機能する。
したがって、システム100は、照明光104を生成するよう構成された光源102を含む。ソース102は、実装に応じて、例えば発光ダイオード(LED)またはレーザであってもよい。その後、フォトマスクイメージング光学系106は光102を集め、フォトマスク上のパターンに対応する焦点の合った光のパターンが対物レンズの焦点面においてサンプル114上に投射されるよう、光102を集束させることができる。マスク108を透過する光は、例えば対物レンズ112を介してサンプル114に光を方向付ける、ダイクロイックミラーなどのミラー110上に入射する。光104が蛍光体に吸収され、それにより蛍光体が光116を放射し、これが対物レンズ112およびミラー110を通って、センサ120上に逆透過する。フィルタ118は、放射がセンサ120に入射する前に放射をフィルタすることができる。
センサ120は、電荷結合素子(CCD)とし得る。さらに、ピンホールマスクは、例えば、ディスク上で回転するのではなく、x−y平面で動く、正方形、長方形、または楕円形のマスクとし得る。図4は、一実施形態による、マスク500の一例を示す。図示されるように、マスク500は、マスク501および502などの複数のピンホールマスクを含み得る。
図2は、一実施形態による、その周りにより大きな顕微鏡がないものの所定の場所にフォトマスク108を有する、光キューブ200をより詳細に表す。ミラー110だけでなく、複数のフィルタが存在する。ミラー110は、機械的ポジショナー(図示せず)により、キューブ200の残部の方向に対して調整可能であって、光を顕微鏡システムの対物レンズ(図1の112)に適切に向けることを可能にする。キューブの取り付け機構は、キューブの方向が使用中に変化しないようにして、フォトマスク108および対物レンズ112に対するキューブ光学系106の正確なアライメントを維持するための機械的レジストレーションおよび保持ポイントを提供する。
キューブ200は移動軸上に取り付けることが可能であるため、画像キャプチャ間でキューブを機械的に取り付けおよび取り外すことなく、複数のキューブを単一の顕微鏡で利用することを可能とし、取り付け機構は、キューブの設置および保持の両方のために機能する。また、これらは、後に、システムを再較正することなくキューブを取り外して再挿入することを可能にする。回路基板202は、ホストシステムが光源102に電力を供給するおよびこれを制御することを可能にし、そして、実施形態に応じて、ホストシステムがキューブ200の種々の態様を特定することを可能にする。これらのパラメータは、とりわけ、ユーザに対してキューブ200を特定する、および使用する特定のキューブに対する他の機器パラメータを構成するために、ソフトウェアによって用いられ得る。
したがって、図2に示すように、光源102、イメージング光学系106、マスク108、ミラー110およびフィルタ118は、非常にコンパクトな光キューブ200に含めることができる。また、光キューブは、制御システムと通信して光キューブ200の種々の態様を制御するよう構成可能な回路基板202を含んでもよい。したがって、図4のマスク500は、光キューブ200に挿入されるように構成され得る。
蛍光顕微鏡検査は、多種多様な色素、または蛍光体を用いる。ダイそれぞれは、ダイが光を吸収する励起波長の特定の範囲、およびダイが光を放出する放射波長の範囲を有する。励起光はサンプル全体にわたって無差別的に光り、放射光はサンプルの、色素が位置する特定の部分からのみ放出される。蛍光顕微鏡検査のゴールは、できるだけ多くの放射と、できるだけ少ない励起光とをキャプチャすることである。これは、フィルタの使用によって達成される。特定の色素を撮像するために、フィルタセットは励起波長のみがサンプルを照明し、放射波長のみがカメラを透過することを可能にするよう設計される。
共焦点システムは、励起光が、サンプルに到達する前にピンホールを透過するとの要件を加える。システム設計および動作の観点におけるさらなる複雑な問題としては、分光が収束する共役平面上にピンホールを位置させなければならず、分光が平行している無限空間にフィルタを位置させなければならない。
フィルタの使用については、2つの従来の方法がある。1つのケースでは、システムは、通常動作中には取り外すことができない固定フィルタを使用することができる。これらのフィルタは通常、所定の1つ以上の色素と協働するよう設計される。別の実施形態では、良好な単色光源も使用される限り、一組のマルチバンドフィルタを用いることができる。これらのアプローチは機械的簡潔性の利点を有するが、現在のフィルタセットではサポートされない色素を使用するためにフィルタを取り外して取り替えるのに大きな労力を要するという欠点を有する。より一般的なストラテジは、可動フィルタを用いることであり、これは、顕微鏡に供することなくより多くの多様な色素の使用を可能にする。この種類の従来のセットアップは、使用する色素に応じた位置に異なるフィルタを回転させるのにフィルタホイールを使用する。励起光のいくつかの異なる波長を提供可能な照明モジュールは、しばしばフィルタホイールと対にされて、異なる色素と協調するよう構成可能なシステムを生成する。
光学系のいくつかのセットは、励起光を方向付ける必要がある。第一に、LEDまたは励起光を供給するのに使用される他の光源は一般的に、一体型レンズを有する。光学系は、これとピンホールとの間に置かれてピンホールまたはピンホールアレイを通して最大の光を方向付ける。光がピンホールを透過した後、別の光学系セットを用いてピンホールを無限空間に撮像し、ピンホールを出る発散光線を取り出して、平行となるようこれらを屈曲させる。光学系は、画像中に光学収差または色収差がもたらされるのを回避するよう注意して設計しなければならない。従来のシステムでは、これらのエレメントそれぞれが別々に取り付けられ、それぞれが固有のアライメントおよび較正プロセスを有する。
図2の光キューブ200は、励起光源102、照明光学系204、フィルタ118、およびマスクイメージング光学系106のうちの少なくともいくつかを、特定の色素に対して最適化された単一パッケージに組み合わせることができる。特定の実施形態で、これらの構成要素のうちの1つ以上、例えば励起光源102は、キューブ200の外側にあるままであってもよい。光キューブはその後、複数の光キューブをシーケンスに用いて種々の色素から画像をキャプチャすることが可能となるよう移動可能なプラットフォーム上に取り付けられてもよい。光キューブは、ユーザによって設置可能であり、例えば回路基板202上の回路を介してシステムと通信して、制御システムに対してそれ自体を特定する。
光キューブ取り付け機構は、キューブが自己整合型であり、いったん取り付けられると較正の必要性は皆無かほとんど較正を必要としないよう設計される。例えば、光キューブは、ミラーの回転を完全に制約する、およびキューブを少なくとも部分的に制約して、キューブを挿入するたびにミラーが同じ位置および同じ方向で光路に挿入されるようにする、運動ガイド、ダブテールガイド、または他の機械的ガイドを用いて取り付けることができる。
さらに、励起光源周りの光学系、マスクイメージング光学系、およびダイクロイックミラーに対する全ての調整は、光キューブが設置される前に完了させることができる。ピンホールマスク108を含有するスライドが、スリットを通して光キューブ200の側に挿入される。このアプローチは、フィルタセットの迅速かつ容易な変更を可能にし、これは、どんな特定の色素を用いることに対してもユーザがシステムを最適化することができることを意味する。従来のフィルタホイールセットアップでは、フィルタの変更は、顕微鏡の部分的解体および再較正を必要とする困難なプロセスとなりかねない。
イメージング光学系106は、マスク108の画像が無限空間にあるように無限に補正されることが多い。これは、光学系のアライメントを複雑にしかねない。したがって、代替の実施形態では、イメージング光学系106を光キューブ200の外部に固定させることができる。このようにして、光学系をより容易にアラインさせることができ、その後にキューブ200を設置することが可能である。このような実施形態では、固定された光学系を収容するためにキューブ200内に何らかの開口を組み込む。
さらに別の実施形態では、例えば、有限チューブ光学系を用いる場合があり、これは、有限焦点空間をもたらす。
上記のように、円筒座標系に基づくマスクパターンを用いることができる。したがって、特定の実施形態では、スライド108の代わりにスピニングディスク共焦点を用いることができる。このような実施形態では、スピニングディスク共焦点は、ミラー110の後の光路にあったように位置付ける必要がある。
図3は、照明システム100の動作を制御するための制御システムの一例400を示す。図に示すように、システム400は画像オーソリティ412を含む。画像オーソリティ412は、本明細書に記載のシステムおよび方法の特定の部分を実施するのに必要な全てのリソースを含み得る。したがって、オーソリティ412は、任意の信号プロセッサ、数値演算コプロセッサ、マイクロコントローラ等を含む1つ以上のプロセッサ、1つ以上のサーバ、1つ以上のルータ、1つ以上の端末、デスクトップまたはポータブルコンピュータを含む1つ以上のコンピュータを含むこれらの部分に必要なハードウェアおよびソフトウェアリソースの全て、ならびに、本明細書に記載のシステムおよび方法のこれらの部分または態様を実行するのに必要な全てのAPIのプログラム、ソフトウェアモジュール等を含み得る。このように、本明細書に記載するものなどのモジュールは、特定の機能を実行するのに必要なハードウェアおよびソフトウェアリソースを含み得る。
具体的には、オーソリティ412は、システム100の動作を制御し、そこから取得したデータを処理するよう構成された種々のモジュールを含み得る。図3に図示するように、これらのモジュールは、例えば移動制御モジュール406を介してシステム100の移動ステージを制御するよう構成可能な画像制御モジュール402を含み得る。また、制御モジュール402は照明制御モジュール408を介して照明を制御するようにも構成可能である。
オーソリティ410は、センサ120によって取得された画像データを処理するよう構成された処理モジュール404も含み得る。
移動制御モジュール406と照明制御モジュール408のうちのいくつかまたは全ては、システム100内、例えば光キューブ200内、またはキューブ200がインタフェースされる移動ステージ内にある場合があることに留意されたい。
既に記載したように、スピニングディスクの代わりに、図5に図示するように、例えばピンホールのパターンが、小さな、例えば図4に示すようにスライドガラス上に印刷されてもよい。このスライドを、例えば図2の光キューブ構成にあるように、励起光源102の前に固定してもよい。マスクを適切な位置に位置付けてそれぞれのキャプチャ前にサンプルの異なる部分を照明する小さな移動ステージを用いて、マスクが動かされる。上記の通りであるため、実際のマスクはピンホールに加えて別のパターンも含み得ることに留意する。
図7は、一実施形態による、複数の移動ステージ902a、b、cとチップ/チルト調整機構904とを含む移動装置900の構成の一例を示す。図に示すように、移動ステージ902およびチップ/チルト調整機構904は、例えば制御モジュール402および移動制御406の制御下で、マスク108を動かし、これを位置付けることができる。光キューブ200に加えてこのタイプの移動装置900は、いくつかの異なるピンホールパターン、例えば501および502がスライドそれぞれの上に印刷されることを可能にするシンプルかつコンパクトなソリューションを提供する。これは、さらなる可撓性を可能とし、ユーザに速度と品質の間の選択を付与する。
また、上記のように、特定の実施形態では、本明細書に記載のシステムおよび方法は、放射路上のピンホールマスクの必要性を排除するよう構成可能である。代わりに、本明細書に記載のシステムおよび方法は、高解像度CCDセンサ120を用いて、戻った画像を視覚的にマスクオフして、画像の「良好な」領域のデータを記録するだけとするよう構成することができる。システム100が良好なデータの位置を知るためには、ピンホール108のセンサ120に対する位置を知らなければならない。これは、共焦点キャプチャルーチンの開始において、かつ例えば処理モジュール404内の画像処理を用いて較正画像を取り出して、ピンホールアレイ108のセンサ120に対する位置を判定することによって達成される。このようにして、システムは、少なくとも部分的に自己較正型であり、画像品質を大幅に損なうことなく、光キューブ200の位置などの、画像間システム位置決めにおける小さなエラーを許容することができる。
カメラセンサに対するピンホールアレイの位置を確立するのに用いることができるプロセスは、図8に示すようにいくつかの別個のステップを有する。まず、ステップ1005で、マスクのピンホールの画像を取得する。その後、ステップ1010で、種々の画像処理技術を用いてマスクの画像を高め、定量分析により適したものとすることができる。ピンホールの間隔は、例えば処理モジュール404に対して既知の量であるので、ステップ1015で、フーリエ変換を用いてデータを周波数ドメインに移動させ、ステップ1020で、かかる間隔に対応するデータを見つけるためにバンドパスフィルタを用いることができる。
その後、ステップ1025で雑音を除去して画像における輝度変化を算出することができる。例えば、ステップ1025でオープニング技法を用いることができる。その後ステップ1030で最も明るいデータを選択することができる。例えば、ヒストグラムビニング技法を用いてこの最も明るいデータのみを維持することができる。この点で、ステップ1035で、高められた画像におけるピンホールを位置させることができる。例えば、ピンホールと考えるに十分に明るい信号の領域を特定する、閾値アルゴリズムを適用することができる。その後、これらの領域の重心を計算して次のステップで用いるために記憶することができる。
次に、ステップ1040で、既知のマスクパターンを観察したデータに適合させ、これによってマスク位置をセンサに関連付ける。例えば、ランダムサンプルコンセンサス(RANSAC)法を用いて、種々の回転、スケールおよびオフセット係数を一度に2つの重心に対して既知のマスクパターンに適用およびテストすることができる。秒以下で何百もの可能性をテストできるよう、この反復プロセスを並列化することができる。最良適合が判定されると、マスクパターンは、以後の共焦点キャプチャルーチンで用いるために記憶される。
図10のプロセス全体は、例えば消費者向けコンピュータ上で動作する間に数秒で完了し得るため、それぞれの共焦点キャプチャ前にこの較正を行うことが可能かつ実用的である。さらに、複数のピンホールを一度に撮像するため、システム100は、シングルポイントシステムでは発生し得る時間ペナルティ無しに高解像度の画像をキャプチャすることができる。
図9Aは、判定されたピンホールがオーバーレイされた画像に対してキャプチャされたデータを示し、ピンホール位置は、図8のプロセスを用いて判定されている。図9Bは、右側の生データに対照させた判定されたピンホールのクローズアップを示す。
図6は、本明細書に記載の種々の実施形態に関連して用いることができる有線または無線システム550の一例を示す。例えば、システム550は、既に記載した1つ以上の機構またはプロセスとして、またはこれらと共に用いることができ、システム100または400の構成要素、対応サーバ(複数可)、および/または本明細書に記載の他の装置を表し得る。システム550は、サーバまたは任意の従来のパーソナルコンピュータ、または有線もしくは無線データ通信が可能な任意の他のプロセッサ対応装置のうちの1つ以上の組み合わせで有り得る。当業者に明らかであるように、他のコンピュータシステムおよび/またはアーキテクチャも用い得る。
システム550は、プロセッサ560などの1つ以上のプロセッサを含むことが好ましい。入力/出力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)主処理システムに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアルまたは複数のプロセッサシステム用の追加のマイクロプロセッサまたはコントローラ、またはコプロセッサなどの、追加のプロセッサが設けられてもよい。こうした補助プロセッサは、別個のプロセッサであってもよく、プロセッサ560に組み込まれてもよい。システム550と用いられ得るプロセッサの例には、これらに限定されるものではないが、全てIntel Corporation(カリフォルニア州サンタクララ)から入手可能な、Pentium(登録商標)プロセッサ、Core i7(登録商標)プロセッサ、およびXeon(登録商標)プロセッサが含まれる。
プロセッサ560は、通信バス555に接続されることが好ましい。通信バス555は、システム550のストレージと他の周辺構成要素との間の情報伝達を促進するためのデータチャネルを含み得る。通信バス555はさらに、データバス、アドレスバス、および制御バス(図示せず)を含む、プロセッサ560との通信に用いられる一組の信号を提供し得る。通信バス555は、例えば、業界標準アーキテクチャ(ISA)、拡張業界標準アーキテクチャ(EISA)、マイクロチャネルアーキテクチャ(MCA)、周辺構成要素相互接続(PCI)ローカルバスに準拠するバスアーキテクチャ、またはIEEE488汎用インタフェースバス(GPIB)、IEEE696/S−100等を含む米国電気電子学会(IEEE)によって公布される標準規格などの、標準または非標準規格バスアーキテクチャを含み得る。
システム550が主メモリ565を含むことが好ましく、補助メモリ570も含んでもよい。主メモリ565は、上記の1つ以上の機能および/またはモジュールなどの、プロセッサ560上で実行される命令およびデータのストレージを提供する。メモリに記憶され、プロセッサ560によって実行されるプログラムは、これらに限定されないが、C/C++、Java(登録商標)、JavaScript(登録商標)、Pearl、Visual Basic、NET等を含む任意の適切な言語に従って書き込みおよび/またはコンパイルされ得ることを理解されたい。主メモリ565は一般的に、ダイナミックランダムアクセスメモリ(DRAM)および/またはスタティックランダムアクセスメモリ(SRAM)などの半導体ベースのメモリである。他の半導体ベースのメモリの種類には、例えば、読み出し専用メモリ(ROM)を含む、同期型ダイナミックランダムアクセスメモリ(SDRAM)、Rambusダイナミックランダムアクセスメモリ(RDRAM)、強誘電体ランダムアクセスメモリ(FRAM(登録商標))等が含まれる。
補助メモリ570は、任意選択で、内部メモリ575および/または、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(CD)ドライブ、デジタル多用途ディスク(DVD)ドライブ、他の光学ドライブ、フラッシュメモリドライブ等のリムーバブル媒体580を含んでもよい。リムーバブル媒体580は、既知の様式で読み出されるおよび/または書き込まれる。リムーバブル記憶媒体580は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVD、SDカード等とし得る。
リムーバブル記憶媒体580は、記憶されたコンピュータ実行可能コード(つまり、ソフトウェア)および/またはデータを有する非一時的コンピュータ可読媒体である。リムーバブル記憶媒体580上に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ560による実行のためにシステム550に読み出される。
代替の実施形態では、補助メモリ570が、コンピュータプログラムまたは他のデータ、あるいは命令をシステム550にロードすることを可能にする他の類似の手段を含み得る。このような手段には、例えば、外部記憶媒体595およびインタフェース590が含まれ得る。外部記憶媒体595の例には、外部ハードディスクドライブまたは外部光学ドライブ、または外部光磁気ドライブを含み得る。
補助メモリ570の他の例には、プログラム可能な読み出し専用メモリ(PROM)、消去可能でプログラム可能な読み出し専用メモリ(EPROM)、電気的消去可能な読み出し専用メモリ(EEPROM)、またはフラッシュメモリ(EEPROMに類似のブロック配向メモリ)などの半導体ベースのメモリが含まれ得る。同じく含まれるのは、任意の他のリムーバブル記憶媒体580と通信インタフェース590であり、これらは、ソフトウェアおよびデータが外部媒体595からシステム550に伝達されることを可能にする。
システム550は、通信インタフェース590を含んでもよい。通信インタフェース590は、ソフトウェアおよびデータがシステム550と外部装置(例えば、プリンタ)、ネットワーク、または情報源との間で伝達されることを可能にする。例えば、コンピュータソフトウェアまたは実行可能なコードは、通信インタフェース590を介してネットワークサーバからシステム550に伝達され得る。通信インタフェース590の例には、ビルトインネットワークアダプタ、ネットワークインタフェースカード(NIC)、パーソナルコンピュータメモリカードインターナショナルアソシエーション(PCMCIA)ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス(USB)ネットワークアダプタ、モデム、ネットワークインタフェースカード(NIC)、無線データカード、通信ポート、赤外線インタフェース、IEEE1394ファイヤワイヤ、またはシステム550をネットワークまたは他のコンピューティング装置とインタフェースさせることが可能な任意の他の装置が含まれる。
通信インタフェース590は、イーサネット(登録商標)IEEE802標準規格などの業界公布プロトコル標準規格、ファイバチャネル、デジタル加入者線(DSL)、非同期デジタル加入者線(ADSL)、フレームリレー、非同期転送モード(ATM)、サービス総合デジタル網(ISDN)、パーソナル通信サービス(PCS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(SLIP/PPP)等を実装することが好ましいが、加えて、カスタマイズされた、あるいは非標準のインタフェースプロトコルも実装してよい。
通信インタフェース590を介して伝達されるソフトウェアおよびデータは通常、電気通信信号605の形態である。これらの信号605は、通信チャネル600を介して通信インタフェース590に供給されることが好ましい。一実施形態で、通信チャネル600は、有線または無線ネットワークである、あるいは、他の多様な通信リンクであってもよい。通信チャネル600は、信号605を伝達し、2、3例を挙げると、ワイヤまたはケーブル、ファイバ光学系、従来の電話線、携帯電話リンク、無線データ通信リンク、無線周波数(「RF」)リンク、または赤外線リンクを含む種々の有線または無線通信手段を用いて実装することができる。
コンピュータ実行可能コード(つまり、コンピュータプログラムまたはソフトウェア)は、主メモリ565および/または補助メモリ570に記憶される。また、コンピュータプログラムは、通信インタフェース590を介して受信され、主メモリ565および/または補助メモリ570に記憶することができる。このようなコンピュータプログラムは、実行されると、既に記載したように、システム550が本発明の種々の機能を実行することを可能にする。
本明細書において、用語「コンピュータ可読媒体」とは、システム550にコンピュータ実行可能コード(例えば、ソフトウェアおよびコンピュータプログラム)を提供するのに用いられる任意の非一時的コンピュータ可読記憶媒体を指すのに用いられる。これらの媒体の例には、主メモリ565、補助メモリ570(内部メモリ575、リムーバブル媒体580、および外部記憶媒体595を含む)、および通信インタフェース590と通信可能に結合された周辺機器(ネットワーク情報サーバまたは他のネットワーク装置を含む)が含まれる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム550に提供するための手段である。
ソフトウェアを用いて実施される一実施形態で、ソフトウェアはコンピュータ可読媒体上に記憶されて、リムーバブル媒体580、I/Oインタフェース585、または通信インタフェース590によってシステム550にロードされ得る。このような実施形態では、ソフトウェアは電気通信信号605の形態でシステム550にロードされる。プロセッサ560によって実行されると、ソフトウェアがプロセッサ560に本明細書に上述の本発明の特徴および機能を実行させることが好ましい。
一実施形態で、I/Oインタフェース585は、システム550の1つ以上の構成要素と1つ以上の入力および/または出力装置との間のインタフェースを提供する。入力装置例には、これらに限定されるものではないが、キーボード、タッチ画面または他のタッチ感知装置、生体感知装置、コンピュータマウス、トラックボール、ペンベースのポインティング装置等が含まれる。出力装置の例には、これらに限定されるものではないが、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プリンタ、真空蛍光ディスプレイ(VFD)、表面伝導型電子放出素子ディスプレイ(SED)、電界放出ディスプレイ(FED)等が含まれる。
システム550は、音声上およびデータネットワーク上の無線通信を促進するオプションの無線通信構成要素も含む。無線通信構成要素は、アンテナシステム610、無線システム615およびベースバンドシステム620を含む。システム550で、無線周波数(RF)信号は、無線システム615の管理下で、アンテナシステム610によってオーバーザエアで送信および受信される。
一実施形態で、アンテナシステム610は、1つ以上のアンテナおよびスイッチング機能を実行してアンテナシステム610に送受信信号路を提供する1つ以上のマルチプレクサ(図示せず)を含み得る。受信路で、受信したRF信号は、マルチプレクサから受信したRF信号を増幅しおよび増幅した信号を無線システム615に送信する低雑音増幅器(図示せず)に結合することができる。
代替的実施形態で、無線システム615は、種々の周波数で通信するよう構成された1つ以上の無線を含み得る。一実施形態で、無線システム615は、1つの集積回路(IC)内に復調器(図示せず)と変調器(図示せず)を組み合わせ得る。復調器および変調器は、別個の構成要素としてもよい。到来路において、復調器はベースバンド受信音声信号を残してRFキャリア信号を取り除き、これは無線システム615からベースバンド620に送信される。
受信した信号が音声情報を含有する場合、ベースバンドシステム620は信号をデコードしてアナログ信号に変換する。その後、信号は増幅されてスピーカに送信される。ベースバンドシステム620は、顕微鏡からのアナログ音声信号も受信する。これらのアナログ音声信号は、デジタル信号に変換されてベースバンドシステム620によってエンコードされる。ベースバンドシステム620はまた、伝送のためにデジタル信号をコードし、無線システム615の変調器部分にルートされるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号とRFキャリア信号を混合して、アンテナシステムにルートされてパワー増幅器(図示せず)を通過し得るRF送信信号を生成する。パワー増幅器は、RF送信信号を増幅してアンテナシステム610にルートし、信号は伝送のためにアンテナポートに切り替えられる。
また、ベースバンドシステム620はプロセッサ560と通信可能に結合される。中央処理装置560は、データ記憶領域565および570へのアクセスを有する。中央処理装置560は、メモリ565または補助メモリ570に記憶可能な命令(つまり、コンピュータプログラムまたはソフトウェア)を実行するよう構成されることが好ましい。また、コンピュータプログラムは、バスバンドプロセッサ610から受信されてデータ記憶領域565または補助メモリ570に記憶される、あるいは受信時に実行されてもよい。このようなコンピュータプログラムは、実行されると、既に記載したように、システム550が本発明の種々の機能を実行することを可能にする。例えば、データ記憶領域565は、種々のソフトウェアモジュール(図示せず)を含み得る。
種々の実施形態は、例えば、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(EPGA)などの構成要素を用いて、主にハードウェアにおいて実装されてもよい。本明細書に記載の機能を実行可能なハードウェアステートマシンの実装も、関連技術の当業者に明らかである。種々の実施形態は、ハードウェアおよびソフトウェアの組み合わせを用いて実施されてもよい。
さらに、当業者は、本明細書に開示の上記図および実施形態に関して記載する種々の例示的論理ブロック、モジュール、回路および方法ステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されることが多いことを理解するであろう。ハードウェアおよびソフトウェアのこの可換性を明示するために、種々の例示的構成要素、ブロック、モジュール、回路およびステップが、それらの機能の観点から一般的に既に記載されている。こうした機能がハードウェアまたはソフトウェアとして実装されるか否かはシステム全体に課された特定の用途および設計の制約に依拠する。当業者は、記載の機能を特定の用途それぞれに対して方法を変えて実装できるが、このような実装の決定は、本発明の範囲を逸脱させるものとみなされるべきではない。加えて、モジュール、ブロック、回路またはステップ内の機能のグループ化は、記載を容易にするためのものである。特定の機能またはステップは、一方のモジュール、ブロックまたは回路から他方へ移動させることができる。
さらに、本明細書に開示の実施形態に関連して記載する種々の例示的論理ブロック、モジュール、機能および方法は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、FPGAまたは他のプログラム可能な論理装置、別個のゲートまたはトランジスタ論理、別個のハードウェア構成要素、または本明細書に記載の機能を実行するよう設計された、これらの任意の組み合わせで実装または実行可能である。汎用プロセッサはマイクロプロセッサとし得るが、代替では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとし得る。プロセッサは、例えば、DSPおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、1つ以上のマイクロプロセッサとDSPコア、またはこのような任意の他の構成として実装されてもよい。
加えて、本明細書に開示の実施形態に関して記載する方法またはアルゴリズムのステップは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはこれら2つの組み合わせで直接に実施されてもよい。ソフトウェアモジュールはRAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または、ネットワーク記憶媒体を含む任意の他の形態の記憶媒体内にあってもよい。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み出して、これに情報を書き込むこむことができるように、プロセッサに結合されてもよい。代替では、記憶媒体はプロセッサに組み込まれてもよい。プロセッサおよび記憶媒体がASIC内にあってもよい。
本明細書に記載のいずれのソフトウェア構成要素も、多様な形態をとり得る。例えば、構成要素はスタンドアロンソフトウェアパッケージであってもよく、あるいは、より大きなソフトウェア製品における「ツール」として組み込まれたソフトウェアパッケージであってもよい。これは、ネットワーク、例えばウェブサイトから、既存のソフトウェアアプリケーションにインストールするためのスタンドアロン製品またはアドインパッケージとしてダウンロード可能であってもよい。これは、クライエントサーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および/またはモバイルアプリケーションとして利用可能であってもよい。
特定の実施形態が既に記載されているが、記載の実施形態は例示にすぎないことを理解されたい。したがって、本明細書に記載のシステムおよび方法は、記載の実施形態に基づいて限定されるものではない。むしろ、本明細書に記載のシステムおよび方法は、上記記載と添付の図面を共に用いた場合に、以下の特許請求の範囲に照らしてのみ限定される。

Claims (11)

  1. 構造化照明システムであって、
    筐体、
    前記筐体内に取り付けられる照明源(102)、
    フォトマスク(108)上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように前記照明源(102)からの照明を焦点合わせするよう構成された、前記筐体内に取り付けられたイメージング光学系(106)、
    前記筐体内に取り付けられ、前記照明をサンプルに反射するよう構成されたリフレクタ(110)、
    前記照明されたサンプルからの放射のみがセンサ(120)を透過することを可能にするよう構成された、前記筐体内に取り付けられた1つ以上のフィルタ(118)を含むフィルタ装置(118)、および
    前記装置がイメージングシステム内に設置されることを可能にするよう構成された、前記筐体上の取り付け機構
    を備えるイメージング装置と、
    複数のイメージング装置が前記システム上または前記システム内に取り付けられることを可能にするよう構成された取り付け機構と
    を備え、
    前記筐体は、フォトマスク(108)を含むスライドを前記照明源(102)と前記イメージング光学系(106)との間の前記筐体内に挿入することを可能にする開口をさらに備える、システム。
  2. 前記筐体に取り付けられ、前記照明源(102)からの照明をフォトマスク(108)上に焦点合わせするよう構成された照明源光学系(204)をさらに備える、請求項1に記載のシステム。
  3. 前記照明源(102)は、発光ダイオード(LED)である、請求項に記載のシステム。
  4. 前記スライドは、1つ以上のピンホールマスクまたはクリア窓を含む、請求項1に記載のシステム。
  5. 前記1つ以上のピンホールマスク(108)は、座標系によって規定されるピンホールのパターンを含む、請求項1に記載のシステム。
  6. 合成画像を生成するのに必要な複数の画像をキャプチャする必要に応じて、前記スライドを動かすよう構成された移動装置をさらに備える、請求項1に記載のシステム。
  7. 前記リフレクタ(110)は、ダイクロイックミラーである、請求項1に記載のシステム。
  8. 前記筐体上または前記筐体内に取り付けられ、前記イメージング装置が制御システムと通信することを可能にするよう構成された回路(202)をさらに備える、請求項1に記載のシステム。
  9. 前記回路は、前記イメージング装置についての情報を前記制御システム(400)に提供するよう構成される、請求項に記載のシステム。
  10. 前記照明源(102)およびフィルタ装置(118)は、特定の種類のサンプル色素に対して最適化される、請求項1に記載のシステム。
  11. 前記複数のイメージング装置それぞれは、特定の種類の色素に対して最適化され、前記システムは、前記複数のイメージング装置の特定の1つを、前記関連する色素を含むサンプルを撮像するのに使用される位置とすることを可能にする機構を備える、請求項10に記載のシステム。
JP2017562591A 2015-06-02 2016-05-10 構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法 Active JP6876626B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562169655P 2015-06-02 2015-06-02
US62/169,655 2015-06-02
PCT/US2016/031566 WO2016195925A1 (en) 2015-06-02 2016-05-10 Systems and methods for an interchangeable illumination filter set for use in a structured illumination imaging system

Publications (3)

Publication Number Publication Date
JP2018522267A JP2018522267A (ja) 2018-08-09
JP2018522267A5 JP2018522267A5 (ja) 2019-06-13
JP6876626B2 true JP6876626B2 (ja) 2021-05-26

Family

ID=56027221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562591A Active JP6876626B2 (ja) 2015-06-02 2016-05-10 構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法

Country Status (5)

Country Link
US (1) US11215803B2 (ja)
EP (2) EP3620839A1 (ja)
JP (1) JP6876626B2 (ja)
CN (1) CN107690596B (ja)
WO (1) WO2016195925A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620841A1 (en) * 2018-09-07 2020-03-11 ETH Zurich Automated system for wide-field multiphoton microscope
TWI831078B (zh) * 2020-12-11 2024-02-01 國立中央大學 應用影像還原的光學系統及光學影像處理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4609264A (en) * 1984-01-23 1986-09-02 The Micromanipulator Microscope Company, Inc. Apparatus for positioning flat objects for microscopic examination
JPH07253547A (ja) * 1994-03-14 1995-10-03 Nikon Corp 顕微鏡用照明装置
JP3631303B2 (ja) * 1995-10-12 2005-03-23 オリンパス株式会社 大型標本観察用顕微鏡装置
JP3872856B2 (ja) * 1997-01-23 2007-01-24 オリンパス株式会社 蛍光顕微鏡
JP2002048978A (ja) * 2000-08-01 2002-02-15 Olympus Optical Co Ltd 対物レンズユニット、対物レンズユニットを有する光学装置及びその光学装置を用いた観察方法
WO2003038503A1 (fr) * 2001-11-02 2003-05-08 Olympus Corporation Microscope de balayage confocal
JP4228134B2 (ja) * 2002-11-01 2009-02-25 株式会社ニコン 落射蛍光及びリフレクションコントラスト観察可能な顕微鏡及びその顕微鏡の使用方法
US7698000B2 (en) * 2004-09-14 2010-04-13 Yeda Research & Development Co., Ltd Microscope system and method
EP2057496B1 (en) * 2006-08-14 2012-10-24 Westover Scientific, Inc. Solid state fluorescence light assembly and microscope
US7729049B2 (en) * 2007-05-26 2010-06-01 Zeta Instruments, Inc. 3-d optical microscope
DE102007027084B4 (de) * 2007-06-12 2021-01-14 Carl Zeiss Microscopy Gmbh Mikroskop für die Beobachtung einer Probe im Hellfeld-Durchlicht- oder im Fluoreszenz-Auflicht-Kontrastverfahren
CN104783757B (zh) * 2009-06-17 2018-01-05 3形状股份有限公司 聚焦扫描设备
JP5056871B2 (ja) * 2010-03-02 2012-10-24 横河電機株式会社 共焦点顕微鏡システム
FR2966258B1 (fr) * 2010-10-15 2013-05-03 Bioaxial Système de microscopie de superresolution de fluorescence et méthode pour des applications biologiques
JP2014063151A (ja) * 2012-08-29 2014-04-10 Canon Inc 顕微鏡用照明光学系およびこれを用いた顕微鏡
US20150309295A1 (en) * 2012-11-05 2015-10-29 Inscopix, Inac. Miniaturized imaging devices, systems and methods
JP2015084062A (ja) * 2013-10-25 2015-04-30 株式会社キーエンス 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム

Also Published As

Publication number Publication date
EP3304164B1 (en) 2019-06-26
US11215803B2 (en) 2022-01-04
JP2018522267A (ja) 2018-08-09
EP3620839A1 (en) 2020-03-11
CN107690596B (zh) 2020-08-07
WO2016195925A1 (en) 2016-12-08
CN107690596A (zh) 2018-02-13
EP3304164A1 (en) 2018-04-11
US20180149847A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
JP7195738B2 (ja) 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法
US10721411B2 (en) Smart photonic imaging method and apparatus
US10739275B2 (en) Simultaneous multi-directional laser wafer inspection
WO2006083716A3 (en) Method and apparatus for a microscope image selector
JP7530426B2 (ja) 透明ステージ上のジェムストーンの蛍光撮像
US10921574B2 (en) Systems and methods for stabilizing a sample stage in a structured illumination imaging system
JPWO2012096153A1 (ja) 顕微鏡システム
JP6876626B2 (ja) 構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法
JP2010190776A (ja) 撮像装置および表面検査装置
JP6891130B2 (ja) 構造化照明イメージを生成するためのシステムおよび方法
JP2005083976A (ja) X線分析装置とその焦点合わせ装置
US20220260823A1 (en) Re-imaging microscopy with micro-camera array
US8054558B2 (en) Multiple magnification optical system with single objective lens
US20140071262A1 (en) Image acquisition apparatus and image acquisition system
KR20180105332A (ko) 인라인 홀로그래피와 분광분석을 이용한 다중 세포 분석 장치 및 세포 분석 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200123

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200513

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210108

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210426

R150 Certificate of patent or registration of utility model

Ref document number: 6876626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE

Ref document number: 6876626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250