JP5935147B2 - 顕微鏡システム、顕微鏡法、及び記憶媒体 - Google Patents

顕微鏡システム、顕微鏡法、及び記憶媒体 Download PDF

Info

Publication number
JP5935147B2
JP5935147B2 JP2011210540A JP2011210540A JP5935147B2 JP 5935147 B2 JP5935147 B2 JP 5935147B2 JP 2011210540 A JP2011210540 A JP 2011210540A JP 2011210540 A JP2011210540 A JP 2011210540A JP 5935147 B2 JP5935147 B2 JP 5935147B2
Authority
JP
Japan
Prior art keywords
data
output
microscope system
microscope
graphic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011210540A
Other languages
English (en)
Other versions
JP2012078827A (ja
Inventor
クッピグ ステファン
クッピグ ステファン
カルクブレンナー トーマス
カルクブレンナー トーマス
クレッペ インゴ
クレッペ インゴ
ノビカウ ヤウヘニ
ノビカウ ヤウヘニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2012078827A publication Critical patent/JP2012078827A/ja
Application granted granted Critical
Publication of JP5935147B2 publication Critical patent/JP5935147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、顕微鏡システム、顕微鏡法、及び顕微鏡システムのためのコンピュータ実行可能命令コードを記憶する記憶媒体に関する。本発明は、特に、生データを取得して、その取得した生データを複数のステップを含むプロシージャで計算的に処理するシステム及び方法に関する。
顕微鏡は、有機物質及び非有機物質の観察のために、長い期間にわたり、多くの用途で用いられてきた。その期間の大部分を通じて、光学顕微鏡により達成可能な分解能は回折限界により制限されていた。
ごく最近になって、回折限界よりも小さい或いははるかに小さい分解能を提供する高分解能の顕微鏡の実現を可能にする技術が開発された。このような技術の例には、対象物の構造化照明を採用する技術、あるいはルミネセンス顕微鏡法が含まれており、これらの技術では、対象物の位置を高精度で特定することができる。非特許文献1は、そのような技術の概要を提示している。さらなる例示として、そのような技術は、特許文献1又は特許文献2にも記載されている。このような技術を用いることで、対象物の位置を、数ナノメートルから数十ナノメートルの範囲の精度で特定することが可能となった。高分解能のルミネセンス顕微鏡を3次元イメージングに用いることを可能にする方法が、"Method and microscope for performing three-dimensional resolution-enhanced microscopy(3次元の向上した分解能の顕微鏡を実現するための方法及び顕微鏡)"と題する特許文献3、"High-resolution microscope and image splitter arrangement(高分解能の顕微鏡及びイメージスプリッタ構成)"と題する特許文献4、及び"High-resolution microscope and method of determining object positions in two or three dimensions(対象物の位置を2次元又は3次元で特定する高分解能顕微鏡及び方法)"と題する特許文献5に記載されており、これらは全て、本出願の譲受人に譲渡されたものである。
回折限界よりもはるかに小さい分解能の達成を可能にする種々の顕微鏡法の特徴は、データ取得及びデータ処理が複雑な場合があるということである。データ取得においては、複数の個々の2次元(2D)フレームが対象物から取得され、これらは処理されて、それらから結果として得られる対象物の画像データが計算されることになる。説明のための例として、対象物の構造化照明を採用している方法では、様々に異なる向きの照明パターンを用いて、それら異なる向きの各々について、1つ又は複数の2Dフレームを取得することができる。これら種々の2次元のフレームに含まれる情報をコンピュータで処理することにより、対象物の画像が生成される。
さらに説明のための例として、高分解能ルミネセンス顕微鏡法は、光切り替え可能又は光活性化可能な分子を用いることができる。取得される各フレームについて、検出可能な分子が互いに小さすぎる距離の位置にならないことを保証するため、取得される個々の2Dフレームの1つ1つについて、ほんのわずかな分子のみが検出可能な状態に切り替えられる。フレームを組み合わせて観察対象の実質的に完全な表現とするためには、10,000から20,000フレームというように多くのフレーム数が必要となることがある。
このような高分解能の方法では、生データを計算的に処理することにより結果として得られる画像の分解能をさらに向上させるため、調整可能パラメータの値をユーザ定義という形で設定することを可能にしている場合がある。構造化照明を採用する方法の場合、このような調整可能パラメータの例には、照明パターン(例えば、パターンの周期性)、あるいは、フレームが取得される照明パターンの異なる向きの数が含まれる。ルミネセンス顕微鏡を用いる方法の場合、このような調整可能パラメータの例には、発光事象の位置を特定するためにフレームを計算的に評価するのに用いられるフィットマスク、あるいは、切り替え信号のスペクトル及び強度が含まれる。いくつかの異なる対象物平面でフレームが取得される方法の場合、調整可能パラメータは、それらの対象物平面の例えば顕微鏡の軸方向に沿って測定された位置を含むことができる。調整可能パラメータのさらなる例には、位置空間又はフーリエ空間において画像をフィルタリングするのに用いられるフィルタの特性が含まれる。
データ取得及びデータ処理の基礎となるプロシージャの複雑さのため、その根本であるプロシージャにとっての種々の調整可能パラメータの重要性及び影響をユーザが理解することは難しい場合がある。そのような影響を理解することは、特にユーザが実験の実施や生データの処理のために調整可能パラメータの値を設定するそのときに、ユーザとって重要となる。
結果として得られる画像上で調整可能パラメータの影響を示す方法が、ある程度、ユーザが種々の調整可能パラメータの重要性を理解する助けとなることがある。このようなシミュレーション方法は、先に取得されたデータ又はメモリに格納されている典型的データを用いる場合がある。特許文献6は、そのような方法の例を記載している。種々の調整可能パラメータに現在設定されている値を用いてデータ処理を実行することで、その時点で観察されている構造に適した設定をユーザが特定する助けになることがある。しかしながら、それによって、根本であるプロシージャに関する情報が伝えられることはない。そのような情報は、ユーザが種々の調整可能パラメータの重要性及び影響を理解する上での支援のため、また、新しい対象物についてデータ取得及びデータ処理を実行する際にそのような理解を生かすために、特に有効なものとなる。その上、取得されるデータのデータ処理のシミュレーションを特許文献6に記載の方法を用いて実行する場合、まず最初に生データを取得しなければならない。そのようなシミュレーションの結果は、データ取得を計画する場合に限られた価値しかもたない。特に、ルミネセンス顕微鏡によるデータ取得において不可逆的に分子の光切り替えが実施される場合のように、与えられた試料に対してデータ取得を一度だけ実行することができる場合、ユーザは、データ取得における種々の調整可能パラメータの重要性及び影響についても、より良く理解していることが望ましい。
欧州特許第1157297号 独国特許第102006021317号 独国特許出願公開第102009043744号 独国特許出願公開第102009060490号 独国特許出願公開第102009060793号 独国特許出願公開第102007046469号
本発明の目的は、顕微鏡システム、顕微鏡法、及びコンピュータ実行可能命令コードを記憶する記憶媒体を提供することであり、それらは、データ取得及び/又はデータ処理を計画する際にユーザを支援する。特に、本発明は、データ取得及び/又はデータ処理のプロシージャが複雑である場合でも、種々の調整可能パラメータの影響についての情報をユーザに提供するシステム又は方法を提供することを目的としている。
本発明により、独立請求項で規定される、顕微鏡システム、顕微鏡法、及びコンピュータ実行可能命令コードを記憶する記憶媒体が提供される。従属請求項は、実施形態を規定する。
一態様により、顕微鏡システムが提供される。顕微鏡システムは、データ取得のための顕微鏡と、計算装置とを備えている。顕微鏡は、少なくとも1つの制御可能コンポーネントを有している。計算装置は、データ取得の際の顕微鏡の上記少なくとも1つの制御可能コンポーネントの制御、及び/又は顕微鏡により取得され提供される生データの処理を実行するように構成されている。顕微鏡システムは、データ取得及び/又はデータ処理を実行するため、複数のステップを含むプロシージャを実施するように構成されてよい。顕微鏡及び計算装置は、複数の調整可能パラメータにそれぞれ設定された値に応じて、データ取得及び/又はデータ処理を実行するように構成されている。顕微鏡システムは、光出力装置を備えている。光出力装置は、計算装置に接続されている。計算装置は、調整可能パラメータに応じて、選択的にグラフィック・データを光出力装置に出力するように構成されており、その調整可能パラメータは、ユーザ定義という形で選択される。光出力装置を介して出力されるグラフィック・データは、データ取得及び/又はデータ処理の基礎となるプロシージャの少なくとも1つのステップにおける、上記選択された調整可能パラメータの影響を表している。
このような顕微鏡システムは、プロシージャの動作について説明する情報を顕微鏡システムのユーザに提供するように構成される。グラフィック・データは、選択された調整可能パラメータに応じて選択的に出力されるため、ユーザは、様々な調整可能パラメータの効果及び影響についての情報を選択的に取り出すことができる。これによって、複数の調整可能パラメータの設定が可能である顕微鏡システムを、ユーザにより制御することが容易となる。
計算装置は、データ取得において収集される複数のフレームから画像データを計算するように構成されてよい。この場合、グラフィック・データは、少なくとも1つの選択可能な調整可能パラメータについて、光出力装置を介して出力されてよく、このとき出力されるグラフィック・データは、データ処理のために実行されるプロシージャにおける、この調整可能パラメータの影響を表している。これは、ユーザがデータ処理の基礎となるアルゴリズムを理解する上での助けとなる。
顕微鏡システムは、ユーザが種々の調整可能パラメータの値を設定することを可能にする入力装置を備えてよい。計算装置は、ユーザが入力デバイスを介して新しい値の設定を現在行っている調整可能パラメータのうちの1つについて、グラフィック・データを自動的に出力するように構成されてよい。これにより、ユーザは、関連の値を現在調整している最中である、調整可能パラメータのその1つについての情報を受け取る。
計算装置は、ユーザ入力に応じてグラフィック・データを調整するように構成されてよい。これにより、ユーザは、対話形式で、選択された調整可能パラメータについての追加情報をユーザ入力に応じて取り出すことができる。
計算装置は、選択された調整可能パラメータに設定されている値に応じてグラフィック・データを出力するように構成されてよい。選択された調整可能パラメータの設定値がユーザにより調整されると、グラフィック・データは適応的に調整されるものとすることができる。これは、後に顕微鏡システムを作動させてデータ取得又はデータ処理を行うために適切な、選択された調整可能パラメータの値をユーザが特定する際の助けとなる。
計算装置は、上記選択された調整可能パラメータとは異なる、さらに別の調整可能パラメータに設定された値に応じて、グラフィック・データを出力するように構成されてよい。これによって、異なる調整可能パラメータ間の相互関係を考慮に入れることができる。説明のための例として、グラフィック・データが、構造化照明パターンを用いてアクセス可能なフーリエ空間を示すものである場合、構造化照明パターンの周期性についての設定値と、照明パターンの異なる向きの数についてのもう1つの設定値と、その両方に応じてグラフィック・データを生成し出力してよい。周期性及び異なる向きの数のうちいずれか一方がユーザによって変更されると、それに応じてグラフィック・データは調整されてよい。
計算装置は、データ取得又はデータ処理が実行される前に、選択可能な調整可能パラメータのうちの少なくとも1つについて、グラフィック・データを出力するように構成されてよい。これにより、データ取得又はデータ処理が引き続き行われるのに先立って、ユーザはグラフィック・データを利用することができる。
グラフィック・データは、様々に異なる種類の情報をユーザに伝えるように生成されてよい。1つの実施方法では、計算装置は、データ取得及び/又はデータ処理の実行において達成可能な速度及び/又は分解能及び/又は感度に対する、選択された調整可能パラメータの影響を表すグラフィック・データを生成するように構成されてよい。そのような情報は、実験を計画する際に利用することができる。代替的あるいは追加的に、グラフィック・データは、データ処理プロシージャについての情報、あるいは、データ取得又はデータ処理のプロシージャのどのステップが、選択された調整可能パラメータによる影響を受けるのかについての情報を含んでいてもよい。グラフィック・データは、データ処理におけるフィルタあるいはフィットマスクの効果を表示するグラフィック情報を含んでいてもよい。グラフィック・データは、構造化照明のための照明パターンの効果を表示する情報を含んでいてもよい。グラフィック・データは、光切り替え可能又は光活性化可能な分子を用いる方法のための光切り替え信号の露光時間又はパワー密度の効果を表示する情報を含んでいてもよい。そのようなプロシージャの様々な例があり、"Photo Activated Localization Microscopy(光活性化ローカライゼーション顕微鏡法)"(PALM)と呼ばれる手法がこれに含まれる。グラフィック・データは、データ取得チャネルの分離についての情報を含んでいてもよい。
グラフィック・データが生成され出力されているときに、生データの取得が既に行われた場合でも、選択された調整可能パラメータに関連するグラフィック・データに加えて、さらなるグラフィック情報を出力することができる。そのさらなるグラフィック情報は、データ取得において収集された生データに応じて生成されてよい。別の実施方法では、取得された生データをグラフィック・データと組み合わせるか、あるいはグラフィック・データの中に組み込むことができる。
顕微鏡システムは、構造化照明を用いてデータを取得するように構成されてよい。顕微鏡システムは、照明パターンを生成するための装置を備えていてもよい。照明パターンを生成するための装置は、照明パターンの向きを変更することができるように構成されてよい。関連付けられたグラフィック・データを出力するために選択することができる調整可能パラメータのうちの少なくとも1つは、照明パターンの周期性、照明パターンの異なる向きの数、及び、取得された生データのフィルタリングに用いられるフィルタ関数、からなるグループに含まれていてもよい。
顕微鏡システムは、光活性化可能又は光切り替え可能な分子を用いて顕微鏡法を実施するように構成されてよい。説明のための例として、顕微鏡システムは、PALM法を実施するように構成されてよい。顕微鏡システムは、切り替え信号源を備えていてもよい。顕微鏡システムは、光切り替え信号源を備えていてもよい。関連付けられたグラフィック・データを出力するために選択することができる調整可能パラメータのうちの少なくとも1つは、分子の位置を特定するための当てはめにおいて用いられるマスクのサイズ、切り替え信号のスペクトル、及び、切り替え信号の強度、からなるグループに含まれていてもよい。説明のための例として、グラフィック・データは、取得された生データとの関連で、フィットマスクのサイズを表示するものであってもよい。グラフィック・データは、追加的あるいは代替的に、切り替え信号のスペクトル又は強度が、着色料又は色素の異なる状態間の遷移速度に対してどのように影響を与えるのかを表示するものであってもよい。グラフィック・データは、この情報を表示するため、ヤブロンスキー図を含んでいてもよい。
顕微鏡システムは、光活性化可能又は光切り替え可能な分子を用いて顕微鏡法を実施するように構成されてよい。顕微鏡システムは、切り替え信号源を備えていてもよい。顕微鏡システムは、さらに、複数の対象物平面についてデータ取得を実施するように構成されてよく、それらの対象物平面は互いから離隔されている。顕微鏡は、対象物平面の位置を調整するためのコンポーネントを備えることができる。対象物平面の位置を調整するためのコンポーネントは、調整可能なレンズ又は調整可能なマイクロレンズ配列を含んでいてもよい。代替的あるいは追加的に、対象物平面の位置を調整するためのコンポーネントは、イメージスプリッタ装置を含んでいてもよい。イメージスプリッタ装置は、検出された光の様々な成分を、調整可能な光路長をもつ異なる光路に導くことができ、このとき異なる光路が制御されることで、対象物平面の位置が調整される。計算装置は、対象物平面について設定された位置に応じて、グラフィック・データを生成するように構成されてよい。グラフィック・データは、測定領域の大きさ、及び/又は、ビーム経路の軸方向に達成可能な分解能に対して、対象物平面の位置がどのように影響を与えるのかを示すように生成されてよい。
別の態様により、顕微鏡法が提供される。この方法では、データ取得が実施されて、これにより、生データが取得される。続いてデータ処理が実行され、これにより、取得された生データが計算的に処理される。データ取得及び/又はデータ処理は、複数の調整可能パラメータに設定された値に応じて実行される。データ取得及びデータ処理は、複数のステップを含むプロシージャに従って実行されるものとすることができる。グラフィック・データが、光出力装置に選択的に出力される。グラフィック・データは、ユーザ定義という形で上記複数の調整可能パラメータから選択された調整可能パラメータに応じて、選択される。グラフィック・データは、選択された調整可能パラメータと関連付けられたものである。グラフィック・データは、データ取得及び/又はデータ処理の基礎となる上記プロシージャの少なくとも1つのステップにおける、選択された調整可能パラメータの影響を表している。
顕微鏡システムに関連させて説明したように、この顕微鏡法は様々な実現方法を用いてよい。
この顕微鏡法は、本明細書に記載の態様又は実施形態のいずれか1つによる顕微鏡システムを用いて実施してよい。
本発明の別の態様により、コンピュータプログラムを記憶する非一時的な記憶媒体が提供される。コンピュータプログラムは、コンピュータ実行可能命令のシーケンスを含んでいる。これら一連の命令が顕微鏡システムの計算装置により実行されると、これらの命令によって、顕微鏡システムは、本明細書に記載の態様又は実施形態のいずれか1つの方法を実施するように指示される。
実施形態に係るシステム及び方法は、複雑な顕微鏡法のために用いてよい。特に、実施形態に係るシステム及び方法は、複数のフレームがまず取得され、続いてそれらが処理されることで、計算的に画像データが決定される顕微鏡法のために用いてよい。
本発明の実施形態により達成される様々な特徴及び効果について、また、これらの効果が達成される様子について、図面を参照して詳細に説明される典型例としての実施形態を参照して、より詳細に記述する。
図1は、ある実施形態に係る顕微鏡システムの概略図である。 図2は、別の実施形態に係る顕微鏡システムの概略図である。 図3は、ある実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図4は、図3に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図5は、図3、図4に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図6は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図7は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図8は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図9は、図8に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図10は、3次元発光イメージングのための顕微鏡システムの動作を示している。 図11は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図12は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図13は、図12に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図14は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図15は、図14に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図16は、別の実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図17は、図16に示した実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図18は、別の実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。 図19は、別の実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
本発明の実施形態についてより詳細に説明する。実施形態の説明は、決して本発明を制限するものではなく、単なる例示と解釈されるべきものである。一部の実施形態については、構造化照明を採用する技術("構造化照明顕微鏡法"、SIM)及び/又はPALM法を背景におくなどして、特定の顕微鏡技術との関連で説明を行うが、実施形態は、これら特定の適用領域に限定されるものではない。種々の実施形態の特徴は、以下の説明において明確に除外されていない限り、相互に組み合わせることができる。
図1は、ある実施形態に係る顕微鏡システム1の概略図である。顕微鏡システム1は、計算装置2を有している。計算装置2は、顕微鏡の少なくとも1つの制御可能コンポーネントを制御し、また、顕微鏡により取得したフレームを処理することで、顕微鏡で取得した複数のフレームを計算的に結合して対象物の画像を得る。計算装置2は、光出力装置3に接続されている。光出力装置3は、ディスプレイであってよい。計算装置2は、さらに詳しく説明するように、光出力装置3にグラフィック・データ16を出力するように構成されており、これは、データ取得及び/又はデータ処理の基礎となるプロシージャについての情報をユーザに提供する。
顕微鏡システム1は、試料の画像を向上した分解能で生成するように構成されている。顕微鏡システム1は、光活性化可能な分子の発光信号を検出することにより、その画像を生成するように構成されてよい。そのようなプロシージャ及び技術の例は、当該分野において、以下の名で知られている:PALM("Photo Activated Localization Microscopy(光活性化ローカライゼーション顕微鏡法)")、FPALM("Fluorescence PhotoActivation Localization Microscopy(蛍光光活性化ローカライゼーション顕微鏡法)")、STORM("Stochastic Optical Reconstruction Microscopy(確率的光学再構成顕微鏡法)")、SPDM("Spectral Precision Distance Measurement(スペクトル精密距離測定法)")、PALMIRA("PALM with Independently Running Acquisition(独立取得型PALM)")、GSDIM("Ground State Depletion and Individual Molecular return(基底状態抑制及び個別分子復帰)")、又はdSTORM("direct STORM(直接STORM)")。これらは、さらなる参照として、非特許文献1において例示されている。
顕微鏡により、試料19の複数のフレームが取得される。試料19は、色素DRONPA(国際公開第2007/009812号を参照)又は色素DENDRA(Gurskaya等, Nature Biotech.Vol.24, pp.461-465, 2006年、を参照)でマークすることができる。色素分子の活性化及びルミネセンス励起のために、顕微鏡は、少なくとも1つのレーザ12、13を含む放射線源5を有している。活性化放射線とルミネセンス活性化の波長が異なっていてもよい例示の実施形態では、放射線源5は、2つのレーザ12、13を備えている。2つのレーザ12、13の出力ビームは、ビーム結合器14で結合してもよい。レーザ12及び13のうちの1つは、405nm波長の放射線(活性化ビーム)を出力してもよい。レーザ12及び13の他方は、488nm波長の放射線(ルミネセンス励起、及び非活性化)を出力してもよい。活性化とルミネセンス励起を同じ波長で行うことができる色素が用いられる場合、放射線源5は、1つのみのレーザを備えてもよい。上記の色素DENDRAは、分子活性化とルミネセンス励起を同じ波長で行うことができる色素の典型例である。
光学フィルタ15が、ビーム結合器14の下流に設けられている。光学フィルタ15は、音響光学フィルタ15であってよい。光学フィルタ15は、波長選択のために用いられる。光学フィルタ15は、また、放射線源5から出力されるレーザ波長の迅速な切り替えのため、及び/又は放射線源5から出力される複数のレーザ波長の1つを選択的に減衰させるためにも用いられる。レンズ6又はその他の光学部品により、放射線源5から出力されるビームが集束されて、ダイクロイック・ビームスプリッタ7を介して対物レンズ8の瞳に入射する。レンズ6、ダイクロイック・ビームスプリッタ7及び対物レンズ8は、放射線源5により出力される放射ビームを広視野照明として試料19に入射させるように構成されている。
試料19から出力されるルミネセンス放射は、対物レンズ8上に収集される。ダイクロイック・ビームスプリッタ7は、ルミネセンス放射を通過させるように構成されている。ルミネセンス放射は、フィルタ9及びチューブレンズ10を介して検出器11に衝突する。検出器11は、マトリクス検出器であってよい。検出器11は、CCD検出器であってよい。
計算装置2は、顕微鏡に接続されている。顕微鏡システム1において、計算装置2は、顕微鏡の動作の制御と、顕微鏡により取得した生データの処理の両方を行う。顕微鏡を制御するため、計算装置2を、例えば放射線源5に接続してもよい。計算装置2は、放射線源5によりレンズ6に向けて出力される放射の強度又はスペクトルを制御するように構成されてよい。これにより、色素活性化のために用いられる放射、又はルミネセンス励起のために用いられる放射のうち、1つが選択的に出力されるようにすることができる。顕微鏡は、さらに追加のコンポーネントで、やはり制御可能であるものを含んでいてもよい。説明のための例として、観察深さを調整するための装置を設けてもよい。これにより、PALMによるデータ取得を、対象物の異なる平面について、選択的に実施することができる。1つの実施方法では、観察深さを選択するための装置は、時空間パルス整形を実行するものとすることができる。これにより、深さ分解能は、D.Oron等、"Scanningless depth-resolved microscopy(スキャンレス深さ分解顕微鏡法)"、Optics Express 13, 1468(2005)に記載されているように、多光子励起を用いて達成することができる。顕微鏡の制御可能コンポーネントのその他の構成及び実現を、さらに別の実施形態で用いることができる。
計算装置2は、さらに、多数のフレームから対象物19の画像データを計算するように構成されている。説明のための例として、対象物19の画像データを生成するために、10,000より多くのフレームが計算的に処理されてもよい。計算装置2は、取得された発光信号に対して非線形数学的操作を実行してもよい。このために、計算装置2は、取得されたフレームの複数の画素の1つ1つについて、取得された信号の強度の冪関数又は指数関数を計算してもよい。また、代替的あるいは追加的に、計算装置2は、ガウス型フィット関数を、測定された強度分布と照合して、これにより、取得されたフレーム内で分子の位置を特定することができる。顕微鏡がさらに3次元(3D)ルミネセンス顕微鏡法を実施するように構成されている場合、計算装置2は、さらに分子画像を自動的にグループ分けしてもよい。これにより、互いに対応している発光信号が、異なる対象物平面と関連付けられた異なるフレームにおいて同定される。
従って、顕微鏡システム1において結果として得られる対象物19の最終的な画像の生成は、複雑なプロシージャで行われており、その根本であるデータ処理の詳細については、ユーザには分かっていない場合がある。そのプロシージャは、複数の調整可能パラメータに依存しており、ユーザはそれらに種々の値を設定することができる。これらの調整可能パラメータは、試料の中の色素分子に対する切り替え信号の強度及びスペクトル、使用されるフィットマスクの大きさ、あるいは、画像ノイズ又はそれに類するものを抑制するためにフレームをフィルタリングするフィルタ関数を含んでもよい。ユーザは、入力装置4で、これら種々の調整可能パラメータの値を設定してもよい。以下でより詳細に説明するように、計算装置2は、データ取得及び/又はデータ処理の基礎となるプロシージャにおける調整可能パラメータの影響を表示するため、光出力装置3に情報を出力する。データは、自動的に出力されるか、あるいは、専用のユーザ操作に応えて出力されてもよい。
図2は、別の実施形態に係る顕微鏡システム21の概略図である。この顕微鏡システム21の構成要素のうち、それらの構成又は動作に関して、顕微鏡システム1の構成要素に対応しているものは、図1と同じ参照番号を付して示している。顕微鏡システム21は、構造化照明を用いて、向上した分解能で試料を画像化するように構成されている。
顕微鏡システム21は、照明装置22、少なくとも1つのパターン・ジェネレータ23、照明レンズ24又はその他の光学部品、試料ホルダ25、結像光学系26、及び検出器11を備えている。構成要素22、24〜26及び11は、光顕微鏡及び光学的測定・分析技術で知られているような構成を有するものとすることができる。説明のための例として、構成要素22、24〜26及び11は、光学分光計で用いられるような構成のものであってよい。
パターン・ジェネレータ23は、一般に、対象物19に衝突する際に所定の空間的パターンをもつ照明条件を生成するように構成されている。パターン・ジェネレータ23は、所定の1次元又は2次元の透過特性を有するマスクとするか、あるいはそれを含むものであってよい。マスクは、回折格子あるいは位相格子によって形成することができる。マスクは、マトリクス配列の複数の反射画素又は透過画素を含んでもよい。パターン・ジェネレータは、"デジタルミラーデバイス"(DMD)又は液晶マトリクス構成を含んでもよい。また、代替的あるいは追加的に、パターン・ジェネレータ23は、干渉パターンを生成するためのミラー構成を含むことができる。パターン・ジェネレータ23は、図2では照明光源22とレンズ24との間に配置されるように示されているが、レンズ24と対象物19との間にパターン・ジェネレータを配置してもよい。パターン・ジェネレータ23を、対象物19に直接設けてもよい。
様々に異なるパターンの生成を制御するため、パターン・ジェネレータ23には、計算装置2が接続されている。計算装置2は、さらに、照明パターンの異なる位置及び異なる向きについて検出器11により取得される複数のフレームから、対象物19の画像を再構築するように構成されている。計算装置2は、対象物の画像を再構築するために特許文献1に記載されている方法を実施してもよい。計算装置2は、照明パターンの異なる位置又は向きについて取得された複数のフレームを計算的に結合して、対象物の1つの結果画像を得るために、その他の適切な方法を実施してもよい。
顕微鏡システム21では、複雑なプロシージャを用いて、結果として得られる対象物19の最終的な画像が生成される。そのプロシージャは、種々の調整可能パラメータに依存しており、それらの値はユーザ定義という形で設定してもよい。調整可能パラメータは、照明パターンの周期性、照明パターンの異なる向きの数、あるいは、取得されたフレームをフィルタリングするフィルタ関数を含んでもよい。ユーザは、入力装置4で、これらの調整可能パラメータの値を設定してもよい。以下でより詳細に説明するように、計算装置2は、光出力装置3にグラフィック情報を出力するように構成されている。出力されるグラフィック・データは、データ取得及び/又はデータ処理の基礎となるプロシージャにおける調整可能パラメータの影響を表示している。計算装置2は、グラフィック・データを自動的に出力するか、あるいは、専用のユーザ操作に応えて出力するように構成されてよい。
様々な実施形態に従って、顕微鏡システムの計算装置2はユーザに情報を出力する。この情報は、特にグラフィック・データであってよい。グラフィック・データは、複数の調整可能パラメータの様々なユーザ設定のうちのいずれか1つが、データ取得及び/又はデータ処理のプロシージャにどのように影響するのかを示してよい。これは、ユーザが、顕微鏡システムの動作を直感的に理解する際の助けとなる。ユーザは、データ取得又は取得された生データのデータ処理を実行するために種々の調整可能パラメータの値をユーザが設定している過程にあるそのときに、プロシージャについての情報の提供を受けることができる。取得された生データの処理は、コンピュータを用いた複数のフレームの処理を含んでよく、これにより、対象物の画像データが生成される。このような処理は、構造化照明を用いる顕微鏡法において、あるいはPALM法及びその変形手法において、採用される。
調整可能パラメータの影響を表示するために顕微鏡システムによりユーザに出力される情報は、特に、グラフィック・データを含むものとすることができる。そのグラフィック・データは、アニメーション・データであってもよい。グラフィック・データは、ビデオ・シーケンスに含まれてもよく、あるいは、ビデオ・シーケンスと関連付けられてもよい。グラフィック・データは、複数の調整可能パラメータのどの1つが、その調整可能パラメータに割り当てられる値を設定するためにユーザにより選択されたのかによって、選択的に出力されるものとすることができる。また、グラフィック・データは、調整可能パラメータの特定の1つについての情報を求める専用のユーザ要求に応えて、その調整可能パラメータに割り当てられる値をユーザが調整する必要がなくても、選択的に出力されてもよい。グラフィック・データは、対話形式で出力されてもよく、この場合、グラフィック・データはユーザ入力に応じて調整される。グラフィック・データは、ユーザが調整可能パラメータの値を調整する際に、その選択された調整可能パラメータの影響を表示するように、生成されてもよい。グラフィック・データに加えて、出力情報は音声データも含んでもよい。
一部の実施方法では、データ取得及び/又はデータ処理について説明するために用いられる、少なくとも1つの調整可能パラメータのためのグラフィック・データは、取得された生データとは独立のものである。これによって、何らかの生データが取得されるよりも前に、情報の提供が行われることが可能である。
一部の実施方法では、プレビュー画像が生データから計算的に決定されて、グラフィック・データに追加して出力されるようにすることができる。プレビュー画像は、種々の調整可能パラメータの現在の設定値が、データ処理により結果として得られる画像データにどのように影響するのかを示すものとすることができる。
このようなグラフィック・データを出力することにより、データ取得及び/又はデータ処理を計画している過程のユーザを支援するための情報が、ユーザに対して提供される。説明のための例として、データ取得を計画している過程のユーザを支援するために出力されるグラフィック・データは、データ取得プロシージャの速度、感度、及び分解能に対する調整可能パラメータの影響を示すグラフィック・データとすることができる。また、代替的あるいは追加的に、データ処理プロシージャを説明するグラフィック・データが提供されてもよい。これは、ユーザが、露光時間、レーザパワー、構造化照明(即ち、SIM法)を用いる画像取得のパラメータ、PALM法のパラメータなど、各種パラメータの値を選択する際の助けとなる。データ処理を計画しているユーザを支援するために、SIM又はPALM法のデータ処理に用いられるフィルタの動作を表示するグラフィック・データを出力してもよい。また、代替的あるいは追加的に、PALM法で分子の位置を特定するのに用いられるフィットマスクの動作及び効果を表示するグラフィック・データを出力してもよい。
以下、図3〜9及び11〜19を参照しながら、グラフィカル・ユーザインタフェースの実現方法について説明する。このようなユーザインタフェースは、図1の顕微鏡システム1又は図2の顕微鏡システム21において用いることができる。複数の調整可能パラメータのどの1つをユーザが選択して、それについての情報を要求しているのかによって、複数のグラフィック表現のうちの1つを選択的に、根本にある技術の説明のために出力することができる。顕微鏡システムは、ユーザが異なる調整可能パラメータを次々と選択して、それらについての情報を要求した場合に、異なるグラフィック・データを順次出力するように構成されてよい。いずれのグラフィック・データの場合でも、その出力は、以下、図3〜9及び図11〜19を参照して説明するようにして、実現することができる。
図3〜5は、グラフィカル・ユーザインタフェースを模式的に示している。グラフィカル・ユーザインタフェースは、顕微鏡システムの光出力装置3に出力されるものであってよい。顕微鏡システムは、SIM法によりデータ取得を行うように構成されてよい。図3〜5は、k空間の体積を表すグラフィック・データの出力を示している。表示されるk空間の体積は、それぞれ、構造化照明を用いてサンプリングすることができる逆(即ち、k)空間の体積とすることができる。
グラフィカル・ユーザインタフェースは、第1の調整可能パラメータに現在設定されている値を表示するための表示領域31を有している。グラフィカル・ユーザインタフェースは、ユーザが第1の調整可能パラメータの値を調整することを可能にする調整エレメント32を表示する。グラフィカル・ユーザインタフェースは、第2の調整可能パラメータの設定値を表示するための表示領域33と、この第2の調整可能パラメータの設定値をユーザが調整することを可能にする調整エレメント34とを有している。説明のための例として、第1の調整可能パラメータは、照明パターンの周期性であってよい。第1の調整可能パラメータは、照明パターンのライン間隔とすることができる。第2の調節可能パラメータは、生データの取得が行われる、照明パターンの異なる向きの数であってよい。
グラフィカル・ユーザインタフェースには、グラフィック・データ35が出力される。出力されるグラフィック・データ35は、第1の調整可能パラメータ及び第2の調整可能パラメータが、SIMによるデータ取得及びデータ処理のプロシージャにどのように影響するのかを示す。図に3〜5に示すように、グラフィック・データ35は、ユーザによる設定に従った照明パターンの周期性及び異なる向きの数でSIMプロシージャが実施される場合にサンプリングが行われるk空間の体積を表している。顕微鏡システムの計算装置は、ユーザにより設定された照明パターンの周期性及び向きの数の値に応じて、k空間体積の境界を計算してもよい。計算装置は、計算された境界に応じて、光出力装置3を制御することができる。計算装置は、さらに追加情報が出力されるように光出力装置3を制御してもよい。図3〜5に示すように、等方性分解能に相当するグラフィック表示37を出力することができる。これは、結果として得られる分解能がほぼ等方性分解能であるように、第1の調整可能パラメータ及び第2の調整可能パラメータの値をユーザが決定する際の助けとなる。また、代替的あるいは追加的に、所望の目標分解能を表すグラフィック表示37が生成されてもよい。この場合のグラフィック表示37は、目標分解能での構造の分解を可能とするために、少なくともサンプリングが行われなければならないk空間の体積を示す。
グラフィック・データ35は、第1の調整可能パラメータ及び第2の調整可能パラメータにそれぞれ設定されている値に応じて生成されてもよい。これらの値のうちの1つが調整されると、それに応じてグラフィック・データ35が調整されてよい。
図4は、照明パターンの空間周期性の設定値がユーザにより変更された場合に、グラフィック・データがどのように変更されるのかを典型例で示している。ユーザに対して出力される、SIMプロシージャでカバーされるk空間体積の境界は、図3におけるライン36から図4におけるライン38にシフトする。図5は、照明パターンの異なる向きの数の値をユーザが調整した場合に、グラフィック・データがどのように変更されるのかを典型例で示している。ユーザに対して出力されるk空間体積の境界は、ライン40にシフトする。
グラフィック・データ35は、ユーザが調整エレメント32、34のうちの1つをアクティブにしたときに、自動的に出力されてよい。別の表現をすると、ユーザが第1の調整可能パラメータ(例えば、周期性)又は第2の調整可能パラメータ(例えば、照明パターンの異なる向きの数)のうちの1つを調整すると、グラフィック・データ35が自動的に出力されるようにしてもよい。また、代替的あるいは追加的に、データ取得又はデータ処理の実施のためのプロシージャについての情報をユーザが要求していることを示すユーザ操作に応えて、グラフィック・データ35が選択的に出力されるようにしてもよい。
図6は、顕微鏡システムの光出力装置3に出力されるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、データ処理におけるフィルタの効果を表示するグラフィック・データを含んでいる。顕微鏡システムは、取得された生データのフィルタリングがその中で行われる、SIMプロシージャ、PALMプロシージャ、あるいはその他のプロシージャに従って顕微鏡法を実施するように構成されてよい。
グラフィカル・ユーザインタフェースは、調整可能パラメータの値を表示するための表示領域41と、この調整可能パラメータの設定値を変更するための調整エレメント42とを有している。説明のための例として、調整可能パラメータは、生データのフィルタリングに用いられるフィルタのカットオフ周波数又はライン幅であってよい。様々な顕微鏡法により、ノイズ抑制のために生データのフィルタリングが用いられている。生データは、SIMプロシージャ又はPALMのプロシージャにおいて取得されたフレームとすることができる。フィルタ又はフィルタ特性についての情報を提供することで、調整可能パラメータの適切な設定を見つける際にユーザを支援することができる。これによって、ユーザが情報損失につながるような調整可能パラメータの値を選択するリスクを軽減することができる。
グラフィカル・ユーザインタフェースは、データ処理プロシージャのフィルタリング・ステップにおける調整可能パラメータの影響を表示するグラフィック・データ43を含んでいる。一部の実施方法では、フィルタ特性又はフィルタの伝達関数が、空間周波数の関数として表示されるようにしてもよい。調整可能パラメータの値がユーザ入力に応じて変更されると、この新しい設定値に適応させて、グラフィック・データ43が調整されるようにしてもよい。
フィルタ特性は、生データの取得が既に実施された後に、ユーザにより設定されてもよい。この場合、先に取得された生データを用いて、プレビュー画像44が生成されるようにしてもよい。プレビュー画像44は、フィルタ特性に設定された値を用いて生成されてもよい。プレビュー画像44は、グラフィック・データ43と組み合わせて、グラフィカル・ユーザインタフェースに出力してもよい。
図7は、顕微鏡システムの光出力装置3に出力することができるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースにより出力されるグラフィック・データは、データ処理プロシージャがどのように実行されるのかを示し、説明する。このグラフィカル・ユーザインタフェースの出力が行われる顕微鏡システムは、複数の異なる処理ステップを含むデータ処理プロシージャにより複雑なデータ処理が実行される、SIMプロシージャ、PALMプロシージャ、あるいはその他のプロシージャに従って顕微鏡法を実施するように構成されてよい。グラフィカル・ユーザインタフェースは、調整可能パラメータの値を出力するための表示領域41と、ユーザが調整可能パラメータの設定値を調整することを可能にする調整エレメント42とを有している。
グラフィカル・ユーザインタフェースには、グラフィック・データ45が出力される。グラフィック・データ45は、データ処理のプロシージャを図式的に示している。データ処理のワークフローの様々に異なる表現方法のうち任意の1つを用いることができる。説明のための例として、図7に示すようにフローチャート表現を用いてもよい。また、代替的あるいは追加的に、フーリエ空間又は画像空間における、ワークフローのいろいろなステップの効果を表示する図式表現を用いることができる。
グラフィック・データ45は、ユーザにより選択された調整可能パラメータに応じて、生成され出力されてよい。説明のための例として、グラフィック・データ45は、複数のステップ46〜56を含むプロシージャについて生成及び出力され、選択された調整可能パラメータにより直接影響されるステップ49、51、53が強調表示されるようにしてもよい。グラフィック・データ45を理解する助けとなるように、グラフィック・データ45の中にテキスト情報を組み込んでもよい。説明のための例として、ブロック46は、テキスト情報"SIMデータ処理"を含んでいてもよい。ブロック47〜51はそれぞれの処理テップが、前処理(ブロック47)のステップであって、バックグラウンド信号の除去(ブロック48)、スケーリングの実行(ブロック49)、SIMイメージングの異なるイメージング・オーダーの分離(ブロック50)、及び、中間結果の記憶(ブロック51)のステップであることを説明するテキスト情報をそれぞれ含むことができる。ブロック52〜56は、それぞれのブロックがメイン処理(ブロック52)に対応していることを説明するテキスト情報を含んでいてもよく、その処理では、k空間画像の異なるオーダーがシフトされ(ブロック53)、信号対ノイズ比に応じて混合情報が決定され(ブロック54)、フィルタリング(ブロック55)及び逆変換(ブロック56)が実行される。グラフィック・データ45は、後処理についての追加ブロックを含んでいてもよい。後処理は、クリッピング、等方性分解、及びカラーチャネルのアラインメントのステップを含んでいてもよい。
図8及び9は、顕微鏡システムの光出力装置3に出力されるグラフィカル・ユーザインタフェースを模式的に示している。表示されるグラフィック・データは、分子の位置を特定する際のフィットマスクの影響について説明するために、生成され出力される。このグラフィカル・ユーザインタフェースを用いる顕微鏡システムは、フィットマスクと取得した生データとの照合がその中で行われる、PALMプロシージャ又はその他のプロシージャに従って顕微鏡法を実施するように構成されてよい。このようなプロシージャの例には、分子の位置を特定するため、フィットマスクが生データに重畳されるルミネセンス顕微鏡法のプロシージャが含まれる。
グラフィカル・ユーザインタフェースは、調整可能パラメータの値を表示するための表示領域61を有している。グラフィカル・ユーザインタフェースは、ユーザが調整可能パラメータの設定値を調整することを可能にする調整エレメント62を有している。調整可能パラメータは、ガウス型フィットマスクのサイズとすることができる。そのようなフィットマスクは、PALMプロシージャのデータ処理において、あるいは関連の顕微鏡法プロシージャにおいて用いることができる。グラフィカル・ユーザインタフェースを介してフィットマスクについての情報を出力することで、適切なフィットマスクを選択する際のユーザを支援することができる。
グラフィカル・ユーザインタフェースを介して出力されるグラフィック・データ63は、分子の位置を特定するのに用いられるフィットマスクのサイズの影響を図式的に示している。調整可能パラメータの値が変更されると、グラフィック・データ63は、ユーザにより設定されたフィットマスク・サイズの新しい値に対応するように適応的に変更されるものとすることができる。グラフィック・データ63において、フィットマスクは、カメラ信号又はカメラ信号の一部分に重畳されるものとすることができ、これによって、フィットマスクの適切なサイズを選択する際のユーザを支援する。
グラフィック・データ63は、一つの分子のカメラ信号64又は66を含む。生データの取得が行われた後にグラフィック・データ63が出力された場合は、カメラ信号64又は66は、その生データ取得において収集されたデータであってよい。あるいは、計算装置は、グラフィック・データ63に組み込まれる典型的データのライブラリを備えていてもよい。典型的データは、データ取得に影響を与える様々な調整パラメータに設定された値に応じた、分子の特徴的画像を表してもよい。また、計算装置は、シミュレーションプロセスを用いて典型的データ64又は66を生成するように構成されていてもよい。図8及び9においては、濃度の異なるハッチング線を用いて、輝度レベルの違いを示している。
グラフィック・データ63は、さらに、フィットマスクの表示65を含んでいる。このフィットマスク表示65は、カメラ信号に重畳されて示される。ユーザが調整エレメント62を用いて調整可能パラメータの値を調整すると、それに応じてフィットマスク表示65は変更される。
図10及び11を参照して、3次元画像の生成を可能にするルミネセンス顕微鏡の方法及びシステムと関連させて、グラフィック・データの出力について説明する。3次元のPALMプロシージャは、そのような方法及び対応する顕微鏡システムの典型例である。顕微鏡システムは、そのような3次元画像の生成を可能とするため、観察深さを選択するための装置を含んでいてもよい。
図10は、3次元ルミネセンス顕微鏡法の実施を可能にする方法及び顕微鏡を示している。色素分子の多光子励起を実施するため、顕微鏡の対物レンズ71を介して試料に光を照射してもよい。時空間パルス整形のための装置を、観察深さを調整するために設けてもよい。これによって、複数の対象物平面72、73の1つ1つについて、1つ又は複数の2次元画像を取得することが可能である。図10の差し込み図74では、3つの蛍光分子がある場合を模式的に示している。対象物平面72について取得された2次元画像75は、その3つの分子がそれぞれに異なる大きさ及び強度を有する画像を示している。この大きさ及び強度の違いは、顕微鏡の軸方向に沿って分子の位置が異なることによって生じる。対象物平面73について取得された2次元画像76も、やはり異なる大きさ及び強度を有する分子の画像を示している。この大きさ及び強度の違いも、同様に、顕微鏡の軸方向に沿って分子の位置が異なることにより生じる。この情報は、分子の横方向の位置を特定するために用いてもよいだけでなく、ビームの軸方向に沿って分子の位置を特定することも可能にしている。達成可能な軸方向の分解能と、測定を行うことができる軸方向の長さとの間には、相関関係がある。
図11は、顕微鏡システムの光出力装置3に出力することができるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、軸方向の分解能と軸方向の測定領域の長さに対する、対象物平面の位置の影響を示すグラフィック・データを含んでいる。顕微鏡システムは、3次元イメージングのためのPALMプロシージャに従って顕微鏡法を実施するように構成されてよい。
グラフィカル・ユーザインタフェースは、第1の調整可能パラメータの値を表示するための表示領域81を有している。グラフィカル・ユーザインタフェースは、さらに、ユーザが第1の調整可能パラメータの値を調整することを可能にする調整エレメント82を表示している。グラフィカル・ユーザインタフェースは、第2の調整可能パラメータ値を表示するための表示領域83を有している。グラフィカル・ユーザインタフェースは、ユーザが第2の調整可能パラメータの設定値を調整することを可能にする調整エレメント84を有している。説明のための例として、第1の調整可能パラメータは、3次元顕微鏡法における第1の対象物平面の、顕微鏡の軸方向に沿った位置を表してもよい。第2の調節可能パラメータは、3次元顕微鏡法における第2の対象物平面の、顕微鏡の軸方向に沿った位置を表してもよい。
このグラフィカル・ユーザインタフェースには、グラフィック・データ80が出力される。グラフィック・データ80は、データ取得及びデータ処理の基礎となるPALMプロシージャにおける、第1の調整可能パラメータと第2の調整可能パラメータの影響を表示している。このグラフィック・データ80は、対象物平面の位置86及び87を表示しており、さらに、3次元測定を実施することが可能な測定領域88と、達成可能な軸方向の分解能89を表示している。これらの情報は、対象物の概観画像85に重畳されてもよい。顕微鏡システムの計算装置は、第1及び第2の対象物平面の位置としてそれぞれ設定されている値に応じて、測定領域88及び達成可能な分解能89を計算することができる。加えて、計算装置は、例えば試料における蛍光分子の密度など、ユーザによって入力されてもよい追加情報に応じて、測定領域88及び分解能89を計算してもよい。
グラフィック・データ80は、第1の調整可能パラメータ及び第2の調整可能パラメータにそれぞれ設定されている値に応じて、生成されてもよい。これら値の1つが変更されると、即ち、対象物平面のうちの1つの位置が変更されると、これに対応してグラフィック・データ80が適応させられてもよい。
PALMプロシージャのデータ取得又はデータ処理について説明するために生成され出力されるグラフィック・データについて、いくつかの例と関連させて、図8〜11を参照して説明したが、さらに追加の調整可能パラメータについて、グラフィック・データを選択的に出力することができる。そのような調整可能パラメータのさらに別の例は、異なる対象物平面で取得された分子画像が、個々の分子の位置特定の前あるいは後にグループ分けされるかどうかを指定する設定である。この2つの異なる場合について、データ処理における違いを示すグラフィック・データが、生成及び出力されてもよい。さらに、2つの異なる場合のそれぞれについて、それらの各設定で結果として得られるデータのプレビューも生成及び出力されるものとしてもよい。
図12及び13は、顕微鏡システムの光出力装置3に出力することができるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、データ・フィルタリングの効果を表示するグラフィック・データを含んでいる。顕微鏡システムは、生データのフィルタリングがその中で行われる、SIMプロシージャ、PALMプロシージャ、あるいはその他のプロシージャに従った顕微鏡法に合わせて構成されてよい。データ・フィルタリングについての情報、及び、データ処理が実行されるプロシージャにおけるデータ・フィルタリングの効果についての情報がユーザにより要求されると直ぐに、図12及び13に模式的に示すようなグラフィック・データが出力されてよい。
グラフィカル・ユーザインタフェースには、データ配列91が表示される。この配列の画素値は、異なる輝度レベル及び/又は異なる数値により表示され、それらはデータ配列91の異なるフィールドに示されてよい。グラフィカル・ユーザインタフェースには、典型例のフィルタ係数を有するフィルタカーネル92も表示される。このフィルタ係数は、データの処理のために現在設定されているフィルタの値に応じて決定されてよい。
図13に模式的に示すように、ユーザは、フィルタカーネル92をデータ配列91の様々な位置に移してもよい。これに応じて、データ配列の様々な位置でのフィルタカーネルの効果が計算されて、グラフィカル・ユーザインタフェースに出力される。図13に模式的に示すように、フィルタカーネル92が配置された位置に応じて、データ配列91をフィルタカーネル92によりフィルタリングした結果得られる数値が決定されて、出力されてもよい。フィルタカーネル92を用いたフィルタリングの結果は、様々な代替的又は追加的方式でコード化してもよい。説明のための例として、データ配列91においてフィルタの効果を表示するために、異なるグレースケール・レベル、異なる色、又はそれに類するものを用いてフィルタリングの結果を出力してもよい。
データ配列91は、典型的データの配列であってもよい。生データが既に取得されている場合は、データ配列91は、取得された生データの一部分であってもよい。そして、ユーザは、その生データのユーザが関心のある部分に、フィルタカーネルを選択的に位置付けてもよい。これに応じて、ユーザは、生データのその特定の部分でのフィルタリングの効果を直接理解することになる。このようにして、様々なフィルタ特性をテストしてよい。その後、ユーザ定義の形で設定されたフィルタカーネルを用いて、データ処理を実行してよい。
図14及び15は、顕微鏡システムの光出力装置3に出力されるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、マルチチャネル画像の分離を表示するグラフィック・データを含んでいる。顕微鏡システムは、そのデータ処理段階においてマルチチャネル画像の分離が行われるような方法を実施するように構成されてよい。ユーザによりチャネルの分離についての情報が要求されると、図14及び15に模式的に示すようなグラフィック・データが出力されてよい。これは、チャネル数を変更すること、あるいはデータの不確実性に応じてデータの重み付けオプションを選択することが、どのようにデータ処理に影響するのかを、ユーザが理解するときの助けとなる。
グラフィカル・ユーザインタフェースは、調整可能パラメータの値を表示するための表示領域93を有している。グラフィカル・ユーザインタフェースは、ユーザが調整可能パラメータの設定値を調整することを可能にする調整エレメント94を有している。説明のための例として、調整可能パラメータはチャネル数であってよく、即ち、異なるチャネルの総数を表すものであってよい。グラフィカル・ユーザインタフェースは、さらに、重み付けオプションを選択するための調整エレメント95を有している。
グラフィカル・ユーザインタフェースには、グラフィック・データ96が出力される。グラフィック・データ96は、チャネル数と重み付けオプションがどのようにデータ処理に影響するのかを表示している。グラフィック・データ96は、チャネル数又は重み付けオプションの選択を変更するユーザ入力に応じて、適応させられてもよい。説明のための例として、ユーザが重み付けオプションを選択すると、それに応じてグラフィック・データ96は、このユーザによる選択を反映するように適応させられてもよい。
技術的観点からは、マルチチャネル画像の分離は、過剰決定方程式系を解くことに例えることができる。その解は、例えば最小二乗法を用いて得てもよい。チャネルの分離を視覚化するために、方程式系の解を、複数の測定値点を通る平均直線を特定することに類比させるグラフィック・データを生成して出力してもよい。平均直線の交点は、方程式系の解に相当する。図14は、複数の測定データ97及び関連付けられた平均直線を含むグラフィック・データ96を模式的に示している。解の不確かさは、平均直線の交点の周りの円98として図示することができる。ここでは、過剰決定方程式系の解としてのマルチチャネル画像のチャネル分離は、2次元で交差する直線として表現されている。これは、チャネル分離が実際に行われるn次元データ空間における、基礎となるアルゴリズムの動作原理を視覚化している。
図15は、重み付けオプションが選択されたときに、どのようにグラフィック・データ96が適応させられるのかを示している。重み付けオプションの効果を視覚化するために、さらにエラーバー99を追加して表示してもよい。さらに、重み付け関数によって、解のシフトが生じる場合及び/又は表示された解の不確かさが変化する場合がある。これも、グラフィック・データ96に反映することができる。
様々な実施形態により、分子の光学遷移を表示するため、顕微鏡システムの光出力装置にグラフィック・データを出力することができる。表示される光学遷移は、データ取得において励起される光学遷移であってよい。このようなグラフィック・データが有益となることがある例には、例えばPALMプロシージャに従って顕微鏡法を実施するように構成されている顕微鏡システムのような、ルミネセンス顕微鏡法のための顕微鏡システムが含まれる。顕微鏡システムの計算装置は、ユーザにより設定された調整可能パラメータの値に応じて、それぞれ、光活性化可能又は光切り替え可能な分子の分子状態の占有確率及び/又は分子状態間の遷移速度を計算することができる。説明のための例として、占有確率及び/又は分子状態間の遷移速度は、色素分子について計算されるものとすることができる。占有確率及び/又は遷移速度は、グラフィック・データとして光出力装置に出力することができる。出力されるグラフィック・データは、ヤブロンスキー図又はマルコフ図の表示を含んでもよい。このような図を含むグラフィック・データは、色素分子の切り替えに用いられる切り替え信号のパワー密度又は波長の値が調整された場合に、調整されてもよい。また、このような図を含むグラフィック・データは、色素分子のルミネセンス励起に用いられる励起信号のパワー密度又は波長が調整された場合にも、やはり適応させられるものとすることができる。図16〜19を参照しながら、そのような実現方法について、より詳細に説明する。
図16及び17は、グラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、顕微鏡システムの光出力装置3に出力することができる。このグラフィカル・ユーザインタフェースは、分子状態の占有確率及び/又は分子状態間の遷移速度に対する、調整可能パラメータの影響を視覚化するグラフィック・データを含むものとすることができる。顕微鏡システムは、生データ取得のために分子の光切り替え又は光活性化が行われるルミネセンス顕微鏡法を実施するように構成されてよい。例えば、レーザのパワー密度の変化やレーザのスペクトルの変化がどのように検出可能な発光信号に影響するのかについての情報をユーザにより要求されたときに、図16及び17に示すような図を含むグラフィック・データが出力されてもよい。
グラフィカル・ユーザインタフェースは、第1の調整可能パラメータの値を表示するための表示領域の101を有している。グラフィカル・ユーザインタフェースは、ユーザが第1の調整可能パラメータの値を調整することを可能にする調整エレメント102を有している。グラフィカル・ユーザインタフェースは、第2の調整可能パラメータの設定値を表示するための表示領域103を有している。グラフィカル・ユーザインタフェースは、ユーザが第2の調整可能パラメータの設定値を調整することを可能にする調整エレメント104を有している。説明のための例として、第1の調整可能パラメータは、レーザのパワー密度に相当してもよい。第2の調整可能パラメータは、レーザのスペクトル、又はレーザスペクトルが最大となる波長に相当してもよく、この場合のレーザは、分子の切り替え及び/又は活性化のために用いられる。
グラフィカル・ユーザインタフェースには、グラフィック・データ105が出力される。グラフィック・データ105は、データ取得の際にトリガされる分子プロセスにおける、レーザパワー及び/又はレーザスペクトルの影響を表示している。グラフィック・データ105は、異なる分子状態を図式的に表示してもよい。説明のための例として、図16及び17に示すように、2つの一重項状態と2つの三重項状態を表示してもよい。さらに、分子状態間の遷移を表す矢印が表示される。
顕微鏡システムの計算装置は、第1及び第2の調整可能パラメータの設定値に応じて、異なる分子状態の占有確率を計算するように構成されている。また、代替的あるいは追加的に、計算装置は、第1及び第2の調整可能パラメータにそれぞれ設定された値に応じて、それらの分子状態間の遷移速度を計算するように構成されてよい。計算装置は、試料に用いられている光活性分子に応じて、占有確率及び/又は遷移速度を決定してもよい。分子は、特定の色素の分子であってもよい。一部の実施方法では、ユーザが、ユーザインタフェースを介して、光活性分子又は色素についての情報を入力できるようにしてもよい。他の実施方法では、計算装置は、最初のデータ取得で粗いスペクトル分解能でスペクトルスキャンが達成されるように、顕微鏡システムを制御するよう構成してもよい。そして、計算装置は、取得されたスペクトルをデータベースに格納されているデータと比較することによって、使用されている色素を自動的に決定してもよい。
遷移速度を決定するために、計算装置は、データベースへの問合せを行ってもよい。データベースは、第1及び第2の調整可能パラメータの複数の離散値の関数として、遷移速度の値を含んでもよい。説明のため例として、それらの遷移速度は、データベースに、複数のレーザパワーと複数のレーザスペクトルについて格納されていてもよい。計算装置は、切り替え信号又は励起信号についてユーザにより設定されたパワー及び波長の設定値に応じて、データベースに記憶されている遷移速度を内挿又は外挿するように構成されてよい。そして、その遷移速度に基づいて、計算装置により占有確率を計算することができる。マルコフ過程で知られる数学的方法を用いて、遷移速度に応じて、占有確率を決定することができる。
あるいは、モデルを用いて、占有確率及び/又は遷移速度を計算してもよい。占有確率及び/又は遷移速度を決定するために、計算装置は、データベースから関連する分子パラメータを取り出してもよい。関連する分子パラメータの例には、光学遷移の遷移行列要素、自然緩和の緩和率、及びその他の遷移確率が含まれる。そして、遷移速度は、ユーザにより設定された調整可能パラメータの値に応じて計算される。遷移速度の計算に用いられるモデルは、温度など、さらに追加のパラメータに依存してもよい。計算装置は、温度の現在値、試料のpH値、あるいはその他の環境パラメータについての情報を自動的に取得するため、顕微鏡のセンサに接続されていてもよい。計算装置は、占有確率及び/又は遷移速度を決定する際に、これらのセンサの出力を用いてもよい。また、代替的あるいは追加的に、計算装置は、ユーザによる温度値又はpH値の入力を可能にして、これにより、光学過程における温度又はpH値の影響を表示する情報を、ユーザに提供することもできる。占有確率は、例えばマルコフ過程のために開発された手法に基づいて、遷移速度を用いて計算してもよい。
図16及び17に示す実施方法では、計算装置は、光出力装置を制御することで、計算装置により計算された占有確率が光出力装置3上で視覚化されるようにする。計算装置は、バー・シンボル106〜109の大きさ又は色分けが占有確率に比例するように、グラフィック・データ105を生成してもよい。バー・シンボル106〜109は、光活性化又は光切り替えが可能な分子の、関連する分子状態に割り当てられている。また、追加的あるいは代替的に、遷移速度に関する情報が出力されてもよい。計算装置は、遷移矢印110、111の太さが遷移速度に比例するようにグラフィック・データ105を生成してもよい。また、代替的あるいは追加的に、グラフィック・データ105において、占有確率及び/又は遷移速度を英数字記号を用いて表示してもよい。
図17に示すように、計算装置は、ユーザにより調整可能パラメータにそれぞれ設定される値に応じて、グラフィック・データ105を適応させてもよい。ユーザがレーザパワーの設定を増加させた場合、グラフィック・データ105は、新しい占有確率及び/又は遷移速度を表すように調整されてもよい。
占有確率を表すグラフィック・データは、個々の分子状態のポピュレーションが増加又は減少する動的過程を視覚化するように、時間的に変化する調整が行われてもよい。このようなダイナミクスは、切り替え信号又は活性化信号が光活性分子に照射された後に、その結果として得られる。これによって、ユーザは、データ取得及びデータ処理の基礎となるプロセスを直感的に理解する。
占有確率及び/又は遷移速度についての情報は、ヤブロンスキー図の形式で出力するだけではなく、マルコフ図の形式で出力してもよい。これについて、図18及び19を参照してより詳細に説明する。
図18は、顕微鏡システムの光出力装置に出力されるグラフィック・データ115を示している。このグラフィック・データ115は、顕微鏡システムの計算装置により生成される。グラフィック・データ115はマルコフ図を含んでおり、その中では、色素分子の様々な関連する状態が英数字符号116〜118で表示されている。色素分子の関連する状態は、図16及び17を参照して説明したように、計算装置により自動的に決定されてもよい。関連する分子の状態は、やはり、分子の励起又は切り替えに用いられる信号のパワー密度あるいはスペクトルが変化することで、変化してよい。計算装置により決定された遷移速度は、数値として出力されるものとすることができる。それらの数値は、ボックス119、120により表示されるもので、これらはマルコフ図に組み込まれてもよい。遷移速度は、図16及び17を参照して説明したようにして決定してもよい。
データ取得の基礎となるプロシージャについてのユーザの理解をさらに助けるため、さらに追加情報を出力してもよい。説明のための例として、計算装置は、色素分子の蛍光状態が継続する平均期間を計算するように構成されてよい。この期間は、励起信号のパワー密度に依存する。実施方法について、図19を参照してより詳細に説明する。
図19は、顕微鏡システムの光出力装置3に出力されるグラフィカル・ユーザインタフェースを模式的に示している。顕微鏡システムは、生データの取得のために分子の光切り替え又は光活性化が行われるプロシージャに従って、ルミネセンス顕微鏡法を実施するように構成されてよい。
グラフィカル・ユーザインタフェースは、グラフィック・データ125を含んでいる。グラフィック・データ125は、図16〜18を参照して説明したように、ヤブロンスキー図又はマルコフ図を含んでいる。加えて、グラフィック・データは、色素分子の蛍光状態が継続する平均期間を表示するデータ124を含んでいる。計算装置は、色素分子の蛍光状態が継続する平均期間を自動的に計算する。計算装置は、この期間を、先に計算された分子の遷移速度に応じて、決定してよい。分子の蛍光状態が継続する期間は、円124又はバーの大きさあるいは明度というように、出力シンボルの大きさ又は明度により視覚化してよい。分子の蛍光状態が継続する平均期間がグラフィックで出力されると、ユーザがデータ取得のための露光時間を決定する際の助けとなる。
グラフィカル・ユーザインタフェースは、ユーザにより設定された露光時間の値を表示するための表示領域121を含んでいてもよい。グラフィカル・ユーザインタフェースは、さらに、ユーザが露光時間を設定することを可能にする調整エレメント122を含んでいてもよい。計算装置は、設定された露光時間のグラフィック表示123をさらに含むように、グラフィック・データ125を生成してもよい。図19に示すように、分子の蛍光状態が継続する平均期間のグラフィック表示124と、設定された露光時間のグラフィック表示123とは、ユーザがそれら2つの時間を容易に比較することができるように、生成されてもよい。
図3〜19を参照して説明したように、種々の調整可能パラメータの影響についての情報を、グラフィカル・ユーザインタフェースを介してユーザに出力することができる。これにより、データ取得又はデータ処理にとっての様々な調整可能パラメータの重要性についての情報が、ユーザに提供される。これは、データ取得及び/又はデータ処理に用いることができる様々な調整可能パラメータの適切な値を特定する過程にあるユーザの助けとなる。ユーザにより種々の調整可能パラメータの設定値が確定されるとすぐに、ユーザ定義により設定された値を用いてデータ取得及び/又はデータ処理を実施することができる。
図面を参照して説明した実施形態は、別の実施形態において変形されてもよい。説明のための例として、図3〜19に示され、これらの図を参照して説明したものとは異なるグラフィック・データを、さらに別の実施形態において出力してもよい。
一部の実施形態では、処理の流れを特定のモデルに基づいて図示することができる。処理の流れのフローチャート表現を生成して出力してもよい。そのフローチャート表現は、ユーザが様々な調整可能パラメータのどの1つを選択したのかに応じて、生成されるか、あるいは適応させられてもよい。
一部の実施形態では、データ取得又はデータ処理の様々なステップは、アニメーションを用いて視覚化されてもよい。
他の実施形態では、グラフィック・データの中に表示される数式の1つ又はいくつかの項を強調表示して、これにより、数式の様々な項にとっての調整可能パラメータの重要性を説明することができる。
一部の実施形態では、シミュレーションの結果を出力するようにしてもよい。説明のための例として、カットオフ・フィルタといったフィルタの動作原理を、シミュレーション・データを出力することにより視覚化することができる。
一部の実施形態では、色素の特性が視覚化されるものとすることができる。試料に含まれている色素に関するデータが、ユーザ入力に含まれるようにすることができる。代替的あるいは追加的に、顕微鏡システムを、試料で使用されている色素を自動的に特定するように構成してもよい。色素分子の切り替え又は励起に用いられる光信号のスペクトルをグラフィック表示してもよく、これにより、色素の特性に応じて、切り替え及び励起の信号に適した設定を特定する際のユーザを支援する。波長が選択されたときに、その波長で用いるのに適した色素についての情報を出力してもよい。
図16〜19を参照して説明したように、PALMプロシージャで用いられる異なる切り替え又は励起の波長の影響を表示する情報を、グラフィック・データとして出力してもよい。また、試料で用いられている色素の切り替え又は励起の信号のパワーの影響を表示するグラフィック・データも、出力してもよい。計算装置は、遷移速度を計算して、ヤブロンスキー図、マルコフ図又はその他のグラフィック表現を出力することにより、この計算された遷移速度をグラフィックで視覚化してもよい。その図は、レーザパワー、切り替え信号の波長、及び色素の特性に応じて計算してもよい。また、代替的あるいは追加的に、試料の光退色又は光損傷についての情報が出力されてもよい。
一部の実施形態では、調整可能パラメータに設定された値の変化の影響は、取得された生データを用いてシミュレーションを実行することにより、視覚化してもよい。プレビュー画像を生成して、それをグラフィカル・ユーザインタフェースにより出力してもよい。
一部の実施形態では、複数のステップを含むデータ処理プロシージャの記録を、そのデータ処理の中間結果を画像データの形式で記憶するようにして行ってもよい。この目的のため、様々なバージョンの画像データを、グラフィックで表すことができる。これら異なるバージョンは、データ処理プロシージャの異なるステップ数で生データが処理された後に結果として得られるバージョンとすることができる。これにより、データ処理のプロトコルが実現される。このプロトコルは、実際に取得された生データを用いて生成してもよい。あるいは、ライブラリ又は計算装置の記憶媒体に格納されている典型的データを、このプロトコルを確立するための入力データとして用いてもよい。
本明細書で記載した様々な実施形態の各々においては、ユーザが様々な調整可能パラメータの値を設定している最中に、グラフィック・データが顕微鏡システムで出力されてもよい。これは、ユーザがデータ取得又はデータ処理を計画する際の助けとなる。
グラフィック・データの出力は、本明細書に記載した様々な実施形態の各々について、時系列的に繰り返されてもよい。説明のための例として、第1の調整可能パラメータと関連付けられたグラフィック・データを、最初に出力してもよい。その後、第2の調整可能パラメータと関連付けられたグラフィック・データの出力などが、行われてもよい。このようにして、データ取得又はデータ処理の基礎となるプロシージャに関する種々の調整可能パラメータの重要性についての情報が、ユーザに提供される。
典型例である実施形態について、PALM又はSIMプロシージャと関連させて説明を行ったが、本発明の実施形態は、そのような顕微鏡技術に限定されるものではない。実施形態に係る顕微鏡システム及び顕微鏡法は、ユーザ定義という形で複数の調整可能パラメータの設定が行われるような顕微鏡技術に、広く用いることができる。
本発明の実施形態について、上記の実施形態を参照して、特定の顕微鏡技術と関連させて説明を行ったが、当然のことながら、さらに別の実施形態が可能であり、また、本明細書において例示し説明を行った実施形態は、添付の請求項により規定される本発明の範囲から逸脱することなく、様々に変更することができる。上記の詳細な説明を読み、理解することで、様々な変形及び変更を思い付くであろう。従って、上記の記述内容は単なる例示を目的とするものであって、限定するものではないことが、はっきりと理解されるべきである。このように、本発明は、添付の特許請求の範囲及びその均等物の範囲内である限り、そのような全ての変形及び変更を含むものとして解釈されることを意図するものである。
1 顕微鏡システム
2 計算装置
3 光出力装置
4 入力装置
5 放射線源
6 レンズ
7 ダイクロイック・ビームスプリッタ
8 対物レンズ
9 フィルタ
10 チューブレンズ
11 検出器
12,13 レーザ
14 ビーム結合器
15 光学フィルタ
16 グラフィック・データ
19 試料(対象物)
21 顕微鏡システム
22 照明装置
23 パターン・ジェネレータ
24 レンズ
25 試料ホルダ
26 結像光学系
31 表示領域
32 調整エレメント
33 表示領域
34 調整エレメント
35 グラフィック・データ
36 ライン
37 グラフィック表示
38 ライン
40 ライン
41 表示領域
42 調整エレメント
43 グラフィック・データ
44 プレビュー画像
45 グラフィック・データ
46〜56 ブロック
61 表示領域
62 調整エレメント
63 グラフィック・データ
64 カメラ信号
65 フィットマスク表示
66 カメラ信号
71 対物レンズ
72,73 対象物平面
74 差し込み図
75,76 2次元画像
80 グラフィック・データ
81 表示領域
82 調整エレメント
83 表示領域
84 調整エレメント
85 概観画像
86,87 対象物平面の位置
88 測定領域
89 分解能
91 データ配列
92 フィルタカーネル
93 表示領域
94,95 調整エレメント
96 グラフィック・データ
97 測定データ
98 円
99 エラーバー
102 調整エレメント
103 表示領域
104 調整エレメント
105 グラフィック・データ
106〜109 バー・シンボル
110,111 遷移矢印
115 グラフィック・データ
116〜118 英数字符号
119,120 ボックス
121 表示領域
122 調整エレメント
123 グラフィック表示
124 円
125 グラフィック・データ

Claims (14)

  1. 顕微鏡システムであって、
    少なくとも1つの制御可能コンポーネント(5;23)を有する、データ取得のための顕微鏡(5〜11;11、22〜26)と、
    前記顕微鏡(5〜11;11、22〜26)の前記少なくとも1つの制御可能コンポーネント(5;23)のデータ取得の際の制御、及び/又は前記顕微鏡(5〜11;11、22〜26)により取得された生データのデータ処理を実行するように構成された計算装置(2)と、
    前記計算装置(2)に接続された光出力装置(3)と、を備え、
    前記顕微鏡(5〜11;11、22〜26)及び前記計算装置(2)は、複数の調整可能パラメータにそれぞれ設定された値に基づいて前記データ取得及び/又は前記データ処理を実行するように構成されており、
    前記計算装置(2)は、調整可能パラメータに応じて、前記光出力装置(3)を介して、グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を選択的に出力するように構成されており、前記調整可能パラメータは、前記複数の調整可能パラメータからユーザ定義という形で選択され、前記出力されるグラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)は、前記選択された調整可能パラメータに割り当てられたものであって、前記データ取得及び/又は前記データ処理の基礎となるプロシージャの少なくとも1つのステップにおける前記選択された調整可能パラメータの影響を表しており、
    前記計算装置(2)は、異なる調整可能パラメータにそれぞれ割り当てられた前記グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を、第1の調整可能パラメータに関連するグラフィック・データが初めに出力され、次いで、前記第1の調整可能パラメータとは異なる第2の調整可能パラメータに関連するグラフィック・データが出力されるように時系列的に出力するように構成され、それによって、前記プロシージャの前記少なくとも1つのステップにおける前記第1の調整可能パラメータと前記第2の調整可能パラメータの両方の影響についての情報を提供する、顕微鏡システム。
  2. 前記計算装置(2)は、前記データ処理において、前記データ取得において収集された複数の2次元フレームから、画像データを計算するように構成されており、
    前記計算装置(2)は、前記データ処理に影響を与える少なくとも1つの調整可能パラメータについて、前記光出力装置(3)を介して、前記グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を出力するように構成されており、前記出力されるグラフィック・データ(16;43;45;63;91、92;96;105;115;125)は、前記データ処理の基礎となるプロシージャにおける前記選択された調整可能パラメータの影響を表している、請求項1に記載の顕微鏡システム。
  3. 前記複数の調整可能パラメータから選択された所与の調整可能パラメータの値を調整するユーザ入力を受け取るため、前記計算装置(2)に接続された入力装置(4;32、34;42;62;82、84;94;102、104;122)をさらに備え、
    前記計算装置(2)は、前記所与の調整可能パラメータに割り当てられたグラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を自動的に出力するように構成されている、請求項1又は請求項2に記載の顕微鏡システム。
  4. 前記計算装置(2)は、前記選択された調節可能パラメータに設定された値に応じて、前記グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を出力するように構成されている、請求項1乃至3のいずれかの一項に記載の顕微鏡システム。
  5. 前記計算装置(2)は、さらに別の調整可能パラメータに設定された値に応じて、前記グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を出力するように構成されており、前記別の調整可能パラメータは前記選択された調整可能パラメータとは異なる、請求項4に記載の顕微鏡システム。
  6. 前記計算装置(2)は、前記データ取得及び/又は前記データ処理が実行される前に、前記グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を出力するように構成されている、請求項1乃至のいずれか一項に記載の顕微鏡システム。
  7. 前記顕微鏡システム(1)は、光活性化可能又は光切り替え可能な分子を用いて、前記データ取得及び/又は前記データ処理を実行するように構成されており、
    前記計算装置は、前記分子の分子状態の占有確率及び/又は分子状態間の遷移速度を自動的に計算し、かつ、前記グラフィック・データ(105;115;125)が、前記分子の前記分子状態の前記占有確率及び/又は前記分子状態間の前記遷移速度における前記選択された調整可能パラメータの影響を表すように、前記グラフィック・データ(105;115;125)を出力するように構成されており、前記計算装置は、前記データ取得が実行される前に、前記グラフィック・データ(105;115;125)を出力するように構成されている、請求項に記載の顕微鏡システム。
  8. 前記計算装置(2)は、前記データ取得が実行された後に、前記グラフィック・データ(16;35;43;45;63;80;91、92;96)を出力するように構成されており、
    前記計算装置(2)は、前記光出力装置(3)を介して、前記選択された調整可能パラメータに割り当てられた前記グラフィック・データ(16;35;43;45;63;80;91、92;96)に加えて、さらなるグラフィック情報(44)を出力するように構成されており、前記さらなるグラフィック情報(44)は、前記データ取得において前記顕微鏡(5〜11;11、22〜26)により収集された前記生データに応じて生成される、請求項1乃至のいずれか一項に記載の顕微鏡システム。
  9. 前記顕微鏡システム(21)は、構造化照明を用いて、前記データ取得を実行するように構成されており、
    前記グラフィック・データ(16;35;43;45;91、92;96)を出力するために選択可能である、前記複数の調整可能パラメータのうちの少なくとも1つは、照明パターンの周期性、前記照明パターンの異なる向きの数、及び、前記顕微鏡(5〜11;11、22〜26)により取得された前記生データをフィルタリングするためのフィルタ関数、からなるグループから選択される、請求項1乃至のいずれか一項に記載の顕微鏡システム。
  10. 前記顕微鏡システム(1)は、光活性化可能又は光切り替え可能な分子を用いて、前記データ取得及び/又はデータ処理を実行するように構成されており、
    前記グラフィック・データ(16;35;43;45;91、92;96)を出力するために選択可能である、前記複数の調整可能パラメータのうちの少なくとも1つは、当てはめステップのためのマスク・サイズ、前記分子の切り替えのための切り替え信号のスペクトル、前記分子の切り替えのための切り替え信号の強度、前記分子の活性化のための活性化信号のスペクトル、及び、前記分子の活性化のための活性化信号の強度、からなるグループから選択される、請求項1乃至のいずれか一項に記載の顕微鏡システム。
  11. 前記顕微鏡システム(1)は、光活性化可能又は光切り替え可能な分子を用いて、前記データ取得及び/又はデータ処理を実行するように構成されており、
    前記顕微鏡(5〜11)は、複数の対象物平面(72、73)について前記データ取得を実行するように構成されており、前記複数の対象物平面(72、73)は互いから離隔しており、
    前記顕微鏡(5〜11)は、前記対象物平面(72、73)の位置を調整するように制御可能であり、
    前記計算装置(2)は、測定領域(88)の大きさ及び/又は達成可能な分解能(89)に対する、前記対象物平面(72、73)の前記位置の影響を表す、前記グラフィック・データ(80)を出力するように構成されている、請求項1乃至10のいずれか一項に記載の顕微鏡システム。
  12. 顕微鏡法であって、
    前記顕微鏡法は、生データを取得すること、及び複数のステップを含むプロシージャにおいて前記取得された生データを処理すること、を含み、前記生データの取得及び/又は前記取得された生データの前記処理は、複数の調整可能パラメータに設定された値に応じて実行され、
    前記顕微鏡法は、調整可能パラメータに応じて、光出力装置(3)を介して、グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)を選択的に出力することをさらに含み、前記調整可能パラメータは、前記複数の調整可能パラメータからユーザ定義という形で選択され、前記出力されるグラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)は、前記選択された調整可能パラメータに割り当てられたものであって、前記生データの前記取得及び/又は前記取得された生データの前記処理の基礎となる前記プロシージャの少なくとも1つのステップにおける、前記選択された調整可能パラメータの影響を表しており、
    異なる調整可能パラメータにそれぞれ割り当てられた前記グラフィック・データ(16;35;43;45;63;80;91、92;96;105;115;125)は、第1の調整可能パラメータに関連するグラフィックデータが初めに出力され、次いで、前記第1の調整可能パラメータとは異なる第2の調整可能パラメータに関連するグラフィックデータが出力されるように時系列的に出力され、それによって、前記プロシージャの前記少なくとも1つのステップにおける前記第1の調整可能パラメータと前記第2の調整可能パラメータの両方の影響についての情報が提供される、顕微鏡法。
  13. 前記顕微鏡法は、請求項1乃至12のいずれか一項に記載の顕微鏡システム(1;21)を用いて実施される、請求項12に記載の顕微鏡法。
  14. 命令コードを記憶する非一時的な記憶媒体であって、
    前記命令コードはコンピュータ実行可能命令を含み、これらの命令は、顕微鏡システム(1;21)の計算装置(2)により実行されることで、請求項12又は請求項13に記載の顕微鏡法を実行することを顕微鏡システム(1;21)に指示する、記憶媒体。
JP2011210540A 2010-09-30 2011-09-27 顕微鏡システム、顕微鏡法、及び記憶媒体 Active JP5935147B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010041794.7 2010-09-30
DE102010041794A DE102010041794A1 (de) 2010-09-30 2010-09-30 Mikroskopsystem, Mikroskopieverfahren und Computerprogrammprodukt

Publications (2)

Publication Number Publication Date
JP2012078827A JP2012078827A (ja) 2012-04-19
JP5935147B2 true JP5935147B2 (ja) 2016-06-15

Family

ID=44799666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011210540A Active JP5935147B2 (ja) 2010-09-30 2011-09-27 顕微鏡システム、顕微鏡法、及び記憶媒体

Country Status (4)

Country Link
US (1) US8957958B2 (ja)
EP (1) EP2437097B1 (ja)
JP (1) JP5935147B2 (ja)
DE (1) DE102010041794A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5739351B2 (ja) 2009-03-11 2015-06-24 サクラ ファインテック ユー.エス.エー., インコーポレイテッド 自動合焦方法および自動合焦装置
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
DE102012201003B4 (de) * 2012-01-24 2024-07-25 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie
DE102012206319A1 (de) * 2012-04-17 2013-10-17 Carl Zeiss Microscopy Gmbh Mikroskop und Mikroskopierverfahren
US20140022373A1 (en) * 2012-07-20 2014-01-23 University Of Utah Research Foundation Correlative drift correction
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
JP6246551B2 (ja) * 2013-10-24 2017-12-13 株式会社キーエンス 制御装置、顕微鏡システム、制御方法およびプログラム
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
EP3351992B1 (en) * 2017-01-24 2019-10-23 Horiba France SAS Micro-spectrometry measurement method and system
JPWO2018150471A1 (ja) * 2017-02-14 2019-12-19 株式会社ニコン 構造化照明顕微鏡、観察方法、及びプログラム
JP2019066706A (ja) * 2017-10-02 2019-04-25 ソニー株式会社 蛍光顕微鏡装置及び蛍光顕微鏡システム
WO2019135069A1 (en) * 2018-01-02 2019-07-11 King's College London Method and system for localisation microscopy
US10372967B1 (en) * 2018-07-18 2019-08-06 Intervet Inc. Automated parasite analysis system
WO2020031668A1 (ja) 2018-08-09 2020-02-13 ソニー株式会社 光学顕微鏡装置及び光学顕微鏡システム
DE102023107537A1 (de) 2023-03-24 2024-09-26 Abberior Instruments Gmbh Verfahren, system, lichtmikroskop und computerprogrammzur bearbeitung lichtmikroskopischer datensätze

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19908883A1 (de) 1999-03-02 2000-09-07 Rainer Heintzmann Verfahren zur Erhöhung der Auflösung optischer Abbildung
JP2001272343A (ja) * 2000-03-23 2001-10-05 Olympus Optical Co Ltd 二重共鳴吸収顕微鏡
US8548745B2 (en) * 2000-06-08 2013-10-01 The Regents Of The University Of California Visual-servoing optical microscopy
DE10041165B4 (de) * 2000-08-21 2005-07-07 Leica Microsystems Heidelberg Gmbh Verfahren und Anordnung zur Steuerung von Analyse- und Einstellvorgängen eines Mikroskops
DE10134328B4 (de) * 2001-07-14 2012-10-04 Leica Microsystems Cms Gmbh Verfahren und System zur Einstellung der Bilderfassung eines Mikroskops
DE10151217B4 (de) * 2001-10-16 2012-05-16 Carl Zeiss Microlmaging Gmbh Verfahren zum Betrieb eines Laser-Scanning-Mikroskops
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
DE10206979A1 (de) * 2002-02-20 2003-08-21 Leica Microsystems Verfahren zum Benutzertraining für ein Scanmikroskop, Scanmikroskop und Software zum Benutzertraining für ein Scanmikroskop
US7696996B2 (en) 2004-12-13 2010-04-13 Olympus Corporation Laser scanning microscope apparatus
JP4667944B2 (ja) * 2005-04-20 2011-04-13 シスメックス株式会社 画像作成装置
EP2453237B1 (en) * 2005-05-23 2016-12-21 Harald F. Hess Optical microscopy with phototransformable optical labels
DE102005024867C5 (de) * 2005-05-31 2009-08-27 Leica Microsystems Cms Gmbh Mikroskopsystem und Bildgebungsverfahren
EP1907826B2 (de) 2005-07-22 2020-11-25 Carl Zeiss MicroImaging GmbH Auflösungsgesteigerte lumineszenz-mikroskopie
WO2007043314A1 (ja) * 2005-10-13 2007-04-19 Nikon Corporation 顕微鏡装置
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
JP2009014980A (ja) * 2007-07-04 2009-01-22 Nikon Corp 蛍光画像の撮影支援装置
DE102007046469A1 (de) 2007-09-28 2009-04-02 Carl Zeiss Imaging Solutions Gmbh Verfahren, Vorrichtung und Computerprogramm zum Simulieren von Abläufen in einem Mikroskopsystem sowie Computerprogrammprodukt
US20090244698A1 (en) * 2008-03-28 2009-10-01 Reto Zust Microscope comprising at least two components
JP5185151B2 (ja) * 2009-02-09 2013-04-17 オリンパス株式会社 顕微鏡観察システム
US20100201800A1 (en) * 2009-02-09 2010-08-12 Olympus Corporation Microscopy system
DE102009043744A1 (de) 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren und Mikroskop zur dreidimensional auflösungsgesteigerten Mikroskopie
DE102009060793A1 (de) 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
DE102009060490A1 (de) 2009-12-22 2011-06-30 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Bildteileranordnung

Also Published As

Publication number Publication date
EP2437097B1 (de) 2024-01-31
EP2437097A3 (de) 2012-04-18
US20120081536A1 (en) 2012-04-05
JP2012078827A (ja) 2012-04-19
US8957958B2 (en) 2015-02-17
EP2437097A2 (de) 2012-04-04
DE102010041794A1 (de) 2012-04-05

Similar Documents

Publication Publication Date Title
JP5935147B2 (ja) 顕微鏡システム、顕微鏡法、及び記憶媒体
US11971355B2 (en) Fluorescence observation apparatus and fluorescence observation method
JP5265408B2 (ja) 相関分光分析方法及び相関分光分析装置
CN103874917B (zh) 多焦点干涉图像获取
US9435993B2 (en) Three dimensional microscopy imaging
JP5489469B2 (ja) 蛍光信号解析装置および蛍光信号解析方法
JP5746161B2 (ja) 顕微鏡画像における蛍光の評価方法
EP2107363B1 (en) Method of fluorescence-microscopically imaging a structure in a sample with high three-dimensional spatial resolution
CN111971606B (zh) 具有高空间分辨率的时间分辨成像方法
JP2002531840A (ja) コンピュータを使用した適応画像形成装置及び方法
JP6770951B2 (ja) 結果画像を生成する方法及び光学装置
US9404867B2 (en) Luminescence microscopy
JP7064796B2 (ja) 画像再構成方法、装置及び顕微結像装置
JP5940288B2 (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2006200987A (ja) 解析装置、顕微鏡、および、解析プログラム
US20200150044A1 (en) Fluctuation-based fluorescence microscopy
US20220057329A1 (en) Method and apparatus for detecting fluorescence signals in a three-dimensional region of a sample
Thibon et al. Resolution enhancement in laser scanning microscopy with deconvolution switching laser modes (D-SLAM)
JP4615941B2 (ja) 光信号解析方法
JP2011017677A (ja) 画像解析方法および画像解析装置
WO2011046212A1 (ja) 画像解析方法および画像解析装置
Shepherd et al. Localization microscopy: a review of the progress in methods and applications
Chen Three-dimensional super-resolution microscopy using laser scanning and non-linear optimization
Caldini et al. Development of an optical system for three-dimensional multicolour super-resolution microscopy and its application to the study of subcellular compartmentalization
Borlinghaus et al. Confocal microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160419

R150 Certificate of patent or registration of utility model

Ref document number: 5935147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250