JP5508808B2

JP5508808B2 - 画像解析方法および画像解析装置

Info

Publication number: JP5508808B2
Application number: JP2009238441A
Authority: JP
Inventors: 明美鈴木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2009-10-15
Filing date: 2009-10-15
Publication date: 2014-06-04
Anticipated expiration: 2029-10-15
Also published as: US8705865B2; EP2477026A4; CN102575989B; WO2011046211A1; EP2477026A1; JP2011085485A; CN102575989A; US20120201463A1

Description

本発明は、画像解析方法および画像解析装置に関する。

従来、蛍光相関分光分析法（ＦＣＳ）と呼ばれる画像解析の手法が知られている。ＦＣＳは、たとえば非特許文献１に示されている。ＦＣＳでは、試料中の一つまたは複数の測定点に対して、ある程度の時間のあいだ（たとえば１０秒間）励起光を継続的に照射し、測定点から発する蛍光の強度の揺らぎを検出して相関解析を行なうことにより、分子数や拡散定数の推定を行なう。

また、ラスターイメージ相関分光法（ＲＩＣＳ：Raster Image Correlation Spectroscopy）と呼ばれる画像解析の手法も知られている。ＲＩＣＳはたとえば非特許文献２に示されている。ＲＩＣＳでは、試料に対して励起光をラスター走査しながら発生する蛍光を検出することによって蛍光画像を取得する。蛍光画像の各ピクセルのデータは、対応する試料中の点から発生した蛍光の強度の情報を表す。つまり、ピクセルのデータは、それぞれ、取得時間および取得位置が異なる。ピクセルのデータを用いて空間相関解析することによる、拡散定数や分子数を求める。

「New Concept in Correlator Design」, Klaus Sch-tzel, Inst. Phys. Conf. Ser. No.77, P175, 1985. 「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005.

試料の多数の測定点から得られた情報は、試料内の位置と関連づけて考察するためにも、マッピングして画像化すると好ましい。

ＦＣＳを用いて、試料に対して多数の測定点を設定して測定を行なって測定結果をマッピングした場合、最初の測定点と最後の測定点間の時間の差は大きく、マッピング結果は、経時変化の影響による大きな誤差を含んだものとなり、信頼性に欠けるものとなる。たとえば、２５６×２５６の測定点について分子数または拡散定数をマッピングする場合、一つ測定点における分子数または拡散定数を得るために必要な時間を１０秒とすると、２５６×２５６×１０秒という長い測定時間を要する。このように長い時間的隔たりがある測定結果をマッピングしても、マッピング結果は実際には意味をもたないものとなってしまう。

ＲＩＣＳでは、試料中の多数の点から情報を得ているものの、一般的に一枚の画像について一つの情報（たとえば分子数または拡散定数）を算出しているに過ぎない。つまり、走査領域から複数の情報を取得することはしていない。このため、当然ながら、取得した情報をマッピングすることは考慮されない。

本発明の目的は、走査領域から複数の情報を算出してマッピングする新しいＲＩＣＳの画像解析方法を提供することである。

本発明による画像解析方法は、時系列的に取得された複数のデータをそれぞれ有する複数のピクセルから構成される観察領域の画像を取得する画像取得ステップと、前記観察領域の画像に対して解析領域を設定する解析領域設定ステップと、前記解析領域よりも小さいサブ解析領域を設定するサブ解析領域設定ステップと、前記解析領域の全体にわたりピクセル間隔をおいて前記サブ解析領域を断続的に移動させる移動ステップと、前記移動のたびに前記サブ解析領域内のピクセルのデータを使用して相関解析を行なって前記サブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する相関解析ステップと、前記分子数または拡散定数をマッピングして前記分子数または拡散定数の画像を形成する画像形成ステップとを有している。

本発明によれば、分子数または拡散定数をマッピングして表示するＲＩＣＳの画像解析方法が提供される。

本発明の実施形態による画像解析装置を概略的に示している。図１に示される制御部の機能ブロックを示している。二次元画像の蛍光画像の例を示す。三次元画像の蛍光画像の例を示す。本発明の実施形態による画像解析のフローチャートである。二次元の解析領域に対して設定されたサブ解析領域を模式的に示している。三次元の解析領域に対して設定されたサブ解析領域を模式的に示している。分子数または拡散定数の画像を示している。拡張分子数または拡張拡散定数の画像を示している。変換前画像と変換後画像との間の座標データの変換を示している。変換前画像と変換後画像を示している。

以下、図面を参照しながら本発明の実施形態について説明する。

[装置構成]
図１は、本発明の実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。

図１に示すように、画像解析装置１００は、試料Ｓに励起光を照射する光照射部１１０と、試料Ｓ内の測定点から発せられる光を検出する光検出部１３０と、画像解析に必要な制御を行なう制御部１６０と、試料Ｓを支持する試料ステージ１９０とを有している。

試料Ｓはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ１９０に載置される。試料ステージ１９０は、たとえば、試料Ｓを光照射部１１０および光検出部１３０に対して横方向（ｘｙ方向）および高さ方向（ｚ方向）に移動可能に支持する。たとえば、試料ステージ１９０は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Ｓをｘｙｚ方向に移動し得る。

画像解析装置１００は、多重光照射・多重光検出型である。このため、光照射部１１０はｎチャンネルの光源系１１１を含み、これに対応して光検出部１３０はｎチャンネルの検出系１３１を含んでいる。ｎチャンネルの検出系１３１は、それぞれ、ｎチャンネルの光源系１１１から射出された励起光によって生成された蛍光を検出する。ここで、ｎチャンネルは、チャンネル１、チャンネル２、・・・チャンネルｎによって構成される。チャンネルは、励起光の種類によってそれぞれ異なる。

光照射部１１０のｎチャンネルの光源系１１１は、光源１１２ａ，…，１１２ｎとコリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとを含んでいる。光源１１２ａ，…，１１２ｎは、試料Ｓに含まれる蛍光色素を励起して試料Ｓから光（蛍光）を発せさせるための励起光を発する。光源１１２ａ，…，１１２ｎから発せられる励起光の波長は、試料Ｓに含まれる蛍光色素の種類に対応して、互いに相違している。光源１１２ａ，…，１１２ｎは、たとえば、試料Ｓ中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ１１４ａ，…，１１４ｎは、それぞれ、光源１１２ａ，…，１１２ｎから発せられた励起光をコリメートする。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、コリメートレンズ１１４ａ，…，１１４ｎを通過した励起光を同じ方向に反射する。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、図１の上方から入射する励起光を透過し、図１の右方から入射する励起光を反射する。その結果、光源１１２ａ，…，１１２ｎからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー１１６ａの通過後に一本のビームに合成される。ダイクロイックミラー１１６ｎは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。

光照射部１１０はさらに、ダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６と対物レンズ駆動機構１２８を含んでいる。ダイクロイックミラー１２２は、光源系１１１からの励起光をガルバノミラー１２４に向けて反射し、試料Ｓから発せられる蛍光を透過する。ガルバノミラー１２４は、励起光を対物レンズ１２６に向けて反射するとともに、その反射方向を変更する。対物レンズ１２６は、励起光を収束して試料Ｓ内の測定点に照射するとともに、試料Ｓ内の測定点からの光を取り込む。対物レンズ１２６には、微小な共焦点領域（測定点）の形成のために、ＮＡ（開口数）の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径０．６μｍ程度、長さ２μｍ程度の略円筒状となる。ガルバノミラー１２４は、測定点をｘｙ方向に走査するｘｙ走査機構を構成している。ｘｙ走査機構は、ガルバノミラーを使用して構成するほかに、音響光学変調素子（ＡＯＭ）やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構１２８は、対物レンズ１２６を光軸に沿って移動させる。これにより、測定点がｚ方向に移動される。つまり、対物レンズ駆動機構１２８は、測定点をｚ方向に走査するｚ走査機構を構成している。

光検出部１３０は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２を光照射部１１０と共有している。光検出部１３０はさらに、収束レンズ１３２とピンホール１３４とコリメートレンズ１３６とを含んでいる。収束レンズ１３２は、ダイクロイックミラー１２２を透過した光を収束する。ピンホール１３４は、収束レンズ１３２の焦点に配置されている。つまり、ピンホール１３４は、試料Ｓ内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ１３６は、ピンホール１３４を通過した光を平行にする。コリメートレンズ１３６を通過した光は、ｎチャンネルの検出系１３１に入射する。

ｎチャンネルの検出系１３１は、ダイクロイックミラー１３８ａ，…，１３８ｎと蛍光フィルター１４０ａ，…，１４０ｎと光検出器１４２ａ，…，１４２ｎとを含んでいる。

ダイクロイックミラー１３８ａ，…，１３８ｎは、それぞれ、光源１１２ａ，…，１１２ｎからの励起光によって試料Ｓから生成された蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー１３８ｎは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター１４０ａ，…，１４０ｎは、それぞれ、ダイクロイックミラー１３８ａ，…，１３８ｎによって反射された光から、不所望な波長成分の光を遮断し、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター１４０ａ，…，１４０ｎを透過した蛍光はそれぞれ光検出器１４２ａ，…，１４２ｎに入射する。光検出器１４２ａ，…，１４２ｎは、入射した光の強度に対応した信号を出力する。すなわち、光検出器１４２ａ，…，１４２ｎは、試料Ｓ内の測定点からの蛍光強度信号を出力する。

制御部１６０はたとえばパーソナルコンピューターで構成される。制御部１６０は、試料Ｓの観察領域の蛍光画像の取得・記憶・表示、解析領域の設定・サブ解析領域の設定・サブ解析領域の移動量の設定などの入力待ち、画像の解析処理（相関値の計算や分子数・拡散時間の推定など）を行なう。また制御部１６０は、ｘｙ走査機構であるガルバノミラー１２４、ｚ走査機構である対物レンズ駆動機構１２８、試料ステージ１９０などの制御を行なう。

図１に示される制御部の機能ブロックを図２に示す。制御部１６０は、図２に示すように、走査制御部１６２と画像形成部１６４と記憶部１６６と表示部１６８と入力部１７０と解析領域設定部１７２とサブ解析領域調整部１７４と解析処理部１７６とステージ制御部１８０とを含んでいる。ここで、走査制御部１６２と画像形成部１６４と記憶部１６６とステージ制御部１８０と上述したガルバノミラー１２４と対物レンズ駆動機構１２８と試料ステージ１９０と光検出器１４２とが画像取得部を構成する。

走査制御部１６２は、試料Ｓの蛍光画像を取得する際、励起光の照射位置を試料Ｓに対してラスター走査するようにガルバノミラー１２４を制御する。走査制御部１６２はまた、必要であれば、励起光の照射位置を試料Ｓに対してｚ走査するように対物レンズ駆動機構１２８を制御する。画像形成部１６４は、走査制御部１６２から入力される励起光の照射位置の情報と光検出器１４２ａ，…，１４２ｎの出力信号とから試料Ｓの蛍光画像を形成する。これにより、蛍光画像が取得される。記憶部１６６は、画像形成部１６４で形成された蛍光画像を記憶する。表示部１６８は、試料Ｓの蛍光画像や解析処理結果を表示する。入力部１７０は、たとえばマウスやキーボードを含み、表示部１６８と共同してＧＵＩを構成する。このＧＵＩは、観察領域や解析領域やサブ解析領域の設定などに利用される。ステージ制御部１８０は、たとえば観察領域を設定するために、入力部１７０からの入力情報にしたがって試料ステージ１９０を制御する。解析領域設定部１７２は、入力部１７０からの入力情報にしたがって解析領域を設定する。サブ解析領域調整部１７４は、入力部１７０からの入力情報にしたがって解析領域よりも小さいサブ解析領域を設定する。サブ解析領域調整部１７４はまた、解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動させる。解析処理部１７６は、移動のたびにサブ解析領域内のピクセルのデータを使用して相関解析を行なってサブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する。解析処理部１７６はまた、推定した分子数または拡散定数をマッピングして分子数または拡散定数の画像を形成する。解析処理部１７６はさらに、推定した分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得て、拡張分子数または拡張拡散定数をマッピングして拡張分子数または拡張拡散定数の画像を形成する。さらに解析処理部１７６は、拡張分子数または拡張拡散定数の位置情報を重み係数として拡張分子数または拡張拡散定数の画像を解析領域と同じ画像サイズに変換する。解析処理部１７６の処理の詳細は後述する。

図１において、光源１１２ａ，…，１１２ｎから発せられた励起光は、コリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６を経て試料Ｓ内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー１２４によってｘｙ方向にラスター走査され、また必要であれば、ラスター走査されながら、対物レンズ駆動機構１２８によってｚ走査される。測定点は観察領域の全体にわたって走査される。励起光を受けた試料Ｓは測定点から蛍光を発する。試料Ｓからの光（蛍光のほかに不所望な反射光などを含む）は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２と収束レンズ１３２を経てピンホール１３４に至る。ピンホール１３４は測定点と共役な位置にあるため、試料Ｓ内の測定点からの光だけがピンホール１３４を通過する。ピンホール１３４を通過した光すなわち試料Ｓ内の測定点からの光はコリメートレンズ１３６を経てｎチャンネルの検出系１３１に入射する。ｎチャンネルの検出系１３１に入射した光は、ダイクロイックミラー１３８ａ，…，１３８ｎによって波長にしたがって分離される（つまり分光される）とともに、蛍光フィルター１４０ａ，…，１４０ｎによって不所望な成分が除去される。その結果、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけが光検出器１４２ａ，…，１４２ｎにそれぞれ入射する。光検出器１４２ａ，…，１４２ｎは、それぞれ、入射光すなわち試料Ｓ内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部１６４に入力される。画像形成部１６４は、入力される蛍光強度信号をｘｙ方向（およびｚ方向）の位置情報に同期させて処理して、試料Ｓ内の観察領域の蛍光画像を形成する。形成された蛍光画像は、記憶部１６６に保存される。記憶部１６６に保存された蛍光画像は、そのまま表示部１６８に表示されるか、解析処理部１７６によって処理され、解析処理結果が表示部１６８に表示される。

[空間相関計算式]
観察領域の蛍光画像は、時系列的に取得された複数のデータを有する複数のピクセルから構成される。測定点は、実際には、ｘｙｚ方向に空間的広がりを有しており、ピクセルは、この測定点の空間的広がりに対応した大きさを有する。観察領域が二次元的領域である場合、蛍光画像は、ｘｙ方向に大きさを持つピクセルが二次元的に配列された二次元画像である。また観察領域が三次元的領域である場合、蛍光画像は、ｘｙｚ方向に大きさを持つピクセルが三次元的に配列された三次元画像である。三次元画像はまた、別の見方をすれば、ｚ位置の異なる複数フレームの二次元画像から構成される。

二次元画像の例を図３に示す。図３において、τ_ｐは、あるピクセルとこれに隣接する次のピクセルとの間の取得時間のずれ（ピクセル時間）である。すなわち、ピクセル時間τ_ｐは、１ピクセルのデータを取得するのに要する時間である。またτ_ｌは、あるラインの最初のピクセルとその次のラインの最初のピクセルとの間の取得時間のずれ（ライン時間）である。すなわち、ライン時間τ_ｌは、１ラインを走査するのに要する時間を意味する。

次式（１）は、二次元画像に対するＲＩＣＳの解析に使用する空間自己相関計算式を表している。式（１）は、チャンネル１の自己相関計算式の例である。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１１はチャンネル１のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数である。

また次式（２）は、二次元画像に対する使用するＲＩＣＳの解析に使用する空間相互相関計算式を表している。式（２）は、チャンネル１とチャンネル２の相互相関計算式の例である。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ_２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１２はチャンネル１とチャンネル２のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。

次式（３）は、二次元画像に対するＲＩＣＳの解析に使用するフィッティング式を表している。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値（空間自己相関値Ｇ_ｓａまたは空間相互相関値Ｇ_ｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δ_ｒはピクセルサイズ、Ｎは分子数、ξ，ψは測定点からの空間的座標の変化量、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間である。

三次元画像の例を図４に示す。図４において、τ_ｐはピクセル時間、τ_ｌはライン時間、τ_ｆは、あるフレームの最初のピクセルとその次のフレームの最初のピクセルとの間の取得時間のずれ（フレーム時間）である。すなわち、フレーム時間τ_ｆは、１フレームを走査するのに要する時間を意味する。

次式（４）は、三次元画像に対するＲＩＣＳの解析に使用する空間自己相関計算式を表している。式（４）は、チャンネル１の自己相関計算式の例である。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ_１１はチャンネル１のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数である。

また次式（５）は、三次元画像に対するＲＩＣＳの解析に使用する空間相互相関計算式を表している。式（５）は、チャンネル１とチャンネル２の相互相関計算式の例である。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ_２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ_１２はチャンネル１とチャンネル２中のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。

次式（６）は、三次元画像に対するＲＩＣＳの解析に使用するフィッティング式を表している。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値（空間自己相関値Ｇ_ｓａまたは空間相互相関値Ｇ_ｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δ_ｒはピクセルサイズ、Ｎは分子数、ξ，ψ，ηは空間的座標の変化量、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間、τ_ｆはフレーム時間である。

[測定手順]
以下、図５を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図６〜図１１を参照しながら説明する。

（ステップＳ１）
試料Ｓの観察領域の蛍光画像を取得する。観察領域は二次元の領域または三次元の領域あり、それに対応して蛍光画像は二次元画像または三次元画像である。蛍光画像の各ピクセルのデータは、たとえば、対応する測定点から発せられる蛍光の強度である。

（ステップＳ２）
観察領域の蛍光画像に対して解析領域を設定する。解析領域は、二次元の観察領域に対しては二次元の領域であり、三次元の観察領域に対しては、通常、三次元の領域であるが、二次元の領域であってもよい。解析領域は、観察領域の一部であってもよく、また観察領域に一致してもよい。たとえば、解析領域は、アプリケーション的にはデフォルトで観察領域に設定されている。

（ステップＳ３）
解析領域よりも小さいサブ解析領域を解析領域内に設定する。たとえば図６に示すように、二次元の解析領域Ｒａに対しては、サブ解析領域Ｒｓは二次元の領域である。また図７に示すように、三次元の解析領域Ｒａに対しては、領域のサブ解析領域Ｒｓは三次元の解析領域である。

（ステップＳ４）
サブ解析領域の移動量を設定する。サブ解析領域は、解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動される。サブ解析領域は、移動の初期位置として、解析領域の端に設定される。サブ解析領域は解析領域の範囲内で移動される。またサブ解析領域は１ピクセル以上の移動量で移動される。

サブ解析領域の移動は、たとえば図６の例では、左上の位置を初期位置として次のように行なう。まず、サブ解析領域Ｒｓを初期位置からｘ方向にｄｘの移動量で断続的に移動させる。このｘ方向の移動はサブ解析領域Ｒｓの右端が解析領域Ｒａの端に到達するまで続ける。ｘ方向に１ラインの移動が終了したら、そのラインの最初の位置に対してｙ方向にｄｙずれた位置にサブ解析領域Ｒｓを移動させる。その後、再び同様にしてサブ解析領域Ｒｓをｘ方向に１ライン分移動させる。以降、サブ解析領域Ｒｓのｘ方向の１ラインの移動が終了するたびに、サブ解析領域Ｒｓをｙ方向に移動させる。ｙ方向の移動はサブ解析領域Ｒｓの下端が解析領域Ｒａの端に到達するまで続ける。最後にサブ解析領域Ｒｓをｘ方向に１ライン分移動させて終了する。

また図７の例では、サブ解析領域Ｒｓの移動は、上述したｘｙ方向の移動が終了するたびに、サブ解析領域Ｒｓをｚ方向にｄｚ移動させて、上述したｘｙ方向の移動を繰り返し行なう。ｚ方向の移動はサブ解析領域Ｒｓの端が解析領域Ｒａの端に到達するまで続ける。最後にサブ解析領域Ｒｓをｘｙ方向に１フレーム分移動させて終了する。

（ステップＳ５〜Ｓ７）
解析領域の全体にわたりピクセル間隔をおいてサブ解析領域を断続的に移動させる。また、移動のたびにサブ解析領域について相関解析を行なう。すなわち、初期位置および各移動後のサブ解析領域について相関解析を行なう。

（ステップＳ５）
サブ解析領域内のピクセルのデータを使用して相関計算を行なう。二次元画像に対しては、空間自己相関値を計算する場合は式（１）の空間自己相関計算式を使用し、空間相互相関値を計算する場合は式（２）の空間相互相関計算式を使用する。また三次元画像に対しては、空間自己相関値を計算する場合は式（４）の空間自己相関計算式を使用し、空間相互相関値を計算する場合は式（５）の空間相互相関計算式を使用する。

相関計算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、ＲＩＣＳの解析によってどのような情報を得たいかによって決める。

また相関計算に使用するデータは、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値であってもよい。

また相関計算は、ピクセルのデータに基づいて画像をそれぞれ再構成し、再構成した画像について相関計算してもよい。たとえば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。

（ステップＳ６）
ステップＳ５の相関計算の結果に対してフィッティングを行なって、サブ解析領域の少なくとも分子数または拡散時間のいずれかを推定をする。二次元画像に対しては式（３）のフィッティング式を使用し、三次元画像に対しては式（６）のフィッティング式を使用する。

具体的には、式（１）と式（２）または式（３）と式（４）を使用して異なる遅延時間に対する自己相関値Ｇ_ｓａまたは相互相関値Ｇ_ｓｃをそれぞれ求める。そして、自己相関値Ｇ_ｓａまたは相互相関値Ｇ_ｓｃと遅延時間との関係から、式（３）または式（６）を使用して、拡散定数と分子数を求める。

式（３）および式（６）において、遅延時間がゼロのときはそれぞれ（ξ＝０，ψ＝０）および（ξ＝０，ψ＝０，η＝０）、Ｓは１であり、自己相関値Ｇ_ｓａまたは相互相関値Ｇ_ｓｃは１／Ｎで表せる。したがって、分子数を求めることができる。これを新たに、式（３）および式（６）に代入することにより、各遅延時間に対応した拡散定数を求めることができる。

未知数である拡散定数Ｄと分子数Ｎを変動させながら、測定値として得られる相関値Ｇ_ｓａまたは相関値Ｇ_ｓｃと理論値として得られるＧ_ｓとの差が最小となるように、適切な拡散定数Ｄと分子数Ｎを求める。このように、式（３）または式（６）によるフィッティングとは、拡散定数Ｄと分子数Ｎを変動させながら、二次元または三次元の観察領域における、最適な、分子数または拡散定数を推定することである。

拡散定数と拡散時間との間には、次式（７）で表される関係がある。したがって、求めた拡散定数から拡散時間を求めることができる。

（ステップＳ７）
サブ解析領域の位置が終了位置であるか判断する。サブ解析領域の位置が終了位置でない場合には、サブ解析領域を次の位置に移動させてステップＳ５に戻る。またサブ解析領域の位置が終了位置である場合には、次のステップＳ８に進む。

ステップＳ７が終了した時点で、サブ解析領域のそれぞれの位置における複数の分子数または拡散定数が得られる。

（ステップＳ８）
分子数または拡散定数をマッピングして分子数または拡散定数の画像を形成する。分子数または拡散定数の画像を図８に示す。

（ステップＳ９）
分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得る。拡張関数は、これに限らないが、たとえば、ガウシアン関数であってよい。拡張分子数または拡張拡散定数は分子数または拡散定数の分布であり、その分布範囲はサブ解析領域よりも広い範囲となるように選ばれる。また、拡張分子数または拡張拡散定数をマッピングして拡張分子数または拡張拡散定数の画像を形成する。拡張分子数または拡張拡散定数の画像を図９に示す。このように分子数または拡散定数に対して拡張計算を行なうことによって、図８の画像に比べて輝度変化の滑らかな画像が得られる。

たとえば、図６の例において、解析領域Ｒａの画像サイズを２５６ピクセル×２５６ピクセル、サブ解析領域Ｒｓの画像サイズを６４ピクセル×６４ピクセル、サブ解析領域Ｒｓの移動量ｄｘ，ｄｙをそれぞれｄｘ＝１ピクセル，ｄｙ＝１ピクセルとした場合、１９２×１９２の分子数または拡散定数が得られる。その結果、拡張分子数または拡張拡散定数の画像Ｉａの画像サイズは１９２ピクセル×１９２ピクセルであり、解析領域Ｒａの画像サイズである２５６ピクセル×２５６ピクセルよりも小さい。

拡張分子数または拡張拡散定数の画像Ｉａは、元の解析領域Ｒａの画像と比較検討することを考慮すると、両者の空間位置情報が一致していることが望ましい。すなわち、拡張分子数または拡張拡散定数の画像Ｉａは、画像サイズが元の解析領域Ｒａの画像と一致していることが望ましい。

（ステップＳ１０）
拡張分子数または拡張拡散定数の位置情報を重み係数として拡張分子数または拡張拡散定数の画像を解析領域と同じ画像サイズに変換する。

たとえば、図９の例では、拡張分子数または拡張拡散定数の画像Ｉａを、１９２×１９２の画像サイズから２５６×２５６の画像サイズに変更する。続く説明では、１９２×１９２の画像サイズの画像を変換前画像と呼び、２５６×２５６の画像サイズの画像を変換後画像と呼ぶ。変換前画像と変換後画像との間の座標データの変換を図１０に示す。

まず、図１０に示すように、変換前画像の座標の単位升目の四隅に位置するピクセルデータａ，ｂ，ｃ，ｄの座標をそれぞれａ（Ｘａ，Ｙａ），ｂ（Ｘｂ，Ｙｂ），ｃ（Ｘｃ，Ｙｃ），ｄ（Ｘｄ，Ｙｄ）とする。また、変換前画像の縦軸と変換後画像の横軸とが交差する点であって、ａ（Ｘａ，Ｙａ）とｂ（Ｘｂ，Ｙｂ）の間に位置する点の座標をｅ（Ｘｅ，Ｙｅ）、ｃ（Ｘｃ，Ｙｃ）とｄ（Ｘｄ，Ｙｄ）の間に位置する点の座標をｆ（Ｘｆ，Ｙｆ）とする。さらにａ（Ｘａ，Ｙａ），ｂ（Ｘｂ，Ｙｂ），ｃ（Ｘｃ，Ｙｃ），ｄ（Ｘｄ，Ｙｄ）によって囲まれる変換後画像の座標をｇ（Ｘｇ，Ｙｇ）とする。

ａとｂからｅ（Ｘｅ，Ｙｅ）のピクセルデータｅを算出する。ピクセルデータｅは、ｅ＝（ｂ（Ｙｂ−Ｙｅ）＋ａ（Ｙｅ−Ｙａ））／（Ｙｂ−Ｙａ）で求められる。また、ｃとｄからｆ（Ｘｆ，Ｙｆ）のピクセルデータｆを算出する。ピクセルデータｆは、ｆ＝（ｄ（Ｙｄ−Ｙｆ）＋ｃ（Ｙｆ−Ｙｃ））／（Ｙｄ−Ｙｃ）で求められる。

ｅとｆからｇ（Ｘｇ，Ｙｇ）のピクセルデータｇを算出する。ピクセルデータｇは、ｇ＝（ｅ（Ｘｅ−Ｘｇ）＋ｆ（Ｘｇ−Ｘｆ））／（Ｘｅ−Ｘｆ）で求められる。

この変換を変換前画像のすべてのピクセルデータに適用することにより、２５６×２５６の画像サイズの変換後画像が得られる。変換前画像と変換後画像を図１１に示す。

（ステップＳ１１）
分子数または拡散定数の画像または拡張分子数または拡張拡散定数の画像を表示し保存する。

１００…画像解析装置、１１０…光照射部、１１２ａ，…，１１２ｎ…光源、１１４ａ，…，１１４ｎ…コリメートレンズ、１１６ａ，…，１１６ｎ…ダイクロイックミラー、１２２…ダイクロイックミラー、１２４…ガルバノミラー、１２６…対物レンズ、１２８…対物レンズ駆動機構、１３０…光検出部、１３２…収束レンズ、１３４…ピンホール、１３６…コリメートレンズ、１３８ａ，…，１３８ｎ…ダイクロイックミラー、１４０ａ，…，１４０ｎ…蛍光フィルター、１４２ａ，…，１４２ｎ…光検出器、１６０…制御部、１６２…走査制御部、１６４…画像形成部、１６６…記憶部、１６８…表示部、１７０…入力部、１７２…解析領域設定部、１７４…サブ解析領域調整部、１７６…解析処理部、１８０…ステージ制御部、１９０…試料ステージ。

Claims

時系列的に取得された複数のデータをそれぞれ有する複数のピクセルから構成される観察領域の画像を取得する画像取得ステップと、
前記観察領域の画像に対して解析領域を設定する解析領域設定ステップと、
前記解析領域よりも小さいサブ解析領域を設定するサブ解析領域設定ステップと、
前記解析領域の全体にわたりピクセル間隔をおいて前記サブ解析領域を断続的に移動させる移動ステップと、
前記移動のたびに前記サブ解析領域内のピクセルのデータを使用して相関解析を行なって前記サブ解析領域の少なくとも分子数または拡散定数のいずれかを推定する相関解析ステップと、
前記分子数または拡散定数をマッピングして前記分子数または拡散定数の画像を形成する画像形成ステップとを有している画像解析方法。
前記観察領域の画像は二次元または三次元画像である請求項１に記載の画像解析方法。
前記移動ステップは、前記解析領域の範囲内で前記サブ解析領域を移動させる請求項１に記載の画像解析方法。
前記移動ステップは、１ピクセル以上の移動量で前記サブ解析領域を移動させる請求項１に記載の画像解析方法。
前記相関解析ステップは、蛍光強度、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値を使用して前記相関解析を行なう請求項１に記載の画像解析方法。
前記相関解析ステップは、前記データの平均値、最大値、最小値、相対差または絶対差のいずれかを使用して前記相関解析を行なう請求項１に記載の画像解析方法。
前記相関解析ステップは、前記データを再構成して得た再構成データを使用して前記相関解析を行なう請求項１に記載の画像解析方法。
前記相関解析ステップは、下記の式（１）または式（２）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（３）を用いてフィッティングを行なって二次元解析領域の前記分子数または拡散定数を推定する請求項１に記載の画像解析方法。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１１はチャンネル１のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数である。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ_２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１２はチャンネル１とチャンネル２のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δ_ｒはピクセルサイズ、Ｎは分子数、ξ，ψは測定点からの空間的座標の変化量、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間である。
前記相関解析ステップは、下記の式（４）または式（５）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（６）を用いてフィッティングを行なって三次元解析領域の前記分子数または拡散定数を推定する請求項１に記載の画像解析方法。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ_１１はチャンネル１のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数である。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ_２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ_１２はチャンネル１とチャンネル２中のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δ_ｒはピクセルサイズ、Ｎは分子数、ξ，ψ，ηは空間的座標の変化量、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間、τ_ｆはフレーム時間である。
前記分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得る拡張計算ステップと、
前記拡張分子数または拡張拡散定数をマッピングして前記拡張分子数または拡張拡散定数の画像を形成する拡張画像形成ステップとをさらに有している請求項１に記載の画像解析方法。
前記拡張分子数または拡張拡散定数の位置情報を重み係数として前記拡張分子数または拡張拡散定数の画像を前記解析領域と同じ画像サイズに変換する画像変換ステップをさらに有している請求項１０に記載の画像解析方法。
前記分子数または拡散定数の画像または前記拡張分子数または拡張拡散定数の画像を表示する表示ステップをさらに有している請求項１１に記載の画像解析方法。
時系列的に取得された複数のデータをそれぞれ有する複数のピクセルから構成される観察領域の画像を取得する画像取得部と、
前記観察領域の画像に対して解析領域を設定する解析領域設定部と、
前記解析領域よりも小さいサブ解析領域を設定するとともに、前記解析領域の全体にわたりピクセル間隔をおいて前記サブ解析領域を断続的に移動させるサブ解析領域調整部と、
前記移動のたびに前記サブ解析領域内のピクセルのデータを使用して相関解析を行なって前記サブ解析領域の少なくとも分子数または拡散定数のいずれかを推定するとともに、前記分子数または拡散定数をマッピングして前記分子数または拡散定数の画像を形成する解析処理部とを有している画像解析装置。
前記観察領域の画像は二次元または三次元画像である請求項１３に記載の画像解析装置。
前記サブ解析領域調整部は、前記解析領域の範囲内で前記サブ解析領域を移動させる請求項１３に記載の画像解析装置。
前記サブ解析領域調整部は、１ピクセル以上の移動量で前記サブ解析領域を移動させる請求項１３に記載の画像解析装置。
前記解析処理部は、蛍光強度、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値を使用して前記相関解析を行なう請求項１３に記載の画像解析装置。
前記解析処理部は、前記データの平均値、最大値、最小値、相対差または絶対差のいずれかを使用して前記相関解析を行なう請求項１３に記載の画像解析装置。
前記解析処理部は、前記データを再構成して得た再構成データを使用して前記相関解析を行なう請求項１３に記載の画像解析装置。
前記解析処理部は、下記の式（１）または式（２）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（３）を用いてフィッティングを行なって二次元解析領域の前記分子数または拡散定数を推定する請求項１３に記載の画像解析装置。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１１はチャンネル１のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数である。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ_２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１２はチャンネル１とチャンネル２のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δ_ｒはピクセルサイズ、Ｎは分子数、ξ，ψは測定点からの空間的座標の変化量、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間である。
前記解析処理部は、下記の式（４）または式（５）を用いて相関計算を行ない、前記相関計算の結果に対して下記の式（６）を用いてフィッティングを行なって三次元解析領域の前記分子数または拡散定数を推定する請求項１３に記載の画像解析装置。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ_１１はチャンネル１のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数である。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１の蛍光強度データ（ピクセルのデータ）、Ｉ_２はチャンネル２の蛍光強度データ（ピクセルのデータ）、ｘ，ｙ，ｚは測定点の空間的座標、ξ，ψ，ηは測定点からの空間的座標の変化量、Ｍ_１２はチャンネル１とチャンネル２中のデータの積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δ_ｒはピクセルサイズ、Ｎは分子数、ξ，ψ，ηは空間的座標の変化量、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間、τ_ｆはフレーム時間である。
前記解析処理部はさらに、前記分子数または拡散定数を二次元または三次元分布を有する拡張関数を用いて拡張計算して拡張分子数または拡張拡散定数を得るとともに、前記拡張分子数または拡張拡散定数をマッピングして前記拡張分子数または拡張拡散定数の画像を形成する請求項１３に記載の画像解析装置。
前記解析処理部はさらに、前記拡張分子数または拡張拡散定数の位置情報を重み係数として前記拡張分子数または拡張拡散定数の画像を前記解析領域と同じ画像サイズに変換する請求項２２に記載の画像解析装置。
前記分子数または拡散定数の画像または前記拡張分子数または拡張拡散定数の画像を表示する表示部をさらに有している請求項２３に記載の画像解析装置。