JP5928308B2

JP5928308B2 - 画像取得装置および画像取得方法

Info

Publication number: JP5928308B2
Application number: JP2012249208A
Authority: JP
Inventors: 木島　公一朗; 公一朗木島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-11-13
Filing date: 2012-11-13
Publication date: 2016-06-01
Anticipated expiration: 2032-11-13
Also published as: US9322782B2; CN103808702A; US20140131592A1; JP2014098575A

Description

本技術は、顕微鏡を用いて画像を取得する画像取得装置および画像取得方法に関する。

従来、例えば乳がんの治療等において、手術により摘出された組織切片が解析され、その解析結果をもとに手術後に患者に投与される薬剤が選択されるという方式が用いられている。

例えば手術により摘出された組織切片が、アボット社のＨＥＲ−２ＤＮＡプローブキットが用いられて蛍光染色される。組織切片に励起光が照射されると、ＨＥＲ２／ｎｅｕ遺伝子から赤色を呈する蛍光が発せられ、アルファサテライトＤＮＡ配列から緑色を呈する蛍光が発せられる。従ってＨＥＲ２／ｎｅｕ遺伝子は赤色を呈する輝点により標識され、アルファサテライトＤＮＡ配列は緑色を呈する輝点により標識される。

蛍光顕微鏡を用いた診断により赤色の輝点の数と緑色の輝点の数とがそれぞれ数えられる。そして緑色の輝点の数と比べて、赤色の輝点の数が２．２倍以上であれば、ＨＥＲ２陽性反応と判定される。この場合、ロシュ社のハーセプチンという分子標的薬剤が投与されることで、患者の手術後の予後が大幅に良くなると言われている。（非特許文献１参照）。

また、特許文献１には、生体サンプルの蛍光像から細胞を標識する輝点を検出する技術が記載されている。特許文献１に記載の生体サンプル像取得装置では、生体サンプルの対象とすべき部位が対物レンズにより拡大されて撮影される。その撮影の際に対物レンズの焦点を適宜移動させることで輝点の検出精度の向上が図られている。

特開２０１１−１０７６６９号公報

ＨＥＲ２検査ガイド、第３版、トラスツズマブ病理部会作成、２００９年９月、第１０頁＜ＦＩＳＨ法判定方法＞

上記したような蛍光顕微鏡を用いた診断等においては、光学系の焦点位置を適切に設定することが重要となる。例えばスライドガラス上に組織切片等の試料が配置され、封入剤を介してカバーガラスが載せられる。このようにして作成されたプレパラートが蛍光顕微鏡のステージ上にセットされる。この際、試料の厚さが一定でないこと、スライドガラスの厚さが一定でないこと、スライドガラスとステージとの間にゴミが挟まってしまうこと等の様々な理由により、ステージに載置されるプレパラートごとに焦点位置の調整が必要となる。

一方、蛍光顕微鏡で観察される像の解像度および輝点の輝度は、光学系の開口数（ＮＡ）が高いほど高くなる。従って開口数（ＮＡ）が高い光学系を用いた顕微鏡のほうが、上記の診断の正確性が高められる傾向にある。しかし、光学系の開口数（ＮＡ）を高くすると、焦点深度が狭くなってしまうので、焦点位置を見失いやすい。すなわち上記した焦点位置の調整が困難となる。

そこで、例えば焦点深度よりも小さい間隔で焦点位置を変えてその都度画像を撮影し、各撮影画像を分析することで焦点位置を探し出す方法が考えられる。しかし、この方法では多数の画像を撮影する必要があり、撮影枚数分の画像データを保存するための大容量のメモリが必要となる。また焦点位置を算出するために複数の画像データを参照しなければならず、多くの工数がかかり非効率である。以上のように、蛍光顕微鏡による撮影は非効率な面があり、その他、様々な面での改善が要求されている。

以上のような事情に鑑み、本技術の目的は、蛍光標識が付された生体サンプルを効率よく撮影することが可能となる画像取得装置および画像取得方法を提供することにある。

（１）上記目的を達成するため、本技術の一形態に係る画像取得装置は、生体サンプルの蛍光標識を発光させる励起光を発生する光源と、像が結像される撮像素子と、前記光源からの前記励起光を前記生体サンプルの、前記蛍光標識を含む少なくとも一部の領域に照射させ、当該領域の蛍光像を前記撮像素子に結像させる光学系と、前記光学系の焦点位置を当該光学系の光軸方向およびこの光軸に直交する方向に移動させる移動制御部と、前記光学系の焦点位置を移動させる間、前記撮像素子を連続的に露光させ、前記領域の長時間露光像を生成する生成部と、前記生成された長時間露光像の周波数解析を行い、少なくともこの解析結果を用いて前記蛍光標識の前記光軸方向での位置情報を算出する算出部とを具備する。

本技術では、長時間露光像の周波数解析を行い、少なくともこの解析結果に基づいて蛍光標識の光軸方向での位置情報を算出し、算出した位置情報に基づいて、診断用の蛍光像を撮影する。そのため、蛍光標識が付された生体サンプルを効率よく撮影することができる。

（２）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記算出部は、予め定められた直交する２方向および当該２方向とは異なる少なくとも１方向において、前記長時間露光像の周波数解析を行い、最大周波数成分が最も高い前記方向を判定し、この判定方向をもとに位置情報を算出する構成でもよい。

本技術では、少なくとも３方向で長時間露光像の周波数解析を行うので、精度よく最大周波数成分が最も高い方向を見つけることができる。

（３）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記算出部は、前記判定対象の方向と前記位置情報との相関情報を予め記憶し、この相関情報をもとに前記判定した方向から前記位置情報を算出する構成でもよい。

本技術では、判定対象の方向と位置情報との相関情報を予め記憶し、この相関情報をもとに処理を行うので、長時間露光像の撮影時に光学系の焦点位置の移動が等速ではない場合でも、適切に位置情報を算出することができる。

（４）上記目的を達成するため、本技術の一形態に係る画像取得装置では、前記算出部は、前記方向ごとに、前記長時間露光像を予め定めた画素数だけ移動させた移動画像を生成し、前記長時間露光像と個々の前記移動画像との相関を求め、相関が最も低い方向を判定する構成でもよい。

本技術では、画像の移動および例えば元画像との差分取得による相関係数の算出という簡単な処理のみで、相関が最も低い方向を定めることができる。

（５）上記目的を達成するため、本技術の一形態に係る画像取得方法は、生体サンプルの蛍光標識を発光させる励起光を発生させ、光学系が前記励起光を前記生体サンプルの、前記蛍光標識を含む少なくとも一部の領域に照射して当該領域の蛍光像を撮像素子に結像させ、前記光学系の焦点位置を当該光学系の光軸方向およびこの光軸に直交する方向に移動させ、前記光学系の焦点位置を移動させる間、前記撮像素子を連続的に露光させて前記領域の長時間露光像を生成し、前記生成された長時間露光像の周波数解析を行い、少なくともこの解析結果を用いて前記蛍光標識の前記光軸方向での位置情報を算出する。

以上のように、本技術によれば、蛍光標識が付された生体サンプルを効率よく撮影することが可能となる。

本技術の一実施形態に係る画像取得装置を示す模式図である。ステージ１１に載置される生体サンプルを側面方向から示した図である。データ処理部２０のハードウェアの構成を示すブロック図である。本実施形態に係る生体サンプル像取得処理のための機能ブロック図である。画像取得装置による撮像対象の領域を示す図である。ステージ１１が移動した場合の光学系の焦点位置の移動を示す模式的な図である。ステージ１１が移動した場合の光学系の焦点位置の移動を示す模式的な図である。露光時のステージ１１移動による焦点位置変化による撮像素子１４に撮像される像の形状と位置の経時変化を示す図である。本実施形態に係る焦点位置の移動範囲について詳しく説明するための模式的な図である。本実施形態に係る焦点位置の移動範囲について詳しく説明するための模式的な図である。分割撮影範囲のそれぞれにおいて撮影されたサンプル部位の蛍光像を示す模式的な図である。本実施形態の実施例として撮影された写真であり、図９に示すそれぞれの蛍光像に相当するものである。分布情報算出部による算出処理の一例を示すフローチャートである。本実施形態の開始位置から合焦像までの角度θを算出する処理の一例を示す図である。本実施形態に係る複数の蛍光マーカの分布情報の一例を示すグラフである。本実施形態に係る複数の蛍光マーカの分布情報の一例を示すグラフである。本実施形態に係る複数の蛍光マーカの分布情報の一例を示すグラフである。スライドガラスとステージとの間にゴミ等が挟まってしまう状態を示す模式図である。分布情報算出部による算出処理の変形例を示すフローチャートである。本技術における、予備撮影と、第１の実施形態による解析と、第２の実施形態による解析と、本撮影との関係を含んだ全体の処理の流れを示すフローチャートである。周波数成分を求める方向として、蛍光像の水平方向であるｘ軸方向、垂直方向であるｙ軸方向、４５度傾斜した方向Ａの３方向を定めた図である。輝点の軌跡の最も明るく直線に近い部分ＢＬが、２種類の方向に現れている様子を示す図である。ずらす前の元画像となる蛍光像を示す図である。元画像と一定画素数分だけ左方向にずらした画像との相関を求める様子を示す図である。元画像と一定画素数分だけ左下方向にずらした画像との相関を求める様子を示す図である。元画像と一定画素数分だけ下方向にずらした画像との相関を求める様子を示す図である。元画像と一定画素数分だけ右下方向にずらした画像との相関を求める様子を示す図である。元画像と一定画素数分だけ右方向にずらした画像との相関を求める様子を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

本技術は、蛍光顕微鏡により、生体から採取した組織を蛍光マーカにより染色して用意されたプレパラート（以下、生体サンプルＳＰＬという）の蛍光像を撮像する際、自動的に適切な位置に焦点を合わせるためのものである。

以下の説明では、生体サンプルＳＰＬ内の蛍光マーカの輝点に適切に焦点を合わせて、診断を行うための蛍光像を撮像することを「本撮影」と呼び、本撮影のために、本撮影に先立って行われる、適切な焦点位置を割り出すための焦点位置調整用の蛍光像の撮像を「予備撮影」と呼ぶ。本技術は、予備撮影に関するものである。なお、本撮影は通常の蛍光顕微鏡における撮影そのままなので、説明は省略する。

なお、本技術を蛍光顕微鏡による予備撮影に適用する場合、どのように生体から採取した組織であるかによって、適用方法が一部異なる。例えば、血液検査や尿検査によって採取された検体であれば、完成した生体サンプルＳＰＬを撮影すると、一度の撮影において撮影される細胞や細胞内の蛍光染色による輝点の密度は低く、その数は、数個から百個程度とまばらである。

それに対して、手術切片として得られた臓器などの検体から作られた生体サンプルＳＰＬでは、細胞密度が高く、一度の撮影により撮影される輝点の数は、数百個以上となる。そのため、細胞核を蛍光染色した場合に、その１個１個を区別して観察することは容易ではない。

以下の説明では、第１の実施形態において、細胞密度が低く輝点の数が少ない生体サンプルＳＰＬを撮像する場合に特化した本技術の適用について詳述し、第２の実施形態において、細胞密度が低い状態と、細胞密度が高い状態とを含んだ本技術の適用について説明する。

なお、以下の説明では、細胞密度が低い場合は輝点の密度も低く、細胞密度が高い場合は輝点の密度も高いことを前提としている。もし細胞密度が高くても輝点の密度が低い場合は、細胞密度が低い場合を想定した第１の実施形態の方法に沿って本撮影を行えばよい。

＜第１の実施形態＞
第１の実施形態では、蛍光顕微鏡により撮像する生体サンプルＳＰＬ内の細胞密度が低く、その細胞を蛍光標識により染色して得られる蛍光像の輝点１個１個が明確に区別して識別できる状態を想定している。それ故、第１の実施形態における本技術の特徴は、蛍光像の輝点の１個１個を区別して識別し、それぞれの輝点の形状を分析することである。

［画像取得装置の構成について］
最初に、本実施形態において予備撮影および本撮影を行う画像取得装置の構成について説明する。図１は、本技術の一実施形態に係る画像取得装置を示す模式図である。同図に示すように、本実施形態における画像取得装置１００は、顕微鏡１０と、データ処理部２０とを有する。以下では、顕微鏡１０およびデータ処理部２０の構成の詳細について説明する。

［顕微鏡１０の構成について］
顕微鏡１０は、ステージ１１、光学系１２、光源１３及び撮像素子１４を有する。ステージ１１は、例えば組織切片、細胞、染色体等の生体高分子等の生体サンプルＳＰＬを載置可能な載置面を有し、当該載置面に対してその平行方向（ｘ−ｙ平面方向）及び垂直方向（ｚ軸方向）へ移動可能とされている。

載置面の垂直方向（ｚ軸方向）は、生体サンプルＳＰＬの厚さ方向に相当する。載置面の平行方向（ｘ−ｙ平面方向）は、上記厚さ方向に垂直な面方向に相当する。

ステージ１１の上方には光学系１２が配置される。光学系１２は、対物レンズ１２Ａ、結像レンズ１２Ｂ、ダイクロイックミラー１２Ｃ、エミッションフィルタ１２Ｄ及び励起フィルタ１２Ｅを有する。光源１３は、例えば水銀ランプ等の電球やＬＥＤ（Light Emitting Diode）など、蛍光標識が付された生体サンプルＳＰＬに当該蛍光標識に対する励起光を照射するものである。

励起フィルタ１２Ｅは、生体サンプルＳＰＬの蛍光像を得る場合に、光源１３から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１２Ａへ導く。対物レンズ１２Ａは、当該励起光を生体サンプルＳＰＬへ集光する。そして対物レンズ１２Ａ及び結像レンズ１２Ｂは、生体サンプルＳＰＬの像を所定の倍率に拡大し、当該拡大像を撮像素子１４の撮像面に結像させる。

生体サンプルＳＰＬに励起光が照射されると、生体サンプルＳＰＬの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１２Ａを介してダイクロイックミラー１２Ｃを透過し、エミッションフィルタ１２Ｄを介して結像レンズ１２Ｂへ到達する。エミッションフィルタ１２Ｄは、上記対物レンズ１２Ａによって拡大された、励起フィルタ１２Eを透過した光を吸収し発色光の一部のみが透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１２Ｂにより拡大され、撮像素子１４上に結像される。

撮像素子１４としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が用いられる。撮像素子１４は、ＲＧＢ(Red、Green、Blue)の色別に光を受けて電気信号に変換する光電変換素子を有し、入射光からカラー画像を得るカラーイメージャである。

［ステージ１１に載置する生体サンプルＳＰＬと輝点について］
図２は、上記ステージ１１に載置される生体サンプルＳＰＬ（プレパラート）をステージ１１の側面方向から示した図である。同図に示すように、生体サンプルＳＰＬは、Ｚ方向に例えば数μｍから数十μｍの厚さを有し、スライドガラスＳＧ及びカバーガラスＣＧに挟まれて所定の固定手法により固定されている。スライドガラスＳＧの厚さは例えば約１ｍｍである。カバーガラスＣＧの厚さは例えば約０．１５〜０．１７ｍｍである。

生体サンプルＳＰＬは蛍光染色剤によって染色されている。蛍光染色剤は同一の光源から照射される励起光によって蛍光を発する染色剤である。蛍光染色剤としては、例えば、ＤＡＰＩ（4',6-diamidino-2-phenylindole）、ＳｐＡｑｕａ、ＳｐＧｒｅｅｎなどを挙げることができる。

生体サンプルＳＰＬが染色されることにより、生体サンプルＳＰＬのターゲットとなる生体組織５０に蛍光標識が付されることになる。蛍光標識に対して所定の励起光が照射されると、蛍光標識から所定の蛍光が発せられる。従って生体サンプルＳＰＬが撮影されて蛍光像が生成された場合、ターゲットの生体組織５０は所定の色を呈する輝点（以下、「蛍光マーカ５５」という）により標識される。

［データ処理部の構成について］
データ処理部２０は、光源１３を駆動させ、撮像素子１４を用いて生体サンプルＳＰＬの蛍光像を取得し、これをサンプルデータとして保存する。

図３は、データ処理部２０のハードウェアの構成を示すブロック図である。データ処理部２０は、例えばＰＣ（Personal Computer）等のコンピュータにより構成される。データ処理部２０は、撮像素子１４より取得した生体サンプルＳＰＬの蛍光像を、例えばＪＰＥＧ（Joint Photographic Experts Group）等の任意形式のデジタル画像データとして保存する。

同図に示すようにデータ処理部２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作入力部２４、インターフェイス部２５、表示部２６及び記憶部２７を有し、これら各ブロックがバス２８を介して接続されている。

ＲＯＭ２２は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。ＲＡＭ２３は、ＣＰＵ２１の作業用領域として用いられ、ＯＳ（Operating System）、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

記憶部２７は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部２７には、ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部２７には、撮像素子１４から取り込まれた蛍光画像データや、蛍光画像データを画像処理する画像処理アプリケーションも記憶される。

インターフェイス部２５は、顕微鏡１０のステージ１１、光源１３及び撮像素子１４をそれぞれ駆動するコントロール基板（ステージ駆動部１５、光源駆動部１６、撮像制御部１７）とそれぞれ接続され、所定の通信規格により当該コントロール基板とデータ処理部２０との間で信号のやり取りを行う。

ＣＰＵ２１は、ＲＯＭ２２や記憶部２７に格納された複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、当該展開されたプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。

操作入力部２４は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。

表示部２６は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等である。当該表示部２６は、データ処理部２０に内蔵されていてもよいし、データ処理部２０に外部接続されていてもよい。

［生体サンプル像取得処理（予備撮影）の概要について］
本実施形態では、本撮影用の焦点位置を割り出すために、予備撮影において、生体サンプルＳＰＬのうち撮像対象となる部分の厚さの範囲を含む撮影範囲で、光学系１２の焦点位置が移動される。焦点位置が移動する間、撮像素子１４が露光されることで生体サンプルＳＰＬの予備撮影蛍光像が取得される。この予備撮影蛍光像をもとに撮像対象の厚さ方向における蛍光標識の分布情報が算出される。蛍光標識の分布情報は、蛍光マーカ５５により標識されるターゲットの生体組織５０の分布情報に相当する。

算出された分布情報をもとに、例えば蛍光マーカ５５を適切に撮影するための焦点位置を容易に算出すること等が可能となる。この結果、蛍光マーカ５５が付された生体サンプルＳＰＬを効率よく撮影することが可能となる。以下、詳しく説明する。

［生体サンプル像取得処理（予備撮影）の機能ブロックについて］
データ処理部２０のＣＰＵ２１はＲＯＭ２２や記憶部２７に格納された複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開する。ＣＰＵ２１は、この展開されたプログラム（画像取得プログラム）に基づいて生体サンプル像取得処理を実行する。

図４はこの生体サンプル像取得処理のための機能ブロック図である。データ処理部２０は、ステージ制御部３１（移動制御部）、画像取得部３２（生成部）、分布情報算出部３３（算出部）、データ記録部３４、データ記憶部３５、光源制御部３６を備えている。

ステージ制御部３１は、生体サンプルＳＰＬの撮像対象とすべき部位（以下、これをサンプル部位とも呼ぶ）が撮像範囲に位置するようステージ１１を順次移動させて、例えば図５に示すように、該撮像範囲ＡＲに対して生体サンプルＳＰＬを割り当てる。なお、図５では、撮像範囲ＡＲに割り当てるべき生体サンプルＳＰＬの領域が重ならない態様となっているが、隣接する領域の一部が重なる態様であってもよい。

また、ステージ制御部３１は、焦点位置調整用の蛍光像を撮像するために、撮像素子１４を露光させながら、ステージ１１をｘ軸方向、ｙ軸方向、ｚ軸方向に同時に統合的に移動させる。この統合的な移動方法については、後述する。

画像取得部３２は、ステージ１１の移動により、対象とすべきサンプル部位が撮像範囲ＡＲに移動するごとに、焦点位置調整用の蛍光画像を撮像するために撮像素子１４を露光させるように撮像制御部１７に指令を送る。

画像取得部３２は、１枚の焦点位置調整用の蛍光像の撮像が終了する毎に、サンプル部位の焦点位置調整用の蛍光像を撮像制御部１７を介して撮像素子１４から取得する。そして画像取得部３２は、各撮像範囲ＡＲに割り当てられるサンプル部位の像を、所定の連結アルゴリズムを用いて連結することによって全体の生体サンプル像を生成する。

分布情報算出部３３は、画像取得部３２により取得された生体サンプルＳＰＬの焦点位置調整用の蛍光像をもとに、サンプル部位の厚さ方向における蛍光マーカ５５の分布情報を算出する。

データ記録部３４は、画像取得部３２により生成されたサンプル部位毎の生体サンプル像を連結して１つの生体サンプル画像を生成し、ＪＰＥＧ（Joint Photographic Experts Group）など所定の圧縮形式のサンプルデータに符号化してデータ記憶部３５に記録する。この処理は分布情報算出部３３による分布情報の算出の前に行われてもよい。

またデータ記録部３４は、分布情報算出部３３により算出された分布情報を受けて、そのデータをデータ記憶部３５にサンプルデータと関連付けて記録する。

データ記憶部３５には、例えば分布情報算出部３３による蛍光マーカ５５の測定結果データ（蛍光マーカの面積、数、種類等）、生体サンプルＳＰＬの採取者名、採取者性別、採取者年齢及び採取日付などの情報が記録されてもよい。

以上、生体サンプル像取得処理のための機能ブロック図について説明した。

［ステージ１１の移動について］
ここで、２種類あるステージ１１の移動についてまとめる。１種類目のステージ１１の移動は、ｘ−ｙ平面内において生体サンプルＳＰＬ上の各区画を順に予備撮影するために、ステージ１１をｘ軸方向またはｙ軸方向に順送りする移動である。これは、図５に示すものである。

そして、２種類目のステージ１１の移動は、１種類目の移動が行われて生体サンプルＳＰＬの新たな区画が撮像範囲に置かれる毎に行われるものである。２種類目のステージ１１の移動は、焦点位置調整用の蛍光像を撮像するために、撮像素子１４を露光させながら行う、ステージ１１のｘ軸方向、ｙ軸方向、ｚ軸方向での統合的な移動である。以下では、この２種類目のステージ１１移動を伴う焦点位置調整用の蛍光像を撮像する方法について説明する。

［焦点位置調整用の蛍光画像の撮像方法について］
１種類目のステージ１１移動毎に行われる焦点位置調整用の蛍光像の撮像では、ステージ制御部３１によるステージ１１の移動と、画像取得部３２による撮像素子１４の露光とが同期して行われる。

ステージ制御部３１は、ステージ１１をｘ−ｙ平面方向およびｚ軸方向に移動させることにより、サンプル部位に対する光学系の焦点位置を移動させる。本実施形態ではステージ１１の移動が制御されることで、サンプル部位の厚さ方向（ｚ軸方向（対物レンズ１２Ａの光軸方向）に焦点が移動するとともに、当該厚さ方向に垂直な面方向（ｘ−ｙ平面方向）に焦点が移動する。

具体的な例として、ステージ制御部３１は、ステージ１１の位置を次式に従って移動させる。

式（１）及び式（２）に示すように、ステージ１１は、ｘ−ｙ平面上において座標（ｘ₀，ｙ₀）を中心とした半径Ｒの円に沿って等速で移動させられる。中心座標（ｘ₀，ｙ₀）の位置及び半径Ｒの大きさは、撮像範囲ＡＲが撮影可能であるのなら任意に設定されてよい。

しかし半径Ｒの大きさが小さすぎると、後述する合焦点の輝点像とぼけた輝点像が画像上で分離できなくなるので、半径Ｒは合焦時の輝点像の大きさよりも十分大きい必要がある。すなわち、具体的には、ＮＡを０．８とした場合においては、緑色の焦点像の大きさは０．３μｍ程度となるので、半径Ｒはその輝点像よりも十分大きい値、例えば２〜３μｍよりも大きい数値とすることが望ましい。

式（１）及び（２）中のｔ_exは露光時間を示す。すなわちステージ１１は、撮像素子１４が露光されている間、円移動する。言い換えれば、本実施形態では、ステージ１１が円移動している間、撮像素子１４が露光される。

式（３）に示すように、ステージ１１は、ｚ軸方向に沿っても移動させられる。ステージ１１は、撮像素子１４の露光時間に合わせて移動開始位置であるｚ_startから、移動終了位置であるｚ_endまで等速で移動される。

そして、画像取得部３２は、焦点位置調整用の蛍光像の撮像のためにステージ１１の移動が開始された時点からステージ１１の移動が終了する時点までの間、撮像素子１４を露光させるように撮像制御部１７に指令を送る。

図６Ａおよび図６Ｂは、ステージ１１が移動させられた場合の光学系の焦点位置の移動を示す模式的な図である。図に示すように、焦点位置を含む焦点面ＦＰは、ｚ軸方向に沿ってｚ_startからｚ_endまで移動させられる。それとともに、ｘ−ｙ平面上では中心座標（ｘ₀，ｙ₀）を中心として円移動させられる。

ステージ１１の移動方法についてさらに詳しく述べる。

図７は、露光時のステージ１１移動による焦点位置変化による撮像素子１４に撮像される像の形状と位置の経時変化を示す図である。像の位置変化は軌跡４１として示す。

図に示すように、ステージ制御部３１は、ステージ１１をｚ軸方向に図上、下から上へ等速で移動させ、これと同時にｘｙ平面を等速で円移動させる。露光開始から露光終了の間、特定の遺伝子に結合した蛍光マーカ５５に対して対物レンズ１２Ａの焦点が合っていない状態から、焦点があった状態となり、再び焦点が合っていない状態へと変化していく。

詳細には、露光開始位置では、撮像素子１４には、蛍光マーカから発光される円形状のぼやけた発色光の像（Defocused image）４０が撮像される。

そして、露光時間が経過していくにつれ徐々に焦点があっていき、露光開始位置における像のｚ軸座標をｚstart、露光終了位置における像のｚ軸座標をｚendとし、露光時間をｔexとしたとき、像のｚ軸座標が（ｚend+ｚstart）／２、露光時間がｔex／２となるときに、焦点があった像（Focused image）４２が撮像素子１４に撮像される。焦点が合った状態では、蛍光マーカから発光される円形状の発色光の像は小さくなり、エッジが明確になり、輝度が高くなっている。

更に露光時間が経過すると再び焦点がぼやけた像となり、露光終了位置では、撮像素子１４には、蛍光マーカから発光される円形状のぼやけた発色光の像（Defocused image）４３が撮像される。

このように、撮像素子１４上では、像４０から像４３までが連続して露光され、１つの半円形の像が撮像される

以上、焦点位置調整用の蛍光像を撮像する方法について説明した。

［焦点位置調整用の蛍光像の撮像のｚ軸方向での繰り返しについて］
焦点位置調整用の蛍光像の撮像では、上記のように、ｚ軸方向の焦点位置をｚ_startから、移動終了位置であるｚ_endまで移動させるが、一度のｚ軸方向の移動により、ｚ軸方向の全ての撮像範囲をカバー出来るとは限らない。そのため、ｚ軸方向の撮影範囲を複数に分け、複数回、焦点位置調整用の蛍光像の撮像を行う。

図８Ａおよび図８Ｂは、本実施形態に係る焦点位置の移動範囲について詳しく説明するための模式的な図である。図に示すように、本実施形態では、サンプル部位の厚さの範囲Ｔを少なくとも含む撮影範囲Ｌをｚ軸方向に分割する複数の分割撮影範囲（Ｚｓｃａｎ＿１〜３）が設定される。これらの分割撮影範囲のそれぞれにおいて、上記の焦点位置調整用の蛍光像の撮像が行われる。すなわち、それぞれの分割撮影範囲において、ｚ_start（１〜３）とｚ_end（１〜３）とが設定される（図８Ｂ参照）。

分割撮影範囲のｚ軸方向における大きさは、例えば２０μｍ〜５０μｍである。しかしながらこの数値に限定されない。また分割撮影範囲の数も限定されない。またサンプル部位の厚さの範囲Ｔを少なくとも含む撮影範囲Ｌの大きさも限定されない。

撮像範囲ＡＲに対して所定のサンプル部位が割り当てられた状態で、複数の分割撮影範囲のそれぞれにて焦点位置が移動させられる。そして分割撮影範囲ごとに焦点位置調整用の蛍光像が取得される。本実施形態では、ｚ軸方向に３分割しているので、所定のサンプル部位に対して３つの焦点位置調整用の蛍光像が取得されることになる。

例えば所定のサンプル部位が割り当てられた状態で連続して３つの蛍光像を撮影してもよい。あるいは、１つの分割撮影範囲を用いて生体サンプルＳＰＬの全体の撮影を行なった後、他の分割撮影範囲での撮影を実行してもよい。

［焦点位置調整用の蛍光像の具体例］
図９は、複数の分割撮影範囲（Ｚｓｃａｎ＿１〜３）のそれぞれにおいて撮影されたサンプル部位の蛍光像を示す模式的な図である。また、図１０は、本実施形態の実施例として撮影された写真であり、図９に示すそれぞれの蛍光像に相当するものである。これらの写真は、撮影条件として、円軌道の半径Ｒが１５μｍ、ｚ軸方向の移動量（ｚ_end−ｚ_start）が２０μｍ、撮像素子１４の露光時間が１ｓｅｃの条件で撮影された蛍光像である。その他、ガンマ値等の撮影条件も適宜調整されている。

分割撮影範囲Ｚｓｃａｎ＿１及び３は、ｚ軸方向において蛍光マーカ５５を含まない撮影範囲である。従ってこの範囲で撮影された蛍光像であるｉｍａｇｅ＿Ｚｓｃａｎ１及び３では、蛍光マーカ５５の像は非常にぼやけてしまっている（それぞれの図の、Ｚｓｃａｎ＿１の場合とＺｓｃａｎ＿３の場合）。

一方、分割撮影範囲Ｚｓｃａｎ＿２にて撮像された蛍光像であるｉｍａｇｅ＿Ｚｓｃａｎ２では、蛍光マーカ５５の存在する位置を含んだ範囲で焦点位置が移動される。従って撮影されたｉｍａｇｅ＿Ｚｓｃａｎ２では、それぞれの図のＺｓｃａｎ＿２の場合に示すように、焦点位置の移動にともなって蛍光マーカ５５の焦点が合った軌跡の像が写されている。

［蛍光マーカ５５の分布情報を算出する処理について］
次に、蛍光マーカ５５の分布情報を算出する処理について説明する。

複数の分割撮影範囲（Ｚｓｃａｎ＿１〜３）のそれぞれにおいて撮影された複数の蛍光像をもとに、サンプル部位の厚さ方向における蛍光マーカ５５の分布情報が算出される。算出は、上記のとおり、分布情報算出部３３が行う。

図１１は、分布情報算出部３３による算出処理の一例を示すフローチャートである。

まず、分布情報算出部３３が、分割撮影範囲Ｚｓｃａｎ＿１〜３のそれぞれにおいて撮影された複数の蛍光像に対して周波数解析を実行する（ステップ１０１）。

これにより、複数の蛍光像（ｉｍａｇｅ＿Ｚｓｃａｎ１〜３）のそれぞれ空間周波数が算出される。

次に、分布情報算出部３３が、各蛍光像の最大周波数成分を比較し、最大周波数成分が最も高い蛍光像を選択する（ステップ１０２）。

蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ１及び３では蛍光マーカ５５の像がぼやけている一方、蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２には焦点の合った蛍光マーカ５５の軌跡の像が写されている。従って、ステップ１０２において、最大周波数成分が最も高い蛍光像として蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２が選択される。

次に、分布情報算出部３３が、最大周波数成分が最も高い蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２について、蛍光マーカ５５の軌跡の像を解析する（ステップ１０３）。

すなわち本実施形態では、このステップにおいて、蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２の蛍光マーカ５５の数や形状が解析される。この解析を、以下では蛍光マーカの形状解析と呼ぶ。形状解析により、蛍光マーカ形状の露光開始位置ｚ_startから合焦像６０までの角度θが求められる。詳細は後述する。

最後に、分布情報算出部３３が、複数の蛍光マーカ５５のそれぞれについて算出された露光開始位置ｚ_startから合焦像６０までの角度θをもとに、サンプル部位の厚さ方向における蛍光マーカ５５の分布情報を算出する（ステップ１０４）。

すなわち本実施形態では、蛍光マーカ５５ごとにｚ軸方向での位置情報が算出されるので、複数の蛍光マーカ５５の分布情報が算出可能となる。

以上、蛍光マーカ５５の分布情報の算出方法について説明した。

［蛍光マーカの形状解析とマーカ色について］
ここでは、蛍光マーカ５５の分布情報算出の際に行われる蛍光マーカの形状解析でのマーカ色について説明する。

分布情報算出部３３は、画像取得部３２により取得された蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２から、ターゲットとされる生体組織５０を標識する蛍光マーカ５５（以下「標的マーカ」とも呼ぶ。また蛍光マーカ５５ａと記載する）を検出する。

分布情報算出部３３には、例えば、設定情報として、標的マーカが呈する色（以下「標的マーカ色」と呼ぶ。）と、細胞核を標識する蛍光マーカ５５（以下「核マーカ」と呼ぶ。）が呈する色（以下「核マーカ色」と呼ぶ。）とが設定される。

また、対照とすべき遺伝子を標識する蛍光マーカ５５（以下「対照マーカ」と呼ぶ。また蛍光マーカ５５ｂと記載する）が用いられている場合、該対照とすべき遺伝子が正常の細胞核内に存在する数も分布情報算出部３３に設定される。またこの場合、対照遺伝子を標識する蛍光マーカが呈する色（以下「対照マーカ色」と呼ぶ。）も設定される。

これら設定情報は、蛍光染色に使用すべきプローブの製造元や、蛍光マーカの種などの使用条件によって一義的に決まる。具体的には、例えばアボット社のＨＥＲ−２ＤＮＡプローブキットの場合、ＨＥＲ２遺伝子の標的マーカ色は「赤」として設定され、核マーカ色は「青」として設定される。またこの場合、染色体上のＨＥＲ２遺伝子の隣に位置する遺伝子が対照遺伝子とされ、該対照遺伝子の対照マーカ色は「緑」として設定される。

分布情報算出部３３は、設定された各マーカ色を呈し、かつ閾値以上の輝度を検出することで、蛍光マーカ５５の形状（面積）や数等を検出する。そして、当該蛍光マーカ５５の形状を解析することで、複数の蛍光マーカ５５の分布情報が算出される。

［蛍光マーカ形状解析（具体例）について］
ここでは、蛍光マーカ５５の分布情報算出の際に行われる蛍光マーカの形状解析の具体例について説明する。

図９のＺｓｃａｎ＿２の場合には、例として２つの蛍光マーカ５５ａ及び５５ｂを上記の方法により撮像した軌跡が図示されている。上記したように光学系１２の焦点位置が移動される間、撮像素子１４が露光されることで蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２が撮像される。

ステージ１１の面方向であるｘ−ｙ平面において焦点位置は円移動されるので、蛍光マーカ５５ａ及び５５ｂは円Ｏに沿って移動する。すなわち焦点移動の開始位置ｚ_startから終了位置ｚ_endまで蛍光マーカ５５ａ及び５５ｂの軌跡は半円を描く（ここでは露光時間の間焦点位置が半円上を移動する場合が図示されている）。

光学系１２の焦点位置は、ｚ軸方向にも上方に向けて分割撮影範囲Ｚｓｃａｎ＿２の範囲で移動される。その移動の間のいずれかの焦点位置で、蛍光マーカ５５ａ及び５５ｂのそれぞれに対する焦点が最も合うことになる。最も焦点が合っている状態では、蛍光マーカ５５ａ及び５５ｂの像の面積は最も小さくなり、輝度が最も高くなる。この面積が最も小さい像を合焦像６０と記載する。

本実施形態では、分布情報算出部３３が、開始位置ｚ_startから合焦像６０までの角度θを算出し、この角度θをもとにサンプル部位の厚さ方向における蛍光マーカ５５の分布情報を算出する。角度θの算出方法の例は、後述する。

例えば図９のＺｓｃａｎ＿２の場合に示す蛍光マーカ５５ｂでは、半円を描く蛍光マーカ５５ｂの軌跡の中間位置に合焦像６０が存在するので、角度θは約９０度となる。この場合、焦点位置が分割撮影範囲Ｚｓｃａｎ＿２の中間に移動したときに最も焦点が合っていることになる。従って蛍光マーカ５５ｂが、分割撮影範囲Ｚｓｃａｎ＿２の中間に位置していることが分かる。

もう一方の蛍光マーカ５５ａを見ると、半円を描く蛍光マーカ５５ａの軌跡の中間位置から終了位置ｚ_endに近い位置に合焦像６０が存在する。角度θは約１３５度となる。この場合、焦点位置が分割撮影範囲Ｚｓｃａｎ＿２の中間をこえて上部に移動したときに最も焦点が合っていることになる。従って蛍光マーカ５５ａは、分割撮影範囲Ｚｓｃａｎ＿２の上部側に位置していることが分かる。

つまり、露光開始位置ｚ_startから合焦像６０までの角度θが小さいほど、蛍光マーカ５５は、開始位置ｚ_startに近い位置に存在することになる。すなわち蛍光マーカ５５は、生体サンプルＳＰＬ内のステージ１１に近い側に位置することになる。

一方、露光開始位置ｚ_startから合焦像６０までの角度θが大きいほど、蛍光マーカ５５は、終了位置ｚ_endに近い位置に存在することになる。すなわち蛍光マーカ５５は、生体サンプルＳＰＬ内のステージ１１から離れた側に位置することになる。

なお、上記の説明では、ｚ軸方向およびｘｙ平面内でのステージ１１の移動が等速で行われることを前提に説明した。しかし、ｚ軸方向およびｘｙ平面内でのステージ１１の移動は、等速でなくても構わない。但しその場合は、ｘｙ平面内でのステージ１１の移動量すなわち角度θと、ｚ軸方向でのステージ１１の移動量との、１対１対応の相関情報が予め定められ、記憶されていなければならない。

以上、蛍光マーカの形状解析の具体例について説明した。

［露光開始位置ｚ_startから合焦像６０までの角度θの算出について］
ここでは、蛍光マーカ５５の分布情報算出の際に行われる角度θの算出方法の具体例について説明する。

図１２は、本実施形態の露光開始位置ｚ_startから合焦像６０までの角度θを算出する処理の一例を示す図である。

まず、分布情報算出部３３は、焦点位置調整用の蛍光像７０から解析対象となる蛍光マーカ５５の像をトリミング処理により切り取る（ステップ２０１）。

切り取られたトリミング画像７５は、理論的な画像とマッチング処理される。図に示すように、本実施形態では、理論的な画像のファイルが予め記憶部２７等に記憶されている。このファイルには、０度から３５９度までの角度にそれぞれ紐付けられた複数の理論的な画像８０が格納されている。本実施形態では、紐付けられた角度の大きさがその理論的な画像８０の識別番号となっている。

理論的な画像８０を予め作成するための、波長、開口数、倍率、画素ピッチ等は適宜設定されてよい。またどの角度を０度として設定するか、また何度ごとに理論的な画像を準備するか等も適宜設定可能である。例えば１度ごとに理論的な画像８０を準備する場合、３６０枚の理論的な画像８０が作成されることになる。

次に、分布情報算出部３３は、これら複数の理論的な画像８０と、トリミング画像７５との相関係数を計算する（ステップ２０２）。

そして、分布情報算出部３３は、最も相関係数が高い理論的な画像８０の識別番号を算出する（ステップ２０３、図１１のグラフ参照）。

最後に、分布情報算出部３３は、撮影画像７０の複数の蛍光マーカ５５について、最も相関係数が高くなる理論的な画像８０の識別番号をそれぞれ算出し、複数の蛍光マーカ５５に対応付けられた識別番号のリストを生成し、そのリストを記憶部２７等に記憶させる（ステップ２０４）。

上記の方法では、それぞれの蛍光マーカ５５に応じて算出された理論的な画像８０の識別番号（角度）をもとに、上記した開始位置ｚ_startから合焦像６０までの角度θが適宜算出される。例えば当該角度θが識別番号としての角度と一致するように理論的な画像８０が準備されてもよい。あるいは識別番号としての角度により、蛍光マーカ５５の形状が判別され、そこから改めて開始位置ｚ_startから合焦像６０までの角度θが算出されてもよい。なお、開始位置ｚ_startから合焦像６０までの角度θを算出する方法は、上記のものに限定されず、他の方法が用いられてもよい。

以上、角度θの算出方法について説明した。

［蛍光マーカの分布情報の具体例と利用方法について］
ここでは、蛍光マーカの分布情報の具体例と利用方法について説明する。

図１３から図１５は、複数の蛍光マーカ５５の分布情報の一例を示すグラフである。このように蛍光マーカ５５の分布情報は、ヒストグラム形式のデータとして生成可能である。これらのグラフでは、横軸がｚ軸方向での蛍光マーカ５５の位置、縦軸が蛍光マーカ５５の数を示している。

本実施形態では、横軸を対物レンズの焦点深度Ｆの半分の大きさ（Ｆ／２）で区切り、各範囲に含まれる蛍光マーカ５５の数がカウントされている。横軸の分解能は、Ｆ／２に限定されず、焦点深度よりも小さい値が適宜設定されればよい。また焦点深度よりも大きい値が設定されてもかまわない。

すなわち光学系１２の焦点位置を、横軸のある範囲内に設定すると、その範囲に含まれる蛍光マーカ５５の合焦像が撮影される。その他の範囲に含まれる蛍光マーカ５５は、焦点位置から遠い位置にあるものほど、ぼけて撮影される。

このような蛍光マーカ５５の分布情報をもとに、生体サンプルＳＰＬの撮影が行われる。蛍光マーカ５５の分布情報が参照可能であるので、撮影モードや撮影目的に合わせた効率のよい高精度の本撮影が可能となる。

例えば生体サンプルＳＰＬに存在する複数の蛍光マーカ５５のうち、ある程度の数の蛍光マーカ５５にピントが合っていれば良いような本撮影の蛍光像を撮影することが目的であるとする。この場合、図１３に示すように、最も蛍光マーカ５５の数が多い範囲に含まれる位置Ａに焦点位置を合わせた本撮影を１回行えばよいと判断される。これにより高精度の本撮影の蛍光像を撮影することが可能となる。

また、例えば、生体サンプルＳＰＬに含まれる蛍光マーカ５５全体の数や種類等を定量的に観察することが目的であるとする。この場合、図１４に示すように、分布情報より蛍光マーカ５５が位置する全体範囲Ｂを算出し、全体範囲Ｂをスキャンすることで、全ての蛍光マーカ５５がもれなく撮影された蛍光像を撮像することが可能である。

また、焦点位置を全体範囲Ｂの始点と終点まで移動させる間、撮像素子１４を露出することで、１つの蛍光像が撮影されてもよい。または、全体範囲Ｂの両側に所定のマージンＭを加えた延長範囲Ｃにて焦点位置が移動されてもよい。これにより全体範囲Ｂの中間に位置する蛍光マーカ５５の像と、端に位置する蛍光マーカ５５の像とが、略同様にぼけて撮影される。すなわち全体の蛍光マーカ５５が略同様の大きさ及び輝度で撮影されるので、蛍光マーカ５５の測定精度を向上させることができる。

１つのサンプル部位に対して、ｚ軸方向における異なる焦点位置で複数の蛍光像を撮影する、いわゆるZ-stackと呼ばれる撮影モードがある。このZ-stackが行われる場合でも、分布情報が適宜利用可能である。例えば図１４に示す全体範囲Ｂを参照することで、Z-stackを実行する範囲が定められる。またこのグラフを参照することで、異なる焦点位置の間隔や撮影枚数等を適宜設定することができる。例えば横軸を区切る範囲に合わせてZ-stackが実行されてもよい。このように分布情報を参照することで高精度の蛍光像を撮影することができる。

また、図１５に示すように、蛍光マーカ５５の分布が２つの山に分かれるようなグラフとなる場合も考えられる。すなわち異なる２つの位置の付近に、それぞれ蛍光マーカ５５が集中している場合等である。このような場合に、ある程度の数の蛍光マーカ５５にピントが合っていればよいということで、中間位置にて１回の撮影を行ってしまうと撮影が失敗してしまう可能性がある。

分布情報が参照されることで、各山に含まれる位置Ｄ及び位置Ｅが焦点位置として算出される。これらの位置に焦点を合わせ、計２回の撮影を実行することで、失敗のない、高精度の蛍光像を本撮影において撮影することができる。

以上、蛍光マーカの分布情報の具体例と利用方法について説明した。

［本技術の概略］
以上、本実施形態に係る画像取得装置１００は、サンプル部位の厚さの範囲Ｔを少なくとも含む撮影範囲Ｌで光学系１２の焦点位置が移動させられる。当該移動の間撮像素子１４が露光され生体サンプルＳＰＬの蛍光像が取得される。そして生体サンプルＳＰＬの蛍光像をもとに、サンプル部位の厚さ方向（ｚ軸方向）における蛍光マーカ５５の分布情報が算出される。これにより例えば撮影モードや撮影目的に合った、蛍光マーカ５５を適切に撮影するための焦点位置を容易に算出することが可能となる。この結果、蛍光マーカ５５が付された生体サンプルＳＰＬを効率よく撮影することが可能となる。

［従来技術の問題点（撮影枚数の問題）］
例えば焦点深度よりも小さい間隔で焦点位置を変えてその都度画像を撮影し、各撮影画像を分析することで焦点位置を探し出す方法を想定する。この方法では多数の画像を撮影する必要があり、撮影枚数分の画像データを保存するための大容量のメモリが必要となる。また焦点位置を算出するために複数の画像データを参照しなければならず、多くの工数がかかり非効率である。

具体的には、ＮＡを０．８とした場合においては、焦点深度は約１μｍ程度となる。そして焦点位置を捜すために、焦点位置を例えば１μｍずつ変えながら複数枚の画像撮影を行い、その画像を分析することにより焦点位置を捜すこととする。その場合５０μｍをこえる範囲を１μｍずつ焦点位置を変化させた測定を行うと５０枚以上の画像を撮影し、記録する必要がある。イメージャに１４ｂｉｔで２４Ｍｐｉｘのイメージャを用いた場合においては、１枚の画像ファイルがｔｉｆ方式で約１００ＭＢの容量となる。従って５０枚以上の画像を処理する場合には、５ＧＢ以上のメモリを要することとなるので、工程が煩雑となる。

［本技術による利点（撮影枚数の削減）］
本実施形態では、図８に示すように、３つの分割撮影範囲としてＺｓｃａｎ＿１〜３が設定された。このように焦点深度よりも大きい範囲が設定され、少ない回数の撮影により分布情報が算出される。これにより大幅に撮影枚数を削減した焦点位置の探索が可能となる。

［撮影範囲Ｌを大きく取る理由］
図８Ａでは、生体サンプルＳＰＬが位置しない範囲も含めて撮影範囲Ｌが設定されている（Ｚｓｃａｎ＿１及び３）。例えば図１６に示すように、スライドガラスＳＧとステージ１１との間に毛髪等のゴミ９０（例えば約２０μｍ〜５０μｍの大きさ）等が挟まってしまう場合がある。このような場合に、例えばスライドガラスＳＧの厚さのみを考慮して撮影範囲Ｌを設定すると焦点位置を見失ってしまう可能性が高い。従って生体サンプルＳＰＬが位置しない範囲も含めて撮影範囲Ｌを適宜設定することで、蛍光マーカ５５の分布情報を高精度に算出することが可能となる。上記したように少ない撮影枚数で焦点位置を探索することが可能なので、撮像範囲Ｌを大きく設定することが可能である。

［本技術による利点（ゴミ等の影響の排除）］
自動的に焦点位置を探索及び調整する場合においては、イメージャ上のゴミやイメージャの欠陥を、スライドガラスＧＳ上の蛍光の輝点と誤認識してしまい、本来の焦点位置と異なる位置を合焦点位置であると判断してしまうというエラー発生もあり得る。

本実施形態では、図１１に示すステップ１０１及び１０２にて、蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ１〜３のそれぞれの空間周波数が算出され、最大周波数が最も高い画像が選択された。このように周波数成分が解析され比較されることで、イメージャ（撮像素子１４）上のゴミやイメージャの欠陥等の影響を受けずに、蛍光マーカ５５の合焦像６０を含む蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ２を選択することが可能となる。

＜変形例１（輝度による蛍光像の選択）＞
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。

図１７は、図１１に示す分布情報算出部３３による蛍光マーカ５５の分布情報の算出処理の変形例を示すフローチャートである。

本変形例では、まず、蛍光像ｉｍａｇｅ＿Ｚｓｃａｎ１〜３のそれぞれにおいて輝度が算出される（ステップ３０１）。

そして最大輝度を有する蛍光像が選択される（ステップ３０２）。

そして、選択された蛍光像に対して蛍光マーカ解析処理が実行される（ステップ３０３）。

このように複数の分割撮影範囲にてそれぞれ撮影された蛍光像の輝度をもとに、分布情報の算出処理の対象となる蛍光像が選択されてもよい。これにより演算量を抑えることができる。

＜変形例２（撮影範囲Ｌの統合）＞
上記の実施形態では、図８Ａに示すように、撮影範囲Ｌを分割する複数の分割撮影範囲が設定され、当該分割撮影範囲ごとに蛍光像が撮影された。しかしながら撮影範囲Ｌ全体を１回の撮影でスキャンするようにステージを移動させて、蛍光像が生成されてもよい。そしてその蛍光像をもとに蛍光マーカ５５の分布情報が算出されてもよい。

例えば１００μｍ程度の撮影範囲Ｌに対して１回の撮影が実行されてもよい。これにより演算量の軽減、処理速度の向上等を図ることができる。分割撮影範囲の設定の有無は、例えば撮影範囲Ｌの大きさや撮像素子１４の精度等をもとに判断されればよい。

＜変形例３（分布に基づいた撮影モードの決定）＞
上記では、撮影モードや撮影目的に合わせて適宜分布情報を利用することができることを説明した。逆に分布情報に基づいて、最適な撮影モードや撮影目的が選択されてもよい。

例えば複数の蛍光マーカ５５が焦点深度の範囲内に集まっている場合は、焦点位置が固定された１回の撮影が選択される。複数の蛍光マーカ５５が分散している場合は、Z-stackによる撮影が選択されるといった等の判断処理が実行されてもよい。この際、例えばデータ処理部２０が、撮影モード決定部として機能する。

＜変形例４（マーカ色に基づく分布情報算出）＞
また蛍光マーカ５５のうち、標的マーカ（赤色）のみ、あるいは対照マーカ（緑）のみが、分布情報算出の対象として設定されてもよい。これらの設定は、例えばユーザの操作により入力されてもよい。

＜変形例５（算出する蛍光マーカの間引き）＞
また蛍光像に写されている蛍光マーカ５５の全てにおいて位置情報が算出されなくてもよい。すなわち蛍光マーカ５５が間引かれて選択され、その位置情報をもとに分布情報が算出されてもよい。

＜変形例（その他）＞
なお、上述の実施形態の顕微鏡１０の構成において、対物レンズ１２Ａは接眼レンズとすることもできる。

また、上述の実施形態では、焦点位置を移動させるためにステージ１１を移動させることとしたが、光学系１２の対物レンズ１２Ａを移動させるようにしてもよい。

上述の実施の形態では、データ処理部２０にデータ記憶部３５を設けて、これに生体サンプル像と蛍光マーカ５５の分布情報等を記録することとしたが、外部の記憶装置に記録するようにしてもよい。

顕微鏡１０とデータ処理部２０との接続には、バス伝送路の他、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線又は無線の伝送媒体を用いることができる。

＜第２の実施形態＞
第２の実施形態では、蛍光顕微鏡により撮像する生体サンプルＳＰＬ内の細胞密度が高く、その細胞を蛍光標識により染色して得られる蛍光像の輝点１個１個が明確には区別できない状態を主に想定している。

また、輝点の区別が出来たとしても、その数が多いので、第１の実施形態において説明した、輝点の軌跡１個１個の形状を解析するアルゴリズムでは、解析に時間がかかり過ぎてしまう状態も想定している。

それ故、第２の実施形態における本技術の特徴は、蛍光像の輝点の１個１個は区別せず、画像全体をテクスチャーとして捉え、そのテクスチャーを解析することである。この方法により、細胞密度が高い場合においては、第１の実施形態において説明した輝点の軌跡１個１個の形状を解析するアルゴリズムに比べ、処理時間を短縮することができる。

なお、以下の説明では、特に断らない限り、第１の実施形態と同じ部材には同じ番号を付けて説明を行う。

［第１の実施形態との具体的な相違点について］
まず、第１の実施形態との具体的な相違点を説明する。第１の実施形態との具体的な相違点は、第１の実施形態において角度θの算出方法を記述した［露光開始位置ｚ_startから合焦像６０までの角度θの算出について］の項の部分である。第１の実施形態では、焦点位置調整用の蛍光像７０から切り出されたトリミング画像７５と、０度から３５９度までの角度にそれぞれ紐付けられた複数の理論的な画像８０との相関係数を、トリミング画像７５ごとに計算した。

これに対し、本実施形態では、後述する２種類の方法のいずれかにより、焦点位置調整用の蛍光像全体をテクスチャーとして分析を行い、角度θを算出する。この点が、本実施形態での主な相違点である。

蛍光像の分析を全体的に行うことに伴う付随的な相違点として、本実施形態では、第１の実施形態のように個々の蛍光マーカ５５の分布を求めることはできず、全ての蛍光マーカ５５の平均的な位置を求めることが挙げられる。

［本撮影を含んだ全体の流れについて］
ここでは、予備撮影と、第１の実施形態による解析と、第２の実施形態による解析と、本撮影との関係を整理するため、全体の処理の流れについて説明する。

図１８は、本技術における、予備撮影と、第１の実施形態による解析と、第２の実施形態による解析と、本撮影との関係を含んだ全体の処理の流れを示すフローチャートである。

まず、試料（スライド、生体サンプルＳＰＬ）が、蛍光顕微鏡１０のステージ１１上にセットされる（ステップ５０１）。試料のセットは、搬送用ロボットにより行われても良いし、手動により行われても良い。

次に、ステージ制御部３１が、生体サンプルＳＰＬの適切な個所を撮影範囲ＡＲに位置づけるためにステージ１１の移動を行う（ステップ５０２）。

このステージ１１の移動は、第１の実施形態において説明した１種類目のステージ１１の移動である。このステップでは、ｚ軸方向のステージ１１の位置は、分割撮影範囲Ｚｓｃａｎ＿１の露光開始位置ｚ_startに位置づけられる。

次に、ステージ制御部３１と画像取得部３２とが連動して働き、焦点位置調整用の蛍光像を撮像する（ステップ５０３）。

このステップが予備撮影になる。焦点位置調整用の蛍光像の撮像方法は、第１の実施形態の［焦点位置調整用の蛍光画像の撮像方法について］の項において説明したとおりである。

次に、分布情報算出部３３が、撮像された焦点位置調整用の蛍光像を解析する（ステップ５０４）。

この解析では、蛍光像の平均輝度を求める方法と、予め定められた閾値以上の輝度値を持つ輝点の数を求める方法とがある。

ここで、輝点の数を求める方法は、輝点の数を数えることも可能ではあるが、蛍光像の背景値（バックグラウンド値）よりも明るい画素の数を数えることにより代用することも可能である。

次に、分布情報算出部３３は、ステップ５０４において求めた平均輝度または輝点の数が、予め設定された閾値より大きいか否かを判断する（ステップ５０５）。

輝点の数を閾値と比べる場合、閾値として、例えば１００個程度を目安と考えることが出来る。

平均輝度または輝点の数が、予め設定された閾値より小さい場合（ステップ５０５のＮｏ）、分布情報算出部３３は生体サンプルＳＰＬ内の細胞密度は低いと判断し、第１の実施形態で行った、個々の輝点の軌跡に対する画像マッチングを行って蛍光マーカの分布情報を算出する（ステップ５０６）。

平均輝度または輝点の数が、予め設定された閾値より大きい場合（ステップ５０５のＹｅｓ）、分布情報算出部３３は生体サンプルＳＰＬ内の細胞密度は高いと判断し、第２の実施形態で説明する、蛍光像全体のテクスチャー解析を行って蛍光マーカの分布情報を算出する（ステップ５０７）。

ステップ５０６または５０７において蛍光マーカの分布情報が得られたら、次に、ステージ制御部３１が、分布情報から判断して最適な焦点位置になるように、ステージ１１のｚ軸方向の移動を行う（ステップ５０８）。

次に、画像取得部３２が本撮影を行う（ステップ５０９）。

本撮影により取得された蛍光像は、病理医等の観察者により解析され、診断に利用される。

次に、データ処理部２０は、次の撮影個所があるか否かを判断する（ステップ５１０）。

まだ撮影個所がある場合（ステップ５１０のＹｅｓ）は、ステップ５０２に戻って処理を継続し、もう撮影個所が無い場合（ステップ５１０のＮｏ）は、処理を終了する。

以上、本技術における、予備撮影と、第１の実施形態による解析と、第２の実施形態による解析と、本撮影との関係を含んだ全体の処理の流れを俯瞰した。

［テクスチャーとして捉えて解析する原理について］
ここでは、予備撮影により得られた焦点位置調整用の蛍光像を全体として解析できる根拠を説明する。

根拠は２つあり、最初の根拠は、焦点位置調整用の蛍光像において、多くの輝点の軌跡が重なり合うことにより浮き出る特徴的な形状によるものである。

細胞密度が高く輝点の数が多くなり、予備撮影した蛍光像において輝点の軌跡の重なりが多くなった場合には、ぼけた輝点による軌跡の暗い部分の画像は判別がしにくくなる。そして、合焦像６０を含む輝点の軌跡の最も明るい部分のみが判別可能な画像となる。それ故、輝点の軌跡は本来、円形または半円形の形状であるが、「輝点の軌跡の最も明るく直線に近い部分」ＢＬのみが判別可能な形状として蛍光像内で浮き出ることとなる。本実施形態では、このことを判別の原理としている。

２つ目の根拠は、蛍光マーカ５５が分布する範囲である試料切片の厚みと、焦点位置調整用の蛍光像を撮像する際にｚ軸方向に焦点位置を移動させる範囲との相対的な比率である。

蛍光染色された試料の切片の厚さは、４μｍ〜６μｍ程度であり、蛍光マーカ５５の輝点はこの厚さの範囲内にのみ分布する。それに対し、焦点位置調整用の蛍光像を撮像する際にｚ軸方向に焦点位置を移動させる範囲は、例えば２０μｍ〜５０μｍである。

このように、蛍光マーカ５５が分布する範囲に対して、ｚ軸方向に焦点位置を移動させる範囲が、数倍から１０倍あり、その比率が大きい場合には、蛍光マーカ５５の分布する範囲の位置は、相対的に少ないばらつきの範囲に収まる。

それ故、「輝点の軌跡の最も明るく直線に近い部分」ＢＬが示す角度θのばらつきは少なくなると考えられる。従って、蛍光像をテクスチャーとして解析し、「輝点の軌跡の最も明るく直線に近い部分」ＢＬが示す角度θの平均値を求めることにより、ｚ軸方向の平均的な蛍光マーカ５５の高さ、すなわち、多くの輝点に焦点があうｚ軸方向の位置を求めることができる。

以上、蛍光像をテクスチャーとして捉えて解析する原理について説明した。

［テクスチャー解析により角度θを求める方法（その１）］
次に、テクスチャー解析により角度θを求める第１の方法について説明する。

本方法では、予備撮影により得られた焦点位置調整用の蛍光像に対して、周波数成分を求める方向を複数決める。そして、決めたそれぞれの方向における周波数成分を求め、最大周波数成分が最も高い方向から角度θを定める。

図１９は、周波数成分を求める方向として、蛍光像の水平方向であるｘ軸方向、垂直方向であるｙ軸方向、４５度傾斜した方向Ａの３方向を定めた図である。このように、周波数成分を求める方向としては、３方向以上とすることが好ましい。３方向以上、幾つの方向において周波数成分を求めるかは、目標とする角度θの精度に依存する。

その理由は、２方向のみでは、「輝点の軌跡の最も明るく直線に近い部分」ＢＬの方向を一意に定められないからである。例えば、図２０に示すように、「輝点の軌跡の最も明るく直線に近い部分」ＢＬが、パターンＡの方向に現れている場合と、パターンＢの方向に現れている場合とを考える。これら２つの方向を区別し、正しい方向を判別するためには、ｘ軸方向およびｙ軸方向の２方向だけでは、不十分である。

上記のように定めたそれぞれの方向において「輝点の軌跡の最も明るく直線に近い部分」ＢＬを数多く含んだ蛍光像の周波数成分を求めることにより、「輝点の軌跡の最も明るく直線に近い部分」ＢＬの傾斜角度がどの方向に多く揃っているのかを知ることが出来る。「輝点の軌跡の最も明るく直線に近い部分」ＢＬを垂直に横切る方向が、最大周波数成分が最も高い方向となるからである。

例えば、図９のＺｓｃａｎ＿２の場合に示す蛍光マーカ５５ａの輝点の軌跡のように、露光開始位置ｚ_startにおける角度が０度であり、露光終了位置ｚ_endにおける角度が１８０度であり、合焦像６０は角度が１３５度の位置にあるとする。

その場合、「輝点の軌跡の最も明るく直線に近い部分」ＢＬの傾きは、円Ｏの合焦像６０の位置における接線の傾きと同じで４５度になる。そして、「輝点の軌跡の最も明るく直線に近い部分」ＢＬを垂直に横切る方向、すなわち最大周波数成分が最も高い方向は、方向Ａ（−４５度方向）となる。露光開始位置ｚ_startが０度であり、露光終了位置ｚ_endが１８０度である関係から、角度θは約１３５度であることが分かる。

以上、テクスチャー解析により角度θを求める第１の方法について説明した。

［テクスチャー解析により角度θを求める方法（その２）］
次に、テクスチャー解析により角度θを求める第２の方法について説明する。

本方法では、予備撮影により得られた焦点位置調整用の蛍光像７０を元画像として、一定画素数分だけ一定の方向に元画像をずらした画像を、複数の方向について生成する。そして、生成した複数の画像のそれぞれと元画像との相関を求める。最も相関が低い画像の方向を、「輝点の軌跡の最も明るく直線に近い部分」ＢＬを垂直に横切る方向として、角度θを定める。

図２１から図２１Ｅは、元画像と一定画素数分だけ一定の方向にずらした画像との相関を求める様子を示す図である。この図に沿って、第２の方法について説明する。

（１）まず、分布情報算出部３３が、元画像となる、焦点位置調整用の蛍光像７０を取得する。

図の上段左側に示す図が、元画像であり、その中には、「輝点の軌跡の最も明るく直線に近い部分」ＢＬが２つ写っている。なお、本実施形態は、生体サンプルＳＰＬ内の細胞密度が高い場合を想定しているので、元画像には、本来１００個以上の「輝点の軌跡の最も明るく直線に近い部分」ＢＬが写っているが、ここでは図を見やすくするため、２個だけを示している。

（２）次に、分布情報算出部３３は、元画像から一定画素数分だけ複数の方向にずらした画像を生成する。

図２１Ａから図２１Ｅは、複数の方向として、０度から１８０度の範囲において４５度刻みで５つの方向に元画像をずらした様子を示している。図中、点線により示している位置は、ずらす前の「輝点の軌跡の最も明るく直線に近い部分」ＢＬの位置である。元画像をどの程度の刻みで幾つの方向にずらすかは、目標とする角度θの精度に依存する。

なお、画像をずらす際の一定画素数の目安は、例えば、「輝点の軌跡の最も明るく直線に近い部分」ＢＬの幅が約１０画素分ある場合、１５画素程度である。

（３）次に、分布情報算出部３３は、元画像と、一定画素数ずらした画像それぞれとの相関を計算する。

相関の計算方法としては、元画像とずらした画像との画素毎の差分を取って比較する方法などがある。この方法を用いて、図の画像を見ると、図２１Ａおよび図２１Ｅの画像では、「輝点の軌跡の最も明るく直線に近い部分」ＢＬと、「輝点の軌跡の最も明るく直線に近い部分」ＢＬをずらした画像ＢＬ’との重なりが大きく、差分の量が少ない。すなわち、相関が高い。

それに対して、図２１Ｃの画像では、「輝点の軌跡の最も明るく直線に近い部分」ＢＬと、「輝点の軌跡の最も明るく直線に近い部分」ＢＬをずらした画像ＢＬ’との重なりが無く、最も差分の量が多い。すなわち、最も相関が低い。

（４）最後に、分布情報算出部３３は、最も相関が低い画像の方向を、「輝点の軌跡の最も明るく直線に近い部分」ＢＬに直交する方向と定め、角度θを求める。

図２１Ｃの画像では、元画像を下方向にずらしているので、角度９０度または２７０度の方向が、「輝点の軌跡の最も明るく直線に近い部分」ＢＬに直交する方向であると分かる。それ故、露光開始位置ｚ_startにおける角度が０度であり、露光終了位置ｚ_endにおける角度が１８０度であるとすると、角度θは、約９０度であることが分かる。

以上、テクスチャー解析により角度θを求める第２の方法について説明した。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

ＡＲ …撮像範囲
ＢＬ …輝点の軌跡の最も明るく直線に近い部分
ＣＧ …カバーガラス
ＦＰ …焦点面
ｉｍａｇｅ＿Ｚｓｃａｎ１〜３…蛍光像
Ｌ …撮影範囲
Ｏ …円
Ｒ …円軌道の半径
ＳＧ …スライドガラス
ＳＰＬ…生体サンプル
Ｔ …サンプル部位の厚さの範囲
ｚ_end …露光終了位置
Ｚｓｃａｎ＿１〜３…分割撮影範囲
ｚ_start …露光開始位置
１０…顕微鏡
１１…ステージ
１２…光学系
１３…光源
１４…撮像素子
１７…撮像制御部
２０…データ処理部
３１…ステージ制御部
３２…画像取得部
３３…分布情報算出部
４０…ぼやけた発光色の像
４１…軌跡
４２…焦点が合った像
４３…ぼやけた発光色の像
５０…生体組織
５５…蛍光マーカ
６０…合焦像
７０…蛍光像
７５…トリミング画像
８０…理論的な画像
１００…画像取得装置

Claims

生体サンプルの蛍光標識を発光させる励起光を発生する光源と、
像が結像される撮像素子と、
前記光源からの前記励起光を前記生体サンプルの、前記蛍光標識を含む少なくとも一部の領域に照射させ、当該領域の蛍光像を前記撮像素子に結像させる光学系と、
前記光学系の焦点位置を当該光学系の光軸方向およびこの光軸に直交する方向に移動させる移動制御部と、
前記光学系の焦点位置を移動させる間、前記撮像素子を連続的に露光させ、前記領域の長時間露光像を生成する生成部と、
前記生成された長時間露光像の周波数解析を行い、少なくともこの解析結果を用いて前記蛍光標識の前記光軸方向での位置情報を算出する算出部と
を具備する画像取得装置であって、
前記算出部は、
前記長時間露光像の面内の予め定められた直交する２方向と、前記面内で当該２方向に対して傾斜した少なくとも１方向とを含む少なくとも３方向について、前記方向ごとに前記長時間露光像の周波数解析を行い、最大周波数成分が最も高い前記方向を判定し、この判定方向をもとに位置情報を算出する
画像取得装置。
請求項１に記載の画像取得装置であって、
前記算出部は、
前記判定の対象の方向と前記位置情報との相関情報を予め記憶し、
この相関情報をもとに前記判定した方向から前記位置情報を算出する
画像取得装置。
生体サンプルの蛍光標識を発光させる励起光を発生する光源と、
像が結像される撮像素子と、
前記光源からの前記励起光を前記生体サンプルの、前記蛍光標識を含む少なくとも一部の領域に照射させ、当該領域の蛍光像を前記撮像素子に結像させる光学系と、
前記光学系の焦点位置を当該光学系の光軸方向およびこの光軸に直交する方向に移動させる移動制御部と、
前記光学系の焦点位置を移動させる間、前記撮像素子を連続的に露光させ、前記領域の長時間露光像を生成する生成部と、
前記生成された長時間露光像の周波数解析を行い、少なくともこの解析結果を用いて前記蛍光標識の前記光軸方向での位置情報を算出する算出部と
を具備する画像取得装置であって、
前記算出部は、
前記長時間露光像の面内の予め定められた直交する２方向と、前記面内で当該２方向に対して傾斜した少なくとも１方向とを含む少なくとも３方向について、前記方向ごとに、前記長時間露光像を予め定めた画素数だけ移動させた移動画像を生成し、前記長時間露光像と個々の前記移動画像との相関を求め、相関が最も低い方向を判定し、この判定方向をもとに位置情報を算出する
画像取得装置。
生体サンプルの蛍光標識を発光させる励起光を発生させ、
光学系が前記励起光を前記生体サンプルの、前記蛍光標識を含む少なくとも一部の領域に照射して当該領域の蛍光像を撮像素子に結像させ、
前記光学系の焦点位置を当該光学系の光軸方向およびこの光軸に直交する方向に移動させ、
前記光学系の焦点位置を移動させる間、前記撮像素子を連続的に露光させて前記領域の長時間露光像を生成し、
前記生成された長時間露光像の周波数解析を行い、少なくともこの解析結果を用いて前記蛍光標識の前記光軸方向での位置情報を算出する
画像取得方法であって、
前記位置情報の算出では、
前記長時間露光像の面内の予め定められた直交する２方向と、前記面内で当該２方向に対して傾斜した少なくとも１方向とを含む少なくとも３方向について、前記方向ごとに前記長時間露光像の周波数解析を行い、最大周波数成分が最も高い前記方向を判定し、この判定方向をもとに位置情報を算出する
画像取得方法。
生体サンプルの蛍光標識を発光させる励起光を発生させ、
光学系が前記励起光を前記生体サンプルの、前記蛍光標識を含む少なくとも一部の領域に照射して当該領域の蛍光像を撮像素子に結像させ、
前記光学系の焦点位置を当該光学系の光軸方向およびこの光軸に直交する方向に移動させ、
前記光学系の焦点位置を移動させる間、前記撮像素子を連続的に露光させて前記領域の長時間露光像を生成し、
前記生成された長時間露光像の周波数解析を行い、少なくともこの解析結果を用いて前記蛍光標識の前記光軸方向での位置情報を算出する
画像取得方法であって、
前記位置情報の算出では、
前記長時間露光像の面内の予め定められた直交する２方向と、前記面内で当該２方向に対して傾斜した少なくとも１方向とを含む少なくとも３方向について、前記方向ごとに、前記長時間露光像を予め定めた画素数だけ移動させた移動画像を生成し、前記長時間露光像と個々の前記移動画像との相関を求め、相関が最も低い方向を判定し、この判定方向をもとに位置情報を算出する
画像取得方法。