以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
(1)第1の実施形態
(1−1)顕微鏡画像管理システムの構成について
(1−2)顕微鏡の全体構成について
(1−3)顕微鏡制御装置の全体構成について
(1−4)位相差算出処理の概略について
(1−5)統括制御部の構成について
(1−6)デフォーカス量特定部の構成について
(1−7)領域判定方法及び位相差算出方法について
(2)本発明の実施形態に係る顕微鏡制御装置のハードウェア構成について
(3)まとめ
なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプル(細胞組織サンプル)を例に挙げて説明を行うが、かかる場合に限定されるわけではない。
(第1の実施形態)
<顕微鏡画像管理システムの構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る顕微鏡画像管理システム1の構成について説明する。図1は、本実施形態に係る顕微鏡画像管理システム1の構成を示した説明図である。
本実施形態に係る顕微鏡画像管理システム1は、図1に示したように、顕微鏡10と、顕微鏡制御装置20と、画像管理サーバ30と、画像表示装置40とを有する。また、顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40は、ネットワーク3を介して接続されている。
ネットワーク3は、本実施形態に係る顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40を互いに双方向通信可能に接続する通信回線網である。このネットワーク3は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網などで構成されており、有線/無線を問わない。また、このネットワーク3は、本実施形態に係る顕微鏡画像管理システム1に専用に設けられた通信回線網であってもよい。
顕微鏡10は、当該顕微鏡10のステージ上に載置されたサンプル(例えば生体サンプル)に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡10の全体構成については、以下で改めて詳細に説明する。
顕微鏡10は、顕微鏡制御装置20によって駆動制御されており、顕微鏡10が撮像したサンプル画像は、顕微鏡制御装置20を介して画像管理サーバ30に格納される。
顕微鏡制御装置20は、サンプルを撮像する顕微鏡10の駆動制御を行う装置である。顕微鏡制御装置20は、顕微鏡10を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置20は、得られたサンプルのデジタル画像データを、画像管理サーバ30にアップロードする。
画像管理サーバ30は、顕微鏡10によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ30は、顕微鏡制御装置20からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ30は、閲覧者が操作する画像表示装置40(すなわち、ビューワーに対応する装置)から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置40に提供する。
画像表示装置40は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末(すなわち、ビューワーに対応する装置)である。デジタル画像データの閲覧希望者は、画像管理サーバ30に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ30に対して要請する。画像管理サーバ30からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置40のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。
なお、本実施形態に係る顕微鏡制御装置20及び画像管理サーバ30の詳細な構成については、以下で改めて説明する。
また、図1では、システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30がそれぞれ1台ずつ存在する場合について図示しているが、顕微鏡画像管理システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30の台数は図1の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。
<顕微鏡の全体構成について>
続いて、図2を参照しながら、本実施形態に係る顕微鏡10の全体構成について説明する。図2は、本実施形態に係る顕微鏡10及び顕微鏡制御装置20の全体構成を示した説明図である。
[全体構成]
本実施形態に係る顕微鏡1は、図2に例示したように、生体サンプルSPLが配設されるプレパラートPRT全体の像(以下、この像をサムネイル像とも称する。)を撮像するサムネイル像撮像部110と、生体サンプルSPLが所定倍率で拡大された像(以下、この像を拡大像とも称する。)を撮像する拡大像撮像部120と、を有する。また、拡大像撮像部120には、拡大像撮像部120中に存在する照明視野絞りのデフォーカス(defocus)量を検出するためのデフォーカス量検出部130が設けられている。
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルSPLを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、HE(ヘマトキシリン・エオシン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In−Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
また、プレパラートPRTには、対応する生体サンプルSPLを特定するための付帯情報(例えば、サンプルを採取した人の氏名、採取日時、染色の種類等)が記載されたラベルが貼付されていてもよい。
本実施形態に係る顕微鏡10には、上述のようなプレパラートPRTが載置されるステージ140が設けられており、更に、ステージ140を様々な方向に移動させるためのステージ駆動機構141が設けられている。このステージ駆動機構141により、ステージ140を、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)に自由に移動させることができる。
また、拡大像撮像部120には、照明視野絞りピント調整部の一例であるコンデンサレンズ駆動機構142が設けられている。
更に、本実施形態に係る顕微鏡10には、サンプルSPLを含むプレパラートPRTをステージ140に搬送するサンプル搬送装置150が設けられていても良い。かかる搬送装置150を設けることで、ステージ140に、撮像予定のサンプルが自動的に設置されるようになり、サンプルSPLの入れ替えを自動化することが可能となる。
[サムネイル像撮像部]
サムネイル像撮像部110は、図2に示したように、光源111と、対物レンズ112と、撮像素子113と、を主に備える。
光源111は、ステージ140のプレパラート配置面とは逆の面側に設けられる。光源111は、一般染色が施された生体サンプルSPLを照明する光(以下、明視野照明光、又は、単に照明光とも称する。)と、特殊染色が施された生体サンプルSPLを照明する光(以下、暗視野照明光とも称する。)とを切り換えて照射可能である。また、光源111は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源111として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の2種類の光源が設けられることとなる。
更に、サムネイル像撮像部110には、プレパラートPRTに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源(図示せず。)が別途設けられていてもよい。
所定倍率の対物レンズ112は、プレパラート配置面におけるサムネイル像撮像部110の基準位置の法線を光軸SRAとして、ステージ140のプレパラート配置面側に配設される。ステージ140上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ112によって集光されて、対物レンズ112の後方(すなわち、照明光の進行方向)に設けられた撮像素子113に結像する。
撮像素子113には、ステージ140のプレパラート配置面に載置されたプレパラートPRT全体を包括する撮像範囲の光(換言すれば、プレパラートPRT全体を透過した透過光)が結像する。この撮像素子113上に結像した像が、プレパラートPRT全体を撮像した顕微鏡画像であるサムネイル像となる。
[拡大像撮像部]
拡大像撮像部120は、図2に示したように、光源21と、コンデンサレンズ122と、対物レンズ123と、撮像素子124と、を主に備える。また、拡大像撮像部120には、更に、照明視野絞り(図示せず。)が設けられている。
光源121は、明視野照明光を照射するものであり、ステージ140のプレパラート配置面とは逆の面側に設けられる。また、光源121とは異なる位置(例えばプレパラート配置面側)には、暗視野照明光を照射する光源(図示せず。)が設けられる。
コンデンサレンズ122は、光源121から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ140上のプレパラートPRTに導くレンズである。このコンデンサレンズ122は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、光源121とステージ140との間に配設される。また、コンデンサレンズ駆動機構142は、このコンデンサレンズ122を光軸ERA方向に沿って駆動することが可能である。コンデンサレンズ122は、コンデンサレンズ駆動機構142によって、光軸ERA上の位置を変えることができる。
所定倍率の対物レンズ123は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、ステージ140のプレパラート配置面側に配設される。拡大像撮像部120では、この対物レンズ123を適宜交換することで、生体サンプルSPLを様々な倍率に拡大して撮像することが可能となる。ステージ140上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ123によって集光されて、対物レンズ123の後方(すなわち、照明光の進行方向)に設けられた撮像素子124に結像する。
なお、対物レンズ123と撮像素子124との間の光軸ERA上には、ビームスプリッター131が設けられていてもよい。かかるビームスプリッター131が設けられている場合には、対物レンズ123を透過した透過光の一部が、後述するデフォーカス量検出部130へと導かれる。
撮像素子124には、撮像素子124の画素サイズ及び対物レンズ123の倍率に応じて、ステージ140のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ123により生体サンプルSPLの一部が拡大されるため、上述の撮像範囲は、撮像素子113の撮像範囲に比べて十分に狭い範囲となる。
ここで、サムネイル像撮像部110及び拡大像撮像部120は、図2に示したように、それぞれの基準位置の法線である光軸SRAと光軸ERAとがY軸方向に距離Dだけ離れるように配置される。この距離Dは、撮像素子113の撮像範囲に拡大像撮像部120の対物レンズ123を保持する鏡筒(図示せず)が写りこむことなく、かつ小型化のために近い距離に設定される。
[デフォーカス量検出部]
デフォーカス量検出部130は、図2に示したように、ビームスプリッター131と、フィールドレンズ132と、セパレータレンズ133と、撮像素子134と、を主に備える。
ビームスプリッター131は、先に説明したように、拡大像撮像部120の対物レンズ123と撮像素子124との間の光軸ERA上に設けられており、対物レンズ123を透過した透過光の一部を反射させる。換言すれば、ビームスプリッター131によって、対物レンズ123を透過した透過光は、撮像素子124へと向かう透過光と、後述するデフォーカス量検出部130内のフィールドレンズ132へと向かう反射光とに分岐される。
ビームスプリッター131によって分岐された反射光の進行方向側には、フィールドレンズ132が設けられる。このフィールドレンズ132は、ビームスプリッター131によって分岐された反射光を集光して、フィールドレンズ132の後方(反射光の進行方向側)に設けられたセパレータレンズ133へと導く。
セパレータレンズ133は、フィールドレンズ132から導光された光束を2つの光束へと分割する。分割された光束は、セパレータレンズ133の後方(反射光の進行方向側)に設けられた撮像素子134の結像面に対して、1組の被写体像を形成する。
撮像素子134には、セパレータレンズ133を透過した光がそれぞれ結像する。その結果、撮像素子134の撮像面には、1組の被写体像が形成されることとなる。セパレータレンズ133には、フィールドレンズ132を射出した様々な方向の光束が入射するため、形成される1組の被写体像間には、位相差が存在する。以下では、この1組の被写体像を、位相差像と称することとする。
次に、図3を参照しながら、拡大像撮像部120により撮像される拡大像と、デフォーカス量検出部130により撮像される位相差像の一例について、簡単に説明する。図3は、サンプルの拡大像及び位相差像の一例を示した説明図である。
本実施形態に係る顕微鏡10では、対物レンズ123の後方にビームスプリッター131が設けられ、対物レンズ123を透過した光束が、拡大像撮像部120に設けられた撮像素子124と、デフォーカス量検出部130に設けられた撮像素子134とに結像する。ここで、撮像素子134に結像する位相差像は、図3に示したように、例えば右目で見た画像と左目で見た画像に対応するような一組の画像であり、これら画像間には、位相差が存在している。そのため、位相差が小さくなると、位相差像の2つの画像は互いに離れる方向にシフトし、位相差が大きくなると、位相差像の2つの画像は互いに近づく方向にシフトする。
ここで、以下の説明では、位相差像を構成する一組の画像のうち一方を、基準画像と称することとし、他方の画像を、比較画像と称することとする。基準画像は、位相差像における位相差を特定する際の基準として用いられる画像であり、比較画像は、位相差像における位相差を特定する際に、基準画像と比較される画像である。
このような位相差を、位相差像を構成する各画素について特定することにより、図4に示したような、位相差像全体における位相差の分布を示した位相差情報を生成することができる。ここで、2つの画像間の位相差は、サンプルの凹凸に換算可能な物性値であるため、位相差情報を得ることで、サンプルの凹凸に関する情報を得ることができる。
以上、本実施形態に係るデフォーカス量検出部130について説明した。
なお、以上の説明では、対物レンズ123と撮像素子124との間にビームスプリッター131が設けられる場合について説明したが、光線を分岐するための光線分岐手段はビームスプリッターに限定されるわけではなく、可動式ミラー等を利用することも可能である。
また、前述の説明では、デフォーカス量検出部130内の位相差AF光学系としてフィールドレンズ、セパレータレンズ及び撮像素子を有する構成を示したが、かかる例に限定されるわけではない。かかる位相差AF光学系は、例えば、フィールドレンズ及びセパレータレンズの代わりにコンデンサレンズ及び2眼レンズを利用したりするなど、同等の機能を実現可能なものであれば、他の光学系であってもよい。
以上、図2を参照しながら、本実施形態に係る顕微鏡10の全体的な構成について、詳細に説明した。
なお、サムネイル像撮像部110、拡大像撮像部120及びデフォーカス量検出部130それぞれに設けられる撮像素子は、1次元撮像素子であってもよく、2次元撮像素子であってもよい。
また、前述の例では、ビームスプリッター131にて反射した光が進行する方向にデフォーカス量検出部130が設置される場合について示したが、ビームスプリッター131を透過した光が進行する方向にデフォーカス量検出部130を設置してもよい。
<顕微鏡制御装置の全体構成について>
本実施形態に係る顕微鏡10には、図2に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置20が接続されている。この顕微鏡制御装置20は、図2に示したように、統括制御部201と、照明制御部203と、ステージ駆動制御部205と、コンデンサレンズ駆動制御部207と、位相差像撮像制御部209と、サムネイル像撮像制御部211と、拡大像撮像制御部213と、記憶部215と、を主に備える。
ここで、照明制御部203は、光源111及び光源121を含む、顕微鏡10が備える各種の光源を制御する処理部であり、ステージ駆動制御部205は、ステージ駆動機構135を制御する処理部である。また、コンデンサレンズ駆動制御部207は、コンデンサレンズ駆動機構142を制御する処理部であり、位相差像撮像制御部209は、位相差像を撮像するための撮像素子134を制御する処理部である。また、サムネイル像撮像制御部211は、サムネイル像を撮像するための撮像素子113を制御する処理部であり、拡大像撮像制御部213は、生体サンプルSPLの拡大像を撮像するための撮像素子124を制御する処理部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
また、本実施形態に係る顕微鏡制御装置20には、顕微鏡全体の制御を行う制御部(統括制御部201)が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
これらの制御部は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ストレージ装置、通信装置及び演算回路等により実現されるものである。
記憶部215は、本実施形態に係る顕微鏡制御装置20が備えるストレージ装置の一例である。記憶部215には、本実施形態に係る顕微鏡10を制御するための各種設定情報や、各種のデータベースやルックアップテーブル等が格納される。また、記憶部215には、顕微鏡10におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部215には、本実施形態に係る顕微鏡制御装置20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
この記憶部215は、顕微鏡制御装置20が備える各処理部が自由に読み書きを行うことが可能である。
以下では、上記制御部について、その機能を簡単に説明するものとする。
[照明制御部]
照明制御部203は、本実施形態に係る顕微鏡10が備える各種の光源を制御する処理部である。照明制御部203は、統括制御部201から生体サンプルSPLの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
例えば、照明制御部203が、サムネイル像撮像部110に設けられた光源111の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野像を取得すべきモード(以下、明視野モードとも称する。)又は暗視野像を取得すべきモード(以下、暗視野モードとも称する。)のどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源111に対して設定し、光源111から、各モードに適した照明光を照射させる。これにより、光源111から照射された照明光が、ステージ140の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
また、照明制御部203が、拡大像撮像部120に設けられた光源121の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源121に対して設定し、光源121から、各モードに適した照明光を照射させる。これにより、光源121から照射された照明光が、ステージ140の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
[ステージ駆動制御部]
ステージ駆動制御部205は、本実施形態に係る顕微鏡10に設けられたステージを駆動するためのステージ駆動機構141を制御する処理部である。ステージ駆動制御部205は、統括制御部201から生体サンプルSPLの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構141の制御を行う。
例えば、本実施形態に係る顕微鏡10により、サムネイル像を撮像する場合に着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLのサムネイル像を撮像する旨の情報が出力されると、プレパラートPRT全体が撮像素子113の撮像範囲に入るように、ステージ面方向(X―Y軸方向)にステージ140を移動させる。また、ステージ駆動制御部205は、プレパラートPRT全体に対物レンズ112の焦点が合うように、ステージ140をZ軸方向に移動させる。
また、本実施形態に係る顕微鏡10により、拡大像を撮像する場合について着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLの拡大像を撮像する旨の情報が出力されると、ステージ駆動制御部205は、ステージ駆動機構141を駆動制御し、光源111と対物レンズ112との間からコンデンサレンズ122と対物レンズ123との間に生体サンプルSPLが位置するよう、ステージ面方向にステージ140を移動させる。
また、ステージ駆動制御部205は、撮像素子124に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向(X−Y軸方向)にステージ140を移動させる。
更に、ステージ駆動制御部205は、ステージ駆動機構141を駆動制御して、所定の撮影範囲内に位置する生体サンプルSPLの部位が対物レンズ123の焦点に合うように、ステージ面に直交する方向(Z軸方向、組織切片の奥行方向)にステージ140を移動させる。
[コンデンサレンズ駆動制御部]
コンデンサレンズ駆動制御部207は、本実施形態に係る顕微鏡10の拡大像撮像部120に設けられたコンデンサレンズ122を駆動するためのコンデンサレンズ駆動機構142を制御する処理部である。コンデンサレンズ駆動制御部207は、統括制御部201から、照明視野絞りのデフォーカス量に関する情報が出力されると、取得したデフォーカス量に関する情報に基づいて、コンデンサレンズ駆動機構142の制御を行う。
拡大像撮像部120内に設けられた照明視野絞りが適切に合焦していない場合には、生成される拡大像のコントラストが低下してしまう。かかるコントラストの低下を防止するために、統括制御部201において、デフォーカス量検出部130により生成される位相差像に基づく照明視野絞りのデフォーカス量の特定処理が行われてもよい。統括制御部201は、特定した照明視野絞りのデフォーカス量を表す情報をコンデンサレンズ駆動制御部207に出力して、照明視野絞りが合焦するようにコンデンサレンズ122の位置を変更させる。
コンデンサレンズ駆動制御部207は、コンデンサレンズ駆動機構142の駆動制御を行って、照明視野絞りが合焦するように、コンデンサレンズ122の位置(光軸ERA上の位置)を修正する。
[位相差像撮像制御部]
位相差像撮像制御部209は、デフォーカス量検出部130に設けられた撮像素子134の制御を行う処理部である。位相差像撮像制御部209は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子134に設定する。また、位相差像撮像制御部209は、撮像素子134から出力される、撮像素子134の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、位相差像に対応する出力信号とする。位相差像撮像制御部209は、位相差像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、位相差像撮像制御部209が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング(換言すれば、露光時間)等を挙げることができる。
[サムネイル像撮像制御部]
サムネイル像撮像制御部211は、サムネイル像撮像部110に設けられた撮像素子113の制御を行う処理部である。サムネイル像撮像制御部211は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子113に設定する。また、サムネイル像撮像制御部211は、撮像素子113から出力される、撮像素子113の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル像に対応する出力信号とする。サムネイル像撮像制御部211は、サムネイル像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、サムネイル像撮像制御部211が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
[拡大像撮像制御部]
拡大像撮像制御部213は、拡大像撮像部120に設けられた撮像素子124の制御を行う処理部である。拡大像撮像制御部213は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子124に設定する。また、拡大像撮像制御部213は、撮像素子124から出力される、撮像素子124の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大像に対応する出力信号とする。拡大像撮像制御部213は、拡大像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、拡大像撮像制御部213が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
[統括制御部]
統括制御部201は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。
統括制御部201は、顕微鏡10により撮像された位相差像に関するデータを取得し、この位相差像データに基づいて、照明視野絞りのデフォーカス量や、スライドガラスの厚み変化量などを算出することができる。かかるデフォーカス量やスライドガラスの厚み変化量等を利用することで、統括制御部201は、顕微鏡10の拡大像撮像部120内に存在する光学系のピント調整を実施し、得られる拡大像のピント精度を更に向上させることができる。
また、統括制御部201は、顕微鏡10により撮像された位相差像に関するデータに基づいて、サンプルのデフォーカス位置やデフォーカス量を算出することも可能である。統括制御部201は、算出したサンプルのデフォーカス位置やデフォーカス量に基づいて顕微鏡10のステージ位置等を制御することにより、顕微鏡10におけるオートフォーカス機能を実現することができる。
この統括制御部201におけるサンプルのデフォーカス量等の算出処理については、以下で改めて詳細に説明する。
また、統括制御部201は、顕微鏡10により撮像されたサムネイル像及び拡大像に関する顕微鏡画像データを顕微鏡10から取得して、これらのデータを現像したり、所定のデジタル加工処理を施したりする。その後、統括制御部201は、サムネイル像及び拡大像からなる顕微鏡画像データを、ネットワーク3を介して画像管理サーバ30にアップロードする。これにより、顕微鏡10によって撮像されたサンプルの顕微鏡画像が、ネットワーク3に接続されたクライアント機器である画像表示装置40によって閲覧可能となる。
以上、図2を参照しながら、本実施形態に係る顕微鏡制御装置20の全体構成について説明した。
<位相差算出処理の概略について>
次に、本実施形態に係る顕微鏡制御装置20が有する統括制御部201の詳細な構成を説明するに先立ち、位相差像を用いて位相差を算出する処理の概略とその問題点について簡単に説明する。
一般的に、位相差像(ステレオ画像)を用いて距離画像を生成する場合、基準画像の各画素又は代表画素及び着目している画素の周辺領域に対して相関の高い画像領域を、比較画像から探索し、両者の画素位置の差を位相差(視差)として用いている。相関の高い画像領域を探索する際には、正規化相関などといった各種の相関値を算出し、得られた相関値の例えば最大値を与える領域を、相関の高い領域として扱うことが多い。
ここで、例えば図5に示したように、基準画像において着目している領域が、細胞組織切片等のサンプルが存在する領域である場合には、図5右下のグラフ図に示したように、算出される相関値は、有効な最大値を持つ。この場合、最大値を与える位相差が、基準画像において着目している領域の位相差となる。
しかしながら、基準画像において着目している領域が、サンプルの存在しない領域となった場合、図5左下のグラフ図に示したように、算出される相関値は、有効な最大値を持たない。しかしながら、サンプルの存在しない領域に着目していない場合であっても、たまたま高い相関値が算出されてしまう場合がある。また、各種の相関値の算出という演算処理は膨大なリソースを要する処理であって、かかるサンプルの存在しない領域に対する高負荷の演算の実施は、演算時間の増加をもたらし、位相差の算出(ひいては、デフォーカス量の特定)の高速化を妨げることとなる。
一般的な環境画像の距離画像を取得するステレオビジョンの場合、テクスチャのない壁や空など、画像上に特徴がない環境映像が入力されると、距離が求められない画像領域(物理的な距離は存在するが見つけられない領域又は探索範囲外)となる。また、周期的なテクスチャがある壁や床面などは相関の高い視差が周期的に発生するため、正確な距離情報の取得が困難となる。
一般的な環境画像の距離画像を取得するステレオビジョンの場合、ロボット装置などの衝突回避などに使われることから、実際には存在する壁面を見落とすことは致命的な問題となる。そこで、相関値のピークを持たないようなテクスチャの無い広い領域を検出した場合、その領域周辺に例えば壁面と床、天井といった接合面を検出し、これら接合面から距離画像で直接観測できない平面を推定するような処理が行われる。しかしながら、屋外の空などの、画素値に特徴的な変化が存在しない対象の場合には、距離検出ができない空の領域周辺に矩形の枠構造が無いことが多いため、このような方法を用いたとしても、距離画像の取得は困難となる。
他方、本発明の実施形態で着目しているような、細胞組織切片等のサンプルを撮像することで得られる位相差像の場合、物理的に撮像対象が存在しない空間や、細胞組織のうち染色されない透明の構造部等は、照明光のみが画像中に投影される領域となる。これらの領域は、特徴的な画素値の変化が存在しないことから、位相差が特定できない画像領域となる。細胞組織切片等のサンプルの場合、一様に連続した繰り返しのテクスチャというものは存在せず、また矩形の領域境界のようなものは存在しない。そのため、上述のような一般的なステレオ画像で用いられる手法を利用したとしても、顕微鏡により撮像されたサンプルの位相差像において、位相差を特定困難な領域を推定することは困難となる。
本発明者らは、上述のような問題を解決すべく鋭意検討を行った結果、以下で説明するような、位相差の推定誤差に起因するデフォーカス量の推定誤差を抑制するとともに、デフォーカス量演算処理に要する負荷を抑制することが可能な方法に想到した。
<統括制御部の構成について>
以下では、図6及び図7を参照しながら、本実施形態に係る顕微鏡制御装置20が有する統括制御部201の構成について、詳細に説明する。図6は、本実施形態に係る統括制御部の構成を示したブロック図であり、図7は、統括制御部が備えるデフォーカス量特定部の構成を示したブロック図である。
本実施形態に係る統括制御部201は、図6に示したように、統括駆動制御部221と、顕微鏡画像取得部223と、画像処理部225と、デフォーカス量特定部227と、顕微鏡画像出力部229と、通信制御部231と、を主に備える。
統括駆動制御部221は、例えば、CPU、ROM、RAM等により実現される。統括駆動制御部221は、顕微鏡10の各部位を制御する制御部(照明制御部203、ステージ駆動制御部205、コンデンサレンズ駆動制御部207、位相差像撮像制御部209、サムネイル像撮像制御部211及び拡大像撮像制御部213)を統括的に制御する駆動制御部である。統括駆動制御部221は、顕微鏡10の各部位に対して、各種の情報(例えば各種の設定パラメータ等)を設定したり、顕微鏡10の各部位から各種の情報を取得したりする。
特に、統括駆動制御部221は、後述するデフォーカス量特定部227から出力されたデフォーカス量に基づいて、ステージ駆動制御部205等の制御を行うことで、顕微鏡10の焦点位置の制御を行うことができる。これにより、本実施形態に係る顕微鏡10において、位相差像を利用したオートフォーカス機能が実現されることとなる。
顕微鏡画像取得部223は、例えば、CPU、ROM、RAM、通信装置等により実現される。顕微鏡画像取得部223は、サムネイル像撮像部110が撮像したサムネイル像に対応するデータ、拡大像撮像部120が撮像した拡大像に対応するデータ及びデフォーカス量検出部130が撮像した位相差像に対応するデータを、各撮像制御部を介して取得する。
顕微鏡画像取得部223は、各撮像制御部を介して画像データを取得すると、取得した画像データを、後述する画像処理部225に出力する。
なお、顕微鏡画像取得部223は、取得したこれらの画像データ(顕微鏡画像データ)を、取得した日時に関する情報等と関連付けて記憶部215等に格納してもよい。
画像処理部225は、例えば、CPU、GPU、ROM、RAM等により実現される。画像処理部225は、顕微鏡画像取得部223から出力された顕微鏡画像に対して、所定の画像処理を実施する。
具体的には、画像処理部225は、顕微鏡画像取得部223から出力された位相差像データ、サムネイル像データ及び拡大像データ(より詳細には、これらの像のRAWデータ)を取得すると、これらRAWデータの現像処理を行う。また、画像処理部225は、画像データの現像処理とともに、これらの像を構成する複数の画像をつなぎ合わせる処理(スティッチング処理)を実施する。
また、画像処理部225は、必要に応じて、得られたデジタル画像データの変換処理(トランスコード)等を実施することも可能である。デジタル画像の変換処理としては、デジタル画像を圧縮してJPEG画像等を生成したり、JPEG画像等に圧縮されたデータを、異なる形式の圧縮画像(例えば、GIF形式等)に変換したりする処理を挙げることができる。また、デジタル画像の変換処理には、圧縮された画像データを一度解凍した上でエッジ強調などの処理を実施して、再度圧縮する処理や、圧縮画像の圧縮率を変更する処理等も含まれる。
画像処理部225は、前述のような画像処理を位相差像データに対して実施した場合、画像処理後の位相差像データを、後述するデフォーカス量特定部227に出力する。また、画像処理部225は、前述のような画像処理をサムネイル像データ及び拡大像データに実施した場合、これらの画像からなる顕微鏡画像と、当該顕微鏡画像を特徴づける各種のメタデータとを、後述する顕微鏡画像出力部229に出力する。
デフォーカス量特定部227は、例えば、CPU、GPU、ROM、RAM等により実現される。デフォーカス量特定部227は、顕微鏡10により撮像されたサンプルの位相差像に基づいて、サンプルのデフォーカス量を特定する。この際、デフォーカス量特定部227は、位相差像のうち、サンプルに該当する領域と、サンプルに該当する部分が存在しない領域とを判別して、デフォーカス量の特定処理を実施する。前述のように、デフォーカス量を特定する際には、各種の相関値を算出することで位相差像を構成する一組の画像間の位相差が利用されるが、かかる相関値の算出には、膨大な演算時間やリソースがかかることとなる。本実施形態に係るデフォーカス量特定部227は、サンプルに該当する領域に対してデフォーカス量の特定処理を実施することにより、位相差の推定誤差に起因するデフォーカス量の推定誤差を抑制するとともに、デフォーカス量演算処理に要する負荷を抑制する。
本実施形態に係るデフォーカス量特定部227の詳細な構成及び機能については、以下で改めて説明する。
顕微鏡画像出力部229は、例えば、CPU、ROM、RAM等により実現される。顕微鏡画像出力部229は、画像処理部225から出力された顕微鏡画像及び当該顕微鏡画像に付随するメタデータ等の各種の情報を、後述する通信制御部231を介して画像管理サーバ30に出力する。これにより、顕微鏡10によって撮像されたサンプルの顕微鏡画像(デジタル顕微鏡画像)が、画像管理サーバ30によって管理されることとなる。
通信制御部231は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部231は、顕微鏡制御装置20と、顕微鏡制御装置20の外部に設けられた画像管理サーバ30との間で、ネットワーク3を介して行われる通信の制御を行う。
<デフォーカス量特定部の構成について>
次に、図7を参照しながら、本実施形態に係るデフォーカス量特定部227の構成について、詳細に説明する。図7は、本実施形態に係るデフォーカス量特定部227の構成を示したブロック図である。
ここで、顕微鏡10のデフォーカス量検出部130により撮像される位相差像は、サンプルのデフォーカス位置を特定して、視野中に存在するサンプルの合焦面にフォーカスを一致させるために用いられる。従って、拡大像及び位相差像の双方において、物理的にサンプルが存在しない空間やサンプルである細胞組織のうち染色されない透明の構造部等は、照明光のみが投影される領域であり、フォーカス面を検出する対象領域として無効な領域となる。
この無効な領域の判定は、前述のように、基準画像の任意の評価領域と対応する比較画像の任意領域との相関演算の結果を用い、相関値に有意なピークが存在するか否かで判定可能である。しかしながら、相関値演算の演算量は非常に膨大であり、演算の結果「無効領域である」という解しか得られない領域に、多くの処理時間やリソースを用いることは望ましくない。
そこで、本実施形態に係るデフォーカス量特定部227は、このような相関値がピークを示さない領域を相関値演算を行う前に特定することで、相関値のピークを誤って判定することによって生じるデフォーカス量の特定誤差を抑制することができる。また、相関値がピークを示さない領域を相関値演算前に特定することで、本来実行しなくともよい相関値演算を実行せずにすむため、デフォーカス量の特定処理に要する時間を短縮することが可能となる。
具体的には、上述のような物理的にサンプルが存在しない空間や細胞組織のうち染色されない透明の構造部等は、拡大像及び位相差像のいずれにおいても、撮影画像中に照明光のみが投影された領域となる。かかる領域を特定するために、本実施形態に係るデフォーカス量特定部227は、選択された基準画像の任意の評価領域について、領域内の輝度値の分散を算出する。ここで、本実施形態に係るデフォーカス量特定部227は、分散値が所定の閾値よりも小さい場合に、構造物が結像していないと判断し、「着目している評価領域は、照明光のみが投影されたサンプルの存在しない領域である」と判定する。
以下では、上述のような領域判定処理を実施した上で、サンプルのデフォーカス量の特定処理を、高速かつ正確に実施することが可能なデフォーカス量特定部227の構成について、詳細に説明する。
本実施形態に係るデフォーカス量特定部227は、図7に示したように、領域設定部251と、分散値算出部253と、領域判定部255と、相関値算出部257と、デフォーカス量算出部259と、を主に備える。
領域設定部251は、例えば、CPU、ROM、RAM等により実現される。領域設定部251は、一組の位相差像のうち一方の画像(基準画像)に着目し、基準画像を構成する画素(x,y)それぞれについて、所定の大きさを有する矩形の領域を設定する。設定される矩形の領域(以下、評価領域、探索窓領域とも称する。)は、例えば、着目している画素(x,y)を含む、横(2wx+1)ピクセル、縦(2wy+1)ピクセルの大きさを有する矩形領域とすることができる。
図8に示した例では、領域設定部251は、着目画素P1(画素座標:x,y)を中心として、左右にwxピクセルの幅を有し、上下にwyピクセルの高さを有する、(2wx+1)×(2wy+1)ピクセルの大きさの矩形を、評価領域としている。
ここで、矩形領域の大きさを規定するパラメータであるwx,wyの大きさは、特に限定されるわけではなく、撮像対象であるサンプルの種別や撮像倍率等に応じて適宜設定すればよい。例えば、サンプルの位相差像が40倍の倍率で撮像されている場合、評価領域の大きさは、15×15ピクセル程度(すなわち、wx=wy=7ピクセル程度)とすることができる。また、細胞組織を撮像した拡大像を観察する場合、ユーザは、主に細胞核に注目して観察を行う事が多く、焦点は細胞核に対してあっていることが望ましい。そのため、細胞核に対して位相差方式でのデフォーカス量検出を行う場合、探索窓領域の大きさを、細胞核の大きさの二倍程度に設定することが望ましい。これにより、細胞核の画像の特徴がより多くの探索窓領域で検出されるようになり、細胞核を正確に検出することができる。
なお、探索窓領域を必要以上に大きく設定した場合、デフォーカス量の算出に要する処理時間が増大するとともに、細胞核よりも大きな構造(例えば、細胞質、筋繊維、脂肪等)に焦点検出が影響を受けてしまい、細胞核に焦点が合いにくくなる可能性がある。
領域設定部251は、このようにして、ある着目画素(x,y)に対して矩形領域を設定すると、着目画素及び設定した矩形領域に含まれる画素を特定した情報(矩形領域情報)を、後述する分散値算出部253及び領域判定部255に出力する。
なお、上記説明の場合では、矩形領域は、基準画像を構成する全ての画素に対して設定されることとなる。しかしながら、領域設定部251は、全ての画素に対して矩形領域を設定しなくともよく、例えば、1つおきの画素に対して矩形領域を設定するなど、設定する矩形領域の個数を適宜調整してもよい。換言すれば、設定される矩形領域の個数は、サンプルに対応する部分が存在しない領域を特定する際の精度等に応じて、適宜設定されればよい。
また、パラメータwx,wyの大きさは、着目している基準画像内では一定としてもよく、基準画像内の場所に応じて動的に変化させてもよい。例えば、領域設定部251は、各種のエッジ検出処理等を利用して、サンプルに該当する部分とそうでない部分との境界位置を特定した上で、境界に近い部分では矩形領域の大きさを小さくするようにしてもよい。
評価値算出部の一例である分散値算出部253は、例えば、CPU、GPU、ROM、RAM等により実現される。分散値算出部253は、基準画像として着目している位相差像の一方の画像について、領域設定部251から通知された矩形領域情報に基づいて、矩形領域という局所的な領域毎に、サンプルの有無を評価するための評価値として、輝度値の分散値を算出する。
具体的には、分散値算出部253は、領域設定部251から通知された矩形領域情報を参照して、着目画素(x,y)の位置と、この着目画素に対して設定された矩形領域(探索窓領域)に含まれる画素がどれかを特定する。その後、分散値算出部253は、探索窓領域に含まれる画素に対応する輝度値を、基準画像の位相差像データを参照することで取得する。その後、分散値算出部253は、着目している探索窓領域の輝度値の平均値を算出するとともに、以下に示した式101に基づいて、着目している探索窓領域の輝度値の分散値σ2 x,yを算出する。
なお、上記式101において、Ax,yは、画素(x,y)の輝度値を表し、Ax,y AVEは、着目している探索窓領域における輝度値の平均値を表している。
分散値算出部253は、このようにして算出した探索窓領域の輝度値の分散値を、後述する領域判定部255に出力する。
また、分散値算出部253は、探索窓領域の輝度値の分散値を算出するまでに得られた各種の途中経過に対応する演算値を、後述する相関値算出部257に出力してもよい。後述するように、輝度値の分散値を算出する際に利用される演算の一部は、相関値を算出する際に用いられる演算と同一であり、かかる値を共有することによって、演算に要する時間やリソース等を抑制することができる。
領域判定部255は、例えば、CPU、GPU、ROM、RAM等により実現される。領域判定部255は、領域設定部251から出力された矩形領域情報及び分散値算出部253から出力された分散値を参照し、着目している矩形領域が、サンプルに対応する部分を含む領域であるか、サンプルに対応する部分を含まない領域であるかを判定する。
具体的には、領域判定部255は、領域設定部251から出力された矩形領域情報と、分散値算出部253から出力された分散値を参照して、分散値が所定の閾値以上か否かを判断する。領域判定部255は、分散値が所定の閾値以上であった場合、矩形領域情報に記載されている探索窓領域は、サンプルに該当する部分が含まれる領域であると判断する。他方、分散値が所定の閾値未満であった場合、領域判定部255は、矩形領域情報に記載されている探索窓領域は、サンプルに該当する部分が含まれない領域であると判断する。領域判定部255は、このような判定処理を、分散値算出部253から出力された分散値それぞれに対して実施する。
ここで、サンプルに該当する部分が含まれているか否かの判定に用いられる閾値は、事前に予め決定された静的な値であってもよく、例えばサンプルの種類等に応じて適宜設定される動的な値であってもよい。
分散値が算出される探索窓領域は、着目している画素(着目画素)を中心とし、その周囲に所定の幅を持たせた矩形領域である。そのため、着目画素(x,y)に関する探索窓領域と、例えば着目画素(x+1,y)に関する探索窓領域とは、これら探索窓領域の多くの部分は、重複している領域となる。従って、算出された分散値が閾値以上となった領域の和集合を、サンプルに該当する部分が含まれる領域(以下、サンプル部分含有領域とも称する。)と判断することができる。
領域判定部255は、通知された分散値について判定結果が確定すると、当該判定結果を後述する相関値算出部257に出力する。後述する相関値算出部257は、分散値が閾値以上となった探索窓領域に対して、以下で説明するような相関値の算出処理を実施する。
なお、領域判定部255は、通知された分散値毎に判定結果を出力せずに、着目している基準画像全体についてサンプル部分含有領域を決定した後に、かかるサンプル部分含有領域を示す情報を、後述する相関値算出部257に出力してもよい。
相関値算出部257は、例えば、CPU、GPU、ROM、RAM等により実現される。相関値算出部257は、位相差像の一方(基準画像)におけるサンプルが撮像されている領域について、他方の位相差像(比較画像)との間の相関値を算出する。具体的には、相関値算出部257は、領域判定部255から判定結果が出力された探索窓領域について、判定結果がサンプルに該当する部分を含まないことを示すものであった場合、相関値算出せずに、処理を終了する。また、相関値算出部257は、判定結果がサンプルに該当する部分を含むことを示すものであった場合、探索窓領域の各画素又は代表画素とその周辺領域について、比較画像との相関値(例えば、正規化相関値)を算出する。相関値算出部257は、相関値の算出を、位相差像データに記載されている輝度値を参照しながら、例えば以下の式102に則して実施する。
ここで、上記式102において、
x,y:基準画像の任意の画素座標(図8における座標P1)
X,Y:基準画像の座標(x,y)に対応する比較画像の基準位置座標(図8における座標P2)
k:探索する位相差(−D≦k≦D)
Ax,y:基準画像の座標(x,y)における輝度値
BX,Y:比較画像の座標(X,Y)における輝度値
Ax,y AVE:基準画像の座標(x,y)を中心とする探索窓領域内の輝度値の平均値
BX,Y AVE:比較画像の座標(X,Y)を中心とする探索窓領域内の輝度値の平均値
である。
また、探索する位相差の範囲を規定するパラメータDは、後述するデフォーカス量算出部259での位相差の算出精度等に応じて、適宜決定すればよい。
上記式102及び図8から明らかなように、相関値算出部257は、基準画像における相関値を算出すべき領域が規定されると、その領域の代表画素(例えば、領域の中心に位置する着目画素P1)に対応する比較画像の画素(図8における画素P2)を特定する。その後、相関値算出部257は、基準画像における画素P1に対応する比較画像の画素P2を中心として−kから+kの範囲について、式102に基づき相関値(正規化相関値)を算出する。従って、基準画像において、ある着目画素(x,y)が指定されると、相関値算出部257は、探索する位相差の範囲内において複数の相関値を算出することとなる。
相関値算出部257は、サンプルに該当する部分を含む領域について相関値を算出すると、算出した相関値を表す情報を、後述するデフォーカス量算出部259に出力する。
デフォーカス量算出部259は、例えば、CPU、GPU、ROM、RAM等により実現される。デフォーカス量算出部259は、相関値算出部257により算出された相関値に基づいて、一組の位相差像間の位相差(すなわち、基準画像と比較画像との間の位相差)を算出する。また、デフォーカス量算出部259は、算出した位相差に基づいて、サンプルのデフォーカス量を算出する。
具体的には、デフォーカス量算出部259は、基準画像における着目画素(x,y)について存在する、−k〜+kまでの(2k+1)個の位相差に対応する相関値の中から、相関値の最大値を与える位相差を検出する。デフォーカス量算出部259は、例えば図5に示したように、最大の相関値を与える位相差を、ある着目画素に関する基準画像−比較画像間の位相差とする。
また、位相差像における位相差とサンプルのデフォーカス量とは相関関係があるため、デフォーカス量算出部259は、事前に決定しておいた位相差とデフォーカス量との相関関係と、算出した位相差とを利用することで、サンプルのデフォーカス量を算出できる。
なお、デフォーカス量算出部259が算出した位相差からサンプルのデフォーカス量を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用可能である。
デフォーカス量算出部259は、このようにして算出したデフォーカス量を、統括駆動制御部221に出力する。統括駆動制御部221は、このようにして算出されたデフォーカス量を利用して、例えばステージ駆動制御部205を制御することで、顕微鏡10におけるオートフォーカス機能を実現することができる。
以上説明したように、本実施形態に係るデフォーカス量特定部227では、基準画像の探索窓領域内の輝度値の分散値に着目して、観測対象であるサンプルに対応する部分が存在しない領域を判定することができる。これにより、本実施形態に係るデフォーカス量特定部227は、領域の誤検出に起因するデフォーカス量の推定誤差を抑制し、かつ、サンプルに対応する部分が存在しない領域に対する相関値算出演算を実施しないことで、演算時間の短縮化や演算に要するリソースの抑制を実現することが可能である。
以上、本実施形態に係る顕微鏡制御装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る顕微鏡制御装置20の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<領域判定方法及び位相差算出方法について>
次に、図9を参照しながら、本実施形態に係るデフォーカス量特定部227で実施される領域判定方法及び位相差算出方法について、その流れを説明する。図9は、本実施形態に係る領域判定方法及び位相差算出方法の流れを示した流れ図である。
なお、以下の説明に先立ち、デフォーカス量特定部227の領域設定部251は、位相差像の一方を基準画像として選択し、基準画像のある一つの隅(例えば、左下隅)に対応する画素(x,y=0,0)を、最初の着目画素として選択しているものとする。
まず、デフォーカス量特定部227の領域設定部251は、基準画像における着目画素のy座標が、基準画像のY座標の最大値(高さの最大値Y)以下であるか否かを判断する(ステップS101)。着目画素のy座標が、基準画像の高さの最大値Y以下ではない場合には、デフォーカス量特定部227は、処理を終了する。
また、着目画素のy座標が基準画像の高さの最大値Y以下である場合、領域設定部251は、着目画素のx座標が基準画像の幅の最大値X以下であるか否かを判断する(ステップS103)。着目画素のx座標が基準画像の幅の最大値X以下ではない場合、領域設定部251は、着目画素のy座標を1画素増やして(ステップS105)、ステップS101を再び実行する。
他方、領域設定部251は、着目画素のx座標が基準画像の幅の最大値X以下である場合、着目画素の座標(x,y)の周辺の画素を含む領域を探索領域として設定して矩形領域情報を生成する。その後、領域設定部251は、生成した矩形領域情報を分散値算出部253に出力する。分散値算出部253は、取得した矩形領域情報に基づいて、矩形領域情報に記載されている領域(探索窓領域)の輝度の分散値を算出する(ステップS107)。分散値算出部253は、算出した分散値を、領域判定部255に出力する。
領域判定部255は、通知された分散値が所定の閾値未満であるか否かを判断する(ステップS109)。通知された分散値が所定の閾値未満である場合、領域判定部255は、その旨を相関値算出部257に出力する。その結果、相関値算出部257は、かかる座標(x,y)については相関値の算出処理を行わず、デフォーカス量算出部259は、座標(x,y)の位相差を無効値として取り扱う(ステップS111)。その後、領域設定部251は、後述するステップS121を実施する。
また、ステップS109において、通知された分散値が所定の閾値以上であった場合、領域判定部255は、その旨を相関値算出部257に通知し、相関値算出部257は、検出する位相差を表すパラメータkを初期値に設定する。
次に、相関値算出部257は、パラメータkと、探索する位相差の範囲を表すパラメータDによって規定されるパラメータKとの大小関係について比較を行う(ステップS113)。すなわち、−K≦k≦Kが成立する場合、相関値算出部257は、着目座標(x,y)の周辺領域と、比較画像の座標(x+k,y)の周辺領域との相関値を、式102に基づいて算出する(ステップS115)。その後、相関値算出部257は、パラメータkの値を1増加させて(ステップS117)、ステップS113を再び実行する。
他方、−K≦k≦Kが成立しない場合、相関値算出部257は、算出した相関値全てを、デフォーカス量算出部259に出力する。デフォーカス量算出部259は、通知された相関値を参照して、相関値のピーク位置を与える位相差を、座標(x,y)の位相差として決定する(ステップS119)。その後、領域設定部251は、後述するステップS121を実施する。
ステップS121では、領域設定部251は、着目画素のx座標を1増加させて(ステップS121)、ステップS103を再び実施する。
このような処理を実施することで、本実施形態に係るデフォーカス量特定部227は、サンプルに対応する部分を含む領域に対する位相差の決定を行うことができる。
(ハードウェア構成について)
次に、図10を参照しながら、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成について、詳細に説明する。図10は、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成を説明するためのブロック図である。
顕微鏡制御装置20は、主に、CPU901と、ROM903と、RAM905と、GPU(Graphics Processing Unit)906と、を備える。また、顕微鏡制御装置20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。また、GPU906は、顕微鏡制御装置20内で実施される各種の画像処理に関する演算処理を実施する演算処理装置及び制御装置として機能する。GPU906は、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の画像処理の動作全般又はその一部を制御する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、顕微鏡制御装置20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。顕微鏡制御装置20のユーザは、この入力装置915を操作することにより、顕微鏡制御装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、顕微鏡制御装置20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、顕微鏡制御装置20が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、顕微鏡制御装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、顕微鏡制御装置20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を顕微鏡制御装置20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、顕微鏡制御装置20は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信、各種の専用通信又は衛星通信等であってもよい。
以上、本発明の実施形態に係る顕微鏡制御装置20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(まとめ)
以上説明したように、本発明の実施形態に係る顕微鏡制御装置20では、位相差像から位相差を演算する際に、基準画像の探索窓領域内の輝度値の分散値に着目して、観測対象であるサンプルに対応する部分が存在しない領域を判定することができる。これにより、本発明の実施形態に係る顕微鏡制御装置20は、領域の誤検出に起因するデフォーカス量の推定誤差を抑制し、かつ、サンプルに対応する部分が存在しない領域に対する相関値算出演算を実施しないことで、演算時間の短縮化や演算に要するリソースの抑制を実現することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、本発明の実施形態に係るデフォーカス量の算出処理を顕微鏡制御装置20が実施している場合について説明したが、本発明はかかる例に限定されない。例えば、本発明の実施形態に係るデフォーカス量の算出処理を、顕微鏡自体が実施してもよい。