JP6071177B2 - 顕微鏡、画像取得装置及び画像取得システム - Google Patents

顕微鏡、画像取得装置及び画像取得システム Download PDF

Info

Publication number
JP6071177B2
JP6071177B2 JP2011190375A JP2011190375A JP6071177B2 JP 6071177 B2 JP6071177 B2 JP 6071177B2 JP 2011190375 A JP2011190375 A JP 2011190375A JP 2011190375 A JP2011190375 A JP 2011190375A JP 6071177 B2 JP6071177 B2 JP 6071177B2
Authority
JP
Japan
Prior art keywords
imaging
image
test object
slide
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011190375A
Other languages
English (en)
Other versions
JP2012108476A5 (ja
JP2012108476A (ja
Inventor
辻 俊彦
俊彦 辻
宏文 藤井
宏文 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011190375A priority Critical patent/JP6071177B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP11779865.2A priority patent/EP2633358A1/en
Priority to BR112013009408A priority patent/BR112013009408A2/pt
Priority to CN201180051439.1A priority patent/CN103180769B/zh
Priority to KR1020137012934A priority patent/KR20130083453A/ko
Priority to PCT/JP2011/073774 priority patent/WO2012056920A1/en
Priority to RU2013124820/28A priority patent/RU2540453C2/ru
Priority to US13/823,062 priority patent/US20130169788A1/en
Publication of JP2012108476A publication Critical patent/JP2012108476A/ja
Publication of JP2012108476A5 publication Critical patent/JP2012108476A5/ja
Application granted granted Critical
Publication of JP6071177B2 publication Critical patent/JP6071177B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

本発明は、顕微鏡、画像取得装置及び画像取得システムに関する。
病理学の分野等で、スライドの像を撮像することによりデジタル画像(バーチャルスライド画像)を顕微鏡(デジタル顕微鏡)で取得し、そのデジタル画像を高解像度で表示装置に表示する画像取得システムが注目されている。
顕微鏡ではスライドを高解像度で高速に撮像することが求められており、そのためには、スライドのなるべく広い領域を高解像度で一度に撮像する必要がある。そこで、広視野かつ高解像度の対物レンズを用い、その視野内に撮像素子群を配置している顕微鏡が提案されている(特許文献1)。
なお、高解像度のデジタル画像を効率良く取得するために、低解像度でスライドの像を撮像することでスライド上の試料(生体サンプル)の存在する領域を予め計測し、その領域のみで高解像度の撮像を行う顕微鏡が提案されている(特許文献2)。また、複数個の生体サンプルを含むスライドの像を撮像する場合に、生体サンプル毎に対物レンズの焦点を変更する顕微鏡が提案されている(特許文献3)。
特開2009−003016 特開2007−310231 特開2007−233098
対物レンズの解像度を高くすると、対物レンズの焦点深度が浅くなってしまう。また、スライドガラスとカバーガラスの間に試料を密封するためにスライドガラスとカバーガラスを接着すると、カバーガラス及び試料が変形してしまう場合がある。試料が変形してその表面がうねってしまうと、試料の一部が対物レンズの焦点深度内に入りきらなくなり、ボケの少ない良好な画像を取得できない。
そこで、本発明は、広視野かつ高解像度の対物レンズを用いた場合でも、ボケの少ない良好なデジタル画像を取得することができる顕微鏡を提供することを目的とする。
本発明の一側面としての顕微鏡は、被検物を結像する結像光学系と、共通の前記結像光学系を介して前記被検物の表面における互いに異なる領域を撮像する複数の撮像部と、を備え、前記複数の撮像部のそれぞれは、撮像素子と、前記被検物の表面形状に応じて前記撮像素子を移動する移動機構と、を含み、前記複数の撮像部のそれぞれにおける前記移動機構は、互いに独立して前記撮像素子を移動することを特徴とする。本発明のその他の側面については、以下で説明する実施の形態で明らかにする。
ボケの少ない良好なデジタル画像を取得することができる顕微鏡を提供することができる。
画像取得システム100の図である。 被検物30の図である。 対物レンズ40の図である。 撮像ユニット50の図である。 計測装置2の図である。 被検物30における透過光T及び反射光Rを説明する図である。 被検物30の存在領域Eを説明する図である。 シャックハルトマン波面センサ902の図である。 検出器アレイ922の図である。 計測装置2の変形例(2a)の図である。 合焦曲面の模式図である。 Yi軸に沿って並ぶ撮像素子501a〜501dを説明するための図である。 撮像素子の移動のさせ方を説明するための図である。 撮像ユニット50の変形例(50a)の図である。 画像取得装置の動作のフローチャートである。 合焦曲面に傾きが生じた場合について説明するための図である。
本発明の一側面としての画像取得装置は、複数の撮像素子と複数の移動機構とを含み、前記複数の移動機構の夫々は前記複数の撮像素子の夫々を移動するように構成されている。
ここで、複数の移動機構の夫々が複数の撮像素子の夫々を移動するというのは、具体的には、以下のようなものである。まず、複数の移動機構のうち1個ないし数個(典型的には後述する形態のように、3個)が1つの撮像素子に接続されている。そして、この1個ないし数個の移動機構が、1つの撮像素子の位置及び/又は傾きを変化させる。もっとも典型的な形態では、すべての撮像素子に、1個ないし数個の移動機構が接続されており、夫々の撮像素子の位置及び/又は傾きを独立に制御することが可能である。
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は、画像取得システム100の図である。図1に基づいて、本実施形態の画像取得システム100について説明する。画像取得システム100は、被検物(スライド)の画像を取得し、その画像を表示するためのシステムである。
画像取得システム100は、スライド30の像を撮像する顕微鏡(デジタル顕微鏡)1と、スライド30の予備計測を行う計測装置2と、顕微鏡1及び計測装置2を制御しデジタル画像を作成する制御装置3と、デジタル画像を表示する表示装置4を備える。画像取得システム100は、計測装置2でスライド30の予備計測を行ってから、顕微鏡でスライド30の像を撮像する。なお、顕微鏡1と計測装置2と制御装置3は、スライドのデジタル画像を取得する画像取得装置を構成している。
まず、顕微鏡1について説明する。
顕微鏡1は、スライド30を照明する照明ユニット10と、スライド30の像を結像する対物レンズ40と、スライド30の像を撮像する撮像ユニット50と、撮像ユニット50を保持する撮像ユニットステージ60を有する。スライドステージ20は、スライド30を保持し移動する部材である。
照明ユニット10は、光源部と、光源部からの光をスライド30へ導く光学系とを含む。光源部の光源としては、白色光源又はRGBの各波長の光が切り替え可能な光源などを用いることができる。なお、本実施形態では、RGBを切り替え可能なLED光源を用いている。光学系は、光源部からの発散光を平行光にするコリメータと、平行光を導光し且つスライド30をケーラー照明するためのケーラー照明系を持つ。光学系は、光学フィルタを持っていても良い。なお、照明ユニット10は、スライド30を通常照明及び輪帯照明の切り替えができるように構成されていることが好ましい。
スライドステージ20は、スライド30を保持する保持部(不図示)と、保持部をXY方向に移動するXYステージ22と、保持部をZ方向に移動するZステージ24を含む。ここで、Z方向は、対物レンズ40の光軸方向に相当し、XY方向は、その光軸に垂直な方向に相当する。XYステージ22及びZステージ24には、照明ユニット10からの光を通過させるための開口が設けられている。なお、スライドステージ20は、顕微鏡1と計測装置2との間を往来可能に構成されている。
図2は、被検物30の図である。被検物の一例であるスライド(プレパラート)30は、図2に示したように、カバーガラス301と試料302とスライドガラス303を含む。スライドガラス303上に配置された試料302(組織切片等の生体サンプルなど)は、カバーガラス301及び接着剤(不図示)で密封されている。スライドガラス303上には、例えばスライドガラスの識別番号及びカバーガラスの厚さなどスライド30(試料302)を管理するのに必要な情報が記録されたラベル(バーコード)333が貼付されていてもよい。なお、本実施形態では、画像取得の対象となる被検物としてスライド30を例示したが、それ以外の物を被検物としても良い。
図3は、対物レンズ40の図である。対物レンズ40は、スライド30の像を所定の倍率で拡大しつつ撮像ユニット50の撮像面上に結像するための結像光学系である。具体的には、図3に示したように、対物レンズ40は、レンズ及びミラーを含み、物体面A上の物体の像を像面B上に結像する。本実施形態において、対物レンズ40はスライド30と撮像ユニット50の撮像面とが光学的に共役となるように配置されており、物体がスライド30に相当し、像面Bが撮像ユニット50の撮像面に相当する。対物レンズ40の物体面側の開口数NAは0.7以上が好ましい。また、対物レンズ40は、物体面上の少なくとも10mm×10mmの領域を一度に良好に結像することができるように構成されていることが好ましい。
図4(a)は、撮像ユニット50の上面図である。撮像ユニット50は、図4(a)に示したように、対物レンズ40の視野F内に2次元的に配列している(タイリングされている)複数の撮像素子501からなる撮像素子群555を含む。複数の撮像素子501は、スライド30の異なる複数の部分の像を同時に撮像するように構成されている。撮像素子としては、CCDやCMOS等の(2次元)撮像素子を用いることができる。撮像ユニット50に搭載される撮像素子の数は、対物レンズ40の視野の面積に応じて適宜決定される。撮像素子の配置も、対物レンズ40の視野の形状や撮像素子の形状・構成などによって適宜決定される。本実施形態では、説明を分かり易くするために、撮像素子群555としてX−Y方向に5×4個のCMOSが並んでいるものを用いる。一般的な撮像ユニット50では、撮像素子501の撮像面の周囲に基板面が存在するため、撮像素子501どうしを隙間なく隣接して配置することは不可能である。そのため、撮像ユニット50での1回の撮影で得られる画像は、撮像素子501どうしの隙間に対応する部分が抜け落ちたものとなってしまう。そこで本実施形態の画像取得装置では、この撮像素子501どうしの隙間を埋めるため、スライドステージ20を移動してスライド30と撮像素子群555との相対位置を変更しながら撮像を複数回行うことで、抜けのない試料302の画像を取得する構成としている。この動作を高速に行うことにより、撮像に要する時間を短縮しつつ、広い領域の撮像を行うことができる。なお、撮像ユニット50は、撮像ユニットステージ60上に配置されているので、スライドステージ20を移動する代わりに、撮像ユニットステージ60を移動してもよい。さらに、撮像ユニット50は、複数の移動機構を含む移動部を有する。複数の移動機構の夫々は、複数の撮像素子501の夫々の撮像面を移動する。その具体的を図4(b)に基づいて説明する。図4(b)は、図4(a)のB−B断面矢視図である。図4(b)に示したように、撮像素子501には、基板502、電気回路503、保持部材504、接続部材505、移動部材(シリンダ)506が設けられており、撮像部500を構成している。また、移動部材506は定盤560上に設けられている。なお、接続部材505と移動部材506は、移動機構を構成する。接続部材505及び移動部材506は、撮像素子501毎に3つずつ設けられている(図4(b)では、そのうちの手前の2つのみを図示している)。接続部材505は、保持部材504に固定されており、移動部材506との接続部を中心として回転可能に構成されている。したがって、移動機構は、撮像素子501の撮像面のZ方向の位置を変更できるとともに、その撮像面の傾きを変更できるように構成されている。
撮像ユニットステージ60は、XYZ方向の夫々に移動可能に構成されており、撮像素子群555の位置を調整できる。また、撮像ユニットステージ60は、XYZ軸の夫々に関して回転可能に構成されており、撮像素子群555の傾きや回転を調整できる。
次に、計測装置2について説明する。
計測装置2は、図1に示したように、スライド30を照明する照明部70と、スライド30上の試料の存在する領域(存在領域)を計測する存在領域計測部80と、スライド30の表面形状を計測する表面形状計測部90を有する。
図5は、計測装置2の図である。照明部70は、図5に示したように、光源701、集光レンズ702、ピンホール板703、コリメータレンズ704、絞り710、偏光ビームスプリッタ705、λ/4板706、絞り711を含む。光源701からの光は集光レンズ702でピンホール板703のピンホール上に集光される。ピンホールからの光(球面波)はコリメータレンズ704で平行光(平面波)に整形される。その平行光は、絞り710を介して偏光ビームスプリッタ705で反射され、λ/4板706及び絞り711を介してスライド30に入射する。なお、光源としては、LED光源又は半導体レーザなどを使用することができる。また、ピンホール板703は、理想球面波とみなすことができる球面波が射出するように構成されている。照明部70からの平行光は、少なくともカバーガラス301全域を照明するように構成されている。
図6は、被検物30における透過光T及び反射光Rを説明する図である。図6に示したように、スライド30のカバーガラス301に平面波として入射した入射光Iは、スライド30を透過した透過光Tとカバーガラス301の表面で反射された反射光Rとに分割される。ここで、反射光Rは、カバーガラス301の表面のうねりに対応して、その波面Wが歪んでいる。本実施形態では、透過光Tは存在領域計測部80へ入射し、反射光Rは絞り711及びλ/4板706を介して偏光ビームスプリッタ705を透過し表面形状計測部90へ入射する。
図5に示したように、存在領域計測部80は、フィルタ801と、カメラ803を含む。フィルタ801は、NDフィルタであり、カメラ803に入射する光の光量を調節する。カメラ803は、例えばCCDカメラであり、少なくともカバーガラス301全域を撮像するように構成されている。なお、光源701としてレーザを使うことでスペックルが発生する場合があるので、その場合にはランダム位相板802を透過光Tの光路中に配置して、移動機構(不図示)で移動(例えば、回転)すると良い。カメラ803に入射する光のうち、試料302を透過した光の光量は、試料302を透過しなかった光の光量に比べて少ない。したがって、スライド30における試料302の存在領域は、カバーガラス301及び試料302及びスライドガラス303を透過した光と、カバーガラス301及びスライドガラス303を透過した光とのコントラスト差を利用して求めることができる。例えば、カメラ803で撮像された画像情報は制御装置3に入力され、制御装置3では輝度が所定の閾値L以下である領域を試料302の存在領域として認識するという演算を行う。図7は、被検物30の存在領域Eを説明する図である。図7に示したように、存在領域Eを矩形で定義する場合には、座標値X1、X2、Y1、Y2の値を演算により求めることで、試料302の存在領域Eを決定することができる。
図5に示したように、表面形状計測部90は、変倍光学系901と、入射光の波面を測定する波面センサ902を有する。変倍光学系901は、スライド30と波面センサ902とが光学的に共役になり、結像倍率が可変となるように構成されている。本実施形態では、波面センサ902としてシャックハルトマン波面センサを用いているが、シャックハルトマン波面センサの代わりに干渉計(例えば、シアリング干渉計など)を用いて反射光Rの波面を検出してもよい。カバーガラス301の表面形状の計測にカバーガラス301の表面を一度に検出できる波面センサを用いることで、カバーガラス301の表面形状を高速かつ正確に計測できる。また、表面形状計測部90では、カバーガラス301の表面からの反射光Rを用いてカバーガラス301の表面形状を計測しているので、透過光Tを用いて計測した場合に比べて試料302やスライドガラス303の影響を計測結果が受け難い。したがって、図5に示すように配置した表面形状計測部90によれば、カバーガラス301の表面形状をより正確に計測することが可能となる。
図8は、シャックハルトマン波面センサ902の図である。シャックハルトマン波面センサ902は、図8に示すように、複数のレンズが2次元的に配列しているレンズアレイ912と、複数の検出器が2次元的に配列している検出器アレイ922を有する。レンズアレイ912のレンズは、入射光(反射光R)を波面分割し、かつ、その波面分割された光を検出器アレイ922の検出器上に集光する。シャックハルトマン波面センサ902を用いた表面形状の計測法を図8に加えて図9を用いて説明する。なお、図9は、シャックハルトマン波面センサ902の検出器アレイ922の図であり、白丸○は検出器の中心、黒丸●は集光位置を表す。図8(a)に示したように、入射光の波面Wが平面の場合には、波面分割された光は検出器の中心(レンズの光軸上)に集光される(図9(a))。しかし、図8(b)に示したように、入射光の波面Wが歪んでいる場合には、波面分割された光の傾きに応じて、検出器の中心から外れた場所に入射光の集光位置がズレる(図9(b))。制御装置3は、この集光位置のズレ量の測定値に基づいて入射光の波面形状を算出し、算出された波面形状からカバーガラス301の表面形状を求める。
なお、本実施形態では、透過光Tを存在領域計測部80で用い、反射光Rを表面形状計測部90で用いる構成とした。しかし、図10に示したように、存在領域計測部80と表面形状計測部90の場所を入れ替えて、反射光Rを存在領域計測部80で用い、透過光Tを表面形状計測部90で用いる構成としてもよい。この構成は、カバーガラス301の表面形状のうねりによる波面のうねりのほうが、試料302及びスライドガラス303による波面のうねりよりもある程度大きい場合に有効である。また、この構成は、スライド30を透過する透過光Tの光量のほうがスライド30で反射する反射光Rの光量よりも一般的に大きいため、波面センサ902の感度が低い場合に有効である。なお、図10は、計測装置2の変形例(2a)の図である。
計測装置2及び計測装置2aでは、透過光T及び反射光Rのうち一方の光を存在領域計測部80で用い、他方の光を表面形状計測部90で用いており、存在領域計測装置と表面形状計測装置の間で照明部を共有している。そのため、装置をコンパクトにすることができ、存在領域と表面形状とを同時に計測できるので計測時間を短くすることができる。
次に、制御装置3について説明する。
制御装置3は、CPU、メモリ、ハードディスクなどを含むコンピュータによって構成される。制御装置3は、顕微鏡1を制御して撮像を行うとともに、顕微鏡1で撮像したスライド30の像のデータを処理することで、デジタル画像を作成する。具体的には、制御装置3は、スライドステージ20をXY方向に移動しながら複数回撮像した画像どうしの位置合わせを行い、それらの画像を接続し、隙間の無い試料302の画像を作成する。また、本実施形態の画像取得装置では光源部からのRGBの夫々の色ごとに試料302の像の撮像を行っているため、制御装置3でそれらの像のデータを合成することで試料302のカラー画像を作成する。
また、制御装置3は、計測装置2でスライド30を予備計測した計測結果に基づいて顕微鏡1がスライド30の像を撮像するように、顕微鏡1及び計測装置2を制御する。具体的には、制御装置3は、計測装置2を用いて求めた試料302の存在領域に基づいて、顕微鏡1で撮像する撮像領域を決定し、顕微鏡1でその撮像領域のみを撮像する。これにより、病理診断などに必要な領域のみを撮像することができ、スライド30のデジタル画像データの容量を小さくすることができ、デジタル画像データのハンドリングが容易になる。なお、通常は、存在領域と等しくなるように撮像領域を決定する。
さらに、制御装置3は、計測装置2を用いて求めたカバーガラスの表面形状301及び対物レンズ40の倍率に基づいて、試料302の像の合焦面(合焦曲面)を算出する。図11は、算出した合焦面の模式図である。カバーガラスの表面がうねっていた場合、試料302の合焦面もうねっており曲面になっている。このような場合に、撮像素子群555の撮像面を同一平面上に並べた状態で試料302の像を撮像すると、一部の撮像面が、合焦面(合焦位置)から離れてしまい、対物レンズ40の焦点深度内に収まらなくなる。その結果、その一部の撮像面上に投影される試料302の像がボケてしまい、ボケた部分が存在するデジタル画像を画像取得装置で取得してしまう。
そこで、本実施形態の画像取得装置では、計測装置2で計測した表面形状に基づいて、撮像素子群555のうち合焦面と撮像面が離れている撮像素子を移動機構で移動し、その撮像素子の撮像面を合焦面に近づけている。ここで、「移動」とは、位置及び/又は傾きを変更することである。その状態で、試料302の画像を取得することで、本実施形態の画像取得装置によれば、ボケの少ない良好なデジタル画像を取得することができる。
以下、図12及び図13に基づいて、より具体的に説明する。図12は、Yi軸に沿って並ぶ撮像素子を説明するための図であり、図13は、撮像素子の移動のさせ方を説明するための図である。
図12(a)に示したように、試料302の像の合焦曲面は、Yi軸及びZi軸を含む断面上で曲線になっている。また、図12(b)に示したように、Yi軸に沿って4つの撮像素子501a〜501dが並んでいる。ここで、撮像素子群555の撮像面をYi軸上に並べた場合には、撮像素子501bの撮像面が合焦曲線とΔZだけ離れてしまう。ΔZが大きく、焦点深度を超えていた場合には、その部分の画像がボケてしまう。そこで、図13(a)及び図13(b)に示したように、撮像素子501a〜501dの撮像面が合焦曲線にほぼ沿うように、撮像素子501a〜501dのうち3つの撮像素子501a、501b、501dを移動し、その位置及び/又は傾きを変更する。例えば、図13(b)に示したように、撮像素子501a、501dは、Z方向の位置及びZ方向に対する傾きが変更されており、撮像素子501bは、Z方向の位置のみが変更されている。なお、撮像素子501cのように、撮像面が焦点深度内に初めから入っている場合には、撮像素子501cを移動機構で移動する必要はない。図13(a)の合焦曲線上の実線は、撮像素子501a〜501dの撮像面を表している(図13(c)も同様)。
次に、合焦曲面に傾きが生じた場合について図16に基づいて説明する。なお、ここで、合焦曲面に傾きが生じた場合とは、合焦曲面を平面で近似した場合に、その平面がX軸とY軸とを含む平面と平行でない場合をいう。以下、まずは、合焦曲面のYi軸及びZi軸を含む断面上での曲線がYi軸と平行でない場合について説明する。図16(a)は図13(a)に対応する図であり、図16(b)は図13(b)に対応する図であり、図16(c)は撮像ユニット50の変形例(50b)の図である。
図16(a)には、試料302の像の合焦曲面が傾きkで傾いている場合を示した。この場合、撮像素子501a〜501dの撮像面が合焦曲面に近づくようにするために、図16(b)に示したように、撮像素子501a〜501dを長いストロークで移動させなければいけない。しかし、長いストロークで移動させるための移動機構506a〜506dを作成するのが難しい場合がある。その場合には、図16(c)に示したように移動機構を第1の移動部(移動機構506a〜506d)と第2の移動部(移動機構1600a、1600b)の2つのグループに分けてもよい。そして、第1の移動部(506a〜506d)を合焦曲面の曲面(曲面成分)に対応させ、第2の移動部(1600a、1600b)を合焦曲面の傾きに対応させて移動させてもよい。なお、移動機構1600aは、接続部材1605aと移動部材(シリンダ)1606aとで構成されており、定盤1660上に配置されている(移動機構1600bも同様)。第2の移動部(1600a、1600b)は、撮像素子群(撮像素子501a〜501d)及び第1の移動部(506a〜506d)を移動して、それらの傾きを調整する。なお、スライド30の表面形状の傾きを変えることで合焦曲面の傾きkが最小になる場合には、スライドステージ20のZステージ24をZ方向だけでなくθx、θyにも動くように構成し、Zステージ24でスライド30の傾きを変えてもよい。更に、スライドステージ20の代わりに、撮像ユニットステージ60で撮像ユニット50の傾きを変えてもよい。
次に、傾きkの定義について考える。図16(a)は断面図で考えていたが、撮像素子501は2次元に配列しているために、X方向とY方向の2方向の最適な傾きについて考える必要がある。そこで、図12(b)の撮像素子群555の中心を中心として、X軸とY軸に対して撮像素子501a〜501dが傾いていると仮定して、その傾き量を計算する必要がある。そこで、撮像素子のZ方向の位置を1次関数に最小二乗法を用いてフィッティングさせて、傾きkを求め、傾きkからの差分を曲面とすることができる。傾きkと曲面が算出できたのち、図16(c)の第1の移動機構(506a〜506d)と第2の移動機構(1600a、1600b)に制御装置3から移動指令値を送るとよい。
このような撮像面の移動を撮像素子群555の他の16の撮像素子でも同様に行うことで、撮像素子群555の撮像面のすべてが試料302の像の合焦曲面にほぼ沿うようになり、撮像素子群555の撮像面のすべてが焦点深度内に入ることになる。この状態で試料302の像を撮像することで、ピントの合ったボケのない良好なデジタル画像を画像取得装置で取得することが可能となる。
ところで、撮像素子501どうしの隙間を埋めるためにスライドステージ20(又は撮像ユニットステージ60)をXY方向へ移動し、試料302の撮像を再度行う際、その移動に応じて撮像素子501a〜501dの撮像面が合焦曲線から離れてしまう。そこで、図13(c)及び図13(d)に示したように、移動機構は、スライドステージ20(又は撮像ユニットステージ60)のXY方向への移動に応じて、撮像素子501の撮像面が試料302の像の合焦面に近づくように撮像素子501を再度移動する。
なお、焦点深度があまり浅くない場合には、撮像素子の位置及び傾きを変更できるように移動機構を構成する必要はなく、撮像素子の位置のみ変更できるように図14に示したように移動機構を構成しても良い。図14は、撮像ユニット50の変形例(50a)の図である。さらに、前述したように予め撮像領域を決定しているので、撮像素子群555のうち撮像領域内に存在する撮像素子だけを移動すれば良い。
表示装置4は、例えば液晶ディスプレイであり、画像取得装置100の動作に必要な操作画面の表示、又は、制御装置3で作成された試料302のデジタル画像の表示等に用いられる。
次に、本実施形態の画像取得装置の動作を図15のフローチャートに基づいて説明する。
まず、スライド30がスライドカセットから取り出され、スライドステージ20上に配置される。スライド30を保持したスライドステージ20は、計測装置2に移動する(S10)。計測装置2は、スライド30中の試料302が存在する存在領域(撮像領域)とスライド30の表面形状とを同時に計測する(S20)。それらの計測結果は、制御装置3の記憶部に記憶される。次に、スライドステージ20は、計測装置2から顕微鏡1に移動する(S30)。
制御装置3の記憶部に記憶された表面形状と対物レンズ40の倍率とに基づいて、試料302の合焦曲面が算出される。撮像ユニット50の移動機構は、算出された合焦曲面に撮像素子501の撮像面が沿うように、撮像素子501の撮像面を移動する(S40)。図15では、ステップ30におけるスライドステージ20の移動後に、ステップ40において撮像素子501を移動しているように記載したが、それらは同時に実行されてもよいし、逆の順序で実行されてもよい。
撮像素子501の撮像面が合焦曲面に沿うように配置された状態で、撮像素子群555は、試料302の像を取得する(S50〜S70)。具体的には、まず、照明ユニット10からのR光(赤色光)でスライド30を照明している間に、撮像素子群555は、試料302のR画像(赤色画像)を取得する(S50)。次に、照明ユニット10から出射する光をG光(緑色光)に切り替え、G光でスライド30を照明している間に、撮像素子群555は、試料302のG画像(緑色画像)を取得する(S60)。最後に、照明ユニット10から出射する光をB光(青色光)に切り替え、B光でスライド30を照明している間に、撮像素子群555は、試料302のB画像(青色画像)を取得する(S60)。なお、対物レンズ40の色収差の影響又はカバーガラス301の形状もしくは厚さの影響で、RGBの夫々の光による試料302の合焦曲面が互いに異なる場合がある。その場合には、夫々の光による合焦曲面を、制御装置3の記憶部に記憶された表面形状に基づいて、予め計算してもよい。撮像面が焦点深度外になってしまうのであれば、G画像を取得する前及び/又はB画像を取得する前にも、その撮像面が合焦曲面に近づき焦点深度内に収まるように、撮像素子501の位置又は姿勢を移動機構で変更してもよい。その際、撮像素子501の位置又は姿勢を撮像ユニットステージ60で変更してもよい。
タイリングされている複数の撮像素子501間の隙間における試料302の像を取得しておらず、全ての撮像領域の撮像が終了していない場合には、スライドステージ20をXY方向に移動して、スライド30と撮像ユニット50との相対位置を変更する(S80)。そして、撮像面501の移動(S40)と画像の取得(S50〜S70)を再び実行することで、複数の撮像素子501間の隙間における試料302の像を取得する。なお、本実施形態では、スライドステージ20を移動することで、スライド30と撮像ユニット50との相対位置を変更しているが、代わりに撮像ユニットステージ60を移動してもよいし、スライドステージ20及び撮像ユニットステージ60を移動してもよい。このスライドステージ20のXY方向への移動(S80)と撮像面501の移動(S40)と画像の取得(S50〜S70)とを複数回(例えば3回)繰り返すことで、全ての撮像領域の撮像が終了する。
本実施形態の画像取得システムによれば、スライドの表面形状を計測装置で予備計測し、その計測結果に基づいて顕微鏡でスライドの像を撮像しているので、ボケの少ない良好なデジタル画像を取得し、表示することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、以上の実施形態では、1つの撮像素子に1以上の移動機構を設けていたが、2つ以上の撮像素子毎に1以上の移動機構を設け、その2つ以上の撮像素子毎に位置及び/又は傾きを調整することとしてもよい。
また、以上の実施形態では撮像素子毎に移動機構を設けていたが、対物レンズ40の焦点深度があまり浅くない場合又はカバーガラスのうねりが小さい場合には、個々の撮像素子に移動機構を設けなくてもよい。その場合には、撮像ユニットステージ60で撮像素子群555のZ方向の位置又は傾きを一度に調整してもよいし、対物レンズ40の光路中に収差を変更するための光学素子を設けてその光学素子を移動することとしてもよい。
また、画像取得装置100では、計測装置2で計測した存在領域及び表面形状に基づいて、顕微鏡1でスライドを撮像した。しかし、存在領域及び表面形状が予め分かっている場合には、画像取得装置100が計測装置2を備える必要はない。例えば、スライド30上のラベル333に存在領域及び表面形状の情報を記録しておくと良い。その場合には、ラベル333を読取る装置を顕微鏡1に設けて、読取った情報に基づいて顕微鏡1でスライドを撮像することで、ボケの少ない良好なデジタル画像を顕微鏡1だけで取得することができる。
また、以上の実施形態では、複数の撮像素子を2次元的に配列した撮像素子群を用いていたが、複数の撮像素子を1次元的又は3次元的に配列した撮像素子群を用いても良い。また、撮像素子として、2次元撮像素子を用いていたが、1次元撮像素子(ラインセンサ)を用いても良い。また、複数の撮像素子を同じ1つの基板(定盤)上に設けていたが、スライドの異なる複数の部分の像を同時に撮像するように構成されているのであれば、複数の撮像素子を異なる複数の基板上に設けても良い。
本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
1 顕微鏡
2 計測装置
10 照明ユニット
30 スライド
40 対物レンズ(結像光学系)
50 撮像ユニット
70 照明部
80 存在領域計測部
90 表面形状計測部

Claims (12)

  1. 被検物を結像する結像光学系と、
    共通の前記結像光学系を介して前記被検物の表面における互いに異なる領域を撮像する複数の撮像部と、を備え、
    前記複数の撮像部のそれぞれは、撮像素子と、前記被検物の表面形状に応じて前記撮像素子を移動する移動機構と、を含み、
    前記複数の撮像部のそれぞれにおける前記移動機構は、互いに独立して前記撮像素子を移動することを特徴とする顕微鏡。
  2. 前記移動機構は、前記撮像素子の撮像面が前記被検物の像の合焦面に近づくように、該撮像素子を移動することを特徴とする請求項1に記載の顕微鏡。
  3. 前記移動機構は、前記結像光学系に対して相対的に前記撮像素子を移動することを特徴とする請求項1又は2に記載の顕微鏡。
  4. 前記被検物を保持し移動するステージを備え、前記移動機構は、前記結像光学系の光軸に垂直な方向への前記ステージの移動に応じて前記撮像素子を移動することを特徴とする請求項1乃至3のいずれか1項に記載の顕微鏡。
  5. 前記複数の撮像部を移動する移動部を有することを特徴とする請求項1乃至4のいずれか1項に記載の顕微鏡。
  6. 前記移動部は、前記被検物の像の合焦面の傾きに応じて前記複数の撮像部を移動することを特徴とする請求項5に記載の顕微鏡。
  7. 前記被検物を保持し移動するステージを備え、該ステージは、前記被検物の像の合焦面の傾きに応じて、前記被検物を移動することを特徴とする請求項1乃至6のいずれか1項に記載の顕微鏡。
  8. 複数の前記撮像素子は、前記被検物における異なる複数の部分を撮像するように構成されていることを特徴とする請求項1乃至7のいずれか1項に記載の顕微鏡。
  9. 請求項1乃至8のいずれか1項に記載の顕微鏡と、前記被検物の表面形状を計測する計測装置と、を備えることを特徴とする画像取得装置。
  10. 前記移動機構は、前記計測装置により計測された前記表面形状に応じて前記撮像素子を移動することを特徴とする請求項9に記載の画像取得装置。
  11. 前記計測装置は、前記被検物において試料が存在する存在領域を計測し、前記顕微鏡は、前記計測装置により計測された前記表面形状及び前記存在領域に応じて、該存在領域を撮像する前記撮像素子を移動することを特徴とする請求項9又は10に記載の画像取得装置。
  12. 請求項9乃至11のいずれか1項に記載の画像取得装置と、前記画像取得装置で取得された前記被検物の画像を表示する表示装置と、を備えることを特徴とする画像取得システム。
JP2011190375A 2010-10-29 2011-09-01 顕微鏡、画像取得装置及び画像取得システム Expired - Fee Related JP6071177B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2011190375A JP6071177B2 (ja) 2010-10-29 2011-09-01 顕微鏡、画像取得装置及び画像取得システム
BR112013009408A BR112013009408A2 (pt) 2010-10-29 2011-10-11 microscópio, aparelho de aquisição de imagem, e sistema de aquisição de imagem
CN201180051439.1A CN103180769B (zh) 2010-10-29 2011-10-11 显微镜、图像获取装置和图像获取系统
KR1020137012934A KR20130083453A (ko) 2010-10-29 2011-10-11 현미경, 화상 취득 장치 및 화상 취득 시스템
EP11779865.2A EP2633358A1 (en) 2010-10-29 2011-10-11 Microscope, image acquisition apparatus, and image acquisition system
PCT/JP2011/073774 WO2012056920A1 (en) 2010-10-29 2011-10-11 Microscope, image acquisition apparatus, and image acquisition system
RU2013124820/28A RU2540453C2 (ru) 2010-10-29 2011-10-11 Микроскоп, устройство получения изображения и система получения изображения
US13/823,062 US20130169788A1 (en) 2010-10-29 2011-10-11 Microscope, image acquisition apparatus, and image acquisition system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010243802 2010-10-29
JP2010243802 2010-10-29
JP2011190375A JP6071177B2 (ja) 2010-10-29 2011-09-01 顕微鏡、画像取得装置及び画像取得システム

Publications (3)

Publication Number Publication Date
JP2012108476A JP2012108476A (ja) 2012-06-07
JP2012108476A5 JP2012108476A5 (ja) 2014-10-16
JP6071177B2 true JP6071177B2 (ja) 2017-02-01

Family

ID=46494101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011190375A Expired - Fee Related JP6071177B2 (ja) 2010-10-29 2011-09-01 顕微鏡、画像取得装置及び画像取得システム

Country Status (1)

Country Link
JP (1) JP6071177B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015522850A (ja) * 2012-07-05 2015-08-06 ナショナル ユニバーシティ オブ シンガポール 光学顕微鏡およびその制御方法
EP2891916A4 (en) * 2012-10-15 2016-04-27 Sony Corp IMAGE RECORDING DEVICE AND METHOD FOR MEASURING THE OBJECT CARRIER
JP2014178403A (ja) * 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、情報処理方法、および情報処理プログラム
CN104777604A (zh) * 2015-04-16 2015-07-15 浙江大学 基于usb显微探头和步进扫描台的可定位显微成像系统
CN105938243B (zh) * 2016-06-29 2018-04-13 华南理工大学 一种tft‑lcd检测中多倍率显微镜快速对焦方法
CN106291899A (zh) * 2016-09-29 2017-01-04 东方晶源微电子科技(北京)有限公司 照明模块、光学显微系统及电子束检测装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5073314B2 (ja) * 2007-02-26 2012-11-14 大塚電子株式会社 顕微測定装置
US8059336B2 (en) * 2007-05-04 2011-11-15 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
JP2010101959A (ja) * 2008-10-21 2010-05-06 Olympus Corp 顕微鏡装置

Also Published As

Publication number Publication date
JP2012108476A (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
RU2540453C2 (ru) Микроскоп, устройство получения изображения и система получения изображения
US9360665B2 (en) Confocal optical scanner
JP6071177B2 (ja) 顕微鏡、画像取得装置及び画像取得システム
JP3762746B2 (ja) 共焦点顕微鏡及びこれを用いた高さ測定方法
JP2973332B2 (ja) 光センサ
JP6360825B2 (ja) 結像光学系、照明装置および観察装置
US8675062B2 (en) Shape measuring device, observation device, and image processing method
JP5532459B2 (ja) 顕微鏡システム
KR20200041983A (ko) 실시간 오토포커스 포커싱 알고리즘
JP2017015856A (ja) 位相差顕微鏡および撮像方法
KR101652356B1 (ko) 광학적 웨이퍼 검사 장치
JP5973756B2 (ja) 焦点位置変更装置およびこれを用いた共焦点光学装置
JP2008292240A (ja) 3次元形状観察装置
JP6226577B2 (ja) 共焦点レーザ走査型顕微鏡
JP4725967B2 (ja) 微小高さ測定装置及び変位計ユニット
KR101652355B1 (ko) 광학적 웨이퍼 검사 장치
JP2014048423A (ja) 撮像光学系、撮像装置および撮像システム
KR101826127B1 (ko) 광학적 웨이퍼 검사 장치
CN112748560A (zh) 具有微机电光学系统的图像转换模块及应用其的方法
JP2012098351A (ja) 画像取得装置および画像取得システム
JP6635783B2 (ja) 顕微鏡装置
JP2014056078A (ja) 画像取得装置、画像取得システム及び顕微鏡装置
JP2003015048A (ja) 格子照明顕微鏡
JP7196422B2 (ja) 顕微鏡システム
EP4049080A1 (en) Integrated system for the correction of optical aberrations

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R151 Written notification of patent or utility model registration

Ref document number: 6071177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees