JP6136085B2 - 画像取得装置、画像取得方法、およびコンピュータプログラム - Google Patents

画像取得装置、画像取得方法、およびコンピュータプログラム Download PDF

Info

Publication number
JP6136085B2
JP6136085B2 JP2011220773A JP2011220773A JP6136085B2 JP 6136085 B2 JP6136085 B2 JP 6136085B2 JP 2011220773 A JP2011220773 A JP 2011220773A JP 2011220773 A JP2011220773 A JP 2011220773A JP 6136085 B2 JP6136085 B2 JP 6136085B2
Authority
JP
Japan
Prior art keywords
image
focal
focal position
image sensor
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011220773A
Other languages
English (en)
Other versions
JP2013080144A5 (ja
JP2013080144A (ja
Inventor
木島 公一朗
公一朗 木島
龍 成澤
龍 成澤
文泰 鈴木
文泰 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011220773A priority Critical patent/JP6136085B2/ja
Priority to US13/617,418 priority patent/US9386233B2/en
Priority to CN201210362291XA priority patent/CN103033921A/zh
Publication of JP2013080144A publication Critical patent/JP2013080144A/ja
Publication of JP2013080144A5 publication Critical patent/JP2013080144A5/ja
Application granted granted Critical
Publication of JP6136085B2 publication Critical patent/JP6136085B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Description

本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法、およびコンピュータプログラムに関する。
病理診断では、組織切片等の生体サンプルを所定の倍率で拡大した高精細な生体サンプル画像が用いられる。そこで、生体サンプルが存在する領域を複数の小領域に分割し、該小領域を所定の倍率で拡大して撮像することにより分割画像を取得し、複数の分割画像を結合して高精細な生体サンプル画像を生成する顕微鏡装置が提案されている。
また、生体サンプルの同じ領域を数μmの間隔で複数の焦点位置において撮像してそれぞれを可視化することも行われている。これらの焦点位置が異なる条件で撮像された複数の顕微鏡画像のセットは「Zスタック」と呼ばれる(例えば特許文献1参照)。
特表2008−500643号
例えば、厚さが10μmの生体サンプルを1μmの間隔の焦点位置でそれぞれ撮像すると10回の撮像が必要となる。すなわち1つの小領域に対して10枚の画像が得られることになる。また、焦点深度が1μmの光学系を採用した場合、1μm程度の間隔では観察対象物の見逃しが生じるおそれがあるという理由から、0.5μmあるいはそれ以下の間隔が妥当であるという意見が多い。しかしながら、焦点位置の間隔を狭めるに従い、1つのZスタックを構成する画像データの総容量が増大する。まして1つの生体サンプル分のデータとなると膨大な総容量となる。これは、顕微鏡装置で撮像された画像データを蓄積する装置内のHDDなどのストレージの交換周期を早めて保守管理の煩雑さを招くとともに、顕微鏡装置から画像データ蓄積装置へのデータ伝送や現像処理などをボトルネックとした撮像スピードの低下を招くことになる。
本技術は、このような課題を解決して、ユーザにとっての利便性の向上および効率の向上を図ることのできる画像取得装置、画像取得方法、およびコンピュータプログラムを提供することにある。
上記の課題を解決するために、本技術に係る画像取得装置は、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部とを具備する。
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である。
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させるものであってよい。
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させるものであってよい。
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続するものであってよい。
本技術の別の観点に基づく画像取得方法は、移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、多重露光処理部が、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるというものである。
本技術の別の観点に基づくコンピュータプログラムは、撮像対象の部位を拡大する対物レンズを含む光学系と、前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部として前記コンピュータを動作させるプログラムである。
以上のように、本技術によれば、ユーザにとっての利便性の向上および効率の向上を図ることができる。
典型的なZスタック撮像方法を示す図である。 本技術の撮影方法を示す図である。 本技術に係る第1の実施形態の画像取得装置の構成を示すブロック図である。 図3の画像取得装置におけるデータ処理部のハードウェアの構成を示すブロック図である。 図4のデータ処理部の機能的な構成を示すブロック図である。 図3の画像取得装置による撮像対象の領域を示す図である。 図3の画像取得装置によるZスタックの撮像時の各部の動作のタイミングチャートである。 本実施形態の画像取得装置により取得されたZスタックと典型的なZスタックとを比較して示す図である。 Zスタックの固定焦点画像および平均画像と図6の撮像対象領域との関係を示す図である。 平均画像と固定焦点画像とを比較して示すための図である。 540nm緑色のイメージの一般的なデフォーカス特性を示すグラフである。 4μmの範囲の平均画像のデフォーカス特性を示すグラフである。 Zスタックの撮像時の動作の変形例1を示すタイミングチャートである。 Zスタックの撮像時の動作の変形例2を示すタイミングチャートである。 Zスタックの撮像時の動作の変形例3を示すタイミングチャートである。 Zスタックの撮像時の動作の変形例4を示すタイミングチャートである。
以下、本技術に係る実施形態を図面を参照しながら説明する。
<第1の実施形態>
[1.本実施形態の画像取得装置の概要]
図1は、典型的なZスタック撮像方法を示す図である。
例えば細胞スメアスライドなど、厚さのある生体サンプルの検査においては、細胞1内に存在するかもしれない細菌2などの観察対象を逃さず見つけ出すことができるように、複数の焦点位置(Z1,Z2,・・・Zn)で画像を撮像することが行われる。このような複数の焦点位置で撮像された複数の画像は「Zスタック」と呼ばれる。
一方、顕微鏡の光学系には開口数のできるだけ高い(例えばNA=0.6〜0.8)対物レンズが使用される。この程度の開口数を有する対物レンズを用いた光学系の焦点深度は約1μmである。この場合、Zスタックの間隔を1μmにすることによって、理論的には生体サンプル全体を三次元的に無駄なく網羅したZスタックを得ることができる。しかし、より漏れの少ない観察のためには、より小さい間隔、例えば0.5μmといった間隔の画像が望まれている。
しかし、Zスタックの間隔を小さくすればするほどZスタックの画像枚数が増えて全体のデータサイズが膨大化する。Zスタック単位のデータサイズが大きくなると、画像の取得に要する時間が長くかかるとともに、画像を蓄積するストレージやその交換等の保守管理に要するコストの増大を招く。
本実施形態の画像取得装置は、例えば図2に示すように、焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるものである。ここで、範囲の長さは、対物レンズを用いた光学系の焦点深度に露光多重数を乗じた長さ、またはその長さ以下とする。
より具体的には、本実施形態の画像取得装置は、例えば、対物レンズを用いた光学系の焦点深度などを基準に予め決められた複数の焦点位置(Z1,Z2,・・・Zn)のなかの連続する複数の焦点位置で撮像素子を多重露光させたり、連続する複数の焦点位置間に跨って撮像素子を連続的に露光させたりすることで上記の平均画像を取得する。これによって、Zスタックの画像の枚数を低減しつつ、観察対象の撮像漏れのないZスタックを得ることができる。
以下に、本実施形態の画像取得装置の詳細を説明する。
なお、本実施形態は、連続する2つの焦点位置で撮像素子を多重露光させることによって上記の平均画像を取得する画像取得装置である。
[2.画像取得装置の構成]
図3は本実施形態の画像取得装置100の構成を示す図である。
画像取得装置100は顕微鏡10と、データ処理部20とを有する。
顕微鏡10は、ステージ11、光学系12、光源ユニット13、撮像素子14、光源駆動部15、ステージ駆動部16、およびカメラ制御部17を有する。
ステージ11は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルSPLを配置可能な面を有する。ステージ11は、その面に対して平行方向(xy軸方向)及び直交方向(z軸方向)に移動自在に構成される。
なお、生体サンプルSPLは、この実施形態ではスライドガラスSGに対して所定の固定手法により固定され、必要に応じて染色が施される。この染色には、HE(Hematoxylin-Eosin)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
ステージ11の一方の面側には光学系12が配され、ステージ11の他方の面側には光源ユニット13が配される。
光源ユニット13は、光源駆動部15による制御の下で光を出射し、該光をステージ11に穿設される開口から、該ステージ11の一方の面に配される生体サンプルSPLに対して照射する。光源ユニット13は、白色光を出力する白色LED(Light Emitting Diode)などを光源13Aとして有する。光源ユニット13は、光源13Aから出射された光を略平行光に変換して生体サンプルSPLに対する照明光とする集光レンズ13Bを有する。
光学系12は、照明光により得られる生体サンプルSPLにおける一部の像を、対物レンズ12A及び結像レンズ12Bによって所定の倍率に拡大する。対物レンズ12A及び結像レンズ12Bにより拡大された像は撮像素子14の撮像面に結像される。撮像素子14としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、CCD(Charge Coupled Device)イメージセンサ、およびCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。
光源駆動部15は、データ処理部20からのストロボ発光命令S1をもとに光源ユニット13内の光源13Aに一定の駆動電流を供給して光源13Aを発光させるドライブ回路を少なくとも有する。
ステージ駆動部16は、データ処理部20からのステージ制御信号S2をもとにステージ11を駆動するためのxyzの3軸方向それぞれのステージ駆動電流を供給してステージ11を3軸方向に移動させる。
カメラ制御部17は、データ処理部20からの露光制御信号S3をもとに撮像素子14の制御を行う。カメラ制御部17は、撮像素子14から読み出された各画素に対応する信号(RAWデータ)をA/D(Analog to Digital)変換してデータ処理部20に供給する。
データ処理部20は、顕微鏡10のカメラ制御部17より供給されるRAWデータの現像処理、現像データのスティッチング処理などを行って生体サンプル画像を生成し、これをJPEG(Joint Photographic Experts Group)など所定の圧縮形式のデータに符号化して保存する。また、データ処理部20は、所定のプログラムに基づいて光源駆動部15、ステージ駆動部16及びカメラ制御部17をそれぞれ制御するための演算処理を実行する。
[3.データ処理部の構成]
次に、データ処理部20の構成について説明する。
図4はデータ処理部20のハードウェアの構成を示すブロック図である。
データ処理部20は、演算制御を行うCPU(Central Processing Unit)21、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令を入力する操作入力部24、インターフェイス部25、表示部26、記憶部27及びこれらを互いに接続するバス28を備える。
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、顕微鏡10が接続される。
表示部26には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。記憶部27には、HDD(Hard Disk Drive)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、表示部26及び記憶部27を適宜制御する。またCPU21は、RAM23に展開されたプログラムに従って、インターフェイス部25を介して顕微鏡10の各部を適宜制御する。
[4.生体サンプル画像の取得処理]
次に、本実施形態の画像取得装置100における生体サンプル画像の取得処理について説明する。
CPU21は、生体サンプルSPLの画像の取得命令を操作入力部24から受けた場合、該取得命令に対応するプログラムをRAM23に展開する。
CPU21は、生体サンプルSPLの画像の取得命令に対応するプログラムに従って、図5に示すように、ステージ制御部31(移動制御部)、露光制御部32(多重露光処理部)、ストロボ制御部33(多重露光処理部)、画像取得部34、現像処理部35、画像圧縮部36及び画像記録部37として機能する。
ステージ制御部31は、例えば図6に示すように、生体サンプルSPLの撮像対象とすべき領域(以下、これをサンプル領域とも呼ぶ)PRを対物レンズ12A及び結像レンズ12Bの拡大倍率に合わせて複数の小領域ARに割り当てる。
ステージ制御部31は、複数の小領域ARのうち、撮像素子14によって撮像される領域が例えば左上の小領域ARとなるように、ステージ11を移動させる。
この後、図6に示したように、当該左上の小領域ARについて、複数の焦点位置(Z1,Z2,・・・Zn)での複数の画像をZスタックとして取得するための処理が次のように実行される。なお、複数の焦点位置(Z1,Z2,・・・Zn)は、対物レンズを用いた光学系の焦点深度を基準に決められている。本実施形態では、焦点位置の間隔を対物レンズ12Aを含む光学系12の焦点深度と同一としたものである。但し、本技術は、焦点位置の間隔は光学系の焦点深度以下であればよい。
図7はZスタックの撮像時の画像取得装置100の各部の動作のタイミングチャートである。上から順に、光照射、撮像素子14の露光、ステージ11のz軸方向の移動それぞれのオン/オフのタイミングを示す。
・最初の2つの焦点位置Z1、Z2での多重露光
まず、ステージ制御部31は、最初の焦点位置Z1に焦点が結ばれるようにステージ11のz軸方向の位置を設定する。
露光制御部32は、顕微鏡10内の撮像素子14を画像の取り込み状態である露光可能状態にするようにカメラ制御部17に露光制御信号S3を供給する。カメラ制御部17は露光制御信号S3を受けると、光源ユニット13からの光照射に先立ち、撮像素子14を露光可能な状態にする(T1)。
撮像素子14が露光可能な状態になった後、データ処理部20内のストロボ制御部33は、光源ユニット13から一定光量の光を出射させるように光源駆動部15にストロボ発光命令S1を供給する。これにより焦点位置Z1での撮像素子14の全画素同時露光(初回の露光)が行われる(T2)。
ここで典型的には、撮像素子14の画素毎の値がカメラ制御部17によって取り込まれてデータ処理部20に伝送されるが、本実施形態では、露光制御部32は撮像素子14の露光可能状態を継続させる。
撮像素子14の初回の露光後、データ処理部20のステージ制御部31は、焦点位置をZ2に移動させるようにステージ制御信号S2をステージ駆動部16に供給する(T3)。焦点位置Z2への移動が完了したところでステージ制御部31はステージ11を停止させる(T4)。
この後、ストロボ制御部33は、再度光源ユニット13から光を出射させるように光源駆動部15にストロボ発光命令S1を供給する。これにより焦点位置Z2での撮像素子14の露光(2回目の露光)が行われる(T5)。
ここで、撮像素子14の全画素の受光部には、既に焦点位置Z1での露光によって電荷が蓄積された状態にある。したがって、今回の焦点位置Z2での露光によって、撮像素子14の全画素の受光部には、2つの焦点位置Z1、Z2それぞれにおける光電変換により得られた電荷が画素毎に足し合わされた状態で蓄積される。すなわち、撮像素子14は2つの焦点位置Z1、Z2で二重露光されることで、2つの焦点位置Z1、Z2の画像が1つの平均画像として合成されることになる。
撮像素子14の2回目の露光(焦点位置Z2での露光)が終了した後、露光制御部32は、撮像素子14から全画素のデータを取り込むようにカメラ制御部17に制御信号S3を供給する。カメラ制御部17は、当該制御信号S3に従って、撮像素子14の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をT6からT7の期間に取り込み、A/D変換など、必要な信号処理を施して生成された全画素のデータをデータ処理部20の露光制御部32に画像RAWデータとして伝送する。以上で、2つの焦点位置Z1、Z2での多重露光による平均画像の撮像が完了する。
・次の2つの焦点位置Z3、Z4での多重露光
続いて、次の2つの焦点位置Z3、Z4についての多重露光による撮像が同様に行われる。すなわち、前の2つの焦点位置Z1、Z2で多重露光がされた撮像素子14からの画像の取り込みが完了したところで、露光制御部32は再度、カメラ制御部17に露光制御信号S3を供給して撮像素子14を再び露光可能状態にする(T8)。
ステージ制御部31は、撮像素子14の2回目の露光(焦点位置Z2での露光)が終了したところで(T6)、次の焦点位置Z3への移動を行うようにステージ制御信号S2をステージ駆動部16に供給する。次の焦点位置Z3への移動が完了したところで、ステージ制御部31はステージ11を停止させる(T9)。
撮像素子14が露光可能状態であり、次の焦点位置Z3への移動が完了したところで、ストロボ制御部33は再度、光源ユニット13から光を出射させるように、光源駆動部15にストロボ発光命令S1を供給する。これにより次の焦点位置Z3での撮像素子14の初回の露光が行われる(T10)。
露光制御部32は、光源ユニット13から生体サンプルSPLへの光照射が終了後も撮像素子14の露光可能状態を継続させる。光源ユニット13からの光の出射が終了すると、データ処理部20のステージ制御部31は、次の焦点位置Z4に移動させるようにステージ制御信号S2をステージ駆動部16に供給する。次の焦点位置Z4への移動が完了したところで、ステージ制御部31はステージ11を停止させる(T11)。
この後、ストロボ制御部33は、再度光源ユニット13から光を出射させるように、光源駆動部15にストロボ発光命令S1を供給する。これにより次の焦点位置Z4での撮像素子14の2回目の露光が行われる(T12)。撮像素子14の2回目の露光(焦点位置Z4での露光)が終了した後、露光制御部32は、撮像素子14から全画素のデータを取り込むようにカメラ制御部17に制御信号S3を供給する。カメラ制御部17は、当該制御信号S3に従って、撮像素子14の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をT13からT14の期間に取り込み、A/D変換など、必要な信号処理を施して生成された全画素のデジタルデータをデータ処理部20の露光制御部32に画像RAWデータとして伝送する。以上で、次の2つの焦点位置Z3、Z4での二重露光による平均画像の取得が完了する。
以降に続く焦点位置においても、二重露光による平均画像の取得が同様に繰り返される。
以上のようにして撮像された複数の平均画像で構成されるZスタックは、焦点位置毎に撮像素子を1回だけ露光する典型的な方法により得たZスタックと比較して、画像の枚数が大幅に少なくて済む。また、個々の画像は2つの焦点位置での撮像素子14の二重露光による平均画像であることから、対物レンズを用いた光学系の焦点深度が2つの焦点位置の間隔以上であれば、観察対象の撮像漏れのないZスタックを得ることができる。
図8は本実施形態の画像取得装置100により取得された平均画像と典型的なZスタックにおける固定焦点画像とを比較して示す図である。
典型的なZスタックにおけるそれぞれの固定焦点画像は、撮像間隔を0.5μmとして、それぞれの焦点位置Z1,Z2,・・・,Z10,・・・(図1参照)で撮像して得られた画像である。なお、これらの固定焦点画像は、図9に示すように、撮像素子14により撮像された画像(図6の小領域AR)の中のさらに一部分BRである。
一方、平均画像Z1−Z2は2つの焦点位置Z1、Z2での二重露光により得られた画像である。平均画像Z3−Z4は2つの焦点位置Z3、Z4での二重露光により得られた画像である。平均画像Z5−Z6は2つの焦点位置Z5、Z6での二重露光により得られた画像である。平均画像Z7−Z8は2つの焦点位置Z7、Z8での二重露光により得られた画像である。平均画像Z9−Z10は2つの焦点位置Z9、Z10での二重露光により得られた画像である。
これらの平均画像と固定焦点画像とを見比べて分かるように、平均画像の画質は二重露光による分、対応する固定焦点画像と比較してやや劣るものの、生体サンプルの観察上問題の無い程度であると言える。
平均画像は、連続する2つの焦点位置Z3、Z4での二重露光により得られた画像のみならず、3つ以上の焦点位置での多重露光により得られた画像であってもよい。図8において、平均画像Z1−Z4は4つの焦点位置Z1、Z2、Z3、Z4での多重露光により得られた画像である。平均画像Z5−Z8は4つの焦点位置Z5、Z6、Z7、Z8での多重露光により得られた画像である。平均画像Z9−Z12は4つの焦点位置Z9、Z10、Z11、Z12での多重露光により得られた画像である。
このように、連続する4つの焦点位置での多重露光により得られた平均画像についても、生体サンプルの観察上問題無い程度の画質が得られることが確認された。参考のため、図10に連続する4つの焦点位置での多重露光により得られた平均画像と、その4つの焦点位置での固定焦点画像とを対比して示す。
次に、本実施形態の画像取得装置100によって得られる平均画像の画質が生体サンプルの観察用途において十分なものであることの理由を説明する。
図11は微細な発光点から発せられる540nm(緑色)の光をNA0.8の対物レンズにて観察した際に得られる輝点イメージのデフォーカス特性を示すグラフである。
このグラフにおいて、縦軸は情報を計算した各ピクセルの輝度を示すカウント値(intensity count)、横軸はイメージャ上のピクセル(pixels)、グラフ中の複数の線はデフォーカス量毎の光軸のずれ量とカウント値との相関をそれぞれ示す。なお、カウント値(intensity count)は輝度(コントラスト)の指標値である。このように、540nm緑色のイメージのデフォーカス特性においては、デフォーカス量が2μmを越えるあたりから急激に輝度(コントラスト)が低下することが分かる。
図12は4μmの範囲の平均画像のデフォーカス特性を示すグラフである。点線で示す線は固定焦点画像のデフォーカス特性であり、その他の複数の実線はそれぞれ4μmの範囲の平均画像のデフォーカス特性である。すなわち、平均画像Aは合焦位置からこの合焦位置より下に4μmまでの範囲の平均画像、平均画像Bは合焦位置からこの合焦位置より上に4μmまでの範囲の平均画像、平均画像Cは合焦位置より下に3μmの位置から合焦位置より上に1μmまでの範囲の平均画像、平均画像Dは合焦位置より下に1μmの位置から合焦位置より上に3μmまでの範囲の平均画像、平均画像Eは合焦位置より上に2μmの位置から合焦位置より下に2μmまでの範囲の平均画像Eである。平均画像Aと平均画像Bのデフォーカス特性はほぼ同じであるため、これらは1つの実線で示した。同様に平均画像Cと平均画像Dのデフォーカス特性はほぼ同じであるため、これらも1つの実線で示した。
図11と図12を比較すると、4μmの範囲の平均画像の輝度(コントラスト)は、デフォーカス量が1μmのときと同程度であり、生体サンプルの観察用途において十分なものと言える。
以上のように、本実施形態の画像取得装置100によれば、実用上十分な画質を確保しつつ、より少ない枚数の画像で、観察対象の撮像漏れのないZスタックを得ることができる。これにより、撮像された画像データを蓄積する装置内のHDDなどのストレージの交換周期を引き延ばすことができ、保守管理の煩雑さを軽減できる。加えて、画像取得速度の向上を図れる。
<変形例1>
次に、上記の実施形態の変形例を説明する。
図13はZスタックの撮像時の動作の変形例1を示すタイミングチャートである。
この変形例1の画像取得装置は、上記の実施形態の画像取得装置100によるZスタック撮像動作において、ステージ11を連続して移動させる、つまり焦点位置を連続的に移動させるようにしたものである。ステージ11の移動速度は少なくとも露光中は一定であることが望ましい。
この方式によれば、ステージ11を静定させるために必要な時間を排除できることによって、Zスタック撮像の全体的な時間の短縮を図れる。なお、本変形例1の画像取得装置の動作は、ステージ11を停止させないこと以外は上記の実施形態の画像取得装置100と基本的には同様である。この変形例1によっても、上記の実施形態の効果を同様に得ることができる。
<変形例2>
図14はZスタックの撮像時の動作の変形例2を示すタイミングチャートである。
変形例2の画像取得装置は、ステージ11を連続して移動させるとともに、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させるように光照射タイミングが設定されたものである。本変形例2の画像取得装置のその他の動作は、変形例1の画像取得装置と基本的には同様である。この変形例2によっても、上記の実施形態の効果を同様に得ることができる。また、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させることによって、上記の変形例1に比較して、観察対象の撮像漏れによる見逃しが生じる危険をよりいっそう低減することができる。
<変形例3>
図15はZスタックの撮像時の動作の変形例3を示すタイミングチャートである。
変形例3の画像取得装置は、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させる間、光源ユニット13の光照射のオンとオフを焦点位置の間隔よりも短い一定の周期で繰り返し切り替えるようにしたものである。この変形例3によっても、上記の実施形態の画像処理装置100および変形例2の画像取得装置の効果を同様に得ることができる。また、本変形例3によれば、光照射のオンデューティ比の選択により露光時間を調整することが可能である。
<変形例4>
図16はZスタックの撮像時の動作の変形例4を示すタイミングチャートである。
本変形例4の画像取得装置は、光源ユニット13からの光照射タイミングとステージ11の移動タイミングとを同期させるとともに、Zスタックの間隔毎にステージ11の移動と停止を切り替えることによって、連続的に露光される位置が範囲(図2参照)間で連続するようにしたものである。
すなわち、ステージ制御部31は1回の露光時間に焦点位置をZ1からZ2まで移動させるようにステージ11を制御する。ステージ制御部31は1回の露光が完了したところでステージ11を停止させ、次の露光時間に焦点位置をZ2からZ3まで移動させるようにステージ11を制御する。本変形例4によれば、z軸方向の全ての範囲を網羅した撮像を行うことができるので、観察対象の撮像漏れによる見逃しが生じる危険を、上記の実施形態および変形例に比較して、より確実に低減することができる。
以上、透過照明画像の撮像を行う画像取得装置について、説明してきたが、本技術は、暗視野光源を用いて蛍光画像を撮像する装置に対しても同様に適用できることは言うまでもない。
なお、本技術は以下のような構成も採ることができる。
(1) 撮像対象の部位を拡大する対物レンズを含む光学系と、
前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
前記焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させる多重露光処理部と
を具備する画像取得装置。
(2)前記(1)に記載の画像取得装置であって、
前記範囲の長さは、前記光学系の焦点深度に前記露光の多重数を乗じた値以下である
画像取得装置。
(3)前記(1)から(2)のうちいずれか1つに記載の画像取得装置であって、
前記多重露光処理部は、前記対物レンズの焦点位置を移動させながら前記撮像素子を多重露光させる
画像取得装置。
(4)前記(1)から(2)のうちいずれか1つに記載の画像取得装置であって、
前記多重露光処理部は、前記複数の位置に跨って前記撮像素子を連続的に露光させる
画像取得装置。
(5)前記(4)に記載の画像取得装置であって、
前記範囲毎の前記連続的に露光させる位置が、それぞれの前記範囲間で連続する
画像取得装置。
SPL…生体サンプル
10…顕微鏡
20…データ処理部
11…ステージ
12…光学系
12A…対物レンズ
12B…結像レンズ
13…光源ユニット
13A…光源
13B…集光レンズ
14…撮像素子
15…光源駆動部
16…ステージ駆動部
17…カメラ制御部
21…CPU
22…ROM
23…RAM
24…操作入力部
31…ステージ制御部
32…露光制御部
33…ストロボ制御部
34…画像取得部
100…画像取得装置

Claims (3)

  1. 撮像対象の部位を拡大する対物レンズを含む光学系と、
    前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子と、
    前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
    前記撮像素子を複数の位置で多重露光させる多重露光処理部と
    を具備し、
    前記多重露光処理部は、第1の焦点位置、および前記第1の焦点位置に対し前記光学系の焦点深度または前記焦点深度よりも短い所定の間隔をあけて設定された第2の焦点位置の平均画像を得られるように、前記撮像素子を前記第1の焦点位置にて露光させた後、前記撮像素子を前記第2の焦点位置にて露光させる
    画像取得装置。
  2. 移動制御部が、観察対象の部位の厚さ方向に対物レンズの焦点を移動させ、
    多重露光処理部が、第1の焦点位置、および前記第1の焦点位置に対し前記光学系の焦点深度または前記焦点深度よりも短い所定の間隔をあけて設定された第2の焦点位置の平均画像を得られるように、前記撮像素子を前記第1の焦点位置にて露光させた後、前記撮像素子を前記第2の焦点位置にて露光させる
    画像取得方法。
  3. 撮像対象の部位を拡大する対物 レンズを含む光学系と、
    前記光学系により拡大される前記部位を結像する全画素同時露光が可能な撮像素子とを具備する顕微鏡を制御するコンピュータを動作させるプログラムであって、
    前記撮像対象の部位の厚さ方向に前記対物レンズの焦点を移動させる移動制御部と、
    第1の焦点位置、および前記第1の焦点位置に対し前記光学系の焦点深度または前記焦点深度よりも短い所定の間隔をあけて設定された第2の焦点位置の平均画像を得られるように、前記撮像素子を前記第1の焦点位置にて露光させた後、前記撮像素子を前記第2の焦点位置にて露光させる多重露光処理部として
    前記コンピュータを動作させるプログラム。
JP2011220773A 2011-10-05 2011-10-05 画像取得装置、画像取得方法、およびコンピュータプログラム Expired - Fee Related JP6136085B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011220773A JP6136085B2 (ja) 2011-10-05 2011-10-05 画像取得装置、画像取得方法、およびコンピュータプログラム
US13/617,418 US9386233B2 (en) 2011-10-05 2012-09-14 Image acquisition apparatus, image acquisition method, and computer program
CN201210362291XA CN103033921A (zh) 2011-10-05 2012-09-25 图像采集设备、图像采集方法以及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011220773A JP6136085B2 (ja) 2011-10-05 2011-10-05 画像取得装置、画像取得方法、およびコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017000182A Division JP2017058704A (ja) 2017-01-04 2017-01-04 画像取得装置、画像取得方法、およびコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2013080144A JP2013080144A (ja) 2013-05-02
JP2013080144A5 JP2013080144A5 (ja) 2014-11-06
JP6136085B2 true JP6136085B2 (ja) 2017-05-31

Family

ID=48020970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011220773A Expired - Fee Related JP6136085B2 (ja) 2011-10-05 2011-10-05 画像取得装置、画像取得方法、およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US9386233B2 (ja)
JP (1) JP6136085B2 (ja)
CN (1) CN103033921A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150301328A1 (en) * 2012-11-16 2015-10-22 Molecular Devices, Llc System and method of acquiring images with a rolling shutter camera while asynchronously sequencing microscope devices
JP6134249B2 (ja) * 2013-11-01 2017-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
CN108369332A (zh) * 2015-12-08 2018-08-03 奥林巴斯株式会社 显微镜观察系统、显微镜观察方法和显微镜观察程序
WO2018042629A1 (ja) * 2016-09-02 2018-03-08 オリンパス株式会社 画像観察装置および顕微鏡システム
JP6715463B2 (ja) * 2016-09-30 2020-07-01 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
DE102017108016A1 (de) * 2017-04-13 2018-10-18 Carl Zeiss Microscopy Gmbh Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
DE102017123510A1 (de) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe
US10812701B2 (en) 2018-12-13 2020-10-20 Mitutoyo Corporation High-speed tag lens assisted 3D metrology and extended depth-of-field imaging
CN110076989B (zh) * 2019-05-22 2024-04-05 华南理工大学 基于非线性调焦多重分区曝光的3d打印装置的打印方法
CN115629505B (zh) * 2022-12-06 2023-03-28 开拓导航控制技术股份有限公司 基于液晶调控的成像过程过曝光实时抑制方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) * 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
JP3191928B2 (ja) * 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JPH04308975A (ja) * 1991-04-05 1992-10-30 Taiyo Densan Kk カメラの画像記録方法及び画像記録装置
GB2383487B (en) * 2001-12-18 2006-09-27 Fairfield Imaging Ltd Method and apparatus for acquiring digital microscope images
EP1756750A4 (en) 2004-05-27 2010-10-20 Aperio Technologies Inc SYSTEMS AND METHOD FOR PRODUCING AND LOOKING AT THREE-DIMENSIONAL VIRTUAL FOILS
JP4311668B2 (ja) * 2004-11-15 2009-08-12 オリンパス株式会社 撮像装置と撮像システムおよび画像の撮影方法
EP1865354B1 (en) * 2005-03-17 2016-03-16 Hamamatsu Photonics K.K. Microscopic image capturing device
JP2008011298A (ja) * 2006-06-30 2008-01-17 Fujitsu Ltd 固体撮像装置及びその制御方法
US8243547B2 (en) * 2006-12-15 2012-08-14 Exxonmobil Upstream Research Co. Identification and suppression of multiples in ocean bottom seismic data
WO2008137746A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
JP5090188B2 (ja) * 2008-01-10 2012-12-05 オリンパス株式会社 顕微鏡装置
JP5257375B2 (ja) * 2009-03-13 2013-08-07 オムロン株式会社 画像処理装置および画像処理方法
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
JP5497386B2 (ja) * 2009-09-11 2014-05-21 浜松ホトニクス株式会社 画像取得装置
US8581162B2 (en) * 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
JP2011180442A (ja) * 2010-03-02 2011-09-15 Sony Corp サンプル像取得装置、サンプル像取得方法及びサンプル像取得プログラム

Also Published As

Publication number Publication date
JP2013080144A (ja) 2013-05-02
US20130088634A1 (en) 2013-04-11
CN103033921A (zh) 2013-04-10
US9386233B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
JP6136085B2 (ja) 画像取得装置、画像取得方法、およびコンピュータプログラム
US8982457B2 (en) Microscope system and illumination intensity adjusting method
JP4917331B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP5289756B2 (ja) 顕微鏡観察システム
US8497899B2 (en) Biological sample image acquiring apparatus, biological sample image acquiring method, and program
JP4917329B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
US20150185456A1 (en) Microscope system and control method therefor
JP2013080144A5 (ja)
JP2005037902A (ja) 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム
JP2008139579A (ja) 画像処理装置、画像処理プログラム及び観察システム
JP2012003214A (ja) 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置
JP2007114742A (ja) 観察装置
JP6157155B2 (ja) 顕微鏡システム、駆動方法およびプログラム
JP5412149B2 (ja) 画像撮像装置及びそれを備えた細胞画像解析システム
US20150049180A1 (en) Microscope
JP2006338001A (ja) 顕微鏡システムおよび画像生成方法
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP2013229706A (ja) 画像取得装置、画像取得方法、および画像取得プログラム
JP2017058704A (ja) 画像取得装置、画像取得方法、およびコンピュータプログラム
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2008051772A (ja) 蛍光画像取得装置、及び蛍光画像取得方法
JP2018116309A (ja) 画像取得装置、画像取得方法および顕微鏡
JP2021512346A (ja) 衝撃再走査システム
JP2010008492A (ja) 生体試料観察装置
JP6406008B2 (ja) 光学観察装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170417

R151 Written notification of patent or utility model registration

Ref document number: 6136085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees