JP6522535B2 - 細胞観察装置および方法 - Google Patents

細胞観察装置および方法 Download PDF

Info

Publication number
JP6522535B2
JP6522535B2 JP2016037697A JP2016037697A JP6522535B2 JP 6522535 B2 JP6522535 B2 JP 6522535B2 JP 2016037697 A JP2016037697 A JP 2016037697A JP 2016037697 A JP2016037697 A JP 2016037697A JP 6522535 B2 JP6522535 B2 JP 6522535B2
Authority
JP
Japan
Prior art keywords
cell
thickness
optical system
imaging
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016037697A
Other languages
English (en)
Other versions
JP2017156443A (ja
Inventor
兼太 松原
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016037697A priority Critical patent/JP6522535B2/ja
Priority to PCT/JP2016/086085 priority patent/WO2017149880A1/ja
Priority to EP16892715.0A priority patent/EP3425438A4/en
Priority to KR1020187023737A priority patent/KR102066807B1/ko
Publication of JP2017156443A publication Critical patent/JP2017156443A/ja
Priority to US16/059,580 priority patent/US11061214B2/en
Application granted granted Critical
Publication of JP6522535B2 publication Critical patent/JP6522535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biotechnology (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Cell Biology (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本発明は、培養される細胞の像を結像光学系によって結像して観察する細胞観察装置および方法に関するものである。
近年、幹細胞などの培養された細胞を観察する顕微鏡として、位相差顕微鏡をはじめとする種々の顕微鏡が広く使われている。
細胞は成長が進むにつれ、3次元的に積層することが知られているが、顕微鏡の対物レンズには焦点深度があるため積層した細胞の3次元的な構造を一度に観察することは難しい。
特許文献1においては、厚み方向の細胞の成長度に応じて決定したパラメータに基づいてオートフォーカス制御を行い、これにより細胞の厚みの応じた撮像を行うことが提案されている。
また、特許文献2においては、3次元的に離間して配置された複数の細胞の画像を撮像する方法が提案されており、対物レンズの合焦位置を光軸方向に予め設定されたピッチで移動させ、各合焦位置で撮像された画像を合成する方法が提案されている。
また、特許文献3においては、厚みのある細胞を、対物レンズの合焦位置を光軸方向に移動させながら観察する場合において、細胞の厚みを推定し、その推定した厚みに基づいて、合焦位置の走査範囲を決定することが提案されている。
特開2015−166829号公報 特開2015−108534号公報 特許第4937457号公報
しかしながら、特許文献1に記載の方法では、オートフォーカス制御によって最終的に決定される焦点位置は1つであるため、積層された細胞の3次元的な構造を観察することはできない。
また、特許文献2では、3次元的に離間して配置された複数の細胞を撮像する方法について記載されているだけであり、厚みを有する細胞の撮像方法については何も提案されていない。
また、特許文献3においては、ユーザによって設定入力された細胞の大きさに基づいて、合焦位置の走査範囲を決定することが提案されているが、設定入力された細胞の大きさと実際に培養された細胞の大きさとの間に相違がある可能性がある。たとえば実際に培養された細胞の大きさに対して、走査範囲が広すぎる場合には、無駄な撮影を行うことになり、一方、走査範囲が狭すぎる場合には、細胞の厚み方向について撮影不足が生じることになる。
本発明は、上記の問題に鑑み、細胞全体の3次元的な構造を観察することができ、かつ無駄な撮影を防止することができる細胞観察装置および方法を提供することを目的とする。
本発明の細胞観察装置は、培養容器内で培養される細胞の像を結像する結像光学系と、結像光学系の焦点位置の走査範囲を制御する結像光学系制御部と、細胞の培養容器内の設置面からの厚さに関連する情報を取得する厚さ情報取得部と、結像光学系によって結像された像を受光し、細胞の画像を撮像する撮像部とを備え、結像光学系制御部が、厚さに関連する情報に基づいて、細胞に対する焦点位置の初期走査範囲を設定し、結像光学系を制御することによって、設定した初期走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させ、次いで撮像部によって撮像された複数の焦点位置毎の画像を取得し、その取得した画像に基づいて細胞の厚さを推定し、その推定した細胞の厚さに基づいて、焦点位置の初期走査範囲を更新し、結像光学系を制御することによって、その更新した走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させることを特徴とする。
また、上記本発明の細胞観察装置において、結像光学系制御部は、複数の焦点位置毎の画像に基づいて、細胞の厚さ方向についてその細胞全体が撮像されたか否かを判定し、細胞全体が撮像されていないと判定した場合に、細胞の厚さを推定し、その推定した細胞の厚さに基づいて、焦点位置の初期走査範囲の更新を行うことが望ましい。
また、上記本発明の細胞観察装置において、結像光学系制御部は、細胞の厚さ方向についてその細胞全体が撮像されていないと判定した場合に、その撮像されていない範囲を新たな焦点位置の走査範囲として更新することができる。
また、上記本発明の細胞観察装置において、結像光学系制御部は、焦点位置毎の画像のエッジ情報に基づいて、細胞の厚さ方向についてその細胞全体が撮像されたか否かを判定することができる。
また、上記本発明の細胞観察装置において、結像光学系制御部は、細胞の設置面から最も離れた焦点位置の画像内に細胞のエッジが存在しない場合に、細胞の厚さ方向についてその細胞全体が撮像されていると判定することができる。
また、上記本発明の細胞観察装置において、結像光学系制御部は、過去に異なる時点で撮像された細胞の画像に基づいて、次の細胞の撮像時点における焦点位置の初期走査範囲を設定することができる。
また、上記本発明の細胞観察装置において、厚さ情報取得部は、細胞の種類、細胞の培養期間、細胞の培養条件および細胞の大きさの少なくとも1つを厚さに関連する情報として取得することができる。
また、上記本発明の細胞観察装置において、結像光学系制御部は、厚さに関連する情報に基づいて設定した初期走査範囲内において、少なくとも3つ以上の焦点位置における細胞の像をそれぞれ結像させることができる。
また、上記本発明の細胞観察装置においては、細胞に対して位相差計測用の照明光を照射する照明光照射部を設け、結像光学系によって、細胞の位相差像を結像することができる。
本発明の細胞観察方法は、培養容器内で培養される細胞の像を結像光学系を用いて結像して観察する細胞観察方法であって、細胞の培養容器内の設置面からの厚さに関連する情報を取得し、その取得した厚さに関連する情報に基づいて、細胞に対する焦点位置の初期走査範囲を設定し、結像光学系を制御することによって、設定した初期走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させて撮像し、次いでその撮像した複数の焦点位置毎の画像を取得し、その取得した画像に基づいて細胞の厚さを推定し、その推定した細胞の厚さに基づいて、焦点位置の初期走査範囲を更新し、その更新した走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させることを特徴とする。
本発明の細胞観察装置および方法によれば、細胞の厚さに関連する情報を取得し、その取得した厚さに関連する情報に基づいて、細胞に対する焦点位置の初期走査範囲を設定する。このように初期走査範囲を設定することによって、細胞の厚さに応じて走査範囲の絞り込むことができ、無駄な撮影を防止することができる。
そして、初期走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させて撮像し、次いでその撮像した複数の焦点位置毎の画像を取得し、その取得した画像に基づいて細胞の厚さを推定する。これにより、実際に培養された細胞の厚さを推定することができる。
次いで、推定した細胞の厚さに基づいて、焦点位置の初期走査範囲を更新し、その更新した走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させるようにしたので、細胞全体の3次元的な構造を観察することができ、かつ無駄な撮影を防止することができる。
本発明の細胞観察装置の一実施形態を用いた顕微鏡システムの概略構成を示す図 培養容器の種類、培養期間および培養条件と初期走査範囲とを対応づけたテーブルの一例を示す図 初期走査範囲の設定を説明するための図 初期走査範囲の更新を説明するための図 細胞の厚さの推定を説明するための図 本発明の細胞観察装置の一実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 過去の画像に基づいて初期走査範囲を設定する方法を説明するための図
以下、本発明の細胞観察装置および方法の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡システムの概略構成を示す図である。
本実施形態の顕微鏡システムは、図1に示すように、照明光照射部10と、結像光学系30と、撮像部40と、顕微鏡制御装置50と、表示装置80と、入力装置90とを備えている。
本実施形態の顕微鏡システムにおいては、照明光照射部10と結像光学系30との間に、ステージ61が設けられており、このステージ61上に培養容器60が載置されて、支持される。培養容器60内には、培養液Cおよび観察対象Sが収容されている。
そして、本実施形態の顕微鏡システムは、X方向、Y方向およびZ方向にステージ61を移動させるステージ駆動部62を備えている。X方向およびY方向は、観察対象Sの設置面Pに平行な面上において互いに直交する方向であり、Z方向は、X方向およびY方向に直交する方向である。
本実施形態の顕微鏡システムにおいては、上述した照明光照射部10、結像光学系30、撮像部40、ステージ61、ステージ駆動部62および結像光学系駆動部34から位相差顕微鏡本体が構成され、顕微鏡制御装置50は、この位相差顕微鏡本体を制御するものである。なお、本実施形態においては、位相差顕微鏡本体と、顕微鏡制御装置50における後述する結像光学系制御部51および厚さ情報取得部53とから本発明の細胞観察装置が構成されている。以下、位相差顕微鏡本体の具体的な構成を説明する。
照明光照射部10は、培養容器60内に収容された観察対象Sに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。具体的には、本実施形態の照明光照射部10は、位相差計測用の白色光を出射する白色光源11と、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光を出射するスリット板12と、スリット板12から出射されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Sに対して照射するコンデンサレンズ13とを備えている。
スリット板12は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。
なお、本実施形態においては、上述したようにスリット板12を用いてリング状照明光を形成するようにしたが、リング状照明光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いてリング状照明光を形成するようにしてもよい。
また、本実施形態においては、位相差計測用の照明光としてリング状照明光を用いるようにしたが、リング状以外の構造を有する照明光でもよく、後述する位相板32と共役な形状となっていれば三角形状や四角形状などその他の形状でもよい。
ステージ61上に設置された培養容器60内には、観察対象Sとして、培養される細胞が配置される。培養される細胞としては、iPS(induced pluripotent stem)細胞およびES(embryonic stem)細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。なお、本明細書において細胞といった場合、1つの細胞だけでなく、複数の細胞が集合した細胞群(細胞コロニー)も含むものとする。また、本実施形態では、培養容器60の底部と観察対象Sとの境界面を観察対象Sの設置面Pという。培養容器60としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。ウェルプレートの場合、各ウェルに観察対象Sおよび培養液Cが収容される。
結像光学系30は、培養容器60内の観察対象Sの像を撮像部40に結像するものであり、対物レンズ31と、位相板32と、結像レンズ33とを備える。
位相板32は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板12のスリットの大きさは、この位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板32に入射された直接光は位相リングを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板の部分を通過し、その位相および明るさは変化しない。
結像レンズ33は、位相板32を通過した直接光および回折光が入射され、これらの光を撮像部40に結像するものである。
結像光学系駆動部34は、後述する結像光学系制御部51から出力された制御信号に基づいて、対物レンズ31を図1に示すZ方向に移動させる機構を備えたものであり、結像光学系駆動部34による対物レンズ31の移動によって結像光学系30の焦点位置が変更される。
結像光学系30は、その光学倍率を変更可能に構成するようにしてもよい。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ31を結像光学系30に設け、この複数の対物レンズ31を自動的に切り換えるようにすればよい。この際、位相板32も対物レンズ31の変更に応じて変更される。また、ユーザが対物レンズ31を手動で交換することによって変更するようにしてもよい。
撮像部40は、結像レンズ33によって結像された観察対象Sの像を受光し、観察対象Sの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、CCD(charge-coupled device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを用いることができる。
顕微鏡制御装置50は、CPU(Central Processing Unit)、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものである。
顕微鏡制御装置50は、位相差顕微鏡本体全体の動作を制御するものであり、具体的には、図1に示すように、結像光学系駆動部34を制御する結像光学系制御部51と、ステージ駆動部62を制御するステージ制御部52と、厚さ情報取得部53とを備えている。
結像光学系制御部51は、結像光学系駆動部34を制御して対物レンズ31をZ方向に移動させ、これにより結像光学系30の焦点位置を変更するものである。本実施形態における結像光学系制御部51は、観察対象Sの位相差画像を撮像する際、Z方向について複数の焦点位置を設定し、その焦点位置毎の位相差画像を撮像する。これにより観察対象Sの厚さ方向について、複数の位相差画像を撮像することができ、観察対象Sの3次元的な構造を観察することができる。なお、観察対象Sの厚さとは、観察対象S(細胞)の培養容器60の設置面Pからの厚さのことをいう。
また、結像光学系制御部51は、厚さ情報取得部53によって取得された観察対象Sの厚さに関連する情報に基づいて、その観察対象Sに対する焦点位置の初期走査範囲と初期走査ピッチとを設定する。そして、結像光学系30を制御することによって、その設定した初期走査範囲内の複数の焦点位置における観察対象Sの像をそれぞれ結像させるものである。なお、初期走査ピッチとは、初期走査範囲内における複数の焦点位置間の距離のことである。初期走査範囲内の焦点位置の数は少なくとも3つ以上であることが望ましい。また、観察対象Sの厚さに関連する情報に基づく初期走査範囲の設定については、後で詳述する。
ステージ制御部52は、ステージ駆動部62を駆動制御し、これによりステージ61をX方向、Y方向およびZ方向に移動させるものである。ステージ61が、X方向およびY方向に移動することによって、たとえば1つのセル内が位相差計測用の照明光で走査され、1つのセル内で分割された複数の撮像領域(視野)毎の位相差画像が撮像される。
厚さ情報取得部53は、観察対象S(細胞)の厚さに関連する情報を取得するものである。厚さに関連する情報としては、たとえば細胞の種類の情報、細胞の培養期間の情報、細胞の培養条件の情報、および細胞の大きさの情報などがあるが、本実施形態においては、細胞の種類の情報、細胞の培養期間の情報および細胞の培養条件の情報を取得する。なお、細胞の大きさの情報とは、細胞のX-Y方向の大きさを示す情報のことである。
また、細胞の種類の情報とは、上述した多能性幹細胞、分化誘導後の神経細胞および分化誘導後の皮膚細胞などといった培養対象の細胞の種類を示す情報である。細胞の種類の情報は、ユーザが入力装置90を用いて設定入力してもよいし、たとえば培養容器60に対して細胞の種類の情報が記録されたバーコードまたはIC(Integrated Circuit)チップなどの記録媒体を設けておき、その記録媒体から読み出すことによって取得するようにしてもよい。
また、細胞の培養期間の情報は、細胞の培養を開始してからの期間または培養される細胞に対して薬剤などを添加してから経過した期間などを示す情報である。細胞の培養期間の情報は、ユーザが入力装置90を用いて設定入力してもよいし、タイマなどを設けて自動計測するようにしてもよい。
また、細胞の培養条件の情報としては、たとえば培養液C(培地)の種類、成長因子の種類および量、並びに添加される薬剤の種類および量などの情報があるが、細胞の成長速度に影響する条件であればその他の条件でもよい。細胞の培養条件の情報についても、ユーザが入力装置90を用いて設定入力してもよいし、たとえば培養容器60に対して細胞の培養条件の情報が記録されたバーコードまたはIC(Integrated Circuit)チップなどの記録媒体を設けておき、その記録媒体から読み出すことによって取得するようにしてもよい。
そして、厚さ情報取得部53によって取得された細胞の種類の情報、培養期間の情報および培養条件の情報は、結像光学系制御部51によって取得される。結像光学系制御部51には、図2に示すような、細胞の種類の情報、培養期間の情報および培養条件の情報と、結像光学系30の焦点位置の初期走査範囲の情報とを対応付けたテーブルが予め設定されている。
結像光学系制御部51は、取得した細胞の種類の情報、培養期間の情報および培養条件の情報に基づいて、図2に示すテーブルを参照することによって、結像光学系30の焦点位置の初期走査範囲を設定する。そして、結像光学系制御部51は、結像光学系30を制御することによって、初期走査範囲内の複数の焦点位置に焦点を合わせ、各焦点位置おける観察対象Sの像をそれぞれ結像させる。なお、本実施形態においては、初期走査ピッチは固定値とするが、初期走査ピッチについても、厚さに関連する情報に基づいて変更するようにしてもよい。たとえば細胞の厚さが大きくなるほど初期走査ピッチを大きくするようにすればよい。その場合、初期走査範囲内における複数の焦点位置が常に同じ数となるように設定するようにしてもよい。すなわち、観察対象Sについて撮像される位相差画像の枚数が常に同じ枚数になるようにしてもよい。
また、観察対象Sの厚さに関連する情報として、細胞の大きさの情報を取得する場合には、細胞の大きさと初期走査範囲とを対応づけたテーブルを予め設定しておけばよい。細胞の大きさの情報については、たとえばユーザが入力装置90を用いて設定入力すればよい。
上述したように、結像光学系制御部51が、観察対象Sの厚さに関連する情報に基づいて、結像光学系30の焦点位置の初期走査範囲を設定することによって、たとえば、図3に示すように、観察対象Sの厚さに応じた初期走査範囲R1を設定することができ、これにより、厚さ方向について観察対象S全体に亘って複数の位相差画像を撮像することができ、かつ無駄な位相差画像の撮像を減らすことができる。
ここで、上述した厚さに関連する情報は、観察対象Sの厚さを直接計測した情報ではなく、観察対象Sの厚さを間接的に表す情報であるため、必ずしも、図3に示すように、観察対象Sの実際の厚さと初期走査範囲R1とが同等の大きさになる訳ではなく、これらが異なる大きさとなる可能性もある。すなわち、観察対象Sの厚さと初期走査範囲R1との関係が、図4に示すような関係となる可能性もある。
この場合、初期走査範囲R1に対応する観察対象Sの範囲の位相差画像は撮像することができるが、図4に示すRXの範囲については、観察対象Sの位相差画像を撮像することができず、これにより、厚さ方向について観察対象S全体に亘る位相差画像を撮像することができず、RXの範囲の観察対象Sの構造等を観察することができない。なお、ここでいう観察対象S全体とは、たとえば観察対象Sとして複数の細胞がある場合には、その複数の細胞の全てを含むものとする。
そこで、結像光学系制御部51は、初期走査範囲R1内において焦点位置を走査することにより撮像された焦点位置毎の位相差画像を取得し、その取得した位相差画像に基づいて、観察対象S全体に亘る位相差画像が撮像されたか否かを判定する。そして、観察対象S全体に亘る位相差画像が撮像されていない場合には、焦点位置毎の位相差画像に基づいて、観察対象Sの厚さを推定し、その推定した観察対象Sの厚さに基づいて、焦点位置の初期走査範囲を更新する。以下、観察対象S全体に亘る位相差画像が撮像されたか否かを判定し、観察対象Sの厚さを推定する方法について詳細に説明する。
結像光学系制御部51は、まず、焦点位置毎の位相差画像に含まれる細胞のエッジを抽出する。位相差画像に含まれる細胞のエッジの抽出方法としては、公知な画像処理を用いることができる。そして、結像光学系制御部51は、各位相差画像の焦点位置(Z方向)を横軸とし、各位相差画像のエッジの量を縦軸として、各焦点位置の位相差画像のエッジ量をプロットし、補間演算などを行うことによって、図5に実線で示すようなエッジ量のプロファイルを取得する。なお、図5における横軸の正方向(図面上で右方向)は、観察対象Sの設置面Pから離れる方向である。
ここで、観察対象Sの実際の厚さと初期走査範囲R1との関係が、たとえば図4に示すような関係である場合には、すなわち初期走査範囲R1よりも観察対象Sの実際の厚さの方が大きい場合には、エッジ量のプロファイルは、図5に実線で示すようなプロファイルとなる。すなわち、エッジ量のプロファイルはゼロに収束することなく、エッジ量E1の位置までのプロファイルとなる。エッジ量E1は、初期走査範囲R1内において観察対象Sの設置面から最も離れた焦点位置の位相差画像のエッジ量である。
結像光学系制御部51は、このようにエッジ量のプロファイルがゼロに収束しない場合には、観察対象S全体に亘る位相差画像が撮像されていないと判定する。そして、外挿処理などを行うことによって、図5に点線で示すように、ゼロに収束するようなプロファイルとし、エッジ量がゼロに収束した焦点位置までの範囲を観察対象Sの厚さとして推定する。すなわち、図5に示すようなプロファイルの場合、初期走査範囲R1に対してRXを加えた範囲を観察対象Sの厚さとして推定する。
そして、結像光学系制御部51は、焦点位置の走査範囲をR1からRXに更新し、先の位相差画像の撮像において撮像されなかった範囲(図4に示すRXの範囲)の位相差画像が撮像されるように結像光学系30を制御する。なお、結像光学系制御部51は、エッジ量のプロファイルがゼロに収束する場合、すなわち初期走査範囲R1内において観察対象Sの設置面Pから最も離れた焦点位置の位相差画像内に細胞のエッジが存在しない場合には、観察対象S全体に亘る位相差画像が撮像されていると判定し、さらなる位相差画像の撮像は行わない。
なお、観察対象Sとして複数の細胞がある場合には、その細胞毎について全体に亘る位相差画像が撮像されているか否かを判定してもよい。そして、全体に亘る位相差画像が撮像されていない細胞のみについて厚さの推定を行い、その細胞の撮像されなかった範囲の位相差画像が撮像されるように結像光学系30およびステージ駆動部62を制御してもよい。
図1に戻り、顕微鏡制御装置50には、入力装置90と表示装置80とが接続されている。入力装置90は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置90は、上述した細胞の種類の情報、培養期間の情報および培養条件の情報などの設定入力を受け付けるものである。
表示装置80は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部40において撮像された位相差画像などを表示するものである。なお、表示装置80をタッチパネルによって構成することによって、入力装置90を兼用するようにしてもよい。
次に、本実施形態の顕微鏡システムの作用について、図6に示すフローチャートを参照しながら説明する。
まず、観察対象Sが収容された培養容器60がステージ61上に設置される(S10)。そして、ユーザによる設定入力などによって、細胞の種類の情報、培養期間の情報および培養条件の情報などの細胞の厚さに関連する情報が取得される(S12)。
細胞の種類の情報、培養期間の情報および培養条件の情報は結像光学系制御部51によって取得され、結像光学系制御部51は、それらの情報に基づいて、結像光学系30の焦点位置の初期走査範囲を設定する(S14)。
そして、照明光照射部10から培養容器60に向けてリング状照明光が照射され、上記初期走査範囲内において結像光学系30の焦点位置が走査され、焦点位置毎の観察対象Sの位相差画像の撮像が行われる(S16)。
焦点位置毎の位相差画像は結像光学系制御部51によって取得され、結像光学系制御部51は、その取得した複数の位相差画像に基づいて、観察対象S全体に亘る位相差画像が撮像されたか否かを判定する(S18)。
結像光学系制御部51は、観察対象S全体に亘る位相差画像が撮像されていないと判定した場合には、焦点位置毎の位相差画像に基づいて、観察対象Sの厚さを推定し(S20)、その推定した観察対象Sの厚さに基づいて、焦点位置の初期走査範囲を更新する(S22)。
そして、更新された走査範囲内において結像光学系30の焦点位置が走査され、焦点位置毎の観察対象Sの位相差画像の撮像が行われ、先の位相差画像の撮像において撮像されなかった範囲の位相差画像が取得される(S24)。
一方、S18において、観察対象S全体に亘る位相差画像が撮像されていると判定された場合には、さらなる位相差画像の撮像は行われない。
上記のようにして撮像された観察対象Sの焦点位置毎の位相差画像は表示装置80に出力されて表示される(S26)。焦点位置毎の位相差画像を表示する際、これらの位相差画像を順次切り替えて表示させるようにしてもよいし、並べて表示させるようにしてもよい。
上記実施形態の顕微鏡システムによれば、細胞の厚さに関連する情報を取得し、その取得した厚さに関連する情報に基づいて、細胞に対する焦点位置の初期走査範囲を設定する。このように初期走査範囲を設定することによって、細胞の厚さに応じて走査範囲の絞り込むことができ、無駄な撮影を防止することができる。
そして、初期走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させて撮像し、次いでその撮像した複数の焦点位置毎の位相差画像を取得し、その取得した位相差画像に基づいて細胞の厚さを推定する。これにより、実際に培養された細胞の厚さを推定することができる。
次いで、その推定した細胞の厚さに基づいて、焦点位置の初期走査範囲を更新し、その更新した走査範囲内の複数の焦点位置における細胞の像をそれぞれ結像させるようにしたので、細胞全体の3次元的な構造を観察することができ、かつ無駄な撮影を防止することができる。
なお、上記実施形態の顕微鏡システムを用いて、たとえばタイムラプス撮影を行う場合、位相差画像の各撮影時点において、上述したように細胞の厚さに関連する情報に基づいて、初期走査範囲を設定するようにしてもよいが、これに限らず、たとえば3回目以降の撮像時点においては、少なくとも2回の過去の撮像時点において撮像された位相差画像に基づいて、初期走査範囲を設定するようにしてもよい。
具体的には、たとえば結像光学系制御部51が、図7に示すように、1回目の撮像によって取得した位相差画像に含まれる細胞の大きさD1と、2回目の撮像によって取得した位相差画像に含まれる細胞の大きさD2とを算出し、これらの細胞の大きさの情報に基づいて、たとえば外挿処理を行うなどして3回目の撮像時点における細胞の大きさD3を推定する。そして、この3回目の撮像時点における細胞の大きさD3に基づいて、細胞の厚さを推定し、その推定した厚さに基づいて、初期走査範囲を設定するようにしてもよい。
なお、このとき初期走査ピッチについても、上記実施形態と同様に、細胞の厚さに応じた初期走査ピッチを設定するようにしてもよい。また、3回目の撮像時点に限らず、4回目以降の撮像時点においても、同様にして4回目以降の時点における細胞の大きさを推定し、その細胞の大きさに基づいて、細胞の厚さを推定してもよい。
また、細胞の大きさと細胞の厚さの関係については、ルックアップテーブルまたは関数などによって予め設定すればよい。また、このようなルックアップテーブルまたは関数などを細胞の種類毎、培養期間毎または培養条件毎に設定するようにしてもよい。
また、上記実施形態において、初期走査範囲と初期走査ピッチについては、使用する対物レンズ31の倍率および/または照明光の波長に応じて変更してもよい。具体的には、対物レンズの倍率が高いほど被写界深度が浅くなるので初期走査範囲および初期走査ピッチを狭くしてもよい。また、照明光の波長が短いほど被写界深度が浅くなるので初期走査範囲および初期走査ピッチを狭くしてもよい。
また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
10 照明光照射部
11 白色光源
12 スリット板
13 コンデンサレンズ
30 結像光学系
31 対物レンズ
32 位相板
33 結像レンズ
34 結像光学系駆動部
40 撮像部
50 顕微鏡制御装置
51 結像光学系制御部
52 ステージ制御部
53 情報取得部
60 培養容器
61 ステージ
62 ステージ駆動部
80 表示装置
90 入力装置
C 培養液
P 設置面
R1 初期走査範囲
RX 走査範囲
S 観察対象

Claims (10)

  1. 培養容器内で培養される細胞の像を結像する結像光学系と、
    該結像光学系の焦点位置の走査範囲を制御する結像光学系制御部と、
    前記細胞の前記培養容器内の設置面からの厚さに関連する情報を取得する厚さ情報取得部と、
    前記結像光学系によって結像された像を受光し、前記細胞の画像を撮像する撮像部とを備え、
    前記結像光学系制御部が、前記厚さに関連する情報に基づいて、前記細胞に対する焦点位置の初期走査範囲を設定し、前記結像光学系を制御することによって、前記設定した初期走査範囲内の複数の焦点位置における前記細胞の像をそれぞれ結像させ、次いで前記撮像部によって撮像された前記複数の焦点位置毎の画像を取得し、該取得した画像に基づいて前記細胞の厚さを推定し、該推定した細胞の厚さに基づいて、前記焦点位置の初期走査範囲を更新し、前記結像光学系を制御することによって、該更新した走査範囲内の複数の焦点位置における前記細胞の像をそれぞれ結像させることを特徴とする細胞観察装置。
  2. 前記結像光学系制御部が、前記複数の焦点位置毎の画像に基づいて、前記細胞の厚さ方向について該細胞全体が撮像されたか否かを判定し、前記細胞全体が撮像されていないと判定した場合に、前記細胞の厚さを推定し、該推定した細胞の厚さに基づいて、前記焦点位置の初期走査範囲の更新を行う請求項1記載の細胞観察装置。
  3. 前記結像光学系制御部が、前記細胞の厚さ方向について該細胞全体が撮像されていないと判定した場合に、該撮像されていない範囲を新たな前記焦点位置の走査範囲として更新する請求項2記載の細胞観察装置。
  4. 前記結像光学系制御部が、前記焦点位置毎の画像のエッジ情報に基づいて、前記細胞の厚さ方向について該細胞全体が撮像されたか否かを判定する請求項2または3記載の細胞観察装置。
  5. 前記結像光学系制御部が、前記細胞の設置面から最も離れた焦点位置の画像内に前記細胞のエッジが存在しない場合に、前記細胞の厚さ方向について該細胞全体が撮像されていると判定する請求項4記載の細胞観察装置。
  6. 前記結像光学系制御部が、過去に異なる時点で撮像された前記細胞の画像に基づいて、次の前記細胞の撮像時点における前記焦点位置の初期走査範囲を設定する請求項1から5いずれか1項記載の細胞観察装置。
  7. 前記厚さ情報取得部が、前記細胞の種類、前記細胞の培養期間、前記細胞の培養条件および前記細胞の大きさの少なくとも1つを前記厚さに関連する情報として取得する請求項1から6いずれか1項記載の細胞観察装置。
  8. 前記結像光学系制御部が、前記厚さに関連する情報に基づいて設定した初期走査範囲内において、少なくとも3つ以上の焦点位置における前記細胞の像をそれぞれ結像させる請求項1から7いずれか1項記載の細胞観察装置。
  9. 前記細胞に対して位相差計測用の照明光を照射する照明光照射部を備え、
    前記結像光学系が、前記細胞の位相差像を結像する請求項1から8いずれか1項記載の細胞観察装置。
  10. 培養容器内で培養される細胞の像を結像光学系を用いて結像して観察する細胞観察方法であって、
    前記細胞の前記培養容器内の設置面からの厚さに関連する情報を取得し、
    該取得した厚さに関連する情報に基づいて、前記細胞に対する焦点位置の初期走査範囲を設定し、前記結像光学系を制御することによって、前記設定した初期走査範囲内の複数の焦点位置における前記細胞の像をそれぞれ結像させて撮像し、
    次いで該撮像した前記複数の焦点位置毎の画像を取得し、該取得した画像に基づいて前記細胞の厚さを推定し、該推定した細胞の厚さに基づいて、前記焦点位置の初期走査範囲を更新し、該更新した走査範囲内の複数の焦点位置における前記細胞の像をそれぞれ結像させることを特徴とする細胞観察方法。
JP2016037697A 2016-02-29 2016-02-29 細胞観察装置および方法 Active JP6522535B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016037697A JP6522535B2 (ja) 2016-02-29 2016-02-29 細胞観察装置および方法
PCT/JP2016/086085 WO2017149880A1 (ja) 2016-02-29 2016-12-05 細胞観察装置および方法
EP16892715.0A EP3425438A4 (en) 2016-02-29 2016-12-05 APPARATUS AND METHOD FOR CELL OBSERVATION
KR1020187023737A KR102066807B1 (ko) 2016-02-29 2016-12-05 세포 관찰 장치 및 방법
US16/059,580 US11061214B2 (en) 2016-02-29 2018-08-09 Cell observation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016037697A JP6522535B2 (ja) 2016-02-29 2016-02-29 細胞観察装置および方法

Publications (2)

Publication Number Publication Date
JP2017156443A JP2017156443A (ja) 2017-09-07
JP6522535B2 true JP6522535B2 (ja) 2019-05-29

Family

ID=59743621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016037697A Active JP6522535B2 (ja) 2016-02-29 2016-02-29 細胞観察装置および方法

Country Status (5)

Country Link
US (1) US11061214B2 (ja)
EP (1) EP3425438A4 (ja)
JP (1) JP6522535B2 (ja)
KR (1) KR102066807B1 (ja)
WO (1) WO2017149880A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220102324A (ko) * 2021-01-12 2022-07-20 정홍준 투명 디스플레이 패널을 이용한 현미경의 투과광 형성장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4937457A (ja) 1972-08-10 1974-04-08
JPH1138324A (ja) * 1997-07-23 1999-02-12 Nikon Corp レーザ走査顕微鏡
JP4937457B2 (ja) 2001-03-01 2012-05-23 オリンパス株式会社 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
DE10235656A1 (de) * 2002-08-02 2004-02-19 Leica Microsystems Heidelberg Gmbh Verfahren und Anordnung zur Mikroskopie
DE102006042242A1 (de) * 2006-09-06 2008-03-27 Leica Microsystems Cms Gmbh Verfahren zur Untersuchung eines Objekts mit einem Mikroskop und ein Mikroskop
US20090097734A1 (en) * 2007-10-10 2009-04-16 Olympus Corporation Cellular thickness measurement method
US9297995B2 (en) * 2011-02-11 2016-03-29 University Of South Florida Automatic stereological analysis of biological tissue including section thickness determination
AU2012242587B2 (en) * 2011-04-15 2015-11-26 Roche Diagnostics Hematology, Inc. Measuring volume and constituents of cells
DE102011075809A1 (de) * 2011-05-13 2012-11-15 Carl Zeiss Microimaging Gmbh Verfahren und Vorrichtung zum Festlegen eines z-Bereiches in einer Probe, in dem ein z-Stapel der Probe mittels eines Mikroskops aufzunehmen ist
US9041793B2 (en) * 2012-05-17 2015-05-26 Fei Company Scanning microscope having an adaptive scan
JP2015082095A (ja) * 2013-10-24 2015-04-27 株式会社キーエンス 画像処理装置、顕微鏡システム、画像処理方法およびプログラム
JP6327829B2 (ja) * 2013-10-24 2018-05-23 株式会社キーエンス 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム
JP6223157B2 (ja) 2013-12-04 2017-11-01 オリンパス株式会社 三次元画像撮像方法、三次元画像解析方法、及び三次元画像撮像システム
AU2013273789A1 (en) * 2013-12-20 2015-07-09 Canon Kabushiki Kaisha Thickness estimation for Microscopy
JP2015156011A (ja) * 2014-01-15 2015-08-27 キヤノン株式会社 画像取得装置およびその制御方法
JP6173950B2 (ja) 2014-03-04 2017-08-02 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP6333145B2 (ja) * 2014-09-30 2018-05-30 株式会社Screenホールディングス 画像処理方法および画像処理装置
JP2016075817A (ja) * 2014-10-07 2016-05-12 キヤノン株式会社 画像取得装置、画像取得方法及びプログラム
JP2015108837A (ja) * 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP2016212190A (ja) * 2015-05-01 2016-12-15 キヤノン株式会社 画像取得装置及びその制御方法

Also Published As

Publication number Publication date
EP3425438A4 (en) 2019-04-17
WO2017149880A1 (ja) 2017-09-08
US11061214B2 (en) 2021-07-13
US20180348493A1 (en) 2018-12-06
KR20180104041A (ko) 2018-09-19
KR102066807B1 (ko) 2020-01-15
JP2017156443A (ja) 2017-09-07
EP3425438A1 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
EP3318912B1 (en) Phase contrast microscope and imaging method
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
US10761295B2 (en) Image focusing device, image focusing method and computer readable medium with image focusing control program
JP6718024B2 (ja) 判別器の学習装置、方法およびプログラム、並びに判別器
JP6594223B2 (ja) 位相差顕微鏡および撮像方法
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6580012B2 (ja) 撮影画像評価装置および方法並びにプログラム
JP6522535B2 (ja) 細胞観察装置および方法
EP3460557B1 (en) Observation device and method, and observation device control program
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP2018054968A (ja) 観察装置および方法並びに観察装置制御プログラム
US11127180B2 (en) Image processing apparatus, method, and program
US20200217781A1 (en) Imaging device, and operation method and imaging control program of imaging device
JP2016161610A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190424

R150 Certificate of patent or registration of utility model

Ref document number: 6522535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250