JP6580012B2 - 撮影画像評価装置および方法並びにプログラム - Google Patents

撮影画像評価装置および方法並びにプログラム Download PDF

Info

Publication number
JP6580012B2
JP6580012B2 JP2016189793A JP2016189793A JP6580012B2 JP 6580012 B2 JP6580012 B2 JP 6580012B2 JP 2016189793 A JP2016189793 A JP 2016189793A JP 2016189793 A JP2016189793 A JP 2016189793A JP 6580012 B2 JP6580012 B2 JP 6580012B2
Authority
JP
Japan
Prior art keywords
photographed image
photographed
subject
density
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016189793A
Other languages
English (en)
Other versions
JP2018054425A (ja
Inventor
兼太 松原
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016189793A priority Critical patent/JP6580012B2/ja
Priority to KR1020197005997A priority patent/KR102149625B1/ko
Priority to PCT/JP2017/026745 priority patent/WO2018061429A1/ja
Priority to EP17855387.1A priority patent/EP3521750B1/en
Publication of JP2018054425A publication Critical patent/JP2018054425A/ja
Priority to US16/291,068 priority patent/US11169079B2/en
Application granted granted Critical
Publication of JP6580012B2 publication Critical patent/JP6580012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/04—Measuring microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1029—Particle size
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Dispersion Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、被写体を撮影した撮影画像に基づいて、被写体の厚さおよび密度の推定を行う撮影画像評価装置および方法並びにプログラムに関するものである。
ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
細胞は成長が進むにつれ、３次元的に積層することが知られており、その積層している培養細胞の厚さおよび密度（細胞の密集度）を知ることは、培養細胞を再生医療および創薬などの分野で使用する上で、重要なことである。
培養細胞の状態を評価する方法としては、従来、位相差顕微鏡などの顕微鏡を用いて培養細胞を撮影し、その撮影画像の特徴を捉えることによって細胞培養の状態を評価する方法が提案されている。
たとえば特許文献１においては、上述したような積層された培養細胞の状態を評価するために、検出光学系の焦点位置を培養細胞の積層方向に移動させることによって、培養細胞の設置面から積層方向に距離の異なる複数の断面画像を撮影することが提案されている。
特開２０１６−２１９１５号公報
しかしながら、特許文献１に記載の方法のように、焦点位置を変更しながら複数の断面画像を撮影するようにしたのでは、断面画像の撮影回数が多くなり、撮影時間が長くなってしまう問題がある。
また、多数の断面画像を統合して解析処理を行う必要があるので、その解析処理の負荷も大きなものとなる。
本発明は、上記の問題に鑑み、積層された培養細胞の厚さおよび密度を、短い撮影時間で評価することができる撮影画像評価装置および方法並びにプログラムを提供することを目的とする。
本発明の撮影画像評価装置は、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定する厚さ推定部と、相対的に対物レンズの開口数が大きい条件によって撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する密度推定部とを備える。
また、上記本発明の撮影画像評価装置において、厚さ推定部は、低ＮＡ撮影画像の輝度分布を取得し、その輝度分布に基づいて、被写体の厚さを推定することができる。
また、上記本発明の撮影画像評価装置において、厚さ推定部は、低ＮＡ撮影画像の輝度と被写体の厚さとを対応づけたテーブルを有することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、高ＮＡ撮影画像の輝度分布を取得し、その輝度分布に基づいて、被写体の密度を推定することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布の形状に基づいて、被写体の密度を推定することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布に含まれるピークを求め、そのピークの単位面積当たりの数を算出することによって被写体の密度を推定することができる。
また、上記本発明の撮影画像評価装置において、密度推定部は、輝度分布をガウス関数で近似してピークを求めることができる。
また、上記本発明の撮影画像評価装置において、低ＮＡ撮影画像は、相対的に低い倍率で撮影された撮影画像とし、高ＮＡ撮影画像は、相対的に高い倍率で撮影された撮影画像とすることができる。
また、上記本発明の撮影画像評価装置において、低ＮＡ撮影画像は、相対的に長い波長の照明光で撮影された撮影画像とし、高ＮＡ撮影画像は、相対的に短い波長の照明光で撮影された撮影画像とすることができる。
また、上記本発明の撮影画像評価装置において、低ＮＡ撮影画像は、相対的に開口の小さい開口絞りを用いて撮影された撮影画像とし、高ＮＡ撮影画像は、相対的に開口の大きい開口絞りを用いて撮影された撮影画像とすることができる。
また、上記本発明の撮影画像評価装置においては、厚さ推定部によって推定された被写体の厚さおよび密度推定部によって推定された被写体の密度を出力する出力部を備えることができる。
本発明の撮影画像評価方法は、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定し、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する。
本発明の撮影画像評価プログラムは、コンピュータを、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定する厚さ推定部と、相対的に対物レンズの開口数が大きい条件によって撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する密度推定部として機能させる。
本発明の撮影画像評価装置および方法並びにプログラムによれば、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、被写体の厚さを推定し、相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、被写体の密度を推定する。したがって、低ＮＡ撮影画像および高ＮＡ撮影画像の２回の撮影を行えばよいので、被写体の厚さおよび密度を短い撮影時間で評価することができる。
ここで、被写体の厚さを推定する場合に低ＮＡ撮影画像を用いるのは、対物レンズの開口数が小さい場合には、被写体を透過した光の直進成分を多く含む撮影画像が撮影され、被写体の厚さが反映された撮影画像となるからである。また、被写体の密度を推定する場合に高ＮＡ撮影画像を用いるのは、対物レンズの開口数が大きい場合には、被写体を透過した光の散乱成分を多く含む撮影画像が撮影され、被写体の密度が反映された撮影画像となるからである。
本発明の撮影画像評価装置の一実施形態を用いた顕微鏡画像評価システムの概略構成を示す図 低ＮＡ撮影画像の一例を示す図 低ＮＡ撮影画像に基づいて取得された輝度分布の一例を示す図 低ＮＡ撮影画像の輝度と被写体の厚さとの関係を示すテーブルの一例を示す図 被写体の厚さの推定結果の一例を示す図 低ＮＡ撮影画像の一例を示す図 低ＮＡ撮影画像に基づいて取得された輝度分布の一例を示す図 図７に示す輝度分布をガウス関数で近似した結果を示す図 ゴミの画像を含む高ＮＡ撮影画像の一例を示す図 ゴミの画像に基づくピークを含む輝度分布の一例を示す図 本発明の撮影画像評価装置の一実施形態を用いた顕微鏡画像評価システムの作用を説明するためのフローチャート 本発明の撮影画像評価装置のその他の実施形態を用いた顕微鏡画像評価システムの概略構成を示す図
以下、本発明の撮影画像評価装置および方法の一実施形態を用いた顕微鏡画像評価システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡画像評価システムの概略構成を示す図である。
本実施形態の顕微鏡画像評価システムは、図１に示すように、照明光照射部１０と、結像光学系３０と、撮像部４０と、顕微鏡制御装置５０と、表示装置８０と、入力装置９０とを備えている。
本実施形態の顕微鏡画像評価システムにおいては、照明光照射部１０と結像光学系３０との間に、ステージ６１が設けられており、このステージ６１上に培養容器６０が載置されて、支持される。培養容器６０内には、培養液Ｃおよび被写体Ｓが収容されている。
そして、本実施形態の顕微鏡画像評価システムは、ステージ６１をＸ方向およびＹ方向に移動させるステージ駆動部６２を備えている。Ｘ方向およびＹ方向は、被写体Ｓの設置面に平行な面上において互いに直交する方向であり、Ｚ方向は、Ｘ方向およびＹ方向に直交する方向である。
本実施形態の顕微鏡画像評価システムにおいては、上述した照明光照射部１０、結像光学系３０、撮像部４０、ステージ６１およびステージ駆動部６２から位相差顕微鏡本体が構成され、顕微鏡制御装置５０は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。
照明光照射部１０は、培養容器６０内に収容された被写体Ｓに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。
具体的には、本実施形態の照明光照射部１０は、位相差計測用の白色光を出射する白色光源１１と、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２と、スリット板１２から出射されたリング状照明光が入射され、その入射されたリング状照明光を被写体Ｓに対して照射するコンデンサレンズ１３とを備えている。
スリット板１２は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。
ステージ６１上に設置された培養容器６０内には、被写体Ｓとして、培養された細胞群（細胞コロニー）が配置される。培養された細胞としては、ｉＰＳ（induced pluripotent stem）細胞およびＥＳ（embryonic stem）細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。
結像光学系３０は、培養容器６０内の被写体Ｓの像を撮像部４０に結像するものであり、対物レンズ３１と、位相板３２と、結像レンズ３３とを備えている。
位相板３２は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。
位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、被写体Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。
結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像部４０に結像するものである。
本実施形態の結像光学系３０は、光学倍率を変更可能に構成されている。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ３１を結像光学系３０に設け、この複数の対物レンズ３１を手動または自動で切り換えるようにすればよい。なお、対物レンズ３１の倍率が変更された場合には、位相板３２も対物レンズ３１の倍率の変更に応じて変更される。
ここで、本実施形態においては、被写体Ｓを撮影した撮影画像に基づいて、被写体Ｓの厚さおよび密度を推定する。そして、被写体Ｓの厚さを推定する場合には、相対的に対物レンズ３１の開口数が小さい条件で撮影された低ＮＡ（numerical aperture）撮影画像を用い、被写体Ｓの密度を推定する場合には、相対的に対物レンズ３１の開口数が大きい条件で撮影された高ＮＡ（numerical aperture）撮影画像を用いる。被写体Ｓの厚さを推定する場合に低ＮＡ撮影画像を用いるのは、対物レンズ３１の開口数が小さい場合には、被写体Ｓを透過した光の直進成分を多く含む撮影画像が撮影され、被写体Ｓの厚さが反映された撮影画像となるからである。また、被写体Ｓの密度を推定する場合に高ＮＡ撮影画像を用いるのは、対物レンズ３１の開口数が大きい場合には、被写体Ｓを透過した光の散乱成分を多く含む撮影画像が撮影され、被写体Ｓの密度が反映された撮影画像となるからである。
本実施形態においては、たとえばユーザによって被写体Ｓの厚さの推定を行う指示入力を受け付けた場合には、対物レンズ３１の倍率が相対的に低くなるように自動的に変更して対物レンズ３１の開口数を小さくし、一方、ユーザによって被写体Ｓの密度の推定を行う指示入力を受け付けた場合には、対物レンズ３１の倍率が相対的に高くなるように自動的に変更して対物レンズ３１の開口数を大きくする。相対的に低い倍率としては、たとえば４倍とすることができ、相対的に高い倍率としては、たとえば１０倍とすることができる。ただし、この倍率に限られるものではない。ユーザによる指示入力は、入力装置９０によって受け付けるようにすればよく、厚さ推定用の倍率と密度推定用の倍率は、予め設定しておくようにすればよい。
ただし、本発明でいう対物レンズの開口数が異なる条件で被写体を撮影した撮影画像とは、上述したように対物レンズの倍率が異なる条件で被写体を撮影した撮影画像に限らず、後で説明するように、開口絞りの大きさが異なる条件で被写体を撮影した撮影画像および照明光の波長が異なる条件で被写体を撮影した撮影画像も含むものとする。すなわち、結果として対物レンズの開口数が異なる条件であれば、レンズの倍率に限らず、その他の光学系の条件を変更するようにしてもよい。
撮像部４０は、結像レンズ３３によって結像された被写体Ｓの像を受光し、被写体Ｓの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを用いることができる。
顕微鏡制御装置５０は、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものである。
顕微鏡制御装置５０は、位相差顕微鏡本体全体の動作を制御するものであり、具体的には、図１に示すように、ＣＰＵを有する制御部５１と、画像取得部５２と、厚さ推定部５３と、密度推定部５４とを備えている。なお、本実施形態において、顕微鏡制御装置５０が、本発明の撮影画像評価装置に相当するものである。顕微鏡制御装置５０のメモリまたはハードディスクには、本発明の撮影画像評価プログラムの一実施形態がインストールされており、このプログラムが、制御部５１によって実行されることによって、画像取得部５２、厚さ推定部５３および密度推定部５４が機能する。
制御部５１は、位相差顕微鏡本体の動作を制御するものであり、具体的には、照明光照射部１０、ステージ駆動部６２および撮像部４０の動作などを制御するものである。
制御部５１は、ステージ駆動部６２を駆動制御し、これによりステージ６１をＸ方向およびＹ方向に移動させる。ステージ６１が、Ｘ方向およびＹ方向に移動することによって、たとえば１つのセル内が位相差計測用の照明光で走査され、１つのセル内で分割された複数の撮像領域（視野）毎の位相差画像が撮像される。
画像取得部５２は、撮像部４０から出力された被写体Ｓの位相差画像を撮影画像として取得し、記憶するものである。
厚さ推定部５３は、相対的に低い倍率によって撮影された低ＮＡ撮影画像に基づいて、被写体Ｓである細胞群の厚さを推定するものである。厚さ推定部５３は、たとえば図２に示すような低ＮＡ撮影画像が入力された場合、図２に示す点線に沿った輝度分布を取得する。図３は、輝度分布の一例を示す図である。厚さ推定部５３には、図４に示すような低ＮＡ撮影画像の輝度と被写体Ｓの厚さとの関係を示すテーブルが予め設定されている。厚さ推定部５３は、図３に示す輝度分布の各位置の輝度について、図４に示すテーブルを参照して対応する厚さを求め、これにより図５に示すような被写体Ｓの各位置の厚さの分布を推定する。
なお、上記説明では、図２に示す点線上の厚さを推定するようにしたが、これに限らず、被写体Ｓを横切る線分を複数方向について設定し、その各線分上の厚さを推定することによって、被写体Ｓの２次元的な厚さの分布を推定するようにしてもよい。また、厚さを推定する線分の方向をユーザが入力装置９０を用いて設定入力するようにしてもよい。
また、図４に示す輝度と厚さとを対応付けたテーブルを対物レンズ３１の倍率毎に設定するようにしてもよい。対物レンズ３１の倍率が変更された場合には、その変更に応じてテーブルを自動的に変更するようにしてもよい。
密度推定部５４は、相対的に高い倍率によって撮影された高ＮＡ撮影画像に基づいて、被写体Ｓである細胞群の細胞の密度（密集度）を推定するものである。密度推定部５４は、たとえば図６に示すような高ＮＡ撮影画像が入力された場合、図６に示す点線に沿った輝度分布を取得する。図７は、輝度分布の一例を示す図である。そして、密度推定部５４は、図７に示す輝度分布の形状に基づいて、細胞の密度を推定する。具体的には、密度推定部５４は、輝度分布をガウス関数で近似する。図８の太い実線は、細い実線の輝度分布をガウス関数で近似した結果を示すものである。次に、密度推定部５４は、図８に示すガウス関数の近似結果から、矢印で示すピークの数を算出する。そして、密度推定部５４は、単位面積当たりのピーク数をカウントすることによって、細胞の密度（密集度）を推定する。すなわち、密度推定部５４は、輝度分布の１つのピークが１つの細胞に相当するものとして、細胞の密度を推定する。
なお、上記説明では、図６に示す点線上の細胞の密度を推定するようにしたが、密度を推定する線分をユーザが入力装置９０を用いて設定入力するようにしてもよい。また、密度を推定する範囲を線分で指定するのではなく、矩形または円形などの範囲で２次元的に指定するようにしてもよい。
また、高ＮＡ撮影画像には、細胞だけでなく、小さなゴミなどの画像が含まれている場合があり、このようなゴミの画像が輝度分布上にピークとして現れた場合には、細胞の密度を高精度に算出することができない。図９は、上述したようなゴミの画像を含む高ＮＡ撮影画像の一例を示しており、図９の矢印で示す部分がゴミの画像である。
そこで、細胞の密度を高精度に算出するためには、上述したようなゴミの画像に起因するピークを取り除くことが好ましい。具体的には、図９に示す点線に沿った輝度分布を取得した場合、図１０に示すように、細胞の画像に基づくピークの群から離れた位置に、ゴミなどの画像に基づくピークが現れる。そこで、図１０に矢印で示すようなピークが存在する場合には、このピークを、ゴミなどの画像による孤立点として除去した後にピーク数を算出して、細胞の密度を推定することが好ましい。
厚さ推定部５３によって推定された被写体Ｓの厚さおよび密度推定部５４によって推定された被写体Ｓの密度は、制御部５１に出力される。制御部５１は、入力された被写体Ｓの厚さおよび密度を表示装置８０にテキスト表示したり、その他の外部装置に出力するものである。なお、本実施形態においては、制御部５１が、本発明の出力部に相当するものである。
図１に戻り、顕微鏡制御装置５０には、入力装置９０と表示装置８０とが接続されている。入力装置９０は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置９０は、対物レンズ３１の倍率変更、並びに被写体Ｓの厚さおよび密度の推定の指示などの設定入力を受け付けるものである。
表示装置８０は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部４０において撮像された撮影画像（位相差画像）および被写体Ｓの厚さおよび密度の推定結果などを表示するものである。なお、表示装置８０をタッチパネルによって構成することによって、入力装置９０を兼用するようにしてもよい。
次に、本実施形態の顕微鏡画像評価システムの作用について、図１１に示すフローチャートを参照しながら説明する。なお、本実施形態の顕微鏡画像評価システムは、被写体Ｓを撮影した撮影画像に基づいて、被写体Ｓの厚さおよび密度を推定することに特徴を有するものであるので、ここでは、その点を中心に説明する。
まず、ユーザによって、被写体Ｓの厚さの推定または被写体Ｓの密度の推定の指示入力が入力装置９０から入力される（Ｓ１０）。
ユーザによって被写体Ｓの厚さの推定の指示入力がされた場合には、画像取得部５２によって低ＮＡ撮影画像が取得される（Ｓ１２）。なお、低ＮＡ撮影画像については、予め異なる倍率で撮影されて記憶された撮影画像の中から自動的に選択するようにしてもよいし、ユーザによって被写体Ｓの厚さの推定の指示入力がされた際に、位相差顕微鏡本体によって低倍率で撮影して取得するようにしてもよい。また、予め異なる倍率で撮影された複数の撮影画像を表示装置８０に表示させ、その中から低倍率で撮影された低ＮＡ撮影画像をユーザが入力装置９０を用いて選択するようにしてもよい。この際、ユーザが、予め設定された倍率の閾値よりも高い倍率の撮影画像を選択した場合には、厚さの推定に適していないものとして警告表示などを行うようにしてもよい。または、表示装置８０に複数の撮影画像を表示させる際、予め設定された倍率の閾値以下の倍率の撮影画像について、厚さの推定に適している撮影画像としてマークを表示させるようにしてもよい。
画像取得部５２によって取得された低ＮＡ撮影画像は、厚さ推定部５３に入力される。そして、たとえば表示装置８０に表示された低ＮＡ撮影画像上において、ユーザによって入力装置９０を用いて厚さを推定する範囲が指定される（Ｓ１４）。
厚さ推定部５３は、ユーザによって入力された厚さの推定の範囲に基づいて、上述したように低ＮＡ撮影画像の輝度分布を取得する（Ｓ１６）。そして、その輝度分布に基づいて、図４に示したようなテーブルを参照して厚さの推定が行われる（Ｓ１８）。厚さ推定部５３によって推定された被写体Ｓの厚さは、制御部５１によって表示装置８０に表示される（Ｓ２０）。
Ｓ１０に戻り、ユーザによって被写体Ｓの密度の推定の指示入力がされた場合には、画像取得部５２によって高ＮＡ撮影画像が取得される（Ｓ２２）。なお、高ＮＡ撮影画像についても、低ＮＡ撮影画像と同様に、予め異なる倍率で撮影されて記憶された撮影画像の中から自動的に選択するようにしてもよいし、ユーザによって被写体Ｓの厚さの推定の指示入力がされた際に、位相差顕微鏡本体によって高倍率で撮影して取得するようにしてもよい。また、予め異なる倍率で撮影された複数の撮影画像を表示装置８０に表示させ、その中から高倍率で撮影された高ＮＡ撮影画像をユーザが入力装置９０を用いて選択するようにしてもよい。この際、ユーザが、予め設定された倍率の閾値よりも低い倍率の撮影画像を選択した場合には、密度の推定に適していないものとして警告表示などを行うようにしてもよい。または、表示装置８０に複数の撮影画像を表示させる際、予め設定された倍率の閾値以上の倍率の撮影画像について、密度の推定に適している撮影画像としてマークを表示させるようにしてもよい。
画像取得部５２によって取得された高ＮＡ撮影画像は、密度推定部５４に入力される。そして、たとえば表示装置８０に表示された高ＮＡ撮影画像上において、ユーザによって入力装置９０を用いて密度を推定する範囲が指定される（Ｓ２４）。
密度推定部５４は、ユーザによって入力された密度の推定の範囲に基づいて、上述したように高ＮＡ撮影画像の輝度分布を取得する（Ｓ２６）。そして、その輝度分布をガウス関数によって近似した後、ピークの数がカウントされて密度の推定が行われる（Ｓ２８）。密度推定部５４よって推定された被写体Ｓの密度は、制御部５１によって表示装置８０に表示される（Ｓ３０）。
なお、上記説明では、被写体Ｓの厚さの推定と密度の推定を選択的に行うようにしたが、これに限らず、被写体Ｓの厚さの推定と密度の推定の両方を同時に並行して行うようにしてもよい。
上記実施形態の顕微鏡画像評価システムによれば、対物レンズ３１の開口数が異なる条件によって被写体Ｓを撮影した撮影画像を取得し、相対的に対物レンズ３１の開口数が小さい条件によって撮影された低ＮＡ撮影画像に基づいて、被写体Ｓの厚さを推定し、相対的に対物レンズ３１の開口数が大きい条件によって撮影された高ＮＡ撮影画像に基づいて、被写体Ｓの密度を推定する。したがって、低ＮＡ撮影画像および高ＮＡ撮影画像の２回の撮影を行えばよいので、被写体Ｓの厚さおよび密度を短い撮影時間で評価することができる。
また、低ＮＡ撮影画像および高ＮＡ撮影画像の２枚の撮影画像の解析を行えばよいので、従来の多数の断面画像を解析する方法と比較すると、解析処理の負荷を小さくすることができる。また、本実施形態のように、輝度分布を用いて評価を行った場合には、より簡略な処理で被写体の厚さおよび密度を推定することができる。
なお、上記実施形態においては、低倍率によって撮影された撮影画像を低ＮＡ撮影画像として取得し、高倍率によって撮影された撮影画像を高ＮＡ撮影画像として取得するようにしたが、これに限らず、たとえば相対的に開口の小さい開口絞りを用いて撮影された撮影画像を低ＮＡ撮影画像として取得し、相対的に開口の大きい開口絞りを用いて撮影された撮影画像を高ＮＡ撮影画像として取得するようにしてもよい。
図１２は、上記実施形態の顕微鏡画像評価システムの位相差顕微鏡本体に対して、上述した開口絞り１４を設けた構成を示している。
開口絞り１４は、リング状照明光を透過する開口１４ａを備えている。開口１４ａの大きさは変更可能に構成されている。開口１４ａの大きさの変更は、手動で行うようにしてもよいし、自動で行うようにしてもよい。たとえばユーザによって被写体Ｓの厚さの推定を行う指示入力を受け付けた場合には、開口絞り１４の開口１４ａが相対的に大きくなるように自動的に変更し、ユーザによって被写体Ｓの密度の推定を行う指示入力を受け付けた場合には、開口絞り１４の開口１４ａが相対的に小さくなるように自動的に変更するようにしてもよい。ユーザによる指示入力は、入力装置９０によって受け付けるようにすればよく、厚さ推定用の開口１４ａの大きさと密度推定用の開口１４ａの大きさは、予め設定しておくようにすればよい。
また、位相差顕微鏡本体の照明光の波長を変更可能に構成し、相対的に長い波長の照明光で撮影された撮影画像を低ＮＡ撮影画像として取得し、相対的に短い波長の照明光で撮影された撮影画像を高ＮＡ撮影画像として取得するようにしてもよい。照明光の波長を変更する方法としては、異なる波長の光源を手動または自動で変更可能に構成するようにしてもよいし、光源から出射された照明光が入射される光学フィルタを設け、その光学フィルタを手動または自動で変更することによって照明光の波長を変更するようにしてもよい。
低ＮＡ撮影画像を撮影する際の照明光の波長としては、たとえば７８０ｎｍ程度の波長を用いることができ、高ＮＡ撮影画像を撮影する際の照明光の波長としては、たとえば４０５ｎｍ程度の波長を用いることができる。
また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
１０ 照明光照射部
１１ 白色光源
１２ スリット板
１３ コンデンサレンズ
１４ 開口絞り
１４ａ 開口
３０ 結像光学系
３１ 対物レンズ
３２ 位相板
３３ 結像レンズ
４０ 撮像部
５０ 顕微鏡制御装置
５１ 制御部
５２ 画像取得部
５３ 推定部
５４ 密度推定部
６０ 培養容器
６１ ステージ
６２ ステージ駆動部
８０ 表示装置
９０ 入力装置
Ｓ 被写体

Claims (13)

  1. 対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、
    相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、前記被写体の厚さを推定する厚さ推定部と、
    相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、前記被写体を構成する要素の密度を推定する密度推定部とを備えた撮影画像評価装置。
  2. 前記厚さ推定部が、前記低ＮＡ撮影画像の輝度分布を取得し、該輝度分布に基づいて、前記被写体の厚さを推定する請求項１記載の撮影画像評価装置。
  3. 前記厚さ推定部が、前記低ＮＡ撮影画像の輝度と前記被写体の厚さとを対応づけたテーブルを有する請求項２記載の撮影画像評価装置。
  4. 前記密度推定部が、前記高ＮＡ撮影画像の輝度分布を取得し、該輝度分布に基づいて、前記被写体を構成する要素の密度を推定する請求項１から３いずれか１項記載の撮影画像評価装置。
  5. 前記密度推定部が、前記輝度分布の形状に基づいて、前記被写体を構成する要素の密度を推定する請求項４記載の撮影画像評価装置。
  6. 前記密度推定部が、前記輝度分布に含まれるピークを求め、該ピークの単位面積当たりの数を算出することによって前記被写体を構成する要素の密度を推定する請求項４または５記載の撮影画像評価装置。
  7. 前記密度推定部が、前記輝度分布をガウス関数で近似して前記ピークを求める請求項６記載の撮影画像評価装置。
  8. 前記低ＮＡ撮影画像が、相対的に低い倍率で撮影された撮影画像であり、
    前記高ＮＡ撮影画像が、相対的に高い倍率で撮影された撮影画像である請求項１から７いずれか１項記載の撮影画像評価装置。
  9. 前記低ＮＡ撮影画像が、相対的に長い波長の照明光で撮影された撮影画像であり、
    前記高ＮＡ撮影画像が、相対的に短い波長の照明光で撮影された撮影画像である請求項１から７いずれか１項記載の撮影画像評価装置。
  10. 前記低ＮＡ撮影画像が、相対的に開口の小さい開口絞りを用いて撮影された撮影画像であり、
    前記高ＮＡ撮影画像が、相対的に開口の大きい開口絞りを用いて撮影された撮影画像である請求項１から７いずれか１項記載の撮影画像評価装置。
  11. 前記厚さ推定部によって推定された前記被写体の厚さおよび前記密度推定部によって推定された前記被写体の密度を出力する出力部を備えた請求項１から１０いずれか１項記載の撮影画像評価装置。
  12. 対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得し、
    相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、前記被写体の厚さを推定し、
    相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、前記被写体を構成する要素の密度を推定する撮影画像評価方法。
  13. コンピュータを、対物レンズの開口数が異なる条件で被写体を撮影した撮影画像を取得する画像取得部と、
    相対的に対物レンズの開口数が小さい条件で撮影された低ＮＡ撮影画像に基づいて、前記被写体の厚さを推定する厚さ推定部と、
    相対的に対物レンズの開口数が大きい条件で撮影された高ＮＡ撮影画像に基づいて、前記被写体を構成する要素の密度を推定する密度推定部として機能させる撮影画像評価プログラム。
JP2016189793A 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム Active JP6580012B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016189793A JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム
KR1020197005997A KR102149625B1 (ko) 2016-09-28 2017-07-25 촬영 화상 평가 장치 및 방법과, 프로그램
PCT/JP2017/026745 WO2018061429A1 (ja) 2016-09-28 2017-07-25 撮影画像評価装置および方法並びにプログラム
EP17855387.1A EP3521750B1 (en) 2016-09-28 2017-07-25 Captured image evaluation device, method, and program
US16/291,068 US11169079B2 (en) 2016-09-28 2019-03-04 Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016189793A JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2018054425A JP2018054425A (ja) 2018-04-05
JP6580012B2 true JP6580012B2 (ja) 2019-09-25

Family

ID=61759435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016189793A Active JP6580012B2 (ja) 2016-09-28 2016-09-28 撮影画像評価装置および方法並びにプログラム

Country Status (5)

Country Link
US (1) US11169079B2 (ja)
EP (1) EP3521750B1 (ja)
JP (1) JP6580012B2 (ja)
KR (1) KR102149625B1 (ja)
WO (1) WO2018061429A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020066043A1 (ja) * 2018-09-28 2021-08-30 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
EP3988987A4 (en) 2018-09-28 2023-09-20 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD
JP7150868B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013765C1 (ru) * 1990-08-14 1994-05-30 Сидорин Василий Сергеевич Способ определения численной плотности и объема элементов микроскопических структур в тканях
JP3957351B2 (ja) * 1997-01-17 2007-08-15 東京航空計器株式会社 対物レンズの開口数可変の光学顕微鏡
US6480285B1 (en) * 1997-01-28 2002-11-12 Zetetic Institute Multiple layer confocal interference microscopy using wavenumber domain reflectometry and background amplitude reduction and compensation
JP4937457B2 (ja) * 2001-03-01 2012-05-23 オリンパス株式会社 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
JP2006271210A (ja) * 2005-03-28 2006-10-12 Olympus Corp 自動細胞培養装置
JP2012202761A (ja) * 2011-03-24 2012-10-22 Nikon Corp 光干渉断層撮影装置
JP6173950B2 (ja) * 2014-03-04 2017-08-02 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
JP6338955B2 (ja) 2014-07-18 2018-06-06 株式会社日立ハイテクノロジーズ 細胞培養装置および画像解析装置
JP2019523393A (ja) * 2016-05-23 2019-08-22 コンティンユーズ バイオメトリクス リミテッドＣｏｎｔｉｎＵｓｅ Ｂｉｏｍｅｔｒｉｃｓ Ｌｔｄ． 物体の深さ特性評価に使用するシステム及び方法

Also Published As

Publication number Publication date
WO2018061429A1 (ja) 2018-04-05
EP3521750B1 (en) 2020-07-01
EP3521750A1 (en) 2019-08-07
KR20190031563A (ko) 2019-03-26
EP3521750A4 (en) 2019-08-28
JP2018054425A (ja) 2018-04-05
KR102149625B1 (ko) 2020-08-28
US11169079B2 (en) 2021-11-09
US20190195777A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6219214B2 (ja) 細胞撮像制御装置および方法並びにプログラム
JP2015165785A (ja) 細胞画像取得装置および方法並びにプログラム
JP6580012B2 (ja) 撮影画像評価装置および方法並びにプログラム
JP6815477B2 (ja) 顕微鏡装置および観察方法並びに顕微鏡装置制御プログラム
JP2008046305A (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP6718024B2 (ja) 判別器の学習装置、方法およびプログラム、並びに判別器
EP3532822B1 (en) Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
US10659694B2 (en) Imaging device, imaging method and imaging device control program
JP4689171B2 (ja) 培養細胞の状態計測方法及び計測装置
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
US11050931B2 (en) Control device and control method
JP2016208854A (ja) 撮像装置および方法並びに撮像制御プログラム
US11061214B2 (en) Cell observation apparatus and method
WO2018061635A1 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6698421B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP6993423B2 (ja) 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
JP2013254108A (ja) デフォーカス量推定方法、撮像装置、および透光性部材
Cruz et al. Automated urine microscopy using scale invariant feature transform
JP6580242B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP6534295B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2016212337A (ja) 撮像装置および方法並びに撮像制御プログラム
JP2022062049A (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190827

R150 Certificate of patent or registration of utility model

Ref document number: 6580012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250