JP6278519B2 - 細胞観察装置、細胞観察方法及びそのプログラム - Google Patents

細胞観察装置、細胞観察方法及びそのプログラム Download PDF

Info

Publication number
JP6278519B2
JP6278519B2 JP2014549862A JP2014549862A JP6278519B2 JP 6278519 B2 JP6278519 B2 JP 6278519B2 JP 2014549862 A JP2014549862 A JP 2014549862A JP 2014549862 A JP2014549862 A JP 2014549862A JP 6278519 B2 JP6278519 B2 JP 6278519B2
Authority
JP
Japan
Prior art keywords
image
cell
cells
pixels
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014549862A
Other languages
English (en)
Other versions
JPWO2014084255A1 (ja
Inventor
大矢 禎一
禎一 大矢
河野 重行
重行 河野
野上 識
識 野上
慎輔 大貫
慎輔 大貫
修平 大田
修平 大田
光一 渡邉
光一 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Publication of JPWO2014084255A1 publication Critical patent/JPWO2014084255A1/ja
Application granted granted Critical
Publication of JP6278519B2 publication Critical patent/JP6278519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Sustainable Development (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Description

本発明は、細胞の顕微鏡画像を用いてこの細胞の状態を観察する細胞観察装置、細胞観察方法及びそのプログラムに関する。
本願は、2012年11月28日に、日本に出願された特願2012−259880号に基づき優先権を主張し、その内容をここに援用する。
近年、細胞の状態を検出する際、細胞を生きたままの状態で長期間にわたって顕微鏡により観察できる実験装置が実用化されてきている。こうした実験装置を使用することにより、細胞の成長や細胞の分裂といった過程をリアルタイムで観察することができる。そして、こうした細胞の変化の過程を撮影して得られる細胞の画像データを時系列的に解析することで、細胞に生じる変化を詳細に分析することが可能となる。
例えば、単細胞の酵母を用いて発酵を行い、ビール、焼酎等の様々な酒類を製造することができる。酒類の品質保持のためには、このような発酵に使用する酵母の生理状態を発酵前に判定して、その後の発酵への影響を予測することが行われている(例えば、特許文献2参照)。すなわち、酵母を用いた発酵、醸造や物質生産等において、生産にこれから用いようとする酵母細胞の生理状態を予め把握しておくことは、発酵の成否を予見し、高品質で安定した製品を得るために必要である。
微細藻類は、主として単細胞の光合成生物を指している。この微細藻類は、光合成により、光エネルギーを化学エネルギーに変換し、変換したエネルギーを自己の生存及び増殖のために用いている。
また、微細藻類は、種類によって、有用成分として炭化水素や必須不飽和脂肪酸(例えばDHA(Docosa Hexaenoic Acid)、EPA(Eicosa Pentaenoic Acid)など)、デンプン、色素などを生合成するものがあり、これらの生合成の機能の工業的利用が期待されている。
微細藻類を用いた上記有用成分の高効率な生産を行おうとする場合、微細藻類の細胞の生理状態を適切に把握することが重要である。すなわち、微細藻類の細胞の生理状態は、培地組成、二酸化炭素濃度、光強度、培養温度、細胞密度などの周辺環境の生育条件によって大きく変化する。そして、微細藻類の細胞は、生理状態に応じて有用成分の産生及び蓄積量も変化するからである。
したがって、微細藻類の細胞による有用成分の高効率な生産のため、細胞の生育条件の最適化の過程においても、また細胞による有用成分の生産の過程においても、培養中の微細藻類の細胞の生理状態を把握し、有用成分の生産量を把握することが必要である。
また、細胞を培養している培地中への他種生物の混入が微細藻類の細胞の生理状態に影響を及ぼす場合がある。この他種生物の混入による生理状態への影響が、細胞による有用成分の生産過程において問題となることも少なくない。
したがって、上述した培養中の培地へ混入した他種生物の検出も、微細藻類の細胞を用いた有用成分の高効率な生産のためには重要となる。
微細藻類の細胞の一例として、微細藻類の一種であるHaematococcus pluvialisを挙げる。このHaematococcus pluvialisは、健康食品としても用いられる赤色の抗酸化剤アスタキサンチンを生合成することで工業的にも有用性が高い。Haematococcus pluvialisは、細胞の生理状態を反映して様々な細胞形態を示す。またアスタキサンチンの蓄積量も、培養中の条件に応じて異なる(例えば、非特許文献1参照)。
Haematococcus pluvialisによるアスタキサンチン生産の高効率化には、高生産株の利用や培養条件の最適化が行われてきた(例えば、特許文献1参照)。しかしながら、現状ではその生産性は高いとはいえず、更なる生産性の向上が期待されている。さらに、近年、Haematococcus pluvialisに寄生する他種生物の一例として真菌Paraphysoderma sedebokerensisが発見された。Paraphysoderma sedobokerensisに感染したHaematococcus pluvialisは、細胞色が緑から茶褐色に変化し、死に至る(例えば、非特許文献2参照)。
Haematococcus pluvialisと同定されている培養株の複数種類を、世界中から複数種類取り寄せ、Haematococcus pluvialis以外の生物の混入を調べた。この結果、驚くべきことに、工業的に利用されている株を含む全ての培養株において混入が確認された。したがって、Haematococcus pluvialisの細胞の生理状態、有用成分アスタキサンチンの蓄積量、他種生物の混入率を把握することは、工業利用において重要な課題である。
細胞の生理状態を把握する方法として、微生物である出芽酵母に対しては、メチレンブルー法による死滅判別技術等の評価方法(例えば、非特許文献3参照)が知られている。
しかしながら、この非特許文献3による方法では、細胞の生理状態を多面的に判定できない。
また、特許文献2には、細胞形態定量値を用いる酵母の生理状態の評価方法が示されている。詳しくは、目的とする酵母の細胞の外郭、核、およびアクチン細胞骨格の蛍光染色画像を画像解析して、酵母細胞の形態学的な特徴に基づいて予め設定された形態パラメータについて、細胞形態定量解析値を求め、その値を予め用意したデータベースと比較することによって、目的とする酵母の生理状態を評価する方法である。
しかしながら、この方法では細胞の固定・染色処理と蛍光顕微鏡による観察を必要としており、野外および生産現場等におけるリアルタイムの生理状態の把握には適さない。また微細藻類の細胞への適用には何ら検討も示唆もされていない。
また、有用成分の蓄積量を把握する方法として、特許文献1では、Haematococcus pluvialisのアスタキサンチン量を、ジメチルスルフォキシドによって細胞から色素体を抽出し、492nmおよび750nmの吸光度を測定することで定量する方法が示されている。
しかし、測定には多数の微細藻類の細胞からの色素体の抽出を必要とし、色素体の抽出に時間を要する。
また、他種生物の検出については、微細藻類である珪藻の細胞に寄生している真菌であるツボカビ類を、ツボカビ類の細胞壁の成分であるキチンに結合するcalcofluor whiteで特異的に染色する方法が示されている(非特許文献4)。
また、別の先行研究では、Haematococcus pluvialisに寄生するParaphysoderma sedebokerensisの遊走子嚢をFITC−WGAで染色している(非特許文献5)。
しかし、これらはいずれも、細胞の染色処理を必要としており、培養液中の細胞を直接判別するものではない。また、特許文献2及び非特許文献5などの方法では、蛍光顕微鏡を必要とするため、野外および生産現場等における判別には適さない。
以上に述べたとおり、微細藻類の細胞の生育状況、また微細藻類の細胞の培地に混入する他種生物(例えば寄生菌)などの混入状況、微細藻類の細胞による有用物質の生産量の各々をリアルタイムにモニターする簡便な方法はない。
特開2007−97584号公報 特開2011−30494号公報
Journal of Phycology,30巻 (1994年),829−833ページ Mycological Research,112巻 (2008年) 70−81ページ E.B.C. Analytica Microbiologica., J. Inst. Brew. 83巻 (1977年), 109−118ページ Applied and Environmental Microbiology,75巻 (2009年),2545−2553ページ Fungal Biology,115巻(2011年),803−811ページ
本発明は、このような事情に鑑みてなされたもので、微細藻類などの細胞による有用物質の生産量向上のため、培養条件の開発や有用物質高生産株の育種を行う際、この細胞の培地に混入する他種生物などの混入状況、微細藻類の細胞による有用物質の生産量の各々をリアルタイムにモニターする細胞観察装置、細胞観察方法及びそのプログラムを提供することを目的とする。
本発明の細胞観察装置は、一層の細胞(平面上に細胞が重ならずに一層のみで配置されている状態)を撮像した撮像画像から、当該撮像画像内の細胞の画像のエッジの画素を抽出し、抽出したエッジの画素からなるエッジ画像を生成する輪郭抽出部と、前記撮像画像における細胞の画像の色素体の画素を抽出し、この抽出した色素体の画素からなる色素体画像を生成する色素体領域抽出部と、前記エッジ画像と前記色素体画像とを重ね合わせて、前記エッジ画像における余分なエッジ部分の削除と、前記エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成し、当該新たに生成されたエッジ画像に基づいて前記撮像画像のセグメンテーションを行う画像分割部と、前記セグメンテーションの結果に基づいて、前記撮像画像のセグメント毎における画素の輝度値の分散を求め、当該分散を用いて前記撮像画像における細胞の画像領域と背景の画像領域とを検出する検出部とを備えることを特徴とする。
本発明の細胞観察装置は、色素体の存在する前記細胞の画像領域を対象細胞画像とし、色素体の存在しない前記細胞の画像領域を非対象細胞画像として検出し、全細胞の画像における当該非対象細胞画像の比率を求める細胞形態検出部をさらに備えることを特徴とする。
本発明の細胞観察装置は、前記細胞の画像領域における色素体の輝度値から前記色素体の量である色素体量を算出する色素値抽出部をさらに備えることを特徴とする。
本発明の細胞観察装置は、前記細胞の画像領域から色素体の平均輝度値を求めておき、前記撮像画像を撮像した当該細胞から色素体を抽出して色素体量を求め、平均輝度値と細胞当たりの色素体量との回帰式を予め求めて記憶部に記憶させておき、前記色素値抽出部が前記細胞画像における平均輝度値を求め、前記回帰式から細胞当たりの色素体量を求めることを特徴とする。
本発明の細胞観察方法は、輪郭抽出部が、一層の細胞を撮像した撮像画像から、当該撮像画像内の細胞の画像のエッジの画素を抽出し、抽出したエッジの画素からなるエッジ画像を生成する輪郭抽出過程と、色素体領域抽出部が、前記撮像画像における細胞の画像の色素体の画素を抽出し、この抽出した色素体の画素からなる色素体画像を生成する色素体領域抽出過程と、画像分割部が、前記エッジ画像と前記色素体画像とを重ね合わせて、前記エッジ画像における余分なエッジ部分の削除と、前記エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成し、当該新たに生成されたエッジ画像に基づいて前記撮像画像のセグメンテーションを行う画像分割過程と、検出部が、前記セグメンテーションの結果に基づいて、前記撮像画像のセグメント毎における画素の輝度値の分散を求め、当該分散を用いて前記撮像画像における細胞の画像領域と背景の画像領域とを検出する検出過程とを含むことを特徴とする。
本発明のプログラムは、細胞の形状を観察する細胞観察装置の動作をコンピュータに実行させるプログラムであり、コンピュータを、一層の細胞を撮像した撮像画像から、当該撮像画像内の細胞の画像のエッジの画素を抽出し、抽出したエッジの画素からなるエッジ画像を生成する輪郭抽出手段、前記撮像画像における細胞の画像の色素体の画素を抽出し、この抽出した色素体の画素からなる色素体画像を生成する色素体領域抽出手段、前記エッジ画像と前記色素体画像とを重ね合わせて、前記エッジ画像における余分なエッジ部分の削除と、前記エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成し、当該新たに生成されたエッジ画像に基づいて前記撮像画像のセグメンテーションを行う画像分割手段、及び、前記セグメンテーションの結果に基づいて、前記撮像画像のセグメント毎における画素の輝度値の分散を求め、当該分散を用いて前記撮像画像における細胞の画像領域と背景の画像領域とを検出する検出手段として機能させるためのプログラムである。
この発明によれば、微細藻類などの顕微鏡写真である撮像画像から抽出したエッジ画像と色素体画像とを重ね合わせるため、撮像画像内の細胞の画像を従来に比較して精度良く抽出でき、細胞の全体的な形状及び細胞内における色素体領域(例えば、生成される産生物質の領域)の割合も容易に検出することができる。
これにより、本発明によれば、細胞の生理状態の指標、他種生物の混入状況、有色色素体の蓄積状況が定量値として得られ、細胞の生理状態の把握や、有用成分の生産状況の把握が容易になる。
この発明の一実施形態による細胞観察装置1の構成例を示す概略ブロック図である。 撮像装置100が撮像した撮像画像(明視野画像)に解析結果を重ね合わせて表示した画像を示している。 テーブル記憶部23に書き込んで記憶される個々の細胞に関わる数値情報の種類を示す図である。 テーブル記憶部23に書き込んで記憶される複数の撮像画像における細胞に関わる数値情報の種類を示す図である。 観察対象細胞(ヘマトコッカス)に蓄積されているアスタキサンチンの細胞当たりの色素量と、細胞画像内のピクセルにおけるR画素及びB画素の輝度値の平均値の比である輝度比との対応を示す回帰式を示すグラフである。 観察対象細胞(ヘマトコッカス)に蓄積されているクロロフィルの細胞当たりの色素量と、細胞画像内のピクセルにおけるG画素及びB画素の輝度値の平均値の比である輝度比との対応を示す回帰式を示すグラフである。 本実施形態による細胞観察装置1における細胞観察の処理の動作例を示すフローチャートである。 エッジ画像と色素体画像とを重ね合わせた、細胞画像の最外縁部を示す図である。 新鮮培地に対してヘマトコッカスを接種後、細胞観察装置1により測定したアスタキサンチンとクロロフィルとの蓄積量の変化を示すグラフと、代表的な細胞の画像である。 細胞観察装置1が画像解析から求めた細胞画像の数値情報(OuterArea、OuterAxisRatio(L/S))と、目視による細胞の分類(遊走子細胞、移行細胞、パルメラ細胞)との対応を示す図である。 実測した観察対象細胞(ヘマトコッカス)に蓄積されているクロロフィルの細胞当たりの色素量を培養液1mlあたりに換算した色素量(μg/ml)と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定した色素量との相関を示すグラフである。 実測した観察対象細胞(ヘマトコッカス)に蓄積されているクロロフィルの細胞当たりの色素量を培養液1mlあたりに換算した色素量(μg/ml)と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定した色素量との相関を示すグラフである。 実測した観察対象細胞(ヘマトコッカス)に蓄積されているアスタキサンチンの細胞当たりの色素量を培養液1mlあたりに換算した色素量(μg/ml)と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定したアスタキサンチンの色素量との相関を示すグラフである。 実測した観察対象細胞(ヘマトコッカス)に蓄積されているアスタキサンチンの細胞当たりの色素量を培養液1mlあたりに換算した色素量(μg/ml)と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定したアスタキサンチンの色素量との相関を示すグラフである。 クロロフィル量及びカロテノイド量の各々を推定するために用いる重回帰分析の式を説明する図である。 遊走子とパルメロイドとの各々を撮像した撮像画像を示す図である。 ランダムフォレスト法によって、トレーニングデータの培養細胞の2個のパラメータを用いて生成した樹木モデルにより、トレーニングデータの培養細胞をクラスタリングした結果を示す図である。 ランダムフォレスト法によって、トレーニングデータの培養細胞の2個のパラメータを用いて生成した樹木モデルにより、テストデータの培養細胞をクラスタリングした結果を示す図である。 ランダムフォレスト法の機械学習によって、トレーニングデータの培養細胞の25個のパラメータを用いて生成した樹木モデルにより、トレーニングデータの培養細胞をクラスタリングした結果を示す図である。 ランダムフォレスト法の機械学習によって、トレーニングデータの培養細胞の25個のパラメータを用いて生成した樹木モデルにより、テストデータの培養細胞をクラスタリングした結果を示す図である。 培養した時間と培養細胞の細胞画像における周囲の長さを示すOuterOutlineLength(単位:μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の重心の座標から細胞画像の外周までの距離の最大値を示すOuterMaxRadius(単位:μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の面積を示すOuterArea(単位:μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の最小の幅(短軸)部分の寸法OuterShortAxisLength(単位:μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内全体の赤チャンネル(R画素)の輝度値の加算値を示す数値であるOuterTotalRedIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の色素体の領域における面積であるInnerArea(単位:μm)との対応関係を示す図である。 培養した時間と細胞画像の色素体の領域内における赤チャンネル(R画素)の輝度値の加算値を示す数値であるInnerTotalRedIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内全体の緑チャンネル(G画素)の輝度値の加算値を示す数値であるOuterTotalGreenIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と細胞画像の色素体の領域内における青チャンネル(B画素)の平均輝度値を示す数値であるInnerMeanBlueIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の中心点から重心までの距離を示す数値であるDistanceFromCellCenterToInnerCenterOfMass(単位:μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内の青チャンネル(B画素)の平均輝度値を示す数値であるOuterMeanBlueIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と細胞画像の色素体の領域内における緑チャンネル(G画素)の輝度値の加算値を示す数値であるInnerTotalGreenIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内の緑チャンネル(G画素)の平均輝度値を示す数値であるOuterMeanGreenIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と細胞画像の重心から長軸の最も遠い座標点までのなす角度を示すAngleFromInnerCenterOfMassToFarEndOfLongAxis(単位:degree of angle)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内全体の青チャンネル(B画素)の輝度値の加算値を示す数値であるOuterTotalBlueIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と細胞画像の細胞内の色素体の周囲の長さを示すInnerOutlineLength(単位:μm)との対応関係を示す図である。 培養した時間と細胞画像の細胞内の色素体の面積と細胞の面積との比を示すAreaRatio(単位:μm/μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内における色素体の青チャンネル(B画素)の輝度値の加算値を示す数値であるInnerTotalBlueIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と細胞画像におけるChordiogram距離(すでに説明したパラメータ)を示す数値であるOuterChordiogramDistance(単位:relative frequency)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の長軸と短軸との比を示す数値であるOuterAxisRatio(L/S)(単位:μm/μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内の赤チャンネル(R画素)の平均輝度値を示す数値であるOuterMeanRedIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と細胞画像の外周の円への適合度を示す数値であるOuterRoundFitness(単位:μm/μm)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内の色素体の赤チャンネル(R画素)の平均輝度値を示す数値であるInnerMeanRedIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の細胞内の色素体の緑チャンネル(G画素)の平均輝度値を示す数値であるInnerMeanGreenIntensity(単位:color unit)との対応関係を示す図である。 培養した時間と培養細胞の細胞画像の最大の幅(長軸)部分の寸法OuterLongAxisLength(単位:μm)との対応関係を示す図である。 第1主成分PC1と培養を始めてからの経過時間との対応を示す図である。 第1主成分PC1と相関のある(すなわち、形態の時間経過と相関のある)8個のパラメータを説明する図である。 鞭毛の発生及び消失と、培養を開始してからの経過時間との対応を示す図である。 自動細胞数計測装置により検出した野生(WT)株、変異株PkE6及び変異株PkE8の各々の粒子径毎の出現した頻度を示す図である。 本実施形態による細胞観察装置1が求めた、野生(WT)株、変異株PkE6及び変異株PkE8の各々の粒子径毎の出現した頻度を示す図である。 図21から図45までに示したパラメータの有意差検定の結果を示すテーブルの図である。 判別分析の結果得られた判別関数LD1と判別関数LD2とによる野生(WT)株、変異株PkE8、変異株PkE6の各々の判別結果を示す図である。 判別関数LD1及び判別関数LD2の各々と図21から図45までに示したパラメータとの相関係数を示すテーブルの図である。 判別関数LD1と相関の高い各色のチャネルの細胞のピクセルの平均輝度値(OuterMeanIntensity)と、細胞の出現率との対応を示す図である。 判別関数LD2と相関の高い細胞の大きさに関連するパラメータと、細胞の出現率との対応を示す図である。
以下、図面を参照して、本発明の実施の形態について説明する。図1は、この発明の一実施形態による細胞観察装置1の構成例を示す概略ブロック図である。本実施形態においては、単細胞生物の細胞を顕微鏡に付加したカラーカメラにより撮像し、この撮像したRGB(Red、Green、Blue)の各画素からなるピクセルで構成されたカラーの明視野画像である撮像画像から発育過程の細胞の生理状態、及びこの細胞を培養する培地に混入する混入他種生物を解析するものである。
図1において、本実施形態の細胞観察装置1は、制御部11、色合い調節部12、輪郭抽出部13、色素体領域抽出部14、画像分割部15、画像合成部16、細胞領域抽出部17、細胞構造抽出部18、細胞形態検出部19、色素値抽出部20、画像記憶部21、記憶部22、テーブル記憶部23及び表示部24を備えている。以下の実施形態は、生理状態を観察する対象の観察対象細胞を微細藻類の単細胞生物である「Haematococcus pluvialis(以下、ヘマトコッカス)」の細胞を例とし、観察対象細胞以外の生物である混入他種生物の画像をツボカビとして説明する。ヘマトコッカスは、生理状態として初期はクロロフィルが色素体(緑色の色素)として蓄積されるが、生育が進むとアスタキサンチンという有用物質の色素体(赤色の色素)を蓄積するようになる。
撮像装置100は、顕微鏡にCCDカメラが設けられており、所定の倍率にて培養容器200内の培地300にて培養されているヘマトコッカスの細胞を撮像し、撮像画像を細胞観察装置1に対して出力する。このとき、観察者は、撮像画像を撮像する撮像領域として、細胞が他の細胞と接触せずに一層で配列した領域を選択して、撮像装置100により培地300におけるヘマトコッカスの細胞を撮像する。
図2は、撮像装置100が撮像した撮像画像(明視野画像)に解析結果を重ね合わせて表示した画像を示している。細胞画像は、外周と色素体領域とから構成されている。この図2の画像は、表示部24に表示される画像である。この図2と同様に、各部の処理の結果は表示部24に観察者が任意に表示できる。撮像画像の各処理後の画像は、記憶部22にそれぞれの処理を行った各部により書き込まれて記憶される。
また、詳細は後に説明するが、ピクセル値で示された細胞の面積と、細胞画像の最外縁における最大幅(OuterLongAxisLength)を最小幅(OuterShortAxisLength)で除算した長軸短軸比(OuterLongAxisLengthとOuterShortAxisLengthとの比L/S)とがそれぞれの細胞画像に記述されている。この図2においては、細胞画像の中央には各細胞画像を識別する識別番号(ID)が記載されている。
また、細胞の発育の形態として、ヘマトコッカスの発育状態の初期である遊走子と、パルメラ細胞との顕微鏡により観察者が判定した結果が示されている。
図1に戻り、制御部11は、撮像装置100から得られる培養容器200における培地300の細胞を撮像した撮像画像(明視野画像)のデータを、画像記憶部21に対して書き込んで記憶させる。
色合い調節部12は画像記憶部から撮像画像を読み出し、当該撮像画像の各画素のRGBの輝度値(階調度)を調整し、読みだした撮像画像内の輝度の分布に基づいて背景をグレーに調節する。
輪郭抽出部13は、色合いが調節された撮像画像内の画像のエッジの抽出をCanny法により行いエッジ画像の生成を行う。ここで、Canny法に関しては、「Canny、J.,A computational approach to edge detection,IEEE Trans.Pattern Analysis and Machine Intellgence、8:679−714,1986」に記載されている。
色素体領域抽出部14は、撮像画像内において、読み出した撮像画像内の画像の類似した輝度値の画素領域(後述する観察対象の細胞内の色素体領域)を、Otsu法による二値化処理により抽出する。ここで、Otsu法に関しては、「Otsu N、A threshold selection method from gray−level
histograms,IEEE Transaction on Systems,Man and Cybernetics,9(1):62−66,1979」に記載されている。
そして、画像分割部15は、輪郭抽出部13の抽出したエッジ画像に重ね合わせて、画素領域と重なったエッジを削除し、新たなエッジ画像とする。そして、画像分割部15は、抽出する対象物である撮像画像における細胞の画像の領域を抽出するため、エッジ画像のエッジ情報を用い、撮像画像のセグメンテーション(領域分割)の処理を、water−shed法により行う。ここで、water−shed法に関しては、「Beucher,S.,Watershed of functions and picture
segmentation,Acoustics,Speech,and Signal
Processing,IEEE International Conference on ICASSP’82.,7:1928−1931,1982」に記載されている。
画像合成部16は、分割されたセグメントを、輝度値の分散が所定の閾値に対して大きい細胞セグメントと、輝度値の分散が所定の閾値に対して小さな背景セグメントに分け、分散撮像画像内の細胞の撮像された領域に対応する細胞セグメントとして選択する。
また、画像合成部16は、細胞セグメント及び背景セグメントの各々を合成し、それぞれ細胞画像と背景画像とを生成して合成画像とする。
細胞領域抽出部17は、細胞画像とした領域と円状のモデル画像との類似度を、Chordiogramの手法により求め、所定の類似度以上の領域を丸い領域とし、一方類似度未満の領域とする。また、細胞領域抽出部17は、丸くない領域を統合する。このChordiogramの手法を用いた円状のモデル画像との類似度の計算は、「Toshev、A.,Taskar,B.,Daniilidis,K.,Object detection via boundary structure segmentation,Computer Vision and Pattern Recognition,950−957,2010」に記載されている。
細胞構造抽出部18は、撮像画像における細胞画像の細胞外形及び細胞画像内の細胞構成部(色素体領域及び非色素体領域)に基づき、個々の細胞及び複数の細胞に対する数値情報(後述)を求め、細胞画像毎及びこの細胞画像を抽出した撮像画像毎に、この求めた数値情報をテーブル記憶部23に対して書き込み記憶させる。
細胞形態検出部19は、求められた細胞構成部の色素体領域の有無により、観察対象の細胞であるか否かの判定を行う。すなわち、細胞形態検出部19は、細胞画像の示す細胞が観察対象細胞のヘマトコッカスであるか、あるいは混入他種生物のツボカビであるかの判定を、色素体領域の有無により判定する。このとき、細胞形態検出部19は、色素体領域がある細胞画像を観察対象細胞のヘマトコッカスと判定し、一方、色素体領域のない細胞画像を非観察対象細胞のツボカビと判定する。
また、細胞形態検出部19は、細胞の細胞外形(後述する細胞画像の長径と短径との比など)から細胞の成長過程を推定する。
色素値抽出部20は、細胞画像毎に、細胞画像内におけるRGBの各々の画素の輝度値の平均値を求め、この平均値を用いて予め求められ記憶部22に格納されている回帰式により、色素体領域における色素の蓄積量の推定を行う。本実施形態においては、微細藻類であるHaematococcus pluvialisの細胞を観察対象としているため、アスタキサンチン(Astaxanthin)量及びクロロフィル(Chlorophyll)量の推定を行う。
<細胞構造抽出部18の出力する数値情報>
図3は、テーブル記憶部23に書き込んで記憶される個々の細胞に関わる数値情報の種類を示す図である。
この数値情報の各種類のデータは、Name、ID、Type、OuterArea、OuterOutlineLength、OuterCenterX、OuterCenterY、OuterMaxRadius、OuterLongAxisLength、OuterShortAxisLength、OuterAxisRatio(L/S)、Round fitness、Chordiogram distance、OuterRedIntensity、OuterGreenIntensity、OuterBlueIntensity、InnerArea、InnerOutlineLength、InnerRedIntensity、InnerGreenIntensity、InnerBlueIntensityを含んでいる。以下、図3における数値情報の各々について説明する。
Nameは、細胞画像の画像データのファイル名を示す。IDは、細胞と認識された細胞画像の領域を示す識別番号であり、撮像画像における位置情報(座標値)を含んでいても良い。Typeは、IDの付された細胞画像が示す細胞の種別を示す。例えば、図2に示すように、目的とする観察対象の微細藻類の観察対象細胞(例えば、図2のIDが8及び10等の細胞画像)、撮像画像における観察対象細胞以外の生物である混入多種生物画像、細胞であるが撮像画像の縁に懸かって不完全な形状の画像となっている不完全形状細胞画像(例えば、図2のIDが1及び2等の細胞画像)を含んでいる。
OuterAreaは、細胞画像の面積を示しており、ピクセル数で面積が設定されている。OuterOutlineLengthは、細胞画像の外周の長さであり、細胞画像の外周に配列されたピクセル数で示した数値である。OuterCenterXは、撮像画像のxy座標系における細胞画像の重心のx座標(ピクセル値、すなわち撮像画像の左端からのピクセル数)を示した数値である。OuterCenterYは、撮像画像のxy座標系における細胞画像の重心のy座標(ピクセル値、すなわち撮像画像の上端からのピクセル数)を示した数値である。
OuterMaxRadiusは、重心の座標から撮像画像の外周までの距離の最大値(最大幅)をピクセル数で示した数値である。OuterLongAxisLength(L)は、細胞画像の最大の幅部分の寸法、すなわち長軸の長さをピクセル数で示した数値である。OuterShortAxisLength(S)は、細胞画像の最小の幅部分の寸法、すなわち短軸の長さをピクセル数で示した数値である。OuterAxisRatio(L/S)は、OuterLongAxisLengthとOuterShortAxisLengthとの比L/Sを示す数値である。Round fitnessは、細胞画像の形状の円への適合度を示す数値である。また、Round fitnessは、「4π×面積÷周囲の長さの2乗」の式から算出される。
Chordiogram distanceは、本実施形態において、円のモデル画像と、対象画像とのChordiogramによる比較結果の類似度を示す数値であり、円状に近いモデル画像に類似している度合いを示す類似度を求める。OuterRedIntensityは、細胞内の赤チャンネル(R画素)の輝度値の平均値を示す数値である。OuterGreenIntensityは、細胞内の緑チャンネル(G画素)の輝度値の平均値を示す数値である。OuterBlueIntensityは、細胞内の青チャンネル(B画素)の輝度値の平均値を示す数値である。InnerAreaは、色素体の領域における面積を、当該領域内におけるピクセル数で示す数値である。InnerOutlineLengthは、色素体の領域の外周をピクセル数で示す数値である。InnerRedIntensityは、色素体の領域内における赤チャンネル(R画素)の平均輝度値である。InnerGreenIntensityは、色素体の領域内における緑チャンネルの平均輝度値である。InnerBlueIntensityは、色素体の領域内における青チャンネルの平均輝度値である。
<細胞構造抽出部18の数値情報算出>
以下に、細胞構造抽出部18の行う数値情報の算出処理について説明する。
細胞構造抽出部18は、細胞画像内のピクセル数を計数して、このピクセル数を図3における数値情報の細胞の面積OuterAreaとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、細胞画像の外周に配列したピクセルの数を計数して、この外周のピクセル数を図3に示す細胞の周囲の長さOuterOutlineLengthとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、細胞画像の面積から重心を求め、撮像画像における重心のx座標及びy座標を求め、それぞれOuterCenterX、OuterCenterYとして、テーブル記憶部23に書き込んで記憶させる。このx座標は撮像画像の左端からのピクセル数であり、y座標は撮像画像の上端からのピクセル数である。
また、細胞構造抽出部18は、重心の座標(OuterCenterX,OuterCenterY)から細胞画像の外周までの最大幅となるピクセル値を計数して、図3の数値情報におけるOuterMaxRadiusとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、細胞画像の長軸(長径)の長さのピクセル数を計数して、このピクセル数を図3の数値情報におけるOuterLongAxisLength(L)として、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、細胞画像の短軸(短径)の長さのピクセル数を計数して、このピクセル数を図3の数値情報におけるOuterShortAxisLength(S)として、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、OuterLongAxisLengthをOuterShortAxisLengthにより除算し、除算結果を図3の数値情報におけるOuterAxisRatio(L/S)として、テーブル記憶部23に書き込んで記憶させる。
また、細胞構造抽出部18は、「(4π×OuterArea)/(OuterOutlineLength)」を算出し、円への適合度を算出し、この適合度を図3の数値情報におけるRound fitnessとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、円状のモデル画像と細胞画像とにおいて、任意の2点間の距離と角度とこの2点の外周に対する垂線の角度を算出し、これらのヒストグラム(Chordiogram)の差を求めて、この差分をモデル画像との類似度とし、図3の数値情報におけるChordiogram distanceとして、テーブル記憶部23に書き込んで記憶させる。
また、細胞構造抽出部18は、細胞画像内のR画素の輝度値の平均値を算出し、この平均値を図3の数値情報におけるOuterRedIntensityとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、細胞画像内のG画素の輝度値の平均値を算出し、この平均値を図3の数値情報におけるOuterGreenIntensityとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、細胞画像内のB画素の輝度値の平均値を算出し、この平均値を図3の数値情報におけるOuterBlueIntensityとして、テーブル記憶部23に書き込んで記憶させる。
また、細胞構造抽出部18は、色素体領域抽出部14の抽出した色素体領域の面積を、この色素体領域に含まれるピクセル数を計数した計数値として求め、この計数値を図3の数値情報におけるInnerAreaとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、色素体領域の外周に配列したピクセルの数を計数して、この外周のピクセル数を図3に示す色素体領域の周囲の長さInnerOutlineLengthとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、色素体領域内におけるR画素の輝度値の平均値を算出し、この平均値を図3の数値情報におけるInnerRedIntensityとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、色素体領域内におけるG画素の輝度値の平均値を算出し、この平均値を図3の数値情報におけるInnerGreenIntensityとして、テーブル記憶部23に書き込んで記憶させる。細胞構造抽出部18は、色素体領域内におけるB画素の輝度値の平均値を算出し、この平均値を図3の数値情報におけるInnerBlueIntensityとして、テーブル記憶部23に書き込んで記憶させる。
次に、図4は、テーブル記憶部23に書き込んで記憶される複数の撮像画像における細胞に関わる数値情報の種類を示す図である。
この数値情報の各種類のデータは、Name、Touch、Contaminant、Algae、Others、Cell count、Astaxanthin predictor、Astaxanthin、Chlorophyll predictor、Chlorophyllを含んでいる。以下、図4における数値情報の各々について説明する。
Nameは、細胞画像の画像ファイルの複数から構成される撮像画像の画像データのフォルダ名を示す。Touchは、撮像画像の縁に接触している細胞の画像の個数を示す数値である。Algaeは、撮像画像における観察対象である対象細胞(本実施形態では微細藻類の単細胞)の数を示す数値である。この目的とする対象細胞は、円状のモデル画像との類似度が0.5未満であり、かつ色素体の領域がある細胞を示している。Contaminantは、撮像画像における観察対象でない非対象細胞(本実施形態では例えばツボカビの単細胞)の数を示す数値である。この目的としない非対象細胞は、円状のモデル画像との類似度が0.5未満であり、かつ色素体の領域が無い細胞を示している。Othersは、対象細胞及び非対象細胞のいずれでもない非細胞の画像を示している。この非細胞は、モデル画像との類似度が0.5以上の判定不能な細胞を示している。対象細胞、非対象細胞及び非細胞を判定する類似度は、Chordiogramの手法により求めたものである。Cell countは、撮像画像において検出された細胞の総数、すなわち撮像画像の縁に接触している細胞数、対象細胞数及び非対象細胞数の合計値を示している。本実施形態においては、撮像画像の縁に接触している細胞数と微細藻類の細胞数とツボカビの細胞数と非細胞数とを加算した数値である。
Astaxanthin predictorは、アスタキサンチン量測定に使用した数値(本実施形態においてはR画素の輝度値の平均値をB画素の輝度値の平均値により除算した数値)である。このR画素の輝度値の平均値及びB画素の輝度値の平均値は、撮像画像に含まれる対象細胞内における平均値を、撮像画像に含まれる全ての対象細胞において平均した平均値である。この対象細胞内の平均値は、対象細胞内に含まれる全てのピクセルにおける画素の輝度値の平均である。Astaxanthinは、R画素の輝度値の平均値であるAstaxanthin predictorを用い、ピクセル当たりの後述する回帰曲線から求めたアスタキサンチン量(回帰式:137.9×predictor−174.3)を示している。
Chlorophyll predictorは、クロロフィル量測定に使用した数値(本実施形態においてはG画素の輝度値の平均値をB画素の輝度値の平均値により除算した数値)である。このG画素の輝度値の平均値及びB画素の輝度値の平均値は、撮像画像に含まれる対象細胞内における平均値を、撮像画像に含まれる全ての対象細胞において平均した平均値である。この対象細胞内の平均値は、対象細胞内に含まれる全てのピクセルにおける画素の輝度値の平均である。Chlorophyllは、G画素の輝度値の平均値であるChlorophyll predictorを用い、ピクセル当たりの後述する回帰曲線から求めたクロロフィル量(回帰式:284.7×predictor−369.1)を示している。
ここで、Touch、Contaminant、Algae、Othersについては、細胞構造抽出部18がテーブル記憶部23における細胞画像のTypeを読み込んで、それぞれの細胞数を計数して求め、求めた計数値をテーブル記憶部23の図4に示す数値情報として書き込んで記憶させる。また、Cell countについてはそれぞれの細胞数の和を求め、求めた計算値をテーブル記憶部23の図4に示す数値情報として書き込んで記憶させる。
次に、図5は、観察対象細胞(ヘマトコッカス)に蓄積されているアスタキサンチンの細胞当たりの色素量と、細胞画像内のピクセルにおけるR画素及びB画素の輝度値の平均値の比である輝度比との対応を示す回帰式を示すグラフである。図5のグラフは、縦軸が細胞当たりのアスタキサンチンの蓄積量(pg:ピコグラム)を示し、横軸が細胞画像内のピクセルのR画素の輝度値の平均値をB画素の平均値で除算した輝度値比を示している。
例えば、このアスタキサンチン算出用の回帰式は、以下のように予め求めて、記憶部22に予め書き込んで記憶させておく。
撮像画像のすでに述べた画像解析を行い、上述した撮像画像内の数値情報を求め(色素の蓄積量以外)、細胞画像のR画素の輝度値の平均値と、B画素の輝度値の平均値との輝度比を求める。
そして、以下の様に撮像画像を撮像した細胞から色素を抽出して色素量の測定を行った。すなわち、撮像画像を撮像した細胞の培地である細胞培養液(例えば、1ml(ミリリットル))をミクロ遠心管に分取した後、室温にて8000rpmで5分間遠心処理し、ミクロ遠心管の底部に細胞を沈殿させて集菌を行った。遠心処理後、このミクロ遠心管における上清を除去し、沈殿した細胞に対して10%のKOH(水酸化カリウム)溶液を1ml加え、70℃で5分間の加熱を行った。
次に、室温において、8000rpmで5分間遠心処理し、ミクロ遠心管の底部に細胞を沈殿させて集菌を行った。遠心処理後、このミクロ遠心管における上清を除去し、細胞ペレットをミクロ遠心管ごと液体窒素に浸し、細胞ペレットをミキサーにより30秒間にわたって粉砕処理を行った。粉砕処理を行った後に、ミクロ遠心管にDMSO(Dimethyl sulfoxide)を1ml加え、ボルテックスにより15分振動させて色素であるアスタキサンチンを抽出した。
その後、室温において、8000rpmで5分間遠心処理し、新たなミクロ遠心管に上清(色素抽出液)を移して色素であるアスタキサンチンを回収した。
そして、分光光度計によって、このアスタキサンチンの色素抽出液の492nm及び750nmにおける光の吸収を吸光度として測定した。この吸光度の測定結果において、アスタキサンチンの色素濃度は、以下の式により求めた。
アスタキサンチン量(μg/ml)=4.5(A492−A750
この式において、4.5は比例定数であり、A492は492nmにおける吸光度であり、A750は750nmにおける吸光度である。このとき得られたアスタキサンチン量を、アスタキサンチンの抽出に用いた細胞数で除算して細胞当たりのアスタキサンチン量を算出した。
上述したように、異なる撮像画像における輝度比の異なる複数の撮像画像を撮像した試料から、アスタキサンチンの色素濃度を求めた。
そして、細胞画像内のR画素及びB画素の輝度値の平均値を求め、この平均値の比である輝度比とアスタキサンチンの抽出量との対応を示す回帰式を、すなわちアスタキサンチンの量を推定する回帰式を図5の相関を求める回帰分析により求めた。
次に、図6は、観察対象細胞(ヘマトコッカス)に蓄積されているクロロフィルの細胞当たりの色素量と、細胞画像内のピクセルにおけるG画素及びB画素の輝度値の平均値の比である輝度比との対応を示す回帰式を示すグラフである。図6のグラフは、縦軸が細胞当たりのクロロフィルの蓄積量(pg:ピコグラム)を示し、横軸が細胞画像内のピクセルのG画素の輝度値の平均値をB画素の平均値で除算した輝度値比を示している。
例えば、このクロロフィル算出用の回帰式は、以下のように予め求めて、記憶部22に予め書き込んで記憶させておく。
撮像画像のすでに述べた画像解析を行い、上述した撮像画像内の数値情報を求め(色素の蓄積量以外)、細胞画像のG画素の輝度値の平均値と、B画素の輝度値の平均値との輝度比を求める。
そして、以下の様に撮像画像を撮像した細胞から色素を抽出して色素量の測定を行った。すなわち、撮像画像を撮像した細胞の培地である細胞培養液(例えば、1ml(ミリリットル))をミクロ遠心管に分取した後、室温にて8000rpmで5分間遠心処理し、ミクロ遠心管の底部に細胞を沈殿させて集菌を行った。遠心処理後、このミクロ遠心管における上清を除去し、細胞ペレットをミクロ遠心管ごと液体窒素に浸し、細胞ペレットをミキサーにより30秒間にわたって粉砕処理を行った。粉砕処理を行った後に、ミクロ遠心管にDMSOを1ml加え、ボルテックスにより15分振動させて色素であるクロロフィルを抽出した。
その後、室温において、8000rpmで5分間遠心処理し、新たなミクロ遠心管に上清(色素抽出液)を移して色素であるクロロフィルを回収した。そして、細胞ペレットが白色となるまで、ミクロ遠心管にDMSOを1ml加え、ボルテックスにより15分振動させて、遠心分離を行うクロロフィルの抽出処理を繰り返して行った。
そして、分光光度計によって、このクロロフィルの色素抽出液の649nm、665nm及び750nmにおける光の吸収を吸光度として測定した。この吸光度の測定結果において、クロロフィルの色素濃度は、以下の式により求めた。
クロロフィル量(μg/ml)=
14.85(A665−A750)−5.14(A649−A750
この式において、14.85及び5.14は比例定数であり、A665は665nmにおける吸光度であり、A649は649nmにおける吸光度であり、A750は750nmにおける吸光度である。このとき得られたクロロフィル量を、クロロフィルの抽出に用いた細胞数で除算して細胞当たりのクロロフィル量を算出した。
上述したように、異なる撮像画像における輝度比の異なる複数の撮像画像を撮像した試料から、クロロフィルの色素濃度を求めた。
そして、細胞画像内のG画素及びB画素の輝度値の平均値を求め、この平均値の比である輝度比とクロロフィルの抽出量との対応を示す回帰式を、すなわちクロロフィルの量を推定する回帰式を図6の相関を求める回帰分析により求めた。
<顕微鏡における撮像画像の撮像処理>
ヘマトコッカスの新鮮培地への接種後の細胞形態の経時変化を観察するため、以下のようにヘマトコッカスの細胞培養を行った。すなわち、ヘマトコッカスの撮像画像の顕微鏡撮影及び回帰式を求めるためのアスタキサンチン量の定量のための試料は以下のように調製した。なお、培地におけるヘマトコッカスの細胞培養は、連続光の下で3ヶ月間にわたって行った。
そして、Haematococcus pluvialis K0084株の培養液10mlを、300ml容量のフラスコに挿入した90mlの培地に対して接種した。また、周囲温度25℃において45μE(アインシュタイン)m−2−1の光量子束密度の白色光の下で静置することで培養を行った。
そして、培養開始直後、7日目、14日目に30μlを、フラスコから分取して、顕微鏡観察及び撮像画像の撮像を行った。
本実施形態におけるヘマトコッカスの培養を行う培地は、4.055mMのKNO、0.347mMのCaCl、0.189mMのNaCO、0.304mMのMgSO、0.175mMのKHPO、2.97μMのEDTA(C1016)、31.2μMのCitric acid(クエン酸)、1.68μMのCo(NO、38.17μMのFe(III)NHcitrate(クエン酸塩)、4.7μMのHBO、0.91μMのMnCl、0.07μMのZnSO、0.17μMのNaMoO、0.03μMのCuSOの各々を含む溶液である。
また、培地におけるヘマトコッカスの顕微鏡観察は、以下のように行った。
1mm厚スライドグラスの表面に対し、ネイルエナメルにより各辺が1cmの正四角形の枠を形成し、この枠内に対してヘマトコッカスの培養液の30μlを滴下した。そして、0.17mm厚カバーグラスを用い、ネイルエナメルの枠を、ネイルエナメルにより封じてプレパラートを調製した。また、顕微鏡観察は、40倍対物レンズを装着した正立型顕微鏡を用い、顕微鏡画像の撮影にはカラーCCD(Charge Coupled Device)カメラにおいて解像度2040×1536ピクセル(画素数約300万画素)を用いた。そして、撮像した撮像画像は、RGB形式(R画素、G画素及びB画素)からなるJPEG(Joint Photographic Experts Group)画像として、画像記憶部21に対し、制御部11を介して保存した。
<細胞観察装置の動作説明>
次に、本実施形態による細胞観察装置1の細胞観察の動作を図7及び図8を用いて説明する。図7は、本実施形態による細胞観察装置1における細胞観察の処理の動作例を示すフローチャートである。図8は、エッジ画像と色素体画像とを重ね合わせた、細胞画像の最外縁部を示す図である。図8の(a)は撮像装置100が撮像した明視野画像である撮像画像を示している。本実施形態においては、細胞に対して蛍光染色などの前処理は一切行っていない。図8の(b)は、色素体領域抽出部14の生成する色素体画像を示している。
図8の(c)は、輪郭抽出部17の抽出した細胞領域画像を示している。図8の(d)は、色素体画像と細胞領域画像とを重ね合わせた画像であり、細胞画像の最外縁部を示している。
すでに述べたように、以下の画像解析処理が行われる前に、観察者は、培地のプレパラートを調製し、このプレパラートにおけるヘマトコッカスの細胞の撮像画像をCCDカメラにより撮像する。この撮像画像の撮像を行う際、観察者はヘマトコッカスの細胞同士が鉛直方向に重なっておらず、かつ他の細胞と接していない視野の領域を検索する。すなわち、ヘマトコッカスの細胞がプレパラート面において、他の細胞と接触せずに一層で配列した領域を検索する。
また、明らかに異常な細胞や異物があると判定される領域、かつスライドガラス及び壁−グラスに汚れがあり細胞周囲の背景に色のむらがある領域を避けて、ヘマトコッカスの撮像を行う。また、これらの視野を複数抽出し、同一細胞を複数回撮像しないように一定方向に顕微鏡のステージを移動させつつ、撮像画像の撮像を行う(0.5秒/枚)。例えば、200個の細胞数の情報が得られる枚数の撮像画層を撮像する。
ステップS1:
観察者は、画像記憶部21に記憶された撮像画像における細胞画像の色合い調整の処理を、図示されていない入力手段(例えば、キーボード)から制御信号を入力することにより、細胞観察装置1に対して実行させる。
制御部11は、解析処理の制御信号が入力手段から供給されると、画像記憶部21から撮像画像のデータ(図8の(a))を読み出し、読み出した撮像画像を色合い調節部12に対して供給する。
色合い調節部12は、撮像画像のR画素、G画素及びB画素の輝度値のヒストグラムをそれぞれ集計し、最頻値の輝度を背景の輝度値として選択する。
これにより、色合い調節部12は、撮像画像のR画素、G画素及びB画素の輝度値を、細胞の画像である細胞画像以外の背景領域がグレーとなるように、R画素、G画素及びB画素各々の輝度値を調整する。
そして、制御部11は、R画素、G画素及びB画素が調整された撮像画像を画像表示部24及び輪郭抽出部13に対して供給し、画像記憶部21に対して書き込む。以下のステップS2からの画像処理は、背景領域がグレーに調整された後の撮像画像を用いて行う。
ステップS2:
輪郭抽出部13は、撮像画像の1ピクセルを構成するRGBの各画素のデータから、R画素のデータを抽出する。
そして、輪郭抽出部13は、抽出したR画素のデータに対して輝度の最小値と最大値が0と255となるように輝度値を調節する。
そして、輪郭抽出部13は、調節したR画素のデータを用いて、Canny法により撮像画像内の画像の形状のエッジ(輪郭)のピクセルの抽出を行う。ここで、R画素を用いるのは、例えば微細藻類であるヘマトコッカスの細胞膜が赤色であるため、撮像画像における細胞の画像のエッジを抽出するのに都合が良いからである。
また、輪郭抽出部13は、抽出したエッジの画像を画像分割部15に対して出力する。
ステップS3:
輪郭抽出部13におけるエッジ抽出が終了すると、制御部11は、輪郭抽出部13に対して供給した撮像画像を、色素体領域抽出部14に対して供給する。
色素体領域抽出部14は、撮像画像の1ピクセルを構成するRGBの各画素のデータから、B画素のデータを抽出する。
そして、色素体領域抽出部14は、撮像画像内において、各B画素の輝度値をOtsu法により二値化して、細胞内の色素体(アスタキサンチン及びクロロフィルの色素体)の領域である色素体領域のピクセルを抽出する。また、色素体領域抽出部14は、二値化により黒となった色素体の領域を色素体画像(図8の(b))として、画像分割部15に対して出力する。
ステップS4:
画像分割部15は、輪郭抽出部13から供給されたエッジ画像と、色素体領域抽出部14から供給された色素体画像とを重ね合わせて、エッジ画像における余分なエッジ部分の削除と、エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成する。
次に、画像分割部15は、抽出する対象物である撮像画像における細胞の画像の領域を抽出するため、抽出されたエッジ画像の情報を用いて、water−shed法により撮像画像のセグメンテーション(領域分割)を行う。
また、画像分割部15は、セグメンテーションした領域の境界線を細線化、すなわち撮像画像におけるセグメントの境界線(ピクセル1個分の幅の境界線)を生成する。
ステップS5:
画像合成部16は、撮像画像における1ピクセルを構成するRGBの画素、すなわちR画素、G画素及びB画素の輝度値の二値化を、上述したOtsu法により行う。
そして、画像合成部16は、二値化されて1ピクセルを構成するRGBの画素のうち少なくとも一つの輝度値が閾値以下の画素の領域である画素集合領域を抽出する。実際には、この画素集合領域が撮像画像内における細胞の画像の領域内に含まれている。
ステップS6:
画像合成部16は、撮像画像における画素集合領域の画像に対して、セグメントの境界線を重ね合わせて、セグメント毎の上述した画素集合領域の割合を求める。そして、画像合成部16は、セグメント内における画素集合領域の割合が予め設定した割合を超えるセグメントを、撮像画像内の細胞の画像の領域である細胞セグメントとして選択する。この時点では、まだ実際の細胞の領域ではない背景領域が含まれている可能性がある。
ステップS7:
このため、画像合成部16は、選択された細胞セグメント毎に、細胞セグメント内のR画素、G画素及びB画素各々の画素値の平均値及び分散を算出する。
そして、画像合成部16は、R画素、G画素及びB画素の少なくともいずれか一つの種類の画素の輝度値の分散の大きい細胞セグメントを、撮像画像内の細胞の撮像された領域に対応する細胞セグメントとして選択する。
また、画像合成部16は、細胞セグメントとして選択された以外のセグメントを背景セグメントとする。
セグメントの選択処理が終了すると、画像合成部16は、細胞セグメント及び背景セグメントを合成し、細胞画像と背景画像とを形成して合成画像とする。
上述した細胞セグメントと背景セグメントとの分類処理は、背景セグメントに比較して細胞セグメントにおける輝度値の分散が大きい事実を利用して行っている。
ステップS8:
次に、細胞領域抽出部17は、合成画像における細胞画像とされる画像領域を選択するため、すでに説明したwater−shed法により、合成画像から細胞画像とされる画像領域をセグメント領域として分割する。
ステップS9:
そして、細胞領域抽出部17は、分割されたセグメント各々のうち撮像画像の縁に接しているセグメントをTouchとして振り分ける。さらに、残りのセグメントを、Chordiogramを用いて、円状のモデル画像に近い円状セグメントと、円状のモデル画像とは異なる非円状セグメントとに振り分ける。この円に近い円状セグメントが、微細藻類の細胞、すなわちヘマトコッカスとして認識する。
また、細胞領域抽出部17は、円状セグメント以外の非円状セグメントを統合し、最終的な細胞領域画像(図8の(d))として、細胞構造抽出部に対して出力する。
ステップS10:
細胞構造抽出部18は、すでに説明した撮像画像内における細胞画像における図3に示す数値情報を算出して、細胞画像毎にテーブル記憶部23に書き込んで記憶させる。
また、このとき、細胞形態検出部19は、細胞画像において、色素体領域抽出部14が色素体領域として検出した領域におけるR画素及びG画素の輝度値の抽出を行う。そして、細胞形態検出部19は、双方の輝度値がともに予め設定された閾値未満の場合、この細胞をツボカビと判定し、この細胞の図3の数値情報におけるTypeに対して「混入他種生物」を記入する。
ステップS11:
制御部11は、画像記憶部21内の全ての撮像画像に対して、画像解析処理が終了したか否かの判定を行う。
このとき、制御部11は、画像記憶部21内の全ての撮像画像の画像解析処理が終了した場合、処理をステップS12に対して進める。
一方、制御部11は、画像記憶部21内の全ての撮像画像の画像解析処理が終了していない場合、処理をステップS1に戻し、新たな撮像画像を画像記憶部21から読み出し、画像解析処理を継続する。
ステップS12:
細胞構造抽出部18は、テーブル記憶部23に記憶されている図3に示す数値テーブルから数値情報を読み出し、図4に示す数値情報Contaminant、Algae、Other、Cell countの数値情報を算出し、観察対象の細胞のフォルダ毎に書き込んで記憶させる。このフォルダには、例えば、所定の日時において、アスタキサンチン及びクロロフィルの色素量の算出に用いた複数の撮像画像における細胞画像から求めた数値情報が記憶される。
上述したように、本実施形態によれば、微細藻類など細胞の顕微鏡写真である撮像画像から抽出したエッジ画像と色素体画像とを重ね合わせ、色素体画像によりエッジ画像にて不足する細胞の画像領域の外形を補足するため、撮像画像内の細胞画像の外形を従来に比較して精度良く抽出でき、細胞の全体的な形状及び細胞内における色素体領域(例えば、生成される産生物質の領域)の割合も容易に検出することができる。
<細胞内に蓄積された色素量の推定処理>
制御部11は、撮像画像の画像解析処理が終了した後、色素値抽出部20に対して、色素量の抽出処理を行わせる。
色素値抽出部20は、テーブル記憶部23からOuterRedIntensity(細胞画像内におけるR画素の輝度値の平均値)と、OuterBlueIntensity(細胞画像内におけるB画素の輝度値の平均値)とをフォルダ内にある全ての目的藻類の細胞画像の数値情報から読み出す。
次に、色素値抽出部20は、全細胞画像のOuterRedIntensityを加算してOuterRedIntensity加算値を求め、同様に全細胞画像のOuterBlueIntensityを加算してOuterBlueIntensity加算値を求める。
そして、色素値抽出部20は、OuterRedIntensity加算値をOuterBlueIntensity加算値により除算し、R画素及びB画素の輝度比であるAstaxanthin predictorを算出する。色素値抽出部20は、算出したAstaxanthin predictorを、テーブル記憶部23の図4の数値情報として書き込んで記憶させる。
次に、色素値抽出部20は、記憶部22からアスタキサンチン算出用の回帰式を読み出し、求めたAstaxanthin predictorをこの回帰式に代入し、細胞当たりのアスタキサンチンの蓄積量を求め、Astaxanthinとして、テーブル記憶部23の図4の数値情報として書き込んで記憶させる。
次に、色素値抽出部20は、テーブル記憶部23からOuterGreenIntensity(細胞画像内におけるG画素の輝度値の平均値)と、OuterBlueIntensity(細胞画像内におけるB画素の輝度値の平均値)とをフォルダ内にある全ての目的藻類の細胞画像の数値情報から読み出す。
次に、色素値抽出部20は、全細胞画像のOuterGreenIntensityを加算してOuterGreenIntensity加算値を求め、同様に全細胞画像のOuterBlueIntensityを加算してOuterBlueIntensity加算値を求める。
そして、色素値抽出部20は、OuterGreenIntensity加算値をOuterBlueIntensity加算値により除算し、R画素及びB画素の輝度比であるChlorophyll predictorを算出する。色素抽出部19は、算出したChlorophyll predictorを、テーブル記憶部23の図4の数値情報として書き込んで記憶させる。
次に、色素値抽出部20は、記憶部22からクロロフィル算出用の回帰式を読み出し、求めたChlorophyll predictorをこの回帰式に代入し、細胞当たりのアスタキサンチンの蓄積量を求め、Chlorophyllとして、テーブル記憶部23の図4の数値情報として書き込んで記憶させる。
図9は、新鮮培地に対してヘマトコッカスを接種後、細胞観察装置1により測定したアスタキサンチンとクロロフィルとの蓄積量の変化を示すグラフである。この図9において、縦軸が細胞当たりの色素量(蓄積量)を示し、横軸が培養期間(週)を示している。
図9から判るように、培地に対するヘマトコッカスの接種後に、接種直後(0週)、1週、2週後において、アスタキサンチン及びクロロフィルの蓄積量が増加している。
この結果は、実際のヘマトコッカスの細胞において、アスタキサンチンの蓄積量は1週間後にプラトーに達し、クロロフィルの蓄積量は時間経過により増加するとの知見と一致している。したがって、本実施形態による細胞観察装置1は実際に細胞を破壊して色素体の蓄積量を測定せずとも、培養している状態のまま色素の蓄積量を正確に推定することが可能である。
<ヘマトコッカスの成長の推定処理>
図10は、細胞観察装置1が画像解析から求めた細胞画像の数値情報(OuterAxisRatio(L/S)、OuterArea)と、目視による細胞の分類との対応を示す図である。図10において、縦軸は細胞画像の長径及び短径の比OuterAxisRatio(L/S)を示し、横軸は細胞画像の面積OuterAreaを示している。
また、「+」マークは目視により遊走子として判定された細胞であり、「〇」マークが目視により遊走子からパルメラ細胞へ移行途中の移行細胞として判定された細胞であり、「×」マークが目視によりパルメラ細胞(アスタキサンチンを色素として産生するヘマトコッカスの細胞)として判定された細胞である。
すなわち、新鮮培地に接種すると、ヘマトコッカスの細胞は、内生胞子を形成し、胞子は出芽すると、鞭毛を持ち運動性のある遊走子になる。そして、遊走子はしばらくすると、鞭毛が消失し、運動性を失ったパルメラ細胞になる。図10はこの生理状態の異なる遊走子とパルメラ細胞との判別を行うための条件を見出すための図である。
新鮮培地に移した後のヘマトコッカスの細胞に対して、20枚の撮像画像においてヘマトコッカスの細胞を目視で遊走子とパルメラ細胞と判別できない移行状態の細胞との3種類に分類した。
そして、撮像画像を本実施形態の細胞観察装置1により解析し、ヘマトコッカスの細胞と判定した計138種類の細胞についての定量値を利用し、遊走子とパルメラ細胞との判別を行った。細胞のサイズ(面積)と細胞の長軸短軸比について、上述したように遊走子を「+」で表し、パルメラ細胞を「×」で表し、移行状態の細胞を「○」で表してプロットされている。この図10のグラフにおいて、細胞の面積が3000ピクセル未満の領域に遊走子の87%が、細胞の面積が3000ピクセル以上の領域にパルメラ細胞の96%が含まれることが判明した。
したがって、この細胞の面積が3000ピクセル以上をパルメラ細胞と判別し、細胞の面積が3000未満のピクセルを遊走子と判別することができる。また、長軸短軸比にも特徴があるため、OuterAxisRatio(L/S)>1.05であり、細胞画像の面積OuterAreaが3000ピクセル未満の細胞画像は遊走子と判定し、一方、OuterAxisRatio(L/S)≦1.05であり、細胞画像の面積OuterAreaが3000ピクセル以上の細胞画像はパルメラ細胞と判定することにより、遊走子とパルメラ細胞とを区分することが可能である。この判定は、細胞形態検出部19が行っている。
また、図2に示されているように、観察者の知見において、細胞の面積が3000ピクセル未満であり、長短短軸比(L/S)が1.05以上の細胞は遊走子であり、一方、細胞の面積が3000ピクセル以上であり、長短短軸比(L/S)が1.05未満の細胞がパルメラ細胞とされている。この結果からも、観察者の知見に対して、本実施形態による細胞観察装置1の判別とは同様となることが判る。
また、本実施形態においては、観察対象の細胞としてヘマトコッカスを例として説明したが、このヘマトコッカスに限らず、単細胞であれば観察対象としてはいずれの細胞に対しても適用可能である。例えば、ヘマトコッカス以外の微細藻類としては、クロレラ、ナノクロロプシス、ドナリエラ、ボトリオコッカスなどの他の細胞において特徴的な形態を定量化することができる。
<重回帰分析によるヘマトコッカスの細胞内の色素量の推定>
次に、細胞画像内のピクセルにおける赤チャンネル(R画素)、緑チャンネル(G画素)及び青チャンネル(B画素)の輝度値を用いたアスタキサンチン(カロテノイド)量及びクロロフィル量の各々の推定について説明する。アスタキサンチンは、カロテノイドの一種である。
すでに、図5においては、細胞画像内におけるR画素とB画素との輝度値の平均値を用いた回帰式により、アスタキサンチン量の推定の説明をしている。また、図6においては、細胞画像内におけるG画素とB画素との各々の輝度値を用いた回帰式により、クロロフィル量の推定の説明をしている。
しかしながら、本実施形態においては上述したように、細胞画像内におけるR画素及びB画素の輝度値の平均値に対して、細胞画像内におけるG画素の輝度値の平均値を加え、細胞画像内におけるR画素、G画素及びB画素の各々の輝度値の平均値から、細胞の産生する色素量を求める重回帰式を用いて、アスタキサンチン量及びクロロフィル量の各々を求めている。アスタキサンチン量を求める重回帰式とクロロフィル量を求める重回帰式とは、各々異なる重回帰式(後述)であり、予め記憶部22に書き込まれて記憶されている。
また、この重回帰式を用いた色素量の推定は、すでに説明した色素値抽出部20が行う。色素値抽出部20は、記憶部22からアスタキサンチン算出用の重回帰式を読み出し、細胞画像内のR画素、G画素及びB画素の各々の輝度値の平均値を、アスタキサンチン及びクロロフィルの各々の重回帰式に代入し、細胞当たりのアスタキサンチンあるいはクロロフィルの蓄積量(アスタキサンチン量、クロロフィル量)を求め、AstaxanthinあるいはChlorophyllとして、テーブル記憶部23の図4の数値情報として書き込んで記憶させる。
図11は、実測した観察対象細胞(ヘマトコッカス)に蓄積されているクロロフィルの培養液1mlあたりの色素量と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定した色素量との相関を示すグラフである。図11のグラフは、縦軸が重回帰式により推定した細胞当たりのクロロフィルの蓄積量(pg:ピコグラム)から換算した培養液1mlあたりのクロロフィル量(μg/ml)を示し、横軸が実測した培養液1mlあたりのクロロフィル量(μg/ml)を示している。図11における相関の決定係数Rは、0.999である。このクロロフィル量推定用の重回帰式は、細胞画像内のピクセルにおけるR画素、G画素及びB画素の各々の輝度値と、実測した細胞あたりのクロロフィル量との対応との相関をとる重回帰分析により生成した。
図11においては、トレーニングデータとして用いた観察対象細胞(LL条件で培養した培養細胞)のクロロフィル量の実測値と、このトレーニングデータとして用いた観察対象細胞の細胞画像から求めたR画素、G画素及びB画素の輝度値から重回帰式を用いて求めたクロロフィルの推定量との相関を示している。また、培養液1mlあたりのクロロフィル量の測定については、図6の説明にある処理と同様のクロロフィルを抽出する処理を行い、細胞からクロロフィルを抽出して、培養液1mlあたりのクロロフィル量を求めた。LL条件とは、細胞を培養する際、所定の照度で常に明るい状態の環境に置くという培養条件である。
図12は、実測した観察対象細胞(ヘマトコッカス)に蓄積されているクロロフィルの培養液1mlあたりの色素量と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定した色素量との相関を示すグラフである。図12のグラフは、図11のグラフと同様に、縦軸が重回帰式により推定した細胞当たりのクロロフィルの蓄積量(pg:ピコグラム)から換算した培養液1mlあたりのクロロフィル量(μg/ml)を示し、横軸が実測した培養液1mlあたりのクロロフィル量(μg/ml)を示している。図12における相関の決定係数Rは、0.963である。このクロロフィル量推定用の重回帰式は、細胞画像内のピクセルにおけるR画素、G画素及びB画素の各々の輝度値と、実測した細胞あたりのクロロフィル量との対応との相関をとる重回帰分析により生成した。
図12においては、テストデータとして用いた観察対象細胞(LD条件で培養した培養細胞)のクロロフィル量の実測値と、このテストデータとして用いた観察対象細胞の細胞画像から求めたR画素、G画素及びB画素の輝度値から重回帰式を用いて求めたクロロフィルの推定量との相関を示している。また、培養液1mlあたりのクロロフィル量の測定については、図6の説明にある処理と同様のクロロフィルを抽出する処理を行い、細胞からクロロフィルを抽出して、培養液1mlあたりのクロロフィル量を求めた。LD条件とは、細胞を培養する際、所定の照度の明るい状態と、所定の照度の暗い状態とを、予め設定した周期で繰り返す環境に置くという培養条件である。
また、図12は、上述したように、図11で説明したLL条件で培養した細胞をトレーニングデータとして生成した重回帰式を用い、LD条件で培養した細胞をテストデータとして培養液1mlあたりのクロロフィル量を測定している。LL条件とLD条件との各々は、培養条件が異なり、培養細胞の統計的な母集団として全く異なる集団である。しかしながら、図12における実測値と推定値との相関における決定係数Rは、0.963であり、異なる集団(LL条件で培養した細胞の集団)で作成した重回帰式であっても、LD条件で培養した細胞におけるクロロフィル量の実測値と、LL条件で培養した細胞を用いて生成した重回帰式で推定したクロロフィル量の推定値とが高い相関を有している。これにより、本実施形態におけるクロロフィル量を推定する重回帰式が、精度の高いクロロフィル量の推定処理を行うことが可能であることが解る。
図13は、実測した観察対象細胞(ヘマトコッカス)に蓄積されているアスタキサンチンの培養液1mlあたりの色素量と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定したアスタキサンチンの色素量との相関を示すグラフである。図13のグラフは、縦軸が推定した細胞当たりのアスタキサンチンの蓄積量(pg:ピコグラム)から換算した培養液1mlあたりのアスタキサンチン量(μg/ml)を示し、横軸が実測した培養液1mlあたりのアスタキサンチン量(μg/ml)を示している。図13における相関の決定係数Rは、0.963である。
図13においては、トレーニングデータとして用いた観察対象細胞(LL条件で培養した培養細胞)のアスタキサンチン量の実測値と、このトレーニングデータとして用いた観察対象細胞の細胞画像から求めたR画素、G画素及びB画素の輝度値から重回帰式を用いて求めた推定量との相関を示している。また、培養液1mlあたりのアスタキサンチン量の測定については、図5の説明にある処理と同様のアスタキサンチンを抽出する処理を行い、細胞からアスタキサンチンを抽出して、培養液1mlあたりのアスタキサンチン量を求めた。LL条件とは、細胞を培養する際、所定の照度で常に明るい状態の環境に置くという培養条件である。
図14は、実測した観察対象細胞(ヘマトコッカス)に蓄積されているアスタキサンチンの培養液1mlあたりの色素量と、細胞画像内のピクセルにおけるR画素、G画素及びB画素の輝度値の平均値を用いた重回帰式から推定したアスタキサンチンの色素量との相関を示すグラフである。図14のグラフは、図13のグラフと同様に、縦軸が推定した細胞当たりのアスタキサンチンの蓄積量(pg:ピコグラム)から換算した培養液1mlあたりのアスタキサンチン量(μg/ml)を示し、横軸が実測した培養液1mlあたりのアスタキサンチン量(μg/ml)を示している。図14における相関の決定係数Rは、0.975である。
図14においては、テストデータとして用いた観察対象細胞(LD条件で培養した培養細胞)のアスタキサンチン量の実測値と、このテストデータとして用いた観察対象細胞の細胞画像から求めたR画素、G画素及びB画素の輝度値から重回帰式を用いて求めた推定量との相関を示している。また、培養液1mlあたりのアスタキサンチン量の測定については、図5の説明にある処理と同様のアスタキサンチンを抽出する処理を行い、細胞からアスタキサンチンを抽出して、培養液1mlあたりのアスタキサンチン量を求めた。LD条件とは、細胞を培養する際、所定の照度の明るい状態と、所定の照度の暗い状態とを、予め設定した周期で繰り返す環境に置くという培養条件である。
また、図14は、上述したように、図13で説明したLL条件で培養した細胞をトレーニングデータとして生成した重回帰式を用い、LD条件で培養した細胞をテストデータとして培養液1mlあたりのアスタキサンチン量を測定している。LL条件とLD条件との各々は、培養条件が異なり、培養細胞の統計的な母集団として全く異なる集団である。しかしながら、図14における実測値と推定値との相関における決定係数Rは、0.975であり、異なる集団(LL条件で培養した細胞の集団)で作成した重回帰式であっても、LD条件で培養した細胞におけるアスタキサンチン量の実測値と、LL条件で培養した細胞を用いて生成した重回帰式で推定したアスタキサンチン量の推定値とが高い相関を有している。これにより、本実施形態におけるアスタキサンチン量を推定する重回帰式が、精度の高いアスタキサンチン量の推定処理を行うことが可能であることが解る。
図15は、クロロフィル量及びカロテノイド量の各々を推定するために用いる重回帰分析の式を説明する図である。図15のグラフは、縦軸が培養液1mlあたりに換算した色素量(μg/ml)を示し、横軸が培養を開始してから経過した時間(日数)を示している。図15において、黒丸が実際に測定したクロロフィル量の測定値であり、白丸が重回帰式で推定したクロロフィル量である。また、黒三角が実際に測定したカロテノイド量の測定値であり、白三角が重回帰式で推定したカロテノイド量である。
また、以下に示すクロロフィル濃度(pg/cell)の重回帰式(図15にも提示)は、1個の細胞あたりに含まれるクロロフィル量を推定する式である。
chl=−0.46×I+0.56×I−0.83×I−72.01
また、以下に示すカロテノイド濃度(pg/cell)の重回帰式(図15にも提示)は、1個の細胞あたりに含まれるカロテノイド量を推定する式である。
car=0.75×I−0.22×I−0.27×I−61.83
また、これらの重回帰式において、Ychlがクロロフィル濃度を示し、Ycarがカロテノイド濃度を示している。Iは、細胞画像内の色素体における赤チャンネルの輝度値の平均値である。Iは、細胞画像内の色素体における緑チャンネルの輝度値の平均値である。Iは、細胞画像内の色素体における青チャンネルの輝度値の平均値である。
上述した重回帰式は、以下の基本式における係数a、b、c、dの各々の値を重回帰分析で求めて生成した。
Y=aI+bI+cI+d
上記式において、係数aは、色素体のピクセルの赤チャンネルの輝度値の平均値に乗算する係数である。係数bは、色素体のピクセルの緑チャンネルの輝度値の平均値に乗算する係数である。係数cは、色素体のピクセルの青チャンネルの輝度値の平均値に乗算する係数である。係数dは、重回帰式における定数である。
<ランダムフォレスト法によりヘマトコッカスの遊走子とパルメロイドとの判別>
次に、ランダムフォレスト(Random forests)法によって、観察対象の培養細胞が遊走子とパルメロイドとのいずれかであるかの判別を行う判別処理について説明する。本項において、基本的には、ランダムフォレスト法による機械学習を用いて、撮像画像に含まれる細胞画像が示す細胞各々を、遊走子とパルメロイドとにそれぞれ分離するクラスタリング処理用の樹木モデルを生成する。そして、生成された樹木モデルを記憶部22に予め書き込んで記憶させておく。本実施形態においては、パルメロイドはパルメラ細胞とも言う。
そして、細胞形態検出部19は、記憶部22から樹木モデルを読み出し、樹木モデルによる撮像画像に含まれる細胞画像のクラスタリングを行う。また、細胞形態検出部19は、クラスタリング結果を、クラスタリング画像(例えば、後述する図20の画像)で表示部24に対して表示させ、その時点における遊走子とパルメロイドとの比率などをビジュアル的に表現させる。このクラスタリング画像を見ることにより、その時点の遊走子とパルメロイドとの比率を容易に視覚的に推定することができる。
また、細胞形態検出部19は、クラスタリング結果の正解を入力されることにより、ランダムフォレスト法による機械学習を繰り返し、樹木モデルを更新していくように構成しても良い。
図16は、遊走子とパルメロイドとの各々を撮像した撮像画像を示す図である。この図16において、黒三角印で指し示している細胞がパルメロイドであり、矢印で指し示している細胞が遊走子である。すなわち、細胞C_1、C_2、C_3、C_4、C_7の各々が遊走子であり、細胞C_5、C_6がパルメロイドである。
観察者が顕微鏡で観察した場合、パルメロイドと遊走子との区別は遊走子に鞭毛などがあって容易につくが、一方、培養している大量の細胞の全てを人間が判別し、パルメロイドと遊走子との数の比などを検出することは困難である。
上述した点を改善するため、樹木モデルによる培養細胞各々の数値的なクラスタリングのみでなく、クラスタリングの結果を表示装置にビジュアル的に表示することにより、遊走子とパルメロイドとの比率を明確に通知することができる。
図17は、ランダムフォレスト法によって、トレーニングデータの培養細胞の2個のパラメータを用いて生成した樹木モデルにより、トレーニングデータの培養細胞をクラスタリングした結果を示す図である。2個のパラメータは、細胞観察装置1が画像解析から求めた細胞画像の数値情報である長径及び短径の比OuterAxisRatio(L/S)と、細胞画像の面積OuterAreaとの各々である。また、図17において、縦軸は細胞画像の長径及び短径の比OuterAxisRatio(L/S)を示し、横軸は細胞画像の面積OuterAreaを示している。図17において、トレーニングデータの細胞により生成した樹木モデルによるトレーニングデータの細胞の判別率は100%である。判別率は、判別結果が遊走子を遊走子と判別し、パルメロイドをパルメロイドと判別する、判別の正答率を示すものである。この図17を含め、後述する図18、図19及び図20の各々において、白丸がパルメロイドの細胞を示し、白の菱形が遊走子の細胞を示している。
図18は、ランダムフォレスト法によって、トレーニングデータの培養細胞の2個のパラメータを用いて生成した樹木モデルにより、テストデータの培養細胞をクラスタリングした結果を示す図である。2個のパラメータは、図16の場合と同様に、細胞観察装置1が画像解析から求めた細胞画像の数値情報である長径及び短径の比OuterAxisRatio(L/S)と、細胞画像の面積OuterAreaとの各々である。また、図18において、図17と同様に、縦軸は細胞画像の長径及び短径の比OuterAxisRatio(L/S)を示し、横軸は細胞画像の面積OuterAreaを示している。図18において、トレーニングデータの細胞により生成した樹木モデルによるテストデータの細胞の判別率は79%である。
また、トレーニングデータ及びテストデータの各々の細胞は、新鮮培地に移した2日目あるいは3日目のヘマトコッカスの細胞を母集団として、この母集団からから抽出した682個の細胞を341個ずつに分けて、一方をトレーニングデータの細胞、他方をテストデータの細胞としたものである。
図19は、ランダムフォレスト法の機械学習によって、トレーニングデータの培養細胞の25個のパラメータを用いて生成した樹木モデルにより、トレーニングデータの培養細胞をクラスタリングした結果を示す図である。25個のパラメータは、細胞観察装置1が画像解析から求めた細胞画像の数値情報である長径及び短径の比OuterAxisRatio(L/S)と、細胞画像の面積OuterAreaとの各々に加え、図3及び図4に記載されている細胞観察装置1が画像解析から求めたパラメータの各々である。また、図19において、縦軸は細胞画像の長径及び短径の比OuterAxisRatio(L/S)を示し、横軸は細胞画像の面積OuterAreaを示している。図19において、トレーニングデータの細胞により生成した樹木モデルによるトレーニングデータの細胞の判別率は100%である。
図20は、ランダムフォレスト法の機械学習によって、トレーニングデータの培養細胞の25個のパラメータを用いて生成した樹木モデルにより、テストデータの培養細胞をクラスタリングした結果を示す図である。25個のパラメータは、図19の場合と同様に、細胞観察装置1が画像解析から求めた細胞画像の数値情報である長径及び短径の比OuterAxisRatio(L/S)と、細胞画像の面積OuterAreaとの各々に加え、図3及び図4に記載されている細胞観察装置1が画像解析から求めたパラメータの各々である。また、図20において、図19と同様に、縦軸は細胞画像の長径及び短径の比OuterAxisRatio(L/S)を示し、横軸は細胞画像の面積OuterAreaを示している。図20において、トレーニングデータの細胞により生成した樹木モデルによるテストデータの細胞の判別率は89%である。
上述したように、2個のパラメータの場合、テストデータの細胞に対するパルメロイドと遊走子との判別率は79%であったが、25個のパラメータの場合、89%と10%ほど精度が良くなっていることが解る。
また、図17から図20の各々は、細胞培養を開始してから2日目あるいは3日目の培養後に判別を行っている。したがって、細胞培養を初めてから、時系列に上述した樹木モデルにより判別を行った場合、クラスタリング結果により、遊走子とパルメロイドとの比率の変化などが図17から図20に示すように、ビジュアル的に確認することができる。
さらに、トレーニングデータを異なる細胞培養の株を用いて増やし、樹木モデルを更新することにより、より遊走子とパルメロイドとのクラスタリングの精度を向上させることができ、細胞の培養の経過観察が撮像した細胞画像により容易にできるようになる。
以下に、本実施形態におけるランダムフォレスト法における機械学習に用いた25個のパラメータの各々を説明する。また、以下の図21から図45までの全てにおいて、白丸がLL条件で培養された細胞の細胞画像から抽出されたパラメータの各々を示し、黒丸がLD条件で培養された細胞の細胞画像から抽出されたパラメータの各々を示している。以下の各図において、細胞構造抽出部18は、パラメータを抽出する際、パラメータが長さの単位である場合、細胞画像の測定したい線分におけるピクセル数をカウントし、このカウント数から実際の長さの寸法を判定、すなわちピクセル数からμm単位の長さの数値に変換する。また、パラメータが面積である場合、細胞画像の測定したい領域におけるピクセル数をカウントし、このカウント数から実際の面積の寸法を判定、すなわちピクセル数からμm単位の長さの数値に変換する。また、図21から図45までの各数値は、複数の細胞画像の測定値を平均した平均値である。
図21は、培養した時間と培養細胞の細胞画像における周囲の長さを示すOuterOutlineLength(単位:μm)との対応関係を示す図である。図21において、縦軸がOuterOutlineLengthの測定値を示し、横軸が細胞を培養した日数(Day、以下の図22から図45の各々も同様)を示している。
図22は、培養した時間と培養細胞の細胞画像の重心の座標から細胞画像の外周までの距離の最大値を示すOuterMaxRadius(単位:μm)との対応関係を示す図である。図22において、縦軸がOuterMaxRadiusの測定値を示し、横軸が細胞を培養した日数を示している。
図23は、培養した時間と培養細胞の細胞画像の面積を示すOuterArea(単位:μm)との対応関係を示す図である。図23において、縦軸がOuterAreaの測定値を示し、横軸が細胞を培養した日数を示している。
図24は、培養した時間と培養細胞の細胞画像の最小の幅(短軸)部分の寸法OuterShortAxisLength(単位:μm)との対応関係を示す図である。図24において、縦軸がOuterShortAxisLengthの測定値を示し、横軸が細胞を培養した日数を示している。
図25は、培養した時間と培養細胞の細胞画像の細胞内全体の赤チャンネル(R画素)の輝度値の加算値を示す数値であるOuterTotalRedIntensity(単位:color unit)との対応関係を示す図である。図25において、縦軸がOuterTotalRedIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の全てのピクセルにおけるR画素の輝度値を加算し、加算結果をOuterTotalRedIntensityとしている。
図26は、培養した時間と培養細胞の細胞画像の色素体の領域における面積であるInnerArea(単位:μm)との対応関係を示す図である。図26において、縦軸がInnerAreaの測定値を示し、横軸が細胞を培養した日数を示している。
図27は、培養した時間と細胞画像の色素体の領域内における赤チャンネル(R画素)の輝度値の加算値を示す数値であるInnerTotalRedIntensity(単位:color unit)との対応関係を示す図である。図27において、縦軸がInnerTotalRedIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の色素体内の全てのピクセルにおけるR画素の輝度値を加算し、加算結果をInnerTotalRedIntensityとしている。
図28は、培養した時間と培養細胞の細胞画像の細胞内全体の緑チャンネル(G画素)の輝度値の加算値を示す数値であるOuterTotalGreenIntensity(単位:color unit)との対応関係を示す図である。図28において、縦軸がOuterTotalGreenIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の全てのピクセルにおけるG画素の輝度値を加算し、加算結果をOuterTotalGreenIntensityとしている。
図29は、培養した時間と細胞画像の色素体の領域内における青チャンネル(B画素)の平均輝度値を示す数値であるInnerMeanBlueIntensity(単位:color unit)との対応関係を示す図である。図29において、縦軸がInnerMeanBlueIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の色素体内における全てのピクセルにおけるB画素の輝度値の平均値を計算し、計算結果をInnerMeanBlueIntensityとしている。
図30は、培養した時間と培養細胞の細胞画像の中心点から重心までの距離を示す数値であるDistanceFromCellCenterToInnerCenterOfMass(単位:μm)との対応関係を示す図である。図30において、縦軸がDistanceFromCellCenterToInnerCenterOfMassの測定値を示し、横軸が細胞を培養した日数を示している。すでに説明した細胞構造抽出部18は、細胞画像のピクセル値から、細胞画像の中心座標値と、細胞画像の重心の重心座標値を求め、中心座標値と重心座標値との差分を求め、この差分をDistanceFromCellCenterToInnerCenterOfMassとする。
図31は、培養した時間と培養細胞の細胞画像の細胞内の青チャンネル(B画素)の平均輝度値を示す数値であるOuterMeanBlueIntensity(単位:color unit)との対応関係を示す図である。図31において、縦軸がOuterMeanBlueIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内における全てのピクセルにおけるB画素の輝度値の平均値を計算し、計算結果をOuterMeanBlueIntensityとしている。
図32は、培養した時間と細胞画像の色素体の領域内における緑チャンネル(G画素)の輝度値の加算値を示す数値であるInnerTotalGreenIntensity(単位:color unit)との対応関係を示す図である。図32において、縦軸がInnerTotalGreenIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の色素体内における全てのピクセルにおけるG画素の輝度値を加算し、加算結果をInnerTotalGreenIntensityとしている。
図33は、培養した時間と培養細胞の細胞画像の細胞内の緑チャンネル(G画素)の平均輝度値を示す数値であるOuterMeanGreenIntensity(単位:color unit)との対応関係を示す図である。図33において、縦軸がOuterMeanGreenIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内における全てのピクセルにおけるG画素の輝度値の平均値を計算し、計算結果をOuterMeanGreenIntensityとしている。
図34は、培養した時間と細胞画像の重心から長軸の最も遠い座標点までのなす角度を示すAngleFromInnerCenterOfMassToFarEndOfLongAxis(単位:degree of angle)との対応関係を示す図である。図34において、縦軸がAngleFromInnerCenterOfMassToFarEndOfLongAxisの測定値を示し、横軸が細胞を培養した日数を示している。すでに説明した細胞構造抽出部18は、細胞画像のピクセル値から、細胞画像の重心の重心座標値を求め、細胞画像の長軸の受信座標から最も遠い座標値とを抽出し、この重心座標と座標値の結ぶ直線と、細胞画像の長軸とのなす角度を検出し、この角度をAngleFromInnerCenterOfMassToFarEndOfLongAxisとする。
図35は、培養した時間と培養細胞の細胞画像の細胞内全体の青チャンネル(B画素)の輝度値の加算値を示す数値であるOuterTotalBlueIntensity(単位:color unit)との対応関係を示す図である。図35において、縦軸がOuterTotalBlueIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の全てのピクセルにおけるB画素の輝度値を加算し、加算結果をOuterTotalBlueIntensityとしている。
図36は、培養した時間と細胞画像の細胞内の色素体の周囲の長さを示すInnerOutlineLength(単位:μm)との対応関係を示す図である。図36において、縦軸がInnerOutlineLengthの測定値を示し、横軸が細胞を培養した日数を示している。
図37は、培養した時間と細胞画像の細胞内の色素体の面積と細胞の面積との比を示すAreaRatio(単位:μm/μm)との対応関係を示す図である。図37において、縦軸がAreaRatioの測定値を示し、横軸が細胞を培養した日数を示している。すでに説明した細胞構造抽出部18は、細胞画像のピクセル値から、細胞画像全体の面積により、色素体の面積を除算することにより、細胞画像全体の面積に対する色素体の面積の比を求め、この比をAreaRatioとする。
図38は、培養した時間と培養細胞の細胞画像の細胞内における色素体の青チャンネル(B画素)の輝度値の加算値を示す数値であるInnerTotalBlueIntensity(単位:color unit)との対応関係を示す図である。図38において、縦軸がInnerTotalBlueIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の色素体の領域全てのピクセルにおけるB画素の輝度値を加算し、加算結果をInnerTotalBlueIntensityとしている。
図39は、培養した時間と細胞画像におけるChordiogram距離(すでに説明したパラメータ)を示す数値であるOuterChordiogramDistance(単位:relative frequency)との対応関係を示す図である。図39において、縦軸がOuterChordiogramDistanceの測定値を示し、横軸が細胞を培養した日数を示している。
図40は、培養した時間と培養細胞の細胞画像の長軸と短軸との比を示す数値であるOuterAxisRatio(L/S)(単位:μm/μm)との対応関係を示す図である。図40において、縦軸がOuterAxisRatio(L/S)の測定値を示し、横軸が細胞を培養した日数を示している。
図41は、培養した時間と培養細胞の細胞画像の細胞内の赤チャンネル(R画素)の平均輝度値を示す数値であるOuterMeanRedIntensity(単位:color unit)との対応関係を示す図である。図41において、縦軸がOuterMeanRedIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内における全てのピクセルにおけるR画素の輝度値の平均値を計算し、計算結果をOuterMeanRedIntensityとしている。
図42は、培養した時間と細胞画像の外周の円への適合度を示す数値であるOuterRoundfitness(単位:μm/μm)との対応関係を示す図である。図42において、縦軸がOuterRoundfitnessの測定値を示し、横軸が細胞を培養した日数を示している。
図43は、培養した時間と培養細胞の細胞画像の細胞内の色素体の赤チャンネル(R画素)の平均輝度値を示す数値であるInnerMeanRedIntensity(単位:color unit)との対応関係を示す図である。図43において、縦軸がInnerMeanRedIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の色素体における全てのピクセルにおけるR画素の輝度値の平均値を計算し、計算結果をInnerMeanRedIntensityとしている。
図44は、培養した時間と培養細胞の細胞画像の細胞内の色素体の緑チャンネル(G画素)の平均輝度値を示す数値であるInnerMeanGreenIntensity(単位:color unit)との対応関係を示す図である。図44において、縦軸がInnerMeanGreenIntensityの測定値を示し、横軸が細胞を培養した日数を示している。ここで、すでに説明した細胞構造抽出部18は、細胞画像内の色素体における全てのピクセルにおけるG画素の輝度値の平均値を計算し、計算結果をInnerMeanGreenIntensityとしている。
図45は、培養した時間と培養細胞の細胞画像の最大の幅(長軸)部分の寸法OuterLongAxisLength(単位:μm)との対応関係を示す図である。図24において、縦軸がOuterLongAxisLengthの測定値を示し、横軸が細胞を培養した日数を示している。
上述したランダムフォレスト法における樹木モデルの生成に、図21から図45までに示した25個のパラメータが用いられている。
<観察対象細胞(ヘマトコッカス)の成長の経時変化におけるダイナミズムの評価>
次に、図21から図45までの25個を含む細胞形態検出部19が抽出するパラメータから、ヘマトコッカスの遊走子からパルメロイドへの成長過程における細胞形態の経時変化及び条件依存を検出する評価用のパラメータを主成分分析により抽出した。
この主成分分析において、第1主成分PC1の寄与率は51%であった。第1主成分PC1は、上述した図21から図45までの25個を含む細胞構造抽出部18が抽出するパラメータの内、長軸の長さOuterLongAxisLength、細胞の面積OuterAreaを含む8個のパラメータ(後述)と高い相関があることが解った。
この8個のパラメータとしては、例えば、図21に示す細胞の周囲の長さOuterOutlineLength及び図22に示す細胞画像の重心から外周までの最大幅OuterMaxRadiusなどは、時間変化に対して線形的な変化を有し、第1主成分PC1と高い相関を有している。
次に、図46は、第1主成分PC1と培養を始めてからの経過時間との対応を示す図である。図46において、縦軸が第1主成分PC1の得点数(score of PC1)を示し、横軸は培養を開始してからの経過時間(Day)を示している。
この図46から解るように第1主成分の値は時間と共に減少しているが、LL条件とLD条件とは変化の状態が異なる。しかしながら、LL条件及びLD条件の各々により培養した細胞ともに、第1主成分PC1との相関があり、当然に時間変化に対しても相関がある。このため、LL条件及びLD条件の双方に対して、第1主成分PC1と相関のあるパラメータは、観察対象細胞の時間経過における成長過程での形態変化を検出するパラメータとして用いることができることが解る。
次に、図47は、第1主成分PC1と相関のある(すなわち、形態変化における時間経過と相関のある)8個のパラメータを説明する図である。8個のパラメータは、長軸の長さOuterLongAxisLength(図45)、細胞の周囲の長さOuterOutlineLength(図21)、重心から外周までの最大幅OuterMaxRadius(図22)、細胞の面積OuterArea(図23)、短軸の長さOuterShortAxisLength(図24)、細胞画像全体の赤チャンネルの輝度値の加算値OuterTotalRedIntensity(図25)、細胞内の色素部分(色素体)の面積InnerArea(図26)、色素部分の赤チャンネルの輝度値の加算値InnerTotalRedIntensity(図27)の各々である。
したがって、細胞の経時変化における成長過程の形態を観察する際、上述したOuterLongAxisLength、OuterOutlineLength、OuterMaxRadius、OuterArea、OuterShortAxisLength、OuterTotalRedIntensity、InnerArea、InnerTotalRedIntensityの8個の各々を、時間経過に従いモニターすることにより、細胞の形態変化を細胞画像により検出することができる。したがって、細胞を培養する際、上述した8個のパラメータを観察することにより、統計的に、時間経過毎にどの程度の成長過程(どの程度の第1主成分PC1の数値)になければならないかの判定ができ、培養の環境の適あるいは不適を判定することができる。
次に、図48は、鞭毛の発生及び消失と、培養を開始してからの経過時間との対応を示す図である。図48において、縦軸が鞭毛の生じている細胞の出現の頻度である出現率(Fraction of flagellated cells)を示し、横軸は培養を開始してからの経過時間(Day)を示している。この図48から細胞における鞭毛の発生のピークが、LL条件の培養の環境下の細胞の場合に1日目にあり、LD条件の培養の環境下の細胞の場合に2日目にあることが解った。出現率は細胞を培養している培地の測定領域における全細胞により、鞭毛を有する細胞の数を除算したものである。
また、それ以降の時間経過における鞭毛の消失の時間的変化に対し、LL条件及びLD条件の各々の培養の環境下の細胞間に差はないことが解る。このパラメータから、培養を開始してから鞭毛を発生させるまでの成長の速度は、LL条件下での環境による培養の方が、LD条件下での環境による培養より速いことが解る。しかしながら、鞭毛が発生した後、遊走子からパルメロイドに成長するまでの過程は、LL条件及びLD条件の各々の環境下による培養の差がないことも解る。
例えば、図33に示す細胞内における緑チャンネルの輝度の平均値OuterMeanGreenIntensityは、細胞培養を開始してから10日目以降の変化が異なっている。すなわち、LL条件の環境下の培養においては、細胞を撮像した細胞画像におけるOuterMeanGreenIntensityの数値が変化しない。
一方、LD条件の環境下の培養においては、細胞を撮像した細胞画像におけるOuterMeanGreenIntensityの数値が大きく低下している。これは、OuterMeanGreenIntensityが、LD条件の環境下において培養した細胞と、LL条件下で培養した細胞とを分離することができるパラメータであることが解る。
第1主成分PC1と相関が少ないパラメータは、細胞の成長における時間的変化と異なる要素、すなわち培養の条件及び環境により、成長過程の細胞形態が時間的に異なることが推定される。
したがって、第1主成分PC1と相関が少ないパラメータから、培養の条件及び環境に依存するパラメータを抽出することにより、上述したように、LL条件下とLD条件下との各々において成長した細胞のクラスタリングを可能とする。
上述したように、本実施形態による細胞観察装置が抽出したパラメータから、観察対象細胞の経時的変化と条件及び環境依存的変化との各々の特徴を有するパラメータを主成分分析で抽出できた。
また、主成分分析で抽出したパラメータにより、観察対象細胞の成長における経時変化のダイナミズムを評価することができる。
<クロレラの細胞の異なる株の判別分析>
次に、判別分析により、クロレラ細胞の異なる株の判別分析を行った。例えば、本実施形態においては、クロレラの野生(WT)株と、この野生株から派生した変異(ミュータント)株PkE6と、変異株PkE8との判別分析を行った。判別分析は、事前に与えられているデータの各々が異なるグループに分離されることが明らかな場合、新しいデータが得られた際に、いずれのグループに入るかを判別する(クラスタリングを行う)ための基準(判別関数)を得るための手法である。以下の処理は、細胞形態検出部19が図21から図45に示すパラメータのデータを用いて行う。
図49は、粒子径と粒子数を同時に計測できる自動細胞数計測装置により検出した野生(WT)株、変異株PkE6及び変異株PkE8の各々の粒子径毎の出現した頻度である出現頻度を示す図である。図49において、縦軸が出現頻度を示し、横軸が細胞の粒子径を示している。この粒子径は、本実施形態におけるパラメータOuterLongAxisLengthに対応している。図49から解るように、粒子径については、変異株PkE6が大きいことが、自動細胞数計測装置による測定により確認できた。ここで、WTは、wildtypeの略である。
次に、図50は、本実施形態による細胞観察装置1における細胞形態検出部19が求めた、野生(WT)株、変異株PkE6及び変異株PkE8の各々の粒子径毎の出現した頻度を示す図である。この図50において、縦軸が出現した頻度を示し、横軸が細胞画像から抽出したパラメータOuterLongAxisLength(粒子径)を示している。また、図50において、野生(WT)株は実線、変異株PkE8は破線、変異株PkE6は一点鎖線で示している。また、出現頻度は、細胞を培養している培地の測定領域における全細胞により、各粒子径においてそれぞれの粒子径を有する確率密度の総和を除算したものである。ここで、得られた各細胞の粒子径がそれぞれ正規分布によって分布すると仮定したカーネル密度推定法により、細胞が各粒子径を持つ確率密度を推定した。
この図50から解るように、粒子径については、変異株PkE6が大きいことが、本実施形態である細胞観察装置1による撮像画像における細胞画像の各々に対する画像解析でも確認できた。
ここで、細胞形態検出部19は、撮像画像における所定の領域の細胞画像の粒子径を検出し、粒子径毎にこの粒子径を有する細胞の出現頻度を求めた。それをグラフ化したものが図50である。
その結果、変異株PkE6が最も大きく、次に変異株PkE8が大きく、野生株(WT)が最も小さいことが解る。また、図50から変異株PkE8にも変異株PkE6と同等の大きさの細胞の集団が存在していることが解る。
図51は、図21から図45までに示したパラメータの有意差検定の結果を示すテーブルの図である。図51のテーブルにおいて、IDはパラメータ名を示し、kwはKruskal−Wallis検定の検定結果を示し、e6/wtは変異株PkE6と野生株(WT)とのU検定の対比較の結果を示し、e8/wtは変異株PkE8と野生株(WT)とのU検定の対比較の結果を示し、e6/e8は変異株PkE6と変異株PkE8とのU検定の対比較の結果を示している。Kruskal−Wallis検定の検定結果においては、25個のパラメータ中において20個のパラメータに有意差が検出された(P<0.05、P値の判定)。U検定においては、75組の対のうちで32組の対に有意差が検出された(P<0.05、P値の判定)。
上述した結果から、図51に示すパラメータを用いて判別分析を行うことにより、野生(WT)株、変異株PkE8、変異株PkE6の各々を判別することが可能であることが予想される。
図52は、判別分析の結果得られた判別関数LD1と判別関数LD2とによる野生(WT)株、変異株PkE8、変異株PkE6の各々の判別結果を示す図である。この図52において、縦軸は判別関数LD2の得点を示し、横軸が判別関数LD1の得点を示している。また、図52において、白丸が変異株PkE6であり、黒丸が変異株PkE8であり、白四角が野生(WT)株である。ここで、判別関数LD1の得点が+側に大きくなるほど細胞における色素の色が薄くなり、一方、得点が−側に絶対値で大きくなるほど細胞における色素の色が濃くなる傾向である。また、判別関数LD2の得点が+側に大きくなるほど細胞の大きさが小さくなり、一方、得点が−側に絶対値で大きくなるほど細胞の大きさが大きくなる傾向である。
上述したように、判別関数LD1は、細胞画像の細胞内あるいは色素体内におけるピクセルにおける各々の色のチャンネルの輝度を示すパラメータと相関が高い。一方、判別関数LD2は、判別関数LD2は、細胞画像の細胞の大きさを示すパラメータと相関が高い。
このように、野生(WT)株、変異株PkE8、変異株PkE6の各々がそれぞれのグループとして分離(クラスタリング)されていることが図52から解る。
次に、図53は、判別関数LD1及び判別関数LD2の各々と図21から図45までに示したパラメータとの相関係数を示すテーブルの図である。図53のテーブルにおいて、IDはパラメータ名を示し、LD1の項は判別関数LD1との相関係数を示し、LD2の項は判別関数LD2との相関係数を示している。この図53のテーブルから、判別関数LD1は、細胞画像の細胞内あるいは色素体内におけるピクセルにおける各々の色のチャンネルの輝度を示すパラメータと相関が高いことが解る。一方、判別関数LD2は、判別関数LD2は、細胞画像の細胞の大きさを示すパラメータと相関が高いことが解る。
図54は、判別関数LD1と相関の高い各色のチャネルの細胞のピクセルの平均輝度値(OuterMeanIntensity)と、細胞の出現率との対応を示す図である。
図54の(a)は、細胞のピクセルの赤チャンネルの輝度値の平均値と、その平均値を有する細胞の出現率との対応を示している。図54の(a)において、縦軸が細胞の出現率を示し、横軸がパラメータOuterMeanRedIntensityの数値を示している。OuterMeanRedIntensityについては、変異株PkE8の輝度値の平均値は、野生(WT)株及び変異株PkE6と比較して最も高い。変異株PkE6の輝度値の平均値は、変異株PkE8と同様に高い集団と、野生(WT)株及び変異株PkE8より低い集団との2つのピークが見られる。野生(WT)株の輝度値の平均値は、変異株PkE8より低く、変異株PkE6の輝度値の低い集団より高い。
図54の(b)は、細胞のピクセルの緑チャンネルの輝度値の平均値と、その平均値を有する細胞の出現率との対応を示している。図54の(b)において、縦軸が細胞の出現率を示し、横軸がパラメータOuterMeanGreenIntensityの数値を示している。OuterMeanGreenIntensityについては、OuterMeanRedIntensityと同様に、変異株PkE8の輝度値の平均値は、野生(WT)株及び変異株PkE6と比較して最も高い。変異株PkE6の輝度値の平均値は、変異株PkE8と同様に高い集団と、野生(WT)株及び変異株PkE8より低い集団との2つのピークが見られる。野生(WT)株の輝度値の平均値は、変異株PkE8より低く、変異株PkE6の輝度値の低い集団より高い。
図54の(c)は、細胞のピクセルの青チャンネルの輝度値の平均値と、その平均値を有する細胞の出現率との対応を示している。図54の(c)において、縦軸が細胞の出現率を示し、横軸がパラメータOuterMeanBlueIntensityの数値を示している。OuterMeanBlueIntensityについては、OuterMeanRedIntensityと同様に、変異株PkE8の輝度値の平均値は、野生(WT)株及び変異株PkE6と比較して最も高い。変異株PkE6の輝度値の平均値は、変異株PkE8及び野生(WT)株と比較して最も低い。野生(WT)株の輝度値の平均値は、変異株PkE8より低く、変異株PkE6より高い。
上述の処理において、細胞形態検出部19は、野生(WT)株、変異株PkE8、変異株PkE6の各々の株単位に、パラメータOuterMeanRedIntensityの数値毎に各細胞が出現する確率密度を推定し、推定した確率密度の総和を株全体の細胞数で除算して、出現率を算出する。同様に、細胞形態検出部19は、野生(WT)株、変異株PkE8、変異株PkE6の各々の株単位に、パラメータOuterMeanGreenIntensityの数値毎に各細胞が出現する確率密度を推定し、推定した確率密度の総和を株全体の細胞数で除算して、出現率を算出する。また、細胞形態検出部19は、野生(WT)株、変異株PkE8、変異株PkE6の各々の株単位に、パラメータOuterMeanBlueIntensityの数値毎に各細胞が出現する確率密度を推定し、推定した確率密度の総和を株全体の細胞数で除算して、出現率を算出する。ここで、細胞が各粒子径を持つ確率密度の推定はカーネル密度推定法により行った。
図55は、判別関数LD2と相関の高い細胞の大きさに関連するパラメータと、細胞の出現率との対応を示す図である。図55の(a)は、長軸の長さOuterLongAxisLengthと、その長軸の長さOuterLongAxisLengthを有する細胞の出現率との対応を示している。図55の(a)において、縦軸が細胞の出現率を示し、横軸が長軸の長さOuterLongAxisLengthの数値を示している。長軸の長さOuterLongAxisLengthについては、変異株PkE6のピークが野生(WT)株及び変異株PkE8と比較して最も高い。野生(WT)株のピークは、変異株PkE6及び変異株PkE8と比較して最も小さい。変異株PkE8のピークは、野生(WT)株と変異株PkE8との間にある。
図55の(b)は、短軸の長さOuterShortAxisLengthと、その短軸の長さOuterShortAxisLengthを有する細胞の出現率との対応を示している。図55の(b)において、縦軸が細胞の出現率を示し、横軸が短軸の長さOuterShortAxisLengthの数値を示している。短軸の長さOuterShortAxisLengthについては、変異株PkE6のピークが野生(WT)株及び変異株PkE8と比較して最も高い。変異株PkE8のピークは、野生(WT)株及び変異株PkE8と比較して最も小さい。野生(WT)株のピークは、変異株PkE6と変異株PkE8との間にある。
図55の(c)は、細胞の面積OuterAreaと、その細胞の面積OuterAreaを有する細胞の出現率との対応を示している。図55の(c)において、縦軸が細胞の出現率を示し、横軸が細胞の面積OuterAreaの数値を示している。細胞の面積OuterAreaについては、変異株PkE6のピークが野生(WT)株及び変異株PkE8と比較して最も高い。変異株PkE8のピークは、野生(WT)株及び変異株PkE8と比較して最も小さい。野生(WT)株のピークは、変異株PkE6と変異株PkE8との間にある。
上述の処理において、細胞形態検出部19は、野生(WT)株、変異株PkE8、変異株PkE6の各々の株単位に、パラメータOuterLongAxisLengthの数値毎に各細胞が出現する確率密度を推定し、推定した確率密度の総和を株全体の細胞数で除算して、出現率を算出する。同様に、細胞形態検出部19は、野生(WT)株、変異株PkE8、変異株PkE6の各々の株単位に、パラメータOuterShortAxisLengthの数値毎に各細胞が出現する確率密度を推定し、推定した確率密度の総和を株全体の細胞数で除算して、出現率を算出する。また、細胞形態検出部19は、野生(WT)株、変異株PkE8、変異株PkE6の各々の株単位に、パラメータOuterAreaの数値毎に各細胞が出現する確率密度を推定し、推定した確率密度の総和を株全体の細胞数で除算して、出現率を算出する。ここで、細胞が各粒子径を持つ確率密度の推定はカーネル密度推定法により行った。
上述したように、本実施形態によれば、細胞内の輝度値に関するパラメータと相関のある判別関数LD1と、細胞の大きさに関するパラメータと相関のある判別関数LD2とを用いることにより、野生(WT)株と、変異株PkE6と、変異株PkE8との細胞を、それぞれの株のグループに分離することができる。
また、図1における細胞観察装置1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより細胞の生理状態を検出し培養の管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
細胞による有用物質の生産量向上のため、培養条件の開発や有用物質高生産株の育種を行う際、細胞の培地に混入する他種生物などの混入状況、微細藻類の細胞による有用物質の生産量の各々をリアルタイムにモニターする細胞観察装置を提供することができる。
1…細胞観察装置 11…制御部 12…色合い調節部 13…輪郭抽出部 14…色素体領域抽出部 15…画像分割部 16…画像合成部 17…細胞領域抽出部 18…細胞構造抽出部 19…細胞形態検出部 20…色素値抽出部 21…画像記憶部 22…記憶部 23…テーブル記憶部 24…表示部

Claims (6)

  1. 一層の細胞を撮像して得られた明視野画像から、当該明視野画像内の染色していない細胞の画像のエッジの画素を抽出し、抽出したエッジの画素からなるエッジ画像を生成する輪郭抽出部と、
    前記明視野画像における細胞の画像の色素体の画素を抽出し、この抽出した色素体の画素からなる色素体画像を生成する色素体領域抽出部と、
    前記エッジ画像と前記色素体画像とを重ね合わせて、前記エッジ画像における余分なエッジ部分の削除と、前記エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成し、当該新たに生成されたエッジ画像に基づいて前記明視野画像のセグメンテーションを行う画像分割部と、
    前記セグメンテーションの結果に基づいて、前記明視野画像のセグメント毎における画素の輝度値の分散を求め、当該分散を用いて前記明視野画像における細胞の画像領域と背景の画像領域とを検出する検出部と
    を備えることを特徴とする細胞観察装置。
  2. 色素体の存在する前記細胞の画像領域を対象細胞画像とし、色素体の存在しない前記細胞の画像領域を非対象細胞画像として検出し、全細胞の画像における当該非対象細胞画像の比率を求める細胞形態検出部
    をさらに備えることを特徴とする請求項1に記載の細胞観察装置。
  3. 前記細胞の画像領域における色素体の輝度値から前記色素体の量である色素体量を算出する色素値抽出部
    をさらに備えることを特徴とする請求項1または請求項2に記載の細胞観察装置。
  4. 前記細胞の画像領域から色素体の平均輝度値を求めておき、前記撮像画像を撮像した当該細胞から色素体を抽出して色素体量を求め、平均輝度値と細胞当たりの色素体量との回帰式を予め求めて記憶部に記憶させておき、
    前記色素値抽出部が前記細胞画像における平均輝度値を求め、前記回帰式から細胞当たりの色素体量を求めることを特徴とする請求項3に記載の細胞観察装置。
  5. 輪郭抽出部が、一層の細胞を撮像して得られた明視野画像から、当該明視野画像内の染色していない細胞の画像のエッジの画素を抽出し、抽出したエッジの画素からなるエッジ画像を生成する輪郭抽出過程と、
    色素体領域抽出部が、前記明視野画像における細胞の画像の色素体の画素を抽出し、この抽出した色素体の画素からなる色素体画像を生成する色素体領域抽出過程と、
    画像分割部が、前記エッジ画像と前記色素体画像とを重ね合わせて、前記エッジ画像における余分なエッジ部分の削除と、前記エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成し、当該新たに生成されたエッジ画像に基づいて前記明視野画像のセグメンテーションを行う画像分割過程と、
    検出部が、前記セグメンテーションの結果に基づいて、前記明視野画像のセグメント毎における画素の輝度値の分散を求め、当該分散を用いて前記明視野画像における細胞の画像領域と背景の画像領域とを検出する検出過程と
    を含むことを特徴とする細胞観察方法。
  6. 細胞の形状を観察する細胞観察装置の動作をコンピュータに実行させるプログラムであり、
    コンピュータを、
    一層の細胞を撮像して得られた明視野画像から、当該明視野画像内の染色していない細胞の画像のエッジの画素を抽出し、抽出したエッジの画素からなるエッジ画像を生成する輪郭抽出手段、
    前記明視野画像における細胞の画像の色素体の画素を抽出し、この抽出した色素体の画素からなる色素体画像を生成する色素体領域抽出手段、
    前記エッジ画像と前記色素体画像とを重ね合わせて、前記エッジ画像における余分なエッジ部分の削除と、前記エッジ画像に不足する細胞の形状の補足を行い、新たなエッジ画像を生成し、当該新たに生成されたエッジ画像に基づいて前記明視野画像のセグメンテーションを行う画像分割手段、及び、
    前記セグメンテーションの結果に基づいて、前記明視野画像のセグメント毎における画素の輝度値の分散を求め、当該分散を用いて前記明視野画像における細胞の画像領域と背景の画像領域とを検出する検出手段
    として機能させるためのプログラム。
JP2014549862A 2012-11-28 2013-11-27 細胞観察装置、細胞観察方法及びそのプログラム Active JP6278519B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012259880 2012-11-28
JP2012259880 2012-11-28
PCT/JP2013/081894 WO2014084255A1 (ja) 2012-11-28 2013-11-27 細胞観察装置、細胞観察方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JPWO2014084255A1 JPWO2014084255A1 (ja) 2017-01-05
JP6278519B2 true JP6278519B2 (ja) 2018-02-21

Family

ID=50827887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014549862A Active JP6278519B2 (ja) 2012-11-28 2013-11-27 細胞観察装置、細胞観察方法及びそのプログラム

Country Status (8)

Country Link
US (1) US9477875B2 (ja)
EP (1) EP2927311B1 (ja)
JP (1) JP6278519B2 (ja)
AU (1) AU2013353154B2 (ja)
DK (1) DK2927311T3 (ja)
IL (1) IL238988B (ja)
NZ (1) NZ708612A (ja)
WO (1) WO2014084255A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
WO2013098821A1 (en) 2011-12-29 2013-07-04 Parasight Ltd. Methods and systems for detecting a pathogen in a biological sample
WO2014141163A2 (en) * 2013-03-15 2014-09-18 Koninklijke Philips N.V. Determining a residual mode image from a dual energy image
EP2999988A4 (en) 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
IL227276A0 (en) * 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
WO2015029032A1 (en) 2013-08-26 2015-03-05 Parasight Ltd. Digital microscopy systems, methods and computer program products
US20160025620A1 (en) * 2014-07-22 2016-01-28 Olympus Corporation Optical Compositional Analysis of Mixtures
WO2016030897A1 (en) 2014-08-27 2016-03-03 S.D. Sight Diagnostics Ltd System and method for calculating focus variation for a digital microscope
EP3708254A1 (en) 2014-09-29 2020-09-16 Biosurfit, S.A. Cell counting
JP6448129B2 (ja) * 2015-01-05 2019-01-09 株式会社ニコン 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
US10801959B2 (en) * 2015-06-18 2020-10-13 Konica Minolta, Inc. Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program
JP6585428B2 (ja) * 2015-08-28 2019-10-02 株式会社エヌテック 微生物の検出方法、微生物の検出装置及びプログラム
EP3859425B1 (en) 2015-09-17 2024-04-17 S.D. Sight Diagnostics Ltd. Methods and apparatus for detecting an entity in a bodily sample
WO2017168411A1 (en) 2016-03-30 2017-10-05 S.D. Sight Diagnostics Ltd Image processing device for identifying blood parasites
EP3455610B1 (en) 2016-05-11 2023-01-04 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
CN109564209B (zh) 2016-05-11 2022-05-31 思迪赛特诊断有限公司 对样品实施的光学测量
GB201610425D0 (en) 2016-06-15 2016-07-27 Q-Linea Ab Analysis of images of biological material
JP6900704B2 (ja) * 2017-02-28 2021-07-07 株式会社島津製作所 細胞観察システム
US11195299B2 (en) * 2017-09-12 2021-12-07 Nec Corporation Image processing device, image processing method and storage medium
EP3700419A4 (en) * 2017-10-26 2021-11-10 Essenlix Corporation RAPID TEST OF BLOOD PLATES
CN111788471B (zh) 2017-11-14 2023-12-12 思迪赛特诊断有限公司 用于光学测量的样品载体
JP7099923B2 (ja) * 2018-09-21 2022-07-12 株式会社Screenホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
EP3977344A4 (en) * 2019-05-29 2023-07-05 Ramot at Tel-Aviv University Ltd. SYSTEM AND METHOD FOR RECOVERING THE MORPHOLOGY AND DYNAMICS OF BIOLOGICAL CELLS FROM HOLOGRAPHIC IMAGES
US11394774B2 (en) * 2020-02-10 2022-07-19 Subash Sundaresan System and method of certification for incremental training of machine learning models at edge devices in a peer to peer network
CN117253227B (zh) * 2023-10-23 2024-06-18 深圳市茵冠生物科技有限公司 一种人工智能协同自动化设备的监控方法与系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956961B2 (en) * 2001-02-20 2005-10-18 Cytokinetics, Inc. Extracting shape information contained in cell images
US7219016B2 (en) * 2001-04-20 2007-05-15 Yale University Systems and methods for automated analysis of cells and tissues
US7466872B2 (en) 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
JP2007097584A (ja) * 2005-09-06 2007-04-19 Yamaha Motor Co Ltd アスタキサンチン含有量の高い緑藻およびその製造方法
GB2433985A (en) 2006-01-09 2007-07-11 Cytokinetics Inc Characterization of features within the boundary regions of biological cells
JP4558047B2 (ja) 2008-01-23 2010-10-06 オリンパス株式会社 顕微鏡システム、画像生成方法、及びプログラム
JP2010063403A (ja) 2008-09-10 2010-03-25 Ihi Corp 微生物の簡易計数方法
US20100291575A1 (en) * 2009-05-15 2010-11-18 Sru Biosystems, Inc. Detection of Changes in Cell Populations and Mixed Cell Populations
JP2011030494A (ja) 2009-07-31 2011-02-17 Kirin Brewery Co Ltd 細胞形態定量値を用いる酵母の生理状態の評価方法
JP5569206B2 (ja) * 2010-07-15 2014-08-13 ソニー株式会社 画像処理装置および方法
EP2617011A1 (en) * 2010-09-14 2013-07-24 Ramot at Tel Aviv University, Ltd. Cell occupancy measurement

Also Published As

Publication number Publication date
WO2014084255A1 (ja) 2014-06-05
DK2927311T3 (da) 2020-01-13
EP2927311A1 (en) 2015-10-07
EP2927311A4 (en) 2016-08-17
IL238988A0 (en) 2015-07-30
NZ708612A (en) 2016-04-29
US20150302237A1 (en) 2015-10-22
IL238988B (en) 2020-11-30
EP2927311B1 (en) 2019-11-20
AU2013353154B2 (en) 2016-06-23
JPWO2014084255A1 (ja) 2017-01-05
US9477875B2 (en) 2016-10-25
AU2013353154A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP6278519B2 (ja) 細胞観察装置、細胞観察方法及びそのプログラム
Zhang et al. A comprehensive review of image analysis methods for microorganism counting: from classical image processing to deep learning approaches
Hung et al. Applying faster R-CNN for object detection on malaria images
Dashkova et al. Imaging flow cytometry for phytoplankton analysis
JP2022180419A (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
CN102288606B (zh) 基于机器视觉的花粉活力测定方法
Dörge et al. Direct identification of pure Penicillium species using image analysis
US20130109051A1 (en) Method for detecting microorganisms, device for detecting microorganisms and program
CN107580715A (zh) 用于自动计数微生物菌落的方法和系统
CN104651462A (zh) 基于显微图像分析的稻瘟病菌孢子检测方法
CN101701916A (zh) 一种玉米品种快速鉴定、鉴别方法
Mehrjou et al. Automatic malaria diagnosis system
Chakrabortya et al. A combined algorithm for malaria detection from thick smear blood slides
Timoumi et al. Dynamic behavior of Yarrowia lipolytica in response to pH perturbations: dependence of the stress response on the culture mode
Coltelli et al. Automatic and real time recognition of microalgae by means of pigment signature and shape
WO2021095381A1 (ja) 評価対象の評価方法、画像処理装置及び評価対象の評価システム
CN109948544B (zh) 一种目标菌落自动定位与识别方法
Zhang et al. An automated bacterial colony counting system
Ogawa et al. Noise-free accurate count of microbial colonies by time-lapse shadow image analysis
CN109115775A (zh) 一种基于机器视觉的槟榔等级检测方法
CN110532941A (zh) 一种常见藻类的特征图像提取方法
Castelo-Quispe et al. Optimization of brazil-nuts classification process through automation using colour spaces in computer vision
CN117007575A (zh) 基于拉曼光谱的水稻白叶枯及水稻细菌性条斑病病原检测方法
Tanhaemami et al. Using flow cytometry and multistage machine learning to discover label-free signatures of algal lipid accumulation
Kaur et al. A novel methodology for automatic bacterial colony counter

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180112

R150 Certificate of patent or registration of utility model

Ref document number: 6278519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250