JP7087048B2 - 細胞画像評価装置および細胞画像評価プログラム - Google Patents

細胞画像評価装置および細胞画像評価プログラム Download PDF

Info

Publication number
JP7087048B2
JP7087048B2 JP2020199922A JP2020199922A JP7087048B2 JP 7087048 B2 JP7087048 B2 JP 7087048B2 JP 2020199922 A JP2020199922 A JP 2020199922A JP 2020199922 A JP2020199922 A JP 2020199922A JP 7087048 B2 JP7087048 B2 JP 7087048B2
Authority
JP
Japan
Prior art keywords
interest
cells
staining
region
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020199922A
Other languages
English (en)
Other versions
JP2021061836A (ja
Inventor
隆史 涌井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2021061836A publication Critical patent/JP2021061836A/ja
Application granted granted Critical
Publication of JP7087048B2 publication Critical patent/JP7087048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G01N15/1433—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Description

本発明は、細胞画像を評価した結果に基づいて、細胞画像に含まれる細胞の染色状態を予測する細胞画像評価装置およびプログラムに関するものである。
ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。
一方、従来、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。
たとえば特許文献１においては、ＥＳ細胞とフィーダー細胞とが撮像された画像において、ＥＳ細胞が占める領域とフィーダー細胞が占める領域とを抽出し、ＥＳ細胞が占める領域に存在するフィーダー細胞の形態的特徴を示す特徴量を算出し、その特徴量と、ＥＳ細胞の状態との対応関係に基づいて、ファジーニューラルネットワークを用いてＥＳ細胞の状態を評価する方法が提案されている。
特開２０１１－２２９４０９号公報
ここで、多能性幹細胞の未分化状態および分化状態を評価する方法として、アルカリホスファターゼなどの染色マーカを用いた染色処理がある。アルカリホスファターゼによれば、未分化細胞が染色され、分化細胞は染色されないので、これにより培養対象の細胞が、未分化状態を維持できているかなどを確認することができる。
しかしながら、染色マーカを用いた染色処理は、破壊処理であるため、染色処理を一旦施した細胞は、その後、再び培養を継続することはできない。
一方、培養された細胞が、未分化状態であるか、または分化状態であるかを評価する方法としては、染色処理以外に、上述したような細胞を撮影した細胞画像の特徴量を解析する方法がある。
しかしながら、細胞画像の特徴量の解析によって未分化細胞であるか、または分化細胞であるかのみを評価しただけでは、必ずしも、その評価結果と染色処理の結果は一致しない。
具体的には、細胞画像の特徴量の解析によって、細胞が未分化細胞であると評価されたとしても、その細胞の領域または周辺領域が積層状態である場合には、染色マーカが細胞内に染み込みにくくなり、染色されない場合がある。また、このような例に限らず、細胞画像の解析によって細胞が未分化細胞であると評価された場合でも、実際に染色処理を行った場合には、その周辺領域の細胞の状態によって染色されない場合があることが分かった。
そして、染色処理を施した場合の染色状態を予測することは、細胞に対する操作を決定したり、その後の培養計画を立てたりする上で、非常に重要である。特許文献１においても、細胞を撮影した画像を用いて、細胞の染色状態を予測する方法は何も提案されていない。
本発明は、上記の問題に鑑み、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる細胞画像評価装置および細胞画像評価プログラムを提供することを目的とする。
本発明の細胞画像評価装置は、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備え、予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率を出力することができる。
また、上記本発明の細胞画像評価装置において、予測器は、細胞が収容された容器内を撮影した第３の細胞画像の評価結果の入力を受け付け、容器内の複数の関心領域の細胞の染色状態をそれぞれ出力することができ、各関心領域の細胞の染色状態を統合して、容器全体の細胞の染色状態を取得する統合部をさらに備えることができる。
また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の染色発色強度の遷移確率をその染色発色強度毎に統合して、容器全体の細胞の染色状態を取得することができる。
また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を統合して、容器全体の細胞の染色状態を取得することができる。
また、上記本発明の細胞画像評価装置において、予測器は、少なくとも１つの培養条件の入力を受け付けることができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価することができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも核小体の密度を評価することができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも白すじの密度を評価することができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価することができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価することができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞であるか、または非細胞であるかを評価することができる。
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が生細胞であるか、または死細胞であるかを評価することができる。
また、上記本発明の細胞画像評価装置においては、予測器から出力された細胞の染色状態の情報を取得し、その細胞の染色状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部を備えることができる。
また、上記本発明の細胞画像評価装置において、細胞に対する操作内容は、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査であることが好ましい。
本発明の細胞評価制御プログラムは、コンピュータを、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器として機能させ、予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
本発明の細胞画像評価装置および細胞画像評価プログラムによれば、細胞画像の各関心領域について、その細胞の状態を評価した評価結果を出力する評価器と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備える。
そして、予測器が、染色処理前の細胞を撮影した第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたので、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる。
本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図 評価器を説明するための説明図 細胞の種々の状態を撮影した細胞画像の一例を示す図 予測器を説明するための説明図 予測器の機械学習の方法の一例を説明するためのフローチャート 予測器の機械学習の方法の一例を説明するための説明図 予測器の機械学習の方法の一例を説明するための説明図 予測器の機械学習の方法の一例を説明するための説明図 機械学習された予測器を用いて、細胞の染色状態を予測する方法を説明するためのフローチャート 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図 各関心領域の各染色発光強度への遷移確率の一例を示す図 ウェル内における細胞コロニー領域毎に、各染色発光強度への遷移確率を統合した例を示す図 異なる時点において撮影された複数の第３の細胞画像の評価結果を予測器に入力して、１つの予測結果を得る例を示す図 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図
以下、本発明の細胞画像評価装置および細胞画像評価プログラムの一実施形態を用いた細胞画像評価予測システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の細胞画像評価予測システムの概略構成を示すブロック図である。
本実施形態の細胞画像評価予測システムは、図１に示すように、顕微鏡装置１０と、細胞画像評価装置２０と、表示装置３０と、入力装置４０とを備えている。
顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、細胞画像を出力するものである。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から細胞画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。
細胞画像としては、複数の細胞が凝集した細胞コロニーを撮影した画像でもよいし、複数の細胞が分散して分布した画像でもよい。また、本実施形態においては、撮影対象として、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、並びに幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞を撮影するものとする。
また、本実施形態においては、撮影対象の細胞は、複数のウェルを有するウェルプレートなどに収容される。そして、顕微鏡装置１０は、水平面内の直交するＸ方向およびＹ方向に移動するステージを備えており、そのステージ上にウェルプレートが設置される。ステージがＸ方向およびＹ方向に移動することによって、ウェルプレート内における各観察領域が走査され、観察領域毎の細胞画像が撮像される。観察領域毎の細胞画像は１枚の細胞画像として合成され、細胞画像評価装置２０に出力される。また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。
細胞画像評価装置２０は、図１に示すように、評価器２１と、予測器２２と、制御部２３とを備えている。細胞画像評価装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスクに本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図１に示す評価器２１、予測器２２および制御部２３が機能する。
評価器２１は、顕微鏡装置１０から出力された細胞画像を取得し、その取得した細胞画像に含まれる細胞の状態を評価するものである。具体的には、評価器２１は、図２に示すように、入力された細胞画像を複数の関心領域Ｒに分割し、その各関心領域Ｒの細胞画像に含まれる細胞の状態をそれぞれ評価して、各関心領域Ｒの評価結果を出力する。なお、図２において点線により示す矩形領域が関心領域Ｒである。また、本実施形態においては、顕微鏡装置１０の観察領域と上述した関心領域は同一の領域とするが、これに限らず、関心領域Ｒを観察領域よりも広く設定するようにしてもよいし、逆に、関心領域Ｒを観察領域よりも狭く設定するようにしてもよい。
本実施形態の評価器２１は、各関心領域Ｒの細胞画像に基づいて、細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかを評価する。さらに、評価器２１は、各関心領域Ｒの細胞画像が、細胞を含まない培地のみの画像であるか否かの評価と、細胞画像に含まれる白すじ（クラック）の密度の評価と、細胞画像に含まれる細胞が積層状態であるか否かの評価とを行う。そして、評価器２１は、各関心領域の評価結果として、「未分化細胞（未分化状態の細胞）の領域である」、「分化細胞（分化状態の細胞）の領域である」、「白すじが密に存在する領域である」、「細胞が積層状態の領域である」、および「培地領域である」のいずれかを出力する。なお、白すじ（クラック）とは、なお、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。
図３Iは、培地の画像の一例を示したものであり、図３IIは、分化細胞の細胞画像の一例を示したものであり、図３IIIは、白すじの密度が高い細胞画像の一例を示したものであり、図３IVは、未分化細胞の細胞画像の一例を示したものであり、図３Vは、積層状態の細胞画像の一例を示すものである。
細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかの評価については、たとえば細胞画像から１つ１つの細胞単体を抽出し、その細胞単体の円形度を評価することによって評価できる。具体的には、未分化細胞は円形度が相対的に高くなるが、分化細胞は細長い形状となり、円形度が相対的に低くなる。したがって、細胞単体の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。なお、細胞画像から細胞単体を抽出する方法としては、エッジ検出処理など公知な画像処理方法を用いることができる。
また、分化細胞であるか、または未分化細胞であるかを評価する方法としては、上述した細胞単体の円形度に基づく評価に限らず、その他にも細胞単体の単位面積当たりの数（密度）、核小体の単位面積当たりの数（密度）、および細胞単体の平均面積などを用いて評価するようにしてもよい。細胞単体の密度は、分化細胞よりも未分化細胞の方が高くなる傾向があり、核小体の密度も、同様に、分化細胞よりも未分化細胞の方が高くなる傾向がある。また、細胞単体の平均面積については、未分化細胞よりも分化細胞の方が大きくなる傾向がある。なお、上記の評価方法に限らず、その他の公知な評価方法を用いるようにしてもよい。
関心領域が、培地領域であるか否かの評価については、たとえば各関心領域の細胞画像から細胞単体を抽出し、その細胞単体の数が予め設定された閾値以下である場合には、培地領域であると評価するようにすればよい。
関心領域の細胞画像に含まれる白すじの密度の評価については、たとえば細胞画像に対して２値化処理を施し、その2値化処理後の画像から白画素が細長く連続して存在する白画素領域を抽出し、その面積の密度を算出するようにすればよい。そして、その算出した白画素領域の密度が、予め設定された閾値以上である場合に、白すじが密に存在する領域であると評価するようにすればよい。
細胞画像に含まれる細胞が積層状態であるか否かの評価については、細胞が積層状態である場合には、細胞の密集度が高くなり、細胞画像の輝度が高くなる。したがって、細胞画像の輝度分布を取得し、輝度の平均値が、予め設定された閾値よりも高い場合には、細胞が積層状態であると評価するようにすればよい。または、細胞画像の輝度分布の空間周波数を解析することによって細胞が積層状態であるか否かを評価するようにしてもよい。なお、細胞が積層状態であるか否かの評価方法についても、その他の公知な方法を用いることができる。
次に、予測器２２は、染色処理前の細胞を撮影した少なくとも１つの細胞画像の評価器２１による評価結果の入力を受け付け、その細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するものである。
ここで、染色処理とは、上述したように、多能性幹細胞が分化状態を維持しているか否か、または所望の細胞に分化誘導した場合に未分化細胞が含まれているか否かを確認することができる処理であり、たとえばアルカリホスファターゼなどの染色マーカが用いられる。アルカリホスファターゼによれば、未分化細胞が染色され、分化細胞は染色されない。
そして、染色処理を行った場合に、細胞が染色されるか否かについては、その細胞が未分化細胞であるか、または分化細胞であるかのみを評価しただけでは、必ずしも、その評価結果と染色処理の結果は一致しない。具体的には、たとえば所定の関心領域内の細胞が未分化細胞であると評価されたとしても、その関心領域もしくは関心領域の周辺領域が積層状態である場合には、染色マーカが細胞内に染み込みにくくなり、染色されない場合がある。また、このような例に限らず、関心領域内の細胞が未分化細胞であると評価された場合でも、実際に染色処理を行った場合には、関心領域の周辺領域の細胞の状態によって染色されない場合があることが分かった。
そこで、本実施形態の予測器２２は、上述したように細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
具体的には、予測器２２は、図４に示すように、染色処理前の細胞を撮影した細胞画像の各関心領域Ｒの評価結果の入力を受け付ける。そして、予測器２２は、入力された細胞画像内の複数の関心領域Ｒのうちの特定の関心領域ＳＲと、特定の関心領域ＳＲの周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲに含まれる細胞の染色状態を予測して出力するものである。なお、図４においては、周辺の関心領域Ｒを斜線により示している。
予測器２２は、上述したように実際には染色処理が施されていない細胞について、染色処理が施された場合を想定してその染色状態を予測して出力するように、予め機械学習されたものである。具体的には、予測器２２は、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させたものである。以下、予測器２２の機械学習の方法の一例を、図５に示すフローチャートおよび図６～図８を参照しながら説明する。
まず、染色処理前の細胞を撮影した第１の細胞画像と、染色処理後の第２の細胞画像を取得し（Ｓ１０）、第１の細胞画像を評価器２１に入力して、上述したような各関心領域Ｒの評価結果を取得する（Ｓ１２）。図６Iは、染色処理前の第１の細胞画像内における各関心領域Ｒの評価結果の一例を示す図である。図６Iにおいては、「培地領域である」
との評価結果を「１」、「分化細胞の領域である」との評価結果を「２」、「白すじが密に存在する領域である」との評価結果を「３」、「未分化細胞の領域である」との評価結果を「４」、および「細胞が積層状態の領域である」との評価結果を「５」として示している。
次に、染色処理後の第２の細胞画像の各関心領域Ｒの染色状態を取得する（Ｓ１４）。第２の細胞画像の染色状態については、たとえば第２の細胞画像の各関心領域Ｒの画像を評価し、染色強度によってクラス分けするようにすればよい。また、評価器２１において、第２の細胞画像の輝度情報に基づいて行うようにしてもよいし、本実施形態の細胞画像評価予測システムとは異なる装置において評価するようにしてもよい。または、ユーザが染色状態を評価し、入力装置４０を用いてその評価結果を設定入力するようにしてもよい。
図６IIは、第２の細胞画像の各関心領域Ｒの細胞の染色状態の一例を示す図である。図６IIにおいては、染色処理による染色発色強度を５段階で表しており、染色状態「１」は、発色なしを意味し、染色状態「５」は、染色発色強度が最も大きいことを意味している。
そして、図６Iに示す第１の細胞画像の評価結果と、図６IIに示す第２の細胞画像の染色状態との対応関係が取得され（Ｓ１６）、その対応関係が予測器２２によって機械学習される（Ｓ１８）。具体的には、たとえば図６Iに示す３×３の関心領域の領域ＥＲ１１と、その領域ＥＲ１１に対応する第２の細胞画像における領域ＥＲ１２とが特定される。そして、図７Iに示すように、領域ＥＲ１１の中心に位置する特定の関心領域ＳＲ１１およびその周辺の関心領域Ｒ１１の評価結果と、領域ＥＲ１２の中心に位置する特定の関心領域ＳＲ１２の染色状態とが対応付けられ、この対応関係が予測器２２によって機械学習される。より具体的には、図８に示すように、領域ＥＲ１１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ１２の特定の関心領域ＳＲ１２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
同様に、図６Iに示す３×３の関心領域の領域ＥＲ２１と、その領域ＥＲ２１に対応する第２の細胞画像における領域ＥＲ２２とが特定される。そして、図７IIに示すように、領域ＥＲ２１の中心に位置する特定の関心領域ＳＲ２１およびその周辺の関心領域Ｒ２１の評価結果と、領域ＥＲ２２の中心に位置する特定の関心領域ＳＲ２２の染色状態とが対応付けられ、この対応関係が予測器２２によって機械学習される。具体的には、図８に示すように、領域ＥＲ２１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ２２の特定の関心領域ＳＲ２２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
また、同様に、図６Iに示す３×３の関心領域の領域ＥＲ３１と、その領域ＥＲ３１に対応する第２の細胞画像における領域ＥＲ３２とが特定される。そして、図７IIIに示すように、領域ＥＲ３１の中心に位置する特定の関心領域ＳＲ３１およびその周辺の関心領域Ｒ３１の評価結果と、領域ＥＲ３２の中心に位置する特定の関心領域ＳＲ３２の評価結果とが対応付けられ、この対応関係が予測器２２によって機械学習される。そして、図８に示すように、領域ＥＲ３１の学習特徴量とその学習特徴量に対応する学習クラスとして、領域ＥＲ３２の特定の関心領域ＳＲ３２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
なお、ここでは、３つの領域の評価結果の対応関係を機械学習する場合について説明したが、３つの領域だけでなく、その他の多数の領域の評価結果と染色状態との対応関係が、予測器２２によって機械学習される。また、上記説明では、３×３の関心領域の評価結果と染色状態との対応関係を用いるようにしたが、３×３に限るものではない。たとえば、５×５の関心領域の評価結果と染色状態との対応関係を用いて機械学習するようにしてもよい。
なお、機械学習の手法としては、サポートベクタマシン（ＳＶＭ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。
また、予測器２２を機械学習させる際に用いる第１の細胞画像および第２の細胞画像は、必ずしも顕微鏡装置１０によって撮影されたものでなくてもよく、本実施形態の細胞画像評価予測システム以外の外部のサーバ装置になどに保存された細胞画像を用いるようにしてもよい。
図９は、上述したようにして機械学習された予測器を用いて、細胞の染色状態を予測する方法を説明するためのフローチャートである。
図９に示すように、まず、顕微鏡装置１０によって撮影された染色処理前の第３の細胞画像が評価器２１に入力される（Ｓ２０）。そして、評価器２１によって第３の細胞画像の各関心領域Ｒの細胞の状態が評価される（Ｓ２２）。
次いで、第３の細胞画像の各関心領域Ｒの評価結果が予測器２２に入力される。予測器２２は、図４に示すように、第３の細胞画像内における特定の関心領域ＳＲの評価結果とその周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲの細胞の染色状態を予測する（Ｓ２４）。
そして、本実施形態の予測器２２は、第３の細胞画像内の各関心領域Ｒを特定の関心領域ＳＲに設定して、第３の細胞画像全体について、上記と同様にして、細胞の染色状態を予測し、上述した学習クラスを染色状態とする染色マップを生成する（Ｓ２６）。
図１に戻り、制御部２３は、細胞画像評価装置２０全体を制御するものである。また、制御部２３は、予測器２２において生成された染色マップを表示装置３０に表示させるものである。本実施形態においては、ウェル毎の第３の細胞画像が評価器２１に入力され、その評価結果に基づいて、ウェル毎の染色マップが生成される。染色マップとしては、たとえば予測された染色発色強度の大きさに基づいて、それぞれ色分けされたカラーマップを生成して表示装置３０に表示するようにすればよい。
上記実施形態の細胞画像評価予測システムによれば、細胞画像を複数の領域に分割した各関心領域について、その細胞の状態を評価した評価結果を出力する評価器２１と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２とを備える。
そして、予測器２２が、染色処理前の細胞を撮影した第３の細胞画像の評価器による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたので、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる。
また、機械学習によって得られた予測器２２によって染色状態を予測するようにしたので、多数の過去の染色状態の評価結果に基づく染色予測結果が得られ、単に現在の細胞画像について未分化または分化を判定し、判定結果に基づいて細胞の状態毎に色付けした色付け画像よりも、より信頼感のある結果を得ることができる。
なお、本実施形態においては、第１の細胞画像および第３の細胞画像の評価器２１による評価として、核小体の密度を含めるようにしてもよい。未分化細胞は、細胞が凝集してコロニーを形成するので核小体の密度が高く、分化細胞は、各細胞同士が離れて分布するため核小体の密度は低くなる。したがって、評価器２１による評価として核小体の密度を含めることによって、予測器２２の予測結果の精度を向上させることができる。
また、本実施形態においては、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２を設け、その予測器２２が、染色処理前の細胞を撮影した第３の細胞画像の評価器２１による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたが、すなわち、特定の関心領域の評価とその周辺領域の評価結果とを用いて予測器２２の機械学習を行い、特定の関心領域の評価とその周辺領域の評価結果とを用いて特定の関心領域の細胞の染色状態を予測して出力するようにしたが、予測器２２の機械学習を行う際、染色処理前の細胞の評価結果として、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。また、予測器２２によって特定の関心領域の細胞の染色状態を予測して出力させる際、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。
すなわち、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２を設け、染色処理前の細胞を撮影した第３の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしてもよい。
また、上記実施形態においては、予測器２２によって生成されたウェル毎の染色マップを表示装置３０に表示させるようにしたが、これに限らず、予測器２２から出力された各関心領域の予測結果を統合して、ウェル全体の細胞の染色状態を表す指標を算出し、表示装置３０に表示させるようにしてもよい。図１０は、上述したように各関心領域の予測結果を統合して、ウェル全体の細胞の染色状態を表す指標を取得する統合部２３ａを有する細胞画像評価予測システムの概略構成を示すブロック図である。
統合部２３ａは、たとえばウェル全体に対する各染色発色強度の領域の割合をそれぞれ算出し、その割合をウェル全体の細胞の染色状態を表す指標として染色マップとともに表示装置３０に表示させる。または、特定の染色発色強度、たとえば染色発色強度が「４」以上の領域のウェル全体に対する割合を算出し、染色マップとともに表示装置３０に表示させるようにしてもよい。
また、上記実施形態においては、染色状態を予測器２２から出力させるようにしたが、これに限らず、関心領域内に含まれる細胞の２以上の染色発色強度への遷移確率を予測器２２から出力させるようにしてもよい。具体的には、たとえば図１１に示すように、各関心領域Ｒについて各染色発色強度（図１１においては単に発光強度と示している）への遷移確率を出力するように予測器２２を構成してもよい。
そして、図１１に示すように、予測器２２から出力された各関心領域の２以上の遷移確率をマッピングして予測マップを生成し、表示装置３０に表示させるようにしてもよい。または、統合部２３ａが、各関心領域の２以上の遷移確率を統合して、ウェル全体の細胞の染色状態を取得するようにしてもよい。
統合部２３ａにおける各関心領域の２以上の遷移確率の統合方法としては、たとえば各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するようにしてもよい。具体的には、図１１に示すように、各関心領域Ｒについて、各染色発光強度への遷移確率を予測器２２が出力する場合には、各関心領域Ｒの２つの遷移確率のうちの大きい方の遷移確率の染色発光強度を、その関心領域Ｒの染色発光強度として取得する。たとえば所定の関心領域Ｒの染色発光強度「１」への遷移確率が８０％であり、染色発光強度「２」への遷移確率が２０％である場合には、その所定の関心領域Ｒの細胞の染色状態は、染色発光強度「１」であるとする。そして、ウェル内のその他の関心領域Ｒについても、同様にして、染色発光強度を特定する。そして、ウェル全体の関心領域Ｒの数に対する各染色発光強度の関心領域Ｒの数の比率をそれぞれ算出することによって、ウェル全体の細胞の染色状態を取得する。
または、上述したように各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するのではなく、各関心領域の各遷移確率をウェル全体で統合するようにしてもよい。具体的には、ウェル内の各関心領域について、各染色発光強度の遷移確率を、染色発光強度毎にそれぞれ加算し、その加算した確率をウェル全体の関心領域の数で除算することによって、ウェル全体について、各染色発光強度への遷移確率を取得するようにしてもよい。
また、ウェル全体について各染色発光強度への遷移確率を統合するのではなく、細胞コロニー単位で各染色発光強度への遷移確率を統合するようにしてもよい。図１２は、ウェルＷ内における細胞コロニー領域ＣＲ毎に、その各染色発光強度（図１２では単に発光強度と示している）への遷移確率を統合した例を示したものである。図１２に示すような遷移確率マップを生成して表示装置３０に表示させるようにしてもよい。
また、上記実施形態においては、予測器２２に対して、１つの第３の細胞画像の評価結果を入力するようにしたが、これに限らず、複数の異なる時点において撮影された第３の細胞画像の評価結果を入力するようにしてもよい。図１３は、現時点において撮影された第３の細胞画像の評価結果と、１日前に撮影された第３の細胞画像の評価結果と、２日前に撮影された第３の細胞画像の評価結果とを予測器２２に入力して、１つの予測結果を得る例を示す図である。なお、この場合、予測器２２を機械学習させる際にも、複数の異なる時点において撮影された第１の細胞画像の評価結果が入力される。
また、上記実施形態においては、予測器２２に対して、第３の細胞画像の評価結果を入力するようにしたが、第３の細胞画像の評価結果に加えて、少なくとも１つの培養条件を入力するようにしてもよい。培養条件としては、培地の種類および量、培養における環境温度および湿度、並びに成長因子の有無などがある。なお、この場合、予測器２２を機械学習させる際にも、上述したような培養条件が予測器２２に入力される。培養条件については、たとえばユーザが入力装置４０を用いて設定入力すればよい。
また、上記実施形態においては、図１４に示すように、予測器２２から出力された細胞の染色状態の情報を取得し、その細胞の染色状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部２３ｂを設けるようにしてもよい。具体的には、上述したようにウェル内の各染色発光強度の領域の割合を算出する場合には、操作内容決定部２３ｂが、各染色発光強度の割合に基づいて、継代、培地交換、培地変更、薬剤添加、およびピッキングなどの操作を決定するようにしてもよい。操作内容決定部２３ｂによって決定された操作内容は表示装置３０に表示され、ユーザに対してその操作を行うように促す。
このようにウェル単位で染色状態を取得することにより、ウェル毎に培養状態を把握でき、継代、培地交換、培地変更、およびピッキングなどの操作を効率的に行うことができる。また、コロニー単位で染色状態を取得した場合には、コロニー毎に培養状態を把握でき、継代、培地交換、培地変更、およびピッキングなどの操作を効率的に行うことができ、特に、コロニー単位でピッキングを行う場合に、コロニーの選択を効率よく行うことができる。
また、操作内容決定部２３ｂにおいて決定する操作内容としては、上述した例に限らず、遺伝子検査を行うように表示装置３０に表示させるようにしてもよい。具体的には、たとえば細胞の染色状態の情報に基づいて、細胞の品質を評価し、その品質が予め設定しておいた基準値を下回り、品質が悪い場合に、遺伝子検査を行うようユーザに促すようにしてもよい。また、細胞の染色状態の予測結果として、“不明”というクラスを設けておき、このクラスの出現数が多い場合に、遺伝子検査を行うよう促し、これにより細胞の染色状態を確定するようにしてもよい。
また、上記実施形態においては、評価器２１において未分化細胞であるか、または分化細胞であるかなどを評価するようにしたが、これに限られるものではない。たとえば評価器２１において、関心領域内の細胞が線維芽細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。線維芽細胞は、皮膚を構成する細胞の１つである。評価器２１によって線維芽細胞であるか、またはフィーダー細胞であるかを評価し、線維芽細胞の染色状態を予測器２２に機械学習することによって、線維芽細胞の染色状態を予測することができる。
また、評価器２１において、関心領域内の細胞が多能性幹細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。多能性幹細胞としては、ｉＰＳ細胞およびＥＳ細胞がある。評価器２１によって多能性幹細胞であるか、またはフィーダー細胞であるかを評価し、多能性幹細胞の染色状態を予測器２２に機械学習することによって、多能性幹細胞の染色状態を予測することができる。
また、評価器２１において、関心領域が細胞の領域であるか、非細胞の領域であるかを評価するようにしてもよい。
また、評価器２１において、関心領域内の細胞が生細胞であるか、死細胞であるかを評価するようにしてもよい。なお、生細胞であるか、死細胞であるかを評価する方法としては、たとえば細胞に含まれる核小体を抽出し、核小体が存在する細胞を生細胞として評価し、核小体が存在しない細胞を死細胞として評価するようにすればよい。
１０ 顕微鏡装置
２０ 細胞画像評価装置
２１ 評価器
２２ 予測器
２３ 制御部
２３ａ 統合部
２３ｂ 操作内容決定部
３０ 表示装置
４０ 入力装置
ＣＲ 細胞コロニー領域
ＥＲ１１ 領域
ＥＲ１２ 領域
ＥＲ２１ 領域
ＥＲ２２ 領域
ＥＲ３１ 領域
ＥＲ３２ 領域
Ｒ 関心領域
ＳＲ 特定の関心領域
Ｗ ウェル

Claims (16)

  1. 細胞を撮影した細胞画像の複数の関心領域の各々について、各前記関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における前記複数の関心領域のうちの特定の関心領域の周辺の関心領域の前記評価器による評価結果、又は前記複数の関心領域のうちの特定の関心領域及び該特定の関心領域の周辺の関心領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器であって、染色処理前の細胞が収容された容器内を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの前記機械学習に用いた評価結果に対応する評価結果の入力を受け付け、前記容器内の複数の関心領域各々の細胞の染色状態として、２以上の染色発色強度への遷移確率をそれぞれ出力する予測器と、
    前記複数の関心領域各々の２以上の染色発色強度の遷移確率を各染色発色強度毎に加算し、加算した前記染色発色強度毎の遷移確率を前記容器全体の関心領域の数で除算した各染色発色強度への前記遷移確率を、前記容器全体の細胞の染色状態として取得する統合部と、
    を含む細胞画像評価装置。
  2. 細胞を撮影した細胞画像の複数の関心領域の各々について、各前記関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における前記複数の関心領域のうちの特定の関心領域の周辺の関心領域の前記評価器による評価結果、又は前記複数の関心領域のうちの特定の関心領域及び該特定の関心領域の周辺の関心領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器であって、染色処理前の細胞が収容された容器内を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの前記機械学習に用いた評価結果に対応する評価結果の入力を受け付け、前記容器内の複数の関心領域各々の細胞の染色状態として、２以上の染色発色強度への遷移確率をそれぞれ出力する予測器と、
    前記容器内の複数の関心領域各々の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を当該関心領域の前記染色発色強度として取得し、前記容器全体の関心領域の数に対する各染色発色強度の前記関心領域の数の比率を、前記容器全体の細胞の染色状態として取得する統合部と、
    を含む細胞画像評価装置。
  3. 細胞を撮影した細胞画像の複数の関心領域の各々について、各前記関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における前記複数の関心領域のうちの特定の関心領域の周辺の関心領域の前記評価器による評価結果、又は前記複数の関心領域のうちの特定の関心領域及び該特定の関心領域の周辺の関心領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器であって、染色処理前の細胞が収容された容器内を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの前記機械学習に用いた評価結果に対応する評価結果の入力を受け付け、前記容器内の細胞コロニー領域内の複数の関心領域各々の細胞の染色状態として、２以上の染色発色強度への遷移確率をそれぞれ出力する予測器と、
    前記細胞コロニー領域内の複数の関心領域各々の２以上の染色発色強度の遷移確率を各染色発色強度毎に加算し、加算した前記染色発色強度毎の遷移確率を前記細胞コロニー領域内の関心領域の数で除算した各染色発色強度への前記遷移確率を、前記細胞コロニー領域の細胞の染色状態として取得する統合部と、
    を含む細胞画像評価装置。
  4. 前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率を出力する請求項１から３いずれか１項記載の細胞画像評価装置。
  5. 前記予測器が、少なくとも１つの培養条件の入力を受け付ける請求項１から４いずれか１項記載の細胞画像評価装置。
  6. 前記評価器が、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
  7. 前記評価器が、少なくとも核小体の密度を評価する請求項１から５いずれか１項記載の細胞画像評価装置。
  8. 前記評価器が、少なくとも白すじの密度を評価する請求項１から５いずれか１項記載の細胞画像評価装置。
  9. 前記評価器が、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
  10. 前記評価器が、少なくとも細胞であるか、または非細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
  11. 前記評価器が、少なくとも細胞が生細胞であるか、または死細胞であるかを評価する請求項１から５いずれか１項記載の細胞画像評価装置。
  12. 前記予測器から出力された細胞の染色状態の情報を取得し、該細胞の染色状態の情報に基づいて、前記細胞に対する操作内容を決定する操作内容決定部を備えた請求項１から１１いずれか１項記載の細胞画像評価装置。
  13. 前記細胞に対する操作内容が、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査である請求項１２記載の細胞画像評価装置。
  14. コンピュータを、
    細胞を撮影した細胞画像の複数の関心領域の各々について、各前記関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における前記複数の関心領域のうちの特定の関心領域の周辺の関心領域の前記評価器による評価結果、又は前記複数の関心領域のうちの特定の関心領域及び該特定の関心領域の周辺の関心領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器であって、染色処理前の細胞が収容された容器内を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの前記機械学習に用いた評価結果に対応する評価結果の入力を受け付け、前記容器内の複数の関心領域各々の細胞の染色状態として、２以上の染色発色強度への遷移確率をそれぞれ出力する予測器と、
    前記複数の関心領域各々の２以上の染色発色強度の遷移確率を各染色発色強度毎に加算し、加算した前記染色発色強度毎の遷移確率を前記容器全体の関心領域の数で除算した各染色発色強度への前記遷移確率を、前記容器全体の細胞の染色状態として取得する統合部と、して機能させる細胞画像評価プログラム。
  15. コンピュータを、
    細胞を撮影した細胞画像の複数の関心領域の各々について、各前記関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における前記複数の関心領域のうちの特定の関心領域の周辺の関心領域の前記評価器による評価結果、又は前記複数の関心領域のうちの特定の関心領域及び該特定の関心領域の周辺の関心領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器であって、染色処理前の細胞が収容された容器内を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの前記機械学習に用いた評価結果に対応する評価結果の入力を受け付け、前記容器内の複数の関心領域各々の細胞の染色状態として、２以上の染色発色強度への遷移確率をそれぞれ出力する予測器と、
    前記容器内の複数の関心領域各々の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を当該関心領域の前記染色発色強度として取得し、前記容器全体の関心領域の数に対する各染色発色強度の前記関心領域の数の比率を、前記容器全体の細胞の染色状態として取得する統合部と、して機能させる細胞画像評価プログラム。
  16. コンピュータを、
    細胞を撮影した細胞画像の複数の関心領域の各々について、各前記関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
    染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における前記複数の関心領域のうちの特定の関心領域の周辺の関心領域の前記評価器による評価結果、又は前記複数の関心領域のうちの特定の関心領域及び該特定の関心領域の周辺の関心領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器であって、染色処理前の細胞が収容された容器内を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの前記機械学習に用いた評価結果に対応する評価結果の入力を受け付け、前記容器内の細胞コロニー領域内の複数の関心領域各々の細胞の染色状態として、２以上の染色発色強度への遷移確率をそれぞれ出力する予測器と、
    前記細胞コロニー領域内の複数の関心領域各々の２以上の染色発色強度の遷移確率を各染色発色強度毎に加算し、加算した前記染色発色強度毎の遷移確率を前記細胞コロニー領域内の関心領域の数で除算した各染色発色強度への前記遷移確率を、前記細胞コロニー領域の細胞の染色状態として取得する統合部と、して機能させる細胞画像評価プログラム。
JP2020199922A 2016-12-06 2020-12-01 細胞画像評価装置および細胞画像評価プログラム Active JP7087048B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016236441 2016-12-06
JP2016236441 2016-12-06

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018554928A Division JP6837493B2 (ja) 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム

Publications (2)

Publication Number Publication Date
JP2021061836A JP2021061836A (ja) 2021-04-22
JP7087048B2 true JP7087048B2 (ja) 2022-06-20

Family

ID=62492329

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018554928A Active JP6837493B2 (ja) 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム
JP2020199922A Active JP7087048B2 (ja) 2016-12-06 2020-12-01 細胞画像評価装置および細胞画像評価プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018554928A Active JP6837493B2 (ja) 2016-12-06 2017-11-28 細胞画像評価装置および細胞画像評価制御プログラム

Country Status (5)

Country Link
US (1) US11037292B2 (ja)
EP (1) EP3553165A4 (ja)
JP (2) JP6837493B2 (ja)
KR (1) KR102231545B1 (ja)
WO (1) WO2018105432A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135303B2 (ja) * 2017-11-15 2022-09-13 大日本印刷株式会社 コンピュータプログラム、検出装置、撮像装置、サーバ、検出器、検出方法及び提供方法
WO2020059491A1 (ja) * 2018-09-19 2020-03-26 株式会社カネカ 検査情報処理方法、検査情報処理装置、コンピュータプログラム及び学習モデル
FR3086951B1 (fr) * 2018-10-05 2021-02-26 Redberry Methode et dispositif pour la detection d'au moins un microorganisme selon sa cinetique de marquage, et support de detection
KR102122068B1 (ko) * 2018-11-19 2020-06-12 노을 주식회사 이미지 분석 시스템 및 분석 방법
JP7006833B2 (ja) * 2019-03-20 2022-01-24 株式会社島津製作所 細胞解析装置
WO2021009906A1 (ja) * 2019-07-18 2021-01-21 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置
KR102497003B1 (ko) 2020-11-30 2023-02-06 재단법인대구경북과학기술원 약물 평가 방법 및 장치
DE102021114288A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-spezifischer referenz
EP4099272A1 (de) 2021-06-02 2022-12-07 Carl Zeiss Microscopy GmbH Mikroskopiesystem und verfahren zum erzeugen stilisierter kontrastbilder
DE102021114290A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114307A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Digitale kontrastnachbearbeitung von mikroskopiebildern
DE102021114291A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114287A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
DE102021122720A1 (de) 2021-09-02 2023-03-02 Carl Zeiss Microscopy Gmbh Synthetische fluoreszenzbilder mit proben-schonender erfassung von referenzbildern
JP2024016378A (ja) * 2022-07-26 2024-02-07 株式会社Ｓｃｒｅｅｎホールディングス 解析支援方法、プログラムおよび解析支援装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP2014506122A (ja) 2010-12-07 2014-03-13 ライフ テクノロジーズ コーポレーション バーチャル細胞染色システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7732900A (en) * 1999-09-30 2001-04-30 National Jewish Medical And Research Center Method for regulating cell growth and assays related thereto
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
JP2008276290A (ja) * 2007-04-25 2008-11-13 Sony Corp データ処理装置、データ処理方法、及びプログラム
WO2010101225A1 (ja) * 2009-03-04 2010-09-10 学校法人 東京女子医科大学 細胞シートを利用した細胞評価システム及びその利用方法
EP2586873B1 (en) * 2010-06-23 2015-11-18 Kabushiki Kaisha N-Tech Methods and devices for detecting a microbial colony
CA2901833A1 (en) 2013-02-28 2014-09-04 Progyny, Inc. Apparatus, method, and system for image-based human embryo cell classification
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
JP6066492B2 (ja) 2013-08-22 2017-01-25 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
JP2015146747A (ja) * 2014-02-05 2015-08-20 浜松ホトニクス株式会社 細胞判定方法
JP6145890B2 (ja) 2014-03-28 2017-06-14 富士フイルム株式会社 細胞認識装置および方法並びにプログラム
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
US9754371B2 (en) * 2014-07-31 2017-09-05 California Institute Of Technology Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition
EP3262417B1 (en) * 2015-02-23 2021-11-03 Cellanyx Diagnostics, LLC Cell imaging and analysis to differentiate clinically relevant sub-populations of cells
US10755078B2 (en) * 2015-04-10 2020-08-25 President And Fellows Of Harvard College Methods and devices for live cell imaging analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229409A (ja) 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP2014506122A (ja) 2010-12-07 2014-03-13 ライフ テクノロジーズ コーポレーション バーチャル細胞染色システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
実験医学online ，2021年11月11日，https://www.yodosha.co.jp/jikkenigaku/keyword/22.html参照，「フィーダー細胞」の項目

Also Published As

Publication number Publication date
JP2021061836A (ja) 2021-04-22
JP6837493B2 (ja) 2021-03-03
EP3553165A4 (en) 2019-12-25
JPWO2018105432A1 (ja) 2019-10-24
KR102231545B1 (ko) 2021-03-23
EP3553165A1 (en) 2019-10-16
US11037292B2 (en) 2021-06-15
US20190287244A1 (en) 2019-09-19
KR20190080914A (ko) 2019-07-08
WO2018105432A1 (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
JP7087048B2 (ja) 細胞画像評価装置および細胞画像評価プログラム
JP6801000B2 (ja) 細胞画像評価装置および細胞画像評価制御プログラム
JP7149360B2 (ja) プレート培地上にストリークされた試料からの自動化された微生物コロニーカウントのための方法及びシステム
Dong et al. Deep learning for automatic cell detection in wide-field microscopy zebrafish images
JP2022180419A (ja) 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
Faustino et al. Automatic embryonic stem cells detection and counting method in fluorescence microscopy images
US11790527B2 (en) Live cell visualization and analysis
JP4383352B2 (ja) 核多形性の組織学的評価
US11030751B2 (en) Cell image evaluation device, method, and program
US11756190B2 (en) Cell image evaluation device, method, and program
JP6475134B2 (ja) 細胞評価装置および方法
CN117377772A (zh) 快速、自动的基于图像的病毒空斑和效力测定
CN115699085A (zh) 细胞图像解析装置
JP2023117361A (ja) 細胞画像解析方法およびプログラム
JP2022147328A (ja) 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7087048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150