JPWO2020188814A1 - 細胞解析装置 - Google Patents

細胞解析装置 Download PDF

Info

Publication number
JPWO2020188814A1
JPWO2020188814A1 JP2021506110A JP2021506110A JPWO2020188814A1 JP WO2020188814 A1 JPWO2020188814 A1 JP WO2020188814A1 JP 2021506110 A JP2021506110 A JP 2021506110A JP 2021506110 A JP2021506110 A JP 2021506110A JP WO2020188814 A1 JPWO2020188814 A1 JP WO2020188814A1
Authority
JP
Japan
Prior art keywords
image
cell
cells
culture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021506110A
Other languages
English (en)
Other versions
JP7006833B2 (ja
Inventor
倫誉 山川
直也 藤原
克利 木村
隆二 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2020188814A1 publication Critical patent/JPWO2020188814A1/ja
Application granted granted Critical
Publication of JP7006833B2 publication Critical patent/JP7006833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本発明の一実施形態である細胞解析装置は、細胞の観察画像から細胞が存在する又は特徴的な細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器(251)と、複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部(1,20〜23)と、前記複数の培養容器のそれぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部(291)と、前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で培養容器毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部(25)と、を備える。培養容器毎に、細胞の種類、培養条件、細胞密度などに応じた識別器を用いることで、細胞領域などを的確に抽出することができ、その結果から細胞面積などを精度良く求めることができる。

Description

本発明は細胞解析装置に関する。
再生医療分野では、近年、iPS細胞やES細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。
従来、再生医療用細胞培養の現場では専ら、培養中の細胞の形態的観察を行うために位相差顕微鏡が使用されていた。位相差顕微鏡を用いるのは、一般に細胞は透明であって通常の光学顕微鏡では良好な観察が難しいためである。
これに対し、近年、ホログラフィ技術を用いて細胞の観察画像を取得する装置が実用化されている。この装置は、特許文献1、2等に開示されているように、デジタルホログラフィック顕微鏡で得られたホログラムデータに対し位相回復や画像再構成等のデータ処理を行うことで、細胞が鮮明に観察し易い位相像(インライン型ホログラフィック顕微鏡(In-line Holographic Microscopy:IHM)を用いていることから、以下「IHM位相像」という)を作成するものである。位相差顕微鏡で得られる位相差顕微画像と同様に、このIHM位相像でも透明である細胞を比較的明瞭に観察することができる。
再生医療用細胞を培養する際に、培養容器中に存在する細胞の数や培養容器内の培地上で細胞が占める面積(以下「細胞面積」という場合がある)を把握するのは非常に重要である。何故なら、細胞数や細胞面積は培養条件が適切であるか否かを判断したり培養の継代のタイミングを判断したりするのに重要な指標であるからである。なお、細胞が塊状になって細胞コロニー(以下、単に「コロニー」という)を形成する場合には、個々の細胞を分離して個数を計数するのは困難であるため、細胞面積が指標として用いられることが多い。
位相差顕微画像やIHM位相像から細胞の数を計数したり細胞面積を算出したりするには、まず、それら画像において細胞を検出する、つまりは細胞が存在する領域(以下「細胞領域」ということがある)と細胞が存在しない背景領域とを識別する必要がある。そうした識別を人間が行うことは非常に大きな負担であり、効率も悪い。そのため、細胞領域と背景領域とを自動的に識別する識別器を用いる技術が開発されている。こうした識別のためのアルゴリズムには様々なものが考えられるが、その一つとしてディープラーニング等の機械学習を用いた識別方法が知られている。
国際特許公開第2018/158947号 国際特許公開第2018/158810号
しかしながら、位相差顕微画像やIHM位相像等の画像から細胞領域など特定の領域を自動的に識別して抽出する際には次のような問題がある。
細胞培養では、培養容器として、培養プレートに形成された1又は複数のウェル、ディシュ(シャーレ)、フラスコ等、様々な形態のものが使用される。再生医療用細胞の研究の現場では、使用する培地や分化誘導剤の種類などの培養条件を変えて細胞の生育状況等を評価するために、1枚の培養プレートに形成されている多数のウェルについて、ウェル毎に異なる培養条件の下での細胞培養が行われることが多い。そうした場合、たとえ細胞の種類や株が同じであっても、ウェル毎に細胞の大きさ、形状、或いは密度などが異なる。また、1枚の培養プレートに形成されている多数のウェルで、異なる株の、又は異なる種類の細胞を培養することも多く、その場合にも当然、ウェル毎に細胞の大きさ、形状、密度などが異なる。
上述したように、その大きさ、形状、密度などが大きく相違する細胞を撮影した画像に対して従来の自動識別処理を適用すると、画像に現れている細胞の状態によって、高い精度で細胞領域を識別できる場合もあれば、あまり良好に細胞領域が識別できない場合もあり、全体的に識別精度を高めることが困難であった。また、多能性幹細胞を培養する際には、未分化逸脱細胞を除去する必要があり、そのために未分化細胞と未分化逸脱細胞とを識別する必要があるが、それらがそれぞれ存在する領域を識別する際にも、同様の問題があった。
本発明はこうした課題を解決するためになされたものであり、その主たる目的は、複数のウェル(培養容器)においてそれぞれ培養されている細胞が存在する細胞領域や、未分化逸脱細胞などの特徴的な細胞が存在する領域を自動的に識別する際に、細胞の状態や培養条件の相違等に拘わらず、高い精度で以て目的の領域を識別することができる細胞解析装置を提供することである。
本発明の一態様の細胞解析装置は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
前記複数の培養容器のそれぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で培養容器毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
本発明の他の態様の細胞解析装置は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
培養されている細胞の種類毎及び/又は培養条件毎に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、該画像における培養容器中の細胞の種類及び/又は培養条件に応じて、前記識別器選択部で選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
また本発明のさらに他の態様の細胞解析装置は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
1又は複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
前記1又は複数の培養容器内でユーザーにより設定された複数の解析範囲それぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で解析範囲毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
上記各態様の細胞解析装置において解析対象である細胞の種類は特に限定されないが、典型的にはヒトiPS細胞、ES細胞などの多能性幹細胞である。その場合、特徴的な細胞とは、未分化細胞、未分化逸脱細胞などを含むものとすることができる。
本発明の一態様の細胞解析装置において、特定領域抽出部は、複数の培養容器を含む所定の撮影対象領域に亘る、細胞の観察画像の全体又はその一部の画像を構成するデータを識別器に入力し、その識別器の出力として、例えば細胞が存在する特定領域が他の領域とセグメンテーションされた画像を得る。この際に使用する識別器は、識別器選択部により、培養容器毎に選択された、複数の識別器のうちの少なくともいずれか一つである。そのため、培養容器毎に異なる識別器を用いて特定領域を抽出することができる。識別器が識別する領域の種類や識別性能は教師データに依存する。
したがって、本発明の一態様の細胞解析装置によれば、例えば1枚の培養プレートのウェル毎に、そのウェルで培養されている細胞の種類や培養条件などに応じた適切な識別器を選択することで、ウェル毎に、細胞の大きさ、形状、密度などが相違していても、高い精度で細胞領域などの特定の領域を抽出することができる。それにより、例えば細胞面積などを精度良く求めることができ、こうした情報に基づいてユーザーは、細胞培養における培養条件の的確性や培養の継代のタイミングなどを容易に且つ的確に判断することができる。また、本発明の他の態様の細胞解析装置においても、培養されている細胞の大きさ、形状、密度などが相違している場合でも、高い精度で以て細胞領域などの特定の領域を抽出することができる。
本発明の一実施形態である細胞解析装置の概略ブロック構成図。 本実施形態の細胞解析装置を利用した細胞状態の評価作業における作業手順及び処理の流れを示すフローチャート。 本実施形態の細胞解析装置における撮影動作及び画像再構成処理を説明するための概念図。 本実施形態の細胞解析装置において、培養に使用する培養容器の情報の表示例を示す図。 本実施形態の細胞解析装置において、撮影対象領域を限定した場合に撮影される撮像単位の一例を示す図。 本実施形態の細胞解析装置における識別器選択画面の一例を示す図。 ウェル内を撮影対象領域として指定した場合の、細胞領域の抽出結果の一例を示す図。 識別器による細胞領域の抽出結果の一例を示す図。 識別器による、未分化細胞領域及び未分化逸脱細胞領域の抽出結果の一例を示す図。 細胞面積の時間的変化のグラフを含む表示画面の一例を示す図。 他の実施形態の細胞解析装置における識別器選択画面の一例を示す図。 さらに他の実施形態の細胞解析装置における識別器選択画面の一例を示す図。 さらに他の実施形態の細胞解析装置における識別器選択画面の一例を示す図。
本発明に係る細胞解析装置の一実施形態について、添付図面を参照して説明する。
[装置の全体構成]
図1は、本実施形態の細胞解析装置の概略ブロック構成図である。
この細胞解析装置は、顕微観察部1と、制御・処理部2と、ユーザーインターフェイスである入力部3及び表示部4と、を含む。
ここでは、顕微観察部1はインライン型ホログラフィック顕微鏡であり、レーザダイオードなどを含む光源部10とイメージセンサ11とを有し、光源部10とイメージセンサ11との間に、細胞(又はコロニー)13が培養される培養プレート12或いはそれ以外の培養容器が配置される。
制御・処理部2は、顕微観察部1の動作を制御するとともに顕微観察部1で取得されたデータを処理するものであって、撮影制御部20と、ホログラムデータ記憶部21と、位相情報算出部22と、画像再構成部23と、再構成画像データ記憶部24と、特定領域抽出部25と、指標値計算部26と、計算結果記憶部27と、表示処理部28と、測定・解析条件設定部29と、を機能ブロックとして備える。特定領域抽出部25は後述するように複数の識別器251を備える。また、測定・解析条件設定部29は識別器選択部291を含む。
通常、制御・処理部2の実体は、所定のソフトウェア(コンピュータプログラム)がインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部2に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理、によって具現化されるものである。もちろん、そうした機能の一部を専用のハードウェア回路で実現することも可能である。
[本装置による観察・解析対象の細胞]
本実施形態の細胞解析装置による観察・解析対象である細胞は、培養容器内で培養されている細胞であればその種類を問わないが、典型的には、iPS細胞、ES細胞などの多能性幹細胞である。培養容器は、多数のウェルが形成された培養プレート、ディッシュ、フラスコなどである。これら培養容器の大きさや形状は、種類によって或いはメーカーによって様々であり、例えば、1枚の培養プレートに設けられているウェルの数だけみても、6、12、24、48、96、384など、多くの種類がある。なお、1枚の培養プレートに形成されている複数のウェルではそれぞれ異なる株の細胞を独立に培養することが可能であるから、各ウェルがそれぞれ個別の培養容器であると捉えることができる。したがって、例えば6個のウェルが形成されている培養プレートは、6個の培養容器が連結されて一体になったものであるとみなせる。
[本装置における細胞解析の処理動作]
以下、一例として、解析対象がヒトiPS細胞であり、1枚の培養プレート12に形成されている6個のウェル中でそれぞれ細胞を培養する場合について、本実施形態の細胞解析装置における解析動作を説明する。
図2は、本実施例の細胞解析装置を用いた細胞の解析作業における作業手順及び処理の流れを示すフローチャートである。
<ホログラムデータの収集>
図3は、顕微観察部1における撮影動作、及び制御・処理部2で実施される画像再構成処理を説明するための概念図である。
図3(a)は培養プレート12の一例の略上面図である。この培養プレート12には上面視円形状である6個のウェル12aが形成されており、その各ウェル12a内に収容された培地上で細胞が培養される。ここでは、図3(a)に示した1枚の培養プレート12全体、つまりは6個のウェル12aを含む矩形状の範囲全体が顕微観察部1による撮影可能領域である。
顕微観察部1は光源部10及びイメージセンサ11の組を4組備えており、各組の光源部10及びイメージセンサ11はそれぞれ、図3(a)に示すように培養プレート12全体を4等分した四つの4分割範囲81のホログラムデータの収集を担う。つまり、4組の光源部10及びイメージセンサ11が、培養プレート12全体(つまりは撮影可能領域全体)に亘るホログラムデータの収集を分担する。
一組の光源部10及びイメージセンサ11が1回に撮影可能である範囲は、図3(b)に示すように、4分割範囲81の中の、1個のウェル12aを含む略正方形状の範囲82をX軸方向に10等分、Y軸方向に12等分して得られる一つの撮像単位83に相当する範囲である。一つの4分割範囲81は、15×12=180個の撮像単位83を含む。
四つの光源部10と四つのイメージセンサ11とはそれぞれ光源部10及びイメージセンサ11を含むX−Y面内で、4分割範囲81と同じ大きさである矩形の四つの頂点付近にそれぞれ配置されおり、培養プレート12上の異なる四つの撮像単位83についてのホログラムの取得を同時に行う。そして、後述すように光源部10及びイメージセンサ11をX−Y面内で所定距離だけステップ状に移動させることで、各組の光源部10及びイメージセンサ11が180個の各撮像単位83に相当する範囲のホログラムデータを順番に取得する。従来の一般的な位相差顕微鏡では、撮影(画像の取得)の際に焦点合わせを行う必要があったが、ホログラフィック顕微鏡では後述するようにデータ処理の過程で焦点が合った画像を再構成することが可能である。そのため、撮影時には焦点合わせを行う必要がないという特徴を有している。
上述したように培養容器の大きさや形状は非常に多様であるし、培養容器の容器内部であっても必ずしもその全てが細胞を培養する領域であるとは限らない。細胞観察画像を取得する際には、細胞を培養する領域でない領域についての画像を取得しても意味がないし、測定時間の無駄である。一方、細胞観察画像を取得したあと、実際にユーザーが解析したい(例えば細胞面積を知りたい)領域は細胞が存在する領域全てであるとは限らず、そのうちの一部分のみである場合もある。そこで、本実施形態の細胞解析装置では、次のようにして実際に撮影を行う撮影対象領域や実際に解析を行う解析対象領域を限定できるようにしている。
即ち、測定(撮影)の実行前においてユーザーが測定日時などの情報を入力部3から入力する際に、ユーザーは使用する培養容器のメーカーや型番などの培養容器に関する情報、及び、撮影対象領域を決めるためのスキャン条件や解析対象領域を決めるための解析条件などを入力部3から入力する。そのうえで、観察及び解析対象である細胞13を培養中である培養プレート12を顕微観察部1の所定位置にセットし、測定実行を指示する(ステップS1)。
ユーザーにより指定された培養容器に関する情報やスキャン条件などは、図4に示すような測定対象情報表示画面100で確認することができる。図4において、「メーカー型番」101はユーザーにより入力された培養プレートのメーカーと型番を示す情報であり、「プレート形状」102は1枚の培養プレート全体の形状を示す情報、「ウェル形状」103は1個のウェルの形状を示す情報であり、これらはメーカー型番等により一義的に決まる。「プレート基準点」104は培養プレートの設置位置に関する情報、「ウェル位置」105は6個のウェルそれぞれの中心位置座標を示す情報であり、顕微観察部1に付設されているカメラにより撮影された光学画像から算出される。「スキャン条件」106は撮影対象から除外する範囲を示す情報、「解析条件」107は後述する細胞領域の抽出等の解析対象から除外する範囲を示す情報であり、これらは必要に応じてユーザーにより入力設定される。
撮影制御部20は、様々な培養容器について形状や大きさを含む情報が予め登録された容器情報記憶部を有している。撮影制御部20は入力部3から設定された培養容器に関する情報(メーカー型番)を容器情報記憶部に照合し、図4中に表示されているプレート形状やウェル形状などの情報を読み出す。さらに、装着された培養プレート12を光学的に撮影した画像に基づいて、プレート基準点やウェルの位置座標などを特定する。そして、入力された情報と光学画像に基づいて取得した位置情報とから、撮影可能領域の中で細胞の培養が可能な領域を算出し、その算出結果に応じて撮影対象領域を決定する(ステップS2)。撮影対象領域の詳細については後述する。
撮影対象領域が決まると、撮影制御部20は、顕微観察部1の各部を制御して撮影を実行してホログラムデータを収集する(ステップS3)。
即ち、一つの光源部10は、10°程度の微小角度の広がりを持つコヒーレント光を培養プレート12の所定の領域(一つの撮像単位83)に照射する。培養プレート12及び細胞13を透過したコヒーレント光(物体光15)は、培養プレート12上で細胞13に近接する領域を透過した光(参照光14)と干渉しつつイメージセンサ11に到達する。物体光15は細胞13を透過する際に位相が変化した光であり、他方、参照光14は細胞13を透過しないので該細胞13に起因する位相変化を受けない光である。したがって、イメージセンサ11の検出面(像面)上には、細胞13により位相が変化した物体光15と位相が変化していない参照光14との干渉像、つまりホログラムがそれぞれ形成され、このホログラムに対応する2次元的な光強度分布データ(ホログラムデータ)がイメージセンサ11から出力される。
上述したように、四つの光源部10からは略同時に培養プレート12に向けてコヒーレント光が出射され、四つのイメージセンサ11では培養プレート12上の異なる撮像単位83に対応する領域のホログラムデータが取得される。一つの測定位置での測定が終了する毎に、光源部10及びイメージセンサ11は図示しない移動部により、X−Y面内で一つの撮像単位83に相当する距離だけX軸方向及びY軸方向にステップ状に順次移動される。これによって、4分割範囲81に含まれる180個又はそれ以下の数の撮像単位83での測定が実施され、四組の光源部10及びイメージセンサ11全体で培養プレート12全体又は特定の撮影対象領域の測定が実行されることになる。上述したようにホログラフィック顕微鏡では撮影時に焦点合わせを行う必要がないため、一つの測定位置での撮影(測定)に要する時間は短くて済む。それにより、撮影対象領域が広くても比較的短い時間で撮影を終了することができる。上述のように顕微観察部1の四つのイメージセンサ11で得られたホログラムデータは、測定日時等の属性情報とともに、制御・処理部2に送られホログラムデータ記憶部21に格納される。
図3(a)、(b)に示したように、顕微観察部1では6個のウェル12aを含む矩形状の撮影可能領域全体のホログラムデータを取得することが可能であるものの、そのうちの幾つかの撮像単位83は細胞が全く存在しないウェル12aの外側の部分である。こうした撮像単位についてホログラムデータを取得しても該データは無駄である。そこで、ステップS2では、撮影制御部20が、ウェル12aの形状やその位置の情報などに基づく演算によって、各撮像単位83がウェル12aの内側領域を含むか否か(つまりはウェル12aの外側領域のみを含むものであるか否か)を判断する。そして、ウェル12aの内側領域を僅かでも含むと判断した撮像単位83のみを撮影対象領域として決定する。
図5は、1個のウェル12aを含む10×12個の撮像単位83についての、撮影対象領域とそれ以外の領域との区分けの一例である。この例では、全120個の撮像単位83のうち、斜線で示した48個の撮像単位83Bが撮影対象領域から外れており、残りの72個の撮像単位83Aから撮影対象領域が形成されている。撮影対象領域から外れた撮像単位83Bについては、上述したような撮影動作時にスキップするようにし、ホログラムデータを取得しないようにする。それによって、測定の実行時間を短縮することができるとともに、撮影対象領域についてのホログラムデータのデータ量を減らすことができる。これは、ホログラムデータ記憶部21におけるメモリ容量の節約と顕微観察部1から制御・処理部2へのデータ転送量の削減に有効である。
もちろん、撮影時には、有意なホログラムデータを得られない部分も含めて撮影可能領域全体について撮影(測定)を実行してホログラムデータを収集し、後述する解析の際に撮影対象領域から外れた撮像単位については解析対象から除外するようにしてもよい。
<IHM位相像の作成>
上述した一連の測定(撮影)が終了すると、位相情報算出部22はホログラムデータ記憶部21からホログラムデータを順次読み出し、光波の伝播計算処理を行うことで2次元的な各位置における位相情報及び振幅情報を復元する。これら情報の空間分布は撮像単位83毎に求まるから、全ての撮像単位83の位相情報及び振幅情報が得られたならば、画像再構成部23は、その位相情報や振幅情報に基づいて、撮影対象領域全体の位相画像つまりはIHM位相像を形成する(ステップS4)。
即ち、画像再構成部23は撮像単位83毎に算出された位相情報の空間分布に基づき各撮像単位83のIHM位相像を再構成する。そして、その狭い範囲のIHM位相像を繋ぎ合わせるタイリング処理(図3(d)参照)を行うことで、撮影対象領域つまりは培養プレート12全体又はそのうちの特定の撮影対象領域についてのIHM位相像を形成する。IHM位相像を構成するデータは再構成画像データ記憶部24に保存される。なお、タイリング処理の際には、撮像単位83の境界でのIHM位相像が滑らか繋がるように適宜の補正処理を行うとよい。
また、通常の処理で得られる再構成画像は取得されたホログラムデータにより原理的に求まる最高解像度のIHM位相像であるが、それだけでなく、その最高解像度のIHM位相像を元に、ビニング処理等により解像度を落とした複数の解像度のIHM位相像を作成する。そして、こうした様々な解像度のIHM位相像を構成するデータを再構成画像データ記憶部24に保存する。これにより、様々な解像度のIHM位相像をあとで選択的に表示する際に、表示処理部28は必要な解像度の再構成画像データを再構成画像データ記憶部24から読み出してきて、表示すべき画像を迅速に形成することができる。
また、位相情報算出部22は、ホログラムデータに基づいて、位相情報のほかに、強度情報や、位相情報と強度情報とをマージした擬似位相情報なども併せて算出し、画像再構成部23はこれらに基づく再生像(IHM強度像、IHM擬似位相像)を作成することもできる。これら画像はIHM位相像に代えて使用されることもある。また、ホログラムデータに基づいてIHM位相像等を作成する際には、複数の焦点位置におけるIHM位相像等をそれぞれ作成することができる。これにより、撮影時に焦点合わせを行うことなく、合焦位置におけるIHM位相像を得ることができる。
<細胞領域等の抽出>
次に、特定領域抽出部25は撮影対象領域に対応するIHM位相像から、細胞が存在する細胞領域、特定の細胞が存在する細胞領域、或いは、それ以外の特徴領域を抽出する処理を実行する。ここでは、多層ニューラルネットワークを用いたディープラーニングなどの機械学習アルゴリズムにより学習された識別器を利用して、より簡単言えば、ディープラーニングによる画像セグメンテーションの技術を用いて、領域抽出を実行する。
具体的には、例えば、細胞が存在しない背景領域と細胞が存在する細胞領域とを担当者が判断してそれぞれ二値にラベル付けした多数のIHM位相像を教師データとして用意し、この教師データを多層ニューラルネットワークで学習させることにより識別器(識別モデル)を作成する。この識別器は、IHM位相像を構成するデータを入力として、二値のラベルに応じてセグメンテーションされた画像(セグメンテーション画像)を識別結果として出力するものである。なお、識別器の実態は、識別処理を実行するためにパラメータを学習した多層ニューラルネットワークである。特定領域抽出部25は上記識別器を有しており、上述したように作成された解析対象のIHM位相像を入力データとして識別器に入力する。そして、識別器の出力として、背景領域と細胞領域にそれぞれ含まれる画素がラベル付けされたセグメンテーション画像を得る。
本実施形態の細胞解析装置では、上述したように特定領域抽出部25は複数の異なる種類の識別器251を備える。IHM位相像に基づく領域抽出の処理の実施前に、ユーザーは次のように、領域抽出処理に使用する識別器を6個のウェル12aそれぞれについて個別に指定する(ステップS5)。そして、特定領域抽出部25はウェル毎に指定された識別器を用いて、そのウェルに対するIHM位相像から、細胞領域や特徴領域を抽出する処理を実行する(ステップS6)。
即ち、ユーザーが入力部3で所定の操作を行うと、測定・解析条件設定部29は識別器選択画面を表示部4に表示する。図6は、識別器選択画面110の一例を示す図である。この識別器選択画面110には、ウェル対応識別器リスト111が配置されている。このウェル対応識別器リスト111において解析パラメータは識別器の種類を示しており、図6の例では、ウェル番号が「1」であるウェルについては「CellAnalysis_01」との名称の識別器が使用されることを意味する。ウェル対応識別器リスト111の右端の下矢印記号113をクリック操作すると、登録されている識別器の一覧がダウンメニューで表示される。ユーザーはその中から所望のものを選択してクリック操作することで、識別器を選択する。
また、ユーザーが識別器の名称を見ても、その識別器がどのような解析に適しているか、どのような領域抽出を行うものであるか、等の判断ができない場合がある。そこで、上述したようにウェル対応識別器リスト111の右端の下矢印記号113をクリック操作したのに対しダウンメニューで表示された識別器一覧において任意の識別器名にマウスカーソルを合わせると、予めユーザーが登録しておいたコメントがポップアップで表示される。各識別器名について、その識別器を使用した領域抽出処理に適した細胞の種類、培養条件などの適宜の情報を予めユーザーがコメントとして登録しておくことで、識別器の選択の際にそのコメントを参照して適切な識別器を選択することができる。なお、ウェル対応識別器リスト111の各行にコメント欄を設け、その時点で選択されている識別器について予め登録されているコメントが表示されるようにしてもよい。
また、図6では、異なるウェルに対して異なる識別器が選択された状態であるが、ユーザーがいずれか一つの識別器の名称を選択したうえで「全てのウェルに適用する」ボタン114をクリック操作すると、その識別器が全てのウェルに対して設定される。それにより、一括して全てのウェルに対する識別器の種類を揃えることができる。
一般に、互いに異なる識別器とは、識別アルゴリズムは同じ(例えば同じ多層ニューラルネットワークを用いたディープラーニング)であるものの、学習時の教師データが相違するものである。即ち、同じラベル付け(例えば細胞領域と背景領域との二値のラベル)であっても、学習させるIHM位相像自体が相違すれば、識別器としては異なるものとなる。細胞の種類が異なる場合はもちろんのこと、細胞の種類は同じであっても細胞株が相違したり培養条件が相違したりすると、細胞の形状などが異なる場合がある。そこで、それぞれ異なる培養条件の下で培養された細胞のIHM位相像及びそれに対するラベル化画像(セグメンテーション画像)を教師データとしてそれぞれ識別器を作成しておき、培養条件に応じた識別器を選択して解析を行うことで、培養条件の相違の影響を軽減してより精度の高い識別が可能である。
また、ラベル付けが異なるものも当然、異なる識別器である。具体的には例えば、背景領域と細胞領域との二つの領域に対応するラベル付けをしたIHM画像を教師データとして学習することで作成した識別器のほかに、背景領域、未分化細胞領域、及び未分化逸脱細胞領域の三つの(又はそれ以上の複数種類)の領域に対応するラベル付けをしたIHM画像を教師データとして学習することで作成した識別器を使用することができる。さらにまた、細胞領域だけでなく、ゴミなどの異物が存在している領域や、干渉縞などのように画像上で何らかの特徴的な模様が存在する領域なども、それらを特徴領域としてラベル付けして識別器を作成することができる。このような互いに異なる識別器は、解析の目的や細胞の状態等に応じて使い分けることができる。
また、特定領域抽出部25では、一つのウェルに対応して複数の識別器を選択可能として、或る一つ又は複数のウェルに対するIHM位相像から細胞領域や特徴領域を抽出する際に、互いに異なる複数の識別器を組み合わせて使用するようにしてもよい。例えば、細胞領域と背景領域とを識別する第1の識別器から得られた領域抽出結果と、未分化逸脱細胞領域とそれ以外の領域とを識別する第2の識別器から得られた領域抽出結果とを組み合わせる、具体的には互いに異なるセグメンテーション画像での画素毎の論理和、論理積、排他的論理和などの論理演算を行うことにより、未分化逸脱でない細胞領域の抽出結果などを得られるようにしてもよい。
図8は、背景領域と細胞領域とを識別可能な識別器を用いて細胞領域を抽出した(セグメンテーションを実施した)一例を示す図である。この抽出結果では、細胞及びコロニーが存在する領域が良好に抽出されている。図9は、背景領域、未分化細胞領域、及び未分化逸脱細胞領域の三つを識別可能な識別器を用いて、セグメンテーションを実施した一例を示す図である。この抽出結果では、細胞領域と背景領域とが良好に識別されるとともに、同じ細胞領域でも未分化細胞と未分化逸脱細胞とが良好に識別されている。
図7は、ウェルの周縁部付近のIHM位相像(右側)、及びそのIHM位相像全体を解析対象領域として細胞領域を抽出した結果の画像(左側)を示す図である。図7から、略円形状であるウェル周縁部の内側が撮影対象領域として定められており、その撮影対象領域における細胞(コロニー)が適切に検出できていることが分かる。
<細胞面積等の指標値の算出>
指標値計算部26は、上述したように抽出された細胞領域や特徴領域に対し所定の演算処理を実施することで、例えばウェル毎の、或いは複数のウェルを含む培養プレート全体の細胞面積に関連する指標値を計算する(ステップS7)。そして、算出された指標値を計算結果記憶部27に保存する。
一例としては、ウェル毎にIHM位相像上で抽出された細胞領域の画素数を積算し、その画素数に、1画素に対応する、ウェル内で解析範囲として設定した領域(例えばウェルの中心から直径15mmの円形状の範囲)の面積値を乗じることで、ウェル毎のその解析範囲における細胞面積を算出することができる。また、こうして求めた一つのウェル内の解析範囲における細胞面積とウェル内の解析範囲の面積とから、その解析範囲において細胞が占める領域の割合や単位面積当たりの細胞面積も算出することができる。さらに、1枚の培養プレート全体での細胞面積の総和や、1枚の培養プレート中の複数のウェルそれぞれにおける細胞面積の平均や分散といった統計量を算出することもできる。
また、未分化逸脱細胞領域と未分化細胞領域とを抽出した場合には、ウェル毎に、未分化逸脱細胞の占める面積と未分化細胞が占める面積との比率などを算出することができる。また、異物が存在している領域や、干渉縞などの画像上で何らかの特徴的な模様が存在する領域などを特徴領域として抽出した場合には、それら特徴領域の面積や、その特徴領域の面積とウェル内部面積との比率、或いは、特徴領域の面積と細胞領域の面積との比率などを算出することができる。
さらにまた、指標値計算部26は、細胞領域の面積以外の、その大きさや形状に関連した種々の指標値を算出することもできる。具体的には、抽出された細胞領域は個々の細胞の形状又は複数の細胞の塊であるコロニーの形状であるので、その領域毎に、長軸方向の長さ、短軸方向の長さ、周縁長、真円率などの、大きさや形状を反映した特徴的な指標値を算出することができる。それにより、ウェル毎に、例えば細胞領域の周縁長の平均や分散などの統計量を算出することができる。さらにまた、細胞の大きさや形状には直接関連しない、細胞領域や特徴領域における画像上の輝度値やその輝度値の勾配、さらには輝度値の空間的な変化を示す微分値など、画像の特徴を示す数値を算出し、これに基づく細胞(又はコロニー)領域や特徴領域の特徴量を算出できるようにしてもよい。また、上述した面積値などの異なる指標値を組み合わせることで、新たな指標値を算出してもよい。
<指標値の時間的変化の状況の表示>
上述したような解析処理が終了したあと、ユーザーが入力部3で所定の操作を行うと、表示処理部28は、直近の解析結果と、同じ培養プレート12についての過去の解析結果とに基づいて、解析結果の時間的な変化を示すグラフを作成して表示部4に表示する(ステップS7)。図10は、ウェル毎の細胞密集度(ウェルの内部面積に対する細胞面積の割合)の時間的な変化を示すグラフを表示させた一例である。
図10に示すように、この解析結果表示画面120には、表示する培養プレート及びウェルを選択するための培養容器選択指示欄121と時間経過グラフ122とが配置されている。ユーザーは培養容器選択指示欄121で、時間経過グラフ122上に表示したい培養プレートとウェルを選択してチェックマークを入れる。さらに表示グラフ選択欄123で表示したいグラフに使用する指標値を選択する。図10の例では、細胞密集度(Confluency)が選択されている。
上記のような選択が実施されると、表示処理部28は、計算結果記憶部27に保存されている、指定されたプレート名に対応付けられている指定された指標値の計算結果を読み出し、細胞培養期間を横軸(又は縦軸)に、指標値の値を縦軸(又は横軸)に割り当て、指定されているウェル毎に、各測定時点における値をプロットしてグラフを作成する。そして、この時間経過グラフ122を解析結果表示画面120内に表示する。各ウェルに対応するグラフ122上の線はそれぞれ異なる色で表示される。これにより、ユーザーは、各ウェルにおける指標値の経時変化や、ウェル毎の指標値の経時変化の相違、を容易に評価することができる。
ユーザーが表示グラフ選択欄123で指標値の選択を変更すると、その変更操作に応じて表示処理部28は、指標値を変更して新たなグラフを作成し、表示しているグラフを更新する。それにより、様々な指標値についての経時変化を順に確認することができる。また、図10に示すように、時間経過グラフ122には一つの培養プレート上の複数のウェルに対する指標値だけでなく、別の培養プレート上のウェルに対する指標値の経時変化も重ねて示すことができる。これにより、例えば基準となる培養プレート又はウェルとの相違などの評価も容易に行うことができる。
また、ユーザーが時間経過グラフ122上で各測定時点を示すプロットの一つをクリック操作すると、表示処理部28はその指示されたプロット点に対応する、つまりその測定時点、プレート、及びウェルに対応付けられているIHM位相像を特定する。そして、該IHM位相像を構成するデータを再構成画像データ記憶部24から取得して画像を形成し、表示部4の画面上に表示する。その画像は解析結果表示画面120の一部に表示してもよいし、新たに開いた別のウインドウに表示してもよい。ユーザーは、この表示された画像により、任意の測定時点の任意のウェルにおける細胞の状態を確認し検討することができる。
解析結果表示画面120には、上記のようにIHM位相像を表示する際に、そのIHM位相像に、領域抽出結果であるセグメンテーション画像を重ね合わせるか否かを選択するための切替ボタン124が配置されている。この切替ボタン124による選択に応じて、IHM位相像のみを表示するのか、或いは、IHM画像に半透明のセグメンテーション画像を重ねた合成画像を表示するのか、を切り替えることができる。ユーザーが解析結果表示画面120上でこうした選択を行ったうえで、時間経過グラフ122上で任意のプロット点を選択指示することにより、効率良く、目的とする細胞観察画像を表示させることができる。
また、解析結果表示画面120には、CSVファイル出力ボタン、画面キャプチャボタン、及び、PC出力ボタンなどの出力指示ボタン125、が配置されている。ユーザーがこうしたボタンのクリック操作を行うことによって、解析結果表示画面120上で確認した時間経過グラフ122を、CSVファイル(テキストファイル)、画面キャプチャ、又は、画面のファイル(例えばJPEGファイル)のいずれかで出力することができる。CSVファイルとして出力する際には、領域抽出処理に使用した識別器の種類や特徴量の計算種別などをグラフ122上の測定プロット毎に出力するとよい。これにより、グラフ122上の各プロット点について、領域抽出に使用した識別器の種類や特徴量の計算の種別の情報を明示することができる。
以上のようにして本実施形態の細胞解析装置では、細胞を鮮明に観察可能であるIHM画像に基づいて細胞領域などを抽出するために、ウェル毎に異なる種類の識別器を用いることができる。それにより、細胞の種類、培養条件(培地の種類、温度、時間、分化誘導剤の種類など)、細胞の密度など、様々な条件がウェル毎に相違する場合であっても、各ウェルに対応するIHM画像から細胞領域などを良好に抽出することができる。それにより、ウェル毎に、細胞領域が占める面積などの、細胞培養の状況を把握するための指標値を精度良く算出することができ、例えば培養条件の適否や培養の継代のタイミングの判断を適切に且つ容易に行うことができる。
[領域抽出処理に使用される識別器の選択方法の変形例]
上記実施形態の細胞解析装置では、図6に示した識別器選択画面110上でユーザーがウェル毎に領域抽出処理に使用する識別器を選択していたが、以下のように様々に変形が可能である。
図11は、他の実施形態の細胞解析装置における識別器選択画面130を示す図である。この識別器選択画面130は一つのウェルに対応するものであり、例えば識別器を指定したいウェルを選択すると、そのウェルに対応する識別器選択画面130が表示部4に表示される。上記実施形態の細胞解析装置では、ユーザーが識別器の種類を直接選択していたが、この実施形態の細胞解析装置では、識別器の自動選択と手動選択とのいずれかをユーザーが指定できるようになっている。
図11に示す識別器選択画面130には、識別器の自動選択を指定するためのチェックボックス131と識別器の手動選択を指定するためのチェックボックス132とが設けられ、ユーザーはいずれかのチェックボックスをクリック操作してチェックマークを入れる。図11に示す例では、識別器の自動選択が指定されており、この場合、ユーザーは条件指定欄133において細胞の種類と培養時間とを識別器選択の条件として入力する。この入力を受けて識別器選択部291は予め登録されている複数の識別器251の中から識別器選択条件に最も適合する識別器を選択し、識別器表示欄134に表示する。
一方、ユーザーが識別器を直接選択したい場合には、識別器の手動選択を指定するためのチェックボックス132にチェックマークを入れたうえで、登録されている識別器の名称の一覧を示すダウンメニューから所望の識別器を選択すればよい。
また、この識別器選択画面130では、解析範囲指定欄135において、当該ウェルの中で領域抽出処理を実行する対象の領域を、ウェルの中心からの直径で以て指定できるようになっている。図11に示した例では、当該ウェルに対応するIHM画像においてウェルの中心から直径が30mmである円形状の領域に対してのみ、指定された識別器を用いた領域抽出処理が実施され、その円形状の領域の外側の領域に対しては領域抽出処理は実施されない。このように、この実施形態の細胞解析装置では、ウェル毎に、領域抽出処理に使用する識別器の種類とその領域抽出処理の対象の領域の大きさとを一組として指定することができる。そうした指定のあと、ユーザーが「パラメータ設定」ボタン136をクリック操作すると、その時点で指定されている識別器や解析範囲が確定し、そのウェルに対して登録される。
図12は、さらに他の実施形態の細胞解析装置における識別器選択画面140を示す図である。図12に示した識別器選択画面140には、その左側に、図6中のウェル対応識別器リスト111と同じウェル対応識別器リスト141が配置されている。一方、右側には、一部のIHM画像に対する領域抽出結果を示すセグメンテーション画像がプレビュー画像147として表示される。
即ち、ユーザーがウェル対応識別器リスト141で或るウェル番号に対する識別器の種類を選択し、ウェル番号をクリック操作することで選択指示したうえで「選択したウェル番号をプレビュー」ボタン146をクリック操作する。すると、これを受けて特定領域抽出部25は、指定されたウェル番号を付されたウェルに対応するIHM画像の中で、そのウェルの中心に位置する一つの撮像単位に対応するIHM画像を部分観察画像として選択する。そして、その部分観察画像に対し、指定されている識別器を使用した領域抽出処理を実行し、その一つの撮像単位におけるセグメンテーション画像を取得する。表示処理部28はこのセグメンテーション画像をプレビュー画像147として識別器選択画面140内に表示する。このときには、IHM位相像全体ではなく一つの撮像単位におけるIHM位相像に対する領域抽出処理を実行するだけであるので、短時間で領域抽出処理を終了してセグメンテーション画像を得ることができる。
なお、特定領域抽出部25は、部分観察画像として、指定されたウェル番号を付されたウェルに対応するIHM画像の中で、そのウェルの中心に位置する一つの撮像単位に対応するIHM画像ではなく、そのウェルに対応するIHM画像の中で、ユーザーにより指定された位置の撮像単位に対応するIHM画像を選択するようにしてもよい。
ユーザーは表示されたプレビュー画像147を確認し、選択した識別器が適切であるか否かを判断する。そして、必要に応じて識別器の選択を変更し、再度、プレビュー画像を確認する。ユーザーは、選択した識別器を使用した領域抽出処理の結果であるセグメンテーション画像を確認することができるので、適切な識別器を容易に且つ確実に選択することができる。そうして、全てのウェルについて識別器を選択したうえで「解析実行」ボタン145をクリック操作すると、特定領域抽出部25は各ウェルについてウェル全体のIHM画像に基づく領域抽出処理を実行しセグメンテーション画像を取得する。
なお、プレビュー画像147としては、一つの撮像単位に対応するセグメンテーション画像の代わりに、そのセグメンテーション画像とIHM画像とを重ね合わせた画像を表示するようにしてもよい。
図13は、さらに他の実施形態の細胞解析装置における識別器選択画面150を示す図である。図13に示した識別器選択画面150の左側には、図11に示した識別器選択画面130の内容が配置されている。一方、その右側には、部分的なIHM位相像158とそのIHM画像に対する領域抽出結果を示すセグメンテーション画像159とが横に並べてプレビュー画像として表示される。
即ち、ユーザーは上述したように自動選択又は手動選択によって一つのウェルに対応する識別器を選択したうえで、「プレビュー」ボタン157をクリック操作する。すると、これを受けて特定領域抽出部25は、そのときのウェルに対応するIHM画像の中で、そのウェルの中心に位置する一つの撮像単位に対応するIHM画像を部分観察画像として選択する。そして、その部分観察画像に対し指定されている識別器を使用した領域抽出処理を実行し、その一つの撮像単位におけるセグメンテーション画像を取得する。表示処理部28はこのセグメンテーション画像159と元の部分観察画像である部分的なIHM画像158とを識別器選択画面150内に並べて表示する。
ユーザーは表示された二つの画像158、159を見比べて、選択した識別器が適切であるか否かを判断する。そして、必要に応じて識別器の選択を変更し、再度、プレビュー画像を確認する。ユーザーは、選択した識別器を使用した領域抽出処理の結果であるセグメンテーション画像を確認することができるので、適切な識別器を容易に且つ確実に選択することができる。もちろん、識別器選択画面150において、IHM位相像とセグメンテーション画像とを並べて表示するのではなく、重ね合わせて表示してもよい。
[上記実施形態の装置のさらなる変形例]
また、上記実施形態の細胞解析装置では、上記説明した以外にも、以下のような様々な変形が可能である。
<変形例1>
上記実施形態の細胞解析装置において特定領域抽出部25では解析対象領域についてのみ細胞領域や特徴領域を抽出する処理を実行するが、その際に、IHM位相像の中で解析対象領域に含まれる範囲のみのデータを用いて領域抽出処理を行うようにしてもよいが、それ以外に次のようにしてもよい。
即ち、一つの方法としては、IHM位相像の中で解析対象領域の領域外ある部分にマスク処理を実施し、そのマスク処理された部分から取り出されたデータを無効データとして扱うか或いはゼロデータとする。これにより、解析対象領域の領域外も含んで領域抽出処理を実行しても、実質的に解析対象領域のみについて細胞領域や特徴領域を抽出することができる。また、別の方法としては、IHM位相像の中で解析対象領域の領域外についても領域抽出処理を実施する(例えば撮影対象領域全体について領域抽出処理を実施する)が、その抽出結果に対し解析対象領域の領域外についてマスク処理を行う又は解析対象領域のみのデータを使用する。これによっても、実質的に解析対象領域のみについての細胞領域や特徴領域の抽出結果を得ることができる。
<変形例2>
上記実施形態の細胞解析装置では、細胞領域等を抽出するために、機械学習の一手法であるディープラーニングを用いて作成される識別器を用いていたが、それ以外の機械学習法による判別分析又は回帰分析を利用してもよい。具体的には、サポートベクターマシン、ランダムフォレストなどを利用してもよい。また、機械学習により作成される識別器を用いる代わりに、IHM位相像の輝度値やテクスチャ画像などを用いて特徴的な領域を抽出する方法を用いることもできる。いずれにしても、或る画像情報からその画像上の特徴的な領域を検出、識別することができる方法であればよい。
<変形例3>
また、上記実施形態の細胞解析装置では、ウェル毎に異なる識別器を使用することは可能であるし、一つのウェル(IHM位相像)に対し複数の識別器を使用してそれぞれ得られた領域抽出結果を合わせて一つの領域抽出結果を得ることも可能である。それに対し、一つのIHM位相像について種類の異なる識別器で領域抽出処理をそれぞれ実行し、その結果を保存しておき、ユーザーからの指示に応じて、その複数の領域抽出結果を並べて、切り替えて、又は重ねて表示できるようにしてもよい。これにより、異なる種類の識別器による領域抽出結果の差異を容易に比較することができる。また、その比較結果に基づいて、より適切な識別器を選択することも可能である。
<変形例4>
また、上記実施形態の細胞解析装置では、ウェル(つまりは培養容器毎)に識別器を選択する構成であるが、ユーザーが培養条件及び/又は細胞の種類を選択したうえで識別器を指定したならば、選択された培養条件及び/又は細胞の種類に対応付けられている一又は複数のウェルに対し、指定された識別器を使用した領域抽出処理が実行されるようにしてもよい。即ち、ウェル毎に識別器を選択するのではなく、培養条件及び/又は細胞の種類毎に識別器を選択するようにしてもよい。このような処理を実現するには、例えば、一つの培養プレート内の各ウェルにおいて培養されている細胞の種類やその培養条件を記憶させた又は紐付けしたバーコードを当該培養プレートに貼り付けておく。そして、解析実行時にそのバーコードを読み取ることで、各ウェルにおいて培養されている細胞の種類やその培養条件を把握し、ユーザーが設定した培養条件等に基づき、どのウェルにどの識別器を割り当てるのかを決定すればよい。
<変形例5>
上記実施形態の細胞解析装置では、複数のウェルが形成された培養プレートを用いて細胞培養を行う場合を想定していたが、例えば培養フラスコなどウェルがない場合や、ウェルがあってもウェル内の一部の小領域だけを解析したい場合も考えられる。そこで、ユーザーが矩形又は円形などの形状の領域の解析範囲を指定し、その解析範囲に合った識別器も選択できるようにしてもよい。この場合、例えば培養フラスコなどの大きな一つの培養容器の中に複数の解析範囲を設定し、その複数の解析範囲のそれぞれに対し、異なる識別器を選択できるようにするとよい。これにより、例えば大きな培養容器の中で部分的に細胞の密度が高い部分と低い部分とについて、異なる識別器を使用して的確な領域抽出が可能である。
<変形例6>
また、上記実施形態の細胞解析装置では、制御・処理部2において全ての処理を実施しているが、一般に、ホログラムデータに基づく位相情報の計算や画像の再構成処理には膨大な量の計算が必要である。また、細胞状態の判定処理の負荷も大きい。そこで、顕微観察部1に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用し、上記のような煩雑な計算や処理は高性能なコンピュータで行い、顕微観察部1の制御や処理後のデータを用いた表示処理などを比較的低性能のパーソナルコンピュータで実行するように役割を分けてもよい。
さらにまた、上記実施形態及び各変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。
[種々の態様]
本発明の第1の態様は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
前記複数の培養容器のそれぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で培養容器毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
本発明の第1の態様において、機械学習の手法は教師あり機会学習であれば特に限定されず、例えば、多層ニューラルネットワークを用いたディープラーニング、サポートベクターマシンなど、様々な周知の手法を用いることができる。また、判別分析、回帰分析など広義の機会学習に含めることができる多変量解析でもよい。
第1の態様の細胞解析装置において、複数の培養容器は例えば1枚の培養プレートに形成されている複数のウェルである。この第1の態様の細胞解析装置では、予め互いに異なる種類の複数の識別器が用意され、識別器選択部は、複数の培養容器、例えばウェルのそれぞれに対し独立に、複数の識別器の少なくともいずれか一つを選択する。典型的には培養容器毎に一つの識別器を選択できるようにすればよいが、一つの培養容器に対し複数の識別を選択可能とし、その複数の識別器をそれぞれ用いた領域抽出結果を組み合わせることで最終的な特定領域の抽出結果を得るようにしたり、或いは、複数の識別器をそれぞれ用いた領域抽出結果を比較可能に出力したりしてもよい。
複数の識別器は、同種の特定領域、例えば細胞領域を抽出する識別処理を行うものであっても、細胞の種類、培養条件、細胞密度、或いは培養容器内の位置などが異なる教師データをそれぞれ学習することで作成されたものとすることができる。また、異なる種類の特定領域、例えば未分化細胞領域、未分化逸脱細胞領域、細胞以外の異物が存在する領域などを抽出する識別処理を行うものとすることもできる。本発明の第1の態様の細胞解析装置によれば、例えば1枚の培養プレート上のウェル毎に、そのウェルで培養されている細胞の種類や培養条件などに応じた適切な識別器を選択することで、ウェル毎に、細胞の大きさ、形状、密度などが相違していても、細胞領域などの特定領域を的確に抽出することができる。それによって、例えば細胞面積、培養容器内の面積に対する細胞面積の割合などの情報を精度良く求めることができ、こうした情報に基づいてユーザーは、細胞培養における培養条件の的確性や培養の継代のタイミングなどを容易に且つ的確に判断することができる。
本発明の第2の態様では、第1の態様の細胞解析装置において、
前記画像取得部は、撮影対象領域に亘るホログラムデータを取得するホログラフィック顕微鏡と、前記ホログラムデータを用いた所定の演算処理により、位相情報、強度情報又はそれら両方の要素を含む情報のいずれかの空間分布を示す画像を細胞の観察画像として作成する画像再構成部と、を含むものとすることができる。
ホログラフィック顕微鏡では撮影の際に焦点合わせを要せず、或る程度の2次元的な範囲の撮影(ホログラムデータの取得)を短時間で終了することができる。さらにまた、画像再構成部で位相像等を作成する際に、合焦位置における精細な画像を作成することが可能であるとともに、必要に応じて、解像度を落とした低解像の画像も作成することができる。それにより、第2の態様では、例えば多数のウェルが形成されている培養プレート全体、或いは大容量のフラスコ全体など、撮影対象領域が広い場合であっても、短時間で効率的に測定を終了することができる。そのため、細胞を培養している培養容器をインキュベータから取り出している時間を短縮し、細胞培養に及ぼす影響を軽減することができる。また、細胞培養作業のスループット向上も図ることができる。
本発明の第3の態様では、第1又は第2の態様の細胞解析装置において、
前記複数の識別器は、細胞の種類、培養条件、細胞密度、又は、特定領域の種類のうちの少なくとも一つの項目について異なる複数の条件の教師データを用いた機械学習により作成されたものであり、
ユーザーが、培養容器毎に、細胞の種類、培養条件、細胞密度、又は、特定領域の種類のうちの少なくとも一つの項目についての条件を入力するための選択条件設定部、をさらに備え、
前記識別器選択部は、前記選択条件設定部により設定された条件に基づいて、培養容器毎に、前記複数の識別器の少なくとも一つを選択するものとすることができる。
第3の態様によれば、ユーザーが選択条件設定部により培養容器毎に細胞の種類などの条件を入力することで、その条件に最も適合した識別器を用いた領域識別の処理が実行される。それにより、例えばウェル毎に、細胞の大きさ、形状、密度などが相違していても、細胞領域などの特定領域を的確に抽出することができる。
本発明の第4の態様では、第1〜第3の態様のいずれか一つの細胞解析装置において、
前記複数の識別器は、細胞の種類、培養条件、細胞密度、又は、特定領域の種類のうちの少なくとも一つの項目について異なる複数の条件の教師データを用いた機械学習により作成されたものであり、
前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、前記表示画面において、ユーザーが識別器を選択するための参照情報が表示されるようにしたものとすることができる。
参照情報は例えば、その識別器を使用するのに適した細胞の種類や培養条件など、ユーザーが事前に自由に記載しておくことができるコメント情報などとすることができる。この第4の態様によれば、ユーザーが培養容器毎に識別器を選択する際に、参照情報を利用して適切な識別器を選択することができる。
本発明の第5の態様では、第1〜第3の態様のいずれか一つの細胞解析装置において、 前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、前記表示画面は、識別器を選択する対象である培養容器に対応する細胞の観察画像の少なくとも一部を含むものとすることができる。
第5の態様によれば、ユーザーは培養容器毎に培養中である細胞の観察画像を確認しながら、細胞の形状や大きさ、密度などに応じて、培養容器毎に適切な識別器を選択することができる。
本発明の第6の態様では、第1〜第3の態様のいずれか一つの細胞解析装置において、
前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、該表示画面にはプレビュー画像を作成する操作子が設けられ、
前記操作子の操作を受けて、前記特定領域抽出部は、前記画像取得部により得られた観察画像の中の所定の一つの培養容器に対応する観察画像の一部分について、該培養容器に対し選択されている識別器を用いて特定領域を抽出する処理を実行し、
前記識別選択部はその特定領域の抽出結果を示すプレビュー画像を前記表示画面内又は該表示画面とは別の画面に表示するものとすることができる。
本発明の第7の態様では、第6の態様の細胞解析装置において
前記所定の撮影対象領域に亘る細胞の観察画像は、それぞれ異なる複数の部分観察画像を繋ぎ合わせて作成されたものであり、前記プレビュー画像は該複数の部分観察画像のうちの一つに対する特定領域の抽出結果を示すものであるものとすることができる。
第6の態様及び第7の態様によれば、ユーザーはプレビュー画像を確認することで、選択した識別器が適切に細胞領域等を抽出することができるものであるか否かを直ぐに判断することができる。それにより、領域抽出により適した識別器を容易に且つ確実に選択することができる。また、プレビュー画像を観察画像の一部分に限定することで、プレビュー画像を迅速に作成及び表示することができ、解析作業の効率化を図ることができる。
本発明の第8の態様では、第6の態様の細胞解析装置において
前記プレビュー画像は、特定領域の抽出結果を示すセグメンテーション画像と、その同じ範囲の観察画像と、を重ね合わせた画像であるものとすることができる。
本発明の第9の態様では、第6の態様の細胞解析装置において、
前記プレビュー画像は特定領域の抽出結果を示すセグメンテーション画像であり、該セグメンテーション画像とその同じ範囲の観察画像と、を並べて表示するものとすることができる。
第8の態様及び第9の態様によれば、細胞の観察画像とそれに対する領域抽出結果であるセグメンテーション画像とを容易に比較することができるので、選択した識別器が適切であるのか否かを容易に且つ的確に判断することができる。それにより、識別器の選択を的確に行うことができる。
本発明の第10の態様では、第6の態様の細胞解析装置において、
前記画像取得部は、
所定範囲の撮像単位に対する撮影を、その撮影位置を移動させつつ繰り返し実行することにより、撮影対象領域全体に亘るホログラムデータを取得するホログラフィック顕微鏡と、
前記ホログラムデータを用いた所定の演算処理により、複数の前記撮像単位にそれぞれ対応する、位相情報、強度情報又はそれら両方の要素を含む情報のいずれかの空間分布を示す部分画像を繋ぎ合わせた画像を細胞の観察画像として作成する画像再構成部と、
を含み、
前記プレビュー画像は前記複数の部分画像のうちの一つに対する特定領域の抽出結果を示すものである。
第10の態様によれば、第6の態様と同様に、ユーザーはプレビュー画像を確認することで、選択した識別器が適切に細胞領域等を抽出することができるものであるか否かを直ぐに判断することができる。それにより、領域抽出により適した識別器を容易に且つ確実に選択することができる。また、プレビュー画像を一箇所の撮像単位に対応する一つの部分画像に限定することで、プレビュー画像を迅速に作成及び表示することができ、解析作業の効率化を図ることができる。
本発明の第11の態様では、第1の態様の細胞解析装置において、
前記細胞が存在する特定領域は、未分化細胞、未分化逸脱細胞、死滅した細胞のうちのいずれか一つが存在する領域、又はそれらのうちの複数が存在する領域であるものとすることができる。
また本発明の第12の態様は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
培養されている細胞の種類毎及び/又は培養条件毎に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、該画像における培養容器中の細胞の種類及び/又は培養条件に応じて、前記識別器選択部で選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
本発明の第12の態様の細胞解析装置によれば、培養プレート内のウェルと培養条件との対応関係をユーザーが把握していなくても、細胞の種類や培養条件などにより大きさや形状が相違する細胞の占める領域などの特定領域を、的確に抽出することができる。
さらにまた本発明の第13の態様は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
1又は複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
前記1又は複数の培養容器内でユーザーにより設定された複数の解析範囲それぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で解析範囲毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
本発明の第13の態様の細胞解析装置によれば、一つの培養容器内の複数の部位で細胞の形状や密度が相違する場合でも、各部位における細胞領域などの特定領域を、的確に抽出することができる。
また、識別器は、細胞領域でなく、塵埃などの異物が存在する領域を抽出するために利用することもできる。即ち、本発明の第14の態様の細胞解析装置は、培養容器中で培養されている細胞を解析するための細胞解析装置であって、
細胞の観察画像から異物が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
前記複数の培養容器のそれぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で培養容器毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
を備えるものである。
1…顕微観察部
10…光源部
11…イメージセンサ
12…培養プレート
12a…ウェル
13…細胞
14…参照光
15…物体光
2…制御・処理部
20…撮影制御部
21…ホログラムデータ記憶部
22…位相情報算出部
23…画像再構成部
24…再構成画像データ記憶部
25…特定領域抽出部
251…識別器
26…指標値計算部
27…計算結果記憶部
28…表示処理部
29…測定・解析条件設定部
291…識別器選択部
3…入力部
4…表示部
四つの光源部10と四つのイメージセンサ11とはそれぞれ光源部10及びイメージセンサ11を含むX−Y面内で、4分割範囲81と同じ大きさである矩形の四つの頂点付近にそれぞれ配置されおり、培養プレート12上の異なる四つの撮像単位83についてのホログラムの取得を同時に行う。そして、後述すように光源部10及びイメージセンサ11をX−Y面内で所定距離だけステップ状に移動させることで、各組の光源部10及びイメージセンサ11が180個の各撮像単位83に相当する範囲のホログラムデータを順番に取得する。従来の一般的な位相差顕微鏡では、撮影(画像の取得)の際に焦点合わせを行う必要があったが、ホログラフィック顕微鏡では後述するようにデータ処理の過程で焦点が合った画像を再構成することが可能である。そのため、撮影時には焦点合わせを行う必要がないという特徴を有している。
<細胞領域等の抽出>
次に、特定領域抽出部25は撮影対象領域に対応するIHM位相像から、細胞が存在する細胞領域、特定の細胞が存在する細胞領域、或いは、それ以外の特徴領域を抽出する処理を実行する。ここでは、多層ニューラルネットワークを用いたディープラーニングなどの機械学習アルゴリズムにより学習された識別器を利用して、より簡単言えば、ディープラーニングによる画像セグメンテーションの技術を用いて、領域抽出を実行する。
また、ラベル付けが異なるものも当然、異なる識別器である。具体的には例えば、背景領域と細胞領域との二つの領域に対応するラベル付けをしたIHM位相像を教師データとして学習することで作成した識別器のほかに、背景領域、未分化細胞領域、及び未分化逸脱細胞領域の三つの(又はそれ以上の複数種類)の領域に対応するラベル付けをしたIHM位相像を教師データとして学習することで作成した識別器を使用することができる。さらにまた、細胞領域だけでなく、ゴミなどの異物が存在している領域や、干渉縞などのように画像上で何らかの特徴的な模様が存在する領域なども、それらを特徴領域としてラベル付けして識別器を作成することができる。このような互いに異なる識別器は、解析の目的や細胞の状態等に応じて使い分けることができる。
<指標値の時間的変化の状況の表示>
上述したような解析処理が終了したあと、ユーザーが入力部3で所定の操作を行うと、表示処理部28は、直近の解析結果と、同じ培養プレート12についての過去の解析結果とに基づいて、解析結果の時間的な変化を示すグラフを作成して表示部4に表示する(ステップS)。図10は、ウェル毎の細胞密集度(ウェルの内部面積に対する細胞面積の割合)の時間的な変化を示すグラフを表示させた一例である。
解析結果表示画面120には、上記のようにIHM位相像を表示する際に、そのIHM位相像に、領域抽出結果であるセグメンテーション画像を重ね合わせるか否かを選択するための切替ボタン124が配置されている。この切替ボタン124による選択に応じて、IHM位相像のみを表示するのか、或いは、IHM位相像に半透明のセグメンテーション画像を重ねた合成画像を表示するのか、を切り替えることができる。ユーザーが解析結果表示画面120上でこうした選択を行ったうえで、時間経過グラフ122上で任意のプロット点を選択指示することにより、効率良く、目的とする細胞観察画像を表示させることができる。
以上のようにして本実施形態の細胞解析装置では、細胞を鮮明に観察可能であるIHM位相像に基づいて細胞領域などを抽出するために、ウェル毎に異なる種類の識別器を用いることができる。それにより、細胞の種類、培養条件(培地の種類、温度、時間、分化誘導剤の種類など)、細胞の密度など、様々な条件がウェル毎に相違する場合であっても、各ウェルに対応するIHM位相像から細胞領域などを良好に抽出することができる。それにより、ウェル毎に、細胞領域が占める面積などの、細胞培養の状況を把握するための指標値を精度良く算出することができ、例えば培養条件の適否や培養の継代のタイミングの判断を適切に且つ容易に行うことができる。
また、この識別器選択画面130では、解析範囲指定欄135において、当該ウェルの中で領域抽出処理を実行する対象の領域を、ウェルの中心からの直径で以て指定できるようになっている。図11に示した例では、当該ウェルに対応するIHM位相像においてウェルの中心から直径が30mmである円形状の領域に対してのみ、指定された識別器を用いた領域抽出処理が実施され、その円形状の領域の外側の領域に対しては領域抽出処理は実施されない。このように、この実施形態の細胞解析装置では、ウェル毎に、領域抽出処理に使用する識別器の種類とその領域抽出処理の対象の領域の大きさとを一組として指定することができる。そうした指定のあと、ユーザーが「パラメータ設定」ボタン136をクリック操作すると、その時点で指定されている識別器や解析範囲が確定し、そのウェルに対して登録される。
図12は、さらに他の実施形態の細胞解析装置における識別器選択画面140を示す図である。図12に示した識別器選択画面140には、その左側に、図6中のウェル対応識別器リスト111と同じウェル対応識別器リスト141が配置されている。一方、右側には、一部のIHM位相像に対する領域抽出結果を示すセグメンテーション画像がプレビュー画像147として表示される。
即ち、ユーザーがウェル対応識別器リスト141で或るウェル番号に対する識別器の種類を選択し、ウェル番号をクリック操作することで選択指示したうえで「選択したウェル番号をプレビュー」ボタン146をクリック操作する。すると、これを受けて特定領域抽出部25は、指定されたウェル番号を付されたウェルに対応するIHM位相像の中で、そのウェルの中心に位置する一つの撮像単位に対応するIHM位相像を部分観察画像として選択する。そして、その部分観察画像に対し、指定されている識別器を使用した領域抽出処理を実行し、その一つの撮像単位におけるセグメンテーション画像を取得する。表示処理部28はこのセグメンテーション画像をプレビュー画像147として識別器選択画面140内に表示する。このときには、IHM位相像全体ではなく一つの撮像単位におけるIHM位相像に対する領域抽出処理を実行するだけであるので、短時間で領域抽出処理を終了してセグメンテーション画像を得ることができる。
なお、特定領域抽出部25は、部分観察画像として、指定されたウェル番号を付されたウェルに対応するIHM位相像の中で、そのウェルの中心に位置する一つの撮像単位に対応するIHM位相像ではなく、そのウェルに対応するIHM位相像の中で、ユーザーにより指定された位置の撮像単位に対応するIHM位相像を選択するようにしてもよい。
ユーザーは表示されたプレビュー画像147を確認し、選択した識別器が適切であるか否かを判断する。そして、必要に応じて識別器の選択を変更し、再度、プレビュー画像を確認する。ユーザーは、選択した識別器を使用した領域抽出処理の結果であるセグメンテーション画像を確認することができるので、適切な識別器を容易に且つ確実に選択することができる。そうして、全てのウェルについて識別器を選択したうえで「解析実行」ボタン145をクリック操作すると、特定領域抽出部25は各ウェルについてウェル全体のIHM位相像に基づく領域抽出処理を実行しセグメンテーション画像を取得する。
なお、プレビュー画像147としては、一つの撮像単位に対応するセグメンテーション画像の代わりに、そのセグメンテーション画像とIHM位相像とを重ね合わせた画像を表示するようにしてもよい。
図13は、さらに他の実施形態の細胞解析装置における識別器選択画面150を示す図である。図13に示した識別器選択画面150の左側には、図11に示した識別器選択画面130の内容が配置されている。一方、その右側には、部分的なIHM位相像158とそのIHM位相像に対する領域抽出結果を示すセグメンテーション画像159とが横に並べてプレビュー画像として表示される。
即ち、ユーザーは上述したように自動選択又は手動選択によって一つのウェルに対応する識別器を選択したうえで、「プレビュー」ボタン157をクリック操作する。すると、これを受けて特定領域抽出部25は、そのときのウェルに対応するIHM位相像の中で、そのウェルの中心に位置する一つの撮像単位に対応するIHM位相像を部分観察画像として選択する。そして、その部分観察画像に対し指定されている識別器を使用した領域抽出処理を実行し、その一つの撮像単位におけるセグメンテーション画像を取得する。表示処理部28はこのセグメンテーション画像159と元の部分観察画像である部分的なIHM位相像158とを識別器選択画面150内に並べて表示する。
ユーザーは表示された二つの画像158、159を見比べて、選択した識別器が適切であるか否かを判断する。そして、必要に応じて識別器の選択を変更し、再度、プレビュー画像を確認する。ユーザーは、選択した識別器を使用した領域抽出処理の結果であるセグメンテーション画像を確認することができるので、適切な識別器を容易に且つ確実に選択することができる。もちろん、識別器選択画面150において、IHM位相像とセグメンテーション画像とを並べて表示するのではなく、重ね合わせて表示してもよい。
本発明の第1の態様において、機械学習の手法は教師あり機学習であれば特に限定されず、例えば、多層ニューラルネットワークを用いたディープラーニング、サポートベクターマシンなど、様々な周知の手法を用いることができる。また、判別分析、回帰分析など広義の機学習に含めることができる多変量解析でもよい。
本発明の第6の態様では、第1〜第3の態様のいずれか一つの細胞解析装置において、
前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、該表示画面にはプレビュー画像を作成する操作子が設けられ、
前記操作子の操作を受けて、前記特定領域抽出部は、前記画像取得部により得られた観察画像の中の所定の一つの培養容器に対応する観察画像の一部分について、該培養容器に対し選択されている識別器を用いて特定領域を抽出する処理を実行し、
前記識別選択部はその特定領域の抽出結果を示すプレビュー画像を前記表示画面内又は該表示画面とは別の画面に表示するものとすることができる。
本発明の第10の態様では、第6の態様の細胞解析装置において、
前記画像取得部は、
所定範囲の撮像単位に対する撮影を、その撮影位置を移動させつつ繰り返し実行することにより、撮影対象領域全体に亘るホログラムデータを取得するホログラフィック顕微鏡と、
前記ホログラムデータを用いた所定の演算処理により、複数の前記撮像単位にそれぞれ対応する、位相情報、強度情報又はそれら両方の要素を含む情報のいずれかの空間分布を示す複数の部分画像を繋ぎ合わせた画像を細胞の観察画像として作成する画像再構成部と、
を含み、
前記プレビュー画像は前記複数の部分画像のうちの一つに対する特定領域の抽出結果を示すものである。

Claims (14)

  1. 培養容器中で培養されている細胞を解析するための細胞解析装置であって、
    細胞の観察画像から細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
    複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
    前記複数の培養容器のそれぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
    前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で培養容器毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
    を備える細胞解析装置。
  2. 前記画像取得部は、
    撮影対象領域に亘るホログラムデータを取得するホログラフィック顕微鏡と、
    前記ホログラムデータを用いた所定の演算処理により、位相情報、強度情報又はそれら両方の要素を含む情報のいずれかの空間分布を示す画像を細胞の観察画像として作成する画像再構成部と、
    を含む、請求項1に記載の細胞解析装置。
  3. 前記複数の識別器は、細胞の種類、培養条件、細胞密度、又は、特定領域の種類のうちの少なくとも一つの項目について異なる複数の条件の教師データを用いた機械学習により作成されたものであり、
    ユーザーが、培養容器毎に、細胞の種類、培養条件、細胞密度、又は、特定領域の種類のうちの少なくとも一つの項目についての条件を入力するための選択条件設定部、をさらに備え、
    前記識別器選択部は、前記選択条件設定部により設定された条件に基づいて、培養容器毎に、前記複数の識別器の少なくとも一つを選択する、請求項1に記載の細胞解析装置。
  4. 前記複数の識別器は、細胞の種類、培養条件、細胞密度、又は、特定領域の種類のうちの少なくとも一つの項目について異なる複数の条件の教師データを用いた機械学習により作成されたものであり、
    前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、前記表示画面において、ユーザーが識別器を選択するための参照情報が表示されるようにした、請求項1に記載の細胞解析装置。
  5. 前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、前記表示画面は、識別器を選択する対象である培養容器に対応する細胞の観察画像の少なくとも一部を含む、請求項1に記載の細胞解析装置。
  6. 前記識別器選択部は、ユーザーが、培養容器毎に前記複数の識別器の一つを選択するための表示画面を表示部に表示し、該表示画面上での指示に応じて識別器を選択するものであり、該表示画面にはプレビュー画像を作成する操作子が設けられ、
    前記操作子の操作を受けて、前記特定領域抽出部は、前記画像取得部により得られた観察画像の中の所定の一つの培養容器に対応する観察画像の一部分について、該培養容器に対し選択されている識別器を用いて特定領域を抽出する処理を実行し、
    前記識別選択部はその特定領域の抽出結果を示すプレビュー画像を前記表示画面内又は該表示画面とは別の画面に表示する、請求項1に記載の細胞解析装置。
  7. 前記所定の撮影対象領域に亘る細胞の観察画像は、それぞれ異なる複数の部分観察画像を繋ぎ合わせて作成されたものであり、前記プレビュー画像は該複数の部分観察画像のうちの一つに対する特定領域の抽出結果を示すものである、請求項6に記載の細胞解析装置。
  8. 前記プレビュー画像は、特定領域の抽出結果を示すセグメンテーション画像と、その同じ範囲の観察画像と、を重ね合わせた画像である、請求項6に記載の細胞解析装置。
  9. 前記プレビュー画像は特定領域の抽出結果を示すセグメンテーション画像であり、該セグメンテーション画像とその同じ範囲の観察画像と、を並べて表示する、請求項6に記載の細胞解析装置。
  10. 前記画像取得部は、
    所定範囲の撮像単位に対する撮影を、その撮影位置を移動させつつ繰り返し実行することにより、撮影対象領域全体に亘るホログラムデータを取得するホログラフィック顕微鏡と、
    前記ホログラムデータを用いた所定の演算処理により、複数の前記撮像単位にそれぞれ対応する、位相情報、強度情報又はそれら両方の要素を含む情報のいずれかの空間分布を示す部分画像を繋ぎ合わせた画像を細胞の観察画像として作成する画像再構成部と、
    を含み、
    前記プレビュー画像は前記複数の部分画像のうちの一つに対する特定領域の抽出結果を示すものである、請求項6に記載の細胞解析装置。
  11. 前記細胞が存在する特定領域は、未分化細胞、未分化逸脱細胞、死滅した細胞のうちのいずれか一つが存在する領域、又はそれらのうちの複数が存在する領域である、請求項1に記載の細胞解析装置。
  12. 培養容器中で培養されている細胞を解析するための細胞解析装置であって、
    細胞の観察画像から細胞が存在する又は特徴的な細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
    複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
    培養されている細胞の種類毎及び/又は培養条件毎に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
    前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、該画像における培養容器中の細胞の種類及び/又は培養条件に応じて、前記識別器選択部で選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
    を備える細胞解析装置。
  13. 培養容器中で培養されている細胞を解析するための細胞解析装置であって、
    細胞の観察画像から細胞が存在する又は特徴的な細胞が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
    1又は複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
    前記1又は複数の培養容器内でユーザーにより設定された複数の解析範囲それぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
    前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で解析範囲毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
    を備える細胞解析装置。
  14. 培養容器中で培養されている細胞を解析するための細胞解析装置であって、
    細胞の観察画像から異物が存在する特定領域を抽出するために、異なる教師データをそれぞれ機械学習することで作成された、互いに異なる種類の複数の識別器と、
    複数の培養容器を含む所定の撮影対象領域に亘る細胞の観察画像を取得する画像取得部と、
    前記複数の培養容器のそれぞれに対し独立に、前記複数の識別器の少なくともいずれか一つを選択する識別器選択部と、
    前記画像取得部により得られた観察画像の全体又はその一部の画像に対し、前記識別器選択部で培養容器毎に選択された識別器を用いて特定領域を抽出する特定領域抽出部と、
    を備える細胞解析装置。
JP2021506110A 2019-03-20 2019-03-20 細胞解析装置 Active JP7006833B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011855 WO2020188814A1 (ja) 2019-03-20 2019-03-20 細胞解析装置

Publications (2)

Publication Number Publication Date
JPWO2020188814A1 true JPWO2020188814A1 (ja) 2021-12-02
JP7006833B2 JP7006833B2 (ja) 2022-01-24

Family

ID=72520806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506110A Active JP7006833B2 (ja) 2019-03-20 2019-03-20 細胞解析装置

Country Status (2)

Country Link
JP (1) JP7006833B2 (ja)
WO (1) WO2020188814A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023209853A1 (ja) * 2022-04-27 2023-11-02 ローツェ株式会社 継代タイミング判定方法、継代タイミング判定システムおよび細胞培養システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137627A (ja) * 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
WO2018101004A1 (ja) * 2016-12-01 2018-06-07 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
WO2018105432A1 (ja) * 2016-12-06 2018-06-14 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
WO2018158901A1 (ja) * 2017-03-02 2018-09-07 株式会社島津製作所 細胞解析方法及び細胞解析装置
WO2018180206A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2018235251A1 (ja) * 2017-06-23 2018-12-27 株式会社ニコン 解析装置、解析プログラム及び解析方法
WO2019016169A1 (en) * 2017-07-16 2019-01-24 Imec Vzw RECOGNITION OF CELLS
WO2019039035A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 判別器の学習装置、方法およびプログラム、並びに判別器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137627A (ja) * 2011-12-28 2013-07-11 Olympus Corp 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
WO2018101004A1 (ja) * 2016-12-01 2018-06-07 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
WO2018105432A1 (ja) * 2016-12-06 2018-06-14 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
WO2018158901A1 (ja) * 2017-03-02 2018-09-07 株式会社島津製作所 細胞解析方法及び細胞解析装置
WO2018180206A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2018235251A1 (ja) * 2017-06-23 2018-12-27 株式会社ニコン 解析装置、解析プログラム及び解析方法
WO2019016169A1 (en) * 2017-07-16 2019-01-24 Imec Vzw RECOGNITION OF CELLS
WO2019039035A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 判別器の学習装置、方法およびプログラム、並びに判別器

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"CNNを用いた細胞輪郭抽出について", 電気学会研究会資料, vol. PI-17-44, IIS-17-73, JPN6019018653, 27 March 2017 (2017-03-27), JP, pages 67 - 71, ISSN: 0004658968 *
"位相差顕微鏡による細胞画像の領域分割と特徴量抽出", 電子情報通信学会技術研究報告, vol. 111, no. 389, JPN6019018650, 2012, JP, pages 343 - 348, ISSN: 0004658969 *
"回帰型CNNを用いたiPS細胞の分化・未分化検出", 電子情報通信学会技術研究報告, vol. 117, no. 442, JPN6019018662, 2018, JP, pages 109 - 114, ISSN: 0004658972 *
"培養細胞の自動品質判定アルゴリズムの開発", 電子情報通信学会技術研究報告, vol. 115, no. 401, JPN6019018659, 2016, JP, pages 277 - 282, ISSN: 0004658971 *
"機械学習を用いた培養細胞の自動品質判定アルゴリズムの開発", 電子情報通信学会技術研究報告, vol. 116, no. 393, JPN6019018657, 2017, JP, pages 101 - 106, ISSN: 0004658970 *

Also Published As

Publication number Publication date
WO2020188814A1 (ja) 2020-09-24
JP7006833B2 (ja) 2022-01-24

Similar Documents

Publication Publication Date Title
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP6981533B2 (ja) 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
JP6975474B2 (ja) 空気試料の自動分析を実行するためのシステム及び方法
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
CN103885168B (zh) 用于显微镜装置的自校准的方法
JP5783043B2 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
KR20210113236A (ko) 병리학 시료의 자동화된 이미징 및 분석을 위한 컴퓨터 사용 현미경 검사 기반의 시스템 및 방법
JP7006832B2 (ja) 細胞解析装置
JP6949875B2 (ja) 試料中に存在する粒子を取得するためのデバイスおよび方法
JP7428173B2 (ja) 細胞観察装置及び細胞観察方法
CN111837157A (zh) 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JPH09509487A (ja) 細胞試料自動分類装置及び方法
JP7070656B2 (ja) 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
CN114127307A (zh) 细胞图像解析方法和细胞图像解析装置
JP7006833B2 (ja) 細胞解析装置
JP2021078356A (ja) 細胞解析装置
JP6947288B2 (ja) 細胞観察装置及び細胞観察用プログラム
JP2011027543A (ja) 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
WO2019043953A1 (ja) 細胞観察装置
JP7147982B2 (ja) 細胞立体形状評価方法及び細胞観察装置
JP7036192B2 (ja) 細胞観察装置
CN117115636B (zh) 一种藻类与浮游生物分析方法、分析仪、介质及设备
WO2023195405A1 (ja) 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
US20230129540A1 (en) Cell analyzer device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220