JPWO2018066039A1 - 解析装置、解析方法、及びプログラム - Google Patents

解析装置、解析方法、及びプログラム Download PDF

Info

Publication number
JPWO2018066039A1
JPWO2018066039A1 JP2018543495A JP2018543495A JPWO2018066039A1 JP WO2018066039 A1 JPWO2018066039 A1 JP WO2018066039A1 JP 2018543495 A JP2018543495 A JP 2018543495A JP 2018543495 A JP2018543495 A JP 2018543495A JP WO2018066039 A1 JPWO2018066039 A1 JP WO2018066039A1
Authority
JP
Japan
Prior art keywords
cell
cells
feature
living
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018543495A
Other languages
English (en)
Inventor
博忠 渡邉
博忠 渡邉
信彦 米谷
信彦 米谷
俊輔 武居
俊輔 武居
拓郎 西郷
拓郎 西郷
真美子 舛谷
真美子 舛谷
伸一 古田
伸一 古田
真史 山下
真史 山下
聖子 山▲崎▼
聖子 山▲崎▼
洋介 大坪
洋介 大坪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018066039A1 publication Critical patent/JPWO2018066039A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • Medicinal Chemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Hematology (AREA)
  • Food Science & Technology (AREA)
  • Biophysics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Urology & Nephrology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

解析装置は、生細胞が撮像された画像に基づいて生細胞の特徴量を抽出する生細胞特徴量抽出部と、生細胞を固定した細胞が撮像された画像に基づいて固定細胞の特徴量を抽出する固定細胞特徴量抽出部と、生細胞特徴量抽出部により抽出される生細胞の特徴量と、固定細胞特徴量抽出部により抽出される固定細胞の特徴量とを対応づける演算部と、を備える。

Description

本発明の実施形態は、解析装置、解析方法、及びプログラムに関するものである。
生物科学や医学等において、生物の健康や疾患等の状態は、例えば、細胞や細胞内の小器官等の状態と関連性があることが知られている。そのため、細胞内或いは細胞間で伝達される情報の伝達経路を解析することは、例えば、工業用途でのバイオセンサーや、疾病予防を目的とした製薬等の研究に役立てることができる。
細胞や組織片等に関する種々の解析技術に関して、例えば、画像処理を用いた技術が知られている(例えば、特許文献1参照)。
米国特許公開20140099014号
しかしながら、細胞の生きた状態と固定された状態の両方の特徴量の相関を解析するのは難しい。
本発明は、上記問題に鑑みてなされたものであり、解析装置、解析方法、及びプログラムを提供することを目的とする。
上記問題を解決するために、本発明の一態様は、刺激に対する細胞内の特徴量の相関を解析する解析装置であって、生細胞が撮像された画像に基づいて生細胞の特徴量を抽出する生細胞特徴量抽出部と、生細胞を固定した細胞が撮像された画像に基づいて固定細胞の特徴量を抽出する固定細胞特徴量抽出部と、生細胞特徴量抽出部により抽出される生細胞の特徴量と、固定細胞特徴量抽出部により抽出される固定細胞の特徴量とを対応づける演算部と、を備える。
本発明の実施形態によれば、生細胞の特徴量と該生細胞に対応する固定した細胞の特徴量の相関を解析することができる。
実施形態に係る顕微鏡観察システムの構成の一例を示す模式図である。 実施形態に係る解析装置が備える各部の機能構成の一例を示すブロック図である。 実施形態に係る解析装置の演算部の演算手順の一例を示す流れ図である。 実施形態に係る顕微鏡観察システムによって撮像される細胞画像の一例を示す図である。 実施形態に係る顕微鏡観察システムによって撮像される細胞画像に付与されるラベルの一例を示す図である。 ラベルを付与した細胞画像と、細胞のタイムラプス画像とのマッチングの一例を示す図である。 実施形態に係る解析装置が出力する細胞内の構造物のネットワークの一例を示す図である。 実施形態に係る解析装置が出力する細胞内の構造物のネットワークの一例を示す図である。 実施形態に係る解析装置が出力する収縮周期等の動的特徴量と、タンパク質等のノードの発現との関係を示す図である。 実施形態に係る顕微鏡観察システムによって実行される細胞の解析例(その1)のフローを示す図である。 実施形態に係る顕微鏡観察システムによって実行される細胞の解析例(その2)のフローを示す図である。 実施形態に係る解析装置が出力する細胞内の構造物のネットワークの一例を示す図である。 実施形態に係る顕微鏡観察システムによって実行される細胞の解析例(その3)のフローを示す図である。 細胞内構成要素アノテーション・データベースの一例を示す表である。 特徴量アノテーション・データベースの一例を示す表である。
[第1の実施形態]
以下、図面を参照して、本発明の実施形態について説明する。図1は、本発明の実施形態に係る顕微鏡観察システム1の構成の一例を示す模式図である。
顕微鏡観察システム1は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。
顕微鏡観察システム1は、解析装置10と、顕微鏡装置20と、表示部30とを備える。
顕微鏡装置20は、生物顕微鏡であり、電動ステージ21と、撮像部22とを備える。電動ステージ21は、所定の方向(例えば、水平方向の二次元平面内のある方向)に、撮像対象物の位置を任意に稼働可能である。
撮像部は、CCD(Charge-Coupled Device)やCMOS(Complementary MOS)PMT(Photomultiplier Tube)などの撮像素子を備えており、電動ステージ21上の撮像対象物を撮像する。なお、顕微鏡装置20に電動ステージ21を備えていなくてもよく、ステージが所定方向に稼働しないステージとしても構わない。
より具体的には、顕微鏡装置20は、例えば、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡、ライトシート顕微鏡、ライトフィールド顕微鏡等の機能を有する。
顕微鏡装置20は、電動ステージ21上に載置された培養容器を撮像する。この培養容器には、例えば、ウェルプレートWPやスライドチャンバ―などがある。顕微鏡装置20は、ウェルプレートWPが有する多数のウェルWの中に培養された細胞に光を照射することで、細胞を透過した透過光を細胞の画像として撮像する。これによって、顕微鏡装置20は、細胞の透過DIC画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。
さらに、細胞に蛍光物質を励起する励起光を照射することで、顕微鏡装置20は、生体物質から発光される蛍光を細胞の画像として撮像する。
本実施形態では、細胞を生きたまま染色し、タイムラプス撮影することで、細胞刺激後の細胞の変化画像を取得する。本実施形態においては、蛍光融合タンパク質を発現させるか、もしくは細胞を生きたままで化学試薬などで染色するなどし、細胞画像を取得する。更に別の本実施形態では、細胞を固定して染色し、細胞画像を取得する。固定された細胞は代謝が止まる。したがって、細胞に刺激を加えた後、細胞内の経時変化を固定細胞で観察する場合には、細胞を播種した複数の細胞培養容器を用意する必要がある。例えば、細胞に刺激を加え、第1時間後の細胞の変化と、第1時間とは異なる第2時間後の細胞の変化を観察したい場合がある。この場合には、細胞に刺激を加えて第1時間を経過した後に、細胞を固定して染色し、細胞画像を取得する。
一方、第1時間での観察に用いた細胞とは異なる細胞培養容器を用意し、細胞に刺激を加え第2時間を経過した後に、細胞を固定し、染色して、細胞画像を取得する。これにより、第1時間の細胞の変化と、第2時間での細胞の変化とを観察することで、細胞内の経時変化を推定することができる。また、第1時間と第2時間との細胞内の変化を観察することに用いる細胞の数は1つに限られない。したがって、第1時間と第2時間とで、それぞれ複数の細胞の画像を取得することになる。例えば、細胞内の変化を観察する細胞の数が、1000個だった場合には、第1時間と第2時間とで2000個の細胞を撮影することになる。したがって、刺激に対する細胞内の変化の詳細を取得しようとする場合には、刺激からの撮像するタイミング毎に、複数の細胞画像が必要となり、大量の細胞画像が取得される。
また、顕微鏡装置20は、生体物質内に取り込まれた発色物質そのものから発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した細胞の画像として撮像してもよい。これにより、顕微鏡観察システム1は、蛍光画像、共焦点画像、超解像画像、二光子励起蛍光顕微鏡画像を取得することができる。
なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、細胞の画像を取得する方法は、電子顕微鏡でも構わない。また、細胞の画像は、異なる方式により得られた画像を用い、相関を取得しても構わない。すなわち、細胞の画像の種類は適宜選択しても構わない。
本実施形態における細胞は、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は、細胞の集合体や組織試料、臓器、個体(動物など)を用い観察し、細胞を含む画像を取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよい。細胞の状態は、“in-vitro”であっても構わない。勿論、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
また、細胞を、化学発光或いは蛍光タンパク質(例えば、導入された遺伝子(緑色蛍光タンパク質(GFP)など)から発現された化学発光或いは蛍光タンパク質)で処理し、観察しても構わない。あるいは、細胞を、免疫染色や化学試薬による染色を用いて観察しても構わない。それらを組み合わせて観察しても構わない。例えば、細胞内の核内構造(例えば、ゴルジ体など)を判別する種類に応じて、用いる発光タンパク質を選択することも可能である。
また、これらの細胞を観察する手段、細胞を染色する方法などの相関取得を解析するための前処理は、目的に応じて適宜選択しても構わない。例えば、細胞の動的挙動を得る場合に最適な手法により細胞の動的な情報を取得して、細胞内のシグナル伝達を得る場合には最適な手法により細胞内のシグナル伝達に関する情報を取得しても構わない。これら、目的に応じて選択される前処理が異なっていても構わない。
また、目的に応じて選択される前処理の種類が少なくなるようにしても構わない。例えば、細胞の動的挙動を取得する手法と細胞内のシグナル伝達を取得する手法とがそれぞれ、最適な手法が異なる場合であっても、それぞれ異なる手法でそれぞれの情報を取得することは煩雑となるために、それぞれの情報を取得するのに十分な場合には、最適手法とは異なり、それぞれが共通する手法で行っても構わない。
ウェルプレートWPは、1個ないし複数のウェルWを有する。この一例では、ウェルプレートWPは、8×12の96個のウェルWを有する。ウェルプレートWPの数はこれに限られない、図1に記載される6×9の54個のウェルWを有していても構わない。細胞は、ウェルWの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、濃度、量、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数、細胞内の分子の挙動、オルガネラの形態や挙動、各形体、核内構造体の挙動、DNA分子の挙動等を示す特徴である。
図2は、本実施形態の解析装置10が備える各部の機能構成の一例を示すブロック図である。解析装置10は、顕微鏡装置20によって取得された画像を解析するコンピュータ装置である。
解析装置10は、演算部100と、記憶部200と、結果出力部300と、操作検出部400とを備える。
演算部100は、プロセッサが記憶部200に格納されたプログラムを実行することにより機能する。また、これらの演算部100の各機能部のうちの一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、GPGPU(General-Purpose computing on Graphics Processing Units)等のハードウェアによって構成されていてもよい。演算部100は、生細胞抽出部101と、細胞画像特定部102と、細胞画像取得部103と、固定細胞抽出部104と、特徴量算出部105と、相関算出部106aと、相関抽出部106bと、作成部107とを備える。生細胞特徴量抽出部100aは、生細胞抽出部101と細胞画像特定部102とを備える。また、固定細胞特徴量抽出部100bは、細胞画像取得部103と固定細胞抽出部104とを備える。
生細胞特徴量抽出部100aは生細胞の特徴量を抽出する。生細胞抽出部101は、撮像部22によって撮像された生細胞の画像を取得し、取得した生細胞の画像に基づいて生細胞の特徴量を抽出する。例えば、生細胞抽出部101は、所定の時間間隔で撮像した複数の画像の各々を観察することによって、細胞の収縮、心拍拍動周期、細胞移動速度、元気な細胞や死につつある細胞の指標である核内クロマチンの凝集度の変化、神経細胞の突起の数や長さの変化率、神経細胞のシナプスの数、膜電位変化などの神経活動、細胞内カルシウム濃度変化、2次メッセンジャーの活動度、オルガネラの形態変化、細胞内の分子の挙動、核形態、核内構造体の挙動、DNA分子の挙動等の動的な特徴量を抽出するようにしてもよい。これら特徴量抽出方法は、例えばフーリエ変換、ウェーブレット変換、時間微分を用い、ノイズ除去のために移動平均を用いる。以下、所定の時間間隔で撮像することによって観察することを「ライブ観察」という。生細胞抽出部101は、生細胞の特徴量を抽出した細胞の位置情報等の細胞を示す情報と生細胞の特徴量を細胞画像特定部102へ供給する。
細胞画像特定部102は、生細胞抽出部101によって供給される細胞を示す情報に基づいて、該細胞を示す情報によって示される細胞を特定する。例えば、細胞画像特定部102は、細胞を示す情報によって示される細胞を画像処理することによって、該細胞の画像にラベルを付与する。さらに、細胞画像特定部102は、ラベルを付与した細胞の画像を、生細胞特徴量を用いて複数のグループへ分類する。これら分類方法は、例えばクラスタリング等の判別、識別手法を用いる。また、細胞の動きを追跡するために画像処理による局所特徴量を用いてもよい。細胞画像特定部102は、固定細胞抽出部104へ、複数のグループの各々に含まれるラベルを付与した細胞の画像情報を供給する。
固定細胞特徴量抽出部100bは、固定細胞の特徴量を抽出する。固定細胞の特徴量を算出するための情報を、特徴量算出部105に提供する。細胞画像取得部103は、撮像部22によって撮像された固定した細胞の画像を取得し、取得した細胞の画像を固定細胞抽出部104へ供給する。固定した細胞は生細胞が固定された細胞を用いる。細胞画像取得部103は、生細胞に与えた刺激から所定の時間間隔ずらした上で固定し、染色した画像を取得する。この場合は、細胞培養時間が異なる画像が含まれていることになる。
また、細胞を観測するために、細胞に予め処理した後に、細胞を観察しても構わない。勿論、細胞を観察するために、細胞に処理しない状態で細胞を観察しても構わない。細胞を観察する場合には、細胞を免疫染色により染色し、観察しても構わない。
例えば、細胞内の核内構造において判別する要素(例えば、ゴルジ体)毎に、用いる染色液を選択することが可能である。また、染色方法に関しては、あらゆる染色方法を用いることができる。例えば、主に組織染色に用いられる各種特殊染色、塩基配列の結合を利用したハイブリダイゼーションなどがある。
固定細胞抽出部104は、細胞画像特定部102から細胞の画像を取得する。細胞画像特定部102は、生細胞の画像にラベルを付与する。固定細胞抽出部104は、細胞画像特定部102でラベルを付与した細胞に相当する固定細胞の画像を特定する。固定細胞抽出部104は、複数の固定細胞の画像の中から、細胞画像特定部102でラベルを付与した細胞を固定した細胞画像を抽出する。そして、固定細胞抽出部104は、抽出した細胞の画像を特徴量算出部105へ供給する。
特徴量算出部105は、固定細胞抽出部104が供給する細胞の画像に基づいて、複数種類の特徴量を算出する。この特徴量には、細胞画像の輝度、画像中の細胞面積、画像中の細胞画像の輝度の分散、形などが含まれる。すなわち、特徴量は、撮像される細胞画像から取得される情報から導出される特徴である。例えば、特徴量算出部105は、取得される画像における輝度分布を算出する。
特徴量算出部105は、生細胞抽出部101で抽出される特徴量と、特徴量算出部105で抽出される特徴量とをそれぞれ対応づけて、相関算出部106aに送付する。すなわち、特徴量算出部105は、細胞画像特定部102でラベルを付与した細胞から抽出される生細胞特徴量と、特徴量算出部105で抽出される特徴量とを対応づける。これにより、生細胞で特徴量を抽出したのちに、その生細胞の特徴量と、固定した細胞での特徴量とを対応付けることが可能となる。
特徴量算出部105は、細胞への刺激を加えてから第1時間経過した後、撮像した生細胞の特徴量と固定細胞の特徴量を算出する。さらに、特徴量算出部105は、細胞への刺激を加えてから第2時間経過した後、撮像した生細胞の特徴量と固定細胞の特徴量を算出する。このように、特徴量算出部105は、細胞への刺激に対する時系列で異なる画像を取得する。本実施形態においては、第1時間経過した後に画像の撮像に用いる細胞と、第2時間経過した後に画像の撮像に用いる細胞とは異なる。なお、第1時間経過した後に画像の撮像に用いる細胞と、第2時間経過した後に画像の撮像に用いる細胞とは同一であっても構わない。特徴量算出部105は、取得された画像から、特徴量の変化を算出する。特徴量算出部105は輝度分布や輝度分布の位置情報を特徴量としてもよい。
なお、本実施形態では、特徴量算出部105は、刺激に対する時系列で異なる画像を取得し、特徴量の時系列変化を算出しているが、これに限られない。例えば、特徴量算出部105は、刺激を加えてからの時間を固定とし、加える刺激の大きさを変化させ、刺激の大きさの変化による特徴量の変化を算出するようにしても構わない。
また、特徴量算出部105は、撮像される細胞画像から、変化が認められない場合は、変化しないことも特徴量の変化としても構わない。
相関算出部106aは、特徴量算出部105が供給する特徴量に基づいて相関を算出する。本実施形態においては、固定細胞画像から求められる固定細胞の特徴量と、生細胞の特徴量から、特徴量同士の相関を算出する。
相関抽出部106bは、相関算出部106aにより算出される相関から、所定の相関を抽出する。相関抽出部106bにより、相関算出部106aが算出した相関から、一部の相関を抽出することができる。
作成部107は、相関抽出部106bが抽出した特定の相関について、操作検出部400によって供給される操作信号にしたがって、ネットワーク画像を作成する。例えば、作成部107は、特徴量間の相関を表すネットワーク画像を作成する。ネットワーク画像によって表されるネットワークの要素には、ノード、エッジ、サブグラフ(クラスタ)、リンクが含まれる。ネットワークの特徴には、ハブの有無、クラスタの有無、ボトルネックなどが含まれる。例えば、あるノードがハブを有するか否かは、偏相関行列の値に基づいて判定することができる。ここで、ハブとは、他の特徴量との相関関係の数が比較的多い特徴量のことである。
あるノードにハブが存在する場合、そのハブである特徴量、又は、そのハブを含むノードが、生物学的に重要な意味を持つことが考えられる。したがって、ハブの存在の発見は、重要なタンパク質や、重要な特徴量の発見につながることがある。つまり、相関算出部106aによるスパース推定結果を利用することにより、重要なタンパク質や、重要な特徴量の発見に寄与することができる。作成部107は、作成したネットワーク画像を結果出力部300へ出力する。
結果出力部300は、作成部107によって作成されたネットワーク画像を表示部30に出力する。なお、結果出力部300は、作成部107によって作成されたネットワーク画像を、表示部30以外の出力装置や、記憶装置などに出力してもよい。
操作検出部400は、解析装置10に対して行われた操作を検出し、該操作を表す操作信号を、作成部107へ供給する。
表示部30は、結果出力部300が出力するネットワーク画像を表示する。
上述した演算部100の具体的な演算手順について、図3を参照して説明する。
図3は、本実施形態の演算部100の演算手順の一例を示す流れ図である。なお、ここに示す演算手順は一例であって、演算手順の省略や演算手順の追加が行われてもよい。
演算部100は、細胞が撮像された細胞画像を用い、細胞画像の複数種類の特徴量を抽出し、抽出された特徴量同士の変化が相関しているかどうかを演算する。すなわち、演算部100は、所定の特徴量の変化に対して、相関して変化する特徴量を算出する。算出した結果、特徴量の変化が相関している間に、演算部100は、相関があったと判定する。なお、特徴量同士に相関があることを、相関関係があると呼んでも構わない。
撮像部22は生細胞画像に関する画像を取得する(ステップS10)。撮像部22により撮像された画像を取得する演算部100は、画像から細胞に相当する領域を抽出する。例えば、生細胞抽出部101は、細胞画像から輪郭を抽出し、細胞に相当する領域を抽出する。次に、生細胞抽出部101は、抽出された細胞領域内から、生細胞に関する特徴量を抽出する。これにより、細胞画像のうち、細胞に相当する領域とそれ以外の領域と区別することが可能である。
生細胞抽出部101は、生細胞の特徴量を抽出する(ステップS20)。この生細胞には、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織が含まれている。
図4は、撮像部22が撮像した生細胞画像の一例を示す。例えば、生細胞抽出部101は、撮像部22が撮像した生細胞の画像から、生細胞の収縮等の生細胞の特徴量を抽出する。図4に示される例では、生細胞抽出部101は、生細胞の画像から、特徴量(1)、特徴量(2)、特徴量(3)、及び特徴量(4)を抽出する。生細胞抽出部101は、生細胞を含む画像から、生細胞を抽出する。本実施形態では、生細胞に由来する特徴量が抽出できる場所を、特徴量(1)、特徴量(2)、特徴量(3)、及び特徴量(4)を抽出する。
細胞画像特定部102は、生細胞抽出部101によって供給される生細胞を示す情報に基づいて、該生細胞を示す情報によって示される生細胞を画像処理することによって、該生細胞の画像にラベルを付与する。さらに、細胞画像特定部102は、ラベルを付与した生細胞の画像を複数のグループへ分類する(ステップS101)。
図5は、撮像部22が撮像した生細胞の画像に対して付与されるラベルの一例を示す。図5に示される例では、細胞画像特定部102は、ステップS10において抽出された特徴量(1)、特徴量(2)、特徴量(3)及び特徴量(4)に対して、それぞれラベル「1」、「2」、「3」及び「4」を付与する。さらに、細胞画像特定部102は、ラベルを付与した特徴量を、早い収縮である特徴量「1」及び特徴量「3」を含む第1のグループと、遅い収縮である特徴量「2」及び特徴量「4」を含む第2のグループに分類する。なお、本実施形態では、生細胞を含む画像から生細胞を抽出し、ラベルを付与したが、ラベルを付与しなくても構わない。例えば、画像に対してラベルを付与することなく、動的な特徴量を抽出できる場合には、ラベルを付与しなくても構わない。また、動的な特徴量を画像から算出したが、画像以外の方法で動的な特徴量を求めても構わない。勿論、動的な特徴量を画像から求める方法と、画像以外の方法とを組み合わせても構わない。
ステップS20で生細胞特徴量を抽出した生細胞は、固定化される。固定化された生細胞は免疫染色により染色される(ステップS30)。
細胞画像取得部103は、固定した細胞の画像を取得する(ステップS50)。
また、固定した細胞の画像には、細胞の形状情報が含まれている。
本実施形態では、一例として、細胞画像取得部103が、静止画をつないで、動画に見せるための画像(タイムラプス画像)を取得する場合について説明を続ける。
固定細胞抽出部104は、複数のグループの各々に含まれるラベルを付与した細胞の画像を、細胞画像取得部103から供給された固定した細胞の画像から特定する(ステップS60)。
図6は、ラベルを付与した細胞の画像を、細胞画像取得部103から供給された固定した細胞の画像から特定する処理の一例を示す。図6(1)はラベルを付与した細胞の画像を示し、図6(2)は細胞画像取得部103から供給された固定した細胞の画像を示す。
固定細胞抽出部104は、ラベル「1」、ラベル「2」、ラベル「3」及びラベル「4」を付与した細胞の画像を、細胞画像取得部103から供給された固定した細胞の画像から特定する。
特徴量算出部105は、ステップS50において特定した固定した細胞の画像を抽出する(ステップS60)。例えば、特徴量算出部105は、固定した細胞の画像に対して、既知の手法による画像処理を施すことにより、固定した細胞の画像を抽出する。この一例では、特徴量算出部105は、画像の輪郭抽出やパターンマッチングなどを施すことにより、固定した細胞の画像を抽出する。
次に、特徴量算出部105は、ステップS60において特定された固定細胞領域での、細胞を構成する構成要素を判定する(ステップS80)。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)や、タンパク質、セカンドメッセンジャー、mRNA、代謝産物などが含まれる。
なお、本実施形態では、用いる細胞が単一であったが、用いる細胞に複数種類がある場合には、適宜細胞の種類を特定しても構わない。例えば、撮像された画像の細胞の輪郭情報から、細胞の種類を求めても構わない。また、予め導入する細胞の種類が特定されている場合には、その情報を用い、細胞の種類を特定しても構わない。勿論、細胞の種類を特定しなくても構わない。
次に、特徴量算出部105は、ステップS80において判定された細胞の構成要素ごとに、特徴量を算出する(ステップS90)。この特徴量には、画素の輝度値、画像内のある領域の面積、画素の輝度の分散値、画像内のある領域の形などが含まれる。
また、特徴量には、細胞の構成要素に応じた複数の種類がある。一例として、細胞核の画像の特徴量には、核内総輝度値や、核の面積、核の形などが含まれる。
細胞質の画像の特徴量には、細胞質内総輝度値や、細胞質の面積、細胞質の形などが含まれる。
また、細胞全体の画像の特徴量には、細胞内総輝度値や、細胞の面積、細胞の形などが含まれる。
また、ミトコンドリアの画像の特徴量には、断片化率などが含まれる。なお、特徴量算出部105は、特徴量を、例えば0(ゼロ)から1までの間の値に正規化して算出してもよい。
また、特徴量算出部105は、固定した細胞の画像に対応付けられている細胞に対する実験の条件の情報に基づいて、特徴量を算出してもよい。例えば、細胞について抗体を反応させた場合において撮像された細胞画像の場合には、特徴量算出部105は、抗体を反応させた場合に特有の特徴量を算出してもよい。
また、細胞を染色した場合、又は細胞に蛍光タンパクを付与した場合において撮像された細胞画像の場合には、特徴量算出部105は、細胞を染色した場合、又は細胞に蛍光タンパクを付与した場合に特有の特徴量を算出してもよい。
これらの場合、記憶部200は、実験条件記憶部202を備えていてもよい。この実験条件記憶部202には、細胞画像に対応付けられている細胞に対する実験の条件の情報を、細胞画像毎に記憶される。特徴量算出部105は、ステップS20で抽出される特徴量と、ステップS90で抽出される特徴量とを対応づける(ステップS100a)。すなわち、ステップS20でラベルを付与した細胞から抽出される特徴量と、ステップS90で抽出される固定細胞特徴量とを対応づける。
さらに、刺激に対して異なる時間の細胞を作成し、ステップS10からステップS90の作業を行い、刺激に対して異なる時間の、生細胞特徴量と固定細胞特徴量とを対応づける。
刺激に対する時系列の異なる生細胞特徴量と固定細胞特徴量とを相関算出部106aに供給する。相関算出部106aは、生細胞特徴量と固定細胞特徴量との相関を算出する(ステップS100b)。算出される相関には、生細胞特徴量同士の相関、生細胞特徴量と固定細胞特徴量との相関、および固定細胞特徴量同士の相関が含まれる。
相関抽出部106bは、相関算出部106aで算出される相関のうち、一部の相関を抽出する(ステップS100c)。相関算出部106aは、特徴量の尤度に基づいて、特徴量算出部105が算出する特徴量間の複数の相関のうちから、特定の相関を抽出する。特徴量の尤度に基づいた相関の抽出方法は、例えば、スパース推定を用いる。相関を抽出する方法はこれに限られず、例えば、特徴量の相関の強さによって相関を抽出しても構わない。
以下、相関算出部106aと相関抽出部106bとが行う処理について、より具体的に説明する。
相関算出部106aは、生細胞特徴量と固定細胞特徴量から相関を算出する。これらの特徴量は細胞毎に、特徴量算出部105により算出されている。
特徴量算出部105による、あるタンパク質の特徴量の算出結果について、説明する。特徴量算出部105は、タンパク質1について、細胞ごと、かつ時刻ごとに、複数の特徴量を算出する。特徴量算出部105は、細胞1から細胞NまでのN個の細胞について、特徴量を算出する。
また、特徴量算出部105は、時刻T1から時刻Ti(iは、0<iの整数)までのi個の時刻について、特徴量を算出する。また、特徴量算出部105は、特徴量k1から特徴量kK(Kは、0<Kの整数)までの、K種類の特徴量を算出する。つまり、特徴量算出部105は、各時刻ごとに、各細胞ごとの各タンパクごとに複数の特徴量を算出する。
細胞内の構造物において判別する種類が線分で結ばれることによって特徴量間の相関が表される。以下、細胞内の構造物において判別する種類を接続する線分をエッジ(edge)と呼ぶ。
相関抽出部106bは、相関算出部106aが算出する特徴量間の複数の相関のうちから、相関の算出に使用した特徴量に関して、細胞内構成要素アノテーション・データベース及び特徴量アノテーション・データベースから、特徴量の生物学的情報を抽出する。そして、相関抽出部106bは、抽出した特徴量の生物学的情報に基づいて、相関が示す生物学的解釈を抽出する。
本実施形態の特定の相関の一例について詳細に説明する。以下、タンパク質、オルガネラなどの細胞内の構造物を「ノード」という。また、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官を「場所」という。細胞内の構造物のネットワークを、複数のノードをエッジで接続することによって表す。
図7は、細胞内の構造物のネットワーク画像の一例を示す。図7に示される例では、場所50において、ノードP1の特徴量とノードP2の特徴量とが、エッジ61によって結び付けられている。
作成部107は、ステップS100bおよびS100cにおいて抽出された特徴量間の特定の相関を示すネットワーク画像を作成する(ステップS110)。具体的には、作成部107は、操作検出部400によって供給される操作信号にしたがって、ネットワーク画像を作成する。また、作成部107は、解析装置10に対してマルチスケール解析を行う操作が行われると、解析を行い、特徴量を比較する処理を行う。マルチスケール解析を行うことで、顕微鏡画像を使用して刺激後の細胞内での特徴量の相関を算出することができる。この場合に、顕微鏡画像から、遺伝子、タンパク質、二次メッセンジャー、代謝産物、フェノタイプのそれぞれの間での相関を算出することができる。例えば、タンパク質の特徴量と、フェノタイプの特徴量との相関を算出することができる。これにより、複数のスケールの異なる要素間での、相関を算出することができる。フェノタイプは細胞の形、細胞の死、細胞内の物体の形、細胞内の物体の数、細胞内の物体の位置の関する特徴量である。以下、作成部107によって行われる処理について詳細に説明する。
図8は、細胞内の構造物のネットワーク画像の一例を示す。図8(1)は第1のグループに分類された細胞のネットワーク画像を示し、図8(2)は第2のグループに分類された細胞のネットワーク画像を示す。
図8(1)に示されるネットワーク画像は、場所51内に、ノードP1、ノードP2、ノードP3、ノードP4、及びノードP5が存在することを示している。さらに、ノードP1とノードP2とはエッジ61によって接続され、ノードP1とノードP3とはエッジ62によって接続され、ノードP1とノードP4とはエッジ63によって接続され、ノードP1とノードP5とはエッジ64によって接続され、ノードP4とノードP5とはエッジ65によって接続されている。
図8(2)に示されるネットワーク画像は、場所52内に、ノードP1、ノードP2、ノードP3、ノードP4、及びノードP5が存在することを示している。
さらに、ノードP1とノードP2とはエッジ66によって接続され、ノードP1とノードP3とはエッジ67によって接続され、ノードP1とノードP5とはエッジ68によって接続され、ノードP4とノードP5とはエッジ69によって接続されている。
図8(1)及び図8(2)によれば、ノードP1とノードP4とを接続するエッジが、第1のグループに分類された細胞のネットワーク画像には存在し、第2のグループに分類された細胞のネットワーク画像には存在しない。これによって、細胞の収縮の周期の違いが、細胞のネットワーク間のトポロジーの違いに起因することがわかる。
作成部107は、解析装置10に対してマルチスケール解析を行う操作が行われると、解析を行い、特徴量を比較する処理を行う。演算部100は、生細胞の動的特徴量と固定細胞の特徴量とに基づいて、マルチスケール解析を行う。
図9は、生細胞の収縮周期等の動的特徴量と、タンパク質等のノードの発現との関係を示す。この場合、生細胞の特徴量として、収縮周期が抽出され、固定細胞の特徴としてタンパクP1およびP2の発現が抽出され両者が比較されている。なお、細胞の収縮周期は細胞の成熟度や種類(心房、心室、ペースメーカ等)に依存することが知られている。
例えば、表示部30に図8のネットワーク画像が表示されている場合に、解析装置10に対して、特徴量を比較する操作が行われると、作成部107は、収縮周期等の動的特徴量と、タンパク質等のノードの発現との関係を解析し、図9に示される特性を表示する。図9によれば、収縮周期が遅い場合と収縮周期が速い場合とでノードP1の発現は異なり、ノードP2の発現は収縮周期にかかわらずノードP1と比較して変化が小さいことが分かる。
また、解析に用いる細胞を正常細胞とがん細胞とを用意し、解析装置10は、それぞれで相関を算出する。解析装置10は、正常細胞とがん細胞とで、特定の相関を抽出し、抽出された相関を比較することで、正常細胞とがん細胞とで刺激に対するメカニズムの違いを比較するようにしても構わない。このように、解析装置10は、マルチスケール解析で、ネットワーク画像から一段階詳細な解析を行うことができる。本実施形態においては、解析装置10は、細胞内のタンパク質の構造を特定し、それに対応する特徴量を解析するとともに、細胞の動的特徴のような、タンパク質とはスケールの大きく異なる特徴量を解析することを可能とした。また、解析装置10は、細胞の拍動周期などの動的特徴量を抽出し、動的特徴量を抽出した細胞の細胞内タンパク質の局在のような静的な特徴量を抽出し、それら特徴量同士の相関を算出することができた。解析装置10は、細胞の動的特徴量と静的特徴量の異なる性質の特徴量の相関を解析することができた。また、本実施形態においては、解析装置10は、刺激を加えた後から経過時間の異なる特徴量の変化を解析することで、ある所定時間での特徴量だけではなく、時間とともに変化する特徴量の変化を解析することができた。また、本実施形態においては、解析装置10は、刺激の大きさが異なる特徴量の変化を解析することで、刺激の大きさの変化による特徴量の変化を解析することができた。
<マルチスケール解析例(その1)>
本実施形態に係る顕微鏡観察システム1による細胞の解析例(その1)について説明する。
図10は、細胞の解析例(その1)のフローを示す図である。図10において、T0は実験を開始する時刻を示している。図10において、T1はサンプルAを固定し、染色し、画像を撮像する時刻を示す。図10において、T2はサンプルBとサンプルCに刺激を添加する時刻を示す。図10において、T3及びT4はそれぞれ、サンプルBを固定し、染色し、画像を撮像する時刻と、サンプルCを固定し、染色し、画像を撮像する時刻を示す。
細胞の解析例(その1)では、細胞#1−10000を含むサンプルAと、細胞#10001−20000を含むサンプルBと、及び細胞♯20001―30000が用意される。この例では、時刻T0から時刻T1の間、サンプルA、サンプルB及びサンプルCのライブ観察が行われる。
時刻T0から時刻T1の間、生細胞抽出部101は、細胞画像から動的な特徴量を抽出する。例えば、生細胞抽出部101は、生細胞から動的な特徴量として、収縮周期を抽出するようにしてもよい。
時刻T2では、サンプルAは、免疫染色により染色され、細胞画像が撮像される。
時刻T2では、サンプルB、及びサンプルCに対して、刺激が添加される。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激、ペプチド、たんぱく質、抗体やホルモンなどの生理活性物質による刺激等である。
サンプルBは、時刻T3に固定され、免疫染色により染色され、細胞画像が撮像される。サンプルCは、時刻T4に固定され、免疫染色により染色され、細胞画像が撮像される。
収縮周期が短い細胞と収縮周期が長い細胞について、別々に図10に示す条件で細胞が撮像された結果、図8に示される画像と同様のネットワーク画像が得られる。図8に示されるネットワーク画像により、収縮周期が短い細胞のノード間の相関と、収縮周期が長い細胞のノード間の相関とを比較することができる。
<マルチスケール解析例(その2)>
本実施形態に係る顕微鏡観察システム1による細胞の解析例(その2)について説明する。この解析例では、生細胞に刺激を添加した後から固定までの間に動的特徴を取得し、マルチスケール解析の特徴量として扱う。
図11は、細胞の解析例(その2)のフローを示す図である。図11において、T0は実験を開始する時刻を示し、T1はサンプルAの固定、染色、画像撮影時刻を示す。T2はサンプルBとサンプルCに刺激を添加する時間を示す。T3及びT4はそれぞれ、サンブルBを固定し、染色し、画像を撮像する時間と、サンプルCを固定し、染色し、画像を撮像する時間を示す。
細胞の解析例(その2)では、細胞#1−10000を含むサンプルAと、細胞♯10001−20000を含むサンプルB及び細胞#20001−30000を含むサンプルCとが用意される。この例では、固定前のtの間に、生細胞抽出部101は、細胞画像から動的な特徴量と抽出する。例えば、生細胞抽出部101は、生細胞から動的な特徴量として、収縮周期を抽出するようにしてもよい。そして、細胞画像特定部102は、生細胞抽出部101によって供給される細胞を示す情報に基づいて、該細胞を示す情報によって示される細胞を特定する。例えば、細胞画像特定部102は、閾値よりも、収縮周期が短い細胞と、収縮周期が長い細胞を特定する。
時刻T1では、サンプルB、及びサンプルCに対して、刺激が添加される。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激、ペプチド、たんぱく質、抗体やホルモンなどの生理活性物質による刺激等である。
サンプルAは、時刻T1に固定され、免疫染色により染色され、細胞画像が撮像される。サンプルAは、刺激添加されることはない。また、本実施形態において、時刻T1よりも前にライブ観察はされていない。なお、時刻T1よりも前にライブ観察をしても構わない。サンプルBは、時刻T3が経過する時間t前からライブ観察を開始する。そして、サンプルAは、時刻T3に固定され、免疫染色により染色され、細胞画像が撮像される。つまり、刺激を添加してから細胞が生きている間をライブ観察する。
サンプルCは、時刻T4が経過する時刻よりも時間t前からライブ観察を開始する。そして、サンプルBは、時刻T3よりも時間が経過した時刻T4に固定され、免疫染色により染色され、細胞画像が撮像される。つまり、刺激を添加してから細胞が生きている間をライブ観察する。
図11に示す条件で細胞が撮像された結果、図12に示されるネットワーク画像が得られる。
図12(1)に示されるネットワーク画像は、場所53内に、ノードP1、ノードP2、ノードP3、ノードP4、及びノードP5が存在することを示している。さらに、ノードP1とノードP2とはエッジ71によって接続され、ノードP1とノードP3とはエッジ72によって接続され、ノードP1とノードP5とはエッジ73によって接続され、ノードP2とノードP4とはエッジ74によって接続され、ノードP4とノードP5とはエッジ75によって接続されている。
図12(2)に示されるネットワーク画像は、場所53内に、ノードP1、ノードP2、ノードP3、ノードP4、及びノードP5が存在することを示している。さらに、ノードP1とノードP2とはエッジ71によって接続され、ノードP1とノードP3とはエッジ72によって接続され、ノードP1とノードP5とはエッジ73によって接続され、ノードP2とノードP4とはエッジ74によって接続され、ノードP4とノードP5とはエッジ75によって接続されている。ここで、ノードP2の拍動周期と、ノードP4の特徴量とが相関する。これによって、刺激によってどのような信号伝達が行われるか解析した場合に、その特徴量の一つに拍動が含まれることがわかる。
図12(1)及び図12(2)によれば、ノードP2とノードP4とを接続するエッジが、図12(1)には存在し、図12(2)には存在しない。これによって、刺激によってどのような信号が伝達されるかを解析した場合に、その特徴量の一つに拍動周期が含まれることがわかる。
<マルチスケール解析例(その3)>
本実施形態に係る顕微鏡観察システム1による細胞の解析例(その3)について説明する。
図13は、細胞の解析例(その3)のフローを示す図である。図13において、T0は実験を開始する時刻を示し、T1はサンプルAの固定、染色、画像撮影時刻を示す。T2はサンプルBとサンプルCに刺激を添加する時刻を示す。T3及びT4はそれぞれ、サンブルBを固定し、染色し、画像を撮像する時刻と、サンプルCを固定し、染色し、画像を撮像する時刻を示す。
細胞の解析例(その3)では、細胞#1−10000を含むサンプルAと、細胞♯10001−20000を含むサンプルB及び細胞#10001−20000を含むサンプルCとが用意される。この例では、実験が開始される時刻T0から時刻T4の間に、生細胞抽出部101は、細胞画像から動的な特徴量を抽出する。
例えば、生細胞抽出部101は、生細胞から動的な特徴量として、収縮周期を抽出するようにしてもよい。そして、細胞画像特定部102は、生細胞抽出部101によって供給される細胞を示す情報に基づいて、該細胞を示す情報によって示される細胞を特定する。例えば、細胞画像特定部102は、収縮周期が短い細胞と、収縮周期が長い細胞を特定する。
時刻T2では、サンプルB、及びサンプルCに対して、刺激が添加される。
サンプルAは、時刻T0から時刻T1までライブ観察が行われる。
サンプルBは、時刻T0から時刻T3までライブ観察が行われる。そして、サンプルBは、時刻T3に固定され、免疫染色により染色され、細胞画像が撮像される。つまり、刺激を添加する前から細胞が生きている間をライブ観察する。
サンプルCは、時刻T0から時刻T4までライブ観察が行われる。そして、サンプルCは、時刻T4に固定され、免疫染色により染色され、細胞画像が撮像される。つまり、刺激を添加する前から細胞が生きている間をライブ観察する。
上述した実施形態では、細胞の画像にラベルを付与し、さらに、ラベルを付与した細胞の画像を複数のグループに分類し、出力する場合について説明したが、この例に限られない。例えば、細胞の画像にラベルを付与し、グループに分類せずに出力するようにしてもよい。
また、上述した実施形態では、生細胞の画像に基づいて生細胞の特徴量を抽出し、該生細胞の特徴量を抽出した細胞を示す情報に基づいて、該細胞を示す情報によって示される細胞を特定する例について説明したがこの例に限られない。例えば、生細胞の画像に基づいて生細胞の特徴量を抽出し、該生細胞の特徴量に対応する細胞を、生細胞を固定した細胞が撮像された画像から抽出するようにしてもよい。
なお、上述の実施形態において、T0の実験を開始する時刻からT1までの時間と、T0からT2までの時間とは同じ時間であるほうが望ましい。なお、刺激を加えて観察するサンプルBおよびサンプルCに対して、サンプルAは刺激を加えない参照実験なので、T0からT1までの時間は、T0からT2までの時間とは異なっていても構わない。
以上説明したように本実施形態に係る顕微鏡観察システム1によれば、ライブ観察と、マルチスケール解析とを組み合わせることができる。このため、ライブ観察で特定された細胞について、固定してから染色してマルチスケール解析ができるため、細胞の多くの振る舞いを測定することができる。具体的には、固定してからタンパク質を抗体で染色することによって、多種のタンパク質の振る舞いを測定することができる。つまり、タンパク質の動的特徴量と、多種のタンパク質の特徴量の測定ができる。
仮に、全部ライブ観察で動的特徴とタンパクの特徴を捉えた場合には、緑色蛍光タンパク質(Green Fluorescent Protein, GFP)等の蛍光画像で、ミトコンドリアの移動速度、細胞分裂(M期、S期)等のタンパク質の局在変化等の挙動、セカンドメッセンジャーの挙動、遺伝子発現の変化等を観察することになる。これに対して、本実施形態では、ライブ観察による動的な特徴量観察と、多種のタンパク質の特徴量測定を固定してから染色して行った。したがって、本実施形態では、蛍光タンパクが観察タンパクに与える影響に伴うタンパクの定量性に対する影響を抑制することができる。
また、ライブ観察でタンパク質の特徴を捉える場合には、タンパク質の組み合わせに対応した何種類もの安定発現細胞を作ることが困難である。多くの種類のタンパク質の特徴量の測定を行うことは難しい。例えば、細胞1(タンパクA:GFP タンパクB:RFP)、細胞2(タンパクA:GFP タンパクC:RFP)、細胞3(タンパクB:GFP タンパクC:RFP)を作ることでも難しい場合がある。
また、解析装置10によれば、生細胞の画像から、特徴量の相関を取得するために、特徴量を取得した。特徴量には、画像から直接導かれる輝度情報など以外の情報を用いることが可能である。例えば、解析装置10は、画像から直接得られる輝度情報から、画像中の細胞形状を抽出し、その形状とデータベースの形状情報とを比較し、形状の類似度から細胞の種類を特定しても構わない。また、解析装置10は、画像から直接得られる輝度情報から、細胞を構成する要素の形状を抽出し、その形状とデータベースの形状情報と比較し、形状の類似度から細胞を構成する要素を特定しても構わない。例えば、細胞を構成する要素としては細胞の核、核膜、細胞質である。また、解析装置10によれば、導入される染色液の特徴として、所定の部位にのみ選択的相互作用し、染色することがわかっている場合がある。この場合に、染色位置を画像から特定できた場合には、その染色位置には所定の部位があると、特定することができる。
このように、画像情報から直接導き出される情報以外に、画像情報から推定される情報を用いて、特徴量の相関を取得することができる。
また、例えば細胞内の相関を取得する場合を例に説明すると、細胞内の相関を取得する場合に、例えば、生細胞画像では複数の細胞を取得できる場合があり、その複数の生細胞において、細胞内の相関を取得することが可能である。この場合に、複数の生細胞内での相関を取得すると、単一の生細胞の相関を取得する場合に比べて、複数の生細胞での相関を取得できるので、相関の取得として例えば算出されるシグナル伝達の経路の精度を高めることができる。
また、特徴量算出部105より算出される特徴量は、例えば、細胞が細胞外からのシグナル受容した後の、細胞内でのシグナル伝達を相関として求める場合に、その細胞内のシグナル伝達に関与するタンパク質の振る舞いやそれに伴う細胞の変化を特徴量として抽出して構わない。
すなわち、例えば、細胞内のシグナル伝達に関与する物質の種類でも構わないし、細胞内でシグナルが伝達されることに伴う結果の細胞の形状の変化でも構わない。細胞内のシグナル伝達に関与する物質の特定は、NMR(Nuclear Magnetic Resonance, 核磁気共鳴)などで特定しても構わないし、用いる染色液からその相互作用する相手を類推する方法でも構わない。
[第2の実施形態]
本発明の実施形態に係る顕微鏡観察システムは、第1の実施形態に係る顕微鏡観察システム1を適用できる。本実施形態に係る顕微鏡観察システムは、細胞内の構造物のネットワークから生物学的解釈を得るようにしたものである。
本実施形態に係る顕微鏡観察システムは、記憶部200に、後述する細胞内構成要素アノテーション・データベース及び特徴量アノテーション・データベースを記憶する。
相関抽出部106bは、相関算出部106aが算出する特徴量間の複数の相関のうちから、相関の算出に使用した特徴量に関して、細胞内構成要素アノテーション・データベース及び特徴量アノテーション・データベースから、特徴量の生物学的情報を抽出する。そして、相関抽出部106bは、抽出した特徴量の生物学的情報に基づいて、相関が示す生物学的解釈を抽出する。
図14は、細胞内構成要素アノテーション・データベースの一例を示す表である。この細胞内構成要素アノテーション・データベースは、細胞内構成要素の種類と、細胞内構成要素の機能とを関連付ける。本実施形態では、細胞内構成要素の機能には、動的な特徴が含まれる。本実施形態に係る顕微鏡観察システムにおいては、細胞内構成要素アノテーション・データベースは、記憶部200に予め記憶されている。
具体的には、細胞内構成要素アノテーション・データベースにおいて、細胞内構成要素の種類「タンパク質A」が、細胞内構成要素の機能「心筋拍動周期」に関連付けられている。これは、タンパク質Aが心筋拍動周期を促進することを意味している。また、細胞内構成要素アノテーション・データベースにおいて、細胞内構成要素の種類「タンパク質B」が、細胞内構成要素の機能「ニューロン発火頻度」に関連付けられている。これは、タンパク質Bがニューロン発火頻度を促進することを意味している。
図15は、特徴量アノテーション・データベースの一例を示す表である。この特徴量アノテーション・データベースは、ネットワーク要素と、特徴量と、特徴量の変化方向と、生物学的意味を示す情報とを関連付ける。ここで、特徴量には、動的な特徴の特徴量が含まれる。本実施形態に係る顕微鏡観察システムにおいては、特徴量アノテーション・データベースは、記憶部200の種類記憶部201に予め記憶されている。
具体的には、特徴量アノテーション・データベースにおいて、ネットワーク要素「心筋拍動周期」と、特徴量「細胞核内総輝度値/心筋拍動周期」と、特徴量変化方向「UP」と、生物学的意味「心筋症」とが互いに関連付けられている。これは、ネットワーク要素「心筋拍動周期」と関連付けられる特徴量「細胞核内総輝度」及び「心筋拍動周期」がともに上昇すると心筋症の細胞であることを意味する。また、特徴量アノテーション・データベースにおいて、ネットワーク要素「ニューロン発火頻度」と、特徴量「細胞核内総輝度値/ニューロン発火頻度」と、特徴量変化方向「UP」と、生物学的意味「ALS」とが互いに関連付けられている。ここで、ALSは、筋萎縮性側索硬化症(Amyotrophic lateral sclerosis)である。
これは、ネットワーク要素「ニューロン発火頻度」と関連付けられる特徴量「細胞核内総輝度」及び「ニューロン発火頻度」がともに上昇するとALSの細胞であることを意味する。
特徴量アノテーション・データベースは、例えばALS症状の細胞を用い、そのALS症状の細胞観察から、心筋細胞と細胞核の核内総輝度との関係を計測することで作成することができる。
抽出される相関、つまり、タンパク質Aの画像の細胞核内総輝度値が高くなることと心筋細胞の拍動の周期が短くなることとの相関が高い場合には、相関抽出部106bは、次のようにして生物学的解釈を行う。
相関抽出部106bは、細胞内構成要素アノテーション・データベースに基づいて、タンパク質Aの機能が「心筋拍動周期」と関連していることを判定する。次いで、相関抽出部106bは、特徴量アノテーション・データベースに基づいて、「心筋拍動周期」に関連づけられた特徴量「細胞核内総輝度/心筋拍動周期」が特徴量変化「UP」を示す場合、その生物学的意味が「心筋症」であると判定する。すなわち、相関抽出部106bは、細胞内構成要素アノテーション・データベース及び特徴量アノテーション・データベースに基づいて、細胞画像から、細胞の症状を推定することが可能となる。
他の例として、相関抽出部106bは、細胞内構成要素アノテーション・データベースに基づいて、タンパク質Bの機能が「ニューロン発火」と関連していることを判定する。次いで、相関抽出部106bは、特徴量アノテーション・データベースに基づいて、「ニューロン発火頻度」に関連づけられた特徴量「細胞核内総輝度/ニューロン発火頻度」が特徴量変化「UP」を示す場合、その生物学的意味が「ALS」であると判定する。
これらの判定結果に基づいて、相関抽出部106bは、次のような相関関係の生物学的解釈を加えるようにしてもよい。具体的には、相関抽出部106bは、(1)心筋細胞の拍動周期とタンパク質Aとの相関から、心筋症の症状であること、(2)ニューロン発火とタンパク質Bとの相関から、ALSであること等の相関関係の生物学的解釈を加える。本実施形態に係る顕微鏡観察システムによれば、病気のメカニズムに示唆を与えることができる。
上述したように、本実施形態に係る顕微鏡観察システムによれば、細胞の特徴量間の相関の抽出結果と、生物学的情報とに基づいて、その相関の生物学的解釈に示唆を与えることができる。顕微鏡観察システムは、相関の取得に用いられた細胞の特徴量から、その特徴量の生物学的情報を作成する。そして、顕微鏡観察システムは、細胞の動的特徴量を追加する。すなわち、顕微鏡観察システムは、相関の取得に用いられた細胞の特徴量の生物学的な情報を作成する。これにより、顕微鏡観察システムは、抽出された相関の生物学的解釈を行うことができる。
なお、動的特徴としては、心拍拍動周期やニューロン発火頻度以外に、神経細胞の膜電位変化、神経細胞のスパインの長さ変化でも構わない。また、生物学的解釈としては、心筋症やALS以外に、パーキンソン病やうつ病や脳血管障害でも構わない。
なお、本発明の実施形態における解析装置10の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
1…顕微鏡観察システム、10…解析装置、20…顕微鏡装置、21…電動ステージ、22…撮像部、30…表示部、100…演算部、101…生細胞抽出部、102…細胞画像特定部、103…細胞画像取得部、104…固定細胞抽出部、105…特徴量算出部、106b…相関抽出部、107…作成部、200…記憶部、201…種類記憶部、202…実験条件記憶部、300…結果出力部、400…操作検出部

Claims (12)

  1. 刺激に対する細胞内の特徴量の相関を解析する解析装置であって、
    生細胞が撮像された画像に基づいて前記生細胞の特徴量を抽出する生細胞特徴量抽出部と、
    前記生細胞を固定した細胞が撮像された画像に基づいて固定細胞の特徴量を抽出する固定細胞特徴量抽出部と、
    前記生細胞特徴量抽出部により抽出される前記生細胞の特徴量と、前記固定細胞特徴量抽出部により抽出される前記固定細胞の特徴量とを対応づける演算部と、
    を備える解析装置。
  2. 前記固定細胞の特徴量と、前記生細胞の特徴量とを用いて、前記刺激に対する細胞内の特徴量の相関を算出する相関算出部を備える、請求項1に記載の解析装置。
  3. 前記刺激に対して異なる経過時間で固定した細胞を撮像した複数の画像から、前記刺激に対する細胞内の特徴量の相関を算出する、請求項2に記載の解析装置。
  4. 前記異なる経過時間で固定した細胞に対応する生細胞から、前記生細胞の特徴量を抽出し、前記刺激に対する細胞内の特徴量の相関を算出する、請求項3に記載の解析装置。
  5. 前記相関算出部により算出された細胞内の特徴量間の相関に対して、前記特徴量の生物学的情報に基づいて、前記相関が示す相関抽出部を備える、請求項2〜4のいずれか1項に記載の解析装置。
  6. 前記生細胞の特徴量は動的な特徴量である、請求項1〜5のいずれか一項に記載の解析装置。
  7. 前記細胞を撮像する顕微鏡をさらに備える、請求項1〜6のいずれか一項に記載の解析装置。
  8. 前記生細胞特徴量抽出部は、前記刺激が添加された後の前記生細胞が撮像された画像に基づいて前記生細胞の特徴量を特定する、請求項1〜7のいずれか一項に記載の解析装置。
  9. 前記生細胞特徴量抽出部は、前記刺激が添加される前の前記生細胞が撮像された画像に基づいて前記生細胞の特徴量を特定する、請求項1〜8のいずれか一項に記載の解析装置。
  10. 前記生細胞特徴量抽出部により抽出された生細胞に対応する細胞を、前記生細胞を固定した細胞が撮像された画像から抽出する、請求項1〜9のいずれか一項に記載の解析装置。
  11. 刺激に対する細胞内の特徴量の相関を解析する解析装置によって実行される解析方法であって、
    生細胞が撮像された画像に基づいて前記生細胞の特徴量を抽出するステップと、
    前記生細胞を固定した細胞が撮像された画像に基づいて、固定細胞の特徴量を抽出するステップと、
    前記生細胞の特徴量を抽出するステップから抽出される前記生細胞の特徴量と、前記固定細胞の特徴量を抽出するステップから抽出される前記固定細胞の特徴量とを対応づける演算ステップと、
    を有する、解析方法。
  12. 解析装置のコンピュータに、
    生細胞が撮像された画像に基づいて前記生細胞の特徴量を抽出するステップと、
    前記生細胞を固定した細胞が撮像された画像に基づいて、固定細胞の特徴量を抽出するステップと、
    前記生細胞の特徴量を抽出するステップから抽出される前記生細胞の特徴量と、前記固定細胞の特徴量を抽出するステップから抽出される前記固定細胞の特徴量とを対応づける演算ステップと
    を実行させるプログラム。
JP2018543495A 2016-10-03 2016-10-03 解析装置、解析方法、及びプログラム Pending JPWO2018066039A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/079327 WO2018066039A1 (ja) 2016-10-03 2016-10-03 解析装置、解析方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2018066039A1 true JPWO2018066039A1 (ja) 2019-06-24

Family

ID=61831374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543495A Pending JPWO2018066039A1 (ja) 2016-10-03 2016-10-03 解析装置、解析方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200043159A1 (ja)
JP (1) JPWO2018066039A1 (ja)
WO (1) WO2018066039A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003248B (zh) * 2018-07-23 2020-12-08 中国石油大学(华东) 一种细粒沉积岩纹层结构的表征方法
WO2020070885A1 (ja) * 2018-10-05 2020-04-09 株式会社ニコン 判定装置、判定プログラム及び判定方法
WO2022163438A1 (ja) * 2021-01-26 2022-08-04 株式会社ニコン 神経細胞の解析方法、神経細胞の解析装置およびコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006512048A (ja) * 2002-06-11 2006-04-13 ザ・ジェネラル・ホスピタル・コーポレイション 有糸分裂の阻害剤の同定
JP2014135947A (ja) * 2013-01-18 2014-07-28 Ehime Univ エクトドメインシェディング検知のための蛍光バイオセンサー
JP2015535213A (ja) * 2012-09-17 2015-12-10 エフ.ホフマン−ラ ロシュ アーゲーF. Hoffmann−La Roche Aktiengesellschaft Usp30インヒビター及び使用方法
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
WO2016143900A1 (ja) * 2015-03-11 2016-09-15 国立大学法人京都大学 結合解離プローブを用いた観察方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4454998B2 (ja) * 2003-09-29 2010-04-21 株式会社ニコン 細胞観察装置および細胞観察方法
JP5848885B2 (ja) * 2010-04-23 2016-01-27 国立大学法人名古屋大学 化学物質のスクリーニング方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006512048A (ja) * 2002-06-11 2006-04-13 ザ・ジェネラル・ホスピタル・コーポレイション 有糸分裂の阻害剤の同定
JP2015535213A (ja) * 2012-09-17 2015-12-10 エフ.ホフマン−ラ ロシュ アーゲーF. Hoffmann−La Roche Aktiengesellschaft Usp30インヒビター及び使用方法
JP2014135947A (ja) * 2013-01-18 2014-07-28 Ehime Univ エクトドメインシェディング検知のための蛍光バイオセンサー
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
WO2016143900A1 (ja) * 2015-03-11 2016-09-15 国立大学法人京都大学 結合解離プローブを用いた観察方法

Also Published As

Publication number Publication date
WO2018066039A1 (ja) 2018-04-12
US20200043159A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
Nketia et al. Analysis of live cell images: Methods, tools and opportunities
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
EP3827248B1 (en) Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen
RU2690224C2 (ru) Обследующее устройство для обработки и анализа изображения
JP6756339B2 (ja) 画像処理装置、及び画像処理方法
Annese The importance of combining MRI and large-scale digital histology in neuroimaging studies of brain connectivity and disease
JP6540506B2 (ja) 細胞運動の自動セグメンテーション及び特徴付け
JP6967232B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6960935B2 (ja) コントロールスライドを使用する改善された画像解析アルゴリズム
JP6818041B2 (ja) 解析装置、解析方法、及びプログラム
WO2019065105A1 (ja) 画像解析装置、方法およびプログラム
JP2022105045A (ja) 解析装置
US20200372652A1 (en) Calculation device, calculation program, and calculation method
JPWO2018066039A1 (ja) 解析装置、解析方法、及びプログラム
US20050282208A1 (en) Cellular phenotype
US20210319554A1 (en) Method and system for assessing fibrosis in a tissue sample
WO2018193612A1 (ja) 相関算出装置、相関算出方法及び相関算出プログラム
Bower et al. A quantitative framework for the analysis of multimodal optical microscopy images
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
JP6999118B2 (ja) 画像処理装置
WO2021198241A1 (en) Multi-input and/or multi-output virtual staining
Husna et al. Multi-modal image cytometry approach–from dynamic to whole organ imaging
JP6913323B2 (ja) 評価装置、観察装置、及びプログラム
WO2020090089A1 (ja) 判定装置、判定方法、及び判定プログラム
Tang et al. Fast post-processing pipeline for optical projection tomography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526