JPWO2018003063A1 - 画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置 - Google Patents

画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置 Download PDF

Info

Publication number
JPWO2018003063A1
JPWO2018003063A1 JP2018524662A JP2018524662A JPWO2018003063A1 JP WO2018003063 A1 JPWO2018003063 A1 JP WO2018003063A1 JP 2018524662 A JP2018524662 A JP 2018524662A JP 2018524662 A JP2018524662 A JP 2018524662A JP WO2018003063 A1 JPWO2018003063 A1 JP WO2018003063A1
Authority
JP
Japan
Prior art keywords
image
cell
correlation
feature amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018524662A
Other languages
English (en)
Other versions
JP6777147B2 (ja
Inventor
拓郎 西郷
拓郎 西郷
伸一 古田
伸一 古田
俊輔 武居
俊輔 武居
真史 山下
真史 山下
聖子 山▲崎▼
聖子 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018003063A1 publication Critical patent/JPWO2018003063A1/ja
Application granted granted Critical
Publication of JP6777147B2 publication Critical patent/JP6777147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Organic Chemistry (AREA)
  • Biotechnology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

刺激に対する細胞内の特徴量の相関を解析する装置であって、刺激された細胞が撮像された細胞画像を複数取得する細胞画像取得部と、細胞画像取得部が取得する細胞画像から、細胞を構成する構成要素の特徴量を算出する特徴量算出部と、特徴量算出部により算出される特徴量を用い構成要素間の相関を算出する相関算出部と、相関算出部により算出される相関から、第1相関を選択する相関選択部と、選択される第1相関に基づいて、撮像された複数の細胞画像から、第1細胞画像を選択する画像選択部と、を備える解析装置。

Description

本発明は、解析装置、解析方法、解析プログラム及び表示装置に関する。
生物科学や医学等において、生物の健康や疾患等の状態は、例えば、細胞や細胞内の小器官等の状態と関連性があることが知られている。そのため、細胞間、或いは細胞内で伝達される情報の伝達経路を解析することは、例えば、工業用途でのバイオセンサーや、疾病予防を目的とした製薬等の研究に役立てることができる。細胞や組織片等に関する種々の解析技術として、例えば、画像処理を用いた技術が知られている(例えば、特許文献1参照)。
米国特許第0228069号明細書
しかしながら、細胞内或いは細胞間の相互作用を算出する場合に、撮像された細胞を含む画像の枚数が大量であり、大量の撮像された細胞を含む画像から、所定の特徴量を持つ細胞の画像を選択することは手間であった。
本発明は、上記問題に鑑みてなされたものであり、所定の画像を選択する解析装置、解析方法、解析プログラム及び表示装置を提供することにある。
本発明の一態様は、刺激に対する細胞内の相関を解析する装置であって、刺激された細胞が撮像された細胞画像を複数取得する細胞画像取得部と、細胞画像取得部が取得する細胞画像から、細胞を構成する構成要素毎の複数種類の特徴量を算出する特徴量算出部と、特徴量算出部により算出される特徴量を用い構成要素間の相関を算出する相関算出部と、相関算出部により算出される相関から、第1相関を選択する相関選択部と、選択される第1相関に基づいて、撮像された複数の細胞画像から、第1細胞画像を選択する画像選択部と、を備える解析装置である。
また、本発明の他の態様は、刺激に対する細胞内の相関を解析する解析方法であって、刺激された細胞が撮像された細胞画像を複数取得する細胞取得ステップと、細胞取得ステップから取得される細胞画像から、細胞を構成する構成要素毎の複数種類の特徴量を算出する特徴量算出ステップと、特徴量算出ステップから算出される特徴量を用い構成要素間の相関を算出する相関算出ステップと、相関算出ステップから算出される相関から、第1相関を選択する相関選択ステップと、相関選択ステップから選択される第1相関に基づいて、撮像された複数の細胞画像から第1細胞画像を選択する画像選択ステップと、を有する解析方法である。
また、本発明の他の態様は、刺激に対する細胞内の相関の解析を実行させるための解析プログラムであって、刺激された細胞が撮像された細胞画像を複数取得する細胞取得ステップと、細胞取得ステップから取得される細胞画像から、細胞を構成する構成要素毎の複数種類の特徴量を算出する特徴量算出ステップと、特徴量算出ステップから算出される特徴量を用い構成要素間の相関を算出する相関算出ステップと、相関算出ステップから算出される相関から、第1相関を選択する相関選択ステップと、相関選択ステップから選択される第1相関に基づいて、撮像された複数の細胞画像から第1細胞画像を選択する画像選択ステップと、
を実行させるための解析プログラムである。
本発明によれば、所定の画像を選択する解析装置、解析方法、解析プログラム及び表示装置を提供する。
本実施形態に係る細胞観察システムの外観構成を示す図である。 本実施形態に係る解析装置の構成の一例を示す図である。 本実施形態に係る解析装置の動作手順の一例を示す流れ図である。 特徴量及び相関関係の一例を示す図である。 画像選択基準を選択する画面の一例を示す図である。 特徴量の選択基準及び許容範囲を選択する画面の一例を示す図である。 特徴量を画像選択基準として選択する場合の、特徴量の一例を示す図である。 計測対象を画像選択基準として選択する場合の、特徴量の一例を示す図である。 撮像された細胞の特徴量の経時変化を表すグラフの一例を示す図である。 第2実施形態に係る解析装置の動作の一例を示す流れ図である。 第1画像選択部において選択された再選択画像の一例を示す図である。 第3実施形態に係る解析装置の動作の一例を示す流れ図である。 撮像画像、再選択画像、及び機械学習画像の一例を示す図である。 第4実施形態に係る解析装置の機能構成の一例を示す図である。 第4実施形態に係る解析装置の動作の一例を示す流れ図である。 画像選択基準とは異なる第2基準を選択する画面の一例を示す図である。 表示部に表示される代表画像の一例を示す図である。 表示部に表示される複数の色に染色された細胞の代表画像の一例を示す図である。 第5実施形態に係る解析装置の機能構成の一例を示す図である。 第5実施形態に係る解析装置の動作の一例を示す流れ図である。 グラフ生成部が生成するグラフの一例を示す図である。
[第1実施形態]
[細胞観察システムの構成の概要]
以下、図面を参照しながら本発明の第1の実施形態に係る細胞観察システムについて説明する。
図1は、本実施形態に係る細胞観察システム1の外観構成を示す図である。
細胞観察システム1は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に撮像画像とも記載する。撮像画像には、複数の細胞等が撮像される。具体的には、撮像画像には、1枚の撮像画像につき複数の細胞等が撮像されたものと、1枚の撮像画像に1つの細胞等が撮像されたものとがある。つまり、撮像画像に含まれる撮像された細胞は1つに限られない。また、撮像画像には、撮像する倍率を変化させて撮像する画像も含まれる。細胞観察システム1は、解析装置10と、顕微鏡装置20と、表示部30と、操作部40とを備える。
解析装置10とは、顕微鏡装置20によって取得された撮像画像を解析するコンピュータ装置である。解析装置10は、撮像画像を解析した結果に基づいて、複数の細胞の画像から、ユーザが所望する画像を選択する。
表示部30は、解析装置10が選択する画像などの画像を表示する。
操作部40は、表示部30に表示される画像を選択するユーザによって操作される。操作部40は、ユーザによって操作されると、操作信号を出力する。操作部40の一例として、キーボード40aや、マウス40bなどがある。
顕微鏡装置20は、生物顕微鏡であり、電動ステージ21と、撮像部22とを備える。電動ステージ21は、所定の方向(例えば、水平方向の二次元平面内のある方向)に、撮像対象物の位置を任意に稼働可能である。撮像部22は、CCD(Charge-Coupled Device)やCMOS(Complementary MOS)などの撮像素子を備えており、電動ステージ21上の撮像対象物を撮像する。なお、顕微鏡装置20に電動ステージ21を備えていなくてもよく、ステージが所定方向に稼働しないステージとしても構わない。
より具体的には、顕微鏡装置20は、例えば、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡等の機能を有する。顕微鏡装置20は、電動ステージ21上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートWPである。顕微鏡装置20は、ウェルプレートWPが有する多数のウェルWの中に培養された細胞に光を照射することで、細胞を透過した透過光を細胞の画像として撮像する。これによって、細胞の透過DIC画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。さらに、細胞に蛍光物質を励起する励起光を照射することで、生体物質から発光される蛍光を細胞の画像として撮像する。
本実施形態においては、細胞を染色して、細胞画像を取得する。本実施形態では、細胞を固定し、免疫染色する。ホルムアルデヒド等の試薬を用いて細胞を固定する処理を行う。固定された細胞は代謝が止まる。したがって、細胞に刺激を加えたのちの、細胞内の経時変化を観察するばあいには、複数の細胞を用意する必要がある。例えば、細胞に刺激を加えた後に、第1時間での細胞の変化と、第1時間とは異なる第2時間での細胞の変化を観察したい場合がある。この場合には、細胞に刺激を加えた後に第1時間を経過したのちに、細胞を固定し、免疫染色して、細胞画像を取得する。一方、第1時間での観察に用いた細胞とは異なる細胞を用意し、細胞に刺激を加えた後に、第2時間を経過した後に、細胞を固定し、免疫染色して、細胞画像を取得する。これにより、第1時間における細胞画像から、刺激に対する細胞内の変化を推定する。一方、第2時間における細胞画像から、刺激に対する細胞内の変化を推定する。従って、第1時間の細胞の変化と、第2時間での細胞の変化とを観察ることで、細胞内の経時変化を推定することができる。また、第1時間と第2時間との細胞内の変化を観察することに用いる細胞の数は1つに限られない。したがって、第1時間と第2時間とで、それぞれ複数の細胞の画像を取得することになる。例えば、細胞内の変化を観察する細胞の数を、1000個と設定した場合には、第1時間と第2時間とで2000個の細胞が必要となり、2000個の細胞画像が必要になる。したがって、刺激に対する細胞内の変化の詳細を取得しようとする場合には、刺激からの撮像するタイミング毎に、複数の細胞画像が必要となり、多量の細胞画像が取得される。つまり、細胞画像とは、刺激された細胞の変化が撮像された画像である。
また、顕微鏡装置20は、生体物質内に取り込まれた発色物質そのものから発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した細胞の画像として撮像してもよい。これにより、細胞観察システム1は、蛍光画像、共焦点画像、超解像画像、二光子励起蛍光顕微鏡画像を取得することができる。なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、電子顕微鏡でも構わない。また、後述する細胞を含む画像は、異なる方式により得られた画像を用い、相関を取得しても構わない。すなわち、細胞を含む画像の種類は適宜選択しても構わない。本実施形態における細胞とは、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は細胞の集合体や組織試料、臓器、個体(動物など)を用い観察し、細胞を含む画像を取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよく、“in-vivo”又は“in-vitro”のどちらでもよい。勿論、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
細胞の状態は、目的別に適宜選択しても構わない。例えば、細胞内の構造物において判別する種類(例えば、タンパク質、オルガネラ)により、固定と未固定とを選択しても構わない。また、固定した細胞で細胞の動的挙動を取得する場合には、条件の異なる複数の固定細胞を作成し、動的挙動を取得する。細胞内の構造物において、判別する種類は核内に限られない。
また、細胞を観測するために、細胞に予め処理した後に、細胞を観察しても構わない。勿論、細胞を観察するために、細胞に処理しない状態で細胞を観察しても構わない。細胞を観察する場合には、細胞を免疫染色により染色し、観察しても構わない。例えば、細胞内の核内構造において判別する種類において、用いる染色液を選択しても構わない。また染色方法に関しては、あらゆる染色方法を用いることができる。例えば主に組織染色に用いられる各種特殊染色、塩基配列の結合を利用したハイブリダイゼーションなどがある。
また、細胞に発光或いは蛍光タンパク質(例えば、導入された遺伝子(緑色蛍光タンパク質(GFP)など)から発現された発光或いは蛍光タンパク質)で処理し、観察しても構わない。例えば、細胞内の核内構造において判別する種類において、用いる発光或いは蛍光タンパク質を選択しても構わない。
また、これらの細胞を観察する手段及び又は細胞を染色する方法などの相関取得を解析するための前処理は、目的別に適宜選択しても構わない。たとえば、細胞の動的挙動を得る場合に最適な手法により細胞の動的な情報を取得して、細胞内のシグナル伝達を得る場合には最適な手法により細胞内のシグナル伝達に関する情報を取得しても構わない。これら、目的別に選択される前処理が異なっていても構わない。また、目的別に選択される前処理の種類が少なくなるようにしても構わない。例えば、細胞の動的挙動を取得する手法と細胞内のシグナル伝達を取得する手法とがそれぞれ、最適な手法が異なっていても、それぞれ異なる手法でそれぞれの情報を取得することは煩雑となるために、それぞれの情報を取得するのに十分な場合には、最適手法とは異なり、それぞれが共通する手法で行っても構わない。
ウェルプレートWPは、複数のウェルWを有する。この一例では、ウェルプレートWPは、12×8の96個のウェルWを有する。細胞は、ウェルWの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や種類、強さ、濃度、量、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数等を示す特徴である。
[解析装置10の機能構成]
次に、図2を参照して、解析装置10の構成について説明する。
図2は、本実施形態に係る解析装置10の構成の一例を示す図である。
解析装置10は、操作検出部500と、演算部100と、記憶部200と、表示制御部300と、細胞画像選択部400とを備える。
操作検出部500は、操作部40が出力する操作信号を検出する。操作検出部500は、検出した操作信号を細胞画像選択部400に出力する。
演算部100は、プロセッサが記憶部200に格納されたプログラムを実行することにより機能する。また、これらの演算部110の各機能部のうちの一部又は全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアによって構成されていてもよい。
演算部100は、細胞画像取得部101と、特徴量算出部102と、雑音成分除去部103と、相関関係抽出部104とを備える。
細胞画像取得部101は、撮像部22が撮像した撮像画像BPを取得し、取得した細胞画像を特徴量算出部102に供給する。ここで、細胞画像取得部101が取得する細胞画像には、細胞の培養状態が時系列に撮像された複数の画像や、様々な実験条件において細胞が培養された複数の画像が含まれる。また、撮像画像BPには、複数枚の撮像画像が含まれる。具体的には、撮像画像BPには、撮像画像BP1から撮像画像BPnまでが含まれる。ここで、撮像画像BPnのnとは、1以上の整数である。
特徴量算出部102は、細胞画像取得部101が供給する細胞画像の複数種類の特徴量を算出する。細胞画像の特徴量は、例えば、細胞画像の輝度、画像中の細胞面積、画像中の細胞画像の輝度の分散などが含まれる。すなわち、撮像される細胞画像から取得される情報から導出される特徴である。例えば、取得される画像における輝度分布を算出する。時系列もしくは、分化等の細胞状態の変化で異なる複数の画像を用い、算出される輝度分布の所定時間の変化、もしくは、算出される輝度分布の分化等の細胞状態変化に伴う変化から、他とは異なる輝度の変化を示す位置情報を求め、輝度の変化を特徴量としてもよい。この場合に、時間の変化に限られず、分化等の細胞の状態の変化が異なる複数の画像を用いても構わない。また、異なる輝度の変化を示す位置の情報を特徴量としてもよい。例えば、細胞の所定時間内の挙動、もしくは、細胞の分化等の細胞状態変化に伴う挙動でも構わないし、細胞の形状の所定時間内の変化、もしくは、細胞の形状の分化等の細胞状態変化に伴う変化でも構わない。また、撮像される細胞画像から、所定時間内の変化、もしくは、分化等の細胞状態変化に伴う変化が認められない場合は、変化しないことも特徴量としても構わない。つまり、特徴量算出部102は、撮像画像に撮像された細胞の構成要素に関する特徴量の変化を、複数取得される細胞画像から算出する。
雑音成分除去部103は、特徴量算出部102が算出した特徴量のうち、雑音成分(ノイズ)を除去する。
相関関係抽出部104は、雑音成分除去部103が雑音成分を除去した後の特徴量について、特徴量の尤度に基づいて、特徴量算出部102が算出する特徴量間の複数の相関を抽出する。ここで、尤度とは、所定条件に従って結果を算出する場合に、その結果から所定条件を推測する尤もらしさを表す数値である。また、尤度とは、データが確率モデルに従う場合に、推定すべきパラメータの尤もらしさを表すコスト関数である。
つまり、演算部100は、細胞が撮像された細胞画像に基づいて、細胞画像の複数種類の特徴量を演算する。演算部100は、細胞が撮像された細胞画像を用い、細胞画像の複数種類の特徴量を抽出し、抽出された特徴量同士の変化が相関しているかどうかを演算する。すなわち、演算部100は、所定の特徴量の変化に対して、相関して変化する特徴量を算出する。演算部100は、特徴量を算出した結果、特徴量の変化が相関している間に、相関があると演算する。演算部100は、細胞が撮像された細胞画像と、演算した細胞画像の複数種類の特徴量と、演算した特徴量間の複数の相関の関係とを、細胞画像選択部400に供給する。また、演算部100は、演算した結果を表示制御部300に供給してもよい。なお、特徴量同士に相関があることを、相関関係があると呼んでも構わない。
細胞画像選択部400は、相関関係選択部401と、画像選択部402と、特徴量選択部403と、第1画像選択部404と、基準選択部405とを備える。
相関関係選択部401は、演算部100から供給される特徴量間の複数の相関関係から、第1の相関関係を選択する。
画像選択部402は、演算部100から供給される細胞が撮像された複数の細胞画像から、第1の相関関係に基づいて、相関関係をあらわす相関細胞画像EPを選択する。画像選択部402は、選択された第1の相関関係を算出するために用いられた、相関細胞画像EPを抽出する。この場合には、相関関係をあらわす相関細胞画像EPには、複数枚の相関関係をあらわす相関細胞画像EPが含まれる。具体的には、相関関係をあらわす相関細胞画像EPには、相関関係をあらわす相関細胞画像EP1から相関関係をあらわす相関細胞画像EPiまでが含まれる。ここで、相関関係をあらわす相関細胞画像EPiのiとは、1以上の整数である。画像選択部402は、選択した細胞画像を表示制御部300に供給する。
特徴量選択部403は、演算部100から供給される細胞画像の複数種類の特徴量から、第1の特徴量を選択する。
第1画像選択部404は、演算部100から供給される細胞が撮像された複数の細胞画像から、第1の特徴量に基づいて、細胞画像NPを選択する。第1画像選択部404は、選択される第1の特徴量を算出するために用いられた、細胞画像NPを抽出する。細胞画像NPには、複数枚の細胞画像NPが含まれる。具体的には、細胞画像NPには、細胞画像NP1から細胞画像NPjまでが含まれる。ここで、細胞画像NPjのjとは、1以上の整数である。第1画像選択部404は、選択した細胞画像を表示制御部300に供給する。
基準選択部405は、画像選択基準CR1を選択する。基準選択部405は、選択した画像選択基準CR1を、画像選択部402と、第1画像選択部404とに対して出力する。画像選択部402及び基準選択部405は、画像選択基準CR1を基準選択部405から取得する。画像選択部402及び第1画像選択部404は、画像選択基準CR1に基づいて、細胞画像を選択する。画像選択基準CR1とは、細胞画像の状態を示す基準である。具体的には、細胞画像の状態とは、画像中の細胞の数、細胞が単独で撮像されているか否か、撮像された細胞の形状及び、撮像された画像中に異物の有無、細胞画像のコントラスト、細胞と撮像装置の焦点位置の差の状態を示すものである。細胞が単独で撮像されているか否かとは、撮像された細胞が他の細胞と重なって撮像されているかを表す。また、画像選択基準CR1には、特徴量の程度や、細胞画像選択部400が選択する細胞画像の枚数の基準も含まれる。異物とは、例えば、画像中の撮像される細胞とは異なる物である。例えば、測定試料を作成する際に混入した異物があげられる。異物としては、無機物質、有機物質、もしくは無機物質と有機物質との混合物などがある。また、異物とは、例えば、所定の細胞を観察対象とした場合に、その所定細胞とは異なる種類の細胞を異物としても構わない。また、細胞画像のコントラストとは、細胞画像に撮像された細胞と、細胞画像に撮像された細胞以外の部分との、色、明るさ及び輝度のうち少なくとも1つの差である。また、細胞画像のコントラストとは、ある細胞画像と、ある細胞画像とは別の細胞画像との、色、明るさ及び輝度のうち少なくとも1つの差である。
結果出力部300は、演算部100による演算結果を表示部30に出力する。表示制御部300は、細胞画像選択部400が選択した細胞画像を表示部30に出力する。つまり、表示制御部300は、細胞画像選択部400が選択する細胞画像を表示画像として、表示部30に表示させる。なお、結果出力部300は、演算部100による演算結果又は細胞画像選択部400が選択した細胞画像を、表示部30以外の出力装置や、記憶装置などに出力してもよい。
表示部30は、結果出力部300が出力する演算結果を表示する。
上述した解析装置10の具体的な動作手順について、図3を参照して説明する。
[第1実施形態に係る解析装置10の動作の一例]
図3は、本実施形態に係る解析装置10の動作手順の一例を示す流れ図S1である。なお、ここに示す動作手順は、一例であって、動作手順の省略や動作手順の追加が行われてもよい。
細胞画像取得部101は、細胞画像を取得する(ステップS110)。細胞画像は、固定し、染色しているために、細胞を構成する要素に関する情報が含まれる。例えば、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織の画像が含まれている。また、細胞画像には、細胞の形状情報が含まれている。また、細胞画像を時系列の異なる、もしくは、分化等の細胞状態が異なる細胞画像から、動的な挙動を取得する。従って、細胞内の微細な構造から、細胞形状までの複数の大きさの相違するスケール又は、ある所定時間、もしくは、分化等のある細胞状態での細胞画像と時系列の異なる、もしくは、分化等の細胞状態が異なる細胞画像での次元の相違するスケールを用いて解析することから、マルチスケール解析と称することも可能である。
特徴量算出部102は、ステップS110において取得された細胞画像に含まれる細胞の画像を、細胞毎に抽出する(ステップS111)。特徴量算出部102は、細胞画像に対して、既知の手法による画像処理を施すことにより、細胞の画像を抽出する。この一例では、特徴量算出部102は、画像の輪郭抽出やパターンマッチングなどを施すことにより、細胞の画像を抽出する。
次に、特徴量算出部102は、ステップS111において抽出された細胞の画像について、細胞の種類を判定する(ステップS112)。さらに、特徴量算出部102は、ステップS112における判定結果に基づいて、ステップS111において抽出された細胞の画像に含まれる細胞の構成要素を判定する(ステップS113)。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)や、オルガネラを構成するタンパク質などが含まれる。なお、ステップS112では細胞の種類を判定しているが、細胞の種類を判定しなくても構わない。この場合には、予め導入する細胞の種類が判定している場合には、その情報を使用しても構わない。勿論、細胞の種類を特定しなくても構わない。
次に、特徴量算出部102は、ステップS113において判定された細胞の構成要素ごとに、画像の特徴量を算出する(ステップS114)。この特徴量には、画素の輝度値、画像内のある領域の面積、画素の輝度の分散値などが含まれる。また、特徴量には、細胞の構成要素に応じた複数の種類がある。一例として、細胞核の画像の特徴量には、核内総輝度値や、核の面積などが含まれる。細胞質の画像の特徴量には、細胞質内総輝度値や、細胞質の面積などが含まれる。また、細胞全体の画像の特徴量には、細胞内総輝度値や、細胞の面積などが含まれる。また、ミトコンドリアの画像の特徴量には、断片化率が含まれる。なお、特徴量算出部102は、特徴量を、例えば0(ゼロ)から1までの間の値に正規化して算出してもよい。
また、特徴量算出部102は、細胞画像に対応付けられている細胞に対する実験の条件の情報に基づいて、特徴量を算出してもよい。例えば、細胞について抗体を反応させた場合において撮像された細胞画像の場合には、特徴量算出部102は、抗体を反応させた場合に特有の特徴量を算出してもよい。また、細胞を染色した場合、又は細胞に蛍光タンパクを付与した場合において撮像された細胞画像の場合には、特徴量算出部102は、細胞を染色した場合、又は細胞に蛍光タンパクを付与した場合に特有の特徴量を算出してもよい。
これらの場合、記憶部200は、実験条件記憶部202を備えていてもよい。この実験条件記憶部202には、細胞画像に対応付けられている細胞に対する実験の条件の情報を、細胞画像毎に記憶される。
特徴量算出部102は、ステップS114において算出した特徴量を、雑音成分除去部103に供給する。
雑音成分除去部103は、ステップS114において算出された特徴量のうちから、雑音成分を除去する(ステップS115)。具体的には、雑音成分除去部103は、特徴量の正常範囲又は異常範囲を示す情報を取得する。この特徴量の正常範囲又は異常範囲を示す情報は、細胞画像に撮像されている細胞の特性に基づいて予め定められている。例えば、細胞核の画像の特徴量のうち、核内総輝度値についての正常範囲が、細胞核の画像の特性に基づいて定められている。雑音成分除去部103は、算出された特徴量が、この正常範囲に含まれない場合には、その特徴量を雑音成分として除去する。ここで、雑音成分除去部103は、特徴量を雑音成分として除去する場合には、細胞毎に除去する。具体的には、ある細胞について、複数の特徴量が算出される場合がある。例えば、ある細胞について、細胞内総輝度値、核内総輝度値、及び核の面積が、特徴量としてそれぞれ算出される場合がある。この場合において、ある細胞について、細胞内総輝度値を雑音成分として除去する場合には、雑音成分除去部103は、その細胞の核内総輝度値、及び核の面積についても、除去する。つまり、雑音成分除去部103は、ある細胞について算出された複数の特徴量のうち、少なくとも1つの特徴量が正常範囲に含まれない場合には、この細胞の他の特徴量についても除去する。
すなわち、雑音成分除去部103は、細胞画像に撮像されている細胞の特性を示す情報に基づいて、相関関係抽出部104に供給される特徴量のうちから雑音成分を細胞画像に撮像されている細胞毎に除去する。このように構成することにより、雑音成分除去部103は、信頼度が相対的に低い特徴量がある場合には、その特徴量を細胞単位で除外することができる。つまり、雑音成分除去部103によれば、特徴量の信頼度を向上させることができる。
また、雑音成分除去部103は、算出された特徴量が、この正常範囲に含まれる場合には、その特徴量を相関関係抽出部104に供給する。なお、この雑音成分除去部103は、必須の構成要素ではなく、細胞画像の状態や、特徴量の算出の状態によっては、省略可能な場合がある。この場合には、特徴量算出部102は、算出した特徴量を相関関係抽出部104に供給する。
相関関係抽出部104は、ステップS115において雑音成分が除去された後の特徴量を取得する。この特徴量は、ステップS114において、特徴量算出部102により細胞毎に算出されている。相関関係抽出部104は、特徴量算出部102が算出する特徴量同士の変化が相関しているかどうかを演算し、相関を抽出する(ステップS116)。
演算部100は、ステップS115において雑音成分が除去された後の特徴量を細胞画像選択部400に供給する。なお、演算部100は、ステップS114において算出された特徴量を細胞画像選択部400に供給してもよい。
また、演算部100は、ステップS116において抽出された相関を、細胞画像選択部400に供給する。
図4を参照して、特徴量及び相関関係の一例について説明する。
図4は、特徴量及び相関関係の一例を示す図である。
ノードNDには、図4に円で示すような、計測対象としてのタンパク質A(ND1)と、計測対象としてのタンパク質B(ND2)と、計測対象としてのタンパク質C(ND3)とがある。本実施形態では、タンパク質同士の相関計測を対象としている。勿論、相関計測を対象とするのは、タンパク質に限られない。細胞を構成する要素であっても構わない。例えば、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)や、オルガネラを構成するタンパク質などが含まれる。また、相関計測は、タンパク質同士など同じ種類の要素の相関を計測しているが、タンパク質と細胞核など異なる種類の要素の相関を計測しても構わない。また、細胞を構成する要素としては、細胞でも構わず、勿論、細胞同士の相関もしくは細胞とタンパク質との相関を計測対象としても構わない。次に、ノードNDには、、特徴量1ND1−1と、特徴量2ND1−2と、特徴量3ND1−3と、特徴量4ND1−4と、特徴量5ND1−5と、特徴量6ND1−6と、特徴量7ND1−7と、特徴量8ND1−8とがある。ノードNDに含まれる特徴量は、上述した、画素の輝度値、画像内のある領域の面積、画素の輝度の分散値などが含まれる。すなわち、本実施形態において、タンパク質AのノードNDには、タンパク質Aの画素の輝度値、画素内のタンパク質Aの面積、タンパク質Aの所定位置における輝度値などである。タンパク質Bにはタンパク質Aと同様に、特徴量1ND2−1から特徴量8ND2−8とがある。ノードNDとして、タンパク質Cにはタンパク質Aと同様に、特徴量1ND3−1から特徴量8ND3−8とがある。
エッジEDとは、ノードNDとノードNDと連結する関係を表す。エッジEDにおいて、連結されるノードNDは関係が相関している。本実施形態に置いては、相関のあるノードNDと連結されるエッジEDを線で示している。したがって、本実施形態においては、線で示されるエッジEDに対して、線で連結されていないノードNDは相関の度合いが低いことがわかる。例えば、所定の刺激をタンパク質に与えた後の所定時間において、ノードND1-4の変化と、ノードND2-8の変化とが同期している。例えば、ノードND1-4の変化とともにノードND2-8が変化する。もしくは、ノードND1-4の変化をし、その変化が終了したのちに、ノードND2-8の変化が開始される。また、本実施形態では、タンパク質Aとタンパク質Bとを連結されるノードNDは一つだけでなく、複数ある。エッジEDには、図4に特徴量間を結ぶ線で示すような、タンパク質A(ND1)とタンパク質B(ND2)との相関を示すエッジED1と、タンパク質A(ND1)とタンパク質C(ND3)との相関を示すエッジED2とがある。また、エッジEDとして、タンパク質Aに含まれる特徴量4ND1−4と、タンパク質Bに含まれる特徴量8ND2−8との相関を示すエッジED3と、タンパク質Aに含まれる特徴量3ND1−3と、タンパク質Cに含まれる特徴量7ND3−7との相関を示すエッジED4と、タンパク質Aに含まれる特徴量7ND1−7と、タンパク質Bに含まれる特徴量7ND2−7との相関を示すエッジED5とがある。また、これら複数の特徴量を連結されるエッジEDの相関度合は異なっていても構わないし、同じでも構わない。
解析装置10は、操作信号に基づいて、ノードND又はエッジEDを選択する(ステップS120)。
[相関関係を選択する場合の動作の一例]
ステップS120において、解析装置10が、エッジに基づく画像を選択する場合について説明する。すなわち、ユーザが、ノードNDを連結するエッジを選択する場合について説明する。この場合には、ユーザは、エッジを選択することで、連結する2種類のノードを選択することとなる。ここで、2種類のノードには、第1構成要素と、第2構成要素とが含まれる。相関関係選択部401は、第1構成要素に関する第1特徴量の変化と、第2構成要素に関する第2特徴量の変化とを選択することで、第1の相関関係を選択する。
細胞画像選択部400が備える相関関係選択部401は、ステップS116において抽出された複数の相関関係を取得する。
相関関係選択部401は、取得した相関関係を、表示制御部300に出力する。表示制御部300は、取得した相関関係を表示部30に表示させる。ユーザは、表示部30に表示される相関関係を、操作部40を操作して選択する。操作検出部500は、ユーザによって選択された相関関係を検出する。操作検出部500は、相関関係選択部401に対して、検出した相関関係を出力する。
相関関係選択部401は、画像選択部402に対して、操作検出部500が検出した相関関係を、第1の相関関係として出力する(ステップS130)。
画像選択部402は、相関関係選択部401から第1の相関関係を取得する。画像選択部402は、取得した第1の相関関係に基づいて、撮像画像BPから相関細胞画像EPを選択する(ステップS131)。ユーザは、画像選択部402から選択される相関細胞画像EPが、所望する相関関係を示す画像であるか否かを選択する(ステップS132)。ユーザは、相関細胞画像EPが相関関係をあらわすのに適していない、又は、選択された相関細胞画像EPの枚数が少なく比較に適していないと判断する場合にはNOを選択する。この場合には、解析装置10は、ステップ114の特徴量算出の処理からやりなおしてもよいし、ステップS116の相関関係抽出から処理をやりなおしてもよい。また、解析装置10は、ステップ110の細胞画像取得から処理をやりなおしてもよい。この場合には、ユーザは、細胞画像を取得する撮像条件を変更し、やりなおしても構わない。また、この場合には、ユーザは、例えば、細胞画像を取得する細胞の調整条件を変更し、やりなおしても構わない。この場合には、例えば、ユーザーは、調整条件を、やりなおす前の細胞に変えて、新しい細胞を用意し、細胞を染色するための染色条件を変更し、やりなおしても構わない(ステップS132;NO)。ユーザが相関細胞画像EPが相関関係をあらわすのに適していると判断する場合には、解析装置10は処理を終了する(ステップS130;YES)。
細胞観察システム1は、解析装置10を備える。解析装置10は、演算部100と、細胞画像選択部400と、表示制御部300とを備える。演算部100は、細胞が撮像された細胞画像(撮像画像BP)を取得する細胞画像取得部101と、細胞画像取得部101が取得する撮像画像BPの複数種類のノードNDを算出する特徴量算出部102と、特徴量算出部102が算出するノードND間の複数のエッジEDのうちから、特定のエッジEDを抽出する相関関係抽出部104とを備える。細胞画像選択部400は、相関関係選択部401と、画像選択部402とを備える。相関関係選択部401は、ユーザの選択に基づいて、相関関係抽出部104が抽出するエッジEDのうち、第1の相関関係を選択する。画像選択部402は、相関関係選択部401に選択される第1の相関関係に基づいて、複数の撮像画像BPから、相関細胞画像EPを選択する。解析装置10は、複数の撮像画像BPから、ユーザが所望する相関関係を示す相関細胞画像EPを選択することができる。このように構成することによって、ユーザは、所望する相関関係を示す画像を得ることができる。
[特徴量を選択する場合の動作の一例]
次に、ステップS120において、解析装置10が、特徴量に基づいて画像を選択する場合について説明する。
細胞画像選択部400が備える特徴量選択部403は、ステップS115において雑音成分が除去された後の特徴量又は、ステップS114において算出された特徴量を取得する。
特徴量選択部403は、取得した特徴量を、表示制御部300に出力する。表示制御部300は、表示部30に取得した特徴量を表示させる。ユーザは、表示部30に表示される特徴量を、操作部40を操作して選択する。操作検出部500は、ユーザによって選択された特徴量を検出する。操作検出部500は、特徴量選択部403に対して、検出した特徴量を出力する。
特徴量選択部403は、第1画像選択部404に対して、操作検出部500が検出した特徴量を、第1の特徴量として出力する(ステップS140)。なお、ユーザによって2つの特徴量が選択される場合には、特徴量選択部403は、選択された2つ特徴量を、第1の特徴量及び第2の特徴量として出力する。この場合には、第1画像選択部404は、第1の特徴量を第1構成要素とする。第1画像選択部404は、第2の特徴量を第2構成要素とする。第1画像選択部404は、第1構成要素と、第2構成要素とを選択することで、第1の相関関係を選択する。
細胞画像選択部400は、画像選択基準CR1を、表示制御部300に出力する。表示制御部300は、表示部30に取得した画像選択基準CR1を表示させる。ユーザは、表示部30に表示される画像選択基準CR1を、操作部40を操作して選択する。操作検出部500は、ユーザによって選択された画像選択基準CR1を検出する。操作検出部500は、相関関係選択部401及び特徴量選択部403に対して、検出した画像選択基準CR1を出力する(ステップS150)。
[画像選択基準CR1を選択する動作の一例]
ステップS150において画像選択基準CR1を選択する一例を、図5から図9を参照して説明する。
図5は、画像選択基準CR1を選択する画面の一例を示す図である。
基準選択部405は、ノードNDを選択後に、表示制御部300に対して、画面UI1を表示するよう指示を出す。表示制御部300は、画面UI1を表示部30に表示させる。
ユーザは、画面UI1に表示された画像選択基準CR1を選択する。
画像選択基準CR1は、細胞を撮像する画像に関する基準である。細胞を撮像する画像に関する基準には、細胞を撮像した撮像条件と、撮像される細胞に関する細胞条件と、撮像する画像を取得する条件とが含まれる。言い換えると、細胞を撮像する画像に関する基準とは、細胞画像に撮像された細胞の情報である。
撮像条件としては、撮像される細胞と対物レンズの焦点位置が一致しているか否を表す。例えば、「フォーカス」として、画面UI1に表示される。また、撮像される画像に、細胞とは異なる異物が含まれているかどうかを表す。例えば、「ごみが写りこんでいない」として、画面U11に表示される。
撮像対象の細胞の形状が所定の形状となっているかどうかである。例えば、細胞が円形の形状に近いかどうかである。「撮像対象物の形(円形度)」として、画面UI1に表示される。また、撮像対象がウェルプレートに保持されているかどうかである。「撮像対象がはがれていない」として、画面UI1に表示される。撮像される細胞が正常状態かどうかである。撮像される細胞の内部構造に異常があるかどうかである。「撮像対象の内部構造に異常がない」として、画面UI1に表示される。また、細胞が他の細胞と重なって撮像されているかどうかである。「撮像対象が重なっていない」として、画面UI1に表示される。また、異なる細胞を固定し、複数の固定した細胞のそれぞれを用いて、エッジEDを取得する場合に、複数の固定した細胞のそれぞれで撮像された細胞の形状が似ている画像を選択する。「計測対象間、時間で見た目がそろっている」として、画面UI1に表示される。
撮像した画像を取得する条件としては、画像取得する枚数を選択することができる。「選択枚数の枚数」として、画面UI1に表示される。図5は、画像選択基準CR1を指定する画面の一例である。なお、画面UI1において選択する画像選択基準CR1は、一例であって、これに限られない。
基準選択部405は、ユーザによって「フォーカス」が選択されると、画像選択基準CR1に、撮像された細胞に焦点が合っている画像を選択する基準の一つとして追加する。
基準選択部405は、ユーザによって「撮像対象物の形(円形度)」が選択されると、画像選択基準CR1に、円形状の撮像対象物が含まれる画像を選択する基準の一つとして追加する。なお、基準選択部405は、円形状の度合いの指定を受け付けるようにしてもよい。
基準選択部405は、ユーザによって「撮像対象が重なっていない」が選択されると、画像選択基準CR1に、撮像対象が重なって撮像されていない画像を選択する基準の一つとして追加する。
基準選択部405は、ユーザによって「撮像対象の内部構造に異常がない」が選択されると、画像選択基準CR1に、撮像対象の内部構造に異常がない画像を選択する基準の一つとして追加する。
基準選択部405は、ユーザによって「計測対象間、時間で見た目がそろっている」が選択されると、画像選択基準CR1に、画面UI1にて選択された計測対象同士の、経時変化による見た目の変化が揃っている画像を選択する基準の一つとして追加する。すなわち、固定された細胞を用いる場合には、経時変化により用いる画像の細胞は、それぞれ異なる。したがって、時間毎に用いる画像の細胞は異なるために、それぞれの形状が類似している画像を選択する。
基準選択部405は、ユーザによって「ごみが写りこんでいない」が選択されると、画像選択基準CR1に、画像に糸くずなどのごみが写り込んでいない画像を選択する基準の一つとして追加する。
基準選択部405は、ユーザによって「選択枚数の枚数」が選択され、第1画像選択部404が選択する画像の選択枚数の指定を受け付け、画像選択基準CR1に、画像を選択する基準の一つとして追加する。
図6は、特徴量の選択基準及び許容範囲を選択する画面UI2の一例を示す図である。
撮像部22より撮像される細胞から、特徴量算出部102が特徴量を抽出する。抽出される特徴量の大きさに対応する情報と撮像される細胞画像とが対応されている。刺激による細胞画像の特徴量の変化量の大きさと細胞画像とが対応されている。例えば、刺激により細胞画像の細胞の面積が増加した場合に、その増加面積と細胞画像とが対応されている。したがって、複数ある細胞画像を特徴量の変化量に基づいて、細胞画像を抽出することができる。また、複数ある細胞画像を特徴量の大きさに基づいて、細胞画像を抽出することができる。したがって、抽出される特徴量の変化量は、例えば、細胞毎により異なる。同一細胞内においても、特徴量の種類により変化量の大きさは異なる。基準選択部405は、画面UI1において画像選択基準CR1を選択後に、表示制御部300に対して、図8に示すような画面UI2を表示するよう指示を出す。表示制御部300は、画面UI2を表示部30に表示させる。
ユーザは、画面UI2に表示された特徴量の選択基準を選択することにより、画像選択基準CR1を追加選択する。
画面UI2は、第1の特徴量に含まれる値の範囲として「ランダム」(ランダム値)、「平均値」、「中央値」、「最頻値」、「最大値」、「最小値」、及び、許容範囲の設定として「何番目まで」、値として「±幾つ」、割合として「何%」などの画像選択基準CR1を指定する画面の一例である。なお、画面UI2において選択する画像選択基準CR1は、一例であって、これに限られない。
ユーザが「ランダム」を選択すると、基準選択部405は、特徴量の値がどのような値を示す画像であってもランダムに取得する。これにより、ユーザは、画面に表示される画像をランダムに選択することが可能である。本実施形態においては、操作部40は、ランダムが選択されると、撮像部22により撮像された細胞画像のうち、相関関係抽出部104により抽出された複数の細胞画像から、基準選択部405がランダムに画像を選択する。
ユーザが「平均値」を選択すると、基準選択部405は、特徴量のうち、平均値を示す画像を取得するよう、画像選択基準CR1に基準を追加する。本実施形態では、抽出される大量の撮像画像BPから、それぞれの画像の特徴量の大きさを抽出し、その大量の撮像画像の特徴量の大きさの平均値を算出し、平均値もしくは平均値に近い値の画像を表示する。解析装置10は、平均値もしくは平均値に近い値の画像が複数ある場合には、複数表示しても構わないし、そうち一枚を表示することとしても構わない。
ユーザが「中央値」を選択すると、基準選択部405は、特徴量のうち、中央値を示す画像を取得するよう、画像選択基準CR1に基準を追加する。中央値とは、特徴量の大きさと、その大きさの度数とに基づくヒストグラムを作成した場合の中央とする値で構わない。例えば、大きさの度数とは、その特徴量を示した細胞の数である。また、例えば、大きさの度数とは、その特徴量を示した細胞の構成要素を示した数である。解析装置10は、抽出される大量の細胞画像からヒストグラムを作成する。
ユーザが「最頻値」を選択すると、基準選択部405は、特徴量のうち、最頻値を示す画像を取得するよう、画像選択基準CR1に基準を追加する。最頻値とは、例えば、その特徴量の大きさを示す細胞の数をカウントした場合に、その細胞の数が最も多い場合の特徴量の大きさである。この場合には、最頻値を選択すると、最頻値を示す細胞を表す画像を表示する。解析装置10は、最頻値を示す細胞を表す画像は同時にすべて表示しても構わないし、代表して一つを選択し表示しても構わない。
ユーザが「最大値」を選択すると、基準選択部405は、特徴量のうち、最大値を示す画像を取得するよう、画像選択基準CR1に基準を追加する。最大値とは、例えば、相関を表す画像として抽出される画像のうち、その特徴量の大きさが最も大きい画像である。を表示させる。
基準選択部405は、ユーザが「最小値」を選択すると、特徴量のうち、最小値を示す画像を取得するよう、画像選択基準CR1に基準を追加する。最小値とは、例えば、相関を表す画像として抽出される画像のうち、その特徴量の大きさが最も大きい画像を表示させる。
画面UI2では、さらに、許容範囲を設定する。
基準選択部405は、ユーザが許容範囲として「2番目まで」を選択する場合、画像選択基準CR1に指定された種類値から2番目までの値を許容範囲として追加する。具体的には、ユーザが値の種類として「最大値」を選択し、許容範囲として「2番目まで」を選択する場合、画像選択基準CR1には「最大値から2番目まで」の特徴量が含まれる画像を取得するよう、画像選択基準CR1に基準が追加される。
基準選択部405は、ユーザが許容範囲として「±10」を選択する場合、画像選択基準CR1に指定された種類の値から±10の値を許容範囲として追加する。具体的には、ユーザが、値の種類として「平均値」を選択し、許容範囲として「±10」を選択する場合、画像選択基準CR1には、「平均値から±10」の特徴量が含まれる画像を取得するよう、画像選択基準CR1に基準が追加される。
基準選択部405は、ユーザが許容範囲として「40%」を選択する場合、画像選択基準CR1に指定された種類の値から40%の値を許容範囲として追加する。具体的には、ユーザが、値の種類として「平均値」を選択し、許容範囲として「40%」を選択する場合、画像選択基準CR1には、「平均値から40%」の特徴量が含まれる画像を取得するよう、画像選択基準CR1に基準が追加される。
[ステップS120において、特徴量を選択した場合]
図7を参照して、特徴量を画像選択基準CR1として選択する場合の特徴量Aの選択方法の一例について説明する。
図7は、特徴量を画像選択基準CR1として選択する場合の、特徴量の一例を示す図である。
演算部100から供給される特徴量の一例として、図7に示すように、細胞”101”と、特徴量Aとして”100”とが互いに対応付けられた状態で含まれる。演算部100から供給されるノードNDには、細胞”2”と、特徴量Aとして”100”とが互いに関連付けられた状態で含まれる。演算部100から供給されるノードNDには、細胞”23”と、特徴量Aとして”98”とが互いに対応付けられた状態で含まれる。演算部100から供給されるノードNDには、細胞”1300”と、特徴量Aとして”97”とが互いに対応付けられた状態で含まれる。なお、この一例では、特徴量Aを示す値を、降順として記載する。
画像選択基準CR1の値の種類として「最大値」が選択される場合、第1画像選択部40は、特徴量Aのうち、最大値である細胞”101”と、細胞”2”とが含まれる画像を選択する。
[ステップS120において計測対象を選択した場合]
図8を参照して、ユーザが選択した特徴量が、計測対象である場合の画像選択基準CR1として選択する場合の細胞画像NPの選択方法の一例について説明する。
図8は、計測対象を画像選択基準CR1として選択する場合の、特徴量の一例を示す図である。
図8に示すように、演算部100から供給されるノードNDには、計測対象としての特徴量として細胞”101”と、特徴量Aとして”100”と、特徴量Bとして”100”とが互いに対応付けられた状態で含まれる。演算部100から供給されるノードNDには、計測対象としての特徴量として細胞”2”と、特徴量Aとして”100”と、特徴量Bとして”80”とが互いに対応付けられた状態で含まれる。演算部100から供給されるノードNDには、計測対象としての特徴量として細胞”23”と、特徴量Aとして”78”と、特徴量Bとして”98”とが互いに対応付けられた状態で含まれる。演算部100から供給されるノードNDには、計測対象としての特徴量として細胞”1300”と、特徴量Aとして”100”と、特徴量Bとして”75”とが互いに対応付けられた状態で含まれる。なお、この一例では、特徴量Aに含まれる値と特徴量Bに含まれる値とを加算した値を、降順として記載する。
画像選択基準CR1の値の種類として「最大値」が選択される場合には、第1画像選択部404は、特徴量Aと、特徴量Bとを加算し、加算した特徴量を算出する。第1画像選択部404は、加算した特徴量のうち、最大値である細胞”101”が含まれる画像を選択する。
つまり、画像選択基準CR1における値の範囲及び値の許容範囲は、ノードNDが選択され、値の種類が指定される場合、ノードNDと対応する複数の特徴量を加算した結果に基づいて決められる。
[画像選択基準CR1をノードNDの標準偏差に基づいて選択する場合]
次に、図9を参照して、画像選択基準CR1をノードNDの標準偏差に基づいて選択する基準について説明する。
図9は、撮像された細胞の特徴量の値の経時変化を表すグラフの一例を示す図である。
図9に示すグラフは、縦軸に特徴量の値tと、横軸に時間timeとを持つグラフである。折れ線L1−1及び破線L1−2は、それぞれ特徴量1と特徴量2の値の平均値t1―1及びt1―2に基づく線である。折れ線L1−1が示す特徴量tの平均は、例えば刺激に対するtime1での複数取得された細胞画像での特徴量tの平均である。一方で、折れ線L2−1及びは線L2−2は、それぞれ特徴量1を成すタンパク質Aと特徴量2を成すタンパク質Bとを染色した画像の中から、代表例画像を選択するために使用した値を示した線である。例えば、time1においては、特徴量1の値t1−1のヒストグラムから平均よりも低い値PT1を示す代表例画像を選択している。したがって、選択されたL2−1上の点PT1は複数取得さた細胞画像のうち、平均から標準偏差の三倍以上小さな特徴量の値(平均から3σを減じた値)を備える細胞画像を選択した結果になる。選択される細胞画像は、その特徴量の値を備える代表の画像でも構わないし、一枚の画像でも構わない。また、折れ線L1−1及び破線L1−2はtimeの変化とともに同じ変化をしていることから、特徴量1と特徴量2との間に相関が高いことを示している。本実施例では、折れ線L1−1と破線L1−2とは、例えば、図4において、ED3を選択した場合、ED3を構成するND1−4とND2−8の特徴量の変化情報を表している。本実施形態においては、ND1−4とND2−8との特徴量の変化が同じなので、折れ線と破線とは同じである。勿論、ND1−4とND2−8との特徴量の変化が同じでなくても構わない。例えば、ND1−4の特徴量の大きさが減少する変化に対して、ND2−8の特徴量の大きさが増加する変化でも構わない。
基準選択部405は、特徴量の値tが基準の値t3よりも小さい値PT4である場合、当該時刻に撮像された画像と対応する特徴量の値が平均よりも小さな値の領域AR1に相当する画像を選択するよう、画像選択基準CR1を指定する。基準の値t3は全時刻の特徴量の値の平均であってもよいし、中央値や、ユーザの指定する任意の値でも構わない。基準選択部405は、特徴量の値tが基準の値t3と同様な領域にある場合、当該時刻に撮像された画像と対応する特徴量の値が平均付近の領域AR2の画像を選択するよう、画像選択基準CR1を指定する。基準選択部405は、特徴量の値tの値が基準の値t3よりも大きな領域にある場合、当該時間に撮像された画像と対応する特徴量の値が平均よりも大きな値の領域AR3の画像を選択するよう、画像選択基準CR1を指定する。なお、基準選択部405は、特徴量の値のうち、平均よりも大きかったり小さかったりする領域ARの画像を選択する場合、ユーザが指定する標準偏差を選択の閾値に用いてもよい。
具体的には、図9に示す点PT1(time1,t1)において指定される画像選択基準CR1は、time1時点に撮像された細胞の画像と対応付けられた特徴量の値t1に基づいて指定される。画像選択基準CR1は、特徴量の値t1が基準t3よりも小さいため、time1における特徴量1の値の分布のうち平均よりも小さな値を示す画像を選択するよう指定される。
同様に、点PT4(time4,t2)において指定される画像選択基準CR1は、特徴量の値t2が基準t3よりも小さいため、time4における特徴量1の値の分布のうち平均よりも小さな値を示す画像を選択するよう指定される。
点PT2(time2,t4)において指定される画像選択基準CR1は、特徴量の値t4が基準t3よりも大きいため、time2における特徴量1の値の分布のうち平均よりも大きな値を示す画像を選択するよう指定される。
点PT3(time3,t3)において指定される画像選択基準CR1は、特徴量の値t3が基準と同じであるため、time3における特徴量1の値の分布のうち平均値付近の画像を選択するよう指定される。
基準選択部405は、演算部100から取得したノードNDに基づいて、表示制御部300にノードNDを出力する。表示制御部300は、表示部30にノードNDを表示させる。ユーザは、表示部30に表示されるノードNDを、操作部40を操作して選択する。操作検出部500は、ユーザによって選択されたノードNDを検出する。操作検出部500は、基準選択部405に対して、検出したノードNDを出力する。基準選択部405は、第1画像選択部404に対して、操作検出部500が検出したノードNDを、画像選択基準CR1として出力する。
第1画像選択部404は、演算部100から撮像画像BPと、ノードNDとを取得する。また、第1画像選択部404は、基準選択部405が出力する、画像選択基準CR1を取得する。
第1画像選択部404は、特徴量選択部403が選択する第1の特徴量を取得する。第1画像選択部404は、基準選択部405から画像選択基準CR1を取得する。第1画像選択部404は、撮像画像BPから、第1の特徴量と、画像選択基準CR1とを満たす画像を、細胞画像NPとして選択する(ステップS160)。なお、第1画像選択部404は、画像選択基準CR1が基準選択部405にて選択されなかった場合、撮像画像BPから第1の特徴量を満たす画像を、細胞画像NPとして選択してもよい。すなわち、撮像画像BPをすべて、細胞画像NPとしても構わない。ユーザは、第1画像選択部404から選択される細胞画像NPが、所望する特徴量を示す画像であるか否かを選択する(ステップS132)。ユーザは、細胞画像NPが特徴量をあらわすのに適していない、又は、選択された細胞画像NPの枚数が少なく比較に適していないと判断する場合にはNOを選択する。この場合、解析装置10は、ステップ114の特徴量算出の処理からやり直してもよいし、ステップS116の相関関係抽出から処理をやりなおしてもよい(ステップS132;NO)。ユーザは、細胞画像NPが相関関係をあらわすのに適していると判断する場合にはYESを選択する。解析装置10は、処理を終了する(ステップS130;YES)。
第1画像選択部404は、選択した細胞画像NPを、表示制御部300に対して出力する。
表示制御部300は、第1画像選択部404から取得する画像選択基準CR1を満たす撮像画像BPを、表示部30に表示させる。
以上説明したように、解析装置10は、特徴量選択部403と、第1画像選択部404と、基準選択部405とを備える。特徴量選択部403は、演算部100から取得する複数のノードNDから、第1の特徴量を選択する。第1画像選択部404は、特徴量選択部403により選択される第1の特徴量に対応する画像を、複数の撮像画像BPから、細胞画像NPとして選択する。つまり、解析装置10は、撮像画像BPから、ユーザが選択する第1の特徴量に対応する画像を選択することができる。また、解析装置10は、ユーザが所望する画像を選択できない場合、マルチスケール解析をやりなおすこともできる。このように構成することによって、大量の細胞が撮像された画像から、ユーザが所望する特徴量を持つ細胞画像NPを選択するユーザの手間を低減することができる。従来、固定した細胞の撮像画像は、大量に撮像されるため、ユーザが所望する用途に応じた細胞画像NPを、ユーザの手によって選択することは手間がかかり困難であった。細胞観察システム1は、特に、固定した細胞の撮像画像から特徴をよく示す細胞画像を選択する際に有効である。なお、上述した説明では、画像選択基準CR1を、ユーザが操作部40を操作し、画面UIから第1の特徴量を選択することによって選択したが、画像選択基準CR1は、予め決められたものを用いてもよい。なお、解析装置10によって選択される撮像画像BPは、顕微鏡装置20によって撮像される画像だけに限られず、例えば、記憶部200が備える細胞画像記憶部203に予め記憶されている画像や、不図示の外部記憶装置に予め記憶されている画像であってもよい。
また、上述した説明では、第1画像選択部404が選択した画像を表示部30に表示させたが、表示部30に表示させることは必須ではない。ユーザが別の手段によって、第1画像選択部404が選択した画像を表示させてもよい。
[第2実施形態に係る解析装置10aの機能構成]
ここまでは、画像選択基準CR1に基づいて細胞画像NPを選択する方法について説明した。
次に、本発明における第2実施形態に係る第1画像選択部404aについて説明する。なお、第1実施形態と同一の構成及び動作については同一の符号を付してその説明を省略する。
解析装置10aは、第1画像選択部404aを備える。
第1画像選択部404aは、演算部100から、細胞画像取得部101が取得する撮像された複数の撮像画像BPを取得する。第1画像選択部404aは、特徴量選択部403により選択される第1の特徴量に対応する細胞画像NPを選択する。ユーザは、細胞画像NPから所望する細胞画像を選択する。第1画像選択部404aは、ユーザによって選択される細胞画像NPを再選択画像SPとして選択する。再選択画像SPには、再選択画像SP1から再選択画像SPkまでが含まれる。ここで、再選択画像SPkのkは、0以上n以下の整数である。したがって、本実施形態においては、細胞画像NPの数よりも再選択画像SPの数が少ない。第1画像選択部404aは選択する再選択画像SPを、表示制御部300に出力する。表示制御部300は、第1画像選択部404aから再選択画像SPを取得し、表示部30に表示させる。表示部30は、再選択画像SPを表示する。
[第2実施形態に係る解析装置10aの動作の一例]
次に、図10及び図11を参照して、解析装置10aが撮像画像BPから再選択画像SPを選択する場合の動作の一例について説明する。
図10は、第2実施形態に係る解析装置10aの動作の一例を示す流れ図S2である。
解析装置10aが備える第1画像選択部404aは、第1実施形態において説明した流れ図S1の処理を行い、細胞画像NPを選択する。第1画像選択部404aは、選択した細胞画像NPを、特徴量に基づいて並び替え(ソート)及び取り除き(フィルタ)、表示制御部300に対して出力する(ステップS210)。表示制御部300は、表示部30に、表示制御部300から取得する細胞画像NPを表示させる。ユーザは、表示部30に表示される細胞画像NPから所望する画像を選択する。第1画像選択部404aは、ユーザの操作に基づいて、細胞画像NPから、再選択画像SPを選択する(ステップS220)。
図11は、第1画像選択部404aにおいて選択された再選択画像SPの一例を示す図である。
細胞画像NPには、細胞画像NP1から細胞画像NP14が含まれる。ユーザは、細胞画像NPから、再選択画像SPを選択する。具体的には、ユーザは、細胞画像NP11を再選択画像SP1として選択する。ユーザは、細胞画像NP7を再選択画像SP2として選択する。ユーザは、細胞画像NP8を再選択画像SP3として選択する。
以上、説明したように、第2実施形態に係る解析装置10aは、第1画像選択部404aを備える。第1画像選択部404aは、細胞画像NPから、ユーザの指示に基づいて、当該指示に対応する再選択画像SPを選択する。つまり、解析装置10aは、細胞画像NPは、撮像された再選択画像SPを選択することができる。ユーザは、撮像画像BPのうち、画像選択基準CR1を満たす細胞画像NPから、さらに所望する画像を再選択画像SPとして選択することができる。このように構成することにより、解析装置10aは、ユーザに対して、第1画像選択部404aが選択した細胞画像NPから、再選択画像SPとして、ユーザが所望する画像を選択させることができる。すでに、解析装置10aが撮像画像BPから細胞画像NPを選択した後に、ユーザが所望する画像を選択することが容易になった。
[第3実施形態に係る解析装置10bの機能構成]
ここまでは、細胞画像NPからユーザの指示に基づいて、再選択画像SPを選択する方法について説明した。
次に、本発明における第3実施形態に係る第1画像選択部404bについて説明する。なお、第1実施形態及び第2実施形態と同一の構成及び動作については同一の符号を付してその説明を省略する。
解析装置10bは、細胞画像選択部400bを備える。細胞画像選択部400bは、第1画像選択部404bを備える。
第1画像選択部404bは、画像選択基準CR1と対応する細胞画像NPを選択する。第1画像選択部404bは、細胞画像NPから、再選択画像SPをユーザの操作に基づいて選択する。第1画像選択部404bは、細胞画像NPと、再選択画像SPとの形状の相関が高い画像を、画像選択基準CR及び再選択画像SPにそれぞれ対応する機械学習画像TPとして、複数の撮像画像BPから選択する。言い換えると、細胞画像選択部400bは、再選択画像SPに基づいて、機械学習により、前記複数の画像から選択する。機械学習画像TPには、機械学習画像TP1から機械学習画像TPmまでが含まれる。ここで、機械学習画像TPmのmは、1以上n以下の整数である。
第1画像選択部404bは、機械学習画像TPを、表示制御部300に出力する。表示制御部300は、第1画像選択部404bから機械学習画像TPを取得し、表示部30に表示させる。表示部30は、機械学習画像TPを表示する。
[第3実施形態に係る解析装置10bの動作の一例]
次に、図12及び図13を参照して、解析装置10bが撮像画像BPから機械学習画像TPを選択する場合の動作の一例について説明する。
図12は、第3実施形態に係る解析装置10bの動作の一例を示す流れ図S3である。
解析装置10bが備える第1画像選択部404bは、第2実施形態において説明した流れ図S2の処理を行い、再選択画像SPを選択する。第1画像選択部404bは、再選択画像SPを教師画像として機械学習を行う(ステップS310)。第1画像選択部404bは、再選択画像SPを教師画像として機械学習を行った結果と、画像選択基準CR1とに基づいて、撮像画像BPから機械学習画像TPを選択する(ステップS320)。
図13は、細胞画像NP、再選択画像SP、及び機械学習画像TPの一例を示す図である。
細胞画像NPには、細胞画像NP1から細胞画像NP14が含まれる。ユーザは、細胞画像NPのうち、細胞画像NP8を再選択画像SP4として選択する。第1画像選択部404bは、再選択画像SP4を教師画像として機械学習する。第1画像選択部404bは、再選択画像SP4を機械学習した結果と、画像選択基準CR1とに基づいて、撮像画像BPから機械学習画像TPを選択する。機械学習画像TPには、機械学習画像TP1から機械学習画像TP6までが含まれる。なお、第1画像選択部404bが選択する機械学習画像TPには、教師画像と近似する(相関が高い)画像が含まれていればよく、機械学習画像TP1及び機械学習画像TP2に示すように、教師画像と近似しない細胞が含まれる画像を、機械学習画像TPとして選択してもよい。
以上、説明したように、第3実施形態に係る解析装置10bが備える第1画像選択部404bは、ユーザが選択する再選択画像SPを教師画像として機械学習を行う。ユーザは、所望する相関を表す細胞の画像を教師画像としての再選択画像SPを選択することができる。第1画像選択部404bは、再選択画像SPを教師画像とする機械学習をした結果と、画像選択基準CR1とに基づいて、撮像画像BPから、機械学習画像TPを選択する。機械学習画像TPとは、画像選択基準CR1を満たす細胞画像NPと、細胞画像NPからユーザが選択する再選択画像SPとにそれぞれ対応する画像である。このように構成することにより、ユーザは、大量の細胞が撮像された画像から、手間をかけずに所望する画像を教師画像として選択することができる。そして、第1画像選択部404bは、ユーザが選択した所望する画像を教師画像とする機械学習の結果と、ユーザが選択した画像選択基準CR1とに基づいて、撮像画像BPから機械学習画像TPを選択する。つまり、第1画像選択部404bは、画像選択基準CR1だけでなく、再選択画像SPとも対応する機械学習画像TPを選択することができる。解析装置10bは、ユーザが所望する用途として、論文の発表に使用する用途、細胞の経時変化を確認する用途、及び撮像画像BPからごみ等が写り込んだ異常値を含む画像を除去する用途に適した画像を選択することができる。よって、ユーザは、大量の撮像画像BPから、より所望する用途に適した細胞の画像を容易に得ることができる。なお、本実施形態では、細胞画像NPからユーザが選択する再選択画像SPを用いて、機械学習TPを細胞画像BPから抽出したが、これに限られない。例えば、機械学習TPを用い、機械学習によりさらに撮像画像BPから細胞の画像を抽出しても構わない。また、機械学習により得られる画像が少ない場合には、ユーザが所望する画像に基づいた相関形成でないと判断し、再度ノードとエッジを見直しても構わない。
[第4実施形態に係る解析装置10cの機能構成]
ここまでは、撮像画像BPから、画像選択基準CR1と、再選択画像SPを教師画像とする機械学習の結果とに基づいて、機械学習画像TPを選択する方法について説明した。
次に、本発明における第4実施形態に係る第2画像選択部406について、図14を参照して説明する。
図14は、第4実施形態に係る解析装置10cの機能構成の一例を示す図である。なお、第1実施形態、第2実施形態、及び第3実施形態と同一の構成及び動作については同一の符号を付してその説明を省略する。
解析装置10cは、第2画像選択部406をさらに備える。
第2画像選択部406は、第1画像選択部404bが選択する細胞画像NP、再選択画像SP又は機械学習画像TPを、画像選択基準CR1を満たす複数の撮像画像BPとして取得する。第2画像選択部406は、画像選択基準CR1を満たす複数の撮像画像BPを、表示制御部300に対して出力する。また、第2画像選択部406は、操作検出部500からユーザの操作を取得する。
表示制御部300は、画像選択基準CR1を満たす複数の撮像画像BPを、画像選択基準CR毎に表示部30にそれぞれ表示画像として表示させる。
第2画像選択部406は、表示制御部300が表示させる複数の撮像画像BPから、ユーザの指示と画像選択基準とは基準が異なる第2基準CR2とに基づいて、ユーザが選択する代表画像として代表画像RPを選択する。代表画像RPには、代表画像RP1から代表画像RPsまでが含まれる。ここで、代表画像RPsのsとは、1以上n以下の整数である。なお、本実施形態においては、細胞画像NP、再選択画像SP又は機械学習画像TPとが異なった画像でも構わないし、その一部が同じ画像を選択してきても構わない。勿論、細胞画像NP,再選択画像SP又は機械学習画像TPとがすべて同じ画像が選択されてきても構わない。なお、表示制御部300は、選択される代表画像RPと対応する異なる倍率によって撮像された画像を表示してもよい。
[第4実施形態に係る解析装置10cの動作の一例]
次に、図15から図18を参照して、解析装置10cが機械学習画像RPを選択する場合の動作の一例について説明する。
図15は、第4実施形態に係る解析装置10cの動作の一例を示す流れ図S4である。
解析装置10cが備える細胞画像選択部400cは、演算部100から撮像画像BPと、撮像画像BPをマルチスケール解析することによって得られる複数種類の特徴量と、特徴量間の複数の相関関係とを取得する。ユーザは、特徴量を、解析装置10cが選択する画像の基準として指定する。細胞画像選択部400cが備える特徴量選択部403は、ユーザの指示に基づいて特徴量を選択する(ステップS410)。基準選択部405は、ユーザによって選択された特徴量を、画像選択基準CRの1つとする。また、基準選択部405は、更に複数の基準を表示制御部300に出力する。表示制御部300は、表示部30に複数の基準を表示させる。ユーザは、表示部30に表示された複数の基準から、所望する画像の条件及び特徴量の条件を選択する。基準選択部405は、選択された特徴量の条件を、画像選択基準CR1の1つとする(ステップS420)。第1画像選択部404bは、基準選択部405が選択する画像選択基準CRに基づいて、複数の撮像画像BPから、画像選択基準CRに対応する細胞画像NPを選択する(ステップS430)。解析装置10cは、ユーザが画像を選択するか否かを受け付ける(ステップS440)。ユーザが「画像を選択する」を選択した場合(ステップS440;YES)、解析装置10cは、選択した細胞画像NPを、特徴量に基づいて並び替え(ソート)及び取り除き(フィルタ)、表示制御部300に対して出力する(ステップS450)。表示制御部300は、表示部30に、表示制御部300から取得する細胞画像NPを表示させる。ユーザは、表示部30に表示される細胞画像NPから所望する画像を選択する。解析装置10cは、ユーザの操作に基づいて、細胞画像NPから、再選択画像SPを選択する(ステップS451)。解析装置10cは、機械学習をするか否かを受け付ける(ステップS452)。ユーザが「機械学習する」を選択した場合(ステップS452;YES)、解析装置10cが備える第1画像選択部404bは、ステップS451において選択された再選択画像SPを教師画像として機械学習を行う(ステップS460)。第1画像選択部404bは、ステップS460において機械学習を行った結果と、画像選択基準CR1とに基づいて、撮像画像BPから機械学習画像TPを選択する。第1画像選択部404bは、選択した機械学習画像TPを、第2画像選択部406に出力する(ステップS461)。
ユーザが「画像を選択しない」を選択した場合(ステップS440;NO)を選択した場合、第1画像選択部404bは、選択した細胞画像NPを、第2画像選択部406に出力する。
ユーザが「機械学習しない」を選択した場合(ステップS452;NO)、第1画像選択部404bは、選択した再選択画像SPを、第2画像選択部406に出力する。
第2画像選択部406は、第1画像選択部404bから取得した画像(以下、画像選択基準CR1を満たす複数の細胞の画像と記載する)の表示を、ユーザの指示によって決められた画像選択基準CR1とは異なる基準(以下、第2基準CR2と記載する)によって、画像の表示を変更する。第2画像選択部406は表示を変更した画像を、表示制御部300に対して出力する。表示制御部300は、表示を変更した画像を表示部30に表示させる(ステップS470)。ユーザは、表示部30に表示された画像から、代表画像RPを指定する。第2画像選択部406は、ユーザの指定に基づいて、代表画像RPを選択する(ステップS480)。ステップS470において表示される画像に、ユーザが所望する細胞画像が含まれていない場合、解析装置10cは、特徴量算出部102又は相関関係抽出部104の処理からやりなおしてもよい。
図16は、画像選択基準CR1とは異なる第2基準CR2を選択する画面UI3の一例を示す図である。
画面UI3は、「画像中の細胞の数」と、「画像中の細胞の画像サイズ」と、「画像に含まれる全ての細胞が画像選択基準を満たすか」と、「指定した領域中の細胞が、画像選択基準を満たすか」と、「指定した領域中の単一の細胞が画像選択基準を満たすか」とを指定する画面の一例である。なお、画面UI3において、第2基準CR2が選択されない場合、第2画像選択部406は、操作検出部500から取得するユーザの指示に基づいて、表示制御部300が表示させる複数の表示画像から、ユーザの指示に対応する代表画像RPを選択する。
第2画像選択部406は、ユーザが「画像中の細胞の数」を選択し、細胞の数を指定すると、第2基準CR2に、画像中に含まれる細胞の数を追加する。第2画像選択部406は、第2基準CR2に基づいて、画像選択基準CR1を満たす複数の撮像画像BPから、ユーザが指定した数の細胞が含まれる画像を代表画像RPとして選択する。
第2画像選択部406は、ユーザが「画像中の細胞の画像サイズ」を選択し、画像のサイズを指定すると、第2基準CR2に、画像中に含まれる細胞の画像サイズを追加する。第2画像選択部406は、第2基準CR2に基づいて、画像選択基準CR1を満たす複数の撮像画像BPから、ユーザが指定した画像サイズの細胞が含まれる画像を代表画像RPとして選択する。
第2画像選択部406は、ユーザが「画像に含まれる全ての細胞が画像選択基準を満たすか」を選択すると、第2基準CR2に、画像に含まれる全ての細胞が画像選択基準CR1を満たすことを追加する。第2画像選択部406は、第2基準CR2に基づいて、画像選択基準CR1を満たす複数の撮像画像BPから、撮像された画像に含まれる全ての細胞が画像選択基準CR1を満たす画像を代表画像RPとして選択する。
第2画像選択部406は、ユーザが「指定した領域中の細胞が、画像選択基準を満たすか」を選択すると、第2画像選択基準CR2に、ユーザが指定するROI(Region Of Interests)中の細胞が画像選択基準CR1を満たすことを追加する。第2画像選択部406は、第2画像選択基準CR2に基づいて、画像選択基準CR1を満たす複数の撮像画像BPから、ユーザが指定するROI中の細胞全てが画像選択基準CR1を満たす画像を、代表画像RPとして選択する。
第2画像選択部406は、ユーザが「指定した領域中の単一の細胞が画像選択基準を満たすか」を選択すると、第2画像選択基準CR2に、ユーザが指定するROI中の単一の細胞が画像選択基準CR1を満たすことを追加する。第2画像選択部406は、第2画像選択基準CR2に基づいて、画像選択基準CR1を満たす複数の撮像画像BPから、ユーザが指定するROI中の単一の細胞が画像選択基準CR1を満たす画像を、代表画像RPとして選択する。
図17は、表示部30に表示される代表画像RPの一例を示す図である。
この一例においては、代表画像RPには、代表画像RP1から代表画像RP24が含まれる。
代表画像RP1から代表画像RP3は、それぞれ同一のタイミングに撮像された細胞の画像である。代表画像RP4から代表画像RP6、代表画像RP7から代表画像RP9、代表画像RP10から代表画像RP12、代表画像RP13から代表画像RP15、代表画像RP16から代表画像RP18、代表画像RP19から代表画像RP21、及び代表画像RP22から代表画像RP24は、それぞれ同一のタイミングに撮像された細胞の画像である。
これらの代表画像RPは、撮像されたタイミング順に、画像選択基準CR1毎に、それぞれ表示画像として表示部30に表示される。具体的には、画像選択基準CR1として、計測対象Aと、計測対象Bとが指定された代表画像RPである。
図18は、表示部30に表示される複数の色に染色された細胞の代表画像RPの一例を示す図である。
この一例においては、代表画像RPには、代表画像RP25から代表画像RP36が含まれる。
代表画像RP25から代表画像RP27は、それぞれ同一のタイミングに撮像された細胞の画像である。同様に、代表画像RP28から代表画像RP30、代表画像RP31から代表画像RP33、及び代表画像RP34から代表画像RP36は、それぞれ同一のタイミングに撮像された細胞の画像である。
これらの代表画像RPは、撮像されたタイミング順に、画像選択基準CR1毎に、それぞれ表示画像として表示部30に表示される。また、複数の色に染色された細胞の画像は、色毎に重ね合わせて表示される。具体的には、代表画像RP28から代表画像RP30は、図21に示す代表画像RP4から代表画像RP6と、代表画像RP16と代表画像RP18とを重ね合わせて表示したものである。
以上、説明したように、第4実施形態に係る解析装置10cが備える第2画像選択部406は、画像選択基準CR1を満たす複数の撮像画像BPを、表示制御部300に対して出力する。また、第2画像選択部406は、画像選択基準CR1とは異なる第2画像選択基準CR2に基づいて、画像選択基準CR1を満たす複数の撮像画像BPから、代表画像RPを選択する。つまり、第2画像選択部406は、画像選択基準CR1を満たす複数の撮像画像BPと代表画像RPとで形状が類似する画像を、複数の細胞画像BPから選択する第2画像選択部406は、選択した代表画像RPを、表示制御部300に出力する。表示制御部300は、表示部30に、取得した代表画像RPを表示させる。このように構成することにより、解析装置10cは、ユーザが指定した条件に基づいて画像を表示させることができる。また、表示させた画像を、ユーザに選択させることができる。ユーザは、撮像画像BPのうち、画像選択基準CR1及び第2画像選択基準CR2を満たす画像から、用途に応じた画像を選択することができる。また、細胞観察システム1cは、選択した画像にユーザが所望する相関関係又は特徴量を示す画像が含まれていない場合、マルチスケール解析をやりなおすことができる。これにより、ユーザは所定の相関関係又は特徴量をよくあらわす画像を、代表画像RPとして選択することができる。なお、本実施形態においては、画像選択基準CR1を満たす画像を用いたが、撮像画像BPから第2画像選択基準CR2の少なくとも一つを満たす基準の画像を抽出するようにしても構わない。
[第5実施形態に係る解析装置10dの機能構成]
ここまでは、解析装置10cが、撮像画像BPから、代表画像RPを選択する方法について説明した。
次に、本発明における第5実施形態に係るグラフ生成部407について、図19を参照して説明する。
図19は、第5実施形態に係る解析装置10dの機能構成の一例を示す図である。なお、第1実施形態、第2実施形態、第3実施形態、及び第4実施形態と同一の構成及び動作については同一の符号を付してその説明を省略する。
解析装置10dは、グラフ生成部407をさらに備える。
グラフ生成部407は、第2画像選択部406が選択する代表画像RPを取得する。グラフ生成部407は、時間の経過に伴ってそれぞれ撮像された代表画像RPが示す特徴量に基づく経時変化情報と、代表画像RPとを対応づけたグラフGR1を生成する。経時変化情報とは、代表画像RPが示す特徴量の時間変化に伴う変化の情報である。つまり、グラフ生成部407は、代表画像RPに撮像された細胞の構成要素に関する特徴量の変化を、細胞画像選択部400により選択された代表画像RPから算出し、グラフGRを生成する。グラフ生成部407は、生成したグラフGR1を、表示制御部300に出力する。表示制御部300は、取得したグラフGR1を表示部30に表示させる。なお、グラフ生成部407は、経時変化情報と、代表画像RPと、特徴量の統計量を示す情報とを対応づけてグラフGR1を生成してもよい。
[第5実施形態に係る解析装置10dの動作の一例]
次に、図20から図21を参照して、解析装置10dが備えるグラフ生成部407がグラフGR1を生成する場合の動作の一例について説明する。
図20は、第5実施形態に係る解析装置10dの動作の一例を示す流れ図S5である。
解析装置10dは、第4実施形態において説明した流れ図S4の処理を行い、代表画像RPを選択する。解析装置10dが備えるグラフ生成部407は、時間の経過に伴ってそれぞれ撮像された複数の撮像画像BPと、代表画像RPとが示す特徴量に基づく経時変化情報と、代表画像RPとを対応づけたグラフGR1を生成する(ステップS510)。
図21は、グラフ生成部407が生成するグラフGR1の一例を示す図である。
グラフGR1は、縦軸に特徴量tと、横軸に時間timeとを持つグラフである。グラフGR1には、時間の経過に伴ってそれぞれ撮像された複数の撮像画像BPと、代表画像RPとが示す撮像された細胞の経時変化に伴う特徴量に基づく折れ線L3とが含まれる。
また、グラフGR1には、代表画像RP37と、代表画像RP38と、代表画像RP39と、代表画像RP40とが含まれる。グラフGRには、折れ線L3と、代表画像RP37から代表画像RP40のそれぞれとが、対応付けられて表示されている。具体的には、代表画像RP37は、点PT5が示す時間に撮像された画像である。代表画像RP38は、点PT6が示す時間に撮像された画像である。代表画像RP39は、点PT7が示す時間に撮像された画像である。代表画像RP40は、点PT8が示す時間に撮像された画像である。
さらに、グラフGR1には、エラーバーEBと、代表画像RPとが対応付けられている。エラーバーEBとは、特徴量の統計量を示す情報である。具体的には、点PT5におけるエラーバーEB1と、代表画像RP37と対応付けられた特徴量とが、対応付けられて表示されている。点PT6におけるエラーバーEB2と、代表画像RP38と対応付けられた特徴量とが、対応付けられて表示されている。点PT7におけるエラーバーEB3と、代表画像RP39と対応付けられた特徴量とが、対応付けられて表示されている。点PT8におけるエラーバーEB4と、代表画像RP40と対応付けられた特徴量とが、対応付けられて表示されている。
より具体的には、代表画像RP37は、同じタイミングで撮像された撮像画像BPと対応付けられた特徴量のうち、標準偏差が負寄りの画像が選択されている。そのため、エラーバーEB1の下寄りを示す矢印が、代表画像RP37の画像から示されている。同様に、代表画像RP40は、同じタイミングで撮像された撮像画像BPと対応付けられた特徴量のうち、標準偏差が負寄りの画像が選択されている。そのため、エラーバーEB4の下寄りを示す矢印が、代表画像RP40の画像から示されている。代表画像RP38は、同じタイミングで撮像された撮像画像BPと対応付けられた特徴量のうち、標準偏差が正寄りの画像が選択されている。そのため、エラーバーEB2の上寄りを示す矢印が、代表画像RP38の画像から示されている。代表画像RP39は、同じタイミングで撮像された撮像画像BPと対応付けられた特徴量のうち、標準偏差が0寄りの画像が選択されている。そのため、エラーバーEB3の中央を示す矢印が、代表画像RP37の画像から示されている。
細胞の所定の構成要素が刺激に対して、特徴量が変化するグラフにおいて、刺激に対して所定時間経過したのちに細胞画像を取得した場合、その所定時間を経過した時間での代表的な画像をグラフに表示することができる。本実施形態では、所定時間を経過した後に撮像された複数の画像をそれぞれの画像の特徴量の大きさごとに分類することができる。本実施形態では、特徴量の大きさに対応するエラーバーをグラフに示している。エラーバーの特徴量の大きさを選択するとその特徴量の大きさに対応する画像を表示することができる。その場合において、選択する画像の特徴量の大きさに基づいてグラフは変更しても構わないし、変更しなくても構わない。例えば、グラフはその所定時間経過したのちに撮影さえれた複数の画像から抽出される特徴量の大きさの平均の場合には、グラフは平均の値を固定したまま、エラーバーの選択による画像のみを変更できるようにしても構わない。
以上、説明したように、第5実施形態に係る解析装置10dが備えるグラフ生成部407は、複数の撮像画像BPと、代表画像RPとが示す特徴量に基づく撮像された細胞の経時変化情報と、代表画像RPとを対応づけたグラフGRを生成する。また、グラフ生成部407は、代表画像RPと、特徴量の統計量を示す情報とを対応づけてグラフGR1を生成してもよい。このように構成することにより、解析装置10dは、ユーザが選択する代表画像RPと対応付けたグラフを生成することができる。このため、ユーザは、代表画像RPを選択すると、その代表画像RPの特徴を反映するグラフGRも得ることができる。したがって、ユーザは、論文などに選択した代表画像RPを使用する場合に、所望する特徴量を持つ画像を代表画像RPとして選択する操作によって、選択された代表画像RPと対応付けられたグラフGR1も同時に得ることができ、手間を低減することができる。
なお、上述の実施形態においては、選択した画像に基づき、その他の撮影画像BPから画像を選択したが、これに限られない。例えば、選択した画像に基づき、特徴量の大きさ、例えば輝度の大きさが高い場合には、撮像条件を変えるようにしても構わない。すなわち、選択した画像に基づいて、撮像画像BPから選択する画像の選択のし直しを行ったが、選択した画像の母集団に含まれた画像とは異なる画像を取得しても構わない。異なる画像は、撮影条件を変えても、変えなくても構わない。また、異なる画像は用いる細胞を変えても構わない。例えば、細胞の染色条件を変えても構わない。勿論、細胞の種類を変えても構わない。
なお、解析装置10dは、演算部100を備えなくてもよい。この場合には、解析装置10dは、情報取得部(不図示)を更に備える。
情報取得部は、他の装置が解析した、刺激された細胞が撮像された細胞画像BPと、細胞画像BPから算出される特徴量と、特徴量を用いて算出される細胞画像BPに撮像された細胞の構成要素間の相関とを、他の装置から取得する。
解析装置10dは、情報取得部が取得する相関に基づいて、細胞画像BPから、条件を満たす画像を選択する。ここで、条件とは、画像選択基準CR1や、第2画像選択基準CR2である。また、解析装置10dは、選択した画像に基づいて、グラフGRを生成する。
以上説明したように、解析装置10dは、情報取得部を備える。解析装置10dは、他の装置が行う情報処理の負荷が大きい処理の結果を取得することができる。また、解析装置10dは、他の装置から取得する処理の結果に基づいて、大量の細胞画像BPから、条件を満たす画像を選択できる。これにより、解析装置10dを安価に構成することができる。
なお、以上に説明した解析装置10、解析装置10a、解析装置10b、解析装置10c及び解析装置10dにおける任意の構成部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体(記憶媒体)に記録(記憶)し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、オペレーティングシステム(OS:Operating System)あるいは周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD(Compact Disc)−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリー(RAM:Random Access Memory)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)あるいは電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
1…細胞観察システム、10,10a,10b,10c,10d…解析装置、20…顕微鏡装置、21…電動ステージ、22…撮像部、30…表示部、40…操作部、100…演算部、101…細胞画像取得部、102…特徴量算出部、103…雑音成分除去部、104…相関関係抽出部、200…記憶部、201…種類記憶部、202…実験条件記憶部、203…細胞画像記憶部、300…表示制御部、400,400a,400b,400c,400d…細胞画像選択部、401…相関関係選択部、402…画像選択部、403…特徴量選択部、404,404a,404b…第1画像選択部、405…基準選択部、406…第2画像選択基準、407…グラフ生成部、500…操作検出部

Claims (30)

  1. 刺激に対する細胞内の特徴量の相関を解析する装置であって、
    前記刺激された細胞が撮像された細胞画像を複数取得する細胞画像取得部と、
    前記細胞画像取得部が取得する細胞画像から、前記細胞を構成する構成要素の特徴量を算出する特徴量算出部と、
    前記特徴量算出部により算出される特徴量を用い前記構成要素間の相関を算出する相関算出部と、
    前記相関算出部により算出される相関から、第1相関を選択する相関選択部と、
    前記選択される第1相関に基づいて、前記撮像された前記複数の細胞画像から、第1細胞画像を選択する画像選択部と、
    を備える解析装置。
  2. 前記細胞の構成要素は第1構成要素と第2構成要素とを含み、
    前記第1相関は、前記第1構成要素に関する前記刺激に対する第1特徴量の変化と、前記第2構成要素に関する前記刺激に対する第2特徴量の変化との相関である、請求項1に記載の解析装置。
  3. 前記第1特徴量の変化と前記第2特徴量の変化は、前記細胞画像取得部で撮像される細胞画像から、抽出される、請求項2に記載の解析装置。
  4. 前記特徴量算出部により算出される複数種類の前記第1特徴量の変化および前記第2特徴量の変化は、輝度の変化、輝度の分散、面積の変化、位置の変化、個数の変化を含む、請求項3に記載の解析装置。
  5. 前記相関選択部は、前記第1構成要素と前記第2構成要素とを選択することで、前記第1相関を選択する、請求項2〜4のいずれか一項に記載の解析装置。
  6. 前記相関選択部は、前記第1構成要素に関する第1特徴量の変化と前記第2構成要素に関する第2特徴量の変化とを選択することで、前記第1相関を選択する、請求項2〜5のいずれか一項に記載の解析装置。
  7. (通常のMSAとった画像すべてを使って特徴量を算出)
    前記第1構成要素に関する第1特徴量の変化を、前記複数取得される細胞画像から算出する、請求項2〜6のいずれか一項に記載の解析装置。
  8. 前記第1構成要素に関する第1特徴量の変化を、前記画像選択部により選択された第1細胞画像から算出する、請求項2〜6のいずれか一項に記載の解析装置。
  9. 前記第1構成要素に関する第1特徴量の変化量と、前記複数の細胞画像とを対応づけ、選択される前記第1特徴量の変化量に対応する細胞画像を表示する、請求項2〜8のいずれか一項に記載の解析装置。
  10. 前記画像選択部は、前記複数の画像中の前記細胞画像の情報に基づいて、前記第1細胞画像を選択する、請求項1〜9のいずれか一項に記載の解析装置。
  11. 前記細胞の情報は、前記画像中の細胞の数、細胞の形状、細胞の異常、異常の有無、細胞画像のコントラスト、細胞と焦点位置との差、細胞が単独か否かの少なくとも一つの情報を含む、請求項10に記載の解析装置。
  12. 前記第1画像選択部が選択する画像を表示画像として表示させる制御部を備える、請求項1〜11のいずれか一項に記載の解析装置。
  13. 前記選択される第1細胞画像に基づいて、前記第1細胞とは異なる細胞画像を前記複数の細胞画像から選択する、請求項1〜12のいずれか一項に記載の解析装置。
  14. 前記第1細胞画像とは異なる細胞画像は、前記選択される第1細胞画像に基づいて、機械学習により、前記複数の画像から選択する、請求項13に記載の解析装置。
  15. 前記刺激に対する前記第1細胞画像が取得された時間とは異なる時間で撮像された第2細胞画像と、前記第1細胞画像とを、前記画像選択部が選択する、請求項1〜14のいずれか一項に記載の解析装置。
  16. 前記画像選択部は、前記第1細胞画像と前記第2細胞画像とで形状が類似する画像を、前記複数の細胞画像から選択する、請求項15に記載の解析装置。
  17. 前記画像選択部により選択される前記第1細胞画像と前記第2細胞画像とを表示する、請求項16に記載の解析装置。
  18. 前記第1細胞画像が取得された時間での第1特徴量の変化量と、前記第2細胞画像が取得された時間での第1特徴量の変化量とを用い作成される前記刺激による第1特徴量の変化量に対する変化情報と、前記第1細胞画像と前記第2細胞画像とを対応づけて表示する、請求項15〜17のいずれか一項に記載の解析装置。
  19. 前記第1細胞画像が取得された時間での第1特徴量の変化量と前記細胞取得部により取得される複数の細胞画像とを対応づけ、前記第1細胞画像が取得された時間での、選択される第1特徴量の変化量に対応する細胞画像を表示する、請求項18に記載の解析装置。
  20. 前記第2細胞画像が取得された時間での第1特徴量の変化量と前記細胞取得部により取得される複数の細胞画像とを対応づけ、第2細胞画像が取得された時間での、選択される第1特徴量の変化量に対応する細胞画像を表示する、請求項19に記載の解析装置。
  21. 前記刺激に対する前記第1構成要素に関する第1特徴量の変化を、前記選択される前記第1細胞画像と前記第2細胞画像から算出する、請求項20に記載の解析装置。
  22. 前記細胞画像取得部により撮像される細胞は生物細胞或いは固定済み細胞である、請求項1〜21のいずれか一項に記載の解析装置。
  23. 前記細胞を構成する要素は、遺伝子、タンパク質、オルガネラの少なくとも一つを含む、請求項1〜22のいずれか一項に記載の解析装置。
  24. 前記画像選択部により選択される第1細胞画像に基づいて、前記第1相関を変更する、請求項1〜23のいずれか一項に記載の解析装置。
  25. 前記画像選択部により選択される第1細胞画像に基づいて、前記第1相関を第2相関に変更する、請求項24に記載の解析装置。
  26. 前記第1画像を含む複数の細胞画像とは異なる画像を、前記細胞画像取得部が取得することにより、前記第2相関を抽出する、請求項25に記載の解析装置。
  27. 前記特徴量算出部は、前記細胞画像から、複数種類の特徴量を算出する、請求項1〜26のいずれか一項に記載の解析装置。
  28. 刺激に対する細胞内の相関を解析する解析方法であって、
    前記刺激された細胞が撮像された細胞画像を複数取得する細胞取得ステップと、
    前記細胞取得ステップから取得される前記細胞画像から、前記細胞を構成する構成要素毎の複数種類の特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップから算出される特徴量を用い前記構成要素間の相関を算出する相関算出ステップと、
    前記相関算出ステップから算出される相関から、第1相関を選択する相関選択ステップと、
    前記相関選択ステップから選択される第1相関に基づいて、前記撮像された前記複数の細胞画像から第1細胞画像を選択する画像選択ステップと、
    を有する解析方法。
  29. 刺激に対する細胞内の相関の解析を実行させるための解析プログラムであって、
    前記刺激された細胞が撮像された細胞画像を複数取得する細胞取得ステップと、
    前記細胞取得ステップから取得される前記細胞画像から、前記細胞を構成する構成要素毎の複数種類の特徴量を算出する特徴量算出ステップと、
    前記特徴量算出ステップから算出される特徴量を用い前記構成要素間の相関を算出する相関算出ステップと、
    前記相関算出ステップから算出される相関から、第1相関を選択する相関選択ステップと、
    前記相関選択ステップから選択される第1相関に基づいて、前記撮像された前記複数の細胞画像から第1細胞画像を選択する画像選択ステップと、
    を実行させるための解析プログラム。
  30. 刺激に対する細胞内の特徴量の相関を解析した結果に基づいて、画像を選択する表示装置であって、
    前記刺激された細胞が撮像された細胞画像を複数取得する細胞画像取得部と、前記細胞画像取得部が取得する前記細胞画像から前記細胞を構成する構成要素の特徴量を算出する特徴量算出部と、前記特徴量算出部により算出される特徴量を用い前記構成要素間の相関を算出する相関算出部とを備える装置が生成する前記細胞画像と、前記相関とを取得する取得部と、
    前記取得部が取得する前記相関から、第1相関を選択する相関選択部と、
    前記相関選択部が選択する第1相関に基づいて、前記取得部が取得する前記細胞画像から、第1細胞画像を選択する画像選択部と、
    を備える表示装置。
JP2018524662A 2016-06-30 2016-06-30 画像選択装置、画像選択プログラム、演算装置、及び表示装置 Active JP6777147B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069449 WO2018003063A1 (ja) 2016-06-30 2016-06-30 解析装置、解析方法、解析プログラム及び表示装置

Publications (2)

Publication Number Publication Date
JPWO2018003063A1 true JPWO2018003063A1 (ja) 2019-05-16
JP6777147B2 JP6777147B2 (ja) 2020-10-28

Family

ID=60786779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018524662A Active JP6777147B2 (ja) 2016-06-30 2016-06-30 画像選択装置、画像選択プログラム、演算装置、及び表示装置

Country Status (3)

Country Link
US (1) US11645859B2 (ja)
JP (1) JP6777147B2 (ja)
WO (1) WO2018003063A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003248B (zh) * 2018-07-23 2020-12-08 中国石油大学(华东) 一种细粒沉积岩纹层结构的表征方法
JP2020191841A (ja) * 2019-05-29 2020-12-03 大日本印刷株式会社 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法
WO2020262117A1 (ja) * 2019-06-28 2020-12-30 コニカミノルタ株式会社 画像処理システム、画像処理方法及びプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500664A (ja) * 1999-05-24 2003-01-07 セロミックス インコーポレイテッド 実験データの汎用解析のための方法およびシステム
JP2005102538A (ja) * 2003-09-29 2005-04-21 Nikon Corp 細胞観察装置および細胞観察方法
WO2006104201A1 (ja) * 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
JP2011239778A (ja) * 2010-04-23 2011-12-01 Nagoya Univ 化学物質のスクリーニング方法
JP2013027392A (ja) * 2000-06-08 2013-02-07 Regents Of The Univ Of California 視覚的サーボ制御光学顕微鏡
JP2014000081A (ja) * 2013-08-05 2014-01-09 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
WO2014030379A1 (ja) * 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
JP2014085949A (ja) * 2012-10-25 2014-05-12 Dainippon Printing Co Ltd 細胞挙動解析装置、細胞挙動解析方法、及びプログラム
JP2014115755A (ja) * 2012-12-07 2014-06-26 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及びプログラム
WO2014134550A1 (en) * 2013-02-28 2014-09-04 Auxogyn, Inc. Apparatus, method, and system for image-based human embryo cell classification
WO2015041177A1 (ja) * 2013-09-18 2015-03-26 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5854418B2 (ja) * 2011-02-28 2016-02-09 国立大学法人名古屋大学 細胞培養環境評価方法及びその装置
WO2012176785A1 (ja) 2011-06-20 2012-12-27 株式会社ニコン 画像処理装置および方法、並びにプログラム
JP6343874B2 (ja) * 2013-05-10 2018-06-20 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500664A (ja) * 1999-05-24 2003-01-07 セロミックス インコーポレイテッド 実験データの汎用解析のための方法およびシステム
JP2013027392A (ja) * 2000-06-08 2013-02-07 Regents Of The Univ Of California 視覚的サーボ制御光学顕微鏡
JP2005102538A (ja) * 2003-09-29 2005-04-21 Nikon Corp 細胞観察装置および細胞観察方法
WO2006104201A1 (ja) * 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
JP2011239778A (ja) * 2010-04-23 2011-12-01 Nagoya Univ 化学物質のスクリーニング方法
WO2014030379A1 (ja) * 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
JP2014085949A (ja) * 2012-10-25 2014-05-12 Dainippon Printing Co Ltd 細胞挙動解析装置、細胞挙動解析方法、及びプログラム
JP2014115755A (ja) * 2012-12-07 2014-06-26 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及びプログラム
WO2014134550A1 (en) * 2013-02-28 2014-09-04 Auxogyn, Inc. Apparatus, method, and system for image-based human embryo cell classification
JP2014000081A (ja) * 2013-08-05 2014-01-09 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
WO2015041177A1 (ja) * 2013-09-18 2015-03-26 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOLIN, D. L. & WISEMAN, P. W. ET AL.: "Advances in Image Correlation Spectroscopy: Measuring Number Densities, Aggregation States, and Dyna", CELL BIOCHEM BIOPHYS, vol. 49, JPN6019051884, 2 October 2007 (2007-10-02), pages 141 - 164, XP007906841, ISSN: 0004291198, DOI: 10.1007/s12013-007-9000-5 *

Also Published As

Publication number Publication date
US11645859B2 (en) 2023-05-09
US20190236778A1 (en) 2019-08-01
WO2018003063A1 (ja) 2018-01-04
JP6777147B2 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
Shihan et al. A simple method for quantitating confocal fluorescent images
Jonkman et al. Tutorial: guidance for quantitative confocal microscopy
Vogt et al. Automated image‐based phenotypic analysis in zebrafish embryos
Cutrale et al. Using enhanced number and brightness to measure protein oligomerization dynamics in live cells
Tai et al. Fibro-C-Index: comprehensive, morphology-based quantification of liver fibrosis using second harmonic generation and two-photon microscopy
AU2016322966A1 (en) Methods and apparatus for detecting an entity in a bodily sample
US11321836B2 (en) Image-processing device, image-processing method, and image-processing program for setting cell analysis area based on captured image
Jang et al. NeuroCa: integrated framework for systematic analysis of spatiotemporal neuronal activity patterns from large-scale optical recording data
JPWO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6756339B2 (ja) 画像処理装置、及び画像処理方法
JPWO2018003063A1 (ja) 画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置
Giakoumakis et al. Analysis of protein kinetics using fluorescence recovery after photobleaching (FRAP)
JP2013109119A (ja) 顕微鏡制御装置およびプログラム
JP6818041B2 (ja) 解析装置、解析方法、及びプログラム
JP6284024B2 (ja) 細胞生死判定システム、細胞生死判定方法
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
JP2014082957A (ja) 細胞計数装置及び細胞計数プログラム
US20200372652A1 (en) Calculation device, calculation program, and calculation method
Culley et al. NanoJ-SQUIRREL: quantitative mapping and minimisation of super-resolution optical imaging artefacts
JPWO2018066039A1 (ja) 解析装置、解析方法、及びプログラム
JP6897665B2 (ja) 画像処理装置、観察装置、及びプログラム
JP2016192923A (ja) 判定装置、判定システム、判定プログラム、細胞の製造方法、及び細胞
Vimort et al. Detection of bone loss via subchondral bone analysis
US20210133425A1 (en) Image processing device, observation device, and program
EP4249850A1 (en) Controller for an imaging system, system and corresponding method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6777147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250