JP7026694B2 - 画像解析装置、方法およびプログラム - Google Patents
画像解析装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7026694B2 JP7026694B2 JP2019544478A JP2019544478A JP7026694B2 JP 7026694 B2 JP7026694 B2 JP 7026694B2 JP 2019544478 A JP2019544478 A JP 2019544478A JP 2019544478 A JP2019544478 A JP 2019544478A JP 7026694 B2 JP7026694 B2 JP 7026694B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- cells
- contour
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000002073 fluorescence micrograph Methods 0.000 claims description 57
- 238000010186 staining Methods 0.000 claims description 48
- 238000010191 image analysis Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 17
- 238000003703 image analysis method Methods 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 103
- 210000004927 skin cell Anatomy 0.000 description 21
- 239000012472 biological sample Substances 0.000 description 19
- 210000003855 cell nucleus Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 210000000170 cell membrane Anatomy 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 102000011782 Keratins Human genes 0.000 description 6
- 108010076876 Keratins Proteins 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 210000001778 pluripotent stem cell Anatomy 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 238000009509 drug development Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- LAQPKDLYOBZWBT-NYLDSJSYSA-N (2s,4s,5r,6r)-5-acetamido-2-{[(2s,3r,4s,5s,6r)-2-{[(2r,3r,4r,5r)-5-acetamido-1,2-dihydroxy-6-oxo-4-{[(2s,3s,4r,5s,6s)-3,4,5-trihydroxy-6-methyloxan-2-yl]oxy}hexan-3-yl]oxy}-3,5-dihydroxy-6-(hydroxymethyl)oxan-4-yl]oxy}-4-hydroxy-6-[(1r,2r)-1,2,3-trihydrox Chemical compound O[C@H]1[C@H](O)[C@H](O)[C@H](C)O[C@H]1O[C@H]([C@@H](NC(C)=O)C=O)[C@@H]([C@H](O)CO)O[C@H]1[C@H](O)[C@@H](O[C@]2(O[C@H]([C@H](NC(C)=O)[C@@H](O)C2)[C@H](O)[C@H](O)CO)C(O)=O)[C@@H](O)[C@@H](CO)O1 LAQPKDLYOBZWBT-NYLDSJSYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 101150111214 lin-28 gene Proteins 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005229 liver cell Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/02—Form or structure of the vessel
- C12M23/10—Petri dish
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M23/00—Constructional details, e.g. recesses, hinges
- C12M23/02—Form or structure of the vessel
- C12M23/12—Well or multiwell plates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
- C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
- G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/113—Fluorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Description
本発明は、複数種類の細胞を含む観察対象についての蛍光画像を解析する画像解析装置、方法およびプログラムに関するものである。
従来、ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞、または分化誘導された細胞等を顕微鏡等で撮像し、撮像した画像の特徴を捉えることで細胞の分化状態等を判定する方法が提案されている。ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。
このような再生医療および薬の開発等の分野においては、蛍光物質を用いて染色した細胞を撮影し、撮影により取得した蛍光画像に基づいて、細胞の検査が行われている。ここで、細胞の検査としては、未分化性等の特定の性質を有する細胞の数え上げ、および細胞の形態学的特徴の評価等が挙げられる。細胞の検査は、観察者の目視判定によって行われている。しかしながら、目視検査では、観察者間における評価基準のばらつきがあり、かつ検査の効率が悪い。このため、画像解析装置を用いた自動評価が行われている。
例えば、特許文献１においては、細胞膜と細胞核とを異なる染色で発色させて異なる蛍光画像を取得し、各蛍光画像において細胞膜および細胞核の領域を決定し、細胞核の領域が細胞膜の領域に包含されるときに、細胞として判定する手法が提案されている。また、特許文献２においては、蛍光画像において細胞核の輪郭と細胞の輪郭とを抽出し、細胞の輪郭内に細胞核が１つだけ存在しているか複数存在しているか否かを判定し、細胞核が複数存在している場合には細胞の輪郭を分割して、細胞の輪郭内に核が１つだけ存在している細胞を細胞として識別する手法が提案されている。
しかしながら、特許文献１に記載された手法は、細胞核の領域が細胞膜の領域に包含されるときに細胞として判別するのみであり、細胞の種類を判別するものではない。また、特許文献２に記載された手法は、細胞の輪郭内における細胞核の数を判別するものであり、細胞の種類を判別するものではない。
本発明は、上記事情に鑑みなされたものであり、観察対象に含まれる細胞の種類を判別できるようにすることを目的とする。
本発明による画像解析装置は、第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得する画像取得部と、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得する第１の判定部と、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する第２の判定部とを備える。
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得する第１の判定部と、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する第２の判定部とを備える。
「第１の領域」とは、複数種類の細胞の全てに含まれる領域であり、例えば複数種類の細胞の細胞核を第１の領域として用いることができる。
「第２の領域」とは、複数種類の細胞のうちの特定の細胞における、例えば細胞膜内の全領域を第２の領域として用いることができる。
「重ね合わせ画像」は、相対応する画素が一致するように、第１の蛍光画像と第２の蛍光画像とを重ねることにより取得される画像である。
なお、本発明による画像解析装置においては、複数種類の細胞のうち、特定の細胞以外の細胞は、第２の染色に対して陰性であってもよい。
「第２の染色に対して陰性」であるとは、第２の染色によっては染色されないことを意味する。
また、本発明による画像解析装置においては、第１の判定部は、第２の蛍光画像から第２の領域の輪郭を抽出し、重ね合わせ画像において、第１の領域のそれぞれが、対応する第２の領域の輪郭内に位置するか否かに基づいて、第１の判定結果を取得するものであってもよい。
この場合、第１の判定部は、第１の判定結果が取得できない場合、重ね合わせ画像において、第１の領域のそれぞれについての、対応する第２の領域の輪郭内に位置する割合に基づいて、第１の判定結果を取得するものであってもよい。
なお、輪郭の抽出は、重ね合わせ画像を生成する前に行ってもよく、重ね合わせ画像を生成した後に行ってもよい。
また、本発明による画像解析装置においては、第１の判定部は、第２の蛍光画像から第２の領域の輪郭を抽出し、重ね合わせ画像において、第１の領域のそれぞれについての、対応する第２の領域の輪郭内に位置する割合に基づいて、第１の判定結果を取得するものであってもよい。
また、本発明による画像解析装置においては、第１の判定部は、第１の蛍光画像から第１の領域の輪郭を抽出し、第２の蛍光画像から第２の領域の輪郭を抽出し、重ね合わせ画像における第１の領域の輪郭および第２の領域の輪郭に基づいて、第１の判定結果を取得するものであってもよい。
この場合、第１の判定部は、重ね合わせ画像において、第１の領域の輪郭および第２の領域の輪郭のそれぞれに対して、互いに隣接する第１の基準点および第２の基準点を設定し、第１の基準点における第１の領域の輪郭の方向を表す第１の情報、第２の基準点における第２の領域の輪郭の方向を表す第２の情報、および第１の基準点と第２の基準点との距離を表す第３の情報に基づいて、第１の判定結果を取得するものであってもよい。
本発明による画像解析方法は、第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得し、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得し、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する。
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得し、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する。
なお、本発明による画像解析方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他の画像解析装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサが、
第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得し、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得し、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する処理を実行する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサが、
第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および第１の染色とは異なる第２の染色により、複数種類の細胞のうちの特定の細胞における第２の領域が染色された観察対象を表す第２の蛍光画像を取得し、
第１の蛍光画像と第２の蛍光画像とを重ね合わせた重ね合わせ画像において、第１の領域が第２の領域に包含されるか否かを判定して、第１の領域のそれぞれについての第１の判定結果を取得し、
第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する処理を実行する。
本発明によれば、第１の染色により第１の領域が染色された第１の蛍光画像と、第１の染色とは異なる第２の染色により、特定の細胞における第２の領域が染色された第２の蛍光画像とを重ねた重ね合わせ画像において、第１の蛍光画像における第１の領域が第２の蛍光画像における第２の領域に包含されるか否かが判定されて第１の判定結果が取得される。そして、第１の判定結果に基づいて観察対象に含まれる細胞の種類が判定される。ここで、第１の蛍光画像においては、複数種類の細胞の第１の領域が染色されており、第２の蛍光画像においては、特定の細胞における第２の領域が染色されている。このため、特定の細胞については、重ね合わせ画像において第２の領域と第１の領域とが重なって、第１の領域が第２の領域に包含される。一方、特定の細胞以外の細胞については、第２の染色により染色されていないため、重ね合わせ画像においては、特定の細胞以外の細胞の第１の領域は、第２の領域に包含されない。したがって、本発明によれば、観察対象に含まれる特定種類の細胞と特定種類の細胞以外の細胞とを区別することができるため、観察対象に含まれる細胞の種類を判定することができる。
以下、本発明の画像解析装置の一実施形態を用いた画像解析システムについて、図面を参照して詳細に説明する。図１は、本実施形態の画像解析システムの概略構成を示すブロック図である。図１に示すように、本実施形態の画像解析システムは、撮像装置１０、画像解析装置２０、表示装置３０および入力装置４０を備える。
まず、本実施形態の画像解析システムにおいては、複数種類の細胞を含む生体試料が観察対象として準備される。生体試料としては、例えば、がん細胞、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。
本実施形態においては、生体試料として、フィーダー細胞を用いて培養された皮膚細胞を準備し、皮膚細胞を評価する例について説明する。なお、皮膚細胞が特定の細胞となる。評価としては、皮膚細胞の数のカウントおよび皮膚細胞の形態学的特徴の評価が挙げられる。また、皮膚細胞の培養は容器内において行われる。容器としては、例えばシャーレでもよいし、マルチウェルプレートでもよいし、１つのマルチウェルプレートの異なるウェルを用いてもよい。そして、本実施形態においては、生体試料に対して第１の染色を行って第１の蛍光画像を撮像し、その後に第２の染色を行って第２の蛍光画像を取得する。
第１の染色には生体試料に含まれる全ての細胞の細胞核を染色する蛍光物質が用いられる。また、第２の染色には、生体試料に含まれる皮膚細胞のケラチンを染色するケラチン染色を行う蛍光物質が用いられる。ここで、フィーダー細胞はケラチン染色（第２の染色）に対して陰性であり、ケラチン染色によっては染色されない。なお、生体試料の作成および染色は、ユーザが手動で行うようにしてもよいし、例えば細胞を吸引する機構およびロボットアーム等からなる装置を用いて自動で行うようにしてもよい。
撮像装置１０は、第１の染色がなされた生体試料を撮像して第１の蛍光画像Ｋ１を取得し、その後に第２の染色がなされた生体試料を撮像して第２の蛍光画像Ｋ２を取得する。具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサおよびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を備え、生体試料から発せられる蛍光の強度を検出する蛍光顕微鏡装置を撮像装置１０として用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。撮像装置１０により取得された第１の蛍光画像Ｋ１および第２の蛍光画像Ｋ２は、画像解析装置２０に入力される。
画像解析装置２０は、図１に示すように、画像取得部２１、第１の判定部２２、第２の判定部２３および表示制御部２４を備える。画像解析装置２０は、中央処理装置、半導体メモリおよびハードディスク等を備えたコンピュータから構成されるものであり、ハードディスクに本発明の画像解析プログラムの一実施形態がインストールされている。そして、画像解析プログラムが中央処理装置によって実行されることによって、図１に示す画像取得部２１、第１の判定部２２、第２の判定部２３および表示制御部２４が機能する。なお、本実施形態においては、画像解析プログラムによって、各部の機能を実行するようにしたが、これに限らず、例えば複数のＩＣ（Integrated Circuit）、プロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびメモリ等を適宜組み合わせることによって各部の機能を実行するようにしてもよい。
画像取得部２１は、撮像装置１０から出力された第１の蛍光画像Ｋ１および第２の蛍光画像Ｋ２を取得し、不図示の記憶部に記憶する。図２は第１の蛍光画像を示す図、図３は第２の蛍光画像を示す図である。ここで、上述した第１の染色により生体試料に含まれる全ての細胞の細胞核が染色されているため、第１の蛍光画像Ｋ１においては、生体試料に含まれる全ての細胞核が染色されている。第１の蛍光画像Ｋ１に含まれる細胞核の領域が第１の領域Ａ１となる。
一方、上述した第２の染色により生体試料に含まれる皮膚細胞のケラチンが染色されている。ケラチンは皮膚細胞の細胞膜内に存在する。このため、第２の蛍光画像Ｋ２においては、生体試料に含まれる皮膚細胞の細胞膜内の領域が染色されている。第２の蛍光画像Ｋ２に含まれる皮膚細胞の細胞膜内の領域が第２の領域Ａ２となる。
なお、第１の染色を行う蛍光物質と第２の染色を行う蛍光物質とは異なるため、第１の蛍光画像Ｋ１における染色された第１の領域Ａ１と、第２の蛍光画像Ｋ２における染色された領域Ａ２とは異なる蛍光色を発する。この状態を示すため、図２においては第１の蛍光画像Ｋ１において染色された第１の領域Ａ１を黒く塗りつぶし、図３においては第２の蛍光画像Ｋ２において染色された第２の領域Ａ２に斜線を付与している。
第１の判定部２２は、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定して、第１の領域Ａ１のそれぞれについての第１の判定結果を取得する。このために、第１の判定部２２は、第２の蛍光画像Ｋ２から染色された第２の領域Ａ２、すなわち皮膚細胞の細胞膜の領域の輪郭を抽出する。なお、輪郭を抽出する手法としては、例えば微分フィルタを用いる手法を用いることができる。また、第２の蛍光画像Ｋ２を二値化処理して二値化画像を取得し、二値化画像における領域の境界線を追跡する手法を用いて輪郭を抽出してもよい。なお、二値化処理としては、適応的二値化および大津の二値化等、任意の手法を用いることができる。
第１の判定部２２は、第２の領域Ａ２の輪郭が抽出された第２の蛍光画像Ｋ２と第１の蛍光画像Ｋ１とを重ね合わせて重ね合わせ画像Ｋ０を生成する。図４は本実施形態において生成される重ね合わせ画像を示す図である。なお、図４に示す重ね合わせ画像Ｋ０においては、第１の領域Ａ１の塗りつぶし、および第２の領域Ａ２への斜線は省略している。第１の判定部２２は、重ね合わせ画像Ｋ０に含まれる第１の領域Ａ１のそれぞれについて、第２の領域Ａ２の輪郭内に位置するか否かに基づいて、第１の領域Ａ１が対応する第２の領域Ａ２に包含されているか否かを判定して、第１の判定結果を取得する。
図５は第１の領域の第２の領域への包含を説明するための図である。なお、図５においては、４つの第１の領域Ａ１１，Ａ１２，Ａ１３，Ａ１４およびこれらに対応する１つの第２の領域Ａ２が示されている。第１の判定部２２は、第１の領域Ａ１１，Ａ１２，Ａ１３，Ａ１４における重心Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４を検出する。そして、重心Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４から、重ね合わせ画像Ｋ０におけるあらかじめ定められた方向に半直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４を引き、半直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４と第２の領域Ａ２の輪郭との交点の数を検出する。そして、交点の数が奇数の場合、その第１の領域Ａ１は第２の領域Ａ２の輪郭内に位置し、交点の数が偶数の場合、その第１の領域Ａ１は第２の領域Ａ２の輪郭外に位置すると判定する。例えば、第１の領域Ａ１１，Ａ１３について、半直線Ｌ１１，Ｌ１３は第２の領域Ａ２とそれぞれ１箇所で交差するため、第１の領域Ａ１１，Ａ１３は第２の領域Ａ２の輪郭内に位置する。このため、第１の領域Ａ１１，Ａ１３は第２の領域Ａ２に包含されると判定される。また、第１の領域Ａ１２について、半直線Ｌ１２は第２の領域Ａ２と２箇所で交差するため、第１の領域Ａ１２は第２の領域Ａ２の輪郭外に位置する。このため、第１の領域Ａ１２は第２の領域Ａ２に包含されないと判定される。なお、第１の領域Ａ１４については、半直線Ｌ１４は第２の領域Ａ２と交差するか否か明確に判定ができない。そのような第１の領域Ａ１４については、判定できない旨、すなわち判定不可の判定を行う。
第１の判定部２２は、判定不可となった第１の領域Ａ１については、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合を算出する。図６は第１の領域が第２の領域の輪郭内に位置する割合の算出を説明するための図である。第１の判定部２２は、第１の領域Ａ１の全領域の面積Ｓ１１と、図６に斜線で示す、第１の領域Ａ１のうちの第２の領域Ａ２の輪郭内に含まれる領域の面積Ｓ１２を算出し、後者を前者で除算した値、すなわちＳ１２／Ｓ１１を算出することにより、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合を算出する。第１の判定部２２は、算出した割合があらかじめ定められたしきい値Ｔｈ１以上であるか否かを判定し、割合がしきい値Ｔｈ１以上の場合、その第１の領域Ａ１は第２の領域Ａ２に包含されると判定する。なお、しきい値Ｔｈ１としては、誤検出を防止するために，比較的高い値（例えば８０％）を用いることができる。一方、算出した割合がしきい値Ｔｈ１未満である場合、その第１の領域Ａ１は第２の領域Ａ２に包含されないと判定する。
第２の判定部２３は、第１の判定部２２による第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定する。具体的には、第１の領域Ａ１が第２の領域Ａ２に包含されている細胞を皮膚細胞と判定し、第１の領域Ａ１が第２の領域Ａ２に包含されていない細胞をフィーダー細胞と判定する。なお、第２の判定部２３は、重ね合わせ画像Ｋ０において、判定した細胞の種類毎に異なるマーカを付与してもよい。例えば、判定した細胞の種類毎に異なる色のマーカを付与してもよい。図７はマーカが付与された重ね合わせ画像を示す図である。なお、図７においては、皮膚細胞の細胞核を塗りつぶし、フィーダー細胞の細胞核に斜線を付与することにより、皮膚細胞の細胞核およびフィーダー細胞の細胞核にそれぞれ異なる色のマーカを付与していることを示している。なお、異なる色のマーカの付与に代えて、異なる形状のマーカを付与してもよい。
表示制御部２４は、上述した第１の蛍光画像Ｋ１、第２の蛍光画像Ｋ２および重ね合わせ画像Ｋ０等を表示装置３０に表示する。
表示装置３０は、表示制御部２４からの指示により、上述した第１の蛍光画像Ｋ１、第２の蛍光画像Ｋ２および重ね合わせ画像Ｋ０等を表示するものであり、例えば液晶ディスプレイ等を備えたものである。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用してもよい。
入力装置４０は、マウスおよびキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付けるものである。
次いで、本実施形態において行われる処理について説明する。図８は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、撮像装置１０が生体試料を撮像することにより取得した、第１の蛍光画像Ｋ１および第２の蛍光画像Ｋ２を取得する（ステップＳＴ１）。次いで、第１の判定部２２が、第２の蛍光画像Ｋ２に含まれる第２の領域Ａ２の輪郭を抽出し（ステップＳＴ２）、輪郭が抽出された第２の蛍光画像Ｋ２と第１の蛍光画像Ｋ１とを重ね合わせて重ね合わせ画像Ｋ０を生成する（ステップＳＴ３）。さらに，第１の判定部２２は、重ね合わせ画像Ｋ０に含まれる第１の領域Ａ１のそれぞれについて、対応する第２の領域Ａ２に包含されるか否かを判定して、第１の判定結果を取得する（ステップＳＴ４）。そして、第２の判定部２３が、第１の判定結果に基づいて、観察対象に含まれる細胞の種類を特定する（ステップＳＴ５）。さらに、表示制御部２４が、細胞の種類に応じたマーカが付与された重ね合わせ画像Ｋ０を表示装置３０に表示し（ステップＳＴ６）、処理を終了する。
このように，本実施形態においては、第１の蛍光画像Ｋ１と第２の蛍光画像Ｋ２とを重ねた重ね合わせ画像Ｋ０において、第１の蛍光画像Ｋ１における第１の領域Ａ１が第２の蛍光画像Ｋ２における第２の領域Ａ２に包含されるか否かを判定して第１の判定結果を取得し、第１の判定結果に基づいて、観察対象に含まれる細胞の種類を判定するようにした。ここで、第１の蛍光画像Ｋ１においては、複数種類の細胞の第１の領域Ａ１、すなわち細胞核が染色されており、第２の蛍光画像Ｋ２においては、特定の細胞、すなわち皮膚細胞における第２の領域Ａ２が染色されている。このため、皮膚細胞については、重ね合わせ画像Ｋ０において第２の領域Ａ２と第１の領域Ａ１とが重なって、第１の領域Ａ１が第２の領域Ａ２に包含される。一方、皮膚細胞以外の細胞、すなわちフィーダー細胞については、第２の染色により染色されていないため、重ね合わせ画像Ｋ０においては、フィーダー細胞の第１の領域Ａ１は、第２の領域Ａ２に包含されない。したがって、本発明によれば、観察対象に含まれる特定種類の細胞、すなわち皮膚細胞と特定種類の細胞以外の細胞、すなわちフィーダー細胞とを区別することができるため、観察対象に含まれる細胞の種類を判定することができる。
なお、上記実施形態においては、第１の判定部２２において第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定している。しかしながら、第２の領域Ａ２の輪郭が明確に抽出できない等の理由により、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定することが困難な場合がある。例えば、図９に示すように、第１の領域Ａ１は第２の領域Ａ２に包含されると考えられるが、第１の領域Ａ１の重心Ｇ１から引いた半直線Ｌ１が第２の領域Ａ２の輪郭と交差する数が２となるため、第１の領域Ａ１は第２の領域Ａ２に包含されないと判定されてしまう。
このため、第１の判定部２２は、第１の領域Ａ１の輪郭および第２の領域Ａ２の輪郭に基づいて、第１の判定結果を取得するようにしてもよい。以下、これを他の実施形態として説明する。図１０は他の実施形態による第１の判定結果の取得を説明するための図である。第１の判定部２２は、まず第１の領域Ａ１の輪郭上に第１の基準点Ｐ１を設定し、第１の基準点Ｐ１における外向きの単位法線ベクトルｎ１を設定する。単位法線ベクトルｎ１が、第１の基準点Ｐ１における第１の領域Ａ１の輪郭の方向を表す第１の情報となる。第１の判定部２２は、単位法線ベクトルｎ１の延長線と第２の領域Ａ２の輪郭との交点を第２の基準点Ｐ２に設定する。なお、交点が複数ある場合には、第１の基準点Ｐ１に最も近い交点を第２の基準点Ｐ２に設定する。さらに第１の判定部２２は、第２の基準点Ｐ２において第１の基準点Ｐ１側を向く単位法線ベクトルｎ２を設定する。単位法線ベクトルｎ２が、第２の基準点Ｐ２における第２の領域Ａ２の輪郭の方向を表す第２の情報となる。また、第１の判定部２２は、第１の基準点Ｐ１と第２の基準点Ｐ２との距離ｄ（例えばユークリッド距離）を算出する。距離ｄが第１の基準点Ｐ１と第２の基準点Ｐ２との距離を表す第３の情報となる。
そして、第１の判定部２２は、第１の領域Ａ１の輪郭の方向と第２の領域Ａ２の輪郭の方向との類似度の評価値、および第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との距離の評価値に基づいて、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との類似度を算出する。具体的には、単位法線ベクトルｎ１，ｎ２の内積の絶対値を、第１の領域Ａ１の輪郭の方向と第２の領域Ａ２の輪郭の方向との類似度の評価値として算出する。また、第１の基準点Ｐ１と第２の基準点Ｐ２との距離ｄに関して、１／（１＋ｄ）の値を、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との距離の評価値として算出する。なお、輪郭の方向の類似度の評価値は、単位法線ベクトルｎ１，ｎ２の向きが平行に近いほど大きい値となる。また、距離の評価値は距離ｄが小さいほど大きい値となる。そして、第１の判定部２２は、類似度の評価値と距離の評価値とを重み付け加算して、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との類似度を算出する。具体的には、下記の式（１）により、第１の領域Ａ１の輪郭と第２の領域Ａ２の輪郭との類似度Ｓ（Ｐ１）を算出する。
なお、式（１）において、ｗ１，ｗ２は重み係数である。第１の判定部２２は、類似度Ｓ（Ｐ１）があらかじめ設定されたしきい値Ｔｈ２以上であるか否かを判定する。そして、類似度Ｓ（Ｐ１）がしきい値Ｔｈ２以上である場合に、設定した第１の基準点Ｐ１に関して、第１の領域Ａ１は第２の領域Ａ２に包含されると判定する。第１の判定部２２は、第１の領域Ａ１の輪郭の全周に亘って第１の基準点Ｐ１の位置を変更しつつ類似度Ｓ（Ｐ１）を算出し、設定した第１の基準点Ｐ１に関して、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定する。そして、全ての第１の基準点Ｐ１について、第１の領域Ａ１が第２の領域Ａ２に包含されると判定された割合が、あらかじめ定められたしきい値Ｔｈ３以上である場合に、第１の領域Ａ１は第２の領域Ａ２に包含されると判定する。
このように、第１の領域Ａ１の重心から引いた半直線と第２の領域Ａ２の輪郭との交点に基づくことによっては、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定することが困難な場合であっても、第１の領域Ａ１の輪郭および第２の領域Ａ２の輪郭に基づくことにより、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定することができる。
なお、上記実施形態においては、観察対象の生体試料として、フィーダー細胞を用いて培養された皮膚細胞を使用し、生体試料に含まれる細胞がフィーダー細胞か皮膚細胞かを判定しているが、これに限定されるものではない。本実施形態においては、第２の染色に対して陰性となる細胞および陽性となる細胞を含む生体試料について、細胞の種類を判別することが可能である。例えば、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞または分化誘導された細胞等を生体試料とし、細胞の分化状態等を評価する場合にも本実施形態を適用できる。この場合、第１の染色として、細胞の細胞核を染色する蛍光物資を使用し、第２の染色として、例えばＬｉｎ２８、ＴＲＡ－１－６０、ＳＳＥＡ－４およびＳＳＥＡ－１等の分化マーカを使用して、細胞質および／または細胞膜を染色する。このような第２の染色に対して、未分化細胞は陰性である。したがって、本実施形態において、このような第１の染色および第２の染色を行うことにより、分化細胞と未分化細胞とを区別することができる。
また、上記実施形態においては、第２の蛍光画像Ｋ２から第２の領域Ａ２の輪郭を抽出した後に、重ね合わせ画像Ｋ０を生成しているが、第１の蛍光画像Ｋ１と第２の蛍光画像Ｋ２とを重ね合わせた後に、第２の蛍光画像Ｋ２に含まれる第２の領域Ａ２の輪郭を抽出して重ね合わせ画像Ｋ０を生成してもよい。
また、上記実施形態においては、第２の蛍光画像Ｋ２から第２の領域Ａ２の輪郭を抽出した後に、重ね合わせ画像Ｋ０を生成しているが、第２の領域Ａ２の輪郭を抽出することなく、第１の蛍光画像Ｋ１と第２の蛍光画像Ｋ２とを重ね合わせて重ね合わせ画像Ｋ０を生成してもよい。
また、上記実施形態においては、第１の判定部２２において、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置するか否かを判定し、この判定ができなかった場合、すなわち判定不可となった場合に、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合に基づいて、第１の領域Ａ１が第２の領域Ａ２に包含されるか否かを判定している。しかしながら、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置するか否かを判定することなく、第１の領域Ａ１が第２の領域Ａ２の輪郭内に位置する割合に基づいて、第１の領域Ａ１が第
２の領域Ａ２に包含されるか否かを判定してもよい。
２の領域Ａ２に包含されるか否かを判定してもよい。
１０ 撮像装置
２０ 画像解析装置
２１ 画像取得部
２２ 第１の判定部
２３ 第２の判定部
２４ 表示制御部
３０ 表示装置
４０ 入力装置
Ａ１，Ａ１１，Ａ１２，Ａ１３，Ａ１４ 第１の領域
Ａ２ 第２の領域
ｄ 第１の基準点と第２の基準点との距離
Ｇ１，Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４ 重心
Ｋ０ 重ね合わせ画像
Ｋ１ 第１の蛍光画像
Ｋ２ 第２の蛍光画像
Ｌ１，Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４ 半直線
ｎ１，ｎ２ 単位法線ベクトル
Ｐ１ 第１の基準点
Ｐ２ 第２の基準点
２０ 画像解析装置
２１ 画像取得部
２２ 第１の判定部
２３ 第２の判定部
２４ 表示制御部
３０ 表示装置
４０ 入力装置
Ａ１，Ａ１１，Ａ１２，Ａ１３，Ａ１４ 第１の領域
Ａ２ 第２の領域
ｄ 第１の基準点と第２の基準点との距離
Ｇ１，Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４ 重心
Ｋ０ 重ね合わせ画像
Ｋ１ 第１の蛍光画像
Ｋ２ 第２の蛍光画像
Ｌ１，Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４ 半直線
ｎ１，ｎ２ 単位法線ベクトル
Ｐ１ 第１の基準点
Ｐ２ 第２の基準点
Claims (7)
- 第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する画像取得部と、
前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域のそれぞれが、対応する前記第２の領域の輪郭内に位置するか否かに基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、前記第１の判定結果が取得できない場合、前記重ね合わせ画像において、前記第１の領域のそれぞれについての、対応する前記第２の領域の輪郭内に位置する割合に基づいて、前記第１の判定結果を取得する第１の判定部と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する第２の判定部とを備えた画像解析装置。 - 第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する画像取得部と、
前記第１の蛍光画像から前記第１の領域の輪郭を抽出し、前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域の輪郭に対して第１の基準点を設定し、前記第１の基準点を通る第１の単位法線ベクトルを第１の情報として設定し、前記第１の単位法線ベクトルの延長線と前記第２の領域の輪郭との交点であって、前記第１の基準点と隣接する交点を第２の基準点に設定し、前記第２の基準点を通る第２の単位法線ベクトルを第２の情報として設定し、前記第１の情報、前記第２の情報、および前記第１の基準点と前記第２の基準点との距離を表す第３の情報に基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得する第１の判定部と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する第２の判定部とを備えた画像解析装置。 - 前記複数種類の細胞のうち、前記特定の細胞以外の細胞は、前記第２の染色に対して陰性である請求項１または２に記載の画像解析装置。
- 第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得し、
前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域のそれぞれが、対応する前記第２の領域の輪郭内に位置するか否かに基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、前記第１の判定結果が取得できない場合、前記重ね合わせ画像において、前記第１の領域のそれぞれについての、対応する前記第２の領域の輪郭内に位置する割合に基づいて、前記第１の判定結果を取得し、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する画像解析方法。 - 第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得し、
前記第１の蛍光画像から前記第１の領域の輪郭を抽出し、前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域の輪郭に対して第１の基準点を設定し、前記第１の基準点を通る第１の単位法線ベクトルを第１の情報として設定し、前記第１の単位法線ベクトルの延長線と前記第２の領域の輪郭との交点であって、前記第１の基準点と隣接する交点を第２の基準点に設定し、前記第２の基準点を通る第２の単位法線ベクトルを第２の情報として設定し、前記第１の情報、前記第２の情報、および前記第１の基準点と前記第２の基準点との距離を表す第３の情報に基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する画像解析方法。 - 第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する手順と、
前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域のそれぞれが、対応する前記第２の領域の輪郭内に位置するか否かに基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得し、前記第１の判定結果が取得できない場合、前記重ね合わせ画像において、前記第１の領域のそれぞれについての、対応する前記第２の領域の輪郭内に位置する割合に基づいて、前記第１の判定結果を取得する手順と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する手順とをコンピュータに実行させる画像解析プログラム。 - 第１の染色により第１の領域が染色された、複数種類の細胞を含む観察対象を表す第１の蛍光画像、および前記第１の染色とは異なる第２の染色により、前記複数種類の細胞のうちの特定の細胞における第２の領域が染色された前記観察対象を表す第２の蛍光画像を取得する手順と、
前記第１の蛍光画像から前記第１の領域の輪郭を抽出し、前記第２の蛍光画像から前記第２の領域の輪郭を抽出し、前記第１の蛍光画像と前記第２の蛍光画像とを重ね合わせた重ね合わせ画像において、前記第１の領域の輪郭に対して第１の基準点を設定し、前記第１の基準点を通る第１の単位法線ベクトルを第１の情報として設定し、前記第１の単位法線ベクトルの延長線と前記第２の領域の輪郭との交点であって、前記第１の基準点と隣接する交点を第２の基準点に設定し、前記第２の基準点を通る第２の単位法線ベクトルを第２の情報として設定し、前記第１の情報、前記第２の情報、および前記第１の基準点と前記第２の基準点との距離を表す第３の情報に基づいて前記第１の領域が前記第２の領域に包含されるか否かを判定して、前記第１の領域のそれぞれについての第１の判定結果を取得する手順と、
前記第１の判定結果に基づいて、前記観察対象に含まれる前記細胞の種類を判定する手順とをコンピュータに実行させる画像解析プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017187086 | 2017-09-27 | ||
| JP2017187086 | 2017-09-27 | ||
| PCT/JP2018/032613 WO2019065105A1 (ja) | 2017-09-27 | 2018-09-03 | 画像解析装置、方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019065105A1 JPWO2019065105A1 (ja) | 2020-11-26 |
| JP7026694B2 true JP7026694B2 (ja) | 2022-02-28 |
Family
ID=65903239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019544478A Active JP7026694B2 (ja) | 2017-09-27 | 2018-09-03 | 画像解析装置、方法およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11257301B2 (ja) |
| EP (1) | EP3690017A4 (ja) |
| JP (1) | JP7026694B2 (ja) |
| KR (1) | KR102431217B1 (ja) |
| WO (1) | WO2019065105A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020201126A (ja) * | 2019-06-10 | 2020-12-17 | 東ソー株式会社 | 細胞膜結合因子を用いた細胞検出法 |
| CN110853022B (zh) * | 2019-11-14 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 病理切片图像的处理方法、装置、系统及存储介质 |
| WO2023043211A1 (ko) * | 2021-09-16 | 2023-03-23 | 한국과학기술원 | 이미지를 처리하는 장치 및 방법 |
| WO2024049192A1 (ko) * | 2022-08-30 | 2024-03-07 | 한국과학기술원 | 인공 신경망 모델을 이용하여 이미지를 처리하는 장치 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005227097A (ja) | 2004-02-12 | 2005-08-25 | Olympus Corp | 細胞画像解析装置 |
| JP2011027542A (ja) | 2009-07-24 | 2011-02-10 | Olympus Corp | 細胞画像解析装置 |
| WO2015145644A1 (ja) | 2014-03-27 | 2015-10-01 | コニカミノルタ株式会社 | 画像処理装置および画像処理プログラム |
| WO2016104308A1 (ja) | 2014-12-25 | 2016-06-30 | コニカミノルタ株式会社 | 細胞画像解析方法及び細胞画像解析装置 |
| JP2017122610A (ja) | 2016-01-06 | 2017-07-13 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7426026B2 (en) * | 2003-10-10 | 2008-09-16 | Hamamatsu Photonics K.K. | Method and system for measuring the concentrations of fluorescent dyes |
| JP4496860B2 (ja) | 2004-06-30 | 2010-07-07 | 株式会社ニコン | 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置 |
| JP4997255B2 (ja) | 2009-01-05 | 2012-08-08 | オリンパス株式会社 | 細胞画像解析装置 |
| US9147104B2 (en) * | 2012-11-05 | 2015-09-29 | The United States Of America As Represented By The Secretary Of The Air Force | Systems and methods for processing low contrast images |
| US9135694B2 (en) * | 2012-12-04 | 2015-09-15 | General Electric Company | Systems and methods for using an immunostaining mask to selectively refine ISH analysis results |
-
2018
- 2018-09-03 JP JP2019544478A patent/JP7026694B2/ja active Active
- 2018-09-03 EP EP18861728.6A patent/EP3690017A4/en active Pending
- 2018-09-03 KR KR1020207005655A patent/KR102431217B1/ko active IP Right Grant
- 2018-09-03 WO PCT/JP2018/032613 patent/WO2019065105A1/ja unknown
-
2020
- 2020-02-14 US US16/791,496 patent/US11257301B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005227097A (ja) | 2004-02-12 | 2005-08-25 | Olympus Corp | 細胞画像解析装置 |
| JP2011027542A (ja) | 2009-07-24 | 2011-02-10 | Olympus Corp | 細胞画像解析装置 |
| WO2015145644A1 (ja) | 2014-03-27 | 2015-10-01 | コニカミノルタ株式会社 | 画像処理装置および画像処理プログラム |
| WO2016104308A1 (ja) | 2014-12-25 | 2016-06-30 | コニカミノルタ株式会社 | 細胞画像解析方法及び細胞画像解析装置 |
| JP2017122610A (ja) | 2016-01-06 | 2017-07-13 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3690017A4 (en) | 2020-11-18 |
| WO2019065105A1 (ja) | 2019-04-04 |
| US11257301B2 (en) | 2022-02-22 |
| JPWO2019065105A1 (ja) | 2020-11-26 |
| EP3690017A1 (en) | 2020-08-05 |
| KR20200031687A (ko) | 2020-03-24 |
| US20200184192A1 (en) | 2020-06-11 |
| KR102431217B1 (ko) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7026694B2 (ja) | 画像解析装置、方法およびプログラム | |
| CA2966555C (en) | Systems and methods for co-expression analysis in immunoscore computation | |
| CA2899714C (en) | Tissue object-based machine learning system for automated scoring of digital whole slides | |
| JP4071186B2 (ja) | 生物標本内の関心対象を識別するための方法及びシステム | |
| JP5717647B2 (ja) | 多核細胞分類および微小核点数化 | |
| US20100054560A1 (en) | Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program | |
| US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
| JP6960935B2 (ja) | コントロールスライドを使用する改善された画像解析アルゴリズム | |
| JP2007222073A (ja) | 画像処理により細胞運動特性を評価する方法、そのための画像処理装置及び画像処理プログラム | |
| CN105979847A (zh) | 内窥镜图像诊断辅助系统 | |
| EP3805401B1 (en) | Image processing method, medicine sensitivity test method and image processing device | |
| JP2019211468A (ja) | 画像処理方法、薬剤感受性試験方法および画像処理装置 | |
| EP3951386A1 (en) | Image analysis method, image analysis program, recording medium, image analysis device, and image analysis system | |
| US9754383B1 (en) | Automated methods for assessment of celiac disease | |
| US20190178867A1 (en) | Method for Identification of Tissue Objects in IHC Without Specific Staining | |
| WO2012126346A1 (zh) | 一种快速测定细胞核内dna含量的方法 | |
| JP6873231B2 (ja) | 細胞画像評価装置および方法並びにプログラム | |
| TWI324750B (en) | Microscopic image analysis method and system of microfluidic cells | |
| CN115917594A (zh) | 使用几何特征的整个载玻片注释转移 | |
| EP3938999A1 (en) | Correlated image analysis for 3d biopsy | |
| de Oliveira et al. | Segmentation of Cell Nuclei Regions in Epithelium of Prostate Glands. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211202 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211209 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7026694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |