JPWO2020003456A1 - 装置、顕微鏡装置、方法およびプログラム - Google Patents

装置、顕微鏡装置、方法およびプログラム Download PDF

Info

Publication number
JPWO2020003456A1
JPWO2020003456A1 JP2020526819A JP2020526819A JPWO2020003456A1 JP WO2020003456 A1 JPWO2020003456 A1 JP WO2020003456A1 JP 2020526819 A JP2020526819 A JP 2020526819A JP 2020526819 A JP2020526819 A JP 2020526819A JP WO2020003456 A1 JPWO2020003456 A1 JP WO2020003456A1
Authority
JP
Japan
Prior art keywords
color
information
color information
cells
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020526819A
Other languages
English (en)
Other versions
JP7248024B2 (ja
Inventor
宏昭 紀伊
宏昭 紀伊
真一 高山
真一 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2020003456A1 publication Critical patent/JPWO2020003456A1/ja
Priority to JP2022188327A priority Critical patent/JP2023029897A/ja
Application granted granted Critical
Publication of JP7248024B2 publication Critical patent/JP7248024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T7/00Details of radiation-measuring instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Organic Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Biotechnology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Genetics & Genomics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Sustainable Development (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

装置は、撮像された画像において、少なくとも1つの細胞の色情報を算出する画像処理部と、画像処理部により算出された色情報に基づいて、細胞の培養状態を判断する判定部とを有する。

Description

本発明の実施形態は、装置、顕微鏡装置、方法およびプログラムに関する。
一般的に、細胞の培養状態を評価する技術は、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野での基盤技術となっている。例えば、再生医療分野では、インビトロで細胞を増殖、分化させるプロセスが存在する。該プロセスでは、細胞の分化の成否、細胞の癌化や感染の有無を管理するために、細胞の培養状態を的確に評価することが不可欠である。一例として、マーカーとして転写因子を用いた癌細胞の評価方法が開示されている(例えば、特許文献1参照)。
研究、創薬、再生医療の分野において、色調を呈する細胞種が扱われることがある。例えば、色調を呈する細胞を胚性幹(Embryonic Stem: ES)細胞や誘導多能性幹(induced Pluripotent Stem: iPS)細胞などの幹細胞から目的の体細胞へと分化誘導させ、成熟させる場合、分化誘導工程や、成熟工程において色調を評価することが重要である。例えば、視細胞や網膜色素上皮(Retina Pigment Epithelium: RPE)細胞は、成長の進行にともなって、赤色から茶褐色を呈することが知られている。
現状の細胞製造現場では、容器中の細胞全体の色調の変化を作業者が目視で評価し、作業者が分化誘導の度合いや成熟の度合いを判断して工程管理を行う。
米国特許第7060445号明細書
本発明は、上記問題を解決すべくなされたもので、その目的は、成長の進行にともなって色調を呈する細胞種について、その細胞の成長を判定できる装置、装置を備える顕微鏡、方法およびプログラムを提供することを課題とする。
上記問題を解決するために、本発明の一態様は、撮像された画像において、少なくとも1つの細胞の色情報を算出する画像処理部と、前記画像処理部により算出された色情報に基づいて、前記細胞の培養状態を判断する判定部とを有する装置である。
本発明の一態様は、装置と、該装置に前記被検体の画像を提供する顕微鏡とを備える顕微鏡装置である。
本発明の一態様は、装置によって実行される方法であって、撮像された画像において、少なくとも1つの細胞の色情報を算出し、算出された色情報に基づいて、前記細胞の培養状態を判断する、方法である。
本発明の一態様は、装置に、撮像された画像において、少なくとも1つの細胞の色情報を算出させ、算出された色情報に基づいて、前記細胞の培養状態を判断させる、プログラムである。
本発明の実施形態によれば、成長の進行にともなって色調を呈する細胞種について、その細胞の成長を判定できる。
本実施形態に係る判定システムを示す図である。 顕微鏡の一例を示す図である。 色空間(その1)の一例を示す図である。 色空間(その2)の一例を示す図である。 色基準情報の設定方法(その1)を示す図である。 色基準情報の設定方法(その2)を示す図である。 色情報を計測する対象を抽出する処理の一例を示す図である。 色情報を計測する対象を抽出する処理の一例を示す図である。 色情報の解析例(その1)を示す図である。 色情報の解析例(その2)を示す図である。 本実施形態に係る判定装置の動作を示すフローチャートである。 本実施形態に係る判定装置の動作を示す図である。 本実施形態に係る判定装置のグラフィカルユーザインタフェースの一例を示す図である。 本実施形態に係る判定装置のグラフィカルユーザインタフェースの一例を示す図である。 本実施形態に係る判定システムを示す図である。 色基準情報の設定方法(その3)を示す図である。 色基準情報の設定方法(その4)を示す図である。 被検体の成長を判定する処理(その1)を示す図である。 被検体の成長を判定する処理(その2)を示す図である。 本実施形態に係る判定装置の動作を示すフローチャートである。 本実施形態に係る判定システムを示す図である。 被検体の成長を判定する処理を示す図である。 被検体の成長を判定する処理を示す図である。 本実施形態に係る判定装置の動作を示すフローチャートである。 本実施形態に係る観察装置の一例を示すブロック図である。 本実施形態に係る観察装置の正面図である。 本実施形態に係る観察装置の平面図である。 本実施形態に係る判定装置を示す図である。 本実施形態に係る観察装置の動作を示すフローチャートである。
<第1の実施形態>
以下、図面を参照して、本発明の実施形態に係る判定システムについて説明する。図1は、本実施形態に係る判定システム1を示す。判定システム1は、判定装置100と、表示装置200と、顕微鏡300とを備える。
判定装置100は、顕微鏡300によって提供される被検体Sの拡大画像を取得する。被検体Sの拡大画像を取得した後、判定装置100は、成長の進行にともなって色が変化する細胞の1又は複数の成長過程における色情報を参照し、該被検体Sの拡大画像を画像処理することによって得られる画像に含まれる該被検体Sの色に基づいて、該被検体Sが正常に成長しているか否かを判定する。以下、成長の進行にともなって色が変化する細胞を「サンプル細胞」という。
ここで、サンプル細胞の1又は複数の成長過程における色情報は、判定装置100に予め記憶される。そして、判定装置100は、表示装置200へ、被検体Sが正常に成長しているか否かの判定結果を表示する。このように構成することによって、判定装置100は、被検体Sが正常に成長しているか否かを自動的に評価する。
<顕微鏡>
顕微鏡300は、明視野顕微鏡及び位相差顕微鏡のいずれも適用できる。明視野顕微鏡は、被検体Sを均一な入射光で照らした時、被検体Sの各部分において光の吸収率が異なる為に透過光の像にコントラストが付くことを利用する。位相差顕微鏡は、光線の位相差をコントラストに変換して観察する光学顕微鏡である。本実施形態に係る判定システム1では一例として位相差顕微鏡が使用される場合について説明する。ただし、判定システム1に明視野顕微鏡が使用される場合にも適用できる。
<位相差顕微鏡の構成>
図2は、位相差顕微鏡の構成を示す。図2には、位相差顕微鏡に加え、判定装置100、及び表示装置200も示されている。位相差顕微鏡装置は、観察対象である被検体Sに照明光Lを照射し、この被検体Sからの透過光Lpの位相差を明暗差に変換することによって得られた被検体Sの拡大像を得る。
位相差顕微鏡装置は、照明光Lを出射する光源31と、光源31からの照明光Lを被検体Sに照射する照明光学系32と、被検体Sからの透過光Lpを結像する結像光学系33と、結像光学系33により結像された透過光Lpを受光し電気信号に変換して被検体Sの画像を生成する固体撮像素子34とを備えている。
照明光学系32と結像光学系33との間には、ステージ36が配置されている。
ステージ36は、被検体Sが載置される載置面36aを有している。また、ステージ36は、その面内において互いに直交する2つの方向(図2に示すX軸方向及びY軸方向)に移動操作される。これにより、ステージ36は、被検体Sの観察位置を任意に変更することが可能となっている。さらに、ステージ36は、高さ方向(図2に示すZ軸方向)に移動操作される構成であってもよい。
なお、以下において、光源31から出射された照明光Lの光軸(光束の中心軸)をZ軸方向とし、このZ軸と直交する面内において互いに直交する2つの方向をX軸方向及びY軸方向として説明する。なお、光源31から出射された照明光Lを、図2の破線によって模式的に示す。
光源31は、例えば白色光などの可視光又はその近傍の波長域の光を照明光Lとして照射する。光源31には、反射鏡等を利用して自然光や白色蛍光灯、白色電球などの外部光源からの光を照明光Lとして用いることができる。また、光源31には、ハロゲンランプやタングステンランプなどの内部光源からの光を照明光Lとして用いることができる。
また、光源31には、発光ダイオード(Light Emitting Diode: LED)等を用いてもよい。この場合、光源31は、例えば赤、青、緑の各波長の光を発するLEDの組み合わせにより構成することができる。また、これら波長の異なるLEDの点灯及び消灯を制御することによって、光源31が発する照明光の波長を可変に制御できるため、このようなLEDを光源31に用いた場合は、波長フィルタなどの波長変換部材を省略することが可能である。
照明光学系32には、光源31側から順に、第1のコンデンサレンズ37と、第1の空間光変調素子38と、第2のコンデンサレンズ39とが配置されている。これらのうち、第1のコンデンサレンズ37、及び第2のコンデンサレンズ39は、光源31から出射された照明光Lをステージ36上の被検体Sに照射する。
第1の空間光変調素子38は、結像光学系33(対物レンズ40)の瞳位置に対して共役となる位置に配置されている。第1の空間光変調素子38は、被検体Sに照射される照明光Lの光強度分布を可変に調整するもの(絞り)であり、この絞りの開口(照明光Lを通過させる領域)38aの形状や大きさ等を自由に変化させることが可能である。
結像光学系33は、上記ステージ36側から順に、対物レンズ40と、第2の空間光変調素子41とが配置されている。
対物レンズ40は、被検体Sからの透過光Lpを固体撮像素子34の受光面上に結像させる。
第2の空間光変調素子41は、対物レンズ40の瞳位置又はその近傍に配置されている。また、第1の空間光変調素子38と第2の空間光変調素子41とは、互いに共役な位置に配置されている。
第2の空間光変調素子41は、被検体Sからの透過光Lpに付加する位相の空間分布を可変に調整するものであり、透過光Lpに付加する位相を0°又は±90°に調整する。具体的に、この第2の空間光変調素子41は、被検体Sからの透過光Lpのうち、被検体Sを通過した直接光(0次光)を4分の1波長(±90°)だけ位相がずれた状態で透過させる位相変調領域41aと、この位相変調領域41aの周囲に被検体Sで回折した回折光をそのままの位相(0°)で透過させる回折光透過領域41bとを有している。
第2の空間光変調素子41は、この回折光透過領域41bに対して位相変調領域41aの形状や大きさ等を自由に変化させることが可能である。また、このような第2の空間光変調素子41としては、例えば液晶パネル(液晶素子)などを用いることができる。
さらに、第2の空間光変調素子41は、上述した位相の空間分布と共に、被検体Sからの透過光Lpを透過させる透過率の空間分布を可変に調整する機能を有することが好ましい。一般に、第2の空間光変調素子41を通過する透過光Lpのうち、位相変調領域41aを透過する直接光は、回折光透過領域41bを透過する回折光に比べて光強度が強いため、ND(Neutral Density)フィルタ等を用いて光強度を弱める調整を行う。
固体撮像素子34は、例えばCCD(Charge−Coupled Device)イメージセンサやCMOS(Complementary Metal−Oxide−Semiconductor)イメージセンサなどの受光波長の異なる受光素子を複数有するものからなり、上述した結像光学系33により結像された透過光Lpを受光し電気信号(画像信号)に変換して判定装置100に出力する。
以上のような構造を有する位相差顕微鏡では、光源31から出射された照明光Lが第1のコンデンサレンズ37を通過し、第1の空間光変調素子38に入射する。そして、この第1の空間光変調素子38の開口38aを通過した照明光Lが第2のコンデンサレンズ39を通過し、ステージ36の載置面36a上に載置された被検体Sに照射される。
そして、被検体Sからの透過光Lpが対物レンズ40を通過した後、第2の空間光変調素子41に入射する。このとき、被検体Sからの透過光Lpのうち、位相変調領域41aを透過した直接光が、4分の1波長だけ位相がずれた状態で、NDフィルタで減光された後、固体撮像素子34の受光面上に結像される。一方、回折光透過領域41bを透過した回折光がそのままの位相(0°)で、固体撮像素子34の受光面上に結像される。位相差顕微鏡では、これら直進光と回折光との干渉によって、位相の変化を光の明暗として観察することが可能である。
<判定対象の細胞について>
顕微鏡300によって観察される被検体S、すなわち判定システム1の判定対象の細胞の具体例について説明する。被検体Sの一例は、メラニン顆粒を含む細胞であり、例えば、視細胞、網膜色素上皮(retinal pigment epithelium: RPE)細胞、皮膚細胞、メラニン細胞、赤血球(ヘモグロビンは赤血球細胞質の一つ)などの色調のある細胞(細胞種)である。例えば、このような色調を呈する細胞種は、幹細胞から目的の体細胞へと分化誘導、成熟工程で色調が変化する。
具体的には、視細胞やRPE細胞は、「播種した直後」或いは「分化誘導直後」では色が薄く、時間の経過とともに色素陽性細胞の数が多くなり色が濃くなってくる。つまり、視細胞やRPE細胞は、分化誘導、成熟工程で色調が赤色から茶褐色へ変化する。
本実施形態に係る判定装置100は、被検体Sの色情報に基づいて、該被検体Sが成長工程のいずれに該当するかを判定することによって、成長が正常に進行しているか否かなどの培養状態を判定する。このように構成することによって、本実施形態に係る判定装置100は、被検体Sの分化誘導、成熟が正常に進んでいるか否かを培養期間中に判断できる。図1に戻り、説明を続ける。
<判定装置の構成>
次に、判定装置100の構成について説明する。判定装置100は、制御部102と、記憶部112とを備える。
記憶部112は、ハードディスクや、フラッシュメモリなどの不揮発性の記憶媒体、及びDRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などの揮発性の記憶媒体などによって構成される。記憶部112には、細胞の成長が正常に進行しているか否かを判定する処理を制御部102に実行させるプログラム114と、画像情報116と、色基準情報120とが予め記憶されている。
画像情報116は、制御部102によって取得される被検体Sの拡大画像の画像情報である。例えば、サンプル細胞の一例として、視細胞やRPE細胞は、「播種した直後」あるいは「分化誘導直後」から分化誘導、成熟へと成長工程が進行するにしたがって、薄い色、赤色、茶褐色へと変化する。ここで、サンプル細胞の色情報について説明する。
<色情報(その1)>
図3は、YCbCrで表される色空間のうち、輝度信号Yを除いた色相ベクトル(CbCr)で表現した色空間を示す。図3には、サンプル細胞が「播種した直後」あるいは「分化誘導直後」から分化誘導過程、細胞成熟過程へと成長の進行にともなって変化する色の領域(陽性領域)が示される。
<色情報(その2)>
図4は、L色空間のうち、明度を表すLを除き、色相と彩度を示す色度(a、b)で表現した色空間を示す。図4には、図3と同様に、サンプル細胞が「播種した直後」あるいは「分化誘導直後」から分化誘導過程、細胞成熟過程へと成長の進行に伴って変化する色の領域(陽性領域)が示される。
<色情報(その3)>
色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)の三つの成分からなるHSV色空間のうち、色相で色の範囲を表してもよい。
<色情報(その1)>から<色情報(その3)>のいずれかで被検体Sの色情報が判断されてもよいし、<色情報(その1)>から<色情報(その3)>のうち、少なくとも2つを組み合わせて被検体Sの色情報が判断されてもよい。ただし、<色情報(その1)>から<色情報(その3)>の3つの方法は一例であり、これら以外の方法によって、被検体Sの色情報が判断されてもよい。
色情報としては、例えば、色相に関する情報、彩度に関する情報、明度に関する情報、輝度に関する情報、色差に関する情報などが挙げられるが、これらの組み合わせであってもよいし、またこれらに限られない。
また、例えば、被検体Sの色情報は、色相に関する情報、彩度に関する情報、明度に関する情報、輝度に関する情報、色差に関する情報の少なくとも1つに基づいて判断されてもよいし、これに限られない。
図1に戻り説明を続ける。色基準情報120は、サンプル細胞の1又は複数の成長過程における色情報を格納する。ここで、色基準情報120は、「播種した直後」あるいは「分化誘導直後」から所定の時間が経過したときのサンプル細胞の色情報であって、分化誘導過程、細胞成熟過程へと成長の進行にともなって変化するサンプル細胞の色情報である。色基準情報120に含まれる色情報は、陽性領域に関する情報を含む。色基準情報120には、例えば、「播種した直後」あるいは「分化誘導直後」からの経過時間と、該経過時間における色情報とを紐付けて格納される。
さらに、色基準情報120には、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像のCbに関する色情報及びCrに関する色情報を解析することによって得られた色情報をCb及びCrによって表される色空間にプロットした結果に基づいて設定される陽性範囲を示す情報が記憶される。
<色基準情報120の設定方法>
図5は、色基準情報120の設定方法(その1)を示す。図5(1)は、ある成長過程のサンプル細胞の画像の色情報を解析し、Cb及びCrによって表される色空間にプロットしたものである。ここで、成長過程とは、サンプル細胞が、「播種した直後」あるいは「分化誘導直後」から、分化誘導過程、細胞成熟過程へと変化することをいう。例えば、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像のCbに関する色情報及びCrに関する色情報を解析し、解析した色情報をCb及びCrによって表される色空間にプロットする。
図5(2)は、図5(1)に基づいて、Cb及びCrによって表される色空間にプロットした色情報に基づいて、陽性領域を設定する例を示す。例えば、図5(1)に示されるプロットのした色情報の8割程度をカバーするように、Cbの範囲とCrの範囲とによって、陽性領域が設定される。図5(2)では、陽性領域は網掛けで示される。ここで、陽性領域がカバーするプロットした色情報の割合としての8割は一例であり、陽性領域がカバーするプロットした色情報の割合は8割未満でもよいし8割より大きい割合でもよい。
図5(1)、及び図5(2)ではある成長過程のサンプル細胞の画像の色情報をCb及びCrによって表される色空間にプロットした場合について示したが、この限りでない。例えば、ある成長過程のサンプル細胞の画像の色情報を、図4を参照して説明したL色空間のうち、明度を表すLを除き、色相と彩度を示す色度(a、b)で表現した色空間にプロットした場合にも適用できる。
図6は、色基準情報120の設定方法(その2)を示す。図6(1)は、ある成長過程のサンプル細胞の画像の色情報を解析することによって色相(H)を求め、その色相(H)をプロットすることによって色相(H)の分布を求めたものである。図6(1)においてX軸は色相(H)である。例えば、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像の色情報を解析し、該1又は複数の細胞の各々の画像の色相(H)をプロットする。
図6(2)は、図6(1)に示される色相(H)の分布に基づいて、陽性範囲を設定する例を示す。例えば、図6(1)に示される色相(H)の分布において、その8割程度をカバーするように、色相(H)の範囲によって、陽性範囲が設定される。ここで、陽性領域がカバーするプロットした色相の割合としての8割は一例であり、陽性領域がカバーするプロットした色相の割合は8割未満でもよいし8割より大きい割合でもよい。
制御部102は、例えば中央演算処理装置(Central Processing Unit: CPU)によって実現され、記憶部112に格納されるプログラム114を実行することによって、画像取得部104と、画像処理部106と、色情報変換部108と、判定部110として機能する。
画像取得部104は、顕微鏡300によって提供される被検体Sの画像を取得し、記憶部112の画像情報116に格納する。例えば、画像取得部104は、定期的に、顕微鏡300によって提供される被検体Sの画像を取得し、該被検体Sの画像情報を記憶部112の画像情報116に格納する。画像取得部104は、記憶部112に、該被検体Sの画像情報とともに、「播種した直後」あるいは「分化誘導直後」からの経過時間を表す情報を格納するようにしてもよい。
画像処理部106は、記憶部112の画像情報116に格納された被検体Sの画像情報を取得し、取得した被検体Sの画像情報の画像処理を実行する。画像処理の一例は、色補正、色変換、色調整、色調調整、濃度変化から境界を見出す「エッジ検出」などである。例えば、画像処理部106は、記憶部112の画像情報116から取得した被検体Sの画像情報を画像処理する。
そして、画像処理部106は、画像処理することによって得られる画像の色情報を計測する対象を抽出する。具体的には、画像処理部106は、画像処理することによって得られる画像から、色情報を計測する対象として、1又は複数の細胞の塊、1又は複数の敷石形状の細胞などの1又は複数の細胞を抽出する。画像処理部106は、抽出した1又は複数の細胞の画像情報を色情報変換部108へ出力する。
図7は、分化誘導中のRPE細胞の画像から、色情報を計測する対象として、1又は複数の細胞を得る処理の一例を示す。画像処理部106は、被検体Sの画像情報に対して画像処理を実行し、該画像処理によって得られる画像から、色情報を計測する対象として、複数の細胞の塊(1)−(3)を抽出する。
図8は、成熟過程のRPE細胞の画像から、色情報を計測する対象として、1又は複数の細胞を抽出する処理の一例を示す。図8に示される例では、画像処理部106は、被検体Sの画像情報に対して画像処理を実行し、該画像処理によって得られる画像から、色情報を計測する対象として、複数の敷石形状の細胞を抽出する。
図1に戻り説明を続ける。色情報変換部108は、画像処理部106によって供給された1又は複数の細胞の画像情報によって得られる画像を測色する。そして、色情報変換部108は、記憶部112の色基準情報120から陽性範囲を示す情報を取得し、取得した陽性範囲を示す情報に基づいて、該1又は複数の細胞の画像の色情報のうち、陽性領域に含まれる色情報の割合(以下、「陽性率」という)を求める。
以下、一例として、色情報変換部108が、色情報としてCb及びCrによって表される色空間を用いる場合を、図9を用いて説明する。
図9は、1又は複数の細胞の画像の色情報を解析し、Cb及びCrによって表される色空間にプロットしたものである。例えば、色情報変換部108は、1又は複数の細胞の画像の色情報を解析し、該1又は複数の細胞の画像の色情報をプロットする。色情報変換部108は、記憶部112の色基準情報120から陽性範囲を示す情報を取得し、取得した陽性範囲を示す情報に基づいて、陽性率を求める。図9のハッチングは、記憶部112の色基準情報120から取得された陽性範囲を示す情報に基づいて得られる陽性領域である。この陽性領域は、図5に示した陽性領域と同じである。
色情報変換部108は、プロットした1又は複数の細胞の画像の色情報に基づいて、陽性率を求める。例えば、色情報変換部108は、1又は複数の細胞の画像の色情報の全プロットのうち、陽性領域に含まれるプロットの割合を求めることによって陽性率を求める。色情報変換部108は、陽性率を表す情報を判定部110へ出力する。
以下、別の例として、色情報変換部108が、色情報として色相の分布を用いる場合を、図10を用いて説明する。
図10は、1又は複数の細胞の画像の色情報を解析することによって色相(H)を求め、その色相(H)をプロットすることによって、色情報の分布として色相(H)の分布(ヒストグラム)を求めたものである。例えば、色情報変換部108は、1又は複数の細胞の画像の色情報を解析し、該1又は複数の細胞の画像の色相(H)をプロットする。そして、色情報変換部108は、記憶部112の色基準情報120から陽性範囲を示す情報を取得する。図10において矢印によって示される範囲は陽性範囲を示す。
色情報変換部108は、プロットした1又は複数の細胞の画像の色相(H)と、記憶部112の色基準情報120から取得した陽性範囲を示す情報とに基づいて、陽性率を求める。例えば、色情報変換部108は、1又は複数の細胞の画像の色相(H)の全プロットのうち、陽性範囲に含まれるプロットの割合を求めることによって陽性率を求める。色情報変換部108は、陽性率を表す情報を判定部110へ出力する。
図1に戻り説明を続ける。判定部110は、色情報変換部108によって供給される陽性率を表す情報に基づいて、被検体Sが正常に成長しているか否かを判定する。例えば、判定部110は、定期的に供給される陽性率の値が次第に増加している場合には正常に成長していると判定し、陽性率の値が増加していない場合には正常に成長していないと判定する。判定部110は、被検体Sが正常に成長しているか否かの判定結果を表す情報を表示装置200へ出力する。
表示装置200は、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどによって実現され、判定装置100の判定部110によって供給される被検体Sが正常に成長しているか否かの判定結果を表示する。
<判定装置の動作>
図11、図12を参照して、本実施形態に係る判定装置100の動作について説明する。図11は、本実施形態に係る判定装置100の動作の一例を示す。図11では、判定装置100が定期的に画像を取得する場合について説明する。しかし、この例に限らず、判定装置100が不定期的に画像を取得する場合についても適用できる。
ステップS1102では、画像取得部104は、画像を取得する時間が到来したか否かを判定する。画像を取得する時間が到来していない場合、到来するまで待機する。
ステップS1104では、画像取得部104は、画像を取得する時間が到来した場合、顕微鏡300から画像を取得する。図12(1)は、画像取得部104によって取得される画像の一例を示す。例えば、画像取得部104は、取得した画像の画像情報を、記憶部112の画像情報116に記憶する。
図13は、本実施形態に係る判定装置100のグラフィカルユーザインタフェース(Graphical User Interface: GUI)の一例を示す図である。このGUIは、判定装置100に接続されている表示装置200に表示される。図13に示される例では、GUIには、画像一覧が表示される領域と、選択画像が表示される領域と、指標一覧が表示される領域とが含まれる。画像一覧が表示される領域には、記憶部112の画像情報116に含まれる画像のサムネイルが表示される。選択画像が表示される領域には、判定装置100の使用者が、画像一覧が表示されている領域に表示されている一又は複数の画像のサムネイルから選択した一又は複数の画像が表示される。指標一覧が表示される領域には、一又は複数の画像から導出できる指標が表示される。図11に戻り説明を続ける。
ステップS1106では、画像処理部106は、画像取得部104によって取得された画像の画像情報を処理し、細胞の塊、敷石形状の細胞などの1又は複数の細胞を抽出することによって測色対象を抽出する。図12(2)は、画像処理部106によって画像処理されることによって抽出された敷石形状の画像の一例を示す。該画像では、測色の対象となる領域と、該測色の対象となる領域以外の領域とが区別して表示される。図11に戻り、説明を続ける。
ステップS1108では、色情報変換部108は、画像処理部106によって抽出された一又は複数の細胞の画像を測色する。
図14は、判定装置100のグラフィカルユーザインタフェースの一例を示す部分図である。図14は、図13に示したグラフィカルユーザインタフェースのうち、選択画像が表示される領域と指標一覧が表示される領域とが示される。図14に示される例では、単一画像から導出できる指標の一例として、色空間と、ヒストグラムとが示される。また、複数の画像から導出できる指標の一例として、色空間と、ヒストグラムとが示されている。また、時系列解析から導出できる指標の一例として、色空間と、ヒストグラムとが示される。さらに、図14に示される例では、各指標を選択するためのチェックボックスが示されている。
判定装置100の使用者は、図14に示されるGUIにおいて、表示したい指標に該当するチェックボックスにチェックマークを表示させる。例えば、判定装置100の使用者が、複数画像のチェックボックスと色空間のチェックボックスとヒストグラムのチェックボックスとにチェックマークを表示させ、実行釦を押した場合、図13の右下のグラフのプロットに示されるように、複数の画像の色情報を色空間に示したグラフと、複数の画像の色情報をヒストグラムに示したグラフとが表示される。
色情報変換部108は、記憶部112の色基準情報120から陽性範囲を示す情報を取得し、取得した陽性範囲を示す情報に基づいて、一又は複数の細胞を測色した値が陽性領域に含まれるか否かを判断する。色情報変換部108は、一又は複数の細胞を測色した値が陽性領域に含まれるか否かを判断した結果に基づいて、陽性率を求める。
ここで、色情報変換部108は、表示装置200へ、測色の対象となる領域のうち、陽性領域、及び陽性領域に含まれない領域と、測色の対象となる領域以外の領域とが区別されている敷石形状の画像の情報を表す情報を出力するようにしてもよい。この場合、表示装置200は、図12(3)の左図に示すように、測色の対象となる領域のうち、陽性領域、及び陽性領域に含まれない領域と、測色の対象となる領域以外の領域とを区別して表示する。
さらに、色情報変換部108は、表示装置200へ、測色の対象となる領域に含まれる細胞の数のうち、陽性領域に含まれる細胞の数、及び陽性領域に含まれない領域に含まれる細胞の数と、測色の対象となる領域以外の領域に含まれる細胞の数を表す情報とを出力するようにしてもよい。
この場合、表示装置200は、図12(3)の右上に示すように、測色の対象となる領域に含まれる細胞の数のうち、陽性領域に含まれる細胞の数、及び陽性領域に含まれない領域に含まれる細胞の数と、測色の対象となる領域以外の領域に含まれる細胞の数とを区別して表示する。
さらに、色情報変換部108は、表示装置200へ、測色の対象となる領域の面積のうち、陽性領域の面積、及び陽性領域に含まれない面積と、測色の対象となる領域以外の領域の面積とを表す情報を出力するようにしてもよい。
この場合、表示装置200は、図12(3)の右下に示すように、測色の対象となる領域の面積のうち、陽性領域に含まれる面積、及び陽性領域に含まれない領域の面積と、測色の対象となる領域以外の領域に含まれる面積とを区別して表示する。図11に戻り、説明を続ける。
ステップS1110では、判定部110は、以前に供給された陽性率と比較して陽性率が増加しているか否かを判定する。ただし、判定部110は、陽性率が最初に供給されたものである場合には、該陽性率を保持し、ステップS1102へ戻る。
ステップS1112では、判定部110は、陽性率が増加している場合には、正常に成長が進行していると判定する。
ステップS1114では、判定部110は、陽性率が増加していない場合には、成長が進行していないと判定する。
ステップS1116では、判定部110は、ステップS1112における判定結果を表す情報又はステップS1114における判定結果を表す情報を出力する。例えば、判定結果を表す情報が表示装置200へ出力された場合、表示装置200は該判定結果を表示する。
上述した実施形態では、判定装置100に、色基準情報120に含まれるサンプル細胞の1又は複数の成長過程における色情報と、陽性範囲を示す情報とが予め記憶される場合について説明したが、この例に限られない。
例えば、色情報変換部108によって1又は複数の細胞の画像情報によって得られる画像の測色結果に基づいて、色基準情報120に含まれるサンプル細胞の1又は複数の成長過程における色情報と、陽性範囲を示す情報とが蓄積され、または、更新されてもよい。このように構成することによって、測色結果に基づいて、成長過程における色情報と、陽性範囲を示す情報とを蓄積または更新できる。この場合、蓄積する処理と、更新する処理とは、制御部102によって実行されてもよい。
このように構成することによって、本実施形態に係る判定装置は、色基準情報120に含まれるサンプル細胞の1又は複数の成長過程における色情報と陽性範囲を示す情報とを予め用意することなく、処理を行うことができる。
また、上述する実施形態において、色情報変換部108が、1又は複数の細胞の各々の画像の色情報を解析する場合に、ピクセル毎に色情報を解析してもよい。このように構成することによって、本実施形態に係る判定装置は、短時間で、且つ1又は複数の細胞の形態が明確になる前の段階から解析することができる。
本実施形態に係る判定装置によれば、被検体Sの拡大画像を取得し、該被検体Sに含まれる1又は複数の細胞の塊、1又は複数の敷石形状の細胞などの1又は複数の細胞を抽出する。そして、判定装置は、該1又は複数の細胞の各々の画像の色情報に基づいて、細胞の成長が進行するにしたがって変化すると想定される陽性領域に含まれる細胞の割合が増加しているか否かに基づいて、成長が正常に進行しているか否かを判定する。
成長が正常に進行している場合には、「播種した直後」あるいは「分化誘導直後」からの時間の経過に伴って、細胞の成長が進行するにしたがって変化すると想定される陽性領域に含まれる細胞の割合が増加すると想定される。本実施形態に係る判定装置は、細胞の成長が進行するにしたがって変化すると想定される陽性領域に含まれる細胞の割合が増加している場合には正常に成長していると判定し、増加していない場合には正常に成長していないと判定する。このように構成することによって、本実施形態に係る判定装置は、細胞の培養の過程で細胞の成長が正常であるか否かを判定できる。
<第2の実施形態>
図15は、本実施形態に係る判定システム2を示す。本実施形態に係る判定システム2は、第1の実施形態に係る判定システム1と、色基準情報の設定方法と、成長が正常に進行しているか否かを判定する方法とが異なる。本実施形態に係る判定システム2は、判定装置400と、表示装置200と、顕微鏡300とを備える。
判定装置400は、顕微鏡300によって提供される被検体Sの拡大画像を取得する。被検体Sの拡大画像を取得した後、判定装置400は、サンプル細胞の1又は複数の成長過程における色情報を参照し、該被検体Sの拡大画像を画像処理することによって得られる画像に含まれる該被検体Sの色情報に基づいて、該被検体Sが正常に成長しているか否かを判定する。
ここで、サンプル細胞の1又は複数の成長過程における色情報は、判定装置400に予め記憶される。そして、判定装置400は、表示装置200へ、被検体Sが正常に成長しているか否かの判定結果を表示する。このように構成することによって、判定装置400は、ユーザに、被検体Sが正常に成長しているか否かの評価結果を知らせることができる。
<判定装置の構成>
次に、判定装置400の構成について説明する。判定装置400は、制御部402と、記憶部412とを備える。
記憶部412には、細胞の成長が正常に進行しているか否かを判定する処理を制御部402に実行させるプログラム414と、画像情報416と、色基準情報420とが予め記憶されている。
画像情報416は、制御部402によって取得される被検体Sの拡大画像の画像情報である。サンプル細胞の一例として、視細胞やRPE細胞は、「播種した直後」あるいは「分化誘導直後」から分化誘導、成熟へと成長工程が進行するにしたがって、薄い色、赤色、茶褐色へと変化する。
色基準情報420は、サンプル細胞の1又は複数の成長過程における色情報を格納する。ここで、色基準情報420は、「播種した直後」あるいは「分化誘導直後」から所定の時間が経過したときのサンプル細胞の色情報であって、分化誘導過程、細胞成熟過程へと成長の進行にともなって変化するサンプル細胞の色情報である。色基準情報120に含まれる色情報は、陽性領域に関する情報を含む。色基準情報120には、例えば、「播種した直後」あるいは「分化誘導直後」からの経過時間と、該経過時間における色情報とを紐付けて格納する。
さらに、色基準情報420には、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像のCbに関する色情報及びCrに関する色情報を解析することによって得られた色情報をCb及びCrによって表される色空間にプロットした結果に基づいて設定される陽性と判断する基準値を示す情報が記憶される。
<色基準情報の設定方法>
図16は、色基準情報420の設定方法(その3)を示す。図16(1)は、ある成長過程のサンプル細胞の画像の色情報を解析し、Cb及びCrによって表される色空間にプロットしたものである。ここで、成長過程とは、サンプル細胞が、「播種した直後」あるいは「分化誘導直後」から、分化誘導過程、細胞成熟過程へと変化することをいう。例えば、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像のCbに関する色情報及びCrに関する色情報を解析し、解析した色情報をCb及びCrによって表される色空間にプロットする。
図16(2)は、図16(1)に基づいて、Cb及びCrによって表される色空間にプロットした色情報に基づいて、陽性と判断する基準値を設定する例を示す。例えば、図16(1)に示される複数のプロットの重心を求め、該重心を陽性と判断する基準値とする。ここで、重心は一例であり、平均値、中央値、最頻値などの統計値を、陽性と判断する基準値としてもよい。さらに、統計値とともに、標準偏差及び分散のいずれか一方又は両方を求めてもよい。
図16(1)、及び図16(2)ではある成長過程のサンプル細胞の画像の色情報をCb及びCrによって表される色空間にプロットした場合について示したが、この限りでない。例えば、ある成長過程のサンプル細胞の画像の色情報を、図4を参照して説明したL色空間のうち、明度を表すLを除き、色相と彩度を示す色度(a、b)で表現した色空間にプロットした場合にも適用できる。
図17は、色基準情報420の設定方法(その4)を示す。図17(1)は、ある成長過程のサンプル画像の色情報を解析することによって色相(H)を求め、その色相(H)をプロットすることによって色相(H)の分布を求めたものである。図17(1)においてX軸は色相(H)である。例えば、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像の色情報を解析し、該1又は複数の細胞の各々の画像の色相(H)をプロットする。
図17(2)は、図17(1)に示される色相(H)の分布に基づいて、陽性と判断する基準値を設定する例を示す。例えば、図17(1)に示される色相(H)の分布を正規分布にあてはめることによって近似し、その重心を陽性と判断する基準値とする。ここで、重心は一例であり、平均値、中央値、最頻値などの統計値を適用できる。さらに、判定装置400は、統計値とともに、標準偏差及び分散のいずれか一方又は両方を求めてもよい。
制御部402は、例えばCPUによって実現され、記憶部412に格納されるプログラム414を実行することによって、画像取得部404と、画像処理部406と、色情報変換部408と、判定部410として機能する。
画像取得部404は、顕微鏡300によって提供される被検体Sの画像を取得し、記憶部412の画像情報416に格納する。例えば、画像取得部404は、定期的に、顕微鏡300によって提供される被検体Sの画像を取得し、該被検体Sの画像情報を記憶部412の画像情報416に格納する。画像取得部404は、記憶部412に、該被検体Sの画像情報とともに、「播種した直後」あるいは「分化誘導直後」からの経過時間を表す情報を格納するようにしてもよい。
画像処理部406は、記憶部412の画像情報416に格納された被検体Sの画像情報を取得し、取得した被検体Sの画像情報の画像処理を実行する。画像処理の一例は、色補正、色変換、色調整、色調調整、濃度変化から物体の境界を見出す「エッジ検出」などである。例えば、画像処理部406は、記憶部412の画像情報416から取得した被検体Sの画像情報を画像処理する。
そして、画像処理部406は、画像処理することによって得られる画像から色情報を計測する対象を抽出する。具体的には、画像処理部406は、画像処理することによって得られる画像から、色情報を計測する対象として、1又は複数の細胞の塊、1又は複数の敷石形状の細胞などの1又は複数の細胞を抽出する。画像処理部406は、抽出した1又は複数の細胞の画像情報を色情報変換部408へ出力する。
色情報変換部408は、画像処理部406によって供給された1又は複数の細胞の各々の画像情報によって得られる画像を測色する。そして、色情報変換部408は、該1又は複数の細胞の各々の画像を測色することによって得られる1又は複数の色情報の各々に基づいて、色情報の重心を求める。ここで、色情報の重心は一例であり、色情報変換部408は、該1又は複数の細胞の各々の画像を測色することによって得られる1又は複数の色情報の各々に基づいて、色情報の平均値、色情報の中央値、色情報の最頻値などの色情報の統計値を求めてもよい。ここでは、色情報の重心を求める場合について、説明を続ける。
さらに、色情報変換部408は、色情報の統計値とともに、色情報の標準偏差及び色情報の分散のいずれか一方又は両方を求めてもよい。色情報の標準偏差及び色情報の分散のいずれか一方又は両方を求める場合、色情報変換部408は、求めた色情報の標準偏差及び色情報の分散のいずれか一方又は両方を、色情報の標準偏差の閾値及び色情報の分散の閾値のいずれか一方又は両方と比較し、閾値以上である場合には、アラートを出力するようにしてもよい。色情報変換部408は、色情報の重心を表す情報を判定部410へ出力する。
判定部410は、色情報変換部408から供給される色情報の重心を表す情報に基づいて、被検体Sが正常に成長しているか否かを判定する。例えば、判定部410は、記憶部412の色基準情報420から陽性と判断する基準値を表す情報を取得し、取得した陽性と判断する基準値を表す情報に基づいて、色情報変換部408から供給される色情報の重心を表す情報が示す色情報の重心と陽性と判断する基準値を表す情報が示す陽性と判断する基準値との間の距離を算出する。そして、判定部410は、色情報の重心と陽性と判断する基準値との間の該距離が、前回算出した距離よりも短くなっている場合には正常に成長していると判定し、短くなっていない場合には正常に成長していないと判定する。ここで、色情報の重心は一例であり、判定部410は、色情報の平均値、色情報の中央値、色情報の最頻値などの色情報の統計値を判定する対象としてもよい。判定部410は、被検体Sが正常に成長しているか否かの判定結果を表す情報を表示装置200へ出力する。図18と図19とを参照して、具体的に説明する。
図18は、Cb及びCrによって表される色空間に1又は複数のサンプル細胞の各々の画像の色情報をプロットすることによって得られる1又は複数のサンプル細胞の各々の画像の色情報の重心と、陽性と判断する基準値との間の距離の継時変化を示す。
図18によれば、時間の経過(t=0、1、2、3)にともなって、1又は複数のサンプル細胞の画像の色情報の重心と陽性と判断する基準値との間の距離が次第に短くなっているのが分かる。この場合、判定部410は、被検体Sが正常に成長していると判断する。
図19は、1又は複数のサンプル細胞の各々の画像の色情報の重心と陽性と判断する基準値との間の距離の継時変化を示す。図19には、色情報の重心と陽性と判断する基準値との間の距離が、陽性と判断する基準値からの相対距離で示されている。
図19によれば、時間の経過(t=0、1、2、3)にともなって、1又は複数のサンプル細胞の各々の画像の色情報の重心と陽性と判断する基準値との間の距離が、陽性と判断する基準値に近づいている。この場合、判定部410は、被検体Sが正常に成長していると判断する。
<判定装置の動作>
図20は、本実施形態に係る判定装置400の動作の一例を示す。図20では、判定装置400が定期的に画像を取得する場合について説明する。しかし、この例に限らず、判定装置400が不定期的に画像を取得する場合についても適用できる。
ステップS1802−S1806は、図11のステップS1102−S1106を適用できる。
ステップS1808では、色情報変換部408は、画像処理部406によって抽出した1又は複数の細胞の各々の画像を測色する。
判定装置400のグラフィカルユーザインタフェースの一例は、図14を適用できる。図14に示される例では、単一画像から導出できる指標の一例として、色空間と、ヒストグラムとが示される。また、複数の画像から導出できる指標の一例として、色空間と、ヒストグラムとが示されている。また、時系列解析から導出できる指標の一例として、色空間と、ヒストグラムとが示される。さらに、図14に示される例では、各指標を選択するためのチェックボックスが示されている。
判定装置400の使用者は、図14に示されるGUIにおいて、表示したい指標に該当するチェックボックスにチェックマークを表示させる。例えば、判定装置400の使用者が、複数画像のチェックボックスと色空間のチェックボックスとヒストグラムのチェックボックスとにチェックマークを表示させ、実行釦を押した場合、図13の右下のグラフのプロットに示されるように、複数の画像の色情報を色空間に示したグラフと、複数の画像の色情報をヒストグラムに示したグラフとが表示される。
色情報変換部408は、該1又は複数の細胞の各々の画像を測色することによって得られる1又は複数の色情報の各々に基づいて、色情報の重心を求める。色情報変換部408は、色情報の重心を表す情報を判定部410へ出力する。図20に戻り、説明を続ける。
ステップS1810では、判定部410は、記憶部412の色基準情報420から陽性と判断する基準値を表す情報を取得し、取得した陽性と判断する基準値を表す情報に基づいて、色情報変換部408から供給される色情報の重心を表す情報が示す色情報の重心と陽性と判断する基準値を表す情報が示す陽性と判断する基準値との間の距離を算出する。
ステップS1812では、判定部410は、色情報の重心と陽性と判断する基準値との間の距離が減少しているか否かを判定する。
ステップS1814では、判定部410は、色情報の重心と陽性と判断する基準値との間の距離が減少している場合には正常に成長が進行していると判定する。
ステップS1816では、判定部410は、色情報の重心と陽性と判断する基準値との間の距離が減少していない場合には成長が進行していないと判定する。
ステップS1818では、判定部410は、ステップS1814における判定結果を表す情報又はステップS1816における判定結果を表す情報を出力する。例えば、判定結果を表す情報が表示装置200へ出力された場合、表示装置200は該判定結果を表示する。
上述した実施形態では、判定装置400に、色基準情報420に含まれるサンプル細胞の1又は複数の成長過程における色情報と、陽性と判断する基準値とが予め格納される場合について説明したが、この例に限られない。
例えば、色情報変換部408によって1又は複数の細胞の画像情報によって得られる画像の測色結果に基づいて、色基準情報420に含まれるサンプル細胞の1又は複数の成長過程における色情報と、陽性範囲を示す情報とが蓄積され、または、更新されてもよい。このように構成することによって、測色結果に基づいて、成長過程における色情報と、陽性範囲を示す情報とを蓄積または更新できる。この場合、蓄積する処理と、更新する処理とは、制御部402によって実行されてもよい。
このように構成することによって、本実施形態に係る判定装置400は、色基準情報420に含まれるサンプル細胞の1又は複数の成長過程における色情報と陽性範囲を示す情報とを予め記憶することなく、処理を行うことができる。
また、上述する実施形態において、色情報変換部408が、1又は複数の細胞の各々の画像の色情報を解析する場合に、ピクセル毎に色情報を解析してもよい。このように構成することによって、本実施形態に係る判定装置は、短時間で、且つ1又は複数の細胞の形態が明確になる前の段階から解析することができる。
本実施形態に係る判定装置によれば、被検体Sの拡大画像を取得し、該被検体Sに含まれる1又は複数の細胞の塊、1又は複数の敷石形状の細胞などの1又は複数の細胞を抽出する。そして、判定装置は、該1又は複数の細胞の各々の画像の色情報に基づいて、その統計値を求め、該統計値と陽性と判断する基準値との間の距離に基づいて、成長が正常に進行しているか否かを判定する。
成長が正常に進行している場合には、「播種した直後」あるいは「分化誘導直後」からの時間の経過に伴って、統計値が陽性と判断する基準値に近づくため、統計値と陽性と判断する基準値との間の距離は短くなると想定される。
本実施形態に係る判定装置は、細胞の成長が進行するにしたがって統計値と陽性と判断する基準値との間の距離が短くなる場合には正常に成長していると判定し、短くならない場合には正常に成長していないと判定する。このように構成することによって、本実施形態に係る判定装置は、細胞の培養の過程で細胞の成長が正常であるか否かを判定できる。
さらに、本実施形態に係る判定装置は、1又は複数の細胞の各々の色情報の統計値に基づいて判断することによって、1又は複数の細胞の各々の画像の色情報について演算する必要がないため、演算処理の負荷を低減できる。
<第3の実施形態>
図21は、本実施形態に係る判定システム3を示す。本実施形態に係る判定システム3は、第1の実施形態に係る判定システム1と、色基準情報の設定方法と、成長が正常に進行しているか否かを判定する方法とが異なる。本実施形態に係る判定システム3は、判定装置500と、表示装置200と、顕微鏡300とを備える。
判定装置500は、顕微鏡300によって提供される被検体Sの拡大画像を取得する。被検体Sの拡大画像を取得した後、判定装置500は、サンプル細胞の1又は複数の成長過程における色情報を参照し、該被検体Sの拡大画像を画像処理することによって得られる画像に含まれる該被検体Sの色情報に基づいて、該被検体Sが正常に成長しているか否かを判定する。
ここで、サンプル細胞の1又は複数の成長過程における色情報は、判定装置500に予め記憶される。そして、判定装置500は、表示装置200へ、被検体Sが正常に成長しているか否かの判定結果を表示する。このように構成することによって、判定装置500は、ユーザに、被検体Sが正常に成長しているか否かの評価結果を知らせることができる。
<判定装置の構成>
次に、判定装置500の構成について説明する。判定装置500は、制御部502と、記憶部512とを備える。
記憶部512には、細胞の成長が正常に進行しているか否かを判定する処理を制御部502に実行させるプログラム514と、画像情報516と、色基準情報520とが予め記憶されている。
画像情報516は、制御部502によって取得される被検体Sの拡大画像の画像情報である。サンプル細胞の一例として、視細胞やRPE細胞は、「播種した直後」あるいは「分化誘導直後」から分化誘導、成熟へと成長工程が進行するにしたがって、薄い色、赤色、茶褐色へと変化する。
色基準情報520は、サンプル細胞の1又は複数の成長過程における色情報を格納する。ここで、色基準情報520は、「播種した直後」あるいは「分化誘導直後」から所定の時間が経過したときのサンプル細胞の色情報であって、分化誘導過程、細胞成熟過程へと成長の進行にともなって変化するサンプル細胞の色情報である。色基準情報520に含まれる色情報は、陽性領域に関する情報を含む。色基準情報520には、例えば、「播種した直後」あるいは「分化誘導直後」からの経過時間と、該経過時間における色情報とを紐付けて格納してもよいし、色情報の継時変化の軌跡を格納してもよい。
さらに、色基準情報520には、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像のCbに関する色情報及びCrに関する色情報を解析することによって得られた色情報をCb及びCrによって表される色空間にプロットした結果に基づいて設定される陽性領域を示す情報が記憶される。
<色基準情報520の設定方法>
図22は、色基準情報520の設定方法(その5)を示す。図22(1)は、ある成長過程のサンプル細胞の画像の色情報を解析し、Cb及びCrによって表される色空間にプロットしたものである。ここで、成長過程とは、サンプル細胞が、「播種した直後」あるいは「分化誘導直後」から、分化誘導過程、細胞成熟過程へと変化することをいう。例えば、ある成長過程のサンプル細胞に含まれる1又は複数の細胞の各々の画像のCbに関する色情報及びCrに関する色情報を解析した結果に基づいて、1又は複数の細胞の各々の画像の色情報の重心を求め、求めた色情報の重心をプロットする。ここで、色情報の重心は一例であり、判定装置500は、色情報の平均値、色情報の中央値、色情報の最頻値などの統計値を適用できる。
図22(2)は、図22(1)に基づいて、Cb及びCrによって表される色空間にプロットした色情報の重心に基づいて、陽性領域を設定する例を示す。例えば、図22(1)に示される色情報の重心の軌跡を陽性領域とする。
図22(1)、及び図22(2)では、ある成長過程のサンプル細胞の画像の色情報をCb及びCrによって表される色空間にプロットした場合について示したが、この限りでない。例えば、ある成長過程の被検体Sの画像の色情報を、図4を参照して説明したL色空間のうち、明度を表すLを除き、色相と彩度を示す色度(a、b)で表現した色空間にプロットした場合にも適用できる。図21に戻り、説明を続ける。
制御部502は、例えばCPUによって実現され、記憶部512に格納されるプログラム514を実行することによって、画像取得部504と、画像処理部506と、色情報変換部508と、判定部510として機能する。
画像取得部504は、顕微鏡300によって提供される被検体Sの画像を取得し、記憶部512の画像情報516に格納する。例えば、画像取得部504は、定期的に、顕微鏡300によって提供される被検体Sの画像を取得し、該被検体Sの画像情報を記憶部512の画像情報516に格納する。画像取得部504は、記憶部512に、該被検体Sの画像情報とともに、「播種した直後」あるいは「分化誘導直後」からの経過時間を表す情報を取得し、取得した経過時間を表す情報を記憶部512の画像情報516に格納するようにしてもよい。
画像処理部506は、記憶部512の画像情報516に格納された被検体Sの画像情報を取得し、取得した被検体Sの画像情報の画像処理を実行する。画像処理の一例は、色補正、色変換、色調整、色調調整、濃度変化から物体の境界を見出す「エッジ検出」などである。例えば、画像処理部506は、記憶部512の画像情報516から取得した被検体Sの画像情報を画像処理する。
そして、画像処理部506は、画像処理することによって得られる画像から色情報を計測する対象を抽出する。具体的には、画像処理部506は、画像処理することによって得られる画像から、色情報を計測する対象として、1又は複数の細胞の塊、1又は複数の敷石形状の細胞などの1又は複数の細胞を抽出する。画像処理部506は、抽出した1又は複数の細胞の画像情報を色情報変換部508へ出力する。
色情報変換部508は、画像処理部506によって供給された1又は複数の細胞の各々の画像情報によって得られる画像を測色する。そして、色情報変換部508は、該1又は複数の細胞の各々を測色することによって得られる1又は複数の色情報に基づいて、色情報の重心を求める。ここで、色情報の重心は一例であり、色情報変換部508は、該1又は複数の細胞の各々の画像を測色することによって得られる1又は複数の色情報の各々に基づいて、色情報の平均値、色情報の中央値、色情報の最頻値などの色情報の統計値を求めてもよい。ここでは、色情報の重心を求める場合について、説明を続ける。色情報変換部508は、色情報の重心を表す情報を判定部510へ出力する。
判定部510は、色情報変換部508から供給される色情報の重心を表す情報に基づいて、被検体Sが正常に成長しているか否かを判定する。例えば、判定部510は、記憶部512の色基準情報520から陽性領域を示す情報を取得し、取得した陽性領域を示す情報に基づいて、色情報変換部408から供給される色情報の重心を表す情報が示す色情報の重心が、図22(2)に示されるサンプル細胞の画像の色情報の重心の軌跡上にあるか否かを判定する。判定部510は、色情報の重心が、色情報の重心の軌跡上にある場合に正常に成長していると判定し、軌跡上にない場合には正常に成長していないと判定する。判定部510は、被検体Sが正常に成長しているか否かの判定結果を表す情報を表示装置200へ出力する。図23を参照して具体的に説明する。
図23は、色情報の重心が、色情報の重心の軌跡上にあるか否かを判定する処理の一例を示す。図23に示される例では、判定部510は、t=0、1、2の場合には重心が軌跡上にあると判定し、t=3の場合には軌跡上にないと判定する。換言すれば、判定部510は、t=0、1、2の場合には正常に成長していると判断し、t=3の場合に成長が進行していないと判断する。
<判定装置の動作>
図24は、本実施形態に係る判定装置500の動作の一例を示す。図24では、判定装置500が定期的に画像を取得する場合について説明する。しかし、この例に限らず、判定装置500が不定期的に画像を取得する場合についても適用できる。
ステップS2202−S2208は、図20のステップS1802−S1808を適用できる。
ステップS2210では、判定部510は、記憶部512の色基準情報520から陽性領域を示す情報を取得し、取得した陽性領域を示す情報に基づいて、1又は複数の細胞の画像の色情報の重心が、色情報の重心の軌跡上にあるか否かを判定する。
ステップS2212では、判定部510は、色情報の重心が、色情報の重心の軌跡上にある場合には正常に成長が進行していると判定する。
ステップS2214では、判定部510は、色情報の重心が、色情報の重心の軌跡上にない場合には成長が進行していないと判定する。
ステップS2216では、判定部510は、ステップS2212における判定結果を表す情報又はステップS2214における判定結果を表す情報を出力する。例えば、判定結果を表す情報が表示装置200へ出力された場合、表示装置200は該判定結果を表示する。
上述した実施形態では、色基準情報520に含まれるサンプル細胞の1又は複数の成長過程における色情報と陽性領域を示す情報とが予め記憶される場合について説明したが、この例に限られない。
例えば、色情報変換部508によって1又は複数の細胞の画像情報によって得られる画像の測色結果に基づいて、色基準情報520に含まれるサンプル細胞の1又は複数の成長過程における色情報と、陽性領域を示す情報とが蓄積され、または、更新されてもよい。
このように構成することによって、測色結果に基づいて、成長過程における色情報と、陽性領域を示す情報とを蓄積または更新できる。この場合、蓄積する処理と、更新する処理とは、制御部502によって実行されてもよい。
このように構成することによって、本実施形態に係る判定装置500は、色基準情報520に含まれるサンプル細胞の1又は複数の成長過程における色情報と陽性領域を示す情報とを予め用意することなく、処理を行うことができる。
また、上述した実施形態において、色情報変換部508が、1又は複数の細胞の各々の画像の色情報を解析する場合に、ピクセル毎に色情報を解析してもよい。このように構成することによって、本実施形態に係る判定装置500は、短時間で、且つ1又は複数の細胞の形態が明確になる前の段階から解析することができる。
本実施形態に係る判定装置によれば、被検体Sの拡大画像を取得し、該被検体Sに含まれる1又は複数の細胞の塊、1又は複数の敷石形状の細胞などの1又は複数の細胞を抽出する。そして、判定装置は、該1又は複数の細胞の各々の画像の色情報に基づいて、その統計値を求め、該統計値が、予め設定される「播種した直後」あるいは「分化誘導直後」から所定の時間が経過したときのサンプル細胞の色情報の統計値の軌跡上にあるか否かに基づいて、正常に成長しているか否かを判定する。
このように構成することによって、本実施形態に係る判定装置は、細胞の培養の過程で細胞の成長が正常であるか否かを判定できる。さらに、本実施形態に係る判定装置は、1又は複数の細胞の各々の画像の色情報の重心値に基づいて、該色情報の重心値が、予め設定される色情報の重心の軌跡上にあるか否かに基づいて判断するため、1又は複数の細胞の各々の画像の色情報に基づいて、該色情報が軌道上にあるか否かを判断するよりも演算処理の負荷を低減できる。
<第4の実施形態>
本実施形態に係る判定システムについて説明する。本実施形態に係る判定システムは、インキュベータ(観察装置)に、上述した判定装置100と判定装置400と判定装置500とのいずれかを適用したものである。本実施形態に係るインキュベータの構成の概要について説明する。図25は、本実施形態に係るインキュベータ600の構成の一例を示すブロック図である。図26、及び図27は、本実施形態に係るインキュベータ600の正面図および平面図である。
インキュベータ600は、細胞を培養するとともに、培養した細胞を顕微鏡カメラによって撮像して、細胞の状態を観察するための装置である。インキュベータ600は、上部ケーシング602と下部ケーシング610とを有している。インキュベータ600の組立状態において、上部ケーシング602は下部ケーシング610の上に載置される。なお、上部ケーシング602と下部ケーシング610との内部空間は、ベースプレート640によって上下に仕切られている。
まず、上部ケーシング602の構成の概要を説明する。上部ケーシング602の内部には、細胞の培養を行う恒温室604が形成されている。この恒温室604は温度調整装置604aおよび湿度調整装置604bを有しており、恒温室604内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、図27での温度調整装置604a、湿度調整装置604bの図示は省略する)。
恒温室604の前面には、大扉644、中扉646、小扉648が配置されている。大扉644は、上部ケーシング602および下部ケーシング610の前面を覆っている。中扉646は、上部ケーシング602の前面を覆っており、大扉644の開放時に恒温室604と外部との環境を隔離する。小扉648は、細胞を培養する培養容器636を搬出入するための扉であって、中扉646に取り付けられている。この小扉648から培養容器636を搬出入することで、恒温室604の環境変化を抑制することが可能となる。なお、大扉644、中扉646、小扉648は、パッキンP1、P2、P3によりそれぞれ気密性が維持されている。
また、恒温室604には、ストッカー638、観察ユニット620、容器搬送装置606、搬送台642が配置されている。ここで、搬送台642は、小扉648の手前に配置されており、培養容器636を小扉648から搬出入する。
ストッカー638は、上部ケーシング602の前面(図27の下側)からみて恒温室604の左側に配置される。ストッカー638は複数の棚を有しており、ストッカー638の各々の棚には培養容器636を複数収納することができる。なお、各々の培養容器636には、培養の対象となる細胞が培地とともに収容されている。
観察ユニット620は、上部ケーシング602の前面からみて恒温室604の右側に配置される。この観察ユニット620は、培養容器636内の細胞のタイムラプス観察を実行することができる。
ここで、観察ユニット620は、上部ケーシング602のベースプレート640の開口部に嵌め込まれて配置される。観察ユニット620は、試料台622と、試料台622の上方に張り出したスタンドアーム624と、位相差観察用の顕微光学系および撮像装置623を内蔵した本体部分626とを有している。そして、試料台622およびスタンドアーム624は恒温室604に配置される一方で、本体部分626は下部ケーシング610内に収納される。
試料台622は透光性の材質で構成されており、その上に培養容器636を載置することができる。この試料台622は水平方向に移動可能に構成されており、上面に載置した培養容器636の位置を調整できる。また、スタンドアーム624にはLED光源621が内蔵されている。そして、撮像装置623は、スタンドアーム624によって試料台622の上側から透過照明された培養容器636の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。
容器搬送装置606は、上部ケーシング602の前面からみて恒温室604の中央に配置される。この容器搬送装置606は、ストッカー638、観察ユニット620の試料台622および搬送台642との間で培養容器636の受け渡しを行う。
図27に示すように、容器搬送装置606は、多関節アームを有する垂直ロボット634と、回転ステージ628と、ミニステージ630と、アーム部632とを有している。回転ステージ628は、垂直ロボット634の先端部に回転軸628aを介して水平方向に180°回転可能に取り付けられている。そのため、回転ステージ628は、ストッカー638、試料台622および搬送台642に対して、アーム部632をそれぞれ対向させることができる。
また、ミニステージ630は、回転ステージ628に対して水平方向に摺動可能に取り付けられている。ミニステージ630には培養容器636を把持するアーム部632が取り付けられている。
次に、下部ケーシング610の構成の概要を説明する。下部ケーシング610の内部には、観察ユニット620の本体部分626や、判定装置700が収納されている。
判定装置700は、温度調整装置604a、湿度調整装置604b、観察ユニット620および容器搬送装置606とそれぞれ接続されている。判定装置700は、所定のプログラムに従ってインキュベータ600の各部を統括的に制御する。
一例として、判定装置700は、温度調整装置604aおよび湿度調整装置604bをそれぞれ制御して恒温室604内を所定の環境条件に維持する。また、判定装置700は、所定の観察スケジュールに基づいて、観察ユニット620および容器搬送装置606を制御して、培養容器636の観察シーケンスを自動的に実行する。さらに、判定装置700は、観察シーケンスで取得した画像に基づいて、細胞の培養状態の評価を行う培養状態評価処理を実行する。
図28は、本実施形態に係る判定装置700を示す。判定装置700は、制御部702、記憶部712および入力部722を有している。
記憶部712は、ハードディスクや、フラッシュメモリなどの不揮発性の記憶媒体、およびDRAMやSRAMなどの揮発性の記憶媒体などにより構成される。この記憶部712には、ストッカー638に収納されている各培養容器636に関する管理データ、撮像装置で撮像された全体観察画像のデータ、および顕微鏡画像のデータが記憶されている。さらに、記憶部712には、制御部702によって実行されるプログラム714が記憶されている。また、記憶部712には、制御部702による種々の演算結果が一時的に記憶される。
なお、上記の管理データには、(a)個々の培養容器636を示すインデックスデータ、(b)ストッカー638での培養容器636の収納位置、(c)培養容器636の種類および形状(ウェルプレート、ディッシュ、フラスコなど)、(d)培養容器636で培養されている細胞の種類(細胞株を識別する情報)、(e)培養容器636の観察スケジュール、(f)タイムラプス観察時の撮像条件(対物レンズの倍率、容器内の観察地点等)、などが含まれている。また、ウェルプレートのように複数の小容器で同時に細胞を培養できる培養容器636については、各々の小容器毎にそれぞれ管理データが生成される。
なお、本実施形態では、観察対象となる細胞株として異なる種類の細胞株を観察する。この場合は、細胞株を識別する情報が必要となるが、観察する細胞株が1つであり、細胞株を識別する必要が無い場合は、細胞株識別情報は必須ではない。もちろん、観察する細胞株が1つでも細胞株を示す情報を供給してもよい。
また、異なる種類の細胞株を観察する場合は、細胞の細胞株を識別する細胞株情報を記憶部712に記憶し、各情報と関連付けされて記憶することが好ましい。
記憶部712には、プログラム714の他に、画像情報716、及び色基準情報720が記憶される。
画像情報716は、上述した実施形態における画像情報116、画像情報416、及び画像情報516のいずれかを適用できる。また、色基準情報720は、上述した実施形態における色基準情報120、色基準情報420、及び色基準情報520のいずれかを適用できる。
入力部722は、キーボードやマウスなどの入力デバイスを備えている。この入力部722には、ユーザの操作によって細胞株の情報など様々な情報が供給される。
制御部702の構成について説明する。制御部702は、画像取得部704と、画像処理部706と、色情報変換部708と、判定部710を備えている。
画像取得部704は、上述した実施形態における画像取得部104、画像取得部404、及び画像取得部504のいずれかを適用できる。また、画像処理部706は、上述した実施形態における画像処理部106、画像処理部406、及び画像処理部506のいずれかを適用できる。また、色情報変換部708は、上述した実施形態における色情報変換部108、色情報変換部408、及び色情報変換部508のいずれかを適用できる。また、判定部710は、上述した実施形態における判定部110、判定部410、及び判定部510のいずれかを適用できる。
<インキュベータの動作>
図29を参照して、本実施形態に係るインキュベータ600の動作について説明する。図29は、本実施形態に係るインキュベータ600の動作の一例を示す。図29では、インキュベータ600に搭載された判定装置700が定期的に被検体Sの画像を取得し、正常に成長しているか否かを判定する場合について説明する。しかし、この例に限らず、判定装置700が不定期的に被検体Sの画像を取得し、正常に成長しているか否かを判定する場合についても適用できる。
ステップS2702では、制御部702は、記憶部712の管理データの観察スケジュールと現在日時とを比較して、培養容器636の観察開始時刻が到来したか否かを判定する。観察開始時刻となった場合(YES側)、制御部702はステップS2704に処理を移行させる。一方、培養容器636の観察時間ではない場合(NO側)には、制御部702は次の観察スケジュールの時刻まで待機する。
ステップS2704では、制御部702は、観察スケジュールに対応する培養容器636の搬送を容器搬送装置606に指示する。そして、容器搬送装置606は、指示された培養容器636をストッカー638から搬出して観察ユニット620の試料台622に載置する。なお、培養容器636が試料台622に載置された段階で、スタンドアーム624に内蔵されたバードビューカメラ(不図示)によって培養容器636の全体観察画像が撮像される。これにより、培養容器636の画像が撮像される。
ステップS2706では、制御部702の画像取得部704は、ステップS2704において撮像された培養容器636の画像を取得する。
ステップS2708では、制御部702の画像処理部706は、画像取得部704によって取得された画像の画像情報を処理し、細胞の塊、敷石形状の細胞などの1又は複数の細胞を抽出することによって測色対象を抽出する。
ステップS2710では、制御部702の色情報変換部708、及び判定部710は、被検体Sを評価する。被検体Sを評価する処理は、図11のステップS1108−S1110、図20のステップS1808−S1812、及び図24のステップS2208−S2210のいずれかを適用できる。
ステップS2712では、制御部702の判定部710は、被検体Sが正常に成長しているか否かを判定する。
ステップS2714では、制御部702は、被検体Sが正常に成長している場合、培養容器636の搬送を容器搬送装置606に指示する。そして、容器搬送装置606は、指示された培養容器636を観察ユニット620の試料台622から搬出してストッカー638に戻す。
ステップS2716では、制御部702は、被検体Sが正常に成長していない場合、培養容器636の小扉648への搬送を容器搬送装置606に指示する。そして、容器搬送装置606は、指示された培養容器636を観察ユニット620の試料台622から小扉648の位置に搬送する。ユーザは、小扉648を開いて培養容器636を取り出す。そして、ユーザは正常に成長していない被検体Sを廃棄する。その後、制御部702は、観察シーケンスを終了して処理をステップS2702に処理を戻す。
ステップS2702−ステップS2716は、被検体Sの数の回数繰り返される。本実施形態に係る判定装置700は、細胞の培養の過程で細胞の成長が正常であるか否かを判定し、正常に成長していない被検体Sを廃棄できる。このように構成することによって、本実施形態に係る判定装置700は、最終的に、正常に成長している被検体Sを残すことができる。
本実施形態に係るインキュベータにおいて、正常に成長していない被検体Sが格納された培養容器636を収納するストッカーが用意されてもよい。この場合、制御部702は、被検体Sが正常に成長していない場合、培養容器636の搬送を容器搬送装置606に指示する。そして、容器搬送装置606は、指示された培養容器636を観察ユニット620の試料台622から搬出して該正常に成長していない被検体Sを収納するストッカーに戻す。このように構成することによって、ユーザは正常に成長していない被検体Sが検出される度に該被検体Sを廃棄する必要がなくなる。
また、本実施形態におけるインキュベータ600(観察装置)の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
上述した実施形態では、被検体Sの一例として色調を呈する細胞種を用いた場合について説明したが、これに限られない。例えば、被検体Sは、染色処理された細胞であってもよい。この染色処理について、細胞が動物細胞である場合を一例にして説明する。染色処理においては、例えばトリパンブルーなどの色素が細胞に滴下される。死細胞の細胞膜には損傷があるため、生細胞に比べて色素が細胞内部に浸透しやすい。このため、トリパンブルーは、生細胞と死細胞とのうち、死細胞に選択的に浸透する。つまり、トリパンブルーによって細胞を染色した場合、生細胞は染色されずに、死細胞は青色に染色される。
なお、ここでは染色処理の一例として、トリパンブルーによる染色について説明したが、これに限られない。生細胞と死細胞とを選択的に染め分けられる色素であれば、トリパンブルー以外の色素によって染色してもよい。
ここで、染色処理される細胞が色素を持たない細胞であれば、細胞の色相を判定することにより、生細胞か、死細胞かを判定することが容易にできる。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
100…判定装置、102…制御部、112…記憶部、114…プログラム、116…画像情報、120…色基準情報、300…顕微鏡、400…判定装置、402…制御部、412…記憶部、414…プログラム、416…画像情報、420…色基準情報、500…判定装置、502…制御部、512…記憶部、514…プログラム、516…画像情報、520…色基準情報、600…インキュベータ、700…判定装置、702…制御部、712…記憶部、714…プログラム、716…画像情報、720…色基準情報

Claims (16)

  1. 撮像された画像において、少なくとも1つの細胞の色情報を算出する画像処理部と、
    前記画像処理部により算出された色情報に基づいて、前記細胞の培養状態を判断する判定部と
    を有する装置。
  2. 前記判定部は、細胞の培養状態を示す情報と、前記画像処理部により算出された色情報とに基づいて、前記細胞の培養状態を判断する、請求項1に記載の装置。
  3. 前記細胞の培養状態を示す情報は、複数の細胞の色情報の分布に関する情報を含む、請求項2に記載の装置。
  4. 前記細胞の培養状態を示す情報は、前記色情報の分布の所定の色情報の範囲に関する情報を含む、請求項3に記載の装置。
  5. 前記画像処理部は、複数の細胞の色情報を算出し、
    前記判定部は、前記所定の色情報の範囲に含まれる前記細胞数の割合に基づいて前記培養状態を判定する、請求項4に記載の装置。
  6. 前記細胞の培養状態を示す情報は、色空間に関する情報を含む、請求項2から請求項5のいずれか一項に記載の装置。
  7. 前記細胞の培養状態を示す情報は、前記色空間の所定の領域に関する情報を含む、請求項6に記載の装置。
  8. 前記画像処理部は、複数の細胞の色情報を算出し、
    前記判定部は、前記色空間の所定の領域に含まれる前記細胞数の割合に基づいて前記細胞の培養状態を判定する
    請求項6又は請求項7に記載の装置。
  9. 前記細胞の培養状態を示す情報は、色空間の所定の値に関する情報を含む、請求項2から請求項8のいずれか一項に記載の装置。
  10. 前記画像処理部は、複数の細胞の色情報を算出し、
    前記判定部は、前記色空間の所定の値と、複数の前記細胞の色情報から求められる値とに基づいて前記細胞の培養状態を判定する
    請求項9に記載の装置。
  11. 前記細胞の培養状態を示す情報は、色空間の所定の値の軌跡に関する情報を含む、請求項2から請求項10のいずれか一項に記載の装置。
  12. 前記画像処理部は、複数の細胞の色情報を算出し、
    前記判定部は、前記色空間の所定の値の軌跡と、複数の前記細胞の色情報から求められる値とに基づいて前記細胞の培養状態を判定する
    請求項11に記載の装置。
  13. 前記細胞の培養状態は、細胞の分化状態または成熟状態である
    請求項1から請求項12のいずれか一項に記載の装置。
  14. 請求項1から請求項13のいずれか1項に記載の装置と、
    該装置に撮像された前記画像を提供する顕微鏡と
    を備える顕微鏡装置。
  15. 処理によって実行される方法であって、
    撮像された画像において、少なくとも1つの細胞の色情報を算出し、
    算出された色情報に基づいて、前記細胞の培養状態を判断する
    方法。
  16. 装置に、
    撮像された画像において、少なくとも1つの細胞の色情報を算出させ、
    算出された色情報に基づいて、前記細胞の培養状態を判断させる
    プログラム。
JP2020526819A 2018-06-28 2018-06-28 細胞状態評価装置、顕微鏡装置、細胞状態評価方法およびプログラム Active JP7248024B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022188327A JP2023029897A (ja) 2018-06-28 2022-11-25 細胞状態評価装置、細胞状態評価方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024676 WO2020003456A1 (ja) 2018-06-28 2018-06-28 装置、顕微鏡装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022188327A Division JP2023029897A (ja) 2018-06-28 2022-11-25 細胞状態評価装置、細胞状態評価方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020003456A1 true JPWO2020003456A1 (ja) 2021-08-12
JP7248024B2 JP7248024B2 (ja) 2023-03-29

Family

ID=68986779

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020526819A Active JP7248024B2 (ja) 2018-06-28 2018-06-28 細胞状態評価装置、顕微鏡装置、細胞状態評価方法およびプログラム
JP2022188327A Pending JP2023029897A (ja) 2018-06-28 2022-11-25 細胞状態評価装置、細胞状態評価方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022188327A Pending JP2023029897A (ja) 2018-06-28 2022-11-25 細胞状態評価装置、細胞状態評価方法およびプログラム

Country Status (4)

Country Link
US (1) US11954888B2 (ja)
JP (2) JP7248024B2 (ja)
GB (1) GB2589764B (ja)
WO (1) WO2020003456A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7207410B2 (ja) * 2018-06-28 2023-01-18 株式会社ニコン 画像解析方法、システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008261631A (ja) * 2007-03-19 2008-10-30 Yamaguchi Univ 植物培養細胞塊の状態を判別する方法、そのための装置および植物培養細胞塊の状態を判別するためのプログラム
JP2010104301A (ja) * 2008-10-30 2010-05-13 Eiken Chem Co Ltd 微生物の検出方法、装置およびプログラム
JP2015170047A (ja) * 2014-03-05 2015-09-28 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5989835A (en) 1997-02-27 1999-11-23 Cellomics, Inc. System for cell-based screening
JP5783043B2 (ja) * 2009-06-12 2015-09-24 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JPWO2011013319A1 (ja) * 2009-07-31 2013-01-07 株式会社ニコン 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JPWO2011016189A1 (ja) * 2009-08-07 2013-01-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
TWI586954B (zh) * 2015-12-09 2017-06-11 財團法人金屬工業研究發展中心 檢測細胞受人類乳突病毒(hpv)感染的裝置及其檢測方法
CN110603566B (zh) * 2017-05-01 2023-10-20 兴和株式会社 图像解析评价方法、计算机程序、图像解析评价装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008261631A (ja) * 2007-03-19 2008-10-30 Yamaguchi Univ 植物培養細胞塊の状態を判別する方法、そのための装置および植物培養細胞塊の状態を判別するためのプログラム
JP2010104301A (ja) * 2008-10-30 2010-05-13 Eiken Chem Co Ltd 微生物の検出方法、装置およびプログラム
JP2015170047A (ja) * 2014-03-05 2015-09-28 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2015182382A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム

Also Published As

Publication number Publication date
US11954888B2 (en) 2024-04-09
US20210125335A1 (en) 2021-04-29
JP7248024B2 (ja) 2023-03-29
GB2589764B (en) 2023-06-21
GB202020540D0 (en) 2021-02-03
WO2020003456A1 (ja) 2020-01-02
JP2023029897A (ja) 2023-03-07
GB2589764A (en) 2021-06-09

Similar Documents

Publication Publication Date Title
KR101349664B1 (ko) 발광소자 조명 소스를 지닌 현미경
TWI720102B (zh) 菌之生死狀態判定裝置、及使用該裝置的菌之生死狀態判定方法
WO2011055791A1 (ja) 細菌コロニー釣菌装置及びその方法
CN102274000B (zh) 窄带多光谱荧光阴道检查装置
JP5901644B2 (ja) 差次的な光吸収による生死判別細胞カウント方法
CN103565419A (zh) 测色装置和包含由该测色装置得到的颜色信息的肤色映射图
JP6143365B2 (ja) 細胞画像評価装置および方法並びにプログラム
JP2023029897A (ja) 細胞状態評価装置、細胞状態評価方法およびプログラム
IL254325B1 (en) Method and device for microscopy
US20240095910A1 (en) Plaque detection method for imaging of cells
US20210295041A1 (en) Systems and methods for distinguishing fertile plant specimens from sterile plant specimens
Paoli et al. Imaging techniques in insects
JP5552298B2 (ja) 細菌コロニ釣菌装置及びその前処理方法
CN102645275A (zh) 一种产生对比度和色差观察目标的装置
JP6609967B2 (ja) 判定装置、判定システム、判定プログラム、及び細胞の製造方法
US20110296538A1 (en) In vivo quantitative screening test for anti-metastasis treatment efficacy
GB2615908A (en) Device, microscope device, method, and program
US20240102912A1 (en) Plaque counting assay method
Chiu et al. Detecting cabbage seedling diseases by using chlorophyll fluorescence
CN109544627A (zh) 一种智能毛发分析装置与分析方法
JP6313978B2 (ja) 表示方法
JP5888639B2 (ja) 色彩画像撮像・解析システム
WO2016088243A1 (ja) 判定装置、観察システム、観察方法、そのプログラム、細胞の製造方法、および細胞
Frost et al. Use of fast-responding voltage-sensitive dyes for large-scale recording of neuronal spiking activity with single-cell resolution
US11150461B2 (en) System and method for phase contrast microscopy imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221125

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221202

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7248024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150