JP6569672B2 - 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法 - Google Patents

観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法 Download PDF

Info

Publication number
JP6569672B2
JP6569672B2 JP2016528672A JP2016528672A JP6569672B2 JP 6569672 B2 JP6569672 B2 JP 6569672B2 JP 2016528672 A JP2016528672 A JP 2016528672A JP 2016528672 A JP2016528672 A JP 2016528672A JP 6569672 B2 JP6569672 B2 JP 6569672B2
Authority
JP
Japan
Prior art keywords
colony
area
cells
cell
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016528672A
Other languages
English (en)
Other versions
JPWO2015193951A1 (ja
Inventor
泰次郎 清田
泰次郎 清田
宏昭 紀伊
宏昭 紀伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2015193951A1 publication Critical patent/JPWO2015193951A1/ja
Application granted granted Critical
Publication of JP6569672B2 publication Critical patent/JP6569672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • G01N15/075Investigating concentration of particle suspensions by optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N2015/0277Average size only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Biochemistry (AREA)
  • Wood Science & Technology (AREA)
  • Biomedical Technology (AREA)
  • Zoology (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Molecular Biology (AREA)
  • Dispersion Chemistry (AREA)
  • Biophysics (AREA)
  • Sustainable Development (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法に関するものである。
一般的に、細胞の培養状態を評価する技術は、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野での基盤技術となっている。例えば、再生医療分野では、インビトロで細胞を増殖、分化させるプロセスが存在する。そして、上記のプロセスでは、細胞の分化の成否、細胞の癌化や感染の有無を管理するために、細胞の培養状態を的確に評価することが不可欠である。一例として、マーカーとして転写因子を用いたがん細胞の評価方法が開示されている(特許文献1参照)。
ES(Embryonic Stem、胚性幹)細胞またはiPS(induced Pluripotent Stem、誘導多能性幹)細胞などの幹細胞は、理論上、ほぼすべての組織に分化する分化多能性を保ちつつ、ほぼ無限に増殖させる事ができるため、医薬開発および再生医療への応用に注目が集まっている。
米国特許第7060445号明細書
そのような幹細胞を創薬研究や再生医療に応用する際には、状態が良い(コロニーの大きさが適度の大きさであり、コロニー内に存在する細胞の密度が適度な密度)幹細胞を培養する必要があり、そのためには、培養中の細胞株の成熟度を正確に判定することが求められる。しかしながら、従来、研究者の目視によって細胞株の成熟度を判定していたため、細胞株の成熟度の判定精度を向上させることができないという問題があった。
そこで本発明は、上記問題に鑑みてなされたものであり、細胞株の成熟度の判定精度を
向上することを可能とする観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法を提供することを課題とする。
[1]上記問題を解決するために、本発明の一態様は、培養中の細胞の培養を行う恒温室と、染色しないで得られた前記培養中の細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する面積算出部と、コロニーの面積と、当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部と、前記面積算出部が面積を算出した対象コロニーに含まれる細胞の数を、算出された前記対象コロニーの面積と前記記憶部に記憶されている前記第1情報と基づいて推定する細胞数算出部と、前記面積算出部が算出する前記対象コロニーの面積と、前記細胞数算出部が推定する前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出部と、前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定部と、を備える観察装置である。
[2]また、上記問題を解決するために、本発明の一態様は、培養中の細胞の画像を撮像する撮像部と、上述の観察装置とを備える観察システムである。
[3]また、上記問題を解決するために、本発明の一態様は、恒温室において培養中の細胞のコロニーについて染色しないで得られた前記培養中の細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する面積算出手順と、前記面積算出手順によって面積が算出された対象コロニーに含まれる細胞の数を、コロニーの面積と当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部に記憶されている前記第1情報と、算出された前記対象コロニーの面積とに基づいて推定する細胞数推定手順と、前記面積算出手順によって算出される前記対象コロニーの面積と、前記細胞数推定手順によって推定される前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出手順と、前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定手順と、を有する観察方法である。
[4]また、上記問題を解決するために、本発明の一態様は、コンピュータに、恒温室において培養中の細胞のコロニーについて染色しないで得られた前記培養中の細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する面積算出手順と、前記面積算出手順によって面積が算出された対象コロニーに含まれる細胞の数を、コロニーの面積と当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部に記憶されている前記第1情報と、算出された前記対象コロニーの面積とに基づいて推定する細胞数推定手順と、前記面積算出手順によって算出される前記対象コロニーの面積と、前記細胞数推定手順によって推定される前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出手順と、前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定手順と、を実行させるためのプログラムである。
[5]また、上記問題を解決するために、本発明の一態様は、恒温室において培養中の細胞を培養する培養手順と、前記培養手順において培養中の細胞のコロニーを染色しないで撮像し、撮像されたコロニーの画像に基づいて、コロニーの面積を算出する面積算出手順と、前記面積算出手順によって面積が算出された対象コロニーに含まれる細胞の数を、コロニーの面積と当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部に記憶されている前記第1情報と、算出された前記対象コロニーの面積とに基づいて推定する細胞数推定手順と、前記面積算出手順によって算出される前記対象コロニーの面積と、前記細胞数推定手順によって推定される前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出手順と、前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定手順と、を有する細胞の製造方法である。
本発明によれば、細胞株の成熟度の判定精度を向上することができる。
本発明の実施形態による観察装置の構成の一例を示すブロック図である。 本実施形態の観察装置が備える制御装置の構成の一例を示すブロック図である。 本実施形態の観察装置の正面図である。 本実施形態の観察装置の平面図である。 本実施形態の細胞株毎のコロニー面積の時間変化の一例を示すグラフである。 本実施形態の細胞株毎のコロニー面積と細胞数との関係の一例を示すグラフである。 本実施形態の細胞のコロニー面積とこのコロニーに含まれる細胞の密度との関係の一例を示すグラフである。 本実施形態の撮像装置が撮像した全体観察画像の一例を示す模式図である。 本実施形態のコロニー面積の時間変化と第1の検量線との関係の一例を示すグラフである。 本実施形態の観察装置による検量線登録の動作の一例を示すフローチャートである。 本実施形態の観察装置による細胞数推定動作の一例を示すフローチャートである。
[実施形態]
以下、図面を参照して、本発明の実施の形態について説明する。初めに、図1〜図4を参照して、本発明の実施形態によるインキュベータ(観察装置)の構成の概要について説明する。図1は、本発明の実施形態によるインキュベータ11の構成の一例を示すブロック図である。図2は、本実施形態のインキュベータ11が備える制御装置41の構成の一例を示すブロック図である。また、図3、図4は、本実施形態のインキュベータ11の正面図および平面図である。
このインキュベータ11とは、細胞を培養するとともに、培養した細胞を顕微鏡カメラによって撮像して、細胞の状態を観察するための装置である。インキュベータ11は、上部ケーシング12と下部ケーシング13とを有している。インキュベータ11の組立状態において、上部ケーシング12は下部ケーシング13の上に載置される。なお、上部ケーシング12と下部ケーシング13との内部空間は、ベースプレート14によって上下に仕切られている。
まず、上部ケーシング12の構成の概要を説明する。上部ケーシング12の内部には、細胞の培養を行う恒温室15が形成されている。この恒温室15は温度調整装置15aおよび湿度調整装置15bを有しており、恒温室15内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、図3、図4での温度調整装置15a、湿度調整装置15bの図示は省略する)。
恒温室15の前面には、大扉16、中扉17、小扉18が配置されている。大扉16は、上部ケーシング12および下部ケーシング13の前面を覆っている。中扉17は、上部ケーシング12の前面を覆っており、大扉16の開放時に恒温室15と外部との環境を隔離する。小扉18は、細胞を培養する培養容器19を搬出入するための扉であって、中扉17に取り付けられている。この小扉18から培養容器19を搬出入することで、恒温室15の環境変化を抑制することが可能となる。なお、大扉16、中扉17、小扉18は、パッキンP1、P2、P3によりそれぞれ気密性が維持されている。
また、恒温室15には、ストッカー21、観察ユニット22、容器搬送装置23、搬送台24が配置されている。ここで、搬送台24は、小扉18の手前に配置されており、培養容器19を小扉18から搬出入する。
ストッカー21は、上部ケーシング12の前面(図4の下側)からみて恒温室15の左側に配置される。ストッカー21は複数の棚を有しており、ストッカー21の各々の棚には培養容器19を複数収納することができる。なお、各々の培養容器19には、培養の対象となる細胞が培地とともに収容されている。ストッカー21は、必須のもではない。
観察ユニット22は、上部ケーシング12の前面からみて恒温室15の右側に配置される。この観察ユニット22は、培養容器19内の細胞のタイムラプス観察を実行することができる。
ここで、観察ユニット22は、上部ケーシング12のベースプレート14の開口部に嵌め込まれて配置される。観察ユニット22は、試料台31と、試料台31の上方に張り出した照明光源を配置するスタンドアーム32と、観察光学系および撮像装置34を内蔵した本体部分33とを有している。そして、試料台31およびスタンドアーム32は恒温室15に配置される一方で、本体部分33は下部ケーシング13内に収納される。
試料台31は透光性の材質で構成されており、その上に培養容器19を載置することができる。この試料台31は水平方向に移動可能に構成されており、上面に載置した培養容器19の位置を調整できる。また、スタンドアーム32にはLED光源39が内蔵されている。そして、撮像装置34は、スタンドアーム32によって試料台31の上側から透過照明された培養容器19の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。
容器搬送装置23は、上部ケーシング12の前面からみて恒温室15の中央に配置される。この容器搬送装置23は、ストッカー21、観察ユニット22の試料台31および搬送台24との間で培養容器19の受け渡しを行う。上記のようにストッカー21を有しない場合、容器搬送装置23も不要である。
図4に示すように、容器搬送装置23は、多関節アームを有する垂直ロボット38と、回転ステージ35と、ミニステージ36と、アーム部37とを有している。回転ステージ35は、垂直ロボット38の先端部に回転軸35aを介して水平方向に180°回転可能に取り付けられている。そのため、回転ステージ35は、ストッカー21、試料台31および搬送台24に対して、アーム部37をそれぞれ対向させることができる。
また、ミニステージ36は、回転ステージ35に対して水平方向に摺動可能に取り付けられている。ミニステージ36には培養容器19を把持するアーム部37が取り付けられている。
次に、下部ケーシング13の構成の概要を説明する。下部ケーシング13の内部には、観察ユニット22の本体部分33や、インキュベータ11の制御装置41が収納されている。
制御装置41は、温度調整装置15a、湿度調整装置15b、観察ユニット22および容器搬送装置23とそれぞれ接続されている。この制御装置41は、所定のプログラムに従ってインキュベータ11の各部を統括的に制御する。
一例として、制御装置41は、温度調整装置15aおよび湿度調整装置15bをそれぞれ制御して恒温室15内を所定の環境条件に維持する。また、制御装置41は、所定の観察スケジュールに基づいて、観察ユニット22および容器搬送装置23を制御して、培養容器19の観察シーケンスを自動的に実行する。さらに、制御装置41は、観察シーケンスで取得した画像に基づいて、細胞の培養状態の評価を行う培養状態評価処理を実行する。
[細胞のコロニー面積の時間変化を示す検量線(第1の検量線)]
ここで、図5を参照して、細胞のコロニー面積の時間変化について説明する。
図5は、細胞株毎のコロニー面積の時間変化の一例を示すグラフである。時間が経過すると細胞が増殖するため、これらの細胞を含むコロニーの面積(以下、単にコロニー面積とも称する。)は、時間の経過によって増大する。このコロニー面積の時間変化は、細胞株毎に異なる。一例として、細胞株Aのコロニー面積の時間変化は、同図の検量線L1Aによって示される。また、細胞株Bのコロニー面積の時間変化は、同図の検量線L1Bによって示される。これら検量線L1Aと検量線L1Bとを総称して、第1の検量線L1と称する。細胞株が特定されれば、図5に示す所定の関係、すなわち第1の検量線L1に基づいて、時間の経過に伴う細胞株のコロニー面積の変化を推定することができる。
ここで、コロニー面積の時間変化を観察することにより、コロニーが正常に増殖しているか否かを判定することができる。すなわち、あるコロニーのコロニー面積の時間変化量が、標準的なコロニー面積の時間変化量に比べて大きい場合(例えば、コロニー面積が異常に増加している場合)には、このコロニーに含まれる細胞が分化している可能性がある。すなわち、コロニー面積が異常に増加しているコロニーは、細胞が分化しているとみなして異常なコロニーと判定することができる。また、あるコロニーのコロニー面積の時間変化量が、標準的なコロニー面積の時間変化量に比べて小さい場合(例えば、コロニー面積が時間変化しない場合)には、このコロニーに含まれる細胞が死滅している可能性がある。すなわち、コロニー面積が時間変化しないコロニーは、細胞が死滅しているとみなして異常なコロニーと判定することができる。本実施形態のインキュベータ11は、細胞株毎に、この第1の検量線L1を予め登録(記憶)しておくことにより、コロニーが正常に増殖しているか否かを判定する。
[細胞のコロニー面積と、このコロニーに含まれる細胞数との関係を示す検量線(第2の検量線)]
ここで、図6を参照して、細胞のコロニー面積と細胞数との関係について説明する。図6中横軸の単位はμm(マイクロ・平方メートル)であり、縦軸の単位は個である。
図6は、細胞株毎の1つのコロニーのコロニー面積(以下、コロニー面積)と1つのコロニー内の細胞数(以下、コロニー内の細胞数)との関係の一例を示すグラフである。なお、検量線を作成する際の対象とするコロニーは、ユーザーが見た目で検量線にふさわしいコロニーを選択する。選択する際のポイントは、例えばコロニー同士が接着しておらず、個々のコロニーが独立して存在している者が好ましく選択される。また、コロ二―の大きさが目視で判断し、小さいものから大きいコロニーまで幅広く選択する。これらは目視によりユーザー判断で実施してもよいし、予め選択条件を記憶しておき画像解析により自動判別することも可能である。
細胞のコロニー面積と、このコロニーに含まれる細胞数との間には、所定の関係がある。また、この所定の関係は、細胞株毎に異なる。一例として、細胞株Aのコロニー面積と、このコロニーに含まれる細胞数との関係は、同図の検量線L2Aによって示される。また、細胞株Bのコロニー面積と、このコロニーに含まれる細胞数との関係は、同図の検量線L2Bによって示される。これら検量線L2Aと検量線L2Bとを総称して、第2の検量線L2と称する。細胞株が特定されれば、同図に示す第2の検量線L2に基づいて、この細胞株のコロニー面積から、このコロニーに含まれる細胞数を推定することができる。本実施形態のインキュベータ11は、細胞株毎に、第2の検量線L2を予め登録(記憶)しておくことにより、コロニーの画像からこのコロニーに含まれる細胞数を推定(算出)する。具体的には、ある細胞株について、位相差画像と蛍光染色した細胞株の画像である蛍光画像とに基づいて、細胞数とコロニー面積との関係を計測する。また、計測した細胞数とコロニー面積との関係を、第2の検量線L2として、予め記憶する。
細胞数を計測するために使用する画像は、例えばコロニー内の細胞を蛍光染色した状態で撮像した画像である。そして取得した画像に対し、予め定めた輝度値を示す細胞を対象として細胞数を計測する。このとき画像から得られた輝度値のデータに対してスムージング処理を施し、このデータを基に予め定めた輝度値を示した細胞を計数する細胞として特定することが可能である。このスムージング処理を行う際の処理レベルを制御することで、細胞を特定するための感度を調整することが可能である。
[細胞のコロニー面積と、このコロニーに含まれる細胞の密度との関係を示す検量線(第3の検量線)]
ここで、図7を参照して、細胞のコロニー面積とこのコロニーに含まれる細胞の密度との関係について説明する。
図7は、細胞のコロニー面積とこのコロニーに含まれる細胞の密度との関係の一例を示すグラフである。コロニーに含まれる細胞の密度は、時間の経過に伴う細胞の成熟度に応じて上昇する。また、コロニーに含まれる細胞の密度は、ある成熟度に達すると、時間の経過に伴う変化が少なくなる。これは、コロニーの面積が大きくなるにつれコロニー内の細胞数が増えるが、コロニー内の個々の1細胞あたりの面積の変化は少なることを意味する。
従って、コロニーに含まれる細胞の密度を観察することにより、細胞の成熟度を判定することができる。
このコロニーに含まれる細胞の密度は、具体的には、コロニー面積と、このコロニーに含まれる細胞1つあたりの面積との関係によって表す。時間の経過に伴い、細胞が増殖するため、コロニー面積が増加する。このコロニーに含まれる細胞の成熟度が上昇すると、コロニー内部がパッキングされた状態になる。すなわち、コロニーに含まれる細胞が成熟すると、コロニー内部の細胞の密度が上昇する。また、コロニー内部がパッキングされた状態で細胞がさらに増殖すると、細胞の密度が上限に達して密度の上昇が抑えられるとともに、コロニー面積が増大する。したがって、コロニー内部の細胞の密度の時間変化を観察することにより、このコロニーに含まれる細胞の成熟度を判定することができる。
このコロニーに含まれる細胞の密度は、細胞株毎に異なる。一例として、細胞株Aのコロニー面積と、このコロニーに含まれる細胞1つあたりの面積との関係は、同図の検量線L3Aによって示される。また、細胞株Bのコロニー面積と、このコロニーに含まれる細胞1つあたりの面積との関係は、同図の検量線L3Bによって示される。これら検量線L3Aと検量線L3Bとを総称して、第3の検量線L3と称する。細胞株が特定されれば、同図に示す第3の検量線L3に基づいて、この細胞の成熟度を判定することができる。具体的には、細胞株Aについて、コロニーに含まれる細胞1つあたりの面積が、同図に示す検量線L3Aのしきい値ThAに達した場合に、この細胞株Aが成熟したと判定する。また、細胞株Bについて、コロニーに含まれる細胞1つあたりの面積が、同図に示す検量線L3Bのしきい値ThBに達した場合に、この細胞株Bが成熟したと判定する。
すなわち、本実施形態のインキュベータ11は、細胞株毎に、第3の検量線L3を予め登録(記憶)しておくことにより、コロニーの画像から細胞の成熟度を判定する。具体的には、検量線を作成するに際し、ある細胞株について、位相差画像と蛍光染色した細胞株の画像である蛍光画像とに基づいて、コロニー面積と、このコロニーに含まれる細胞の密度との関係を計測する。また、計測したコロニー面積と、このコロニーに含まれる細胞の密度との関係を、第3の検量線L3として、予め記憶する。
図1に戻り、制御装置41の構成について説明する。この制御装置41は、制御部42、記憶部43および入力部44を有している。
記憶部43は、ハードディスクや、フラッシュメモリなどの不揮発性の記憶媒体、およびDRAMやSRAMなどの揮発性の記憶媒体などにより構成される。この記憶部43には、ストッカー21に収納されている各培養容器19に関する管理データ、撮像装置で撮像された全体観察画像のデータ、および顕微鏡画像のデータが記憶されている。さらに、記憶部43には、制御部42によって実行されるプログラムが記憶されている。また、記憶部43には、制御部42による種々の演算結果が一時的に記憶される。
なお、上記の管理データには、(a)個々の培養容器19を示すインデックスデータ、(b)ストッカー21での培養容器19の収納位置、(c)培養容器19の種類および形状(ウェルプレート、ディッシュ、フラスコなど)、(d)培養容器19で培養されている細胞の種類(細胞株を識別する情報)、(e)培養容器19の観察スケジュール、(f)タイムラプス観察時の撮像条件(対物レンズの倍率、容器内の観察地点等)、などが含まれている。また、ウェルプレートのように複数の小容器で同時に細胞を培養できる培養容器19については、各々の小容器毎にそれぞれ管理データが生成される。
なお、本実施例では、観察対象となる細胞株として異なる種類の細胞株を観察する実施例としている。この場合は、細胞株を識別する情報が必要となるが、観察する細胞株が1つであり、細胞株を識別する必要が無い場合は、細胞株識別情報は必須ではない。もちろん、観察する細胞株が1つでも細胞株を示す情報を入力してもよい。
また、記憶部43には、コロニーの面積と当該コロニーに含まれる細胞数との関係を示す検量線情報とが関連付けて記憶されている。
また、異なる種類の細胞株を観察する場合は、細胞の細胞株を識別する細胞株情報を記憶部43に記憶し、各情報と関連付けされて記憶することが好ましい。また、当該コロニーの面積の特徴量を示す特徴量情報を記憶し、各情報と関連付けされて記憶することが好ましい。
入力部44は、キーボードやマウスなどの入力デバイスを備えている。この入力部44には、ユーザの操作によって細胞株の情報など様々な情報が入力される。
次に、図2を参照して制御部42の構成について説明する。制御部42は、画像読込部4203と、面積算出部4211と、書込制御部4221と、細胞数算出部4222と、密度算出部4223とを備えている。
なお、同図では、第1の検量線L1に基づいてコロニーの良否を判定する場合を想定し、良否判定部4224を備える構成を示している。また、同図では、第3の検量線L3に基づいて細胞の成熟度を判定する場合を想定し、成熟度判定部4225を備える構成を示している。本実施形態のインキュベータ11において、これら良否判定部4224と成熟度判定部4225とは必須ではない。
この制御部42は、たとえば、制御装置41の各種の演算処理を実行するプロセッサである。なお、制御部42は、プログラムの実行によって、画像読込部4203と、面積算出部4211と、良否判定部4224と、成熟度判定部4225と、書込制御部4221と、細胞数算出部4222としてそれぞれ機能してもよい。
書込制御部4221は、制御装置41の各部が出力する情報の記憶部43への書き込みを制御する。
画像読込部4203は、撮像装置34が撮像した全体観察画像または顕微鏡画像の画像データを読み込み、読み込んだ画像データを制御装置41の各部に供給する。また、画像読込部4203は、記憶部43に記憶されている全体観察画像または顕微鏡画像の画像データを読み込み、読み込んだ画像データを制御装置41の各部に供給する。
面積算出部4211は、第1の検量線L1を記憶部43に記憶させる場合、および撮像装置34が撮像したコロニーの画像と第1の検量線L1とに基づいて、コロニーの良否を判定する場合の2つの場合において、コロニーの面積を算出する。ここでは、まず、第1の検量線L1を記憶部43に記憶させる場合について説明し、次に第1の検量線L1に基づいてコロニーの良否を判定する場合について説明する。
面積算出部4211は、コロニー面積を算出するとともに、算出したコロニー面積と、このコロニーに含まれる細胞数とを関連付けた第1の検量線L1を、検量線情報として書込制御部4221を介して記憶部43に記憶させる。すなわち、面積算出部4211は、第1の検量線L1を記憶部43に記憶させる。細胞株が複数の場合は、入力部44を介して細胞株の情報(細胞株ID)を記憶部43に記憶させ、細胞株毎に検量線情報を記憶させる。
細胞株の種類が複数の場合は、細胞株の種類を示す情報(細胞株ID)の入力が必要である。また、細胞株の種類を示す情報の入力は、観察する細胞株の種類を把握しているユーザが入力してもよいし、また観察する細胞の形態、輝度などの細胞を識別し、マッチング技術等により細胞株の種類を自動判断する技術を用いることで、細胞株の種類を示す情報を自動的に作成し入力することも可能である。
本実施例では、ユーザから入力部44を介して細胞株を示す情報(細胞株ID)を入力するケースについて説明する。
また、面積算出部4211は、細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する。この面積算出部4211がコロニーの面積を算出する対象の画像の具体例について、図8を参照して説明する。
図8は、本実施形態の撮像装置34が撮像した全体観察画像の一例を示す模式図である。同図に示す全体観察画像のうち、全体観察画像PIC01とは、培養開始から1日経過後のコロニー検出結果の画像(フレーム1)である。また、全体観察画像PIC02〜全体観察画像PIC05(フレーム1〜フレーム5)とは、培養開始から2日経過後〜5日経過後のコロニー検出結果の画像である。
この全体観察画像PIC01には、培養開始から1日経過後の第1のコロニーCO1の画像と、第2のコロニーCO2の画像とが含まれている。また、全体観察画像PIC02には、培養開始から2日経過後の第1のコロニーCO1の画像と、第2のコロニーCO2の画像とが含まれている。同図に示すように、培養開始から2日経過後の第1のコロニーCO1は、培養開始から1日経過後の第1のコロニーCO1に比べて増殖しており、その面積が増大している。また、同図に示すように、培養開始から2日経過後の第2のコロニーCO2は、培養開始から1日経過後の第2のコロニーCO2に比べて増殖しており、その面積が増大している。
また、全体観察画像PIC03には、培養開始から3日経過後の第1のコロニーCO1の画像と、第2のコロニーCO2の画像と、第3のコロニーCO3の画像が含まれている。同図に示すように、培養開始から3日経過後の第1のコロニーCO1は、培養開始から2日経過後の第1のコロニーCO1に比べて増殖しており、その面積が増大している。また、同図に示すように、培養開始から3日経過後の第2のコロニーCO2は、培養開始から2日経過後の第2のコロニーCO2に比べて増殖しており、その面積が増大している。
ここで、コロニーの面積の時間変化について、全体観察画像PIC01〜全体観察画像PIC03を、時系列に並べて比較して説明する。この場合、第1のコロニーCO1の面積は、全体観察画像PIC01〜全体観察画像PIC03において単調に増加している。一方、第2のコロニーCO2の面積は、全体観察画像PIC01〜全体観察画像PIC02における増加量と、全体観察画像PIC02〜全体観察画像PIC03における増加量とが大きく異なっている。すなわち、第2のコロニーCO2の面積は、全体観察画像PIC01〜全体観察画像PIC02における増加量に比べて、全体観察画像PIC02〜全体観察画像PIC03における増加量が大きい。つまり、第2のコロニーCO2の面積は、培養開始から3日経過後に急激に大きくなっている。このことは、第2のコロニーCO2が培養開始から3日経過後に分化して異常に増殖した可能性があることを示している。
ここで、図9を参照して、コロニー面積の時間変化と第1の検量線との関係について説明する。
図9は、本実施形態のコロニー面積の時間変化と第1の検量線との関係の一例を示すグラフである。同図において横軸は時間を、縦軸はコロニー面積を示す。図9(A)に、コロニーの画像を取得して得られた全体観察画像PIC01に含まれるコロニーの面積を示す。すなわち、図9(A)に、培養開始から1日経過後の第1のコロニーCO1の面積と、第2のコロニーCO2の面積とを示す。同図に示されるように、これら第1のコロニーCO1の面積CO11、および第2のコロニーCO2の面積CO21は、いずれも第1の検量線L1上にプロットされる。すなわち、培養開始から1日経過後において、第1のコロニーCO1の面積CO11、および第2のコロニーCO2の面積CO21は、いずれも正常値を示している。
また、図9(B)〜(E)に、コロニーの画像を取得して得られた全体観察画像PIC02〜全体観察画像PIC05に含まれるコロニーの面積を、それぞれ示す。このうち、図9(B)に、培養開始から2日経過後の第1のコロニーCO1の面積CO12と、第2のコロニーCO2の面積CO22とを示す。同図に示されるように、これら第1のコロニーCO1の面積CO12、および第2のコロニーCO2の面積CO22は、いずれも第1の検量線L1上にプロットされる。すなわち、培養開始から2日経過後において、第1のコロニーCO1の面積CO12、および第2のコロニーCO2の面積CO22は、いずれも正常値を示している。
図9(C)に、培養開始から3日経過後の第1のコロニーCO1の面積CO13と、第2のコロニーCO2の面積CO23とを示す。同図に示されるように、これら第1のコロニーCO1の面積CO13は、第1の検量線L1上にプロットされる。一方、第2のコロニーCO2の面積CO23は、第1の検量線L1上にプロットされない。すなわち、培養開始から3日経過後において、第1のコロニーCO1の面積CO12は正常値を示し、第2のコロニーCO2の面積CO23は、異常値を示している。このことは、第2のコロニーCO2が培養開始から3日経過後に分化して異常に増殖した可能性があることを示している。つまり、コロニー面積が第1の検量線L1上に存在するか否かに基づいて、このコロニーの面積が正常値であるのか、異常値であるのかを判定することができる。この例において、第2のコロニーCO2は、コロニー面積が正常なコロニーに比べて大きい状態になっており、培養開始から3日経過後に分化して異常に増殖した可能性があるため、第2のコロニーCO2について以降の培養を中止(例えば、培地から除去)する対応を行う。
本実施形態において、このコロニーの良否判断は、良否判定部4224が行う。すなわち、良否判定部4224は、面積算出部4211が算出するコロニーの面積の時間経過による変化に基づいて、当該コロニーの良否を判定する。具体的には、良否判定部4224は、面積算出部4211が算出したコロニー面積と、記憶部43に記憶されている第1の検量線L1とに基づいて、コロニーの良否を判定する。
図8に戻り、培養開始から3日経過後に、これまで存在していなかった第3のコロニーCO3が生じている。これは、iPS細胞が通常の細胞と異なり接着のタイミングが不均一であることによる。具体的には、第1のコロニーCO1、第2のコロニーCO2は、培養開始から1日経過後には接着して増殖している。これに対し、第3のコロニーCO3は、培養開始から2日経過後まで接着しておらず、培養開始から3日経過後に接着して増殖を開始している。このように撮像装置34は、培養開始から時間経過に伴う複数回の撮像によって全体観察画像を生成する。
また、全体観察画像PIC04(フレーム4)には、培養開始から4日経過後の第1のコロニーCO1の画像と、第2のコロニーCO2の画像と、第3のコロニーCO3の画像が含まれている。同図に示すように、培養開始から4日経過後の第1のコロニーCO1は、培養開始から3日経過後の第1のコロニーCO1に比べて増殖しており、その面積が増大している。また、同図に示すように、培養開始から4日経過後の第2のコロニーCO2は、培養開始から2日経過後の第2のコロニーCO2に比べて増殖しており、その面積が増大している。
すなわち、撮像装置34は、培養開始からのタイムラプス画像を撮像する。これにより、本実施形態のインキュベータ11は、iPS細胞のように接着のタイミングが不均一である細胞についても、コロニーの状態を精度よく観察することができる。
図2に戻り、面積算出部4211は、撮像装置34が撮像した全体観察画像を、画像読込部4203から取得する。また、面積算出部4211は、取得した全体観察画像に基づいて、図8に示すコロニー検出結果画像(全体観察画像PIC01〜全体観察画像PIC05)を生成する。
また、面積算出部4211は、生成したコロニー検出結果画像に基づいて、細胞のコロニーの面積を算出する。具体的には、面積算出部4211は、既知の学習機能によるオブジェクト検出アルゴリズムを利用してコロニー部分をマスクし、マスクされた部分(図8のコロニー検出結果画像において曲線に囲まれた領域)をコロニーが存在する領域とし、マスクされた領域からコロニー面積を算出する。なお、コロニー面積の算出方法はこれに限られるものではない。
細胞数算出部4222は、ユーザから入力部44を介して細胞株を示す情報(細胞株ID)が入力されると、この細胞株IDを検索キーにして記憶部43が記憶する検量線情報を検索し、検索の結果に基づいて、細胞株IDが一致する第2の検量線L2(コロニー面積対細胞数の関係)を取得する。また、細胞数算出部4222は、取得した第2の検量線L2を用い、面積算出部4211が算出したコロニーの面積に基づいて細胞数を算出する。つまり、細胞数算出部4222は、面積算出部4211が面積を算出した対象コロニーに含まれる細胞の数を、撮像装置34が撮像した画像に基づいて算出する。
密度算出部4223は、面積算出部4211が算出するコロニーの面積と、細胞数算出部4222が算出するコロニーに含まれる細胞の数とに基づいて、このコロニーに含まれる細胞の密度を算出する。具体的には、密度算出部4223は、面積算出部4211が算出するコロニー面積と、細胞数算出部4222が算出した細胞数とに基づいて、このコロニーに含まれる細胞1つあたりの面積を算出する。
成熟度判定部4225は、密度算出部4223が算出する細胞の密度に基づいて、コロニーに含まれる細胞の成熟度を判定する。具体的には、成熟度判定部4225は、細胞株Aについて、コロニーに含まれる細胞1つあたりの面積が、同図に示す検量線L3Aのしきい値ThAに達した場合に、この細胞株Aが成熟したと判定する。また、成熟度判定部4225は、細胞株Bについて、コロニーに含まれる細胞1つあたりの面積が、同図に示す検量線L3Bのしきい値ThBに達した場合に、この細胞株Bが成熟したと判定する。
[インキュベータ(観察装置)の動作]
次に、インキュベータ11の動作の一例について説明する。このインキュベータ11は、登録されている検量線に基づいて、細胞のコロニーの面積から、このコロニーに含まれる細胞数を推定することにより、細胞数を算出する。ここで、検量線とは、細胞のコロニーの面積と、このコロニーに含まれる細胞数との関係を示す情報である。ここでは、初めに検量線を登録する動作について説明し、次に登録された検量線に基づいて細胞数を算出する動作について説明する。
[検量線登録の動作]
まず、検量線登録の動作について図10を参照して説明する。
図10は、本実施形態のインキュベータ11(観察装置)による検量線登録の動作の一例を示すフローチャートである。インキュベータ11は、細胞株毎に検量線(第1の検量線L1、第2の検量線L2、および第3の検量線L3)を記憶する。
一例として、インキュベータ11は、上述した画像データに基づいて、この画像データ内のコロニーの画像を検出して、コロニーの画像の面積を算出する。インキュベータ11は、細胞株ごとに、算出したコロニー面積と、培養開始からの経過時間とを関連付けることにより、ある細胞株についての第1の検量線L1を登録する。
また、インキュベータ11は、細胞株ごとに、算出したコロニー面積と、蛍光染色観察画像により計数されたコロニー内の細胞数とを関連付けることにより、ある細胞株についての第2の検量線L2を検量線情報として登録する。
また、インキュベータ11は、細胞株ごとに、算出したコロニー面積と、このコロニー内における細胞1つあたりの面積とを関連付けることにより、ある細胞株についての第3の検量線L3を検量線情報として登録する。
ここで、検量線登録の動作開始前において、制御部42は、ユーザが入力部44を介して入力する検量線登録動作の指示を予め受け付けている。この検量線登録動作の指示には、検量線を登録する対象の細胞株を示す情報(細胞株ID)が含まれている(観察する細胞株が1つである場合は、検量線を登録する対象の細胞株を示す情報(細胞株ID)の入力は必須ではない。また、記憶部43には、培養開始から1日経過後から、5日経過後までにそれぞれ観察を開始するように、それぞれの観察開始時刻が、管理データの観察スケジュールとして予め記憶されている。また、ユーザがコロニー内の細胞数を計数する方法が、細胞を蛍光染色し、蛍光観察によって細胞を計数する計数方法など、培養容器19内の細胞を破壊して観察する方法である場合には、観察回数に応じた数の培養容器19を用意する。例えば、培養開始から1日経過後、2日経過後、3日経過後にそれぞれ観察する場合には、少なくとも3つの培養容器19が恒温室15のストッカー21に収納されている。これらの培養容器19には、同一の細胞株がそれぞれ培養されている。これらの培養容器19を1日あたり1つずつ観察することにより、培養開始から1日経過後から5日経過後までの細胞株を観察する。このインキュベータ11が行う検量線の作製、即ちコロニー面積の算出および検量線の登録の具体的な動作について、以下説明する。なお、本実施の形態では、インキュベータ11が備える制御部42で下記を実行するが、インキュベータ11に外付けされた制御部で実行してもよい。
ステップS101:制御部42は、記憶部43の管理データの観察スケジュールと現在日時とを比較して、培養容器19の観察開始時刻が到来したか否かを判定する。観察開始時刻となった場合(YES側)、制御部42はステップS102に処理を移行させる。一方、観察時間ではない場合(NO側)には、制御部42は次の観察スケジュールの時刻まで待機する。
ステップS102:制御部42は、観察スケジュールに対応する培養容器19の搬送を容器搬送装置23に指示する。そして、容器搬送装置23は、指示された培養容器19をストッカー21から搬出して観察ユニット22の試料台31に載置する。なお、培養容器19が試料台31に載置された段階で、スタンドアーム32に内蔵されたバードビューカメラ(不図示)によって培養容器19の全体観察画像が撮像される。これにより、コロニーの画像を含む培養容器19の画像が撮像される。前述のようにスタッカー21は必須のものではなく、スタッカー21が無い場合は、容器の搬送に関わるステップは不要である。
ステップS103:制御部42の画像読込部4203は、ステップS102において撮像された全体観察画像を記憶する。制御部42の面積算出部4211は、記憶された全体観察画像から、コロニーの画像を検出して培養容器19内の各コロニー細胞の面積、または各コロニーの面積の合計をコロニー面積として算出する。
検量線を作成する際、コロニー画像を含む培養容器の画像を取得し、蛍光観察画像から各コロニーの細胞数をカウント(または各コロニーの細胞数を合計)し、位相差画像からコロニー面積を算出してもよい。または、血球計算板によって各コロニーの細胞数の合計をカウントし、位相差画像からコロニー面積を算出してもよい。
ステップS104:制御部42は、観察スケジュールの終了後に培養容器19の小扉18への搬送を容器搬送装置23に指示する。そして、容器搬送装置23は、指示された培養容器19を観察ユニット22の試料台31から小扉18の位置に搬送する。
ステップS105:ユーザは、小扉18を開いて培養容器19を取り出す。また、ユーザは、取り出した培養容器19について、既知の方法によって細胞数を計数する。例えば、ユーザは蛍光染色により細胞数を計数する。また、ユーザは、計数した細胞数を入力部44に入力する。また、ここで、ユーザは、コロニー内の細胞の密度を算出し、算出した密度を入力部44に入力する。
ステップS106:制御部42の書込制御部4221は、入力部44に入力されたコロニー内の細胞数およびコロニー内の細胞の密度と、ステップS103において算出されたコロニー面積と、細胞株を示す情報(細胞株ID)とを関連付けて、記憶部43に記憶させる。これにより、記憶部43には、コロニー面積と細胞数と細胞株IDとが関連付けられて検量線情報として記憶される(1つの細胞株の観察の場合は細胞株IDとの関連付けは必須ではない)。その後、制御部42は、観察シーケンスを終了して処理をステップS101に処理を戻す。
このようにしてステップS101〜ステップS106を繰り返すことにより、検量線情報が記憶部43に記憶される。また、複数の細胞株について、ステップS101〜ステップS106を繰り返すことにより、複数の細胞株それぞれについての検量線情報が記憶部43に記憶される。具体的には、細胞株A、細胞株Bのそれぞれについて、ステップS101〜ステップS106を繰り返すことにより、細胞株Aの検量線情報、細胞株Bの検量線情報が記憶部43にそれぞれ記憶される。
[細胞数推定の動作及び細胞の良否判定]
次に、図11を参照しつつ、インキュベータ11の細胞数推定動作の一例を説明する。
図11は、本実施形態のインキュベータ11(観察装置)による細胞数推定動作の一例を示すフローチャートである。本実施例では、観察対象となる特定の細胞株のコロニー面積の変化に対する細胞数に関するデータ(対比データと称する)を取得し、予め記憶しているものとする。このデータからは観察する細胞の良否の判定は不明な状態である。
インキュベータ11は、恒温室15内に搬入された培養容器19を、登録された観察スケジュールに従ってタイムラプス観察する。この培養容器19には、特定の複数種類の細胞株が培養されている。例えば、培養容器19のうち、培養容器19Aには、細胞株Aが培養されている。また、培養容器19のうち、培養容器19Bには、細胞株Bが培養されている。インキュベータ11は、観察スケジュールに従って、この培養容器19A、培養容器19Bを順次、垂直ロボット38観察ユニット22に搬送して、培養容器19の全体の画像(全体観察画像)と、培養容器19の一部を拡大した顕微鏡画像とを撮像する。また、上述した検量線情報の登録手順によって、この細胞株Aの検量線情報、細胞株Bの検量線情報が記憶部43に予め記憶されている。このインキュベータ11のタイムラプス観察における細胞数推定の動作について、以下説明する。
ステップS201:制御部42は、記憶部43の管理データの観察スケジュールと現在日時とを比較して、培養容器19の観察開始時間が到来したか否かを判定する。観察開始時間となった場合(YES側)、制御部42はステップS202に処理を移行させる。一方、培養容器19の観察時間ではない場合(NO側)には、制御部42は次の観察スケジュールの時刻まで待機する。
ステップS202:制御部42は、観察スケジュールに対応する培養容器19の搬送を容器搬送装置23に指示する。そして、容器搬送装置23は、指示された培養容器19をストッカー21から搬出して観察ユニット22の試料台31に載置する。なお、培養容器19が試料台31に載置された段階で、スタンドアーム32に内蔵されたバードビューカメラ(不図示)によって培養容器19の全体観察画像が撮像される。
本実施例においては、図1、3、4に示す観察装置は観察する細胞を培養する恒温室を備えた装置である。したがって、ステップS202で撮像する細胞は、観察装置の恒温室で培養されたものとなる。したがって、本ステップは、細胞を培養するステップから開始することも可能である。また本実施例のように、観察装置内に恒温室が備わったものでなくてもよく、細胞を培養するための恒温室が観察装置とは別体となった装置でもよい。
ステップS203:コロニー内の細胞数を算出する細胞数算出部4222は、記憶部43に記憶されている管理データから細胞株を示す情報(細胞株ID)を取得する。
ステップS204:細胞数算出部4222は、取得した細胞株IDを検索キーにして記憶部43が記憶する検量線情報を検索し、細胞株IDが一致する検量線情報を取得する。
ステップS205:画像読込部4203は、ステップ202において撮像された画像を取得する。この画像には、コロニーの画像が含まれている。
ステップS206:面積算出部4211は、ステップS205において取得された画像に基づいて、この画像に含まれるコロニーの面積を算出する。
ステップS207:細胞数算出部4222は、ステップS206で算出されたコロニーの面積と、ステップS204で取得された検量線情報のうちの第2の検量線L2とに基づいて、細胞数を推定(算出)する。
面積算出部4211は、取得した画像中の認識されたコロニーの面積を算出する。
なお、このステップは、観察ユニットへ培養容器が搬送され(S202)た後、観察が可能な状態になったら実行してもよい。この場合は、コロニー面積を算出した後に細胞株を示す情報を取得する。
ステップS208:密度算出部4223は、ステップS206で算出されたコロニーの面積と、ステップS207で算出された細胞数とに基づいて、細胞の密度を算出する。
ステップS209:良否判定部4224を備える場合には、良否判定部4224は、取得した画像から算出されたコロニー面積と、ステップS204で取得された検量線情報のうちの第1の検量線L1とに基づいて、コロニーの良否を判定する。なお、良否判定部4224を備えない場合には、算出されたコロニー面積と、ステップS204で取得された検量線情報のうちの第1の検量線L1とに基づいて、ユーザが、コロニーの良否を判定する。
また、成熟度判定部4225を備える場合には、成熟度判定部4225は、取得した画像を用い、ステップS206で算出されたコロニーの面積と、ステップS208で算出された細胞の密度と、ステップS204で取得された検量線情報のうちの第3の検量線L3とに基づいて、細胞の成熟度を判定する。なお、成熟度判定部4225を備えない場合には、ステップS206で算出されたコロニーの面積と、ステップS208で算出された細胞の密度と、ステップS204で取得された検量線情報のうちの第3の検量線L3とに基づいて、ユーザが、細胞の成熟度を判定する。
ステップS210:制御部42は、観察スケジュールの終了後に培養容器19の搬送を容器搬送装置23に指示する。そして、容器搬送装置23は、指示された培養容器19を観察ユニット22の試料台31からストッカー21の所定の収納位置に搬送する。その後、制御部42は、観察シーケンスを終了してS201に処理を戻す。
この他、ステップS209における判定の結果、細胞が良好な状態にあるか否かが把握できた後、良好な状態にあると判定された細胞を観察装置から取り出し、例えば、創薬研究や再生医療に用いる細胞として提供することができる。
このようにして細胞株毎にステップS201〜ステップS210を繰り返すことにより、各観察スケジュールにおける細胞数の推定結果が、記憶部43に記憶される。更に細胞数の推定結果を基に細胞の良否の判定を行うことが可能となる。更に、選別された良好な細胞のみを研究機関等に提供することができる。
以上説明したように、本実施形態のインキュベータ11(観察装置)は、検量線情報と、非侵襲により得られた画像を基にしたコロニーの面積とに基づいて、このコロニーに含まれる細胞数を算出する細胞数算出部4222を備えている。これにより、インキュベータ11は、非侵襲的な方法により細胞数を算出することができるとともに、算出する細胞数の精度を向上させることができる。また、成熟度判定や良否判定に際し非侵襲の観察(例えば位相差観察)で得られる画像を用いることから判定された細胞はその後の工程である創薬研究や再生医療に障害なく、継続して使用することが可能となる。
なお、制御装置41は、同じ培養容器19の複数ポイント(例えば5点観察または培養容器19の全体)を同じ観察時間帯で撮像した複数の顕微鏡画像を、タイムラプス観察の1回分の画像として扱うようにしてもよい。
なお、面積算出部4211は、全体観察画像に基づいてコロニーの画像を検出する例について説明したが、これに限られない。面積算出部4211は、位相差顕微鏡画像を画像処理することにより、コロニーの画像を検出してもよい。
また、本発明の実施形態におけるインキュベータ11(観察装置)の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
11…観察装置、41…制御装置、4211…面積算出部、4222…細胞数算出部、4223…密度算出部、4224…良否判定部、4225…成熟度判定部、43…記憶部



Claims (17)

  1. 培養中の細胞の培養を行う恒温室と、
    染色しないで得られる前記培養中の細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する面積算出部と、
    コロニーの面積と、当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部と、
    前記面積算出部が面積を算出した対象コロニーに含まれる細胞の数を、算出された前記対象コロニーの面積と前記記憶部に記憶されている前記第1情報と基づいて推定する細胞数算出部と、
    前記面積算出部が算出する前記対象コロニーの面積と、前記細胞数算出部が推定する前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出部と、
    前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定部と、
    を備える観察装置。
  2. 前記密度算出部は、
    前記対象コロニーに含まれる細胞1つあたりの面積を、前記密度として算出する
    請求項1に記載の観察装置。
  3. 前記記憶部は、細胞の細胞株を認識する細胞株情報ごとに前記第1情報を記憶し、
    前記細胞数算出部は、入力される前記細胞株情報に対応する前記第1情報と前記対象コロニーの面積とに基づいて、前記対象コロニーに含まれる細胞の数を推定する
    請求項1または請求項2に記載の観察装置。
  4. 前記成熟度判定部は、前記密度の時間変化が少なくなる状態において細胞が成熟したと判定する
    請求項1から請求項3のいずれか一項に記載の観察装置。
  5. 前記記憶部に記憶される細胞の数に関わる情報は蛍光観察により取得された画像から得られ、前記対象コロニーの面積は位相差観察により取得された画像から得られるものである
    請求項1から請求項4のうちいずれか一項に記載の観察装置。
  6. 前記記憶部は、細胞株ごとに異なる、細胞のコロニーの面積と当該コロニーに含まれる細胞の数との関係を示す情報をそれぞれ有する
    請求項1から請求項5のうちいずれか一項に記載の観察装置。
  7. さらに、前記記憶部は、コロニーの良否を判定する良否判定部、及び、細胞のコロニーの面積の時間経過に関する情報が予め記憶されており
    前記良否判定部は、細胞のコロニーの面積の時間経過に関する情報と、前記面積算出部が算出するコロニーの面積の時間経過による変化に基づいて、細胞の良否を判定する請求項1から請求項のいずれか一項に記載の観察装置。
  8. 前記記憶部は、細胞株ごとに異なる細胞のコロニーの面積の時間経過に関する情報をそれぞれ備える請求項に記載の観察装置。
  9. 前記画像とは、時間経過に伴う複数回の撮像によって生成されるタイムラプス画像である
    請求項1から請求項のいずれか一項に記載の観察装置。
  10. さらに、前記記憶部は、前記対象コロニーに含まれる細胞の成熟度を判定する成熟度判定部、及び、細胞のコロニーの面積とコロニー内における細胞1つ当たりの面積との関係を示す情報が予め記憶されており
    前記成熟度判定部は、細胞のコロニーの面積と当該コロニー内における細胞1つ当たりの面積との関係を示す情報と、前記面積算出部が算出する前記面積と、前記密度算出部が算出する前記密度に基づいて、前記対象コロニーに含まれる細胞の成熟度を判定する成熟度判定部
    をさらに備える請求項1から請求項のいずれか一項に記載の観察装置。
  11. 前記記憶部は、細胞株ごとに異なる細胞のコロニーの面積と当該コロニー内における細胞1つ当たりの面積との関係を示す情報をそれぞれ備える請求項10に記載の観察装置。
  12. 前記成熟度判定部は、前記対象コロニーに含まれる細胞1つあたりの面積が予め定められた細胞1つの面積に関わるしきい値を基に前記対象コロニーが成熟したと判定する
    請求項10または請求項1に記載の観察装置。
  13. 前記しきい値は、前記対象コロニーに含まれる細胞1つあたりの面積が時間経過によっても変化が少なくなる状態であることに基づき定められる
    請求項1に記載の観察装置。
  14. 培養中の細胞の画像を撮像する撮像部と、
    請求項1から請求項1のいずれか一項に記載の観察装置と
    を備える観察システム。
  15. 恒温室において培養中の細胞のコロニーについて染色しないで得られる前記培養中の細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する面積算出手順と、
    前記面積算出手順によって面積が算出された対象コロニーに含まれる細胞の数を、コロニーの面積と当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部に記憶されている前記第1情報と、算出された前記対象コロニーの面積とに基づいて推定する細胞数推定手順と、
    前記面積算出手順によって算出される前記対象コロニーの面積と、前記細胞数推定手順によって推定される前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出手順と、
    前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定手順と、
    を有する観察方法。
  16. コンピュータに、
    恒温室において培養中の細胞のコロニーについて染色しないで得られる前記培養中の細胞のコロニーが撮像された画像に基づいて、コロニーの面積を算出する面積算出手順と、
    前記面積算出手順によって面積が算出された対象コロニーに含まれる細胞の数を、コロニーの面積と当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部に記憶されている前記第1情報と、算出された前記対象コロニーの面積とに基づいて推定する細胞数推定手順と、
    前記面積算出手順によって算出される前記対象コロニーの面積と、前記細胞数推定手順によって推定される前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出手順と、
    前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定手順と、
    を実行させるためのプログラム。
  17. 恒温室において培養中の細胞を培養する培養手順と、
    前記培養手順において培養中の細胞のコロニーを染色しないで撮像し、撮像されたコロニーの画像に基づいて、コロニーの面積を算出する面積算出手順と、
    前記面積算出手順によって面積が算出された対象コロニーに含まれる細胞の数を、コロニーの面積と当該コロニーに含まれる細胞の数との関係を示す第1情報が記憶されている記憶部に記憶されている前記第1情報と、算出された前記対象コロニーの面積とに基づいて推定する細胞数推定手順と、
    前記面積算出手順によって算出される前記対象コロニーの面積と、前記細胞数推定手順によって推定される前記対象コロニーに含まれる細胞の数とに基づいて、前記対象コロニーに含まれる細胞の密度を算出する密度算出手順と、
    前記密度の時間変化に基づいて、前記対象コロニーに含まれる前記培養中の細胞の成熟度を判定する成熟度判定手順と、
    を有する細胞の製造方法。
JP2016528672A 2014-06-16 2014-06-16 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法 Active JP6569672B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/065916 WO2015193951A1 (ja) 2014-06-16 2014-06-16 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019027508A Division JP6642751B2 (ja) 2019-02-19 2019-02-19 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法

Publications (2)

Publication Number Publication Date
JPWO2015193951A1 JPWO2015193951A1 (ja) 2017-04-20
JP6569672B2 true JP6569672B2 (ja) 2019-09-04

Family

ID=54934984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016528672A Active JP6569672B2 (ja) 2014-06-16 2014-06-16 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法

Country Status (4)

Country Link
US (2) US10656136B2 (ja)
EP (1) EP3156477B1 (ja)
JP (1) JP6569672B2 (ja)
WO (1) WO2015193951A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7501993B2 (ja) * 2017-01-31 2024-06-18 株式会社ニコン 培養支援方法、培養支援装置、観察装置、及びプログラム
WO2018158901A1 (ja) * 2017-03-02 2018-09-07 株式会社島津製作所 細胞解析方法及び細胞解析装置
WO2019138571A1 (ja) * 2018-01-15 2019-07-18 オリンパス株式会社 細胞解析装置及び細胞解析システム
WO2019138572A1 (ja) 2018-01-15 2019-07-18 オリンパス株式会社 細胞解析装置及び細胞解析システム
EP3865566A4 (en) 2018-10-12 2022-08-03 Nikon Corporation SUB CULTURE LEVEL CALCULATION DEVICE AND SUB CULTURE LEVEL CALCULATION METHOD AND PROGRAM
WO2020075635A1 (ja) * 2018-10-12 2020-04-16 株式会社ニコン 画像処理装置、画像処理方法、プログラム、及び評価方法
CN109669262A (zh) * 2019-02-21 2019-04-23 江苏斯托利仪器仪表有限公司 一种电动智能荧光显微镜
JP7210355B2 (ja) * 2019-03-27 2023-01-23 株式会社エビデント 細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラム
JPWO2021059488A1 (ja) 2019-09-27 2021-04-01
JP7380695B2 (ja) 2019-09-27 2023-11-15 株式会社ニコン 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5989835A (en) 1997-02-27 1999-11-23 Cellomics, Inc. System for cell-based screening
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
JP5355275B2 (ja) * 2009-07-24 2013-11-27 オリンパス株式会社 細胞画像解析装置
WO2011016189A1 (ja) * 2009-08-07 2011-02-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN102712890B (zh) * 2010-01-20 2016-03-30 株式会社尼康 细胞观察装置和细胞培养方法
WO2012117647A1 (ja) * 2011-02-28 2012-09-07 三洋電機株式会社 観察プログラムおよび観察装置
WO2012127879A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 培養装置、培養装置システム、培養操作管理方法およびプログラム
JP5745919B2 (ja) * 2011-04-28 2015-07-08 浜松ホトニクス株式会社 細胞解析方法、細胞解析装置、および細胞解析プログラム
JP2014018186A (ja) 2012-07-23 2014-02-03 Tokyo Electron Ltd 多能性幹細胞の評価方法
US9589181B2 (en) * 2013-02-28 2017-03-07 Hitachi Kokusai Electric Inc. Person search method and device for searching person staying on platform
US11085067B2 (en) 2013-06-10 2021-08-10 President And Fellows Of Harvard College Early developmental genomic assay for characterizing pluripotent stem cell utility and safety

Also Published As

Publication number Publication date
EP3156477A1 (en) 2017-04-19
US20200240975A1 (en) 2020-07-30
US10656136B2 (en) 2020-05-19
US11035845B2 (en) 2021-06-15
WO2015193951A1 (ja) 2015-12-23
JPWO2015193951A1 (ja) 2017-04-20
US20170199171A1 (en) 2017-07-13
EP3156477A4 (en) 2018-06-13
EP3156477B1 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
JP6569672B2 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP6448129B2 (ja) 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
JPWO2009031283A1 (ja) 培養装置、培養情報管理方法およびプログラム
JP5446868B2 (ja) プログラム、コンピュータおよび培養状態解析方法
JP5740101B2 (ja) 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
JP5816415B2 (ja) 細胞評価装置、インキュベータ、プログラム、および、培養方法
JP5659158B2 (ja) 画像処理装置、培養観察装置、及び画像処理方法
JP7501993B2 (ja) 培養支援方法、培養支援装置、観察装置、及びプログラム
WO2010098105A1 (ja) 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
Moch et al. Measuring the regulation of keratin filament network dynamics
JP6291388B2 (ja) 細胞培養評価システムおよび方法
Nelissen et al. Kinematic analysis of cell division in leaves of mono-and dicotyledonous species: a basis for understanding growth and developing refined molecular sampling strategies
JP5849498B2 (ja) 培養状態評価装置、細胞培養方法およびプログラム
WO2019163304A1 (ja) 培養支援装置、観察装置、及びプログラム
TW201106010A (en) Technique for classifying cells, image processing program and image processing device using the technique, and method for producing cell mass
JP6343874B2 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
CN114359899B (zh) 细胞共培养模型及细胞模型构建方法、计算机设备及存储介质
WO2015133193A1 (ja) 細胞画像評価装置および方法並びにプログラム
JP6642751B2 (ja) 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法
WO2016088243A1 (ja) 判定装置、観察システム、観察方法、そのプログラム、細胞の製造方法、および細胞
JP5740102B2 (ja) 細胞評価装置、インキュベータ、プログラム、培養方法、手技評価装置、および、細胞評価モデル構築装置
US20180171376A1 (en) Method for evaluation of grafts
JP7532754B2 (ja) 画像解析装置、細胞培養観察装置、画像解析方法、及びプログラム
JP6265199B2 (ja) 培養状態評価装置、プログラム及び培養状態評価方法
JP2019024495A (ja) 心筋細胞型判定システム、心筋細胞型判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180730

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6569672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250