JP6992748B2 - 情報処理装置、観察システム、観察方法及びプログラム - Google Patents

情報処理装置、観察システム、観察方法及びプログラム Download PDF

Info

Publication number
JP6992748B2
JP6992748B2 JP2018523603A JP2018523603A JP6992748B2 JP 6992748 B2 JP6992748 B2 JP 6992748B2 JP 2018523603 A JP2018523603 A JP 2018523603A JP 2018523603 A JP2018523603 A JP 2018523603A JP 6992748 B2 JP6992748 B2 JP 6992748B2
Authority
JP
Japan
Prior art keywords
cell
image
imaging
unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523603A
Other languages
English (en)
Other versions
JPWO2017217180A1 (ja
Inventor
卓 青木
武史 大橋
直史 松井
智也 大沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017217180A1 publication Critical patent/JPWO2017217180A1/ja
Application granted granted Critical
Publication of JP6992748B2 publication Critical patent/JP6992748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M21/00—Bioreactors or fermenters specially adapted for specific uses
    • C12M21/06—Bioreactors or fermenters specially adapted for specific uses for in vitro fertilization
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Biotechnology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本技術は、例えば培養中の細胞を観察する情報処理装置、観察システム、観察方法、プログラムに関する。
近年、畜産分野、再生医療分野等において、培養した生体細胞や生体組織の解析・評価をするために、生体細胞や生体組織を時系列画像で順次取得し、解析・評価する装置が開発されている。
例えば特許文献１には、受精卵の時系列画像を取得し、時系列画像間の画素値の差から、受精卵の発育の状態を観察・評価する受精卵品質評価支援方法が開示されている。
特開２０１０－１８１４０２号公報
しかしながら、細胞の周期において、細胞の状態変化の度合いは細胞分裂期と間期と分けられるように一定ではないため、特許文献１に記載の受精卵品質評価支援方法のように、終始一定間隔で受精卵を撮影し続けた場合、状態変化の著しい細胞分裂期などにおいて、重要な撮影タイミングで撮り逃すおそれがある。一方で、細胞分裂期に合わせて短い撮影間隔で撮影し続けた場合、その撮影画像の容量が膨大になるほか、その解析にも膨大な時間がかかるため、現実的に困難なものとなる。
以上のような事情に鑑み、本技術の目的は、重要な撮影タイミングでの撮り逃しを防止することができる情報処理装置、観察システム、観察方法及びプログラムを提供することにある。
本技術の一形態に係る情報処理装置は、制御部を具備する。
上記制御部は、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。
これにより、重要な撮影タイミングでの撮り逃しを防止することができる。
上記制御部は、培養中の細胞の熱画像から細胞の状態変化の有無を検出するように構成されてもよい。
これにより、細胞へのダメージを軽減しつつ、より精度よく撮影間隔の切り替えができる。
上記光学画像は、多視点から撮影された複数の光学画像から得られる三次元画像であり、上記制御部は、上記三次元画像の情報に基づいて定量化された細胞の特徴量の変化に応じて、細胞の状態変化を検出するように構成されてもよい。
これより、より精度よく撮影間隔の切り替えができ、重要な撮影タイミングの撮り逃しを防止することができる。
上記細胞は、受精卵であって、上記細胞の特徴量は、受精卵の体積、表面積、真球度、表面凹凸度、及び卵割の均一度であってもよい。
本技術の一形態に係る観察システムは、細胞培養容器と、撮影部と、制御部と、を具備する。
上記細胞培養容器は、細胞を培養する。
上記撮影部は、第１の撮影間隔で培養中の細胞の光学画像を取得する光学画像撮影部を有する。
上記制御部は、第１の撮影間隔で撮影した培養中の細胞の画像から細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。
上記撮影部は、培養中の細胞の熱画像を連続的に取得する熱画像撮影部を有し、上記制御部は、上記熱画像撮影部が撮影した上記熱画像に基づいて、細胞の状態変化の有無を検出してもよい。
上記光学画像撮影部は、上記細胞の多視点光学画像を取得してもよい。
上記観察システムは、光学画像データベース部と、三次元再構成部と、をさらに具備してもよい。
上記光学画像データベース部は、上記多視点光学画像を保存する。
上記三次元再構成部は、上記光学画像データベース部より上記多視点光学画像を取得し、三次元再構成する。
上記制御部は、三次元再構成された上記多視点光学画像に基づいて、細胞の状態変化を検出してもよい。
本技術の一形態に係る観察方法は、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替える。
本技術の一形態に係るプログラムは、情報処理装置に、第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出するステップと、上記状態変化を検出したとき、撮影モードを上記第１の撮影間隔から上記第１の撮影間隔よりも短い第２の撮影間隔に切り替えるステップとを実行させる。
以上のように、本技術によれば、重要な撮影タイミングでの撮り逃しを防止することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る観察システムの概略構成を示すブロック図である。 上記観察システムの主要部分を示すブロック図である。 上記観察システムの動作例を示すフローチャートである。 上記観察システムの撮影部における撮影間隔が切り替わる動作の具体例を示す図である。 上記観察システムにおける光学撮影部の構成の一例（構成例１）を示す図である。 上記観察システムにおける光学撮影部の構成の一例（構成例２）を示す図である。 上記観察システムにおける光学撮影部及び培養容器の構成の一例（構成例３）を示す図である。 上記観察システムにおける光学撮影部の構成の一例（構成例４）を示す図である。 上記観察システムにおける光学撮影部の構成の一例（構成例５）を示す図である。 光軸を補正した画像を取得する一般的な方法を示す図である。 上記観察システムにおける光学撮影部（構成例１）の光軸を補正した画像を取得する方法を示す図である。 本技術の第３の実施形態に係る三次元再構成部の構成を示すブロック図である。 左右画像からステレオマッチングする一般的方法を説明する図である。 上記観察システムにおける光学撮影部（構成例１）の左右画像からステレオマッチングする方法の一例を示す図である。 本技術の第３の実施形態に係る三次元再構成部の動作例を説明する図である。 本技術の第４の実施形態に係る観察システムの構成を示すブロック図である。 上記観察システムの動作例を説明するフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
[観察システム概要]
図１は、本技術の一実施形態の観察システム１０を示すブロック図である。図２は、観察システム１０の主要部分を示すブロック図である。
観察システム１０は、培養容器１と、撮影ユニット２と、情報処理装置３とを含む。
培養容器１は、培養液と１以上の細胞Ｃを収容可能に構成され、外部より細胞Ｃを撮影可能な程度に透光性を有する。培養容器１の形状は特に限定されず、典型的には、シャーレ等の平皿形状が用いられる。培養容器１の数は特に限定されず、単数でもよいし、複数であってもよい。
本明細書において、「細胞」（単数形）は、単一の細胞と、複数の細胞の集合体とを少なくとも概念的に含む。培養容器１にて培養される「細胞」として、例えば、畜産分野等における生物の未受精の卵細胞（卵子）、受精卵、胚等や、再生医療、病理生物学等の分野における、幹細胞、免疫細胞、癌細胞等の生体から取り出された生体試料等が挙げられ、これらに特に限定されない。
撮影ユニット２は、培養容器１に収容された細胞Ｃを所定の撮影間隔で撮影し、細胞Ｃの光学画像を取得する。撮影ユニット２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子（撮影部２１）と、撮影部２１の駆動を制御する駆動制御部２２等を含む。撮影ユニット２は、典型的には可視光カメラで構成され、ストロボを内蔵していてもよい。撮影ユニット２は、可視光カメラに代えて又はこれに加えて、近赤外カメラを備えてもよい。
培養容器１及び撮影ユニット２は、これらの相対距離を一定に保持する観察台５にそれぞれ支持される。撮影ユニット２は、典型的には、培養容器１内の細胞Ｃに対向する位置に固定されるが、培養容器１に対して相対移動可能に設置されてもよい。撮影ユニット２の数は特に限定されず、単数でもよいし、複数であってもよい。撮影ユニット２が複数設置される場合、細胞Ｃを多視点から観察できるとともに、これらの多視点画像から細胞Ｃの三次元画像を合成することができる。
情報処理装置３は、撮影ユニット２の撮影間隔を制御する撮影間隔制御部３１を有する。情報処理装置３は、第１の撮影間隔で撮影された培養中の細胞Ｃの光学画像を画像ＤＢ（データベース）部４から取得する。情報処理装置３は、撮影間隔制御部３１においてその細胞Ｃの光学画像に基づいて、細胞Ｃの所定の状態変化の有無を判定し、当該状態変化を検出したとき、第１の撮影間隔より短い撮影間隔の第２の撮影間隔に切り替える制御信号Ｓ０を生成する。情報処理装置３は、制御信号Ｓ０を撮影ユニット２へ出力する。
撮影ユニット２は、情報処理装置３から出力される撮影間隔に関する制御信号Ｓ０に基づいて、所定の撮影間隔で細胞Ｃの光学画像を取得する。撮影ユニット２は、当該撮影間隔で撮影した細胞Ｃの光学画像を画像ＤＢ部４に送信する。
画像ＤＢ部４は、撮影ユニット２で撮影された細胞Ｃの光学画像を保存し、当該細胞Ｃの光学画像を時系列的に情報処理装置３に送信する。画像ＤＢ部４は、汎用のコンピュータで構成されてもよいし、撮影ユニット２及び情報処理装置３とインターネット回線を介して接続されたクラウドサーバで構成されてもよい。
［情報処理装置］
続いて、情報処理装置３の詳細について説明する。情報処理装置３は、撮影間隔制御部３１と、送受信部３２と、メモリ３３とを有する。
撮影間隔制御部３１は、解析部３４と更新部３５とを有する。解析部３４及び更新部３５は、非一過性のコンピュータ読み取り可能な記録媒体の一例であるＲＯＭ（Read Only Memory）に記録されたプログラムをＲＡＭ（Random Access Memory）にロードしてＣＰＵ（Central Processing Unit）が実行することにより実現される。
撮影間隔制御部３１は、細胞Ｃの状態変化に応じて、撮影モードを第１の撮影間隔と第２の撮影間隔とに選択的に切り替えることが可能に構成される。第２の撮影間隔は、第１の撮影間隔より短い。第１の撮影間隔及び第２の撮影間隔は特に限定されず、細胞Ｃの種類や評価すべき状態変化の種類、状態変化の速さ等に応じて適宜設定可能である。例えば、第１の撮影間隔は数秒～数十分、第２の撮影間隔は数十ミリ秒～数分に設定可能である。つまり、第２の撮影間隔の撮影モードにおいては、撮影ユニット２は細胞Ｃを動画で撮影してもよい。
解析部３４は、細胞Ｃの時系列画像に基づいて、細胞Ｃの光学画像を解析することで、細胞Ｃの状態変化の有無を検出するように構成される。例えば、撮影時刻の異なる２枚の細胞Ｃの光学画像の差分画像を生成することで、細胞Ｃの状態変化を検出できる。詳細は後述する。
更新部３５は、解析部３４の解析結果に応じて、撮影間隔を第１の撮影間隔と第２の撮影間隔との間で切り替える信号Ｓ０を生成する。
送受信部３２は、画像ＤＢ部４から撮影された細胞Ｃの光学画像を取得する。送受信部３２は、撮影ユニット２から直接、細胞Ｃの光学画像を取得するように構成されてもよい。また、送受信部３２は、撮影ユニット２に撮影間隔を制御するための信号Ｓ０を送信する。送受信部３２は、例えば、通信回路及びアンテナを含み、撮影ユニット２や画像ＤＢ部４との通信のためのインターフェースを構成する。なお、送受信部３２で行われる通信は、無線でもよく有線であってもよい。無線の通信は、電磁波（赤外線を含む）を利用した通信や、電界を利用した通信でもよい。
メモリ３３は、ＲＯＭ及びＲＡＭ等を有し、細胞の状態変化の有無の判定するためのアルゴリズムや、撮影間隔の制御をするためのプログラム、画像データの補正処理用のプログラム、画像ＤＢ部４（撮影ユニット２）から取得した細胞Ｃの画像等を記憶する。また、これらのプログラムを実行するための各種パラメータあるいはデータ等がメモリ３３に格納されてもよい。
［観察システムの動作例］
以下、図３に示すように、本実施形態の観察システム１０の動作例を説明する。
本実施形態の観察システム１０は、所定の撮影間隔Ｔｘが経過する毎に細胞Ｃの光学画像を取得し（Ｓ１０１，１０２）、撮影した細胞Ｃの光学画像を画像ＤＢ部４に保存し（Ｓ１０３）、保存した細胞Ｃの光学画像を情報処理装置３において解析する（Ｓ１０４）。観察システム１０は、上記解析結果より、細胞Ｃの状態変化の有無を検出し（Ｓ１０５）、その検出結果に応じて上記撮影間隔Ｔｘを変更する（Ｓ１０６，１０７）。
ここで、細胞Ｃの状態変化が検出されなかった場合（Ｓ１０５においてＮｏの場合）、撮影間隔制御部３１は、撮影間隔Ｔ０（初期設定値）を維持する（Ｓ１０６）。一方、細胞の状態変化が検出された場合（Ｓ１０５においてＹｅｓの場合）、撮影間隔制御部３１は、撮影間隔をＴ０より短いＴ１に切り替える（Ｓ１０７）。撮影ユニット２は撮影間隔Ｔ１で撮影をする（Ｓ１０１，Ｓ１０２）。
図４は、受精卵（細胞Ｃ）の状態変化の一例を示す概略図である。受精卵の状態変化が検出されない場合、撮影ユニット２は、撮影間隔Ｔ０で受精卵を撮影する。受精卵の２細胞期への変化が検出された場合、撮影ユニット２は、短い撮影間隔Ｔ１で受精卵を撮影する。次に、２細胞期の変化が停止したとき（即ち、状態変化の検出なしの場合）、撮影ユニット２は再び撮影間隔Ｔ０にて受精卵を撮影する。さらに、２細胞期から４細胞期への変化が検出された場合、撮影ユニット２は、再び撮影間隔Ｔ１で撮影する。
典型的な動作のフローは次のとおりである。撮影間隔制御部３１は、細胞の状態変化が検出されないときは、撮影間隔Ｔ０にて細胞Ｃを撮影する制御を撮影ユニット２に実行させ、細胞Ｃの状態変化を検出したときは、Ｔ０よりも短い撮影間隔Ｔ１で細胞Ｃを撮影する制御を撮影ユニット２に実行させる。その後、細胞Ｃの状態変化が検出されなかったとき、撮影間隔制御部３１は、細胞Ｃの撮影間隔をＴ１からＴ０に戻す。これより、細胞の発育段階に合わせて、撮影間隔を適応的に変化させることができ、細胞の評価にかかわる重要なタイミングにおいて撮り逃すことなく撮影できる。
撮影間隔としては、例えば、細胞分裂前の休止期は５ｍｉｎ間隔（Ｔ0）とし、細胞Ｃの状態変化を検出した場合、３０ｍｓｅｃ（Ｔ１）間隔とする。なお、撮影間隔は、細胞の状態変化に応じて、段階的に切り替えてもよい。
撮影間隔制御部３１は、細胞Ｃが細胞分裂を開始する状態変化を検出するために、例えば、細胞の境界面や内部細胞塊の発生、細胞の表面積や体積の増加、細胞の真球度の変化等の特徴量の変化を検出する。これらを検出することで、細胞Ｃが細胞分裂を開始する重要なタイミングにおいて、細かい撮影間隔で撮影可能となる。
［撮影間隔制御部の具体的な動作例の説明］
本実施形態に係る撮影間隔制御部３１の具体的な動作の一例について説明する。
撮影間隔制御部３１（解析部３４）は、例えば、撮影時刻の異なる２枚の光学画像の差分値を算出し、その差分値が所定の閾値以上か否か比較する。解析部３４は、所定の閾値以上の場合には、画像変化が大きいものとして、細胞Ｃの状態変化を検出（判定）する。撮影時刻の異なる２枚の光学画像とは、具体的には、現在の細胞の光学画像と過去の細胞の光学画像（前回の撮影画像又は前回までの所定の複数の撮影画像）であり、現在の細胞の光学画像との変化を検出することで、細胞分裂が開始する重要なタイミングで、リアルタイムで撮影間隔を切り替え、撮影することができる。撮影時刻の異なる２枚の光学画像から状態変化を検出する方法は、光学画像の各画素の差分値を算出する方法以外に、後述するように、多視点の光学画像から三次元再構成し、得られた三次元画像より抽出された特徴量の変化量に基づいて検出してもよく、その方法は特に限定されない。
ここで、培養中の細胞Ｃは培養容器内でわずかながら回転運動や平行移動をするため、撮影される細胞画像の位置や大きさが変化してしまう場合がある。これを解消するために、細胞Ｃの光学画像をそれぞれ回転、平行移動、スケーリングし、細胞の位置や大きさを補正してから、２枚の画像の差分計算を行ってもよい。このとき、補正後の細胞画像間の差分が、例えば最小となる値を採用し、判定する。これより、より精度よく細胞Ｃの状態変化を検出することができる。なお、本実施形態における情報処理装置は、以上の補正処理を実行するＣＰＵ、メモリを別途有していてもよい。
（まとめ）
細胞の状態変化は、培養される細胞の種類、細胞の発育段階などに応じて、異なる度合いで進行する。従前の通り、一定の間隔で細胞を撮影した場合、細胞の状態変化の著しい細胞分裂期では、細胞の評価にかかわる分裂の様子を撮り逃す恐れがある。一方で、細かい撮影間隔で撮影した場合、画像のデータ量が膨大となり、その処理にも膨大な時間がかかる。これに対して、本実施形態によれば、細胞の状態変化に応じて、撮影間隔を切り替えることができ、細胞が状態変化する重要なタイミングにおいて高密度で撮影することができる。また、重要なタイミングの時にのみ、高密度で撮影し、通常の撮影モードでは低密度で撮影することで、保存や処理すべき画像容量を抑えることができる。さらに、必要以上に撮影回数を増やさないことで、撮影時に照射される照射光による細胞へのダメージを軽減することができる。
＜第２の実施形態＞
続いて、本技術の第２の実施形態について説明する。以下、第１の実施形態と異なる構成について、主に説明し、第１の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。
本実施形態に係る観察システム２０は、細胞Ｃの多視点画像を取得可能な撮影ユニット１２を有する点で、第１の実施形態と異なる。多視点から細胞Ｃを観察することより、細胞Ｃの状態変化をより精度よく検出することができる。
（構成例１）
図５に示す観察システム２０は、シャーレ等の平皿からなる培養容器１に収容された細胞Ｃを複数のカメラａ１～ａ３で撮影する撮影ユニット１２を有する。カメラａ１～ａ３は、細胞Ｃを中心として細胞Ｃ表面に沿って周方向に配置されてもよい。これより、細胞の上半球を観察可能な多視点画像を取得でき、より精度よく細胞の状態変化を検出できる。後述するように、多視点画像から三次元再構成し、三次元画像を形成してもよい。配置するカメラの台数は特に限定されないが、カメラの台数が多いほど、オクルージョン領域の画像を補完でき、状態変化をより精度よく検出できる。
撮影間隔制御部３１（図２）は、各カメラａ１～ａ３について撮影間隔を個別的に制御してもよいし、各カメラａ１～ａ３について撮影間隔を共通に制御してもよい。例えば、撮影間隔制御部３１は、上記所定の撮影間隔で各カメラａ１～ａ３から細胞Ｃの光学画像を個々に取得するように撮影ユニット１２を制御してもよいし、上記所定の撮影間隔でカメラａ１～ａ３を切り替えて当該カメラから細胞Ｃの光学画像を取得するように撮影ユニット１２を制御してもよい。
（構成例２）
図６に示す観察システム２０は、シャーレ等の平皿からなる培養容器１に収容された細胞Ｃを移動可能なカメラｂ１で撮影する撮影ユニット１２を有する。カメラｂ１は、細胞Ｃを中心として、細胞Ｃ表面に沿って周方向に、カメラｂ１'の位置へと移動できるように構成される。これより、上記と同様に、細胞Ｃの上半球の多視点画像を取得することができる。さらに、配置されるカメラの台数を削減できるため、装置のコンパクト化、低コスト化も図れる。
（構成例３）
図７Ａに示す観察システム２０においては、細胞Ｃを収容する容器が透光性を有する円管等からなる円筒状容器１１で構成されるとともにカメラｄ１が円筒状容器の側面の全周方向Ｐ１から細胞Ｃを観察可能なように、移動可能に構成される。これより、細胞Ｃの上半球画像だけでなく、下半球画像も取得することができる。即ち細胞Ｃの全周画像を取得することができるため、より精度よく細胞の状態変化を検出できる。
（構成例３'）
一方、図７Ｂに示す観察システムにおいては、円筒状容器１１が周方向（Ｚ軸周り）に回転可能に構成されるとともに、円筒状容器１１の側面を撮影するカメラｄ２がＺ軸と直交するＹ軸上の所定位置に固定される。これより、構成例２と同様に細胞Ｃの全周画像を取得することができる。また、カメラの台数の削減ができ、カメラを移動させるスペースも要しないため、装置のコンパクト化、低コスト化が図れる。
（構成例３"）
さらに、上記構成例（構成例３'）に加えて、図７Ｃに示す観察システムにおいては、円筒状容器１１のＺ軸方向から細胞Ｃを撮影可能なように、カメラｄ３（ｄ３'）が移動可能に設置される。例えば、図示するようにＸ-Ｚ平面（Ｙ-Ｚ平面）にて、細胞Ｃを中心にカメラｄ３（ｄ３'）が円運動する。これより、全方位からの光学画像を取得することが可能となるため、より精度よく細胞の状態変化を検出でき、重要なタイミングにおいて短い撮影間隔で撮影できる。
（構成例４）
図８Ａ、Ｂに示す観察システム２０は、水平面（Ｘ-Ｙ面）上に配置された細胞Ｃを囲むように等角度間隔で配置された鏡（Ｍ１～Ｍ３）を有する。そして、図８Ｂに示すように、細胞Ｃの鉛直方向上部に配置されたカメラｅ１が細胞Ｃと鏡（Ｍ１～Ｍ３）の反射像を撮影してもよい。これより、細胞Ｃの上部鉛直方向からの光学画像と、水平面内の細胞Ｃを中心とした円周方向からの光学画像を取得することができる。また、後述するように、多視点画像から三次元再構成し、三次元画像を形成してもよい。配置する鏡の台数は特に限定されないが、鏡の台数が多いほど、オクルージョン領域の画像を補完でき、状態変化をより精度よく検出できる。
さらに、図８Ｂに示すように、細胞Ｃを下部から撮影するカメラｅ２がさらに配置されてもよい。これより、下部視野の細胞Ｃの光学画像を取得できるため、全方位から見た細胞画像を取得することができる。
（構成例５）
図９に示す観察システムは、複数の細胞Ｃ１～Ｃ３を収容する培養容器１２と、各細胞の鉛直方向上部にそれぞれ配置された複数のカメラｆ１～ｆ３とを有し、各カメラｆ１～ｆ３は、直下の細胞だけでなく、その周辺の細胞をも同時撮影することが可能な視野角を有する。その結果、例えば細胞Ｃ２に関しては、カメラｆ２（視点Ｆ２）からの視点画像だけでなく、カメラｆ１（視点Ｆ１２）からの視点画像と、カメラｆ３（視点Ｆ３２）からの視点画像とを取得することができる。これより、各細胞Ｃ１～Ｃ３について多視点からの観察が可能となる。さらに、配置するカメラの台数も削減することができる。
ここで、図９において各カメラｆ１～ｆ３の光軸は相互に平行であるため、例えばカメラｆ２で撮影した細胞Ｃ１の視点画像は光軸の違いによって位置や見え方が異なることがある。この場合、カメラｆ２で撮影した細胞Ｃ１の画像を、カメラｆ２の光軸を細胞Ｃ１に向けた画像に変換すればよい。これにより、各々のカメラの位置・向きを変えることなく、複数の視点から１つの細胞を観察することができる。
カメラの光軸を変換する方法は特に限定されず、種々の方式が採用可能である。例えば、図１０Ａに示すように、光軸Ａ１の画像を光軸Ａ１'に垂直な画像平面Ｐに射影することで、光軸がＡ１からＡ１'に変換された画像を作ることができる。例えば、チェッカーボードを撮影した場合、光軸Ａ１の画像と、光軸変換した光軸Ａ１'の画像では、図１０Ｂ、Ｃに示すように異なる見え方の画像が得られる。
そこで図１１Ａ，Ｂに示すように、中央に配置された細胞Ｃ２を観察する場合、隣接するカメラｆ１、ｆ３の光軸Ｆ１、Ｆ３を、細胞Ｃ２を中心とする光軸Ｆ１'、Ｆ３'に変換したときの画像Ｖ１'、Ｖ３'を取得する。光軸を変換した画像は、光軸上の物体が画像の中心に映り、光軸に対して遠くのものは、小さく、近くのものは大きく映ることとなる。このように、光軸を変えた画像を作り、複数視点からの細胞画像を統合することにより、より正確に細胞の状態変化を検知できる。
また、後述するように複数のカメラから２視点の画像を取得し、ステレオマッチングにより、三次元再構成をすることもできる。カメラステレオマッチングするための画像変換処理法については、後述する。
（まとめ）
細胞の細胞分裂による状態変化は、撮影する角度によっては、分裂の境界面などを撮影できない場合がある。また、一視点からの撮影の場合、細胞の回転運動などの動的変化により今まで撮影できていた部位が撮影できない事態が生じる。本実施形態の構成では、多視点から細胞の光学画像を取得することで、細胞の状態変化をより見逃すことなく、検出することができる。このため、細胞の発育過程における重要なタイミングで撮影間隔の切り替えをより精度よく実現できる。
＜第３の実施形態＞
続いて、本技術の第３の実施形態について説明する。図１２は、本実施形態に係る観察システム３０の構成を示すブロック図である。以下、第１、第２の実施形態と異なる構成について主に説明し、第１、第２の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。
本実施形態は、第２の実施形態により得られる多視点の画像を利用し、三次元再構成する三次元再構成部５を有する点で、上述の各実施形態と異なる。三次元再構成をする手法は、例えば、一般に多眼視による手法と、ステレオ視による手法に大別されるが、本実施形態では細胞表面の凹部の再現性に優れるステレオ視による手法が採用される。
三次元再構成部５は、画像データベース（ＤＢ）部５１と、ステレオ画像取得部５２と、ステレオマッチング部５３と、三次元再構成データベース（ＤＢ）部５４とを有する。なお、三次元再構成部５は、情報処理装置３の一部として構成されてもよい。また、画像ＤＢ部５１及び三次元再構成ＤＢ部５４は、三次元再構成部５とは別機器として構成されてもよい。
画像ＤＢ部５１は、撮影ユニット１２によって取得された多視点の細胞画像を保存する。ステレオ画像取得部５２は、画像ＤＢ部５１から取得した多視点の細胞画像のうち２視点の画像を取得し、２視点の光軸を平行化した画像を取得する。ステレオマッチング部５３は、平行化した上記２視点の画像をステレオマッチングし、三次元画像を取得する。三次元再構成ＤＢ部５４は、ステレオマッチング部５３で三次元再構成された画像を保存する。
一般に、ステレオマッチングをするためには、左右画像の光軸を平行化させる必要がある。例えば、図１３Ａのように、光軸Ｇ１，Ｇ２が相互に非平行なカメラｇ１、ｇ２でサンプルＳを撮影する場合、各カメラｇ１、ｇ２で取得される画像ｖ１、ｖ２は図示のように像が異なる。そこで、図１３Ｂに示すようにカメラｇ１、ｇ２の光軸Ｇ１'、Ｇ２'が相互に平行になるように射影変換した画像ｖ１'、ｖ２'を生成する。なお光軸の変換方法は、前述のとおりである。
その他に、図１４Ａのように細胞Ｃの上半球の周方向に沿ってカメラａ１～ａ３が配置された場合（図５参照）、ステレオマッチング処理に際して、例えば図１４Ｂに示すように、カメラａ１、ａ２の組合せとカメラａ２、ａ３の組合せでそれぞれの光軸を平行化してもよい。つまり、光軸Ａ１とＡ２、光軸Ａ２とＡ３を平行化し、それぞれ光軸Ａ１'とＡ２'、光軸Ａ２"とＡ３'とに変換した画像を生成する。
図１５は、三次元再構成部５の動作例を示すフローチャートである。
三次元再構成部５は、まず、複数の視点から撮影された細胞の画像（Ｎ枚）から２視点の組合せを取得する（Ｓ２０１）。三次元再構成部５は、光軸を平行化したステレオ画像を作成（Ｓ２０２）した後、ステレオマッチング画像を作成（Ｓ２０３）し、作成した三次元画像を三次元画像ＤＢ部５４に保存する（Ｓ２０４）。異なる２視点の組み合わせ画像を有する場合には、同様の操作が繰り返される（Ｓ２０５）。すべての組合せにおいて、ステレオマッチングすることにより、細胞の三次元画像を取得することができる。
以上のようにして作成された三次元画像は、情報処理装置３において細胞の状態変化の検出に参照される。本実施形態によれば、二次元画像間の差分値だけでは検出できなかった表面の凹凸や、体積の変化など、細胞の状態変化を精度よく検出できる。
（動作例）
情報処理装置３は、三次元再構成ＤＢ部５４に保存された画像から、現在の細胞画像と過去の細胞画像のそれぞれ特徴を定量化し、定量化された特徴量の変化量に基づいて細胞の状態変化の有無を判定する。例えば、細胞が受精卵である場合、受精卵の体積、表面積、真球度、表面凹凸度、卵割の均一度などを定量化して、その変化分を状態変化の検出の有無に反映させてもよい。また、受精卵の種々の特徴点の動きから、三次元空間での細胞の回転や移動などの時間変化の動きについても、追従することができる。これより、細胞の状態変化を精度よく検出でき、受精卵の変化に合わせて適応的に撮影間隔を切り替えることができる。
＜第４の実施形態＞
続いて、本技術の第４の実施形態について説明する。以下、第１の実施形態と異なる構成について、主に説明し、第１の実施形態と同様の構成については同様の符号を付し、その説明を省略又は簡略化する。
本実施形態に係る観察システム４０は、撮影ユニット４２と、情報処理装置４３とを有する。本実施形態において撮影ユニット４２は熱画像撮影部２０１を有し、情報処理装置４３は熱画像解析部３０１を有する点で、上述の第１の実施形態と異なる。
熱画像撮影部２０１は、典型的には、赤外線カメラで構成される。熱画像撮影部２０１は、培養中の細胞Ｃの熱画像を所定のフレームレートで連続的に取得する。熱画像解析部３０１は、解析部３４の一部を構成し、取得された細胞Ｃの熱画像を常時解析し、培養中の細胞Ｃの状態変化の有無を検出するように構成される。
なお、撮影ユニット４２は、第１の実施形態と同様に単一のカメラで構成されてもよいし、第２の実施形態と同様に多視点画像を取得可能な単数又は複数のカメラで構成されてもよい。また本実施形態の観察システム４０においても、第３の実施形態で説明した三次元再構成部５を備えていてもよい。
図１７は、本実施形態の観察システム４０の典型的な動作例を示すフローチャートである。
本実施形態の観察システム４０は、熱画像撮影部２０１にて細胞の熱画像を取得する（Ｓ３０１）。そして、情報処理装置４３は、取得した熱画像を解析し（Ｓ３０２）、細胞Ｃの状態変化の有無を検出する（Ｓ３０３）。情報処理装置４３は、細胞Ｃの状態の変化を検出しなかった場合（Ｓ３０３においてＮｏの場合）、撮影間隔Ｔ０（初期設定値）を維持し（Ｓ３０４）、細胞の状態の変化を検出した場合（Ｓ３０３においてＹｅｓの場合）、撮影間隔をＴ０より短いＴ１に切り替える（Ｓ３０５）。
（まとめ）
光学撮影手段で常時細胞の状態変化を撮影した場合、細胞に常時光を照射する必要があり、細胞に多大なダメージを及ぼすこととなる。本実施形態によれば、細胞の状態変化の検出のためのツールとして、光学的撮影手段に代わって熱画像撮影手段を採用することで、細胞に与えるダメージを最小限にとどめながら、常時状態変化を観察できる。即ち、光学的撮影手段が細胞を撮影しない撮影間隔時においても、細胞の状態変化を検出できるので、細胞の評価にかかわる重要な撮影タイミングにおいて、撮影のタイムラグの少ない光学画像を取得することができる。
特に、本実施形態における熱画像撮影部は、光源を必要としないため、細胞に対して非侵襲で撮影できる。このため、細胞画像を常時取得するのに適している。
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、種々変更を加え得ることは勿論である。
なお、本技術は以下のような構成もとることができる。
（１）第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部
を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
前記制御部は、培養中の細胞の熱画像から細胞の状態変化の有無を検出する
情報処理装置。
（３）上記（１）又は（２）に記載の情報処理装置であって、
前記光学画像は、多視点から撮影された複数の光学画像から得られる三次元画像であって、
前記制御部は、前記三次元画像の情報に基づいて定量化された細胞の特徴量の変化に応じて、細胞の状態変化を検出する
情報処理装置。
（４）上記（１）～（３）のいずれか１つに記載の情報処理装置であって、
前記細胞は、受精卵であって、
前記細胞の特徴量は、受精卵の体積、表面積、真球度、表面凹凸度、及び卵割の均一度である
情報処理装置。
（５） 細胞を培養する細胞培養容器と、
第１の撮影間隔で培養中の細胞の光学画像を取得する光学画像撮影部を有する撮影部と
第１の撮影間隔で撮影した培養中の細胞の画像から細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部と、
を具備する観察システム。
（６）上記（５）に記載の観察システムであって、
前記撮影部は、培養中の細胞の熱画像を連続的に取得する熱画像撮影部を有し、
前記制御部は、前記熱画像撮影部が撮影した前記熱画像に基づいて、細胞の状態変化の有無を検出する
観察システム。
（７）上記（５）又は（６）に記載の観察システムであって、
前記光学画像撮影部は、前記細胞の多視点光学画像を取得し、
前記観察システムは、前記多視点光学画像を保存する光学画像データベース部と、前記光学画像データベース部より前記多視点光学画像を取得し、三次元再構成する三次元再構成部と、をさらに具備する
観察システム。
（８）上記（７）に記載の観察システムであって、
前記制御部は、三次元再構成された前記多視点光学画像に基づいて、細胞の状態変化を検出する
観察システム。
観察システム。
（９）第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出し、
前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える
観察方法。
（１０）情報処理装置に、
第１の撮影間隔で撮影した培養中の細胞の光学画像に基づいて細胞の状態変化の有無を検出するステップと、
前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替えるステップと
を実行させるプログラム。
１，１１，１２…培養容器
２，１２，４２…撮影ユニット
３，４３…情報処理装置
４，５１…画像ＤＢ部
５…三次元再構成部
１０，２０，３０，４０…観察システム
１１…円筒状容器
３４…解析部
３５…更新部
３１…撮影間隔制御部
３２…送受信部
３３…メモリ
３４…解析部
３０，４０…観察システム
５２…ステレオ画像取得部
５３…ステレオマッチング部
５４…三次元再構成ＤＢ部
２０１…熱画像撮影部
３０１…熱画像解析部
ａ１～ａ３，ｂ１，ｄ１～ｄ３，ｆ１～ｆ３，ｇ１～ｇ２…カメラ
Ｍ１～Ｍ３…鏡

Claims (12)

  1. 受精卵である細胞の状態変化に応じて定められる第１の撮影間隔で撮影した培養中の前記細胞の光学画像または熱画像である細胞画像に基づいて前記細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部
    を具備し、
    前記細胞画像は、多視点から撮影された前記細胞の複数の画像から得られる三次元画像であり、
    前記制御部は、前記三次元画像の情報に基づいて定量化された前記細胞の体積、表面積、真球度、表面凹凸度、又は卵割の均一度である特徴量の変化に応じて、前記細胞の状態変化を検出する
    情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記細胞画像は、視点の異なる複数の撮影ユニットにより撮影された前記細胞の複数の画像から得られる三次元画像である
    情報処理装置。
  3. 請求項１に記載の情報処理装置であって、
    前記細胞画像は、撮影ユニットが前記細胞に対して前記細胞を中心とする周方向に相対的に移動することにより撮影された前記細胞の複数の画像から得られる三次元画像である
    情報処理装置。
  4. 請求項１～３のいずれか１つに記載の情報処理装置であって、
    前記制御部は、前記第２の撮影間隔に切り替えた後、前記細胞の状態変化の有無を検出し、前記状態変化を検出しない場合には、前記撮影モードを前記第１の撮影間隔に切り替える
    情報処理装置。
  5. 受精卵である細胞を培養する細胞培養容器と、
    前記細胞の状態変化に応じて定められる第１の撮影間隔で撮影した培養中の細胞の光学画像または熱画像である細胞画像を取得する撮影ユニットと、
    前記第１の撮影間隔で撮影した培養中の細胞の画像から細胞の状態変化の有無を検出し、前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える制御部と
    を具備し、
    前記細胞画像は、前記撮影ユニットにより多視点から撮影された前記細胞の複数の画像から得られる三次元画像であり、
    前記制御部は、前記三次元画像の情報に基づいて定量化された前記細胞の体積、表面積、真球度、表面凹凸度、又は卵割の均一度である特徴量の変化に応じて、前記細胞の状態変化を検出する
    観察システム。
  6. 請求項５に記載の観察システムであって、
    前記撮影ユニットは、前記細胞の多視点光学画像を取得し、
    前記観察システムは、前記多視点光学画像を保存する光学画像データベース部と、前記光学画像データベース部より前記多視点光学画像を取得し、三次元再構成する三次元再構成部と、をさらに具備する
    観察システム。
  7. 請求項６に記載の観察システムであって、
    前記制御部は、三次元再構成された前記多視点光学画像に基づいて、細胞の状態変化を検出する
    観察システム。
  8. 請求項７に記載の観察システムであって、
    前記撮影ユニットは、視点の異なる複数の撮影ユニットを有し、
    前記多視点光学画像は、前記複数の撮影ユニットにより撮影された複数の光学画像から得られる画像である
    観察システム。
  9. 請求項７に記載の観察システムであって、
    前記撮影ユニットは、前記細胞に対して前記細胞を中心とする周方向に相対的に移動することが可能であり、
    前記三次元画像は、前記撮影ユニットにより撮影された複数の光学画像から得られる画像である
    観察システム。
  10. 請求項５～９のいずれか１つに記載の観察システムであって、
    前記制御部は、前記第２の撮影間隔に切り替えた後、前記細胞の状態変化の有無を検出し、前記状態変化を検出しない場合には、前記撮影モードを前記第１の撮影間隔に切り替える
    観察システム。
  11. 受精卵である細胞の状態変化に応じて定められる第１の撮影間隔で撮影した培養中の前記細胞の光学画像または熱画像である細胞画像に基づいて前記細胞の状態変化の有無を検出し、
    前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替える
    観察方法であって、
    前記細胞画像は、多視点から撮影された前記細胞の複数の画像から得られる三次元画像であり、
    前記三次元画像の情報に基づいて定量化された前記細胞の体積、表面積、真球度、表面凹凸度、又は卵割の均一度である特徴量の変化に応じて、前記細胞の状態変化を検出する
    観察方法。
  12. 情報処理装置に、
    受精卵である細胞の状態変化に応じて定められる第１の撮影間隔で撮影した培養中の前記細胞の光学画像または熱画像である細胞画像に基づいて前記細胞の状態変化の有無を検出するステップと、
    前記状態変化を検出したとき、撮影モードを前記第１の撮影間隔から前記第１の撮影間隔よりも短い第２の撮影間隔に切り替えるステップと
    を実行させるプログラムであって、
    前記細胞画像は、多視点から撮影された前記細胞の複数の画像から得られる三次元画像であり、
    前記細胞の状態変化の有無を検出するステップは、前記三次元画像の情報に基づいて定量化された前記細胞の体積、表面積、真球度、表面凹凸度、又は卵割の均一度である特徴量の変化に応じて、前記細胞の状態変化を検出する
    プログラム。
JP2018523603A 2016-06-15 2017-05-18 情報処理装置、観察システム、観察方法及びプログラム Active JP6992748B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016119214 2016-06-15
JP2016119214 2016-06-15
PCT/JP2017/018654 WO2017217180A1 (ja) 2016-06-15 2017-05-18 情報処理装置、観察システム、観察方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017217180A1 JPWO2017217180A1 (ja) 2019-04-11
JP6992748B2 true JP6992748B2 (ja) 2022-02-03

Family

ID=60663456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523603A Active JP6992748B2 (ja) 2016-06-15 2017-05-18 情報処理装置、観察システム、観察方法及びプログラム

Country Status (7)

Country Link
US (1) US10872414B2 (ja)
EP (1) EP3473998A4 (ja)
JP (1) JP6992748B2 (ja)
AU (1) AU2017283878A1 (ja)
BR (1) BR112018075406A2 (ja)
CA (1) CA3026225A1 (ja)
WO (1) WO2017217180A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017368393B2 (en) 2016-11-29 2020-09-17 Sony Corporation Information processing device, information processing method, program, and observation system
WO2019234916A1 (ja) * 2018-06-08 2019-12-12 オリンパス株式会社 観察装置
DE102018122816B4 (de) * 2018-09-18 2024-01-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
WO2021182153A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006521335A (ja) 2003-03-24 2006-09-21 ステリックス リミテッド ステロイドスルファターゼのインヒビターとしてのエストロゲン誘導体
JP2011017620A (ja) 2009-07-09 2011-01-27 Nikon Corp 形状測定方法、画像処理プログラム及び観察装置
JP2012095627A (ja) 2010-11-05 2012-05-24 Nikon Corp 細胞培養装置およびプログラム
JP2013502233A (ja) 2009-08-22 2013-01-24 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニバーシティ 胚、卵母細胞、および幹細胞の撮像および評価
JP2015223174A (ja) 2014-05-30 2015-12-14 富士フイルム株式会社 細胞判定装置および方法並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5989835A (en) * 1997-02-27 1999-11-23 Cellomics, Inc. System for cell-based screening
JP4128791B2 (ja) * 2002-03-27 2008-07-30 株式会社堀内 有精卵の雌雄鑑別技術
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
US8515143B2 (en) * 2009-01-09 2013-08-20 Dai Nippon Printing Co., Ltd. Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method
EP2726865B1 (en) * 2011-07-01 2016-12-14 Cambridge Enterprise Ltd. Methods for predicting mammalian embryo viability
WO2014037402A1 (en) * 2012-09-04 2014-03-13 Katholieke Universiteit Leuven Method and apparatus for examining eggs
JP6097952B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 観察画像判定装置および方法並びにプログラム
JP6173950B2 (ja) * 2014-03-04 2017-08-02 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
ES2837840T3 (es) * 2014-03-20 2021-07-01 Ares Trading Sa Medida cuantitativa de la cinética de desarrollo de la morfología de mórula y blastocisto humanos
US20190331905A1 (en) * 2016-07-01 2019-10-31 Sony Corporation Image acquisition method, image acquisition apparatus, program, and culture vessel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006521335A (ja) 2003-03-24 2006-09-21 ステリックス リミテッド ステロイドスルファターゼのインヒビターとしてのエストロゲン誘導体
JP2011017620A (ja) 2009-07-09 2011-01-27 Nikon Corp 形状測定方法、画像処理プログラム及び観察装置
JP2013502233A (ja) 2009-08-22 2013-01-24 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニバーシティ 胚、卵母細胞、および幹細胞の撮像および評価
JP2012095627A (ja) 2010-11-05 2012-05-24 Nikon Corp 細胞培養装置およびプログラム
JP2015223174A (ja) 2014-05-30 2015-12-14 富士フイルム株式会社 細胞判定装置および方法並びにプログラム

Also Published As

Publication number Publication date
JPWO2017217180A1 (ja) 2019-04-11
EP3473998A1 (en) 2019-04-24
US20190220979A1 (en) 2019-07-18
WO2017217180A1 (ja) 2017-12-21
BR112018075406A2 (pt) 2019-03-19
US10872414B2 (en) 2020-12-22
AU2017283878A1 (en) 2019-01-03
CA3026225A1 (en) 2017-12-21
EP3473998A4 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
JP6992748B2 (ja) 情報処理装置、観察システム、観察方法及びプログラム
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US9737381B2 (en) Desktop three-dimensional scanner for dental use provided with two-axis motion unit in which camera and projector are coupled to unit for changing horizontal axis of rotation of stage
EP3144880B1 (en) A method and an apparatus for generating data representative of a light field
JP6470008B2 (ja) 培養観察装置および培養観察システム
JP2008242658A (ja) 立体物体の撮像装置
US20230005281A1 (en) Adaptive sensing based on depth
TW202014990A (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
US11449964B2 (en) Image reconstruction method, device and microscopic imaging device
EP2787735A1 (en) Image processing device, image processing method and program
CN113267141B (zh) 一种显微三维信息采集设备
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN111080774B (zh) 一种应用深度采样进行光场重构的方法及系统
JP2012242488A (ja) 撮像装置、立体撮像光学系、およびプログラム
CN111239044A (zh) 细胞检测方法、装置与系统
TW201723635A (zh) 將光學獲取系統所擷取影像編碼之裝置及方法
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
US10902624B2 (en) Apparatus and a method for generating data representing a pixel beam
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
CN209978890U (zh) 一种多激光线快速检测系统
CN111652967A (zh) 一种基于前后融合成像的三维重建系统及方法
EP3479571B1 (en) An apparatus and a method for generating data representative of a pixel beam
Esper et al. 3D Registration of Multiple RGB-D Cameras on Arbitrary Position of a Symmetric Object with No Overlapping in a Meat Factory Environment
CN111803071B (zh) 耳朵外观轮廓三维扫描系统及方法
KR102241060B1 (ko) 미소거울배열을 이용하는 무안경 집적 영상 디스플레이 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R151 Written notification of patent or utility model registration

Ref document number: 6992748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151