JPWO2018083984A1 - 情報処理装置、情報処理方法及び情報処理システム - Google Patents

情報処理装置、情報処理方法及び情報処理システム Download PDF

Info

Publication number
JPWO2018083984A1
JPWO2018083984A1 JP2018548615A JP2018548615A JPWO2018083984A1 JP WO2018083984 A1 JPWO2018083984 A1 JP WO2018083984A1 JP 2018548615 A JP2018548615 A JP 2018548615A JP 2018548615 A JP2018548615 A JP 2018548615A JP WO2018083984 A1 JPWO2018083984 A1 JP WO2018083984A1
Authority
JP
Japan
Prior art keywords
information
information processing
image
feature amount
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018548615A
Other languages
English (en)
Other versions
JP7001060B2 (ja
Inventor
澪 村田
澪 村田
真司 渡辺
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018083984A1 publication Critical patent/JPWO2018083984A1/ja
Application granted granted Critical
Publication of JP7001060B2 publication Critical patent/JP7001060B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129—Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • H04N1/2133—Recording or reproducing at a specific moment, e.g. time interval or time-lapse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Wood Science & Technology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • Sustainable Development (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】生物学的試料についての事象をより高精度で判別すること。【解決手段】本技術に係る情報処理装置は、時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、所定期間における上記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、上記第１情報および上記第２情報を用いて、上記生物学的試料についての事象を判定する判定部とを備える。【選択図】図４

Description

本開示は、情報処理装置、情報処理方法及び情報処理システムに関する。
医療および生命科学の分野において、多くの種類の細胞や生体組織の運動または状態の変化を観察することが行われている。これらについての客観的な評価を実現するために、当該生体組織についての事象（例えば細胞期の境界である卵割、細胞分裂等の形態の変化、または変性等）の判別を行うための技術の開発が進められている。
例えば、下記特許文献１には、胚の時系列画像に複数の分類器を適用させて当該胚についての分類確率を決定し、かかる分類確率に基づいて当該胚のランク付けを行う技術が開示されている。また、下記特許文献２には、微速度画像（３０分等の長周期で撮像される時系列画像）を用いて細胞分裂期の長さを測定し、かかる細胞分裂期の長さに基づいて胚品質の指標を取得する技術が開示されている。
特表２０１６−５０９８４５号公報 特開２０１３−１９８５０３号公報
上記特許文献１および特許文献２のいずれも、長周期で撮像された静止画像を解析して卵割等の生物学的試料についての事象を判定するものである。しかしながら、かかる生物学的試料の配向、当該生物学的試料の形態の変化の特徴および時間、並びに生物学的試料の種類によっては、生物学的試料が撮像された静止画像からどのような事象が発生しているかを判別することが困難な場合がある。
そこで、本開示では、生物学的試料についての事象をより高精度で判別することが可能な、新規かつ改良された情報処理装置、情報処理方法および情報処理システムを提案する。
本開示によれば、時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、所定期間における上記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、上記第１情報および上記第２情報を用いて、上記生物学的試料についての事象を判定する判定部とを備える情報処理装置が提供される。
また、本開示によれば、プロセッサが、時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得することと、所定期間における上記複数の画像のフレーム間の変化に基づいて第２情報を取得することと、上記第１情報および上記第２情報を用いて、上記生物学的試料についての事象を判定することとを含む情報処理方法が提供される。
また、本開示によれば、撮像により画像を生成する撮像部を備える撮像装置と、上記撮像部により時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、所定期間における上記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、上記第１情報および上記第２情報を用いて、上記生物学的試料についての事象を判定する判定部とを備える情報処理装置と、を有する情報処理システムが提供される。
以上説明したように本開示によれば、生物学的試料についての事象をより高精度で判別することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。 １５分おきに撮像した１細胞期から２細胞期にかけての卵割前後の胚のタイムラプス画像の第１の例を示す。 １５分おきに撮像した１細胞期から２細胞期にかけての卵割前後の胚のタイムラプス画像の第２の例を示す。 本開示の第１の実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 同実施形態に係る画像取得部が取得するタイムラプス画像および動画像の撮像タイミングを説明するための図である。 胚の発生段階および各細胞期に対応する胚の画像の一例を示す図である。 同実施形態に係る動態解析部による動き量の経時変化の一例を示すグラフである。 同実施形態に係る特徴量抽出部による抽出処理の一例を示す図である。 動態特徴量の波形についてフーリエ変換を行って得られた周波数スペクトルの例である。 同実施形態に係る第２推定部による波形に係る特徴量を用いた第２推定処理の例を示すグラフである。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 同実施形態に係る特徴量抽出部の機能を説明するための図である。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 本開示の第３の実施形態に係る情報処理装置の機能構成例を示す機能ブロック図である。 同実施形態に係る特徴量抽出部による抽出処理の一例を説明するための図である。 同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。 本開示の第３の実施形態に係る骨芽細胞腫Ｕ２ＯＳ細胞を撮像したタイムラプス画像の一例である。 同実施形態に係る骨芽細胞腫Ｕ２ＯＳ細胞を撮像したタイムラプス画像の一例である。 同実施形態に係るがん細胞の動態解析について説明するための図である 同実施形態に係る動態解析により得られた動態解析結果の一例を示す図である。 同実施形態に係る単一の細胞死したがん細胞（グループ２）の動態解析結果を示す図である。 同実施形態に係る単一の細胞分裂した細胞の動態解析結果を示す図である。 同実施形態に係る単一の細胞死したがん細胞（グループ２）の形態変化を撮像したタイムラプス画像である。 同実施形態に係る単一の細胞分裂したがん細胞の形態変化を撮像したタイムラプス画像である。 同実施形態に係る単一の細胞死も細胞分裂もしなかったがん細胞（Control）の動態解析結果を示す図である。 同実施形態に係る単一の細胞死したがん細胞（グループ１）の動態解析結果を示す図である。 同実施形態に係る単一の細胞死も細胞分裂もしなかったがん細胞（Control）を撮像したタイムラプス画像である。 同実施形態に係る細胞死したがん細胞（グループ１）の形態変化を撮像したタイムラプス画像である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．第１の実施形態
２．１．構成例
２．２．処理例
３．第２の実施形態
３．１．構成例
３．２．処理例
４．第３の実施形態
４．１．構成例
４．２．処理例
５．第４の実施形態
６．ハードウェア構成例
７．まとめ
＜＜１．情報処理システムの概要＞＞
図１は、本開示の一実施形態に係る情報処理システム１の構成の概要を示す図である。図１に示すように、情報処理システム１は、撮像装置１０、および情報処理装置２０を備える。撮像装置１０および情報処理装置２０は、有線または無線の各種ネットワークにより接続される。
（撮像装置）
撮像装置１０は、撮像により画像（または動画像）を生成する装置である。本実施形態に係る撮像装置１０は、例えば、デジタルカメラにより実現される。他にも、撮像装置１０は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。
本実施形態に係る撮像装置１０は、図１に示すように、培養用のインキュベータＩ１の内側において、観察対象である胚が培養されている培地Ｍ１を有するディッシュＤ１の上方に設けられる。そして、撮像装置１０は、培地Ｍ１において培養されている胚を所定のフレームレートで撮像することにより画像を生成する。なお、胚がディッシュＤ１内に複数存在している場合、胚の各々のみが撮像フレームに含まれるように撮像されてもよいし、複数の胚が一の撮像フレームに含まれるように撮像されてもよい。また、複数の胚が複数のディッシュで各々培養されている場合、インキュベータＩ１に備えられる任意の駆動装置により撮像装置１０または当該ディッシュを適宜移動させ、胚の各々を撮像することも可能である。
なお、撮像装置１０は、インキュベータＩ１の内部に設けられていてもよいし、インキュベータＩ１の外部に設けられてもよい。また、撮像装置１０は、インキュベータＩ１に格納されていない胚の撮像に対しても適用可能である。また、撮像装置１０はインキュベータＩ１と一体となって設けられてもよい。
また、インキュベータＩ１の仕様またはサイズ等については特に限定されず、胚の培養に適した環境を提供可能なインキュベータが適用され得る。ディッシュＤ１および培地Ｍ１についても、公知の胚の培養に適したものが使用され得る。
より詳細に説明すると、本実施形態に係る撮像装置１０は、図１に示すように、撮像部１０１および撮像制御部１０２を備える。
撮像部１０１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、撮像素子への被写体像の結像を制御するためのレンズ、および被写体に光を照射するための光源などの各種の部材を有し、これらを用いて実空間を撮像する。
本実施形態に係る撮像部１０１は、観察対象である胚の内部の動きを正しく特定するため、培地Ｍ１において培養されている胚を含む一定の撮像領域を撮像する。なお、撮像部１０１は、胚を直接（他のレンズ等の部材を介さずに）撮像してもよいし、対物レンズを備える顕微鏡等の他の部材を介して胚を撮像してもよい。この場合、サブミクロンメートルオーダの胚の動きを捉えるため、当該対物レンズの倍率は４０倍〜６０倍程度であることが好ましい。また、フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましく、具体的には、サブ秒オーダーの胚の動きを捉えることが可能であるフレームレートに設定されることが好ましい。
かかる撮像部１０１としては、複数の撮像モジュールが設けられてもよい。具体的には後述するように、例えば、撮像装置１０には、タイムラプス撮像用の撮像モジュールと、動画像撮像用の撮像モジュールとが設けられてもよい。これにより、タイムラプス画像および動画像の各々に要求される画質等の性能に応じた画像を生成することが可能となる。
撮像部１０１の撮像処理により生成される信号は撮像制御部１０２に出力される。
撮像制御部１０２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等により実現される処理回路、および通信装置を含み、撮像部１０１の動作全般を制御する。例えば、撮像制御部１０２は、撮像部１０１による撮像処理を制御し、撮像処理により得られた信号に基づいて撮像画像を生成する。
例えば、撮像制御部１０２は、撮像部１０１の撮像処理のタイミングを制御し得る。より具体的には、撮像制御部１０２は、所定期間連続的に撮像するよう撮像部１０１を制御することにより動画像を生成し得る。また、撮像制御部１０２は、所定の間隔を空けて断続的に撮像処理を行うよう（いわゆるタイムラプス撮影）撮像部１０１を制御し得る。また、複数の胚を撮像する場合、撮像制御部１０２は、撮像対象となる胚の撮像タイミングに応じて、撮像装置１０またはディッシュを移動させるようインキュベータＩ１を直接的にまたは間接的に制御してもよい。なお、本開示の一実施形態に係る撮像処理のタイミングの制御例については、後述する。
また、撮像制御部１０２は、撮像部１０１に備えられる光源の波長、照射強度または照射時間を制御してもよい。例えば、撮像制御部１０２は、撮像部１０１による撮像処理が行われる期間のみに、適切な波長を有する光を、最低限の照射強度により胚に照射するよう撮像部１０１の光源を制御してもよい。これにより、胚の光毒性を最小限に抑えることができる。
なお、詳しくは後述するが、撮像制御部１０２は画像について予め関心領域（ＲＯＩ：Region of Interest）を設定してもよい。ここでいう関心領域とは、後述する動態解析部２０３による画像解析の対象となる領域を意味する。本実施形態に係る関心領域は、胚の内部領域であり、特に、胚の細胞質に相当する領域であることが好ましい。関心領域の設定等については後述する。
撮像制御部１０２は、生成した画像等を情報処理装置２０へ出力する。
（情報処理装置）
情報処理装置２０は、画像解析機能を有する装置である。情報処理装置２０は、ＰＣ（Personal Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。情報処理装置２０は、ＣＰＵ（Central Processing Unit）等の処理回路および無線または有線により通信可能なハードウェアからなる通信装置を含む。例えば、本実施形態に係る情報処理装置２０では、通信装置が撮像装置１０から複数の画像（例えば、タイムラプス画像および動画像等）を取得する。そして、処理回路が取得した静止画像および動画像のそれぞれについての情報を取得し、各情報を用いて胚についての事象について判定する。情報処理装置２０の処理回路により行われる各処理については、情報処理装置２０の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置２０は、ネットワーク上の１または複数の情報処理装置によって実現されてもよい。情報処理装置２０の各機能を実現する機能構成については後述する。
なお、本実施形態において、撮像装置１０および情報処理装置２０により情報処理システム１が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置１０が、情報処理装置２０に関する処理（例えば、動態解析処理、特徴量抽出処理、各々の推定処理、または判定処理等）を行ってもよい。この場合、情報処理システム１は、動態解析機能等を有する撮像装置により実現される。
ここで、本実施形態に係る情報処理システム１の観察対象である生物学的試料の一例である胚について説明する。例えば、ヒトの正常な受精卵では、受精直後に前核が出現し、その後細胞分裂が開始される。なお、受精卵は厳密には胚ではなく前核期胚であるが、本明細書では、受精卵も胚の一形態として説明する。
卵割では、当初１細胞期であった正常な受精卵（胚）は、２細胞期胚となり、その後、４細胞期胚、８細胞期胚、桑実胚というように分裂を繰り返し、最終的に胚盤胞に到達する。一般的には、胚盤胞が子宮に着床したのち、胚を包む透明体が破れて、胚が孵化する。すなわち、卵割のタイミングは、胚の発生段階の一つの区切りとして評価され得る。
このような胚の成長を評価する手法として、胚を継時的に撮像し、その撮像画像から得られる情報に基づいて胚の発生段階を予測する技術の開発が進められている。例えば、特表２０１６−５０９８４８５号公報には、胚の時系列画像に複数の分類器を適用させて当該胚についての分類確率を決定し、かかる分類確率に基づいて当該胚のランク付けを行う技術が開示されている。また、特開２０１３−１９８５０３号公報には、微速度画像（３０分等の長周期で撮像される時系列画像）を用いて細胞分裂期の長さを測定し、かかる細胞分裂期の長さに基づいて胚品質の指標を取得する技術が開示されている。
上述した先行技術は、静止画像のみから胚の成長の評価を行い、胚の発生段階を予測している。しかしながら、かかる技術では、胚の急性の形態の変化、平面方向以外の形態の変化、および形状の変化を伴わない形態の変化を追究することは困難である。
図２および図３は、１５分おきに撮像した１細胞期から２細胞期にかけての卵割前後の胚のタイムラプス画像の第１の例および第２の例を示す。図２および図３に示したこれらの複数の画像は、上段の左側から下段の右側にかけてフレームが進行する。図２では、胚が平面方向に分裂していることから、１細胞期と２細胞期の区別は可能である。しかしながら、図３においては、胚が平面方向以外、具体的には紙面に垂直な方向に分裂していることから、静止画像から卵割のタイミングを特定することは困難である。そもそも、図３においては、分割した細胞同士が垂直方向に重なっていることから、静止画像からは卵割が生じたこと自体判定することが困難となる。
また、図２の胚の卵割が平面方向に生じた場合であっても、静止画像のフレーム間における時間帯に卵割が生じることもある。この撮像周期が長時間である場合、卵割が生じた具体的なタイミングを得ることは困難である。
さらに、胚の個体差により、卵割等の形態の変化の配向のみならず、形態の変化にかかる時間が大きく変動することもある。また、胚の形態の変化が外見上大きくない場合であっても、胚の卵割等に伴う特徴的な変化が胚の細胞質内で生じていることもある。
そこで、本実施形態に係る情報処理システム１は、時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの画像（タイムラプス画像）に基づいて第１情報を取得し、所定期間における上記複数の画像（動画像）のフレーム間の変化に基づいて第２情報を取得し、これらの情報を用いて生物学的試料についての事象を判定する。下記の各実施形態に示すように、第１情報は、タイムラプス画像の各々から得られる特徴量または当該特徴量に基づいて得られる情報等を含み、第２情報は所定期間における動画像上の変化から得られる動態特徴量または当該特徴量に基づいて得られる情報等を含む。これにより、静止画像のみでは判別できない生物学的試料の形態の変化等の事象を、静止画像（タイムラプス画像）および動画像からそれぞれ得られた特徴量の情報と組み合わせることで、正確かつ詳細に把握することが可能となる。
以上、本開示の一実施形態に係る情報処理システム１の概要について説明した。なお、以下の各実施形態では、本技術の適用例として生物学的試料の一例である胚について説明するが、本技術はかかる例に限定されない。例えば、本実施形態に係る情報処理システム１は、細胞分裂をするもの、他の細胞等を取り込むもの等、生体固有の形態の変化を示すような細胞、生体組織等にも適用可能である。また、本技術の適用対象である生物学的試料についての事象として、胚の卵割の他に、がん細胞その他の細胞の増殖もしくは分裂、幹細胞の分化、または免疫細胞その他の細胞の形態変化があり得る。また、本実施形態に係る情報処理システム１の適用対象は、動物、植物または無生物である構造体であってもよい。例えば、薄膜またはナノクラスタ結晶の成長等、観察対象の構造または形状が数時間から数日の期間をかけて変化するものも、本実施形態に係る情報処理システム１の適用対象となり得る。
本開示の一実施形態に係る情報処理システム１に含まれる情報処理装置２０は、以下の実施形態において実現される。以下、情報処理装置２０の具体的な構成例および処理例について説明する。
＜＜２．第１の実施形態＞＞
以下、図４〜図１４を参照して、本開示の第１の実施形態について説明する。
＜２．１．構成例＞
図４は、本開示の第１の実施形態に係る情報処理装置２０Ａの機能構成例を示す機能ブロック図である。図４に示すように、本実施形態に係る情報処理装置２０Ａは、制御部２００Ａ、通信部２１０および記憶部２２０を備える。以下、各機能部について説明する。
（制御部）
制御部２００Ａは、情報処理装置２０の動作全般を制御する。また、制御部２００Ａは、図４に示すように、画像取得部２０１、第１推定部２０２、動態解析部２０３、特徴量抽出部２０４、第２推定部２０５、判定部２０６および出力制御部２０７の各機能を含み、本実施形態に係る情報処理装置２０Ａの動作を主導的に制御する。制御部２００Ａに含まれる各機能部の有する機能については後述する。制御部２００Ａは、例えば、ＣＰＵ等の処理回路により実現される。
（通信部）
通信部２１０は、情報処理装置２０Ａが備える通信手段であり、ネットワークを介して（あるいは直接的に）、外部装置と無線または有線により各種通信を行う。例えば、通信部２１０は、撮像装置１０と通信を行う。より具体的には、通信部２１０は、撮像装置１０により生成された画像を取得する。また、通信部２１０は、撮像装置１０以外の他の装置と通信を行ってもよい。例えば、通信部２１０は、画像取得部２０１により取得された画像および出力制御部２０７より制御される提示に関する情報等を、外部の表示装置等に送信してもよい。通信部２１０は、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）等の通信デバイスにより実現される。
（記憶部）
記憶部２２０は、情報処理装置２０Ａが備える記憶手段であり、通信部２１０により取得された情報、または制御部２００Ａの有する各機能部により得られた情報等を記憶する。また、記憶部２２０は、制御部２００Ａの有する各機能部、または通信部２１０からの要求に応じて、記憶されている情報を適宜出力する。記憶部２２０は、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などにより実現される。また、記憶部２２０は、外部のクラウドサーバまたはストレージ等により実現されてもよい。この場合、情報処理装置２０Ａには記憶部２２０が設けられなくてもよい。
次に、制御部２００に含まれる各機能部の有する機能について説明する。
（画像取得部）
画像取得部２０１は、撮像装置１０において時系列に撮像された胚に係る複数の画像を撮像装置１０から取得する機能を有する。かかる複数の画像は、通信部２１０を介して取得される。
ここでいう複数の画像は、タイムラプス画像および動画像の２種類を意味する。タイムラプス画像は、上述の通り、所定の間隔を空けて断続的に撮像処理を行うことにより得られる一連の静止画像である。すなわち、タイムラプス画像は、複数の画像のうち所定の時刻に対応するフレームの画像を意味する。撮像処理の所定の間隔は、例えば、胚の場合では数分〜数十分程度であるが、観察対象である生物学的試料の形態の変化の程度に応じて適宜調整され得る。
一方で動画像は、所定期間において連続的に撮像処理を行うことにより得られる連続する複数のフレームの画像により構成される。かかる動画像は、撮影開始時から撮影終了時まで連続的に撮像することにより得られる動画像であってもよいが、光毒性および画像処理に伴う負担の観点から、所定の間隔を空けて、一定時間連続的に撮像して得られる動画像であることが好ましい。本実施形態において、動画像を構成する複数の画像は、１秒当たり数フレームで、数秒から数十秒間連続的に撮像処理がなされて生成されたものであり得る。
また、当該画像は、一または複数の胚に係る画像であってもよい。複数の胚に係る画像とは、複数の胚の各々一つずつ撮像フレームに含まれている画像、または一つの撮像フレームに複数の胚が含まれている画像を意味する。
画像取得部２０１は、例えば、撮像装置１０の撮像部１０１により撮像される胚を含む画像を取得する。具体的には、画像取得部２０１は、撮像装置１０の撮像部１０１によりリアルタイムで撮像される胚を含む画像を、通信部２１０を介して取得してもよい。この場合、後段の各機能部における撮像対象である胚についての事象の判定のための各処理をリアルタイムで行うことが可能である。また、画像取得部２０１は、予め撮像装置１０の撮像部１０１により撮像された画像であって、記憶部２２０に記憶された画像を記憶部２２０から取得してもよい。この場合、予め撮像された胚についての事象の判定のための処理をポスト処理として行うことができる。
なお、画像取得部２０１が取得するタイムラプス画像および動画像については、撮像タイミングが関連していることが好ましい。図５は、本実施形態に係る画像取得部２０１が取得するタイムラプス画像および動画像の撮像タイミングを説明するための図である。図５に示すように、本実施形態では、画像取得部２０１が取得するタイムラプス画像（Time-lapse）および動画像（Videograph）は、いずれも所定の間隔を空けて撮像処理が行われたものである。ここで、図５に示すように、本実施形態では、特に動画像の撮像開始時刻が、タイムラプス画像の撮像時刻と揃っている。このような撮像タイミングで得られた画像を用いることにより、後段の処理において、タイムラプス画像に基づいて得られる第１情報と、動画像におけるフレーム間の変化に基づいて得られる第２情報との関連付けをより正確なものとすることができる。
なお、図５に示した撮像タイミングは撮像制御部１０２により制御されるタイミングであるが、画像取得部２０１が、撮像装置１０が生成した複数の画像のうちから、図５に示すタイミングに撮像されたタイムラプス画像および動画像を抽出して取得してもよい。また、例えば、所定期間撮像処理がなされた動画像を構成する複数の画像のうち最初のフレームの画像が、タイムラプス画像として用いられてもよい。また、図５に示す撮像タイミングはあくまでも一例であり、タイムラプス画像の撮像時刻のいずれかと動画像の撮像開始時刻が略同一であれば特に限定されない。ここでいう略同一とは、一連の撮像処理が行われる全体の期間から見て同一のタイミングとみなすことができる程度の時刻のズレを許容することを意味する。すなわち、タイムラプス画像の撮像時刻と動画像の撮像開始時刻とが厳密に同一である必要はない。
なお、画像取得部２０１は、後段の各処理の精度を上げるために、適宜演算等を行い、取得した画像についての補間、ノイズ除去、回転等の補正を行ってもよい。
画像取得部２０１は、取得した複数の画像のうち、タイムラプス画像を第１推定部２０２に出力し、動画像を動態解析部２０３に出力する。
（第１推定部）
第１推定部２０２は、取得したタイムラプス画像から胚についての第１推定を行う機能を有する。本実施形態に係る第１推定部２０２は、第１情報取得部の一例である。第１推定部２０２は、例えば、タイムラプス画像について画像解析を行い、当該タイムラプス画像の画像特徴量を取得する。画像特徴量は、例えば、画像の輝度の定量値もしくは輝度の分布に基づく統計値、または輝度ヒストグラムもしくは周波数スペクトル等の、画素に係る情報の分布に基づく値を含む。画像特徴量は、例えば公知の画像解析技術を用いて取得することが可能である。
また、第１推定とは、胚の発生段階（つまり、胚がどの細胞期の段階の状態であるか）を推定することを意味する。すなわち、第１推定は、タイムラプス画像において示されている胚の形態から、胚の発生段階を推定することである。図６は、胚の発生段階および各細胞期に対応する胚の画像の一例を示す図である。図６に示すように、１細胞期（1-cell stage）、２細胞期（2-cell stage）および４細胞期（4-cell stage）ごとに、それぞれ未分割または分割された胚の様子が示されている。
本実施形態に係る第１推定部２０２は、予め取得された胚についての事象と胚に係る撮像画像との関係について学習されたモデルに、取得した画像解析の結果を適用させることで、第１推定を行う。当該学習されたモデルとは、例えば、胚についての事象を目的変数とし、胚に係る撮像画像の画像解析の結果を説明変数として構築されたモデルである。かかる学習に係る技術は、例えばDeep Learning等によるニューラルネットワークなど、公知の技術であってもよい。取得したタイムラプス画像ごとにかかる第１推定を適宜行うことにより、タイムラプス画像の各々が示す胚の発生段階の推定結果（第１推定結果）が得られる。かかる第１推定結果は、タイムラプス画像の各々がいずれの胚の発生段階に該当するか否かの推定結果であってもよいし、当該タイムラプス画像の各々が胚の発生段階が各細胞期のいずれかに該当する確率を示すものであってもよい。
なお、胚についての第１推定結果は、上述した細胞期の分類に特に限られない。例えば、同一の細胞期であっても、卵割直後または直前であることを推定することが可能である場合、第１推定結果として、発生段階が細胞期の前期または後期にあるというような分類も可能である。また、胚以外の生物学的試料を本技術に適用する場合は、タイムラプス画像に基づいて当該生物学的試料についての事象を示す指標を推定することが第１推定となる。
第１推定部２０２は、第１推定結果を判定部２０６に出力する。
（動態解析部）
動態解析部２０３は、取得した動画像のフレーム間の変化に基づいて、胚の動態について解析する機能を有する。具体的には、動態解析部２０３は、動画像の各フレームについて胚に対応する関心領域を設定し、かかる関心領域内の複数の画像上における変化を解析する。ここでいう動態とは、胚の自律的な動きのみならず、胚の細胞質内における形態の変化も意味する。
関心領域は、画像の占める領域のうち、後段の解析処理における解析対象となる領域を意味する。本実施形態に係る関心領域は、画像に含まれる胚の内部に相当する領域である。胚の内部とは、具体的には、胚の中央部分に含まれる細胞質であってもよい。これにより、後段の解析処理等において、胚の細胞質の動きを特定することができる。なお、例えば、胚の形状の変化についても解析したい場合は、関心領域は、細胞質だけではなく、胚の透明膜（外界との界面に相当する部分）に相当する領域として設定されてもよい。
動態解析部２０３は、例えば、不図示の入力装置（例えば、マウス、タッチペン、タッチパネル等の公知の入力装置）に対するユーザの操作に基づいて、関心領域を設定してもよい。また、動態解析部２０３は、２値画像変換、ハフ変換、または機械学習等の公知のアルゴリズム等による任意の画像解析手法を用いて、関心領域を設定してもよい。また、動態解析部２０３は、一の画像について設定した関心領域の複数の画像上の動きをオプティカルフロー等のアルゴリズムに基づいて推定することにより、複数の画像について関心領域を設定してもよい。これにより、胚の内部の動きの解析対象である複数の画像について、自動的に関心領域が設定され得る。
また、動画像に対する関心領域の設定に係る処理は、例えば撮像装置１０など、他の情報処理機能を有する装置等により予め行われていてもよい。この場合、動態解析部２０３の関心領域の設定に係る機能は用いられなくてもよい。
動態解析部２０３は、設定された胚に係る関心領域の複数の画像上の変化を解析する機能を有する。関心領域の変化とは、複数の画像上における、例えば関心領域内の動き、または関心領域の形態の変化を意味する。関心領域内の動きは、当該関心領域に相当する胚の内部（細胞質）の動きに起因する動きを意味する。関心領域の形態の変化とは、当該関心領域に相当する胚の形状の変化、または胚の内部の態様の変化を意味する。これらの関心領域の変化の解析結果は動態特徴量として時系列に取得される。
これらの動態特徴量には、例えば、関心領域の形態の変化に基づく特徴量、関心領域内の動きに基づく特徴量、画像の画素情報の変化に基づく特徴量が含まれる。
関心領域の形態の変化に基づく特徴量としては、関心領域の面積、周囲長、真円度、長軸長もしくは短軸長、または輝度の平均値、ダイナミックレンジもしくは標準偏差の変化量が挙げられる。また、関心領域内の動きに基づく特徴量としては、関心領域内の動きの平均、加速度、標準偏差、移動距離、最大値、最小値または中央値等が挙げられる。また、画像の画素情報の変化に基づく特徴量としては、輝度ヒストグラムまたは周波数スペクトルの変化量が挙げられる。
本実施形態では、関心領域内の全動き量の平均値に基づくものを用いる。かかる動態特徴量は、精度向上のため、例えば、動き量に対して、動き方向の時間変化または動き量の標準偏差等の統計値による重みが付加されたものであってもよい。
かかる動態解析は、公知の技術を用いて行われ得る。例えば、関心領域内の動き量の算出のために、動きベクトルが解析されてもよい。かかる動きベクトルは、ブロックマッチング法または勾配法など、公知のアルゴリズムを用いて取得され得る。また、関心領域の形態の変化等は、画像の画素情報に基づいて、公知の技術により解析されてもよい。
図７は、本実施形態に係る動態解析部２０３による動き量の経時変化の一例を示すグラフである。図７に示すグラフは、受精卵の受精後に撮像を開始してから９０時間後までの動き量（動態特徴量の一例）の時系列データを示している。なお、図７に示す時系列データは、所定時間ごとの関心領域内の全動き量の平均値の時系列データである。当該グラフの背景には、参考として、胚の細胞期の区間が示されている。
動態解析部２０３は、動態解析により得られた動態特徴量を特徴量抽出部２０４に出力する。
（特徴量抽出部）
特徴量抽出部２０４は、取得した動態特徴量の時系列データから、所定の条件に基づき、後述する第２推定部２０５において用いられる情報を抽出する機能を有する。具体的には、本実施形態に係る特徴量抽出部２０４は、取得した動態特徴量の時系列データから、胚の卵割が起こり得るタイミングの候補となる時刻における動態特徴量の波形を抽出する。
例えば、胚は、１細胞期から２細胞期への卵割（細胞分裂）に起因する特徴的な振動を示すと言われている。また、胚は、２細胞期において、卵子由来の遺伝子発現に起因するといわれる振動を示すと言われている。このような特徴的な振動に対応する動態特徴量の波形を時系列データから抽出することにより、胚の卵割が発現した等、胚の特定の事象が生じたと考えられるタイミングの候補を絞ることができる。
特徴量抽出部２０４は、動態特徴量の経時変化に基づいて、抽出すべき動態特徴量の波形を特定してもよい。例えば、特徴量抽出部２０４は、ピーク検出により所定の条件を満たすピークを抽出してもよい。また特徴量抽出部２０４は、動態特徴量の時系列データをフーリエ変換して得られる所定の周波数に対応する波形を検出することにより、候補となる動態特徴量の波形を抽出してもよい。また、波形の相関解析により、候補となる動態特徴量の波形を抽出してもよい。特徴量抽出部２０４は、その他の公知の技術により、候補となる動態特徴量の波形を抽出することが可能である。抽出される動態特徴量の波形は、所定の大きさを有する時間窓における動態特徴量の時系列データにより表される波形であり得る。これにより、後段の第２推定部２０５において、波形のパターンに基づく第２推定が可能となる。
図８は、本実施形態に係る特徴量抽出部２０４による抽出処理の一例を示す図である。抽出されたピーク１００１ａ〜１００１ｅは、いずれも所定の条件を満たす波形を含むピークである。これらの波形は、上述したように、各細胞期における胚の形態の変化に起因する事象、または卵割等細胞期の遷移時期においてみられる胚の形態に起因する事象のいずれかに対応すると考えられる波形である。ただし、抽出されたピークが必ずしも胚の特定の事象の発生に起因するものとは限られず、ノイズが偶発的に抽出されることもあり得る。
また、特徴量抽出部２０４は、抽出した波形についてさらに解析を行って、当該波形に係る特徴量を抽出し、かかる特徴量を出力してもよい。この場合、波形に係る特徴量は第２の情報の一例に相当する。当該波形に係る特徴量は、例えば、抽出した波形についてフーリエ変換等を行って得られる周波数スペクトルのピーク位置、ピーク強度またはピーク幅等であってもよい。図９は、動態特徴量の波形についてフーリエ変換を行って得られた周波数スペクトルの例である。かかる周波数スペクトルから得られる波形に係る特徴量が、後段の第２推定部２０５で第２推定のために用いられ得る。
特徴量抽出部２０４は、抽出した動態特徴量の波形等に係る情報を第２推定部２０５に出力する。
（第２推定部）
第２推定部２０５は、抽出された動態特徴量の波形に係る情報から胚についての第２推定を行う機能を有する。本実施形態に係る第２推定部２０５は、第２情報取得部の一例である。第２推定部２０５は、例えば、抽出した動態特徴量の波形に係る情報から、卵割のタイミングの候補を決定する。すなわち、第２推定とは、動画像の動態解析に基づいて取得された動態特徴量から胚の卵割のタイミングの候補に分類することである。卵割のタイミングの候補とは、例えば、１細胞期から２細胞期への遷移に係る卵割、２細胞期から４細胞期への遷移に係る卵割等がある。
本実施形態に係る第２推定部２０５は、予め取得された胚についての事象と動態特徴量（の波形）との関係について学習されたモデルに、取得した動態特徴量の波形を適用させることで、第２推定を行う。当該学習されたモデルとは、例えば、胚についての事象を目的変数とし、動態特徴量の波形を説明変数として構築されたモデルであり得る。かかる学習に係る技術も、第１推定部２０２と同様に、公知の技術であってもよい。抽出された動態特徴量の波形の各々についてかかる第２推定を行うことにより、卵割があったと予測されるタイミングの推定結果（第２推定結果）が得られる。かかる第２推定結果は、動態特徴量の波形の各々がいずれの卵割のタイミングに該当するか否かの推定結果であってもよいし、当該動態特徴量の波形の各々が卵割のタイミングの各々に該当する確率を示すものであってもよい。
また、第２推定部２０５は、特徴量抽出部２０４から動態特徴量の波形に係る特徴量を取得している場合、かかる特徴量を用いて第２推定を行ってもよい。図１０は、本実施形態に係る第２推定部２０５による波形に係る特徴量を用いた第２推定処理の例を示すグラフである。図１０に示すように、第２推定部２０５は、波形に係る特徴量を複数取得した場合、かかる特徴量をマッピングすることにより、第２推定結果を得ることができる。例えば、図１０に示した例では、２つの特徴量（Ｆ．Ｖ．１、Ｆ．Ｖ．２）により定まるプロット１１０１の位置から、第２推定結果は「２細胞期」となる。また、第２推定部２０５は、上述したような胚についての事象（胚の発生段階）を目的変数として、波形に係る特徴量を説明変数とするモデルを用いて第２推定を行うものであってもよい。
なお、胚についての第２推定結果は、上述した卵割のタイミングの候補の分類に限られない。例えば、特定の発生段階における胚が示す特徴的な動きに対応する波形を抽出可能な場合は、第２推定結果として、卵割のタイミングに限らず、細胞期の候補の分類も可能である。また、胚以外の生物学的試料を本技術に適用する場合は、動画像における変化に基づいて当該生物学的試料についての事象を示す指標を推定することが第２推定となる。
第２推定部２０５は、第２推定結果を判定部２０６に出力する。
（判定部）
判定部２０６は、第１情報および第２情報を用いて、胚についての事象を判定する機能を有する。本実施形態において、第１情報は第１推定結果に相当し、第２情報は第２推定結果に相当する。また、本実施形態においては、胚についての事象は、胚の卵割のタイミングに相当する。すなわち、本実施形態に係る判定部２０６は、第１推定結果および第２推定結果を用いて、胚の卵割のタイミングを判定する。
判定部２０６は、例えば、第１推定結果と第２推定結果とを照合させて得られる尤度に基づいて胚の卵割のタイミングを判定してもよい。具体的に説明すると、判定部２０６は、タイムラプス画像ごとに得られた第１推定結果の示す発生段階に対応する細胞期と、抽出された動態特徴量の波形ごとに得られた第２推定結果の示す卵割のタイミングの候補とを突合せて、第２推定結果として得られた候補のうち、尤度が最も高くなる候補を、卵割のタイミングとして判定する。
例えば、タイムラプス画像について、第１推定部２０２により１細胞期または２細胞期のいずれかと推定された画像が混在する時間帯において、第２推定部２０５により１細胞期から２細胞期への卵割のタイミングの候補であると推定された場合、当該候補が卵割のタイミングとして尤もらしいということになる。逆に、１細胞期から２細胞期への卵割のタイミングの候補が複数存在している場合においても、そのうちの一つが１細胞期と２細胞期との推定が混在している時間帯であれば、かかる候補が卵割のタイミングとして尤もらしいということになる。
従来、タイムラプス画像のみ、または動態解析の結果のみでは、複数の細胞期との境目が曖昧であったり、ノイズによる類似波形の誤検出により卵割のタイミングの候補が多数抽出されたりなど、機械的に胚の卵割のタイミングを精度よく特定することが困難であった。本実施形態に係る判定部２０６によれば、第１推定結果と第２推定結果とを照合させることで、尤もらしい卵割のタイミングを特定することが可能となる。すなわち、生物学的試料についての複数の画像のうち、静止画像（フレームの画像）から得られる当該生物学的試料の形態に係る情報と、動画像（所定期間における複数の画像）のフレーム間の変化から得られる当該生物学的試料の動態に係る情報とを併せて用いることで、生物学的試料についての事象をより高い精度で明らかにすることが可能となる。
なお、本実施形態では、生物学的試料についての事象を判定することの例として、胚の卵割のタイミングの判定について説明したが、本技術はかかる例に限定されない。胚以外の生物学的試料を本技術に適用する場合であっても、当該生物学的試料のタイムラプス画像から得られる第１情報（第１推定結果等）および動態解析から得られる第２情報（第２推定結果等）を用い合わせることにより、タイムラプス画像のみや動態解析では不十分だった生物学的試料についての事象の判定を高精度で行うことが可能となる。例えば、タイムラプス画像だけでは一見生物学的試料の形態が何ら変化してないような場合であっても、当該生物学的試料の細胞質において動態が変化しているということがあった。そのため、タイムラプス画像のみでは見過ごしていた現象が存在していた。また、タイムラプス画像から得られる形態の変化が一見同様であっても、それが生物学的試料の成長に起因するか、変性に起因するかを判定することは困難であった。本実施形態に係る技術によれば、このような生物学的試料の形態の変化を、動態解析の結果から補完的に判別することが可能となる。
判定部２０６は、判定結果を出力制御部２０７に出力する。
（出力制御部）
出力制御部２０７は、制御部２００Ａにおける処理による出力を制御する機能を有する。例えば、出力制御部２０７は、取得した複数の画像の全部または一部を記憶部２２０に記憶し、または通信部２１０を介して外部の表示装置等に出力し得る。また、出力制御部２０７は、判定部２０６による判定結果を、記憶部２２０にそのままのデータとして、または外部の表示装置等に可視化されたデータ（例えばグラフ等）として出力し得る。
＜２．２．処理例＞
以上、本実施形態に係る情報処理装置２０Ａの構成および機能について説明した。次に、本実施形態に係る情報処理装置２０Ａによる処理の一例について、図１１を用いて説明する。
図１１は、本開示の第１の実施形態に係る情報処理装置２０Ａによる処理の一例を示すフローチャートである。図１１に示すフローチャートは、情報処理装置２０Ａが、時系列に撮像された胚に係るタイムラプス画像および動画像を撮像装置１０から取得し、タイムラプス画像および動画像のそれぞれについて推定処理を行い、かかる推定結果を用いて胚の卵割のタイミングを判定するまでの処理の流れの一例を示す。
まず、画像取得部２０１は、通信部２１０を介して時系列に撮像された胚に係るタイムラプス画像および動画像を撮像装置１０から取得する（ステップＳ１０１）。
次に、第１推定部２０２は、取得したタイムラプス画像についての第１推定を行う（ステップＳ１０３）。第１推定結果は、判定部２０６に出力される。
ステップＳ１０３に係る処理に並行して、動態解析部２０３は、動画像について動態解析を行い、動態特徴量の時系列データを取得する（ステップＳ１０５）。そして、特徴量抽出部２０４は、動態特徴量の時系列データにより表される波形から、所定の条件に基づいて動態特徴量の波形を抽出する（ステップＳ１０７）。所定の条件とは、上述したように、胚の卵割に起因する胚の動態を示す波形を抽出するための条件である。
次に、第２推定部２０５は、抽出された動態特徴量の波形についての第２推定を行う（ステップＳ１０９）。第２推定結果は、判定部２０６に出力される。
次に、判定部２０６は、第１推定結果と第２推定結果とを照合させて得られる尤度が最も高くなる場合の卵割タイミングの候補を、卵割タイミングとして判定する（ステップＳ１１１）。そして、出力制御部２０７は、得られた判定結果等の出力を制御する（ステップＳ１１３）。
以上、本実施形態に係る情報処理装置２０Ａによる処理の一例について説明した。なお、図１１に示すフローチャートは、観察対象とする胚の発生段階に相当する期間における全ての画像を取得した後に行うポスト処理を想定としたフローを示している。例えば、ステップＳ１０１〜Ｓ１１３に示した処理を適宜繰り返し実施することにより、かかる処理をリアルタイムで行うことが可能となる。リアルタイムで卵割のタイミングを判定することができれば、胚の成長の成否等を早期に判断することが可能となる。
以上、本開示の第１の実施形態について説明した。本開示の第１の実施形態は、動態解析より得られたデータが、実験全体を通じて何らかの傾向を有している場合に特に有効であると想定される。上記の傾向には、動き量が徐々に現象していく場合や、イベント（事象）発生のタイミングで明確な動態特徴量が観察される場合などが挙げられる。例えば、がん細胞の細胞死（アポトーシス）においては、イベント発生の約１０時間前から徐々に動き量が明確に減少していく様子が観察されている。また、形態変化時において動き量が顕著に上昇することも観察されている。なお、本開示の第１の実施形態は、動態解析によるデータの取得量が比較的少ない場合にも優位な効果を発揮する。
＜＜３．第２の実施形態＞＞
次に、図１２〜図１４を参照して、本開示の第２の実施形態について説明する。本実施形態に係る情報処理装置２０Ｂは、タイムラプス画像の各々について画像解析を行って画像特徴量を取得し、タイムラプス画像に係る画像特徴量と、当該タイムラプス画像の撮像時刻を基準とする区間に含まれる動画像の動態特徴量の波形とに基づいて、胚の発生段階および卵割のタイミングの判定を行うものである。
＜３．１．構成例＞
図１２は、本開示の第２の実施形態に係る情報処理装置２０Ｂの機能構成例を示す機能ブロック図である。図１２に示すように、本実施形態に係る情報処理装置２０Ｂは、制御部２００Ｂ、通信部２１０および記憶部２２０を備える。通信部２１０および記憶部２２０の機能は第１の実施形態と同様であるので、説明を省略する。なお、本実施形態に係る画像特徴量取得部２５１は第１情報取得部の一例であり、本実施形態に係る特徴量抽出部２０４は第２情報取得部の一例である。
制御部２００Ｂは、図１２に示すように、画像取得部２０１、動態解析部２０３、特徴量抽出部２０４、判定部２０６、出力制御部２０７および画像特徴量取得部２５１の各機能を含む。本実施形態では、画像特徴量取得部２５１、特徴量抽出部２０４および判定部２０６について説明する。その他の各機能部の有する機能は第１の実施形態と同様であるので、説明を省略する。
（画像特徴量取得部）
画像特徴量取得部２５１は、取得したタイムラプス画像の各々について画像解析を行い、当該タイムラプス画像の画像特徴量を当該タイムラプス画像ごとに取得する機能を有する。画像特徴量は、例えば、画像の輝度の定量値もしくは輝度に基づく統計値、または輝度ヒストグラムもしくは周波数スペクトル等の、画素に係る情報の分布に基づく値を含む。画像特徴量は、例えば公知の画像解析技術を用いて取得することが可能である。かかる画像特徴量は、第１情報の一例である。
画像特徴量取得部２５１は、取得した画像特徴量に係る情報を判定部２０６に出力する。
（特徴量抽出部）
本実施形態に係る特徴量抽出部２０４は、動態解析部２０３から取得した動態特徴量の時系列データから、タイムラプス画像の撮像時刻における動態特徴量を抽出する。より具体的には、特徴量抽出部２０４は、タイムラプス画像の撮像時刻を基準とする時間窓に含まれる動態特徴量の波形を抽出する。かかる動態特徴量（の波形）は、第２情報の一例である。
図１３は、本実施形態に係る特徴量抽出部２０４の機能を説明するための図である。かかる図に表示されたグラフは、図７および図８に示したグラフと同一である。特徴量抽出部２０４は、タイムラプス画像の撮像時刻Ｔ１を基準とする時間窓Ｗ１に含まれる動態特徴量の波形を抽出する。かかる時間窓Ｗ１の大きさは特に限定されないが、波形の特徴を十分に得ることが可能な大きさであることが好ましい。
特徴量抽出部２０４は、タイムラプス画像の各々の撮像時刻を基準とする時間窓に含まれる動態特徴量の波形を抽出し、抽出した波形を判定部２０６に出力してもよい。また、特徴量抽出部２０４は、抽出した波形についてさらに解析を行って、当該波形に係る特徴量を抽出し、かかる特徴量を出力してもよい。この場合、波形に係る特徴量は第２の情報の一例に相当する。当該波形に係る特徴量は、例えば、抽出した波形についてフーリエ変換等を行って得られる周波数スペクトルのピーク位置、ピーク強度またはピーク幅等であってもよい。なお、かかる解析処理は、後段の判定部２０６において行われてもよい。
（判定部）
本実施形態に係る判定部２０６は、画像特徴量（第１情報）と動態特徴量の波形等（第２情報）とを一つのクラスタとしての組み合わせに基づいて、胚についての事象を判定する。
例えば、判定部２０６は、予め取得された胚についての事象と、画像特徴量および動態特徴量等との関係について学習されたモデルに、取得した画像特徴量および動態特徴量等を適用させることにより、胚についての事象を判定する。学習されたモデルとは、具体的には、胚についての事象を目的変数とし、画像特徴量および動態特徴量の波形（または波形に係る特徴量）を説明変数として構築されたモデルであり得る。かかる学習に係る技術は、例えばDeep Learning等によるニューラルネットワークなど、公知の技術であってもよい。
胚についての事象とは、例えば、胚の発生段階を示す細胞期、および胚の状態を表す指標等であり得る。具体的には、胚についての事象として、１細胞期、２細胞期、３細胞期、４細胞期、胚盤胞、変性胚およびその他等が挙げられる。タイムラプス画像の撮像時刻ごとにこれらの事象について判定することにより、事象が変化する境目を、胚の卵割のタイミングとして判定することができる。
本実施形態によれば、タイムラプス画像から得られる画像特徴量と、タイムラプス画像の撮像時刻に対応する動態特徴量とを用いる、胚についての事象を判定する技術が実現される。胚の形態および動態から得られる特徴量を総合的に解析することで、胚についての事象の判定精度を向上させることができる。
＜３．２．処理例＞
以上、本実施形態に係る情報処理装置２０Ｂの構成および機能について説明した。次に、本実施形態に係る情報処理装置２０Ｂによる処理の一例について、図１４を用いて説明する。
図１４は、本開示の第２の実施形態に係る情報処理装置２０Ｂによる処理の一例を示すフローチャートである。図１４に示すフローチャートは、情報処理装置２０Ｂが、時系列に撮像された胚に係るタイムラプス画像および動画像を撮像装置１０から取得し、タイムラプス画像および動画像のそれぞれについて特徴量を取得し、かかる特徴量を組み合わせて胚の発生段階等を判定するまでの処理の流れの一例を示す。
まず、画像取得部２０１は、通信部２１０を介して時系列に撮像された胚に係るタイムラプス画像および動画像を撮像装置１０から取得する（ステップＳ２０１）。
次に、画像特徴量取得部２５１は、取得したタイムラプス画像ごとの画像特徴量を取得する（ステップＳ２０３）。取得した画像特徴量に係る情報は、判定部２０６に出力される。
ステップＳ２０３に係る処理に並行して、動態解析部２０３は、動画像について動態解析を行い、動態特徴量の時系列データを取得する（ステップＳ２０５）。そして、特徴量抽出部２０４は、動態特徴量の時系列データにより表される波形から、タイムラプス画像の撮像時刻を基準とする時間窓に含まれる動態特徴量の波形を抽出する（ステップＳ２０７）。抽出した動態特徴量の波形に係る情報は、判定部２０６に出力される。
次に、判定部２０６は、画像特徴量と動態特徴量の波形との組み合わせに基づいて、タイムラプス画像の各撮像時刻における胚の発生段階を判定する（ステップＳ２０９）。そして、出力制御部２０７は、得られた判定結果等の出力を制御する（ステップＳ２１１）。
以上、本実施形態に係る情報処理装置２０Ｂによる処理の一例について説明した。なお、図１４に示すフローチャートは、観察対象とする胚の発生段階に相当する期間における全ての画像を取得した後に行うポスト処理を想定としたフローを示している。例えば、ステップＳ２０１〜Ｓ２１１に示した処理を適宜繰り返し実施することにより、かかる処理をリアルタイムで行うことが可能となる。リアルタイムで胚の発生段階を判定することができれば、胚の成長の成否等を早期に判断することが可能となる。
以上、本開示の第２の実施形態について説明した。本開示の第２の実施形態は、イベント発生の前後における動態特徴量が異なる場合に特に有効であると想定される。上記の動的特徴量は、例えば、周期的に観察される特徴量であってもよい。例えば、受精卵の場合、１５分おきに数日間観察し動態解析を行った結果から、状態に応じて動き量に周期的な特徴が見られることが示唆されている。また、第２の実施形態は、種々の要因により第２推定が精度高く実施できない場合にも有効である。上記の要因には、例えば、信号が小さい、ノイズが大きい、第２推定を行うための明確な動態特徴量が存在しない、などの状況が挙げられる。また、試料の状態によっては、動態解析による特徴量の抽出が困難な場合もある。なお、動態解析によるデータの取得量が多い場合や取得頻度が高い場合にあっても、第２の実施形態は効果を発揮する。
＜＜４．第３の実施形態＞＞
次に、図１５〜図１７を参照して、本開示の第３の実施形態について説明する。本実施形態に係る情報処理装置２０Ｃは、タイムラプス画像の各々について推定される胚についての事象の第１推定結果とともに、当該タイムラプス画像の撮像時刻を基準とする区間に含まれる動画像の動態特徴量の波形から推定される胚についての事象の第２推定結果とに基づいて、胚の発生段階および卵割のタイミングの判定を行うものである。
＜４．１．構成例＞
図１５は、本開示の第３の実施形態に係る情報処理装置２０Ｃの機能構成例を示す機能ブロック図である。図１５に示すように、本実施形態に係る情報処理装置２０Ｃは、制御部２００Ｃ、通信部２１０および記憶部２２０を備える。通信部２１０および記憶部２２０の機能は第１の実施形態と同様であるので、説明を省略する。
制御部２００Ｃは、図１５に示すように、画像取得部２０１、第１推定部２０２、動態解析部２０３、特徴量抽出部２０４、第２推定部２０５、判定部２０６および出力制御部２０７の各機能を含む。本実施形態では、第１推定部２０２および特徴量抽出部２０４について説明する。その他の各機能部の有する機能は第１の実施形態と同様であるので、説明を省略する。なお、本実施形態に係る第１推定部２０２は第１情報取得部の一例であり、本実施形態に係る第２推定部２０５は第２情報取得部の一例である。
（第１推定部）
第１推定部２０２は、第１の実施形態と同様に、タイムラプス画像の各々について胚についての事象（ここでは胚の発生段階）の第１推定を行う。ここで得られた第１推定結果は、判定部２０６に出力される。なお、詳しくは後述するが、かかる第１推定結果は、特徴量抽出部２０４に出力されてもよい。
（特徴量抽出部）
本実施形態に係る特徴量抽出部２０４は、動態解析部２０３から取得した動態特徴量の時系列データから、タイムラプス画像の撮像時刻における動態特徴量を抽出する。より具体的には、特徴量抽出部２０４は、タイムラプス画像の撮像時刻を基準とする時間窓に含まれる動態特徴量の波形を抽出する。かかる動態特徴量（の波形）は、第２情報の一例である。
ここで、特徴量抽出部２０４が抽出する動態特徴量（の波形）は、全てのタイムラプス画像の撮像時刻に対応するものであってもよいし、一部のタイムラプス画像の撮像時刻に対応するものであってもよい。具体的には、特徴量抽出部２０４は、第１推定部２０２により得られた第１推定結果に基づいて抽出対象とするタイムラプス画像の撮像時刻を選択して、選択された撮像時刻に対応する動態特徴量（の波形）を抽出してもよい。
図１６は、本実施形態に係る特徴量抽出部２０４による抽出処理の一例を説明するための図である。図１６に示すグラフは、それぞれ受精卵の受精後に撮像を開始してから９０時間後までの動態特徴量の時系列データの一例を示す。また、グラフの下部には、第１推定部２０２によるタイムラプス画像の各々についての第１推定結果（発生段階に相当する細胞期）が示されている。
特徴量抽出部２０４は、グラフの動態特徴量の時系列データから、タイムラプス画像の各々の撮像時刻を基準とする時間窓Ｗ２に含まれる動態特徴量の波形を抽出する。ここで、特徴量抽出部２０４は、第１推定部２０２により得られた第１推定結果を用いて、抽出対象の時刻を特定してもよい。図１６に示す例では、第１推定結果が１細胞期から２細胞期に変わった時刻（又はその逆）が抽出対象の時刻とされてもよい。かかる時刻では卵割等の事象が生じている可能性が高いためである。第１推定結果を用いることにより、抽出対象となる動態特徴量の波形の数を限定できるので、処理にかかる負担を低減することができる。
また、特徴量抽出部２０４は、第２の実施形態と同様に、抽出した動態特徴量の波形についてフーリエ変換等の解析処理を行い、波形に係る特徴量を抽出してもよい。この場合、波形に係る特徴量は第２の情報の一例に相当する。例えば、波形に係る特徴量は、上述したように、周波数スペクトルのピーク位置、ピーク強度またはピーク幅であってもよい。なお、かかる解析処理は、後段の第２推定部２０５において行われてもよい。
第２推定部２０５および判定部２０６による処理は、第１の実施形態に係る各機能部による処理と同様である。例えば、第２推定部２０５は、抽出された動態特徴量の波形等に基づいて卵割のタイミングの候補を第２推定結果として推定し、判定部２０６は、第１推定結果および第２推定結果に基づいて胚の卵割のタイミングを判定してもよい。
本実施形態によれば、タイムラプス画像により推定される情報と、タイムラプス画像の撮像時刻に対応する動態特徴量とを用いることで、胚についての事象を判定する技術が実現される。また、タイムラプス画像により推定される情報を動態特徴量の抽出に用いることにより、卵割が発生している可能性の高い時間帯のみを解析対象とすることができ、情報処理システム１における処理の負担が軽減され得る。
＜４．２．処理例＞
以上、本実施形態に係る情報処理装置２０Ｃの構成および機能について説明した。次に、本実施形態に係る情報処理装置２０Ｃによる処理の一例について、図１７を用いて説明する。
図１７は、本開示の第３の実施形態に係る情報処理装置２０Ｃによる処理の一例を示すフローチャートである。図１７に示すフローチャートは、情報処理装置２０Ｃが、時系列に撮像された胚に係るタイムラプス画像および動画像を撮像装置１０から取得し、タイムラプス画像および動画像のそれぞれについて推定処理を行い、かかる推定結果を用いて胚の卵割のタイミングを判定するまでの処理の流れの一例を示す。
まず、画像取得部２０１は、通信部２１０を介して時系列に撮像された胚に係るタイムラプス画像および動画像を撮像装置１０から取得する（ステップＳ３０１）。
次に、第１推定部２０２は、取得したタイムラプス画像についての第１推定を行う（ステップＳ３０３）。第１推定結果は、特徴量抽出部２０４および判定部２０６に出力される。
ステップＳ３０３に係る処理に並行して、動態解析部２０３は、動画像について動態解析を行い、動態特徴量の時系列データを取得する（ステップＳ３０５）。そして、特徴量抽出部２０４は、動態特徴量の時系列データにより表される波形から、動態特徴量の波形を抽出する（ステップＳ３０７）。ここで、本実施形態においては、第１推定結果に基づいて特定される時刻（タイムラプス画像の撮像時刻）を基準とする区間に含まれる動画像の動態特徴量の波形が抽出される。
次に、第２推定部２０５は、抽出された動態特徴量の波形についての第２推定を行う（ステップＳ３０９）。第２推定結果は、判定部２０６に出力される。
次に、判定部２０６は、第１推定結果と第２推定結果とを照合させて得られる尤度が最も高くなる場合の卵割タイミングの候補を、卵割タイミングとして判定する（ステップＳ３１１）。そして、出力制御部２０７は、得られた判定結果等の出力を制御する（ステップＳ３１３）。
以上、本実施形態に係る情報処理装置２０Ｃによる処理の一例について説明した。なお、図１７に示すフローチャートは、観察対象とする胚の発生段階に相当する期間における全ての画像を取得した後に行うポスト処理を想定としたフローを示している。例えば、ステップＳ３０１〜Ｓ３１３に示した処理を適宜繰り返し実施することにより、かかる処理をリアルタイムで行うことが可能となる。リアルタイムで胚の発生段階を判定することができれば、胚の成長の成否等を早期に判断することが可能となる。
以上、本開示の第３の実施形態について説明した。本開示の第３の実施形態は、第１の実施形態および第２の実施形態と比較してリアルタイム性が高く、また解析に要するコストが低いという優位性を持つ。
＜＜５．第４の実施形態＞＞
次に、図１８〜図２９を参照して、本開示の第４の実施形態について説明する。上記の第１〜第３の実施形態では、生物学的試料の一例として胚を用いる場合の一例を主に説明した。しかし、本開示における生物学的試料は、かかる例に限定されない。本開示における生物学試料は、医療または学術の観点において、生命現象の観察に用いられる種々の試料を含む。
本開示における生物学的試料は、例えば、がん細胞であってもよい。例えば、がん細胞では、細胞分裂や細胞死などのイベントが発生する前後において、それぞれ特徴的な形態変化が観察され得る。そこで、本開示の第４の実施形態では、生物学的試料として、がん細胞を用いる場合の一例について詳細に説明する。
なお、以下においては、第１の実施形態における情報処理装置２０Ａの構成および機能に基づいて説明を行う。このため、本実施形態では、情報処理装置２０の構成および処理にかかる詳細な説明は省略する。また、本開示の第４の実施形態は、第２の実施形態または第３の実施形態との組み合わせとして実現することも可能である。
まず、がん細胞にかかるイベントの発生について説明する。上述したように、がん細胞では、細胞分裂や細胞死などのイベントに伴う特徴的な形態変化が観察され得る。
まず、図１８および図１９を参照して、がん細胞のイベント発生に伴う形態変化について説明する。図１８および図１９は、骨芽細胞腫Ｕ２ＯＳ細胞を撮像したタイムラプス画像の一例である。図１８および図１９の左側の画像は、撮像開始直後のタイムラプス画像を、右側の画像は、撮像開始から１８時間後のタイムラプス画像をそれぞれ示している。
なお、図１８は、薬剤の添加を行わずに撮像したタイムラプス画像であるのに対し、図１９は、細胞死（アポトーシス）の誘発効果を有する薬剤を添加し、当該薬剤の効果を観察したタイムラプス画像である。ここでは、５ｆｐｓ、倍率×２０の条件で１時間おきに撮像を行った。
ここで、薬剤添加を行っていない図１８に着目すると、左右の画像において、一部の細胞が丸みを帯びた形態に変化していることがわかる。上記の形態変化は、細胞の形態変化のために位相差像が変化することから、画像上において白くはっきりと映し出されている。このように、細胞分裂においては、イベント発生の前に特徴的な形態変化が観察され得る。
一方、細胞死を誘発する薬剤を添加した図１９に着目すると、１８時間後に撮像された右側の画像では、薬剤の効果により細胞死したがん細胞の形態変化が観察されている。一般に細胞死では、細胞の収縮と細胞質の激しい流動が起こった数時間後に形態変化が観察されなくなることから細胞死であることが判断され得る。
一方、細胞死の場合、細胞死前に起こる形態変化がわかりづらい場合や、細胞死と判断できるまでに目視に時間を要する場合もある。また、細胞分裂の場合であっても、細胞死と類似した形態特徴を示す場合も多々見受けられる。このため、タイムラプス画像における形態変化のみから細胞分裂および細胞死を判別することは困難な場合が多く、誤った判別が行われる要因となり得る。
そこで、本開示の第４の実施形態では、タイムラプス画像とともに、動態解析により得られる動き量の時系列データを用いることで、上記の判別精度を向上させることができる。
図２０は、本実施形態に係るがん細胞の動態解析について説明するための図である。本実施形態における動態解析では、がん細胞の形状や位置に基づいて手動または自動で設定された関心領域において動き量の時経変化を観察した。図２０には、撮像された動画像における関心領域ＲＯＩの時経変化が示されている。
なお、図２０においては、上段左が撮像開始直後の画像を、上段中央が撮像開始後１時間後の画像を、上段右が撮像開始後１０時間後の画像をそれぞれ示している。また、下段左は、細胞分裂の前に観察される形態変化をとらえた画像、下段中央は、細胞分裂時の画像をそれぞれ示している。また、本実施形態では、細胞質の流動が検出された領域（動き領域: Motion area）を、関心領域ＲＯＩ内において細胞領域として検出された領域（解析領域: Analysis area）で除算した値を動き量として用いた。
図２１は、上記の解析により得られた動態解析結果の一例を示す図である。図２１に示す動態解析結果では、以下の４つに分類したがん細胞にかかる動き量の平均と標準誤差の時経変化が、イベントの発生が観察された１０時間前から１時間ごとに示されている（ただし、Contolについては、撮像開始から１０時間のデータ）。
（１）細胞死も細胞分裂もしなかったがん細胞（Control）
（２）細胞死したがん細胞（グループ１）
（３）細胞死したがん細胞（グループ２）
（４）細胞分裂したがん細胞
なお、上記の分類は、静止画像において観察した際における形態変化の特徴に基づいて行った。また、細胞死したがん細胞については、形態変化の特徴の違いからグループ１およびグループ２の２つに細分化した。
ここで、図２１の動態解析結果に着目すると、分類ごとに、イベント発生前における動き量に異なる傾向が観察され得ることがわかる。例えば、細胞死したがん細胞（グループ２）と細胞分裂したがん細胞とでは、イベント発生前の動き量の傾向が大きく異なっている。
ここで、図２２〜図２４を参照して、細胞死したがん細胞（グループ２）と細胞分裂したがん細胞とについて、単一の細胞の動態解析結果および形態変化を比較する。図２２は、単一の細胞死したがん細胞（グループ２）の動態解析結果を示す図である。また、図２３は、単一の細胞分裂したがん細胞の動態解析結果を示す図である。図２２および図２３を比較すると、個々の細胞に着目した場合であっても、２つの分類間には明確な差異が観察され得ることがわかる。このように、がん細胞にかかるイベント判別においても、動態解析結果は有効な基準となり得る。
一方、図２４は、単一の細胞死したがん細胞（グループ２）Ｃａ２の形態変化を撮像したタイムラプス画像であり、図２５は、単一の細胞分裂したがん細胞Ｃｄの形態変化を撮像したタイムラプス画像である。図２４および図２５を比較すると、両分類においては、イベントの発生前において、類似した形態変化が観察され得ることがわかる。
このため、タイムラプス画像のみからでは、イベント発生前において上記２つの分類を判別することは困難であり、また正確な判別を行うためには、イベントが完全に完了するまで観察を継続することが求められる。
このことから、本実施形態にかかる情報処理装置２０は、形態変化および動態解析結果の両者に基づいたイベント判別を実行してよい。本実施形態にかかる情報処理装置２０によれば、動態解析結果を用いることで、形態変化のみからでは判別が困難な場合であっても、がん細胞にかかるイベント判別を高精度かつ短時間で実現することが可能となる。
一方、図２２〜図２５に示した例とは反対に、動態解析結果からのみでは、イベントの判別が困難である場合も存在する。例えば、図２１に示した動態解析結果において、細胞死も細胞分裂もしなかったがん細胞（Control）と細胞死したがん細胞（グループ１）の動き量を比較すると、２つの分類間には、ほぼ差異が存在しないように見受けられる。
ここで、図２６〜図２９を参照して、細胞死も細胞分裂もしなかったがん細胞（Control）と細胞死したがん細胞（グループ１）とについて、単一の細胞の動態解析結果および形態変化を比較する。図２６は、単一の細胞死も細胞分裂もしなかったがん細胞（Control）の動態解析結果を示す図である。また、図２７は、単一の細胞死したがん細胞（グループ１）の動態解析結果を示す図である。図２６および図２７を比較すると、個々の細胞に着目した場合であっても、２つの分類間に明確な差異は観察されないことがわかる。
一方、図２８は、単一の細胞死も細胞分裂もしなかったがん細胞（Control）Ｃｃを撮像したタイムラプス画像であり、図２９は、細胞死したがん細胞（グループ１）Ｃａ１の形態変化を撮像したタイムラプス画像である。図２８および図２９を比較すると、細胞死したがん細胞（グループ１）Ｃａ１では、細胞死の前に特徴的な形態変化が観察されるのに対し、細胞分裂もしなかったがん細胞（Control）Ｃｃでは、類似する形態変化は観察されないことがわかる。
このように、比較するイベントの種類によっては、動態解析結果よりも形態変化の観察結果が有効である場合もある。しかし、この場合であっても、本実施形態に係る情報処理装置２０は、動態解析結果と形態変化の両者に基づく推定を行うことにより、形態変化のみに依る判別と比較し、より精度の高いイベント判別を実現することが期待される。
また、本実施形態にかかる情報処理装置２０は、動態解析結果および形態変化の観察結果を関連付けて繰り返し学習を行うことで、より汎化性の高いイベント判別能を獲得することが期待される。
例えば、情報処理装置２０は、タイムラプス画像のみに基づく判別を行い、当該判別の結果に対し動態解析結果に基づく報酬を得ることで強化学習を行ってもよい。本実施形態に係る情報処理装置２０が有する上記の学習機能によれば、タイムラプス画像のみを入力として、細胞分裂と細胞死を精度高く判別することも可能となる。
また、例えば、情報処理装置２０は、動態解析結果および形態変化の観察結果の両者に基づく判別結果や、目視による判別結果を教師とした教師あり学習を行うことも可能である。
本実施形態に係る情報処理装置２０は、例えば、ＣＮＮ（Convolution Neural Network）やＲＮＮ（Recurrent
Neural Network）などを含むDeep learning等のニューラルネットワークにより上記の学習を実現することができる。
以上説明したように、本開示の第４の実施形態に係る情報処理装置２０は、タイムラプス画像に基づく第１情報と、動画像に基づく第２情報を用いて、がん細胞のイベントを判定することが可能である。上記の第１情報は、例えば、がん細胞の形態変化に係る情報であってよい。また、上記の第２情報は、例えば、がん細胞の動態解析結果から得られる動き量の時経変化に係る情報であってもよい。
本実施形態に係る情報処理装置２０が有する上記の機能によれば、がん細胞にかかるイベント判別を高精度かつ短時間で実現することが可能となる。なお、本開示の第４の実施形態におけるがん細胞のイベント判別は、上述したように、第１〜第３の実施形態において説明した各処理と組み合わせて実現することが可能である。
＜＜６．ハードウェア構成例＞＞
次に、図３０を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図３０は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置２０を実現しうる。
情報処理装置９００は、ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態における情報処理装置２０に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。
接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
なお、ＣＰＵ９０１、ＲＯＭ９０３およびＲＡＭ９０５等は、上記実施形態に係る制御部２００の機能を実現し得る。また、上記のストレージ装置９１９は、上記実施形態に係る記憶部２２０の機能を実現し得る。また、上記の接続ポート９２５または通信装置９２９の少なくともいずれかは、上記実施形態に係る通信部２１０の機能を実現し得る。
以上、情報処理装置９００のハードウェア構成の一例を示した。
＜＜７．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理システム１は撮像装置１０と情報処理装置２０とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置１０が情報処理装置２０の有する機能（例えば、動態解析処理、特徴量抽出処理、各々の推定処理、または判定処理等）を備えてもよい。この場合、情報処理システム１は、撮像装置１０により実現される。また、情報処理装置２０が撮像装置１０の有する機能（撮像機能）を備えてもよい。この場合、情報処理システム１は、情報処理装置２０により実現される。また、情報処理装置２０の有する機能の一部を撮像装置１０が有してもよく、撮像装置１０の有する機能の一部を情報処理装置２０が有してもよい。
また、各実施形態に係る情報処理システム１は、生物学的試料の一例として胚を適用対象とした。この適用対象である胚は、ヒトの胚に限らず、マウス等のほ乳類の胚、ほ乳類以外の動物の胚、動物以外の多細胞生物の胚であってもよい。また、上述したように、本開示の一実施形態に係る情報処理システム１は、胚に限らず、細胞または生体組織などの生物学的試料全般に対して適用可能である。
なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムが格納された読取可能な記録媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、
所定期間における前記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、
前記第１情報および前記第２情報を用いて、前記生物学的試料についての事象を判定する判定部と
を備える情報処理装置。
（２）
前記第１情報は、前記静止画像に対する画像解析処理の結果から推定される前記生物学的試料の状態の第１推定結果を含む、前記（１）に記載の情報処理装置。
（３）
前記第１推定結果は、予め取得された生物学的試料についての前記事象と当該生物学的試料に係る画像との関係について学習されたモデルを用いて推定される、前記（２）に記載の情報処理装置。
（４）
前記第１情報は、前記静止画像に対する画像解析処理により得られる前記静止画像の特徴量を含む、前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記第２情報取得部は、前記生物学的試料に対応して設定される関心領域のフレーム間の変化に基づいて前記第２情報を取得する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記第２情報は、前記関心領域に係る動態解析の結果に基づいて得られる動態特徴量を含む、前記（５）に記載の情報処理装置。
（７）
前記第２情報は、前記動態特徴量の経時変化に基づいて特定される前記動態特徴量から得られる情報を含む、前記（６）に記載の情報処理装置。
（８）
前記第２情報は、前記所定の時刻を基準とする時間窓に含まれる前記動態特徴量から得られる情報を含む、前記（６）または（７）に記載の情報処理装置。
（９）
前記動態特徴量から得られる情報は前記動態特徴量の波形であり、
前記第２情報は、前記動態特徴量の波形の解析結果を含む、前記（７）または（８）に記載の情報処理装置。
（１０）
前記動態特徴量は、前記関心領域の形態の変化に基づく特徴量を含む、前記（６）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記動態特徴量は、前記関心領域内の動きに基づく特徴量を含む、前記（６）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記動態特徴量は、画像の画素情報に基づく特徴量を含む、前記（６）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記第２情報は、前記動態特徴量から推定される前記生物学的試料の状態の第２推定結果を含む、前記（６）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記第２推定結果は、予め取得された生物学的試料についての前記事象と当該生物学的試料についての前記動態特徴量との関係について学習されたモデルを用いて推定される、前記（１３）に記載の情報処理装置。
（１５）
前記判定部は、前記静止画像に対する画像解析処理の結果から推定される前記生物学的試料の状態の第１推定結果、および前記動態特徴量から推定される前記生物学的試料の状態の第２推定結果を用いて判定する場合、前記第１推定結果と前記第２推定結果とを照合させて得られる尤度に基づいて前記生物学的試料についての事象を判定する、前記（１３）または前記（１４）に記載の情報処理装置。
（１６）
前記判定部は、前記第１情報と前記第２情報との組み合わせに基づいて前記生物学的試料についての事象を判定する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記複数の画像は、前記所定の時刻を撮像開始時刻とする前記所定期間内において連続的に撮像された画像を含む、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
プロセッサが、
時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得することと、
所定期間における前記複数の画像のフレーム間の変化に基づいて第２情報を取得することと、
前記第１情報および前記第２情報を用いて、前記生物学的試料についての事象を判定することと
を含む情報処理方法。
（１９）
撮像により画像を生成する撮像部
を備える撮像装置と、
前記撮像部により時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、
所定期間における前記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、
前記第１情報および前記第２情報を用いて、前記生物学的試料についての事象を判定する判定部と
を備える情報処理装置と、
を有する情報処理システム。
１ 情報処理システム
１０ 撮像装置
２０ 情報処理装置
１０１ 撮像部
１０２ 撮像制御部
２００ 制御部
２０１ 画像取得部
２０２ 第１推定部
２０３ 動態解析部
２０４ 特徴量抽出部
２０５ 第２推定部
２０６ 判定部
２０７ 出力制御部
２１０ 通信部
２２０ 記憶部
２５１ 画像特徴量取得部

Claims (19)

  1. 時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、
    所定期間における前記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、
    前記第１情報および前記第２情報を用いて、前記生物学的試料についての事象を判定する判定部と
    を備える情報処理装置。
  2. 前記第１情報は、前記静止画像に対する画像解析処理の結果から推定される前記生物学的試料の状態の第１推定結果を含む、請求項１に記載の情報処理装置。
  3. 前記第１推定結果は、予め取得された生物学的試料についての前記事象と当該生物学的試料に係る画像との関係について学習されたモデルを用いて推定される、請求項２に記載の情報処理装置。
  4. 前記第１情報は、前記静止画像に対する画像解析処理により得られる前記静止画像の特徴量を含む、請求項１に記載の情報処理装置。
  5. 前記第２情報取得部は、前記生物学的試料に対応して設定される関心領域のフレーム間の変化に基づいて前記第２情報を取得する、請求項１に記載の情報処理装置。
  6. 前記第２情報は、前記関心領域に係る動態解析の結果に基づいて得られる動態特徴量を含む、請求項５に記載の情報処理装置。
  7. 前記第２情報は、前記動態特徴量の経時変化に基づいて特定される前記動態特徴量から得られる情報を含む、請求項６に記載の情報処理装置。
  8. 前記第２情報は、前記所定の時刻を基準とする時間窓に含まれる前記動態特徴量から得られる情報を含む、請求項６に記載の情報処理装置。
  9. 前記動態特徴量から得られる情報は前記動態特徴量の波形であり、
    前記第２情報は、前記動態特徴量の波形の解析結果を含む、請求項７に記載の情報処理装置。
  10. 前記動態特徴量は、前記関心領域の形態の変化に基づく特徴量を含む、請求項６に記載の情報処理装置。
  11. 前記動態特徴量は、前記関心領域内の動きに基づく特徴量を含む、請求項６に記載の情報処理装置。
  12. 前記動態特徴量は、画像の画素情報に基づく特徴量を含む、請求項６に記載の情報処理装置。
  13. 前記第２情報は、前記動態特徴量から推定される前記生物学的試料の状態の第２推定結果を含む、請求項６に記載の情報処理装置。
  14. 前記第２推定結果は、予め取得された生物学的試料についての前記事象と当該生物学的試料についての前記動態特徴量との関係について学習されたモデルを用いて推定される、請求項１３に記載の情報処理装置。
  15. 前記判定部は、前記静止画像に対する画像解析処理の結果から推定される前記生物学的試料の状態の第１推定結果、および前記動態特徴量から推定される前記生物学的試料の状態の第２推定結果を用いて判定する場合、前記第１推定結果と前記第２推定結果とを照合させて得られる尤度に基づいて前記生物学的試料についての事象を判定する、請求項１３に記載の情報処理装置。
  16. 前記判定部は、前記第１情報と前記第２情報との組み合わせに基づいて前記生物学的試料についての事象を判定する、請求項１に記載の情報処理装置。
  17. 前記複数の画像は、前記所定の時刻を撮像開始時刻とする前記所定期間内において連続的に撮像された画像を含む、請求項１に記載の情報処理装置。
  18. プロセッサが、
    時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得することと、
    所定期間における前記複数の画像のフレーム間の変化に基づいて第２情報を取得することと、
    前記第１情報および前記第２情報を用いて、前記生物学的試料についての事象を判定することと
    を含む情報処理方法。
  19. 撮像により画像を生成する撮像部
    を備える撮像装置と、
    前記撮像部により時系列に撮像された生物学的試料に係る複数の画像のうち所定の時刻に対応するフレームの静止画像に基づいて第１情報を取得する第１情報取得部と、
    所定期間における前記複数の画像のフレーム間の変化に基づいて第２情報を取得する第２情報取得部と、
    前記第１情報および前記第２情報を用いて、前記生物学的試料についての事象を判定する判定部と
    を備える情報処理装置と、
    を有する情報処理システム。
JP2018548615A 2016-11-02 2017-10-18 情報処理装置、情報処理方法及び情報処理システム Active JP7001060B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016215195 2016-11-02
JP2016215195 2016-11-02
JP2017184807 2017-09-26
JP2017184807 2017-09-26
PCT/JP2017/037683 WO2018083984A1 (ja) 2016-11-02 2017-10-18 情報処理装置、情報処理方法及び情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2018083984A1 true JPWO2018083984A1 (ja) 2019-09-19
JP7001060B2 JP7001060B2 (ja) 2022-01-19

Family

ID=62076632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548615A Active JP7001060B2 (ja) 2016-11-02 2017-10-18 情報処理装置、情報処理方法及び情報処理システム

Country Status (4)

Country Link
US (1) US11282201B2 (ja)
EP (1) EP3530725A4 (ja)
JP (1) JP7001060B2 (ja)
WO (1) WO2018083984A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3786277A4 (en) * 2018-05-25 2021-07-07 Sony Corporation CONTROL DEVICE, CONTROL METHOD AND PROGRAM
EP3834128A1 (en) * 2018-08-07 2021-06-16 Cornell University System and method for selecting artificially fertilized embryos
JP7172302B2 (ja) * 2018-08-31 2022-11-16 株式会社明電舎 汚水処理運転状況評価装置及び汚水処理運転状況評価方法
JP7359163B2 (ja) * 2019-01-23 2023-10-11 Jsr株式会社 判別装置、細胞塊の判別方法、及びコンピュータプログラム
US20220113260A1 (en) * 2019-02-01 2022-04-14 Nec Corporation Image processing apparatus
JP7243821B2 (ja) * 2019-05-29 2023-03-22 日本電気株式会社 学習装置、制御方法及びプログラム
JP2021158982A (ja) * 2020-03-31 2021-10-11 ソニーグループ株式会社 データ取得装置、データ取得方法及び生体試料観察システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085546A (ja) * 2011-10-24 2013-05-13 Nikon Corp 画像処理装置および方法、並びにプログラム
WO2014185169A1 (ja) * 2013-05-16 2014-11-20 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2015182381A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞判定装置および方法並びにプログラム
WO2016162945A1 (ja) * 2015-04-07 2016-10-13 オリンパス株式会社 細胞解析装置および細胞解析方法
WO2017169397A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101495619B (zh) 2006-06-16 2014-01-08 尤尼森斯繁殖技术公司 基于卵裂球分裂和运动的胚胎质量评估
CN105408746A (zh) 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085546A (ja) * 2011-10-24 2013-05-13 Nikon Corp 画像処理装置および方法、並びにプログラム
WO2014185169A1 (ja) * 2013-05-16 2014-11-20 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2015182381A1 (ja) * 2014-05-30 2015-12-03 富士フイルム株式会社 細胞判定装置および方法並びにプログラム
WO2016162945A1 (ja) * 2015-04-07 2016-10-13 オリンパス株式会社 細胞解析装置および細胞解析方法
WO2017169397A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法、及び画像処理システム

Also Published As

Publication number Publication date
EP3530725A4 (en) 2019-10-23
US11282201B2 (en) 2022-03-22
JP7001060B2 (ja) 2022-01-19
WO2018083984A1 (ja) 2018-05-11
EP3530725A1 (en) 2019-08-28
US20210287373A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
JP7001060B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US20180342078A1 (en) Information processing device, information processing method, and information processing system
EP3485458B1 (en) Information processing device, information processing method, and information processing system
US10929985B2 (en) System and methods for tracking motion of biological cells
JP2021507367A (ja) 胚の生存率を推定するためのシステムおよび方法
US11954926B2 (en) Image feature detection
JP2017092730A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11321836B2 (en) Image-processing device, image-processing method, and image-processing program for setting cell analysis area based on captured image
WO2018105298A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
JP2018171039A (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
EP3812448A1 (en) Information processing device, information processing method, program, and information processing system
EP3432269B1 (en) Information processing device, information processing method, program, and information processing system
JPWO2018179971A1 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
WO2023154851A1 (en) Integrated framework for human embryo ploidy prediction using artificial intelligence
JP7420069B2 (ja) 制御装置、制御方法、およびプログラム
US20220051154A1 (en) Method and apparatus for measuring plant trichomes
WO2018012353A1 (en) Information processing device, information processing method, and information processing system
Ivashchuk et al. Neural network methods for the detection of farm animals in dense dynamic groups on images
WO2017061080A1 (en) Information processing device, information processing method, and information processing system
Sawhney et al. Motion Enhanced Multi‐Level Tracker (MEMTrack): A Deep Learning‐Based Approach to Microrobot Tracking in Dense and Low‐Contrast Environments
Yu et al. An enhancement algorithm for head characteristics of caged chickens detection based on cyclic consistent migration neural network
Moreira NeuronDyn: live neurotransmitter vesicle movement dynamics in living neurons

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R151 Written notification of patent or utility model registration

Ref document number: 7001060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151