JP7036009B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7036009B2
JP7036009B2 JP2018523604A JP2018523604A JP7036009B2 JP 7036009 B2 JP7036009 B2 JP 7036009B2 JP 2018523604 A JP2018523604 A JP 2018523604A JP 2018523604 A JP2018523604 A JP 2018523604A JP 7036009 B2 JP7036009 B2 JP 7036009B2
Authority
JP
Japan
Prior art keywords
movement
information processing
cells
image
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018523604A
Other languages
English (en)
Other versions
JPWO2017221597A1 (ja
Inventor
嘉寧 呉
昌孝 篠田
健人 赤間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017221597A1 publication Critical patent/JPWO2017221597A1/ja
Application granted granted Critical
Publication of JP7036009B2 publication Critical patent/JP7036009B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M21/00Bioreactors or fermenters specially adapted for specific uses
    • C12M21/06Bioreactors or fermenters specially adapted for specific uses for in vitro fertilization
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)

Description

本技術は、受精卵等の移し替えに使用可能な情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1に記載されているように、不妊治療や生殖補助医療等の分野において、精子や受精卵等の検体の取り違えが問題となっている。特許文献1に記載の管理システムでは、電子ペンにより読取可能なドットパターンが印刷された識別票が、検体を収容する容器に貼付される。移し替えの作業が行われる場合には、電子ペンにより、移し替え元の容器及び移し替え先の容器に、必要な情報が記入される。その際に、識別票から読み取られた情報が端末装置に送信され、端末装置により移し替えが正しく行われたか否かが判定される。これにより電子ペンの記入よる作業者の目視によるチェックと、管理システムによる自動チェックとが併用され、信頼性の高い管理が可能とのことである(特許文献1の明細書段落[0002][0022][0023][0037]-[0045]図1等)。
特開2014-67216号公報
受精卵等の細胞の取り違えを防止することは非常に重要であり、所望の細胞を正しい位置に移動させることを可能とする有用な技術が求められている。
以上のような事情に鑑み、本技術の目的は、細胞の取り違え等を十分に防止可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、第1の抽出部と、第2の抽出部と、比較部とを具備する。
前記第1の抽出部は、移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出する。
前記第2の抽出部は、移動後の細胞の観察データから前記移動後の細胞の第2の特徴量を抽出する。
前記比較部は、前記抽出された第1及び第2の特徴量を互いに比較する。
この情報処理装置では、移動前の細胞の観察データから抽出された第1の特徴量と、移動後の細胞の観察データから抽出された第2の特徴量とが、互いに比較される。これにより移動前の細胞と移動後の細胞とが同じ細胞であるかが容易に判定可能となる。この結果、細胞の取り違え等を十分に防止することが可能となる。
前記細胞の観察データは、1以上の撮像装置により撮影された当該細胞の画像であってもよい。
細胞の画像から第1及び第2の特徴量を抽出して比較することで、細胞の取り違え等を十分に防止することが可能となる。
前記1以上の撮像装置は、可視光カメラ、赤外線カメラ、及び偏光カメラの少なくとも1つを含んでもよい。
これらのカメラにより撮影された画像に基づいて、細胞を識別可能な特徴量を抽出することが可能となる。
前記細胞の観察データは、前記細胞を複数の方位から撮影した複数の画像であってもよい。
これにより細胞を十分に識別可能な特徴量を抽出することが可能となる。
前記細胞の観察データは、前記細胞を時系列に沿って撮影した動画像であってもよい。
これにより細胞を十分に識別可能な特徴量を抽出することが可能となる。
前記第1及び前記第2の抽出部は、所定の機械学習アルゴリズムに基づいて、前記第1及び前記第2の特徴量をそれぞれ抽出してもよい。
これにより細胞を十分に識別可能な特徴量を抽出することが可能となる。
前記第1の抽出部は、前記移動前の細胞の観察データから前記移動前の細胞の姿勢を検出し、前記検出された姿勢に基づいて前記第1の特徴量を抽出してもよい。この場合、前記第2の抽出部は、前記移動後の細胞の観察データから前記移動後の細胞の姿勢を検出し、前記検出された姿勢に基づいて前記第2の特徴量を抽出してもよい。
これにより比較部による比較結果の精度を向上させることが可能となる。
前記情報処理装置は、さらに、前記比較部による比較結果に基づいて、前記細胞の移動が正常であるか否かを判定する判定部を具備してもよい。
これにより、細胞の取り違え等を十分に防止することが可能となる。
前記第1の抽出部は、前記移動前の細胞が収容される容器に関する移動前の容器の特徴量を抽出してもよい。この場合、前記第2の抽出部は、前記移動後の細胞が収容される容器に関する移動後の容器の特徴量を抽出してもよい。また前記判定部は、前記抽出された移動前の容器の特徴量及び移動後の容器の特徴量に基づいて、前記細胞の移動が正常であるか否かを判定してもよい。
これにより、細胞の取り違え等を十分に防止することが可能となる。
前記情報処理装置は、さらに、移動中の細胞の観察データから前記移動中の細胞の第3の特徴量を抽出する第3の抽出部を具備してもよい。
これにより細胞の取り違え等を十分に防止することが可能となる。
前記情報処理装置は、さらに、前記判定部による判定結果を報知する報知部を具備してもよい。
これにより細胞の取り違え等を十分に防止することが可能となる。
前記報知部は、画像、音声、及び振動の少なくとも1つにより前記判定結果を報知してもよい。
これにより判定結果を十分に報知することが可能となる。
前記報知部は、前記判定結果を含む報知画像を出力してもよい。
これにより判定結果を十分に報知することが可能となる。
前記報知画像は、前記細胞の移動状況、及び前記細胞の移動操作をガイドするガイド画像の少なくとも一方を含んでもよい。
細胞の移動状況又はガイド画像が表示されることで、細胞の取り違え等を十分に防止することが可能となる。
前記報知部は、前記細胞の移動が正常ではないと判定された場合は、正常な移動へ修正するための修正画像を表示してもよい。
これにより正しい細胞の移動操作へ導くことが可能となる。
本技術の一形態に係る情報処理方法、コンピュータシステムにより実行される情報処理方法であって、移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出することを含む。
移動後の細胞の観察データから前記移動後の細胞の第2の特徴量が抽出される。
前記抽出された第1及び第2の特徴量が互いに比較される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出するステップ。
移動後の細胞の観察データから前記移動後の細胞の第2の特徴量を抽出するステップ。
前記抽出された第1及び第2の特徴量を互いに比較するステップ。
以上のように、本技術によれば、細胞の取り違え等を十分に防止することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態に係る培養システムの構成例を示す概略図である。 本技術に係る移動操作の正誤判定例の流れを示す図である。 報知画像の一例を示す概略図である。 報知画像の一例を示す概略図である。 報知画像の一例を示す概略図である。 第2の実施形態に係る培養容器及び撮像ユニットを示す概略図である。 受精卵の姿勢について説明するための図である。 第3の実施形態に係る培養システムで用いられる移動器具を示す概略図である。 他の実施形態に係る情報処理装置としてのヘッドマウントディスプレイ(HMD)の構成例を示す斜視図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
図1は、本技術の第1の実施形態に係る培養システムの構成例を示す概略図である。本実施形態では、培養システム100により、畜産分野等における生物の受精卵が培養される。これに限定されず、他の任意の細胞に対して、本技術は適用可能である。
例えば培養される細胞として、畜産分野等における生物の未受精の卵細胞(卵子)、胚等や、再生医療、病理生物学等の分野における、幹細胞、免疫細胞、癌細胞等の生体から取り出された生体試料等が挙げられる。本明細書において、「細胞」(単数形)は、単一の細胞と、複数の細胞の集合体とを少なくとも概念的に含む。
図1に示すように培養システム100は、複数の培養容器10と、撮像ユニット20と、情報処理装置30と、表示装置40と、スピーカ50を有する。
培養容器10は、培養液及び受精卵5を収容可能に構成され、外部より受精卵5を撮影可能な程度に透光性を有する。培養容器10の形状は特に限定されず、例えばシャーレ等の平皿形状が用いられる。
複数の培養容器10のうちの培養容器10aは、地点Mに配置される。また培養容器10bは、地点とは異なる地点Nに配置される。培養士(ユーザ)は、スポイト等の移動器具7を用いて、受精卵5を培養容器10aから培養容器10bへ移動させる。
受精卵5の移動操作は、例えば受精卵5の培養工程の中で、培養液の成分を変更する場合や、培養容器10を変更する場合に行われる。また例えば受精卵5を目視で確認する場合、顕微鏡等へ移動する場合、凍結用ストロー管に充填する場合にも、専用の容器等への受精卵5の移動が行われる。
撮像ユニット20は地点Mに配置された撮像装置21と、地点Nに配置された撮像装置21bとを有する。撮像装置21aは、培養容器10aに収容された移動前の受精卵5及び培養容器10aを撮影し、受精卵5及び培養容器10aの画像を生成する。撮像装置21bは、培養容器10bに収容された移動後の受精卵5及び培養容器10bを撮影し、受精卵5及び培養容器10bの画像を生成する。
以下、撮像装置21a及び21bにより撮影された画像を、移動前画像及び移動後画像と記載する場合がある。また移動前及び移動後の受精卵5を、受精卵5a及び受精卵5bと記載する場合がある。
各撮像装置21にて撮影される画像は、所定の撮影間隔で撮影された複数の静止画像、及び時系列に沿って撮影した動画像の両方を含む。受精卵5及び培養容器10の静止画像及び動画像のいずれが撮影される場合でも、本技術は適用可能である。
なお図1では、地点M及びNに受精卵5及び培養容器10が1つずつ図示されているが、各地点にて複数の培養容器10が配置され、複数の受精卵5に対して移動操作が行われることも多い。この場合、地点Mの複数の受精卵5aに対して、地点Nに移動先の培養容器10bが複数配置される。そして撮像装置21a及び21bにより、複数の移動前画像、及び複数の移動後画像がそれぞれ撮影される。
本実施形態において、移動前の受精卵5aの画像は、移動前の受精卵5aの観察データに相当する。また移動後の受精卵5bの画像は、移動後の受精卵5bの観察データに相当する。なお「移動前の細胞」とは培養士が移動させたいと考える細胞であり、本実施形態では、培養容器10aに収容される受精卵5aが相当する。一方「移動後の細胞」とは、培養士による移動操作により移動された細胞であり、本実施形態では、培養容器10bに収容される受精卵5bが相当する。
例えば複数の受精卵5aを移動させる場合には、培養士が受精卵5aを取り違えて移動させる場合もあり得る。すなわち移動させたい受精卵とは異なる受精卵5a、例えば地点Mにある他の培養容器10aに収容された他の受精卵5aを、誤って培養容器10bに移動させてしまう場合も起こり得る。この場合、「移動前の細胞」と「移動後の細胞」とは異なるもとのとなる。すなわち本開示では、「移動前の細胞」と「移動後の細胞」とは同じ細胞であるとは限られない。以下に説明するように、本技術を実施することで、これらが異なってしまう取り違え等を十分に防止することが可能となる。
撮像装置21a及び21bとしては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備える可視光カメラが用いられる。
表示装置40は、例えば液晶、EL(Electro-Luminescence)等を用いた表示デバイスである。表示装置40は、情報処理装置30から出力された種々の画像を表示する。スピーカ50は、情報処理装置30から出力された音声データに基づいて音声を出力する。
情報処理装置30は、培養システム100内の各ブロックの動作を制御する。例えば図1に示すように、撮像装置21a及び21b、表示装置40、スピーカ50が、有線又は無線を介して、情報処理装置30に接続される。そして撮像装置21a及び21bの撮影動作、表示装置40の表示動作、スピーカ50の音声出力動作がそれぞれ制御される。
情報処理装置30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。情報処理装置30として、例えばPC(Personal Computer)が用いられるが、他の任意のコンピュータが用いられてもよい。
CPUが、ROMやHDDに格納された本技術に係るプログラムをRAMにロードして実行することにより、図1に示す機能ブロックである抽出部31、比較部32、判定部33、及び報知部34が実現される。そしてこれらの機能ブロックにより、本技術に係る情報処理方法が実行される。なお各機能ブロックを実現するために専用のハードウェアが適宜用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置30にインストールされる。又はインターネット等を介してプログラムのインストールが実行されてもよい。
図2は、本技術に係る移動操作の正誤判定例の流れを示す図である。まず地点Mの撮像装置21aにより、受精卵5a及び培養容器10aを含む移動前画像が撮影され、情報処理装置30に出力される。
抽出部31により、移動前画像をもとに受精卵5aの画像が、識別情報として取得される(ステップ101)。また移動前画像をもとに、培養容器10aの画像が、識別情報として取得される(ステップ102)。例えば撮像装置21aから出力される移動前画像に対して、画像の正規化、受精卵5aの位置の調整、形状の強調フィルタ等を含む前処理が実行される。当該前処理の結果が、受精卵5a及び培養容器10aの画像として取得される。なお移動前画像がそのまま識別情報として取得されてもよい。
抽出部31により、受精卵5aの画像に基づいて、移動前の受精卵5aの第1の特徴量が抽出される(ステップ103、104)。第1の特徴量は、例えば受精卵5aのサイズ、形状、真球度、卵割数(率)、各割球の形態及びそのバランス、及びフラグメンテーションの量等の、受精卵5aの種々の状態に基づいて抽出される。また受精卵5aの画像として動画像が撮影される場合には、受精卵5aの時系列に沿った変化等も第1の特徴量の抽出に反映され得る。
第1の特徴量を抽出するための具体的な特徴抽出処理は限定されず、任意の抽出処理が用いられてよい。本実施形態では、機械学習アルゴリズムが用いられるが、その点については後述する。
抽出された第1の特徴量、受精卵5aのID、及び特徴抽出に使用された受精卵5aの画像は、受精卵情報DB(データベース)35に登録される(ステップ105)。なお受精卵5aのIDは、培養を実行するにあたって予め設定されている。また受精卵情報DB35は、情報処理装置30のHDD等の記憶部により構築されている。もちろん他の記憶装置により受精卵情報DB35が構築され、ネットワーク等を介して情報処理装置30に接続されてもよい。
抽出部31により、培養容器10aの画像に基づいて、移動前の培養容器10aの特徴量が抽出される(ステップ106、107)。培養容器10aの特徴量は、例えば培養容器10aの形状や傷等をもとに抽出される。あるいは培養容器10aに、これを識別可能なラベル等の識別情報が付されている場合には、その識別情報が、培養容器10aの特徴量として抽出されてもよい。抽出された特徴量、及び培養容器10aの画像は、受精卵情報DB35に、受精卵5aの第1の特徴量等に関連付けられて記憶される(ステップ108)。
第1の特徴量及び培養容器10aの特徴量の抽出は、抽出部31が第1の抽出部として機能することで実行される。
胚培養士の移動器具7を用いた移動操作により、移動先である地点Nの培養容器10bに受精卵5aが移動される(ステップ109)。
地点Nの撮像装置21bにより、移動後の受精卵5b及び培養容器10bの移動後画像が撮影され、情報処理装置30に出力される。抽出部31により、移動後画像をもとに受精卵5bの画像が、識別情報として取得される(ステップ110)。また移動後画像をもとに、培養容器10bの画像が、識別情報として取得される(ステップ111)。
抽出部31により、受精卵5bの画像に基づいて、移動後の受精卵5bの第2の特徴量が抽出される(ステップ112、113)。また抽出部31により、培養容器10bの画像に基づいて、移動後の培養容器10bの特徴量が抽出される(ステップ114、115)。第2の特徴量及び培養容器10bの特徴量の抽出は、抽出部31が第2の抽出部として機能することで実行される。
抽出された第2の特徴量及び培養容器10bの特徴量と、受精卵情報DB35に記憶された第1の特徴量及び培養容器10aの特徴量とが照合される(ステップ116)。すなわち比較部32により、第1及び第2の特徴量が比較される。その比較結果に基づいて、判定部33により、受精卵5の移動が正常であるか否かが判定される。また判定部33は、培養容器10aの特徴量、及び培養容器10bの特徴量に基づいて、移動操作の正誤を判定する。
例えば比較部32により、第1及び第2の特徴量の差分が検出される。判定部33により、当該特徴量の差分が所定の閾値内に含まれる場合には、移動前の受精卵5aと移動後の受精卵5bとが同じ受精卵であると判定される。すなわち受精卵5の取り違えはないと判定される。
特徴量の差分が閾値以上である場合には、移動前の受精卵5aと移動後の受精卵5bとは異なる受精卵であり、取り違えが発生したと判定される。第1及び第2の特徴量を用いた受精卵5の一致判定の具体的なアルゴリズムは限定されず、適宜設定されてよい。例えば第1及び第2の特徴量の抽出アルゴリズムに応じた判定アルゴリズムが設定されてもよい。
受精卵5aの移動操作の前に、地点Nの移動先の培養容器10bの画像が撮影され、培養容器10bの特徴量が抽出されてもよい。すなわち受精卵5aが移動されるべき培養容器10bの特徴量が予め抽出されてもよい。これにより受精卵5aが移動先の正しい培養容器10bに移動されたか否かを判定することが可能となる。
すなわち抽出された培養容器10bの特徴量が、移動させたい培養容器10bの特徴量と略等しい(例えば差分が閾値以下)場合、正しい培養容器10bに移動されたと判定される。培養容器10bの特徴量と移動させたい培養容器10bの特徴量とが異なる場合には、地点Nの他の培養容器10bに誤って移動されたと判定される。
また移動させたい受精卵5aを収容する培養容器10aの特徴量が予め記憶されていてもよい。例えば受精卵IDと培養容器10aの特徴量とが関連付けられて記憶されているとする。この場合、例えば抽出された培養容器10aの特徴量が、記憶されている特徴量と照合される。特徴量が略等しい場合、正しい培養容器10aからの移動であると判定可能である。特徴量が異なる場合には、他の培養容器10aからの間違った受精卵5aの移動であることを判定可能である。
図2に示すように、本実施形態では、所定の機械学習アルゴリズムに基づいて、特徴抽出器、すなわち抽出部31が更新される。受精卵情報DB35に記憶された第1の特徴量、受精卵5aのID、及び受精卵5aの画像に基づいて、機械学習により、特徴量抽出用のパラメータ(係数)が算出される(ステップ117)。算出されたパラメータは抽出部31に出力され、第1及び第2の特徴量の抽出に用いられる(ステップ118、119)。
これにより抽出部31が改良され、より識別性能の高い第1及び第2の特徴量が抽出可能となる。この結果、多くの受精卵5が取り扱われる場合であっても、各受精卵5を十分に識別することが可能となり、移動操作の正誤の判定精度を向上させることが可能となる。
使用される機械学習アルゴリズムは限定されない。例えばRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、MLP(Multilayer Perceptron:多層パーセプトロン)等のニューラルネットワークを用いた機械学習アルゴリズムが用いられる。その他、教師あり学習法、教師なし学習法、半教師あり学習法、強化学習法等を実行する任意の機械学習アルゴリズムが用いられてよい。
報知部34により、判定部33による判定結果が報知される(ステップ120)。本実施形態では、画像及び音声により、判定結果が報知される。具体的には、報知部34により、判定結果を含む報知画像が生成され表示装置40に表示される。また判定結果に応じた音声がスピーカ50から主出力される。
図3~図5は、報知画像の一例を示す概略図である。以下の報知画像60の説明においては、移動前の受精卵5a及び移動後の受精卵5bのことを、単に移動前の受精卵A及び移動後の受精卵Aというように記載する。
報知画像60は、受精卵5の移動元(地点M)を表す移動元領域61と、移動先(地点N)を表す移動先領域62とを含む。移動元領域61には移動前の受精卵Aの画像63aが表示され、移動先領域62には移動後の受精卵Aの画像63bが表示される。
図3Aに示す報知画像60には、移動操作の実行前の状態を表す第1の移動状態画像71が表示されている。第1の移動状態画像71は、実行が予定される移動操作を表す画像とも言える。第1の移動状態画像71は、移動前及び移動後の受精卵Aの画像63a及び63bと、受精卵Aの画像63aから受精卵Aの画像63bへ向かう矢印64が表示される。
移動前の受精卵Aの画像63aは、移動元に受精卵Aが存在することを認識可能に図示される(本例では実線の枠が図示される)。一方移動後の受精卵Aの画像63bは、移動先に受精卵Aが存在しないことを認識可能に図示される(本例では破線の枠が図示される)。
胚培養士は、第1の移動状態画像71を確認することで、今から行う移動操作を確認することが可能となる。あるいは他人により行われる移動操作を確認することも可能である。また受精卵Aが未だ移動されていないことを確認することも可能となる。
なお第1の移動状態画像は、例えば移動操作を行う胚培養士による情報処理装置30への入力に基づいて生成される。又は地点M及びNの所定の位置に培養容器10a及び10bが設置されることで、撮像装置21a及び21bにより撮影される画像に基づいて、自動的に第1の移動状態画像71が表示されてもよい。また他の培養ステップの情報に基づいて、第1の移動状態画像71が自動表示されてもよい。
図3Bに示すように、判定部33により正常な移動操作が実行されたと判定された場合には、受精卵Aが移動元領域61から移動先領域62へ移動された状態を表す第2の移動状態画像72が表示される。すなわち移動前の受精卵Aの画像63aが破線の枠で表示され、移動後の受精卵Aの画像63bが実線の枠で表示される。
また移動が正常に行われた旨の判定結果画像65として、OKのテキスト画像が表示される。またスピーカ50からは移動が正常に行われた旨の音声が出力される。これにより胚培養士は、移動操作が正常に行われたことを容易に確認することが可能となる。
なお移動元の撮像装置21aの画像に基づいて、受精卵Aのピックアップが検出可能である場合には、図3Cに示す、受精卵Aが移動中の状態である第3の移動状態画像73が表示されてもよい。移動前及び移動後の受精卵Aの画像63a及び63bがともに破線の枠で表示され、矢印64には色が付される。これにより受精卵Aが移動中であることを容易に把握することが可能となる。なおスピーカ50から、移動中である旨の音声が出力されてもよい。
図4Aに示すように、判定部33により、移動前及び移動後の受精卵が異なる受精卵であると判定された場合、取り違えが発生した状態を表す第4の移動状態画像74が表示される。例えば移動元の受精卵Aの画像63aが実線の枠で表示される。移動先領域62では、受精卵Aではない不明な受精卵Xの画像66が、それが謝った受精卵であることを認識可能に表示される(本例では、バツ印が付される)。
また移動が正常に行われていない旨の判定結果画像65として、NGのテキスト画像が表示される。さらにスピーカ50からは移動が正常に行われていない旨のアラーム音等が出力される。これにより胚培養士は、取り違えが発生したことを容易に確認することが可能となり、移動操作の修正をすばやく行うことが可能となる。
図2のステップ116の照合ステップにおいて、移動前及び移動後の受精卵が一致しないと判定された場合、受精卵情報DB35から、誤って移動された受精卵Xの特徴量と略等しい特徴量を有する受精卵が検出されてもよい。図4Bに示すように、誤って移動された受精卵Xが検出された場合、その受精卵(本例では受精卵B)の画像67を含む第5の移動状態画像75が表示される。
例えば移動元領域61に、受精卵Bの画像67が、誤った受精卵であることを認識可能に表示される。受精卵Bの画像から誤った移動操作であることが確認可能なように矢印68が表示される(例えば所定の色が付される)。移動先領域62では、受精卵Aの移動先となる位置に受精卵Bの画像67がバツ印とともに表示される。これにより受精卵Aが移動されるべき培養容器10bに、受精卵Bが移動されたことを容易に把握することが可能となる。
またスピーカ50から第5の移動状態画像75に応じた音声が出力されてもよい。このことは、以下に示す他の移動状態画像の表示の際にも当てはまる。
胚培養士は、移動操作を行った受精卵Bを、移動元の培養容器10aに戻すことで、すばやくもとの状態を復元することが可能となる。あるいは移動先の受精卵Bが移動されるべき培養容器10bに受精卵Bを移動させることも可能である。このように移動操作の修正をすばやく正確に行うことが可能となるので、受精卵の取り違え等を十分に防止することが可能となる。
なお図4Cに示すように、例えば操作の修正を促す旨を含む、正常な移動へ修正するための修正画像69が表示されてもよい。図4Cに示す例では、テキスト画像が表示されているがこれに限定されず、矢印等を用いた画像が修正画像69として表示されてもよい。
図5Aに示すように、受精卵Aが移動先の正しい培養容器10bに移動されていないと判定された場合、第6の移動状態画像76が表示される。図5Aに示す例では、移動先の培養容器10bが、受精卵Bが移動されるべき培養容器10bである旨が確認可能に表示されている。すなわち破線の枠を有する受精卵Bの画像80に重なるように、実線の枠を有する受精卵Aの画像81が表示されている。これにより胚培養士は、受精卵Aをもとの培養容器10aに戻す、あるいは正しい培養容器10bに移動する等の修正を容易に行うことが可能となる。なお図5Bに示すように、正常な移動へ修正するための修正画像69が表示されてもよい。
本実施形態では、上記した第1~第6の移動状態画像71~76が、報知画像60に含まれる細胞の移動状況に相当する。また移動元領域61、移動先領域62、及び矢印64が、細胞の移動操作をガイドするガイド画像に相当する。これらの画像の具体的な構成は限定されず、任意に設定されてよい。また報知画像60内に、撮像装置21a及び21bにより撮影された受精卵5の画像等が表示されてもよい。
また1つの受精卵Aの移動状況のみが表示される場合に限定されず、移動操作が行われる複数の受精卵の各々の移動状況や移動操作の正誤の判定結果等が、一覧表示されてもよい(図9参照)。
以上、本実施形態に係る培養システム100では、情報処理装置30により、移動前の受精卵5aの画像から抽出された第1の特徴量と、移動後の受精卵5bの画像から抽出された第2の特徴量とが、互いに比較される。これにより移動前の受精卵5aと移動後の受精卵5bとが同じ受精卵であるかが容易に判定可能となる。この結果、受精卵5の取り違え等を十分に防止することが可能となる。
受精卵5等の細胞は、培養が進むにつれて卵割が起こり、フラグメンテーション等が発生する。当該細胞の様相を機械学習アルゴリズムに基づいて特徴量として抽出し比較することで、同じ細胞であるか否かを高い精度で判定することが可能となる。その結果、移動操作の正誤を高い精度で判定することが可能となる。
また移動元及び移動先の培養容器10a及び10bの画像に基づいて、培養容器10の特徴量が抽出される。これにより移動元での受精卵5の取り違えや移動先での培養容器10の間違え等を十分に防止することができる。また種々の移動状態画像71~76、ガイド画像、判定結果画像65、及び修正画像69等を含む報知画像60が表示され、スピーカ50から音声が出力される。すなわち移動操作に正誤に応じて、ポジティブフィードバック及びネガティブフィードバックが適宜行われる。この結果、取り違え等を十分に防止することが可能となり、操作の修正を容易に行うことが可能となる。
<第2の実施形態>
本技術に係る第2の実施形態の培養システムについて説明する。これ以降の説明では、上記の実施形態で説明した培養システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
図6は、本実施形態に係る培養容器210及び撮像ユニット220を示す概略図である。以下に説明する培養容器210及び撮像ユニット220の構成は、移動元及び移動先の両方に共通するものである。
本実施形態では、透光性を有する略球形状の培養容器210が用いられ、その内部に培養液4と受精卵5とが収容される。また培養容器210の周囲を囲む複数の位置に複数の撮像装置221が配置される。これにより受精卵5を複数の方位から撮影した複数の画像を取得することが可能となる。
図6に示す例では、鉛直方向に沿って互いに対向するように、第1及び第2の撮像装置221a及び221bが配置される。また斜め上方から受精卵5を撮影可能なように、第3の撮像装置221cが配置される。3台の撮像装置221と、略球形状の培養容器210とは、互いに相対的に回転可能に構成される。従って本実施形態では、受精卵5を360度全方位から撮影することが可能である。
第1~第3の撮像装置221a~cとしては、上記の可視光カメラが使用可能である。その他、赤外線(IR)カメラや、偏光カメラが用いられてもよい。可視光カメラ、IRカメラ、偏光カメラのうちの1種類のカメラが用いられてもよいし、任意の2種類のカメラあるいは全種類のカメラが同時に用いられてもよい。
可視光カメラは、高解像度であり、イメージセンサが比較的安価であるので、多数使用してもコストを抑えることができる。一方で、暗闇での撮影には向かない。IRカメラは、熱を視覚化することが可能であるので、生物観察に適している。また暗闇での撮影が可能である。偏光カメラは、観察対象の表面の方向や凹凸を検出することが可能となる。一方で、光源のコントロールが比較的難しく、暗闇での撮影が難しい。
例えば上記のような各撮像装置の特徴に基づいて、使用する撮像装置221を適宜選択すればよい。もちろん観察対象となる細胞の種類や、抽出を所望する特徴量の種類等に応じて、撮像装置221の種類が選択されてもよい。
受精卵5の全方位から受精卵5の画像及び培養容器210の画像を取得することが可能であるので、受精卵5及び培養容器210を高精度に識別可能な有用な特徴量を抽出することが可能となる。その結果、移動操作の正誤を高精度に判定することが可能となり、取り違え等を十分に防止することが可能となる。
なお受精卵5の全方位が撮影可能である場合に限られず、所定の複数の方位から撮影可能である場合にも、十分な効果を得ることが可能である。
図7は、受精卵5の姿勢について説明するための図である。撮像ユニット220により撮影された受精卵5の画像に基づいて、受精卵5の姿勢が検出されてもよい。移動前の受精卵5の画像からは移動前の受精卵5の姿勢が検出される。移動後の受精卵5の画像からは移動後の受精卵5の姿勢が検出される。
例えば受精卵5の画像から、受精卵5上の特徴的な点・領域が、特徴点Pとして検出される。特徴点Pとしては、例えば各割球のエッジの角(コーナー)や、各割球の連結部分等が挙げられる。全方位から撮影された受精卵5の画像に基づいて、検出された特徴点Pが異なる視点でトラッキングされる。これにより受精卵5の動きや姿勢を推定することが可能となる。推定した姿勢情報と全方位の画像により、任意の時間・角度の受精卵5の画像を取得することが可能となる。
特徴点Pは、例えば任意のコーナー検出法やブロブ検出法等により検出可能である。例えば使用される撮像装置221の種類に応じた検出方法が用いられることで、高精度に特徴点Pを抽出することが可能である。なおこの特徴点Pは、上記した受精卵5の第1及び第2の特徴量とは異なるパラメータである。もちろん第1及び第2の特徴量の抽出に、特徴点Pの位置や数等が反映されることはあり得る。
抽出部は、姿勢情報に基づいて、第1及び第2の特徴量を抽出する。例えば所定の姿勢の受精卵5が撮影された画像が適宜選択され、当該画像から第1及び第2の特徴量がそれぞれ抽出される。これにより同じ姿勢の受精卵5の特徴量同士が比較され、受精卵5の一致判定を高精度に行うことが可能となる。
あるいは抽出された特徴量と、そのときの姿勢情報とが関連付けられて記憶されてもよい。比較部は、同じ姿勢の受精卵の第1及び第2の特徴量を読み出して比較する。これにより同じ効果が発揮される。
<第3の実施形態>
図8は、第3の実施形態に係る培養システムで用いられる移動器具を示す概略図である。本実施形態では、移動器具307に、撮像装置321と振動器390とが設けられる。撮像装置321は、移動器具307の先端が撮影可能な位置に配置される。振動器390は、胚培養士が移動器具307を保持する位置の近傍に設けられる。振動器390の具体的な構成は限定されず、例えば振動モータや圧電素子等が搭載された振動器が用いられる。
撮像装置321により、移動中の受精卵の画像を撮影することが可能となる。撮影された受精卵の画像は情報処理装置に送信され、抽出部により移動中の受精卵の第3の特徴量が抽出される。移動前の受精卵の第1の特徴量と、移動中の受精卵の第3の特徴量とが異なると判定される場合には、取り違えが発生した旨の振動が振動器390により発生される。すなわちネガティブフィードバックが実行される。これにより取り違えを十分に防止することが可能となる。
移動元及び移動先において、受精卵の全方位からの画像が撮影可能である場合、すなわち姿勢情報が取得可能である場合には、移動器具307の向き等にかかわらず、撮影された移動中の受精卵の姿勢に応じて特徴量の比較を実行することが可能となる。これにより受精卵の識別を高精度に実行することが可能となる。
なお受精卵をピックアップする際に、撮像装置321により、受精卵及び培養容器の画像が撮影されてもよい。第1及び第3の特徴量が互いに比較される、あるいは培養容器の特徴量が比較されることで、正しい受精卵をピックアップしようとしているか否かを判定することが可能となる。
第1及び第3の特徴量が互いに略等しく、第2及び第3の特徴量が互いに略等しい場合には、移動操作が正常に行われた旨の振動が振動器により発生される。すなわちポジティブフィードバックが実行される。これにより正しい移動操作であることを容易に把握することが可能となる。
図1に示すような移動元の撮像装置21a及び移動先の撮像装置21bと、移動器具307の撮像装置321とを組み合わせて使用する場合に限定されず、撮像装置21a及び21bのいずれか一方のみと移動器具307の撮像装置321とが組み合わされてもよい。または移動器具307の撮像装置321のみが用いられる場合でも、移動操作の正誤判定は可能である。この場合、撮像装置321により、移動前の受精卵(培養容器)の画像、移動後の受精卵(培養容器)の画像のいずれか一方、あるいは両方が撮影される。
判定結果の報知方法も、報知画像の表示や音声の出力と、振動による報知とが組み合わされて実行されてもいし、振動による報知のみが実行されてもよい。画像、音声、及び振動の少なくとも1つにより、判定結果を十分に報知することが可能となる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
例えば図9は、他の実施形態に係る情報処理装置としてのヘッドマウントディスプレイ(HMD)の構成例を示す斜視図である。HMD400は、メガネ型のフレーム401と、レンズ402と、処理本体部403と、撮像装置404と、ディスプレイ405と、スピーカ406とを有する。
処理本体部403の内部には、CPUやROM等からなる制御ブロックが構成され、図1に示す抽出部31、比較部32、判定部33、及び報知部34が実現される。ディスプレイ405には、移動される受精卵についての移動状態画像や判定結果画像を含む報知画像60が表示される。またスピーカ406からは音声によるフィードバックが実行される。胚培養士は、HMD400を装着することで、各受精卵の移動状況等を確認しながら移動操作や他の作業を実行することが可能となる。この結果、取り違え等を十分に防止しつつ、効率的な作業が実現される。
HMD400の撮像装置404により、培養容器の画像や、培養容器の周辺や移動経路等を含む作業領域の画像が撮影されてもよい。当該画像をもとに、培養容器の識別情報を含む特徴量や、培養容器及び受精卵の位置等が抽出されてもよい。これらの情報が、移動操作の正誤判定に用いられてもよい。またHMD400の撮像装置404により、受精卵の画像が撮影され上記した第1~第3の特徴量が抽出されてもよい。
上記では、細胞の観データとして、細胞が撮影された光学画像を例に挙げた。これに限定されず、例えば温度センサや波面センサ等のデバイス等により得られる検出結果が、観データとして用いられてもよい。当該検出結果に基づいて第1~第3の特徴量等が抽出されてもよい。
上記ではユーザにより操作されるPC等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作するコンピュータと、他のコンピュータとが連動して、本技術に係る培養システムが構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば第1~第3の特徴量等の抽出、比較、移動操作の正誤判定、又は報知画像等の出力が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出する第1の抽出部と、
移動後の細胞の観察データから前記移動後の細胞の第2の特徴量を抽出する第2の抽出部と、
前記抽出された第1及び第2の特徴量を互いに比較する比較部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記細胞の観察データは、1以上の撮像装置により撮影された当該細胞の画像である
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記1以上の撮像装置は、可視光カメラ、赤外線カメラ、及び偏光カメラの少なくとも1つを含む
情報処理装置。
(4)(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記細胞の観察データは、前記細胞を複数の方位から撮影した複数の画像である
情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記細胞の観察データは、前記細胞を時系列に沿って撮影した動画像である
情報処理装置。
(6)(1)から(5)のうちいずれか1つに記載の情報処理装置であって、
前記第1及び前記第2の抽出部は、所定の機械学習アルゴリズムに基づいて、前記第1及び前記第2の特徴量をそれぞれ抽出する
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記第1の抽出部は、前記移動前の細胞の観察データから前記移動前の細胞の姿勢を検出し、前記検出された姿勢に基づいて前記第1の特徴量を抽出し、
前記第2の抽出部は、前記移動後の細胞の観察データから前記移動後の細胞の姿勢を検出し、前記検出された姿勢に基づいて前記第2の特徴量を抽出する
情報処理装置。
(8)(1)から(7)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記比較部による比較結果に基づいて、前記細胞の移動が正常であるか否かを判定する判定部を具備する
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、
前記第1の抽出部は、前記移動前の細胞が収容される容器に関する移動前の容器の特徴量を抽出し、
前記第2の抽出部は、前記移動後の細胞が収容される容器に関する移動後の容器の特徴量を抽出し、
前記判定部は、前記抽出された移動前の容器の特徴量及び移動後の容器の特徴量に基づいて、前記細胞の移動が正常であるか否かを判定する
情報処理装置。
(10)(1)から(9)のうちいずれか1つに記載の情報処理装置であって、さらに、
移動中の細胞の観察データから前記移動中の細胞の第3の特徴量を抽出する第3の抽出部を具備する
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記判定部による判定結果を報知する報知部を具備する
情報処理装置。
(12)(11)に記載の情報処理装置であって、
前記報知部は、画像、音声、及び振動の少なくとも1つにより前記判定結果を報知する
情報処理装置。
(13)(12)に記載の情報処理装置であって、
前記報知部は、前記判定結果を含む報知画像を出力する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記報知画像は、前記細胞の移動状況、及び前記細胞の移動操作をガイドするガイド画像の少なくとも一方を含む
情報処理装置。
(15)(11)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記報知部は、前記細胞の移動が正常ではないと判定された場合は、正常な移動へ修正するための修正画像を表示する
情報処理装置。
5、5a、5b…受精卵
7、307…移動器具
10、10a、10b、210…培養容器
20、220…撮像ユニット
30…情報処理装置
31…抽出部
32…比較部
33…判定部
34…報知部
35…受精卵情報DB
40…表示装置
50…スピーカ
60…報知画像
65…判定結果画像
69…修正画像
71~76…第1~第6の移動状態画像
100…培養システム
321…撮像装置
390…振動器
400…HMD

Claims (16)

  1. 操作者が容器に収容された細胞を他の容器に移動する移動操作を行う際に、前記移動操作に関する判定結果を前記操作者に提示する情報処理装置であって、
    前記移動操作の対象となる移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出する第1の抽出部と、
    前記移動操作により移動された移動後の細胞の観察データから前記移動後の細胞の第2の特徴量を抽出する第2の抽出部と、
    前記抽出された第1及び第2の特徴量を互いに比較する比較部と
    前記比較部による比較結果に基づいて、前記細胞の移動が正常であるか否かを判定する判定部と、
    前記移動操作の対象となる細胞の所在と前記判定部による判定結果とを示す報知画像を出力する報知部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記報知画像は、前記移動操作の対象となる細胞の移動元を表す第1の領域と、前記移動操作の対象となる細胞の移動先を表す第2の領域とを含み、
    前記報知部は、前記移動操作の対象となる細胞の存在を表すシンボル画像を前記第1の領域又は前記第2の領域のどちらか一方に表示して、前記移動操作の対象となる細胞の所在を示す
    情報処理装置。
  3. 請求項1又は2に記載の情報処理装置であって、
    前記報知部は、前記移動操作の実行前に、前記移動操作の移動元及び移動先を示すとともに前記移動操作の対象となる細胞が移動元に存在することを示す移動前画像を前記報知画像として出力し、前記移動操作の実行後に、前記移動操作の対象となる細胞の前記移動操作の実行後の所在と前記判定結果とを示す移動後画像を前記報知画像として出力する
    情報処理装置。
  4. 請求項1から3のうちいずれか1項に記載の情報処理装置であって、
    前記細胞の観察データは、1以上の撮像装置により撮影された当該細胞の画像である
    情報処理装置。
  5. 請求項に記載の情報処理装置であって、
    前記1以上の撮像装置は、可視光カメラ、赤外線カメラ、及び偏光カメラの少なくとも1つを含む
    情報処理装置。
  6. 請求項1からのうちいずれか1項に記載の情報処理装置であって、
    前記細胞の観察データは、前記細胞を複数の方位から撮影した複数の画像である
    情報処理装置。
  7. 請求項1からのうちいずれか1項に記載の情報処理装置であって、
    前記細胞の観察データは、前記細胞を時系列に沿って撮影した動画像である
    情報処理装置。
  8. 請求項1からのうちいずれか1項に記載の情報処理装置であって、
    前記第1及び前記第2の抽出部は、所定の機械学習アルゴリズムに基づいて、前記第1及び前記第2の特徴量をそれぞれ抽出する
    情報処理装置。
  9. 請求項1からのうちいずれか1項に記載の情報処理装置であって、
    前記第1の抽出部は、前記移動前の細胞の観察データから前記移動前の細胞の姿勢を検出し、前記検出された姿勢に基づいて前記第1の特徴量を抽出し、
    前記第2の抽出部は、前記移動後の細胞の観察データから前記移動後の細胞の姿勢を検出し、前記検出された姿勢に基づいて前記第2の特徴量を抽出する
    情報処理装置。
  10. 請求項1からのうちいずれか1項に記載の情報処理装置であって、
    前記第1の抽出部は、前記移動前の細胞が収容される容器に関する移動前の容器の特徴量を抽出し、
    前記第2の抽出部は、前記移動後の細胞が収容される容器に関する移動後の容器の特徴量を抽出し、
    前記判定部は、前記抽出された移動前の容器の特徴量及び移動後の容器の特徴量に基づいて、前記細胞の移動が正常であるか否かを判定する
    情報処理装置。
  11. 請求項1から10のうちいずれか1項に記載の情報処理装置であって、さらに、
    移動中の細胞の観察データから前記移動中の細胞の第3の特徴量を抽出する第3の抽出部を具備する
    情報処理装置。
  12. 請求項1から11のうちいずれか1項に記載の情報処理装置であって、
    前記報知部は、画像、音声、及び振動の少なくとも1つにより前記判定結果を報知する
    情報処理装置。
  13. 請求項1から12のうちいずれか1項に記載の情報処理装置であって、
    前記報知画像は、前記細胞の移動状況、及び前記細胞の移動操作をガイドするガイド画像の少なくとも一方を含む
    情報処理装置。
  14. 請求項1から13のうちいずれか1項に記載の情報処理装置であって、
    前記報知部は、前記細胞の移動が正常ではないと判定された場合は、正常な移動へ修正するための修正画像を表示する
    情報処理装置。
  15. 操作者が容器に収容された細胞を他の容器に移動する移動操作を行う際に、前記移動操作に関する判定結果を前記操作者に提示する情報処理方法であって、
    前記移動操作の対象となる移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出し、
    前記移動操作により移動された移動後の細胞の観察データから前記移動後の細胞の第2の特徴量を抽出し、
    前記抽出された第1及び第2の特徴量を互いに比較し、
    当該比較結果に基づいて、前記細胞の移動が正常であるか否かを判定し、
    前記移動操作の対象となる細胞の所在と前記細胞の移動が正常であるか否かの判定結果とを示す報知画像を出力する
    ことをコンピュータシステムが実行する情報処理方法。
  16. 操作者が容器に収容された細胞を他の容器に移動する移動操作を行う際に、前記移動操作に関する判定結果を前記操作者に提示する処理を行うプログラムであって、
    前記移動操作の対象となる移動前の細胞の観察データから前記移動前の細胞の第1の特徴量を抽出するステップと、
    前記移動操作により移動された移動後の細胞の観察データから前記移動後の細胞の第2の特徴量を抽出するステップと、
    前記抽出された第1及び第2の特徴量を互いに比較するステップと
    当該比較結果に基づいて、前記細胞の移動が正常であるか否かを判定するステップと、
    前記移動操作の対象となる細胞の所在と前記細胞の移動が正常であるか否かの判定結果とを示す報知画像を出力するステップと
    をコンピュータシステムに実行させるプログラム。
JP2018523604A 2016-06-21 2017-05-18 情報処理装置、情報処理方法、及びプログラム Active JP7036009B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016122494 2016-06-21
JP2016122494 2016-06-21
PCT/JP2017/018683 WO2017221597A1 (ja) 2016-06-21 2017-05-18 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017221597A1 JPWO2017221597A1 (ja) 2019-04-11
JP7036009B2 true JP7036009B2 (ja) 2022-03-15

Family

ID=60784199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523604A Active JP7036009B2 (ja) 2016-06-21 2017-05-18 情報処理装置、情報処理方法、及びプログラム

Country Status (7)

Country Link
US (1) US20190162712A1 (ja)
EP (1) EP3456812A4 (ja)
JP (1) JP7036009B2 (ja)
AU (1) AU2017282135A1 (ja)
BR (1) BR112018076177A2 (ja)
CA (1) CA3027821A1 (ja)
WO (1) WO2017221597A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017287141B2 (en) * 2016-07-01 2020-06-18 Sony Corporation Image acquisition method, image acquisition device, program and culture container
US10684295B2 (en) * 2018-07-05 2020-06-16 VistaPath Biosystems Inc. Apparatus and methods for processing and cataloging of samples
US20220330884A1 (en) * 2019-09-06 2022-10-20 The Brighan And Women's Hospital, Inc. Automated evaluation of quality assurance metrics for assisted reproduction procedures

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000119A (ja) 2002-04-09 2004-01-08 Olympus Corp 細胞培養システム、培養細胞照合装置および細胞培養装置
JP2013072693A (ja) 2011-09-27 2013-04-22 Paparabo:Kk 検体の取り違え防止方法
JP2014067216A (ja) 2012-09-26 2014-04-17 Dainippon Printing Co Ltd 管理システム及び管理プログラム
JP2015069441A (ja) 2013-09-30 2015-04-13 大日本印刷株式会社 管理システム、管理プログラム、及び容器、並びに容器及び識別票から成るキット
JP2015103217A (ja) 2013-11-28 2015-06-04 ソニー株式会社 画像処理装置および画像処理方法
WO2015104763A1 (ja) 2014-01-07 2015-07-16 ソニー株式会社 分析システム、分析プログラム及び分析方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4456429B2 (ja) * 2004-07-27 2010-04-28 富士通株式会社 インジェクション装置
JPWO2011004568A1 (ja) * 2009-07-08 2012-12-20 株式会社ニコン 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
US8605981B2 (en) * 2010-11-05 2013-12-10 Cytognomix Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
US10163218B2 (en) * 2013-09-18 2018-12-25 Nikon Corporation Image analysis device, image analysis method, image analysis program, cell manufacturing method, cell culturing method, and cell manufacturing device
CA3013048A1 (en) * 2016-01-28 2017-08-03 Gerard LETTERIE Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000119A (ja) 2002-04-09 2004-01-08 Olympus Corp 細胞培養システム、培養細胞照合装置および細胞培養装置
JP2013072693A (ja) 2011-09-27 2013-04-22 Paparabo:Kk 検体の取り違え防止方法
JP2014067216A (ja) 2012-09-26 2014-04-17 Dainippon Printing Co Ltd 管理システム及び管理プログラム
JP2015069441A (ja) 2013-09-30 2015-04-13 大日本印刷株式会社 管理システム、管理プログラム、及び容器、並びに容器及び識別票から成るキット
JP2015103217A (ja) 2013-11-28 2015-06-04 ソニー株式会社 画像処理装置および画像処理方法
WO2015104763A1 (ja) 2014-01-07 2015-07-16 ソニー株式会社 分析システム、分析プログラム及び分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
日本IVF学会雑誌,2013年,Vol. 16, No. 1,p. 26-31

Also Published As

Publication number Publication date
JPWO2017221597A1 (ja) 2019-04-11
EP3456812A4 (en) 2019-06-26
AU2017282135A1 (en) 2019-01-17
EP3456812A1 (en) 2019-03-20
US20190162712A1 (en) 2019-05-30
CA3027821A1 (en) 2017-12-28
BR112018076177A2 (pt) 2019-03-26
WO2017221597A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
US10737385B2 (en) Machine learning device, robot system, and machine learning method
US10073517B1 (en) Position tracking system that exploits arbitrary configurations to determine loop closure
CN108960036B (zh) 三维人体姿态预测方法、装置、介质及设备
JP7036009B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Font et al. A proposal for automatic fruit harvesting by combining a low cost stereovision camera and a robotic arm
US9616568B1 (en) Generating a grasp affordance for an object based on a thermal image of the object that is captured following human manipulation of the object
US11068719B2 (en) Method and apparatus for sampling training data and computer server
Navarro et al. Machine learning and computer vision system for phenotype data acquisition and analysis in plants
WO2018198319A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN108491823B (zh) 用于生成人眼识别模型的方法和装置
US20200164505A1 (en) Training for Robot Arm Grasping of Objects
US10052767B2 (en) Robot, control device, and control method
US20220222817A1 (en) Transfer learning for medical applications using limited data
Richey et al. Deep learning based real-time detection of Northern Corn Leaf Blight crop disease using YoloV4
BR112019010508A2 (pt) aparelho e método de processamento de informações, sistema de observação, e, programa
Dac et al. Livestock identification using deep learning for traceability
Jensen et al. Snakestrike: A low-cost open-source high-speed multi-camera motion capture system
WO2019137915A1 (en) Generating input data for a convolutional neuronal network
US20230273232A1 (en) Robotic microinjection
Böer et al. A deep-learning based pipeline for estimating the abundance and size of aquatic organisms in an unconstrained underwater environment from continuously captured stereo video
WO2022251664A3 (en) System and method for high-throughput precision robotic embryo manipulation under computer control at large-scale with high reliability microdosing
Zhao et al. Toward generalizable robot vision guidance in real-world operational manufacturing factories: A Semi-Supervised Knowledge Distillation approach
Sirigrivatanawong et al. Multiple Drosophila tracking system with heading direction
Cluet et al. Automated high-throughput quantification of mitotic spindle positioning from DIC movies of Caenorhabditis embryos
JP2022135007A (ja) 作業適正判定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R151 Written notification of patent or utility model registration

Ref document number: 7036009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151