JP7097686B2 - 画像解析装置 - Google Patents
画像解析装置 Download PDFInfo
- Publication number
- JP7097686B2 JP7097686B2 JP2017220350A JP2017220350A JP7097686B2 JP 7097686 B2 JP7097686 B2 JP 7097686B2 JP 2017220350 A JP2017220350 A JP 2017220350A JP 2017220350 A JP2017220350 A JP 2017220350A JP 7097686 B2 JP7097686 B2 JP 7097686B2
- Authority
- JP
- Japan
- Prior art keywords
- pronuclei
- image
- treated egg
- pronucleus
- contour candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
Description
[システム構成]
図1は、実施形態に係る処置卵の画像解析システムの構成を示す。図示のように、画像解析システム100は、大別して、培養装置50と、記憶装置55と、画像解析装置60とを備える。
図2は、培養容器10及び処置卵の撮影画像の例を示す。培養容器10は円形の容器であり、中央部に収容部11が形成されている。収容部11内には、複数(図2の例では5×5=25個)のウェル12が形成されている。ウェル12は処置卵を収容するための窪みであり、1つのウェル12に1つの処置卵が収容される。図2(A)に示すように、収容部11は培養液13で満たされている。
本実施形態では、処置卵の撮影画像のタイムラプス観察により、処置卵に含まれる前核数を推定する。前核数の推定においては、後述するように、処置卵内に存在する前核の輪郭の候補(以下、「前核輪郭候補」と呼ぶ。)を検出する前核輪郭候補検出処理、及び、前核数の確率を算出する前核数確率算出処理が行われる。ここで、本実施形態では、前核数輪郭候補検出処理及び前核数確率算出処理は、それぞれニューラルネットワークを用いた機械学習(ディープラーニング)を利用して行われる。そこで、まず、これらの実際の処理に先立って行われる事前学習について説明する。
画像解析装置60は、ニューラルネットワークを用いた機械学習を利用して前核輪郭候補検出処理を行う。なお、通常、前核は円形に近い形状であるため、前核輪郭候補は円周に近い形状である。図3は、機械学習に利用する学習データの例を示す。学習データは、学習用入力データと、ニューラルネットワークからの目標出力である教師データとを含む。図示のように、学習用入力データとしては、処置卵30の画像(以下、「処置卵画像」とも呼ぶ。)25を用いる。なお、処置卵画像25は、ウェル12全体を含む撮影画像20から、処置卵30の部分を切り出した画像である。
画像解析装置60は、ニューラルネットワークを用いた機械学習を利用して前核数確率算出処理を行う。図5は、前核数確率算出処理に用いるニューラルネットワークを事前学習する方法を模式的に示す。図6は、前核数確率検出処理における入出力データの例を示す。学習データは、学習用入力データとして、処置卵画像25と、前核輪郭候補の検出結果とを含む。教師データは、前核数0個、1個、2個(それぞれ、「0PN」、「1PN」、「2PN」と記す。)の確率である。学習時には、上記の学習データを多数用いてニューラルネットワーク72を学習させる。
次に、前核数推定処理について説明する。前核数推定処理は、処置卵の撮影画像に基づいて、処置卵に含まれる前核を検出し、前核の数を推定する処理であり、画像解析装置60により実行される。図7は、前核数推定処理のフローチャートである。この処理は、画像解析装置60の制御部65が、予め用意されたプログラムを実行することにより実現される。なお、制御部65は、予め用意されたプログラムを実行する前に、ディープラーニングによる学習で判定用パラメータの最適化を事前に行っているものとする。
(1)起こりうる前核数は0PN、1PN、2PNの3状態であり、観察開始時の前核数は0PNである。
(2)時間の経過によって前核数が増加することはあるが、減少することは無い。
(3)統計的に、前核が発生しやすい時刻、消失しやすい時刻がある。典型的には、前核は観察開始から5時間程度で発生し、20時間程度で消失する。
(4)統計的に、0PN、1PN、2PN、それぞれの発生頻度が既知である。典型的には、0PN、1PN、2PNの発生頻度は、それぞれ10%、10%、80%程度である。
次に、前核数推定処理により得られた前核数の表示例を説明する。制御部65は、前核数推定処理により得られた前核数を画像解析装置60の表示部64に表示する。図12は、前核数を離散値として表示する場合の表示例を示す。図12(A)は、前核数の経時的な推移を折れ線グラフにより示す例である。図12(B)は、前核数の経時的な推移を色分けにより示す例である。図12(C)は、前核数の経時的な推移をグラデーションを伴う色づけにより示す例である。この例では、前核数が変化する期間がグラデーションにより表現されている。図12(D)は、前核数の経時的な推移を色の面積により示す例である。この例では、前核数が変化する期間が面積の変化により表現されている。
(変形例1)
図1に示す画像解析システムでは、撮影装置の組み込まれた培養装置50で培養容器10内の処置卵を撮影し、その撮影画像を画像解析装置60で解析しているが、本発明の適用はこの形態には限られない。例えば、培養装置と撮影装置とを別個に構成し、培養容器から撮影装置へ培養容器10を移動して処置卵を撮影し、その撮影画像を画像解析装置60で解析してもよい。また、別の場所で撮影された撮影画像を画像解析装置60に入力し、解析してもよい。
上記の実施形態では、説明の便宜上、前核数が0、1、2のいずれかであるものとしているが、本発明は、前核数が0、1、2、3又はそれ以上である場合や、0、1、2、3、4又はそれ以上である場合にも適用可能である。
上記の実施形態では、処置卵検出処理においてハフ変換を利用して処置卵を検出しているが、その代わりに、ニューラルネットワークを利用して処置卵の候補を検出する処理として行ってもよい。
上記の前核数推定処理では、ステップS16において制御部65が所定の事前知識(制約条件)の下で最大の確率を有する前核数を決定する際に、処置卵の正常状態の制約条件として
「(1)起こりうる前核数は0PN、1PN、2PNの3状態であり、観察開始時の前核数は0PNである。
(2)時間の経過によって前核数が増加することはあるが、減少することは無い。」
との条件を使用している。これは即ち、「前核数は時間の経過とともに0PN→1PN→2PNと増加する」という制約条件を意味しているが、これに加えて、処置卵の異常状態の制約条件として、「前核数が時間の経過とともに0PN→2PN→1PNと変化する」などを定義してもよい。この場合には、制御部65は、正常状態の制約条件と異常状態の制約条件を選択的に適用し、当てはまる方の制約条件を用いて前核数を決定すればよい。これにより、処置卵が異常状態であるような場合には、最大の確率を有する前核数以外の前核数を正しい前核数として判定することができる。
上記の実施形態では、前核輪郭候補検出処理を行うニューラルネットワーク71と、前核数確率算出処理を行うニューラルネットワーク72とを別個に構成して2段階のニューラルネットワーク構成としているが、その代わりに、入力画像から前核数の判定結果を出力するような1段階のニューラルネットワークを構成してもよい。
上記の前核数推定処理では、ステップS17において、全時刻での最大前核数を出力しているが、ステップS16における前核数の判定処理においては、図10に示すように前核数の時間毎の推移が取得されているので、これに基づいて前核数の変化点、例えば前核数が0PN→1PN、1PN→2PNと変化した時刻を示す情報を併せて出力してもよい。具体的には、前核数の変化点の時刻自体を出力することとしてもよいし、図12(A)~(D)の如きグラフを出力する際にそのグラフ上に前核数の変化点を示すようにしてもよい。
上記の前核数推定処理では、ステップS16において、所定の制約条件下で最大の確率を有する前核数を決定しているが、その代わりに、制約条件を用いない方法で前核数を決定することとしてもよい。例えば、前核数0、1、2などの確率のうち1つが最大となった状態が予め定めた時間以上継続した場合に、確率が最大となった個数であるとして前核数を判定してもよい。
上記の前核数推定処理では、ステップS13において教師データにより学習済のニューラルネットワーク71を用いて前核輪郭候補の検出を行っているが、これ以外の方法で前核輪郭候補を検出してもよい。例えば、ハフ変換により標準的な前核のサイズに近い円形部分を前核輪郭候補として検出してもよく、処置卵画像を2値化するなどの既知の手法により前核輪郭候補を検出してもよい。
12 ウェル
20 撮影画像
25 処置卵画像
30 処置卵
50 撮影装置
51 光源
52 カメラ
55 記憶装置
60 画像解析装置
64 表示部
65 制御部
Claims (7)
- 受精処置を施した処置卵の撮影画像から、当該処置卵に含まれる前核の輪郭候補を検出する前核輪郭候補検出器と、
前記前核輪郭候補検出器により検出された輪郭候補の画像と、撮影画像とから、前記前核の個数毎の確率を算出する確率検出器と、
前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する結果出力部と、
を備えることを特徴とする画像解析装置。 - 前記結果出力部は、前記所定期間において得られた個数のうち最大の個数を、当該処置卵に含まれる前核の個数と判定することを特徴とする請求項1に記載の画像解析装置。
- 前記結果出力部は、前記個数を経時的に示すグラフを表示することを特徴とする請求項1又は2に記載の画像解析装置。
- 前記結果出力部は、前記個数の変化点を示す情報を出力することを特徴とする請求項2又は3に記載の画像解析装置。
- 前記前核輪郭候補検出器は、前記処置卵の撮影画像である入力データと、当該撮影画像に含まれる前記輪郭候補の形状を示す教師データとを含む複数の学習データにより学習済みであることを特徴とする請求項1乃至4のいずれか一項に記載の画像解析装置。
- 前記輪郭候補の形状は円形であり、前記教師データは、前記前核の円周を示すデータであることを特徴とする請求項5に記載の画像解析装置。
- 受精処置を施した処置卵の撮影画像から当該処置卵に含まれる前核の輪郭候補を検出し、検出された輪郭候補の画像と、撮影画像とから前記前核の個数毎の確率を算出する検出器と、
前記前核の個数毎の確率を所定期間にわたり分析して前核の個数を判定し、前核の個数を離散値で出力する結果出力部と、
を備えることを特徴とする画像解析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220350A JP7097686B2 (ja) | 2017-11-15 | 2017-11-15 | 画像解析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220350A JP7097686B2 (ja) | 2017-11-15 | 2017-11-15 | 画像解析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019088243A JP2019088243A (ja) | 2019-06-13 |
JP7097686B2 true JP7097686B2 (ja) | 2022-07-08 |
Family
ID=66835127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017220350A Active JP7097686B2 (ja) | 2017-11-15 | 2017-11-15 | 画像解析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7097686B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7307166B2 (ja) * | 2019-06-28 | 2023-07-11 | 富士フイルム株式会社 | 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム |
JP2021085757A (ja) * | 2019-11-27 | 2021-06-03 | 国立大学法人神戸大学 | 顕微鏡による焦点画像群を用いた形状計測方法及び装置 |
CN112329664A (zh) * | 2020-11-11 | 2021-02-05 | 赛芒(北京)信息技术有限公司 | 一种原核期胚胎原核数量的评估方法 |
JP2024054578A (ja) * | 2022-10-05 | 2024-04-17 | 株式会社アステック | タイムラプス撮影機能付き培養装置および培養方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012531584A (ja) | 2009-06-25 | 2012-12-10 | フェイズ ホログラフィック イメージング ペーホーイー アーベー | デジタルホログラフィック撮像による卵又は胚の分析 |
WO2017132674A1 (en) | 2016-01-28 | 2017-08-03 | Letterie Gerard | Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos |
-
2017
- 2017-11-15 JP JP2017220350A patent/JP7097686B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012531584A (ja) | 2009-06-25 | 2012-12-10 | フェイズ ホログラフィック イメージング ペーホーイー アーベー | デジタルホログラフィック撮像による卵又は胚の分析 |
WO2017132674A1 (en) | 2016-01-28 | 2017-08-03 | Letterie Gerard | Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos |
Also Published As
Publication number | Publication date |
---|---|
JP2019088243A (ja) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7097686B2 (ja) | 画像解析装置 | |
US11138726B2 (en) | Method, client, server and system for detecting tongue image, and tongue imager | |
CN109684981B (zh) | 青光眼图像识别方法、设备和筛查系统 | |
JP2021040324A (ja) | 情報処理装置、制御方法、及びプログラム | |
US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
CN109697716B (zh) | 青光眼图像识别方法、设备和筛查系统 | |
US11553829B2 (en) | Information processing apparatus, control method and program | |
JP2022502684A (ja) | 画像特徴の検出 | |
US11884959B2 (en) | Methods and systems for automated assessment of antibiotic sensitivity | |
US8913807B1 (en) | System and method for detecting anomalies in a tissue imaged in-vivo | |
JP7446060B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN102471750A (zh) | 细菌分类装置及细菌检查预处理装置 | |
WO2015141275A1 (ja) | 細胞領域表示制御装置および方法並びにプログラム | |
CN115641364B (zh) | 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法 | |
CN108230979B (zh) | 一种显示屏的显示参数调整方法、电子设备及存储介质 | |
JP7091635B2 (ja) | 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ | |
US11961230B2 (en) | Discerning device, cell mass discerning method, and computer program | |
JP6138935B2 (ja) | 細胞画像処理装置、細胞画像認識装置及び細胞画像認識方法 | |
KR100909540B1 (ko) | 영상인식 오류 통보 방법 및 장치 | |
US20220330884A1 (en) | Automated evaluation of quality assurance metrics for assisted reproduction procedures | |
JPWO2021181564A5 (ja) | 処理システム、画像処理方法、学習方法及び処理装置 | |
KR102220574B1 (ko) | 영상 데이터 필터링을 위한 품질 점수 임계값 산출 방법, 장치 및 컴퓨터프로그램 | |
JP2022137430A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6841140B2 (ja) | 画像解析装置、画像解析システム、及び、プログラム | |
JP6866629B2 (ja) | 画像解析装置、画像解析方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7097686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |