TW201913565A - 胚胎影像評價方法及系統 - Google Patents

Abstract

本發明揭示一種胚胎影像評價方法，包含：接收一原始影像，該原始影像包含一胚胎影像；對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像；對擷取出的該胚胎影像進行分析，包括：識別該胚胎影像是否屬於原核階段，若否，則進行下一步；識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步；識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步；識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步；識別該胚胎影像中的卵裂球數目；及根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。

Description

胚胎影像評價方法及系統

本發明係關於一種胚胎影像評價方法及系統。

習知之醫學技術中，若欲尋找胚胎影像，須透過人工標記之方式標記，以供人工生殖醫療單位或不孕症醫療機構之生殖醫學專業人員作進一步的胚胎品質評估。

惟，以人工標記及評估之方式往往準確度及穩定性皆有不足，且耗費時間、人力。是以，仍需要胚胎影像評價方法及系統，來輔助或替代人工標記及評估。

在一方面，本發明揭示一種胚胎影像評價方法，包含(a) 接收一原始影像，該原始影像包含一胚胎影像；(b) 對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像；以及(c) 對擷取出的該胚胎影像進行分析，包括：(i) 識別該胚胎影像是否屬於原核階段，若否，則進行下一步；(ii) 識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步；(iii) 識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步；(iv) 識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步；(v) 識別該胚胎影像中的卵裂球數目；及(vi) 根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。

在本發明之部分具體實施例中，在步驟(b)係藉由一自動化擷取偵測圓半徑之均值飄移演算法，以擷取出該胚胎影像。

在本發明之部分具體實施例中，該自動化擷取偵測圓半徑之均值飄移演算法透過包含以下步驟之方法實現：前處理該原始影像，包含：影像二值化、邊緣偵測、影像強化、高斯平滑過濾、影像閉合、及影像填滿，以從該原始影像中偵測到一或多個圖形；自動化擷取偵測圓半徑，包含：從所述一或多個圖形中挑選出面積最大的一第一圖形，該第一圖形定義有一面積；根據該面積推導得到該圖形之一半徑；以及以該半徑作為一參數，藉由一均值飄移演算法以擷取出該胚胎影像。

在本發明之部分具體實施例中，更包含：（b1）藉由一電腦視覺模型，識別擷取出的該胚胎影像是否屬於胚葉數2-9的胚胎，若是，則進行步驟(c)，其中該電腦視覺模型係透過一深度學習演算法以建構。

在本發明之部分具體實施例中，在步驟(c)(i)係藉由一原核影像評價模型來識別該胚胎影像是否屬於原核階段，其中該原核影像評價模型係透過一深度學習演算法以建構；在步驟(c)(ii)係藉由一卵裂球緻密影像評價模型來識別該胚胎影像是否屬於卵裂球緻密階段，其中該卵裂球緻密影像評價模型係透過一深度學習演算法以建構；在步驟(c)(iii)係藉由一桑葚胚影像評價模型來識別該胚胎影像是否屬於該桑葚胚階段，其中該桑葚胚影像評價模型係透過一深度學習演算法以建構；及／或在步驟(c)(iv)係藉由一囊胚影像評價模型來識別該胚胎影像是否屬於該囊胚階段，其中該囊胚影像評價模型係透過一深度學習演算法以建構。

在本發明之部分具體實施例中，該深度學習演算法採用以下模型其中之一：一卷積類神經網路模型、一隨機森林模型、一支持向量回歸模型、一正規化回歸模型、一集成學習模型、一機率圖形演算法模型、以及一群集分析模型。

在本發明之部分具體實施例中，透過監督式機器學習的方式以建構一第一模型，該第一模型係選自於由該電腦視覺模型、該原核影像評價模型、該卵裂球緻密影像評價模型、該桑葚胚影像評價模型、該囊胚影像評價模型、該碎片比例分析模型、及該卵裂球大小比例分析模型所組成的群組。

在本發明之部分具體實施例中，在該監督式機器學習中係藉由一組訓練資料來訓練及建構出該第一模型，該組訓練資料中的每一筆包括：一經判讀的胚胎影像，以及一判讀標籤，該判讀標籤係包含經醫事人員所作出之一判讀結果。

在本發明之部分具體實施例中，該組訓練資料係儲存於一胚胎影像資料庫。

在本發明之部分具體實施例中，更包含：針對一評價結果，接收一使用者回饋，用以更新該胚胎影像資料庫中對應的判讀標籤。

另一方面，本發明揭示一種胚胎影像評價系統，包含一影像接收模組，用以接收一原始影像，該原始影像包含一胚胎影像；一影像前處理模組，用以對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像；以及一影像分析模組，用以對擷取出的該胚胎影像進行分析，該影像分析模組執行包含以下步驟之流程：(i) 識別該胚胎影像是否屬於原核階段，若否，則進行下一步；(ii) 識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步；(iii) 識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步；(iv) 識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步；(v) 識別該胚胎影像中的卵裂球數目；及(vi) 根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。

在本發明之部分具體實施例中，該影像前處理模組係藉由一自動化擷取偵測圓半徑之均值飄移演算法，以擷取出該胚胎影像。

在本發明之部分具體實施例中，該自動化擷取偵測圓半徑之均值飄移演算法透過包含以下步驟之方法實現：前處理該原始影像，包含：影像二值化、邊緣偵測、影像強化、高斯平滑過濾、影像閉合、及影像填滿，以從該原始影像中偵測到一或多個圖形；自動化擷取偵測圓半徑，包含：從所述一或多個圖形中挑選出面積最大的一第一圖形，該第一圖形定義有一面積；根據該面積推導得到該圖形之一半徑；以及以該半徑作為一參數，藉由一均值飄移演算法以擷取出該胚胎影像。

在本發明之部分具體實施例中，更包含一識別單元，該識別單元藉由一電腦視覺模型，識別擷取出的該胚胎影像是否屬於胚葉數2-9的胚胎，若是，則由該影像分析模組對擷取出的該胚胎影像進行分析，其中該電腦視覺模型係透過一深度學習演算法以建構。

在本發明之部分具體實施例中，該影像分析模組包含：一第一子模組，用以識別該胚胎影像是否屬於原核階段，其包含一原核影像評價模型，該原核影像評價模型係透過一深度學習演算法以建構；一第二子模組，用以識別該胚胎影像是否屬於卵裂球緻密階段，其包含一卵裂球緻密影像評價模型，該卵裂球緻密影像評價模型係透過一深度學習演算法以建構；一第三子模組，用以識別該胚胎影像是否屬於該桑葚胚階段，其包含一桑葚胚影像評價模型，其中該桑葚胚影像評價模型係透過一深度學習演算法以建構；及一第四子模組，用以識別該胚胎影像是否屬於該囊胚階段，其包含一囊胚影像評價模型，該囊胚影像評價模型係透過一深度學習演算法以建構。

在本發明之部分具體實施例中，該深度學習演算法採用以下模型其中之一：一卷積類神經網路模型、一隨機森林模型、一支持向量回歸模型、一正規化回歸模型、一集成學習模型、一機率圖形演算法模型、以及一群集分析模型。

在本發明之部分具體實施例中，透過監督式機器學習的方式以建構一第一模型，該第一模型係選自於由該電腦視覺模型、該原核影像評價模型、該卵裂球緻密影像評價模型、該桑葚胚影像評價模型、該囊胚影像評價模型、該碎片比例分析模型、及該卵裂球大小比例分析模型所組成的群組。

在本發明之部分具體實施例中，在該監督式機器學習中係藉由一組訓練資料來訓練及建構出該第一模型，該組訓練資料中的每一筆包括：一經判讀的胚胎影像，以及一判讀標籤，該判讀標籤係包含經醫事人員所作出之一判讀結果。

在本發明之部分具體實施例中，該組訓練資料係儲存於一胚胎影像資料庫。

在本發明之部分具體實施例中，更包含一影像評價模組，該影像評價模組針對一評價結果，接收一使用者回饋，用以更新該胚胎影像資料庫中對應的判讀標籤。

本發明之其他目的及優點一部分記載於下述說明中，或可透過本發明的實施例而理解。應了解前文之發明內容及下文之實施方式僅為例示性及闡釋性之說明，而非如申請專利範圍般限定本發明。

需注意的是，除非另有指明，所有在此處使用的技術性和科學性術語具有如同本發明所屬技術領域中之通常技術者一般所瞭解的意義。再者，本說明書所使用的「一」乙詞，如未特別指明，係指至少一個（一個或一個以上）之數量，合先說明。

請參見圖1，圖1係繪示本發明之一具體實施例之胚胎影像評價方法之流程圖。如圖所示，於本實施例中，胚胎影像評價方法包含下列步驟：（S20） 接收一原始影像，該原始影像包含一胚胎影像；（S21） 對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像；以及（S22） 對擷取出的該胚胎影像進行分析。

於實際應用中，該原始影像中除包含該胚胎影像之外，亦包含至少一受精卵細胞影像、至少一精蟲細胞影像、至少一顯微注射器影像或其他雜訊。前開影像或雜訊將干擾對該胚胎影像之判斷。

在本發明之部分具體實施例中，步驟（S21）係藉由一自動化擷取偵測圓半徑之均值飄移演算法（Mean Shift Algorithm with Automatic Bandwidth Detection），以擷取出該胚胎影像。其中，該自動化擷取偵測圓半徑之均值飄移演算法透過包含以下步驟之方法實現：前處理該原始影像，包含：影像二值化（Rgb2gray）、邊緣偵測（Edge Detection）、影像強化（Image Enhance）、高斯平滑過濾（Gaussian Filter）、影像閉合（Image Closing）、影像填滿（Image Fill Holes），以從該原始影像中偵測到一或多個圖形；自動化擷取偵測圓半徑，包含：從所述一或多個圖形中挑選出面積最大的一第一圖形（Define Maximum Region），該第一圖形定義有一面積；根據該面積推導得到該圖形之一半徑；以及以該半徑作為一參數，藉由一均值飄移演算法以擷取出該胚胎影像。例如，該第一圖形定義之該面積為A，該半徑即為(A/π)^^1/2 ，可作為該均值飄移演算法之該參數。

此外，在本發明之部分具體實施例中，步驟（S21）更包含：藉由一電腦視覺模型，識別擷取出的該胚胎影像是否屬於胚葉數2-9的胚胎，若是，則進行步驟（S22）。該電腦視覺模型係透過一深度學習演算法以建構。

步驟（S22）包括：（S221） 識別該胚胎影像是否屬於原核階段，若否，則進行下一步；（S222） 識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步；（S223） 識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步；（S224） 識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步；（S225） 識別該胚胎影像中的卵裂球數目；及（S226） 根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。

在本發明之部分具體實施例中，在步驟（S221）係藉由一原核影像評價模型來識別該胚胎影像是否屬於原核階段，其中該原核影像評價模型係透過一深度學習演算法以建構；在步驟（S222）係藉由一卵裂球緻密影像評價模型來識別該胚胎影像是否屬於卵裂球緻密階段，其中該卵裂球緻密影像評價模型係透過一深度學習演算法以建構；在步驟（S223）係藉由一桑葚胚影像評價模型來識別該胚胎影像是否屬於該桑葚胚階段，其中該桑葚胚影像評價模型係透過一深度學習演算法以建構；及／或在步驟（S224）係藉由一囊胚影像評價模型來識別該胚胎影像是否屬於該囊胚階段，其中該囊胚影像評價模型係透過一深度學習演算法以建構。

其中，該深度學習演算法採用以下模型其中之一：一卷積類神經網路模型、一隨機森林模型、一支持向量回歸模型、一正規化回歸模型、一集成學習模型、一機率圖形演算法模型、以及一群集分析模型。

另外，在本發明之部分具體實施例中，透過一監督式機器學習的方式以建構一第一模型，該第一模型係選自於由該電腦視覺模型、該原核影像評價模型、該卵裂球緻密影像評價模型、該桑葚胚影像評價模型、該囊胚影像評價模型、該碎片比例分析模型、及該卵裂球大小比例分析模型所組成的群組。

在該監督式機器學習中係藉由一組訓練資料來訓練及建構出該第一模型，該組訓練資料中的每一筆包括：一經判讀的胚胎影像，以及一判讀標籤，該判讀標籤係包含經醫事人員所作出之一判讀結果。其中，該組訓練資料係儲存於一胚胎影像資料庫。

在本發明之部分具體實施例中，胚胎影像評價方法更包含一步驟（S23）針對一評價結果，接收一使用者回饋，用以更新該胚胎影像資料庫中對應的該判讀標籤。

請參見圖2，圖2係繪示本發明之一具體實施例之胚胎影像評價系統之方塊圖。如圖所示，本發明另揭示一種胚胎影像評價系統2，以實現上開胚胎影像評價方法，茲說明如下。

本實施例之胚胎影像評價系統2包含一影像接收模組20、一影像前處理模組21、一影像分析模組22以及一影像評價模組23。該影像接收模組20實行步驟（S20），用以接收一原始影像，該原始影像包含一胚胎影像。該影像前處理模組21實行步驟（S21），用以對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像。該影像分析模組22實行步驟（S22），用以對擷取出的該胚胎影像進行分析。

其中，該影像分析模組22執行包含以下步驟之流程：識別該胚胎影像是否屬於原核階段，若否，則進行下一步；識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步；識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步；識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步；識別該胚胎影像中的卵裂球數目；及根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。

在本發明之部分具體實施例中，該影像前處理模組21係藉由一自動化擷取偵測圓半徑之均值飄移演算法，以擷取出該胚胎影像。其中，該自動化擷取偵測圓半徑之均值飄移演算法透過包含以下步驟之方法實現：前處理該原始影像，包含：影像二值化、邊緣偵測、影像強化、高斯平滑過濾、影像閉合、影像填滿，以從該原始影像中偵測到一或多個圖形；自動化擷取偵測圓半徑，包含：從所述一或多個圖形中挑選出面積最大的一第一圖形，該第一圖形定義有一面積；根據該面積推導得到該圖形之一半徑；以及以該半徑作為一參數，藉由一均值飄移演算法以擷取出該胚胎影像。例如，該第一圖形定義之該面積為A，該半徑即為(A/π)^1/2，可作為該均值飄移演算法之該參數。

此外，在本發明之部分具體實施例中，該影像前處理模組21包含一識別單元（未顯示於圖式中）。該識別單元藉由一電腦視覺模型，識別擷取出的該胚胎影像是否屬於胚葉數2-9的胚胎，若是，則由該影像分析模組對擷取出的該胚胎影像進行分析，其中該電腦視覺模型係透過一深度學習演算法以建構。

在本發明之部分具體實施例中，該影像分析模組22包含一第一子模組、一第二子模組、一第三子模組以及一第四子模組（皆未顯示於圖式中）。該第一子模組用以識別該胚胎影像是否屬於原核階段，其包含一原核影像評價模型，該原核影像評價模型係透過一深度學習演算法以建構。該第二子模組用以識別該胚胎影像是否屬於卵裂球緻密階段，其包含一卵裂球緻密影像評價模型，該卵裂球緻密影像評價模型係透過一深度學習演算法以建構。該第三子模組用以識別該胚胎影像是否屬於該桑葚胚階段，其包含一桑葚胚影像評價模型，其中該桑葚胚影像評價模型係透過一深度學習演算法以建構。該第四子模組用以識別該胚胎影像是否屬於該囊胚階段，其包含一囊胚影像評價模型，該囊胚影像評價模型係透過一深度學習演算法以建構。

其中，該深度學習演算法採用以下模型其中之一：一卷積類神經網路模型、一隨機森林模型、一支持向量回歸模型、一正規化回歸模型、一集成學習模型、一機率圖形演算法模型、以及一群集分析模型。

另外，在本發明之部分具體實施例中，透過一監督式機器學習的方式以建構一第一模型，該第一模型係選自於由該電腦視覺模型、該原核影像評價模型、該卵裂球緻密影像評價模型、該桑葚胚影像評價模型、該囊胚影像評價模型、該碎片比例分析模型、及該卵裂球大小比例分析模型所組成的群組。

在該監督式機器學習中係藉由一組訓練資料來訓練及建構出該第一模型，該組訓練資料中的每一筆包括：一經判讀的胚胎影像，以及一判讀標籤，該判讀標籤係包含經醫事人員所作出之一判讀結果。其中，該組訓練資料係儲存於一胚胎影像資料庫。

該影像評價模組23用以實行步驟（S23），針對一評價結果接收一使用者回饋，用以更新該胚胎影像資料庫中對應的該判讀標籤。

以下說明在本發明之一實例：

本實例主要由胚胎影像輸入單元、資料前處理單元、胚胎影像資料分析單元、胚胎品質輔助評估單元、使用者回饋單元、胚胎影像分析模型、以及一個胚胎影像資料庫所組成。

使用者透過胚胎影像輸入單元，將一胚胎影像實例輸入至模型，資料前處理單元會將該胚胎影像實例，以電腦視覺演算法做前處理的動作，而後將完成前處理之影像實例輸入至胚胎影像資料分析單元，待胚胎影像資料分析單元完成分析該影像實例，最後，胚胎品質輔助評估單元則會評估該胚胎影像實例。

胚胎影像分析模型，由多個影像分析模型子單元所組成，分別用以解決特定的胚胎影像分析子問題，而胚胎影像資料分析單元，主要是整合這多個影像分析模型子單元之輸出結果，做一個整合性分析評估。

胚胎影像資料庫用以儲藏過去所處理之胚胎影像資料，以及每一個新輸入之胚胎影像實例。進一步地，對於每一筆儲存於胚胎影像資料，胚胎影像資料庫亦會記錄與儲存生殖醫學專業人員對於該胚胎影像所做的辨識之標籤。上述之胚胎影像資料與相對應之標籤，則組成胚胎影像訓練資料，用以建構以及交叉驗證胚胎影像分析模型。

若對於一胚胎影像實例，胚胎品質輔助評估單元輸出之結果，不符合使用者預期，使用者回饋單元則可將此筆影像實例，與經過該使用者判斷修正後的新標籤，一同儲存回胚胎影像資料庫。之後則以線下訓練(Offline Learning)模式，產生更新後的胎影像分析模型。

使用者回饋單元可對應在機器學習中製作的任何其他類型之學習模式，像是主動式學習(Active Learning)模式或強化學習(Reinforcement Learning)模式，以此類推。

當一胚胎影像實例經由胚胎影像輸入單元輸入，而後經過資料前處理單元處理完成，才會進入胚胎影像資料分析單元。原始輸入影像中，常見一張影像細胞同時包含多個受精卵細胞、精蟲細胞、或是一張輸入影像中除了包含受精卵細胞亦包含顯微注射器或是其他干擾胚胎影像判斷的雜訊，因此有效的將胚胎影像細胞從原始輸入圖片中擷取出來是相當重要的前處理。

資料前處理單元主要是結合數個電腦視覺演算法步驟與均值飄移(Mean Shift Algorithm)演算法，用以建構胚胎物件辨識器以及影像特徵擷取單元。胚胎物件辨識器目的在於，對於一胚胎影像實例作胚胎物件之辨識，辨識其座標位置及大小比例，並從該影像分割及裁切單顆胚胎子影像。傳統上使用偵測群聚點(Clusters)的演算法為均值飄移(Mean Shift Algorithm)演算法，該演算法的好處是可以有效的自動化找出圖形中所有的群聚點(Clusters)。當將均值飄移演算法套用至胚胎影像處理時，會需要定義出一個偵測圓用以尋找胚胎所在位置，但傳統的均值飄移(Mean Shift Algorithm)演算法由於無法自動化定義偵測圓半徑，因此需耗費人力進行標記。

本專利中發明了可以自動化擷取偵測圓半徑(Bandwidth Detection)的均值飄移演算法，利用本專利的自動化擷取偵測圓半徑均值飄移(Mean Shift Algorithm with Automatic Bandwidth Detection)演算法尋找胚胎影像，將可以改善傳統上需要人工手動標記的麻煩，並且增加標記的準確度。本演算法包含兩大處理元件：1. 影像處理(Image Process)、2. 自動化擷取偵測半徑圓(Estimate Bandwidth)。在影像處理中，會先將原始輸入影像進行影像二值化(Rgb2gray)，接著進行邊緣偵測(Edge Detection)、影像強化(Image Enhance)、高斯平滑過濾(Gaussian Filter)、影像閉合(Image Closing)，最後將偵測出的圖形進行影像填滿(Image Fill Holes)。經由上述過程處理後的原始輸入檔案機接著會進行第二步驟的資料前處理。

在資料前處理階段，本專利發明的軟體會先進行自動化擷取偵測圓半徑(Bandwidth Detection)包含步驟為：將圖片中所有的影像進行標記(Image Labeling)、去找出所有標記影像中面積最大的圖形 (Define Maximum Region)，以此面積來做為單一受精卵的預測面積A，故可利用圓形面積公式可推導求得圓半徑為(A/π)^1/2，而此半徑即可作為均值飄移演算法的輸入參數。如此一來便可以有效率的將圓型的受精卵細胞從原始輸入檔案中挑選出來。

利用自動化擷取偵測圓半徑均值飄移(Mean Shift Algorithm with Automatic Bandwidth Detection)演算法配合電腦視覺演算法及深度學習(Deep Learning)，可將一張影像分割及裁切單顆胚胎子影像實例輸入至訓練該模型並同時輸入該影像實例所對應之胚葉細胞數目，機器學習演算法會調整它的相應參數以更新該訓練模型，並在下一次的辨識過程結果，校正其辨識結果。在輸入數萬筆的裁切單顆胚胎子影像實例、耗費數萬次類比執行上述實例的計算之後，該訓練模型則可將此項辨識能力隱含在數學模型中。如此便可以有效將輸入影像(Input Images)中所有的二到九胚葉細胞挑選出來，以數個卷積(Convolution)運算，萃取單顆胚胎子影像之影像特徵值(Feature Extraction)，並輸出至一特徵向量空間，用以輸入至胚胎影像資料分析單元做進一步的分析。該模型可對應於在一電腦視覺程序中製作的任何其他類型之模型，像是斑點偵測(Blob Detection)、影像物件偵測(Object Detection)、影像物件切割(Object Segmentation)，以此類推。

本案採用一個機器學習的方法，即監督式學習法(Supervised Learning)，用以從胚胎影像訓練資料中，學習生殖醫學專業人員對於胚胎影像所做的辨識之能力，並建立一個機器學習模式，此學習模式亦有能力對於新的實例做一推測。上述之胚胎影像訓練資料是由輸入物件，即數位化胚胎影像資料，以及預期輸出，即生殖醫學專業人員對於胚胎影像所做的辨識之標籤，此兩部分所組成。機器學習模型的輸出根據辨識之需求可以是一個連續的數值區間（迴歸分析），例如：辨識胚胎影像中碎片比例，或是預測一個分類標籤（類別預測 ），例如：辨識胚胎影像是否處於某一胚胎發育階段。

在一體外人工受精療程中，生殖醫學專業人員，通常是以操作顯微鏡方式，在鏡頭下觀測胚胎發育狀況，或拍攝紀錄特定時間之胚胎影像用以評價胚胎發育狀況。始自卵子受精的第0小時至24小時，稱作原核階段(Pronuclear Stage)，在此時間區間，該胚胎影像中，可觀察之細胞核數量應為兩顆，一細胞核應來自母親，另一細胞核應來自父親，若在一筆特定的影像資料中可觀察之細胞核數量不等於兩顆，則本方法判斷此胚胎從這筆影像資料觀察之，在此發育階段應該評為品質不佳之胚胎，需由生殖醫學專業人員協助幫忙確認之。始自卵子受精的第24小時至72小時，為卵裂球分裂階段，正常胚胎之分裂情況下，以過去相關研究之數據統計，通常為二至九顆卵裂球。在此階段，本案將胚胎影像分類為，胚胎二卵裂球階段、胚胎三卵裂球階段、胚胎四卵裂球階段、胚胎五卵裂球階段、胚胎六卵裂球階段、胚胎七卵裂球階段、胚胎八卵裂球階段、以及胚胎大於八卵裂球分裂階段，等多類胚胎影像標籤。並同時，配合由影像中可識別之碎片比例及各卵裂球大小比例作為評斷該胚胎發育品質之依據。始自卵子受精的第73小時至96小時，一般論而言，胚胎發育應成長至桑椹胚階段，此時卵裂球分裂數約為32顆卵裂球，若胚胎發育至此時間區間，尚未達桑葚胚階段，或是已成為囊胚階段，則本方法判斷此胚胎從這筆影像資料觀察之，在此發育階段評為品質不佳之胚胎，需由生殖醫學專業人員協助幫忙確認之。始自卵子受精的第96小時至120小時，胚胎發育應成長至囊胚階段，囊胚階段的胚胎評價方法，則考量三項因素，囊胚發育時期，內細胞團品質，外胚滋養層品質。囊胚發育時期，依據時間先後順序，可分為：早期囊胚、囊胚、全滿囊胚、擴張中的囊胚、分化中的囊胚、已孵化之囊胚。而依據內細胞團品質，則可分成三種等級，分別為：內細胞團細胞分布多且排列緊密、內細胞團細胞分布多但排列鬆散、內細胞團細胞數量少。而依據外胚滋養層品質，則可分成三種等級，分別為：外胚滋養層細胞分布多且排列緊密、外胚滋養層細胞分布多但排列鬆散、外胚滋養層細胞數量少。

本案提供之胚胎品質評價方法，主要是以深度學習演算法實作資料分析架構，用以處理上述胚胎影像資料之評價方法。針對各個不同的胚胎發育階段，本案將設計相對應的分析及識別模型。各個分析或識別模型的影像訓練資料，主要是由特定胚胎發育階段之影像資料集合與生殖醫學專業人員對於該胚胎影像集合所做的辨識之標籤所組成，用以建構以及交叉驗證該分析或識別模型。因此胚胎影像資料分析單元主要是由胚胎原核階段識別器、胚胎原核影像評價模型、胚胎卵裂球緻密階段識別器、胚胎卵裂球緻密影像評價模型、胚胎桑椹胚階段識別器、胚胎桑椹胚影像評價模型、胚胎囊胚階段識別器、胚胎囊胚影像評價模型、胚胎卵裂球數識別器、胚胎碎片比例分析模型、卵裂球大小比例分析模型所組成。其中，胚胎卵裂球數識別器主要設計目的在於區分，包含：胚胎二卵裂球階段、胚胎三卵裂球階段、胚胎四卵裂球階段、胚胎五卵裂球階段、胚胎六卵裂球階段、胚胎七卵裂球階段、胚胎八卵裂球階段、胚胎大於八卵裂球分裂階段，等胚胎發育階段所對應之影像資料。

胚胎影像資料分析單元又包含一個整合性決策分析模組，用以整合上述多個子分析模組。其中，各個子分析模組可應用深度學習演算法來實作該分析模型。

該模型可對應於一卷積類神經網路模型。該卷積類神經模型之操作是藉由一多層類神經網路分析架構，來將輸入之影像投射成為一影像特徵值化空間中的向量。經過模型訓練完成後，將可用以識別胚胎影像屬於特定的發育階段或是胚胎發育品質。在一非設限實施例中，上述所有模型可對應在機器學習中製作的任何其他類型之模型，像是隨機森林(Random Forest)模型、支持向量回歸(Support Vector Regression)模型、正規化回歸(Regularization Regression)模型、集成學習(Ensemble Learning)模型、機率圖形演算法(Graph-Based Algorithm)模型、或群集分析(Cluster analysis)模型，以此類推。

胚胎品質好壞對於人工生殖的結果有高度正相關，對於胚胎品質判定，主要可以分為：一、胚葉大小比例 (the symmetry of the blastomeres)，二、碎片面積比例 (the degree of fragmentation)，三、碎片分布位置 (the distribution of fragmentation)。

首先，關於胚葉大小比例，當受精卵發育到一定細胞數量時，各種細胞數目會有其對應的最佳細胞分裂 (stage-specific cleavage patterns)。在二細胞時期的卵裂球 (blastomere)中兩個胚葉應該要等大，三細胞時期的卵裂球中應有一個主要較大且尚未分化胚葉加上兩個小型已分化胚葉、四細胞時期的卵裂球中應有四個小型已分化胚葉、五細胞時期的卵裂球中應有三個主要較大且尚未分化胚葉加上兩個小型已分化胚葉、六細胞時期的卵裂球中應有兩個主要較大且尚未分化胚葉加上四個小型已分化胚葉、七細胞時期的卵裂球中應有一個主要較大且尚未分化胚葉加上六個小型已分化胚葉、最後八細胞時期的卵裂球中應有八個全分化小型胚葉。其餘的情況均屬於非對應的細胞分裂(non-stage-specific cleavage patterns)。

碎片面積比例可以分為輕微 (＜10%) (0-15%)、中度(10-25%) (16-35%),、或是中重度(26-50%) (30-50%)、重度(＞50%)。研究也指出碎片比例和懷孕率有絕對正相關，當碎片面積過大時受精卵不易著床。相反的，如果受精卵中的碎片比例較低，受精卵會有較高的著床率出現。

最後，針對受精卵中碎片分布位置和活產率之間的研究是最少的。碎片分布位置會影響細胞分裂時leptin, STAT3, Bax, Bcl-2, VEGF, EGFR等分子的均等分布。在受精卵中有散佈四處的碎片時，最嚴重會去影響胚葉對稱分布造成胚胎從具有對應的細胞分裂(stage-specific cleavage patterns)變成非對應的細胞分裂(non-stage-specific cleavage patterns)。

根據上述「胚葉大小比例」、「碎片面積比例」、「碎片分布位置」等三項評比項目與胚胎品質判定特點及胚胎活產率關係，因此訂定胚胎評比項目、權重、分數與量表如下表1所示。

表1：胚胎評比

在評比項目中，碎片面積比例為最重要參考指標、其次依序為胚葉大小比例及碎片分布位置。在本發明中，碎片面積比例之權重與碎片分布位置之權重總和為85%，且碎片面積比例佔有最高權重，其權重比例分佈為80%至85%，另碎片分布位置權重分佈為0%至5%，胚葉大小比例權重為15%至20%。系統會依據「胚胎影像評比表」中的評分方式，針對每一胚胎影像，會以三評比指標的權重比例加總其總分，根據不同的總分可以對應至不同的胚胎等級，如下表2所示。

表2：胚胎等級 而胚胎量化等級從A級到E級，A級最佳，B級次之，以此類推。

舉例而言，若該胚胎影像如下表3所示，其加總總分為15%*4 + 80%*8+ 5%*8 =7.4，屬於B等級胚胎細胞：

表3：胚胎評比實例 量化過後的該胚胎影像，可經由專業醫師判讀後使用於臨床上評比受精卵胚胎品質。

藉由上開具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露之具體實施例限制本發明之範疇。相反地，其目的係希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

2‧‧‧胚胎影像評價系統

20‧‧‧影像接收模組

21‧‧‧影像前處理模組

22‧‧‧影像分析模組

23‧‧‧影像評價模組

S20~S23‧‧‧步驟流程

S221~S226‧‧‧步驟流程

圖1係繪示本發明之一具體實施例之胚胎影像評價方法之流程圖。

圖2係繪示本發明之一具體實施例之胚胎影像評價系統之方塊圖。

無

Claims (20)

1. 一種胚胎影像評價方法，包含： (a) 接收一原始影像，該原始影像包含一胚胎影像； (b) 對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像；以及 (c) 對擷取出的該胚胎影像進行分析，包括： (i) 識別該胚胎影像是否屬於原核階段，若否，則進行下一步； (ii) 識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步； (iii) 識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步； (iv) 識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步； (v) 識別該胚胎影像中的卵裂球數目；及 (vi) 根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。
2. 如請求項1所述之方法，其中，在步驟(b)係藉由一自動化擷取偵測圓半徑之均值飄移演算法，以擷取出該胚胎影像。
3. 如請求項2所述之方法，其中該自動化擷取偵測圓半徑之均值飄移演算法透過包含以下步驟之方法實現： 前處理該原始影像，包含：影像二值化、邊緣偵測、影像強化、高斯平滑過濾、影像閉合、及影像填滿，以從該原始影像中偵測到一或多個圖形； 自動化擷取偵測圓半徑，包含：從所述一或多個圖形中挑選出面積最大的一第一圖形，該第一圖形定義有一面積；根據該面積推導得到該圖形之一半徑；以及 以該半徑作為一參數，藉由一均值飄移演算法以擷取出該胚胎影像。
4. 如請求項1所述之方法，更包含： （b1）藉由一電腦視覺模型，識別擷取出的該胚胎影像是否屬於胚葉數2-9的胚胎，若是，則進行步驟(c)，其中該電腦視覺模型係透過一深度學習演算法以建構。
5. 如請求項1所述之方法，其中，在步驟(c)(i)係藉由一原核影像評價模型來識別該胚胎影像是否屬於原核階段，其中該原核影像評價模型係透過一深度學習演算法以建構；在步驟(c)(ii)係藉由一卵裂球緻密影像評價模型來識別該胚胎影像是否屬於卵裂球緻密階段，其中該卵裂球緻密影像評價模型係透過一深度學習演算法以建構；在步驟(c)(iii)係藉由一桑葚胚影像評價模型來識別該胚胎影像是否屬於該桑葚胚階段，其中該桑葚胚影像評價模型係透過一深度學習演算法以建構；及／或在步驟(c)(iv)係藉由一囊胚影像評價模型來識別該胚胎影像是否屬於該囊胚階段，其中該囊胚影像評價模型係透過一深度學習演算法以建構。
6. 如請求項4或5所述之方法，其中該深度學習演算法採用以下模型其中之一：一卷積類神經網路模型、一隨機森林模型、一支持向量回歸模型、一正規化回歸模型、一集成學習模型、一機率圖形演算法模型、以及一群集分析模型。
7. 如請求項4或5所述之方法，其中，透過一監督式機器學習的方式以建構一第一模型，該第一模型係選自於由該電腦視覺模型、該原核影像評價模型、該卵裂球緻密影像評價模型、該桑葚胚影像評價模型、該囊胚影像評價模型、該碎片比例分析模型、及該卵裂球大小比例分析模型所組成的群組。
8. 如請求項7所述之方法，其中，在該監督式機器學習中係藉由一組訓練資料來訓練及建構出該第一模型，該組訓練資料中的每一筆包括：一經判讀的胚胎影像，以及一判讀標籤，該判讀標籤係包含經醫事人員所作出之一判讀結果。
9. 如請求項8之方法，其中該組訓練資料係儲存於一胚胎影像資料庫。
10. 如請求項9之方法，更包含：針對一評價結果，接收一使用者回饋，用以更新該胚胎影像資料庫中對應的該判讀標籤。
11. 一種胚胎影像評價系統，包含： 一影像接收模組，用以接收一原始影像，該原始影像包含一胚胎影像； 一影像前處理模組，用以對該原始影像進行前處理，以從該原始影像中擷取出該胚胎影像；以及 一影像分析模組，用以對擷取出的該胚胎影像進行分析，該影像分析模組執行包含以下步驟之流程： (i) 識別該胚胎影像是否屬於原核階段，若否，則進行下一步； (ii) 識別該胚胎影像是否屬於卵裂球緻密階段，若否，則進行下一步； (iii) 識別該胚胎影像是否屬於桑葚胚階段，若否，則進行下一步； (iv) 識別該胚胎影像是否屬於囊胚階段，若否，則進行下一步； (v) 識別該胚胎影像中的卵裂球數目；及 (vi) 根據該胚胎影像中的胚胎碎片比例及卵裂球大小比例對該胚胎影像作出評價。
12. 如請求項11所述之系統，其中該影像前處理模組係藉由一自動化擷取偵測圓半徑之均值飄移演算法，以擷取出該胚胎影像。
13. 如請求項12所述之系統，其中該自動化擷取偵測圓半徑之均值飄移演算法透過包含以下步驟之方法實現： 前處理該原始影像，包含：影像二值化、邊緣偵測、影像強化、高斯平滑過濾、影像閉合、及影像填滿，以從該原始影像中偵測到一或多個圖形； 自動化擷取偵測圓半徑，包含：從所述一或多個圖形中挑選出面積最大的一第一圖形，該第一圖形定義有一面積；根據該面積推導得到該圖形之一半徑；以及 以該半徑作為一參數，藉由一均值飄移演算法以擷取出該胚胎影像。
14. 如請求項11所述之系統，其中該影像前處理模組包含一識別單元，該識別單元藉由一電腦視覺模型，識別擷取出的該胚胎影像是否屬於胚葉數2-9的胚胎，若是，則由該影像分析模組對擷取出的該胚胎影像進行分析，其中該電腦視覺模型係透過一深度學習演算法以建構。
15. 如請求項11所述之系統，其中該影像分析模組包含： 一第一子模組，用以識別該胚胎影像是否屬於原核階段，其包含一原核影像評價模型，該原核影像評價模型係透過一深度學習演算法以建構； 一第二子模組，用以識別該胚胎影像是否屬於卵裂球緻密階段，其包含一卵裂球緻密影像評價模型，該卵裂球緻密影像評價模型係透過一深度學習演算法以建構； 一第三子模組，用以識別該胚胎影像是否屬於該桑葚胚階段，其包含一桑葚胚影像評價模型，其中該桑葚胚影像評價模型係透過一深度學習演算法以建構；及 一第四子模組，用以識別該胚胎影像是否屬於該囊胚階段，其包含一囊胚影像評價模型，該囊胚影像評價模型係透過一深度學習演算法以建構。
16. 如請求項14或15所述之系統，其中該深度學習演算法採用以下模型其中之一：一卷積類神經網路模型、一隨機森林模型、一支持向量回歸模型、一正規化回歸模型、一集成學習模型、一機率圖形演算法模型、以及一群集分析模型。
17. 如請求項14或15所述之系統，其中，透過一監督式機器學習的方式以建構一第一模型，該第一模型係選自於由該電腦視覺模型、該原核影像評價模型、該卵裂球緻密影像評價模型、該桑葚胚影像評價模型、該囊胚影像評價模型、該碎片比例分析模型、及該卵裂球大小比例分析模型所組成的群組。
18. 如請求項17所述之系統，其中，在該監督式機器學習中係藉由一組訓練資料來訓練及建構出該第一模型，該組訓練資料中的每一筆包括：一經判讀的胚胎影像，以及一判讀標籤，該判讀標籤係包含經醫事人員所作出之一判讀結果。
19. 如請求項18之系統，其中該組訓練資料係儲存於一胚胎影像資料庫。
20. 如請求項19之系統，更包含一影像評價模組，該影像評價模組針對一評價結果，接收一使用者回饋，用以更新該胚胎影像資料庫中對應的該判讀標籤。