TWI758850B

TWI758850B - 超音波物件的體積計算方法及其相關超音波系統

Info

Publication number: TWI758850B
Application number: TW109130547A
Authority: TW
Inventors: 董昱驣; 蕭瑋廷
Original assignee: 佳世達科技股份有限公司
Priority date: 2020-09-07
Filing date: 2020-09-07
Publication date: 2022-03-21
Also published as: TW202210037A

Abstract

一種超音波物件的體積計算方法，其包含有以一超音波反射方法於複數時間點對一物件採集連續的複數幀；偵測該複數幀之每一幀中之該物件；當偵測到該複數幀之一第一幀具有該物件時，決定該第一幀中之該物件之一預測輪廓、一最小外接四邊形及一最大內接四邊形；根據該第一幀中之該物件之該預測輪廓、該最小外接四邊形及該最大內接四邊形，決定該物件之一輪廓；以及根據該物件之該輪廓，將該物件轉換至一三維空間以計算該物件之一體積；其中，該複數幀為二維影像。

Description

超音波物件的體積計算方法及其相關超音波系統

本發明係指一種超音波物件的體積計算方法及其相關超音波系統，尤指一種有效採集資料並且加速運算的超音波物件的體積計算方法及其相關超音波系統。

現有用於醫學領域的成像技術，例如磁力共振成像（Magnetic Resonance Imaging，MRI）、電腦斷層（Computed tomography，CT）成像及超音波三維成像等技術，可清楚且快速地取得影像，因此廣泛地用於醫學檢查。其中，現有的超音波三維成像技術的架構通常由一一維探頭與一定位裝置所組成，當一維探頭採集二維影像時，同時採集相關的定位資訊，接著再將一序列的二維影像組成一三維影像，進而估計三維影像中的一目標物的一體積。然而，相較於磁力共振成像及電腦斷層，超音波三維成像技術的資料採集與處理皆較為複雜且困難，即超音波三維成像技術於成像時的運算量過大，因此，現有技術有改進的必要。

因此，本發明提供一種超音波物件的體積計算方法及其相關超音波系統，結合人工智慧技術，以利用於資料採集階段的資訊，加速超音波物件的運算。

本發明實施例揭露一種超音波物件的體積計算方法，其包含有以一超音波反射方法於複數時間點對一物件採集連續的複數幀；偵測該複數幀之每一幀中之該物件；當偵測到該複數幀之一第一幀具有該物件時，決定該第一幀中之該物件之一預測輪廓、一最小外接四邊形及一最大內接四邊形；根據該第一幀中之該物件之該預測輪廓、該最小外接四邊形及該最大內接四邊形，決定該物件之一輪廓；以及根據該物件之該輪廓，將該物件轉換至一三維空間以計算該物件之一體積；其中，該複數幀為二維影像。

本發明實施例另揭露一種超音波系統，其包含有一探頭，包含一定位裝置，用來以一超音波反射方法於複數時間點對一物件採集連續的複數幀；以及一處理器，用來偵測該複數幀之每一幀中之該物件；當偵測到該複數幀之一第一幀具有該物件時，決定該第一幀中之該物件之一預測輪廓、一最小外接四邊形及一最大內接四邊形；根據該第一幀中之該物件之該預測輪廓、該最小外接四邊形及該最大內接四邊形，決定該物件之一輪廓；以及根據該物件之該輪廓，將該物件轉換至一三維空間，以計算該物件之一體積；其中，該複數幀為二維影像。

請參考第1圖，第1圖為本發明實施例之一超音波系統10之示意圖。超音波系統10包含有一探頭102及一處理器104。探頭102包含一定位裝置106，以一超音波反射方法於複數時間點對一物件採集連續的複數幀（frame）。在一實施例中，探頭102可以是一一維探頭，用來採集一序列的二維影像（即一序列的幀），並且於採集物件的二維影像時，同時採集對應的定位資訊。舉例來說，探頭102中的定位裝置106可以是一機械裝置（例如，一馬達）或一三軸感測器，以於執行掃描時以平移、擺動或轉動等方式量測多平面的幀，並且採集對應的定位資訊。處理器104用來偵測該連續的幀之每一幀中之物件，並且於偵測到一第一幀具有物件時，決定物件之一預測輪廓、一最小外接四邊形及一最大內接四邊形，使得處理器104可根據物件之預測輪廓、最小外接四邊形及最大內接四邊形，決定物件之一輪廓，以計算物件之一體積。如此一來，本發明實施例的超音波系統10即可利用採集到的部份幀，計算物件的體積，以達到在資料採集時實時地顯示單張的幀。

為了使超音波系統10於採集資料時，分割單張幀中的物件以顯示於一顯示器，進而計算超音波物件的體積。本發明實施例的超音波系統10可執行一超音波物件的體積計算方法20，如第2圖所示，超音波物件的體積計算方法20利用當前採集的資料估算物件體積，進而減少後續的運算時間，超音波物件的體積計算方法20包含下列步驟：

步驟202：開始。

步驟204：以超音波反射方法於複數個時間點對物件採集連續的複數幀。

步驟206：偵測複數幀之每一幀中之物件。

步驟208：當偵測第一幀具有物件時，決定第一幀中之物件之預測輪廓、最小外接四邊形及最大內接四邊形。

步驟210：根據第一幀中之物件之預測輪廓、最小外接四邊形及最大內接四邊形，決定物件之輪廓。

步驟212：根據第一幀中之物件之輪廓，將物件轉換至一三維空間，以計算物件之體積。

步驟214：結束。

首先，超音波系統10先採集關於連續幀的資訊。在步驟204中，探頭102以超音波反射方法於多個時間點採集連續的幀。由於在每一幀中可包含或不包含物件，因此，在步驟206中，處理器104可對所有的幀、特定的幀或抽樣選取的幀，偵測其中是否具有物件。

在步驟208中，當處理器104偵測第一幀具有物件時，決定第一幀中之物件之預測輪廓、最小外接四邊形及最大內接四邊形。在一實施例中，本發明的超音波系統10以一人工智慧方式，例如一卷積神經網路（Convolutional neural network，CNN）或一UNet-Like神經網路，以決定物件的輪廓。詳細而言，請參考第3圖，第3圖為本發明實施例之決定物件輪廓之示意圖。在第3圖中，當幀中具有一物件O_1時，超音波系統10先以神經網路的一第一層網路找出物件的大致位置、輪廓（即預測輪廓）、一最小外接四邊形CR_1及一最大內接四邊形IR_1。

接著，在步驟210中，處理器104根據第一幀中之物件之預測輪廓、最小外接四邊形及最大內接四邊形，決定物件之輪廓。在第3圖的範例中，處理器104以神經網路的一第二層網路針對第一層所找到的關於物件O_1的位置、輪廓進行偵測，即針對介於最小外接四邊形CR_1及最大內接四邊形IR_1之間的一中間特徵層CA_1進行計算，進而根據預測輪廓、中間特徵層以決定物件之輪廓。因此，在步驟212中，本發明的超音波系統10即可根據第一幀中之物件之輪廓，將物件轉換至一三維空間，以計算物件之體積。如此一來，超音波系統10即可自特定的幀將物件分割出來，並且顯示於顯示器，以達到在資料採集時實時顯示物件。

值得注意的是，在第3圖的範例中，由於超音波系統10在神經網路進行第二層的偵測時，是針對最小外接四邊形CR_1及最大內接四邊形IR_1之間的中間特徵層CA_1進行一卷積運算以降低運算量，並且中間特徵層CA_1可藉由第一層所決定的物件輪廓以強化神經網路的特徵。

另一方面，當超音波系統10取得多個具有物件的幀之後，為了確保幀中的物件皆為同一個，並且預測未採集資料的幀的物件輪廓，針對已經偵測到物件及物件輪廓的幀，超音波系統10可進一步於同一序列的幀，找出介於第一幀與一第二幀之間的一第三幀。

請同時參考第4圖，第4圖為本發明實施例之預測一未採集幀的物件輪廓之示意圖。在第4圖中，假設超音波系統10已找到第一幀中的物件O_1及第二幀中的一物件O_2並且確定其物件輪廓，超音波系統10根據第一幀及第二幀的物件輪廓的最小外接四邊形CR_1、CR_2，以預測第三幀之一物件O_3之輪廓（即物件於第三幀之一位置及一尺寸）。換句話說，超音波系統10根據對應於第一幀之物件輪廓之最小外接四邊形CR_1及對應於第二幀之物件輪廓之一最小外接四邊形CR_2，預測對應於該第三幀之物件O_3之位置及尺寸，以確定第三幀中的物件是否與第一幀及第二幀中的物件為同一物件。

超音波系統10可以不同的條件來確認第三幀中的物件O_3是否與第一幀及第二幀中的物件為同一物件。在一實施例中，當第三幀中的物件O_3的一質心分別與第一幀中的物件質心或第二幀中的物件質心小於一距離d1時，判斷第三幀中的物件O_3與第一幀及第二幀中的物件為同一物件；相反地，當第三幀中的物件O_3的質心分別與第一幀中的物件質心或第二幀中的物件質心大於距離d1時，判斷第三幀中的物件O_3與第一幀及第二幀中的物件非同一物件。或者，也可根據第三幀中的最小外接四邊形CR_3的一面積區域或位置是否與介於第一幀及第二幀中的最小外接四邊形CR_1、CR_2之間，以確定第三幀中的物件O_3是否與第一幀及第二幀中的物件為同一物件。需注意的是，用來判斷第三幀中的物件O_3是否與第一幀及第二幀中的物件為同一物件的條件，不以上述範例條件為限制。

當處理器104判斷第三幀之物件O_3與第一幀及第二幀之物件不同時，則重新偵測採集的每一幀中之物件；相反地，當第三幀之物件O_3與第一幀及第二幀之物件相同時，以對應於第一幀之物件O_1之最小外接四邊形CR_1

及最大內接四邊形IR_1、對應於第二幀之物件之最小外接四邊形CR_2及最大內接四邊形IR_2，決定物件之輪廓。在上述實施例中，本發明的超音波系統10可以卷積神經網路或UNet-Like神經網路，根據第一幀及第二幀決定第三幀中的物件的最小外接四邊形CR_3及最大內接四邊形IR_3，進而分別對第一幀的最小外接四邊形CR_1及最大內接四邊形IR_1之間的中間特徵層CA_1、第二幀的最小外接四邊形CR_2及最大內接四邊形IR_2之間的中間特徵層CA_2進行一卷積運算以降低運算量，並且再融合中間特徵層CA_1、CA_2以強化神經網路的特徵。

當決定物件的輪廓後，處理器104進一步決定對應於物件之輪廓之複數個定位特徵點（例如，探頭的一傾斜角度、一加速度及一位移），並且由卷積神經網路或UNet-Like神經網路，將定位特徵點轉換至三維空間。在一實施例中，本發明實施例的超音波系統10可根據探頭102的不同掃描方式（例如平移、擺動、轉動），將定位特徵點轉換至三維空間。

接著，再根據關於物件的輪廓的定位特徵點，重建並轉換物件為三維空間之一形狀，以計算物件之體積。在一實施例中，由於進行超音波掃描時不一定具有足夠的幀數以重建物件的三維形狀，因此，超音波系統10可透過一點雲補齊網路（Point Completion Network，PCN）對轉換至三維空間的定位特徵點進行一點雲補齊，以恢復物件的三維輪廓。此外，由於超音波系統10的探頭102在手持的情形下的掃描速度非固定，使得採樣的幀數不固定，使得重建時需要更多的內插幀而擴大誤差。因此，點雲補齊網路可針對已知的幀以補齊不存在的部分，進而降低轉換為三維形狀的誤差。

最後，處理器104按照物件的三維形狀的點雲的一特定方向進行一等距離的切片處理，以得到與物件的三維形狀的點雲相對應且離散的點雲切片，依切割次序逐一搜索點雲切片外輪廓的多邊形，以計算點雲切片的面積。如此一來，即可利用切片面積和相鄰切片的間距得到物件的三維形狀的點雲的一塊體積，並求和以得到對應於物件的三維形狀的點雲的一整體點雲體的體積。

上述實施例可說明本發明的超音波系統及超音波物件的體積計算方法，可實時地分割物件以顯示於顯示器，以快速地計算物件的體積。此外，根據不同需求，本發明的超音波系統可應用於醫療或其他用領域，以進行超音波成像及超音波物件的體積計算。此外，本發明用來偵測物件的神經網路並不限於上述卷積神經網路或UNet-Like神經網路架構，以及用於執行點雲補齊步驟也不限於以點雲補齊網路執行，其他可用來達到相同效果的方法也適用於本發明，而不限於此。

綜上所述，本發明實施例提供一種超音波物件的體積計算方法及其相關超音波系統，結合人工智慧技術，以利用於資料採集階段的資訊，加速超音波物件的運算。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10: 超音波系統 102: 探頭 104: 處理器 106: 定位裝置 20: 方法 202-214: 步驟 CR_1、CR_2、CR_3: 最小外接四邊形 IR_1、IR_2、IR_3: 最大內接四邊形 CA_1、CA_2、CR_3: 中間特徵層 O_1、O_2、O_3: 物件

第1圖為本發明實施例之一超音波系統之示意圖。第2圖為本發明實施例之一超音波物件的體積計算方法之示意圖。第3圖為本發明實施例之決定物件輪廓之示意圖。第4圖為本發明實施例之預測一未採集幀的物件輪廓之示意圖。

10: 超音波系統 102: 探頭 104: 處理器 106: 定位裝置

Claims

一種超音波物件的體積計算方法，其包含有：以一超音波反射方法於複數時間點對一物件採集連續的複數幀；偵測該複數幀之每一幀中之該物件；當偵測到該複數幀之一第一幀具有該物件時，決定該第一幀中之該物件之一預測輪廓、一最小外接四邊形及一最大內接四邊形；根據該第一幀中之該物件之該預測輪廓、該最小外接四邊形及該最大內接四邊形，決定該物件之一輪廓；以及根據該物件之該輪廓，將該物件轉換至一三維空間以計算該物件之一體積；其中，該複數幀為二維影像。
如請求項1所述之超音波物件的體積計算方法，另包含：自該第一幀中分割該物件，以將該物件顯示於一顯示器。
如請求項1所述之超音波物件的體積計算方法，其中對應於該第一幀中之該物件之該輪廓之該最小外接四邊形及該最大內接四邊形係根據該預測輪廓決定。
如請求項1所述之超音波物件的體積計算方法，另包含：計算對應於該物件之該輪廓之該最小外接四邊形及該最大內接四邊形之間之一中間特徵層；以及根據該預測輪廓與該中間特徵層以決定該物件之該輪廓。
如請求項4所述之超音波物件的體積計算方法，另包含：根據該複數幀之該第一幀及一第二幀，確定於一時序上介於該第一幀與該第二幀之間的一第三幀；以對應於該第一幀之該物件之該輪廓之最大外接四邊形及對應於該第二幀之一物件之輪廓之最大外接四邊形，預測對應於該第三幀之一物件之一位置及一尺寸；以及確定該第三幀之該物件是否與該第一幀及該第二幀之物件為同一物件。
如請求項5所述之超音波物件的體積計算方法，另包含：當該第三幀之該物件與該第一幀及該第二幀之物件不同時，重新偵測該複數幀之每一幀中之物件；以及當該第三幀之該物件與該第一幀及該第二幀之物件相同時，以對應於該第一幀之該物件之最小外接四邊形及最大內接四邊形、對應於該第二幀之該物件之最小外接四邊形及最大內接四邊形，決定該物件之該輪廓。
如請求項4所述之超音波物件的體積計算方法，其中計算對應於該物件之該輪廓之該最小外接四邊形及該最大內接四邊形之間之該中間特徵層係在一卷積神經網路（Convolutional neural network，CNN）或一UNet-Like神經網路架構下進行一卷積運算。
如請求項1所述之超音波物件的體積計算方法，另包含：決定對應於該物件之該輪廓之複數個定位特徵點；根據一神經網路，將該複數個定位特徵點轉換至該三維空間；以及重建並轉換該物件至該三維空間之一形狀，以計算該物件之該體積。
如請求項8所述之超音波物件的體積計算方法，其中該複數個定位特徵點為一超音波裝置之一探頭之一傾斜角度、一加速度及一位移之至少其中之一。
一種超音波系統，其包含有：一探頭，包含一定位裝置，用來以一超音波反射方法於複數時間點對一物件採集連續的複數幀；以及一處理器，用來偵測該複數幀之每一幀中之該物件；當偵測到該複數幀之一第一幀具有該物件時，決定該第一幀中之該物件之一預測輪廓、一最小外接四邊形及一最大內接四邊形；根據該第一幀中之該物件之該預測輪廓、該最小外接四邊形及該最大內接四邊形，決定該物件之一輪廓；以及根據該物件之該輪廓，將該物件轉換至一三維空間，以計算該物件之一體積；其中，該複數幀為二維影像。
如請求項10所述之超音波系統，其中該處理器用來自該第一幀中分割該物件，以將該物件顯示於一顯示器。
如請求項10所述之超音波系統，其中該處理器用來將對應於該第一幀中之該物件之該輪廓之該最小外接四邊形及該最大內接四邊形係根據該預測輪廓決定。
如請求項10所述之超音波系統，其中該處理器用來計算對應於該物件之該輪廓之該最小外接四邊形及該最大內接四邊形之間之一中間特徵層；以及根據該預測輪廓與該中間特徵層以決定該物件之該輪廓。
如請求項13所述之超音波系統，其中該處理器用來根據該複數幀之該第一幀及一第二幀，確定於一時序上介於該第一幀與該第二幀之間的一第三幀；以對應於該第一幀之該物件之該輪廓之最大外接四邊形及對應於該第二幀之一物件之輪廓之最大外接四邊形，預測對應於該第三幀之一物件之一位置及一尺寸；以及確定該第三幀之該物件是否與該第一幀及該第二幀之物件為同一物件。
如請求項14所述之超音波系統，其中當該第三幀之該物件與該第一幀及該第二幀之物件不同時，該處理器重新偵測該複數幀之每一幀中之物件；以及當該第三幀之該物件與該第一幀及該第二幀之物件相同時，該處理器以對應於該第一幀之該物件之最小外接四邊形及最大內接四邊形、對應於該第二幀之該物件之最小外接四邊形及最大內接四邊形，決定該物件之該輪廓。
如請求項13所述之超音波系統，其中該處理器係在一卷積神經網路（Convolutional neural network，CNN）或一UNet-Like神經網路架構下進行一卷積運算，以計算對應於該物件之該輪廓之該最小外接四邊形及該最大內接四邊形之間之該中間特徵層。
如請求項10所述之超音波系統，其中該處理器用來決定對應於該物件之該輪廓之複數個定位特徵點；根據一神經網路，將該複數個定位特徵點轉換至該三維空間；以及重建並轉換該物件至該三維空間之一形狀，以計算該物件之該體積。
如請求項17所述之超音波系統，其中該複數個定位特徵點為該探頭之一傾斜角度、一加速度及一位移之至少其中之一。