TWI517828B - 影像追蹤系統及其影像追蹤方法 - Google Patents

Description

影像追蹤系統及其影像追蹤方法

本發明是有關於一種影像追蹤系統及其影像追蹤方法，特別是有關於一種利用單一內視鏡攝影機可自主追蹤手術器械之影像追蹤系統及其影像追蹤方法。

近年來，相較於傳統開刀手術，醫生與病患選用微創手術的意願提高。而過去以來，醫生操作器械進行微創手術時，須時常騰出單手以便調整內視鏡，為此習知技術研發追蹤手術器械的內視鏡系統，期以減輕醫生手術上的負擔。

舉例來說，美國公告專利US 5,820,545係揭露一種利用兩個攝影裝置擷取影像，以辨識手術器械前端具有色碼標記的位置，並根據影像之像差來推算影像的深度以維持內視鏡與手術器械間的距離，使手術器械得以控制在影像畫面中心。然而，此前案無法以單一鏡頭的攝影機控制攝影機與目標物的距離，且進行精密手術時無法控制攝影機更加靠近器械。美國公告專利US 5,836,869係揭露利用開關控制攝影機的放大倍率、對焦及視角，以取得較佳地手術視野，然此前案係由操作者手動操控開關，系統無法自主追蹤器械。

在微創手術中，器械所在位置便是醫師要動手術的位置，一般由助手醫師協助掌鏡，今由掌鏡機器人以追蹤器械的方式提供影像。然而，機械式之追蹤卻容易因此造成攝影機過度移動，難免也為動刀醫師帶來視覺負擔。

另外，因應手術需求，可能需要兩支以上之手術器械，然而在習知技術無法追蹤同時三支以上的器械位置。因此，以需求來說，設計一個具有影像追蹤的內視鏡系統，可提供穩定的影像並可追蹤多支手術器械，以利用手術器械間的距離控制內視鏡攝像裝置可進行三維影像追蹤的影像追蹤系統及其影像追蹤方法，已成市場應用上之一個刻不容緩的議題。

有鑑於上述習知技藝之問題，本發明之其中一目的就是在提供一種影像追蹤系統及其影像追蹤方法，可穩定地追蹤影像，且可適用於多支手術器械等複雜手術，並可控制攝像裝置的三維移動，以克服習知技術之問題。同時，為了穩定手術畫面且達到有效追蹤，本發明利用掌鏡機器人所提供的影像，在其中心選取適當的緩衝區域，使攝影機能避免過多不必要的移動，以提供穩定的畫面品質。

根據本發明之目的，提出一種影像追蹤系統，其包含一影像擷取模組、一偵測模組及一處理模組。影像擷取模組係擷取即時影像。偵測模組係分析即時影像，並偵測複數個器械之位置是否位於即時影像內。處理模組係電性連結偵測模組，且於即時影像中定義一緩衝區域，根據複數個器械之位置分析複數個器械是否位於即時影像之緩衝區域內；當複數個器械位於即時影像之緩衝區域 內，處理模組係計算複數個器械間之一間隔距離，且判斷複數個器械間之間隔距離是否小於一第一預設距離；當間隔距離小於第一預設距離，則處理模組發出一控制訊號以控制影像擷取模組移動至一擷取位置。

其中，偵測模組分析複數個器械所在之位置。

其中，偵測模組取得中心座標以辨識複數個器械所在之位置。

其中，偵測模組判斷複數個器械是否存在於即時影像中。

其中，當間隔距離小於第一預設距離，則處理模組係計算影像擷取模組之一軸動參數，並根據軸動參數發出控制訊號，以控制影像擷取模組往複數個器械移動。

其中，若偵測模組偵測複數個器械之其中之一或複數個器械非位於即時影像內，則處理模組控制影像擷取模組的軸鎖定不動。

其中，若偵測模組偵測複數個器械位於即時影像內，則處理模組解除影像擷取模組對於軸的鎖定。

其中，當複數個器械位於即時影像之緩衝區域內，若複數個器械間之間隔距離大於第一預設距離，則偵測模組偵測複數個器械之位置是否持續位於即時影像內。

其中，當複數個器械位於即時影像中且於緩衝區域外，處理模組係判斷複數個器械間之間隔距離是否大於一第二預設距離，若是，則處理模組係計算影像擷取模組之一軸動參數，並根據軸動參數發出控制訊號，以控制影像擷取模組遠離複數個器械。

其中，若複數個器械間之間隔距離小於第二預設距離，則處理模 組計算影像擷取模組之一平面移動參數，以控制影像擷取模組靠近複數個器械。

根據本發明之目的，再提出一種影像追蹤系統之影像追蹤方法，影像追蹤方法適用於一影像追蹤系統，影像追蹤系統包含一影像擷取模組、一偵測模組及一處理模組，而影像追蹤系統之影像追蹤方法係包含下列步驟：以影像擷取模組擷取一即時影像；藉由偵測模組分析即時影像；透過偵測模組偵測複數個器械之位置是否位於即時影像內；藉由處理模組於即時影像中定義一緩衝區域；利用處理模組根據複數個器械之位置分析複數個器械是否位於即時影像之緩衝區域內；當複數個器械位於即時影像之緩衝區域內，利用處理模組計算複數個器械間之一間隔距離，且判斷複數個器械間之間隔距離是否小於一第一預設距離；以及當間隔距離小於第一預設距離，則藉由處理模組發出一控制訊號以控制影像擷取模組移動至一擷取位置。

承上所述，依本發明之影像追蹤系統及其影像追蹤方法，其可具有一或多個下述優點：

(1)本發明之影像追蹤系統及其影像追蹤方法可避免因手術器械快速移動造成畫面不穩定，進而影響醫生手術。

(2)本發明之影像追蹤系統及其影像追蹤方法可於手術中提供醫護人員穩定操作內視鏡及手術器械的影像。

(3)本發明之影像追蹤系統及其影像追蹤方法可同時追蹤多支手術器械，並可以利用手術器械間的距離控制內視鏡攝像裝置進行三維影像追蹤。

為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

1‧‧‧影像追蹤系統

11‧‧‧影像擷取模組

111‧‧‧即時影像

110‧‧‧緩衝區域

12‧‧‧偵測模組

13‧‧‧處理模組

131‧‧‧控制訊號

A、B‧‧‧器械

a1、b1‧‧‧色環

S101~S106、S1071~S1072、S1081~S1082、S109‧‧‧步驟流程

第1圖 係為本發明之影像追蹤系統之方塊圖。

第2圖 係為本發明之影像追蹤系統之第一示意圖。

第3圖 係為本發明之影像追蹤系統之第二示意圖。

第4圖 係為本發明之影像追蹤方法之第一流程圖。

第5圖 係為本發明之影像追蹤方法之第二流程圖。

以下將參照相關圖式，說明依本發明之影像追蹤系統及其影像追蹤方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。

請參閱第1圖，其係為本發明之影像追蹤系統之方塊圖。如圖所示，本發明之影像追蹤系統1可包含影像擷取模組11、偵測模組12及處理模組13。其中，影像擷取模組11可擷取一即時影像111，其可包含感光元件，如：互補式金氧半導體元件(Complementary Metal-Oxide-Semiconductor，CMOS)或電荷耦合元件(Charge-Coupled-Device，CCD)，且其可為內視鏡鏡頭。偵測模組12可分析即時影像111，並偵測複數個器械的位置，以判斷器械是否位於即時影像111內。處理模組13電性連結偵測模組12，其可為中央處理器(Central Processing Unit，CPU)或微處理器(Micro-Processing Unit)。處理模組13可於即時影像111中設置緩衝區域，根據多個器械的位置分析多個器械是否位於即時影像111的緩衝區域內，或計算多個器械間的間隔距 離，且判斷多個器械間的間隔距離是否小於第一預設距離或大於第二預設距離，以由處理模組13發出控制訊號131來控制影像擷取模組11移動至擷取位置。

如上所述，接著請一併參閱第2圖及第3圖，其係為本發明之影像追蹤系統之一實施例之第一示意圖及第二示意圖。在本實施例中，手術器械是以兩支器械(器械A及器械B)作為示例，但實際應用時器械使用數量並不以此為限。同時，可一併參閱第1圖，本發明之處理模組13於即時影像111中定義緩衝區域110，並且在器械A上設置色環a1及在器械B上設置色環b1，使偵測模組12可快速偵測手術器械A及器械B的位置。也就是說，本發明之可於多個器械上設置不同顏色的色環，由偵測模組12根據多個器械上所標記的色環來區分不同的器械，並且進一步分析色環上的中心座標，使偵測模組12可取得多個器械的所在位置。另外，本發明之偵測模組12亦可分析色環的色彩面積，且判斷色彩面積是否小於一色彩門檻值。若色彩面積小於色彩門檻值，則判斷器械不存在於即時影像111中；若色彩面積大於/等於色彩門檻值，則判斷器械位在即時影像111中。

若偵測模組偵測器械A及器械B其中之一個或器械A及器械B非位於即時影像111內時，則處理模組13控制影像擷取模組11的軸鎖定不動。若偵測模組12偵測器械A及器械B皆位於即時影像111內，則處理模組13解除影像擷取模組11對於軸的鎖定。處理模組13可先於即時影像111中定義緩衝區域110，並根據複數個器械的位置分析複數個器械是否位於即時影像111的緩衝區域110內。當複數個器械位於即時影像111的緩衝區域110內，處理模組13可計算複 數個器械間的間隔距離，且判斷複數個器械間的間隔距離是否小於第一預設距離。

此處所述之第一預設距離是作為判斷畫面中複數個器械間的距離是否太接近的一個門檻值，因此根據複數個器械間的X軸方向的距離或Y軸方向的距離來判斷是否小於第一預設距離，若小於第一預設距離，則判斷複數個器械間距離太近。所以，當間隔距離小於第一預設距離，處理模組13可計算影像擷取模組11的軸動參數，並根據軸動參數發出控制訊號131，以控制影像擷取模組11往複數個器械移動。然而，若複數個器械間的間隔距離大於第一預設距離，則會停止影像擷取模組的移動，而偵測模組12則持續地偵測即時影像111。如此一來，如第2圖所示，透過本發明之影像追蹤系統便可完成追蹤。

附帶一提的是，在第2圖中緩衝區域110可依需求的不同定義不同的大小。一般來說，緩衝區域110的範圍越大，手術器械活動範圍越廣；若緩衝區域110的範圍越小，影像追蹤的敏銳度較高。因此，定義緩衝區域110的大小需考量手術器械的活動範圍以及追蹤效果，以定義出最佳化地緩衝區域。

在第3圖中，雖器械A及器械B皆在即時影像111的畫面內，但僅有器械A位於緩衝區域110內，故處理模組可先判斷器械A與器械B之間的間隔距離，並根據間隔距離判斷是否大於第二預設距離。此處所述之第二間隔距離即是緩衝區域110X軸方向的長度或Y軸方向的長度。處理模組判斷畫面中多個器械間在X軸方向距離是否大於緩衝區域110X軸的長度，或在Y軸方向距離是否大於緩衝區域110Y軸的長度。因此，若多個器械間X軸方向距離大於緩衝區 域110X軸的長度，或者多個器械間Y軸方向距離大於緩衝區域110Y軸的長度時，處理模組皆可判斷為多個器械間的距離太遠。若是如此，則處理模組可先計算影像擷取模組的軸動參數，並根據軸動參數發出控制訊號，以控制影像擷取模組遠離複數個器械。若複數個器械間的間隔距離小於第二預設距離，處理模組則計算影像擷取模組的一平面移動參數，以控制影像擷取模組靠近複數個器械。如此一來，即使一開始即時影像如第3圖所示，畫面中的器械雖已不在畫面中央，然而透過本發明之影像追蹤系統便可完成影像追蹤，使器械A及器械B的影像可調整至畫面中央(如第2圖)。

附帶一提的是，本發明之影像擷取模組可為內視鏡鏡頭，故在實施上其除了平面二維移動外，更包含軸向的三維移動，故移動的參數則包含軸動參數及平面移動參數。

儘管前述在說明本發明之影像追蹤系統的過程中，亦已同時說明本發明之影像追蹤系統之影像追蹤方法的概念，但為求清楚起見，以下仍另繪示流程圖詳細說明。

請參閱第4圖及第5圖，其係為本發明之影像追蹤方法之第一流程圖及第二流程圖，本發明之影像追蹤方法適用於影像追蹤系統中，此處的影像追蹤系統之詳細敘述已於前面詳述過，在此便不再贅述。如第4圖及第5圖所示，影像追蹤系統之影像追蹤方法可包含下列步驟：在步驟S101中，以影像擷取模組擷取即時影像。在步驟S102中，藉由處理模組於即時影像中設置緩衝區域。在步驟S103中，藉由 偵測模組分析即時影像。在步驟S104中，透過偵測模組分析色環之中心座標。在步驟S105中，透過偵測模組分析複數個器械是否位於即時影像內。若是，則執行步驟S106；若否，則回到步驟S101。

在步驟S106中，利用處理模組分析複數個器械是否位於即時影像之緩衝區域內。若是，則執行步驟S1071；若否，則執行步驟S1072。

在步驟S1071中，利用處理模組判斷複數個器械間之間隔距離是否小於第一預設距離。若是，則執行步驟S1081；若否，則執行步驟S101。

在步驟S1072中，利用處理模組判斷複數個器械間之間隔距離是否大於第二預設距離。若是，則執行步驟S1081；若否，則執行步驟S1082。

在步驟S1081中，利用處理模組計算影像擷取模組之軸動參數。

在步驟S1082中，利用處理模組計算影像擷取模組之平面移動參數。

最後，在步驟S109中，透過處理模組發出控制訊號，以控制影像擷取模組移動至擷取位置。

本發明之影像追蹤系統之影像追蹤方法的詳細說明以及實施方式已於前面敘述本發明之影像追蹤系統時描述過，在此為了簡略說明便不再敘述。

雖然前述的描述及圖示已揭示本發明之較佳實施例，必須瞭解到 各種增添、許多修改和取代可能使用於本發明較佳實施例，而不會脫離如所附申請專利範圍所界定的本發明原理之精神及範圍。熟悉該技藝者將可體會本發明可能使用於很多形式、結構、佈置、比例和組件的修改。

因此，本文於此所揭示的實施例於所有觀點，應被視為用以說明本發明，而非用以限制本發明。本發明的範圍應由後附申請專利範圍所界定，並涵蓋其合法均等物，並不限於先前的描述。

1‧‧‧影像追蹤系統

11‧‧‧影像擷取模組

111‧‧‧即時影像

12‧‧‧偵測模組

13‧‧‧處理模組

131‧‧‧控制訊號

Claims (18)

1. 一種影像追蹤系統，其包含：一影像擷取模組，係擷取一即時影像；一偵測模組，係分析該即時影像，並偵測複數個器械之位置是否位於該即時影像內；以及一處理模組，係電性連結該偵測模組，且於該即時影像中定義一緩衝區域，根據該些器械之位置分析該些器械是否位於該即時影像之該緩衝區域內；當該些器械位於該即時影像之該緩衝區域內，該處理模組係計算該些器械間之一間隔距離，且判斷該些器械間之該間隔距離是否小於一第一預設距離；當該間隔距離小於該第一預設距離，則該處理模組發出一控制訊號以控制該影像擷取模組移動至一擷取位置；其中若該偵測模組偵測該些器械之其中之一或該些器械非位於該即時影像內，則該處理模組控制該影像擷取模組的軸鎖定不動。
2. 如申請專利範圍第1項所述之影像追蹤系統，其中該偵測模組分析該些器械所在之位置。
3. 如申請專利範圍第2項所述之影像追蹤系統，其中該偵測模組取得一中心座標以辨識該些器械所在之位置。
4. 如申請專利範圍第2項所述之影像追蹤系統，其中該偵測模組判斷該些器械是否存在於該即時影像中。
5. 如申請專利範圍第1項所述之影像追蹤系統，其中當該間隔距離 小於該第一預設距離，則該處理模組係計算該影像擷取模組之一軸動參數，並根據該軸動參數發出該控制訊號，以控制該影像擷取模組往該些器械移動。
6. 如申請專利範圍第1項所述之影像追蹤系統，其中若該偵測模組偵測該些器械位於該即時影像內，則該處理模組解除該影像擷取模組對於軸的鎖定。
7. 如申請專利範圍第1項所述之影像追蹤系統，其中當該些器械位於該即時影像之該緩衝區域內，若該些器械間之該間隔距離大於該第一預設距離，則該偵測模組偵測複數個器械之位置是否持續位於該即時影像內。
8. 如申請專利範圍第1項所述之影像追蹤系統，其中當該些器械位於該即時影像中且於該緩衝區域內，該處理模組係判斷該些器械間之該間隔距離是否大於一第二預設距離，若是，則該處理模組係計算該影像擷取模組之一軸動參數，並根據該軸動參數發出該控制訊號，以控制該影像擷取模組遠離該些器械。
9. 如申請專利範圍第1項所述之影像追蹤系統，其中若該些器械位於該緩衝區域外，該處理模組係依該緩衝區域外之該些器械對於該緩衝區域邊界之偏移量，計算該影像擷取模組之一平面移動參數，以控制該影像擷取模組靠近該些器械，使該些器械再度進入該緩衝區域。
10. 一種影像追蹤方法，適用於一影像追蹤系統，該影像追蹤系統包含一影像擷取模組、一偵測模組及一處理模組，而該影像追蹤方法係包含下列步驟：以該影像擷取模組擷取一即時影像；藉由該偵測模組分析該即時影像； 透過該偵測模組偵測複數個器械之位置是否位於該即時影像內；藉由該處理模組於該即時影像中定義一緩衝區域；利用該處理模組根據該些器械之位置分析該些器械是否位於該即時影像之該緩衝區域內；當該些器械位於該即時影像之該緩衝區域內，利用該處理模組計算該些器械間之一間隔距離，且判斷該些器械間之該間隔距離是否小於一第一預設距離；以及當該間隔距離小於該第一預設距離，則藉由該處理模組發出一控制訊號以控制該影像擷取模組移動至一擷取位置；其中若該偵測模組偵測該些器械之其中之一或該些器械非位於該即時影像內，則該處理模組控制該影像擷取模組的軸鎖定不動。
11. 如申請專利範圍第10項所述之影像追蹤方法，更包含下列步驟：透過該偵測模組分析該些器械所在之位置。
12. 如申請專利範圍第11項所述之影像追蹤方法，更包含下列步驟：透過該偵測模組取得一中心座標以辨識該些器械所在之位置。
13. 如申請專利範圍第11項所述之影像追蹤方法，更包含下列步驟：該偵測模組判斷該些器械是否存在於該即時影像中。
14. 如申請專利範圍第10項所述之影像追蹤方法，更包含下列步驟：當該間隔距離小於該第一預設距離，則利用該處理模組計算該影像擷取模組之一軸動參數；以及透過該處理模組根據該軸動參數發出該控制訊號，以控制該影像擷取模組往該些器械移動。
15. 如申請專利範圍第10項所述之影像追蹤方法，更包含下列步驟： 若該偵測模組偵測該些器械位於該即時影像內，則該處理模組解除該影像擷取模組對於軸的鎖定。
16. 如申請專利範圍第10項所述之影像追蹤方法，更包含下列步驟：當該些器械位於該即時影像之該緩衝區域內，若該些器械間之該間隔距離大於該第一預設距離，則藉由該偵測模組偵測複數個器械之位置是否持續位於該即時影像內。
17. 如申請專利範圍第10項所述之影像追蹤方法，更包含下列步驟：當該些器械位於該即時影像中且於該緩衝區域內，透過該處理模組判斷該些器械間之該間隔距離是否大於一第二預設距離，若是，則利用該處理模組計算該影像擷取模組之一軸動參數；以及利用該處理模組根據該軸動參數發出該控制訊號，以控制該影像擷取模組遠離該些器械。
18. 如申請專利範圍第10項所述之影像追蹤方法，更包含下列步驟：若該些器械位於該緩衝區域外，則利用該處理模組依該緩衝區域外之該些器械對於該緩衝區域邊界之偏移量，計算該影像擷取模組之一平面移動參數，以控制該影像擷取模組靠近該些器械，使該些器械再度進入該緩衝區域。