TWI834400B - 手術機械臂控制系統及手術機械臂控制方法 - Google Patents

Abstract

本發明提出一種手術機械臂控制系統及手術機械臂控制方法。手術機械臂控制系統包括手術機械臂、感測單元以及處理器。手術機械臂在手術區域中移動。感測單元設置於手術機械臂。感測單元感測手術區域以產生空間感測資料。處理器進行手術機械臂操作，以控制手術機械臂移動至目標位置。在手術機械臂操作中，處理器執行中繼點觸發模組，以根據空間感測資料來判斷觸發條件是否成立。當觸發條件成立時，處理器控制手術機械臂移動手術區域以外的安全中繼點。

Description

手術機械臂控制系統及手術機械臂控制方法

本發明是有關於一種控制方法與系統，且特別是有關於一種手術機械臂控制系統及手術機械臂控制方法。

機械手臂可應用於醫學領域，以協助醫師從事手術行為。一般而言，手術機械臂可根據感測到的資料來實現自動控制功能，以自動移動並自動操作手術。然而，目前的手術機械臂在自動移動過程中，會因為患部移動、自動控制誤判或者其他手術過程中的突發狀況而碰觸路徑中的障礙物，而提高手術的風險。有鑑於此，以下將提出新型的自動控制系統設計。

本發明提供一種手術機械臂控制系統及手術機械臂控制方法，能夠在手術機械臂操作中即時地反應手術區域的變化，以有效地迴避路徑中的障礙物。

本發明的手術機械臂控制系統包括手術機械臂、感測單元以及處理器。手術機械臂用以在手術區域中移動。感測單元設置於手術機械臂。感測單元用以感測手術區域以產生空間感測資料。處理器耦接手術機械臂以及感測單元。處理器進行手術機械臂操作，以控制手術機械臂移動至目標位置。在手術機械臂操作中，處理器執行中繼點觸發模組，以根據空間感測資料來判斷觸發條件是否成立。當觸發條件成立時，處理器控制手術機械臂移動手術區域以外的安全中繼點。

本發明的手術機械臂控制方法包括以下的步驟。藉由處理器進行手術機械臂操作，以控制手術機械臂移動至目標位置。藉由感測單元感測手術區域以產生空間感測資料。在手術機械臂操作中，藉由處理器執行中繼點觸發模組，以根據空間感測資料來判斷觸發條件是否成立。當觸發條件成立時，藉由處理器控制手術機械臂移動至手術區域以外的安全中繼點。

基於上述，本發明的手術機械臂控制系統及手術機械臂控制方法可在手術機械臂操作中根據當下的空間感測資料來判斷觸發條件是否成立，以即時地確認手術機械臂是否會碰觸障礙物。當前述的結果為是時，手術機械臂可移動至安全中繼點以排除手術機械臂被碰撞的可能，據以降低手術風險。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的手術機械臂控制系統的方塊示意圖。參考圖1，手術機械臂控制系統100包括處理器110、儲存單元120、影像擷取單元130、手術機械臂140以及感測單元150。儲存單元120儲存控制模組121以及中繼點觸發模組122。處理器110耦接儲存單元120、影像擷取單元130、手術機械臂140以及感測單元150。感測單元150設置於手術機械臂140。手術機械臂140具有多個關節軸。在本實施例中，手術機械臂140可感測單元150一起與在手術區域中移動。

在本實施例中，影像擷取單元130可取得手術區域的影像資料，並且提供影像資料至處理器110。在本實施例中，處理器110可存取儲存單元120，以執行控制模組121來進行手術機械臂操作。在手術機械臂操作中，處理器110可根據手術區域中的影像資料來產生路徑資訊，並且處理器110可根據路徑資訊來控制手術機械臂140移動至目標位置。

在本實施例中，手術機械臂控制系統100可與手術平台的機構整合。影像擷取單元130(可例如是圖5所示深度攝影機531及/或532)可設置在手術平台上方的一側或多側(正上方或偏移一角度的上方)，以朝向手術平台以及手術機械臂140進行拍攝。手術機械臂140可設置在手術平台的一側。在本實施例中，手術機械臂控制系統100可控制手術機械臂140在手術區域中移動，以從手術平台的一側移動至手術平台的另一端。手術機械臂控制系統100可控制手術機械臂140及其機械臂末端自動避開移動路徑上的障礙物。因此，手術人員可在手術平台的另一端快速地掌握手術機械臂140進行手術輔助功能。

在本實施例中，處理器110可例如是中央處理單元(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、影像處理器(Image Processing Unit, IPU)、圖形處理器(Graphics Processing Unit, GPU)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)、其他類似處理裝置或這些裝置的結合。

在本實施例中，儲存單元120可為記憶體(Memory)，例如動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、快閃記憶體(Lash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory, NVRAM)，而本發明並不加以限制。儲存單元120可儲存控制模組121、中繼點觸發模組122以及本發明各實施例提及的各個模組的相關演算法，並且還可儲存影像資料、機械臂控制指令、機械臂控制軟體以及運算軟體等諸如此類用於實現本發明的手術機械臂控制功能的相關演算法、程式及數據。

在本實施例中，手術機械臂140可為一種具有六個自由度(Six degree of freedom tracking，6DOF)的機械臂，並且處理器110可執行一種應用馬可夫決策過程的機器學習模組來控制手術機械臂140。在本實施例中，影像擷取單元130可用以拍攝手術區域，以取得場域影像及其深度資訊。在一實施例中，儲存單元120還可儲存全景環境場域定位模組。處理器110可執行全景環境場域定位模組，以進行攝影機標定(Camera calibration)運算，並且可實現影像擷取單元130以及手術機械臂140之間的座標系匹配功能。在本實施例中，影像擷取單元130可預先取得定位影像以及參考深度資訊，其中定位影像包括定位物件。處理器110可透過全景環境場域定位模組分析定位影像中的定位物件的定位座標資訊以及參考深度資訊，以使影像擷取單元130的攝影機座標系與手術機械臂140的機械臂座標系匹配。

具體而言，使用者可例如將具有棋盤圖像的圖案的定位板作為定位物件，並且放置在手術平台上，以使影像擷取單元130可拍攝多個定位影像，其中這些定位影像中可分別包括棋盤圖像的圖案。定位影像的數量可例如是5張。接著，處理器110可執行全景環境場域定位模組，以透過全景環境場域定位模組分析多個定位影像中分別的定位物件的定位座標資訊(多個空間座標)以及參考深度資訊，以使影像擷取單元130的攝影機座標系(空間座標系)與手術機械臂140的機械臂座標系(空間座標系)匹配。處理器110可根據固定位置關係、定位座標資訊以及參考深度資訊來匹配影像擷取單元130的攝影機座標系以及手術機械臂140的機械臂座標系。

圖2是依照本發明的一實施例的手術機械臂控制方法的流程圖。參考圖1以及圖2，手術機械臂控制系統100可執行步驟S210~S240，以實現控制手術機械臂140進行自動移動與迴避。

在步驟S210，處理器110執行控制模組121來進行手術機械臂操作，以控制手術機械臂140移動至目標位置。

在步驟S220，感測單元150感測手術區域以產生空間感測資料。在本實施例中，在手術機械臂操作中，感測單元150可與手術機械臂140一起在手術區域中移動，並可即時地感測當前的手術區域以產生空間感測資料。在本實施例中，空間感測資料可例如是經由手術區域反射、折射或繞射所產生的位置信號及/或距離信號。也就是說，空間感測資料可指示當前手術區域與手術機械臂140(特別是機械臂末端)之間的空間關係。

在步驟S230，在手術機械臂操作中，處理器110執行中繼點觸發模組122，以根據空間感測資料來判斷觸發條件是否成立。也就是說，在手術機械臂140的移動或手術過程中，處理器110可根據即時的手術區域狀況來決定繼續進行或暫時停止手術機械臂操作。

在步驟S240，當觸發條件成立時，處理器110控制手術機械臂140移動至手術區域以外的安全中繼點。也就是說，當處理器110判斷手術區域發生變化(可例如是患部移位)，並且判斷此變化超過可容忍範圍，而導致手術機械臂140將碰撞到障礙物。此時，處理器110暫時停止手術機械臂操作，並控制手術機械臂140移動至遠離障礙物的安全中繼點，以進行自動迴避。在本實施例中，安全中繼點可例如是手術機械臂控制系統100中預設的位置。安全中繼點也可例如是使用者預先在手術機械臂控制系統100中設定的位置。在另一方面，當觸發條件不成立時，表示手術區域發生的變化仍在可容忍範圍內而不會導致手術機械臂140發生碰撞。此時，處理器110進行手術機械臂操作。

在此值得一提的是，手術機械臂操作中，處理器110可即時地確認手術區域發生的變化是否滿足觸發條件。此外，處理器110可即時地反應於此變化而控制手術機械臂140移動至手術區域之外，能夠有效地迴避路徑中的障礙物，據以降低手術風險。

圖3是依照本發明的一實施例的手術機械臂控制系統的操作示意圖。參考圖3，手術機械臂控制系統300包括處理器(未繪示)、儲存單元(未繪示)、感測單元351~352、影像擷取單元(未繪示)以及手術機械臂340。處理器、儲存單元、感測單元351~352、影像擷取單元以及手術機械臂340可以參照手術機械臂控制系統100的相關說明並且加以類推，故在此不另重述。在本實施例中，儲存單元還儲存全景環境場域定位模組，以定位手術區域401。

在本實施例中，影像擷取單元可例如朝向手術平台進行拍攝，手術平台上可例如放置有手術對象400。在本實施例中，手術機械臂340可位於如圖3所示的手術對象400的一側，並且處理器可控制手術機械臂340移動至手術對象400的手術區域401另一側，並且可自動避開在手術區域401中的移動路徑上的障礙物。前述的障礙物可例如包括放置在手術對象400上的手術器械402~403。手術器械402~403可例如是光學軌跡球，以在手術對象400中作為定位指標。

在本實施例中，感測單元351可設置在手術機械臂340的機械臂末端。感測單元351可例如包括定位感測器。定位感測器可例如是光學感測器，以與光學軌跡球(即，手術器械402~403)協同操作。在本實施例中，感測單元351可感測手術區域401中障礙物的位置，以產生對應於這些障礙物的多個位置信號。也就是說，感測單元351監測各個手術器械402~403位於手術區域401中的位置，以產生空間感測資料(即，手術器械402~403對應的位置信號)。

在本實施例中，感測單元352可設置在手術機械臂340的機械臂末端。感測單元352可例如包括距離感測器。距離感測器可例如是紅外線感測器、深度攝影機及/或光學雷達(LIDAR)等測距器。在本實施例中，感測單元352可感測機械臂末端與手術區域401中多個障礙物之間的距離，以產生對應於這些障礙物的多個距離信號。也就是說，感測單元352監測機械臂末端與各個手術器械402~403之間的距離，以產生空間感測資料(即，手術器械402~403對應的距離信號)。

在本實施例中，感測單元351、352可在手術機械臂操作中同時進行感測，以分別產生對應的空間感測資料。在一實施例中，感測單元351或352可在手術機械臂操作中進行感測以產生對應的空間感測資料。

圖4是依照本發明圖3實施例的手術機械臂控制方法的流程圖。參考圖3以及圖4，手術機械臂控制系統300可執行步驟S410~S490，以實現控制手術機械臂340進行自動移動與迴避，以及示例說明圖2所示步驟S230~S240關於自動迴避的操作細節。

在步驟S410，使用者架設手術機械臂控制系統300。也就是說，使用者準備手術機械臂控制系統300中的各元件以及手術所需的各元件(例如是手術器械402~403)，並可架設成如圖3所示的操作示意圖。

在步驟S421，使用者操作手術機械臂控制系統300的使用者介面，以設定手術機械臂340的機械臂末端的起始位置。

在步驟S422，使用者操作使用者介面，以設定手術機械臂340的機械臂末端的目標位置。在一實施例中，使用者可設定多個目標位置。

在步驟S430，處理器執行全景環境場域定位模組，以定位手術區域的全景環境。詳細而言，影像擷取單元預先拍攝手術區域401，以取得全景手術區域影像及其深度資訊(即，定位影像以及參考深度資訊)。全景環境場域定位模組根據定位影像以及參考深度資訊，以使影像擷取單元的攝影機座標系與手術機械臂340的機械臂座標系匹配。也就是說，處理器可取得影像中的座標與手術機械臂340的座標之間的對應關係，以在攝影機座標系與機械臂座標系之間，對手術區域401中任一位置進行座標轉換。

在步驟S440，使用者操作使用者介面，以使處理器執行中繼點輸入模組，以設定安全中繼點以及觸發條件。詳細而言，中繼點輸入模組設定安全中繼點在手術區域中的三維座標。前述的座標可例如是以攝影機座標系或機械臂座標系表示的座標。中繼點輸入模組設定觸發條件的內容，以限制手術機械臂340移動至安全中繼點的條件。在本實施例中，安全中繼點可例如是手術區域401以外的任意位置，或者是遠離手術對象400的任意位置。安全中繼點可例如是圖3所示的位置411。在一實施例中，使用者可設定多個安全中繼點。

在步驟S450，處理器執行控制模組，以進行手術機械臂操作。在手術機械臂操作中，處理器根據全景手術區域影像推算路徑資訊，並根據路徑資訊來控制手術機械臂340的機械臂末端移動至目標位置。

在步驟S460，在手術機械臂操作中，處理器執行中繼點觸發模組，以判斷觸發條件是否成立。詳細而言，中繼點觸發模組分析感測單元351所產生的多個位置信號，以獲得當前幀(frame) 各個障礙物(即，手術器械402~403)所在的位置、以及前述的位置與前一幀對應的位置之間的位置偏差。中繼點觸發模組根據這些位置信號來判斷障礙物的位置偏差是否超過第一閥值。在本實施例中，當障礙物的位置偏差超過第一閥值時，表示手術器械402及/或403偏移量超過可容忍範圍而導致觸發條件成立，接續執行步驟S470。在另一方面，當位置偏差未超過第一閥值時，表示手術器械402及/或403偏移量仍在可容忍範圍內，因此觸發條件不成立，接續執行步驟S480。

接續上述的說明，中繼點觸發模組分析感測單元352所產生的多個距離信號，以獲得當前幀機械臂末端與各個障礙物(即，手術器械402~403)之間的距離。中繼點觸發模組根據這些距離信號來判斷機械臂末端與各個障礙物之間的距離是否小於第二閥值。在本實施例中，當機械臂末端與任一個障礙物之間的距離小於第二閥值時，表示機械臂末端與手術器械402及/或403之間的距離過近而超過可容忍範圍以導致觸發條件成立，接續執行步驟S470。在另一方面，當前述的距離未小於第二閥值時，表示機械臂末端與手術器械402及/或403之間的距離仍在可容忍範圍內，因此觸發條件不成立，接續執行步驟S480。

在步驟S470，當步驟S460的觸發條件成立時，處理器執行控制模組，以控制手術機械臂340的機械臂末端移動至安全中繼點(例如是位置411)。當手術機械臂340的機械臂末端移動至安全中繼點時，重新執行步驟S450以繼續進行手術機械臂操作。此時，由於手術區域發生變化，因此影像擷取單元取得當前幀以及安全中繼點處的全景手術區域影像。處理器根據前述的影像重新推算路徑資訊，並根據此路徑資訊來控制手術機械臂的機械臂末端移動至目標位置。

在步驟S480，當步驟S460的觸發條件不成立時，處理器執行控制模組，以判斷手術機械臂340的機械臂末端是否位在目標位置。詳細而言，影像擷取單元取得當前幀以及當前位置處的全景手術區域影像。處理器分析前述的影像及其深度資訊以獲得機械臂末端的位置，並比較此位置以及步驟S422所設定的目標位置是否相同。在本實施例中，當前述的結果為相同時，表示手術機械臂340的機械臂末端已抵達目標位置(即，步驟S490)，以結束手術機械臂操作。在另一方面，當前述的結果為不同時，表示手術機械臂340的機械臂末端不在目標位置處，接續執行步驟S450。

圖5是依照本發明的一實施例的手術機械臂控制系統的操作示意圖。參考圖5，手術機械臂控制系統500包括處理器(未繪示)、儲存單元(未繪示)、感測單元(未繪示)、影像擷取單元以及手術機械臂540。處理器、儲存單元、感測單元、影像擷取單元以及手術機械臂540可以參照手術機械臂控制系統100或300的相關說明並且加以類推，故在此不另重述。在本實施例中，影像擷取單元包括第一深度攝影機531以及第二深度攝影機532。在本實施例中，儲存單元所儲存的控制模組包括目標區域確認模組、空間環境辨識模組、空間環境影像處理模組以及機械臂動作回饋模組，以進行手術機械臂操作。在本實施例中，空間環境辨識模組以及空間環境影像處理模組可分別為實現對應功能的神經網路模組。也就是說，手術機械臂控制系統500的儲存單元還可儲存前述的多個模組。

在本實施例中，第一深度攝影機531可設置於手術機械臂540的左側或右側。第一深度攝影機531可以第一視角朝向手術平台進行拍攝，以取得手術區域401的第一影像。第二深度攝影機532可設置於手術平台上，並設置於第一深度攝影機531的斜對側。第二深度攝影機532可以第二視角朝向手術平台進行拍攝，以取得手術區域401的第二影像。在本實施例中，深度攝影機531、532具有相同的結構以及攝影機座標系。

圖6是依照本發明圖5實施例的手術機械臂控制方法的流程圖。參考圖5以及圖6，手術機械臂控制系統500可執行步驟S610~S690，以實現控制手術機械臂540進行自動移動，以及示例說明圖2所示步驟S210關於自動移動的操作細節。

在步驟S610，使用者架設手術機械臂控制系統500。在步驟S621，使用者操作手術機械臂控制系統300的使用者介面，以設定手術機械臂540的機械臂末端的起始位置。在步驟S622，使用者操作使用者介面，以設定手術機械臂540的機械臂末端的目標位置。步驟S610~S622可以參照步驟S410~S422的相關說明並且加以類推，故在此不另重述。

在步驟S630，處理器執行全景環境場域定位模組，以定位手術區域的全景環境。詳細而言，深度攝影機531預先拍攝手術區域401，以取得第一影像及其深度資訊(即，定位影像以及參考深度資訊)。深度攝影機532預先拍攝手術區域401，以取得第二影像及其深度資訊(即，定位影像以及參考深度資訊)。全景環境場域定位模組根據定位影像以及參考深度資訊，以使深度攝影機531、532的攝影機座標系與手術機械臂540的機械臂座標系匹配。

在本實施例中，由於手術區域401中包括手術器械402~403，使得在第一影像中，距離第一深度攝影機531較遠處(例如是區域502)的部分影像會被手術器械402~403遮蔽而產生模糊。同理，在第二影像中，距離第二深度攝影機532較遠處(例如是區域501)的部分影像亦產生模糊。應注意的是，第一深度攝影機531與第二深度攝影機532是呈現斜對側(或斜對角)擺放，以藉由處理器進行對側影像補償以修正前述的模糊部分。

在步驟S641，處理器執行疊合影像模組，以擷取對應於手術區域401中第一區域501的第一影像以及對應於手術區域401中第二區域502的第二影像。詳細而言，疊合影像模組可基於斜對角線L1來將手術區域401區分為第一區域501以及第二區域502及其接縫處。在本實施例中，斜對角線L1是根據第一深度攝影機531與第二深度攝影機532之間設置的角度而形成的虛擬線，以畫分這些深度攝影機531、532的拍攝死角區域。疊合影像模組擷取清晰部分的第一影像(即，第一區域501的部分影像)，並且擷取清晰部分的第二影像(即，第一區域502的部分影像)。在本實施例中，經擷取的第一影像以及經擷取的第二影像具有相同的座標軸向。

步驟S642，處理器執行疊合影像模組，以對步驟S641中經擷取的影像進行疊合處理以獲得手術區域401的清晰影像(即，全景手術區域影像)。詳細而言，疊合影像模組可基於對角線L1，疊合經擷取的第一影像以及經擷取的第二影像，以整併成全景手術區域影像。在本實施例中，全景手術區域影像可具有224×224像素的影像解析度。

參考圖5至圖7，手術機械臂控制系統500可執行步驟S651~S653，以示例說明手術機械臂操作中關於影像處理、影像分析以及自動移動的操作細節。步驟S651~S653可例如是步驟S460的一實施方式。

在本實施例中，步驟S641~S642所產生的影像可例如是圖7所示的全景手術區域影像701。以下實施例一併參考圖7，圖7是依照本發明圖6實施例的影像處理及影像分析的操作示意圖。全景手術區域影像701(當前幀(frame)) 包括手術機械臂540的機械臂末端影像。在本實施例中，手術機械臂控制系統500還可包括輸入單元。輸入單元可例如是滑鼠、觸控螢幕、使用者介面或系統設定模組等，並且可提供目標座標至處理器。對此，處理器可執行目標區域確認模組，以根據目標座標定義在全景手術區域影像701中的目標區域。對此，目標區域為空間區域(虛擬立方體)，並且可例如於全景手術區域影像701的手術對象的另一側。

在步驟S651，處理器根據全景手術區域影像701進行影像處理。詳細而言，處理器執行空間環境辨識模組，以根據全景手術區域影像701產生第一環境資訊影像711、第一方向資訊影像712以及第一深度資訊影像713。

在步驟S652，處理器根據步驟S651產生的影像711~713進行影像辨識。在本實施例中，處理器執行空間環境影像處理模組，以根據第一環境資訊影像711、第一方向資訊影像712以及第一深度資訊影像713推算路徑資訊。詳細而言，空間環境影像處理模組可根據手術機械臂540的機械臂末端區域來從第一環境資訊影像711、第一方向資訊影像712以及第一深度資訊影像713分別擷取第二環境資訊影像721、第二深度資訊影像722以及第二方向資訊影像723(只擷取影像中的機械臂末端影像部分進行後續運算與分析)。對此，由於第二環境資訊影像721、第二深度資訊影像722以及第二方向資訊影像723為第一環境資訊影像711、第一方向資訊影像712以及第一深度資訊影像713分別的一部分，因此本發明的手術機械臂控制系統500可針對每一幀的影像的重點區域進行快速的影像運算與分析，而可有效節省運算資源且可快速推算以移動手術機械臂540至目標座標。

舉例而言，第一環境資訊影像711、第一方向資訊影像712以及第一深度資訊影像713可分別具有224×224像素的影像解析度，並且第二環境資訊影像721、第二深度資訊影像722以及第二方向資訊影像723可分別具有54×54像素的影像解析度。

在本實施例中，空間環境影像處理模組將第二環境資訊影像721、第二深度資訊影像722以及第二方向資訊影像723輸入至全卷積網路模型523之前，空間環境影像處理模組可先分別將第二環境資訊影像721、第二方向資訊影像722以及第二深度資訊影像723進行影像放大，其中影像放大可例如透過雙線性插值算法的方式。已放大的第二環境資訊影像731、已放大的第二深度資訊影像732以及已放大的第二方向資訊影像733可分別具有224×224像素的影像解析度。接著。空間環境影像處理模組可將已放大的第二環境資訊影像731、已放大的第二深度資訊影像732以及已放大的第二方向資訊影像733輸入至全卷積網路模型523，以使全卷積網路模型523輸出特徵影像751。

全卷積網路模型523可包括稠密神經網路模組523-1(運算模型的上半部)以及特徵還原模組523-2(運算模型的下半部)。稠密神經網路模組523-1可先產生訓練結果的多個特徵值資料741-1~741-N、742-1~742-N、743-1~743-N。特徵值資料741-1~741-N可為已放大的第二環境資訊影像731的訓練結果。特徵值資料742-1~742-N可為已放大的第二深度資訊影像732的訓練結果。特徵值資料743-1~743-N可為已放大的第二方向資訊影像733的訓練結果。全卷積網路模型523可接著將特徵值資料741-1~741-N、742-1~742-N、743-1~743-N輸入至特徵還原模組523-2，以使特徵還原模組523-2可將特徵值資料741-1~741-N、742-1~742-N、743-1~743-N進行重組，以輸出特徵影像751。

在本實施例中，空間環境影像處理模組根據特徵影像751推算路徑資訊。特徵影像751可例如具有對應於空間或移動平面中的各點位置的權重分布資訊(可移動權重或障礙物權重)。處理器可例如根據特徵影像751推算出手術機械臂540在當前幀(frame)中可移動的方向以及可移動的距離等資訊或參數。

在步驟S653，處理器根據步驟S652產生的結果來移動手術機械臂540。詳細而言，處理器執行機械臂動作回饋模組，以根據路徑資訊來控制手術機械臂540移動至目標區域。

在步驟S680，處理器執行判斷手術機械臂540的機械臂末端是否位在目標位置。詳細而言，在本實施例中，深度攝影機531、532可分別連續取得多個幀的多個影像，以使處理器根據這些影像進行擷取及疊合處理以產生對應的多個全景手術區域影像。處理器根據這些全景手術區域影像疊代執行空間環境辨識模組(即，步驟S651)、空間環境影像處理模組(即，步驟S652)以及機械臂動作回饋模組(即，步驟S653)，以多次操作手術機械臂540移動，直到處理器判斷手術機械臂540的機械臂末端抵達目標座標。對此，當處理器可判斷手術機械臂540的機械臂末端區域與目標區域重疊時(兩個虛擬立方體疊合)，處理器可判斷手術機械臂540的機械臂末端抵達目標座標(即，步驟S690)。機械臂末端區域可為處理器基於機械臂末端的空間位置的中心點來以此為中心向外延伸而模擬出的立方體區域(區域中心點為機械臂末端的中心點)。因此，手術機械臂540可自動地迴避移動路徑上的手術器械402~403，以自動移動至手術對象400的另一側。

以下圖8至圖10實施例將分別詳細說明第二環境資訊影像721、第二深度資訊影像722以及第二方向資訊影像723的產生方式。

圖8是依照本發明的一實施例的產生第二環境資訊影像的示意圖。參考圖5以及圖8，深度攝影機531~532可例如對於如圖8所示的手術區域801進行拍攝，以藉由處理器取得第一環境資訊影像802(即，全景手術區域影像)。處理器可對第一環境資訊影像802中對應於手術機械臂540的機械臂末端541的位置進行定義，以決定機械臂末端區域811的範圍(即，預設分析範圍)。對此，機械臂末端區域811的水平範圍可對應於在第一環境資訊影像802中的範圍812。接著，處理器可根據此範圍812裁剪第一環境資訊影像802，以產生第二環境資訊影像721(例如是RGB影像)。

圖9是依照本發明的一實施例的產生第二深度資訊影像的示意圖。參考圖5以及圖9，深度攝影機531~532可例如對於如圖9所示的手術區域901進行拍攝，以取得具有深度資訊的第一深度資訊影像(即，附帶有深度資訊的第一影像)。處理器可對第一深度資訊影像中對應於手術機械臂540的機械臂末端的位置進行定義，以決定以機械臂末端541的延伸軸911為基準的參考平面。第一深度資訊影像可包括對應於不同深度的多個第一深度平面影像902_1~902_N，其中N為正整數。所述不同深度可例如是指參考平面以及平行於參考平面的上方及下方的各5個垂直深度(例如-5、-4、-3、-2、-1、0、+1、+2、+3、+4、+5)的平面，但本發明並不限制深度平面影像的取樣數量。對此，機械臂末端541的機械臂末端區域(如同圖8的機械臂末端區域811)的水平範圍可對應於在多個第一深度平面影像902_1~902_N中的相同位置的範圍812。接著，處理器可將這些第一深度平面影像902_1~902_N轉換為多個二值化影像903_1~903_N(例如有障礙物以數值“0”(純黑)代表，而無障礙物則以數值“1”代表(純白))，並且根據手術機械臂540的機械臂末端區域811來從這些二值化影像903_1~903_N取得第二深度資訊影像中對應於不同深度的多個第二深度平面影像722_1~722_N。對此，手術機械臂控制系統500可根據第二深度平面影像722_1~722_N來獲得不同深度平面的障礙物分布資訊(例如其他手術器械的分布資訊)，以有效地推算出手術機械臂540不會撞到障礙物的移動路徑。

圖10是依照本發明的一實施例的產生第一方向資訊影像的示意圖。參考圖5以及圖10，深度攝影機531~532可例如對於如圖10所示的手術區域1001進行拍攝，以藉由處理器取得第一環境資訊影像1002(即，全景手術區域影像)。處理器可對第一環境資訊影像1002中對應於手術機械臂540的機械臂末端541進行定義，以決定以機械臂末端541的端點作為當前幀的機械臂末端點P1。處理器可對第一環境資訊影像1002中的手術機械臂540的機械臂末端541進行定義，以決定機械臂末端區域的範圍(即，預設分析範圍)。處理器可根據輸入單元提供的目標選擇信號(例如由使用者選擇目標位置)來取得目標座標，以決定目標點P2。處理器可沿著第一環境資訊影像1002中的機械臂末端點P1至目標點P2的路徑並且朝目標點P2的距離不同而決定放射性漸層顏色參數，以產生第一方向資訊影像1003。值得注意的是，第一方向資訊影像1003的色彩變化方向平行於在第一方向資訊影像1003上從機械臂末端點P1的機械臂末端座標至目標點P2的目標座標的方向。處理器可根據範圍812裁剪第一方向資訊影像1003，以產生第二方向資訊影像723。

綜上所述，本發明的手術機械臂控制系統及手術機械臂控制方法可藉由感測單元在手術機械臂操作中感測手術區域，以即時地確認手術區域發生的變化是否滿足觸發條件。如此一來，當前述的變化過大而使觸發條件成立時，本發明的系統及其方法可控制手術機械臂移動至手術區域之外的安全中繼點，能夠因應即時的環境變化而有效地迴避路徑中的障礙物，據以降低手術風險。在部分實施例中，藉由設置於斜對側的多個深度攝影機進行對側影像補償以修正死角區域的模糊影像，能夠提高影像的辨識率，以降低手術機械臂操作中的計算誤差。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

100、300、500:手術機械臂控制系統 110:處理器 120:儲存單元 121:控制模組 122:中繼點觸發模組 130:影像擷取單元 140、340、540:手術機械臂 150:感測單元 351~352:感測單元 400:手術對象 401、801、901、1001:手術區域 402~403:手術器械 411:位置 501、502:區域 523:全卷積網路模型 523-1:稠密神經網路模組 523-2:特徵還原模組 531、532:深度攝影機 541:機械臂末端 701:全景手術區域影像 711:第一環境資訊影像 712:第一方向資訊影像 713:第一深度資訊影像 721:第二環境資訊影像 722:第二深度資訊影像 723:第二方向資訊影像 722_1~722_N:第二深度平面影像 731:已放大的第二環境資訊影像 732:已放大的第二深度資訊影像 733:已放大的第二方向資訊影像 741-1~741-N、742-1~742-N、743-1~743-N:特徵值資料 751:特徵影像 811:機械臂末端區域 802:第一環境資訊影像 812:範圍 911:延伸軸 902_1~902_N:第一深度平面影像 903_1~903_N:二值化影像 1002:第一環境資訊影像 1003:第一方向資訊影像 S210~S240、S410~S490、S610~S690:步驟 L1:對角線 P1:機械臂末端點 P2:目標點

圖1是依照本發明的一實施例的手術機械臂控制系統的方塊示意圖。 圖2是依照本發明的一實施例的手術機械臂控制方法的流程圖。 圖3是依照本發明的一實施例的手術機械臂控制系統的操作示意圖。 圖4是依照本發明圖3實施例的手術機械臂控制方法的流程圖。 圖5是依照本發明的一實施例的手術機械臂控制系統的操作示意圖。 圖6是依照本發明圖5實施例的手術機械臂控制方法的流程圖。 圖7是依照本發明圖6實施例的影像處理及影像分析的操作示意圖。 圖8是依照本發明的一實施例的產生第二環境資訊影像的示意圖。 圖9是依照本發明的一實施例的產生第二深度資訊影像的示意圖。 圖10是依照本發明的一實施例的產生第二方向資訊影像的示意圖。

100:手術機械臂控制系統

110:處理器

120:儲存單元

121:控制模組

122:中繼點觸發模組

130:影像擷取單元

140:手術機械臂

150:感測單元

Claims (12)

1. 一種手術機械臂控制系統，包括：一手術機械臂，用以在一手術區域中移動；一感測單元，設置於該手術機械臂，用以感測該手術區域以產生空間感測資料；以及一處理器，耦接該手術機械臂以及該感測單元，用以進行一手術機械臂操作，以控制該手術機械臂移動至一目標位置，其中在該手術機械臂操作中，該處理器執行一中繼點觸發模組，以根據該空間感測資料來判斷一觸發條件是否成立，並當該觸發條件成立時，該處理器控制該手術機械臂移動至該手術區域以外的一安全中繼點，其中當該手術機械臂移動至該安全中繼點時，該處理器進行該手術機械臂操作，以根據該安全中繼點處的一全景手術區域影像推算一路徑資訊，並根據該路徑資訊來控制該手術機械臂移動。
2. 如請求項1所述的手術機械臂控制系統，其中該感測單元包括：一定位感測器，用以感測該手術區域中多個障礙物的位置，以產生對應於該些障礙物的多個位置信號，其中該空間感測資料包括該些位置信號，其中該處理器執行該中繼點觸發模組，以根據該些位置信號判斷該些障礙物的位置偏差是否超過一第一閥值，以判斷該觸發條件是否成立。
3. 如請求項1所述的手術機械臂控制系統，其中該感測單元包括：一距離感測器，設置於該手術機械臂的一機械臂末端，用以感測該機械臂末端與該手術區域中多個障礙物之間的距離，以產生對應於該些障礙物的多個距離信號，其中該空間感測資料包括該些距離信號，其中該處理器執行該中繼點觸發模組，以根據該些距離信號判斷該機械臂末端與各該障礙物之間的距離是否小於一第二閥值，以判斷該觸發條件是否成立。
4. 如請求項1所述的手術機械臂控制系統，其中該處理器用以執行一中繼點輸入模組，以設定該安全中繼點在該手術區域中的三維座標。
5. 如請求項1所述的手術機械臂控制系統，還包括：一第一深度攝影機，用以取得該手術區域的一第一影像；以及一第二深度攝影機，設置於該第一深度攝影機的斜對側，用以取得該手術區域的一第二影像，其中該處理器執行一疊合影像模組，以擷取對應於該手術區域中一第一區域的該第一影像以及對應於該手術區域中一第二區域的該第二影像，並且疊合經擷取的該第一影像以及經擷取的該第二影像，以產生該全景手術區域影像。
6. 如請求項5所述的手術機械臂控制系統，其中該處理器執行該手術機械臂操作包括以下的步驟：根據該全景手術區域影像產生一第一環境資訊影像、一第一方向資訊影像以及一第一深度資訊影像；根據該手術機械臂的一機械臂末端區域來從該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別擷取一第二環境資訊影像、一第二方向資訊影像以及一第二深度資訊影像，其中該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像為該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別的一部分；將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像輸入至一全卷積網路模型，以使該全卷積網路模型輸出一特徵影像；以及根據該特徵影像推算該路徑資訊，並根據該路徑資訊來控制該手術機械臂移動至該目標位置。
7. 一種手術機械臂控制方法，包括：藉由一處理器，進行一手術機械臂操作，以控制一手術機械臂移動至一目標位置；藉由一感測單元，感測一手術區域以產生空間感測資料；在該手術機械臂操作中，藉由該處理器，執行一中繼點觸發模組，以根據該空間感測資料來判斷一觸發條件是否成立；當該觸發條件成立時，藉由該處理器，控制該手術機械臂移 動至該手術區域以外的一安全中繼點；以及當該手術機械臂移動至該安全中繼點時，藉由該處理器，進行該手術機械臂操作，以根據該安全中繼點處的一全景手術區域影像推算一路徑資訊，並根據該路徑資訊來控制該手術機械臂移動。
8. 如請求項7所述的手術機械臂控制方法，其中感測該手術區域以產生該空間感測資料的步驟包括：藉由該感測單元的一定位感測器，感測該手術區域中多個障礙物的位置，以產生對應於該些障礙物的多個位置信號，其中該空間感測資料包括該些位置信號，其中執行該中繼點觸發模組，以根據該空間感測資料來判斷該觸發條件是否成立的步驟包括：根據該些位置信號判斷該些障礙物的位置偏差是否超過一第一閥值，以判斷該觸發條件是否成立。
9. 如請求項7所述的手術機械臂控制方法，其中感測該手術區域以產生該空間感測資料的步驟包括：藉由該感測單元的一距離感測器，感測該手術機械臂的一機械臂末端與該手術區域中多個障礙物之間的距離，以產生對應於該些障礙物的多個距離信號，其中該空間感測資料包括該些距離信號，其中執行該中繼點觸發模組，以根據該空間感測資料來判斷該觸發條件是否成立的步驟包括： 根據該些距離信號判斷該機械臂末端與各該障礙物之間的距離是否小於一第二閥值，以判斷該觸發條件是否成立。
10. 如請求項7所述的手術機械臂控制方法，還包括：藉由一處理器，執行一中繼點輸入模組，以設定該安全中繼點在該手術區域中的三維座標。
11. 如請求項7所述的手術機械臂控制方法，還包括：藉由一第一深度攝影機，取得該手術區域的一第一影像；藉由一第二深度攝影機，取得該手術區域的一第二影像，其中該第二深度攝影機設置於該第一深度攝影機的斜對側；以及藉由該處理器，執行一疊合影像模組，以擷取對應於該手術區域一第一區域的該第一影像以及對應於該手術區域中一第二區域的該第二影像，並且疊合經擷取的該第一影像以及經擷取的該第二影像，以產生該全景手術區域影像。
12. 如請求項11所述的手術機械臂控制方法，其中執行該手術機械臂操作以控制該手術機械臂移動至該目標位置包括以下的步驟：根據該全景手術區域影像產生一第一環境資訊影像、一第一方向資訊影像以及一第一深度資訊影像；根據該手術機械臂的一機械臂末端區域來從該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別擷取一 第二環境資訊影像、一第二方向資訊影像以及一第二深度資訊影像，其中該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像為該第一環境資訊影像、該第一方向資訊影像以及該第一深度資訊影像分別的一部分；將該第二環境資訊影像、該第二方向資訊影像以及該第二深度資訊影像輸入至一全卷積網路模型，以使該全卷積網路模型輸出一特徵影像；以及根據該特徵影像推算該路徑資訊，並根據該路徑資訊來控制該手術機械臂移動至該目標位置。