TW202220623A

TW202220623A - 機械手臂的自動控制方法以及自動控制系統

Info

Publication number: TW202220623A
Application number: TW109140432A
Authority: TW
Inventors: 曾建嘉; 楊昇宏; 潘柏瑋
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2020-11-19
Filing date: 2020-11-19
Publication date: 2022-06-01
Also published as: TWI801775B

Abstract

本發明提出一種機械手臂的自動控制方法以及自動控制系統。自動控制方法包括以下步驟：透過深度攝影機取得彩色影像以及對應於彩色影像的深度資訊；依據彩色影像及深度資訊進行影像空間切割處理以及影像旋轉處理，以產生多個深度影像；將所述多個深度影像輸入至環境影像辨識模組，以使環境影像辨識模組輸出位移座標參數；以及輸出位移座標參數至機械手臂控制模組，以使機械手臂控制模組依據位移座標參數來控制機械手臂移動。

Description

機械手臂的自動控制方法以及自動控制系統

本發明是有關於一種控制方法與系統，且特別是有關於一種機械手臂的自動控制方法以及自動控制系統。

隨著醫療設備的演進，可有助於增加醫療人員的手術效率以及手術精準度的可自動控制的相關醫療設備目前為此領域的重要發展方向之一。特別是，在手術過程中用於輔助或配合醫療人員(施術者)進行相關手術工作的機械手臂更為重要。然而，在現有的機械手臂設計中，為了使機械手臂可實現自動控制功能，機械手臂必須設置有多個感測器以及必須由使用者在每次手術過程中進行繁瑣的手動校正操作，才可使機械手臂在移動過程迴避路徑中存在的障礙物，實現準確的自動移動以及自動操作結果。有鑑於此，以下將提出新型的自動控制系統設計。

本發明提供一種機械手臂的自動控制方法以及自動控制系統，可操作機械手臂於空間中進行移動並有效地迴避障礙物。

本發明的機械手臂的自動控制方法包括以下步驟：透過深度攝影機取得彩色影像以及對應於彩色影像的深度資訊；依據彩色影像及深度資訊進行影像空間切割處理以及影像旋轉處理，以產生多個深度影像；將所述多個深度影像輸入至環境影像辨識模組，以使環境影像辨識模組輸出位移座標參數；以及輸出位移座標參數至機械手臂控制模組，以使機械手臂控制模組依據位移座標參數來控制機械手臂移動。

本發明的機械手臂的自動控制系統包括深度攝影機以及處理器。深度攝影機用以取得彩色影像以及對應於彩色影像的深度資訊。處理器耦接機械手臂以及深度攝影機。處理器用以依據彩色影像及深度資訊進行影像空間切割處理以及影像旋轉處理，以產生多個深度影像。處理器將所述多個深度影像輸入至環境影像辨識模組，以使環境影像辨識模組輸出位移座標參數。處理器輸出位移座標參數至機械手臂控制模組，以使機械手臂控制模組依據位移座標參數來控制機械手臂移動。

基於上述，本發明的機械手臂的自動控制方法以及自動控制系統可透過視覺訓練的方式來實現可自動判斷當前環境中的障礙物的功能，並可有效地操作機械手臂於當前環境進行移動。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的自動控制系統的方塊示意圖。參考圖1，自動控制系統100包括處理器110、記憶體120以及深度攝影機130。處理器110耦接記憶體120、深度攝影機130以及機械手臂140。機械手臂140可為多軸機械手臂(例如六軸)。在本實施例中，記憶體120可儲存環境影像辨識模組121以及機械手臂控制模組122。處理器110可存取記憶體120，並且執行環境影像辨識模組121以及機械手臂控制模組122，以控制機械手臂140進行移動及相關操作。在本實施例中，處理器110以及記憶體120可例如整合至一個電腦主機中，並且以有線或無線的方式與深度攝影機130以及機械手臂140進行通訊。然而，在一實施例中，處理器110以及記憶體120亦可整合至雲端伺服器系統，但本發明並不限於此。

在本實施例中，處理器110可先透過深度攝影機130取得對應於目標位置及機械手臂的彩色影像以及對應於彩色影像的深度資訊，並接著依據彩色影像以及對應於彩色影像的深度資訊來執行環境影像辨識模組121，以透過電腦視覺影像處理的方式來辨識目標位置的環境。處理器110可依據環境影像辨識模組121輸出對應於環境辨識結果的位移或路徑參數來執行機械手臂控制模組122，以使機械手臂控制模組122可產生對應的控制信號至機械手臂140。在本實施例中，機械手臂控制模組122可包括用於控制機械手臂140的輸入介面(例如socket或API等方式)，並且機械手臂控制模組122可執行機械手臂140的正逆運動學的運算。因此，機械手臂控制模組122可控制機械手臂140自動地於空間中移動至目標位置，並且可有效地迴避環境中的障礙物。

在本實施例中，處理器110可包括中央處理器(Central processing unit；CPU)、可程式設計的一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital signal processor；DSP)、可程式設計控制器、專用積體電路(Application specific integrated circuit；ASIC)、圖形處理器(Graphics processing unit，GPU)或其他類似元件或上述元件的組合且可用於實現本發明的相關功能電路。

在本實施例中，記憶體120可例如包括隨機存取記憶體(Random-Access Memory；RAM)、唯讀記憶體(Read-Only Memory；ROM)、光碟(Optical disc)、磁碟(Magnetic disk)、硬驅動機(Hard drive)、固態驅動機(Solid-state driv)、快閃驅動機(Flash drive)、安全數位(Security digital；SD)卡、記憶條(Memory stick)、緊密快閃(Compact flash；CF)卡或任何類型的儲存裝置。在本實施例中，記憶體120可用於儲存本發明各實施例所提到的相關模組、相關影像資料及相關參數等，以使處理器110可透過存取記憶體120，以執行相關資料處理及運算。

圖2是依照本發明的一實施例的自動控制系統的操作示意圖。參考圖1以及圖2，圖1的自動控制系統100可例如應用於如圖2所示的醫療手術之情境，並且機械手臂140可為手術機械手臂。如圖2所示，自動控制系統100的處理器110還可進一步耦接顯示設備150。具體而言，深度攝影機130可朝手術對象200的手術位置210進行拍攝，以連續取得手術位置210的多個彩色影像以及對應於所述多個彩色影像的多個深度資訊。深度攝影機130可將所述多個彩色影像以及對應於所述多個彩色影像的多個深度資訊提供至處理器110。處理器110可依據深度攝影機130的拍攝結果而於顯示設備150對應顯示相關即時資訊供醫療人員進行判斷或監控，而本發明並不限制顯示設備150的顯示內容。在本實施例中，處理器110可對每一個彩色影像以及對應的深度資訊進行影像處理，以產生相應的控制信號至機械手臂140，以使機械手臂140可自動地朝手術位置210中的目標位置。

在深度攝影機130進行連續拍攝的過程中，處理器110同樣進行連續的視覺影像處理，以連續地輸出控制信號至機械手臂140。換言之，處理器110可對應當前環境情境或環境變動來相應地控制機械手臂140的移動。舉例而言，處理器110可控制貨操作機械手臂140的夾具141朝位於手術位置210中特定醫療器件移動，並且在機械手臂140的移動過程中，機械手臂140可自動迴避手術環境中的障礙物(包括手術對象200的身體部位)，而使機械手臂140的夾具141可順利地夾取目標位置上的特定醫療器件。因此，本實施例的自動控制系統100可控制機械手臂140來有效地輔助或配合醫療人員進行相關手術動作。

圖3是依照本發明的一實施例的自動控制方法的流程圖。參考圖1至圖3，自動控制系統100可透過執行步驟S310~S340來實現控制機械手臂140進行自動移動。在步驟S310，處理器110可透過深度攝影機130取得彩色影像以及對應於彩色影像的深度資訊。在步驟S320，處理器110可依據彩色影像及深度資訊進行影像空間切割處理以及影像旋轉處理，以產生多個深度影像。在步驟S330，處理器110可將多個深度影像輸入至環境影像辨識模組121，以使環境影像辨識模組121輸出位移座標參數。在本實施例中，環境影像辨識模組121可包括神經網路(Neural network)運算模型，並且環境影像辨識模組121可例如被預先訓練以學習辨識深度影像中的障礙物，並且可依據深度影像的辨識結果來產生位移座標參數。在步驟S340，環境影像辨識模組121可輸出所述位移座標參數至機械手臂控制模組122，以使機械手臂控制模組122可依據所述位移座標參數來控制機械手臂140移動。因此，本實施例的自動控制系統100可有效地控制機械手臂140。並且，各步驟的詳細實施方式將由以下多個實施例來詳細說明之。

圖4是依照本發明的一實施例的神經網路運算的多個模組的示意圖。圖5是依照本發明的另一實施例的自動控制方法的流程圖。參考圖1、圖4以及圖5，自動控制系統100可執行步驟S510~S570，來操作機械手臂140。在本實施例中，記憶體120還可儲存有影像處理模組411、軌跡紀錄模組412、回饋模組413以及輸出模組414。處理器110可執行環境影像辨識模組121以及機械手臂控制模組122、影像處理模組411、軌跡紀錄模組412、回饋模組413以及輸出模組414。值得注意的是，自動控制系統100可執行影像處理模組411、環境影像辨識模組121、輸出模組414以及機械手臂控制模組122來控制機械手臂140。影像處理模組411、環境影像辨識模組121、輸出模組414以及機械手臂控制模組122可屬於或整合為控制模組410。並且，在一實施例中，自動控制系統100可進入訓練模式，以訓練環境影像辨識模組121。對此，自動控制系統100可執行影像處理模組411、環境影像辨識模組121、軌跡紀錄模組412、回饋模組413、輸出模組414以及機械手臂控制模組122來訓練環境影像辨識模組121。影像處理模組411、環境影像辨識模組121、軌跡紀錄模組412、回饋模組413、輸出模組414以及機械手臂控制模組122可屬於或整合為訓練模組420。

圖6是依照本發明的一實施例的彩色影像的示意圖。圖7是依照本發明的一實施例的多個深度影像的示意圖。對此，以下更搭配圖6及圖7進行說明。在本實施例中，自動控制系統100可進一步包括輸入模組，例如包括滑鼠、鍵盤等輸入設備，並且可接收使用者的輸入資料(或設定參數)。在步驟S510中，處理器110可依據接收到的輸入資料來設定起始位置參數以及目標位置參數。在步驟S520中，處理器110可透過深度攝影機130取得當前幀的如圖6所示的彩色影像600以及對應於彩色影像600的深度資訊。彩色影像600可包括手術部位影像610以及環境影像620。處理器110可依據目標位置參數於彩色影像600中定義目標位置630，並且目標位置630的範圍601。在步驟S530，處理器110可執行影像處理模組411以依據彩色影像600及深度資訊進行影像空間切割處理以及影像旋轉處理，以產生如圖7所示的多個深度影像700_1~700_16。

舉例而言，影像處理模組411可先對彩色影像600進行RGB數位影像空間切割，以增加環境特徵差異性，而產生分別對應於不同深度的深度影像700_1、700_5、700_9、700_13。接著，影像處理模組411可分別對深度影像700_1、700_5、700_9、700_13進行旋轉，例如旋轉90度、180度以及270度，以進一步產生多個深度影像700_2~700_4、700_6~700_8、700_10~700_12、700_14~700_16，而增加樣本資料。從另一角度而言，對於影像中的每一像素位置共有16個樣本資料。換言之，自動控制系統100可針對深度攝影機130於每一幀所取得的一張彩色影像進行處理，而產生多個對應的深度影像700_1~700_16，以有效地三維分析每一時刻的當前空間的環境狀態。另外，本發明的深度影像的數量並不限於圖7。

在步驟S540，處理器110將多個深度影像輸入至環境影像辨識模組121，以使環境影像辨識模組121輸出位移座標參數至輸出模組414。在本實施例中，環境影像辨識模組121可執行神經網路運算，並且環境影像辨識模組121可從深度影像700_1~700_16辨識有效安全空間影像，以選擇深度影像700_1~700_16的其中一張作為有效安全空間影像，並且進一步依據該有效安全空間影像來決定位移座標參數。換言之，環境影像辨識模組121可三維地判斷當前幀的空間中較安全的移動路徑，以提供對應的位移座標參數至輸出模組414。

更詳細而言，深度影像700_1~700_16的每一個輸入至環境影像辨識模組121的神經網路運算模型後，環境影像辨識模組121的神經網路運算模型可對深度影像700_1~700_16的每一個的多個像素進行特徵值(環境有效空間徵特值)分析，以取得每一個像素的特徵值權重，其中特徵值分析用於判斷每一個像素的物件評估。因此，環境影像辨識模組121可例如產生對應於分別深度影像700_1~700_16的多個空間權重矩陣資料。對此，環境影像辨識模組121可依據對應於深度影像700_1~700_16的所述多個空間權重矩陣資料進行神經網路運算以決定有效安全空間影像。

舉例而言，環境影像辨識模組121的神經網路運算模型可依據機械手臂140在深度影像700_1~700_16中的每一個的當前位置來判斷下一幀可安全位移的方向及位置。舉例而言，深度影像700_1~700_16中屬於物件(障礙物或手術部位)的權重可較高。環境影像辨識模組121可判斷機械手臂140在深度影像700_1~700_16中的每一個的當前位置的周圍單位移動距離內的各像素所對應的權重值最低者(並且朝目標位置移動)，來作為機械手臂140在下一幀的位置，並且將對應的深度影像作為有效安全空間影像。因此，自動控制系統100可驅動機械手臂140朝此位置移動，而可有效避免機械手臂140與物件(障礙物或手術部位)發生接觸或碰撞。

在步驟S550，輸出模組414可輸出位移座標參數至機械手臂控制模組122，以使機械手臂控制模組122可依據位移座標參數來控制機械手臂140移動。在本實施例中，輸出模組414可例如進一步依據依該環境影像辨識模組121的分析及運算結果進一步輸出用於機械手臂140的可移動方向資訊以及可移動位置資訊至機械手臂控制模組122。在步驟S560，處理器110可透過機械手臂控制模組122回傳機械手臂140的目前末端座標參數(例如上述圖2所示的機械手臂140的夾具141的座標)。在步驟S570，處理器110可判斷機械手臂140是否已到達目標位置。若是，則自動控制系統100結束當前控制任務。若否，則自動控制系統100重新執行步驟S510~S570，以針對深度攝影機130所提供的下一幀的彩色影像及其深度資訊來決定機械手臂140的下一步位移方向與位置。因此，本實施例的自動控制系統100以及自動控制方法，可透過視覺影像控制的方式來有效地控制機械手臂140在空間中移動，而避免機械手臂140在空間中移動的過程中於物件(障礙物或手術部位)發生接觸或碰撞。

圖8是依照本發明的一實施例的訓練環境影像辨識模組的流程圖。圖9是依照本發明的一實施例的多個有效安全空間影像的示意圖。參考圖1、圖4、圖5、圖8以及圖9，自動控制系統100可執行步驟S510~S570、S810、S820，來訓練環境影像辨識模組121中的神經網路運算模型。自動控制系統100可進入訓練模式，以執行訓練模組420。在本實施例中，自動控制系統100可同樣如上述圖5實施例的流程來依序操作步驟S510~S570，並且在處理器110透過機械手臂控制模組122回傳機械手臂140的目前末端座標參數之後(在上述步驟S560之後)，自動控制系統100可執行步驟S810。在步驟S810，處理器110可執行軌跡紀錄模組412，以透過軌跡紀錄模組412依據目前末端座標參數以及先前末端座標參數將位移方向記錄至如圖9所示的有效安全空間影像800_1，其中有效安全空間影像800_1包括有機械手臂140的移動軌跡900_1。

接著，在步驟S820，處理器110可執行回饋模組413，以透過回饋模組413計算目前末端座標參數與目標位置之間的距離參數，並且依據距離參數來訓練環境影像辨識模組121。舉例而言，處理器110可判斷當次移動機械手臂140的結果是否使機械手臂140朝目標位置移動(機械手臂140與目標位置之間的距離是否縮短)，而定義當次移動是否適當，進而回饋訓練環境影像辨識模組121中的神經網路運算模型。最後，處理器110可接續執行步驟S570。並且，自動控制系統100可例如連續一段期間來反覆針對深度攝影機130的多個幀的拍攝結果進行分析，而產生多個如圖9所示的多個連續的有效安全空間影像800_1~800_N，其中N為大於1的正整數。值得注意的，有效安全空間影像800_1~800_N可分別包括依時間順序所累加紀錄的先前多個幀的機械手臂140的多個位移位置所形成的移動軌跡900_1~900_N。換言之，環境影像辨識模組121中的神經網路運算模型不僅可有效地識別影像中的物件，自動控制系統100的還可有效地訓練神經網路運算模型所輸出的結果是驅使機械手臂140朝目標位置移動且選出最佳化路徑，而使機械手臂140的每一次移動並非單純地迴避環境中的障礙物。

綜上所述，本發明的機械手臂的自動控制方法以及自動控制系統可透過視覺訓練的方式來使環境影像辨識模組中的神經網路運算模型可學習判斷影像中的物件以及學習使每一次的神經網路運算結果的位移座標參數可使機械手臂朝目標位置移動。因此，本發明的自動控制方法以及自動控制系統可有效地控制機械手臂朝移動至目標位置，並且在機械手臂的移動過程中可有效地迴避環境中的障礙物。

100:自動控制系統 110:處理器 120:記憶體 121:環境影像辨識模組 122:機械手臂控制模組 130:深度攝影機 140:機械手臂 141:夾具 150:顯示設備 200:手術對象 210:手術位置 410:控制模組 411:影像處理模組 412:軌跡紀錄模組 413:回饋模組 414:輸出模組 420:訓練模組 600:彩色影像 601:範圍 610:彩色影像 620:環境影像 630:目標位置 700_1~700_N:深度影像 S310~S340、S510~S570、S810、S820:步驟 800_1~800_N:有效安全空間影像 900_1~900_N:移動軌跡

圖1是依照本發明的一實施例的自動控制系統的方塊示意圖。圖2是依照本發明的一實施例的自動控制系統的操作示意圖。圖3是依照本發明的一實施例的自動控制方法的流程圖。圖4是依照本發明的一實施例的神經網路運算的多個模組的示意圖。圖5是依照本發明的另一實施例的自動控制方法的流程圖。圖6是依照本發明的一實施例的彩色影像的示意圖。圖7是依照本發明的一實施例的多個深度影像的示意圖。圖8是依照本發明的一實施例的神經網路運算的模組的訓練流程圖。圖9是依照本發明的一實施例的多個有效安全空間影像的示意圖。

100:自動控制系統

110:處理器

120:記憶體

121:環境影像辨識模組

122:機械手臂控制模組

130:深度攝影機

140:機械手臂

Claims

一種機械手臂的自動控制方法，包括：透過一深度攝影機取得一彩色影像以及對應於該彩色影像的一深度資訊；依據該彩色影像及該深度資訊進行一影像空間切割處理以及一影像旋轉處理，以產生多個深度影像；將該些深度影像輸入至一環境影像辨識模組，以使該環境影像辨識模組輸出一位移座標參數；以及輸出該位移座標參數至一機械手臂控制模組，以使該機械手臂控制模組依據該位移座標參數來控制該機械手臂移動。
如請求項1所述的自動控制方法，更包括：設定一起始位置參數以及一目標位置參數，其中該起始位置為對應於該機械手臂的一末端位置參數。
如請求項2所述的自動控制方法，其中該影像空間切割處理以及該影像旋轉處理依據該目標位置參數或一障礙物的一位置參數來執行。
如請求項2所述的自動控制方法，其中該環境影像辨識模組用以執行一神經網路運算，並且該環境影像辨識模組用以從該些深度影像辨識一有效安全空間影像，並且依據該有效安全空間影像來決定該位移座標參數。
如請求項4所述的自動控制方法，更包括：當該機械手臂依據該位移座標參數移動後，透過該機械手臂控制模組回傳該機械手臂的一目前末端座標參數。
如請求項5所述的自動控制方法，其中將該些深度影像輸入至該環境影像辨識模組的步驟更包括：執行一軌跡紀錄模組，以透過該軌跡紀錄模組依據該目前末端座標參數以及一先前末端座標參數將一位移方向記錄至該有效安全空間影像；以及執行一回饋模組，以透過該回饋模組計算該目前末端座標參數與該目標位置之間的一距離參數，並且依據該距離參數來訓練該環境影像辨識模組。
如請求項4所述的自動控制方法，其中將該些深度影像輸入至該環境影像辨識模組的步驟包括：透過該環境影像辨識模組分析該些深度影像，以產生對應於該些深度影像的多個空間權重矩陣資料；以及透過該環境影像辨識模組依據對應於該些深度影像的該些空間權重矩陣資料進行該神經網路運算以決定該有效安全空間影像。
如請求項7所述的自動控制方法，其中輸出該位移座標參數至該機械手臂控制模組的步驟包括：執行一輸出模組，以透過該輸出模組依據該環境影像辨識模組的分析及運算結果進一步輸出用於該機械手臂的一可移動方向資訊以及一可移動位置資訊至該機械手臂控制模組。
一種機械手臂的自動控制系統，包括：一深度攝影機，用以取得一彩色影像以及對應於該彩色影像的一深度資訊；以及一處理器，耦接該機械手臂以及該深度攝影機，並且用以依據該彩色影像及該深度資訊進行一影像空間切割處理以及一影像旋轉處理，以產生多個深度影像，其中該處理器將該些深度影像輸入至一環境影像辨識模組，以使該環境影像辨識模組輸出一位移座標參數，並且該處理器輸出該位移座標參數至一機械手臂控制模組，以使該機械手臂控制模組依據該位移座標參數來控制該機械手臂移動。
如請求項9所述的自動控制系統，其中該處理器設定一起始位置參數以及一目標位置參數，其中該起始位置為對應於該機械手臂的一末端位置參數。
如請求項10所述的自動控制系統，其中該處理器依據該目標位置參數或一障礙物的一位置參數來執行該影像空間切割處理以及該影像旋轉處理。
如請求項10所述的自動控制系統，其中該環境影像辨識模組用以執行一神經網路運算，並且該處理器執行該環境影像辨識模組，以從該些深度影像辨識一有效安全空間影像，並且依據該有效安全空間影像來決定該位移座標參數。
如請求項12所述的自動控制系統，其中當該機械手臂依據該位移座標參數移動後，該機械手臂控制模組回傳該機械手臂的一目前末端座標參數。
如請求項13所述的自動控制系統，其中該處理器執行一軌跡紀錄模組，以透過該軌跡紀錄模組依據該目前末端座標參數以及一先前末端座標參數將一位移方向記錄至該有效安全空間影像，並且該處理器執行一回饋模組，以透過該回饋模組計算該目前末端座標參數與該目標位置之間的一距離參數，並且依據該距離參數來訓練該環境影像辨識模組。
如請求項12所述的自動控制系統，其中該處理器透過該環境影像辨識模組分析該些深度影像，以產生對應於該些深度影像的多個空間權重矩陣資料，並且該處理器透過該環境影像辨識模組依據對應於該些深度影像的該些空間權重矩陣資料進行該神經網路運算以決定該有效安全空間影像。
如請求項15所述的自動控制系統，其中該處理器執行一輸出模組，以透過該輸出模組依據該環境影像辨識模組的分析及運算結果進一步輸出用於該機械手臂的一可移動方向資訊以及一可移動位置資訊至該機械手臂控制模組。