TW201310339A - 機器人控制系統及方法 - Google Patents

Abstract

一種機器人控制系統，該系統包括：影像攝取模組，用於控制深度攝影機持續對控制者進行拍攝，取得控制者的即時三維影像；關係建立模組，用於根據機器人的N個活動部位，從控制者的一張三維影像中標定出控制者的N個活動部位，然後將控制者的N個活動部位分別與機器人的N個活動部位建立一一對應的關係；影像分析模組，用於對控制者的即時三維影像進行影像分析，得到控制者的每個活動部位的移動資料；及控制模組，根據控制者每個活動部位的移動資料，透過網路發送控制指令至機器人，以控制該機器人的每個活動部位執行相應的動作。

Description

機器人控制系統及方法

本發明涉及一種機器人控制系統及方法。

隨著科技的不斷發展，可代替人類工作的機器人被應用在各種領域中。例如，從事製造業的工廠裏，很多工業機器人被應用在生產線。在其他應用領域，如建築業、石油鑽探、礦石開採、水下探索、毒害物質清理、搜救、醫學以及軍事領域等，也經常會使用到機器人。目前，許多的機器人均由控制者使用機器人的專用控制設備，或配戴具備感應功能的特殊裝置，對機器人的動作行為進行控制，這種控制方法需要控制者對專用控制設備進行深入的熟悉，顯得較為繁瑣，不直觀。

鑒於以上內容，有必要提供一種機器人控制系統，應用於主控設備中，該主控設備連接一個深度攝影機，並透過網路與一個機器人通訊連接。該系統包括：影像攝取模組，用於控制深度攝影機持續對控制者進行拍攝，以取得控制者的即時三維影像；關係建立模組，用於根據機器人的N個活動部位，從控制者的一張三維影像中標定出控制者的N個活動部位，然後將該控制者的N個活動部位分別與機器人的N個活動部位建立一一對應的關係；影像分析模組，用於對控制者的即時三維影像進行影像分析，得到所標定的控制者的每個活動部位的移動資料，該移動資料包括控制者每個活動部位的移動方向以及在該移動方向上的移動距離；及控制模組，根據控制者每個活動部位的移動資料，透過網路發送控制指令至機器人，以控制該機器人的每個活動部位執行與控制者相應活動部位相同的動作。

還有必要提供一種機器人控制方法，應用於主控設備中，該主控設備連接一個深度攝影機，並透過網路與一個機器人通訊連接。該方法包括：影像攝取步驟，控制深度攝影機持續對控制者進行拍攝，以取得控制者的即時三維影像；關係建立步驟，根據機器人的N個活動部位，從控制者的一張三維影像中標定出控制者的N個活動部位，然後將該控制者的N個活動部位分別與機器人的N個活動部位建立一一對應的關係；影像分析步驟，對控制者的即時三維影像進行影像分析，得到所標定的控制者的每個活動部位的移動資料，該移動資料包括控制者每個活動部位的移動方向以及在該移動方向上的移動距離；及控制步驟，根據控制者每個活動部位的移動資料，透過網路發送控制指令至機器人，以控制該機器人的每個活動部位執行與控制者相應活動部位相同的動作。

相較於習知技術，實施本發明機器人控制系統及方法，可使控制者能夠以更直覺、方便的方式對機器人進行控制作業。

如圖1所示，係本發明機器人控制系統較佳實施例的運行環境示意圖。該機器人控制系統10安裝在一個主控設備1中。主控設備1與一個深度攝影機2相連接，並透過網路3與機器人M1通訊連接，以與該機器人M1進行即時通訊。所述機器人控制系統10透過該深度攝影機2取得控制者M0的三維即時影像，並分析該三維即時影像以得到控制者M0的移動資料。然後，該機器人控制系統10根據該取得的移動資料透過所述網路3發送控制指令至機器人M1，進而控制機器人M1執行與控制者M0相同的動作。所述網路3可以是有線網路或無線網路。

應當說明的是，所述機器人M1可在所述控制者M0的視力範圍內工作，使得控制者M0能夠根據機器人M1當前所在位置的環境狀況作出恰當的動作，進而對機器人M1進行精確的控制。此外，當機器人M1在控制者M0視力範圍之外的其他遠端位置時，控制者M0可透過其他輔助設備取得機器人M1所在環境的視頻影像資料，根據該視頻影像資料作出恰當的動作，進而對機器人M1進行控制。進一步地，若所述機器人M1具備視覺功能，可由該機器人M1主動取得所述視頻影像資料，並透過網路3回傳給所述主控設備1，以供控制者M0參考。

所述深度攝影機2為一種使用深度感測（depth-sensing）技術的攝影機裝置，透過主動照明對特定場景發射光束，並透過計算反射光束的時間差或相位差來計算該深度攝影機2與場景中物體之間的距離，進而得到一組包括景深資訊的三維影像。該深度攝影機2可以是時間飛行（Time of Flight，TOF）攝影機。

如圖2所示，係所述主控設備1的架構圖。該主控設備1包括記憶體11、處理器12以及所述機器人控制系統10。該機器人控制系統10包括影像攝取模組101、關係建立模組102、影像分析模組103以及控制模組104。該機器人控制系統10可儲存在記憶體11中，並由處理器12控制該機器人控制系統10的執行。在本實施例中，該主控設備1可以是電腦、伺服器或其他具備三維影像處理以及資料傳輸等能力的控制設備。

所述影像攝取模組101用於控制深度攝影機2持續對控制者M0進行拍攝，以取得控制者M0的即時三維影像。該三維影像包括控制者M0身體各部位與深度攝影機2之間的距離資訊。例如圖3所示，係深度攝影機2所拍攝的一張人體三維影像的示意圖，該人體三維影像中包括XY方向上的人體影像畫面，以及Z方向上人體各部位與深度攝影機2之間的距離資訊。

所述關係建立模組102用於根據機器人M1的N個活動部位，如圖4中的S0’、S1’、S2’、S3’、S4’、S5’以及S6’，從控制者M0的一張三維影像中標定出控制者M0的N個活動部位，如圖4中的S0、S1、S2、S3、S4、S5以及S6，然後將該控制者M0的N個活動部位分別與機器人M1的N個活動部位建立一一對應的關係，如S0’與S0對應，S1’與S1對應，以及S6’與S6對應。當機器人M1的活動部位與標定的控制者M0的活動部位建立起一一對應的關係之後，在後續的控制過程中，機器人M1的每個活動部位將根據控制者M0相應的活動部位的動作而執行相對應的動作。此外，關係建立模組102還用於從該三維影像中提取出所標定的控制者M0的每個活動部位的特徵影像，並將該提取出的特徵影像儲存在記憶體11中。

所述影像分析模組103用於對攝取的控制者M0的即時三維影像進行影像分析，得到所標定的控制者M0的每個活動部位的移動資料。該移動資料包括控制者M0每個活動部位的移動方向以及在該移動方向上的移動距離等資料。

具體而言，在本實施例中，該影像分析模組103可將所攝取的控制者M0的當前幀三維影像與前一幀三維影像進行分析，透過比對控制者M0每個活動部位的特徵影像在該兩幀三維影像中的位置資訊（如三維座標資訊）計算出控制者M0每個活動部位的移動方向以及在該移動方向上的移動距離。例如，透過比對所述當前幀以及前一幀三維影像中控制者M0的活動部位S1在圖3所示的座標系XYZ中Z座標方向上的位置資訊，可計算出該活動部位S1前進或後退的距離，以及比對活動部位S1在X和Y座標方向上的位置資訊，可計算出該活動部位S1上下或左右移動的距離。

此外，該影像分析模組103也可與一個仲介分析軟體（例如openNI）建立連接，將所述攝取的即時三維影像輸入該仲介分析軟體，由該仲介分析軟體對該輸入的即時三維影像進行分析，直接得到控制者M0各活動部位的移動資料。所述OpenNI是Open Natural Interaction的縮寫，又稱為開放式自然操作，其提供一個標準的介面，用於對用戶的自然操作（如語音、手勢、身體動作等）進行分析和判斷。

所述控制模組104用於根據控制者M0每個活動部位的移動資料，透過所述網路3發送控制指令至機器人M1，以控制該機器人M1的每個活動部位執行相應的動作。在本實施例中，該控制指令包括控制者M0的每個活動部位的移動資料。當所述機器人M1接收到所述控制指令後，即可透過該機器人M1內含的制動系統根據該控制指令控制機器人M1的各活動部位執行相應的動作。

如圖5所示，係本發明機器人控制方法較佳實施例的流程圖。

步驟S01，所述影像攝取模組101控制深度攝影機2持續對控制者M0進行拍攝，以取得控制者M0的即時三維影像。該三維影像包括控制者M0身體各部位與深度攝影機2之間的距離資訊。

步驟S02，所述關係建立模組102根據機器人M1的N個活動部位，如圖4中的S0’、S1’、S2’、S3’、S4’、S5’以及S6’，從控制者M0的一張三維影像中標定出控制者M0的N個活動部位，如圖4中的S0、S1、S2、S3、S4、S5以及S6，然後將該控制者M0的N個活動部位分別與機器人M1的N個活動部位建立一一對應的關係。進一步地，該關係建立模組102從該三維影像中提取出所標定的控制者M0的每個活動部位的特徵影像，並將該提取出的特徵影像儲存在記憶體11中。

步驟S03，所述影像分析模組103對控制者M0的即時三維影像進行影像分析，得到所標定的控制者M0的每個活動部位的移動資料。該移動資料包括控制者M0每個活動部位的移動方向以及在該移動方向上的移動距離等資料。

步驟S04，所述控制模組104根據控制者M0的每個活動部位的移動資料，透過所述網路3發送控制指令至機器人M1，以控制該機器人M1的每個活動部位執行相應的動作。在本實施例中，該控制指令包括控制者M0每個活動部位的移動資料。當所述機器人M1接收到該控制指令後，即可透過該機器人M1內含的制動系統根據該控制指令控制機器人M1執行與控制者M0相同的動作。

最後應說明的是，以上實施方式僅用以說明本發明的技術方案而非限制，儘管參照較佳實施方式對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

1．．．主控設備

2．．．深度攝影機

3．．．網路

M0．．．控制者

M1．．．機器人

10．．．機器人控制系統

11．．．記憶體

12．．．處理器

101．．．影像攝取模組

102．．．關係建立模組

103．．．影像分析模組

104．．．控制模組

圖1係為本發明機器人控制系統較佳實施例的運行環境示意圖。

圖2係為圖1中主控設備較佳實施例的架構圖。

圖3係為一張人體三維影像的示意圖。

圖4係為本發明較佳實施例中將控制者的運動部位與機器人的運動部位建立對應關係的示意圖。

圖5係為本發明機器人控制方法較佳實施例的流程圖。

1．．．主控設備

10．．．機器人控制系統

11．．．記憶體

12．．．處理器

101．．．影像攝取模組

102．．．關係建立模組

103．．．影像分析模組

104．．．控制模組

Claims (10)

1. 一種機器人控制方法，應用於主控設備中，該主控設備連接一個深度攝影機，並透過網路與一個機器人通訊連接，該方法包括：
   影像攝取步驟，控制深度攝影機持續對控制者進行拍攝，以取得控制者的即時三維影像；
   關係建立步驟，根據機器人的N個活動部位，從控制者的一張三維影像中標定出控制者的N個活動部位，然後將該控制者的N個活動部位分別與機器人的N個活動部位建立一一對應的關係；
   影像分析步驟，對控制者的即時三維影像進行影像分析，得到所標定的控制者的每個活動部位的移動資料，該移動資料包括控制者每個活動部位的移動方向以及在該移動方向上的移動距離；及
   控制步驟，根據控制者每個活動部位的移動資料，透過網路發送控制指令至機器人，以控制該機器人的每個活動部位執行與控制者相應活動部位相同的動作。
2. 如申請專利範圍第1項所述的機器人控制方法，所述關係建立步驟還包括：
   從所述三維影像中提取出所標定的控制者的每個活動部位的特徵影像；及
   將該提取出的特徵影像儲存在主控設備的記憶體中。
3. 如申請專利範圍第2項所述的機器人控制方法，所述影像分析步驟包括：
   將所攝取的控制者當前幀的三維影像與前一幀的三維影像進行分析，透過比對控制者每個活動部位的特徵影像在該兩幀三維影像中的位置資訊計算出所述移動資料。
4. 如申請專利範圍第1項所述的機器人控制方法，所述影像分析步驟包括：
   與一個仲介分析軟體進行連接；及
   將所攝取的即時三維影像輸入該仲介分析軟體，由該仲介分析軟體對該輸入的即時三維影像進行分析，得到控制者各活動部位的移動資料。
5. 如申請專利範圍第1項所述的機器人控制方法，所述控制指令包括所述移動資料，當所述機器人接收到該控制指令後，由該機器人內含的制動系統根據該控制指令控制機器人各活動部位執行與控制者相應活動部位相同的動作。
6. 一種機器人控制系統，應用於主控設備中，該主控設備連接一個深度攝影機，並透過網路與一個機器人通訊連接，該系統包括：
   影像攝取模組，用於控制深度攝影機持續對控制者進行拍攝，以取得控制者的即時三維影像；
   關係建立模組，用於根據機器人的N個活動部位，從控制者的一張三維影像中標定出控制者的N個活動部位，然後將該控制者的N個活動部位分別與機器人的N個活動部位建立一一對應的關係；
   影像分析模組，用於對控制者的即時三維影像進行影像分析，得到所標定的控制者的每個活動部位的移動資料，該移動資料包括控制者每個活動部位的移動方向以及在該移動方向上的移動距離；及
   控制模組，根據控制者每個活動部位的移動資料，透過網路發送控制指令至機器人，以控制該機器人的每個活動部位執行與控制者相應活動部位相同的動作。
7. 如申請專利範圍第6項所述的機器人控制系統，所述關係建立模組還用於從所述三維影像中提取出所標定的控制者的每個活動部位的特徵影像，並將該提取出的特徵影像儲存在主控設備的記憶體中。
8. 如申請專利範圍第7項所述的機器人控制系統，所述影像分析模組透過以下步驟得到所述移動資料：
   將所攝取的控制者當前幀的三維影像與前一幀的三維影像進行分析，透過比對控制者每個活動部位的特徵影像在該兩幀三維影像中的位置資訊計算出所述移動資料。
9. 如申請專利範圍第6項所述的機器人控制系統，所述影像分析模組透過以下步驟得到所述移動資料：
   與一個仲介分析軟體進行連接；及
   將所攝取的即時三維影像輸入該仲介分析軟體，由該仲介分析軟體對該輸入的即時三維影像進行分析，得到控制者各活動部位的移動資料。
10. 如申請專利範圍第6項所述的機器人控制系統，所述控制指令包括所述移動資料，當所述機器人接收到該控制指令後，由該機器人內含的制動系統根據該控制指令控制機器人各活動部位執行與控制者相應活動部位相同的動作。