TWM641347U - 利用機械手臂模擬人體姿態的系統 - Google Patents

Abstract

一種利用機械手臂模擬人體姿態的系統，該系統包括一標定模組、一姿態擷取模組、一映射模組及一模擬模組。藉由將虛擬中的空間關係套用在人體上，並在虛擬中記錄人體的擺動的位置，再將三維空間中人體的座標加以轉換，而成為機械手臂的路徑。

Description

利用機械手臂模擬人體姿態的系統

本創作係關於一種模擬人體姿態的系統，特別是關於一種利用機械手臂模擬人體姿態的系統。

機械手臂又稱為機器人，是一種廣泛應用在工業製造的機器。近年來已經進入例如外太空、海底、醫療、軍事、農業、保全、服務業、休閒娛樂，甚至日常生活等等各種領域。

擬人機器人通常是指高度模擬人類行為，甚至生理現象的人形機器人。但是，擬人機器人的控制，應用在工業機器人，已經成為一種新興的控制方法。理論上，如果可以使機械手臂或手指以近似於人類手臂或手指的運動方式運動，將可以執行更為精細的工作。因此，各種控制或訓練機械手臂或手指模仿人類手臂或手指運動的技術，乃應運而生。

現有的機械手臂控制技術已經可以根據人類的姿勢或動作做出相同的姿勢或動作。但已知技術主要是根據光學影像辨認技術，分析人類的姿勢或動作。受限於光學感測技術基本上屬於二維的感測技術，所能偵測到的人類姿勢或動作，難以達到準確。另外，使用其他型態的感測器雖然可以提高偵測的正確性，但需要在人類手臂等處裝置多數感測器。辨認時或控制時必須計算多數感測器的參數，不僅造成過多的資料計算的負載，也相對降低其運算的效能。

另一方面，在機械手臂的應用與科技藝術的多元發展下，未來機械手臂的控制方式不應只限於工程師寫程式的方式來進行操作，而是發展為更具人性化的方式來控制。因此在「人機共舞」的發展的主軸下，我們去思考如何將人體動作做為機械手臂的運動姿態。

因此，為克服現有技術中的缺點和不足，本創作有必要提供改良的一種利用機械手臂模擬人體姿態的系統，以解決上述習用技術所存在的問題。

本創作之主要目之主要目的在於提供一種利用機械手臂模擬人體姿態的系統，透過將虛擬中的空間關係套用在人體上，並在虛擬中記錄人體的擺動的位置，再將三維空間中人體的座標加以轉換，最終成為機械手臂的路徑。

為達上述之目的，本創作提供一種利用機械手臂模擬人體姿態的系統，該系統包括一標定模組、一姿態擷取模組、一映射模組及一模擬模組；該標定模組配置為從一人體的至少一部位標定多個座標點，其中在該等座標點之間定義多條骨架線，該等骨架線重疊在對應的座標點上；該姿態擷取模組耦合該標定模組，該姿態擷取模組配置為對該人體的該等骨架線的擺動進行一影像的偵測，並且依據該影像獲得該等骨架線的移動軌跡以及形成在該等骨架線之間的至少一動態夾角；該映射模組耦合該姿態擷取模組，將一機械手臂定義多個移動腕部，其中該等移動腕部連接在一起，而且該等移動腕部之間形成至少一移動夾角，該映射模組配置為將該等骨架線之間的動態夾角映射至該等移動腕部之間的移動夾角，使得該等骨架線與該等移動腕部形成連動；該模擬模組耦合該映射模組，該模擬模組配置為依據該等骨架線的移動軌跡以及該等骨架線之間的動態夾角來驅動該機械手臂的移動腕部進行動作。

在本創作之一實施例中，該姿態擷取模組配置為依照一特定速率擷取在不同時間下該人體的部位多個座標點。

在本創作之一實施例中，該姿態擷取模組耦合一計時器，該計時器配置位設定該影像的影格速率，以調整該等骨架線的移動軌跡的速度。

在本創作之一實施例中，該系統另包含一軌跡改善模組，該映射模組經該軌跡改善模組耦合該姿態擷取模組，該軌跡改善模組配置為分析該等骨架線的移動軌跡，接著過濾突兀或位置錯位的移動軌跡並進行重建，使得該等骨架線的移動軌跡呈平滑連續曲線。

在本創作之一實施例中，該系統另包含一路徑確認模組，該模擬模組經該路徑確認模組耦合該映射模組，該路徑確認模組配置為透過該等骨架線的移動軌跡來判斷該機械手臂的移動腕部的一預測路徑，並且在該預測路徑超出該機械手臂的移動腕部的一移動路徑時產生警示。

在本創作之一實施例中，該姿態擷取模組為一操作手把、一定位器或一影像辨識器。

在本創作之一實施例中，該模擬模組配置為將該機械手臂的移動腕部與對應的該等骨架線是同步動作或非同步動作。

在本創作之一實施例中，該標定模組配置為從該人體的頭部、軀體、四肢、手部及腳部獲得多個座標點，並且在該頭部定義多條頭部骨架線，在該軀體定義多條軀體骨架線，在該四肢定義多條四肢骨架線，在該手部定義多條手部骨架線及在該腳部定義多條腳部骨架線。

在本創作之一實施例中，該標定模組配置為從該人體的手掌獲得多個座標點，並且在該手掌定義多條手掌骨架線。

如上所述，本創作利用機械手臂模擬人體姿態的系統可做為使用者與電腦互相溝通的橋樑，其中該系統與現實生活中一樣擁有著空間與空間的相對關係，我們將虛擬中的空間關係套用在人體上，並在虛擬中記錄人體的擺動的位置，再將三維空間中人體的座標加以轉換，最終成為機械手臂的路徑。透過此類方式讓機械手臂的路徑以教導的方式完成，打破傳統需專業程式背景的人來操作的印象，甚至直接藉由舞者的舞姿來教導機械手臂，讓機械手臂可以做出同樣具有舞蹈經驗的動作。

為了讓本創作之上述及其他目的、特徵、優點能更明顯易懂，下文將特舉本創作較佳實施例，並配合所附圖式，作詳細說明如下。再者，本創作所提到的方向用語，例如上、下、頂、底、前、後、左、右、內、外、側面、周圍、中央、水平、橫向、垂直、縱向、軸向、徑向、最上層或最下層等，僅是參考附加圖式的方向。因此，使用的方向用語是用以說明及理解本創作，而非用以限制本創作。

請參照圖1所示，為本創作一實施例的利用機械手臂模擬人體姿態的系統，該利用機械手臂模擬人體姿態的系統包括一標定模組2、一姿態擷取模組3、一映射模組4、一模擬模組5、一軌跡改善模組6及一路徑確認模組7。本創作將於下文詳細說明各元件的細部構造、組裝關係及其運作原理。

請參照圖1、圖2及圖3所示，該標定模組2配置為從一人體B的至少一部位標定多個座標點P，其中在該等座標點P之間定義多條骨架線L，該等骨架線L重疊在對應的座標點P上。在本實施例中，該標定模組2可以從該人體B的頭部、軀體、四肢、手部及腳部獲得多個座標點P，並且在該頭部定義多條頭部骨架線L，在該軀體定義多條軀體骨架線L，在該四肢定義多條四肢骨架線L，在該手部定義多條手部骨架線L及在該腳部定義多條腳部骨架線L。

具體而言，該標定模組2藉由機器視覺中的骨架辨識技術，透過影像將舞者的骨架姿態辨識出來，並且輸出三維座標點，供後續分析與舞者姿態，舞者只需錄製舞蹈過程，及可以將影像輸入並且進行骨架辨識處理，並導出肢體多個部位的座標點，例如33個座標點（如圖2所示）。

另外，如圖5所示，該標定模組2也可以從該人體B的手掌獲得多個座標點P，並且在該手掌定義多條手掌骨架線L。進一步來說，透過拍攝該人體B的手掌，同步辨識出當下的姿態，並根據舞蹈需求去設定抓取點位以及骨架間的空間夾角，以過數據正規化的方式將數值重新依比例調整到手臂關節可移動的角度內，即時控制機器手臂，當舞者將手舉起到一個角度，機器手臂也會同步執行到同樣的角度，達到人機同步共舞的效果。

續參照圖1、圖2及圖3所示，該姿態擷取模組3耦合該標定模組2，而且該姿態擷取模組3配置為對該人體B的該等骨架線L的擺動進行一影像的偵測，並且依據該影像獲得該等骨架線L的移動軌跡以及形成在該等骨架線L之間的至少一動態夾角，在本實施例中，該人體B的該等骨架線L對應形成有多個動態夾角A1、A2、A3、A4、A5以及A6（見圖3）。

進一步來說，該姿態擷取模組3依照一特定速率擷取在不同時間下該人體B的部位多個座標點P，而且利用一計時器C設定該影像的影格速率，以調整該等骨架線L的移動軌跡的速度。在本實施例中，該姿態擷取模組3為一操作手把、一定位器或一影像辨識器。

請參照圖1、圖3及圖4所示，該映射模組4經該軌跡改善模組6耦合該姿態擷取模組3，其中將一機械手臂R定義多個移動腕部Q，其中該等移動腕部Q連接在一起，例如，三個區段的移動腕部Q依序連接在一起，而且該等移動腕部Q之間形成至少一移動夾角，在本實施例中，該機械手臂R為多軸式機械手臂，而且該機械手臂R的該等移動腕部Q對應形成有多個移動夾角J1、J2、J3、J4、J5以及J6（見圖4），該等移動夾角J1、J2、J3、J4、J5以及J6分別與該等動態夾角A1、A2、A3、A4、A5以及A6相對應。

進一步來說，該映射模組4配置為將該等骨架線L之間的動態夾角A1、A2、A3、A4、A5以及A6映射至該等移動腕部Q之間的移動夾角J1、J2、J3、J4、J5以及J6，使得該等骨架線L與該等移動腕部Q形成連動。

續參照圖1、圖3及圖4所示，該模擬模組5經該路徑確認模組7耦合該映射模組4，該模擬模組5配置為依據該等骨架線L的移動軌跡以及該等骨架線L之間的動態夾角A來驅動該機械手臂R的移動腕部Q進行動作。在本實施例中，該機械手臂R的移動腕部Q與對應的該等骨架線L可以是同步動作，也可以是非同步動作。

進一步來說，同步動作及非同步動作分別為鏡像型與教導型，其中人機共舞教導型流程主要是先記錄下舞者的動作再將其資訊轉換為機器手臂的動作，讓機械手臂的動作路徑以舞者「教導」的方式完成，由舞者教導動作後，透過姿態感知以及資料處理和轉譯後，讓機器手臂可以執行相似於舞蹈的動作，是一種非同步的控制方式。而人機共舞鏡像型流程則是運用機器視覺即時偵測舞者的動作，並將特定關節資訊轉換為機械手臂的關節動作，以達到如「鏡射」控制方法，讓機器手臂可以同步與舞者進行共舞。

請參照圖1、圖2及圖3所示，該軌跡改善模組6配置為分析該等骨架線L的移動軌跡，接著過濾突兀或位置錯位的移動軌跡並進行重建，使得該等骨架線L的移動軌跡呈平滑連續曲線。

續參照圖1、圖2及圖3所示，該路徑確認模組7配置為透過該等骨架線L的移動軌跡來判斷該機械手臂R的移動腕部Q的一預測路徑，並且在該預測路徑超出該機械手臂R的移動腕部Q的一移動路徑時產生警示。

要說明的是，正向運動學是一種應用在該機械手臂R的運動方式，指採用該機械手臂R各關節的參數值去計算工具頭所會運型的座標平面位置，也就是利用直接給予多個個關節要運行到的角度來控制該機械手臂R，其優點為可以避免掉手臂遇到奇異點後發生不預期動作的問題，並且關節的旋轉也與舞者肢體動作骨架間的旋轉擺動更為符合，是一種轉譯資料為機器手臂動作的運動方式。

依據上述的結構，本創作利用機械手臂模擬人體姿態的系統可做為使用者與電腦互相溝通的橋樑，其中該系統與現實生活中一樣擁有著空間與空間的相對關係，我們將虛擬中的空間關係套用在人體上，並在虛擬中記錄人體的擺動的位置，再將三維空間中人體的座標加以轉換，最終成為機械手臂的路徑。透過此類方式讓機械手臂的路徑以教導的方式完成，打破傳統需專業程式背景的人來操作的印象，甚至直接藉由舞者的舞姿來教導機械手臂，讓機械手臂可以做出同樣具有舞蹈經驗的動作。

請參照圖6所示，為依據本創作上述實施例利用機械手臂模擬人體姿態的系統所實施的方法，該方法包括一標定步驟S201、一姿態感知步驟S202、一軌跡改善步驟S203、一映射步驟S204、一路徑確認步驟S205及一模擬步驟S206。本創作將於下文詳細說明各步驟的關係及其運作原理。

請參照圖1、圖2及圖3所示，在圖6的該標定步驟S201中，利用一標定模組2從一人體B的至少一部位標定多個座標點P，其中在該等座標點P之間定義多條骨架線L，該等骨架線L重疊在對應的座標點P上。在本實施例中，該標定模組2可以從該人體B的頭部、軀體、四肢、手部及腳部獲得多個座標點P，並且在該頭部定義多條頭部骨架線L，在該軀體定義多條軀體骨架線L，在該四肢定義多條四肢骨架線L，在該手部定義多條手部骨架線L及在該腳部定義多條腳部骨架線L。另外，如圖5所示，該標定模組2也可以從該人體B的手掌獲得多個座標點P，並且在該手掌定義多條手掌骨架線L。

續參照圖1、圖2及圖3所示，在圖6的該姿態感知步驟S202中，利用一姿態擷取模組3對該人體B的該等骨架線L的擺動進行一影像的偵測，並且依據該影像獲得該等骨架線L的移動軌跡以及形成在該等骨架線L之間的至少一動態夾角，在本實施例中，該人體B的該等骨架線L對應形成有多個動態夾角A1、A2、A3、A4、A5以及A6（見圖3）。

具體而言，在該姿態感知步驟S202中，利用 VR（Virtual Reality）定位技術或是機器視覺中的骨架辨識技術， 將舞者在進行舞蹈時，將舞者手腳的揮動或是軀幹的位移，甚至頭的轉向等肢體 動作記錄下來，以作為後續更進一步創作科技藝術的素材。

進一步來說，該姿態擷取模組3依照一特定速率擷取在不同時間下該人體B的部位多個座標點P，而且利用一計時器C設定該影像的影格速率，以調整該等骨架線L的移動軌跡的速度。在本實施例中，該姿態擷取模組3為一操作手把、一定位器或一影像辨識器，其中以VR操作手把、VR定位器以及利用影像辨識器的骨架辨識技術將舞蹈中的肢體動作在 虛擬世界中重現的目標，達到創作上的直覺性，舞者不需要具有相關科技技術的能力，也可以與機器手臂共舞等的科技藝術創作。

請參照圖1、圖2及圖3所示，在圖6的該軌跡改善步驟S203中，利用一軌跡改善模組6分析該等骨架線L的移動軌跡，接著過濾突兀或位置錯位的移動軌跡並進行重建，使得該等骨架線L的移動軌跡呈平滑連續曲線。

請參照圖1、圖3及圖4所示，在圖6的該映射步驟S204中，將一機械手臂R定義多個移動腕部Q，其中該等移動腕部Q連接在一起，而且該等移動腕部Q之間形成至少一移動夾角，在本實施例中，該機械手臂R為多軸式機械手臂，而且該機械手臂R的該等移動腕部Q對應形成有多個移動夾角J1、J2、J3、J4、J5以及J6（見圖4），該等移動夾角J1、J2、J3、J4、J5以及J6分別與該等動態夾角A1、A2、A3、A4、A5以及A6相對應。利用一映射模組4將該等骨架線L之間的動態夾角A1、A2、A3、A4、A5以及A6映射至該等移動腕部Q之間的移動夾角J1、J2、J3、J4、J5以及J6，使得該等骨架線L與該等移動腕部Q形成連動。

請參照圖1、圖2及圖3所示，在圖6的該路徑確認步驟S205中，利用一路徑確認模組7透過該等骨架線L的移動軌跡來判斷該機械手臂R的移動腕部Q的一預測路徑，並且在該預測路徑超出該機械手臂R的移動腕部Q的一移動路徑時產生警示。

續參照圖1、圖3及圖4所示，在圖6的該模擬步驟S206中，利用一模擬模組5依據該等骨架線L的移動軌跡以及該等骨架線L之間的動態夾角A來驅動該機械手臂R的移動腕部Q進行動作。在本實施例中，該機械手臂R的移動腕部Q與對應的該等骨架線L可以是同步動作，也可以是非同步動作。

如上所述，本創作利用機械手臂模擬人體姿態的系統可做為使用者與電腦互相溝通的橋樑，其中該系統與現實生活中一樣擁有著空間與空間的相對關係，我們將虛擬中的空間關係套用在人體上，並在虛擬中記錄人體的擺動的位置，再將三維空間中人體的座標加以轉換，最終成為機械手臂的路徑。透過此類方式讓機械手臂的路徑以教導的方式完成，打破傳統需專業程式背景的人來操作的印象，甚至直接藉由舞者的舞姿來教導機械手臂，讓機械手臂可以做出同樣具有舞蹈經驗的動作。

雖然本創作已以較佳實施例揭露，然其並非用以限制本創作，任何熟習此項技藝之人士，在不脫離本創作之精神和範圍內，當可作各種更動與修飾，因此本創作之保護範圍當視後附之申請專利範圍所界定者為準。

2:標定模組 3:姿態擷取模組 4:映射模組 5:模擬模組 6:軌跡改善模組 7:路徑確認模組 B:人體 P:座標點 L:骨架線 A、A1、A2、A3、A4、A5、A6:動態夾角 R:機械手臂 Q:移動腕部 J1、J2、J3、J4、J5、J6:移動夾角 C:計時器 S201:標定步驟 S202:姿態感知步驟 S203:軌跡改善步驟 S204:映射步驟 S205:路徑確認步驟 S206:模擬步驟

圖1是依據本創作實施例的一種利用機械手臂模擬人體姿態的系統的示意圖。 圖2是依據本創作實施例的一種利用機械手臂模擬人體姿態的系統透過機器視覺中的骨架辨識技術標示人體的座標點的示意圖。 圖3是依據本創作實施例的一種利用機械手臂模擬人體姿態的系統標示人體的座標點的另一示意圖。 圖4是依據本創作實施例的一種利用機械手臂模擬人體姿態的系統的機械手臂的示意圖。 圖5是依據本創作實施例的一種利用機械手臂模擬人體姿態的系統的標示手掌的座標點的示意圖。 圖6是依據本創作實施例的一種利用機械手臂模擬人體姿態的系統所實施的方法的流程圖。

2:標定模組

3:姿態擷取模組

4:映射模組

5:模擬模組

6:軌跡改善模組

7:路徑確認模組

C:計時器

Claims (9)

1. 一種利用機械手臂模擬人體姿態的系統，包括： 一標定模組，配置為從一人體的至少一部位標定多個座標點，其中在該等座標點之間定義多條骨架線，該等骨架線重疊在對應的座標點上； 一姿態擷取模組，耦合該標定模組，該姿態擷取模組配置為對該人體的該等骨架線的擺動進行一影像的偵測，並且依據該影像獲得該等骨架線的移動軌跡以及形成在該等骨架線之間的至少一動態夾角； 一映射模組，耦合該姿態擷取模組，將一機械手臂定義多個移動腕部，其中該等移動腕部連接在一起，而且該等移動腕部之間形成至少一移動夾角，該映射模組配置為將該等骨架線之間的動態夾角映射至該等移動腕部之間的移動夾角，使得該等骨架線與該等移動腕部形成連動；及 一模擬模組，耦合該映射模組，該模擬模組配置為依據該等骨架線的移動軌跡以及該等骨架線之間的動態夾角來驅動該機械手臂的移動腕部進行動作。
2. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該姿態擷取模組配置為依照一特定速率擷取在不同時間下該人體的部位多個座標點。
3. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該姿態擷取模組耦合一計時器，該計時器配置位設定該影像的影格速率，以調整該等骨架線的移動軌跡的速度。
4. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該系統另包含一軌跡改善模組，該映射模組經該軌跡改善模組耦合該姿態擷取模組，該軌跡改善模組配置為分析該等骨架線的移動軌跡，接著過濾突兀或位置錯位的移動軌跡並進行重建，使得該等骨架線的移動軌跡呈平滑連續曲線。
5. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該系統另包含一路徑確認模組，該模擬模組經該路徑確認模組耦合該映射模組，該路徑確認模組配置為透過該等骨架線的移動軌跡來判斷該機械手臂的移動腕部的一預測路徑，並且在該預測路徑超出該機械手臂的移動腕部的一移動路徑時產生警示。
6. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該姿態擷取模組為一操作手把、一定位器或一影像辨識器。
7. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該模擬模組配置為將該機械手臂的移動腕部與對應的該等骨架線是同步動作或非同步動作。
8. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該標定模組配置為從該人體的頭部、軀體、四肢、手部及腳部獲得多個座標點，並且在該頭部定義多條頭部骨架線，在該軀體定義多條軀體骨架線，在該四肢定義多條四肢骨架線，在該手部定義多條手部骨架線及在該腳部定義多條腳部骨架線。
9. 如請求項1所述之利用機械手臂模擬人體姿態的系統，其中該標定模組配置為從該人體的手掌獲得多個座標點，並且在該手掌定義多條手掌骨架線。

Images