TWI534756B - 運動編碼影像及生成模組、影像處理模組及運動展示模組 - Google Patents

Description

運動編碼影像及生成模組、影像處理模組及運動展示模組

本發明係關於一種編碼影像，特別關於一種運動編碼影像及其影像處理模組、運動展示模組與生成模組。

雖然三維的人體運動追蹤器已經被開發許久，但是目前人類肢體運動的數位化與典藏大都停留在二維的視訊影像擷取與處理上。至於人體運動的編碼，一般舞蹈藝術訓練的記錄現在仍使用拉曼(Laban)所發明的方法，這是一種使用二維方式紀人體三維的運動，共分五個成分記錄(body,space,effort,shape,and relationship)，問題是針對同一個動作，不同的人會可能有不同的記錄；而且依照相同的記錄由不同的演員來表演禪述，其動作仍有可異之處。

而現今一般人體運動的分析研究則大多為二維串流影像的姿勢特徵辨識，基本上是使用於安全監視與人機界面處理方面。對寶貴的人體三維運動資訊，如雲門舞集的經典創作或太極拳法，無法像音樂的五線譜一樣可以將人體運動予以嚴密的記錄與典藏，進而可以將肢體運動進行較細膩的編修，創作出更完美的動作。亦無法將人體運動擷取後，能直接複製於人形機器人的運動規劃與編輯，使機器人能進行人體的相同動作，從而取代人體勞力，服務人類。

因此，如何提供一種運動編碼影像及其影像處理模組、運動展示模組與生成模組，能夠將人體運動予以嚴密的記錄與典藏，並可將肢體運動進行較細膩的編修，創作出更完美的動作，且能直接複製於機器人或其他多關節系統而使其進行相同動作，實為當前重要課題之一。

有鑑於上述課題，本發明之目的為提供一種能夠將人體運動予以嚴密的記錄與典藏，並可將肢體運動進行較細膩的編修，創作出更完美的動作，且能直接複製於機器人或其他多關節系統而使其進行相同動作之運動編碼影像及其影像處理模組、運動展示模組與生成模組。

為達上述目的，依據本發明之一種運動編碼影像，其係藉由一三維運動擷取裝置針對一多關節系統之運動攝取複數動態影像以得到該多關節系統之複數關節運動資訊，進而對該等關節運動資訊進行編碼之影像。

在一實施例中，運動編碼影像包含複數灰階列，各灰階列對應各關節，各灰階列表示各關節之一運動量隨時間之變化。對各灰階列而言，利用不同灰階值來描述運動量的變化。上述之灰階列亦可更換為彩色列，則可利用不同色度或色彩來描述運動量的變化。運動量可例如為角度。

為達上述目的，本發明亦揭露一種影像處理模組，其係用以處理上述之運動編碼影像，影像處理模組所進行之處理可包含灰階影像補點、影像平滑化、影像濾除、影像擷取、影像編輯以及影像插入之至少一。

為達上述目的，本發明亦揭露一種運動展示模組，其係依據如上所述之影像處理模組所處理而產生之一運動處理影像以及一多關節系統外形資料結構，而產生該多關節系統外形資料結構所對應之該多關節系統之連續三維繪圖資料。亦即，本發明可將一多關節系統之運動狀態完全複製到另一多關節系統，並以連續的三維動態繪圖來呈現。

在一實施例中，運動展示模組，包含一解碼單元、一順向運動學單元以及一三維繪圖展示單元。解碼單元對該運動處理影像(或運動編碼影像)進行解碼並得到複數關節運動資訊。順向運動學單元可藉由順向運動學處理該等關節運動資訊而得到複數特徵點之運動資訊。運動展示模組依據該等特徵點之運動資訊以及該多關節系統外形資料結構而產生該等三維繪圖資料。上述該等特徵點之運動資訊可例如包含該等特徵點(例如配戴標誌體處、或桿件或關節幾何原點)之座標位置與方位角。

為達上述目的，本發明亦揭露一種運動編碼影像之生成模組，其係用以生成如上所述之運動編碼影像，其中三維運動擷取裝置針對多關節系統之運動攝取複數動態影像而得到複數特徵點之運動資訊，該生成模組包含一逆向運動學單元以及一編碼單元。逆向運動學單元藉由逆向運動學並依據該等特徵點之運動資訊以及該多關節系統所對應之一關節資料結構而產生複數關節運動資訊。編碼單元對該等關節運動資訊進行編碼而產生該運動編碼影像。

承上所述，本發明之運動編碼影像係藉由一三維運動擷取裝置針對一多關節系統攝取複數動態影像以得到該多關節系統之複數關節運動資訊，進而對該等關節運動資訊進行編碼之影像。換言之，本發明之運動編碼影像係由編碼過之關節運動資訊所構成，其中，關節運動資訊特別是針對所定義之關節之運動的變化量。藉此，本發明將一多關節系統之運動以影像的方式記錄下來，如同五線譜將音樂記錄下來一樣，進而為多關節系統之運動提供了嚴密的記錄與典藏並定義了記錄格式，也為三維運動力學分析立下堅固的基石。

此外，本發明亦揭露了對運動編碼影像進行影像處理之影像處理模組，其所進行之處理可例如包含灰階影像補點、影像平滑化、影像濾除、影像擷取、影像編輯、影像插入或其他的影像處理方式。由於本發明係將三維運動以編碼影像的方式記錄下來，因此後續之運動處理可利用影像處理的方式來進行，進而簡化了三維運動處理過程與時間，也大大擴展了運動編碼影像的應用範圍及程度，例如可將原本不順暢的動作進行較細膩的編修，而創作出更完美的動作。

此外，本發明亦揭露了將運動編碼影像(或運動處理影像)展示出來之運動展示模組，其可依據上述運動編碼影像以及任一多關節系統外形資料結構，而展示出該多關節系統外形資料結構所對應之該多關節系統之連續三維繪圖資料。換言之，運動展示模組可將原來之多關節系統(例如人體)之運動過程以連續的動態三維繪圖展示出來，或者將其運動過程複製到其他多關節系統(例如機器人、其他人體、或數位化虛擬體)上並以連續的動態影像展示出來。

此外，本發明亦揭露一種運動編碼影像之生成模組，其係藉由逆向運動學並依據特徵點之運動資訊以及多關節系統之一關節資料結構來計算出關節運動資訊，再將該等關節運動資訊進行編碼而產生運動編碼影像。

以下將參照相關圖式，說明依本發明較佳實施例之一種運動編碼影像及其生成模組、影像處理模組、與運動展示模組，其中相同的元件將以相同的參照符號加以說明。

圖1為本發明較佳實施例之一種運動編碼影像I的示意圖，其係藉由一三維運動擷取裝置針對一多關節系統攝取複數動態影像以得到該多關節系統之複數關節運動資訊，進而對該等關節運動資訊進行編碼之影像。其中，多關節系統可為生物體或非生物體，生物體例如為人體、動物等，非生物體例如為機器人或是數位化的虛擬體等。

以下以人體來舉例說明運動編碼影像I。圖2為人體經過一特定模型化所得到之關節資料結構的示意圖。人體的主要分為頭、軀幹、四肢等六大部分，軀幹可分為胸部、腰部、及臀部。若不計手指、腳指及其他較小的運動關節，全身可使用23個連桿來模擬其運動狀態。就其相對運動自由度來說，頭對胸部(即頸關節)有3個旋轉運動及一個平移自由度；軀幹的兩肩甲骨及腰部也各提供4個自由度；兩手臂對肩膀各有3個旋轉自由度，兩腿對臀部也各有3個旋轉自由度。手部的肘及腕關節、腿部的膝及踝關節又各提供2個旋轉自由度，加上手指及腳指旋轉共48個運動自由度來記錄人體每一姿勢的關節參數。圖2中的線段係示意為連桿，圖2中的◎圖案係示意為關節處。圖2所示用以描述人體之模型僅為舉例，並不用以限制本發明。

本發明即可對圖2所示之48個關節參數之運動過程進行編碼而得到如圖1所示之運動編碼影像I。運動編碼影像I可包含複數灰階列，各灰階列對應各關節，各灰階列表示各關節之一運動量隨時間之變化。因此，運動編碼影像I之元素可表示為(x,y)，其中y表示第y個灰階列，對應至其中一關節參數，例如y=1代表第一關節參數，x表示第x個灰階值，其中x與x+1可相距一特定時間，例如1/30秒。運動量可例如為角度值。

總括來說，當一三維運動擷取裝置針對一多關節系統(其模型化例如圖2所示)之運動攝取複數動態影像時，可分析該等動態影像而計算得到該多關節系統之複數關節運動資訊，例如上述之48個關節運動資訊，其中包含隨時間變化之角度值。當該等關節運動資訊編碼之後，即可得到如圖1所示之運動編碼影像(圖1僅列出前29個關節，即y=29)。

若以256個灰階來記錄一個關節，則每一關節以編碼方式記錄其角度需要1byte，則48個關節僅需要48bytes，以即時影像每秒30格論(即三維運動擷取裝置每秒取得30個畫面)，每分鐘只要86.4Kbytes的儲存空間，資料的簡潔度相當驚人。而即使這麼簡潔的資料編碼，仍不失其解析度，因為人體的關節沒有一個可連續旋轉360度。以肘關節來說，一般大約可旋轉150度左右，編碼可依照該關節的最大旋轉角度範圍為比例，以256灰階記錄其實際位置。以肘關節為例，其可解析至0.58(150/256)度左右，以三維觀視來說，眼睛已分不清兩個相鄰位置了。

若生物運動力學分析的要求更高解析度，則可使用兩碼編列一個關節位置，則可編成2¹⁶=65534個位置，可解析到0.00229度，遠超過人體運動分析需求的解析度了。

上述係以灰階值來作為運動編碼影像之元素，而在其他實施例中，亦可使用色度或色彩來作為運動編碼影像之元素，或兩者混合使用。而在此種態樣中，運動編碼影像包含複數彩色列，各彩色列對應各關節，各彩色列表示各關節之一運動量隨時間之變化，運動量可例如為角度。

圖3為本發明較佳實施例之一種運動編碼影像之影像處理模組、運動展示模組與生成模組所整合之方塊示意圖。請參照圖3所示，本發明較佳實施例之一種運動編碼影像之生成模組10係包含一逆向運動學單元11以及一編碼單元12。當三維運動擷取裝置對一多關節系統攝取複數動態影像時，其可得到複數特徵點之運動資訊。圖4顯示以人體為例之多關節系統之特徵點的位置，其特徵點位置係以配戴標誌體(marker)M處為例，當然，特徵點亦可為與標誌體具有固定相對位置之點，例如桿件幾何原點。當人體運動時，標誌體M亦隨之運動，藉由三維運動擷取裝置可擷取標誌體的影像並分析得到該等特徵點之運動資訊，特徵點之運動資訊例如可包含該等特徵點之座標位置與方位角。

逆向運動學單元11可藉由逆向運動學並依據該等特徵點之運動資訊以及該多關節系統所對應之一關節資料結構JD(其例如對應圖2所示之模型)而產生複數關節運動資訊，意即從特徵點之運動資訊再配合關節資料結構，並藉由逆向運動學之計算可得出關節運動資訊，例如關節隨時間變化的角度值。編碼單元12對該等關節運動資訊進行編碼而產生運動編碼影像。由於關節運動資訊以及運動編碼影像已於上詳述，故於此不再贅述。

在生成模組10產生運動編碼影像之後，即可應用影像處理來對運動編碼影像進行後處理，其目的例如是製造更完美的運動影像、或創製其他的運動影像等等。其中，影像處理模組20所進行之處理可包含灰階影像補點、影像平滑化、影像濾除、影像擷取、影像編輯、影像插入或其他影像處理方法之至少一。其中，灰階影像補點、平滑化、影像濾除等功能係可偵測並濾除不合理的運動時段，並使用連續性函數填補被濾除區域，使運動順滑地聯接起來。本發明亦可依據運動編碼影像而產生新的運動編碼影像，例如是抽取幾個特選的運動時段，且各時段之間由影像計算來填補而重新組成；或甚至直接編輯或編排各關節的運動，創造全新的人體動作。運動編碼影像I經影像處理之後即成為運動處理影像I'。

如圖3所示，本發明較佳實施例之一種運動展示模組30可依據上述之運動處理影像I'以及一多關節系統外形資料結構，而產生該多關節系統外形資料結構所對應之該多關節系統之連續三維繪圖資料。所謂多關節系統外形資料結構即描述一多關節系統，例如人體之外形的資料結構，其可例如藉由對人體進行三維掃描而得到空間雲點資料，再對該等空間雲點資料進行定義(例如依據人體桿件分割與定位)而產生。另外，多關節系統外形資料結構除了可對應人體之外，亦可為機器人或虛擬之外形資料結構。

本實施例之運動展示模組30包含一解碼單元31、一順向運動學單元32以及一三維繪圖展示單元33。解碼單元31對運動處理影像I'進行解碼並得到複數關節運動資訊。順向運動學單元32可藉由順向運動學處理該等關節運動資訊而得到複數特徵點之運動資訊，於此，順向運動學單元32係依據該等關節運動資訊以及多關節系統所對應之一關節資料結構JD而產生該等特徵點之運動資訊。三維繪圖展示單元33依據該等特徵點之運動資訊以及該多關節系統外形資料結構而產生該三維繪圖資料，並將其展示於螢幕畫面上。由於關節運動資訊以及特徵點之運動資訊已於上詳述，故於此不再贅述。

當三維繪圖展示單元33依據不同的多關節系統外形資料結構來進行運算時，即可將特徵點之運動資訊套在不同的多關節系統而產生對應的動態三維繪圖。並且運動重現的方式可快、慢動作，前進、後退，步進或步退；並且可隨時暫停並放大、縮小、轉換角度反覆觀視運動中任一時序的運動姿勢。

本發明具有下列特徵：

1、結合多關節系統外形資料結構與運動編碼影像來展現栩栩如生的運動。並且運動編碼影像與多關節系統外形資料結構完全獨立，亦即可使用某甲的身體來表演某乙所做的運動，也可使用人形機器人來表演真人的運動，可讓機器人進入危險區域替代人體執行重要工作，如核能場災變處理等。

2、運動編碼影像(或運動處理影像)有如音樂的五線譜一樣，利用編碼影像儲存人體關節運動角度，可以即時觀察運動的順滑性，並可依據影像處理技術濾除不合理的運動，因此可編輯修改、甚至創作複雜的人體運動。

另外，圖5顯示應用本發明之生成模組所產生之運動編碼影像以及應用本發明之運動展示模組所展示之三維繪圖資料顯示於螢幕上的影像。圖6顯示應用本發明之影像處理模組將圖5之運動編碼影像經過影像處理(例如灰階影像濾除、影像補點、影像平滑化)之運動編碼影像以及應用本發明之運動展示模組對該運動處理影像所展示之三維繪圖資料顯示於螢幕上的影像。由圖5之三維繪圖資料可知，人形之左腳明顯不符實際情況，且運動編碼影像也對應地在各灰階列中有許多突出的畫素。而在經過影像處理後，由圖6可知，人形之左腳已修正為實際情況，且運動處理影像也對應地在各灰階列中減少突出的畫素。

綜上所述，本發明之運動編碼影像係藉由一三維運動擷取裝置針對一多關節系統攝取複數動態影像以得到該多關節系統之複數關節運動資訊，進而對該等關節運動資訊進行編碼之影像。換言之，本發明之運動編碼影像係由編碼過之關節運動資訊所構成，其中，關節運動資訊特別是針對所定義之關節之運動的變化量。藉此，本發明將一多關節系統之運動以影像的方式記錄下來，如同五線譜將音樂記錄下來一樣，進而為多關節系統之運動提供了嚴密的記錄與典藏並定義了記錄格式，也為三維運動力學分析立下堅固的基石。

此外，本發明亦揭露了對運動編碼影像進行影像處理之影像處理模組，其所進行之處理可例如包含灰階影像補點、影像平滑化、影像濾除、影像擷取、影像編輯、影像插入或其他的影像處理方式。由於本發明係將三維運動以編碼影像的方式記錄下來，因此後處理可利用影像處理的方式來進行，進而簡化了處理過程與時間，也大大擴展了運動編碼影像的應用範圍及程度，例如可將原本不順暢的動作進行較細膩的編修，而創作出更完美的動作。

此外，本發明亦揭露了將運動編碼影像(或運動處理影像)展示出來之動態運動展示模組，其可依據上述影像以及任一多關節系統外形資料結構，而展示出該多關節系統外形資料結構所對應之該多關節系統之連續三維繪圖資料。換言之，動態運動展示模組可將原來之多關節系統(例如人體)之運動過程以連續的動態三維繪圖展示出來，或者將其運動過程複製到其他多關節系統(例如機器人、其他人體、或數位化虛擬體)上並以連續的動態三維繪圖展示出來。

此外，本發明亦揭露一種運動編碼影像之生成模組，其係藉由逆向運動學並依據特徵點之運動資訊以及多關節系統之一關節資料結構來計算出關節運動資訊，再將該等關節運動資訊進行編碼而產生運動編碼影像。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

10．．．生成模組

11．．．逆向運動學單元

12．．．編碼單元

20．．．影像處理模組

30．．．運動展示模組

31．．．解碼單元

32．．．順向運動學單元

33．．．三維繪圖展示單元

I．．．運動編碼影像

I'．．．運動處理影像

JD．．．關節資料結構

M．．．標誌體

圖1為本發明較佳實施例之一種運動編碼影像的示意圖；

圖2為人體經過一特定模型化所得到之關節資料結構的示意圖；

圖3為本發明較佳實施例之一種運動編碼影像之影像處理模組、運動展示模組與生成模組整合之方塊示意圖；

圖4顯示以人體為例之多關節系統之特徵點的位置；

圖5顯示應用本發明之生成模組所產生之運動編碼影像以及應用本發明之運動展示模組所展示之三維繪圖資料顯示於螢幕上的影像；以及

圖6顯示應用本發明之影像處理模組將圖5之運動編碼影像經過影像處理之運動處理影像以及應用本發明之運動展示模組對該運動處理影像所展示之三維繪圖資料顯示於螢幕上的影像。

I．．．運動編碼影像

Claims (10)

1. 一種運動編碼影像，其係藉由一三維運動擷取裝置針對一多關節系統之運動攝取複數動態影像、分析該等動態影像，藉由該等關節運動資訊而得到複數個特徵點之運動資訊並配合一關節資料結構，以得到該多關節系統之複數關節運動資訊，對該等關節運動資訊進行編碼並得到該運動編碼影像，其中，該等關節運動資訊係關節之運動的變化量，該等特徵點之運動資訊包含該等特徵點之座標位置與方位角。
2. 如申請專利範圍第1項所述之運動編碼影像，其包含複數灰階列，各灰階列對應各關節，各灰階列表示各關節之一運動量隨時間之變化。
3. 如申請專利範圍第1項所述之運動編碼影像，其包含複數彩色列，各彩色列對應各關節，各彩色列表示各關節之一運動量隨時間之變化。
4. 如申請專利範圍第2項所述之運動編碼影像，其中該運動量為角度。
5. 如申請專利範圍第3項所述之運動編碼影像，其中該運動量為角度。
6. 一種影像處理模組，其係用以處理如申請專利範圍第1項至第5項任一項所述之運動編碼影像，其中該影像處理模組所進行之處理包含灰階影像補點、影像平滑化、影像濾除、影像擷取、影像編輯以及影像插入之 至少一。
7. 一種運動展示模組，其係依據如申請專利範圍第6項所述之影像處理模組所處理而產生之一運動處理影像以及一多關節系統外形資料結構，而產生該多關節系統外形資料結構所對應之該多關節系統之一三維繪圖資料。
8. 如申請專利範圍第7項所述之運動展示模組，包含：一解碼單元，對該運動處理影像進行解碼並得到複數關節運動資訊；一順向運動學單元，藉由順向運動學處理該等關節運動資訊而得到複數特徵點之運動資訊；以及一三維繪圖展示單元，依據該等特徵點之運動資訊以及該多關節系統外形資料結構而產生該三維繪圖資料。
9. 如申請專利範圍第8項所述之運動展示模組，其中該等特徵點之運動資訊包含該等特徵點之位置與方位角。
10. 一種運動編碼影像之生成模組，其係用以生成如申請專利範圍第1項至第5項任一項所述之運動編碼影像，其中該三維運動擷取裝置針對該多關節系統攝取複數動態影像而得到複數特徵點之運動資訊，該生成模組包含：一逆向運動學單元，藉由逆向運動學並依據該等特徵點之運動資訊以及該多關節系統所對應之一關節 資料結構而產生複數關節運動資訊；以及一編碼單元，對該等關節運動資訊進行編碼而產生該運動編碼影像。