TWI599389B - 結合人體手勢辨識及骨架追蹤之虛擬人物控制系統 - Google Patents

Description

結合人體手勢辨識及骨架追蹤之虛擬人物控制系統

本發明係一種關於應用在影像畫面中的虛擬人物控制系統，尤其是一種關於結合深度影像擷取、移動控制裝置及擷取肌電訊號以偵測細部手勢變化的結合人體手勢辨識及骨架追蹤之虛擬人物控制系統。

傳統的虛擬人物操作方式，最易令人聯想到的則是遊戲的控制，使用者藉由遊戲控制畫面中的虛擬人物，藉由輸入各種不同的操作指令，對虛擬人物做動作的控制，例如請參照本發明第一A圖及第一B圖所示，如滑鼠12、鍵盤14及遊戲的控制器16等輸入裝置，使用者可藉由滑鼠12及鍵盤14進行輸入指令，則可經電腦18控制，以將遊戲顯示於電腦18的螢幕182中，好讓使用者控制遊戲中的虛擬人物；或是，經由遊戲的控制器16進行輸入指令，遊戲的控制器16可連接於電腦18或是另外連接遊戲的主機20，使用者可以透過電腦18的螢幕182或電視22顯示遊戲畫面，並控制裡面的虛擬人物作動。

伴隨著科技的顯著進步，逐漸有新的輸入裝置可以取代傳統的滑鼠、鍵盤及遊戲的控制器，更為遊戲中的虛擬人物操控帶來創新的操作方法及樂趣。例如：美國微軟（Microsoft）公司所開發之Kinect，其係可應用於Xbox 360和Xbox One主機的周邊設備，好讓使用者不需要手持控制器或踩踏其它遊戲裝置，而是利用語音指令或是手勢操作Xbox 360和Xbox One的遊戲介面，並可透過深度攝影機偵測使用者全身上下的動作，藉由使用者的身體動作變化以控制遊戲中的虛擬人物。或是如日本任天堂株式會社（Nintendo Co., Ltd.）所開發的Wii，其係使用陀螺儀感測器以操作遊戲，並可控制遊戲中虛擬人物的動作，Wii可相容任天堂株式會社傳統的遊戲控制器，如遊戲手把或方向盤等，以進行遊戲的操作及虛擬人物的控制。

近幾年來，虛擬實境技術更是快速崛起，及可被應用在電玩遊戲中，以至於電玩遊戲產業不時會有數款與虛擬實境技術有關的新遊戲推出，各種應用虛擬實境的眼鏡也因此產生轟動話題，但是在人機互動上，多數控制虛擬人物的方式仍以鍵盤及滑鼠為主要的輸入裝置，導致使用者無法達到理想的沉浸感（Immersion）。例如，許多內容風格迥異的遊戲，但遊戲的操作機制仍屬於幾種方式，僅給予使用者視覺上的改變，而最新的Kinect即便可以藉由使用者身體變化，意即骨架追蹤或手勢辨識來操作遊戲並控制遊戲中的虛擬人物，使用者可以透過不同的身體律動或是手勢變化進行虛擬人物的操控。但，Kinect的手勢辨識係採用骨架追蹤技術，藉由散斑作持續追蹤，以人體移動造成的散斑改變而計算出人體的位置、推算關節，進而建立人體的骨架，但使用者手指的彎曲很容易造成光線的死角，Kinect晶片的運算能力提供的散斑解析度亦有限，導致手勢辨識只能在手距離Kinect的鏡頭很近，才可以有很高的辨識度，不過，若要能辨識人體的半身或是全身的骨架，使用者又必須距離Kinect鏡頭一定的距離位置，因此限制了Kinect在骨架追蹤及手勢辨識的配合運用。另外，在進行複雜的遊戲中，使用者於操作上仍需記住許多不同的特殊動作或手勢姿勢，才能進行更複雜的遊戲，然而太高難度的動作容易造成使用者操作不靈活或無法直覺反應動作。或是，為了將體感操作變成更加直覺化或簡易，又容易步入習知的數種相似風格操作的遊戲中，以犧牲了使用者於遊戲中的樂趣，以及更加重要的是減少了遊戲的耐玩度，若此一操作方式無法讓使用者滿足及喜愛，廠商更不容易獲得更高族群的消費市場，遊戲的推出則會受到限制。

因此，本發明在針對上述之困擾，提供一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，以簡易的操作達成複雜的動作。

本發明之主要目的係在提供一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，藉由結合影像擷取裝置、移動控制裝置及肌電訊號擷取裝置，以進行遊戲中虛擬人物的控制，經由人體各種不同的動作及輸入指令操作改變各種不同輸入訊號，藉此可對虛擬人物的移動、大動作及細部動作進行操控，讓使用者可以簡易輕鬆的掌控如遊戲畫面中的虛擬人物。

本發明之另一目的係在提供一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，藉由偵測人體上肢如雙手的肌電訊號，分析其中的第二頻率訊號以掌控使用者每一次動作的改變時機，再經由肌電訊號中的第一頻率訊號以得知使用者的不同手勢動作，因此，藉由第一、第二頻率訊號的分析，可以對應掌控使用者的細部手部動作，更加了解使用者的手部動作變化。

為了達到上述之目的，本發明揭露一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，包括一影像擷取裝置、一移動控制裝置、一肌電訊號擷取裝置及一處理裝置。影像擷取裝置可以用來偵測使用者全身的骨架，並產生至少一偵測訊號；移動控制裝置設有至少一輸入元件，透過至少一輸入元件的輸入，可以產生出至少一移動訊號；肌電訊號擷取裝置設置於使用者上肢的任一部位，透過使用者上肢的手勢動作之變化以對應產生至少一肌電訊號；一處理裝置無線連接影像擷取裝置、移動控制裝置及肌電訊號擷取裝置，並再電性連接一顯示器，處理裝置可以接收影像擷取裝置所傳輸的偵測訊號，並轉換為一虛擬人物的樣貌以顯示在顯示器的影像畫面之中，且虛擬人物會隨著偵測訊號的改變而進行動作的變化，處理裝置並接收移動控制裝置所傳輸的移動訊號，並可控制虛擬人物於影像畫面中作各種方位的移動，再接收肌電訊號擷取裝置所偵測的肌電訊號，以分析肌電訊號中的第一頻率訊號及第二頻率訊號以作為虛擬人物的操作方式，其中第一頻率訊號係可為2~5赫茲，及第二頻率訊號係可為6~450赫茲。

如上所述之肌電訊號擷取裝置更包括至少一電極貼片及一訊號收發器，至少一電極貼片係設置在使用者上肢的任一部位，例如手腕上，以偵測手腕的肌電訊號；訊號收發器電性連接至少一電極貼片及無線連接處理裝置，以接收至少一電極貼片所傳輸的肌電訊號，並將肌電訊號傳輸至處理裝置。

如上所述之處理裝置更包括一第一處理器及一第二處理器，第一處理器無線連接肌電訊號擷取裝置及移動控制裝置，以接收肌電訊號擷取裝置的肌電訊號，及分析肌電訊號中的第一頻率訊號及第二頻率訊號，以將第一頻率訊號及第二頻率訊號轉換成一操作訊號，並可接收移動控制裝置的移動訊號；第二處理器無線連接第一處理器及影像擷取裝置，並電性連接顯示器，以接收第一處理器的操作訊號，以作為虛擬人物在顯示器的影像畫面中之操作方式，及接收移動訊號以控制虛擬影像在影像畫面中之各個不同方向之移動，以及再接收影像擷取裝置的偵測訊號以轉換為虛擬人物之動作。

底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

近年來，隨著科技結合遊戲及運動觀念的提升，越來越多全身式的遊戲取代傳統遊戲方式，使用者藉由全身的律動，取代以往坐在位置上且僅用雙手操作的遊戲，一來可以增加個人的運動量，二來更增添了遊戲的豐富度，因此本發明在藉由結合肌電訊號擷取裝置，更增加了使用者於操作遊戲時的虛擬人物控制方式，以提供一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統。

首先，請先參照本發明第二圖所示，一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統30，其係包括一影像擷取裝置32、一移動控制裝置34、一肌電訊號擷取裝置36及一處理裝置38，其中處理裝置38無線連接影像擷取裝置32、移動控制裝置34及肌電訊號擷取裝置36，且處理裝置38可再電性連接一顯示器40。

再者，請再參照本發明第三圖所示，於本實施例之中肌電訊號擷取裝置36更包含至少一電極貼片362及訊號收發器364，訊號收發器364電性連接至少一電極貼片362；處理裝置38更包含一第一處理器382及一第二處理器384，其中的第一處理器382係無線連接肌電訊號擷取裝置36中的訊號收發器364及移動控制裝置34；第二處理器384無線連接第一處理器382及影像擷取裝置32，且第二處理器384再電性連接至顯示器40，於本實施例中第一處理器382係為智慧型行動裝置，例如智慧型手機、平板電腦或是智慧型手錶，第二處理器384則係為電腦，而本發明中的無線連接的方式係可為藍芽（Bluetooth）傳輸、WiFi、或近場通訊（Near Field Communication，NFC）等傳輸方式。

說明完本發明各裝置的連接方式後，接續說明本發明的實施方式，請參照本發明第四圖及同時再參照第三圖所示，使用者42可以將肌電訊號擷取裝置36設置身體上肢的任一部位，例如右手422手腕上，安裝於右手422手腕上之肌電訊號擷取裝置36中的電極貼片362則可以偵測使用者42右手422的手勢動作變化，以對應產生至少一肌電訊號M，並將肌電訊號M傳輸至訊號收發器364之中；使用者42可以再用左手424將移動控制裝置34握著操控，於本實施例中移動控制裝置34係可為具有無線傳輸的遊戲搖桿或是遊戲手把，在此以遊戲手把為例，移動控制裝置34上設有複數個輸入元件（圖中未示），例如按鍵或搖桿，使用者42可以透過這些輸入元件輸入以產生至少一移動訊號T，例如使用者可以藉由遊戲手把上的上下左右鍵控制移動；最後，影像擷取裝置32可以偵測使用者42全身的骨架，藉由深度攝影的方式辨識使用者42全身的動作變化，以產生至少一偵測訊號D。

承接上段，處理裝置38中的第二處理器384則會接收影像擷取裝置32所傳輸的偵測訊號D，並轉換為一虛擬人物44以顯示於顯示器40的影像畫面402中，且虛擬人物44會隨著偵測訊號D的改變進行動作的變化；第一處理器382則接收移動控制裝置34所傳輸的移動訊號T，再將該移動訊號T傳輸至第二處理器384中，第二處理器384則可藉由移動訊號T控制虛擬人物44於影像畫面402中移動，第一處理器382可再接收肌電訊號擷取裝置36中訊號收發器364所傳輸的肌電訊號M，可藉由程式或軟體以分析過濾肌電訊號M中的第一頻率訊號及第二頻率訊號，以將第一頻率訊號及第二頻率訊號轉換成一操作訊號O並傳輸至第二處理器384中，第二處理器384則藉由操作訊號O作為虛擬人物44的操控方式，當使用者42要更換姿勢時，第一頻率訊號及第二頻率訊號會一併改變，第二處理器384則可依照各種不同的訊號作為不同的虛擬人物44的操控方式。

再者，請再參照本發明第五圖及第四圖所示，第一處理器382除了係可為本實施例中的智慧型行動裝置外，另外提供一種實施例以進行第一頻率訊號及第二頻率訊號的分析。第一處理器382亦可包含一無線通訊組386、第一濾波器387、第二濾波器388及微處理器389，本實施例中第一濾波器387係偵測1~5赫茲的頻率訊號，及第二濾波器388係偵測6赫茲以上的頻率訊號，但因為肌電訊號通常不會超過500赫茲以上，其中又以6~500赫茲為最佳。無線通訊組386係為藍芽通訊組。無線通訊組386無線連接肌電訊號擷取裝置36、移動控制裝置34及第二處理器384，第一濾波器387及第二濾波器388則分別電性連接無線通訊組386及微處理器389，其中微處理器389與無線通訊組386亦再相互電性連接。當無線通訊組386接收肌電訊號擷取裝置36的肌電訊號M及移動控制裝置34的移動訊號T後，並將肌電訊號M傳輸至第一濾波器387及第二濾波器388中，分別過濾肌電訊號M中的第一頻率訊號及第二頻率訊號，例如當使用者42的右手422一握拳時，右手422的肌肉即會產生變化，當過濾出高於80赫茲的第二頻率訊號時，相對應第二頻率訊號可以產生出一波形圖，此時請參照本發明第六A圖所示，第六A圖中的縱軸係以0到正負2毫伏特（millivolt，MV）作為頻率高於80赫茲時的振幅單位，第二頻率訊號係可為6~450赫茲，在本實施例中以第二頻率為85赫茲時的振幅變化為例。當使用者42的右手422從其它手勢進行握拳動作時，會在一改變時間C中產生第二頻率訊號的振幅變化。另，請再參照本發明第六B圖所示，第六B圖則為過濾肌電訊號M後所產生的第一頻率訊號之波形圖，此時第一頻率訊號所產生的振幅亦相較第二頻率訊號低，第一頻率訊號係可為2~5赫茲，在本實施例中第一頻率係為3赫茲，振幅約在正負0.8毫伏特之間，上述的第一頻率訊號及第二頻率訊號的數值係為本實施例的示範數值，不應以此為限制。第一處理器382中的第一濾波器387過濾完後的第一頻率訊號及第二濾波器388過濾完後的第二頻率訊號再傳輸至微處理器389中分析，以依照不同的波形圖得知使用者42的不同手勢動作，微處理器389分析完將不同的第一頻率訊號及第二頻率訊號轉換成操作訊號O，微處理器389再將操作訊號O傳輸至無線通訊組386，以透過無線通訊組386將操作訊號O及所接收的移動訊號T傳輸至第二處理器384中，這邊的第二處理器384亦係為電腦，可以處理所接收的操作訊號O、移動訊號T及偵測訊號D，以進行虛擬人物44的動作控制。例如，使用者42握拳時代表虛擬人物44準備攻擊，使用者42將拇指彈出後則代表虛擬人物44拿出攻擊武器，同時再搭配影像擷取裝置32偵測使用者42全身的動作以使虛擬人物44進行不同攻擊動作的姿勢，且同時間使用者42再經由移動控制裝置34進行虛擬人物44不同方向的移動。

綜上所述，上述藉由操作虛擬人物的方法遊戲僅係為本發明實施例的示範例，實際操作可依不同的應用性質作更動，除了上述應用在遊戲中控制虛擬人物外，另外亦可應用在生醫方面，例如可應用在復健方面，藉由使用者對應影像中虛擬人物的動作變化，以作相同動作的模仿，使用者可藉由影像擷取裝置、移動控制裝置及肌電訊號擷取裝置輸入訊號至處理裝置，以使處理裝置分析使用者的動作變化，更加了解使用者手部的肌肉變化是否與虛擬人物相同，可再將結果透過顯示器畫面反應給使用者得知，達到更良好的復健效果。本發明的主要精神係在增加偵測肌電訊號，再分析肌電訊號中的第一頻率與第二頻率，亦不限制各種分析頻率的裝置及設備，藉此以對顯示器畫面中的虛擬人物作更進一步的控制，並不限制一定要應用在遊戲或復健中，只要能作為虛擬人物操控之應用即可。另，本發明的移動控制裝置係可使用按鍵式的遊戲手把，或是僅具有搖桿的遊戲搖桿，使用者可握持搖桿，並利用設置於搖桿上的按鍵進行遊戲控制或是操作控制；另外，移動控制裝置也可以是一般的手持式輸入裝置，其係可讓使用者握於手中，作簡易的指令輸入以控制虛擬人物移動，或是作一些簡易的指令控制。移動控制裝置無論是上述哪一種皆可搭配偵測使用者的肌電訊號，進而作出更簡易且多元化的虛擬人物操縱方式，以方便使用者進行遊戲，甚或是可以幫助遊戲業者作出更複雜的遊戲類型但又容易讓使用者操作，進而提升遊戲的品質，或是利用更靈活的虛擬人物控制，以達到更多不同的應用性質。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍。

12       滑鼠 14       鍵盤 16       控制器 18       電腦 182     螢幕 20       主機 22       電視 30       結合人體手勢辨識及骨架追蹤之虛擬人物控制系統 32       影像擷取裝置 34       移動控制裝置 36       肌電訊號擷取裝置 362     電極貼片 364     訊號收發器 38       處理裝置 382     第一處理器 384     第二處理器 386     無線通訊組 387     第一濾波器 388     第二濾波器 389     微處理器 40       顯示器 402     影像畫面 42       使用者 422     右手 424     左手 44       虛擬人物 C         改變時間 D        偵測訊號 M        肌電訊號 O        操作訊號 T         移動訊號

第一A及第一B圖係為傳統遊戲操作的方塊示意圖。 第二圖為本發明裝置結構的方塊示意圖。 第三圖為本發明訊號連接的方塊示意圖。 第四圖為本發明實際操控虛擬人物的作動示意圖。 第五圖為本發明中第一處理器的方塊示意圖。 第六A圖為本發明所過濾之第二頻率訊號的波形圖。 第六B圖為本發明所過濾之第一頻率訊號的波形圖。

30     結合人體手勢辨識及骨架追蹤之虛擬人物控制系統 32     影像擷取裝置 34     移動控制裝置 36     肌電訊號擷取裝置 362   電極貼片 364   訊號收發器 38     處理裝置 382   第一處理器 384   第二處理器 40     顯示器 D       偵測訊號 M      肌電訊號 O       操作訊號 T       移動訊號

Claims (11)

1. 一種結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，包括：一影像擷取裝置，其係可偵測使用者全身的骨架，以產生至少一偵測訊號；一移動控制裝置，其係設有至少一輸入元件，透過該至少一輸入元件之輸入以產生至少一移動訊號；一肌電訊號擷取裝置，其係可設置於該使用者上肢的任一部位，透過該使用者上肢的手勢動作的變化以對應產生至少一肌電訊號；及一處理裝置，其係包括一第一處理器及一第二處理器，該第二處理器無線連接該影像擷取裝置及該第一處理器，該第一處理器無線連接該移動控制裝置及該肌電訊號擷取裝置，該第二處理器並電性連接一顯示器，該處理裝置可接收該影像擷取裝置所傳輸之該偵測訊號並轉換為一虛擬人物以顯示於該顯示器的影像畫面中，該第二處理器接收該影像擷取裝置之該偵測訊號以轉換為該虛擬人物之動作，且該虛擬人物會隨著該偵測訊號的改變進行動作的變化，該第一處理器並接收該移動控制裝置所傳輸之該移動訊號，該第二處理器接收該第一處理器所傳輸之該移動訊號以控制該虛擬人物於該影像畫面中之各個方向移動，該第一處理器再接收該肌電訊號擷取裝置所偵測之該肌電訊號，以分析該肌電訊號中的第一頻率訊號及第二頻率訊號，以將該第一頻率訊號及該第二頻率訊號轉換成一操作訊號，該第二處理器接收該第一處理器之該操作訊號以作為該虛擬人物之操作方式。
2. 如請求項1所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系 統，其中該第一頻率訊號係可為2~5赫茲(Hz)，及該第二頻率訊號係可為6~450赫茲。
3. 如請求項1所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該肌電訊號擷取裝置更包括：至少一電極貼片，其係可設置於該使用者上肢的該任一部位，以偵測該任一部位的該肌電訊號；及一訊號收發器，其係電性連接該至少一電極貼片及無線連接該處理裝置，以接收該至少一電極貼片所傳輸之該肌電訊號，並將該肌電訊號傳輸至該處理裝置。
4. 如請求項1所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該第一處理器係為智慧型行動裝置，及該第二處理器係為電腦。
5. 如請求項4所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該智慧型行動裝置係為智慧型手機、平板電腦或智慧型手錶。
6. 如請求1所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該第一處理器更包含：一無線通訊組，其係無線連接該肌電訊號擷取裝置、該移動控制裝置及該第二處理器，以接收該肌電訊號擷取裝置之該肌電訊號及該移動控制裝置之該移動訊號；一第一濾波器及一第二濾波器，其係分別電性連接該無線通訊組，以接收該無線通訊組所傳輸之該肌電訊號，並分別過濾該肌電訊號中的該第一頻率訊號及該第二頻率訊號；及一微處理器，其係電性連接該第一濾波器及該第二濾波器與該無線 通訊組，以接收該第一濾波器所傳輸之該第一頻率訊號及該第二濾波器所傳輸之該第二頻率訊號，並將該第一頻率訊號及該第二頻率訊號轉換成該操作訊號，再透過該無線通訊組將該操作訊號及該移動訊號傳輸至該第二處理器。
7. 如請求6所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該第一濾波器可偵測1~5赫茲(Hz)的頻率訊號，及該第二濾波器可偵測6赫茲以上的頻率訊號。
8. 如請求6所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該無線通訊組係為藍芽通訊組。
9. 如請求項1所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該無線連接方式係為藍芽(Bluetooth)、Wi-Fi或近場通訊(Near Field Communication，NFC)。
10. 如請求項1所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該移動控制裝置係為具無線傳輸的遊戲手把或手持式輸入裝置。
11. 如請求項10所述之結合人體手勢辨識及骨架追蹤之虛擬人物控制系統，其中該輸入元件係為按鍵或搖桿。