TW201528048A - 影像式虛擬互動裝置及其實施方法 - Google Patents

Abstract

本發明揭露一種影像式虛擬互動裝置及其實施方法，其係利用投影模組投射影像式的互動介面，當使用者於互動介面上進行操作時，將光感測模組所發射與接收的感測訊號，與追蹤模組所捕捉的使用者肢體動作之特徵，經由辨識模組的計算，並判斷是否形成操作指令後，將操作指令傳送至一電子裝置，驅動相對應的應用程式執行動作，依此，使用者僅須透過肢體動作變化，且不須與實體平面接觸，即能直接與電子裝置進行人機互動。

Description

影像式虛擬互動裝置及其實施方法

一種影像式虛擬互動裝置及其實施方法，尤指一種透過光學感測與影像追蹤的方式，供使用者與一電子裝置進行非觸控式之人機互動的影像式虛擬互動裝置及其實施方法。

隨著技術的發展，許多科技產品皆走向微小化的趨勢，如智慧型手機、平板電腦與筆記型電腦等，然而，產品體積縮小，雖便於使用者攜帶，卻使得電子裝置的機械式操控方式，如鍵盤等，空間越來越受限，造成使用者操作上的不便利，因此，有了觸控技術(Touch technology)的發展，如觸控式螢幕即提供了一種極為直接的人機互動(Human-computer interaction)方式，使用者透過接觸觸控螢幕上的圖形按鈕，螢幕上的觸覺反饋系統，即根據預先編程的程式驅動各種連結裝置，另，有人發展了一種觸控式的虛擬鍵盤，來取代傳統的機械式按鈕面板，如中華民國專利公告第I275979號「開放式虛擬輸入與顯示之裝置及其 方法」，其揭露了一種開放式的虛擬輸入裝置，其係可投射出可設定週邊設備的基本選單影像於實體平面上，然後接收使用者所選取的週邊設備選項，並與週邊設備進行配對連線，最後切換投射該週邊設備的輸入介面影像，如虛擬鍵盤，供使用者作輸入動作，雖其亦可將電子裝置螢幕上之文字、圖像或影像投射至顯示區塊上，然而，仍須同時投射虛擬鍵盤於感應區塊上，才能對電子裝置進行操作，另有其他先前技術以供參考，如下：(1)中華民國專利公告第I410860號「具有虛擬鍵盤之觸控裝置及其形成虛擬鍵盤之方法」；(2)中華民國專利公告第I266222號「虛擬鍵盤」；惟，由上述諸多前案所揭技術可知，習知技術之輸入介面影像仍是一種觸控式(Touch)的人機互動方式，且僅能以虛擬鍵盤進行文字輸入的操作，實無法直接對電子裝置上的螢幕影像與內部之應用程式等進行操控。

再者，如中華民國專利公開號第201342135號「行動裝置的全三維互動」，其揭露一種將行動裝置之螢幕投射於其後方，並形成三維影像，使用者可直接於三維影像上與行動裝置作互動，然，使用者需持續性的手持著行動裝置，才能實現此一技術，長時間使用下會造成使用者手臂的疲勞，是以，提供使用者一種操作舒適且多元的人機互動方式，乃待需解決之問題。

有鑑於上述的問題，本發明人係依據多年來從事相關行業及產品設計的經驗，針對現有的虛擬互動裝置進行研究及分析，期能設計出較佳的實體產品；緣此，本發明之主要目的在於提供一種供使用者利用肢體動作與一電子裝置，進行非觸控式(Touch-less)之人機互動的影像式虛擬互動裝置及其實施方法。

為達上述的目的，本發明之影像式虛擬互動裝置及其實施方法，係預先將影像式虛擬互動裝置與一電子裝置透過有線或無線連接方式形成配對後，利用一投影模組將電子裝置上之螢幕影像投射於一實體平面上方，形成影像式的一互動介面，當使用者的一肢體於互動介面進行操作時，一光感測模組的一光發射單元所發出的一感測訊號會受肢體的阻擋而反射，並由一光接收單元接收，再者，一追蹤模組，可追蹤肢體的一移動軌跡，最後，透過一辨識模組進行計算，並判斷是否形成操作指令，將操作指令傳送至電子裝置，驅動相對應的應用程式執行動作。

為使 貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

1、1’‧‧‧影像式虛擬互動裝置

10‧‧‧中央控制模組

11‧‧‧連接模組

12‧‧‧傳輸模組

13‧‧‧投影模組

14‧‧‧光感測模組

15‧‧‧追蹤模組

141‧‧‧光發射單元

151‧‧‧攝像單元

142‧‧‧光接收單元

16‧‧‧辨識模組

17‧‧‧切換模組

2‧‧‧電子裝置

3‧‧‧實體平面

A1‧‧‧互動介面

A2‧‧‧光感測區

A11‧‧‧虛擬影像

A3‧‧‧追蹤區

A12‧‧‧虛擬鍵盤

d‧‧‧移動軌跡

H‧‧‧手勢

R‧‧‧感測訊號

Z‧‧‧有效辨識區

步驟S100‧‧‧與電子裝置形成配對

步驟S110‧‧‧投射出一互動介面

步驟S120‧‧‧發射感測訊號及接收經反射的感測訊號

步驟S130‧‧‧追蹤手勢的移動軌跡

步驟S140‧‧‧計算與判斷是否形成操作指令

步驟S150‧‧‧不進行傳送

步驟S160‧‧‧傳送操作指令至電子裝置

第1圖，為本發明之硬體模組組成圖。

第2圖，為本發明之實施示意圖(一)。

第3圖，為本發明之實施示意圖(二)。

第4圖，為本發明之實施示意圖(三)。

第5圖，為本發明之實施示意圖(四)。

第6圖，為本發明之實施示意圖(五)。

第7圖，為本發明之實施流程圖。

第8圖，為本發明之另一硬體模組組成圖。

第9圖，為本發明之另一實施示意圖(一)。

第10圖，為本發明之另一實施示意圖(二)。

請參閱「第1圖」，圖中所示為本發明之硬體模組組成圖，並請搭配參閱「第2圖」，圖中所示為本發明之實施示意圖(一)，如圖，本發明所述之影像式虛擬互動裝置1，其係包括一中央控制模組10，用以控制影像式虛擬互動裝置1之各模組間的資訊傳遞；一連接模組11，與中央控制模組10呈資訊連結，用以與至少一個電子裝置2進行配對，其中，所述之配對方式可透過有線連接方式，如USB傳輸線，或透過無線連接方式，如ZigBee、藍芽(Bluetooth)或WiFi之其中一種，但不以此為限，特先陳明；一傳輸模組12，用以與電子裝置2進行數位信號(Digital signal)的接收與傳 送；一投影模組13，可將來自電子裝置2的數位信號投射至一實體平面3上方，並形成影像式的一互動介面A1，又，互動介面A1之投影色彩、投影範圍的大小與投影解析度的高低，可藉由中央控制模組10進行控制；一光感測模組14，具有一光發射單元141與一光接收單元142，光發射單元141用以發射複數個感測訊號，又，光接收單元142用以接收經反射後的感測訊號；一追蹤模組15，其係具有至少一個攝像單元151，用以捕捉肢體移動與手勢動作；以及一辨識模組16，用以計算與判斷光感測模組14與追蹤模組15所偵測之訊號，是否構成操作指令的形成。

請再參閱「第2圖」，並請再搭配參閱「第1圖」，如圖，連接模組11用以與至少一個電子裝置2透過有線或無線連接方式進行配對，在本實施例中，係透過一無線連接方式進行配對，當一空間內如房間、教室與會議室等，存在有複數個電子裝置2，如智慧型手機、筆記型電腦與平板電腦等，使用者可自行選擇上述電子裝置2其中之一進行配對，當配對完成後，投影模組13即將電子裝置2之螢幕內容投射至實體平面3上方，形成影像式的互動介面A1，即為虛擬螢幕，又，光感測模組14中的光發射單元141會發射複數個感測訊號至實體平面3上方，形成一光感測區A2，其中，感測訊號可為紅外線或雷射光等不可見光，但不以此為限，特先陳明，再者，追蹤模組15係透過攝像單元151於實體平面3上方形成有一追蹤區A3，可即時地捕捉於追蹤區A3 內的肢體移動與手勢動作，另，互動介面A1、光感測區A2及追蹤區A3所交集之範圍，即為一有效辨識區Z，可供辨識模組16有效計算與判斷是否構成操作指令的形成，再者，投影模組13、光感測模組14及追蹤模組15所設置的相對位置，可因產品設計的不同，而有所改變，不應用以限定本發明，特先陳明。

請參閱「第3圖」，圖中所示為本發明之實施示意圖(二)，如圖，光感測模組14中之光發射單元141發射出一感測訊號R至有效辨識區Z內，如無受遮蔽物阻擋，則感測訊號R行進至實體平面3後，會依原路徑反射，並被光接收單元142所接收，其中，所述之光接收單元142可為電荷耦合元件(Charge-coupled device，CCD)或CMOS感光元件，但不以此為限，特先陳明，然，請搭配參閱「第4圖」，圖中所示為本發明之實施示意圖(三)，如圖，當使用者進行操作時，使用者的一手勢H，位於有效辨識區Z內時，感測訊號R即受手勢H所阻擋，並依原路徑反射，被光接收單元142所接收，依此，感測訊號R自光發射單元141發射後，在有受阻擋或沒受阻擋的情況下，將使光接收單元142的接收時間產生差異，形成發射與接收之時間差。

請參閱「第5圖」，圖中所示為本發明之實施示意圖(四)，並請搭配參閱「第3圖」，如圖，當使用者進行操作時，手勢H於實體平面3上方的有效辨識區Z內，除透過光感測模 組14進行感測外，再者，追蹤模組15內的至少一個攝像單元151，亦會即時地捕捉手勢H的肢體移動與手勢動作，即連續位置特徵與動作變化特徵，如單手或雙手的向上、向下、向左及向右移動、擺動、握拳與畫圈圈等，但不以此為限，特先陳明，如圖，係以使用者之手勢H「向下移動」為實施例，當手勢H於互動介面A1內之應用程式的圖形按鈕上方，由上往下移動一段距離，即形成一移動軌跡d，其中，手勢H可不須與實體平面3進行接觸；再者，請搭配參閱「第1圖」，感測訊號R發射與接收之時間差與手勢H之移動軌跡d，經由辨識模組16的計算，並判斷是否構成操作指令的形成，當形成操作指令時，即透過傳輸模組12將操作指令傳送至電子裝置2，驅動相對應的應用程式執行動作，請再搭配參閱「第6圖」，圖中所示為本發明之實施示意圖(五)，電子裝置2接收操作指令後，即驅動相對應的應用程式，於本實施例中，為執行計算機程式，並即時更新互動介面A1之影像內容，依此，使用者可進一步進行數學計算，另，若使用者欲回到上一個畫面，可在互動介面A1內，形成「擺動」的手勢H(圖未示)，或其他的動作特徵，不以此為限，特先陳明。

請參閱「第7圖」，圖中所示為本發明之實施流程圖，並請搭配參閱「第1圖」與「第2圖」，如圖，首先執行本發明之影像式虛擬互動裝置1後，係透過連接模組11以有線或無線連接方式與電子裝置2形成配對(步驟S100)，配對 完成後，投影模組13係投射出影像式的互動介面A1(步驟S110)於實體平面3上方，同時間，光感測模組14中的光發射單元141會發射出感測訊號R(見第3圖)，當使用者於互動介面A1進行操作時，感測訊號R會受使用者的手勢H所阻擋(見第4圖)，並使感測訊號R反射，由光接收單元142所接收(步驟S120)，再者，追蹤模組15內的至少一個攝像單元151會即時地捕捉手勢H的連續位置特徵與動作變化特徵，如追蹤手勢H的移動軌跡d(見第5圖)(步驟S130)，最後，透過辨識模組16對感測訊號R發送與接收的時間差，及手勢H的移動軌跡d進行計算，並判斷是否構成操作指令的形成(步驟S140)，如否，即代表使用者的手勢H未進入有效辨識區Z內，或手勢H的動作特徵無法受辨識，則操作指令無法形成，故不進行操作指令的傳送(步驟S150)，然，如是，即使用者的手勢H在有效辨識區Z內，且手勢H的位置特徵或動作特徵可受辨識，故形成操作指令，並將操作指令透過傳輸模組12，傳送至電子裝置2，驅動相對應的應用程式執行動作(步驟S160)。

請參閱「第8圖」，圖中所示為本發明之另一硬體模組組成圖，如圖，本發明之影像式虛擬互動裝置1可再包含一切換模組17，其係與中央控制模組10呈資訊連接，用以切換與不同的電子裝置形成配對，或切換不同模式的影像式虛擬互動介面，請搭配參閱「第9圖」，圖中所示為本發明之另一實施示意圖(一)，如圖，，係使用者可依照自身需 求，進行影像式之互動介面A1的切換，例如可僅投射一虛擬螢幕A11進行應用程式的操作，或是僅投射一虛擬鍵盤A12進行文字等資訊輸入功能，亦可同時投射虛擬螢幕A11與虛擬鍵盤A12於互動介面A1內，是以，使本發明提供使用者具有多種功能的選擇。

請參閱「第10圖」，為本發明之另一實施示意圖(二)，如圖，當使用者所需之畫面大小，超出一台影像式虛擬互動裝置1所能投射的範圍，如進行多人會議時，使用者可同時使用兩台以上的影像式虛擬互動裝置(1、1’)與同一電子裝置2形成配對，並投射出組合而成的一互動介面A1於實體平面3上方，依此，互動介面A1內的文字、圖像或影像比例將因投影範圍的增加而變大，除供使用者更易觀看外，亦增加了進行人機互動的範圍。

由上所述可知，本發明所稱之影像式虛擬互動裝置及其實施方法，其係預先透過有線或無線連接方式，與至少一個電子裝置形成配對後，利用一投影模組將電子裝置上之螢幕影像投射出，形成影像式的一互動介面，如虛擬螢幕或虛擬鍵盤，其中，使用者可藉由一切換模組進行不同模式之互動介面的切換，當使用者的一手勢於互動介面進行操作時，一光感測模組的一光發射單元所發出的一感測訊號會受手勢之阻擋而反射，並由一光接收單元所接收，形成感測訊號發射與接收的時間差，同時間，由至少 一個攝像單元組成的一追蹤模組，可即時地捕捉手勢的連續位置與動作變化特徵，如形成一移動軌跡，最後，透過一辨識模組對感測訊號發射與接收的時間差及移動軌跡進行計算，並判斷是否構成操作指令的形成，如形成操作指令，即傳送至電子裝置，驅動相對應的應用程式執行動作，依此，本發明其據以實施後，確實可達到提供一種供使用者利用肢體動作與電子裝置，進行非觸控式(Touch-less)之人機互動的影像式虛擬互動裝置及其實施方法。

唯，以上所述者，僅為本發明之較佳之實施例而已，並非用以限定本發明實施之範圍；任何熟習此技藝者，在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。

綜上所述，本發明之功效，係具有發明之「產業可利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向 鈞局提起發明專利之申請。

1‧‧‧影像式虛擬互動裝置

10‧‧‧中央控制模組

11‧‧‧連接模組

12‧‧‧傳輸模組

13‧‧‧投影模組

14‧‧‧光感測模組

15‧‧‧追蹤模組

141‧‧‧光發射單元

151‧‧‧攝像單元

142‧‧‧光接收單元

16‧‧‧辨識模組

Claims (9)

1. 一種影像式虛擬互動裝置，可供一使用者與一個以上的電子裝置進行人機互動，其包括：一中央控制模組；一連接模組，與該中央控制模組呈資訊連結，用以與該電子裝置形成配對；一傳輸模組，用以與配對後的該電子裝置進行一數位信號的傳輸；一投影模組，用以將該數位信號投射至一實體平面上，形成影像式的一互動介面；一光感測模組，具有一光發射單元與一光接收單元，該光發射單元發射出一感測訊號至該實體平面上方，該光接收單元接收經該使用者反射後的該感測訊號；一追蹤模組，具有至少一個攝像單元，該攝像單元用以追蹤該使用者的一移動軌跡；以及一辨識模組，用以計算及判斷該感測訊號的發送與接收的時間差及該移動軌跡，是否形成一操作指令。
2. 如申請專利範圍第1項所述之影像式虛擬互動裝置，其中，該互動介面為一虛擬螢幕與一虛擬鍵盤其中之一或兩者之組合。
3. 如申請專利範圍第1項所述之影像式虛擬互動裝置，其中，該中央控制模組資訊連接有一切換模組，用以切換該虛擬螢幕或該虛擬鍵盤其中之一或兩者之組合。
4. 如申請專利範圍第1項所述之影像式虛擬互動裝置，其中，該連接模組與 該電子裝置以有線或無線連結方式形成配對。
5. 如申請專利範圍第1項所述之影像式虛擬互動裝置，其中，該感測訊號為一紅外線或一雷射光其中之一。
6. 如申請專利範圍第1項所述之影像式虛擬互動裝置，其中，該光接收單元為一電荷耦合元件或一CMOS感光元件其中之一。
7. 一種影像式虛擬互動裝置的實施方法，其包括：執行該影像式虛擬互動裝置，並透過一有線或一無線連接方式與一電子裝置，形成配對；配對後，該影像式虛擬互動裝置投射出一互動介面至一實體平面上方；發射一感測訊號至該實體平面上方，當一手勢於該互動介面內，可使該感測訊號反射，由一光接收單元接收；一攝像單元即時地追蹤該互動介面內之該手勢的一移動軌跡；計算與判斷該感測訊號發射與接收之時間差，及該移動軌跡是否形成一操作指令；以及將該操作指令傳送至該電子裝置，並執行相對應之動作。
8. 如申請專利範圍第7項所述之影像式虛擬互動裝置的實施方法，其中，該該影像式虛擬互動裝置與該電子裝置形成配對後，可進行一切換動作，將該互動介面切換不同模式。
9. 如申請專利範圍第8項所述之影像式虛擬互動裝置的實施方法，其中，該互動介面為一虛擬螢幕或一虛擬鍵盤其中之一或兩者之組合。