TWI587175B - Dimensional pointing control and interaction system - Google Patents

Dimensional pointing control and interaction system Download PDF

Info

Publication number
TWI587175B
TWI587175B TW101133115A TW101133115A TWI587175B TW I587175 B TWI587175 B TW I587175B TW 101133115 A TW101133115 A TW 101133115A TW 101133115 A TW101133115 A TW 101133115A TW I587175 B TWI587175 B TW I587175B
Authority
TW
Taiwan
Prior art keywords
objects
unit
interaction system
control
user
Prior art date
Application number
TW101133115A
Other languages
English (en)
Other versions
TW201411409A (zh
Inventor
施皇嘉
Original Assignee
元智大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 元智大學 filed Critical 元智大學
Priority to TW101133115A priority Critical patent/TWI587175B/zh
Publication of TW201411409A publication Critical patent/TW201411409A/zh
Application granted granted Critical
Publication of TWI587175B publication Critical patent/TWI587175B/zh

Links

Description

三維指向控制與互動系統
本發明係一種三維指向控制與互動系統，特別是使用者可藉由指向單一或多個物件並讓該物件或該等物件之間執行單一的或連續的指令動作的系統。
傳統物件的控制方式，係藉由遠端遙控裝置以有線與無線的方式對另一遠端的物件(例如電視等的電子產品)進行控制。換言之，使用者係可透過遠端遙控裝置傳送出控制訊號，而該物件接收到該控制訊號之後，該物件係會根據該控制訊號在該物件執行相關的指令動作。
隨著技術的演進，人機互動的方式由原本的遙控方式進化到利用體感或聲控的方式，對該物件進行控制，而做法不外乎在該物件上安裝攝影機或是聲控裝置，用以擷取使用者的影像與聲音訊號而達到對該物件控制的目的。
上述該種方式，係需要在每一個物件上額外地增設例如體感或聲控的模組，用以讓該物件具有上述的遠端控制功能，但增加的模組勢必增加製作的成本與複雜度。雖然聲控相較於該體感控制係較有可能施行於該電子產品中，但聲控係需要透過使用者藉由聲音指令來進行控制，除了有聲音語調的差異外，使用者勢必僅能使用聲音進行控制，若在無聲的環境中，該聲控的模式仍無法有效地利用。
此外，習知技術中，亦僅能對單一物件進行控制，而 無法對複數物件進行互動式的控制。
故如何用以解決習知技術的缺失變成是很重要的一個課題。
本發明之一目的係提供一種三維指向控制與互動系統，提供使用者可輕易地在一三維空間中選定複數物件之至少其一者，並根據相對應於該使用者所指向的該等物件之至少其一者，使得該等物件之至少其一者係自動地執行對應的該指令動作。
本發明之另一目的係提供上述的該三維指向控制與互動系統，係可對該等物件之至少其一者進行景深的判斷，而輕易地辨識該等物件之至少其一者。
本發明之又一目的係提供上述的該三維指向控制與互動系統，係可對該等物件之至少其一者的色彩分佈狀態進行判斷，進而能強化辨識該物件的功效。
本發明之再一目的係提供上述的該三維指向控制與互動系統，藉由指向該等物件而供在單一物件或該等物件之間執行一個或連續指令的動作。
為達到上述目的，本發明係一種三維指向控制與互動系統，係供使用者對在一三維(3D)空間的複數物件進行選擇並控制選擇後的該等物件之至少其一者用以執行相關的複數指令動作或該等物件之間進行互動式動作，其包含影像捕捉模組、資料庫單元與處理單元。其中，該影像捕捉 模組係設置於該使用者的後方，且該影像捕捉模組具有發射單元與影像擷取單元，該發射單元係對該等物件發出取樣訊號，該影像擷取單元係擷取該等物件所反射的複數物件訊號；該資料庫單元係與該影像捕捉模組連接，該資料庫單元根據該等物件訊號建立與該等物件相關聯的場景資訊，又該資料庫單元係預先地儲存相對應該等物件的該指令動作的指令對應列表；以及，該處理單元係連接該影像捕捉模組與該資料庫單元，該處理單元係透過該影像捕捉模組選定該使用者身體的指向特徵用以產生複數節點，又該處理單元係根據該等節點所產生的延伸線及該場景資訊選定該等物件之至少其一者，而基於該指令對應列表而產生控制訊號，用於供該等物件之至少其一執行該等指令動作之至少其一者，其中該等指令動作係供該等物件之其一者執行單一與連續之至少其一者的動作，以及該等指令動作係供該等物件之至少其二者互動地執行單一與連續之至少其一者的動作。
與習知技術相較，本發明之三維指向控制與互動系統係可主動地根據三維空間所設置的複數物件進行場景資訊(例如該等物件的景深與色彩之至少其一者)的建構，且將該等物件與等場景資訊進行連接，並且再根據使用者在該三維空間中所指向的該等物件之至少其一者，進而直接地啟動該物件以供該物件根據該使用者的手勢(例如手指頭的數目或手掌的移動路徑等)執行相對應的指令動作。
此外，由於本發明的該影像捕捉模組係設置於該使用 者的後方，相較於傳統的體感與聲音技術，本發明係可達到傳統技術所無法達成的對在該三維空間的電子產品進行智慧化控制的功效。此外，於另外一實施例中，使用者係可同時地對多個物件進行控制，用以讓該等物件執行一個或連續的指令動作，或者在該等物件之間執行互動的指令動作。
再者，若在該三維空間增加新的物件時，則僅需要透過重新地對該三維空間進行重新掃描而建構新的場景資訊，則可動態地且快速地增加對新的該物件的控制，而可減少或完全不需要在每一個物件設置有例如體感或聲音的模組。此外，該等物件的指令動作係定義在該指令對應(mapping)列表中，僅須透過更改該指令對應列表中的指令動作，即可產生新的控制方式。
為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：請參考第1圖，係本發明之一實施例之三維指向控制與互動系統的方塊示意圖。於第1圖中，該三維指向控制與互動系統10係供使用者2對在三維空間的複數物件4進行選擇並控制選擇後的該等物件4之其一者用以執行相關的複數指令動作。其中，該等指令動作係可定義為單一指令或是單一指令的集合，且該指令動作係可讓單一物件執 行動作，或者讓該等物件之間執行相互之間的互動。舉例而言，該物件4係可以例如投影機與照明燈具的電子產品為例說明，當使用者2指向該投影機時，則該投影機係會根據該指令動作執行例如開啟/關閉投影機的動作，以及該照明燈具會根據該指令動作執行例如開/關燈的動作。於另外一實施例中，該指令動作係可為在使用者2指向該投影機之後，亦同時連動地對該照明燈具進行關閉的控制，使得在該投影機進行播放的過程中，該照明燈具維持在關閉的狀態，以及，當使用者2指向該照明燈具開啟時，使得在該投影機執行暫停或停止播放的指令，進而再多個物件4之間產生互動的功效。
其中，回到第1圖，該三維指向控制與互動系統10係包含影像捕捉模組12、資料庫單元14與處理單元16。
該影像捕捉模組12係設置於該使用者2的後方。又，該影像捕捉模組12具有發射單元122與影像擷取單元124，該發射單元係對該等物件4發出取樣訊號SS(sampling signal)，例如該取樣訊號SS係為電磁波訊號，用以使得該等物件4在接觸到該電磁波訊號時，由該等物件4反射回該電磁波訊號，而由於該等物件4設置的位置不同，係有可能讓該等物件4所反射的該電磁波訊號有不同的時間，因而可供判斷出該等物件4與該影像捕捉模組12之間的距離，亦即可進一步判斷該三維空間中該等物件4的景深。再者，該影像擷取單元12係擷取該等物件4所反射的複數物件訊號OS(object signal)。
於一實施例中，該影像擷取單元124係更包含深度擷取單元1242與色彩擷取單元1244之至少其一者。其中，該深度擷取單元1242係根據該取樣訊號SS而產生具有物件深度資訊的該等物件訊號OS；以及，該色彩擷取單元1244係根據該取樣訊號SS而產生具有色彩資訊的該等物件訊號OS。
該資料庫單元14係與該影像捕捉模組12連接，且該資料庫單元14係根據該等物件訊號OS建立與該等物件4相關聯的場景資訊SI(space information)，例如該場景資訊SI包含該等物件4的數量、位置、景深、形狀與顏色等。其中，該資料庫單元14係預先地儲存相對應該等物件4的該指令動作的指令對應列表IMT(instruction mapping table)，該指令動作列表IMT係用於提供給該使用者預先地進行設定，使得當該使用者選定好該等物件4之後，可相對應地控制該等物件4執行與該指令對應列表IMT內所儲存的該指令動作。
於一實施例中，該指令對應列表IMT係紀錄該使用者2的手指數目與該等指令動作之間的相關連性，例如當該使用者2秀出二根手指，亦即表示開啟該物件4；反之，當該使用者2秀出三根手指，亦即表示關閉該物件4。
該處理單元16係連接該影像捕捉模組12與該資料庫單元16。其中，該處理單元16係透過該影像捕捉模組12選定該使用者2身體的指向特徵用以產生複數節點。舉例而言，一併參考第2圖，該影像捕捉模組12係可選擇該使 用者2身體上手肘22與手指24的該指向特徵，用以形成該等節點222、242。該處理單元16係根據該等節點222、242所產生的延伸線EL(extent line)及該場景資訊SI選定該等物件4之其一者，而基於該指令動作指令對應列表IMT而產生控制訊號CS，用於供該等物件4之其一執行該等指令動作之其一者。此外，該延伸線EL係為該手肘22與該手指24之二節點的延伸。
再者，於另一實施例中，該處理單元16係選定最接近該等節點所產生的延伸線EL的該等物件4之其一者。
於一實施例中，該處理單元16係藉由該色彩擷取單元1242判斷該手指24的形狀輪廓，用以判斷該手指24的數目並供該等物件4之其一根據該手指24的數目而相對應地在該等物件4之至少其一者執行該等指令動作之至少其一者。
此外，一併參考第3圖，係使用者2分別地藉由雙手的該手肘22與該手指24之二節點控制該等物件4，用以使得該等物件4根據該指令對應列表執行各自的該指令動作外，更可在該等物件4之間執行互動相關的該指令動作。
於又一實施例中，該指向控制系統10係更包含該校正參數(圖未示)。該校正參數，係儲存於該資料庫單元，該校正參數係供該處理單元16校正該延伸線EL選定的該等物件4之至少其一者，用以正確地指向該等物件4之至少其一者。
此外，該影像捕捉模組12係可動態地與即時地偵測該 使用者2的該等節點的位移，用以隨時地等待該使用者2的作動而下達控制的指令。
請參考第4圖，係本發明之第二實施例之三維指向控制與互動系統的方塊示意圖。於第4圖中，該指三維向控制與互動系統10’係同樣供使用者2對在三維空間的複數物件4進行選擇並控制選擇後的該等物件4之至少其一者用以執行相關的複數指令動作。其中，該三維指向控制與互動系統10’係除包含前述實施例中的該影像捕捉模組12、該資料庫單元14與該處理單元16外，更包含通訊單元18。
該通訊單元18係傳送該控制訊號CS至該等物件4之其一者，例如該通訊單元18亦可以有線或是無線的方式將該控制訊號CS傳送至該物件4。
如申請專利範圍第1項所述之指向控制系統，更包含通訊單元，該通訊單元係傳送該控制訊號至該等物件之其一者。
故本發明之三維指向控制與互動系統係可主動地根據三維空間所設置的複數物件進行場景資訊(例如該等物件的景深與色彩之至少其一者)的建構，且將該等物件與等場景資訊進行連接，並且再根據使用者在該三維空間中所指向的該等物件之至少其一者，進而直接地啟動該物件以供該物件根據該使用者的手勢(例如手指頭的數目或手掌的移動路徑等)執行相對應的指令動作。
此外，由於本發明的該影像捕捉模組係設置於該使用者的後方，相較於傳統的體感與聲音技術，本發明係可達 到傳統技術所無法達成的對在該三維空間的電子產品進行智慧化控制的功效。此外，於另外一實施例中，使用者係可同時地對多個物件進行控制，用以讓該等物件執行一個或連續的指令動作，或者在該等物件之間執行互動的指令動作。
再者，若在該三維空間增加新的物件時，則僅需要透過重新地對該三維空間進行重新掃描而建構新的場景資訊，則可動態地且快速地增加對新的該物件的控制，而可減少或完全不需要在每一個物件設置有例如體感或聲音的模組。此外，該等物件的指令動作係定義在該指令對應(mapping)列表中，僅須透過更改該指令對應列表中的指令動作，即可產生新的控制方式。本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。
2‧‧‧使用者
22‧‧‧手肘
222、224‧‧‧節點
24‧‧‧手指
4‧‧‧物件
10、10’‧‧‧指向控制系統
12‧‧‧影像捕捉模組
122‧‧‧發射單元
124‧‧‧影像擷取單元
1242‧‧‧深度擷取單元
1244‧‧‧色彩擷取單元
14‧‧‧資料庫單元
16‧‧‧處理單元
18‧‧‧通訊單元
EL‧‧‧延伸線
SS‧‧‧取樣訊號
OS‧‧‧物件訊號
IMT‧‧‧指令對應列表
CS‧‧‧控制訊號
SI‧‧‧場景資訊
第1圖係本發明之第一實施例之三維指向控制與互動系統的方塊示意圖；第2圖係說明第1圖中使用者藉由延伸線與節點進行單一物件進行控制的相關示意圖；第3圖係說明第1圖中使用者藉由延伸線與節點在多 個物件之間進行相互控制的相關示意圖；以及第4圖係本發明之第二實施例之指向控制系統的方塊示意圖。
2‧‧‧使用者
4‧‧‧物件
10‧‧‧指向控制系統
12‧‧‧影像捕捉模組
122‧‧‧發射單元
124‧‧‧影像擷取單元
1242‧‧‧深度擷取單元
1244‧‧‧色彩擷取單元
14‧‧‧資料庫單元
16‧‧‧處理單元
SS‧‧‧取樣訊號
OS‧‧‧物件訊號
IMT‧‧‧指令動作指令對應列表
SI‧‧‧場景資訊
CS‧‧‧控制訊號

Claims (9)

  1. 一種三維指向控制與互動系統，係供使用者對在一三維(3D)空間的複數物件進行選擇並控制選擇後的該等物件之至少其一者用以執行相關的複數指令動作或該等物件之間進行互動式動作，其包含：影像捕捉模組，係設置於該使用者的後方，且該影像捕捉模組具有發射單元與影像擷取單元，該發射單元係對該等物件發出取樣訊號，該影像擷取單元係擷取該等物件所反射的複數物件訊號；資料庫單元，係與該影像捕捉模組連接，該資料庫單元根據該等物件訊號建立與該等物件相關聯的場景資訊，又該資料庫單元係預先地儲存相對應該等物件的該指令動作的指令對應列表；以及處理單元，係連接該影像捕捉模組與該資料庫單元，該處理單元係透過該影像捕捉模組選定該使用者身體的指向特徵用以產生複數節點，又該處理單元係根據該等節點所產生的延伸線及該場景資訊選定該等物件之至少其一者，而基於該指令對應列表而產生控制訊號，用於供該等物件之至少其一執行該等指令動作之至少其一者，其中該等指令動作係供該等物件之其一者執行單一與連續之至少其一者的動作，以及該等指令動作係供該等物件之至少其二者互動地執行單一與連續之至少其一者的動作，其中該等節點係為該使用者身體的單手或雙手的該指向特徵，又該延伸線係為在該單手或該雙手上選定任二 節點的延伸。
  2. 如申請專利範圍第1項所述之三維指向控制與互動系統，更包含通訊單元，該通訊單元係傳送該控制訊號至該等物件之其一者。
  3. 如申請專利範圍第1項所述之三維指向控制與互動系統，其中該影像擷取單元係更包含深度擷取單元與色彩擷取單元之至少其一者，該深度擷取單元係根據該取樣訊號而產生具有物件深度資訊的該等物件訊號，以及該色彩擷取單元係根據該取樣訊號而產生具有色彩資訊的該等物件訊號。
  4. 如申請專利範圍第3項所述之三維指向控制與互動系統，其中該指令對應列表係紀錄該使用者的手勢與該等指令動作之間的相關連性。
  5. 如申請專利範圍第4項所述之三維指向控制與互動系統，其中該處理單元係藉由該色彩擷取單元判斷該手指的形狀輪廓，用以判斷該手勢並供該等物件之其一根據該手勢而相對應地在該等物件之至少其一者執行該等指令動作之至少其一者。
  6. 如申請專利範圍第3項所述之三維指向控制與互動系統，其中該等節點的數目係至少二個以上。
  7. 如申請專利範圍第1項所述之三維指向控制與互動系統，更包含校正參數，係儲存於該資料庫單元，該校正參數係供該處理單元校正該延伸線選定的該等物件之其一者，用以正確地指向該等物件之其一者。
  8. 如申請專利範圍第1項所述之三維指向控制與互動系統，其中該處理單元係選定最接近該等節點所產生的延伸線的該等物件之其一者。
  9. 如申請專利範圍第1項所述之三維指向控制與互動系統，其中該影像捕捉模組係動態地與即時地偵測該使用者的該等節點的位移。
TW101133115A 2012-09-11 2012-09-11 Dimensional pointing control and interaction system TWI587175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101133115A TWI587175B (zh) 2012-09-11 2012-09-11 Dimensional pointing control and interaction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101133115A TWI587175B (zh) 2012-09-11 2012-09-11 Dimensional pointing control and interaction system

Publications (2)

Publication Number Publication Date
TW201411409A TW201411409A (zh) 2014-03-16
TWI587175B true TWI587175B (zh) 2017-06-11

Family

ID=50820859

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101133115A TWI587175B (zh) 2012-09-11 2012-09-11 Dimensional pointing control and interaction system

Country Status (1)

Country Link
TW (1) TWI587175B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
CN111093301B (zh) * 2019-12-14 2022-02-25 安琦道尔(上海)环境规划建筑设计咨询有限公司 一种灯光控制方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
TW201122905A (en) * 2009-12-25 2011-07-01 Primax Electronics Ltd System and method for generating control instruction by identifying user posture captured by image pickup device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
TW201122905A (en) * 2009-12-25 2011-07-01 Primax Electronics Ltd System and method for generating control instruction by identifying user posture captured by image pickup device

Also Published As

Publication number Publication date
TW201411409A (zh) 2014-03-16

Similar Documents

Publication Publication Date Title
KR101914850B1 (ko) 레이더-기반 제스처 인식
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
CN105224069B (zh) 一种增强现实虚拟键盘输入方法及使用该方法的装置
US10642371B2 (en) Sessionless pointing user interface
JP6968154B2 (ja) 制御システムならびに制御処理方法および装置
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
KR101999712B1 (ko) 비-가시선 레이더-기반 제스처 인식
US9430698B2 (en) Information input apparatus, information input method, and computer program
US10295972B2 (en) Systems and methods to operate controllable devices with gestures and/or noises
US20100238137A1 (en) Multi-telepointer, virtual object display device, and virtual object control method
CN103440033B (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置
US20140225820A1 (en) Detecting natural user-input engagement
JP2013229009A (ja) 操作ジェスチャー認識のためのカメラモジュール及び家電製品
CN104994414B (zh) 用于控制光标的方法、遥控器以及智能电视
TWI596378B (zh) 可攜式虛擬實境系統
CN105392037A (zh) 三维空中鼠标以及与其一起使用的显示器
WO2015105814A1 (en) Coordinated speech and gesture input
TWI587175B (zh) Dimensional pointing control and interaction system
TW201439813A (zh) 顯示設備及其控制系統和方法
JP4053903B2 (ja) ポインティング方法、装置、およびプログラム
CN105204610A (zh) 以动作感应来操控功能的装置
CN103218124A (zh) 基于深度摄像头的菜单控制方法及系统
CN104461524A (zh) 基于Kinect的点歌方法
WO2019235263A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111330243A (zh) 一种攀岩墙体感互动方法、控制系统、互动系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees