TWI626423B

TWI626423B - 手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統

Info

Publication number: TWI626423B
Application number: TW105129595A
Authority: TW
Inventors: 許富淞; 汪德美
Original assignee: 財團法人工業技術研究院
Priority date: 2016-09-12
Filing date: 2016-09-12
Publication date: 2018-06-11
Also published as: US20180074648A1; TW201812247A

Abstract

一種手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統。手觸偵測裝置包括一指尖尺寸提供單元、一雷射光發射單元、一雷射光感測單元及一處理單元。指尖尺寸提供單元用以獲得一手指之一指尖的一指尖尺寸。雷射光發射單元用以於一平面上方之一平行面提供一雷射光。雷射光感測單元用以擷取指尖反射雷射光之一反射影像。處理單元用以依據反射影像，獲得一反射區域，並依據指尖尺寸調整一臨界值。處理單元判斷反射區域之面積是否大於該臨界值。若反射區域之面積大於臨界值，則處理單元判定指尖接觸該平面。

Description

手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統

本揭露是有關於一種手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統。

隨著科技的進步，發展出各種直覺化的操控介面。舉例來說，利用感測器偵測手指的指尖是否接觸到一平面，可以藉此達到直覺化的操控介面。

然而，當操控介面提供給不同使用者操作時，這些使用者的手指尺寸不會完全相同。即使是同一使用者，其拇指與小指的尺寸也不會完全相同。因此，感測器在偵測指尖時，經常無法做出正確的偵測。

本揭露係有關於一種手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統，其依據指尖尺寸適應性地調整判斷條件，以使不同大小的手指都能被正確判斷出其指尖是否接觸平面，而獲得正確的手觸偵測。

根據本揭露之一實施例，提出一種手觸偵測方法。手觸偵測方法包括：獲得至少一手指之一指尖的一指尖尺寸。於一平面上方之一平行面提供一雷射光。擷取指尖反射雷射光之一反射影像。依據反射影像，獲得一反射區域。依據指尖尺寸調整一臨界值。判斷反射區域之面積是否大於臨界值。若反射區域之面積大於臨界值，則判定指尖接觸該平面。

根據本揭露之另一實施例，提出一種手觸偵測裝置。手觸偵測裝置包括一指尖尺寸提供單元、一雷射光發射單元、一雷射光感測單元及一處理單元。指尖尺寸提供單元用以獲得一手指之一指尖的一指尖尺寸。雷射光發射單元用以於一平面上方之一平行面提供一雷射光。雷射光感測單元用以擷取指尖反射雷射光之一反射影像。處理單元用以依據反射影像，獲得一反射區域，並依據指尖尺寸調整一臨界值。處理單元判斷反射區域之面積是否大於該臨界值。若反射區域之面積大於臨界值，則處理單元判定指尖接觸該平面。

根據本揭露之再一實施例，提出一種智慧投影系統。智慧投影系統包括一投影裝置及一手觸偵測裝置。投影裝置用以於一平面投影一畫面。手觸偵測裝置包括一指尖尺寸提供單元、一雷射光發射單元、一雷射光感測單元及一處理單元。指尖尺寸提供單元用以獲得一手指之一指尖的一指尖尺寸。雷射光發射單元用以於平面上方之一平行面提供一雷射光。雷射光感測單元用以擷取指尖反射雷射光之一反射影像。處理單元用以依據反射影像，獲得一反射區域，並依據指尖尺寸調整一臨界值。處理單元判斷反射區域之面積是否大於臨界值。若反射區域之面積大於臨界值，則處理單元判定指尖接觸該平面。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

1000‧‧‧智慧投影系統

100、500、700‧‧‧手觸偵測裝置

110‧‧‧指尖尺寸提供單元

111‧‧‧深度感測器

112‧‧‧二值化處理器

113‧‧‧指尖辨識器

114‧‧‧計算器

120‧‧‧雷射光發射單元

130‧‧‧雷射光感測單元

140‧‧‧處理單元

200‧‧‧投影裝置

300‧‧‧校正裝置

310‧‧‧影校擷取單元

320‧‧‧座標校正單元

400‧‧‧喇叭

600‧‧‧顯示面板

800‧‧‧互動式電子白板

D0‧‧‧距離

DI‧‧‧深度影像

F0‧‧‧手指

L0‧‧‧不可見光

L1‧‧‧雷射光

O1、O2、O3‧‧‧物件區塊

P0‧‧‧平面

P1‧‧‧平行面

RI‧‧‧反射影像

R0‧‧‧指尖範圍

R1‧‧‧反射區域

S110、S111、S112、S113、S114、S120、S130、S140、S150、S160、S170、S180‧‧‧流程步驟

St‧‧‧指尖尺寸

T0‧‧‧指尖

TH‧‧‧臨界值

VP‧‧‧虛擬鋼琴

At‧‧‧面積

第1圖繪示根據一實施例之智慧投影系統之方塊圖。

第2圖繪示第1圖之智慧投影系統之示意圖。

第3圖繪示虛擬鋼琴之示意圖。

第4圖繪示根據一實施例之手觸偵測方法的流程圖。

第5圖繪示根據一實施例之指尖尺寸提供單元之方塊圖。

第6圖繪示第4圖之步驟S110的細部流程圖。

第7A~7B圖繪示第6圖之各步驟的示意圖。

第8圖繪示反射影像之示意圖。

第9圖繪示手觸偵測裝置應用於顯示面板之示意圖。

第10圖繪示手觸偵測裝置應用於互動式電子白板之示意圖。

請參照第1圖及第2圖，第1圖繪示根據一實施例之智慧投影系統1000之方塊圖，第2圖繪示第1圖之智慧投影系統1000之示意圖。智慧投影系統1000包括一手觸偵測裝置100、一投影裝置200及一校正裝置300。手觸偵測裝置100包括一指尖尺寸提供單元110、一雷射光發射單元120、一雷射光感測單元130及一處理單元140。指尖尺寸提供單元110用以提供指尖尺寸St。指尖尺寸提供單元110例如是能夠由使用者輸入指尖尺寸St的輸入裝置、能夠即時對使用者量測出指尖尺寸St的量測裝置、或已預先儲存指尖尺寸St的儲存裝置。在此實施例中，指尖尺寸提供單元110係為能夠即時對使用者量測出指尖尺寸St的量測裝置。

處理單元140例如是能夠執行運算程序、處理程序與控制程序之晶片、電路板、電路、韌體、或已儲存程式碼之儲存裝置。

手觸偵測裝置100連接於投影裝置200及校正裝置300。投影裝置200例如是用以投影各種影像之投影機。校正裝置300用以校正手觸偵測裝置100之座標系統及投影裝置200之座標系統，使得手觸偵測裝置100之座標系統及投影裝置200之座標系統能夠一致。在本實施例中，校正裝置300包括一影像擷取單元310及一座標校正單元320。影像擷取單元310例如是一彩色相機或一單色相機。座標校正單元320例如是能夠執行運算程序、處理程序與控制程序之晶片、電路板、電路、韌體、或已儲存程式碼之儲存裝置。

如第2圖所示，手觸偵測裝置100、投影裝置200及校正裝置300可以整合於一裝置內。投影裝置200可以投射一畫面於一平面P0上。使用者可以手指F0在畫面上點選、按壓或拖曳。校正裝置300根據手指F0所接觸的位置及手指F0所欲點選之畫面進行座標系統的校正。經過校正後，手觸偵測裝置100即可以正確的座標系統辨識出使用者所接觸的位置是對應於畫面的哪一部份。

請參照第3圖，其繪示虛擬鋼琴VP之示意圖。智慧投影系統1000可以應用於智慧餐桌、智慧檯燈、智慧白板、智慧爐具等等。第3圖所示之虛擬鍵盤VP也是智慧投影系統1000的一項應用。使用者可以在虛擬鋼琴VP上按壓琴鍵，手觸偵測裝置100辨識出手指所按壓的琴鍵後，即可透過喇叭400發出對應的琴聲。

請參照第4圖，其繪示根據一實施例之手觸偵測方法的流程圖。第4圖之流程圖係以第1圖之手觸偵測裝置100為例作說明。然而，本實施例之手觸偵測方法並不侷限應用於第1圖之手觸偵測裝置100。並且，本實施例之手觸偵測方法也不侷限於第4圖之步驟順序。

首先，在步驟S110中，指尖尺寸提供單元110獲得手指F0之指尖T0的指尖尺寸St。在一實施例中，指尖尺寸提供單元110係為能夠即時對使用者量測出指尖尺寸St的量測裝置。請參照第5圖及第6圖，第5圖繪示根據一實施例之指尖尺寸提供單元110之方塊圖，第6圖繪示第4圖之步驟S110的細部流程圖。指尖尺寸提供單元110包括一深度感測器111、一二值化處理器112、一指尖辨識器113及一計算器114。深度感測器111例如是能夠擷取深度資訊之深度相機。二值化處理器112例如是能夠執行二值化處理程序之晶片、電路板、電路、韌體、或已儲存程式碼之儲存裝置。指尖辨識器113例如是能夠進行畫面辨識程序之晶片、電路板、電路、韌體、或已儲存程式碼之儲存裝置。計算器114例如是能夠進行計算程序之晶片、電路板、電路、韌體、或已儲存程式碼之儲存裝置。

請參照第7A~7B圖，其繪示第6圖之各步驟的示意圖。在步驟S111中，如第7A圖所示，深度感測器111提供一不可見光L0。不可見光L0於物體反射後，深度感測器111擷取到一深度影像DI。在深度影像D1中，依據離深度感測器111的遠近，不同的物體會呈現不同的深度值。此些深度值可以是0~255的灰階值。

在步驟S112中，二值化處理器112對深度影像DI進行一二值化處理，以獲得物件區塊O1、O2、O3。在此步驟中，位於平面P0上方之各種物件，相對於平面P0明顯具有不同的深度值，故可以透過二值化處理程序區分出物件區塊O1、O2、O3。

在步驟S113中，指尖辨識器113自此些物件區塊O1、O2、O3辨識出指尖。在此步驟中，指尖辨識器113根據物件區塊O1、O2、O3之輪廓辨識出物件區塊O2為手臂、手掌或手指。接著，於物件區塊O2之末端辨識出指尖T0。

在步驟S114中，計算器114計算指尖T0之一指尖範圍R0之面積，以獲得指尖尺寸St。在此步驟中，指尖範圍R0係為指尖T0的一內接圓。

透過上述第6圖之步驟S111~S114即可完成第4圖之步驟S110，以獲得手指F0之指尖T0的指尖尺寸St。

接著，如第2圖所示，於第4圖之步驟S120中，於平面P0上方之一平行面P1提供一雷射光L1。在此步驟中，深度感測器111提供之不可見光L0與雷射光發單元120提供之雷射光L1的波長不同，以避免不可見光L0與雷射光L1產生干擾。

在此步驟中，如第2圖所示，平行面P1與平面P0之一距離D0小於5公釐。也就是說，平行面P1相當接近於平面P0，以確保使用者之指尖T0於平行面P1碰觸到雷射光L1的情況能夠視為使用者之指尖T0碰觸到平面P0的情況。

然後，在步驟S130，雷射光感測單元130擷取指尖T0反射雷射光L1之一反射影像RI。請參照第8圖，其繪示反射影像RI之示意圖。雷射光L1之波長係為不可見光範圍。雷射光感測單元130係針對雷射光L1的波長範圍進行偵測，以偵測出在雷射光L1是否有被指尖T0反射。

接著，在步驟S140中，處理單元140依據反射影像RI，獲得一反射區域R1。

然後，在步驟S150中，處理單元140依據指尖尺寸St調整一臨界值TH。自此步驟中，臨界值TH與指尖尺寸St成正相關。也就是說，步驟S110所獲得之指尖尺寸St越大時，處理單元140會調高臨界值TH；步驟S110所獲得之指尖尺寸St越小時，處理單元140會調低臨界值TH。

請參照下式(1)，權重值ω係為一預定數值，例如是介於0到1的小數。在一實施例中，權重值ω可以是0.4、0.5或0.6。

臨界值TH係為權重值ω乘上指尖尺寸St。也就是說，臨界值TH與指尖尺寸St成線性相關。臨界值TH例如是指尖尺寸St之0.4~0.6倍。

TH=ω＊St…………………………………………(1)

接著，在步驟S160中，處理單元140判斷反射區域R1之面積At是否大於臨界值TH。若反射區域R1之面積At大於臨界值TH，則進入步驟S170；若反射區域R1之面積At不大於臨界值TH，則進入步驟S180。

請參照下式(2)，當面積At大於臨界值TH時，手觸偵測結果isTap為1；當面積At不大於臨界值TH時，手觸偵測結果isTap為0。

在步驟S170中，處理單元140判定指尖T0接觸平面P0。在步驟S180中，處理單元140判定指尖T0未接觸平面P0。如此一來，即可正確判斷出指尖T0是否接觸平面P0。

在判斷出指尖T0接觸平面P0之後，可以利用雷射光感測單元130所擷取到的反射影像RI來分析出指尖T0所點選的座標位置，以進行後續對應的操作，例如是發出虛擬鋼琴VP的琴聲。

上述步驟S110~S160係於每一時間週期重複執行一次，所以每一次進行步驟S160的判斷時，皆先於步驟S150依據當時的指尖尺寸St來調整臨界值TH。因此，即使使用者交替地以拇指、小指等不同大小的手指觸碰平面P0，手觸偵測裝置100仍然可以敏銳地對應不同的指尖尺寸St來調整臨界值TH，使得手觸偵測的判斷更為精確。

此外，上述手觸偵測裝置100除了可以應用於智慧投影系統1000以外，手觸偵測裝置100亦可不搭配投影裝置200來進行其他的應用。請參照第9圖，其繪示手觸偵測裝置500應用於顯示面板600之示意圖。手觸偵測裝置500亦可應用於顯示面板600，而取代觸控面板。顯示面板600顯示畫面後，使用者可以在畫面上進行點選，再由手觸偵測裝置600辨識出指尖T0是否觸碰到顯示面板600以及指尖T0於顯示面板600上所觸碰之位置。

再者，請參照第10圖，其繪示手觸偵測裝置700應用於互動式電子白板800之示意圖。手觸偵測裝置700亦可應用於互動式電子白板800。使用者可以在互動式電子白板800上進行點選，再由手觸偵測裝置700辨識出指尖T0是否觸碰到互動式電子白板800以及指尖T0於互動式電子白板800上所觸碰之位置。

根據上述各種實施例所揭露之手觸偵測裝置100、500、700、手觸偵測方法及應用其之智慧投影系統100，其依據指尖尺寸St調整臨界值TH，以使不同大小的手指F0都能被正確判斷出其指尖T0是否接觸平面P0，而獲得正確的手觸偵測。

綜上所述，雖然本揭露已以較佳實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

Claims

一種手觸偵測方法，包括：獲得至少一手指之一指尖的一指尖尺寸；於一平面上方之一平行面提供一雷射光；擷取該指尖反射該雷射光之一反射影像；依據該反射影像，獲得一反射區域；依據該指尖尺寸調整一臨界值；判斷該反射區域之面積是否大於該臨界值；以及若該反射區域之面積大於該臨界值，則判定該指尖接觸該平面。
如申請專利範圍第1項所述之手觸偵測方法，其中獲得該手指之該指尖尺寸的步驟係依據一深度影像獲得該指尖之該指尖尺寸。
如申請專利範圍第1項所述之手觸偵測方法，其中獲得該指尖之該指尖尺寸的步驟包括：提供一不可見光，以擷取一深度影像；對該深度影像進行一二值化處理，以獲得複數個物件區塊；自該些物件區塊，辨識出該指尖；以及計算該指尖之一指尖範圍之面積，以獲得該指尖尺寸。
如申請專利範圍第3項所述之手觸偵測方法，其中該指尖範圍係為該指尖的一內接圓。
如申請專利範圍第3項所述之手觸偵測方法，其中該不可見光與該雷射光之波長不同。
如申請專利範圍第1項所述之手觸偵測方法，其中該臨界值與該指尖尺寸成正相關。
如申請專利範圍第1項所述之手觸偵測方法，其中該臨界值與該指尖尺寸成線性相關。
如申請專利範圍第1項所述之手觸偵測方法，其中該臨界值係為該指尖尺寸之0.4~0.6倍。
如申請專利範圍第1項所述之手觸偵測方法，其中該平行面與該平面之一距離小於5公釐。
一種手觸偵測裝置，包括一指尖尺寸提供單元，用以獲得一手指之一指尖的一指尖尺寸；一雷射光發射單元，用以於一平面上方之一平行面提供一雷射光；一雷射光感測單元，用以擷取該指尖反射該雷射光之一反射影像；以及一處理單元，用以依據該反射影像，獲得一反射區域，並依據該指尖尺寸調整一臨界值，該處理單元判斷該反射區域之面積是否大於該臨界值，若該反射區域之面積大於該臨界值，則該處理單元判定該指尖接觸該平面。
如申請專利範圍第10項所述之手觸偵測裝置，其中該指尖尺寸提供單元係依據一深度影像獲得該指尖之該指尖尺寸。
如申請專利範圍第10項所述之手觸偵測裝置，其中該指尖尺寸提供單元包括：一深度感測器，用以提供一不可見光，以擷取一深度影像；一二值化處理器，用以對該深度影像進行一二值化處理，以獲得複數個物件區塊；一指尖辨識器，用以自該些物件區塊辨識出該指尖；以及一計算器，用以計算該指尖之一指尖範圍之面積，以獲得該指尖尺寸。
如申請專利範圍第12項所述之手觸偵測裝置，其中該指尖範圍係為該指尖的一內接圓。
如申請專利範圍第12項所述之手觸偵測裝置，其中該不可見光與該雷射光之波長不同。
如申請專利範圍第10項所述之手觸偵測裝置，其中該臨界值與該指尖尺寸成正相關。
如申請專利範圍第10項所述之手觸偵測裝置，其中該臨界值與該指尖尺寸成線性相關。
如申請專利範圍第10項所述之手觸偵測裝置，其中該臨界值係為該指尖尺寸之0.4~0.6倍。
如申請專利範圍第10項所述之手觸偵測裝置，其中該平行面與該平面之一距離小於5公釐。
一種智慧投影系統，包括：一投影裝置，用以於一平面投影一畫面；以及一手觸偵測裝置，包括：一指尖尺寸提供單元，用以獲得一手指之一指尖的一指尖尺寸；一雷射光發射單元，用以於該平面上方之一平行面提供一雷射光；一雷射光感測單元，用以擷取該指尖反射該雷射光之一反射影像；及一處理單元，用以依據該反射影像，獲得一反射區域，並依據該指尖尺寸調整一臨界值，該處理單元判斷該反射區域之面積是否大於該臨界值，若該反射區域之面積大於該臨界值，則該處理單元判定該指尖接觸該平面。
如申請專利範圍第19項所述之智慧投影系統，更包括：一校正裝置，用以校正該手觸偵測裝置之座標系統及該投影裝置之座標系統。