TWI428802B - 碰觸感應操作系統及方法 - Google Patents

Description

碰觸感應操作系統及方法

本發明係有關於影像顯示幕之碰觸互動操作，特別是關於一種碰觸感應操作系統及一種碰觸感應操作方法。

以電腦裝置及投影裝置進行簡報時，使用者常面臨的問題是，光筆與影像顯示幕之間並無互動關係，因此無法透過光筆於投影畫面中的移動對電腦裝置產生操作命令。

為了解決前述問題常見的方法之一，是於影像顯示幕投影於一大型觸控板，直接以觸控板判斷影像顯示幕是否被碰觸。但大型觸控板成本高，且其設置使得投影裝置不利於在不同場所之間搬運使用。

在其他的先前技術中，亦有透過第二影像擷取裝置取得取樣畫面後，分析取樣畫面而判斷使用者是否以手或光筆碰觸影像顯示幕之技術手段。

例如中華民國新型專利M396446係先定義一偵測區域，當該偵測區域的影像被遮斷時，即代表使用者點觸該區域，但偵測區域被遮斷時，使用者並不必然點觸該區域。

中國大陸專利CN 03102675.3係利用多個第二影像擷取裝置取得手或光筆位置，並判斷手或光筆是否碰觸影像顯示幕；中國大陸CN200510009897.5、美國專利US 6,760,009也是利用多個第二影像擷取裝置取得手或光筆位置，但並無法判斷手或光筆是否碰觸影像顯示幕F。前述先前技術都必須先經過校正程序，確認影像顯示幕及各影像擷取裝置之間的相對位置後，影像擷取裝置相對於影像顯示幕的視角，才能透過這些相對位置、視角換算出手或光筆相對於影像顯示幕的距離，從而判斷手或光筆是否碰觸影像顯示幕。

鑑於上述問題，本發明提出一種碰觸感應操作系統及一種碰觸感應操作方法，係以相對簡單的技術手段判別影像顯示幕是否被碰觸。

本發明提出一種碰觸感應操作系統，用以判別一影像顯示幕是否被碰觸，以發出一對應該碰觸之執行命令。碰觸感應操作系統包含一第一影像擷取裝置、一第二影像擷取裝置及一資料處理裝置。

第一影像擷取裝置用以朝向影像顯示幕持續擷取一第一取樣畫面；其中影像顯示幕於第一取樣畫面中形成一第一參考影像。第二影像擷取裝置用以朝向影像顯示幕持續擷取一第二取樣畫面；其中影像顯示幕於第二取樣畫面中形成一第二參考影像。

資料處理裝置包含一座標系建立模組、一特徵點分析模組、一座標取得模組及一比對模組。

座標系建立模組用以於第一參考影像中建立一第一參考座標系，並於第二參考影像中建立一第二參考座標系；其中第一參考座標系及第二參考座標系互相映射。

特徵點分析模組用以自第一取樣畫面中分離一第一前景物體，並自第二取樣畫面中分離一第二前景物體；且特徵點分析模組於第一前景物體中定義一第一特徵點，並於第二前景物體中定義一對應於第一特徵點之第二特徵點。

座標取得模組用以取得第一特徵點於第一參考座標系的第一座標，與第二特徵點於第二參考座標系中的第二座標。

比對模組設定一距離門檻值，當第一座標及該第二座標之間的相對距離小於距離門檻值，比對模組發出對應碰觸之執行命令。

本發明進一步提出一種碰觸感應操作方法，用以判別一影像顯示幕是否被碰觸，以發出一對應該碰觸之執行命令，包含：於一第一位置以一第一視角朝向該影像顯示幕持續擷取一第一取樣畫面；其中該影像顯示幕於該第一取樣畫面中形成一第一參考影像；於一第二位置以一第二視角朝向該影像顯示幕持續擷取一第二取樣畫面；其中該影像顯示幕於該第二取樣畫面中形成一第二參考影像；於該第一參考影像中建立一第一參考座標系，並於該第二參考影像中建立一第二參考座標系；其中，該第一參考座標系及該第二參考座標系互相映射，而具有相同的維度及座標刻度範圍；自該第一取樣畫面中分離一第一前景物體，並自該第二取樣畫面中分離一第二前景物體；於該第一前景物體中定義一第一特徵點，並於該第二前景物體中定義對應於該第一特徵點之一第二特徵點；取得該第一特徵點於該第一參考座標系的第一座標，並取得該第二特徵點於該第二參考座標系中的第二座標；及載入一距離門檻值，比對該第一座標及該第二座標之間的相對距離與該距離門檻值，當該第一座標及該第二座標之間的相對距離小於該距離門檻值時，發出對應該碰觸之執行命令。

藉由上述之系統及方法，第一影像擷取裝置及第二影像擷取裝置只要能以不同視角擷取包含影像顯示幕之取樣影像，資料處理裝置即可判斷影像顯示幕是否被碰觸。第一影像擷取裝置及第二影像擷取裝置取得取樣影像的視角、第一影像擷取裝置或第二影像擷取裝置相對於影像顯示幕之間的相對距離等參數，於本發明判斷影像顯示幕是否被碰觸時並不需要，因此可以省去本發明碰觸感應操作系統使用前的校正程序，也簡化了碰觸感應操作系統的安裝配置程序。

請參閱「第1圖」所示，為本發明第一實施例所揭露之一種碰觸感應操作系統100，用以判別一影像顯示幕F是否被碰觸，以發出一對應該碰觸之執行命令。碰觸感應操作系統100包含一第一影像擷取裝置110、一第二影像擷取裝置120、一資料處理裝置130。

請參閱「第1圖」所示，影像顯示幕F之具體實施例包含液晶投影裝置、DLP投影裝置所投影之影像畫面，或為液晶顯示器、電漿顯示器等非投影式顯示裝置的顯示面，且以大尺寸者為最佳。

請參閱「第1圖」、「第2圖」及「第3圖」所示，第一影像擷取裝置110用以於第一位置，以一第一視角朝向影像顯示幕F持續擷取一第一取樣畫面S1，其中該第一取樣畫面S1涵蓋該影像顯示幕F之顯示範圍，使該影像顯示幕F於該第一取樣畫面S1中形成一第一參考影像R1。

如「第1圖」、「第2圖」及「第4圖」所示，該第一影像擷取裝置110與第二影像擷取裝置120之間保持一間隔距離G。第二影像擷取裝置120係用以於一第二位置，以一第二視角朝向影像顯示幕F持續擷取一第二取樣畫面S2，其中該第二取樣畫面S2同樣可以涵蓋該影像顯示幕F之顯示範圍，使該影像顯示幕F於該第二取樣畫面S2中形成一第二參考影像R2。

於本發明一具體實施態樣中，第一影像擷取裝置110及第二影像擷取裝置120分別為互補型金氧半導體(CMOS)或感光耦合元件(CCD)。

請參閱「第1圖」所示，第一影像擷取裝置110及第二影像擷取裝置120電性連接於資料處理裝置130，使該資料處理裝置130接收該第一取樣畫面S1及該第二取樣畫面S2。

如「第5圖」所示，資料處理裝置130至少包含一座標系建立模組131、一特徵點分析模組132、一座標取得模組133及一比對模組134。座標系建立模組131、特徵點分析模組132、座標取得模組133及比對模組134之具體實施例，可為各自獨立之硬體模組；或，座標系建立模組131、特徵點分析模組132、座標取得模組133及比對模組134可分別為軟體模塊，分別由一控制模組載入不同的程式碼並執行後產生。

如「第3圖」、「第4圖」及「第5圖」所示，座標系建立模組131用以於第一參考影像R1中建立一第一參考座標系C1，於第二參考影像S2中建立一第二參考座標系C2。其中，第一參考座標系C1及第二參考座標系C2互相映射，而具有相同的維度及座標刻度範圍。

如「第3圖」、「第4圖」及「第5圖」所示，特徵點分析模組132自該第一取樣畫面S1中分離一第一前景物體O1，並且，特徵點分析模組132自該第二取樣畫面S2中分離一第二前景物體O2。第一前景物體O1及第二前景物體O2係為互相對應，實際上，第一前景物體O1及第二前景物體O2都是由位於影像顯示幕F前的同一前景物體O(例如「第1圖」之演講者)所形成。

接著，特徵點分析模組132於第一前景物體O1中定義一第一特徵點E1，並於第二前景物體O2中定義一對應於該第一特徵點E1之第二特徵點E2。

如「第3圖」、「第4圖」及「第5圖」所示，第一特徵點E1及第二特徵點E2可為可為使用者之手部或是光筆的前端發光部分(如「第1圖」中，前景物體O之特徵點E)。找出第一特徵點E1及第二特徵點E2之方式，係於特徵點分析模組132載入至少一特徵模型，用以比對於第一前景物體O1及第二前景物體O2，即可找出第一前景物體O1及第二前景物體O2中符合特徵模型的像素群，以分別作為第一特徵點E1及第二特徵點E2。前述找出第一特徵點E1及第二特徵點E2的方式僅是一範例，於影像處理領域中，具有通常知識者當可依據第一特徵點E1及第二特徵點E2之解釋，完成定義第一特徵點E1及第二特徵點E2之技術手段。前述之第一特徵點E1及第二特徵點E2並不必然為使用者之手部，亦可為筆、桿體、光筆之發光部分等。

如「第2圖」、「第3圖」、「第4圖」及「第5圖」所示，座標取得模組133用以分析第一前景影像O1、第二前景影像O2、第一特徵點E1及第二特徵點E2，用以取得第一特徵點E1於第一參考座標系C1的第一座標P1，與第二特徵點E2於第二參考座標系C2中的第二座標P2。

建立第一參考座標系C1及第二參考座標系C2之具體實施方式為，影像顯示幕F於顯示影像時，以極短的時間插入一參考影像，該參考影像具有複數個網紋格，用以於影像顯示幕F中提供座標格點，以供座標系建立模組131用以於第一參考影像R1中建立第一參考座標系C1，於第二參考影像S2中建立第二參考座標系C2。依據第一特徵點E1於第一參考影像R1中的相對位置，座標取得模組133可取得第一特徵點E1於第一參考座標系C1的第一座標P1；同樣地，依據第二特徵點E2於第二參考影像S2中的相對位置，座標取得模組133可取得第二特徵點E2於第二參考座標系C2的第二座標P2。

如「第2圖」、「第3圖」及「第4圖」所示，當前景物體O之特徵點E於第一影像擷取裝置110及第二影像擷取裝置120之前不斷移動時，由於視角之差異，因此第一特徵點E1於第一參考座標系C1的第一座標P1，與第二特徵點E2於第二參考座標系C2中的第二座標P2也會不同。

如「第6圖」、「第7圖」及「第8圖」所示，當前景物體O之特徵點E逐漸接近影像顯示幕F時，第一座標P1及第二座標P則會不斷的接近。因此比對模組134係持續地接收第一座標P1及第二座標P2之間的相對距離；比對模組134中更設定一距離門檻值，當第一座標P1及第二座標P2之間的相對距離小於該距離門檻值，則比對模組134將第一座標P1及第二座標P2之間的相對距離視為重疊。

如「第6圖」所示，當第一座標P1及第二座標P2之間的相對距離小於該距離門檻值，甚至等於零而重疊時，代表產生前景物體O之特徵點E(例如使用者以的手掌)接觸該影像顯示幕F，此時，比對模組134便決定該前景物體O的特徵點E於三維空間中已碰觸影像顯示幕F，而發出對應該碰觸之執行命令。

例如，於使用投影片進行簡報時，使用者可以採用以手碰觸影像顯示幕F一下，作為「換下一頁」的操作，使得比對模組134發出執行「換下一頁」，而改變影像顯示幕F顯示的投影片；或使用者可以採用連續碰觸一下，作為「回上一頁」的操作，使得資料處理裝置130執行「回上一頁」。

藉由上述之系統，第一影像擷取裝置110及第二影像擷取裝置120只要能以不同視角擷取包含影像顯示幕F之取樣影像，資料處理裝置130即可判斷影像顯示幕F是否被碰觸。

如「第9圖」所示，資料處理裝置130之具體實施例可為一電腦主機，載入並執行一作業系統，並根據使用者之操作，而載入並執行一應用程式。資料處理裝置130透過一顯示介面輸出一顯示訊號，用以使該影像顯示幕顯示影像。如前所述，影像顯示幕F之具體實施例為一投影裝置140所投影之影像畫面。投影裝置140接收該資料處理裝置130之顯示訊號，從而進行投影而產生該影像顯示幕F上的影像畫面。

如「第10圖」所示，影像顯示幕F之另一具體實施例為一顯示裝置150的顯示面。顯示裝置150接收該資料處理裝置130之顯示訊號，從而以顯示面產生影像畫面而成為該影像顯示幕F。

參閱「第9圖」及「第10圖」，如前述應用例，資料處理裝置130執行「換下一頁」，或「回上一頁」的執行命令時，便可改變顯示介面所輸出之顯示訊號，從而使得投影裝置140或顯示裝置150改變影像顯示幕F的內容。

請參閱「第11圖」所示，為本發明第二實施例所揭露之一種碰觸感應操作系統100，用以判別一影像顯示幕F是否被碰觸，以發出一對應該碰觸之執行命令。碰觸感應操作系統100包含一第一影像擷取裝置110、一第二影像擷取裝置120、一資料處理裝置130。

如「第11圖」所示，第二實施例之碰觸感應操作系統100進一步包含一框架160，該第一影像擷取裝置110及該第二影像擷取裝置120與設置於該框架160上，而可快速架設該第一影像擷取裝置110及該第二影像擷取裝置120。

請參閱「第12圖」所示，為本發明第三實施例所揭露之一種碰觸感應操作系統100，包含一第一影像擷取裝置110、一第二影像擷取裝置120、一資料處理裝置130、一投影裝置140及一框架160。第一影像擷取裝置110、第二影像擷取裝置120及投影裝置140，設置於該框架160上，而可快速架設該第一影像擷取裝置110、該第二影像擷取裝置120及該投影裝置140。

如「第13圖」及「第14圖」所示，係為本發明所提出之一種碰觸感應操作方法，用以判別一影像顯示幕F是否被碰觸，以發出一對應該碰觸之執行命令。

依據本發明提出之碰觸感應操作方法之實施方式，係提供一程式碼，供資料處理裝置130載入並執行，而執行下列步驟；所述程式碼儲存於一電腦可讀取儲存媒體，或透過一電腦程式產品傳送。

以一第一影像擷取裝置110，於一第一位置以一第一視角朝向影像顯示幕F持續擷取一第一取樣畫面S1，如步驟Step 111所示。其中該影像顯示幕F於該第一取樣畫面S1中形成一第一參考影像R1。

於此同時，以一第二影像擷取裝置120，於一第二位置以一第二視角朝向影像顯示幕F持續擷取一第二取樣畫面S2，如步驟Step 112所示。其中該影像顯示幕F於該第二取樣畫面S2中形成一第二參考影像R2。

資料處理裝置130接收第一取樣畫面S1，以座標系建立模組131於第一參考影像R1中建立一第一參考座標系C1，如步驟Step 121所述。

同時，資料處理裝置130接收第二取樣畫面S2，以座標系建立模組131於第二參考影像S2中建立一第二參考座標系C2，如步驟Step 122。其中，第一參考座標系C1及第二參考座標系C2互相映射，而具有相同的維度及座標刻度範圍。

接著，資料處理裝置130以特徵點分析模組132自該第一取樣畫面S1中分離一第一前景物體O1，如步驟Step 131所示。

同時，資料處理裝置130以特徵點分析模組132自該第二取樣畫面S2中分離一第二前景物體O2，如步驟Step 132所示。

資料處理裝置130以特徵點分析模組132於第一前景物體O1中定義一第一特徵點E1，如步驟Step 141所示。

同時，資料處理裝置130以特徵點分析模組132於第二前景物體O2中定義一第二特徵點E2，對應於該第一特徵點E1，如步驟Step 142所示。

資料處理裝置130以座標取得模組133分析第一前景影像O1、第二前景影像O2、第一特徵點E1及第二特徵點E2，取得第一特徵點E1於第一參考座標系C1的第一座標P1，與第二特徵點E2於第二參考座標系C2中的第二座標P2，如步驟Step 150所示。

接著，比對模組134載入一距離門檻值，如步驟Step 160所示；比對第一座標P1及第二座標P2之間的相對距離與該距離門檻值，如步驟Step 170所示。

當第一座標P1及第二座標P2之間的相對距離小於該距離門檻值時，比對模組134便決定該前景物體O的特徵點E於三維空間中已碰觸影像顯示幕F，而發出對應該碰觸之執行命令，如步驟Step 180所示。

於本發明提出之碰觸感應操作系統100及碰觸感應操作方法中，影像顯示幕F上不需要設置感測器。本發明透過影像分析的方式，即可偵測人體對於影像顯示幕F之碰觸，前述之影像分析中，亦可結合其他分析步驟，更進一步地取得碰觸座標等資訊，簡化觸控操作所需要的技術手段。此外，本發明判斷座標時，係以取樣畫面S本身之像素矩陣作為座標系，並不需要對外部座標系進行校正程序，也大幅簡化了操作碰觸感應操作系統100的前置程序。

100．．．碰觸感應操作系統

110．．．第一影像擷取裝置

120．．．第二影像擷取裝置

130．．．資料處理裝置

131．．．座標系建立模組

132．．．特徵點分析模組

133．．．座標取得模組

134．．．比對模組

140．．．投影裝置

150．．．顯示裝置

160．．．框架

F．．．影像顯示幕

S1．．．第一取樣畫面

S2．．．第二取樣畫面

R1．．．第一參考影像

R2．．．第二參考影像

G．．．間隔距離

C1．．．第一參考座標系

C2．．．第二參考座標系

O1．．．第一前景物體

O2．．．第二前景物體

E．．．特徵點

E1．．．第一特徵點

E2．．．第二特徵點

P1．．．第一座標

P2．．．第二座標

第1圖為本發明第一實施例之碰觸感應操作系統之示意圖。

第2圖為本發明第一實施例之第一影像擷取裝置、第二影像擷取裝置、影像顯示幕及前景物體之相對位置示意圖。

第3圖及第4圖為本發明第一實施例中，第一取樣畫面及第二取樣畫面之示意圖。

第5圖為本發明第一實施例中，資料處理裝置之系統方塊圖。

第6圖為本發明第一實施例之第一影像擷取裝置、第二影像擷取裝置、影像顯示幕及前景物體之相對位置示意圖。

第7圖及第8圖為本發明第一實施例中，第一取樣畫面及第二取樣畫面之示意圖。

第9圖及第10圖為本發明第一實施例之碰觸感應操作系統之變化例。

第11圖為本發明第二實施例之碰觸感應操作系統之示意圖。

第12圖為本發明第三實施例之碰觸感應操作系統之示意圖。

第13圖及第14圖為本發明之碰觸感應操作方法之流程圖。

Claims (10)

1. 一種碰觸感應操作系統，用以判別一影像顯示幕是否被碰觸，以發出一對應該碰觸之執行命令，該碰觸感應操作系統包含：一第一影像擷取裝置，用以朝向該影像顯示幕持續擷取一第一取樣畫面；其中該影像顯示幕於該第一取樣畫面中形成一第一參考影像；一第二影像擷取裝置，用以朝向該影像顯示幕持續擷取一第二取樣畫面；其中該影像顯示幕於該第二取樣畫面中形成一第二參考影像；及一資料處理裝置，包含：一座標系建立模組，用以於該第一參考影像中建立一第一參考座標系，並於該第二參考影像中建立一第二參考座標系；其中該第一參考座標系及該第二參考座標系互相映射；一特徵點分析模組，用以自該第一取樣畫面中分離一第一前景物體，並自該第二取樣畫面中分離一第二前景物體；且該特徵點分析模組於該第一前景物體中定義一第一特徵點，並於該第二前景物體中定義一對應於該第一特徵點之第二特徵點；一座標取得模組，用以取得該第一特徵點於該第一參考座標系的第一座標，與該第二特徵點於該第二參考座標系中的第二座標；及一比對模組，其設定一距離門檻值，當該第一座標及該第二座標之間的相對距離小於該距離門檻值，該比對模組發出對應該碰觸之執行命令。
2. 如請求項1所述之碰觸感應操作系統，其中該第一影像擷取裝置與第二影像擷取裝置之間保持一間隔距離。
3. 如請求項1所述之碰觸感應操作系統，其中該特徵點分析模組載入至少一特徵模型，用以比對於該第一前景物體及該第二前景物體，以找出該第一前景物體及該第二前景物體中符合特徵模型的像素群，以分別作為該第一特徵點及該第二特徵點。
4. 如請求項1所述之碰觸感應操作系統，其中該座標取得模組依據該第一特徵點於該第一參考影像中的相對位置，取得該第一座標；且該座標取得模組依據該第二特徵點於該第二參考影像中的相對位置，取得該第二座標。
5. 如請求項1所述之碰觸感應操作系統，更包含一框架，其中該第一影像擷取裝置與該第二影像擷取裝置設置於該框架上。
6. 如請求項5所述之碰觸感應操作系統，更包含一投影裝置，設置於該框架上。
7. 如請求項1所述之碰觸感應操作系統，其中該座標系建立模組、該特徵點分析模組、該座標取得模組及該比對模組分別由一控制模組載入不同的程式碼並執行後產生。
8. 如請求項1所述之碰觸感應操作系統，其中該資料處理裝置透過一顯示介面輸出一顯示訊號，用以使該影像顯示幕顯示影像。
9. 一種碰觸感應操作方法，用以判別一影像顯示幕是否被碰觸，以發出一對應該碰觸之執行命令，包含：於一第一位置以一第一視角朝向該影像顯示幕持續擷取一第一取樣畫面；其中該影像顯示幕於該第一取樣畫面中形成一第一參考影像；於一第二位置以一第二視角朝向該影像顯示幕持續擷取一第二取樣畫面；其中該影像顯示幕於該第二取樣畫面中形成一第二參考影像；於該第一參考影像中建立一第一參考座標系，並於該第二參考影像中建立一第二參考座標系；其中，該第一參考座標系及該第二參考座標系互相映射，而具有相同的維度及座標刻度範圍；自該第一取樣畫面中分離一第一前景物體，並自該第二取樣畫面中分離一第二前景物體；於該第一前景物體中定義一第一特徵點，並於該第二前景物體中定義對應於該第一特徵點之一第二特徵點；取得該第一特徵點於該第一參考座標系的第一座標，並取得該第二特徵點於該第二參考座標系中的第二座標；及載入一距離門檻值，比對該第一座標及該第二座標之間的相對距離與該距離門檻值，當該第一座標及該第二座標之間的相對距離小於該距離門檻值時，發出對應該碰觸之執行命令。
10. 如請求項9所述之碰觸感應操作方法，其中找出該第一特徵點及該第二特徵點之步驟包含：載入至少一特徵模型；將該特徵模型比對於該第一前景物體及該第二前景物體；及找出該第一前景物體及該第二前景物體中符合該特徵模型的像素群，以分別作為該第一特徵點及該第二特徵點。