TWI407333B - 一種以攝影機為基礎之人機互動方法及裝置 - Google Patents

Description

一種以攝影機為基礎之人機互動方法及裝置

本發明係關於一種以攝影機為基礎之人機互動方法，以一攝影機對螢幕顯示器拍攝，對拍攝的影像進行影像處理技術，即可計算螢幕顯示器於拍攝影像中的相關座標值，並換算出攝影機對螢幕顯示器間之相對關係，進而達成互動控制的目的。

近年來，隨著科技的不斷演進創新，新一代顯示器的價格持續的下降，高畫質及大尺寸的顯示器將逐漸的取代傳統的映像管顯示器(CRT)，其新一代顯示器包括電漿顯示器(PDP)，液晶顯示器(LCD)及投影機(projector)。儘管，傳統的映像管顯示器逐漸的取代，但與其配合的相關技術或應用並無法應用於新一代顯示器中。而大型機台或家庭遊戲機的第一人稱射擊遊戲就是其中一個例子，習知的光線槍機制是利用映像管顯示器畫面成像掃瞄同步的特性，辨識光線槍所瞄準的靶心，玩家即可使用傳統的光線槍進行第一人稱的射擊遊戲。但礙於平面顯示器非掃瞄線成像的因素，使得傳統的光線槍便無法適用於新一代的顯示器中，限制了玩家對於第一人稱槍戰的觀感與熱度。

習知之技術，利用攝影方式進行指標定位之裝置(專利公告號：00588258)，利用攝影機對螢幕顯示器之顯示區域影像先作描邊處理，藉以獲得顯示區域的四個角在影像中的座標值，再計算出攝影機瞄準點的座標值，解決舊型光槍不適用於平面顯示器之問題。然而，拍攝影像不單只包括螢幕顯示器之影像，其描邊處理後必包括許多背景物體之邊界資訊，勢必會增加系統在辨識螢幕顯示器上之困難度。此缺點將會影響使用者在操作上的流暢度。

基於上述習知技術之缺點，本發明提供一種新的人機互動方法，藉由一移動式攝影機拍攝螢幕顯示器，對拍攝影像中之 定位標記進行影像處理技術，即可計算出攝影機中心對螢幕顯示畫面內的瞄準座標值，進而達成人機互動控制的目的。其定位標記為不同排序之RGB色塊組合，可降低顯示影像外其它物體像素的干擾，大幅度的提升系統辨識螢幕顯示器於拍攝影像之座標值。此外，若攝影機擷取畫面只能取得部分之螢幕顯示器影像，依然能達到互動的功能，不受螢幕顯示器種類及攝影機必須拍攝完整螢幕顯示器影像之限制。

本發明係關於一種以攝影機為基礎之人機互動方法，透過此裝置可幫助使用者在透過機上盒或多媒體中心進行互動式選單點選時，大幅度的提升使用者操控的便利性；此外，亦可解決習知光線槍不適用於新一代顯示器的窘境。此發明藉由設計獨特的定位標記附加於螢幕顯示器播放畫面中，以攝影機對螢幕顯示器拍攝，對拍攝的影像進行影像處理技術，即可定義螢幕顯示器於拍攝影像中的相關座標值，並換算出攝影機中心對螢幕顯示畫面內的瞄準座標，進而達成互動控制的目的。本發明所完成的攝影機定位裝置具有以下的特色：

1. 不受限於螢幕顯示器的種類，提升此裝置於未來系統整合的應用價值。

2. 除了攝影機外，不需要外加額外的感應器輔助螢幕顯示器的定位。

3. 本裝置使用場合之背景複雜度與環境光源容忍度高，保持極高的系統執行穩定度與準確度。

4. 此發明更貼近人性的操控特性，以絕對指向取代相對位移的方式，藉由攝影機的指向的動作來操控滑鼠游標的移動。

5. 系統於執行的過程中未拍攝完整的螢幕顯示器時，亦能計算出攝影機中心對螢幕顯示畫面內的瞄準座標值，能讓使用者不受限制的控制滑鼠游標之移動。

為達成上述的功能及特色，本發明所設計的定位標記及採用的影像處理技術，茲繪圖就本發明之較佳實施例詳加說明其方法與步驟，有助於對本發明案的全盤瞭解。

為了使本發明的特徵與產業的利用價值，茲藉由具體之實施例配合所附圖示，對本發明之攝影機游標定位裝置做詳細的描述。本發明之操作示意圖如圖一所示，目的在於提供使用者(1)以移動式攝影機控制電腦滑鼠游標。而其工作原理係利用一視訊攝影機作為影像擷取輸入裝置(如圖二)，拍攝電腦顯示於顯示器(2)上的畫面，此顯示器包含外投影機(extra-projector)、內投影機(intra-projector)、液晶顯示器(LCD)及電漿顯示器(plasma)，對拍攝的影像進行影像處理技術，即可計算螢幕顯示器於拍攝影像中的相關座標值，並換算出攝影機中心對螢幕顯示畫面內的瞄準座標，藉此控制電腦滑鼠游標之移動。換言之，當使用者手持移動式攝影機裝置(7)時，以其中心點瞄準螢幕顯示器內之位置時(3)，此時本系統會使電腦滑鼠游標(4)即時移動至攝影機瞄準之位置。同理，當使用者中心點瞄準螢幕顯示器內的另一位置時(5)，同時使電腦滑鼠游標(6)即時依據攝影機瞄準的位置做移動。此外，本系統的移動式攝影機裝置(7)如圖二所示，由一般的視訊攝影機模組及滑鼠模組所組成，利用視迅攝影機模組之鏡頭(8)擷取螢幕顯示器之影像，並利用滑鼠模組之按鍵觸發，提供使用者左鍵(9)及右鍵(10)之點選功能。

本發明之人機互動方法，是將四組不同排序的R、G、B組合色塊標記，搭配播放影像共同顯示於顯示器所顯示的畫面中，經由攝影機拍攝螢幕顯示畫面後，辨識出此四組定位標記之位置，藉以定義出螢幕顯示器於拍攝影像中的座標值，進一步換算出攝影機拍攝中心於顯示畫面中所瞄準的位置。其定位標記主要放置於螢幕顯示畫面的左上角(11)，右上角(12)，右下角(13)，左下角(14)的R、G、B組合色塊(如圖三所示)。螢 幕顯示畫面中的四個頂角標記都為不同的RGB排列組合，目的在於降低螢幕顯示畫面中其它RGB顏色像素的干擾，大幅度的提升定位標記於顯示畫面中的獨特性。

本發明之方法架構圖如圖四，其中方塊圖A(15)為影像擷取程序；方塊圖B(16)為本系統的影像校正程序，對擷取的影像進行色彩及亮度校正；方塊圖C(17)為本系統定位標記即時辨識程序，係利用數位影像處理技術從擷取的影像中辨識出定位標記的位置，並即時追蹤之；方塊圖D(18)為滑鼠游標控制程序。

A. 影像擷取程序

由於本發明之核心技術係藉由數位影像處理之方法，即時辨識螢幕顯示畫面內定位標記的座標，故必須確保攝影機能夠清楚的拍攝到螢幕顯示畫面中的定位點。於考量開發成本及後續的應用價值之後，以一般市面上的網路攝影機作為影像擷取裝置，其網路攝影機之影像取樣頻率介於每秒二十五張影像以上，可確保游標定位的流暢度。而影像擷取大小為320x240像素的影像，以24位元之RGB格式輸入。

B. 影像校正程序

由於輸入影像之格式為RGB，而RGB色彩空間是一傳統的影像格式，係以紅、藍、綠三元色所組成，將亮度(luminance)與彩度(chrominance)成份同時混合於紅、藍、綠三元色中，藉由三元色的成份比例呈現影像中像素的顏色，為高度互相相依的色彩模型。因此當環境光源改變時，攝影機所拍攝之影像勢必會隨之改變。礙於RGB色彩空間亮度與彩度混和的特性，光源的影響將會平均的分佈於R、G、B色彩頻帶中，可能導致以顏色為基礎之影像處理效果呈現不穩定的現象。故為了要降低或消除環境光源變動的影響，提升系統辨識顏色定位 標記的辨識率，本系統以預先建立的多種光源色彩索引表，修正拍攝影像中的色彩亮度與飽和度。其中色彩索引表係利用攝影機於多種不同環境光源下，拍攝螢幕顯示畫面中不同色度的定位標記，並量測擷取畫面中的定位標記之顏色值，以此方式建立適用於多重環境光源下的色彩索引表，確保系統辨識定位標記的準確性及穩定性。

C. 定位標記即時辨識程序

由於拍攝影像中除了含有螢幕顯示器之畫面，亦會包含螢幕顯示器背景物體之畫面，且螢幕顯示器之背景物體顏色不可預期。因此，為了辨識所偵測的RGB定位標記為顯示畫面中的定位標記，而非影像背景中相似RGB顏色的物體。故於拍攝影像中，除了以RGB顏色資訊作為辨識RGB定位標記之首要條件之外，亦要判斷RGB色塊是否相鄰且符合定位點設計之排列方式。本系統利用四角落定位標記的獨特排序方式，即可定義出螢幕顯示器於拍攝影像中的座標值。藉由比較|RB|與|GB|之距離差異即可區分出左半部及右半部的標記，若|RB|小於|GB|之情況發生時，則判斷此RGB標記為左半部的角落點標記；反之|RB|大於|GB|為右半部的角落點標記。若再計算|RG|與|RB|的外積值Z即可分辨出上半部與下半部的標記，若外積值Z大於零則判斷為下半部之角落點標記；反之，外積值Z小於零則判斷為上半部之角落點標記。因此，藉由|RB|與|GB| 之距離差異及|RG|與|RB|之外積值此兩組條件判斷式，即可定義出定位標記於螢幕顯示畫面中的相對關係。以左圖定位標記為例，|BR|小於|BG|，則判斷此RGB標記為左半部的角落點標記，再加上|RG|與|RB|的外積值Z小於零，則為上半部，故此定位點為 螢幕顯示畫面之左上角之定位點。最終，依據此方式，即可定義出螢幕顯示畫面中四個定位標記，根據拍攝影像座標原點(21)，取得螢幕顯示器(19)之顯示畫面中的四個定位標記座標值。此外，若攝影機拍攝畫面只能取得一個或二個定位標記點時，將依據先前成功擷取之螢幕顯示器之比例尺寸，換算出未偵測到之螢幕顯示器之角落點座標。因此，系統於執行的過程中未拍攝完整的螢幕顯示器時，亦能持續的計算出螢幕顯示器於拍攝影像中之四個角落座標值。

D. 滑鼠游標控制程序

取得螢幕顯示器(19)於拍攝影像(20)之座標資訊後(圖五)，根據拍攝影像座標原點(21)，可定義拍攝影像中心點座標值(22)與四個定位標記之座標值之間的相關位置，其拍攝影像中心點即為攝影機瞄準點。因此，即可換算出攝影機拍攝中心點對螢幕顯示畫面內的瞄準座標，以控制電腦滑鼠游標之定位。此外，於執行的過程中即使只拍攝到一個或二個定位點標記，本系統依然能估計出攝影機拍攝中心點對螢幕顯示畫面內的瞄準座標，能讓使用者不受限制的控制滑鼠游標之移動。

本發明之人機互動方法，係將四組不同排序的R、G、B組合定位標記，搭配播放影像共同顯示於顯示器所顯示的畫面中，經由攝影機拍攝螢幕顯示畫面後，辨識出此四組定位標記之位置，藉以定義出螢幕顯示器於拍攝影像中的座標值，進一步換算出攝影機拍攝中心於顯示畫面中所瞄準的位置。本系統方法的優點在於，不需於螢幕顯示器外框多加其它額外的硬體裝置，以協助系統於拍攝影像中定義螢幕顯示器之座標值。其中本發明所設計之定位標記之形式(數量、形狀、顏色、大小、位置及組合)，若以其它形式呈現於螢幕顯示畫面中有助於定位，仍不脫本發明申請專利範圍之範疇。再者，本發明所採用之影像處理所採用的方法步驟，若以硬體方式實現亦不脫本發 明申請專利範圍之範疇。

1‧‧‧使用者

2‧‧‧顯示器

3‧‧‧移動式攝影機裝置

4‧‧‧電腦滑鼠游標

5‧‧‧移動式攝影機裝置

6‧‧‧電腦滑鼠游標

7‧‧‧移動式攝影機裝置

8‧‧‧攝影機模組之鏡頭

9‧‧‧滑鼠左鍵點擊之按鈕

10‧‧‧滑鼠右鍵點擊之按鈕

11‧‧‧左上角之定位點

12‧‧‧右上角之定位點

13‧‧‧右下角之定位點

14‧‧‧左下角之定位點

15‧‧‧方塊圖A

16‧‧‧方塊圖B

17‧‧‧方塊圖C

18‧‧‧方塊圖D

19‧‧‧螢幕顯示器

20‧‧‧拍攝影像

21‧‧‧拍攝影像座標原點

22‧‧‧拍攝影像中心點座標值

圖一表示本發明實施例之操作示意圖。

圖二表示本發明實施例之移動式攝影機裝置。

圖三表示本發明實施例之定位標記。

圖四表示本發明實施例之方法架構圖。

圖五表示本發明實施例之滑鼠游標控制機制示意圖。

1‧‧‧使用者

2‧‧‧顯示器

3‧‧‧移動式攝影機裝置

4‧‧‧電腦滑鼠游標

5‧‧‧移動式攝影機裝置

6‧‧‧電腦滑鼠游標

Claims (14)

1. 一種以攝影機為基礎之人機互動方法，藉由一移動式攝影機拍攝螢幕顯示器，對拍攝影像中之定位標記進行影像處理技術，該定位標記可搭配播放影像共同顯示於顯示器所顯示的畫面中，即可計算出攝影機中心對螢幕顯示畫面內的瞄準座標值，進而達成人機互動的目的。
2. 如申請專利範圍第1項所述之以攝影機為基礎之人機互動方法，其中該顯示器可以為外投影器(extra-projector)、內投影器(intra-projector)、液晶顯示器(LCD)及電漿顯示器(plasma)。
3. 如申請專利範圍第1項所述之以攝影機為基礎之人機互動方法，以影像處理技術偵測螢幕顯示畫面中的定位標記，其方法包括影像擷取程序、影像校正程序及定位標記即時辨識程序。
4. 如申請專利範圍第3項所述之以攝影機為基礎之人機互動方法，影像校正程序係為建立適用於多重環境光源下的色彩索引表，修正拍攝影像中的色彩亮度與飽和度，確保系統辨識定位標記的準確性及穩定性。
5. 如申請專利範圍第3項所述之以攝影機為基礎之人機互動方法，定位標記即時辨識程序係以RGB顏色資訊及RGB色塊排列方式作為辨識定位標記之條件。
6. 如申請專利範圍第3項所述之以攝影機為基礎之人機互動方法，其中該影像處理技術可於任意作業平台之電腦中執行，亦可實現於晶片中，附加於更多的裝置上做為整合之應用。
7. 如申請專利範圍第6項所述之以攝影機為基礎之人機互動方法，可應用於數位機上盒(set-top box)或多媒體中心(media center)的遙控器中，提供使用者操控顯示畫面中的內容選單。
8. 如申請專利範圍第6項所述之以攝影機為基礎之人機互動 方法，可應用於電腦的輸入裝置中，提供使用者操控電腦滑鼠游標。
9. 如申請專利範圍第6項所述之以攝影機為基礎之人機互動方法，可應用於遊戲機台的光線槍中，提供使用者進行射擊遊戲。
10. 如申請專利範圍第1項所述之以攝影機為基礎之人機互動方法，其定位標記之顏色、數量、大小、位置、形狀及組合係為大幅度提升系統辨識定位標記之準確性，有利於拍攝影像中計算螢幕顯示器四個角落的座標值。
11. 如申請專利範圍第1項所述之以攝影機為基礎之人機互動方法，其定位標記之顏色、數量、大小、位置、形狀及組合，可依據播放影像的內容做調整，以利定位。
12. 如申請專利範圍第1項所述之以攝影機為基礎之人機互動方法，亦可以實體方式黏貼於螢幕顯示器表面上，以利定位。
13. 如申請專利範圍第1項所述之以攝影機為基礎之人機互動方法，於執行的過程中未拍攝完整的螢幕顯示器之播放影像時，亦可計算出攝影機中心對螢幕顯示畫面內的瞄準座標值，進而達成人機互動控制的目的。
14. 一種用在根據申請專利範圍第1至13項任一項所述之以攝影機為基礎之人機互動方法之裝置。