TWI509468B - 影像定位方法及使用該方法之互動影像系統 - Google Patents

Description

影像定位方法及使用該方法之互動影像系統

本發明係關於一種指向系統，特別係關於一種影像定位方法及使用該方法之互動影像系統。

一互動式影像系統通常利用一影像感測器連續擷取包含有至少一參考點影像之複數影像圖框，並根據該參考點影像於該等影像圖框間之位置變化來相對控制一電子裝置，例如控制一顯示畫面上一游標之動作。為了正確對該游標進行控制，首先必須能夠於該等影像圖框中正確定位該參考點影像。

例如美國專利第7,796,116號，標題為「用於根據手持視覺的絕對指向系統之電子裝備(electronic equipment for handheld vision based absolute pointing system)」揭示一種影像定位方法；例如參照第1A圖所示，該影像定位方法包含下列步驟：決定一影像圖框9中每一像素之一強度值；決定包含一參考點影像91之一矩形範圍92；判斷該矩形範圍92中高於一預設門檻值之複數有效像素；以及根據每一個有效像素之該強度值及一像素位置決定該參考點影像91之座標。

然而，習知影像定位方法中，係假設該影像圖框9中之雜訊亮度不會高於該預設門檻值的前提下來進行該參考點影像91之定位。然而，實際上當該矩形範圍92中存在有雜訊時，可能會使部分像素之該強度值高於該預設門檻值，例如第1B圖中之像素921。此時，若根據習知影像定位方法計算該參考點影像91之座標時，即可能出現座標偏移的情形。

此外，該參考點影像91的範圍內，也有可能存在雜訊而使得部份像素之該強度值低於該預設門檻值，例如第1B圖中之像素911。此時，若根據習知影像定位方法計算參考點影像91之座標時，同樣可能出現座標偏移的情形。若所計算出之參考點影像91之座標不正確，將導致誤控制的情形發生。

有鑑於此，本發明另提出一種影像定位方法及使用該方法之互動影像系統，其可有效排除雜訊干擾以增加定位精確度及穩定性。

本發明之一目的在提供一種影像定位方法及使用該方法之互動影像系統，其其透過比較一物件影像與一尺寸門檻值以及辨識一參考點影像是否為空心影像，藉以排除雜訊及環境光之干擾。

本發明提供一種影像定位方法，包含下列步驟：使用一影像感測器擷取一影像圖框；使用一處理單元辨識該影像圖框中至少一物件影像；使用該處理單元比較該物件影像之一物件影像尺寸與一尺寸門檻值，並將該物件影像尺寸大於該尺寸門檻值之該物件影像辨識為一參考點影像；以及使用該處理單元定位該參考點影像。

本發明另提供一種互動影像系統，包含一電子裝置及一遙控器。該電子裝置包含至少一參考點及一接收單元，其中該接收單元用以接收一控制信號。該遙控器包含一影像感測器、一處理單元及一發射單元。該影像感測器用以連續擷取包含至少一物件影像之複數影像圖框。該處理單元用以辨識該等影像圖框中之該物件影像，根據該物件影像之一物件影像尺寸辨識相對該參考點之一參考點影像並定位該參考點影像。該發射單元根據該參考點影像之資訊發出該控制信號。

本發明另提供一種互動影像系統，包含一顯示裝置及一遙控器。該顯示裝置包含至少一參考點發出一預設光譜的光。該遙控器連續擷取包含至少一物件影像之複數影像圖框、根據該物件影像之一物件影像尺寸辨識相對該參考點之一參考點影像、定位該參考點影像並根據該參考點影像之一位置變化相對控制該顯示裝置。

本發明實施例之影像定位方法及使用該方法之互動影像系統中，該亮度門檻值可為一固定值或一變動值；其中，該固定值可事先設定，該變動值可為一張影像圖框之一平均亮度乘以一比例，該比例決定於該影像圖框中各像素之亮度值之一變異數。

本發明實施例之影像定位方法及使用該方法之互動影像系統中，該尺寸門檻值可為一固定值或一變動值；其中，該固定值可事先設定，該變動值可為一張影像圖框中該參考點影像之一平均尺寸乘以一比例，該比例決定於該影像圖框中各參考點影像之尺寸之一變異數。

本發明實施例之影像定位方法及使用該方法之互動影像系統中，係將一影像圖框中，一亮度值大於一亮度門檻值之一個像素或複數相鄰像素辨識為一物件影像；將符合物件影像尺寸要求之一物件影像辨識為一參考點影像；並根據一參考點影像每一像素之一亮度值及一像素位置計算該參考點影像之一重心或中心以進行該參考點影像之定位。

為了讓本發明之上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同的構件係以相同的符號表示，於此合先敘明。

請參照第2圖所示，其顯示本發明實施例之互動影像系統之示意圖。該互動影像系統包含一電子裝置10及一遙控器20。該遙控器20用以連續擷取包含至少一物件影像之複數影像圖框、根據該物件影像之一物件影像尺寸辨識相對至少一參考點之一參考點影像、定位該參考點影像並根據該參考點影像之一位置及/或一位置變化相對控制該電子裝置10，例如控制該電子裝置10上一游標之動作或所執行之一軟體，但並不以此為限。本發明說明中，所述物件影像係指尚未經尺寸辨識之物件影像，因此一物件影像可能為一參考點影像、一環境光影像或一雜訊；所述參考點影像係指符合預設尺寸範圍之物件影像。

該電子裝置10包含至少一參考點11(此處顯示為兩參考點)及一接收單元12。該參考點11例如可為發光二極體或雷射二極體，用以發出一預設光譜的光，較佳發出紅光、紅外光或其他不可見光。該接收單元12用以有線或無線地耦接該遙控器20,用以接收該遙控器20所送出之一控制信號S；例如，當該電子裝置10為具有一顯示畫面13之一顯示裝置時，該顯示畫面13上可顯示一游標131以供該遙控器20操控；其中，一遙控器控制一電子裝置之方式已為習知，本發明之精神在於正確定位參考點影像之座標。此外，有線及無線傳輸技術已為習知，故於此不贅述。其他實施例中，該參考點11亦可獨立於該電子裝置10之外。

該遙控器20包含一影像感測器21、一處理單元22及一發射單元23。該影像感測器21例如可為一COMS影像感測器、一CCD影像感測器或其他用以感測光能量之感測器，用以連續擷取並輸出包含至少一物件影像之複數影像圖框，其中該等影像圖框可為一類比影像或一數位影像。例如，當該影像感測器21輸出數位影像時，該影像感測器21內例如可包含一類比數位轉換單元(ADC)用以將類比訊號轉換為數位訊號。該處理單元22可為一數位信號處理器(DSP)，用以接收該影像感測器21所輸出之影像圖框並進行後處理，包括辨識該等影像圖框中之物件影像，根據該物件影像之一物件影像尺寸及/或一物件影像形狀辨識相對至少一參考點之一參考點影像並定位該參考點影像。最後，該處理單元22根據連續影像圖框間該參考點影像之資訊(例如位置變化)透過該發射單元23有線或無線地發出控制信號S至該電子裝置10以進行相對控制。當該影像感測器21輸出類比影像時，該處理單元22例如包含一類比數位轉換單元用以將類比訊號轉換為數位訊號。換句話說，該處理單元22係根據數位影像來定位參考點影像。

詳細而言，本發明實施例中，該遙控器20於進行定位前係事先根據物件影像之尺寸及形狀區分參考點影像及雜訊，以增加定位精確度及操作穩定性。

可以了解的是，該遙控器20通常包含一暫存器(未繪示)用以暫存計算過程中的資料及參數，其中該暫存器可包含或不包含於該處理單元22中。

請參照第3圖所示，其顯示本發明實施例之影像定位方法之流程圖，包含下列步驟：使用一影像感測器擷取一影像圖框(步驟S₃₁ )；使用一處理單元辨識該影像圖框中至少一物件影像(步驟S₃₂ )；使用該處理單元比較該物件影像之一物件影像尺寸與一尺寸門檻值，並將該物件影像尺寸大於該尺寸門檻值之該物件影像辨識為一參考點影像(步驟S₃₃ )；以及使用該處理單元定位該參考點影像(步驟S₃₄ )。當完成複數影像圖框中該參考點影像之定位後，可根據該參考點影像之一位置及/或一位置變化，透過該發射單元23輸出一控制信號S至該電子裝置10。本實施例之影像定位方法之實施方式說明如下：

步驟S₃₁ ：該遙控器20之影像感測器21以一取樣頻率連續擷取影像圖框並傳送至該處理單元22。

步驟S₃₂ ：該遙控器20之處理單元22將該影像圖框中，亮度值大於一亮度門檻值之一個像素或複數相鄰像素(彼此相互連接者)辨識為一物件影像。本實施例中，該處理單元22例如可根據兩種實施方式辨識該物件影像。

一種實施例中，該處理單元33可事先將一整張影像圖框儲存至緩衝器。接著，該處理單元33將該張影像圖框每一個像素之一亮度值與至少一亮度門檻值相比較；當某一像素區域(可包含一個或複數像素)之各像素亮度值大於該亮度門檻值，則將該像素區域辨識為一物件影像，並將相鄰且亮度值大於該亮度門檻值之複數像素辨識為屬於同一物件影像。可以了解的是，該影像圖框中可能有部份像素區域因雜訊而導致被辨識為物件影像。該亮度門檻值例如可為一可表示灰階範圍之一預設比例，例如當亮度可以256灰階來表示時，該亮度門檻值例如可為0.5×256；其中，該預設比例可根據辨識需求而決定。

另一實施例中，該處理單元33係逐一接收每一像素之像素資料，並於接收到該像素資料的同時即比較該像素資料與至少一亮度門檻值。當該像素資料之亮度值大於該亮度門檻值時，則辨識為一有效像素並儲存於暫存器中，接著再依序辨識次一個像素之像素資料；此實施例可降低暫存器的使用空間。

例如請參照第4圖所示，假設一影像圖框4中，該處理單元22從第1列第1個像素開始逐行逐列依序讀取各像素。例如像素座標(3,1)之亮度值大於該亮度門檻值，該處理單元22則紀錄一影像區段411之起始點座標411a於暫存器中；接著，紀錄以該起始點座標411a為起始點之該影像區段411中各像素的資訊(例如包括像素座標及灰階值)並儲存於暫存器中；接著，例如像素座標(7,1)之亮度值小於該亮度門檻值，該處理單元22則紀錄該影像區段411之終點座標411b於暫存器中，並完成第一列之辨識程序。可以了解的是，若第一列中存在另一個影像區段，則可以相同方式辨識並紀錄該另一個影像區段之各像素的資訊。

接著，以相同程序可分別辨識並紀錄第二列之一起始點座標412a、一影像區段412及一終點座標412b。接著，若滿足下述公式則判定該等影像區段411及412屬於相同物件影像，

Seg_LPreline_Obj_i _R；且

Seg_RPreline-Obj_i _L；

其中，例如讀取至影像圖框4之第Y列時；Seg_L表示第Y列中未知物件影像之影像區段(例如412)左方之起始點座標；Seg_R表示第Y列中未知物件影像之影像區段右方之終點座標；Preline-Obj_i _L表示第Y-1列中物件影像i之影像區段(例如411)之左方起始點座標；Preline-Obj_i _R表示第Y-1列中物件影像i之影像區段之右方終點座標。換句話說，將相鄰且亮度值大於該亮度門檻值之複數像素辨識為屬於同一物件影像。接著，可以相同程序辨識並紀錄其他列之物件影像資訊。本實施例之詳細實施方式例如可參照由本案相同受讓人申請之美國專利公開第US2006/0245649號以及US2006/0245652號所揭示的內容。同樣地，該影像圖框4中也可能有部份像素區域因雜訊而導致被辨識為物件影像。

此步驟完成後，該遙控器20之處理單元22則可辨識出具有特定形狀之至少一物件影像；其中，所述特定形狀係根據所使用的辨識方法而不同，例如可能為矩形或不規則形。

步驟S₃₃ ：該遙控器20之處理單元22比較步驟S₃₂ 中所辨識出之物件影像與一尺寸門檻值(或一尺寸範圍)，藉以消除雜訊及環境光干擾。例如，可將該物件影像尺寸大於一尺寸門檻值之一物件影像辨識為一參考點影像並將該物件影像尺寸小於該尺寸門檻值之一物件影像辨識為雜訊。例如請參照第5圖所示，該影像圖框4中經辨識包含有一物件影像41及一物件影像42，該物件影像42由於受到雜訊干擾而使其像素之亮度值大於該亮度門檻值。本實施例中，例如，但不限於，可將該尺寸門檻值設為3個像素，因此當一物件影像小於3個像素，則會被判定為雜訊而排除，故第5圖中之物件影像42於進行定位時將被排除。此外，當一物件影像大於一預設面積，則會被判定為環境光干擾而同樣被排除，其中該預設面積例如可根據該等參考點11之尺寸以及該遙控器20與該電子裝置20之一操作距離決定，例如可將不同操作距離所相對應之參考點尺寸預先儲存。此外，當辨識出一參考點影像後，該遙控器20之處理單元22可進而辨識該參考點影像是否符合一預設形狀(例如此處為圓形)，不符合該預設形狀者則可視為環境中其他物件的影像，藉以排除環境光之干擾。

步驟S₃₄ ：該遙控器20之處理單元22則計算該參考點影像之一重心或一中心做為該參考點影像之座標以進行定位。例如，根據該參考點影像至少一部分像素之一亮度值及一像素位置計算該參考點影像之一重心或一中心。

最後，該遙控器20之處理單元22將計算結果透過該發射單元23傳送至該電子裝置10。

另一實施例中，該遙控器20之處理單元22另執行辨識一參考點影像是否為一空心影像之步驟，以避免一參考點影像範圍內因雜訊干擾而導致部份像素之亮度值低於該亮度門檻值而於定位過程中被排除；亦即，該遙控器20之處理單元22辨識該參考點影像範圍中是否有像素之亮度值小於該亮度門檻值，並根據該參考點影像中亮度值小於該亮度門檻值之一像素面積判斷該參考點影像是否為一空心影像。例如參考第6圖所示，假設該處理單元22根據步驟S₃₃ 辨識出一參考點影像41，該參考點影像41內包含一像素410之亮度值低於該亮度門檻值(例如稱做一空心區域)，該處理單元22接著計算該空心區域之一像素面積與該參考點影像41之整體面積之一面積比例；當該面積比例大於一面積門檻值則表示該空心區域並非由雜訊所造成(即參考點影像屬於空心影像)，於定位過程中將排除該空心區域各像素之亮度值及像素位置；當該面積比例小於該面積門檻值則表示該空心區域係由雜訊所造成(即參考點影像屬於實心影像)，於定位過程中將包含該空心區域各像素之亮度值及像素位置。本實施例之詳細實施方式同樣可參照由本案相同受讓人申請之美國專利公開第US2006/0245649號的內容。該處理單元22接著利用參考點影像中至少一部分像素(可包含或不包含空心區域)之亮度值及像素位置計算參考點影像之一重心或一中心。

此外，本發明中，該亮度門檻值及該尺寸門檻值均可為一固定值或可被動態調整之一變動值。

例如，當完成一張影像圖框之辨識後，該處理單元22計算一目前影像圖框所有像素之一平均亮度，並將該平均亮度乘以一比例(例如X%×平均亮度)當作下一張影像圖框之一可變動亮度門檻值；其中，X為一正數。此外，X之數值另可根據整張影像圖框中各像素亮度值之一變異數(variance)來進行微調；例如，當該變異數愈大，表示該張影像圖框中各像素之亮度值的差異愈大，此時較佳提高X之數值；反之，當該變異數愈小，表示該張影像圖框中各像素之亮度值的差異愈小，此時較佳降低X之數值；其中，微調數值例如可與該變異數正相關，以提高辨識物件影像之正確性。換句話說，該亮度門檻值可根據前一張影像或目前影像之一平均亮度、一最高亮度或一最低亮度而決定，以根據實際所擷取影像的亮度決定該亮度門檻值。

例如，當完成一張影像圖框之辨識後，該處理單元22計算一目前影像圖框中所有參考點影像之一平均尺寸，並將該平均尺寸乘以一比例(例如Y%×平均亮度)當作下一張影像圖框之一可變動尺寸門檻值；其中，Y為一正數。此外，Y之數值另可根據整張影像圖框中各參考點影像尺寸之一變異數來進行微調；例如，當該變異數愈大，表示該張影像圖框中各參考點影像之尺寸的差異愈大，此時較佳提高Y之數值；反之，當該變異數愈小，表示該張影像圖框中各參考點影像之尺寸的差異愈小，此時較佳降低Y之數值；其中，微調數值例如可與該變異數正相關，以提高辨識參考點影像之正確性。換句話說，該尺寸門檻值可根據前一張影像或目前影像之一平均物件影像尺寸、一最大物件影像尺寸或一最小物件影像尺寸而決定，以根據實際所擷取影像中物件影像尺寸決定該尺寸門檻值。

綜上所述，習知影像定位方法容易受到雜訊干擾而可能導致影像座標偏移的情形。因此，本發明另提出一種影像定位方法(第3圖)及使用該方法之互動影像系統(第2圖)，其透過比較一物件影像與一尺寸門檻值以及辨識一參考點影像是否為空心影像以排除雜訊並提高穩定性。

雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．電子裝置

11．．．參考點

12．．．接收單元

13．．．顯示畫面

131．．．游標

20．．．遙控器

21．．．影像感測器

22．．．處理單元

23．．．發射單元

4．．．影像圖框

41．．．參考點影像

410、42．．．雜訊像素

411~414．．．影像區段

411a、412a．．．影像區段起始點

411b、412b．．．影像區段終點

S₃₁ ~S₃₄ ．．．步驟

9．．．影像圖框

91．．．參考點影像

92．．．矩形範圍

911、921．．．像素

S．．．控制信號

第1A及1B圖顯示習知影像定位方法之示意圖。

第2圖顯示本發明實施例之互動影像系統之示意圖。

第3圖顯示本發明實施例之影像定位方法之流程圖。

第4圖顯示本發明實施例之影像定位方法中，影像圖框及物件影像之示意圖。

第5圖顯示本發明實施例之影像定位方法中，影像圖框及物件影像之另一示意圖。

第6圖顯示本發明實施例之影像定位方法中，影像圖框及物件影像之另一示意圖。

10．．．電子裝置

11．．．參考點

12．．．接收單元

13．．．顯示畫面

131．．．游標

20．．．遙控器

21．．．影像感測器

22．．．處理單元

23．．．發射單元

S．．．控制信號

Claims (13)

1. 一種影像定位方法，包含下列步驟：使用一影像感測器擷取一影像圖框；使用一處理單元辨識該影像圖框中亮度值大於一亮度門檻值之一個像素或複數相鄰像素為至少一物件影像，其中該亮度門檻值動態地設定為該影像感測器所擷取前一張影像圖框之一平均亮度乘以一比例；使用該處理單元比較該物件影像之一物件影像尺寸與一尺寸門檻值，並將該物件影像尺寸大於該尺寸門檻值之該物件影像辨識為一參考點影像；以及使用該處理單元根據該參考點影像至少一部分像素之亮度值及像素位置定位該參考點影像。
2. 依申請專利範圍第1項之影像定位方法，其中該尺寸門檻值為一固定值或一變動值；該變動值為一張該影像圖框中該參考點影像之一平均尺寸乘以一比例。
3. 依申請專利範圍第1項之影像定位方法，另包含：使用該處理單元辨識該參考點影像是否為一空心影像。
4. 依申請專利範圍第1項之影像定位方法，另包含：使用該處理單元辨識該參考點影像是否符合一預設形狀。
5. 一種互動影像系統，包含：一電子裝置，該電子裝置另包含： 至少一參考點；及一接收單元，用以接收一控制信號；以及一遙控器，該遙控器另包含：一影像感測器，用以連續擷取包含至少一物件影像之複數影像圖框；一處理單元，用以辨識該等影像圖框中亮度值大於一亮度門檻值之一個像素或複數相鄰像素為該至少一物件影像，將一物件影像尺寸大於一尺寸門檻值之該物件影像辨識為相對該參考點之一參考點影像並根據該參考點影像至少一部分像素之亮度值及像素位置定位該參考點影像，其中該亮度門檻值動態地設定為該影像感測器所擷取前一張影像圖框之一平均亮度乘以一比例；及一發射單元，根據該參考點影像之資訊發出該控制信號。
6. 依申請專利範圍第5項之互動影像系統，其中該處理單元另用以將該物件影像尺寸小於該尺寸門檻值之該物件影像辨識為雜訊。
7. 依申請專利範圍第5項之互動影像系統，其中該尺寸門檻值為一固定值或一變動值；該變動值為一張該影像圖框中該參考點影像之一平均尺寸乘以一比例。
8. 依申請專利範圍第5項之互動影像系統，其中該處理單元另用以辨識該參考點影像是否為一空心影像。
9. 依申請專利範圍第5項之互動影像系統，其中該處理單元另用以辨識該參考點影像是否符合一預設形狀。
10. 一種互動影像系統，包含：一顯示裝置，包含至少一參考點發出一預設光譜的光；以及一遙控器，使用一影像感測器連續擷取包含至少一物件影像之複數影像圖框、辨識該等影像圖框中亮度值大於一亮度門檻值之一個像素或複數相鄰像素為該至少一物件影像、將一物件影像尺寸大於一尺寸門檻值之該物件影像辨識為相對該參考點之一參考點影像、定位該參考點影像並根據該參考點影像之一位置變化相對控制該顯示裝置，其中該亮度門檻值動態地設定為該影像感測器所擷取前一張影像圖框之一平均亮度乘以一比例。
11. 依申請專利範圍第10項之互動影像系統，其中該遙控器另用以將該物件影像尺寸小於該尺寸門檻值之該物件影像辨識為雜訊。
12. 依申請專利範圍第10項之互動影像系統，其中該遙控器另用以辨識該參考點影像中是否有像素之該亮度值小於該亮度門檻值。
13. 依申請專利範圍第12項之互動影像系統，其中該遙控器另用以根據該參考點影像中該亮度值小於該亮度門檻值之一像素面積判斷該參考點影像是否為一空心影像。