TWI385559B

TWI385559B - Expand the real world system and its user interface method

Info

Publication number: TWI385559B
Application number: TW97140333A
Authority: TW
Original assignee: Univ Ishou
Priority date: 2008-10-21
Filing date: 2008-10-21
Publication date: 2013-02-11
Also published as: TW201017470A

Description

擴增實境系統及其使用者介面方法

本發明是有關於一種擴增實境系統及其使用者介面方法，特別是指一種藉由附加於使用者指尖的標記使擴增實境系統快速並正確地取得指尖座標之擴增實境系統及其使用者介面方法。

在博物館或觀光景點中的導覽電腦往往需要靠滑鼠或鍵盤來操作。然而，此種公共場所中的滑鼠及鍵盤因為需要供數量眾多的使用者使用，因此常常造成滑鼠及鍵盤藏污納垢、損壞，甚至遺失，因而對使用者的健康有不利影響且會造成博物館或觀光景點的財物損失。

鑑於上述於公共場所中提供滑鼠及鍵盤供使用者瀏覽導覽資訊的缺點，目前已發展出利用擴增實境技術讓使用者不需使用滑鼠及鍵盤即可操控導覽電腦的做法。此做法的原理在於，使用者只需將索取的個人導覽手冊展開平放於指定的位置，並用手指點選導覽手冊上的圖形，便可從顯示器上閱讀與該圖形關聯之相關資訊。

上述擴增實境做法中是以攝影機來拍攝手指點選於導覽手冊上時的影像，再將擷取到的影像傳送到處理單元進行辨識。然而，由於手指輪廓具有其一定複雜性，因此現有擴增實境技術並無法在擷取包含手指之影像時快速並正確地取得手指指尖位置的座標。因此，有必要尋求解決之道。

因此，本發明之目的，即在提供一種擴增實境系統之使用者介面方法。

於是，本發明擴增實境系統之使用者介面方法包含：提供一包括複數相異圖形及複數與各圖形對應之相關資訊之圖形資料庫以及一具有複數區塊之選取工具，其中該選取工具上的每一區塊分別包括一選取圖形；當一使用者將其具有一標記之肢體置於該選取工具上時，擷取該標記之影像；取得該標記之座標；根據該標記之座標，判定該使用者於該選取工具上所選取的區塊；將該使用者於該選取工具上所選取的區塊之選取圖形與該圖形資料庫中的圖形進行比對；以及若該使用者所選取的選取圖形存在於該圖形資料庫中，則呈現自圖形資料庫所取出的對應圖形之相關資訊。

本發明之另一目的，即在提供一種擴增實境系統。

於是，本發明擴增實境系統包含一圖形資料庫、一選取工具、一標記、一影像擷取裝置、一處理單元以及一呈現單元。該圖形資料庫包括複數相異圖形及複數與各圖形對應之相關資訊。該選取工具具有複數區塊，其中每一區塊分別包括一選取圖形。該標記附加於一使用者之肢體。該影像擷取裝置用以當該使用者將其具有該標記之肢體置於該選取工具上時，擷取該標記之影像。該處理單元用以取得該標記之座標，並根據該標記之座標，判定該使用者於該選取工具上所選取的區塊，再將該使用者於該選取工具上所選取的區塊之選取圖形與該圖形資料庫中的圖形進行比對。該呈現單元用以若該使用者所選取的選取圖形存在於該圖形資料庫中，呈現自該圖形資料庫所取出的對應圖形之相關資訊。

本發明之功效在於，藉由附加於使用者指尖的標記，可使擴增實境系統快速並正確地取得指尖座標，進而呈現使用者所選擇的圖形之對應資訊，故確實能達成本發明之目的。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。

參閱圖1，本發明擴增實境系統之一較佳實施例包含一圖形資料庫1、一選取工具(例如一為紙本之導覽手冊2)、一影像擷取裝置3、一處理單元4、一呈現單元5以及一標記6。需特別說明的是，此較佳實施例是以一博物館導覽系統為例，故該選取工具為導覽手冊2，然本發明並不限於此，例如在虛擬鋼琴的情況下，該選取工具亦可為一印有琴鍵圖樣的紙張。

參閱圖1~8，本發明擴增實境之使用者介面方法之較佳實施例包含以下步驟。首先，如圖8的步驟90及圖2所示，建置擴增實境系統的人員需建立圖形資料庫1。亦即，人員利用影像擷取裝置3(如數位相機)擷取欲附加特定功能或資訊之圖形11(可能位於如導覽手冊2之紙本或其他非電腦之裝置上)，並將該等圖形11之影像檔存入該圖形資料庫1中。以圖2中的圖形資料庫1為例，其內即儲存「×」、「△」、「□」及「#」等相異圖形11。然後，人員將每一圖形11與對應的特定資訊或功能建立關聯性。例如，對「□」之圖形11而言，其對應的相關資訊可為「您所選擇的是正方形」之顯示文字或播放音訊等。

接著，如步驟91及圖4所示，先利用影像擷取裝置3擷取導覽手冊2之原始圖形，做為後續步驟對照之用。該導覽手冊2具有複數區塊，且每一區塊分別包括一選取圖形。以圖3的實施例為例，該導覽手冊2即具有4個區塊21~24，且每個區塊21~24內分別包括選取圖形210~240(「△」、「×」、「□」、「#」)。然而，由於影像擷取裝置3設置的位置可能不在導覽手冊2之正上方，而是在具有小幅度傾斜的方位，使得所擷取的導覽手冊2之擷取圖形20可能有些微的扭曲，因此該擷取圖形20必須先藉由乘上一矩陣加以校正以方便後續的比對。於是，如圖5所示，該擷取圖形20經校正後已成為標準化圖形201。

然後，如步驟92及圖6、7所示，影像擷取裝置3擷取附加有標記7的使用者肢體(如手指8)置放在導覽手冊2上的影像。如圖7所示，本發明之特徵在於，藉由附加於使用者手指8之指尖的標記7使後續步驟中能快速並正確地取得指尖座標。其中，該標記7例如可為一特定圖形(如圖6中所示的星形)、一特定顏色(如區塊之背景色之補色)，或一特殊材質(如反光材質)等。如圖7所示，當使用者將具有該標記7之手指8置於該導覽手冊2上的選取圖形230(「□」)上時，影像擷取裝置3將擷取該標記7及導覽手冊2的影像。

接著，如步驟93所示，該處理單元4取得該標記7之座標，藉以得知指尖相對於導覽手冊2整張圖形之位置。

接著，如步驟94所示，該處理單元4根據該標記7之座標，判定使用者於該導覽手冊2上所選取的區塊。例如，在圖7中，處理單元4判定使用者選取了區塊23。

然後，如步驟95所示，本發明中進一步利用臨界值之方式將使用者所選區塊23之背景去除，僅留下選取圖形230以方便比對。

接著，如步驟96所示，處理單元4將該選取圖形230與該圖形資料庫1中的圖形進行比對，以判定該選取圖形230是否存在於該圖形資料庫1。若判定結果為是，則利用該呈現單元5呈現自該圖形資料庫1所取出的與選取圖形230對應之相關資訊，其中該呈現單元5例如可為顯示器或揚聲器。由於使用者所選取之選取圖形230為正方形(「□」)，當呈現單元5為顯示器時，其可顯示「您所選擇的是正方形」之文字訊息在顯示器畫面上；或者當呈現單元5為揚聲器時，其可播放「您所選擇的是正方形」之語音訊息。反之，若步驟96的判斷結果為否，表示使用者所選取的圖形並不存在於該圖形資料庫1中，則本發明之使用者介面方法不以呈現單元5呈現任何資訊給使用者，而是回到步驟92繼續擷取影像。

如上所述，本發明主要可應用在博物館人性化互動導覽系統。其中，參觀者可被提供導覽手冊，此導覽手冊上包含具有特定詳細資訊之圖形。使用此博物館導覽系統時，參觀者先將導覽手冊放在館內架設有相機的特定據點，再利用手指輕鬆點選手冊上的圖形，於是導覽系統可偵測手指上標記與手冊上圖形之相對位置關係，使參觀者可經由電腦顯示器瀏覽導覽手冊上圖形的詳細資訊。

此外，本發明亦可應用於虛擬鋼琴的情況下，其中該選取工具即為印有琴鍵圖樣的紙張。於是，只要在系統中設定與紙張上各琴鍵對應的音階音訊，則當具有標記之手指點選到紙張上的特定琴鍵位置時，則揚聲器便發出具特定音高之琴音。如此一來，不但成本低於一般鋼琴，且收納上明顯簡易方便許多。

歸納上述，本發明擴增實境系統及其使用者介面方法藉由附加於使用者指尖的標記，可使擴增實境系統快速並正確地取得指尖座標，進而呈現使用者所選擇的圖形之對應資訊，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1‧‧‧圖形資料庫

11‧‧‧圖形

2‧‧‧導覽手冊

20‧‧‧擷取圖形

201‧‧‧標準化圖形

21‧‧‧區塊

210‧‧‧選取圖形

22‧‧‧區塊

220‧‧‧選取圖形

23‧‧‧區塊

230‧‧‧選取圖形

24‧‧‧區塊

240‧‧‧選取圖形

3‧‧‧影像擷取裝置

4‧‧‧處理單元

5‧‧‧呈現單元

6‧‧‧標記

7‧‧‧標記

8‧‧‧手指

90‧‧‧建立圖形資料庫

91‧‧‧擷取導覽手冊原始圖形並校正影像

92‧‧‧擷取附加有標記的手指置放在導覽手冊上的影像

93‧‧‧取得標記之座標

94‧‧‧判定使用者在導覽手冊上所選取區塊

95‧‧‧去除區塊背景

96‧‧‧比對使用者所選取區塊內的圖形是否存在於圖形資料庫中？

97‧‧‧顯示使用者所選取圖形的相關資訊

圖1是一系統方塊圖，說明本發明擴增實境系統之一較佳實施例；圖2是一示意圖，說明本發明擴增實境系統中的圖形資料庫內儲存有複數相異圖形；圖3是一示意圖，說明本發明擴增實境系統中的導覽手冊；圖4是一示意圖，說明本發明擴增實境系統之使用者介面方法中利用影像擷取裝置擷取導覽手冊之原始圖形以供校正之用；圖5是一示意圖，說明本發明擴增實境系統之使用者介面方法中已將擷取圖形校正為標準化圖形；圖6是一示意圖，說明本發明擴增實境系統之使用者介面方法中將標記附加於使用者之手指；圖7是一示意圖，說明本發明擴增實境系統之使用者介面方法中使用者以附加有標記之手指選取導覽手冊上的圖形；以及圖8是一流程圖，說明本發明擴增實境系統之使用者介面方法之一較佳實施例。

90‧‧‧建立圖形資料庫

91‧‧‧擷取導覽手冊原始圖形並校正影像

92‧‧‧擷取附加有標記的手指置放在導覽手冊上的影像

93‧‧‧取得標記之座標

94‧‧‧判定使用者在導

覽手冊上所選取區塊

95‧‧‧去除區塊背景

97‧‧‧顯示使用者所選取圖形的相關資訊

Claims

一種擴增實境系統之使用者介面方法，包含下列步驟：(a)提供一包括複數相異圖形及複數與各圖形對應之相關資訊之圖形資料庫，以及一具有複數區塊之選取工具，其中該選取工具為一紙本，且每一區塊分別包括一選取圖形；(b)當一使用者將其具有一標記之肢體置於該選取工具上時，擷取該標記之影像；(c)取得該標記之座標；(d)根據該標記之座標，判定該使用者於該選取工具上所選取的區塊；(e)將該使用者於該選取工具上所選取的區塊之選取圖形與該圖形資料庫中的圖形進行比對；以及(f)若該使用者所選取的選取圖形存在於該圖形資料庫中，則呈現自該圖形資料庫所取出的對應圖形之相關資訊。
依據申請專利範圍第1項所述之擴增實境系統之使用者介面方法，其中在該(b)步驟中，該標記為一特定圖形。
依據申請專利範圍第2項所述之擴增實境系統之使用者介面方法，其中在該(b)步驟中，該特定圖形為星形。
依據申請專利範圍第1項所述之擴增實境系統之使用者介面方法，其中在該(b)步驟中，該標記為一特定顏色。
依據申請專利範圍第4項所述之擴增實境系統之使用者介面方法，其中在該(b)步驟中，該特定顏色為該區塊之背景色之補色。
依據申請專利範圍第1項所述之擴增實境系統之使用者介面方法，其中在該(b)步驟中，該標記為一特殊材質。
依據申請專利範圍第6項所述之擴增實境系統之使用者介面方法，其中在該(b)步驟中，該特殊材質為反光材質。
依據申請專利範圍第1項所述之擴增實境系統之使用者介面方法，其中該(f)步驟是以一顯示器來顯示自圖形資料庫所取出的對應圖形之相關資訊。
依據申請專利範圍第1項所述之擴增實境系統之使用者介面方法，其中該(f)步驟是以一揚聲器來發出自圖形資料庫所取出的對應圖形之相關資訊之音訊。
一種擴增實境系統，包含：一圖形資料庫，包括複數相異圖形及複數與各圖形對應之相關資訊；一選取工具，為一紙本，其具有複數區塊，其中每一區塊分別包括一選取圖形；一標記，附加於一使用者之肢體；一影像擷取裝置，用以當該使用者將其具有該標記之肢體置於該選取工具上時，擷取該標記之影像；一處理單元，用以取得該標記之座標，並根據該標記之座標，判定該使用者於該選取工具上所選取的區塊，再將該使用者於該選取工具上所選取的區塊之選取圖形與該圖形資料庫中的圖形進行比對；以及一呈現單元，用以若該使用者所選取的選取圖形存在於該圖形資料庫中，呈現自該圖形資料庫所取出的對應圖形之相關資訊。
依據申請專利範圍第10項所述之擴增實境系統，其中該標記為一特定圖形。
依據申請專利範圍第11項所述之擴增實境系統，其中該特定圖形為星形。
依據申請專利範圍第10項所述之擴增實境系統，其中該標記為一特定顏色。
依據申請專利範圍第13項所述之擴增實境系統，其中該特定顏色為該區塊之背景色之補色。
依據申請專利範圍第10項所述之擴增實境系統，其中該標記為一特殊材質。
依據申請專利範圍第10項所述之擴增實境系統，其中該特殊材質為反光材質。
依據申請專利範圍第10項所述之擴增實境系統，其中該呈現單元為一顯示器。
依據申請專利範圍第10項所述之擴增實境系統，其中該呈現單元為一揚聲器。