TW201631960A - 擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品 - Google Patents

Abstract

本發明提供一種擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品，該系統包含一行動裝置及伺服器。該行動裝置之辨識模組能對實體物件進行辨識以產生辨識訊息，進而令伺服器之行為配對模組依據該辨識訊息搜索出影音檔案，俾使該影音檔案能回傳至該行動裝置中，進一步以擴增實境之方式進行播放。據此，本發明能夠提供更棒的個人化互動體驗。

Description

擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品

本發明係有關一種串流影音顯示之技術領域，尤指一種以擴增實境形式呈現之串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品。

擴增實境(Augmented Reality)係為一種在真實世界中顯示原本即不存在現場的物件或景象的影像顯示技術，即於真實世界中擴增虛擬資訊或影像，而能讓使用者藉由擴增實境來取得相關資訊或影像。

然而，目前擴增實境之影像顯示仍僅能事先建立，無法依據使用者需求來即時顯示並與使用者之行為產生互動。此外，在擴增實境之影像顯示中，仍僅能以固定內容來進行影像播放，導致擴增實境技術之使用過於單調、使用者體驗感不佳等問題。

是以，如何提供一種擴增實境式的影像顯示技術來解 決上述問題，為此技術領域中亟待解決的課題之一。

本發明之一目的在於提供一種擴增實境式串流影音顯示系統，包括：伺服器與行動裝置，其中，該伺服器包括：影音資料庫，係儲存有複數個影音檔案；及行為配對模組，用以於該影音資料庫中搜索對應一辨識訊息之影音檔案，以獲得對應該辨識訊息的影音檔案路徑，而該行動裝置包括：通訊模組，用以透過網路連接該伺服器，以接收該影音檔案路徑；影像擷取模組，用以擷取一影像擷取範圍內的至少一實體物件，以產生該實體物件之影像資訊；辨識模組，用以辨識該影像資訊中該實體物件所具有的表面特徵，以產生對應於該表面特徵之影像錨點以及該辨識訊息，進而將該辨識訊息透過該通訊模組傳送給該伺服器之行為配對模組；及顯示模組，用以顯示一擴增實境畫面，該擴增實境畫面包括該實體物件之影像資訊及至少一虛擬螢幕，該虛擬螢幕係依據該影像錨點於該實體物件之影像資訊上進行定位，俾使該虛擬螢幕疊加在該實體物件之影像資訊上，進而以串流影音之方式播放該影音檔案路徑所指向的影音檔案。

本發明之另一目的在於提供一種擴增實境式串流影音顯示方法，包括：令行動裝置擷取至少一實體物件之影像資訊，以顯示該影像資訊在該行動裝置之一擴增實境畫面中；令該行動裝置辨識該影像資訊中實體物件的表面特徵，以產生對應該表面特徵之影像錨點及辨識訊息，進而 依據該影像錨點於該擴增實境畫面中定位一虛擬螢幕，俾使該虛擬螢幕疊加在該實體物件之影像資訊上；令該行動裝置將該辨識訊息傳送至一伺服器，以在該伺服器之資料庫中搜索出對應該辨識訊息的影音檔案；以及令該行動裝置以串流影音之方式接收該影音檔案，以於該虛擬螢幕上播放該影音檔案。

本發明之再一目的在於提供一種內儲用於擴增實境式串流影音顯示程式之電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如上所述之擴增實境式串流影音顯示方法。

本發明之又一目的在於提供一種內儲用於擴增實境式串流影音顯示程式之電腦程式產品，當電腦載入該程式並執行後，可完成如上所述之擴增實境式串流影音顯示方法。

藉由本發明之擴增實境式串流影音顯示系統及其方法、電腦可讀取記錄媒體、電腦程式產品，能夠使用行動裝置之辨識模組對實體物件進行辨識後，將辨識訊息傳送至伺服器，令伺服器之行為配對模組依據該辨識訊息搜索出影音檔案，俾使該影音檔案能回傳至該行動裝置中，並以擴增實境之方式於該實體物件之表面上進行播放。而在搜索影音檔案時，可根據使用者操作該行動裝置之記錄來進行搜索，使得影音檔案之播放能動態改變，解決使用者體驗感不佳之問題。

1‧‧‧擴增實境式串流影音顯示系統

10‧‧‧伺服器

11‧‧‧行為資料庫

12‧‧‧影音資料庫

13‧‧‧行為配對模組

14‧‧‧影音管理介面

20‧‧‧行動裝置

21‧‧‧通訊模組

22‧‧‧影像擷取模組

23‧‧‧辨識模組

24‧‧‧顯示模組

25‧‧‧擴增實境畫面

251‧‧‧虛擬螢幕

252‧‧‧影像資訊

253‧‧‧影像錨點

30‧‧‧實體物件

31‧‧‧表面特徵

40‧‧‧影像擷取範圍

S31~S35‧‧‧步驟

第1圖係為本發明擴增實境式串流影音顯示系統之功能方塊圖；第2圖係為本發明擴增實境式串流影音顯示系統之運行示意圖；第3圖係為本發明擴增實境式串流影音顯示方法之流程圖。

以下藉由特定之具體實施例加以說明本發明之實施方式，而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點和功效，亦可藉由其他不同的具體實施例加以施行或應用。

請同時參閱第1、2圖，本發明之擴增實境式串流影音顯示系統1包括伺服器10及行動裝置20，其中，該行動裝置20可為智慧型手機、平板電腦等，本發明並不以此為限。

該伺服器10包括行為資料庫11、影音資料庫12、行為配對模組13以及影音管理介面14，另該行動裝置20包括通訊模組21、影像擷取模組22、辨識模組23以及顯示模組24，其中，該顯示模組24可為智慧型手機、平板電腦的觸控式螢幕，或是外接於智慧型手機、平板電腦的投影設備或顯示螢幕，而該顯示模組24係用以顯示一擴增實境畫面25。

該行動裝置20之通訊模組21係透過網路連接該伺服器10，使得該伺服器10與該行動裝置20之間能夠進行資 料傳輸。所傳輸的資料例如為使用者操作該行動裝置20的操作記錄，且該操作記錄可透過通訊模組21傳送到伺服器10之行為資料庫11中儲存，以供後端分析使用者之操作行為；或將該伺服器10之影音資料庫12所儲存的檔案傳送到該行動裝置20上。

該行動裝置20之影像擷取模組22係用以擷取一影像擷取範圍40內的至少一實體物件30，以產生該實體物件30之影像資訊252。於一實施例中，該影像擷取模組22可為智慧型手機、平板電腦的攝影鏡頭，或是外掛在智慧型手機、平板電腦上的攝影機。

於另一實施例中，該影像擷取模組22可同時擷取一影像擷取範圍40內的複數個實體物件30，因此該影像資訊252中即會有複數個實體物件30。以下將以一個實體物件30進行說明。該實體物件30具有表面特徵31，該表面特徵31可為實體物件30之表面紋理、圖樣、文字或條碼，或是其他可供辨識的元件等，本發明並不以此為限。

該行動裝置20之辨識模組23用以辨識該影像資訊252中的實體物件30所具有的表面特徵31，以在影像資訊252中產生位置對應於該表面特徵31的影像錨點253，且在辨識完後產生一辨識訊息。該辨識訊息可包含影像資訊252、影像錨點253等資訊。

詳言之，行動裝置20透過影像擷取模組22拍攝在影像擷取範圍40內的具有一表面特徵31之實體物件30，以產生包括該實體物件30的影像資訊252。據此，行動裝置 20即可在顯示模組24上的擴增實境畫面25內顯示該影像資訊252。接著，辨識模組23在辨識出表面特徵31在實體物件30上的相對位置後，即在影像資訊252中對應該實體物件30之表面特徵31之處產生一影像錨點253。

於一實施例中，該辨識模組23會針對實體物件30之表面特徵31的不同，採用不同的辨識方法。例如，表面特徵31為實體物件30之文字時，可採用光學字元辨識(Optical Character Recognition，OCR)之技術來進行辨識；表面特徵31為實體物件30之條碼時，可採條碼辨識系統來進行辨識；又表面特徵31為實體物件30之表面紋理或圖樣時，可將其與影音資料庫12中儲存之影音檔案所對應的資料進行圖形比對等，本發明並不以此為限。

在辨識模組23產生影像錨點253及辨識訊息後，該辨識訊息則透過通訊模組21傳送給伺服器10。具體言之，辨識訊息係傳送給伺服器10之行為配對模組13。而該行為配對模組31則用以於影音資料庫12中搜索對應該辨識訊息的影音檔案，以獲得對應該辨識訊息的影音檔案路徑。

詳言之，該伺服器10之影音資料庫12係儲存有複數個影音檔案以及索引檔，其中，該索引檔之格式可為資料庫中的表格(table)，或是文字檔等。而該索引檔之內容即是記錄對應各影音檔案的檢索資料，例如關鍵字、影音檔案簡介、影音檔案路徑、虛擬空間變動資訊等等。因此，該行為配對模組13即可根據該辨識訊息之內容，於影音資料庫12所儲存之索引檔中進行檢索，來找出對應該辨識訊 息的影音檔案，進一步獲得該影音檔案的影音檔案路徑。而該影音檔案路徑則可透過網路使該行動裝置20之通訊模組21所接收。

行動裝置20之顯示模組24用以顯示一擴增實境畫面25，該擴增實境畫面25包括影像資訊252及至少一虛擬螢幕251。該虛擬螢幕251即是依據辨識模組23所產生的影像錨點253於該影像資訊252上進行定位，因此，該虛擬螢幕251經行動裝置20之處理器運算後，即以圖層疊加之方式重疊在影像資訊252上。而此一虛擬螢幕251之功能，則是在通訊模組21接收影音檔案路徑後，以串流影音(streaming media)之方式在虛擬螢幕251上播放該影音檔案路徑所指向的影音檔案。

於一實施例中，虛擬螢幕251可為複數個，並可依據影像錨點253之位置相對排序在影像資訊252上，例如圍繞著影像錨點253而排序成圓形、方形等，本發明並不以此為限。

行為配對模組13在影音資料庫12中完成檢索時，可一併從影音資料庫12的索引檔中獲得對應該辨識訊息的虛擬空間變動資訊。所謂的虛擬空間變動資訊，係用以提供虛擬螢幕251改變其三維座標，進而使虛擬螢幕251之外形能夠對應該實體物件30之外形。因此，該虛擬空間變動資訊實可為該實體物件的外形資訊。舉例而言，實體物件30為一鞋子時，此一虛擬空間變動資訊即為記錄鞋子外形的三維座標，在虛擬螢幕251依據影像錨點253進行定 位時，該虛擬螢幕251即能依據此一鞋子外形的三維座標進行調整，將虛擬螢幕251之外形調整成該鞋子外形，俾使虛擬螢幕251能貼合在該實體物件30之影像資訊252之表面上。

於一實施例中，該虛擬螢幕251之外形除了可符合實體物件30之外形外，亦可為彎曲平面、立體多邊形或圓滑曲面等不規則3D物件外形，本發明並不限制虛擬螢幕251之外形。

在本實施例中，行為資料庫11所儲存的行動裝置20之操作記錄，能夠提供行為配對模組13在影音資料庫12中搜索時，作為過濾搜索結果的條件之一。例如，行為配對模組13在影音資料庫12中搜索出多個對應該辨識訊息之影音檔案，則可剔除有出現在操作記錄中的影音檔案，使得行為配對模組13所搜索出的影音檔案不會重複出現。據此，使用者就不會重複觀看先前已看過的影音檔案，而能給予使用者更棒的體驗。

於一實施例中，該伺服器10更包括影音管理介面14，可供管理者登入該伺服器10中，用以管理該影音資料庫12內的影音檔案，或是針對影音資料庫12的索引檔內容進行編輯。此外，該影音管理介面14更可設定該行為資料庫11中的互動事件資訊。所謂的互動事件資訊係行為配對模組13於影音資料庫12中搜索影音檔案時的搜尋條件，而此一搜尋條件為管理者所設定，可將實體物件30之特定的表面特徵連結到特定的影音檔案。舉例而言，實體物件 30為一鞋子時，管理者可將襪子設定為互動事件資訊，讓使用者在擷取到實體物件30為鞋子時，能夠觀看到與襪子有關的影音檔案。因此，藉由互動事件資訊的設定，使得管理者更能提供與實體物件30不同種類的影音檔案，突破以往固定內容的影音播放模式。

請參閱第3圖，本發明更提供一種擴增實境式串流影音顯示方法。

於步驟S31中，係先令行動裝置擷取至少一實體物件之影像資訊，以顯示該影像資訊在該行動裝置之一擴增實境畫面中。接著進至步驟S32。

於步驟S32中，令該行動裝置辨識該影像資訊中實體物件的表面特徵，以產生對應該表面特徵之影像錨點及辨識訊息，其中，該表面特徵為該實體物件之表面紋理、圖樣、文字或條碼。接著在步驟S33中，依據該影像錨點於該擴增實境畫面中定位一虛擬螢幕，俾使該虛擬螢幕疊加在該實體物件之影像資訊上，其中，該虛擬螢幕依據該影像錨點進行定位時，係參考一虛擬空間變動資訊進行該虛擬螢幕相對於該實體物件之影像資訊之三維座標的調整，而該虛擬空間變動資訊為該實體物件之外形資訊，且該虛擬螢幕為彎曲平面、立體多邊形或圓滑曲面之不規則3D物件外形。接著進至步驟S34。

於步驟S34中，令該行動裝置將該辨識訊息傳送至一伺服器，以在該伺服器之資料庫中搜索出對應該辨識訊息的影音檔案，其中，該行動裝置係透過網路連接該伺服器， 如4G、3G網路或無線網路。於一實施例中，在該伺服器之資料庫中搜索出對應該辨識訊息的影音檔案時，係依據該行動裝置的操作記錄進行搜索，以搜索出並未出現在該操作記錄的影音檔案，但本發明並不以此為限。接著進至步驟S35。

於步驟S35中，令該行動裝置以串流影音之方式接收該影音檔案，以於該虛擬螢幕上播放該影音檔案。

本發明另提供一種內儲用於擴增實境式串流影音顯示程式之電腦可讀取記錄媒體、電腦程式產品，當電腦載入該程式並執行後，可完成如上所述之擴增實境式串流影音顯示方法，其中，電腦可讀取記錄媒體可為硬碟、軟碟、光碟、隨身碟等，而電腦程式產品可為各式作業系統(如windows、linux)的安裝程式，或者為智慧型手機上的APP等。

綜上所述，本發明之擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品，能夠在行動裝置之影像擷取模組擷取到一實體物件時，產生該實體物件之影像資訊並顯示在顯示模組所顯示之擴增實境畫面中。接著，辨識模組就會辨識該影像資訊中該實體物件的表面特徵，並產生對應該表面特徵之影像錨點以及辨識訊息。而該辨識訊息則透過通訊模組傳送至伺服器中，以令伺服器之行為配對模組搜索出對應該辨識訊息的影音檔案，俾使該影音檔案能夠回傳至行動裝置中，且於該擴增實境畫面中的虛擬螢幕上以串流影音之方式進行播放。據 此達到個人化的影音互動體驗，提供個人化的真人廣告、電腦動畫及特效等影像內容，並使影音檔案之播放能動態改變，解決使用者體驗感不佳之問題。

上述實施形態僅為例示性說明本發明之技術原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此技術之人士均可在不違背本發明之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本發明所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本發明之權利保護範圍，應如下述之申請專利範圍所列。

10‧‧‧伺服器

20‧‧‧行動裝置

24‧‧‧顯示模組

25‧‧‧擴增實境畫面

251‧‧‧虛擬螢幕

252‧‧‧影像資訊

253‧‧‧影像錨點

30‧‧‧實體物件

31‧‧‧表面特徵

40‧‧‧影像擷取範圍

Claims (10)

1. 一種擴增實境式串流影音顯示系統，包括：伺服器，包括：影音資料庫，係儲存有複數個影音檔案；及行為配對模組，用以於該影音資料庫中搜索對應一辨識訊息之影音檔案，以獲得對應該辨識訊息的影音檔案路徑；以及行動裝置，包括：通訊模組，用以透過網路連接該伺服器，以接收該影音檔案路徑；影像擷取模組，用以擷取一影像擷取範圍內的至少一實體物件，以產生該實體物件之影像資訊；辨識模組，用以辨識該影像資訊中該實體物件所具有的表面特徵，以產生對應於該表面特徵之影像錨點以及該辨識訊息，進而將該辨識訊息透過該通訊模組傳送給該伺服器之行為配對模組；及顯示模組，用以顯示一擴增實境畫面，該擴增實境畫面包括該實體物件之影像資訊及至少一虛擬螢幕，該虛擬螢幕係依據該影像錨點於該實體物件之影像資訊上進行定位，俾使該虛擬螢幕疊加在該實體物件之影像資訊上，進而以串流影音之方式播放該影音檔案路徑所指向的影音檔 案。
2. 如申請專利範圍第1項所述之擴增實境式串流影音顯示系統，其中，該行為配對模組更獲得對應該辨識訊息的虛擬空間變動資訊，俾使該虛擬螢幕依據該影像錨點進行定位時，係參考該虛擬空間變動資訊進行該虛擬螢幕相對於該實體物件之影像資訊之三維座標的調整。
3. 如申請專利範圍第1項所述之擴增實境式串流影音顯示系統，其中，該虛擬螢幕為彎曲平面、立體多邊形或圓滑曲面之不規則3D物件外形，該表面特徵為該實體物件之表面紋理、圖樣、文字或條碼，該顯示模組為觸控式螢幕、外接於該行動裝置之投影設備或顯示螢幕。
4. 如申請專利範圍第1項所述之擴增實境式串流影音顯示系統，其中，該伺服器更包括行為資料庫及影音管理介面，該行為資料庫用以儲存該行動裝置的操作記錄，而該影音管理介面用以管理該影音資料庫以及設定該行為資料庫中的互動事件資訊，且其中，該互動事件資訊係作為該行為配對模組於該影音資料庫中搜索影音檔案時的搜索條件。
5. 一種擴增實境式串流影音顯示方法，包括：令行動裝置擷取至少一實體物件之影像資訊，以顯示該影像資訊在該行動裝置之一擴增實境畫面中；令該行動裝置辨識該影像資訊中實體物件的表面 特徵，以產生對應該表面特徵之影像錨點及辨識訊息，進而依據該影像錨點於該擴增實境畫面中定位一虛擬螢幕，俾使該虛擬螢幕疊加在該實體物件之影像資訊上；令該行動裝置將該辨識訊息傳送至一伺服器，以在該伺服器之資料庫中搜索出對應該辨識訊息的影音檔案；以及令該行動裝置以串流影音之方式接收該影音檔案，以於該虛擬螢幕上播放該影音檔案。
6. 如申請專利範圍第5項所述之擴增實境式串流影音顯示方法，其中，該行動裝置係透過網路連接該伺服器，其中，在該伺服器之資料庫中搜索出對應該辨識訊息的影音檔案時，係依據該行動裝置的操作記錄進行搜索，以搜索出未出現在該操作記錄的影音檔案。
7. 如申請專利範圍第5項所述之擴增實境式串流影音顯示方法，其中，該虛擬螢幕依據該影像錨點進行定位時，係參考一虛擬空間變動資訊進行該虛擬螢幕相對於該實體物件之影像資訊之三維座標的調整。
8. 如申請專利範圍第7項所述之擴增實境式串流影音顯示方法，其中，該虛擬空間變動資訊為該實體物件之外形資訊。
9. 一種內儲用於擴增實境式串流影音顯示程式之電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如申請專利範圍第5至8項中任一項所述之擴增實境 式串流影音顯示方法。
10. 一種內儲用於擴增實境式串流影音顯示程式之電腦程式產品，當電腦載入該程式並執行後，可完成如申請專利範圍第5至8項中任一項所述之擴增實境式串流影音顯示方法。