TWI570664B

TWI570664B - The expansion of real-world information processing methods, the expansion of real processing modules, Data integration method and data integration module

Info

Publication number: TWI570664B
Application number: TW104107569A
Authority: TW
Inventors: Kith Ng; Shinobu Tshii; Chien Hung Shih
Original assignee: Next Animation Studio Ltd
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2017-02-11
Also published as: TW201633256A

Description

擴增實境資訊處理方法、擴增實境處理模組、資料整合方法及資料整合模組

本發明是有關於一種擴增實境方法，特別是指一種擴增實境資訊處理方法、擴增實境處理模組、資料整合方法及資料整合模組。

擴增實境(Augmented Reality，簡稱AR)是一種於攝影機取得之真實世界的影像上即時疊加三維虛擬物件的技術。與虛擬實境(Virtual Reality，簡稱VR)相比，虛擬實境是在由電腦建立的三維虛擬空間中加入真實世界的物件，相反地，擴增實境則是在螢幕上的真實世界的空間中加入虛擬物件。

現有一種擴增實境的應用方式，如台灣專利公開號201322178之先前技術段所述，是使用一特定圖騰並事先建立對應此一圖騰的平面/立體影像，而後依該圖騰的位置和對應此圖騰所事先建立的立體影像及其尺寸，將對應圖騰的立體影像和使用者本身所在的環境影像進行整合後顯示。

然而，有關該平面/立體影像之使用者行為，例如該平面/立體影像是如何地被眾多使用者觀賞，以目前的技術而言並無從得知，未有任何回饋資訊。因此，如何分析有關擴增實境的使用者行為，就成為一值得研究的主題。

因此，本發明之其中一目的，即在提供一種可分析擴增實境使用者行為的擴增實境資訊處理方法。

因此，本發明之其中另一目的，即在提供一種可分析擴增實境使用者行為的擴增實境資料整合方法。

因此，本發明之其中又一目的，即在提供一種可分析擴增實境使用者行為的擴增實境處理模組。

因此，本發明之其中再一目的，即在提供一種可分析擴增實境使用者行為的資料整合模組。

於是，本發明擴增實境資訊處理方法在一些實施態樣中，是由一擴增實境處理模組執行，該擴增實境處理模組與一資料整合模組資訊連接，並包含以下步驟：

(A)接收多張供一虛擬物件顯示的環境影像。

(B)辨識該等環境影像中的一實體物件。

(C)根據該實體物件調整該虛擬物件之視角供顯示。

(D)使該資料整合模組將代表該虛擬物件之視角的多筆視角資訊歸類至多個視角區間，各該視角區間涵蓋相近視角。

(E)使該資料整合模組決定出一具有最多筆視角資訊的最佳視角區間。

在一些實施態樣中，該等環境影像是由一影像擷取模組擷取，步驟(C)所述調整是計算該實體物件相對於該影像擷取模組的位置及視角，並進一步計算該虛擬物件之所在位置及視角，再據以旋轉該虛擬物件成該視角，供顯示於計算所得的位置。

在一些實施態樣中，步驟(D)還使該資料整合模組根據代表該虛擬物件之位置的一序列的多筆位置資訊，將至少一視角區間的視角資訊進一步根據其對應的該等位置資訊歸類至多個位置區間，各該位置區間涵蓋相近位置，步驟(E)還使該資料整合模組決定出該視角區間中的一具有最多筆位置資訊的最佳位置區間。

在一些實施態樣中，步驟(D)還使該資料整合模組根據代表該虛擬物件與該影像擷取模組之距離的一序列的多筆距離資訊，將至少一視角區間的視角資訊進一步根據其對應的該等距離資訊歸類至多個距離區間，各該距離區間涵蓋相近距離，步驟(E)還使該資料整合模組決定出該視角區間中的一具有最多筆距離資訊的最佳距離區間。

在一些實施態樣中，步驟(D)中該等距離資訊是該擴增實境處理模組根據步驟(C)中該虛擬物件之所在位置來計算，或該擴增實境處理模組使該資料整合模組根據步驟(C)中該虛擬物件之所在位置來計算。

在一些實施態樣中，該等視角區間至少使該虛擬物件之前視及後視之視角被歸類至相異之視角區間。

在一些實施態樣中，該等視角區間至少使該虛擬物件之前視、後視、俯視、左側視及右側視之其中任二者之視角被歸類至相異之視角區間。

在一些實施態樣中，該擴增實境處理模組是設置於一使用者裝置，該資料整合模組是設置於一伺服裝置，步驟(A)中該等環境影像是被一設置於該使用者裝置的影像擷取模組擷取。

在一些實施態樣中，該擴增實境處理模組及該資料整合模組是設置於一伺服裝置，該伺服裝置與一使用者裝置連線，步驟(A)中該等環境影像是被一設置於該使用者裝置的影像擷取模組擷取。

在一些實施態樣中，該資料整合模組還儲存有來自其他擴增實境處理模組之相關於該虛擬物件之視角的多筆視角資訊，步驟(D)是使該資料整合模組將來自所有擴增實境處理模組的該等視角資訊歸類至該等視角區間。

於是，本發明擴增實境資料整合方法在一些實施態樣中，是由一資料整合模組執行，該資料整合模組與一擴增實境處理模組資訊連接，並包含以下步驟：

(a)使該擴增實境處理模組接收多張供一虛擬物件顯示的環境影像。

(b)使該擴增實境處理模組辨識該等環境影像中的一實體物件。

(c)使該擴增實境處理模組根據該實體物件調整該虛擬物件之視角供顯示。

(d)將代表該虛擬物件之視角的多筆視角資訊歸類至多個視角區間，各該視角區間涵蓋相近視角。

(e)決定出一具有最多筆視角資訊的最佳視角區間。

在一些實施態樣中，步驟(d)還根據代表該虛擬物件之位置的一序列的多筆位置資訊，將至少一視角區間的視角資訊進一步根據其對應的該等位置資訊歸類至多個位置區間，各該位置區間涵蓋相近位置，步驟(e)還使該資料整合模組決定出該視角區間中的一具有最多筆位置資訊的最佳位置區間。

在一些實施態樣中，步驟(d)還根據代表該虛擬物件與該影像擷取模組之距離的一序列的多筆距離資訊，將至少一視角區間的視角資訊進一步根據其對應的該等距離資訊歸類至多個距離區間，各該距離區間涵蓋相近距離，步驟(e)還使該資料整合模組決定出該視角區間中的一具有最多筆距離資訊的最佳距離區間。

在一些實施態樣中，步驟(d)中該等距離資訊是該資料整合模組根據步驟(c)中該虛擬物件之所在位置來計算，或該資料整合模組使該擴增實境處理模組根據步驟(c)中該虛擬物件之所在位置來計算。

在一些實施態樣中，該資料整合模組還儲存有來自其他擴增實境處理模組之相關於該虛擬物件之視角的多筆視角資訊，步驟(d)是對來自所有擴增實境處理模組的該等視角資訊歸類至該等視角區間。

於是，本發明擴增實境處理模組在一些實施態樣中，執行如所述擴增實境資訊處理方法。

於是，本發明資料整合模組在一些實施態樣中，執行如所述擴增實境資料整合方法。

本發明之功效在於：透過使該資料整合模組將代表該虛擬物件之視角的多筆視角資訊歸類至多個視角區間，能夠統計出該虛擬物件被觀看的最佳視角，而得到密切相關於擴增實境的使用者回饋資訊。

1‧‧‧擴增實境處理模組

2‧‧‧資料整合模組

3‧‧‧影像擷取模組

500‧‧‧伺服裝置

600‧‧‧使用者裝置

S1~S5‧‧‧步驟

本發明之其他的特徵及功效，將於參照圖式的實施例詳細說明中清楚地呈現，其中：圖1是一方塊圖，說明本發明擴增實境資訊處理方法的一實施例的架構；圖2是一流程圖，說明該實施例；及圖3是一方塊圖，說明本發明擴增實境資訊處理方法的另一實施例的架構。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1與圖2，本發明擴增實境資訊處理方法及擴增實境資料整合方法之第一實施例，由相互資訊連接的多個擴增實境處理模組1與一資料整合模組2執行，在本實施例中各該擴增實境處理模組1分別為多個使用者裝置600的執行對應程式碼的處理器，是設置於各該使用者裝置600，以下以其中一使用者裝置600說明。該使用者裝置600例如為行動電子裝置包括如智慧型手機、平板電腦等。該資料整合模組2則為一伺服裝置500的執行對應程式碼的處理器，是設置於該伺服裝置500，該使用者裝置600與該伺服裝置500以網際網路連線，該使用者裝置600還包含一與該擴增實境處理模組1連接的影像擷取模組3，例如為一攝影機。該方法包含以下步驟：

步驟S1-擴增實境處理模組1接收一序列供一虛擬物件顯示的環境影像。詳細而言，該等環境影像是由該影像擷取模組3擷取，舉例而言是由使用者拿起使用者裝置600朝一份文件如報章雜誌等拍攝得到。該虛擬物件為預存的一3D立體影像模型，供以擴增實境的方式顯示於該使用者裝置600的顯示模組(未圖示)中，舉例而言為相關於報章所載故事之靜態或動態之人物或其他影像、影片等，並可配合聲音檔案播出。

步驟S2-擴增實境處理模組1辨識該等環境影像中的一實體物件，舉例而言，該實體物件為被拍攝的文件上存在的一特定的圖騰，該圖騰是對應於預存的該虛擬物件，本步驟即是辨識出該實體物件為該圖騰。

步驟S3-擴增實境處理模組1根據該實體物件調整該虛擬物件之視角供顯示。詳細而言，擴增實境處理模組1根據預存之該虛擬物件與該圖騰所在平面的位置及角度關係，調整該虛擬物件之視角，使得顯示之畫面如同該虛擬物件緊密地疊置於該實體物件後所呈現的畫面，且會隨該影像擷取模組3的位置、角度動態調整，而達到擴增實境之效果。其中該角度之資訊是：以四元數表示，但不以此為限。

進一步言之，所述調整是計算該實體物件相對於該影像擷取模組3的位置及視角，並進一步計算該虛擬物件之所在位置及視角，再據以旋轉該虛擬物件成該視角，供顯示於計算所得的位置。

步驟S4-資料整合模組2將代表該虛擬物件之視角的一序列的多筆視角資訊歸類至多個視角區間，各該視角區間涵蓋相近視角。該等視角區間至少使該虛擬物件之前視及後視之視角被歸類至相異之視角區間，在一些實施態樣中，該等視角區間至少使該虛擬物件之前視、後視、俯視、左側視及右側視之其中任二者之視角被歸類至相異之視角區間。

步驟S5-資料整合模組2決定出一具有最多筆視角資訊的最佳視角區間。藉此，能夠統計出該虛擬物件被觀看的最佳視角，其應用方式舉例而言可供虛擬物件的設計者參考，為一種特殊的密切相關於擴增實境的使用者回饋資訊，做為虛擬物件設計改進之參考，甚至根據該虛擬物件及該最佳視角區間，能夠推估該使用者的年齡、性別等等使用者屬性，做進一步資訊的運用。

補充說明的是，以上雖是以其中一使用者裝置600進行的步驟做說明，但不論一或多使用者裝置600均可適用，即統計的對象亦可針對一或多使用者裝置600，例如推估一個使用者的使用者屬性，或者利用海量資料(Big Data)分析虛擬物件相關於眾多使用者的最佳視角等等。

具體而言，在關於多使用者裝置600之分析的實施態樣中，該資料整合模組2還儲存有來自其他擴增實境處理模組1之相關於該虛擬物件之視角的多筆視角資訊，步驟S4該資料整合模組2將來自所有擴增實境處理模組1的該等視角資訊歸類至該等視角區間。

但計算及統計的內容不以上述為限。在一些實施態樣中，該資料整合模組2還根據代表該虛擬物件之位置的一序列的多筆位置資訊，將至少一視角區間的視角資訊進一步根據其對應的該等位置資訊歸類至多個位置區間，各該位置區間涵蓋相近位置，步驟S5還使該資料整合模組2決定出該視角區間中的一具有最多筆位置資訊的最佳位置區間。補充說明的是，所述位置可以是該虛擬物件相對於影像擷取模組3的三維空間座標，也可以是該影像擷取模組3相對於該虛擬物件的三維空間座標。

在一些實施態樣中，步驟S4該資料整合模組2還根據代表該虛擬物件與該影像擷取模組3之距離的一序列的多筆距離資訊，將至少一視角區間的視角資訊進一步根據其對應的該等距離資訊歸類至多個距離區間，各該距離區間涵蓋相近距離。

其中，該等距離資訊是該擴增實境處理模組1根據步驟S3中該虛擬物件之所在位置來計算，或該資料整合模組2根據步驟S3中該虛擬物件之所在位置來計算。於步驟S5中該資料整合模組2還決定出該視角區間中的一具有最多筆距離資訊的最佳距離區間。補充說明的是，雖然距離資訊是由所述位置資訊計算得出，但根據位置的不同進行歸類與根據距離的不同進行歸類可能會得到不同面向的使用者行為模式，舉例而言，某些虛擬物件存在有明顯的最佳觀賞距離(最佳距離區間)，但單純以位置歸類時這些符合最佳觀賞距離的位置則被分散歸類到不同的位置區間。

根據不同的資訊內容進行歸類，能夠更完整的補捉到使用者觀看該虛擬物件的使用者行為，而能進行多樣化的分析以及進一步運用。除了前述的視角、位置、距離、虛擬物件內容等資訊外，還可結合其他可取得的資訊，例如觀賞時間長度等進行綜合分析，不以此為限。

參閱圖3，本發明擴增實境資訊處理方法之第二實施例，與第一實施例大致相同，其差異在於，在本實施例中僅該影像擷取模組3是設置於該使用者裝置600，至於該擴增實境處理模組1與該資料整合模組2則均設置於該伺服裝置500，該擴增實境處理模組1為計算擴增實境顯示內容之處理器，該資料整合模組2為進行資料整合及統計之處理器，但不以此為限，也可以藉由單一個處理器執行相異的對應程式碼而視同存在該擴增實境處理模組1及該資料整合模組2。該使用者裝置600例如為行動電子裝置或桌上型電腦等，該影像擷取模組3則為一內建或外接之網路攝影機，該使用者裝置600將該影像擷取模組3擷取的一序列影像傳送到該伺服裝置500後，該擴增實境處理模組1與該資料整合模組2針對該一序列影像執行所述擴增實境資訊處理方法。

綜上所述，透過該資料整合模組將代表該虛擬物件之視角的多筆視角資訊歸類至多個視角區間，甚至進一步根據距離、位置進行歸類，能夠統計出該虛擬物件被觀看的最佳視角、距離、位置等，而得到密切相關於擴增實境的使用者回饋資訊，而能供進一步運用，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

S1~S5‧‧‧步驟

Claims

一種擴增實境資訊處理方法，由一擴增實境處理模組執行，該擴增實境處理模組與一資料整合模組資訊連接，並包含以下步驟：(A)接收多張供一虛擬物件顯示的環境影像；(B)辨識該等環境影像中的一實體物件；(C)根據該實體物件調整該虛擬物件之視角供顯示；(D)使該資料整合模組將代表該虛擬物件之視角的多筆視角資訊歸類至多個視角區間；及(E)使該資料整合模組決定出一具有最多筆視角資訊的最佳視角區間。
如請求項1所述擴增實境資訊處理方法，其中，該等環境影像是由一影像擷取模組擷取，步驟(C)所述調整是計算該實體物件相對於該影像擷取模組的位置及視角，並進一步計算該虛擬物件之所在位置及視角，再據以旋轉該虛擬物件成該視角，供顯示於計算所得的位置。
如請求項2所述擴增實境資訊處理方法，其中，步驟(D)還使該資料整合模組根據代表該虛擬物件之位置的一序列的多筆位置資訊，將至少一視角區間的視角資訊進一步根據其對應的該等位置資訊歸類至多個位置區間，步驟(E)還使該資料整合模組決定出該視角區間中的一具有最多筆位置資訊的最佳位置區間。
如請求項2所述擴增實境資訊處理方法，其中，步驟( D)還使該資料整合模組根據代表該虛擬物件與該影像擷取模組之距離的一序列的多筆距離資訊，將至少一視角區間的視角資訊進一步根據其對應的該等距離資訊歸類至多個距離區間，步驟(E)還使該資料整合模組決定出該視角區間中的一具有最多筆距離資訊的最佳距離區間。
如請求項4所述擴增實境資訊處理方法，其中，步驟(D)中該等距離資訊是該擴增實境處理模組根據步驟(C)中該虛擬物件之所在位置來計算，或該擴增實境處理模組使該資料整合模組根據步驟(C)中該虛擬物件之所在位置來計算。
如請求項1所述擴增實境資訊處理方法，其中，該等視角區間至少使該虛擬物件之前視及後視之視角被歸類至相異之視角區間。
如請求項6所述擴增實境資訊處理方法，其中，該等視角區間至少使該虛擬物件之前視、後視、俯視、左側視及右側視之其中任二者之視角被歸類至相異之視角區間。
如請求項1所述擴增實境資訊處理方法，其中，該擴增實境處理模組是設置於一使用者裝置，該資料整合模組是設置於一伺服裝置，步驟(A)中該等環境影像是被一設置於該使用者裝置的影像擷取模組擷取。
如請求項1所述擴增實境資訊處理方法，其中，該擴增實境處理模組及該資料整合模組是設置於一伺服裝置，該伺服裝置與一使用者裝置連線，步驟(A)中該等環境影像是被一設置於該使用者裝置的影像擷取模組擷取。
如請求項1所述擴增實境資訊處理方法，其中，該資料整合模組還儲存有來自其他擴增實境處理模組之相關於該虛擬物件之視角的多筆視角資訊，步驟(D)是使該資料整合模組將來自所有擴增實境處理模組的該等視角資訊歸類至該等視角區間。
一種擴增實境資料整合方法，由一資料整合模組執行，該資料整合模組與一擴增實境處理模組資訊連接，並包含以下步驟：(a)使該擴增實境處理模組接收多張供一虛擬物件顯示的環境影像；(b)使該擴增實境處理模組辨識該等環境影像中的一實體物件；(c)使該擴增實境處理模組根據該實體物件調整該虛擬物件之視角供顯示；(d)將代表該虛擬物件之視角的多筆視角資訊歸類至多個視角區間；及(e)決定出一具有最多筆視角資訊的最佳視角區間。
如請求項11所述擴增實境資料整合方法，其中，該等環境影像是由一影像擷取模組擷取，步驟(c)所述調整是計算該實體物件相對於該影像擷取模組的位置及視角，並進一步計算該虛擬物件之所在位置及視角，再據以旋轉該虛擬物件成該視角，供顯示於計算所得的位置。
如請求項12所述擴增實境資料整合方法，其中，步驟(d)還根據代表該虛擬物件之位置的一序列的多筆位置資訊，將至少一視角區間的視角資訊進一步根據其對應的該等位置資訊歸類至多個位置區間，步驟(e)還使該資料整合模組決定出該視角區間中的一具有最多筆位置資訊的最佳位置區間。
如請求項12所述擴增實境資料整合方法，其中，步驟(d)還根據代表該虛擬物件與該影像擷取模組之距離的一序列的多筆距離資訊，將至少一視角區間的視角資訊進一步根據其對應的該等距離資訊歸類至多個距離區間，步驟(e)還使該資料整合模組決定出該視角區間中的一具有最多筆距離資訊的最佳距離區間。
如請求項14所述擴增實境資料整合方法，其中，步驟(d)中該等距離資訊是該資料整合模組根據步驟(c)中該虛擬物件之所在位置來計算，或該資料整合模組使該擴增實境處理模組根據步驟(c)中該虛擬物件之所在位置來計算。
如請求項11所述擴增實境資料整合方法，其中，該等視角區間至少使該虛擬物件之前視及後視之視角被歸類至相異之視角區間。
如請求項16所述擴增實境資料整合方法，其中，該等視角區間至少使該虛擬物件之前視、後視、俯視、左側視及右側視之其中任二者之視角被歸類至相異之視角區間。
如請求項11所述擴增實境資料整合方法，其中，該擴增實境處理模組是設置於一使用者裝置，該資料整合模組是設置於一伺服裝置，步驟(a)中該等環境影像是被一設置於該使用者裝置的影像擷取模組擷取。
如請求項11所述擴增實境資料整合方法，其中，該擴增實境處理模組及該資料整合模組是設置於一伺服裝置，該伺服裝置與一使用者裝置連線，步驟(a)中該等環境影像是被一設置於該使用者裝置的影像擷取模組擷取。
如請求項11所述擴增實境資料整合方法，其中，該資料整合模組還儲存有來自其他擴增實境處理模組之相關於該虛擬物件之視角的多筆視角資訊，步驟(d)是對來自所有擴增實境處理模組的該等視角資訊歸類至該等視角區間。
一種擴增實境處理模組，執行如請求項1至10中任一請求項所述擴增實境資訊處理方法。
一種資料整合模組，執行如請求項11至20中任一請求項所述擴增實境資料整合方法。