TWI533680B - Audio and video streaming method - Google Patents

Description

影音串流播放方法

本發明是有關於一種影音串流播放方法，特別是指一種結合擴增實境與電腦動畫的影音串流播放方法。

隨著多媒體與通訊技術的快速發展，使用例如為智慧型手機、平板電腦的行動裝置經由網際網路從資料伺服器下載影音於行動裝置播放已經是相當普遍。特別地，利用資料串流(streaming)的方式下載、播放影音已經是目前的主流方式，此方式能在影音的資料全部下載完畢之前即播放所接收到的影音資料，並即時地讓使用者觀賞。

此外，近來還有結合擴增實境(Augmented Reality)技術的影音播放方式，也就是，使用者操作行動裝置從資料伺服器下載參考影像及對應參考影像的影音檔案。然後，操作行動裝置對目標物件擷取影像而產生包含目標物件的目標影像，其中目標物件可以為任一實體，例如一幅圖畫、一棟建築等等。當行動裝置判斷目標影像與參考影像的相似度高於預設門檻值時，行動裝置播放對應參考影像的影音檔案。

然而，目前來說，上述結合擴增實境的影音播放方式需要等待影音檔案的資料全部下載完畢之後才能播 放影音檔案，缺乏即時性，所以還有改善的空間。

因此，本發明之目的，即在提供一種影音串流播放方法。

於是本發明影音串流播放方法，由一資料伺服器與一經由網路連接該資料伺服器並實施有一內存緩衝區的行動裝置共同執行，該資料伺服器包含至少一參考影像及一對應該參考影像的影音檔案，該影音串流播放方法包含以下步驟：

步驟(a)：該行動裝置自該資料伺服器下載該參考影像。

步驟(b)：該行動裝置對一目標物件擷取影像而產生一包含該目標物件的目標影像。

步驟(c)：當該行動裝置判斷該目標影像與所下載參考影像的相似度高於一預設門檻值時，該行動裝置發送一相關於該影音檔案的下載請求至該資料伺服器。

步驟(d)：該資料伺服器根據該下載請求將該影音檔案劃分成多個分別具有一序號的影音單元，並將該等影音單元傳送至該行動裝置，其中，每一影音單元包含一影像子單元及一音訊子單元。

步驟(e)：當該行動裝置接收到該等影音單元的其中任一者時，該行動裝置將該影音單元存於該內存緩衝區；

步驟(f)：該行動裝置根據該等影音單元的序號 依序自該內存緩衝區取出至少一影音單元。

步驟(g)：該行動裝置從自該內存緩衝區取出的該影音單元取出該影像子單元與該音訊子單元。

步驟(h)：該行動裝置自該影像子單元取出至少一影像並將該影像貼圖至一預定的三維物件模型。

步驟(i)：該行動裝置同步地播放該音訊子單元與該被貼圖的三維物件模型。

此外，本發明之另一目的，即在提供另一種影音串流播放方法。

於是本發明另一影音串流播放方法，包含上述步驟(a)~(e)，及步驟(j)：該行動裝置根據該等影音單元對應的序號依序自該內存緩衝區取出至少一影音單元，並播放該影音單元。

本發明之功效在於：藉由結合擴增實境與影音串流技術，能即時地自該資料伺服器下載、播放對應該目標物件的影音檔案，並能增添觀賞該影音檔案時的樂趣。

1‧‧‧資料伺服器

2‧‧‧行動裝置

21‧‧‧內存緩衝區

31~311‧‧‧步驟

4‧‧‧目標物件

5‧‧‧三維物件模型

6‧‧‧影像畫面

7‧‧‧影音檔案

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一示意圖，說明執行本發明影音串流播放方法的一資料伺服器與一行動裝置；圖2A是一流程圖，說明該影音串流播放方法的步驟流程；圖2B是一流程圖，配合圖2A說明該影音串流播放方 法的步驟流程；圖3A是一示意圖，例示該影音串流播放方法的執行情況；及圖3B是一示意圖，配合圖3A例示該影音串流播放方法的執行情況。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，本發明的影音串流播放方法是由一資料伺服器1與一行動裝置2共同執行。該行動裝置2例如為智慧型手機或平板電腦，經由網際網路連接該資料伺服器1並實施有一內存緩衝區21及一影像緩衝區(圖未示)。該資料伺服器1包含多個參考影像及對應該等參考影像的影音檔案。

參閱圖2A與圖2B，以下詳述該影音串流播放方法的步驟流程。首先，在步驟31，該行動裝置2自該資料伺服器1下載至少一參考影像。

接著，在步驟32，該行動裝置2對一目標物件擷取影像而產生一包含該目標物件的目標影像。

接著，在步驟33，該行動裝置2判斷是否有對應該目標影像的參考影像。詳細而言，若在步驟31該行動裝置2僅下載一參考影像，該行動裝置2判斷是否該目標影像與所下載的該參考影像的相似度高於一預設門檻值，若判斷結果為肯定的，該行動裝置2判定該參考影像對應 該目標影像，否則不對應該目標影像。而若在步驟31該行動裝置2下載了多個參考影像，該行動裝置2計算每一參考影像與該目標影像的相似度，並判斷是否該等相似度中的一最高者高於該預設門檻值，若判斷的結果為肯定的，該行動裝置2判定與該目標影像有最高相似度的該參考影像對應該目標影像，否則該等參考影像均不對應該目標影像。

當步驟33的判斷的結果為肯定時，進行步驟34，否則返回進行步驟32。

在步驟34，該行動裝置2發送一相關於對應該目標影像的參考影像所對應的影音檔案的下載請求至該資料伺服器1。

接著，在步驟35，該資料伺服器1根據該下載請求將該影音檔案劃分成多個分別具有一序號的影音單元，並用串流的方式將該等影音單元傳送至該行動裝置2，其中，每一影音單元包含一影像子單元及一音訊子單元。

接著，在步驟36，該行動裝置2持續地接收來自該資料伺服器1的該等影音單元，並當接收到該等影音單元的其中任一者時，將該影音單元存於該內存緩衝區21。且該行動裝置2在持續地接收該等影音單元的同時，重複地進行步驟37~310，及步驟311。

在步驟37，該行動裝置2根據該等影音單元對應的序號依序自該內存緩衝區21取出至少一影音單元。

接著，在步驟38，該行動裝置2從自該內存緩 衝區21取出的該影音單元取出該影像子單元與該音訊子單元。

接著，在步驟39，該行動裝置2自該影像子單元取出至少一影像並將該影像貼圖至一預定的三維物件模型。

接著，在步驟310，該行動裝置2將該被貼圖的三維物件模型與該目標影像疊合而產生一疊合影像，並將該疊合影像儲存至該影像緩衝區。之後，返回進行步驟37，並同時進行步驟311。

在步驟311，該行動裝置2自該影像緩衝區取出該疊合影像，並同步地播放該音訊子單元與該疊合影像。

舉例來說，再參閱圖1，該資料伺服器1將該影音檔案劃7分成M個影音單元，且依照該等影音單元在該影音檔案的播放開始時間，也就是時間戳記(time stamp)，分別給定每一影音單元序號，也就是1至M的其中一者，而產生影音單元一、影音單元二，至影音單元M。也就是說，在該影音檔案中，影音單元一的播放順序為最先，接著依序是影音單元二、影音單元三，至影音單元M。

而該行動裝置2接收到的前四個影音單元依序為影音單元二、影音單元一、影音單元三，及影音單元四。在實施上，在步驟37可自該內存緩衝區21先取出影音單元一成為步驟38的該影音單元並執行步驟38~311，接著再自該內存緩衝區21取出影音單元二成為步驟38的該影音單元並執行步驟38~311，接著取出影音單元三，接著 取出影音單元四，依此類推。

而在另一實施方式，可在步驟37將在該內存緩衝區21中的多個在序號上連續的影音單元串接而產生步驟38的該影音單元。例如將影音單元二串接於影音單元一之後，而產生步驟38的該影音單元並執行步驟38~311，接著再將影音單元四串接於影音單元三之後，而產生步驟38的該影音單元並執行步驟38~311。

此外，在步驟39，當該行動裝置2自該影像子單元取出連續的多個影像時，可先將該等連續的影像分別貼圖至預定的三維物件模型，在步驟310再分別將被貼圖的三維物件模型與該目標影像疊合而產生連續的多個疊合影像，並將該等疊合影像儲存至該影像緩衝區，而在步驟311，該行動裝置2自該影像緩衝區取出該等連續的疊合影像，並同步地播放該音訊子單元與該等連續的疊合影像。

而當有較高的即時播放的要求時，步驟37~311可採用以下的實施方式：在該行動裝置2實施多個影像緩衝區，例如是二個影像緩衝區，並在步驟37，自該內存緩衝區21取出多個影音單元；在步驟38，自該等影音單元取出多個影像子單元與分別對應該等影像子單元的多個音訊子單元；在步驟39，對於每一影像子單元，取出其中的所有影像並分別貼圖至預定的三維物件模型；在步驟310，分別將被貼圖的三維物件模型與該目標影像疊合而產生對應該影像子單元的連續的疊合影像，並將所產生的疊合影像儲存至該等影像緩衝區的其中一者；在步驟311，該行動裝 置2自該等影像緩衝區依序取出該等疊合影像，並同步地播放該等音訊子單元與該等疊合影像。

圖3A及圖3B例示該行動裝置2分別在一第一時間點與一第二時間點播放該疊合影像的情況。如圖3A所示，該目標物件4為相關於一電影的紙卡，在該第一時間點該三維物件模型5為一圓柱體，當該行動裝置2辨識出該紙卡時，該行動裝置2以串流的方式從該資料伺服器1下載該電影，並將該電影的影像畫面6貼圖至該三維物件模型5；接著，在該第二時間點，如圖3B所示，該三維物件模型5轉變為一立方體，也就是說，可在不同時間點使用不同態樣的三維物件模型，如此，更能增添使用者觀賞該電影時的樂趣。

此外，在另一實施方式中，該影音串流播放方法可在執行步驟31~39之後直接同步地播放該音訊子單元與該被貼圖的三維物件模型，而不將該被貼圖的三維物件模型與該目標影像疊合。

而在另一實施方式中，也可在執行步驟31~37之後，直接播放該影音單元，而不對該影音單元的影像子單元進行相關於電腦圖學的處理。

綜上所述，本發明影音串流播放方法，結合擴增實境與影音串流技術，能使該行動裝置在辨識出該目標物件之後，即時地自該資料伺服器下載、播放對應該目標物件的影音檔案，且在播放時進一步以結合三維電腦動畫的方式呈現該影音檔案的影像部分，增添觀賞該影音檔案 時的樂趣，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1‧‧‧資料伺服器

2‧‧‧行動裝置

21‧‧‧內存緩衝區

7‧‧‧影音檔案

Claims (4)

1. 一種影音串流播放方法，由一資料伺服器與一經由網路連接該資料伺服器並實施有一內存緩衝區的行動裝置共同執行，該資料伺服器包含至少一參考影像及一對應該參考影像的影音檔案，該影音串流播放方法包含以下步驟：(a)該行動裝置自該資料伺服器下載該參考影像；(b)該行動裝置對一目標物件擷取影像而產生一包含該目標物件的目標影像；(c)當該行動裝置判斷該目標影像與所下載參考影像的相似度高於一預設門檻值時，該行動裝置發送一相關於該影音檔案的下載請求至該資料伺服器；(d)該資料伺服器根據該下載請求將該影音檔案劃分成多個分別具有一序號的影音單元，並將該等影音單元傳送至該行動裝置，其中，每一影音單元包含一影像子單元及一音訊子單元；(e)當該行動裝置接收到該等影音單元的其中任一者時，該行動裝置將該影音單元存於該內存緩衝區；(f)該行動裝置根據該等影音單元的序號依序自該內存緩衝區取出至少一影音單元；(g)該行動裝置從自該內存緩衝區取出的該影音單元取出該影像子單元與該音訊子單元；(h)該行動裝置自該影像子單元取出至少一影像並將該影像貼圖至一預定的三維物件模型； (i)該行動裝置同步地播放該音訊子單元與該被貼圖的三維物件模型。
2. 如請求項1所述的影音串流播放方法，其中，在步驟(h)，該行動裝置將該影像貼圖至該三維物件模型之後，將該被貼圖的三維物件模型與該目標影像疊合而產生一疊合影像，且在步驟(i)，該行動裝置同步地播放該音訊子單元與該疊合影像。
3. 如請求項2所述的影音串流播放方法，該行動裝置還實施有多個影像緩衝區，其中，當該行動裝置在步驟(f)自該內存緩衝區取出多個影音單元時，該行動裝置在步驟(g)自該等影音單元取出多個影像子單元與分別對應該等影像子單元的多個音訊子單元，並在步驟(h)將每一影像子單元的根據其中的影像與該三維物件模型產生的疊合影像儲存至該等影像緩衝區的其中一者，且在步驟(i)，該行動裝置自該等影像緩衝區依序取出該等疊合影像，並同步地播放該等音訊子單元與該等疊合影像。
4. 一種影音串流播放方法，由一資料伺服器與一經由網路連接該資料伺服器並實施有一內存緩衝區的行動裝置共同執行，該資料伺服器包含至少一參考影像及一對應該參考影像的影音檔案，該影音串流播放方法包含以下步驟：(a)該行動裝置自該資料伺服器下載該參考影像；(b)該行動裝置對一目標物件擷取影像而產生一包含該目標物件的目標影像； (c)當該行動裝置判斷該目標影像與所下載參考影像的相似度高於一預設門檻值時，該行動裝置發送一相關於該影音檔案的下載請求至該資料伺服器；(d)該資料伺服器根據該下載請求將該影音檔案劃分成多個分別具有一序號的影音單元，並將該等影音單元傳送至該行動裝置；(e)當該行動裝置接收到該等影音單元的其中任一者時，該行動裝置將該影音單元儲存於該內存緩衝區；及(f)該行動裝置根據該等影音單元的序號依序自該內存緩衝區取出至少一影音單元，並播放該影音單元。