TW201349848A

TW201349848A - 多視角互動電視之影音串流方法

Info

Publication number: TW201349848A
Application number: TW101118128A
Authority: TW
Inventors: Nian-Zhen Lin; He-Xun Zhang; Wei-Xiu Chen
Original assignee: Chunghwa Telecom Co Ltd
Priority date: 2012-05-22
Filing date: 2012-05-22
Publication date: 2013-12-01
Also published as: CN102833584A

Abstract

一種多視角互動電視之影音串流方法，係指一種依使用者需要，傳遞不同角度影音之串流傳輸方法；主要係利用影像切割的方法，將多部攝影機同時同步於不同角度所拍攝的影像，依據每組連續的畫面(Group of Pictures，簡稱GOP)切割成一個個的小影片，最後視用戶端收看及切換角度的需要，透過串流(Streaming)的網路傳輸方式將特定角度的連續小影片傳送至用戶端，用戶端再經由硬體播放器(STB或PC)來接收影像以及選擇收看視角。本發明可在不增加額外網路負載的情況下，提供用戶端與電視互動及選擇收看視角的自主權，以提升用戶的收看品質及豐富度。

Description

多視角互動電視之影音串流方法

本發明係有關於一種多視角互動電視之影音串流方法，依據用戶不同的切換角度需求，即時換算出正確的角度及時間點，依據換算後的角度及時間點，將對應到的一連串小影片組合成一條用戶專屬的頻道，透過串流的網路傳輸方式傳送到用戶端收看。

在本案之前並無確切之技術可達到此效果，目前的網路電視(IPTV)所提供的頻道，皆是由先前錄製或者是透過專業人士的操鏡下(例如：即時球賽轉播、演唱會…等)所拍製而成的影片，使用者僅能使用頻道切換的功能，從中選擇較合適自己的頻道收看，而無法改變頻道的內容。隨著科技的進步，互動時代的來臨，單靠頻道的切換將不能滿足使用者多樣化的需求。

為了要滿足使用者求新求變的需求，因此，提供與使用者互動的功能將會帶給使用者不同的感受，要達到多視角互動電視的效果，在傳統作法是將每個角度視為不同的頻道，供使用者做切換，但如此一來，視訊伺服器需同時傳送各個角度的頻道內容供使用者選擇，造成網路負載倍增以及使用者將難以收看到同一時間不同角度的畫面，而且實質上還是提供頻道切換之功能，而非真正與使用者做互動。

由此可見，上述習用方式仍有諸多不足，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件”多視角互動電視之影音串流方法”。

本發明之目的即在於提供一種多視角互動電視之影音串流方法，乃在不額外增加網路負載下，提供使用者收看到不同視角的影像，達到與使用者互動的效果。

可達成上述發明目的之多視角互動電視之影音串流方法，係指一種依使用者收視喜好，傳遞不同角度影音之串流傳輸方法；主要係採用影像切割的技術，將多台攝影機所同時同步在不同角度所拍下的影像，壓縮成MPEG-2/H.264傳輸流(Transport Stream)，再依每組的連續畫面(Group of Pictures，簡稱GOP)切割成一個個的小影片，其中，每個小影片皆記錄著時間及空間的資訊，儲存於串流媒體伺服器(Streaming Server)中。當使用者透過硬體播放器(STB或PC)收看視訊節目時，想要切換到其他視角觀賞，即可利用STB的遙控器或個人電腦的播放介面向串流媒體伺服器發出切換角度訊息，串流媒體伺服器接收到訊息後，會計算出相對應的時間及空間資訊，找出相對應的一連串小影片，透過網路串流的傳輸方式傳送到用戶端。

由於在收看多視角互動電視時，每個使用者所要看的角度皆不盡相同，所以在此我們提出了一個虛擬頻道的概念，目的就是要提供使用者一個量身訂作的頻道，當使用者收看時，只建立一條使用者專屬的頻道，任何切換視角的操作皆利用同一條頻道進行，而頻道傳輸的視訊內容是由一連串的小影片所組成，本發明所採用的影像切割及串流傳輸的技術，目的就是將原本拍攝的影片切割成一個個獨立的小影片，使用者可以透過硬體播放器(STB或PC)來依據個人喜好來自由選擇，Streaming Server會依據使用者的選擇即時安排出所對應到的一連串小影片，再透過串流技術即時將影片傳到用戶端，訂作出一個使用者專屬的頻道。因此透過本發明所採用的串流影音技術下，Streaming Server只需耗費單一頻道的頻寬，即可讓使用者觀賞到不同角度的畫面，故不會增加額外的網路負載，另外，使用者在收看多視角互動電視時，除了可以透過硬體播放器(STB或PC)享有原本的服務技術(例如：播放、暫停、停止、快轉、倒轉)外，還可以享有更進一步的互動模式(例如：切換視角(View Switching)、環場預覽(View Sweeping)及時間凍結的環場預覽(Frozen Sweeping)等)，以達到與使用者真正的互動，提供更多元化的服務。

請參考圖一，為本發明多視角互動電視之系統架構圖，由圖中可知，係由多視角視訊內容提供單元11，在不同角度環繞架設攝影機，同時同步對同一物品進行取像之作業，所拍攝的影片會經影片壓縮處理單元21，輸出成MPEG-2/H.264傳輸流(Transport Stream)22，存至串流媒體伺服器2，再透過影像切割單元31，依據GOP切成小單位影片 32，供後續影片推播單元41之用；當使用者42透過硬體播放器44(數位機上盒STB或電腦PC)所搭配的遙控器43或個人電腦的播放介面選擇要觀賞的模式，除了原有的播放、暫停、停止、快轉、倒轉等基本功能外，還提供進一步的互動模式，例如視角切換(View Switching)、環場預覽(View Sweeping)、凍結環場預覽(Frozen Sweeping)等。一旦使用者按下按鈕後，硬體播放器44就會將使用者收看需求資訊45，透過Internet 4的方式傳送到串流媒體伺服器2(Streaming Server)中，串流媒體伺服器2收到使用者收看需求資訊45後，會針對使用者所選擇的角度，找出小單位影片的播放路徑46，組合出專屬的播放影片47，稱之為虛擬頻道，再透過串流的方式將這些小單位影片32傳輸到用戶端播放設備48，供使用者收看。本發明透過虛擬頻道的概念以及影像切割、重組的技術，使得推播影片時，串流媒體伺服器2可在不增加額外的網路負載下，依據使用者的需求，使用單一頻道的頻寬，讓使用者在同一頻道觀賞到不同角度的畫面。

請參考圖二，為本發明多視角互動電視之影音串流方法中視角切換(View Switching)概念圖，使用者可以操作遙控器的左、右方向鍵來切換視角，按下後會立即觀賞到鄰近攝影機在不同角度所拍下的畫面，讓使用者可以自己選擇所喜好的視角收看。

若使用者42在第j秒時間點觀賞第i角度的多媒體檔案Vi,j時按下了時間凍結鍵，並且按下了向右的方向鍵，則當串流媒體伺服器2接收時，由於時間是靜止的，因此只會將第 i+1角度的第j秒的多媒體檔案V(i+1),j傳送給使用者42，直到使用者42再按下播放鍵，串流媒體伺服器2才會繼續送後續的連續多媒體檔案給使用者42。

請參考圖三，為本發明多視角互動電視之影音串流方法中視角切換示意圖，其運作模式為：在時間仍持續在進行的狀態下，切換到鄰近攝影機所拍到的畫面。若目前使用者12在第j秒時間點觀賞第2角度的多媒體檔案V2,j時按下了向右的方向鍵，此時串流媒體伺服器2接收到由硬體播放器44送出的訊息後會立即算出所對應的多媒體檔案，由於時間仍持續在進行，因此會將第3角度的第j+1秒後的連續多媒體檔案V3,(j+1),V3,(j+2),V3,(j+3),…等傳送到用戶端。反之，若使用者按下了向左的方向鍵，則會將V1,(j+1),V1,(j+2),V1,(j+3),…等傳送到用戶端。

請參考圖四，為本發明多視角互動電視之影音串流方法中環場預覽(View Sweeping)概念圖，使用者可以操作搖控器的環場預覽鍵來觀賞環場預覽的效果，其主要是順著逆時鐘方向輪流播放所架設的每一台攝影機在各個角度拍攝到的畫面，讓使用者能短時間瀏覽拍攝物體在不同角度所呈現的不同面向。

請參考圖五，為本發明多視角互動電視之影音串流方法中凍結環場預覽(Frozen Sweeping)示意圖，其運作模式為：在同一個時間點上瀏覽每一台攝影機所拍到的畫面。若使用者在i秒時按下了凍結環場預覽的按鈕，Streaming Server接收後，則會將時間點i的每個角度(V1,i,V2,i,V3,i,…,Vn,i)影片，透過串流的方式傳送到用戶端，而用戶端的播放器就會以V1,i->V2,i->V3,i->…->Vn,i->V1,i->V2,i…的順序重複播放影片，使用者可隨時在某個角度取消凍結環場預覽功能，串流媒體伺服器2接收到取消凍結環場預覽訊息後，會依使用者按下按鍵時所播放到的畫面Vm,i，繼續播放角度m在該時間點i後面之畫面。

請參考圖六，為本發明多視角互動電視之影音串流方法中環場預覽(View Sweeping)示意圖，其運作模式為：在時間仍持續在進行的狀態下，瀏覽每一台攝影機所拍到的畫面。因此在切換到其他觀賞視角的同時，播放之畫面並不會停留在該時間點上，而是另一視角在該時間點後之畫面。因此若使用者在j秒時按下了環場預覽的按鈕，串流媒體伺服器2接收後，將會透過串流的方式傳送V1,j,V2,(j+1),V3,(j+2),…,Vn,(j+(n-1)),V1,(j+n)…的影片至用戶端，讓使用者在時間進行中看到環場預覽的效果，使用者可隨時停止環場預覽功能，並繼續播放停止瞬間所在角度之影片。

請參考圖七，為本發明多視角互動電視之影音串流方法中凍結環場預覽(Frozen Sweeping)節目畫面截圖。當使用者按下凍結環場預覽的按鈕時，使用者可在該時間點上，觀賞到每台攝影機所拍攝的畫面，直到使用者取消凍結環場預覽，並以取消當時之角度及時間點繼續播放影片。

請參閱圖八，為本發明多視角互動電視之影音串流方法中環場預覽(View Sweeping)節目畫面截圖。當使用者接下環場預覽的按鈕時，使用者可在時間持續進行中，觀賞到每台攝影機所拍攝的畫面，直到使用者取消環場預覽，並以取消當時之角度及時間點繼續播放影片。

本發明所提供之多視角互動電視之影音串流方法，與其化習用技術相互比較時，更具備下列優點：

1.本發明可在不增加額外網路負載下，讓使用者在同一頻道觀賞到不同角度的影片，並依據使用者的需求，即時傳送相對應的一連串影片，重組出使用者專屬的頻道，提供與使用者互動的服務。

2.本發明之多視角互動電視之影音串流方法，除了可以透過硬體播放器(STB或PC)享有原有的服務技術(例如：播放、暫停、停止、快轉、倒轉)外，還可以享有更進一步的互動模式(例如：切換視角(View Switching)、環場預覽(View Sweeping)及時間凍結的環場預覽(Frozen Sweeping)等)，以達到與使用者真正的互動，提供更多元化的服務。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不但在技術思想上確屬創新，並能較習知方法增進上述多項功效，應已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請貴局核准本件發明專利申請案，以勵發明，至感德便。

11‧‧‧多視角視訊內容提供單元

2‧‧‧串流媒體伺服器

21‧‧‧影片壓縮處理單元

22‧‧‧MPEG-2/H.264傳輸流

31‧‧‧影像切割單元

32‧‧‧小單位影片

4‧‧‧Internet

41‧‧‧影片推播單元

42‧‧‧使用者

43‧‧‧遙控器

44‧‧‧硬體播放器

45‧‧‧使用者收看需求資訊

46‧‧‧小單位影片的播放路徑

47‧‧‧專屬的播放影片

48‧‧‧用戶端播放設備

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及目的功效；有關附圖為：圖一為本發明多視角互動電視之影音串流方法之系統架構圖；圖二為本發明多視角互動電視之影音串流方法之切換視角概念圖；圖三為本發明多視角互動電視之影音串流方法之切換視角示意圖；圖四為本發明多視角互動電視之影音串流方法之環場預覽概念圖；圖五為本發明多視角互動電視之影音串流方法之凍結環場預覽示意圖；圖六為本發明多視角互動電視之影音串流方法之環場預覽示意圖；圖七為本發明多視角互動電視之影音串流方法之凍結環場預覽畫面截圖；以及圖八為本發明多視角互動電視之影音串流方法之環場預覽畫面截圖。