TW202318880A - 多視角視訊即時串流方法與系統 - Google Patents

Abstract

一種多視角視訊即時串流方法與系統，系統主要設有一攝影機控制子系統，連接多部設於環繞或部分環繞一拍攝主體的攝影機，用以控制多部攝影機的運作，並接收多部攝影機拍攝的影像，其中每部攝影機拍攝一視角的影像；系統設有一串流處理子系統，用以編碼通過攝影機控制子系統即時取得的一多視角視訊，形成一即時串流視訊，並通過網路播送即時串流視訊。所述多視角視訊在每個時間點涵蓋多張不同視角的影格，最後在終端設備上播放時可讓使用者通過指令隨時切換不同視角的影像。

Description

多視角視訊即時串流方法與系統

揭露書關於一種即時串流多視角視訊的技術，特別是指通過網路即時傳播可讓使用者選擇觀看視角的一種多視角視訊即時串流方法與系統。

一般製作直播影片、轉播影片、動畫或是電影時，都是根據導播或導演決定視角進行拍攝，其中人物多半也是通過指示限制其走位與演出方向，即便是多機轉播，所播送的影片也是通過導播選擇決定每個片段有特定的視角畫面。就觀看影片的使用者而言，上述的方式並沒有讓使用者有決定觀看角度的權利。

現行可以形成多視角影像的方式為利用多部靜態照相機同時或順序觸發拍攝一個場景或人物，之後組合每部照相機拍攝的影像，產生一個有多角度的靜止影像，可以讓使用者決定觀看這張靜止影像的角度。

另有現行有多視角的拍攝方式如一種子彈時間（bullet time）的特效，是一種利用電腦輔助的攝影技術，以多個鏡頭同時用不同拍攝角度拍攝一個場景或人物，產生有圍繞場景旋轉的視覺效果。

揭露書提出一種多視角視訊即時串流方法與系統，提出一種可以通過網路串流技術即時播送多視角視訊內容的方法。

根據多視角視訊即時串流系統實施例，系統主要元件為一攝影機控制子系統以及一串流處理子系統。攝影機控制子系統連接多部設於環繞或部分環繞一拍攝現場的攝影機，用以控制多部攝影機的運作，並接收多部攝影機拍攝的影像，其中每部攝影機拍攝一視角的影像。串流處理子系統用以編碼通過攝影機控制子系統即時取得的一多視角視訊，形成一即時串流視訊，之後通過網路播送即時串流視訊。例如傳送至一影音平台後，即時串流至使用者端的終端設備。

其中，通過串流處理子系統對多視角視訊執行編碼形成隨著一時間序列的多視角視訊，其中每個時間點涵蓋多張不同視角的影格，以於一終端設備上播放時可隨時決定不同視角的影像。

優選地，所述多部攝影機分別具有不同或相同的拍攝視野，相鄰攝影機的拍攝視野有重疊部分，以及多部攝影機分別具有不同的拍攝角度，以在同一時間點下取得多個不同視角的影像。

進一步地，多視角視訊即時串流系統還包括一主控電腦，設有一監視器，連接攝影機控制子系統，可用以監控多部攝影機的運作以及以監視器監視多部攝影機拍攝的影像。

優選地，當使用者通過終端設備顯示即時串流視訊時，可通過指令切換多部攝影機所拍攝的影像，能隨時決定觀看不同視角的影像。

進一步地，使用者可操作終端設備的觸控螢幕，通過手勢指令依照多部攝影機的設置順序連續切換不同攝影機拍攝的影像，形成無縫切換不同視角影像的即時串流視訊。

進一步地，所述串流處理子系統可根據網路流量品質自動切換傳輸速率或影格率來播送即時串流視訊。

根據多視角視訊即時串流方法實施例，相關流程包括通過攝影機控制子系統取得多部環繞或部分環繞一個被拍攝主體的攝影機拍攝的影像，通過串流處理子系統編碼通過攝影機控制子系統即時取得的多視角視訊，形成即時串流視訊，其中每個時間點涵蓋多張不同視角的影格，之後通過網路播送即時串流視訊。

為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。

以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。

應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號，但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一訊號與另一訊號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。

揭露書提出一種多視角視訊即時串流方法與系統，這是一個形成多視角視訊的方法，多視角視訊的產生主要是倚賴設於拍攝一被攝主題四周的多部攝影機，可以在每個時間點同步取得不同視角的影格，隨著時間序的連續影格即形成多視角視訊，當使用者端裝置以即時串流接收多視角視訊並顯示多視角視訊時，可以通過指令切換不同攝影機拍攝的影像，達成即時可切換不同視角的影像的觀影效果。

圖1顯示多視角視訊即時串流系統的架構實施例示意圖。

在此架構實施例中，系統包括有多部攝影機101, 102, 103, 104, 105，實際運作時，數量為至少兩部攝影機對一被攝主體取得不同視角的影像，多部攝影機101, 102, 103, 104, 105可以環繞或部分環繞被攝主體。系統設有攝影機控制子系統10，攝影機控制子系統10連接多部設於一拍攝現場的攝影機101, 102, 103, 104, 105，用以控制這些攝影機101, 102, 103, 104, 105的運作，包括接收多部攝影機101, 102, 103, 104, 105拍攝的影像，在一實施例中，還負責供電給各攝影機，其中每部攝影機設定一個拍攝視野（FOV）與拍攝角度，以拍攝一視角的影像，並且相鄰攝影機彼此拍攝視野有重疊部分，使得最終拍攝的視訊可以無縫切換不同角度的影像。

多視角視訊即時串流系統設有串流處理子系統14，串流處理子系統14用以編碼通過攝影機控制子系統10即時取得的多視角視訊，經過影像處理重組不同攝影機拍攝的影像，再根據一特定串流格式編碼與打包後可形成一即時串流視訊，再通過網路播送出去。

如此，通過串流處理子系統14對多視角視訊執行編碼形成隨著一時間序列的多視角視訊，其中每個時間點涵蓋多張不同視角的影格，以於終端設備上播放時可隨時決定不同視角的影像。

根據一實施例，多視角視訊即時串流系統還可設有主控電腦12，連接攝影機控制子系統10，用於監控每部攝影機的運作，設有監視器18，通過監視器18可監看多部攝影機101, 102, 103, 104, 105拍攝的影像。

系統可提供網路設備16，所述即時串流視訊可通過網路設備16傳送至一影音平台，通過網路100播送至終端設備。在終端設備上，可以串流影音的技術自所述系統或是影音平台串流下載多視角視訊，通過終端裝置之軟體（如網頁瀏覽器、APP、專屬軟體等）接收即時直播畫面，並可通過手勢操作以決定觀看角度。

相關範例圖示可參考圖2所示多視角視訊即時串流系統中架設攝影機的實施例示意圖之一。

多視角視訊即時串流系統可以採用完整環繞或是部分環繞一個拍攝場景或人物的多部攝影機，多部攝影機可分別設定具有不同或相同的拍攝視野，且相鄰攝影機的拍攝視野有重疊部分，且多部攝影機可以環繞式或弧形軌道裝設在同一水平面、不同水平面（具有一個角度），甚至為垂直擺設，可設計成分別具有不同的拍攝角度，以在同一時間點下取得多個不同視角的影像。

圖2顯示範例為完整環繞一個被拍攝主體20的多部攝影機，分別編號為攝影機0、攝影機1、攝影機2、攝影機3、攝影機4、攝影機5、攝影機6以及攝影機7，分別用不同的角度拍攝被拍攝主體20，可以形成同一時間有多個角度的影格（frame）的影像，可由監視器18進行監看。

圖3接著顯示多視角視訊即時串流系統中架設攝影機的另一實施例示意圖，此例包括部分環繞被拍攝主體20的攝影機0、攝影機1、攝影機2、攝影機3、攝影機4、攝影機5、攝影機6以及攝影機7。

圖2或圖3的攝影機數量與設置方式並非限制以上實施例圖，攝影機可以採用一種PTZ（可左右轉動（pan）、上下傾斜（tile）與縮放（zoom））攝影機，可分別涵蓋不同視野，並具有不同拍攝方向。另外，個別攝影機可以設置麥克風用於對應方向的收音，取得多角度音訊，但系統整體仍可以設置一個主要麥克風作為收音的裝置。

基於上述多視角視訊即時串流系統的設置，可以實現如圖4所示多視角視訊即時串流方法的實施例流程。一開始，驅動多部攝影機開始拍攝，根據實施例之一，系統可由上述實施例所提出的攝影機控制子系統（10，圖1）驅動多部攝影機同步拍攝被拍攝主體，包括可於直播現場架設環繞式或弧形軌道以多部攝影機同步攝影，使得系統通過攝影機控制子系統即時取得多部環繞或部分環繞一個被拍攝主體的攝影機拍攝的影像，其中每部攝影機拍攝一視角的影像（步驟S401），同時可如上述實施例由主控電腦（12，圖1）取得影像數據後，可監看各角度畫面後，確認各攝影機運作。

接著，由系統中主控電腦執行影像處理，並可通過編碼形成根據時間序列的多視角串流視訊數據，其中每個時間點皆涵蓋多張不同角度的影像（步驟S403），在由主控電腦中影像處理程序將影像重組以形成串流視訊內容（步驟S405）。根據實施例，直播串流子格式可以採用特定媒體串流通訊協定，如一種基於超文本傳輸協定（HTTP）的串流媒體網路傳輸協定（HTTP Live Streaming，HLS）為基礎的媒體串流通訊協定，如此，在串流處理子系統（14，圖1）中即通過這類編碼技術將同一時間的多張不同角度影像編碼成多視角影像，連續影像將形成串流視訊數據（步驟S407）。

之後，可即時播送串流視訊，例如通過網路設備播送至影音平台（步驟S409），影音平台可接受使用者連線取得即時串流視訊，或者，當於串流處理子系統產生即時串流視訊，亦可通過網路直接播送至個人使用者的終端設備。

最後由使用者端的終端設備即時接收串流多視角視訊數據，示意圖可參考圖5所示通過終端設備50以特定播放軟體顯示串流視訊中的影像主體500，終端設備50的觸控螢幕讓使用者通過手勢指令依照多部攝影機的設置順序連續切換不同攝影機拍攝的影像，形成無縫切換不同視角影像的即時串流視訊。舉例來說，使用者可通過播放串流視訊的終端設備控制觀看視角，例如利用手勢在觸控顯示器上控制觀看視角，也就是在多部攝影機拍攝的影像中切換，例如可以左右滑動切換不同視角的影像。在此一提的是，一開始，當終端設備的播放軟體接收即時串流視訊中的一預設視角的影像，較佳地，在即時播放的過程中，因為相鄰攝影機的拍攝視野有重疊部分，因此，當切換至下一個相鄰攝影機所拍攝的影像，使用者可以無縫地觀看下一視角的影像，並可以在即時播放視訊時仍流暢地切換畫面。以下介紹幾個播放模式。

模式一：多部攝影機設置為部分環繞被拍攝主體，攝影機編號有攝影機0、攝影機1、攝影機2、攝影機3、攝影機4、攝影機5、攝影機6以及攝影機7，根據使用者手勢、滑鼠、鍵盤、體感操作觀看角度，執行於終端設備的播放軟體可依照操作的移動距離決定（如向左、向右的滑動距離）切換攝影機拍攝畫面的時機，如超過一距離門檻，根據操作方向切換下一個攝影機拍攝影像。

模式二：多部攝影機完整環繞被拍攝主體，播放軟體依照使用者操作的移動距離決定切換攝影機畫面的時機，可連續向左或連續向右滑動決定觀看視角。

另外，在以多部攝影機拍攝影像時，每部攝影機可以分別錄製各自角度的聲音，因此當使用者切換到某一攝影機拍攝的影像時，同時也切換到對應麥克風角度所收錄的聲音。在另一實施例中，系統可僅採用一個麥克風或是由系統統一錄製聲音，因此對使用者而言，不論切換到哪個攝影機，所聽到的聲音是一樣的。

當多視角視訊即時串流系統通過多部攝影機拍攝一被拍攝主體即時取得的多視角視訊，形成即時串流視訊，每個時間點涵蓋多張不同視角的影格，連續影格通過網路播送至終端設備。所述以多視角視訊即時串流方法產生的多視角即時串流視訊可參考如圖6顯示的依時序產生的多視角影像實施例示意圖。

圖例橫軸為時間序，縱軸標示有攝影機編號，此例如圖2或圖3顯示的範例示意圖，標示為攝影機0、攝影機1、攝影機2、攝影機3、攝影機4、攝影機5、攝影機6以及攝影機7。

圖6在以上範例下顯示一個時間片段中每個攝影機取得的影像形成連續影格63，而每個時間點所涵蓋多張不同角度的多視角影格61，組成播送至個人終端設備（或通過影音平台）的多視角即時串流視訊。如此，使用者可以在觀看即時串流視訊時，於終端設備中顯示即時串流視訊，並通過指令（手勢或其他方式）切換多部攝影機所拍攝的影像，能隨時決定觀看不同視角的影像。

圖7顯示播放多視角視訊時切換不同視角的實施例示意圖，此例示意顯示執行於終端設備的播放軟體可以根據指令隨時在播放即時串流視訊時能切換不同攝影機拍攝的影像，也就是切換不同視角的影像，切換攝影機拍攝影像的操作軌跡70如圖所示。

為求即時串流視訊可以順暢地播放，因此多視角視訊即時串流系統可以在播送視訊時考量網路流量，如圖8所示範例，多視角視訊即時串流系統根據流量品質自動切換於不同傳輸速率之間，如圖例顯示的流量品質切換軌跡800，隨時根據與終端設備83之間不同的流量品質81（此例顯示250kbit/s（低）、500kbit/s（中）、1Mbit/s（高）），如此，系統可通過串流處理子系統根據網路流量品質自動切換傳輸速率或影格率播送即時串流視訊，最終顯示在終端設備83。在此一提的是，網路流量的考量包括多視角視訊即時串流系統與影音平台之間，或是多視角視訊即時串流系統或影音平台與終端設備83之間。

綜上所述，根據上述實施例所描述的多視角視訊即時串流系統與方法，所提出的系統提供通過多部攝影機即時拍攝不同視角影像，達成即時播送至終端設備的目的，提供使用者可以隨意地切換於不同攝影機所拍攝的影像，能順暢地觀看不同視角下的串流視訊。

以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。

101, 102, 103, 104, 105:攝影機 10:攝影機控制子系統 12:主控電腦 18:監視器 14:串流處理子系統 16:網路設備 100:網路 0, 1, 2, 3, 4, 5, 6, 7:攝影機 20:被拍攝主體 50:終端設備 500:影像主體 61:多視角影格 63:連續影格 70:切換不同攝影機的操作軌跡 800:流量品質切換軌跡 81:流量品質 83:終端設備 步驟S401～S409:多視角視訊即時串流方法流程

圖1顯示多視角視訊即時串流系統的架構實施例示意圖；

圖2顯示多視角視訊即時串流系統中架設攝影機的實施例示意圖之一；

圖3顯示多視角視訊即時串流系統中架設攝影機的實施例示意圖之二；

圖4顯示多視角視訊即時串流方法的實施例流程圖；

圖5顯示觀看即時串流多視角視訊的終端設備示意圖；

圖6顯示通過多視角視訊即時串流方法依時序產生的多視角影像實施例示意圖；

圖7顯示播放多視角視訊時切換不同視角的實施例示意圖；以及

圖8顯示多視角視訊即時串流系統根據流量品質自動切換傳輸速率的實施例示意圖。

101,102,103,104,105:攝影機

10:攝影機控制子系統

12:主控電腦

18:監視器

14:串流處理子系統

16:網路設備

100:網路

Claims (10)

1. 一種多視角視訊即時串流系統，包括： 一攝影機控制子系統，連接多部設於環繞或部分環繞一拍攝現場的攝影機，用以控制該多部攝影機的運作，並接收該多部攝影機拍攝的影像，其中每部攝影機拍攝一視角的影像； 一串流處理子系統，編碼通過該攝影機控制子系統即時取得的一多視角視訊，形成一即時串流視訊，通過一網路播送該即時串流視訊； 其中，通過該串流處理子系統對該多視角視訊執行編碼形成隨著一時間序列的多視角視訊，其中每個時間點涵蓋多張不同視角的影格，以於一終端設備上播放時可隨時決定不同視角的影像。
2. 如請求項1所述的多視角視訊即時串流系統，其中該多部攝影機分別具有不同或相同的拍攝視野，相鄰攝影機的拍攝視野有重疊部分，以及該多部攝影機分別具有不同的拍攝角度，以在同一時間點下取得多個不同視角的影像。
3. 如請求項1所述的多視角視訊即時串流系統，還包括一主控電腦，設有一監視器，並連接該攝影機控制子系統，用以監控該多部攝影機的運作以及以該監視器監視該多部攝影機拍攝的影像。
4. 如請求項1所述的多視角視訊即時串流系統，其中形成的該即時串流視訊通過一網路設備傳送至一影音平台，以播送至一終端設備。
5. 如請求項4所述的多視角視訊即時串流系統，其中該終端設備顯示該即時串流視訊，並通過指令切換該多部攝影機所拍攝的影像，能隨時決定觀看不同視角的影像。
6. 如請求項5所述的多視角視訊即時串流系統，其中，於該終端設備的一觸控螢幕上通過手勢指令依照該多部攝影機的設置順序連續切換不同攝影機拍攝的影像，形成無縫切換不同視角影像的該即時串流視訊。
7. 如請求項1至6中任一項所述的多視角視訊即時串流系統，其中該串流處理子系統根據網路流量品質自動切換一傳輸速率或一影格率播送該即時串流視訊。
8. 一種多視角視訊即時串流方法，包括： 通過一攝影機控制子系統取得多部環繞或部分環繞一個被拍攝主體的攝影機拍攝的影像，其中每部攝影機拍攝一視角的影像； 通過一串流處理子系統編碼通過該攝影機控制子系統即時取得的一多視角視訊，形成一即時串流視訊，其中每個時間點涵蓋多張不同視角的影格；以及 通過一網路播送該即時串流視訊。
9. 如請求項8所述的多視角視訊即時串流方法，其中該多部攝影機分別具有不同或相同的拍攝視野，相鄰攝影機的拍攝視野有重疊部分，以及該多部攝影機分別具有不同的拍攝角度，以在同一時間點下取得多個不同視角的影像。
10. 如請求項8所述的多視角視訊即時串流方法，其中形成的該即時串流視訊通過一網路設備傳送至一影音平台，以播送至一終端設備，於該終端設備中顯示該即時串流視訊，並通過指令切換該多部攝影機所拍攝的影像，能隨時決定觀看不同視角的影像。

Images