TWI599218B

TWI599218B - 即時影音傳輸系統

Info

Publication number: TWI599218B
Application number: TW105124095A
Authority: TW
Inventors: 林啟芳; 陳威宇; 張揚政
Original assignee: 元智大學
Priority date: 2016-07-29
Filing date: 2016-07-29
Publication date: 2017-09-11
Also published as: TW201811058A; US10171545B2; US20180034885A1

Description

即時影音傳輸系統

本發明乃是關於一種即時影音傳輸系統，特別是指一種由行動裝置直接對即時影音串流進行處理，並透過伺服器將經處理之影音串流傳送至用戶裝置以進行播放的即時影音傳輸系統。

目前台灣許多縣市均設有能夠為民眾處理各種諮詢、緊急或非緊急事件的應變中心，如：作為民眾服務專線的1999專線，其主要功能為解決民眾對於各種政策上的疑惑，提供民眾解決各種非緊急事務，如申訴、諮詢、查詢公車動態…等，以及通報等各種緊急事務。

隨著目前行動裝置的普及，當身邊發生突發事件時，漸漸地開始有民眾會利用所持的行動裝置將正發生的事件拍攝下來，以通知親友。此時，若能有管道使民眾能夠以影音資訊提供的方式將突發事件通報給各地的應變中心，將會比以撥打電話口述的方式提供更真實的情境描述。

然而，以行動裝置來說，目前的技術多僅能於影片拍攝完成時，再將完整的媒體檔案傳遞至伺服器，由伺服器進行影音處理，再由用戶端自伺服器下載欲播放的媒體檔案。然而，由於影片只能在拍攝完成時上傳至伺服器，且可能因為網際網路傳輸狀況的不穩定導致影片上傳或下載緩慢，故難以對用戶端提供即時性的影音訊息傳遞。

本發明實施例提供一種即時影音傳輸系統，包括行動裝置、伺服器與用戶裝置。行動裝置包括攝錄模組、破碎式媒體檔案編解碼模組、段落式媒體檔案編解碼模組與無線通訊模組。攝錄模組用以拍攝一現場即時發生的事件，並產生即時影音串流。破碎式媒體檔案編解碼模組用以將即時影音串流編碼為破碎式媒體檔案，其中破碎式媒體檔案包括初始段落資訊、至少一媒體分段與媒體分段隨機存取點。段落式媒體檔案編解碼模組用以將破碎式媒體檔案直接切割為複數個段落式媒體檔案，其中複數個段落式媒體檔案為初始段落以及至少一播放段落。接著，段落式媒體檔案編解碼模組透過無線通訊模組主動將段落式媒體檔案傳送至伺服器。最後，伺服器將段落式媒體檔案推播至用戶裝置，並由用戶裝置透過瀏覽器進行播放。

透過本發明所提供之即時影音傳輸系統，行動裝置持有者以所持之行動裝置攝錄所在現場所發生之事件的同時，行動裝置能夠直接對其所產生的即時影音串流進行處理，並透過伺服器將經處理之影音串流推播至用戶裝置進行播放。簡言之，行動裝置無需等待攝錄結束，便可於進行攝錄的同時處理影音串流並接續將經處理之影音串流傳送至伺服器以進行推播，達到即時影音傳輸的效果。

為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。

1‧‧‧即時影音傳輸系統

10‧‧‧行動裝置

11‧‧‧攝錄模組

12‧‧‧破碎式媒體檔案編解碼模組

14‧‧‧段落式媒體檔案編解碼模組

16‧‧‧無線通訊模組

20‧‧‧伺服器

22‧‧‧重組單元

24‧‧‧儲存單元

FRAG‧‧‧破碎式媒體檔案

f₀‧‧‧初始段落資訊

f₁、f₂…f_n‧‧‧媒體分段

seg‧‧‧段落式媒體檔案

seg_0‧‧‧初始段落

seg_1、seg_2…seg_n‧‧‧播放段落

30‧‧‧用戶裝置

210、310‧‧‧起始位置資訊

220‧‧‧整體分段資訊

221、321‧‧‧全體段落描述

222、322‧‧‧軌道資訊

230‧‧‧媒體分段資訊

231、331‧‧‧分段標頭

232、332‧‧‧軌道資料

240、320、340‧‧‧媒體資料

250‧‧‧媒體分段隨機存取點

251‧‧‧軌道分段存取點

252‧‧‧媒體分段存取偏移

330‧‧‧分段描述訊息

圖1為根據本發明例示性實施例所繪示之即時影音傳輸系統之方塊圖。

圖2為根據本發明例示性實施例所繪示之破碎式媒體檔案之格式的示意圖。

圖3為根據本發明例示性實施例所繪示之段落式媒體檔案之格式的示意圖。

在下文將參看隨附圖式更充分地描述各種例示性實施例，在隨附圖式中展示一些例示性實施例。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。確切而言，提供此等例示性實施例使得本發明將為詳盡且完整，且將向熟習此項技術者充分傳達本發明概念的範疇。在諸圖式中，類似數字始終指示類似元件。

藉由本發明之即時影音傳輸系統，人們便可使用所持的行動裝置拍攝所在現場正發生的事件，透過伺服器作為中介，用戶裝置，如：事件應變中心，便能即時地了解各地所發生的大小事件，以對這些事件進行適當的應對與處理。以下將以多個實施例說明本發明之即時影音傳輸系統。

請參照圖1，圖1為根據本發明例示性實施例所繪示之即時影音傳輸系統之方塊圖。如圖1所示，即時影音傳輸系統1包括行動裝置10、伺服器20與用戶裝置30。行動裝置10包括攝錄模組11、破碎式媒體檔案編解碼模組12、段落式媒體檔案編解碼模組14與無線通訊模組16。

進一步說明，透過攝錄模組11，人們便可使用所持的行動裝置10拍攝所在現場即時發生的事件，並產生即時影音串流。舉例來說，攝錄模組11可以是智慧型手機或平板電腦配備的攝錄裝置。攝錄模組11一邊產生即時影音串流，破碎式媒體檔案編解碼模組12便會一邊將此即時影音串流編碼為一段段具有預設時間長度的破碎式媒體檔案FRAG，其中經編碼的破碎式媒體檔案FRAG 包括初始段落資訊、至少一媒體分段與媒體分段隨機存取點。接著，段落式媒體檔案編解碼模組14會將各段破碎式媒體FRAG直接切割為複數個具有另一預設時間長度的段落式媒體檔案seg，再透過無線通訊模組16主動將段落式媒體檔案seg傳送至伺服器20，其中複數個段落式媒體檔案seg為初始段落以及至少一播放段落。最後，伺服器20將段落式媒體檔案seg依序地推播至用戶裝置30，並由用戶裝置30透過瀏覽器直接進行播放。

於本實施例中，行動裝置10可為適用於Android系統的行動裝置，且破碎式媒體檔案編解碼模組12與段落式媒體檔案編解碼模組14可以函式庫來實現，如：MPEG DASH函式庫。但此類函式庫對於Android系統來說係為第三方函式庫，故為了讓此類函式庫適用於Android系統下的行動裝置，需透過JNI(Java Native Interface)技術與Android NDK(Native Development Kit)技術來將程式碼作轉換，使得破碎式媒體檔案編解碼模組12與段落式媒體檔案編解碼模組14的功能能夠以Android系統之應用程式(Applicaiton)來實現。而關於透過JNI技術與Android NDK技術來對各種第三方函式庫進行程式碼作轉換的工作原理應可由該發明所屬領域中具有通常知識者所理解，於此便不贅述。

當段落式媒體檔案編解碼模組14將破碎式媒體檔案FRAG直接切割為複數個段落式媒體檔案seg時，係將破碎式媒體檔案FRAG中的初始段落資訊與各個媒體分段直接斷開形成複數個段落式媒體檔案。故合理地，段落式媒體檔案seg的時間長度會小於破碎式媒體檔案FRAG，且播放段落的數目即為破碎式媒體檔案FRAG中媒體分段的數目。於本實施例中，破碎式媒體檔案FRAG的時間長度為15分鐘，且段落式媒體檔案seg的時間長度為1秒鐘，但於實際操作上，破碎式媒體檔案的時間長度與段落式媒體檔案的時間長度均可由系統設計者自行設定，本發明於此亦不限制。而關於本實施例中破碎式媒體檔案FRAG與段落式媒體檔案seg的檔案格式將於後續段落裡再進一步說明。

於本實施例中，雖然伺服器20僅為傳送段落式媒體檔案seg的中介角色，但復如圖1所示，伺服器包括有重組單元22與儲存單元24。於伺服器20將段落式媒體檔案seg推播至用戶裝置30的同時，伺服器20也會透過重組單元22將段落式媒體檔案seg重組回破碎式媒體檔案FRAG，並將經重組之破碎式媒體檔案FRAG儲存於儲存單元24，以作為日後回放(Playback)的檔案來源。

值得注意地是，將段落式媒體檔案seg重組回破碎式媒體檔案FRAG再進行儲存的好處在於，小片段的影音串流資料(即，段落式媒體檔案seg)會造成硬碟讀寫的負擔，但將其重組回較大片段的影音串流資料後(即，破碎式媒體檔案FRAG)便能改善此情況。

另一方面，考量到伺服器20將段落式媒體檔案seg推播至用戶裝置30時可能會遇到防火牆阻擋，於本實施例中，伺服器20是透過HTTP/2傳輸協定將段落式媒體檔案seg推播至用戶裝置30，而非透過RTSP/RTP傳輸協定，使得伺服器20能夠避開防火牆的阻擋於短時間內將段落式媒體檔案seg推播至用戶裝置30。

進一步說明，於本實施例中，伺服器20係使用HTTP/2傳輸協定下的伺服器推播技術(Server Push；SP)，此種推播技術尤其適合用於進行持續且大量的資訊更新，如：視訊串流與檔案傳輸…等。採用HTTP/2傳輸協定下的伺服器推播技術，伺服器20能在接收到用戶裝置30首次傳送的傳送訊息後送出所有的靜態資源(如：JavaScript…等)，使得用戶裝置30不須為了取得不同的資源發出一再發出傳送訊息，如此一來，便能有效地節省連線資源，進而降低傳輸延遲並增進連線穩定性。

於接下來的敘述中將說明本實施例中破碎式媒體檔案與段落式媒體檔案的格式，並據此進一步闡述本實施例之即時影音傳輸系統1的工作原理。請同時參照圖2與圖3，圖2為根據本發明例示性實施例所繪示之破碎式媒體檔案之格式的示意圖，且圖3為根據本發明例示性實施例所繪示之段落式媒體檔案之格式的示意圖。

首先須說明地是，本實施例中的破碎式媒體檔案為破碎式MPEG-4(Fragmented MP4)的檔案格式，可根據ISO/IEC 14496-1：2001或是ISO/IEC 14496-14：2003的檔案格式標準來實施。另外，本實施例中的段落式媒體檔案是分段式MPEG-4(Segmented MP4)的檔案格式，可根據ISO/IEC 14496-1：2001或是ISO/IEC 14496-14：2003的檔案格式標準來實施。

圖2中經編碼的破碎式媒體檔案FRAG包括初始段落資訊f₀、至少一媒體分段f₁、f₂…f_n與媒體分段隨機存取點250，其中n為大於零之整數，表示媒體分段的個數。須注意地是，初始段落資訊f₀、媒體分段f₁、f₂…f_n與媒體分段隨機存取點250並未被切割，而是被封裝為一個破碎式媒體檔案FRAG。

進一步說明，如圖2所示，初始段落資訊f₀中包含起始位置資訊210與整體分段資訊220。起始位置資訊210為此媒體檔案的運作訊息，如：此媒體檔案所適用的應用程式…等資訊，可由MP4資料格式的檔案類型與相容性(ftyp，file type and compatibility)來實現。整體分段資訊220包含有全體段落描述221以及軌道資訊222，且記載了此媒體檔案的元數據(metadata)資訊，可由MP4資料格式的所有元數據的容器(moov，container for all the metadata)來實現。全體段落描述221記載了此媒體檔案的媒體性質資訊，如：檔案建立時間、檔案時間長度…等資訊，可由記載MP4資料格式的多媒體標頭及整體描述(mvhd，movie header and overall declarations)來實現。另外，軌道資訊222則記載了此媒體檔案的整體軌道相關訊息，如：音頻及字幕…等訊息，可由MP4資料格式的單一軌道或串流的容器(trak，container for an individual track or stream)來實現。

媒體分段f₁、f₂…f_n記載了此媒體檔案的內容，其中各個媒體分段f₁、f₂…f_n均包含媒體分段資訊230與媒體資料240。媒體分段資訊230記載了此媒體檔案的分段描述訊息，可以由記載MP4資料格式的(moof，movie fragment)來實現。更詳細地說，媒體分段資訊230包含分段標頭231與軌道資料232。分段標頭231記載了分段性質資訊，可以由記載MP4資料格式的(mfhd，movie fragment header)來實現，且軌道資料232記載了單一軌道訊息，可由記載MP4資料格式的(traf，track fragment)來實現。另外，媒體資料240則記載了可供播放的多媒體資料，可由記載MP4資料格式的(mdat，media data container)來實現。

媒體分段存取點250接續著最後一個媒體分段f_n出現，用以指示整個破碎式媒體檔案FRAG的結尾，可由記載MP4資料格式的(mfra，movie fragment random access)來實現。復如圖2所示，媒體分段存取點250包括軌道分段存取點251以及媒體分段存取偏移252。軌道分段存取點251記載軌道結束的位置，可由記載MP4資料格式的(tfra，track fragment random access)來實現。媒體分段存取偏移252則記載媒體分段f₁、f₂…f_n的偏移，可由記載MP4資料格式的(mfro，movie fragment random access offset)來實現。

如前述，段落式媒體檔案編解碼模組14會將破碎式媒體檔案FRAG直接斷開形成複數個段落式媒體檔案，即如圖3中的複數個段落式媒體檔案seg_0、seg_1…seg_n，其中為第一個段落式媒體檔案seg為初始段落seg_0，接續的段落式媒體檔案seg為至少一播放段落seg_1…seg_n。

進一步說明，如圖3所示，初始段落seg_0包含起始位置資訊310以及段落檔案資訊320。起始位置資訊310為此媒體檔案的運作訊息，如：此媒體檔案所適用的應用程式…等資訊，可由MP4資料格式的檔案類型與相容性(ftyp)來實現。段落檔案資訊320記載了此媒體檔案的元數據資訊，可由MP4資料格式的所有元數據的容器(moov)來實現。更詳細地說，段落檔案資訊320包含全體段落描述321以及軌道資訊322。全體段落描述321記載了此媒體檔案的媒體性質資訊，如：檔案的建立時間、檔案時間長度…等資訊，可由記載MP4資料格式的多媒體標頭及整體描述(mvhd)來實現。軌道資訊322則記載了此媒體檔案的整體軌道相關訊息，如：音頻及字幕…等訊息，可由MP4資料格式的單一軌道或串流的容器(trak)來實現。

播放段落seg_1…seg_n記載了此媒體檔案的內容，如圖3所示，包含分段描述訊息330以及媒體資料340。分段描述訊息330記載了此媒體檔案之分段的細部資訊，可由記載MP4資料格式的(moof)來實現。更詳細地，分段描述訊息330包含分段標頭331以及軌道標頭332。分段標頭331記載分段性質資訊，可由記載MP4資料格式的(mfhd)來實現，軌道標頭332則記載單一軌道訊息，尤其是單一軌道的標投訊息，可由記載MP4資料格式的(tfhd，track fragment header)來實現。另外，媒體資料340記載了可供播放的多媒體資料，可由記載MP4資料格式的(mdat)來實現。

於本實施例中，將即時影音串流編碼為破碎式媒體檔案FRAG的資料格式，再將破碎式媒體檔案FRAG簡單地切割成時間片段更小的段落式媒體檔案seg的好處在於，此種影音傳流處理方式所涉及的資料格式轉換簡單且迅速，編碼與載入檔案的時間相對少，能夠節省即時影音傳輸系統1處理即時影音串流的所需時間。

接下來請同時參照圖1、與2與圖3，於本實施例中，用戶裝置30的瀏覽器為支援HTML5的視訊標籤(Video Tag)之瀏覽器。當用戶裝置30接收到伺服器所推播之段落式媒體檔案seg時，會先透過媒體來源應用程式(Media Source API)來解析所接收的段落式媒體檔案seg，使得經解析的段落式媒體檔案seg能以用戶裝置30的瀏覽器(即，支援HTML5的網頁瀏覽器)直接地播放。值得說明地是，復參照前述圖3所繪示之段落式媒體檔案seg的檔案格式，用戶裝置30的瀏覽器僅需載入經解析之段落式媒體檔案seg中之初始段落seg_0以及至少一播放段落seg_1即可進行播放，無需等待seg_1至seg_n被完整地載入。

此外如前述，於本實施例中，破碎式媒體檔案FRAG的時間長度為15分鐘，且段落式媒體檔案seg的時間長度為1秒鐘。也就是說，用戶裝置30的瀏覽器僅需載入初始段落seg_0與播放段落seg_1即可播放1秒鐘的影音訊息。如此一來，用戶裝置30的瀏覽器能夠依序載入與播放時間長度各為1秒鐘段落式媒體檔案seg_1至seg_n，達到與即時播放影音串流相同的效果。另須說明地是，除了有助於達成即時播放影音串流的效果，將段落式媒體檔案seg的時間長度設定為遠小於破碎式媒體檔案FRAG的時間長度還能降低視訊與音訊傳輸不同步的風險。

簡言之，於即時影音傳輸系統1中，行動裝置10所攝錄的影音串流能以段落式媒體檔案seg的格式於短時間內直接由用戶裝置30中支援HTML5的視訊標籤之瀏覽器進行播放，用戶裝置30並不需要額外安裝影音播放器，十分方便。

考量到實際操作時網際網路的時變狀況可能使媒體檔案的傳輸延遲甚至中斷，於一實施例中，用戶裝置30還包括暫存器(未圖示)，用以暫存所接收之段落式媒體檔案seg。伺服器20會根據網際網路的傳輸狀況自動地調整用戶裝置30之暫存器的暫存秒數，以達到穩定播放的效果，此外也能讓用戶裝置30回放先前播放不連續的視訊與音訊。

於另一實施例中，行動裝置10還可包括地理位置感測器(未圖示)，如：安裝全球定位系統(Global Positioning System；GPS)，期可用以定位行動裝置10並產生位置資料。當破碎式媒體檔案編解碼模組12將即時影音串流編碼為破碎式媒體檔案FRAG時，會將地理位置感測器所產生之位置資料一同編碼至破碎式媒體檔案FRAG的初始段落資訊f₀中。進一步說明，地理位置感測器所產生之位置資料會被寫入初始段落資訊f₀裡整體分段資訊220中的全體段落描述221中，如前述，全體段落描述221，可由記載MP4資料格式的多媒體標頭及整體描述(mvhd，movie header and overall declarations)來實現。如此一來，當用戶裝置30的瀏覽器載入經解析之段落式媒體檔案seg中之初始段落seg_0以及至少一播放段落seg_1進行影音播放的同時，便能於第一時間準確地取得影音所攝錄之事件的發生地點。

於又一實施例中，行動裝置10的持有者能針對所攝錄之事件的類型(如：交通事故、天氣災害…等)透過行動裝置10為其輸入權重資訊。舉例來說，所輸入之權重資訊可為以0~9表示事件之緊急與嚴重程度的十個等級，其中等級係依照事件之緊急與嚴重程度漸增。當破碎式媒體檔案編解碼模組12將即時影音串流編碼為破碎式媒體檔案FRAG時，會將所輸入的權重資訊一同編碼至破碎式媒體檔案FRAG的初始段落資訊f₀中。進一步說明，所輸入的權重資訊會被寫入初始段落資訊f₀裡整體分段資訊220中的全體段落描述221中，如前述，全體段落描述221可由記載MP4資料格式的多媒體標頭及整體描述(mvhd，movie header and overall declarations)來實現。

當用戶裝置30同時載入多組來自不同行動裝置10所攝錄之影音串流之段落式媒體檔案seg中的初始段落seg_0以及播放段落seg_1時，會根據前述之權重資訊排列多組段落式媒體檔案的播放順序，並選擇播放播放順序最優先之段落式媒體檔案seg。此外，權重資訊還能使得用戶裝置30在剛開始進行影音播放時便能獲知影音所攝錄之事件的類型。

復如前述，伺服器20係使用HTTP/2傳輸協定下的伺服器推播技術以有效地節省連線資源，進而降低傳輸延遲並增進連線穩定性。但於伺服器20將段落式媒體檔案seg推播至用戶裝置30之前，伺服器20與用戶裝置30間須先進行溝通，故以下敘述將針對即時影音傳輸系統1中伺服器20與用戶裝置30間的溝通作說明。

於本實施例中，當段落式媒體檔案編解碼模組14主動將段落式媒體檔案seg傳送至伺服器20時，伺服器20便會開始對用戶裝置30進行監聽，並且根據是否監聽到用戶裝置30所發出的一連線事件來判斷用戶裝置30是否已與其建立連線。接著，於伺服器20判斷用戶裝置30已與其建立連線後，伺服器20仍會持續地對用戶裝置30進行監聽，並且根據是否監聽到用戶裝置30所發出的一傳送訊息來判斷是否向用戶裝置30推播段落式媒體檔案編解碼模組14傳送來的段落式媒體檔案seg。最後，於伺服器20向用戶裝置30推播段落式媒體檔案seg後，伺服器20依舊會持續地對用戶裝置30進行監聽，以根據是否監聽到用戶裝置30所發出的一關閉事件來判斷是否停止向用戶裝置30推播段落式媒體檔案編解碼模組14傳送來的段落式媒體檔案seg。

也就是說，於本實施例中，伺服器20會不停地向用戶裝置30推播段落式媒體檔案seg，直到用戶裝置30主動發出關閉事件來中段彼此的連線為止，此種方式既能維持伺服器20與用戶裝置30間的連線，也能減少伺服器20處理請求(即，傳送訊息)的負擔，尤其適合用於進行持續且大量的資訊更新，如：視訊串流與檔案傳輸…等。舉例來說，伺服器20與用戶裝置30間係採用WebSocket傳輸技術進行溝通。

〔實施例的可能功效〕

綜上所述，本發明所提供之即時影音傳輸系統能夠由行動裝置直接對即時影音串流進行處理，並透過伺服器將經處理之影音串流傳送至用戶裝置進行播放，並至少具有以下優點：首先，本發明之即時影音傳輸系統透過行動裝置所攝錄與處理的影音串流，能以段落式媒體檔案的格式直接由用戶裝置中的網頁瀏覽器進行播放，不須等待完整的媒體檔案被載入，亦不需額外安裝影音播放器，十分方便。另外，又因為伺服器是透過HTTP/2傳輸協定將段落式媒體檔案推播至用戶裝置，而非透過RTSP/RTP傳輸協定，如此一來便能避開防火牆的阻擋於短時間內將段落式媒體檔案推播至用戶裝置。

再者，於本發明之即時影音傳輸系統中，伺服器會將段落式媒體檔案重組回破碎式媒體檔案，並將其儲存，不會造成硬碟讀寫的負擔，也能提供日後回放的來源。

除此之外，本發明之即時影音傳輸系統還能透過將地理位置資訊或權重資訊寫入段落式媒體檔案的方式，使得用戶裝置能於第一時間準確地取得影音所攝錄之事件的發生地點，或者得知事件的類型並依照事件之緊急與嚴重程度播放應最優先播放的媒體檔案。

以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。