TW201840195A - 利用行動裝置結合影音串流與錄影之系統及方法 - Google Patents

Abstract

本發明係揭露一種行動裝置上的影音融合方法及系統，特別是指透過融合即時串流與錄影串流之技術，以創建兼顧即時性與完整性的影音串流技術與服務。其主要精神可分為技術融合與服務融合兩個層面，技術融合層面是透過解析即時串流中的每個原始畫框，進行串流融合演算以判斷原始畫框是否需置入錄影串流中，進而建立兩種影音串流之同步機制，達到畫面內容的一致性，以解決兩種串流同時運作卻內容不一致的狀況。另外服務融合層面是透過監控傳送暫存區機制，進行網路傳送狀態的偵測，以達到在網路頻寬異常時自動啟動錄影串流及融合技術，可解決即時串流因網路頻寬不足造成的影音漏失問題。

Description

利用行動裝置結合影音串流與錄影之系統及方法

本發明屬於一種利用行動裝置結合影音串流與錄影之系統及方法，是指透過融合即時串流與錄影串流之技術，以創建兼顧即時性與完整性的影音串流技術與服務。

影音串流的實施方式之一是透過行動裝置之攝影鏡頭進行影像取得，經格式編碼後以串流通訊協定傳送至發佈平台以供瀏覽。但影音串流服務容易受到網路頻寬或傳輸品質的干擾，產生畫面停格、甚至服務中斷的狀況，造成影音內容畫面的漏失。

為解決上述問題，已有多篇關於改善影音串流服務專利提出，如調整視訊串流影音品質之方法以及系統(公告號201242338)、應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器(公告號I396443)、串流影音資料傳輸控制方法及其架構(公告號I380654)皆提出透過頻寬的評估測試來進行影音來源屬性的調整，但評估測試方法本身需透過網路進行，於網路斷線時仍無法有效解決影音內容畫面漏失的問題。影音串流傳輸方法、影音裝置以及影音提供裝置(公告號I520590)則提出透過提供多樣化速率的影片來源，可供收看端依照網路頻寬的實際狀況進行來源選擇，但仍未考 慮到網路斷線之狀況，無法有效解決影音內容畫面漏失的問題。可移動式的影音串流播放與側錄裝置(公告號200622656)提出於收看端同時進行播放與側錄的機制，但收看端所播放的可能已是被網路頻寬干擾後的影音內容，側錄下來的也是相同，無法有效解決影音內容畫面漏失的問題。網路影音串流廣播系統與方法(公告號I527446)亦是採用播放的角度進行側錄，並未針對即時串流與側錄內容進行技術融合，將產生兩者畫面內容不一致的狀況。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本利用行動裝置結合影音串流與錄影之系統及方法。

為達上述目的，本發明提出提供一種利用行動裝置結合影音串流與錄影之系統及方法，主要精神是於進行影音即時串流時，透過串流技術融合機制，可讓個別運作的即時串流與錄影串流達到內容畫面一致的功效；另外透過網路傳輸偵測機制，可立即察覺即時串流網路頻寬或傳輸品質異常之狀況，並觸發串流服務融合機制，立刻啟動錄影串流功能，並於網路頻寬或傳輸品質獲得改善後，自動回傳錄影串流相關內容與融合資訊，達到影音串流畫面不漏失之目的。

一種利用行動裝置結合影音串流與錄影之系統，其包括一串流來源端子系統，是為一具有攝影鏡頭及執行程式記憶體之手持或配戴裝置，以執行即時串流與錄影串流之融合，其中包括：影音擷取及解析模組，是對行動裝置硬韌體 取得影音資料，並解析出即時單一畫框資料；串流控制模組，是接收影音擷取及解析模組解析後之資料，依據即時串流與錄影串流之各項屬性值進行技術融合演算；串流同步模組，是接收串流控制模組演算出之結果，再依結果記錄並融合資訊，同時啟動即時串流編碼模組與錄影串流編碼模組；串流偵測模組，是針對行動裝置硬韌體進行監控並取得通訊傳輸記憶體消耗狀態，並透過定期監控結果進行偵測演算，並在將演算結果提供至串流控制模組；通訊作業模組，是接收串流控制模組於偵測演算結果狀態改變時，提供服務融合相關資訊；以及一串流服務融合平，是為電腦系統或雲端平台，以接收來自串流來源端子系統所傳送的即時串流或錄影串流資料，記錄相關資訊進行服務融合作業，並發佈融合後的串流影音服務。

其即時串流編碼模組，是接收來自串流同步模組的畫框、融合與同步資訊，由融合資訊判斷是否進行後續編碼作業，並將畫框依據融合資訊進行符合即時串流通訊協定之格式編碼作業，並將編碼後的資料流回傳至串流同步模組，其錄影串流編碼模組，是接收來自串流同步模組的畫框、融合與同步資訊，由融合資訊判斷是否進行後續編碼作業，並將畫框依據融合資訊進行符合錄影通訊協定之格式編碼作業，並將編碼後的資料流回傳至串流同步模組。

一種利用行動裝置結合影音串流與錄影之方法，其包括：步驟一、影音擷取及解析模組向行動裝置硬韌體取得影音資料流；步驟二、影音擷取及解析模組解析出單一畫框資料；步驟三、串流控制模組依據單一畫框資料、即時串流與錄 影串流之各項屬性，進行技術融合演算，並產出演算結果；步驟四、串流同步模組依據演算結果記錄融合資訊，並啟動即時串流與錄影串流編碼模組；步驟五、串流偵測模組向行動裝置硬韌體取得傳送記憶體使用狀態；步驟六、串流偵測模組進行傳輸偵測演算，視演算結果判斷是否啟動串流控制模組，並記錄融合資訊；步驟七、串流控制模組依據融合資訊，啟動通訊作業模組以進行服務融合作業。

其中步驟一，是將資料流為一與時間序列相關之原始連續影像及聲音資料流；步驟二，是為擷取單一畫框中包含之影像與聲音資料，其中所擷取之時間點，是基於技術融合之演算出下一畫框預定產生時間；步驟三，其演算結果包含畫框是否需產生至即時串流資料序列，及畫框是否需產生至錄影串流資料序列；步驟四，是依據經融合演算後的資訊，分別針對即時串流與錄影串流之相異屬性進行獨立編碼作業；步驟五，為使用狀態代表行動裝置網路傳輸之即時效能；步驟六，是與時間序列相關及加權之網路傳輸效能評估，藉以在不需另外進行經網路的傳輸測試下，判斷網路傳輸品質及網路是否斷線；步驟七，是將依據先前記錄之串流整合資訊，包括串流偵測模組之偵測演算資訊、串流控制模組之技術融合資訊，評估判斷是否進行即時串流及錄影串流之傳輸作業。

本發明所提供一種利用行動裝置結合影音串流與錄影之系統及方法，與其他習用技術相互比較時，更具備下列優點：

1.本發明實現即時串流與錄影串流之技術融合機制，可讓獨立運作的2個串流程序進行同步，以達到畫面內容一致。

2.本發明透過監控網路傳送暫存區，進行偵測網路傳輸頻寬異常狀態，無需另外耗費網路頻寬進行傳送測試。

3.本發明透過於即時串流中偵測網路頻寬異常時，自動啟動錄影串流，並於網路頻寬回復後自動回傳串流資訊之服務融合機制，可達到畫面內容不漏失的功效。

110‧‧‧影音擷取及解析模組

120‧‧‧串流控制模組

130‧‧‧串流同步模組

140‧‧‧串流偵測模組

150‧‧‧通訊作業模組

160‧‧‧即時串流編碼模組

170‧‧‧錄影串流編碼模組

180‧‧‧行動裝置硬韌體

181‧‧‧鏡頭單元

182‧‧‧網路單元

S210~S270‧‧‧作業流程

S310~S390‧‧‧資料流程

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為：圖1為本發明利用行動裝置結合影音串流與錄影之系統及方法之架構圖；圖2為本發明利用行動裝置結合影音串流與錄影之系統及方法之作業流程圖；圖3為本發明利用行動裝置結合影音串流與錄影之系統及方法之資料流程圖。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

以下，結合附圖對本發明進一步說明： 請參閱圖1所示，為一種利用行動裝置結合影音串流與錄影之系統及方法之架構圖，包括影音擷取及解析模組110、串流控制模組120、串流同步模組130、串流偵測模組140、通訊作業模組150、即時串流編碼模組160及錄影串流編碼模組170，其中影音擷取及解析模組110向行動裝置硬韌體180取得影音資料流，包含鏡頭單元181以及網路單元182，並解析出即時單一畫框資料於串流控制模組120；其串流控制模組120依據即時串流與錄影串流之各項屬性值進行技術融合演算，並提供串流融合演算結果至串流同步模組130；串流偵測模組130對行動裝置硬韌體180進行監控並取得通訊傳輸記憶體消耗狀態，並透過定期監控結果進行偵測演算，並提供傳輸偵測演算結果至串流控制模組120；當串流控制模組120則於偵測演算結果狀態改變時，提供服務融合相關資訊至通訊作業模組150。

請參閱圖2所示，為一種利用行動裝置結合影音串流與錄影之系統及方法之作業流程圖，其步驟係包括：步驟一、S210影音擷取及解析模組向行動裝置硬韌體取得影音資料流；步驟二、S220影音擷取及解析模組解析出單一畫框資料；步驟三、S230串流控制模組依據單一畫框資料、即時串流與錄影串流之各項屬性，進行技術融合演算，並產出演算結果；步驟四、S240串流同步模組依據演算結果記錄融合資訊，並啟動即時串流與錄影串流編碼模組；步驟五、S250串流偵測模組向行動裝置硬韌體取得傳送記憶體使用狀態； 步驟六、S260串流偵測模組進行傳輸偵測演算，視演算結果判斷是否啟動串流控制模組，並記錄融合資訊；以及步驟七、S270串流控制模組依據融合資訊，啟動通訊作業模組以進行服務融合作業。

由上述步驟可以得知，首先，影音擷取及解析模組向行動裝置硬韌體取得影音資料流，該資料流為一與時間序列相關之原始連續影像及聲音資料流；而後影音擷取及解析模組解析出單一畫框資料，該單一畫框包含影像與聲音資料，其擷取時間點乃基於技術融合之演算出下一畫框預定產生時間；而後串流控制模組依據單一畫框資料、即時串流與錄影串流之各項屬性，進行技術融合演算，並產出演算結果，該演算結果包括該畫框是否需產生至即時串流資料序列，及該畫框是否需產生至錄影串流資料序列；而後串流同步模組依據演算結果記錄融合資訊，並啟動即時串流與錄影串流編碼模組，將可分別針對即時串流與錄影串流之相異屬性進行獨立作業；另外串流偵測模組向行動裝置硬韌體取得傳送記憶體使用狀態，此使用狀態乃代表行動裝置網路傳輸之即時效能；而後串流偵測模組進行傳輸偵測演算，視演算結果判斷是否啟動串流控制模組，並記錄融合資訊，該偵測演算乃為一和時間序列相關及加權之網路傳輸效能評估，藉以在不需另外進行經網路的傳輸測試下，判斷網路傳輸品質及網路是否斷線；而後串流控制模組依據融合資訊，啟動通訊作業模組以進行服務融合作業，該作業乃依據先前記錄之串流整合資訊，包括串流偵測模組之偵測演算資訊、串流控制模組之技術融合資訊，評估判斷是否該進行即時串流及錄影串流之傳輸作業，以達到服 務融合之目的。

請參閱圖3所示之系統架構圖，為一種利用行動裝置結合影音串流與錄影之系統及方法資料流程圖，首先，S310行動裝置鏡頭影音資料流經S320影音擷取及解析轉換成S330單一畫框屬性，並可同時搭配S331時間序列、S332即時串流屬性及S333錄影串流屬性，經過S340串流技術融合演算，產出S350即時串流資料流及S351錄影串流資料流，搭配S352時間序列，經S360串流服務融合演算，則將產生傳輸用的S370即時串流封包流及S371錄影串流封包流D13，另外，S380行動裝置網路傳輸狀態與S381時間序列，可經過S390網路傳輸偵測演算，產出將可提供予S340串流技術融合演算使用。

為使審查員能更進一步了解本發明之實際特點及功效，列舉一實際案例如下：本實施方式以急難救助(如地震)之回傳現場狀況至緊急指揮中心為例。

包括可收發訊的救難位置、及配戴串流來源端子系統(前端系統)之救難隊員、串流服務融合平台(後端系統)、緊急指揮中心、無法收發訊的救難位置，其中前端系統即為具有對即時串流與錄影串流進行技術融合之配戴式裝置，而後端系統即為進行服務融合之影音串流服務平台。

當救難隊員抵達可收發訊的救難位置時，即可透過前端系統回傳即時串流影像至後端系統，並發佈訊息至緊急指揮中心。隨著救難隊員深入災區受遮蔽物影響出現網路訊號不穩定時，將觸發前端系統之串流偵測模組進行偵測，待至無法收發訊的救難位置前，前端系統將確認並啟動串流技 術融合後之錄影串流功能，持續擷取急難現場之影音資訊。待救難隊員回到可收發訊的救難位置前，前端系統將確認網路訊號可用，並啟動服務融合機制立即將錄影串流影音資訊回傳至串流服務融合平台，並馬上發佈至緊急指揮中心，讓急難現場狀況之影音資料完全不漏失，並在最短時間內得以進行發佈瀏覽。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

Claims (10)

1. 一種利用行動裝置結合影音串流與錄影之系統，其包括：一串流來源端子系統，係為一具有攝影鏡頭及執行程式記憶體之手持或配戴裝置，以執行即時串流與錄影串流之融合，其中包括：影音擷取及解析模組，係對行動裝置硬韌體取得影音資料，並解析出即時單一畫框資料；串流控制模組，係接收該影音擷取及解析模組解析後之資料，依據即時串流與錄影串流之各項屬性值進行技術融合演算；串流同步模組，係接收該串流控制模組演算出之結果，再依該結果記錄並融合資訊，同時啟動即時串流編碼模組與錄影串流編碼模組；串流偵測模組，係針對行動裝置硬韌體進行監控並取得通訊傳輸記憶體消耗狀態，並透過定期監控結果進行偵測演算，並在將演算結果提供至該串流控制模組；通訊作業模組，係接收串流控制模組於偵測演算結果狀態改變時，提供服務融合相關資訊；一串流服務融合平，係為電腦系統或雲端平台，以接收來自該串流來源端子系統所傳送的即時串流或錄影串流資料，記錄相關資訊進行服務融合作業，並發佈融合後的串流影音服務。
2. 如申請專利範圍第1項所述之利用行動裝置結合影音串流與錄影之系統，其中該即時串流編碼模組，係接收來自該串流同步模組的畫框、融合與同步資訊，由融合資訊判斷是否進行後續編碼作業，並將畫框依據融合資訊進行符合 即時串流通訊協定之格式編碼作業，並將編碼後的資料流回傳至該串流同步模組。
3. 如申請專利範圍第1項所述之利用行動裝置結合影音串流與錄影之系統，其中該錄影串流編碼模組，係接收來自該串流同步模組的畫框、融合與同步資訊，由融合資訊判斷是否進行後續編碼作業，並將畫框依據融合資訊進行符合錄影通訊協定之格式編碼作業，並將編碼後的資料流回傳至該串流同步模組。
4. 一種利用行動裝置結合影音串流與錄影之方法，其包括：步驟一、影音擷取及解析模組向行動裝置硬韌體取得影音資料流；步驟二、影音擷取及解析模組解析出單一畫框資料；步驟三、串流控制模組依據單一畫框資料、即時串流與錄影串流之各項屬性，進行技術融合演算，並產出演算結果；步驟四、串流同步模組依據演算結果記錄融合資訊，並啟動即時串流與錄影串流編碼模組；步驟五、串流偵測模組向行動裝置硬韌體取得傳送記憶體使用狀態；步驟六、串流偵測模組進行傳輸偵測演算，視演算結果判斷是否啟動串流控制模組，並記錄融合資訊；步驟七、串流控制模組依據融合資訊，啟動通訊作業模組以進行服務融合作業。
5. 如申請專利範圍第4項所述之利用行動裝置結合影音串流與錄影之方法，其中該步驟一，係將資料流為一與時間序列相關之原始連續影像及聲音資料流。
6. 如申請專利範圍第4項所述之利用行動裝置結合影音串流與錄影之方法，其中該步驟二，係為擷取單一畫框中包含之影像與聲音資料，其中所擷取之時間點，是基於技術融合之演算出下一畫框預定產生時間。
7. 如申請專利範圍第4項所述之利用行動裝置結合影音串流與錄影之方法，其中該步驟三，其演算結果包含該畫框是否需產生至即時串流資料序列，及該畫框是否需產生至錄影串流資料序列。
8. 如申請專利範圍第4項所述之利用行動裝置結合影音串流與錄影之方法，其中該步驟四，係依據經融合演算後的資訊，分別針對即時串流與錄影串流之相異屬性進行獨立編碼作業。
9. 如申請專利範圍第4項所述之利用行動裝置結合影音串流與錄影之方法，其中該步驟六，係與時間序列相關及加權之網路傳輸效能評估，藉以在不需另外進行經網路的傳輸測試下，判斷網路傳輸品質及網路是否斷線。
10. 如申請專利範圍第4項所述之利用行動裝置結合影音串流與錄影之方法，其中該步驟七，係將依據先前記錄之串流整合資訊，包括串流偵測模組之偵測演算資訊、串流控制模組之技術融合資訊，評估判斷是否該進行即時串流及錄影串流之傳輸作業。