TWI647954B - 動態調整串流播放的系統及方法 - Google Patents

Abstract

本發明係提供一種動態調整串流播放的系統及方法。當終端播放裝置播放多媒體串流時，會利用其感測器偵測使用者各種的行為，將偵測到的人員行為轉換成人員當前狀態，並依據人員當前狀態，選擇適當位元率之多媒體串流內容來播放。同時，終端播放裝置亦能依據人員當前狀態與周遭環境的聲音，動態調整播放之音量大小。藉此，使傳輸頻寬不浪費，亦能符合使用者觀看影像串流或聆聽音樂串流之實際需求。

Description

動態調整串流播放的系統及方法

本發明是有關於一種多媒體播放技術，且特別是有關於一種動態調整串流播放的系統及方法。

現今行動網路及光纖網路的傳輸速率及頻寬已足以流暢地播放諸如音樂、影像等多媒體串流，因此各類型多媒體網路服務如雨後春筍般不斷推出。其中，OTT(over-the-top)服務係相當熱門的服務之一，而發展OTT服務中使用多位元率串流輸出影音，以符合不同終端環境之需求。然而，終端播放裝置(例如，智慧型手機、智慧型電視、串流音響等)要如何選擇適合的位元率之影音並不容易。現今技術的做法通常僅以可用頻寬做為選擇的準則，但此種作法只能選擇高位元率之影音，很多時候，使用者並不需要高位元率之影音，因而造成頻寬浪費。另一方面，多數的終端播放裝置通常需要透過人為操作來對影音串流進行播放停止、暫停、調整音量等播放設定，實為不便。

有鑑於此，本發明提供一種動態調整串流播放的系統及方法，其能依據使用者各種行為來調整位元率、音量等播放設定，對於使用者而言相當方便。

本發明的動態調整串流播放的系統，其包括影音伺服器、參數資料庫、及終端播放裝置。影音伺服器經由網路提供多媒體串流。參數資料庫經由網路提供調整多媒體串流的播放參數。終端播放裝置具有感測器以偵測人員行為，並經由網路接收多媒體串流，且依據人員行為動態調整多媒體串流之播放設定。

本發明的動態調整串流播放的方法，其包括下列步驟。接收多媒體串流，並透過感測器偵測人員行為，且依據人員行為動態調整多媒體串流之播放設定。

基於上述，本發明實施例能自動判斷使用者當前狀態，並選擇合適的播放設定(例如，暫停、放大音量、降低位元率等)來播放多媒體串流。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例之動態調整串流播放的系統1之流程圖。請參照圖1，此系統1包括影音伺服器100、參數資料庫130、一台或更多台終端播放裝置150。

影音伺服器100可以係電腦主機、伺服器或工作站，並至少包括但不僅限於網路介面101、儲存裝置102、及處理器104。

網路介面101可以係支援光纖、乙太網路(Ethernet)、第四代(4G)行動通訊等網路技術的介面卡、晶片或電路，並用以連接至網路120(例如，網際網路(Internet)、或內部網路等)。

儲存裝置102可以係任何型態的固定或可移動隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體(flash memory)、傳統硬碟(hard disk drive)、固態硬碟(solid-state drive)或類似元件，並用以記錄不同位元率之多媒體串流103所用之資料(例如，聲音、影像等資料，並可能因多媒體編碼及通訊協定技術不同而改變)。

處理器104與網路介面101及儲存裝置102耦接，並可以是中央處理單元(CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(DSP)、可程式化控制器、特殊應用積體電路(ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理器104用以執行影音伺服器100的所有作業，且可將透過網路介面101而經由網路120提供儲存裝置102所儲存的多媒體串流103內容。

參數資料庫130可以係用於儲存資料的伺服器、電腦主機、或工作站，並可供其他裝置經由網路120存取其儲存資料。於本實施例中，參數資料庫130儲存並可提供調整多媒體串流103之播放參數。

終端播放裝置150可以係數位機上盒、智慧型手機、電腦、平板電腦等設備，並至少包括但不僅限於網路介面151、儲存裝置152、感測器153及處理器154。

網路介面151、儲存裝置152及處理器154的實施態樣可參照影音伺服器100對應元件的說明，於此不再贅述。而處理器154適用以處理終端播放裝置150的所有作業，並可接收且播放影音伺服器100所提供多媒體串流103之內容(例如，透過內建或外接的喇叭、顯示螢幕來輸出)。

值得注意的是，終端播放裝置150的感測器153可以係照相機、錄影機、紅外線感測器、麥克風、全球定位系統(Global Positioning System，GPS)定位器、重力感測器、距離感測器、霍爾感測器、光線感測器、計步器等針對物理條件偵測的各類型感測器之一或其組合。於本實施例中，感測器153會針對使用者或環境進行偵測，以產生對應感測資料，而處理器154可分析感側資料。

為了方便理解本發明的操作流程，以下將舉諸多實施例詳細說明。下文中，將搭配系統1中各設備及設備中的各項元件及模組說明本發明實施例所述之方法。本發明實施例之方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

終端播放裝置150之處理器154透過其所具備的各種感測器153偵測出人員行為(步驟S201)。具體而言，感測器153可以偵測一種以上之人員行為(例如，移動、休息、站立等)。針對各種欲偵測之人員行為，設定一段偵測時間(例如，5秒、15秒、1分鐘等)，處理器154會判斷分析所得人員行為是否達到特定觸發條件且持續觸發一段時間。當觸發持續時間與偵測時間的比值達到訂定的閥值(threshold)時，則處理器154設定此種人員行為為觸發狀態；反之則為未觸發狀態。舉例而言：

假設終端播放裝置150有N個感測器153(N係正整數)，則可以得到K種行為狀態 並為正整數(需說明的是，部分感測器153可能可偵測超過一種人員行為)。首先，可以由下列公式(1)取得第K種行為的觸發率 H _{d_k} ： , …(1) 其中： ：第K種人員行為達到觸發條件的時間總長度； ：第K種人員行為的測量時間總長度 接著，由下式(2)得出第K種人員行為是否達到觸發狀態: …(2) 其中： ：第K種人員行為的觸發閥值， ； ：觸發； 未觸發。

處理器154依據步驟S201所得到的人員行為，取部分或全部的人員行為來決定人員當前狀態(步驟S202)。

具體而言，首先，處理器154預先定義M種(M為正整數)人員當前狀態，每種狀態由步驟S201所得到的某些人員行為(可能一種或數種)與終端播放裝置150與使用者資訊判斷，再綜合判斷是否符合某種人員當前狀態，如下式(3)所述： …(3) 其中： AND：邏輯“and”運算； ：第m種使用者行為是否觸發，0：未觸發，1：觸發 、 、…、 ：人員行為觸發狀態，依據要偵測的人員狀態，選擇適當的人員行為種類，數量可為零個或多個。 、 、…、 ：依據使用者或裝置資訊決定是否達到此資訊所訂定的閥值，從而決定此使用者或裝置資訊是否觸發。依據要偵測的人員狀態，選擇適當的使用者或裝置資訊，數量可為零個或多個。

接著，處理器154依據步驟S202得到的人員當前狀態，判斷此人員當前狀態是否要暫停播放(步驟S203)；若暫停播放，則回到步驟S201；若否，則執行步驟S204。

處理器153計算目前網路介面151之可用頻寬(步驟S204)，計算方式可以採用在某一段時間的平均下載速度乘上一個小於1的數值或減去一定數量的數值後所得到的頻寬。舉例而言，可用頻寬可由下列公式(4)或(5)得出： …(4)或 …(5) 其中： ：可用頻寬； ：量測時間內，終端播放裝置150接收到的資料總量； ：量測時間； ： ，補償因子，用來避免網路頻寬變化過大時，播放品質會受到影響； ：保留頻寬: 用來避免網路頻寬變化過大時，播放品質會受到影響。

處理器154依據步驟S202得到人員當前狀態與步驟S204得出的可用頻寬，自影音伺服器100下載適當位元率的多媒體串流103之內容(步驟S205)。

處理器154透過網路介面151而自參數資料庫130或者是自儲存裝置152取得調整多媒體串流103之音量的參數(步驟S206)。

處理器154再計算終端播放裝置150周邊(周邊環境)音量準位，其計算方式可以採用在某一段時間內終端播放裝置150所接收到的音量並經過數學運算得到的數值。處理器154依據得到的周邊音量準位以及步驟S202得到的人員當前狀態與步驟S206得出的調整音量的參數，調整多媒體串流103之播放音量到指定的準位(步驟S207)。

舉例而言，利用麥克風錄製周邊環境的聲音一段時間，利用數學運算方式計算該時間內的環境音量 Vol _env 。而此數學運算方式可為任何評估音量的演算法或統計法。而依據步驟S203得到的人員當前狀態與環境音量 Vol _env 計算出調整後的播放音量準位環境音量 Vol _tar 。而其作法可依據下述方式(6)： 假設有M種使用者狀態： …(6) ：預定調整後之播放音量準位，其最小值為零，最大值為系統最大音量值； ：目前環境的音量準位； ：目前的播放音量準位； ：第M種使用者狀態的預設音量； ：第M種使用者狀態是否允許調整音量，可以設定為自動調整、調整成預定準位或者是不調整； ：第M種使用者狀態的音量調整數值； 而預設音量 、音量調整設定 可以由參數資料庫130取得或者是儲存裝置152取得。處理器154可計算目標音量 與當前音量 之絕對值差；若其絕對值差大於設定的閥值，就調整多媒體串流103之播放音量準位到當前音量 ；否則就不調整。

處理器154檢查是否繼續播放多媒體串流103(步驟S208)；若是，則到步驟S201；若否，則到進入步驟S209。

處理器154會將目前的播放音量與使用者與終端播放裝置150的各種狀態與新播放參數傳回參數資料庫130，且參數資料庫130每隔一段時間或蒐集一定數量參數後，將更新參數資料庫之參數(步驟S209)。

具體而言，參數資料庫130儲存步驟S207所用的預設音量 、音量調整設定 。其作法如以下步驟：假設步驟S202共得到M個人員當前狀態，則將參數資料庫130的參數分成M組，每一種人員當前狀態對應到一組使用者狀態。參數資料庫130中每一組使用者狀態再依據會影響此組使用者狀態的使用者條件種類(假設有N種人員條件)，再分成N組使用者條件狀態。每組使用者狀態所分成的使用者條件狀態個數不一定要相同。而依據前述兩個步驟，每個使用者狀態的參數可由下列公式(7)、(8)得到: …(7) …(8) 其中： ~ 、 ~ 為權重值，可以依據每個使用者條件狀態之重要性給予不同權重。 +…+ =1，權重值 亦同，但權重值 、 不一定要相同。第M組使用者狀態的第N個使用者條件狀態的參數表示為 、 。

每個預設音量 、調整音量設定 可以設計為非自動更新，需由服務商設定，除非重新設定，不然不會變動；也可以設計為動態更新，一開始設定一個初始值，當每個使用者播放多媒體串流103後，終端播放裝置100會回傳新的數值。而參數資料庫130每隔一段時間，會將蒐集到的數值做分析處理後更新預設音量 、調整音量設定 數值。

為了方便讀者理解本發明之精神，以下將舉一應用情境說明：

請參考圖1，影音伺服器100採用HLS(HTTP Live Streaming)通訊協定經由網路120對終端播放裝置150發送串流影音。表(1)為一範例索引檔，由低位元率到高位元率列出影音伺服器100所提供的全部影音，提供終端播放裝置150依據其需求選擇適當位元率影音播放。 表(1) <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> #EXTM3U </td><td> </td></tr><tr><td> 0.1.m3u8 </td><td> #資訊(EXT-X-STREAM-INF):識別碼(PROGRAM-ID)=1,頻寬(BANDWIDTH)=65536,編碼(CODECS)=”mp4a.40.2” </td></tr><tr><td> 0.2.m3u8 </td><td> #EXT-X-STREAM-INF: PROGRAM-ID=1, BANDWIDTH=307200,解析度(RESOLUTION)=320×180, CODECS=”avc1.42e00d,mp4a.40.2” </td></tr><tr><td> 0.3.m3u8 </td><td> #EXT-X-STREAM-INF: PROGRAM-ID=1, BANDWIDTH=655360, RESOLUTION=640×480, CODECS=”avc1.42e015,mp4a.40.2” </td></tr><tr><td> 0.4.m3u8 </td><td> #EXT-X-STREAM-INF: PROGRAM-ID=1, BANDWIDTH=1267872, RESOLUTION=1280×720, CODECS=”avc1.4d401e,mp4a.40.2” </td></tr><tr><td> 0.5.m3u8 </td><td> #EXT-X-STREAM-INF: PROGRAM-ID=1, BANDWIDTH=2090560, RESOLUTION=1920×1080, CODECS=”avc1.4d401f,mp4a.40.2” </td></tr></TBODY></TABLE>

而終端播放裝置150所使用的感測器153依其特性，可以用來偵測的各種人員行為，舉例如下：相機(偵測觀賞的使用者數目，使用者是否閉眼)、GPS定位器(偵測使用者目前的位置，移動速度)、心率感測器(偵測目前使用者的心率)、重力感應器(偵測使用者裝置的擺放方向)、距離感應器(偵測是否有物品接近使用者裝置)、霍爾感應器(偵測使用者裝置是否有蓋上背蓋)、光線感測器(偵測使用者裝置所在環境的亮度)、麥克風(偵測周邊的聲音)、計步器(偵測使用者的步數)。

請搭配參照圖2之流程圖，終端播放裝置150利用相機來偵測使用者是否閉眼(步驟S201)，此照相機為終端播放裝置150所具有的N個感測中的第一個感測器153。偵測時間設定為60秒，閥值設為0.6。終端播放裝置150利用閉眼偵測技術偵測使用者是否閉眼，假設偵測到使用者的閉眼時間總合為50秒，則各參數數值如下： =50、 =60、Hd_1=5/6、 =0.6則 (狀態為觸發)。

接著，例如終端播放裝置150要判斷人員當前狀態是否為睡眠(步驟S202)。假設睡眠為M種使用者狀態中的第1個。用來判別是否為睡眠狀態的人員行為有 、 、 、 、 ，依序為相機偵測使用者是否閉眼達到一段長時間、心率是否低於設定之數值、周遭光線亮度是否低於設定數值，周遭聲音大小是否低於設定數值，時間是否處於設定之睡眠時間。各項狀態若是則為真(true)，若否則為假(false)。如此，可以處理器154得到使用者是否處於第m種狀態。 =true代表處於第m種狀態，false表示不處於此狀態。

接著，若得出使用者處於不會觀賞影音的狀態，則終端播放裝置150讓多媒體串流103暫停播放(步驟S203)。例如：當使用者狀態為睡眠或者是沒有人再觀賞影音，且持續一段長的時間。

在播放多媒體串流103的過程中，終端播放裝置150會下載影音後解碼播放。假設下載一個影音片段(以HLS通訊協定為例，即一個TS檔案)花了1秒，檔案大小為125K Bytes，若 設定為0.7。而參數數值 為125K Bytes、 為1秒，則依據公式(4)可算得可用頻寬 為700 Kbps(步驟S204)。

步驟S205：假設目前共有下列5種人員當前狀態：狀態1為睡眠、狀態2為閉目休息、狀態3為工作、狀態4為走路、狀態5為正常觀賞。請參考表(1)，在可用頻寬足夠情況下。若為狀態1與狀態2，則終端播放裝置150播放時只會選擇01.m3u8與02.m3u8。若狀態3與狀態4，則終端播放裝置150只會選擇03.m3u8與04.m3u8。若狀態5，則終端播放裝置150只會選擇05.m3u8。若可用頻寬不足以播放某狀態選擇的位元率影音，則終端播放裝置150繼續選擇低一級位元率的影音，直到滿足可用頻寬為止。當某一個狀態有兩個m3u8可以選擇時，例如狀態1與狀態2，則終端播放裝置150可以依據事先定義好的規則來選擇。例如，當時可用頻寬或者是固定選最高位元率，或者是最低位元率等方式。

步驟S207：a. 若音量調整模式設定為自動調整：首先，利用終端播放裝置150的麥克風錄製一段時間的聲音，然後用計算這段時間的平均環境音量 Vol _env 。假設使用者處於睡眠狀態，睡眠是M種使用者狀態的第1種狀態。第一種狀態的預設準位為調整音量設定 ，當終端播放裝置150之儲存裝置152沒有調整音量設定 時，就自參數資料庫130下載，並存放在儲存裝置152。若有，則終端播放裝置150直接使用儲存裝置152的調整音量設定 ，不再自參數資料庫130下載。若參數資料庫130不存在且終端播放裝置150之儲存裝置152也沒有時，則終端播放裝置150直接設定為調整音量設定 為一預先設定好的數值。然後，將調整音量設定 換算成終端播放裝置150的聲音準位，然後加上平均環境音量 Vol _env 得到目標音量 。接著，終端播放裝置150計算目標音量 與目前音量 的絕對值差，若此絕對值差大於設定的閥值，則終端播放裝置150調整播放音量到目標音量 ；否則就不調整。終端播放裝置150亦可接收使用者對於調整播放音量之操作，調整後的播放音量可以得到一組新的調整音量設定 ，將新的調整音量設定 取代原先儲存在儲存裝置152的調整音量設定 ，並將調整音量設定 回傳參數資料庫130以供更新參數資料庫130的參數使用。

而b. 若音量調整模式設定為調整為預定準位：假設使用者處於睡眠狀態，睡眠是M種使用者狀態的第1種狀態。第一種狀態的預設準位為 ，將預設準位 換算成終端播放裝置150的聲音準位後，和上述a. 音量調整模式設定為自動調整方式相同，終端播放裝置150計算目標音量 與目前音量 的絕對值差。如果此絕對值差大於設定的閥值，則調整終端播放裝置150的播放音量到目標音量 ，否則就不調整。預設準位 可以由參數資料庫或者是裝置端的儲存區域取得，方法與上面a.方式說明的取得調整音量設定 方式相同。此外，終端播放裝置150可接收使用者對於調整播放音量之操作，調整後的音量數值會得到可以得到一組新的預設準位 。之後，和上述a.方式相同，更新儲存裝置152的預設準位 ，並將預設準位 回傳參數資料庫。

c. 若音量調整模式不是自動調整與調整成預定準位，則終端播放裝置150不調整音量。

步驟S209：參數資料庫130儲存S207所用的預設音量 、調整音量設定 。目前共有下列5種狀態：狀態1(睡眠)、狀態2(閉目休息)、狀態3(工作)、狀態4(行進)、及狀態5(正常觀賞)。此時，使用者狀態數量M=5。以狀態1為例，在睡眠時，會影響睡眠時，調整音量的使用者條件有3種：性別、年齡、時間。此時，可以得到3種使用者條件狀態。此例中，每個使用者條件狀態之預設音量 與調整音量設定 可以標示為預設音量 、 、 及調整音量設定 、 、 。此處定義這3種使用者條件的原因為：男生跟女生對音量感受不同，不同年齡區間對音量感受不同，不同時間對音量感受不同。這些因子可以視需求增減，也可以不用定義，只使用一個。因為本範例為睡眠，所以時間影響較大，所以 ~ 可以設為0.3、0.3、0.4(時間的權重提高)，也可以設定為同樣權重。利用步驟S209的公式(7)、(8)，可以得到預設音量 與調整音量設定 。

預設音量 、調整音量設定 的計算方式，則由統計方式取得。一開始，每個預設音量 、調整音量設定 都給予一個預設值。當播放多媒體串流103時，若終端播放裝置150接收到使用者有手動調整音量操作時，會將調整後的參數暫存在儲存裝置152。當每個使用者播放完畢時，會將當時後終端播放裝置150的預設音量 、調整音量設定 回傳給參數資料庫130。而參數資料庫130每隔一段時間，針對蒐集到的預設音量 、調整音量設定 做分析處理，處理方式採用統計分析方式，例如平均值。然後，新的數值將更新到參數資料庫130。

綜上所述，本發明實施例終端播放裝置可以根據人員當前以及可用網路頻寬，由影音伺服器所能提供之不同位元率之多媒體串流內容中，選擇最佳位元率之多媒體串流內容來播放之方法。同時，根據人員當前狀態以及周邊環境的音量，動態調整播放的音量，讓使用者能有更舒適影音感受。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1‧‧‧系統

100‧‧‧影音伺服器

101、151‧‧‧網路介面

102、152‧‧‧儲存裝置

103‧‧‧多媒體串流

104、154‧‧‧處理器

120‧‧‧網路

130‧‧‧參數資料庫

150‧‧‧終端播放裝置

153‧‧‧感測器

S201~S209‧‧‧步驟

圖1是依據本發明一實施例之動態調整串流播放的系統之流程圖。 圖2是依照本發明一實施例之動態調整串流播放的方法之流程圖。

Claims (8)

1. 一種動態調整串流播放的系統，包括：一影音伺服器，經由一網路提供至少一多媒體串流；一參數資料庫，經由該網路提供調整該至少一多媒體串流之播放參數；以及至少一終端播放裝置，具有至少一感測器用以偵測一人員行為，依據該人員行為的觸發持續時間決定一人員當前狀態，而該人員當前狀態包括睡眠、閉目休息、工作、走路、及正常觀賞其中一者或其組合，該至少一終端播放裝置並經由該網路接收該至少一多媒體串流，且依據該人員行為對應的該人員當前狀態動態調整該至少一多媒體串流之播放設定。
2. 如申請專利範圍第1項所述的動態調整串流播放的系統，其中該播放設定包括播放位元率，而該至少一終端播放裝置依據該人員當前狀態及可用頻寬，決定該至少一多媒體串流播放之位元率。
3. 如申請專利範圍第1項所述的動態調整串流播放的系統，其中該播放設定包括音量調整，而該至少一終端播放裝置依據該人員當前狀態決定該至少一多媒體串流播放之音量調整模式。
4. 如申請專利範圍第3項所述的動態調整串流播放的系統，其中該至少一終端播放裝置係自該參數資料庫取得該音量調 整模式，該至少一終端播放裝置並將新播放參數更新到該參數資料庫。
5. 一種動態調整串流播放的方法，包括：接收至少一多媒體串流；透過至少一感測器偵測一人員行為，包括：依據該人員行為的觸發持續時間決定一人員當前狀態，其中該人員當前狀態包括睡眠、閉目休息、工作、走路、及正常觀賞其中一者或其組合；以及依據該人員行為對應的該人員當前狀態動態調整該至少一多媒體串流的播放設定。
6. 如申請專利範圍第5項所述的動態調整串流播放的方法，其中該播放設定包括播放位元率，而依據該人員行為動態調整該至少一多媒體串流的播放設定的步驟，包括：依據該人員當前狀態及可用頻寬，決定該至少一多媒體串流播放之位元率。
7. 如申請專利範圍第5項所述的動態調整串流播放的方法，其中該播放設定包括音量調整，而依據該人員行為動態調整該至少一多媒體串流的播放行為的步驟，包括：依據該人員當前狀態決定該至少一多媒體串流播放之音量調整模式。
8. 如申請專利範圍第7項所述的動態調整串流播放的方法，其中該音量調整模式係自該參數資料庫取得，而依據該人員 當前狀態決定該至少一多媒體串流播放之音量調整模式之後，更包括：將新播放參數更新到該參數資料庫。