TWI635744B - 影像串流處理方法及其影像串流裝置 - Google Patents
影像串流處理方法及其影像串流裝置 Download PDFInfo
- Publication number
- TWI635744B TWI635744B TW106105235A TW106105235A TWI635744B TW I635744 B TWI635744 B TW I635744B TW 106105235 A TW106105235 A TW 106105235A TW 106105235 A TW106105235 A TW 106105235A TW I635744 B TWI635744 B TW I635744B
- Authority
- TW
- Taiwan
- Prior art keywords
- stream
- video stream
- video
- pixel
- encoding
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000000034 method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一種影像串流處理方法適用於影像串流裝置,影像串流裝置具有編碼處理單元用以產生複數個影像串流,影像串流處理方法包含接收影像資料、設定每一影像串流之優先權、根據每一影像串流之優先權與預設串流參數值以及編碼處理單元之編碼能力設定每一影像串流之實際串流參數值以及根據每一影像串流之實際串流參數值同時對影像資料進行編碼以產生相對應之影像串流。
Description
本發明關於一種影像串流處理方法及其影像串流裝置,尤指一種根據影像串流之優先權動態調整影像串流之實際串流參數值的影像串流處理方法及其影像串流裝置。
一般而言,用來進行影像監視之攝影裝置(如網路攝影機(IP camera))係採用影像資料串流傳輸之方式以將其所擷取的影像實時傳輸至控制端(如影像控管主機等)而達到即時監控之目的。在實際應用中,可傳輸影像串流之攝影裝置通常具有多重串流傳輸功能,並且允許使用者可針對影像串流之串流參數值(例如視訊解析度、訊框速率(frame per second, FPS)等)進行符合其觀看需求的設定,以及允許單一使用者或多位使用者可同時間觀看對應不同設定之影像串流。
然而,在同時提供具有不同串流參數設定之影像串流的過程中,攝影裝置往往會因為使用者想要觀看之影像串流所需的編碼運算數量之總和超過了攝影裝置本身的編碼能力,而無法即時地提供盡可能接近使用者原始串流參數設定之影像串流。雖然此問題可透過根據攝影裝置之編碼能力以編碼運算資源平均分配之方式平均調降每一影像串流之串流參數值來解決,但此方式又會導致具有高重要性之影像串流(例如對應某一重點監控區域的監控影像串流)的影像品質會受到其他影像串流的影響而大幅地偏離其原始串流參數設定值,從而造成使用者在觀看高重要性之影像串流上的諸多不便與限制。
本發明之目的之一在於提供一種根據影像串流之優先權動態調整影像串流之實際串流參數值的影像串流處理方法及其影像串流裝置,以解決上述之問題。
根據本發明之一實施例,本發明之影像串流處理方法適用於一影像串流裝置,該影像串流裝置具有一編碼處理單元用以產生複數個影像串流,該影像串流處理方法包含接收一影像資料、設定每一影像串流之一優先權、根據每一影像串流之該優先權與一預設串流參數值以及該編碼處理單元之一編碼能力設定每一影像串流之一實際串流參數值以及根據每一影像串流之該實際串流參數值同時對該影像資料進行編碼以產生該些影像串流。
根據本發明之另一實施例,本發明之影像串流裝置包含一接收單元、一優先權設定單元,以及一編碼處理單元。該接收單元用來接收一影像資料。該編碼處理單元用以產生複數個影像串流。該優先權設定單元用以設定每一影像串流之一優先權。該編碼處理單元電連接於該接收單元以及該優先權設定單元,用來根據每一影像串流之該優先權與一預設串流參數值以及該編碼處理單元之一編碼能力設定每一影像串流之一實際串流參數值,以及根據每一影像串流之該實際串流參數值對該影像資料進行編碼以產生該些影像串流。
綜上所述,相較於先前技術,本發明係採用根據影像串流之優先權動態調整影像串流之實際串流參數值的影像串流處理方法,以達到本發明所提供之影像串流裝置可將編碼處理單元之編碼運算資源優先分配給具有高優先權之影像串流的目的。換句話說,本發明係可解決於先前技術中所提到之攝影裝置在影像串流所需之編碼運算數量之總和超過攝影裝置本身編碼能力的情況下無法即時地提供盡可能接近使用者原始串流參數設定之影像串流的問題,藉以有效地避免具有高重要性之影像串流(例如對應某一重點監控區域的監控影像串流)的影像品質會受到其他影像串流的影響而大幅地偏離其原始串流參數設定值的情況發生,從而大幅地提升影像串流裝置在提供具有高重要性之影像串流上的實用性。
關於本發明之優點與精神可以藉由以下的實施方式及所附圖式得到進一步的瞭解。
請參閱第1圖,其為根據本發明之一實施例所提出之一影像串流裝置10之功能方塊示意圖,影像串流裝置10係可較佳地為用來對所欲監控之場景(如停車場)擷取影像以進行影像監控之攝影裝置(如網路攝影機(IP camera))且用來提供具有監控影像內容之影像串流以達到影像即時傳輸之目的,但不以此為限,也就是說,影像串流裝置10亦可為其他常見用來產生影像串流之串流媒體設備。如第1圖所示,影像串流裝置10包含一接收單元12、一優先權設定單元14,以及一編碼處理單元16。接收單元12係用來接收影像資料以供後續進行影像串流編碼之用。優先權設定單元14用來對每一影像串流進行優先權之設定。編碼處理單元16係可較佳地為用來進行影像串流編碼處理的韌體、軟體或硬體(如系統晶片(system on chip, SOC)等),且電連接於接收單元12以及優先權設定單元14,以用來根據每一影像串流之優先權與預設串流參數值以及編碼處理單元16之編碼能力設定每一影像串流之實際串流參數值,以及根據每一影像串流之實際串流參數值同時對接收單元12所接收到之影像資料進行編碼以產生相對應之影像串流,以供後續進行影像串流傳輸(例如傳輸經編碼處理後之影像串流至影像串流接收端(如影像控管主機、網路影音錄影機(Network Video Recorder, NVR)等))或是錄影儲存之用,從而達到可優先地將編碼處理單元16所能提供之編碼運算資源動態分配至具有高優先權之影像串流的目的。
影像串流裝置10所採用之影像串流處理方法說明如下,請參閱第1圖以及第2圖,第2圖為根據本發明之一實施例所提出之影像串流處理方法之流程圖,本發明之影像串流處理方法包含下列步驟。
步驟200: 接收單元12接收影像資料。
步驟202: 優先權設定單元14設定每一影像串流之優先權。
步驟204: 編碼處理單元16根據每一影像串流之優先權與預設串流參數值以及編碼處理單元16之編碼能力,設定每一影像串流之實際串流參數值。
步驟206: 編碼處理單元16根據每一影像串流之實際串流參數值同時對影像資料進行編碼以產生相對應之影像串流。
以下係以影像串流裝置10產生第一影像串流以及第二影像串流為例針對上述步驟進行詳細之描述。首先,在步驟200中,影像串流裝置10可使用接收單元12接收對應某一監控場景(如停車場等)之影像資料,以供編碼處理單元16進行後續影像串流編碼之用。接下來,在步驟202中,優先權設定單元14可針對第一影像串流以及第二影像串流進行優先權之設定,以作為編碼處理單元16根據優先權進行編碼運算資源分配的判斷依據,在實作上,優先權設定單元14係可較佳地根據使用者預設值、第一影像串流以及第二影像串流之連線權限、第一影像串流以及第二影像串流之影像使用情境,或根據第一影像串流以及第二影像串流要求之影像內容所對應之感興趣區域(Region of Interest, ROI)分別設定第一影像串流以及第二影像串流之優先權(但不受此限,優先權設定單元14亦可採用其他常見之影像優先權設定方法,例如將影像內容中具有較多人數之團體之影像串流設定成具有高優先權之影像串流,意即只要是可用來定義出各個影像串流之優先權之設定方法,其均可為本發明所採用之)。
舉例來說,優先權設定單元14可根據使用者預先輸入之優先權數值而針對影像串流裝置10所欲產生之第一影像串流以及第二影像串流進行優先權之設定(但不以此為限,在實際應用中,若是使用者以系統管理員身分連線至影像串流裝置10時,無論其所預先輸入之優先權數值為何,優先權設定單元14都會將相對應之影像串流的優先權設定為最高);或者是,優先權設定單元14可將具有高連線權限之影像串流設定為具有高優先權之影像串流(例如對應系統管理使用者之傳輸要求之影像串流的優先權係可高於對應一般使用者之傳輸要求之影像串流的優先權);或者是,優先權設定單元14可將具有高畫面品質使用需求之影像串流設定為具有高優先權之影像串流(例如使用情境對應需要具有高解析度畫面以進行影像內容分析(Video Content Analysis, VCA)之影像串流之優先權係可高於使用情境對應僅需低解析度畫面以進行即時影像監控之影像串流之優先權);或者是,優先權設定單元14可將具有聚焦對準感興趣區域影像(例如大廳門口影像)之影像串流設定為具有高優先權之影像串流,以及將具有廣域場景影像(如大廳全景影像)之影像串流設定為具有低優先權之影像串流;或者是,優先權設定單元14將可供使用者進行PTZ(Pan(左右轉動)、Tile(上下傾斜)、放大(影像縮放))操作之影像串流設定為具有高優先權之影像串流。
在完成上述優先權設定步驟之後,編碼處理單元16係可根據第一影像串流以及第二影像串流之優先權與預設串流參數值(較佳地為預設視訊解析度以及預設訊框速率,但不受此限)以及編碼處理單元16之編碼能力,進行第一影像串流以及第二影像串流之實際串流參數值的設定(步驟204),此處所提及之編碼處理單元16之編碼能力係可較佳地為編碼處理單元16之最大畫素(pixel)編碼數量(可視為編碼處理單元16所能處理之最大視訊解析度與最大訊框速率於預設時間區間內之乘積)。
舉例來說,假設第一影像串流係應用在影像內容分析之使用情境而將其優先權設定為1且第二影像串流係應用在即時影像監控之使用情境而將其優先權設定為2(此處優先權設定單元14採用優先權之設定值越小代表影像串流之優先權(重要性)越高之設計,但不受此限,其亦可採用優先權之設定值越大代表影像串流之優先權(重要性)越高之設計)、編碼處理單元16所能處理之最大視訊解析度為2560*1920以及最大訊框速率為30、第一影像串流之預設視訊解析度為2560*1920以及預設訊框速率為30、第二影像串流之預設視訊解析度為640*360以及預設訊框速率為30、第一影像串流以及第二影像串流之最低視訊解析度設定為640*360以及最低訊框速率設定為5(但不受此限,其最低數值設定係可根據影像串流裝置10之實際應用需求而有所增減,例如最低視訊解析度以及最低訊框速率可設至0,也就是可選擇地不輸出具有低優先權之影像串流),且預設時間區間設定為1秒,則編碼處理單元16係可計算出第一影像串流以及第二影像串流之預設視訊解析度以及預設訊框速率於預設時間區間內之乘積總和,以產生第一影像串流以及第二影像串流之預設畫素編碼數量之總和(即2560*1920*30+640*360*30=154368000,其代表第一影像串流以及第二影像串流在1秒內所需處理之預設畫素編碼數量之總和)、計算出第一影像串流以及第二影像串流之最低畫素編碼數量(即640*360*5=1152000,其代表第一影像串流以及第二影像串流在1秒內所需個別處理之最低畫素編碼數量),以及計算出編碼處理單元16之最大畫素編碼數量(即2560*1920*30=147456000,其代表編碼處理單元16在1秒內所能處理之最大畫素編碼數量)。
透過上述計算結果,編碼處理單元16係可判斷出第一影像串流以及第二影像串流之預設畫素編碼數量之總和大於編碼處理單元16之編碼能力,如此一來,編碼處理單元16係可根據上述編碼處理單元16之最大畫素編碼數量、第一影像串流以及第二影像串流之最低畫素編碼數量,以及第一影像串流以及第二影像串流之優先權計算出第一影像串流以及第二影像串流之實際畫素編碼數量。反之,在實作上,若是編碼處理單元16判斷出第一影像串流以及第二影像串流之預設畫素編碼數量之總和小於或等於編碼處理單元16之編碼能力(此即代表編碼處理單元16之編碼能力足以滿足第一影像串流以及第二影像串流之預設畫素編碼需求),則編碼處理單元16係可直接將第一影像串流以及第二影像串流之預設串流參數值分別設定為第一影像串流以及第二影像串流之實際串流參數值。
在編碼處理單元16判斷出第一影像串流以及第二影像串流之預設畫素編碼數量之總和大於編碼處理單元16之編碼能力後,在此實施例中,當編碼處理單元16更進一步地判斷出第二影像串流之優先權低於第一影像串流之優先權時,編碼處理單元16係可先進行確保每一影像串流均被分配到最低畫素編碼數量之計算後,再接著將剩餘畫素編碼數量根據影像串流之優先權高低進行分配,例如可將編碼處理單元16之剩餘畫素編碼數量(即編碼處理單元16之最大畫素編碼數量扣除第一影像串流以及第二影像串流之最低畫素編碼數量之總和的差值)優先分配給具有高優先權之第一影像串流,也就是將編碼處理單元16之剩餘畫素編碼數量加上第一影像串流之最低畫素編碼數量後之和值(即(147456000-1152000-1152000)+1152000=146304000)直接設定為第一影像串流之實際畫素編碼數量,以及將第二影像串流之最低畫素編碼數量(即1152000)直接設定為第二影像串流之實際畫素編碼數量(但不受此限),藉此,編碼處理單元16即可根據上述第一影像串流之實際畫素編碼數量推算出第一影像串流之實際串流參數值,此處係較佳地採用優先滿足第一影像串流之預設視訊解析度之計算方式(但不受此限,其亦可採用優先滿足第一影像串流之預設訊框速率之計算方式,其相關描述可參照下列說明類推),也就是說,編碼處理單元16即可據以推算出第一影像串流之實際串流參數值為實際視訊解析度等於2560*1920且實際訊框速率等於29.7(146304000/(2560*1920)≒29.7)。反之,在實作中,若是編碼處理單元16判斷出編碼處理單元16之剩餘畫素編碼數量再加上第一影像串流之最低畫素編碼數量後之和值大於第一影像串流之預設畫素編碼數量(此即代表在將編碼處理單元16之剩餘畫素編碼數量優先分配給已配有最低畫素編碼數量之第一影像串流後可滿足第一影像串流之預設畫素編碼需求),編碼處理單元16係可直接將第一影像串流之預設串流參數值設定為第一影像串流之實際串流參數值,並且將編碼處理單元16之剩餘畫素編碼數量在優先分配給已配有最低畫素編碼數量之第一影像串流後所剩下之畫素編碼數量(即上述和值扣除第一影像串流之預設畫素編碼數量)再分配給已配有最低畫素編碼數量之第二影像串流,直到將所剩下之畫素編碼數量分配完畢或是滿足所有影像串流之預設畫素編碼數量為止。
最後,在步驟206中,影像串流裝置10係可使用編碼處理單元16根據上述計算所得之第一影像串流以及第二影像串流之實際串流參數值同時對影像資料進行編碼,以產生實際視訊解析度等於2560*1920且實際訊框速率等於29.7之第一影像串流以及實際視訊解析度等於640*360且實際訊框速率等於5之第二影像串流,以供後續進行影像串流傳輸(例如將上述經編碼處理後之第一及第二影像串流傳輸至影像串流接收端)或是錄影儲存之用。
需注意的是,在實際進行影像串流傳輸的過程中,若是上述其中之一影像串流傳輸完畢而另一影像串流還在傳輸時,影像串流裝置10則是會使用編碼處理單元16根據編碼處理單元16之編碼能力重新計算並設定另一影像串流之實際串流參數值,藉以產生相對應之影像串流,舉例來說,若是上述第一影像串流已傳輸完畢,此時,由於編碼處理單元16之編碼能力係大於第二影像串流之預設畫素編碼數量(此即代表編碼處理單元16之編碼能力足以滿足第二影像串流之預設畫素編碼需求),因此,編碼處理單元16可將第二影像串流之實際串流參數值改設定為第二影像串流之預設串流參數值以產生實際視訊解析度等於640*360且實際訊框速率等於30之第二影像串流。此外,上述編碼處理單元16針對第一影像串流以及第二影像串流之預設畫素編碼數量之總和是否大於編碼處理單元16之編碼能力之判斷係為可省略之步驟,也就是說,無論第一影像串流以及第二影像串流之預設畫素編碼數量之總和是否大於編碼處理單元16之編碼能力,編碼處理單元16均可直接進行確保每一影像串流先被分配到最低畫素編碼數量之計算後,再接著將剩餘畫素編碼數量根據影像串流之優先權高低進行分配,藉以達到簡化本發明之影像串流處理方法之目的。
如此一來,相較於先前技術,本發明係採用根據影像串流之優先權動態調整影像串流之實際串流參數值的影像串流處理方法,以達到本發明所提供之影像串流裝置可將編碼處理單元之編碼運算資源優先分配給具有高優先權之影像串流的目的。換句話說,本發明係可解決於先前技術中所提到之攝影裝置在影像串流所需之編碼運算數量之總和超過攝影裝置本身編碼能力的情況下無法即時地提供盡可能接近使用者原始串流參數設定之影像串流的問題,藉以有效地避免具有高重要性之影像串流(例如對應某一重點監控區域的監控影像串流)的影像品質會受到其他影像串流的影響而大幅地偏離其原始串流參數設定值的情況發生,從而大幅地提升影像串流裝置在提供具有高重要性之影像串流上的實用性。
值得一提的是,在實作上,若是編碼處理單元16判斷出第二影像串流之優先權等於第一影像串流之優先權,編碼處理單元16係可根據第一影像串流之最低畫素編碼數量、第二影像串流之最低畫素編碼數量、第一影像串流之預設畫素編碼數量與第二影像串流之預設畫素編碼數量之間的比例值,以將編碼處理單元16之最大畫素編碼數量照比例分配之方式分別計算出第一影像串流之實際畫素編碼數量以及第二影像串流之實際畫素編碼數量,至於針對每一影像串流之實際畫素編碼數量之計算(例如將編碼處理單元16之剩餘畫素編碼數量加上第一影像串流之最低畫素編碼數量以及第二影像串流之最低畫素編碼數量之和值,依照第一影像串流之預設畫素編碼數量與第二影像串流之預設畫素編碼數量之間的比例值分配,以分別計算出第一影像串流之實際畫素編碼數量以及第二影像串流之實際畫素編碼數量,但不受此限)的相關說明,其係可參照上述實施例類推,於此不再贅述。
除此之外,若是使用者修改第一影像串流以及第二影像串流之優先權或預設串流參數值,則影像串流裝置10會使用編碼處理單元16根據編碼處理單元16之編碼能力重新計算並設定所有影像串流的實際串流參數值,從而產生相對應之影像串流以即時地符合使用者之觀看需求。
另外,在實作中,若是影像串流之數量改變(例如影像串流裝置10被要求產生新的影像串流),則影像串流裝置10也會使用編碼處理單元16根據編碼處理單元16之編碼能力重新計算並設定所有影像串流的實際串流參數值,藉以產生相對應之影像串流。舉例來說,請參閱第3圖,其為根據本發明另一實施例所提出之影像串流處理方法之流程圖,由第3圖可知,編碼處理單元16係可先判斷影像串流之優先權、預設串流參數值或數量是否有變動(步驟300),以下係以有新的第三影像串流被要求產生,且假設第三影像串流之優先權介於第一影像串流以及第二影像串流之優先權之間(即第一影像串流、第二影像串流以及第三影像串流具有不同優先權)、第三影像串流之預設視訊解析度為2560*1920以及預設訊框速率為10,以及第三影像串流之最低視訊解析度設定為640*360以及最低訊框速率設定為5為例針對第3圖之步驟進行詳細之描述,至於針對其他衍生變化串流傳輸情況(例如有新的第四影像串流被要求產生等...)的相關說明,其係可參照下列描述類推,於此不再贅述。
在編碼處理單元16偵測出目前被要求產生的影像串流(步驟302)以及優先權設定單元14設定每一影像串流之優先權高低(步驟304)後,編碼處理單元16係可判斷第一影像串流、第二影像串流,以及第三影像串流之預設畫素編碼數量之總和是否大於編碼處理單元16之編碼能力(步驟306)。若編碼處理單元16判斷出第一影像串流、第二影像串流,以及第三影像串流之預設畫素編碼數量之總和小於編碼處理單元16之編碼能力,編碼處理單元16係可直接將第一、第二以及第三影像串流之預設串流參數值設定為第一、第二以及第三影像串流之實際串流參數值(即步驟308所述之維持第一、第二以及第三影像串流之原本串流參數值以同時對影像資料進行編碼),而完成此次影像串流處理流程。
反之,若編碼處理單元16判斷出第一影像串流、第二影像串流,以及第三影像串流之預設畫素編碼數量之總和大於編碼處理單元16之編碼能力,則編碼處理單元16係可將編碼處理單元16之最大畫素編碼數量扣除第一影像串流、第二影像串流以及第三影像串流之最低畫素編碼數量之總和(步驟310,此步驟可確保每一影像串流均可先被分配到最低畫素編碼數量)後所得之差值(即編碼處理單元16之剩餘畫素編碼數量),根據優先權由高至低之分配順序優先分配給具有高優先權之影像串流(步驟312),舉例來說,編碼處理單元16可將編碼處理單元16之剩餘畫素編碼數量加上第一影像串流之最低畫素編碼數量後之和值(即(147456000-1152000-1152000-115200)+1152000=145152000)分配給第一影像串流以設定為第一影像串流之實際畫素編碼數量,以及將上述最低畫素編碼數量(即1152000)分別分配給第二影像串流以及第三影像串流以設定為第二影像串流以及第三影像串流之實際畫素編碼數量(但不受此限),藉此,編碼處理單元16可根據計算所得之實際串流參數值推算出第一、第二、第三影像串流之實際串流參數值且據以同時對影像資料進行編碼以產生實際視訊解析度等於2560*1920且實際訊框速率等於29.5(145152000/(2560*1920)≒29.5)之第一影像串流以及實際視訊解析度等於640*360且實際訊框速率等於5之第二影像串流以及第三影像串流(步驟314)。
此處需注意的是,在將編碼處理單元16之剩餘畫素編碼數量根據影像串流之優先權高低進行分配的步驟312中,編碼處理單元16係可進一步地判斷編碼處理單元16之剩餘畫素編碼數量加上第一影像串流之最低畫素編碼數量後之和值是否大於第一影像串流之預設畫素編碼數量,若編碼處理單元16判斷出上述和值大於第一影像串流之預設畫素編碼數量(此即代表在將編碼處理單元16之剩餘畫素編碼數量優先分配給已配有最低畫素編碼數量之第一影像串流後可滿足第一影像串流之預設畫素編碼需求),則編碼處理單元16係可直接將第一影像串流之預設串流參數值設定為第一影像串流之實際串流參數值,並且將編碼處理單元16之剩餘畫素編碼數量在優先分配給已配有最低畫素編碼數量之第一影像串流後所剩下之畫素編碼數量(即上述和值扣除第一影像串流之預設畫素編碼數量)再分配給已配有最低畫素編碼數量且具有次高優先權之第三影像串流,此時,若上述所剩下之畫素編碼數量仍可滿足第三影像串流之預設畫素編碼需求,則接著分配給已配有最低畫素編碼數量且具有最低優先權之第二影像串流,直到將所剩下之畫素編碼數量分配完畢或是滿足所有影像串流之預設畫素編碼數量為止,其相關分配計算過程係可參照上述說明類推,於此不再贅述。
另外,在將編碼處理單元16之剩餘畫素編碼數量根據影像串流之優先權高低進行分配的步驟312中,若是出現影像串流具有相同優先權(例如第三影像串流之優先權等於第一影像串流之優先權而高於第二影像串流之優先權)的情況,則編碼處理單元16係可將編碼處理單元16之剩餘畫素編碼數量加上第一影像串流之最低畫素編碼數量以及第三影像串流之最低畫素編碼數量之和值(即(147456000-1152000-1152000-1152000)+1152000+1152000=146304000)根據第一影像串流之預設畫素編碼數量與第三影像串流之預設畫素編碼數量之間的比例值,以比例分配(即2560*1920*30:2560*1920*10=3:1)方式,分別分配給具有相同優先權之第一影像串流以及第三影像串流,以計算出第一影像串流之實際畫素編碼數量以及第三影像串流之實際畫素編碼數量,以及將第二影像串流之最低畫素編碼數量分配給第二影像串流以計算出第二影像串流之實際畫素編碼數量,從而達到優先地將編碼處理單元16所能提供之編碼運算資源動態分配至具有高優先權之影像串流的目的。
簡言之,編碼處理單元16可根據上述計算所得之實際串流參數值產生實際視訊解析度等於2560*1920且實際訊框速率等於22.3((146304000*3/4)/(2560*1920)≒22.3)之第一影像串流、實際視訊解析度等於2560*1920且實際訊框速率等於7.4((146304000*1/4)/(2560*1920)≒7.4)之第三影像串流,以及實際視訊解析度等於640*360且實際訊框速率等於5之第二影像串流。至於針對其他衍生變化情況的相關說明,其係可參照上述實施例類推,例如當編碼處理單元16判斷上述和值大於第一影像串流之預設畫素編碼數量與第三影像串流之預設畫素編碼數量之總和(此即代表在將編碼處理單元16之剩餘畫素編碼數量優先分配給具有相同高優先權之第一影像串流以及第三影像串流後可滿足第一影像串流以及第三影像串流之預設畫素編碼需求)時,編碼處理單元16係可將編碼處理單元16之剩餘畫素編碼數量在優先分配給具有相同高優先權之第一影像串流以及第三影像串流後所剩下之畫素編碼數量,分配給已配有最低畫素編碼數量且具有次高優先權之第二影像串流,直到將所剩下之畫素編碼數量分配完畢或是滿足所有影像串流之預設畫素編碼數量為止。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
<TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 10 </td><td> 影像串流裝置 </td><td> 12 </td><td> 接收單元 </td></tr><tr><td> 14 </td><td> 優先權設定單元 </td><td> 16 </td><td> 編碼處理單元 </td></tr><tr><td> 步驟200、202、204、206 </td></tr><tr><td> 步驟300、302、304、306、308、310、312、314 </td></tr></TBODY></TABLE>
第1圖為根據本發明之一實施例所提出之影像串流裝置之功能方塊示意圖。 第2圖為根據本發明之一實施例所提出之影像串流處理方法之流程圖。 第3圖為根據本發明之另一實施例所提出之影像串流處理方法之流程圖。
Claims (12)
- 一種影像串流處理方法,其適用於一影像串流裝置,該影像串流裝置具有一編碼處理單元用以產生複數個影像串流,該影像串流處理方法包含:接收一影像資料;設定每一影像串流之一優先權;根據每一影像串流之該優先權與一預設串流參數值以及該編碼處理單元之一編碼能力,設定每一影像串流之一實際串流參數值,每一影像串流之該預設串流參數值係包含每一影像串流之一預設視訊解析度以及一預設訊框速率,該編碼處理單元之該編碼能力係為該編碼處理單元所能處理之最大視訊解析度與最大訊框速率於一預設時間區間內之乘積以產生該編碼處理單元之一最大畫素編碼數量;以及根據每一影像串流之該實際串流參數值同時對該影像資料進行編碼以產生該些影像串流。
- 如請求項1所述之影像串流處理方法,其中設定每一影像串流之該優先權包含:根據一使用者預設值、每一影像串流之一連線權限、每一影像串流之一影像使用情境,或根據每一影像串流要求之影像內容所對應之一感興趣區域(Region of Interest,ROI),設定每一影像串流之該優先權。
- 如請求項1所述之影像串流處理方法,其中根據每一影像串流之該優先權與該預設串流參數值以及該編碼處理單元之該編碼能力設定每一影像串流之該實際串流參數值包含: 計算每一影像串流之該預設視訊解析度以及該預設訊框速率於該預設時間區間內之乘積以產生每一影像串流之一預設畫素(pixel)編碼數量;計算每一影像串流之一最低視訊解析度以及一最低訊框速率於該預設時間區間內之乘積以產生每一影像串流之一最低畫素編碼數量;於判斷每一影像串流之該預設畫素編碼數量之總和大於該編碼處理單元之該編碼能力時,根據該編碼處理單元之該最大畫素編碼數量、每一影像串流於該預設時間區間內之該最低畫素編碼數量,以及每一影像串流之該優先權,計算出每一影像串流之一實際畫素編碼數量;根據每一影像串流之該實際畫素編碼數量計算並設定每一影像串流之該實際串流參數值。
- 如請求項3所述之影像串流處理方法,其中根據該編碼處理單元之該最大畫素編碼數量、每一影像串流於該預設時間區間內之該最低畫素編碼數量,以及每一影像串流之該優先權,計算出每一影像串流之該實際畫素編碼數量包含:依據每一影像串流之該最低畫素編碼數量分配該編碼處理單元之該最大畫素編碼數量,以使每一影像串流滿足該最低畫素編碼數量,並計算出該最大畫素編碼數量經分配後之一剩餘畫素編碼數量;依據每一影像串流之該優先權分配該剩餘畫素編碼數量,以優先滿足優先權較高之影像串流之該預設畫素編碼數量;以及計算每一影像串流之該最低畫素編碼數量及分配到之該剩餘畫素編碼數量之總和以產生每一影像串流之該實際畫素編碼數量。
- 如請求項4所述之影像串流處理方法,其中當該些影像串流中具有複 數個優先權相同的影像串流時,該影像串流處理方法更包含:計算該些優先權相同的影像串流之該預設畫素編碼數量之間的一比例值;以及依據該比例值分配該剩餘畫素編碼數量。
- 如請求項1所述之影像串流處理方法,其中當該些影像串流之數量、該預設串流參數值,或該優先權改變時,該影像串流處理方法更包含:重新根據每一影像串流之該優先權、該預設串流參數值,以及該編碼處理單元之該編碼能力,設定每一影像串流之該實際串流參數值。
- 一種影像串流裝置,其包含:一接收單元,用來接收一影像資料;一編碼處理單元,用以產生複數個影像串流;以及一優先權設定單元,用以設定每一影像串流之一優先權;其中,該編碼處理單元電連接於該接收單元以及該優先權設定單元,用來根據每一影像串流之該優先權與一預設串流參數值以及該編碼處理單元之一編碼能力設定每一影像串流之一實際串流參數值,以及根據每一影像串流之該實際串流參數值同時對該影像資料進行編碼以產生該些影像串流,每一影像串流之該預設串流參數值係包含每一影像串流之一預設視訊解析度以及一預設訊框速率,該編碼處理單元之該編碼能力係為該編碼處理單元所能處理之最大視訊解析度與最大訊框速率於一預設時間區間內之乘積以產生該編碼處理單元之一最大畫素編碼數量。
- 如請求項7所述之影像串流裝置,其中該優先權設定單元根據一使用 者預設值、每一影像串流之一連線權限、每一影像串流之一影像使用情境,或根據每一影像串流要求之影像內容所對應之一感興趣區域,設定每一影像串流之該優先權。
- 如請求項7所述之影像串流裝置,其中該編碼處理單元計算每一影像串流之該預設視訊解析度以及該預設訊框速率於該預設時間區間內之乘積以產生每一影像串流之一預設畫素編碼數量,並計算每一影像串流之一最低視訊解析度以及一最低訊框速率於該預設時間區間內之乘積以產生每一影像串流之一最低畫素編碼數量,當該編碼處理單元判斷每一影像串流之該預設畫素編碼數量之總和大於該編碼處理單元之該編碼能力時,該編碼處理單元根據該編碼處理單元之該最大畫素編碼數量、每一影像串流於該預設時間區間內之該最低畫素編碼數量,以及每一影像串流之該優先權計算出每一影像串流之一實際畫素編碼數量,以及根據每一影像串流之該實際畫素編碼數量計算並設定每一影像串流之該實際串流參數值。
- 如請求項9所述之影像串流裝置,其中該編碼處理單元依據每一影像串流之該最低畫素編碼數量分配該編碼處理單元之該最大畫素編碼數量,以使每一影像串流滿足該最低畫素編碼數量,並計算出該最大畫素編碼數量經分配後之一剩餘畫素編碼數量,且依據每一影像串流之該優先權分配該剩餘畫素編碼數量,以優先滿足優先權較高之影像串流之該預設畫素編碼數量,並計算每一影像串流之該最低畫素編碼數量及分配到之該剩餘畫素編碼數量之總和以產生每一影像串流之該實際畫素編碼數量。
- 如請求項10所述之影像串流裝置,其中當該些影像串流中具有複數 個優先權相同的影像串流時,該編碼處理單元計算該些優先權相同的影像串流之該預設畫素編碼數量之間的一比例值,並且依據該比例值分配該剩餘畫素編碼數量。
- 如請求項7所述之影像串流裝置,其中當該些影像串流之數量、該預設串流參數值,或該優先權改變時,該編碼處理單元重新根據每一影像串流之該優先權與該預設串流參數值以及該編碼處理單元之該編碼能力設定每一影像串流之該實際串流參數值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106105235A TWI635744B (zh) | 2017-02-17 | 2017-02-17 | 影像串流處理方法及其影像串流裝置 |
US15/896,014 US10237582B2 (en) | 2017-02-17 | 2018-02-13 | Video stream processing method and video stream device thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106105235A TWI635744B (zh) | 2017-02-17 | 2017-02-17 | 影像串流處理方法及其影像串流裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201832565A TW201832565A (zh) | 2018-09-01 |
TWI635744B true TWI635744B (zh) | 2018-09-11 |
Family
ID=63168140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106105235A TWI635744B (zh) | 2017-02-17 | 2017-02-17 | 影像串流處理方法及其影像串流裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10237582B2 (zh) |
TW (1) | TWI635744B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11425182B1 (en) * | 2020-12-30 | 2022-08-23 | Meta Platforms, Inc. | Systems and methods for dynamically encoding media streams |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201440493A (zh) * | 2013-01-15 | 2014-10-16 | Intel Corp | 用於管理視訊串流之技術 |
TW201501488A (zh) * | 2013-06-19 | 2015-01-01 | Aver Information Inc | 監控設備與攝影機的調整方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7096034B2 (en) * | 2001-10-01 | 2006-08-22 | Microsoft Corporation | System and method for reducing power consumption for wireless communications by mobile devices |
JP4806515B2 (ja) * | 2003-05-19 | 2011-11-02 | 株式会社日立製作所 | 符号化装置、これを用いたビデオカメラ装置及び符号化方法 |
US20050063314A1 (en) * | 2003-09-19 | 2005-03-24 | Zafer Sahinoglu | Method and system for content aware and energy efficient transmission of videos and images |
US10045089B2 (en) * | 2011-08-02 | 2018-08-07 | Apple Inc. | Selection of encoder and decoder for a video communications session |
JP2014236264A (ja) * | 2013-05-31 | 2014-12-15 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-02-17 TW TW106105235A patent/TWI635744B/zh active
-
2018
- 2018-02-13 US US15/896,014 patent/US10237582B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201440493A (zh) * | 2013-01-15 | 2014-10-16 | Intel Corp | 用於管理視訊串流之技術 |
TW201501488A (zh) * | 2013-06-19 | 2015-01-01 | Aver Information Inc | 監控設備與攝影機的調整方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201832565A (zh) | 2018-09-01 |
US10237582B2 (en) | 2019-03-19 |
US20180242025A1 (en) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6851678B2 (ja) | イントラフレームビットレートの割り当て方法、コンピュータ機器、及び記憶媒体 | |
US20200366920A1 (en) | Region of Interest (ROI) Request and Inquiry in a Video Chain | |
US9118808B2 (en) | Dynamic allocation of encoders | |
TWI471003B (zh) | 控制裝置、照相機、方法及電腦程式儲存裝置 | |
CA2981983A1 (en) | Method and apparatus for automatic discovery of elements in a system of encoders | |
EP3016395A1 (en) | Video encoding device and video encoding method | |
CN111988560B (zh) | 编码和通过多个网络连接流传输视频序列的方法和设备 | |
US12022096B2 (en) | Human visual system adaptive video coding | |
WO2019033877A1 (zh) | 一种视频帧编码方法、终端及存储介质 | |
US10785511B1 (en) | Catch-up pacing for video streaming | |
JP7334470B2 (ja) | 映像処理装置、ビデオ会議システム、映像処理方法、およびプログラム | |
TWI635744B (zh) | 影像串流處理方法及其影像串流裝置 | |
US9118806B2 (en) | Device and method for multistream bandwidth control in videoconferencing | |
US10848769B2 (en) | Method and system for encoding video streams | |
CN115209189B (zh) | 一种视频流传输方法、系统、服务器及存储介质 | |
US20170214970A1 (en) | Setting data rates in a video camera system | |
US20140327781A1 (en) | Method for video surveillance, a related system, a related surveillance server, and a related surveillance camera | |
KR101347871B1 (ko) | 보안 영상 표시 처리 시스템 및 그 제어방법 | |
GB2557617A (en) | Method and device for managing video streams in a video surveillance system | |
WO2012042701A1 (ja) | マルチストリーム符号化制御装置及びカメラシステム | |
JP6613720B2 (ja) | 画像処理装置、プログラム及び方法 | |
Dhodapkar | Preprocessing Logic to Enhance Videotelephony Services During Suboptimal Network Conditions | |
KR20140072668A (ko) | 네트워크 카메라 서버 및 그의 비디오 스트림 처리 방법 | |
KR102050416B1 (ko) | 네트워크 카메라 장치 및 이의 영상 스트리밍 제공 방법 | |
JP2011176454A (ja) | ネットワークカメラ装置、指定装置 |