TWI386063B - 可調性視訊編碼標準的位元流分配系統與方法 - Google Patents

可調性視訊編碼標準的位元流分配系統與方法 Download PDF

Info

Publication number
TWI386063B
TWI386063B TW097105780A TW97105780A TWI386063B TW I386063 B TWI386063 B TW I386063B TW 097105780 A TW097105780 A TW 097105780A TW 97105780 A TW97105780 A TW 97105780A TW I386063 B TWI386063 B TW I386063B
Authority
TW
Taiwan
Prior art keywords
bit stream
pictures
parameter
complexity
bit
Prior art date
Application number
TW097105780A
Other languages
English (en)
Other versions
TW200937964A (en
Inventor
Jung Yang Kao
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW097105780A priority Critical patent/TWI386063B/zh
Priority to US12/128,621 priority patent/US8249143B2/en
Publication of TW200937964A publication Critical patent/TW200937964A/zh
Application granted granted Critical
Publication of TWI386063B publication Critical patent/TWI386063B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

可調性視訊編碼標準的位元流分配系統與方法
本發明是有關於一種視訊壓縮技術,且特別是有關於一種可調性視訊編碼標準(Scalable Video Coding,SVC)的位元流分配系統與方法。
現今視訊編碼標準的發展中,可調性視訊編碼標準(Scalable Video Coding,簡稱SVC)為下一世代視訊壓縮的標準,同時也是目前第一個將SVC標準架構標準化的視訊壓縮標準。另外,視訊壓縮走向可分層調配(Scalability)將是未來的趨勢,而當未來各式視訊壓縮的標準都已具備可調性質後,就可以發現一個調配各層資料的機制將會是決定可調性視訊標準是否成功的關鍵點。
對目前的SVC標準來說,其壓縮後的位元流經過截取器(Extractor)的截取後,可以做三種性質的資料量調適,分別是畫面速率(Temporal)、畫面解析度(Spatial)、畫面品質(SNR),而且是以均勻(Uniform)方式來進行分配。也就是說,目前SVC在三種性質的位元流截取是齊頭式之刪減以達到降低資料量之目的。但此法最大之缺點即會造成影像品質不定與頻寬使用率降低。因為位元流中各畫面的複雜程度不同,而若是給予齊頭式之刪減,會使得高複雜度畫面品質降低,但低複雜度畫面無大幅增進而形同浪費資料量。
有鑑於此,請參照Amonou et al.所發表的論文:I.Amonou,N.Cammas,S.Kervadec,S.Pateux,“Optimized rate-distortion extraction with quality layers ,”in Image Processing of IEEE International Conference on,Oct.2006。Amonou et al.的方法是利用R-D最佳化(Optimization)來規劃品質層(qualityl ayer)的可調性(scalability),亦即對於位元流之訊號雜訊比(Signal-to-Noise Rate,SNR)作調整,並使用Lagranian演算法求出最佳解。也就是說,此論文可以依據頻寬與位元流中各畫面的複雜程度不同,而給於不同的頻寬對位元流中SNR特性進行截取,以讓各畫面可以達到較佳的畫面品質。
但是,此論文只有提到對於視訊位元流之品質層進行調整,而並沒有對於時間(Temporal)與空間(Spatial)進行調配,也無提到三個參數(時間、空間與訊號雜訊比)相互流用時的調配方式。
本發明提供一種可調性視訊編碼標準(Scalable Video Coding,SVC)的位元流分配系統與方法,藉此可以有效地將位元流進行動態的調整與分配,以達到頻寬最大的使用效率以及最佳的視訊傳送。
本發明提出一種可調性視訊編碼標準的位元流分配系統,其包括分配器(Adapter)與截取器(Extractor)。分配器用以接收視訊壓縮後的位元流,並依據位元流內容中位元流參數的狀態,而產生截取信號。截取器用以依據截取信號,而對位元流進行截取與分配。
本發明提出一種可調性視訊編碼標準的位元流分配方法。此位元流分配方法包括下列步驟:接收一位元流,其中此位元流具有多個畫面,且每一畫面具有至少一位元流參數。接著,依據位元流參數的狀態,分析每一畫面的複雜程度。再依據每一畫面的複雜程度,對每一畫面的資料量進行分配。
本發明藉由偵測位元流參數的狀態,並依據上述偵測結果,而分別給予各畫面不同的資料量,以讓各畫面經由解析後得以達到最佳的狀態。如此一來,可以避免某些畫面因為所給予的資料量不足,而造成畫面品質不佳或浪費資料量的問題。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下。
圖1繪示為本發明一實施例之可調性視訊編碼標準的位元流分配系統方塊圖。請參照圖1,位元流分配系統100包括分配器(Adapter)110與截取器(Extractor)130。分配器110用以接收視訊壓縮後的位元流(Bitstream),並依據位元流內容中位元流參數的狀態,而產生位元流的截取信號。截取器130用以依據上述截取信號,而對位元流進行截取與分配。
在本實施例中,上述位元流具有多個畫面,且上述多個畫面組成至少一畫面群組(Group of Picture,GOP)。另外,位元流可以包括多層的架構,例如圖2所示,也就是可以由基礎層(Base layer)BL、第一增強層(Enhancement Layer)EL1、第二增強層EL2…第n增強層ELn所組成,而n為正整數。並且,增強層的個數會依據視訊壓縮的格式而產生不同數量,而各個層(基礎層BL與增強層EL1~ELn)中會具有不同解析度或不同畫面速率或品質(SNR),也就是說,各個層中會以不同的位元流參數記載畫面的複雜程度。
一般來說,基礎層BL至少具有最低解析度或最低的畫面速率,因此,在視訊傳輸的過程中,至少要傳送位元流中的基礎層BL,以便於進行位元流解碼的動作,讓視訊畫面還原成原來的狀態。另外,當基礎層BL加上增強層時,位元流將會具有較高的解析度或較高的畫面速率。此外,若是基礎層BL加上增強層的個數越多時,則畫面品質也會隨之增加。
在本實施例中,上述截取器130所依據之位元流參數可以為量化參數(Quantification Parameter)、區塊大小(Block Size)與移動向量(Motion Vector)其中之一。其中,量化參數對應於訊號雜訊比可調性(SNR Scalable),區塊大小對應於空間可調性(Spatial Scalable),而移動向量對應於時間可調性(Temporal Scalable)。
以下,將進一步說明本實施例如何達成動態分配位元流的過程。假設位元流參數以量化參數為例。首先,當分配器110偵測出畫面(例如天空)中的量化參數值為大時,表示此畫面在編碼時已被考慮到為較單調之畫面,則對應的產生截取信號,就可以控制截取器130分配給此畫面較小的位元率,例如分配給此畫面可以解析量化參數之基礎層BL的位元率,而剩餘的位元率再分配給其他層,亦即增強層EL1~ELn,以便提供其他需要較大位元率之畫面,使得這些畫面可以達到最佳的畫面品質。
換言之,若分配器110偵測出畫面(例如人臉)中的量化參數為小時,表示此畫面在編碼時已被考慮到為較複雜之畫面,則對應的產生截取信號,就可以控制截取器130分配給此畫面較大的位元率,不足的位元率可以從其他層截取。也就是說,此畫面所除了需要可以解析量化參數之基礎層BL的位元率,還需要加上可以解析增強層EL1~ELn的位元率。
另外,若是位元流參數以區塊大小為例。而當分配器110偵測出畫面(例如天空)中的區塊大小為大時,表示此畫面在編碼時已被考慮到為解析度較低之畫面,則對應的產生截取信號,就可以控制截取器130分配給此畫面較小的位元率,例如分配給此畫面可以解析基礎層BL的位元率,而剩餘的位元率再分配給其他層,亦即增強層EL1~ELn,以便提供其他需要較大位元率之畫面,使得這些畫面可以達到最佳的畫面品質。
若分配器110偵測出畫面(例如人臉)中的區塊大小為小時,表示此畫面在編碼時已被考慮到為解析度較高之畫面,則對應的產生截取信號,就可以控制截取器130分配給此畫面較大的位元率,不足的位元率則從其他層截取。也就是說,此畫面所除了需要可以解析區塊大小之基礎層BL的位元率,還需要加上可以解析基礎層外之增強層EL1~ELn的位元率。
此外,若是位元流參數以移動向量為例。而分配器110偵測出畫面(例如新聞)中的移動向量為小時,表示此畫面在編碼時已被考慮到為移動度較低之畫面(低頻影像),亦即畫面的移動率較低,則對應的產生截取信號,就可以控制截取器130分配給此畫面較小的位元率,例如給予此畫面可以解析移動向量之基礎層BL的位元率,而剩餘的位元率再分配給其他層,亦即增強層EL1~ELn,以便提供其他需要較大位元率之畫面,使得這些畫面可以達到最佳的畫面品質。
若分配器110偵測出畫面(例如美式足球畫面)中的移動向量為大時,表示此畫面在編碼時已被考慮到為移動度較高之畫面(高頻影像),亦即畫面的移動率較高,則對應的產生截取信號,就可以控制截取器130分配給此畫面較大的位元率,不足的部份則從其他層截取。也就是說,此畫面除了需要可以解析移動向量之基礎層BL的位元率,還需要加上可以解析基礎層BL外之增強層EL1~ELn的位元率。
藉由上述實施例的說明,可以歸納出一種位元流分配方法的操作流程。圖3繪示為本發明一實施例可調性視訊編碼標準的位元流分配方法流程圖。請參照圖3,首先,在步驟S302中,接收一位元流,其中位元流具有多個畫面,且每一畫面具有至少一位元流參數。接著,在步驟S304中,依據位元流參數的狀態,分析每一畫面的複雜程度(例如示畫面中位元流參數所佔的比例)。最後,於步驟S306中,依據上述每一畫面的複雜程度,對每一畫面的資料量進行分配。也就是說,當分析出畫面的的複雜程度較為簡單時,則提供此畫面較小的資料量(位元率),以便讓多餘的資料量給予較複雜的畫面進行解析;若是分析出畫面的複雜程度較為複雜時,則提供此畫面較大的資料量(位元率),以便增加畫面品質。如此一來,在有限的頻寬之下,本實施例確實可以使畫面達到較佳的畫面品質。
以下,將舉一例來說明本實施例之位元流分配技術。在說明本實施例之前,假設位元流中的影像群組(Group of Picture,簡稱GOP)為基本單位,且GOP的個數以4個為例,且分別以GOP1~GOP4表示之,但不限制其範圍。另外,位元流參數以移動向量(簡稱MV)為例來說明,並且假設位元流的總位元率(頻寬)例如為500Kbps。
接著,分別統計GOP1~GOP4中的MV數量以及大小範圍,並且以MV是否大於10pixel作為統計的依據。而統計結果如下所示:GOP1:MV1>10pixel佔了80%,亦即GOP1中所有畫面的MV大於10pixel佔了整體GOP1的80%。
GOP2:MV2>10pixel佔了40%,亦即GOP2中所有畫面的MV大於10pixel佔了整體GOP2的40%。
GOP3:MV3>10pixel佔了10%,亦即GOP3中所有畫面的MV大於10pixel佔了整體GOP3的10%。
GOP4:MV4>10pixel佔了70%,亦即GOP4中所有畫面的MV大於10pixel佔了整體GOP4的70%。
在統計結果完成後,再利用本發明提出的演算法,亦即每一畫面的位元率=(每一畫面中移動向量所佔的比例/每一畫面中移動向量所佔的比例的總合)*(位元流的頻寬),且其數學式如下所述:
其中,k為GOP總數。接著,計算GOP1~GOP所需要的位元率,而計算結果如下所述: 由上述結果可以發現,GOP1所分配到的位元率為200Kbs、GOP2所分配到的位元率為100Kbs、GOP3所分配到的位元率為25Kbs、GOP4所分配到的位元率為175Kbs。如此一來,本發明之位元流分配系統100確實可以依據GOP1~GOP4內位元流參數MV的狀態,而給於不同的位元率,以使得各畫面在有限的頻寬下,可以調配出較好的畫面品質,而不會再因為各畫面都給於相同的資料量(頻寬)下,使得某一些畫面的品質下降。
另外,位元流參數若為量化參數(簡稱QP)或區塊大小(簡稱BS)為判斷依據時,則可以參照上述的說明,即可推得,故在此不再贅述。而量化參數(QP)的演算法為每一畫面的位元率=(每一畫面中量化參數所佔的比例/每一畫面中量化參數所佔的比例的總合)*(位元流的頻寬),且其數學式如下:,其中,k為GOP總數。區塊大小(BS)的演算法為每一畫面的位元率=(每一畫面中區塊大小所佔的比例/每一畫面中區塊大小所佔的比例的總合)*(位元流的頻寬),且其數學式如下:,其中,k為GOP總數。
而上述的說明中,分別以偵測單一位元流參數的狀態為例,對位元流中的各畫面群組(各畫面)進行資料量(位元率)的分配與截取。但本發明不限於此,亦可同時依據2個或2個以上的位元流參數,以對位元流中各個畫面的資料量進行分配。以下,將另舉一例來說明。
在本實施例中,使用者可視需求自行決定位元流參數的先後順序,亦即調整位元流之資料量的依據。在本實施例中,假設位元流參數的判斷順序為動向量(簡稱MV)、量化參數(簡稱QP),但不限制其範圍。並且,而GOP的個數和位元流的總位元率也假設與上述實施例相同,因此,會得到GOP1所分配到的位元率為200Kbs、GOP2所分配到的位元率為100Kbs、GOP3所分配到的位元率為25Kbs、GOP4所分配到的位元率為175Kbs。
而為了方便說明,在此以GOP1為例,並且GOP1中具有8個畫面,且分別以PIC1~PIC8表示之。在本實施例中,QP的範圍為0~56,且以QP<28作為判斷各畫面之間QP佔有率的依據。因此,分別對於畫面PIC 1~PIC 8進行統計,且統計結果如下所述:PIC1:QP1<28佔了50% PIC2:QP2<28佔了80% PIC3:QP3<28佔了60% PIC4:QP4<28佔了70% PIC5:QP5<28佔了50% PIC6:QP6<28佔了40% PIC7:QP7<28佔了40% PIC8:QP8<28佔了60%
在統計結果完成後,再利用本發明提出的演算法,如下所示:
其中,k為PIC總數。接著,計算PIC1~PIC 8所需要的位元率,而計算結果如下所述: 由上述結果可以發現,PIC1所分配到的位元率為22Kbs、PIC2所分配到的位元率為35Kbs。如此一來,本實施例確實可以依據位元流中位元流參數QP的狀態,而給於不同的位元率,以使得各畫面在有限的頻寬下,可以達成較佳的畫面品質。而不會因為各畫面都給於相同的資料量(頻寬)下,使得某一些畫面的品質下降。
另外,在本實施例中,若偵測出畫面中MV>10pixel比例太低,則只送MV的基礎層BL,其餘位元率(Bit-Rate)流用到後一層。也就是說,多餘的位元率則用來加強QP的增強層。
藉由上述的說明,可以歸納出另一種位元流分配方法的操作流程。圖4繪示為本發明另一實施例之可調性視訊編碼標準的位元流分配方法流程圖。請參照圖4,首先,在步驟S402中,接收一位元流,其中位元流具有多個畫面,且每一畫面具有多個位元流參數。接著,在步驟S404中,依據每一位元流參數的狀態,分析每一畫面的複雜程度(例如各畫面中之位元流參數所佔的比例)。
在步驟S406中,判斷所有畫面的複雜程度是否小於一特定比例。在本實施例中,特定比例可以由使用者自行定義,且例如為10%,以作為是否只傳送位元流參數的基礎層之位元流的依據。
若所有畫面的複雜程度小於特定比例,則如步驟S408所述,扣除每一畫面中之位元流參數的基礎層之位元率,以便將多餘的位元率流用至第二層,亦即加強第二位元流參數的增強層。
接著,在步驟S410中,依據第二位元流參數,以分析每一畫面的複雜程度。之後,在步驟S412中,判斷每一畫面的複雜程度是否小於特定比例,例如10%,以作為是否只傳送第二位元流參數的基礎層之位元流的依據。
若是所有畫面的複雜程度小於特定比例時,則如步驟S414所述,扣除每一畫面之第二位元流參數的一基礎層的位元率,並將多餘的位元率流用至第一層,亦即加強位元流參數的增強層。
換言之,若是所有畫面的複雜程度沒有小於特定比例,則進入步驟S416,也就是依據每一畫面的複雜程度,對每一畫面的頻寬進行分配。
另外,承接上述步驟S406,若是所有畫面的複雜程度沒有小於特定比例時,則直接進入步驟S410,以便利用第二位元流參數,對每一畫面的複雜程度進行分析。
在本實施例中,位元流參數與第二位元流參數可以分別為移動向量、量化參數與區塊大小其中之一。不過,位元流參數與第二位元流參數各自不相同。也就是說,當位元流參數選用移動向量時,則第二位元流參數則只能選用量化參數與區塊大小其中之一。而其餘的變化方式可以如上之說明推得,故不再贅述。
此外,本發明亦可同時使用3個位元流參數進行位元流的資料量分配。以下,將再舉一例來說明。
在本實施例中,使用者亦可視需求自行決定位元流參數的先後順序,亦即調整位元流之資料量的依據。為了方便說明,位元流參數的判斷順序為動向量(簡稱MV)、量化參數(簡稱QP)與區塊大小(簡稱BS),但不限制其範圍,並且以PIC1為例進行說明。也就是說,對PIC1進行BS的統計,而在統計的過程中是以4*4、8*8、16*16的區塊大小作為BS佔有率的依據。因此,PIC1中BS的統計結果如下:BS=16*16佔了80% BS=8*8佔了15% BS=4*4佔了5%
由於PIC1中,BS=4*4只佔了5%,表示PIC1複雜度低,因此只送PIC1之BS的基礎層(spatial base layer)位元率,例如為12K。另外,剩餘的位元率(亦即22K-12K=10K),則全部流用至第一層,以加強MV的增強層。
此外,在本實施例中,若MV>10fps比例太低,則只送MV的基礎層BL,其餘位元率(bit-rate)流用到後兩層,以便加強QP與BS的增強層。而若QP<28比例太低,則只送QP的基礎層BL,其餘bit-rate全部流用到後一層,以便加強BS的基礎層。如此一來,藉由位元率流用的方式,使得各畫面之間可以調整到較佳的畫面品質。
藉由上述之說明,可以再歸納出一種位元流分配方法的流程圖。圖5繪示為本發明又一實施例之可調性視訊編碼標準的位元流分配方法流程圖。請參照圖5,首先,在步驟S502中,接收一位元流,其中位元流具有多個畫面,且每一畫面具有多個位元流參數。接著,在步驟S504中,依據每一位元流參數的狀態,分析每一畫面的複雜程度(例如各畫面中之位元流參數所佔的比例)。
在步驟S506中,判斷所有畫面的複雜程度是否小於一特定比例。在本實施例中,特定比例可以由使用者自行定義,且例如為10%,以作為是否只傳送位元流參數的基礎層之位元流的依據。
若所有畫面的複雜程度小於特定比例,則如步驟S508所述,扣除每一畫面中之位元流參數的一基礎層之位元率,以便於將多餘的位元率流用至後兩層,亦即可以加強第二位元流參數與第三位元流參數的增強層。
接著,在步驟S510中,依據第二位元流參數,以分析每一畫面的複雜程度。當分析完每一畫面的複雜程度後,則進入步驟S512,判斷所有畫面的複雜程度是否小於特定比例,例如10%,以便作為是否只傳送第二位元流參數的基礎層之位元流的依據。
若是所有畫面的複雜程度小於特定比例,則如步驟S514所述,扣除每一畫面中之第二位元流參數的一基礎層之位元率,以便於將多餘的位元率流用至下一層,亦即加強第三位元流參數的增強層。
接著,在步驟S516中,依據第三位元流參數,以分析每一畫面的複雜程度。在分析完每一畫面的複雜程度之後,則進入步驟S518,判斷所有畫面的複雜程度是否小於特定比例,例如10%,以便作為是否只傳送第三位元流參數的基礎層之位元流的依據。
若是所有畫面的複雜程度小於特定比例,則如步驟S520所述,扣除每一畫面中之第三位元流參數的一基礎層之位元率,並且將多餘的位元率流用到每一畫面之位元流參數的加強層。
換言之,若是所有畫面的複雜程度沒有小於特定比例,則如步驟S522所述,依據每一畫面的複雜程度,對每一畫面的頻寬進行分配。
另外,承接上述步驟S506,若是所有畫面的複雜程度沒有小於特定比例時,則直接進入步驟S510,以便利用第二位元流參數,對每一畫面的複雜程度進行分析。此外,承接上述步驟S512,若是所有畫面的複雜程度沒有小於特定比例時,則直接進入步驟S516,以便利用第三位元流參數,對每一畫面的複雜程度進行分析。
在本實施例中,位元流參數、第二位元流參數與第三位元流參數可以分別為移動向量、量化參數與區塊大小其中之一。不過,位元流參數、第二位元流參數與第三位元流參數各自不相同。也就是說,當位元流參數選用移動向量時,而第二位元流參數選用量化參數,則第三位元流參數只能選用位元流參數與第二位元流參數未使用的參數,以及區塊大小。而其餘的選取方式,可以由使用者視需求自行變換,故在此不再贅述。
以下說明本實施例的實驗結果。本實施例的實驗環境為H.264/SVC解碼端,測試CIF格式的位元流,且比較國際標準組織(ISO:International Standards Organization)的參考碼JSVM與本實施例的方法,以評估JVSM之平均(uniform)分配頻寬的結果與本實施例之動態分配頻寬的結果。實驗結果如以下的表1與表2。從下列表格可看出,本實施例和習知的JSVM相比,確實可以有效提升畫面的品質。
綜上所述,本發明藉由偵測位元流參數的狀態,並依據上述偵測結果,而分別給予各畫面不同的資料量,以讓各畫面得以達到最佳的狀態。如此一來,可以避免某些畫面因為所給予的資料量不足,而造成畫面品質較差的問題。另外,藉由位元流參數的狀態,來對各畫面的資料量進行動態的調配,使得各畫面可以得到所需之資料解析的頻寬,因此,本發明亦可以達到頻寬的最大使用效率。
雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...位元流分配系統
110...分配器
130...截取器
BL...基礎層
EL1~ELn...增強層
S302~S306...本發明一實施例之位元流分配方法的各步驟
S402~S416...本發明另一實施例之位元流分配方法的各步驟
S502~S522...本發明又一實施例之位元流分配方法的各步驟
圖1繪示為本發明一實施例之可調性視訊編碼標準的位元流分配系統方塊圖。
圖2繪示為本發明一實施例之位元流中具有多層架構的示意圖。
圖3繪示為本發明一實施例之位元流分配方法的流程圖。
圖4繪示為本發明另一實施例之位元流分配方法的流程圖。
圖5繪示為本發明又一實施例之位元流分配方法的流程圖。
100...位元流分配系統
110...分配器
130...截取器

Claims (14)

  1. 一種可調性視訊編碼標準的位元流分配系統,包括:一分配器,用以接收一視訊壓縮後的一位元流,並依據該位元流內容中至少一位元流參數的狀態,而產生該位元流的一截取信號,其中該些位元流參數為一量化參數、一區塊大小與一移動向量其中之一或其組合者;以及一截取器,用以依據該截取信號,而對該位元流進行截取與分配,其中該位元流具有多層的架構,而該位元流參數為量化參數,且該分配器偵測出位元流中之量化參數值為大時,則分配給一畫面群組較小的位元率,而剩餘的位元率再分配給其他層;若分配器偵測出位元流中之量化參數為小時,則分配給該畫面群組較大的位元率,不足的位元率從其他層截取。
  2. 一種可調性視訊編碼標準的位元流分配系統,包括:一分配器,用以接收一視訊壓縮後的一位元流,並依據該位元流內容中至少一位元流參數的狀態,而產生該位元流的一截取信號,其中該些位元流參數為一量化參數、一區塊大小與一移動向量其中之一或其組合者;以及一截取器,用以依據該截取信號,而對該位元流進行截取與分配,其中該位元流具有多層的架構,而該位元流參數為區塊大小,且當該分配器偵測出該位元流中之區塊大小為大時,則分配給一畫面群組較小的位元率,而剩餘的位元率再分配給其他層;若分配器偵測出位元流中之區 塊大小為小時,則分配給於該畫面群組較大的位元率,不足的位元率從其他層截取。
  3. 一種可調性視訊編碼標準的位元流分配系統,包括:一分配器,用以接收一視訊壓縮後的一位元流,並依據該位元流內容中至少一位元流參數的狀態,而產生該位元流的一截取信號,其中該些位元流參數為一量化參數、一區塊大小與一移動向量其中之一或其組合者;以及一截取器,用以依據該截取信號,而對該位元流進行截取與分配,其中該位元流具有多層的架構,而該位元流參數為移動向量,且該分配器偵測出該位元流中之移動向量為小時,則分配給於一畫面群組較小的位元率,而剩餘的位元率再分配給其他層;若分配器偵測出該位元流中之移動向量為大時,則分配給該畫面群組較大的位元率,不足的位元率從其他層截取。
  4. 一種可調性視訊編碼標準的位元流分配方法,包括下列步驟:接收一位元流,其中該位元流具有多個畫面,且每一該些畫面具有一位元流參數,其中該位元流參數為移動向量、量化參數與區塊大小其中之一;依據該位元流參數的狀態,分析每一該些畫面的複雜程度;以及依據每一該些畫面的複雜程度,對每一該些畫面的一資料量進行分配,其中若該位元流參數為移動向量時,則分析每一該些畫面的該複雜程度包括一第一演算法,而該 第一演算法為每一該些畫面的位元率=(每一該些畫面中移動向量所佔的比例/每一該些畫面中移動向量所佔的比例的總合) (位元流的頻寬)。
  5. 一種可調性視訊編碼標準的位元流分配方法,包括下列步驟:接收一位元流,其中該位元流具有多個畫面,且每一該些畫面具有一位元流參數,其中該位元流參數為移動向量、量化參數與區塊大小其中之一;依據該位元流參數的狀態,分析每一該些畫面的複雜程度;以及依據每一該些畫面的複雜程度,對每一該些畫面的一資料量進行分配,其中若該位元流參數為量化參數時,分析每一該些畫面的該複雜程度包括一第二演算法,而該第二演算法為每一該些畫面的位元率=(每一該些畫面中量化參數所佔的比例/每一該些畫面中量化參數所佔的比例的總合) (位元流的頻寬)。
  6. 一種可調性視訊編碼標準的位元流分配方法,包括下列步驟:接收一位元流,其中該位元流具有多個畫面,且每一該些畫面具有一位元流參數,其中該位元流參數為移動向量、量化參數與區塊大小其中之一;依據該位元流參數的狀態,分析每一該些畫面的複雜程度;以及依據每一該些畫面的複雜程度,對每一該些畫面的一資料量進行分配,其中若該位元流參數為區塊大小時,則 分析每一該些畫面的該複雜程度包括一第三演算法,而該第三演算法為每一該些畫面的位元率=(每一該些畫面中區塊大小所佔的比例/每一該些畫面中區塊大小所佔的比例的總合) (位元流的頻寬)。
  7. 如申請專利範圍第4~6項任一項所述之可調性視訊編碼標準的位元流分配方法,其中每一該些畫面更具有一第二位元流參數,而在分析每一該些畫面的該複雜程度的步驟之後更包括:判斷該些畫面的複雜程度是否小於一特定比例;若該些畫面的複雜程度小於該特定比例,扣除每一該些畫面中之該位元流參數的一基礎層之位元率;以及依據該第二位元流參數,以分析每一該些畫面的複雜程度。
  8. 如申請專利範圍第7項所述之可調性視訊編碼標準的位元流分配方法,其中在判斷該些畫面的複雜程度是否小於該特定比例的步驟更包括:若該些畫面的複雜程度沒有小於該特定比例,則直接進入依據該第二位元流參數,以分析每一該些畫面的複雜程度的步驟。
  9. 如申請專利範圍第7項所述之可調性視訊編碼標準的位元流分配方法,其中在依據該第二位元流參數,以分析每一該些畫面的複雜程度的步驟之後更包括:判斷該些畫面的複雜程度是否小於該特定比例;若該些畫面的複雜程度小於該特定比例時,則扣除每一該些畫面中之第二位元流參數的一基礎層之位元率,並 將多餘的位元率流用到每一該些畫面中之位元流參數的增強層;以及若該些畫面的複雜程度沒有小於該特定比例,則直接進入依據每一該些畫面的複雜程度,對每一該些畫面的一資料量進行分配的步驟。
  10. 如申請專利範圍第7項所述之可調性視訊編碼標準的位元流分配方法,其中該位元流參數與該第二位元流參數分別為移動向量、量化參數與區塊大小其中之一,而該位元流參數與該第二位元流參數各自不相同。
  11. 如申請專利範圍第7項所述之可調性視訊編碼標準的位元流分配方法,其中每一該些畫面更具有一第三位元流參數,而在分析每一該些畫面的該複雜程度的步驟之後更包括:判斷該些畫面的複雜程度是否小於一特定比例;若該些畫面的複雜程度小於該特定比例,扣除每一該些畫面中之該第二位元流參數的一基礎層之位元率;以及依據該第三位元流參數,以分析每一該些畫面的複雜程度。
  12. 如申請專利範圍第11項所述之可調性視訊編碼標準的位元流分配方法,其中在判斷該些畫面的複雜程度是否小於該特定比例的步驟更包括:若該些畫面的複雜程度沒有小於該特定比例,則直接進入依據該第三位元流參數,以分析每一該些畫面的複雜程度的步驟。
  13. 如申請專利範圍第11項所述之可調性視訊編碼標準的位元流分配方法,其中在依據該第三位元流參數,以分析每一該些畫面的複雜程度的步驟之後更包括:判斷該些畫面的複雜程度是否小於該特定比例;若該些畫面的複雜程度小於該特定比例時,則扣除每一該些畫面中之第三位元流參數的一基礎層之位元率,並將多餘的位元率流用到每一該些畫面中之位元流參數的增強層;以及若該些畫面的複雜程度沒有小於該特定比例,則直接進入依據每一該些畫面的複雜程度,對每一該些畫面的該資料量進行分配的步驟。
  14. 如申請專利範圍第11項所述之可調性視訊編碼標準的位元流分配方法,其中該位元流參數、該第二位元流參數與該第三位元流參數分別為移動向量、量化參數與區塊大小其中之一,而該位元流參數、該第二位元流參數與該第三位元流參數各自不相同。
TW097105780A 2008-02-19 2008-02-19 可調性視訊編碼標準的位元流分配系統與方法 TWI386063B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097105780A TWI386063B (zh) 2008-02-19 2008-02-19 可調性視訊編碼標準的位元流分配系統與方法
US12/128,621 US8249143B2 (en) 2008-02-19 2008-05-29 System and method for allocating bitstream of scalable video coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097105780A TWI386063B (zh) 2008-02-19 2008-02-19 可調性視訊編碼標準的位元流分配系統與方法

Publications (2)

Publication Number Publication Date
TW200937964A TW200937964A (en) 2009-09-01
TWI386063B true TWI386063B (zh) 2013-02-11

Family

ID=40955084

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097105780A TWI386063B (zh) 2008-02-19 2008-02-19 可調性視訊編碼標準的位元流分配系統與方法

Country Status (2)

Country Link
US (1) US8249143B2 (zh)
TW (1) TWI386063B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10034013B2 (en) 2012-12-05 2018-07-24 Intel Corporation Recovering motion vectors from lost spatial scalability layers
US20150215621A1 (en) * 2014-01-30 2015-07-30 Qualcomm Incorporated Rate control using complexity in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195977A1 (en) * 2002-04-11 2003-10-16 Tianming Liu Streaming methods and systems
US20060013309A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
TW200706006A (en) * 2005-03-10 2007-02-01 Qualcomm Inc Scalable video coding with two layer encoding and single layer decoding
US20070086515A1 (en) * 2003-12-09 2007-04-19 Koninkiljke Phillips Electronics N.V. Spatial and snr scalable video coding
TW200737982A (en) * 2006-01-10 2007-10-01 Nokia Corp Switched filter up-sampling mechanism for scalable video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1245841C (zh) 2003-08-08 2006-03-15 矽统科技股份有限公司 固定影像品质的视频压缩位率控制装置
CN100425077C (zh) 2006-08-07 2008-10-08 浙江大学 采用帧目标比特数不平均分配的视频压缩码率控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030195977A1 (en) * 2002-04-11 2003-10-16 Tianming Liu Streaming methods and systems
US20070086515A1 (en) * 2003-12-09 2007-04-19 Koninkiljke Phillips Electronics N.V. Spatial and snr scalable video coding
US20060013309A1 (en) * 2004-07-15 2006-01-19 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
TW200706006A (en) * 2005-03-10 2007-02-01 Qualcomm Inc Scalable video coding with two layer encoding and single layer decoding
TW200737982A (en) * 2006-01-10 2007-10-01 Nokia Corp Switched filter up-sampling mechanism for scalable video coding

Also Published As

Publication number Publication date
US20090207916A1 (en) 2009-08-20
US8249143B2 (en) 2012-08-21
TW200937964A (en) 2009-09-01

Similar Documents

Publication Publication Date Title
EP1249131B1 (en) Video compression for multicast environments using spatial scalability and simulcast coding
US9037743B2 (en) Methods and apparatus for providing a presentation quality signal
Wang et al. Modeling rate and perceptual quality of scalable video as functions of quantization and frame rate and its application in scalable video adaptation
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
JP7359926B2 (ja) ビットストリームマージ
CN1756359A (zh) 速率自适应视频编码
McDonagh et al. Quality-oriented scalable video delivery using H. 264 SVC on an LTE network
Qian et al. A QoE-driven encoder adaptation scheme for multi-user video streaming in wireless networks
TWI386063B (zh) 可調性視訊編碼標準的位元流分配系統與方法
Dissanayake et al. Error resilience technique for multi-view coding using redundant disparity vectors
CN101534437B (zh) 可调性视频编码标准的比特流分配系统与方法
CN101783935B (zh) 可调性视频编码标准的比特流封装方法
Ma Modeling of power, rate and perceptual quality of scalable video and its applications
Pliakas et al. Scalable Video Streaming Traffic Delivery in IP/UMTS Networking Environments.
Javadtalab et al. On the suitability of current x264 rate controller algorithms for high definition video conferencing
Sanz-Rodríguez et al. A parallel H. 264/SVC encoder for high definition video conferencing
Zheng et al. Computation controllable mode decision and motion estimation for scalable video coding
Zhang et al. Perception-based adaptive quantization for transform-domain Wyner-Ziv video coding
Seeling et al. Offset Trace-Based Video Quality Evaluation after Network Transport.
Menkovski et al. Qoe for mobile streaming
Pan et al. A quality-of-experience video adaptor for serving scalable video applications
JP6231046B2 (ja) 動画データ配信管理装置、動画データ配信管理方法、プログラム
Corrales-Garcia et al. Scalable mobile-to-mobile video communications based on an improved WZ-to-SVC transcoder
Dissanayake Bandwidth efficient error reselience technique for enhancement layers of the scalable extension of H. 264/AVC
Ahmad et al. Open source wavelet based video conferencing system using SIP