TW201909630A - 視訊編碼裝置及相應地視訊編碼方法 - Google Patents

視訊編碼裝置及相應地視訊編碼方法 Download PDF

Info

Publication number
TW201909630A
TW201909630A TW107102279A TW107102279A TW201909630A TW 201909630 A TW201909630 A TW 201909630A TW 107102279 A TW107102279 A TW 107102279A TW 107102279 A TW107102279 A TW 107102279A TW 201909630 A TW201909630 A TW 201909630A
Authority
TW
Taiwan
Prior art keywords
video
encoding
compressed
encoder
sequence
Prior art date
Application number
TW107102279A
Other languages
English (en)
Inventor
陳聯霏
吳東興
陳立恆
周漢良
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201909630A publication Critical patent/TW201909630A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種視訊編碼裝置及相應地視訊編碼方法。視訊編碼裝置包括視訊編碼器，將視訊序列編碼成壓縮視訊位元流；發送器，經由通信鏈路發送壓縮視訊位元流；以及控制電路，用於根據通信鏈路的至少一個傳輸狀態自適應調整視訊編碼器的編碼行爲。本發明的視訊編碼裝置及相應地視訊編碼方法可解決視訊重放品質劣化問題。

Description

視訊編碼裝置及相應地視訊編碼方法
本發明涉及編碼視訊序列，並且更具體地涉及具有根據至少通信鏈路的傳輸狀態自適應地控制的視訊編碼器的視訊編碼裝置和相關聯的視訊編碼方法。
通常，WiFi（無線保真）網路根據其配置支持某些最大連接速度（資料速率）。但是，最高速度可以隨時間自動改變。這種行爲稱爲動態速率縮放（dynamic rate scaling），即Wi-Fi網路的設計特徵。其速度是根據連接當前的信號品質來計算的，以保持無線設備之間的可靠通信鏈路。這擴大了無線設備可以相互連接的範圍，換來了較長距離或干擾條件下較低的網路性能。然而，由於無線網路帶寬隨時間的變化，第一無線設備的大資料塊可能無法在低無線網路帶寬下及時完全傳輸到第二無線設備。當第一無線設備是視訊源並且第二無線設備是視訊回放設備時，在這種情況下視訊回放品質下降。
有鑒於此，本發明特提供以下技術方案：
本發明實施例提供一種視訊編碼裝置，包括視訊編碼器，將視訊序列編碼成壓縮視訊位元流；發送器，經由通信鏈路發送壓縮視訊位元流；以及控制電路，用於根據通信鏈路的至少一個傳輸狀態自適應調整視訊編碼器的編碼行爲。
本發明實施例又提供一種視訊編碼方法，包括根據通信鏈路的至少一個傳輸狀態自適應地調整視訊編碼操作的編碼行爲；執行視訊編碼操作以將視訊序列編碼爲壓縮視訊位元流；以及經由通信鏈路傳輸壓縮視訊位元流。
以上的視訊編碼裝置及相應地視訊編碼方法可解決視訊重放品質劣化問題。
本說明書及申請專利範圍通篇中所用之某些用語指代特定部件。如該領域之習知技藝者可以理解的是，電子設備製造商可利用不同名稱來指代同一個部件。本文並非以名稱來區分部件，而是以功能來區分部件。在以下說明書及申請專利範圍中，用語“包括”是開放式之限定詞語，因此其應被解釋爲意指“包括但不限於…”。另外，用語“耦合”旨在意指間接電連接或直接電連接。因此，當一個裝置耦合到另一裝置時，則這種連接可以是直接電連接或通過其他裝置及連接部而實現之間接電連接。
第1圖是示出根據本發明實施例的第一視訊編碼裝置的圖。視訊編碼裝置100包括視訊編碼器102、流緩衝器104、發送器106和控制電路108。例如，視訊編碼裝置100可以是需要經由通信鏈路101提供壓縮視訊資料（即，編碼的視訊資料）到客戶端110的電子設備的一部分。在一個示例性設計中，通信鏈路101可以是支持可變帶寬的無線鏈路，諸如具有動態速率縮放的WiFi網路。在另一個示例性設計中，通信鏈路101可以是支持可變帶寬的有綫鏈路。簡言之，本發明對通信鏈路101的類型沒有限制。使用所提出的視訊編碼器控制方案的任何電子設備都落入本發明的範圍內。
在第1圖中，資料路徑由實綫表示，而控制路徑由虛綫表示。例如，一個控制信號可以通過控制電路108和視訊編碼器102之間的控制路徑傳送，一個資料信號可以通過控制電路108和視訊編碼器102之間的資料路徑傳送，一個資料信號可以通過控制電路108和流緩衝器104之間的資料路徑傳送，並且一個資料信號可以經由控制電路108和傳送器106之間的資料路徑傳送。
視訊編碼器102用於執行將視訊序列VS_IN編碼成壓縮視訊位元流BS的視訊編碼操作。例如，視訊序列VS_IN可以從諸如數碼相機的圖像捕獲設備提供。視訊編碼器102可採用任何編解碼標準來實施視訊編碼操作。採用的編解碼標準可以採用基於塊的編碼技術來利用空間和時間冗餘。例如，一種基本方法是將視訊幀分成多個塊，對每個塊執行幀內預測/幀間預測，對每個塊的殘差進行變換，並執行量化、掃描和熵編碼。此外，在編碼循環中生成重構幀以提供用於編解碼後續塊的參考像素資料。對於某些視訊編解碼標準，可以使用一個或多個環路濾波器來增強重建幀的圖像品質。由於本發明不關注於視訊編碼器102的內部架構，爲簡潔起見，此處不再贅述。
流緩衝器104耦合於視訊編碼器102與發送器106之間。因此，流緩衝器104用以接收從視訊編碼器102産生的壓縮視訊位元流BS的資料，並將經壓縮的視訊位元流BS的緩衝資料提供給發送器106進行資料傳輸。流緩衝器104可以使用內部存儲設備、外部存儲設備或者內部存儲設備和外部存儲設備的組合來實現。例如，內部存儲設備可以是靜態隨機存取記憶體（SRAM）或可以是正反器；並且外部存儲設備可以是動態隨機存取記憶體（DRAM）或者可以是快閃。然而，這些僅用於說明的目的，並不意味著對本發明的限制。
發送器106用於經由通信鏈路101發送壓縮視訊位元流BS（具體地，從流緩衝器105讀取的壓縮視訊位元流BS的緩衝資料）。例如，發送器106將壓縮視訊位元流BS的資料轉換成分組，並且經由通信鏈路101發送分組。在通信鏈路101是無線鏈路的情況下，使用無線發送器來實現發送器106。在通信鏈路101是有綫鏈路的另一情況下，發送器106使用有綫發送器來實現。
在該實施例中，通信鏈路101支持可變帶寬（例如，WiFi動態速率縮放）。本發明提出使用控制電路108自適應地調整視訊編碼器102的編碼行爲以解決由通信鏈路101的可變帶寬引起的視訊重放品質劣化問題。例如，響應於通信鏈路101的帶寬變化，自適應地調整視訊編碼器102以産生可變位元率的編碼視訊資料。
視訊編碼裝置100的發送器106被配置爲採用每個時隙內的通信鏈路106的連接速度（資料速率）來進行資料傳輸。換句話說，發送器106可以在不同的時間戳處具有不同的設置，以分別在不同的時隙內以不同的連接速度（資料速率）發送壓縮的視訊資料（即，編碼的視訊資料）。因此，發送器106具有通信鏈路106的傳輸狀態的資訊（例如，通信鏈路106的鏈路容量/帶寬）。控制電路108可通過主動請求發送器106以獲得資訊INF1或被動地被通知從發送器106提供的資訊INF1來獲得流緩衝器104的傳輸狀態，其中資訊INF1表示通信鏈路106的傳輸狀態。
控制電路108還可以通過主動監視視訊編碼器102的視訊編碼操作來獲得視訊編碼器102的編碼狀態（例如，從視訊編碼器102産生到視訊緩衝器104的壓縮視訊位元流BS的一部分的大小）以獲得資訊INF2或被動地被通知從視訊編碼器102提供的資訊INF2，其中資訊INF2指示視訊編碼器102的編碼狀態（例如，由視訊編碼器102産生的壓縮視訊位元流BS的一部分的大小）。在該實施例中，視訊序列VS_IN可以包括多個視訊幀，每個視訊幀可以包括多個編碼單元（CU），並且每個CU可以包括多個像素。壓縮視訊位元流BS的前述部分可以是視訊序列VS_IN的一個完整視訊幀的壓縮位元流或一個視訊序列VS_IN的部分視訊幀的壓縮位元流（例如，一個視訊幀中的切片或一個視訊幀中的一些CU）。應該注意的是，資訊INF2可以是可選的，這取決於實際的設計考慮。
控制電路108還可以通過主動地監視流緩衝器104的資料存取以獲得資訊INF3或被動地被通知從流緩衝器104提供的資訊INF3以獲得流緩衝器104的緩衝器狀態（例如，被保存在流緩衝器104中並且仍然在等待經由通信鏈路101發送的編碼視訊資料的大小），其中資訊INF3指示流緩衝器104的緩衝器狀態。應該注意的是，資訊INF3可以是可選的，這取決於實際的設計考慮。
在一個示例性設計中，控制電路108可以根據通信鏈路106的傳輸狀態（其由主動/被動地從發送器106的傳輸設置獲得的資訊INF1來指示）自適應地調整視訊編碼器102的編碼行爲。例如，控制電路108通過設置視訊編碼器102的至少一個編碼參數來控制視訊編碼器102的編碼行爲，其中視訊序列VS_IN包括將由視訊編碼器102編碼的多個視訊幀，並且視訊編碼器102的至少一個編碼參數包括尚未由視訊編碼器102編碼的視訊序列VS_IN的目標最大壓縮位元流大小（即，目標位元預算）。控制電路108可以用作用於將實時自適應位元率管理/調整應用於視訊編碼器102的位元率管理單元。
因此，在將視訊編碼操作應用於視訊序列VS_IN（其包括多於一個視訊幀）之前，由控制電路108在時間戳t0 處獲得的資訊INF1可指示發送器106經配置以在從當前時間戳t0 到下一個時間戳t1 的時隙TSt0 ，t1 內具有鏈路容量（例如，網路帶寬）X0 。在時間戳t0，控制電路108參考時隙TSt0 ，t1 內的鏈路容量（例如，網路帶寬）X0 來估計視訊序列VS_IN的目標最大壓縮位元流大小cuBSr0 （即，分配給通過對視訊序列VS_IN進行編碼而生成的壓縮視訊位元流BS的目標位元預算），並且經由控制信號Sctrl 將目標最大壓縮位元流大小cuBSr0 發送到視訊編碼器102。在由控制信號Sctrl 通知之後，視訊編碼器102中的速率控制器（未圖示）可參考由控制電路108決定的目標最大壓縮位元流大小cuBSr0 ，以自適應地調整包括在視訊序列VS_IN的視訊幀中的每個編碼單元的量化參數（QP），以確保從編碼視訊序列VS_IN生成的壓縮視訊位元流BS的實際大小不大於目標最大壓縮位元流大小cuBSr0 。
在另一個示例性設計中，控制電路108可以根據通信鏈路106的傳輸狀態（其由資訊INF1指示）在一個時間戳處自適應地調整視訊編碼器102的編碼行爲，並且可以根據通信鏈路106的傳輸狀態（其由資訊INF1指示）和附加資訊（例如由資訊INF2指示的視訊編碼器102的編碼狀態，或由資訊INF3指示的流緩衝器104的緩衝器狀態）來自適應地調整另一時間戳處的視訊編碼器102的編碼行爲。例如，控制電路108通過設置視訊編碼器102的至少一個編碼參數來控制視訊編碼器102的編碼行爲，其中視訊序列VS_IN包括將由視訊編碼器102編碼的多個視訊幀，並且 視訊編碼器102的至少一個編碼參數包括未由視訊編碼器102編碼的一部分視訊序列VS_IN的目標最大壓縮位元流大小（即，目標位元預算）。另外，通信鏈路101具有時變鏈路容量（time-variant link capacity）（例如，網路帶寬）。
在將視訊編碼操作應用於視訊序列VS_IN（其包括多於一個視訊幀）之前，由控制電路108在時間戳t0 處獲得的資訊INF1可指示發送器106被配置爲在從當前時間戳t0 到下一個時間戳t1 的時隙TSt0 ，t1 內具有鏈路容量（例如，網路帶寬）X0。在時間戳t0 處，控制電路108參考時隙TSt0 ，t1 內的鏈路容量（例如，網路帶寬）X0 以初始估計視訊序列VS_IN的第一部分的目標最大壓縮位元流大小cuBSr0 （即，通過對視訊序列VS_IN的第一部分進行編碼而生成的壓縮流的目標位元預算），並且經由控制信號Sctrl將目標最大壓縮位元流大小cuBSr0 傳輸到視訊編碼器102。視訊序列VS_IN的第一部分可以是視訊序列VS_IN的一個完整視訊幀或視訊序列的一個部分視訊幀（例如，一個視訊幀中的切片或一個視訊幀中的一些CU）。在由控制信號Sctrl 通知之後，視訊編碼器102中的速率控制器（未圖示）可參考由控制電路108決定的目標最大壓縮位元流大小cuBSr0 ，以自適應地調整在視訊序列VS_IN的第一部分中所包括的各編碼單位的量化參數（QP），以確保從編碼視訊序列VS_IN的第一部分産生的壓縮位元流的實際大小不大於目標最大壓縮位元流大小cuBSr0 。
在時間戳t1 處，由控制電路108獲得的資訊INF1可以指示發送器106被配置爲使鏈路容量（例如，網路帶寬）在從當前時間戳t1 到下一個時間戳t2 的時隙TSt1 ，t2 內從X0 變化到X1 。在時間戳t1處，資訊INF3可以指示未傳輸的位元流大小（即，保存在流緩衝器104中並且仍然在等待經由通信鏈路101傳輸的編碼的視訊資料的大小）是ts0 。因此，在時間戳t1 處，控制電路108參考通信鏈路101的傳輸狀態（例如，X0 和/或X1 ）和流緩衝器104的緩衝器狀態（例如，ts0 ）來估計視訊序列VS_IN的第二部分的目標最大壓縮位元流大小cuBSr1 （即，通過對視訊序列VS_IN的第二部分進行編碼而生成的壓縮流的目標位元預算），並通過控制信號Sctrl 將目標最大壓縮位元流大小cuBSr1 發送到視訊編碼器102。視訊序列VS_IN的第二部分可以是視訊序列VS_IN的一個完整視訊幀或視訊序列VS_IN的一個部分視訊幀（例如，一個視訊幀中的切片或一個視訊幀中的一些CU）。
例如，可以根據X1 減去ts0 來導出目標最大壓縮位元流大小cuBSr1 （即，cuBSr1 = X1 -ts0 ）。又例如，可以使用X0 和X1 來預測下一個時間戳t2 處的鏈路容量（例如，網路帶寬），並且可以使用下一個時間戳t2 處的預測的鏈路容量（例如，網路帶寬）來估計目標最大壓縮位元流大小cuBSr1 。假定使用通信鏈路101的鏈路容量變化（例如，網路帶寬變化）的綫性預測模型，則下一時間戳t2 處的鏈路容量（例如，網路帶寬）可以簡單地從X1 +（X1 -X0 ）預測出。因此，可以根據預測的鏈路容量（例如，網路帶寬）X1 +（X1 -X0 ）減ts0 導出目標最大壓縮位元流大小cuBSr1 （即，cuBSr1 = X1 + (X1 -X0 ) - ts0 ）。或者，可以使用通信鏈路101的鏈路容量變化（例如，網路帶寬變化）的非綫性預測模型來預測下一個時間戳t2處的鏈路容量（例如，網路帶寬）。
在由控制信號Sctrl 通知之後，視訊編碼器102中的速率控制器（未圖示）可參考由控制電路108決定的目標最大壓縮位元流大小cuBSr1 ，以自適應地調整包括在視訊序列VS_IN的第二部分中的每一個編解碼單元的量化參數（QP），以確保編碼視訊序列VS_IN的第二部分産生的壓縮位元流的實際大小不大於目標最大壓縮位元流大小cuBSr1 。
在上面的示例中，控制電路108通過主動監視流緩衝器104獲得流緩衝器104的緩衝器狀態以得到資訊INF3或被動地被通知從流緩衝器104提供的資訊INF3。可選地，資訊 INF3可能被省略，並且可以修改控制電路108以預測流緩衝器104的緩衝器狀態，而不主動監視流緩衝器104以獲得資訊INF3或被動地被通知從流緩衝器104提供的資訊INF3。實現了響應於通信鏈路101的帶寬變化自適應地控制視訊編碼器102的編碼行爲的相同目標。
第2圖是圖示根據本發明實施例的第二視訊編碼裝置的圖。視訊編碼裝置100與視訊編碼裝置200的主要區別在於控制電路208根據資訊INF1與資訊INF2取得預測資訊INF3'，其中預測資訊INF3'指示流緩衝區104的預測緩衝器狀態。與第1圖所示的控制電路108一樣，控制電路208可以作爲位元率管理單元，用於將實時自適應位元率管理/調整應用於視訊編碼器102。
在將視訊編碼操作應用於視訊序列VS_IN（其包括多於一個視訊幀）之前，由控制電路208在時間戳t0 處獲得的資訊INF1可指示發送器106被配置爲在從當前時間戳t0 到下一個時間戳t1 的時隙TSt0 ，t1 內具有鏈路容量（例如，網路帶寬）X0 。在時間戳t0 處，控制電路208參考時隙TSt0 ，t1 內的鏈路容量（例如，網路帶寬）X0 以初始估計視訊序列VS_IN的第一部分的目標最大壓縮位元流大小cuBSr0 （即，通過對視訊序列VS_IN的第一部分進行編碼而生成的壓縮流的目標位元預算），並且經由控制信號Sctrl 將目標最大壓縮位元流大小cuBSr0 發送到視訊編碼器102。視訊序列VS_IN的第一部分可以是視訊序列VS_IN的完整視訊幀或視訊序列VS_IN的部分視訊幀（例如，一個視訊幀中的切片或一個視訊幀中的一些CU）。在由控制信號Sctrl 通知之後，視訊編碼器102中的速率控制器（未圖示）可參考由控制電路208決定的目標最大壓縮位元流大小cuBSr0 ，以自適應地調整包括在視訊序列VS_IN的第一部分中的各編碼單位的量化參數（QP），以確保編碼視訊序列VS_IN的第一部分産生的壓縮位元流的實際大小不大於目標最大壓縮位元流大小cuBSr0 。
在時間戳t1 處，由控制電路208獲得的資訊INF1可以指示發送器106被配置爲使鏈路容量（例如，網路帶寬）在從當前時間標記t1 到下一個時間標記t2 的時隙TSt1 ，t2 內從X0 變化到X1 。在時間戳t1 處，由控制電路208獲得的資訊INF2指示在時隙TSt0 ，t1 內編碼視訊序列VS_IN的第一部分的資料生成的壓縮位元流的實際大小S0 ，並且由控制電路208獲得的預測資訊INF3'指示預測的未發送位元流大小（即，保留在流緩衝器104中並且仍然在等待經由通信鏈路101發送的編碼視訊資料的預測大小 ）cuBSenc0 。例如，可以從X0 減去S0 導出預測的未傳輸位元流大小cuBSenc0 （即，cuBSenc0 = X0 -S0 ）。因此，在時間戳t1 處，控制電路208參考通信鏈路101的傳輸狀態（例如，X0 和/或X1 ）和流緩衝器104的預測緩衝器狀態（例如，cuBSenc0 ）來估計視訊序列VS_IN的第二部分的目標最大壓縮位元流大小cuBSr1 （即，通過對視訊序列VS_IN的第二部分進行編碼而生成的壓縮流的目標位元預算），並且經由控制信號Sctrl 將目標最大壓縮位元流大小cuBSrl 發送到視訊編碼器102。視訊序列VS_IN的第二部分可以是視訊序列VS_IN的一個完整視訊幀或視訊序列VS_IN的一個部分視訊幀（例如，一個視訊幀中的切片或一個視訊幀中的一些CU）。
例如，目標最大壓縮位元流大小cuBSr1 可以根據X1 減去cuBSenc0 來導出（即cuBSr1 = X1 -cuBSenc0 ）。又例如，可以使用X0 和X1 來預測下一個時間戳t2 處的鏈路容量（例如，網路帶寬），並且可以使用下一個時間戳t2 處的預測的鏈路容量（例如，網路帶寬）來估計目標最大壓縮位元流大小cuBSr1 。假定使用通信鏈路101的鏈路容量變化（例如，網路帶寬變化）的綫性預測模型，可以從X1 +（X1 -X0 ）簡單地導出下一個時間戳t2 處的預測鏈路容量（例如，網路帶寬）。因此，可以根據預測的鏈路容量（例如，網路帶寬）X1 +（X1 -X0 ）減cuBSenc0 導出目標最大壓縮位元流大小cuBSr1（即，cuBSr1 = X1 +（X1 -X0 ） - cuBSenc0 ）。或者，可以使用通信鏈路101的鏈路容量變化（例如，網路帶寬變化）的非綫性預測模型來預測下一個時間戳t2 處的鏈路容量（例如，網路帶寬）。
在由控制信號Sctrl 通知之後，視訊編碼器102中的速率控制器（未圖示）可參考由控制電路208決定的目標最大壓縮位元流大小cuBSr1 以自適應地調整包括在視訊序列VS_IN的第二部分中的每一個編碼單元的量化參數（QP），以確保編碼視訊序列VS_IN的第二部分産生的壓縮位元流的實際大小不大於目標最大壓縮位元流大小cuBSr1 。
應該注意的是，第1圖中所示的視訊編碼裝置 100可被配置爲支持兩種緩衝器狀態獲取模式，一種用於獲得流緩衝器104的實際緩衝器狀態（如第1圖所示），另一種用於獲得流緩衝器104的預測緩衝器狀態（如第2圖所示）。這也落入本發明的範圍內。
由於視訊編碼裝置100/200能夠根據本地發送器106的傳輸狀態而不是從遠程客戶端110給出的資料接收反饋來對視訊編碼器102應用自適應速率控制，自適應速率控制快，通信鏈路101的延遲時間短。因此，具有實時自適應位元率管理的視訊編碼裝置100/200適用於具有帶寬變化的低延遲網路應用（例如，低延遲WiFi應用）。
本說明書揭露了本發明的範例以及較佳實施例，但應當理解，本發明並不限於所揭露的實施例。相反，所述公開的實施例的上述描述可使得本領域的技術人員能夠實現或者使用本發明。對於本領域具有通常知識者來說，這些實施例的各種修改是顯而易見的，並且這裏定義的總體原理也可以在不脫離本發明的範圍和主旨的基礎上應用於其他實施例。因此，本發明並不限於這裏示出的實施例，而是與符合這裏公開的原理和新穎特徵的最廣範圍相一致。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、200‧‧‧視訊編碼裝置
101‧‧‧通信鏈路
102‧‧‧視訊編碼器
104‧‧‧流緩衝器
106‧‧‧發送器
108、208‧‧‧控制電路
110‧‧‧客戶端
第1圖是示出根據本發明實施例的第一視訊編碼裝置的圖。 第2圖是圖示根據本發明實施例的第二視訊編碼裝置的圖。

Claims (20)

  1. 一種視訊編碼裝置，其特徵在於，包括： 視訊編碼器，將視訊序列編碼成壓縮視訊位元流； 發送器，經由通信鏈路發送該壓縮視訊位元流；以及 控制電路，用於根據該通信鏈路的至少一個傳輸狀態自適應調整該視訊編碼器的編碼行爲。
  2. 如申請專利範圍第1項所述之視訊編碼裝置，其中該控制電路進一步從該發送器的傳輸設置獲得該通信鏈路的該傳輸狀態。
  3. 如申請專利範圍第1項所述之視訊編碼裝置，其中該控制電路通過設置該視訊編碼器的至少一個編碼參數來控制該視訊編碼器的該編碼行爲，並且該視訊編碼器的該至少一個編碼參數包括尚未由該視訊編碼器編碼的該視訊序列的至少一部分的目標最大壓縮位元流大小。
  4. 如申請專利範圍第3項所述之視訊編碼裝置，其中該視訊序列包括多個視訊幀；並且該視訊序列的至少一部分是該視訊序列或者該視訊序列的一個完整視訊幀或者該視訊序列的一個部分視訊幀。
  5. 如申請專利範圍第1項所述之視訊編碼裝置，其中還包括： 流緩衝器，從該視訊編碼器接收該壓縮視訊位元流的資料，並且向該發送器提供該壓縮視訊位元流的緩衝資料； 其中該控制電路根據該通信鏈路的該傳輸狀態以及該流緩衝器的緩衝器狀態自適應地調整該視訊編碼器的該編碼行爲。
  6. 如申請專利範圍第5項所述之視訊編碼裝置，其中該控制電路通過設置該視訊編碼器的至少一個編碼參數來控制該視訊編碼器的該編碼行爲；並且該視訊編碼器的該至少一個編碼參數包括尚未由該視訊編碼器編碼的該視訊序列的一部分的目標最大壓縮位元流大小。
  7. 如申請專利範圍第1項所述之視訊編碼裝置，其中該控制電路根據該通信鏈路的該傳輸狀態和該視訊編碼器的編碼狀態自適應地調整該視訊編碼器的該編碼行爲。
  8. 如申請專利範圍第7項所述之視訊編碼裝置，其中還包括： 流緩衝器，從該視訊編碼器接收該壓縮視訊位元流的資料，並且向該發送器提供該壓縮視訊位元流的緩衝資料； 其中，該控制電路還用於根據該通信鏈路的該傳輸狀態和該視訊編碼器的該編碼狀態預測該流緩衝器的緩衝器狀態，並且根據該通信鏈路的該傳輸狀態和該流緩衝器的該預測緩衝器狀態自適應地調整該視訊編碼器的該編碼行爲。
  9. 如申請專利範圍第7項所述之視訊編碼裝置，其中該視訊編碼器的該編碼狀態包括由該視訊編碼器産生的該壓縮視訊位元流的一部分的大小；該視訊序列包括多個視訊幀；並且該壓縮視訊位元流的該部分是該視訊序列的完整視訊幀的壓縮位元流或該視訊序列的部分視訊幀的壓縮位元流。
  10. 如申請專利範圍第7項所述之視訊編碼裝置，其中該控制電路通過設置該視訊編碼器的至少一個編碼參數來控制該視訊編碼器的該編碼行爲；並且該視訊編碼器的該至少一個編碼參數包括尚未由該視訊編碼器編碼的該視訊序列的一部分的目標最大壓縮位元流大小。
  11. 一種視訊編碼方法，其特徵在於，包括： 根據通信鏈路的至少一個傳輸狀態自適應地調整視訊編碼操作的編碼行爲； 執行該視訊編碼操作以將視訊序列編碼爲壓縮視訊位元流；以及 經由該通信鏈路傳輸該壓縮視訊位元流。
  12. 如申請專利範圍第11項所述之視訊編碼方法，其中該壓縮視訊位元流由發送器發送，並且該視訊編碼方法還包括： 從該發送器的傳輸設置獲得該通信鏈路的該傳輸狀態。
  13. 如申請專利範圍第11項所述之視訊編碼方法，其中通過設置該視訊編碼操作的至少一個編碼參數來控制該視訊編碼操作的該編碼行爲，並且該視訊編碼操作的該至少一個編碼參數包括尚未被編碼的該視訊序列的至少一部分的目標最大壓縮位元流大小。
  14. 如申請專利範圍第13項所述之視訊編碼方法，其中該視訊序列包括多個視訊幀；並且該視訊序列的至少一部分是該視訊序列或者該視訊序列的一個完整視訊幀或者該視訊序列的一個部分視訊幀。
  15. 如申請專利範圍第11項所述之視訊編碼方法，其中還包括： 將該壓縮視訊位元流的資料存儲到流緩衝器中；以及 從該流緩衝中讀取該壓縮視訊碼流的緩衝資料進行傳輸； 其中，該視訊編碼操作的該編碼行爲是根據該通信鏈路的該傳輸狀態和該流緩衝器的緩衝器狀態自適應調整的。
  16. 如申請專利範圍第15項所述之視訊編碼方法，其中通過設置該視訊編碼操作的至少一個編碼參數來控制該視訊編碼操作的該編碼行爲；並且該視訊編碼操作的該至少一個編碼參數包括尚未由該視訊編碼操作編碼的該視訊序列的一部分的目標最大壓縮位元流大小。
  17. 如申請專利範圍第11項所述之視訊編碼方法，其中根據該通信鏈路的該傳輸狀態和該視訊編碼操作的編碼狀態，自適應地調整該視訊編碼操作的該編碼行爲。
  18. 如申請專利範圍第17項所述之視訊編碼方法，其中還包括： 將該壓縮視訊位元流的資料存儲到流緩衝器中； 從該流緩衝中讀取該壓縮視訊碼流的緩衝資料進行傳輸；以及 根據該通信鏈路的該傳輸狀態和該視訊編碼操作的該編碼狀態，預測該流緩衝器的緩衝器狀態； 其中，該視訊編碼操作的該編碼行爲是根據該通信鏈路的該傳輸狀態和該流緩衝器的該預測緩衝器狀態自適應調整的。
  19. 如申請專利範圍第17項所述之視訊編碼方法，其中該視訊編碼操作的該編碼狀態包括由該視訊編碼操作生成的該壓縮視訊位元流的一部分的大小；該視訊序列包括多個視訊幀；並且該壓縮視訊位元流的該部分是該視訊序列的完整視訊幀的壓縮位元流或該視訊序列的部分視訊幀的壓縮位元流。
  20. 如申請專利範圍第17項所述之視訊編碼方法，其中通過設置該視訊編碼操作的至少一個編碼參數來控制該視訊編碼操作的該編碼行爲，並且該視訊編碼操作的該至少一個編碼參數包括尚未由該視訊編碼操作編碼的該視訊序列的一部分的目標最大壓縮位元流大小。
TW107102279A 2016-07-21 2018-01-23 視訊編碼裝置及相應地視訊編碼方法 TW201909630A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662364909P 2016-07-21 2016-07-21
US15/654,706 US20180027244A1 (en) 2016-07-21 2017-07-20 Video encoding apparatus with video encoder adaptively controlled according to at least transmission status of communication link and associated video encoding method
US15/654,706 2017-07-20

Publications (1)

Publication Number Publication Date
TW201909630A true TW201909630A (zh) 2019-03-01

Family

ID=60989029

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102279A TW201909630A (zh) 2016-07-21 2018-01-23 視訊編碼裝置及相應地視訊編碼方法

Country Status (3)

Country Link
US (1) US20180027244A1 (zh)
CN (1) CN109286818A (zh)
TW (1) TW201909630A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148989B2 (en) * 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
WO2018023554A1 (en) * 2016-08-04 2018-02-08 SZ DJI Technology Co., Ltd. System and methods for bit rate control
EP3468187A1 (en) * 2017-10-03 2019-04-10 Axis AB Method and system for encoding video streams
WO2021164014A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 视频编码方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366614B1 (en) * 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US8150175B2 (en) * 2007-11-20 2012-04-03 General Electric Company Systems and methods for image handling and presentation

Also Published As

Publication number Publication date
US20180027244A1 (en) 2018-01-25
CN109286818A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
TW201909630A (zh) 視訊編碼裝置及相應地視訊編碼方法
US11190570B2 (en) Video encoding using starve mode
US10602139B2 (en) Embedded multimedia systems with adaptive rate control for power efficient video streaming
JP4753204B2 (ja) 符号化処理装置および符号化処理方法
CN106851281B (zh) 实时视频传输的初始带宽估计
US20190261007A1 (en) Adaptive encoding in security camera applications
US20140104493A1 (en) Proactive video frame dropping for hardware and network variance
CN106973294B (zh) 实时视频传输的初始带宽估计
US10659514B2 (en) System for video monitoring with adaptive bitrate to sustain image quality
JP2003244695A (ja) 映像情報伝送方式、それに用いられる装置およびプログラム
GB2377573A (en) Storing images from a plurality of transmitters in a plurality of frame stores
KR20010018573A (ko) 네트워크 대역폭에 적응적인 영상 압축 장치
TWI734865B (zh) 用於編碼視訊之方法與編碼系統
CN107438187B (zh) 实时视频传输的带宽调整
US20190089759A1 (en) Video encoding circuit and wireless video transmission apparatus and method
JP2009124518A (ja) 画像送信装置
US8503805B2 (en) Method and apparatus for encoding and decoding image adaptive to buffer status
JP5784823B2 (ja) エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ
CN108124155B (zh) 一种码率控制方法、装置及电子设备
WO2011030680A1 (ja) 符号化装置、符号化方法、および符号化プログラム
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
Yunus et al. A rate control model of MPEG-4 encoder for video transmission over Wireless Sensor Network
JP2021114763A5 (zh)
TWI683572B (zh) 基於畫面動態資訊的視訊位元率傳輸控制方法
JPH1141608A (ja) 画像伝送装置および画像符号化方法および画像符号化装置