TWI652933B - 一種使用低成本的視訊編碼/解碼架構的視訊處理系統 - Google Patents

一種使用低成本的視訊編碼/解碼架構的視訊處理系統 Download PDF

Info

Publication number
TWI652933B
TWI652933B TW106122459A TW106122459A TWI652933B TW I652933 B TWI652933 B TW I652933B TW 106122459 A TW106122459 A TW 106122459A TW 106122459 A TW106122459 A TW 106122459A TW I652933 B TWI652933 B TW I652933B
Authority
TW
Taiwan
Prior art keywords
video frame
video
img
input
frame
Prior art date
Application number
TW106122459A
Other languages
English (en)
Other versions
TW201813384A (zh
Inventor
吳明隆
吳東興
陳立恆
林亭安
黃翊鑫
蔡宗樺
鄭佳韻
周漢良
張永昌
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813384A publication Critical patent/TW201813384A/zh
Application granted granted Critical
Publication of TWI652933B publication Critical patent/TWI652933B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種視訊編碼器，包含處理電路和通用二進制熵(UBE)語法編碼器。處理電路用於處理視訊圖框的像素資料以產生編碼相關資料，其中該編碼相關資料至少包含量化後的變換係數。通用二進制熵(UBE)語法編碼器用於處理複數個語法元素以產生UBE語法資料。其中，該編碼相關資料由該複數個語法元素表示，該處理電路根據視訊編碼標準進行操作，該視訊編碼標準支持算術編碼，並且該UBE語法資料不包含算術編碼的語法資料。

Description

一種使用低成本的視訊編碼/解碼架構的視訊處理系統 【相關申請的交叉引用】
本發明要求於2016年7月12日提交的申請號為62/361,113的美國臨時案的優先權。在此合併參考該美國臨時申請案的申請標的。
本發明所揭露之實施例有關於視訊資料處理，尤指有關於一種使用低成本的視訊編碼/解碼架構的視訊處理系統。
一個傳統的視訊系統設計包含視訊發送系統(或視訊記錄系統)和視訊接收系統(或視訊播放系統)。關於視訊發送系統/視訊記錄系統，其包含視訊編碼器、音訊/視訊多工電路、發送電路等。關於視訊接收系統/視訊播放系統，其包含接收電路、音訊/視訊多路解複用電路、視訊解碼器、顯示器等。然而，由於視訊發送系統/視訊記錄系統中長記錄延時以及視訊接收系統/視訊播放系統中長播放延時，傳統的視訊系統設計無法滿足某些超低延時應用的要求。一般地，熵解碼是視訊解碼的性能瓶頸，並且熵解碼的性能對位元率比較敏感。高位元率實現更好質量，但是導致較大延時。另外，當存在複數個視訊源時，一個視訊源使用一組視訊編碼器和解碼器，成本較高。
依據本發明的示範性實施例，提出一種使用低成本的視訊編碼/解碼架構的視訊處理系統。
根據本發明的第一方面，公開一種實例性的視訊編碼器。該實例性 的視訊編碼器包含處理電路和通用二進制熵(universal binary entropy，UBE)語法編碼器。處理電路用於處理視訊圖框的像素資料以產生編碼相關資料(encoding-related data)，其中該編碼相關資料至少包含量化後的變換係數(quantized transform coefficients)。通用二進制熵語法編碼器用於處理複數個語法元素以產生通用二進制熵語法資料。該編碼相關資料由該複數個語法元素表示，該處理電路根據視訊編碼標準進行操作，該視訊編碼標準支持算術編碼，並且該通用二進制熵語法資料不包含算術編碼的語法資料。
根據本發明的第二方面，公開一種實例性的視訊解碼器。該實例性的視訊解碼器包含通用二進制熵語法解碼器和處理電路，通用二進制熵語法解碼器用於處理通用二進制熵語法資料以產生複數個解碼語法元素，其中該複數個解碼語法元素表示編碼相關資料，且該編碼相關資料至少包含量化後的變換係數。處理電路用於處理該編碼相關資料以重構視訊圖框的像素資料。該處理電路根據視訊編碼標準進行操作，該視訊編碼標準支持算術編碼，並且該通用二進制熵語法資料不包含算術編碼的語法資料。
根據本發明的第三方面，公開一種實例性的視訊處理系統。該實例性的視訊處理系統包含合併電路和視訊編碼器。合併電路用於接收複數個輸入視訊圖框，並將複數個視訊圖框進行合併以創建合併視訊圖框(merged video frame)，其中該複數個視訊圖框分別從該複數個輸入視訊圖框中獲得。視訊編碼器用於編碼該合併視訊圖框以輸出位元流。
對於已經閱讀後續由各圖示及內容所顯示的較佳實施例的所屬領域中具有通常知識者來說，本發明的各目的是明顯的。
10‧‧‧視訊源
100‧‧‧視訊發送系統
102‧‧‧源緩衝器
104‧‧‧視訊編碼器
106‧‧‧位元流緩衝器
108‧‧‧音訊資料路徑
110‧‧‧音訊/視訊多工電路
112‧‧‧發送電路
120‧‧‧視訊接收系統
122‧‧‧接收電路
124‧‧‧音訊/視訊解多工電路
126‧‧‧位元流緩衝器
128‧‧‧視訊解碼器
130‧‧‧顯示緩衝器
132‧‧‧顯示引擎
134‧‧‧音訊資料路徑
15‧‧‧通訊鏈路
20‧‧‧顯示設備
200‧‧‧視訊解碼器
202‧‧‧語法解析電路
204‧‧‧後解碼電路
206‧‧‧UBE語法資料緩衝器
212‧‧‧UBE語法解碼器
213‧‧‧處理電路
214‧‧‧逆量化電路
216‧‧‧逆變換電路
218‧‧‧重構電路
220‧‧‧運動向量計算電路
222‧‧‧運動補償電路
224‧‧‧圖框內預測電路
226‧‧‧圖框間/圖框內模式選擇電路
228‧‧‧去塊濾波器
230‧‧‧參考圖框緩衝器
700‧‧‧視訊編碼器
701‧‧‧基於CTU列的環形緩衝器
702‧‧‧處理電路
703‧‧‧熵編碼器
704‧‧‧算術編碼引擎
705‧‧‧基於切片的環形緩衝器
712‧‧‧殘差產生電路
714‧‧‧變換電路
716‧‧‧量化電路
718‧‧‧碼率失真優化和模式決策電路
720‧‧‧逆量化電路
722‧‧‧逆變換電路
724‧‧‧重構電路
726‧‧‧去塊濾波器
728‧‧‧參考圖框緩衝器
730‧‧‧運動估計和運動補償電路
732‧‧‧圖框內預測電路
734‧‧‧圖框間/圖框內模式選擇電路
800‧‧‧視訊編碼器
803‧‧‧UBE語法編碼器
900‧‧‧視訊解碼器
901‧‧‧位元流緩衝器
10_1-10_N‧‧‧視訊源
1000‧‧‧視訊處理系統
1002‧‧‧合併電路
1004‧‧‧視訊編碼器
1102、1302、1502、1702‧‧‧區域
第1圖是例示根據本發明實施例的視訊發送系統和視訊接收系統的結構示意圖。
第2圖是例示根據本發明實施例的視訊解碼器的示意圖。
第3圖是例示根據本發明實施例的具有兩階段語法解析(two-phase syntax parsing)的視訊解碼器第一示例的示意圖。
第4圖是例示根據本發明實施例的具有兩階段語法解析的視訊解碼器第二示例的示意圖。
第5圖是例示根據本發明實施例的視訊圖框的第一分區設計的示意圖。
第6圖是例示根據本發明實施例的視訊圖框的第二分區設計的示意圖。
第7圖是例示根據本發明實施例的視訊編碼器的示意圖。
第8圖是例示根據本發明實施例的修改後的視訊編碼器的示意圖。
第9圖是例示根據本發明實施例的修改後的視訊解碼器的示意圖。
第10圖是例示根據本發明實施例的視訊處理系統的示意圖。
第11圖是例示根據本發明實施例的第一合併方案(merging scheme)的示意圖。
第12圖是例示根據本發明實施例的第二合併方案的示意圖。
第13圖是例示根據本發明實施例的第三合併方案的示意圖。
第14圖是例示根據本發明實施例的第四合併方案的示意圖。
第15圖是例示根據本發明實施例的第五合併方案的示意圖。
第16圖是例示根據本發明實施例的第六合併方案的示意圖。
第17圖是例示根據本發明實施例的第七合併方案的示意圖。
第18圖是例示根據本發明實施例的第八合併方案的示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含 但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。
第1圖是根據本發明實施例的視訊發送系統和視訊接收系統的結構示意圖。藉由舉例但不用於限制本發明，視訊發送系統100和視訊接收系統120可以應用於超低延時應用，如虛擬現實(virtual reality，VR)應用。在本實施例中，該視訊發送系統100包含源緩衝器102、視訊編碼器104、位元流緩衝器106、音訊資料路徑108、音訊/視訊多工電路(用“A/V MUX”表示)110和發送(transmitting，TX)電路112。視訊接收系統120包含接收電路122、音訊/視訊解多工電路(用“A/V DEMUX”表示)124、位元流緩衝器126、視訊解碼器128、顯示緩衝器130、顯示引擎132和音訊資料路徑134。視訊發送系統100可用作視訊記錄系統，其用於編碼來自視訊源10的視訊圖框，並產生編碼視訊圖框資料(encoded video frame data)，藉由通訊鏈路15傳輸到視訊接收系統120。視訊接收系統120可用作視訊播放系統，其用於藉由通訊鏈路15接收編碼視訊圖框資料並產生解碼視訊圖框(decoded video frame)至顯示設備20，以用於視訊播放。例如，視訊源10可以是攝像機或者服務器，顯示設備20可以是VR頭盔的顯示器。此外，通訊鏈路15可以藉由使用有線鏈路或者無線鏈路來實現。
視訊源10提供待編碼的視訊圖框。源緩衝器102接收待編碼的視訊圖框的像素的像素資料。視訊編碼器104編碼來自源緩衝器102的視訊圖框的像素的像素資料，並產生編碼視訊位元流。位元流緩衝器106接收來自於視訊編碼器104的編碼視訊位元流。A/V MUX 110接收來自位元流緩衝器106的編碼視訊位元流以及來自音訊資料路徑108的編碼音訊位元流，並對該編碼視訊位元流和編碼音訊位元流執行音訊/視訊多工，以產生單個位元流(single bitstream)至TX 電路112。TX電路112輸出該單個位元流(其由編碼視訊位元流和編碼音訊位元流構成)，藉由通訊鏈路15傳輸至視訊接收系統120的RX電路122。
A/V DEMUX 120接收該單個位元流(其由視訊編碼器104所生產的編碼視訊位元流和音訊資料路徑108所產生的編碼音訊位元流構成)，並對該單個位元流執行音訊/視訊解多工，以分離出該編碼視訊位元流和該編碼音訊位元流，進而分別將該編碼視訊位元流和該編碼音訊位元流發送到位元流緩衝器126和音訊資料路徑134。位元流緩衝器126接收該編碼視訊位元流，並將該編碼視訊位元流提供給視訊解碼器128。音訊資料路徑134解碼該編碼音訊位元流，以獲得用於音訊播放的音訊資料。關於視訊處理和播放，視訊解碼器128解碼該編碼視訊位元流，以重構視訊圖框。顯示緩衝器130接收來自視訊編碼器128的視訊圖框的解碼像素資料，並將該視訊圖框的解碼像素資料提供給顯示引擎132。顯示引擎132是驅動電路，用於根據該視訊圖框的解碼像素資料驅動顯示設備20。最後，在顯示設備20上顯示該視訊圖框。
源緩衝器102、位元流緩衝器106和顯示緩衝器130中的任何一個可以藉由使用內部存儲設備、外部存儲設備或者其結合來實現。例如，內部存儲設備可以是靜態隨機存取存儲器(static random access memory，SRAM)或者觸發器(flip-flop)。外部存儲設備可以是動態隨機存取存儲器(dynamic random access memory，DRAM)或者閃存。
通常，熵解碼是視訊解碼的性能瓶頸。在本發明的一些實施例中，視訊解碼器128可以使用兩階段語法解析方案(two-phase syntax parsing scheme)。第2圖是根據本發明實施例的視訊解碼器的示意圖。如第1圖所示的視訊解碼器128可以由第2圖所示的視訊解碼器200來實現。視訊解碼器200使用兩階段語法解析方案，並包含語法解析(syntax parsing)電路202和後解碼電路204。語法解析電路202將算術編碼位元流(例如，資料依賴(data-dependency)上下 文自適應二進制算術編碼(context-adaptive binary arithmetic coding，CABAC)熵編碼位元流)變換成非資料依賴通用二進制熵(universal binary entropy，UBE)語法位元流，並且在後解碼電路204內UBE語法解碼可以執行並行的UBE語法解碼，以實現更高的解碼性能。
編碼視訊位元流BS是視訊編碼器(例如，視訊發送系統100的視訊編碼器104)的熵編碼輸出。例如，視訊編碼器104可以使用算術編碼技術，如CABAC。這樣，編碼視訊位元流BS是算術編碼位元流(例如，CABAC編碼位元流)。算術編碼經常應用於在預測和/或量化之後所產生的位元字串(bit string)。並且，需要傳輸各種的編碼參數和系統配置資訊。這些編碼參數和系統配置資訊將被二值化成碼元字串(bin string)，並被算術編碼。總之，算術編碼通常應用於與一些語法元素相關的碼元字串，語法元素如運動向量差(motion vector difference，MVD)、用於編碼單元(coding unit，CU)的分區模式、預測殘差的量化後的變換係數(quantized transform coefficient)的符號和絕對值等。如第2圖所示，語法解析電路202具有算術解碼器203。根據兩階段語法解析方案，算術解碼器203用作超前位元流重新格式化處理電路(look-ahead bitstream reformatting processing circuit)。將編碼視訊位元流BS饋入到算術解碼器203內，然後對編碼視訊位元流BS進行算術解碼，以恢復碼元字串(其為算術解碼碼元字串)。該算術解碼的碼元字串也可指非算術的碼元字串，或者UBE語法資料。
將UBE語法資料存儲在UBE語法資料緩衝器206內。當UBE語法資料緩衝器206內已經緩衝足夠的UBE語法資料(算術解碼碼元字串)時，從UBE語法資料緩衝器206內讀取該UBE語法資料，並且後解碼電路204對該UBE語法資料進行後解碼。如第2圖所示，後解碼電路204包含UBE語法解碼器(例如，可變長度解碼器(variable length decoder，VLD)或者表查找電路(table look-up circuit))212和處理電路213。UBE語法解碼器212解碼UBE語法資料以輸出表示 預測殘差的解碼語法資料、各種編碼參數和系統配置資訊。也就是說，解碼語法資料包含複數個解碼語法元素，其中編碼相關資料用解碼語法元素來表示。例如，編碼相關資料可以包含量化後的變換係數、圖框內預測資料、運動資料、控制資料等。將該解碼語法資料提供給處理電路213以重構視訊圖框的像素資料。例如，處理電路213可以包含逆量化電路(用“IQ”表示)214、逆變換電路(用“IT”表示)216、重構電路(用“REC”表示)218、運動向量計算電路(用“MV產生”表示)220、運動補償電路(用“MC”表示)222、圖框內預測電路(用“IP”表示)224、圖框間/圖框內模式選擇電路226、環路濾波器(例如，去塊濾波器(deblocking filter，DF)228)以及參考圖框緩衝器230。由於所屬領域中具有習知技術者很容易理解包含在處理電路213內的這些電路元件214-230，為了簡潔，此處將不作進一步描述。
上述兩階段語法解析方案可以藉由使用專利號為2016/0241854 A1的美國專利申請所提出的算術解碼器來實現，該美國專利申請的名稱為“METHOD AND APPARATUS FOR ARITHMETIC DECODING”，在此合併參考該美國申請案的申請標的。該美國專利申請的發明人也是本申請的共同發明人。
在一個示例設計中，語法解析電路202所產生的UBE語法資料是算術解碼的碼元字串。例如，在HEVC標準中，語法元素last_sig_coeff_x_prefix指定了變換塊內在掃描順序上的最後一個重要係數(last significant coefficient)的行位置的前綴。根據HEVC標準，對語法元素last_sig_coeff_x_prefix進行算術編碼。一元編碼可以用於對語法元素last_sig_coeff_x_prefix進行二值化。如表1所示，為用於語法元素last_sig_coeff_x_prefix的示例性的一元編碼，其中最長編碼有6位元，並且碼元位置用binIdx表示。
在編碼器側，用於掃描順序上的最後一個重要係數的行位置的前綴值prefix Val被二值化為各自的碼元字串。例如，等於3的前綴值prefix Val被二值化為“1110”。使用算術編碼對二值化後的碼元字串進行進一步編碼。根據本發明實施例，在如第3圖所示的解碼器側，算術解碼器203(其用作超前位元流重新格式化處理電路)處理算術編碼位元流。將來自於算術解碼器203(其用作超前位元流重新格式化處理電路)的算術編碼的碼元字串“1110”存儲到UBE語法資料緩衝器206內。在有足夠多的碼元字串可用之後，將該存儲的碼元字串“1110”提供給UBE語法解碼器(例如，不具有算術解碼的VLD)212，以恢復語法值，即last_sig_coeff_x_prefix=3。
可選地，語法解析電路202所產生的UBE語法資料可以包含UBE語法資料緩衝器206內的具有特定資料結構的解碼語法值(即，解碼語法元素值)。例如，在HEVC標準中，語法元素last_sig_coeff_x_prefix指定了變換塊內在掃描順序上最後一個重要係數的行位置的前綴，語法元素last_sig_coeff_y_prefix指定了變換塊內在掃描順序上的最後一個重要係數的列位置的前綴，語法元素last_sig_coeff_x_suffix指定了變換塊內在掃描順序上的最後一個重要係數的行位置的後綴，以及語法元素last_sig_coeff_y_suffix指定了變換塊內在掃描順序上的最後一個重要係數的列位置的後綴。根據HEVC標準，對語法元素last_sig_coeff_x_prefix,last_sig_coeff_y_prefix,last_sig_coeff_x_suffix和 last_sig_coeff_y_suffix進行算術編碼。根據本發明的實施例，在如第4圖所示的解碼器側，算術解碼器203(其用作超前位元流重新格式化處理電路)處理算術編碼位元流。算術解碼器203(其用作超前位元流重新格式化處理電路)獲得語法元素last_sig_coeff_x_prefix,last_sig_coeff_y_prefix,last_sig_coeff_x_suffix和last_sig_coeff_y_suffix的算術解碼語法值“3”，“2”，“4”和“5”，並根據特定的資料結構將其存儲到UBE語法資料緩衝器206內指定的存儲位置。也就是說，UBE語法資料緩衝器206內所分配的第一特定存儲空間用於記錄語法元素last_sig_coeff_x_prefix的解碼前綴值，UBE語法資料緩衝器206內所分配的第二特定存儲空間用於記錄語法元素last_sig_coeff_y_prefix的解碼前綴值，UBE語法資料緩衝器206內所分配的第三特定存儲空間用於記錄語法元素last_sig_coeff_x_suffix的解碼後綴值，UBE語法資料緩衝器206內所分配的第四特定存儲空間用於記錄語法元素last_sig_coeff_y_suffix的解碼後綴值。在有足夠地多的語法值可用之後，將存儲的語法值“3”，“2”，“4”和“5”提供給UBE語法解碼器(例如，表查找電路)212，以最終恢復該語法，即，last_sig_coeff_x_prefix=3,last_sig_coeff_y_prefix=2,last_sig_coeff_x_suffix=4和last_sig_coeff_y_suffix=5。
算術編碼過程是有資料依存性的，並且常常引起解碼吞吐量的問題。為了解決這個問題，兩階段語法解析方案藉由將UBE語法資料(其包含非算術編碼的語法資料)存儲到UBE語法資料緩衝器206內，以將算術解碼與UBE語法解碼(其為非算術解碼)進行分離。相對於算術解碼器203，由於UBE語法解碼器212相對簡單，系統設計僅需要考慮到用於語法解析電路202的吞吐量問題。
編碼塊是視訊編碼標準的基本處理單元。例如，當視訊編碼標準為H.264時，一個編碼塊為一個宏塊(macroblock，MB)。又例如，當視訊編碼標準是VP9時，一個編碼塊為一個超級塊(super block，SB)。還例如，當視訊編 碼標準為高效視訊編碼(HEVC，High Efficiency Video Coding)時，一個編碼塊是一個編碼樹單元(coding tree unit，CTU)。一個視訊圖框可以被分區成複數個切片(slice)，從而每個切片包含視訊圖框的一部分。由於通用術語“切片”在不同的視訊編碼標準中均已定義，為了簡潔此處不在作進一步說明。第5圖是根據本發明實施例的視訊圖框的第一分區設計。一個視訊圖框IMG具有複數個編碼塊列(例如，MB列，SB列或者CTU列)：列0,列1,列2,...,列n，每行具有複數個編碼塊(例如，MB，SB或者CTU)。在第一分區設計中，每個編碼塊列是一個切片。因此，視訊圖框IMG被分區成切片0,切片1,切片2,...,切片n。第6圖是根據本發明實施例的視訊圖框的第二分區設計。一個視訊圖框IMG具有複數個編碼塊列(例如，MB列，SB列或者CTU列)：列0,列1,列2,...,列n，每列具有複數個編碼塊(例如，MB，SB或者CTU)。在第二分區設計中，每個編碼塊列包含複數個切片。因此，視訊圖框IMG被分區成切片0,0-切片0,m，切片1,0-切片1,m，切片2,0-切片2,m，...，切片n,0-切片n,m。在一個視訊圖框被分區成複數個切片的前提下，可以使用視訊發送系統100和視訊接收系統120，其中，切片能夠包含一個編碼塊列(例如，MB/SB/CTU列)的部分或者全部編碼資料，但是不能包含複數個編碼塊列(例如，MB/SB/CTU列)的部分或者全部編碼資料。
包含在視訊發送系統100內的視訊編碼器104使用基於管線結構的編碼塊(例如，基於管線結構的CTU列)，以有效降低編碼延時。例如，當一個CTU列的像素資料準備好時，視訊編碼器104可以開始編碼視訊圖框內的該CTU列。第7圖是根據本發明實施例的視訊編碼器的示意圖。第1圖中的視訊編碼器104可以由第7圖中的視訊編碼器700來實現，第1圖中的源緩衝器102可以由第7圖中的基於CTU列的環形緩衝器701來實現，並且圖1中的位元流緩衝器106可以由圖7中的基於切片的環形緩衝器705來實現。基於CTU列的環形緩衝器701能夠存儲 至少一個CTU列的源資料，並且基於切片的環形緩衝器705能夠存儲至少一個切片的編碼資料。視訊編碼器700包含處理電路702和熵編碼器703。由於環形緩衝器的內部特性，基於CTU列的環形緩衝器701內的存儲空間用於存儲視訊圖框內的一個CTU列的像素資料，並可重用於存儲同一視訊圖框內的另一個CTU列的像素資料。基於切片的環形緩衝器705內的存儲空間用於存儲視訊圖框內的一個切片的編碼像素資料，並可重用於存儲同一視訊圖框內另一切片的編碼像素資料。處理電路702用於處理視訊圖框的像素資料D_IN(特別是視訊圖框內的一個CTU的像素資料)以產生編碼相關資料(encoding-related data)D_OUT，其中編碼相關資料D_OUT至少包含量化後的變換係數。根據所使用的編碼標準，編碼相關資料D_OUT進一步包含圖框內預測資料、環路濾波器控制資料、運動資料和/或控制資料。在本實例中，處理電路702包含殘差產生電路712、變換電路(用“T”表示)714、量化電路(用“Q”表示)716、碼率失真優化和模式決策電路(用“RDO/模式決策”表示)718、逆量化電路(用“IQ”表示)720、逆變換電路(用“IT”表示)722、重構電路724、環路濾波器(例如，去塊濾波器(deblocking filter，DF)726)、參考圖框緩衝器728、運動估計和運動補償電路(用ME/MC表示)730、圖框內預測電路(用“IP”表示)732和圖框間/圖框內模式選擇電路734。由於所屬技術領域中具有習知技術者很容易理解包含在處理電路702內的這些電路元件712-734，為了簡潔，此處將不作進一步描述。
熵編碼器703具有算術編碼引擎704，其用於對處理電路702所產生的編碼相關資料D_OUT(其至少包含量化的變換係數)進行算術編碼。例如，算術編碼引擎704可以是CABAC編碼器。因此，熵編碼器703所產生的編碼視訊位元流BS是算術編碼位元流(例如，CABAC編碼位元流)。編碼視訊位元流BS的資料存儲在基於切片的環形緩衝器705內。
為了實現更好的解碼性能，上述在解碼器部分的兩階段語法解析方 案將算術解碼與UBE語法解碼(其是非算術解碼，如霍夫曼(Huffman)解碼、一元解碼或者指數哥倫布(Exp-Golomb)解碼)進行分離。然而，由兩階段語法解析方案的算術解碼所引起的延時是不可避免的。為了進一步減低解碼延時以滿足超低延時應用的嚴格要求，如VR應用，本發明進一步提出修改後的視訊編碼器設計和修改後的視訊解碼器設計。
第8圖是根據本發明實施例的修改後的視訊編碼器的示意圖。第1圖中的視訊編碼器104可以由第8圖中的視訊編碼器800來實現。第7圖中的視訊編碼器700與第8圖中的視訊編碼器800的主要區別在於視訊編碼器800使用UBE語法編碼器803。這樣，UBE語法編碼器803用於處理複數個語法元素以產生視訊位元流BSUBE，該視訊位元流BSUBE由UBE語法資料構成。處理電路702所產生的編碼相關資料D_OUT(其至少包含量化後的變換係數)用語法元素表示。UBE語法編碼器藉由使用非算術編碼(如霍夫曼編碼、一元編碼或者指數哥倫布編碼)來產生UBE語法資料。應注意，處理電路702根據視訊編碼標準(例如HEVC)進行操作，其中視訊編碼標準支持算術編碼(例如CABAC)。但是由於使用非算術編碼，UBE語法編碼器803所產生的UBE語法資料不包含算術編碼後的語法資料。
相對於熵編碼器703所使用的算術編碼，UBE語法編碼器803所使用的非算術編碼(例如，霍夫曼編碼、一元解碼或者指數哥倫布編碼)具有更快的處理速度，並且需要更簡單的硬件實現。因此，相對於視訊編碼器700，視訊編碼器800的成本更低，延時更低。
第9圖是根據本發明實施例的修改後的視訊解碼器的示意圖。第1圖中的視訊解碼器128可以由第9圖中的視訊解碼器900來實現，第1圖中的位元流緩衝器126可以由第9圖中的位元流緩衝器901來實現。第2圖中的視訊解碼器200與第9圖中的視訊解碼器900的主要區別在於，視訊解碼器900省去了語法解析電 路202(其使用算術解碼器203)和UBE語法資料緩衝器206。因此，視訊解碼器900直接接收來自於位元流緩衝器901(例如，第8圖中的基於切片的環形緩衝器)且由UBE語法資料所構成的視訊位元流BSUBE。UBE語法解碼器212處理視訊位元流BSUBE的UBE語法資料以產生複數個解碼語法元素，其中編碼相關資料用編碼語法元素來表示，並且至少包含量化後的變換係數。根據所採用的編碼標準，編碼相關資料可以進一步包含圖框內預測資料、環路濾波器控制資料、運動資料和/或控制資料。處理電路213處理該編碼相關資料以重構視訊圖框的像素資料。應注意，處理電路213根據視訊編碼標準(如HEVC)進行操作。然而，饋入到UBE語法編碼器212的UBE語法資料不包含算術編碼的語法資料。
相對於語法解析電路202(其使用算術解碼器203)所使用的算術解碼，UBE語法解碼器212所使用的非算術解碼(例如，霍夫曼解碼、一元解碼或者指數哥倫布解碼)具有更快的處理速度，並且需要更簡單的硬件實現。進一步地，由於視訊解碼器900沒有使用兩階段語法解析方案，視訊解碼器900無需位於語法解析器與後解碼器之間的UBE語法資料緩衝器。因此，相對於視訊解碼器200，視訊編碼器900的成本更低，延時更低。
當特殊應用(如VR應用)採用第1圖中的視訊發送系統100和視訊接收系統120時，視訊發送系統100有可能接收來自不止一個視訊源10的視訊圖框。若視訊發送系統100具有一個用於視訊編碼一個視訊源的視訊編碼器104，視訊接收系統120具有一個擁有視訊解碼一個視訊源的視訊解碼器128，則使用多組視訊編解碼器(encoder and decoder，CODEC)。但是，這樣成本高。本發明提出將複數個視訊圖框合併成單個視訊圖框，然後編碼該單個視訊圖框以用於資料傳輸。這樣，單組視訊編解碼器能夠同時對複數個視訊源進行視訊編碼和視訊解碼。
第10圖是根據本發明實施例的視訊處理系統的示意圖。視訊處理系 統1000可以是視訊發送系統的一部分。如第10圖所示，視訊處理系統100包含合併電路1002和視訊編碼器1004。在一個示例設計中，視訊編碼器1004可以由第7圖中的視訊編碼器700來實現。在另一示例設計中，視訊編碼器1004可以由第8圖中的視訊編碼器800來實現。視訊處理系統1000耦接到複數個視訊源10_1-10_N(例如，攝像機或者服務器)。視訊源10_1-10_N提供複數個輸入視訊圖框IMG_1-IMG_N給合併電路1002。例如，輸入視訊圖框IMG_1-IMG_N存儲在複數個源緩衝器(未示出)內，並且合併電路1002從源緩衝器內獲取輸入視訊圖框IMG_1-IMG_N。合併電路1002將複數個視訊圖框進行合併以創建一個合併視訊圖框IMGM，其中包含在該合併視訊圖框IMGM的視訊圖框分別來自於輸入視訊圖框IMG_1-IMG_N。例如，包含在該合併視訊圖框IMGM的一個視訊圖框可以是由一個視訊源所開始提供的輸入視訊圖框，或者可以是藉由縮放由一個視訊源所開始提供的輸入視訊圖框所產生的縮放視訊圖框。
合併視訊圖框IMGM是由從輸入視訊圖框IMG_1-IMG_N所提取的像素資料構成的單個視訊圖框，並且被饋入到視訊編碼器1004。當視訊編碼器1004由第7圖中的視訊編碼器700來實現時，產生包含算術編碼資料的編碼視訊位元流BS，以用於該合併視訊圖框IMGM。當視訊編碼器1004由第8圖中的視訊編碼器800來實現時，產生不包含算術編碼資料的視訊位元流BSUBE，以用於該合併視訊圖框IMGM。
在本發明的一些實施例中，視訊源10_1-10_N可以是同時捕獲輸入視訊圖框IMG_1-IMG_N的攝像機。這樣，待合併成單個視訊圖框的輸入視訊圖框IMG_1-IMG_N可以具有相同的時間戳。由於每個合併視訊圖框由具有相同時間戳的輸入視訊圖框所構成，很容易在不同視訊源之間進行時間同步。
不同的視訊源10_1-10_N提供輸入視訊圖框。這樣，輸入視訊圖框IMG_1-IMG_N的大小無需相同。合併電路1002採用合併方案以組合輸入視訊圖 框IMG_1-IMG_N。
第11圖是根據本發明實施例的第一合併方案的示意圖。如第11圖所示，包含在合併視訊圖框IMGM內的視訊圖框是視訊源10_1-10_N所開始提供的輸入視訊圖框IMG1-IMGN。此外，輸入視訊圖框IMG1-IMGN的底部與該合併視訊圖框IMGM的底部對齊。如第11圖所示，包含在該合併視訊圖框IMGM內的第一視訊圖框(例如輸入視訊圖框IMG1)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第一部分，包含在該合併視訊圖框IMGM內的第二視訊圖框(例如輸入視訊圖框IMG2)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第二部分，包含在該合併視訊圖框IMGM內的第三視訊圖框(例如輸入視訊圖框IMG3)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第三部分，以及包含在該合併視訊圖框IMGM內的第N視訊圖框(例如輸入視訊圖框IMGN)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第N部分。由於輸入視訊圖框IMG1-IMGN的高度無需相同，該合併視訊圖框IMGM具有沒有被輸入視訊圖框IMG1-IMGN中任何一個所佔用的區域1102，為了改善編碼效率，填充到該區域1102內的所有虛擬像素均可以有目的地設置成相同的像素值。
第12圖是根據本發明實施例的第二合併方案的示意圖。如第12圖所示，包含在該合併視訊圖框IMGM內的視訊圖框包含縮放視訊圖框，每個縮放視訊圖框由合併電路1002藉由縮放一個由一個視訊源初始提供的輸入視訊圖框而產生的。此外，視訊圖框(其包含縮放視訊圖框)的底部與該合併視訊圖框IMGM的底部對齊。如第12圖所示，包含在該合併視訊圖框IMGM內的第一視訊圖框(例如輸入視訊圖框IMG1)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第一部分，包含在該合併視訊圖框IMGM內的第二視訊圖框(例如輸入視訊圖框IMG2)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第 二部分，包含在該合併視訊圖框IMGM內的第三視訊圖框(例如，由縮放視訊圖框IMG3所產生的縮放視訊圖框IMG3’)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第三部分，以及包含在該合併視訊圖框IMGM內的第N視訊圖框(例如，由縮放視訊圖框IMGN所產生的縮放視訊圖框IMGN’)的最底像素列是該合併視訊圖框IMGM的最底像素列Row_B的第N部分。在本實例中，每個縮放視訊圖框的高度等於該合併視訊圖框IMGM的高度。但是，此僅用作示例目的，並不用於限制本發明。實際上，根據實際設計考慮，可以調整輸入視訊圖框的縮放比例。
第13圖是根據本發明實施例的第三合併方案的示意圖。如第13圖所示，包含在合併視訊圖框IMGM內的視訊圖框是由視訊源10_1-10_N初始提供的輸入視訊圖框IMG1-IMGN。此外，輸入視訊圖框IMG1-IMGN的頂部與該合併視訊圖框IMGM的頂部對齊。如第13圖所示，包含在該合併視訊圖框IMGM內的第一視訊圖框(例如輸入視訊圖框IMG1)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第一部分，包含在該合併視訊圖框IMGM內的第二視訊圖框(例如輸入視訊圖框IMG2)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第二部分，包含在該合併視訊圖框IMGM內的第三視訊圖框(例如輸入視訊圖框IMG3)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第三部分，以及包含在該合併視訊圖框IMGM內的第N視訊圖框(例如輸入視訊圖框IMGN)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第N部分。由於輸入視訊圖框IMG1-IMGN的高度無需相同，該合併視訊圖框IMGM具有沒有被輸入視訊圖框IMG1-IMGN中任何一個所佔用的區域1302，為了改善編碼效率，填充到該區域1302內的所有虛擬像素均可以有目的地設置成相同的像素值。
第14圖是根據本發明實施例的第四合併方案的示意圖。如第14圖所 示，包含在該合併視訊圖框IMGM內的視訊圖框包含縮放視訊圖框，每個縮放視訊圖框由合併電路1002藉由縮放一個由一個視訊源初始提供的輸入視訊圖框而產生。此外，視訊圖框(其包含縮放視訊圖框)的頂部與該合併視訊圖框IMGM的頂部對齊。如第14圖所示，包含在該合併視訊圖框IMGM內的第一視訊圖框(例如輸入視訊圖框IMG1)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第一部分，包含在該合併視訊圖框IMGM內的第二視訊圖框(例如輸入視訊圖框IMG2)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第二部分，包含在該合併視訊圖框IMGM內的第三視訊圖框(例如，藉由縮放視訊圖框IMG3所產生的縮放視訊圖框IMG3’)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第三部分，以及包含在該合併視訊圖框IMGM內的第N視訊圖框(例如，藉由縮放視訊圖框IMGN所產生的縮放視訊圖框IMGN’)的最上像素列是該合併視訊圖框IMGM的最上像素列Row_T的第N部分。在本實例中，每個縮放視訊圖框的高度等於該合併視訊圖框IMGM的高度。但是，此僅用作示例目的，並不用於限制本發明。實際上，根據實際設計考慮，可以調整輸入視訊圖框的縮放比例。
第15圖是根據本發明實施例的第五合併方案的示意圖。如第15圖所示，包含在合併視訊圖框IMGM內的視訊圖框是由視訊源10_1-10_N初始提供的輸入視訊圖框IMG1-IMGN。在第五合併方案中，對視訊圖框打補丁(patch)以形成該合併視訊圖框IMGM。這樣，該合併視訊圖框IMGM的垂直方向上合併了一些視訊圖框。在本實例中，輸入視訊圖框IMG1-IMGN中的一些的左側與該合併視訊圖框IMGM的同一像素行對齊。如第15圖所示，包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG3)的最左像素行是該合併視訊圖框IMGM的第一像素行Column_1的第一部分，以及包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如輸入視訊圖框IMG4)的最左像素行是該合併視 訊圖框IMGM的第一像素行Column_1的第二部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG5)的最左像素行是該合併視訊圖框IMGM的第二像素行Column_2的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如輸入視訊圖框IMG6)的最左像素行是該合併視訊圖框IMGM的第二像素行Column_2的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如輸入視訊圖框IMG7)的最左像素行是該合併視訊圖框IMGM的第二像素行Column_2的第三部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMGN-2)的最左像素行是該合併視訊圖框IMGM的第三像素行Column_3的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如輸入視訊圖框IMGN-1)的最左像素行是該合併視訊圖框IMGM的第三像素行Column_3的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如輸入視訊圖框IMGN)的最左像素行是該合併視訊圖框IMGM的第三像素行Column_3的第三部分。由於輸入視訊圖框IMG1-IMGN的寬度無需相同，該合併視訊圖框IMGM具有沒有被輸入視訊圖框IMG1-IMGN中任何一個所佔用的區域1502，為了改善編碼效率，填充到該區域1502內的所有虛擬像素均可以有目的地設置成相同的像素值。
第16圖是根據本發明實施例的第六合併方案的示意圖。如第16圖所示，包含在該合併視訊圖框IMGM內的視訊圖框包含縮放視訊圖框，每個縮放視訊圖框由合併電路1002藉由縮放一個由一個視訊源初始提供的輸入視訊圖框而產生。在第六合併方案中，對視訊圖框(其包含縮放視訊圖框)打補丁以形成該合併視訊圖框IMGM。這樣，該合併視訊圖框IMGM的垂直方向上合併了一些視訊圖框(其包含縮放視訊圖框)。在本實例中，輸入視訊圖框IMG1-IMGN中的一些的左側與該合併視訊圖框IMGM的同一像素行對齊。如第16圖所示，包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG3)的最左像 素行是該合併視訊圖框IMGM的第一像素行Column_1的第一部分，以及包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，藉由縮放輸入視訊圖框IMG4所產生的縮放視訊圖框IMG4’)的最左像素行是該合併視訊圖框IMGM的第一像素行Column_1的第二部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG5)的最左像素行是該合併視訊圖框IMGM的第二像素行Column_2的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，藉由縮放輸入視訊圖框IMG6所產生的縮放視訊圖框IMG6’)的最左像素行是該合併視訊圖框IMGM的第二像素行Column_2的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如，藉由縮放輸入視訊圖框IMG7所產生的縮放視訊圖框IMG7’)的最左像素行是該合併視訊圖框IMGM的第二像素行Column_2的第三部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMGN-2)的最左像素行是該合併視訊圖框IMGM的第N像素行Column_3的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，藉由縮放輸入視訊圖框IMGN-1所產生的縮放視訊圖框IMGN-1’)的最左像素行是該合併視訊圖框IMGM的第三像素行Column_3的第二部分，以及包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，藉由縮放輸入視訊圖框IMGN所產生的縮放視訊圖框IMGN’)的最左像素行是該合併視訊圖框IMGM的第三像素行Column_3的第三部分。在本實例中，關於左側與該合併視訊圖框IMGM的同一像素行對齊的視訊圖框，每個縮放視訊圖框的寬度等於一個視訊源所開始提供的一個輸入視訊圖框的寬度。但是，此僅用作示例目的，並不用於限制本發明。實際上，根據實際設計考慮，可以調整輸入視訊圖框的縮放比例。
第17圖是根據本發明實施例的第七合併方案的示意圖。如第17圖所示，包含在合併視訊圖框IMGM內的視訊圖框是由視訊源10_1-10_N初始提供的輸入視訊圖框IMG1-IMGN。在第七合併方案中，對視訊圖框打補丁以形成該合 併視訊圖框IMGM。這樣，該合併視訊圖框IMGM的垂直方向上合併了一些視訊圖框。在本實例中，輸入視訊圖框IMG1-IMGN中的一些的右側與該合併視訊圖框IMGM的同一像素行對齊。如第17圖所示，包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG3)的最右像素行是該合併視訊圖框IMGM的第一像素行Column_1的第一部分，以及包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如輸入視訊圖框IMG4)的最右像素行是該合併視訊圖框IMGM的第一像素行Column_1的第二部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG5)的最右像素行是該合併視訊圖框IMGM的第二像素行Column_2的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如輸入視訊圖框IMG6)的最右像素行是該合併視訊圖框IMGM的第二像素行Column_2的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如輸入視訊圖框IMG7)的最右像素行是該合併視訊圖框IMGM的第二像素行Column_2的第三部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMGN-2)的最右像素行是該合併視訊圖框IMGM的第三像素行Column_3的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如輸入視訊圖框IMGN-1)的最右像素行是該合併視訊圖框IMGM的第三像素行Column_3的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如輸入視訊圖框IMGN)的最右像素行是該合併視訊圖框IMGM的第三像素行Column_3的第三部分。由於輸入視訊圖框IMG1-IMGN的寬度無需相同，該合併視訊圖框IMGM具有沒有被輸入視訊圖框IMG1-IMGN中任何所佔用的區域1702，為了改善編碼效率，填充到該區域1702內的所有虛擬像素均可以有目的地設置成相同的像素值。
第18圖是根據本發明實施例的第八合併方案的示意圖。如第18圖所示，包含在該合併視訊圖框IMGM內的視訊圖框包含縮放視訊圖框，每個縮放視 訊圖框由合併電路1002藉由縮放一個由一個視訊源初始提供的輸入視訊圖框而產生。在第八合併方案中，對視訊圖框(其包含縮放視訊圖框)打補丁以形成該合併視訊圖框IMGM。這樣，該合併視訊圖框IMGM的垂直方向上合併了一些視訊圖框(其包含縮放視訊圖框)。在本實例中，輸入視訊圖框IMG1-IMGN中的一些的右側與該合併視訊圖框IMGM的同一像素行對齊。如第18圖所示，包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG3)的最右像素行是該合併視訊圖框IMGM的第一像素行Column_1的第一部分，以及包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，由縮放輸入視訊圖框IMG4所產生的縮放視訊圖框IMG4’)的最右像素行是該合併視訊圖框IMGM的第一像素行Column_1的第二部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMG5)的最右像素行是該合併視訊圖框IMGM的第二像素行Column_2的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，由縮放輸入視訊圖框IMG6所產生的縮放視訊圖框IMG6’)的最右像素行是該合併視訊圖框IMGM的第二像素行Column_2的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如，由縮放輸入視訊圖框IMG7所產生的縮放視訊圖框IMG7’)的最右像素行是該合併視訊圖框IMGM的第二像素行Column_2的第三部分；包含在該合併視訊圖框IMGM內的一個視訊圖框(例如輸入視訊圖框IMGN-2)的最右像素行是該合併視訊圖框IMGM的第N像素行Column_3的第一部分，包含在該合併視訊圖框IMGM內的另一個視訊圖框(例如，由縮放輸入視訊圖框IMGN-1所產生的縮放視訊圖框IMGN-1’)的最右像素行是該合併視訊圖框IMGM的第三像素行Column_3的第二部分，以及包含在該合併視訊圖框IMGM內的還另一個視訊圖框(例如，由縮放輸入視訊圖框IMGN所產生的縮放視訊圖框IMGN’)的最右像素行是該合併視訊圖框IMGM的第三像素行Column_3的第三部分。在本實例中，關於右側與該合併視訊圖框IMGM的同一像 素行對齊的視訊圖框，每個縮放視訊圖框的寬度等於一個視訊源所開始提供的一個輸入視訊圖框的寬度。但是，此僅用作示例目的，並不用於限制本發明。實際上，根據實際設計考慮，可以調整輸入視訊圖框的縮放比例。
所屬領域具有習知技術者易知，可在保持本發明的教示內容的同時對裝置及方法作出諸多修改及變動。因此，以上公開內容應被視為僅受隨附權利要求書的範圍的限制。

Claims (12)

  1. 一種視訊處理系統，包含：合併電路，用於接收複數個輸入視訊圖框，並將複數個視訊圖框進行合併以創建合併視訊圖框，其中該複數個視訊圖框分別從該複數個輸入視訊圖框中獲得，該複數個輸入視訊圖框包含具有第一解析度的第一輸入視訊圖框以及具有第二解析度的第二輸入視訊圖框，並且該第一解析度與該第二解析度不同；以及視訊編碼器，用於編碼該合併視訊圖框以輸出位元流。
  2. 如申請專利範圍第1項所述之視訊處理系統，其中該複數個視訊圖框包含從該第一輸入視訊圖框中獲得的第一視訊圖框以及從該第二輸入視訊圖框中獲得的第二視訊圖框；包含在該合併視訊圖框內的該第一視訊圖框的最上像素列是該合併視訊圖框的最上像素列的第一部分，以及包含在該合併視訊圖框內的該第二視訊圖框的最上像素列是該合併視訊圖框的最上像素列的第二部分。
  3. 如申請專利範圍第2項所述之視訊處理系統，其中該合併電路進一步用於縮放該第一輸入視訊圖框和該第二輸入視訊圖框中的至少一個以產生至少一個縮放視訊圖框，且該第一視訊圖框和該第二視訊圖框包含該至少一個縮放視訊圖框。
  4. 如申請專利範圍第1項所述之視訊處理系統，其中該複數個視訊圖框包含從該第一輸入視訊圖框中獲得的第一視訊圖框以及從該第二輸入視訊圖框中獲得的第二視訊圖框；包含在該合併視訊圖框內的該第一視訊圖框的最底像素列是該合併視訊圖框的最底像素列的第一部分，以及包含在該合併視訊圖框內的該第二視訊圖框的最底像素列是該合併視訊圖框的最底像素列的第二部分。
  5. 如申請專利範圍第4項所述之視訊處理系統，其中該合併電路進一步用於縮放該第一輸入視訊圖框和該第二輸入視訊圖框中的至少一個以產生至少一個縮放視訊圖框，且該第一視訊圖框和該第二視訊圖框包含該至少一個縮放視訊圖框。
  6. 如申請專利範圍第1項所述之視訊處理系統，其中該複數個視訊圖框包含從該第一輸入視訊圖框中獲得的第一視訊圖框以及從該第二輸入視訊圖框中獲得的第二視訊圖框；包含在該合併視訊圖框內的該第一視訊圖框的最左像素行是該合併視訊圖框的像素行的第一部分，以及包含在該合併視訊圖框內的該第二視訊圖框的最左像素行是該合併視訊圖框的像素行的第二部分。
  7. 如申請專利範圍第6項所述之視訊處理系統，其中該合併電路進一步用於縮放該第一輸入視訊圖框和該第二輸入視訊圖框中的至少一個以產生至少一個縮放視訊圖框，且該第一視訊圖框和該該第二視訊圖框包含該至少一個縮放視訊圖框。
  8. 如申請專利範圍第1項所述之視訊處理系統，其中該複數個視訊圖框包含從該第一輸入視訊圖框中獲得的第一視訊圖框以及從該第二輸入視訊圖框中獲得的第二視訊圖框；包含在該合併視訊圖框內的該第一視訊圖框的最右像素行是該合併視訊圖框的像素行的第一部分，以及包含在該合併視訊圖框內的該第二視訊圖框的最右像素行是該合併視訊圖框的像素行的第二部分。
  9. 如申請專利範圍第8項所述之視訊處理系統，其中該合併電路進一步用於縮放該第一輸入視訊圖框和該第二輸入視訊圖框中的至少一個以產生至少一個縮放視訊圖框，且該第一視訊圖框和該第二視訊圖框包含該至少一個縮放視訊圖框。
  10. 如申請專利範圍第1項所述之視訊處理系統，其中該合併電路分別接收來自不同的視訊源的該複數個輸入視訊圖框。
  11. 如申請專利範圍第1項所述之視訊處理系統，其中該複數個輸入視訊圖框具有相同的時間戳。
  12. 如申請專利範圍第1項所述之視訊處理系統，其中該視訊編碼器包含：處理電路，用於處理該合併視訊圖框的像素資料以產生編碼相關資料，其中該編碼相關資料至少包含量化後的變換係數；通用二進制熵語法編碼器，用於處理複數個語法元素以產生通用二進制熵語法資料；其中，該編碼相關資料由該複數個語法元素表示，該處理電路根據視訊編碼標準進行操作，該視訊編碼標準支持算術編碼，並且該通用二進制熵語法資料不包含算術編碼的語法資料。
TW106122459A 2016-07-12 2017-07-05 一種使用低成本的視訊編碼/解碼架構的視訊處理系統 TWI652933B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662361113P 2016-07-12 2016-07-12
US62/361,113 2016-07-12
US15/641,224 US10412390B2 (en) 2016-07-12 2017-07-04 Video processing system using low-cost video encoding/decoding architecture
US15/641,224 2017-07-04

Publications (2)

Publication Number Publication Date
TW201813384A TW201813384A (zh) 2018-04-01
TWI652933B true TWI652933B (zh) 2019-03-01

Family

ID=60940805

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106122459A TWI652933B (zh) 2016-07-12 2017-07-05 一種使用低成本的視訊編碼/解碼架構的視訊處理系統

Country Status (3)

Country Link
US (1) US10412390B2 (zh)
CN (1) CN109218725B (zh)
TW (1) TWI652933B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
US8559746B2 (en) * 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
EP2362653A1 (en) * 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
CN102375978A (zh) * 2010-08-17 2012-03-14 富士通株式会社 处理图像的方法和设备
US8768069B2 (en) * 2011-02-24 2014-07-01 Sony Corporation Image enhancement apparatus and method
EP2629247B1 (en) * 2012-02-15 2014-01-08 Alcatel Lucent Method for mapping media components employing machine learning
US9264706B2 (en) 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
US20140003504A1 (en) * 2012-07-02 2014-01-02 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
TWI653877B (zh) 2012-10-12 2019-03-11 韓國電子通信研究院 視訊編碼及解碼方法及使用該方法之裝置
US9819849B1 (en) * 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
TW201501516A (zh) 2013-06-24 2015-01-01 Taiwan Secom Co Ltd 多訊源影像串流顯示系統、多訊源影像串流顯示裝置及其方法
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US9344626B2 (en) * 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9866878B2 (en) * 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10250912B2 (en) 2015-02-17 2019-04-02 Mediatek Inc. Method and apparatus for entropy decoding with arithmetic decoding decoupled from variable-length decoding
CN104754366A (zh) * 2015-03-03 2015-07-01 腾讯科技（深圳）有限公司 音视频文件直播方法、装置和系统
GB2555722B (en) * 2015-03-09 2021-06-23 Synaptive Medical Inc A surgical camera system with automatic alternation between two depths of field
CN104811622B (zh) * 2015-04-30 2017-03-15 努比亚技术有限公司 图像色彩移植方法及装置
US10063790B2 (en) * 2015-10-05 2018-08-28 Woncheol Choi Virtual flying camera system

Also Published As

Publication number Publication date
US20180020221A1 (en) 2018-01-18
TW201813384A (zh) 2018-04-01
CN109218725A (zh) 2019-01-15
US10412390B2 (en) 2019-09-10
CN109218725B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
US6917310B2 (en) Video decoder and encoder transcoder to and from re-orderable format
US10250885B2 (en) System and method for intracoding video data
US9838715B2 (en) Image processing apparatus and method
US6927710B2 (en) Context based adaptive binary arithmetic CODEC architecture for high quality video compression and decompression
KR102127370B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
US7606312B2 (en) Intra coding video data methods and apparatuses
KR100215444B1 (ko) 더 낮은 레벨에서의 부호화된 복수 채널의 비데오데이터를 복호화하기 위한 더 높은 레벨의 복호화성능을 갖는 복호화 장치
US8532192B2 (en) Video processing apparatus and a method of processing video data
JP6792685B2 (ja) ビデオフレームを符号化する方法および装置
CA2950180C (en) Acceleration of context adaptive binary arithmetic coding (cabac) in video codecs
TW202133616A (zh) 視訊編解碼中的畫面標頭訊框內隨機存取畫面和漸進解碼器刷新訊號傳遞
US10382773B1 (en) Video data encoding using reference picture lists
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
TWI652933B (zh) 一種使用低成本的視訊編碼/解碼架構的視訊處理系統
US9344720B2 (en) Entropy coding techniques and protocol to support parallel processing with low latency
US20060227865A1 (en) Unified architecture for inverse scanning for plurality of scanning scheme
JP2008187694A (ja) 画像符号化装置およびその方法
KR20060027831A (ko) 신호를 비트 스트림으로 인코딩하는 방법
KR100195717B1 (ko) 가변 길이 복호기
EP3149948A1 (en) Acceleration of context adaptive binary arithmetic coding (cabac) in video codecs
JP2008113348A (ja) 符号化復号装置、復号方法、並びにプログラム
EP1750452A1 (en) Apparatus for intra coding video data

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees