TW201813387A - 低延遲視頻編碼之裝置與方法 - Google Patents

低延遲視頻編碼之裝置與方法 Download PDF

Info

Publication number
TW201813387A
TW201813387A TW106122826A TW106122826A TW201813387A TW 201813387 A TW201813387 A TW 201813387A TW 106122826 A TW106122826 A TW 106122826A TW 106122826 A TW106122826 A TW 106122826A TW 201813387 A TW201813387 A TW 201813387A
Authority
TW
Taiwan
Prior art keywords
module
video
data
video encoding
storage
Prior art date
Application number
TW106122826A
Other languages
English (en)
Inventor
吳東興
蔡宗樺
李韋謦
陳聯霏
陳立恆
周漢良
林亭安
黃翊鑫
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201813387A publication Critical patent/TW201813387A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種具有低延遲的視訊編碼的裝置與方法。該裝置包含一視訊編碼模組來編碼輸入視訊資料為壓縮視訊資料，一或複數個處理模組來提供該輸入視訊資料至該視訊編碼模組或者進一步處理來自該視訊編碼模組之壓縮的視訊資料，以及與每一處理模組相關的一資料儲存器，來儲存或者提供在該視訊編碼模組與每一處理模組之間共用的資料。該編碼模組與每一處理模組係設置為藉由協調該視訊編碼模組與一處理模組來管理一資料儲存器之資料存取，以在來自該視訊編碼模組與一處理模組中的另一個的目標共享資料在該資料儲存器中準備好之後，從該資料儲存器接收該目標共享資料。

Description

低延遲視頻編碼之裝置與方法
本發明與視訊編碼相關。具體來說，本發明係關於藉由管理在複數個處理模組之間的資料存取與處理時間之非常低延遲(low-latency)視訊編碼。
視訊資料需要較大的儲存空間來儲存或者需要較寬的頻寬來傳輸。隨著高分辨率與較高幀率的發展，如果視訊資料係以非壓縮形式來儲存與傳輸，其儲存與傳輸的需求將是難以處理的。因此，視訊資料通常係使用視訊編碼技術以壓縮的形式來儲存與傳輸。藉由使用較新的視訊壓縮格式，例如.264/AVC、VP8、VP9與增強HEVC(High Efficiency Video Coding)標準，編碼效率得到顯著提高。為了保持可處理的複雜度，一圖像通常分割為複數個區塊，例如宏區塊(MB,macroblock)或者LCU/CU來應用視訊編碼。視訊編碼標準通常基於區塊來適用於幀間/幀內預測(Inter/Intra prediction)。
在視訊編碼系統中，所涉及的編碼與解碼處理通常需要大量計算。該些計算可能在編碼器端與解碼器端導致一些延遲。針對一些實時應用，例如現場直播，將不希望出現長延遲。針對互動應用，例如遠程處理(tele-presence)，長延遲 係令人厭惡並且將導致較差的用戶體驗。因此，需要設計一種具有非常低延遲的視訊編碼系統。
第1圖係從一源端至一接收端之一視訊鏈接之舉例說明，包含了在源端之視訊編碼與在接收端之視訊解碼。視訊鏈接源端可對應至一視訊錄製或者傳輸系統，來產生壓縮的視訊資料，以記錄或者傳輸。視訊接收端可對應視訊播放器或者接收系統來產生解碼的視訊資料以播放。針對錄製應用或者經由Wi-Fi、因特網或者其他傳輸環境的傳輸應用，壓縮的視訊可在多種儲存介質中儲存。在第1圖中，系統110對應錄製或者傳輸系統，並且系統120對應播放或者接收系統。在錄製或者傳輸系統110中，該視訊源係使用視訊編碼器112來編碼，以產生壓縮的視訊。通常，該係統亦包含相關的聲頻資料。視訊/聲頻(Audio/Video,A/V)訊號係使用A/V多工器(A/V MUX)114來組合。該多工的聲頻與視訊資料可錄製或者傳輸。在第1圖中，顯示了使用Wi-Fi MAC 116來傳輸多工的音頻與視訊資料。在播放或者接收系統120中，視訊比特流係使用視訊解碼器122來解碼，以產生解碼的視訊來在顯示引擎124上顯示。相關的音頻資料可使用A/V解多工(A/V DEMUX)126來解多工。在第1圖中，顯示了使用Wi-Fi MAC 128接收多工的音頻與視訊資料的例子。
該視訊資料通常係以一預定的幀率產生與播放。舉例來說，該視訊可具有幀率120fps(幀每秒，frames per second)。在這種情況下，每一幀週期對應8.33毫秒(ms,millisecond)。對於實時處理來說，每一幀需要以在8.33ms 之內解碼來編碼。第2A圖係在錄製系統中的視訊錄製路徑的舉例說明，其中該視訊源係使用視訊編碼器210來編碼，以產生視訊比特流。該視訊比特流接著藉由MUX212來與音頻資料一同多工，以產生壓縮額A/V資料，來儲存或者傳輸。視訊編碼器210與MUX212將需要時間來處理資料。從視訊資料之區塊進入視訊編碼器210的時刻開始至對應的壓縮資料離開MUX212的時刻止，期間具有處理延遲。該延遲係稱作錄製或者傳輸延遲。第2B圖係在顯示系統中的視訊播放路徑的舉例說明，其中該壓縮的A/V資料係藉由解多工器(DEMUX)220來解多工，以提取視訊比特流，其提供給視訊解碼器222來產生重建幀，提供給顯示224。解多工器220、視頻解碼器與顯示224將需要時間來處理資料。在與視訊資料之區塊相關的A/V資料進入DEMUX 220的時刻至對應的重建資料在顯示224上顯示的時刻，存在處理延遲。該延遲被稱為播放或者接收延遲。在一視訊鏈接中，端至端延遲(亦即(錄製延遲+播放延遲)或者(傳輸延遲+接收延遲))在一些視訊應用中具有重要的地位，例如針對實時應用。本發明之設計目標係最小化一視訊鏈接中的端至端延遲。舉例來說，該延遲可以幀週期為單位來測量。因此，本發明之目標係最小化該延遲，是的該延遲低於N幀週期。在另一個例子中，該延遲係以毫秒為單位來測量。因此，本發明之目標係最小化該延遲，是的該延遲低於x毫秒。
第3圖係結合環路處理(loop processing)之適應性幀間/幀內視訊編碼系統之舉例說明。針對幀間預測，運動估計(ME)/運動補償(MC)312係用來基於來自其他圖像或者其他 複數個圖像的視訊資料來提供預測資料。開關314選擇幀內預測310或者幀間預測資料，並且選擇的預測資料係提供至加法器316，來形成預測誤差，亦稱為殘餘(residues)。該預測誤差接著被變換(Transform，簡寫為T)318與後續的量化(Quantization，簡寫為Q)320處理。該轉換的與量化的殘餘係提供給率失真最優化(Rate Distortion Optimization,RDO)/模式決定單元(Mode Decision unit)321來以率與失真的角度估計相關的編碼模式之成本。該編碼器接著選擇一模式，並且獲得以率-失真成本(rate-distortion cost)測量的最佳性能。該轉換與量化的殘餘接著被熵編碼器322編碼，以包含在對應該壓縮的視訊資料的一視訊比特流中。該與轉換係數相關比特流接著被與邊側信息，例如運動、編碼模式以及其他與圖像區域相關的信息，一同封包。該邊側信息亦藉由熵編碼來壓縮，以減少所需的頻寬。當使用一幀間預測模式時，一參考圖像或者複數個參考圖像亦需要在編碼器端重建。從而，該轉換的與量化的殘餘係藉由逆量化(Inverse Quantization，簡寫為IQ)324與逆變換(Inverse Transformation，簡寫為IT)326來處理以恢復殘餘。使用加法器328，該殘餘接著被加回至預測資料336，以重建視訊資料。該重建視訊資料可儲存在參考圖像緩衝器334中并用於其他幀的預測。然而，來自REC328的該重建的視訊資料可由於一系列的處理而導致多種損傷。因此，通常在重建視訊資料儲存至參考圖像緩衝器334之前，應用環路濾波器330(例如去塊(De-blocking))至重建視訊資料，來提高視訊質量。例如，去塊濾波器(deblocking filter,DF)與樣本自適應偏移 (Sample Adaptive Offset,SAO)係在高效率視訊編碼(High Efficiency Video Coding,HEVC)中使用。該環路濾波器資訊係包含於該比特流中，從而一解碼器能夠正確地恢復所需的信息。因此，環路濾波器資訊係提供給熵編碼器322來組合至該比特流。在第3圖中，環路濾波器330(例如去塊濾波器)係在重建樣本儲存至參考圖像緩衝器334之前應用至重建視訊。在第3圖中的系統係一典型視訊編碼器之示例性結構之示意。其可對應HEVC系統或者H.264。
第4圖係第3圖中的編碼器系統對應的視訊解碼器之系統方框示意圖。該總解碼系統係分割為兩個部分：語法解析410與後端解碼器(post decoder)420。由於該編碼器亦包含一本地解碼器來重建該視訊資料，一些解碼器元件(除了熵解碼器412)已在編碼器中使用。更進一步，僅僅運動補償422係針對解碼器端所需。開關424選擇幀內預測或者幀間預測，並且該選擇的預測資料係提供至重建單元(REC)328，來與恢復的殘餘結合。除了針對壓縮的殘餘執行熵解碼，熵解碼412亦負責熵解碼邊側信息並且提供該邊側資訊至個別的區塊。例如，運動向量係解碼並且儲存在MV緩衝器414中。該複數個MV接著提供至運動補償422來定位參考區塊。該殘餘係藉由IQ324、IT326以及後續的重建程序來處理，以重建該視訊資料。再一次，來自重建單元REC328的重建的視訊資料經歷如第4圖所示的一系列處理(包含IQ324與IT326)，並且投射至編碼偽影。該重建的視訊資料進一步被環路濾波器330處理。
在視訊編碼系統中，一幀通常分割為複數個切片 (slice)來提供並行處理的能力。並且，該切片結構可限制資料依賴在每一切片中。該「切片」名詞係在多種視訊編碼標準中廣泛使用，例如在MPEG2/4、H.264、HEVC、RM、AVS/AVS2等等。更進一步，該基本編碼單元在視訊標準中使用。例如，宏區塊(Macroblock,MB)係在AVC、MPEG4等等中使用。超區塊(Super Block,SB)係在VP9標準中使用。編碼樹單元(Coding Tree Unit,CTU)係在HEVC中使用。更進一步，使用一編碼結構，CTU列、SB列與MB列。為了增進視訊壓縮率，空間參考資料與時間參考資料係用來預測。第5圖係空間與時間預測之示意圖，其中幀510係在幀520之前處理。每一幀係分割為複數個瓦片(tile)，並且每一瓦片係分割為複數個PU。針對幀510，PU_A可用作PU_B之空間參考資料(亦即上相鄰)。並且，PU_A可用作PU_C之時間參考資料(位置相同資料)。
針對熵編碼，其具有多種形式。可變長度編碼(Variable length coding)係熵編碼之一種形式，並且被廣泛用於源編碼。通常，可變長度代碼(VLC)表係用於可變長度編碼與解碼。算術編碼(例如基於上下文適應性二進制算術編碼(context-based adaptive binary arithmetic coding,CABAC))係一較新熵編碼技術，其能夠使用「上下文」而利用條件性可能性。更進一步，算術編碼可簡單地適用於源統計，並且相較於可變長度編碼提供較高壓縮效率。算術編碼係一高效熵編碼工具，並且在先進視訊編碼系統中被廣泛使用，算術編碼之操作比可變長度編碼更加複雜。熵編碼方法之兩種類型係相當耗時。據此，熵編碼/解碼通常成為系統之瓶頸。
如本領域所知，較高比特率將導致較佳的視訊質量。在較高比特率，後端解碼器處理係相對地比特率依賴。然而，在較高比特率，將具有更多數量之需要熵編碼之非零量化殘餘。因此，針對較高比特率，熵編碼與解碼之計算負荷增加。因此，熵解碼之計算負荷係對於比特率敏感，並且熵解碼成為視訊解碼之效能瓶頸，特別係在高比特率時。據此，較高比特率比特流導致較大延遲。因此，需要使用具有依據其能力之最大比特率限制之熵解碼設計。當視訊比特流之比特流高於一限制時，需要開發其他的解決方案，而並非使用單獨的熵解碼設計。
第6圖係HEVC波前並行處理(wavefront parallel processing,WPP)之示意圖。每一幀被分割為多個切片，其中每一切片對應一CTU列。WPP減少在複數個CTU列之間之語法編碼依賴。CTU列可藉由使用WPP方法而並行處理。在HEVC標準中，當比特流係依據WPP編碼時，語法「entropy_coding_sync_enabled_flag」設定為1。依據WPP，在一先前CTU之複數個區塊被處理之後，當前CTU之第一區塊能夠被處理。在第6圖所示之例子中，在先前CTU列之第三CTU之一區塊(A0)被處理之後，當前CTU列之第一CTU之第一區塊(例如B0)被處理。針對在CTU列1中的當前區塊610，該區塊能夠使用來自在處理該當前區塊之後處理的相同CTU列中的相鄰區塊之資訊。並且，在CTU列1中的該當前區塊能夠使用來自在先前CTU列中的相鄰區塊620之資訊。
為了減少在錄製/傳輸端、該播放/接收端或者在兩 端之延遲，提供一種系統，其協調在不同處理模組以及/或者每一處理模組之資料存取與處理時間。
提供具有低延遲之視訊編碼之裝置。該裝置包含一視訊編碼模組來編碼輸入視訊資料為壓縮的視訊資料，一或複數個處理模組來提供該輸入視訊資料至該視訊編碼模組或者進一步處理來自該視訊編碼模組之壓縮的視訊資料，以及與每一處理模組相關的一資料儲存器，來儲存或者提供在該視訊編碼模組與每一處理模組之間共用的資料。依據本發明，該編碼模組與每一處理模組係設置為藉由協調該視訊編碼模組與一處理模組來管理一資料儲存器之資料存取，以在來自該視訊編碼模組與一處理模組中的另一個的目標共享資料在該資料儲存器中準備好之後，從該資料儲存器接收該目標共享資料。
該一或複數個處理模組包含一前端處理模組，並且與該前端處理模組相關的該資料儲存器對應一第一儲存器。在這種情況下，該前端處理模組提供對應一視訊區段之一第一編碼資料集之第一像素資料，以儲存至該第一儲存器，並且當該視訊區段之第一編碼資料集之一或複數個區塊在第一儲存器中準備好時，該視訊編碼模組接收並且編碼對應該視訊區塊之該第一編碼資料集之該一或複數個區塊之第二像素資料。該視訊區塊之該第一編碼資料集係藉由該視訊編碼模組編碼為一第一比特流。在這種情況下，該第一比特流之尺寸限制為等於或者小於一最大尺寸，並且其中該最大尺寸係在編碼該視訊區段之該第一編碼資料集之前決定。更進一步，該最大尺 寸係基於與一目標視訊解碼器相關的解碼器能力、與一目標視訊錄製裝置相關的錄製能力或者與能夠處理壓縮視訊資料之一目標網絡相關的網絡能力來決定。
在一實施例中，該前端處理模組對應一圖像訊號處理模組，該第一儲存器對應一源緩衝器，並且該視訊區段之該第一編碼資料集對應一區塊列，並且其中該圖像訊號處理模組基於逐線提供該第一像素資料，並且該視訊編碼模組在該區塊列之該第一像素資料皆儲存至該第一儲存器之後，開始編碼該視訊區段之該第一編碼資料集之一或者複數個區塊。該圖像訊號處理模組亦可基於逐區塊提供該第一像素資料，並且該視訊編碼模組在複數個區塊之該第一像素資料儲存至該第一儲存器之後，開始編碼該視訊區段之該第一編碼資料集之一區塊。
該第一儲存器對應一環緩衝器，該環緩衝器具有一固定尺寸，該固定尺寸小於一視訊區段。每一視訊幀包含一或複數個視訊區段。該視訊區段之該第一編碼資料集包含複數個編碼單元。該視訊區段之該第一編碼資料集對應一編碼樹單元列、一編碼單元列、一獨立切片或者一附屬切片。
該一或複數個處理模組進一步包含一後端處理模組以及與該後端處理模組相關之該資料儲存器對應一第二儲存器。在這種情況下，該視訊編碼模組提供對應一視訊區段之該第一編碼資料集之壓縮的資料之封包的第一比特流，以儲存在該第二儲存器中，並且該後端處理模組在該封包第一比特流在該第二儲存器中準備好之後，處理該封包第一比特流來錄製 或者傳輸。該後端處理模組對應一多工模組，並且其中該多工模組將該封包的第一比特流與包含音頻資料之其他資料一同多工為多工的資料，來錄製或者傳輸。該多工模組獲得一視訊頻道索引或者對應該視訊區段之時間戳，以包含在該多工的資料內。該第二儲存器對應一環緩衝器。該第二儲存器之尺寸可賭贏一視訊區段之兩個編碼單元列之源尺寸。
在一個實施例中，對應正在寫入至一資料儲存器之一第一資料單元之結束位置的一寫入指針或指示，從該前端處理模組訊號傳輸至該視訊編碼模組，或者從該視訊編碼模組訊號傳輸至該后端處理模組。更進一步，對應正在讀取之在一資料儲存器中之一第二資料單元之結束位置的一讀取指針或者指示，從該視訊編碼模組訊號傳輸至該前端處理模組，或者從該后端處理模組訊號傳輸至該視訊編碼模組。
在一個實施例中，一交握模組係耦接至該視訊編碼模組與該每一一或者複數個處理模組。在一個例子中，僅僅該交握模組直接存取該資料儲存器，在這種情況下，藉由耦接至該視訊編碼模組與該前端處理模組之該交握模組，該前端處理模組寫入至該第一儲存器並且該視訊編碼模組從該資料儲存器中讀取，或者該視訊編碼模組藉由耦接至該視訊編碼模組與該后端處理模組之該交握模組寫入至該第二儲存器並且該後端處理模組藉由耦接至該視訊編碼模組與該后端處理模組之該交握模組從該第二儲存器中讀取。在另一個例子中，該交握模組並非直接存取該資料儲存器，在這種情況下，該前端處理模組直接寫入該第一儲存器以及該視訊編碼模組直接從該 第一儲存器中讀取，或者該視訊編碼模組直接寫入至該第二儲存器以及該後端處理模組從該第二儲存器中直接讀取。在另一個例子中，僅僅該交握模組以及該視訊編碼模組與該一或複數個處理模組兩者之一直接存取該資料儲存器，在這種情況下，該一或複數個處理模組與該資料儲存器相關，並且該前端處理模組直接寫入至該第一儲存器以及該視訊編碼模組藉由耦接於該視訊編碼模組與該前端處理模組之該交握模組從該第一儲存器中讀取；或者該視訊編碼模組直接寫入至該第二儲存器並且該後端處理模組藉由耦接於該視訊編碼模組與該後端處理模組之該交握模組從該第二儲存器中讀取。此外，其中該前端處理模組藉由耦接與該視訊編碼模組與該前端處理模組之該交握模組寫入至該第一儲存器，並且該視訊編碼模組直接從該第一儲存器中讀取，或者該視訊編碼模組藉由耦接於該視訊編碼模組與該後端處理模組之該交握模組寫入至該第二儲存器，並且該後端處理模組直接從該第二儲存器中讀取。
在另一個實施例中，第一交握模組係耦接於該視訊編碼模組並且一第二交握模組係耦接於該一或複數個處理模組。更進一步，僅僅該第一交握模組與該第二交握模組直接存取該第一儲存器或者該第二儲存器。在這種情況下，該前端處理模組藉由該第二交握模組寫入至該第一儲存器，以及該視訊編碼模組藉由該第一交握模組從該第一儲存器中讀出，或者該視訊編碼模組藉由該第一交握模組寫入至該第二儲存器，並且該後端處理模組藉由該第二交握模組從該第二儲存器讀取。
110、120‧‧‧系統
112、1230‧‧‧視訊編碼器
114‧‧‧A/V多工器
116‧‧‧Wi-Fi MAC
122、222‧‧‧視訊解碼器
124‧‧‧顯示引擎
126‧‧‧A/V解多工
128‧‧‧Wi-Fi MAC
210‧‧‧視訊編碼器
212‧‧‧MUX
220‧‧‧解多工器
224‧‧‧顯示
310‧‧‧幀內預測
311‧‧‧源圖像緩衝器
312‧‧‧運動估計/補償
314‧‧‧開關
316‧‧‧加法器
318‧‧‧變換
320‧‧‧量化
321‧‧‧率失真最優化/模式決定單元
322‧‧‧熵編碼器
324‧‧‧逆量化
326‧‧‧逆變換
328‧‧‧加法器
330‧‧‧環路濾波器
334‧‧‧參考圖像緩衝器
410‧‧‧語法解析
420‧‧‧後端解碼器
412‧‧‧熵解碼器
422‧‧‧運動補償
424‧‧‧開關
510、520、1110‧‧‧幀
610‧‧‧當前區塊
620‧‧‧相鄰區塊
710、720、730、740、750、760‧‧‧源緩衝器狀態
810‧‧‧環緩衝器
820、1250‧‧‧多工模组
830‧‧‧輸出
910‧‧‧切片資料
920‧‧‧環緩衝器輸入
922‧‧‧箭頭
1010‧‧‧源緩衝器
1020‧‧‧上下文緩衝器
1030‧‧‧基於切片的環緩衝器
1111、1112、1113‧‧‧點
1210‧‧‧第一儲存器
1220‧‧‧ISP模组
1240‧‧‧第二儲存器
1310‧‧‧主模組
1330‧‧‧交握模組
1410、1510、1610、1710、1810‧‧‧主模組A
1420、1520、1620、1720、1820‧‧‧主模組B
1320、1440、1540、1640、1740、1850‧‧‧資料儲存器
1430、1530、1630、1730、1830、1840‧‧‧交握模組
1910-1940‧‧‧步驟
第1圖係包含在源端視訊編碼以及在接收端視訊解碼之一源至接收端之視訊鏈接之舉例說明。
第2A圖係在錄製系統中之視訊錄製路徑之舉例說明，其中該視訊源係使用視訊編碼器來編碼，以產生視訊比特流。
第2B圖係在播放系統中之視訊播放路徑之舉例說明，其中該壓縮視訊/音頻資料係藉由解多工器來解多工，以提取該視訊比特流，其提供給視訊解碼器來產生重建幀以顯示。
第3圖係一示例性之包含環路處理之適應性幀間/幀內視訊編碼系統之示意圖。
第4圖係在第3圖中所示之編碼器系統所對應之視訊解碼器之系統方框圖。
第5圖係空間與時間預測之示意圖。
第6圖係HEVC波前並行處理之舉例說明之示意圖。
第7A圖係依據本發明之實施例之視訊編碼器之編碼處理之舉例說明，其中該視訊輸入係逐線的方式寫入至儲存器並且該CTU尺寸假設為32X32。
第7B圖係依據本發明之實施例之視訊解碼器之解碼處理之舉例說明，其中該視訊輸入係逐CTU的方式寫入至儲存器並且該CTU尺寸假設為32X32。
第8圖係使用環緩衝器之基於切片的視訊編碼器輸出與多工器輸入之舉例說明之示意圖。
第9圖係針對8輸入切片環緩衝器之切片資料映射至環緩衝器之示意圖。
第10圖係基於在第3圖中所示的編碼器的示例性編碼系統，其中本系統包含一基於CTU源緩衝器以及一基於切片環緩衝器之示意圖。
第11圖係應用本發明至一具有波前並行處理特征之視訊編碼系統之示意圖。
第12圖係包含在ISP與視訊編碼器之間共享資料存取之第一儲存器以及包含在視訊編碼器與多工器之間共享資料存取之第二儲存器之視訊編碼系統之示意圖。
第13A圖係依據本發明之實施例之交握機制之示意圖，其中該主模組與該交握模組交握資訊與通知，並且該主模組從/至該資料儲存器存取資料。
第13B圖係依據本發明之實施例之交握機制之示意圖，其中該主模組與該交握模組交握資訊與通知，並且僅僅該交握模組從/至該資料儲存器存取資料。
第14圖係交握機制之另一舉例說明，其中一通用交握模組處理針對主模組A與主模組B之交握機制，並且僅僅該交握模組存取該資料儲存器。
第15圖係依據本發明之實施例之交握機制之另一舉例說明，其中一通用交握模組被使用，並且僅僅該通用交握模組直接存取該資料儲存器。
第16圖係依據本發明之實施例之交握機制之另一舉例說明，其中一通用交握模組被使用，並且僅僅該通用交握模組與該主模組B直接存取該資料儲存器。
第17圖係依據本發明之實施例之交握機制之另一舉例說 明，其中一通用交握模組被使用，並且僅僅該通用交握模組與該主模組A直接存取該資料儲存器。
第18圖係依據本發明之實施例之交握機制之另一舉例說明，其中兩個分別的交握模組分別處理針對主模組A與主模組B之交握機制。
第19圖係依據本發明之實施例之實現低延遲之示例性編碼系統之流程圖。
後續之說明係實現本發明之最佳實施例。該說明僅僅用來舉例說明本發明之通用精神，而並非係一限制。本發明之範圍係參考附屬的請求項而決定。
為了減少在錄製/傳輸端、播放/接收端或者兩端之視訊鏈接之延遲，本發明提供一種系統，其協調在該系統的複數個不同處理模組之間的資料存取與處理時間。
第7A圖係依據本發明之實施例之視訊編碼器之編碼處理之舉例說明，其中該視訊輸入係以逐線的方式寫入緩衝器，並且該CTU尺寸假設為32x32。在第7A圖中，源緩衝器狀態(source buffer state)710對應一期間，該期間係圖像訊號處理(image signal processing,ISP)模組在第一32線(first 32 lines)以掃描順序逐線寫入圖像資料至圖像緩衝器710的期間。在該緩衝器之第一32線填滿之後，當ISP持續寫入資料至第二32線時，視頻編碼器能夠開始編碼在第一CTU列之第一CTU，如源緩衝器狀態720所示。在該緩衝器之第二32線填滿之後，當ISP持續寫入資料至第三32線時，視頻編碼器 能夠開始編碼在第二CTU列中的第一CTU，如源緩衝器狀態730所示。第7A圖係緊緊地(tightly)耦接源緩衝器控制之舉例說明，其中當一或者複數個CTU準備好時，該編碼器在一CTU開始該編碼處理，其在本發明中亦稱為編碼器源竟态(encoder source racing)。需注意的是，源緩衝器不需要保留整張圖像。當一CTU列被編碼器處理時，該CTU列之空間可釋放并重新利用。
第7B圖係依據本發明之實施例之視訊編碼器之編碼處理之舉例說明，其中該視訊輸入係以逐CTU方式寫入緩衝器，並且該CTU尺寸係32x32。在第7B圖中，該ISP在該第一少量CTU期間寫入視訊資料至源緩衝器，如源緩衝器狀態740所示。當一或複數個CTU在源緩衝器中準備好，該編碼器可開始處理在CTU列中的第一CTU，如源緩衝器狀態750所示。在ISP寫入一CTU同時，ISP與視訊編碼器兩者連續處理資料，該正在編碼的CTU之前具有複數個CTU。源緩衝器狀態760顯示當視頻編碼器編碼再改第一CTU列中的一CTU時，該ISP寫入在該第二CTU列中的一CTU。
在視訊資料編碼之後，該比特流與音頻資料一同多工。本發明進一步揭露了管理在該編碼器模組與該多工模組之間的資料存取與處理時間的技術。第8圖係針對基於切片的視訊輸出與多工器輸入使用一環緩衝器(ring buffer)810。該編碼器寫入針對一切片之每一比特流至該環緩衝器之一獨立緩衝輸入(independent buffer entry)。複數個切片之複數個比特流係連續地寫入該環緩衝器之複數個緩衝輸入。當一切片之比特 流完成時，該多工器之寫入指針係更新。例如，當切片#N資料812係被多工器820所處理時，該寫入指針指向該切片環緩衝器之輸入1。在切片#N資料812係被多工器820處理之後，該寫入指針更新至下一輸入(即輸入2)。該多工器820從該切片環緩衝器810中立即讀出一個或者複數個切片資料，並且發送至傳輸界面。此時，一或複數個切片資料被認為完成並且該多工器更新並且通知該讀取指針(read pointer)至該編碼器。來自多工器820之輸出830亦在第8圖中繪示。該輸入可對應序列輸出(serial output)832或者並行輸出(parallel output)834。
第9圖係針對一8-輸出切片環緩衝器之切片資料映射至該環緩衝器之舉例說明。從該編碼器產生之該切片資料910在左手邊顯示。針對切片資料之映射的環緩衝器輸入920在右手邊顯示。如這個例子所示，CTU列#7之切片資料係寫入環緩衝器輸入#7。CTU列之下一切片資料(亦即#8)係寫入之環緩衝器輸入#0。在這個例子中，每一CTU列視為一切片。
第10圖係基於第3圖所示之編碼器系統之示意圖，其中當前系統包含了一基於CTU的源緩衝器1010與一基於切片的環緩衝器1030。更進一步，一上下文緩衝器(context buffer)1020係用來儲存形成基於上下文熵編碼之上下文之來自一先前CTU列之資料。
第11圖係應用本發明至具有波前並行處理(wave-front parallel processing,WPP)幀之一視訊編碼系統之示意圖。幀1110被分割為複數個編碼單元或者任意的編碼區塊，其中每一小區塊對應用於編碼處理之一資料單元。如在視 訊編碼領域所知，該資料單元可對應如HEVC編碼標準中定義的一宏區塊(MB)、一超區塊(SB)、一編碼樹單元(CTU)或者一編碼單元(CU)。該第一編碼單元集對應一編碼單元列。可依據WPP特征並行編碼的來自不同編碼單元列之該複數個編碼單元係由點(1111、1112或1113)所示。
在該ISP模塊與該視訊編碼器之間使用源緩衝器來共享資料存取，已如上所述。並且，在該視訊編碼器與該多工器模組之間使用基於切片環緩衝器來共享資料區塊，已如上所述。針對該視訊編碼路徑，該ISP視為該視頻編碼器之前端模組(front-end module)，並且該多工器視為該視頻編碼器之後端模組(post-end module)。第12圖係包含一第一儲存器1210與一第二儲存器1240之視訊編碼系統之示意圖，該第一儲存器1210係在該ISP1220與該視訊編碼器1230之間共享資料存取，並且該第二儲存器1240係在該視訊編碼器1230與該多工器1250之間共享資料存取。例如，如上所述，該第一儲存器1210可對應該源緩衝器，並且該第二儲存器1240可對應該基於切片環緩衝器。然而，實現共享儲存器存取以實現該低延遲視訊編碼之其他類型之儲存器設計亦可被使用。
能夠實現低延遲之依據本發明之實施例之視訊編碼系統之操作將如下所述。針對該圖像訊號處理模組1220，其寫入該第一編碼單元集之資料至該第一儲存器1210，並且通過交握機制(handshaking mechanism)與該視訊編碼器1230溝通。當該第一編碼單元集之資料準備好被讀取時，通知該視訊編碼器1230。針對視訊編碼器1230，其編碼該第一編碼單元 集為該第一比特流，並且寫入該第一比特流至該第二儲存器1240。該第一比特流可封包至網絡抽象層單元，並且該封包的第一比特流寫入一第二儲存器。該視訊編碼器1230亦與多工模組1250藉由交握機制來溝通，並且當該第一比特流準備好被讀取時，該多工模組1250被通知。針對該多工模組1250，其從該第二儲存器1240中讀取該封包的第一比特流，並且傳輸該第一比特流至一介面，例如Wi-Fi模組，以進行網路傳輸。該視訊鏈接可對應一視訊錄製與視訊播放系統。在這個例子中，該多工模組1250從該第二儲存器1240中讀出該封包的第一比特流，並且將其儲存至一儲存單元。
在第11圖中，一視訊幀被分割為複數個編碼單元列或者複數個區塊列。一小於一幀的視訊區段(video segment)，例如一瓦片，亦可用作該編碼系統之一輸入單元。因此，一視訊幀可包含複數個視訊區段。每一編碼單元集可對應一個獨立切片或者一個附屬切片。在第12圖中，該視訊編碼器1220可在該前端模組(例如ISP)完成將該第一編碼單元集之所有像素資料寫入該第一儲存器之後，開始編碼該第一編碼單元集之像素數據。儘管ISP係作為該前端模組之一舉例說明，也可使用其他類型的前端處理器。
該第一比特流之尺寸可限制為一最大尺寸並且該最大尺寸能夠在編碼一視訊區段之前決定。該最大尺寸可依據該視訊解碼器或者該網路之能力來決定。
該第一儲存器對應一源緩衝器。依據本發明之一實施例，具有一固定尺寸之環緩衝器被使用。當該前端模組寫 入視訊資料之該第一儲存器時，該視訊資料可以逐線方式或者逐區塊方式寫入。在基於線(line-based)資料寫入的情況下，當該區塊列之所有視訊線該視訊編碼器在一區塊列之所有視訊線都準備好時，可開始編碼複數個區塊。在基於區塊(block-based)資料寫入的情況下，當該區塊列之一或複數個區塊準備好時，可開始編碼在一區塊列中該第一區塊。該區塊可對應一CTU、一CU、一SB或者MB。該第二儲存器對應一壓縮的視訊資料緩衝器。依據該實施例，具有一固定尺寸的環緩衝器可用作該第二儲存器。該後端模組可驅動對應該視訊區段之該視訊索引。並且，該後端模組可獲得對應一視訊區段之時間戳(time stamp)。
在第12圖中，兩個處理模組(亦即ISP與視訊編碼器)耦接至該第一儲存器。並且，兩個處理模組(亦即視訊編碼器與多工器)耦接至該第二儲存器。以下提供在兩個模組(簡單來說，稱為模組A與模組B)之間的交握機制來支持該低延遲。針對該第一儲存器，模組A對應該ISP並且模組B對應該視訊編碼器。針對該第二儲存器，模組A對應該視訊編碼器並且模組B對應該多工器。在一個例子中，交握機制如下所述：●模組A寫入一第一資料至一資料儲存器；●模組A傳輸一寫入指針至模組B，其中該寫入指針指示在一資料儲存器中的一第一資料之該結束位置；●模組B從該模組A接收該寫入指針；●模組B從一資料儲存器讀取一第一資料；並且●模組B傳輸該讀取指針至模組A，其中該讀取指針指示在一 資料儲存器中的一第一資料之該結束位置。
在另一個例子中，交握機制如下所述：●模組A寫入一第一資料至一資料儲存器；●模組A傳輸一寫入指針至模組B，其中該寫入指針指示在一資料儲存器中的一第一資料；●模組B從該模組A接收一寫入指示；●模組B從一資料儲存器讀取一第一資料；並且●模組B傳輸一讀取指示至模組A，其中該讀取指示指示模組B讀取了第一資料。
第13A圖與第13B圖舉例說明了依據本發明之另一交握機制，其中該主模組與交握模組通訊，以進行資訊與通知交換。在第13A圖中，該主模組1310從/至資料儲存器1320存取該資料，並且該主模組1310與該交握模組1330通訊，以交換資訊與通知。在這個例子中，僅僅主模組A1310直接存取資料儲存器1340。在第13B圖中，該交握模組1330從/至該資料儲存器1320存取該資料，並且該主模組1310與該交握模組1330通訊，以交換資訊與通知。在這個例子中，僅僅交握模組1330從資料儲存器1320直接存取。
第14圖係依據本發明之實施例之交握機制之另一舉例說明，其中一公用交握模組1430處理針對主模組A1410與主模組B1420的交握機制。當該資料儲存器1440對應在第12圖中所示的該第一儲存器時，主模組A1410對應該前端模組並且主模組B1420對應該視訊編碼器。當該資料儲存器1440對應在第12圖中的該第二儲存器時，主模組A1410對應該視 訊編碼器，並且主模組B1420對應該多工器。在這個例子中，僅僅該交握模組1430直接存取該資料儲存器1440。
第15圖係依據本發明之實施例之交握機制之另一舉例說明。在這個例子中，一公用交握模組1530處理針對主模組A1510與主模組B1520的交握機制。當該資料儲存器1540對應在第12圖中所示的該第一儲存器時，主模組A1510對應該前端模組並且主模組B1520對應該視訊編碼器。當該資料儲存器1540對應在第12圖中的該第二儲存器時，主模組A1510對應該視訊編碼器，並且主模組B1520對應該多工器。在這個例子中，主模組A1510與主模組B1520直接存取該資料儲存器1540。
第16圖係依據本發明之實施例之交握機制之另一舉例說明。在這個例子中，一公用交握模組1630處理針對主模組A1610與主模組B1620的交握機制。當該資料儲存器1640對應在第12圖中所示的該第一儲存器時，主模組A1610對應該前端模組並且主模組B1620對應該視訊編碼器。當該資料儲存器1640對應在第12圖中的該第二儲存器時，主模組A1610對應該視訊編碼器，並且主模組B1620對應該多工器。在這個例子中，主模組B1620與交握模組1630兩者直接存取該資料儲存器1640。
第17圖係依據本發明之實施例之交握機制之另一舉例說明。在這個例子中，一公用交握模組1730處理針對主模組A1710與主模組B1720的交握機制。當該資料儲存器1740對應在第12圖中所示的該第一儲存器時，主模組A1710對應 該前端模組並且主模組B1720對應該視訊編碼器。當該資料儲存器1740對應在第12圖中的該第二儲存器時，主模組A1710對應該視訊編碼器，並且主模組B1720對應該多工器。在這個例子中，主模組A1710與交握模組1730兩者直接存取該資料儲存器1740。
第18圖係依據本發明之實施例之交握機制之另一舉例說明。在這個例子中，兩個分別的交握模組(1830與1840)分別處理針對主模組A1810與主模組B1820的交握機制。交握模組A1830耦接於主模組A來處理從/至模組A交換資訊與通知。另一方面，交握模組B1840耦接於主模組B1820來處理從/至模組B1820交換資訊與通知。當該資料儲存器1850對應在第12圖中所示的該第一儲存器時，主模組A1810對應該前端模組並且主模組B1820對應該視訊編碼器。當該資料儲存器1850對應在第12圖中的該第二儲存器時，主模組A1810對應該視訊編碼器，並且主模組B1820對應該多工器。在這個例子中，交握模組A1830與交握模組B1840兩者直接存取該資料儲存器1850。
第19圖係依據本發明之實施例以實現低延遲之示例性編碼系統之流程圖。依據該實施例，在步驟1910，視訊源係使用一前端模組處理為輸入視訊資料，並且儲存該輸入視訊資料在一第一儲存器中。第12圖係使用一前端模組(亦即ISP 1220)來產生輸入視訊資料的示意圖。在步驟1920，輸入視訊資料之第一輸入資料從該第一儲存器中接收，並且該輸入視訊資料係使用一視訊編碼模組來編碼為壓縮視訊資料，其中該第 一儲存器之資料存取係設置為在該第一輸入視訊資料已被該前端模組寫入至該第一儲存器之後，導致該視訊編碼模組讀取該第一輸入資料。第12圖係視訊編碼器1230與第一儲存器1210之舉例說明。多種交握機制在第13圖至第18圖中繪示。在步驟1930，來自該視訊編碼模組的壓縮的視訊資料提供給一第二儲存器。在步驟1940，該壓縮資料之第一壓縮視訊資料從該第二儲存器中接收，並且該壓縮的視訊資料係使用一多工器來與其他資料(包含音頻資料)一同多工來錄製或者傳輸，其中該第二儲存器之資料存取，係設置為在該第一壓縮的視訊資料藉由該視訊編碼模組寫入至該第二儲存器之後，導致該多工器讀取該第一壓縮的視訊資料。該資料存取可設置為使用如第13圖至第18圖所示之交握模組。
上述說明使得本領域具有通常知識者如提供的具體應用之內容以及其需求來實現本發明。上述實施例之多種變型對於本領域具有同通常知識者皆可獲得，並且此處所定義之通用原則可應用至其他實施例。因此，本發明並非限制於所示的具體實施例，而應係與該原則與創新性特點一致的最廣範圍。在上述具體說明中，所終具體細節係用來提供對於本發明之深入理解。然而，本領域具有通常知識者可了解本發明可實現。
所描述的實施例僅僅用來舉例說明，而並非是本發明的限制。本發明的範圍，由請求保護的範圍所指示，而並非僅限於上述實施例。與請求保護的範圍等同含義的變型皆包含在其範圍之內。

Claims (24)

  1. 一種視訊編碼裝置，包含：一視訊編碼模組，來編碼輸入視訊資料為壓縮視訊資料；一或複數個處理模組，來提供該輸入視訊資料至該視訊編碼模組或者進一步處理來自該視訊編碼模組之該壓縮的視訊資料；以及與每一該一或複數個處理模組相關的一資料儲存器，儲存或者提供在該視訊編碼模組與該每一一或複數個處理模組之間共享的資料；以及其中該視訊編碼模組與該每一一或複數個處理模組係用來藉由協調該視訊編碼模組與該每一一或複數個處理模組，來管理該資料儲存器之資料存取，以在來自該視訊編碼模組與該每一一或複數個處理模組的目標共享資料在該資料儲存器中準備好之後，從該資料儲存器接收該目標共享資料。
  2. 如申請專利範圍第1項所述之裝置，其中該一或複數個處理模組包含一前端處理模組，並且與該前端處理模組相關的該資料儲存器對應一第一儲存器，並且其中該前端處理模組提供對應一視訊區段之一第一編碼資料集之第一像素資料，以儲存至該第一儲存器，並且當該視訊區段之第一編碼資料集之一或複數個區塊在第一儲存器中準備好時，該視訊編碼模組接收並且編碼對應該視訊區段之該第一編碼資料集之該一或複數個區塊之第二像素資料。
  3. 如申請專利範圍第2項所述之裝置，其中一視訊區段之該 第一編碼資料集係藉由該視訊編碼模組編碼為一第一比特流。
  4. 如申請專利範圍第3項所述之裝置，其中該第一比特流之尺寸限制為等於或者小於一最大尺寸，並且其中該最大尺寸係在編碼該視訊區段之該第一編碼資料集之前決定。
  5. 如申請專利範圍第4項所述之裝置，其中該最大尺寸係基於與一目標視訊解碼器相關的解碼器能力、與一目標視訊錄製裝置相關的錄製能力或者與能夠處理壓縮視訊資料之一目標網絡相關的網絡能力來決定。
  6. 如申請專利範圍第2項所述之裝置，其中該前端處理模組對應一圖像訊號處理模組，該第一儲存器對應一源緩衝器，並且該視訊區段之該第一編碼資料集對應一區塊列，並且其中該圖像訊號處理模組基於逐線提供該第一像素資料，並且該視訊編碼模組在該區塊列之該第一像素資料皆儲存至該第一儲存器之後，開始編碼該視訊區段之該第一編碼資料集之一或者複數個區塊。
  7. 如申請專利範圍第2項所述之裝置，其中該前端處理模組對應一圖像訊號處理模組，該第一儲存器對應一源緩衝器，並且該視訊區段之該第一編碼資料集對應一區塊列，並且其中該圖像訊號處理模組基於逐區塊提供該第一像素資料，並且該視訊編碼模組在複數個區塊之該第一像素資料儲存至該第一儲存器之後，開始編碼該視訊區段之該第一編碼資料集之一區塊。
  8. 如申請專利範圍第2項所述之裝置，其中該第一儲存器對 應一環緩衝器，該環緩衝器具有一固定尺寸，該固定尺寸小於一視訊區段。
  9. 如申請專利範圍第2項所述之裝置，其中每一視訊幀包含一或複數個視訊區段。
  10. 如申請專利範圍第2項所述之裝置，其中該視訊區段之該第一編碼資料集包含複數個編碼單元。
  11. 如申請專利範圍第2項所述之裝置，其中一視訊區段之該第一編碼資料集對應一編碼樹單元列、一編碼單元列、一獨立切片或者一附屬切片。
  12. 如申請專利範圍第2項所述之裝置，其中，該一或複數個處理模組進一步包含一後端處理模組以及與該後端處理模組相關之該資料儲存器對應一第二儲存器，並且其中該視訊編碼模組提供對應該視訊區段之該第一編碼資料集之壓縮的資料之封包的第一比特流，以儲存在該第二儲存器中，並且該後端處理模組在該封包的第一比特流在該第二儲存器中準備好之後，處理該封包的第一比特流來錄製或者傳輸。
  13. 如申請專利範圍第12項所述之裝置，其中該後端處理模組對應一多工模組，並且其中該多工模組將該封包的第一比特流與包含音頻資料之其他資料一同多工為多工的資料，來錄製或者傳輸。
  14. 如申請專利範圍第13項所述之裝置，其中該多工模組獲得一視訊頻道索引或者對應該視訊區段之時間戳，以包含在該多工的資料內。
  15. 如申請專利範圍第13項所述之裝置，其中該第二儲存器對應一環緩衝器。
  16. 如申請專利範圍第12項所述之裝置，其中對應正在寫入至一資料儲存器之一第一資料單元之結束位置的一寫入指針或指示，從該前端處理模組訊號傳輸至該視訊編碼模組，或者從該視訊編碼模組訊號傳輸至該后端處理模組。
  17. 如申請專利範圍第16項所述之裝置，其中對應正在讀取之在一資料儲存器中之一第二資料單元之結束位置的一讀取指針或者指示，從該視訊編碼模組訊號傳輸至該前端處理模組，或者從該后端處理模組訊號傳輸至該視訊編碼模組。
  18. 如申請專利範圍第12項所述之裝置，其中一交握模組係耦接至該視訊編碼模組與該每一一或者複數個處理模組。
  19. 如申請專利範圍第18項所述之裝置，其中僅僅該交握模組直接存取該資料儲存器，並且藉由耦接至該視訊編碼模組與該前端處理模組之該交握模組，該前端處理模組寫入至該第一儲存器並且該視訊編碼模組從該資料儲存器中讀取，或者該視訊編碼模組藉由耦接至該視訊編碼模組與該后端處理模組之該交握模組寫入至該第二儲存器並且該後端處理模組藉由耦接至該視訊編碼模組與該后端處理模組之該交握模組從該第二儲存器中讀取。
  20. 如申請專利範圍第18項所述之裝置，其中該交握模組並非直接存取該資料儲存器，並且其中該前端處理模組直接寫入該第一儲存器以及該視訊編碼模組直接從該第一儲存器中讀取，或者該視訊編碼模組直接寫入至該第二儲存器以 及該後端處理模組從該第二儲存器中直接讀取。
  21. 如申請專利範圍第18項所述之裝置，其中僅僅該交握模組以及該視訊編碼模組與該一或複數個處理模組兩者之一直接存取該資料儲存器，其中該一或複數個處理模組與該資料儲存器相關，並且該前端處理模組直接寫入至該第一儲存器以及該視訊編碼模組藉由耦接於該視訊編碼模組與該前端處理模組之該交握模組從該第一儲存器中讀取；或者該視訊編碼模組直接寫入至該第二儲存器並且該後端處理模組藉由耦接於該視訊編碼模組與該後端處理模組之該交握模組從該第二儲存器中讀取。
  22. 如申請專利範圍第18項所述之裝置，其中僅僅該交握模組以及該視訊編碼模組與該一或複數個處理模組之一直接存取該資料儲存器，以及其中該前端處理模組藉由該交握模組寫入至該第一儲存器，並且該視訊編碼模組直接從該第一儲存器中讀取，其中該交握模組係耦接於該視訊編碼模組與該前端處理模組；或者其中該視訊編碼模組藉由該交握模組寫入至該第二儲存器，並且該後端處理模組直接從該第二儲存器中讀取，其中該交握模組耦接於該視訊編碼模組與該後端處理模組與該後端處理模組。
  23. 如申請專利範圍第12項所述之裝置，其中一第一交握模組係耦接於該視訊編碼模組並且一第二交握模組係耦接於該一或複數個處理模組，其中該前端處理模組藉由該第二交 握模組寫入至該第一儲存器，以及該視訊編碼模組藉由該第一交握模組從該第一儲存器中讀出，或者該視訊編碼模組藉由該第一交握模組寫入至該第二儲存器，以及該後端處理模組藉由該第二交握模組從該第二儲存器讀取。
  24. 一種視訊編碼方法，包含：使用一前端模組處理視訊源至駛入視訊資料，並且儲存該輸入視訊資料在一第一儲存器中；從該第一儲存器接收該輸入視訊資料之第一輸入資料，並且使用一視訊編碼模組編碼該輸入視訊資料至壓縮的視訊資料，其中該第一儲存器之資料存取係設置為在該第一輸入資料藉由該前端模組寫入至該第一儲存器之後，使得該視訊編碼模組讀取該第一輸入資料；從該視訊編碼模組至一第二儲存器提供該壓縮的視訊資料；以及從該第二儲存器接收該壓縮的視訊資料之第一壓縮的視訊資料，並且使用一多工器將該壓縮的視訊資料與包含視頻資料之其他資料多工處理來錄製或者傳輸，其中該第二儲存器之資料存取係設置為使得該多工器在該第一壓縮的視訊資料藉由該視訊編碼模組寫入至該第二儲存器之後，讀取該第一壓縮的視訊資料。
TW106122826A 2016-07-12 2017-07-07 低延遲視頻編碼之裝置與方法 TW201813387A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662361108P 2016-07-12 2016-07-12
US62/361,108 2016-07-12
US201662364908P 2016-07-21 2016-07-21
US62/364,908 2016-07-21
US201662374966P 2016-08-15 2016-08-15
US62/374,966 2016-08-15
US15/642,586 2017-07-06
US15/642,586 US20180020222A1 (en) 2016-07-12 2017-07-06 Apparatus and Method for Low Latency Video Encoding

Publications (1)

Publication Number Publication Date
TW201813387A true TW201813387A (zh) 2018-04-01

Family

ID=60941544

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106122826A TW201813387A (zh) 2016-07-12 2017-07-07 低延遲視頻編碼之裝置與方法

Country Status (2)

Country Link
US (1) US20180020222A1 (zh)
TW (1) TW201813387A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805534B (zh) * 2021-12-16 2023-06-11 聯發科技股份有限公司 使用時間交錯緩存訪問的視頻編碼並行化

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063239B1 (ko) 2012-09-26 2020-01-07 벨로스 미디어 인터내셔널 리미티드 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
WO2019185821A1 (en) * 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for enhancing parallel coding capabilities
WO2019195037A1 (en) 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding
WO2021060802A1 (ko) * 2019-09-27 2021-04-01 에스케이텔레콤 주식회사 픽처로부터 분할되는 하위 유닛들에 대한 정보를 획득하는 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103190095B (zh) * 2011-10-27 2016-03-09 华为技术有限公司 光通信节能方法、设备和系统
GB201213348D0 (en) * 2012-07-26 2012-09-12 Waugh Neil Improvements relating to a therapeutic foot support
WO2015015058A1 (en) * 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
US10045159B2 (en) * 2015-07-02 2018-08-07 Qualcomm Incorporated Providing, organizing, and managing location history records of a mobile device
JP2017036358A (ja) * 2015-08-06 2017-02-16 セイコーエプソン株式会社 オレンジインク組成物、インクセット、染色物の製造方法、及び染色物

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805534B (zh) * 2021-12-16 2023-06-11 聯發科技股份有限公司 使用時間交錯緩存訪問的視頻編碼並行化

Also Published As

Publication number Publication date
US20180020222A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6471787B2 (ja) 画像処理装置及び画像処理方法
TW201813387A (zh) 低延遲視頻編碼之裝置與方法
US20180027241A1 (en) Method and Apparatus for Multi-Level Region-of-Interest Video Coding
US7953284B2 (en) Selective information handling for video processing
JP2019083545A (ja) 画像処理装置及び画像処理方法
EP1469681A1 (en) Image coding method and apparatus and image decoding method and apparatus
JP2022513715A (ja) 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
US20190124344A1 (en) Video-encoding method, video-decoding method, and apparatus implementing same
KR20210102451A (ko) 랜덤 액세스 포인트 및 픽처 유형의 식별 방법
US20100020883A1 (en) Transcoder, transcoding method, decoder, and decoding method
CN113348666B (zh) 用于对编码视频流进行解码的方法和系统
US10356440B2 (en) Scalable transform hardware architecture with improved transpose buffer
JP2014207536A (ja) 画像処理装置および方法
CN113826387B (zh) 生成编码视频比特流的方法、装置和介质
KR20160032111A (ko) 수평 및 수직 변환들의 동시 프로세싱
US8311349B2 (en) Decoding image with a reference image from an external memory
JP4197092B2 (ja) 圧縮されたｍｐｅｇビデオビットストリームについてワイプを実行するための処理方法および装置
JP2021513815A (ja) 映像圧縮におけるイントラ予測のための参照サンプルパディング及びフィルタリング
US8755444B2 (en) Two-stage entropy decoding
CN110731083A (zh) 视频编码系统和方法中的编码块位流结构和语法
CN107770565A (zh) 低延迟视频编码的装置与方法
CN113491128B (zh) 已解码图片存储器管理的方法和相关装置
JP2022520436A (ja) イン・マニフェスト更新イベント
JP7378035B2 (ja) 変換装置、復号装置、変換方法および復号方法