TWI630819B - 編碼數位視訊資料之方法 - Google Patents

編碼數位視訊資料之方法 Download PDF

Info

Publication number
TWI630819B
TWI630819B TW103114265A TW103114265A TWI630819B TW I630819 B TWI630819 B TW I630819B TW 103114265 A TW103114265 A TW 103114265A TW 103114265 A TW103114265 A TW 103114265A TW I630819 B TWI630819 B TW I630819B
Authority
TW
Taiwan
Prior art keywords
frame
source image
digital
image
width
Prior art date
Application number
TW103114265A
Other languages
English (en)
Other versions
TW201507444A (zh
Inventor
史蒂芬 倫得堡
Original Assignee
安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安訊士有限公司 filed Critical 安訊士有限公司
Publication of TW201507444A publication Critical patent/TW201507444A/zh
Application granted granted Critical
Publication of TWI630819B publication Critical patent/TWI630819B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於一種用於使用一快取記憶體編碼對應於一數位源影像序列之數位視訊資料之方法，該等數位源影像中之每一者具有對應於第一數目個區塊之一相等源影像寬度，該快取記憶體具有對應於第二數目個區塊之一快取記憶體寬度，其中該第二數目個區塊小於該第一數目個區塊，該方法包括：編碼(204)一圖框(30)，該圖框包括對應於具有對應於小於或等於該第二數目個區塊之第三數目個區塊之一影像寬度的一數位源影像之一第一部分之資料及跳過區塊，以使得第一圖框之一影像寬度對應於該源影像寬度；及編碼(205)一後續圖框(40)，該後續圖框包括對應於具有對應於小於或等於該第二數目個區塊之第四數目個區塊之一影像寬度的該數位源影像之一第二部分之資料及跳過區塊，以使得第二圖框之該影像寬度對應於該源影像寬度。

Description

編碼數位視訊資料之方法
本發明係關於一種用於編碼對應於一數位源影像序列之數位視訊資料之方法。
參考快取記憶體用以在編碼對應於一數位源影像序列之數位視訊資料時加速編碼程序。參考快取記憶體包括一參考影像之至少一部分。若所請求資料含納於快取記憶體中(快取命中)，則可藉由簡單地讀取快取記憶體來伺服此請求，此係相對較快的。相反地(快取未命中)，必須自其原始儲存位置再計算或提取資料，此係相對較慢的。因此，可自快取記憶體伺服之請求之數目越大，則總體系統效能變得越快速。為具成本高效性且為實現資料之一高效使用，快取記憶體就記憶體大小而言係相對小的。
當使用一參考快取記憶體時，資料係以固定大小之資料區塊(所謂快取記憶體線)在原始儲存位置與快取記憶體之間傳送，此通常係可自原始儲存位置(典型外部DRAM記憶體)讀取之最小資料量。當編碼影像時，資料區塊對應於亦稱作巨集區塊之像素區塊。儲存於參考快取記憶體中之資料因此以一結構化次序儲存，從而使得提取快取記憶體中之影像資料係簡單的。
此外，專用於在編碼可儲存於快取記憶體中之數位視訊資料時使用之參考快取記憶體具有對應於一最大源影像寬度之一快取記憶體 寬度。
當編碼數位視訊資料時，參考快取記憶體經配置以儲存參考影像之預選數目個區塊或巨集區塊線。此資訊由一運動估計單元用以發現數位視訊資料之兩個圖框之間的運動。區塊或巨集區塊線之數目可自(例如)3個區塊/巨集區塊線變化至多達彼特定應用所需之區塊/巨集區塊線計數；一共同值係5或7。此外，參考快取記憶體必須足夠大以儲存源影像之區塊/巨集區塊的完整線以便高效地起作用。針對將經壓縮之源影像中之每一新區塊/巨集區塊線，必須讀取參考快取記憶體至少一次以執行運動搜尋。當已完成一源影像區塊/巨集區塊線時，可釋放參考快取記憶體中之最舊區塊/巨集區塊線以用於參考影像中進一步向下之一新區塊/巨集區塊線。
為了在編碼對應於一數位源影像序列之數位視訊資料時最佳地使用具有一參考快取記憶體之益處，以資料區塊之數目為單位量測之源影像寬度必須小於或等於亦以資料區塊之數目為單位量測之快取記憶體寬度。
因此，編碼具有一相對大源影像寬度之源影像(例如4K UHDTV(2160p)(3840×2160像素，對應於240×135個巨集區塊)或8K UHDTV(4320p)(7680×4320像素，對應於480×270個巨集區塊))需要具有一相對大快取記憶體寬度之一快取記憶體以便使用該快取記憶體來最佳地快速編碼數位視訊資料。然而，當今之視訊裝置不包括此大小之快取記憶體。
一視訊編碼裝置之快取記憶體寬度通常跟隨視訊編碼裝置正進行編碼之視訊影像之源影像寬度以確保數位視訊資料之快速編碼。然而，由於以下兩個事實而存在趨向源影像之較大像素計數之一趨勢：擷取源影像之影像感測器具有增大數目之感測器像素之事實以及源影像可由由數個個別影像感測器擷取之影像資料構成之事實。在編碼大 源影像之視訊編碼裝置中，出於若干個原因，可因此不可能具有匹配源影像之大小之一快取記憶體；大快取記憶體具有相對高電力要求且係複雜及因此昂貴來製作的(若其根本無法購得)。
因此，需要最佳使用用於加速相對大大小之數位視訊資料之編碼之現有參考快取記憶體。
鑒於上文，本發明之一目的係發現對上文所提及之問題之一解決方案。
特定而言，根據本發明之一第一態樣，提供一種用於使用包括一快取記憶體之一數位視訊資料編碼器編碼對應於一數位源影像序列之數位視訊資料之方法。該等數位源影像中之每一者具有對應於第一數目個區塊之一相等源影像寬度且該快取記憶體具有對應於第二數目個區塊之一快取記憶體寬度，其中該第二數目個區塊小於該第一數目個區塊。因此，該快取記憶體寬度小於該源影像寬度。該方法包括：編碼該數位視訊資料之一第一圖框，該第一圖框包括對應於該數位源影像序列中之一數位源影像之一第一部分之資料，該數位源影像之該第一部分具有對應於小於或等於該第二數目個區塊之第三數目個區塊之一影像寬度，以使得關於該數位源影像之該第一部分之資料可儲存於該快取記憶體中，且該第一圖框填補有跳過區塊，以使得該第一圖框之一影像寬度對應於該源影像寬度；及編碼該數位視訊資料之一第二圖框，該第二圖框包括對應於該數位源影像之一第二部分之資料，該數位源影像之該第二部分具有對應於小於或等於該第二數目個區塊之第四數目個區塊之一影像寬度，以使得關於該數位源影像之第二部分之資料可儲存於該快取記憶體中，且該第二圖框填補有跳過區塊，以使得該第二圖框之該影像寬度對應於該源影像寬度。
該第二圖框在該第一圖框之後(subsequent to)。
因此，根據本發明，提供一種使得視訊裝置能夠使用具有一限 制快取記憶體寬度之參考快取記憶體來編碼相當大視訊影像之編碼方法。根據本發明之編碼方法藉由將該等數位源影像劃分成兩個以上部分來實現具有係該源影像寬度之至少一半大小之一快取記憶體寬度之快取記憶體之使用，甚至可使用更小快取記憶體。此使得該快取記憶體能夠就記憶體大小而言繼續為相對小，從而在該快取記憶體附接至其上之晶片上節約空間。此外，一相對小快取記憶體比相對大快取記憶體更廉價來製造。此外，可使用(例如)能夠根據ISO/MPEG標準或ITU-H.26X標準中之任一者編碼之現有標準數位視訊資料編碼器執行根據本發明之編碼方法。此外，藉由使用根據本發明之編碼方法產生經編碼數位視訊資料，其中該經編碼數位視訊資料之每一圖框具有對應於該源影像寬度之該影像寬度之一影像寬度但一圖框速率係該數位源影像序列之圖框速率之一倍數。可藉由將該視訊裝置之圖框速率設定為數位源影像序列之圖框速率之倍數且將影像寬度設定為源影像寬度而使用一標準解碼器及視訊裝置解碼及回放此數位視訊資料。此意指所產生數位視訊串流將完全與現有解碼標準兼容且亦允許快取記憶體就記憶體大小而言為相當小。
數位視訊資料之該第一圖框及該第二圖框可經編碼為圖框間圖框。
該方法可進一步包括編碼數位視訊資料之一先前圖框，該先前圖框對應於數位源影像序列中之一額外數位源影像，其中該先前圖框經編碼為一圖框內圖框。當編碼一圖框內圖框時，不需要搜尋，因此不使用快取記憶體。根據標準編碼圖框內圖框。
該方法可進一步包括提供數位視訊資料之一額外圖框，該額外圖框係僅包括跳過區塊之一圖框間圖框。數位視訊資料之額外圖框經引入，以使得可獲得一恆定圖框速率。因此，在圖框內圖框之後，將存在某些完全空圖框(僅跳過)，接著「真實」圖框間圖框之編碼將開始。
額外圖框可在先前圖框之後。
該第一圖框及該第二圖框可在額外圖框之後。
數位源影像之第一部分及第二部分可不重疊。此係最佳的，此乃因僅需要編碼關於數位源影像之相同資料一次。
數位源影像之第一部分及第二部分之影像寬度可係相等的。
數位源影像序列之數位源影像可包括由複數個影像感測器獲取之資料且其中數位源影像之第一部分對應於由一第一影像感測器獲取之影像資料且數位源影像之第二部分對應於由另一影像感測器獲取之影像資料。來自不同感測器之影像資料可在編碼之前自動地經剪裁、經伸展、經縮小、經扭曲、經處理等或藉由校準來對準且使由實體感測器放置、光學效應等之差別所致之任何重疊或缺點平整。
源影像可劃分成多個部分，其中每一部分(水平地)具有足夠小以配合於參考快取記憶體中之若干個區塊。因此，源影像寬度可係快取記憶體寬度之一倍數。
該方法可進一步包括將關於經編碼數位視訊資料之旁側資訊發送至經配置以解碼該經編碼數位視訊資料之一解碼器，其中該旁側資訊包括至經配置以解碼該經編碼數位視訊資料之一解碼器之經編碼視訊資料之一圖框速率、數位源影像序列之一圖框速率、快取記憶體寬度及源影像寬度中之至少一者。使用此資訊，解碼器可經最佳化以用於以一最佳方式顯示該經編碼視訊資料。可在一側通道上或藉由呈位元串流形式之特殊訊息或藉由手動組態或預組態進行旁側資訊至解碼器之發送。藉由發送根據上文之旁側資訊，可發現經編碼視訊資料之圖框速率與數位源影像序列之圖框速率之間的一比率。在解碼器中，圖框速率之間的比率可用以設定應顯示經解碼視訊資料之哪些圖框。舉例而言，若4倍之數位源影像序列之圖框速率用以編碼數位視訊序列，則解碼器可選擇不顯示新資訊直至原始序列之所有四個部分已經 解碼為止。藉由使用顯示經解碼之經編碼視訊資料之此替代方法，所顯示視訊資料之圖框速率與數位源影像序列之圖框速率對應。
根據本發明之一第二態樣，提供一種電腦可讀記錄媒體，在其上記錄有用於在於具有處理能力之一裝置上執行時實施上文方法之一程式。
注意，本發明係關於申請專利範圍中所陳述之特徵之所有可能組合。
2‧‧‧區塊
10‧‧‧圖框內圖框/圖框
20‧‧‧圖框
30‧‧‧圖框
40‧‧‧圖框
I‧‧‧圖框/區塊
P‧‧‧圖框
S‧‧‧跳過區塊
現在將參考展示本發明之實施例之隨附圖式更詳細地闡述本發明之此等及其他態樣。不應將該等圖視為將本發明限於特定實施例，而是，該等圖用於解釋及理解本發明。
圖1係根據本發明之經編碼數位視訊資料之四個圖框之一序列之一示意圖。
圖2係展示根據本發明之用於編碼數位視訊資料之一方法之一示意性流程圖。
在以下說明中，僅出於闡釋之目的，陳述特定命名以提供本發明之一透徹理解。然而，熟習此項技術者將明瞭，不需要此等特定細節來實踐本發明。舉例而言，已參考ISO/MPEG系列(MPEG-1、MPEG-2、MPEG-4)之視訊編碼標準及參考ITU-H.26X系列(H.261、H.263及延伸、H.264及HEVC、即將出現之h.265標準)之視訊推薦來闡述本發明。然而，相同技術可容易地應用於其他類型之視訊編碼標準，例如屬於WMV-系列之Microsoft轉碼器、On2轉碼器(例如，VP6、VP6-E、VP6-S、VP7或VP8)或WebM。
在現代數位視訊編碼系統中，兩個主要模式用以壓縮視訊圖框中之一視訊串流一視訊圖框：圖框內模式及圖框間模式。在圖框內模 式中，藉由採用一單個圖框之一給定通道中之像素之空間冗餘經由預測、變換及熵編碼來編碼照度及色度通道。在單獨圖框之間採用時間冗餘之圖框間模式依賴於一運動-補償預測技術，該運動-補償預測技術藉由針對所選擇區塊編碼自一個圖框至另一圖框之像素之運動來預測來自一個(或多個)先前經解碼圖框之一圖框之部分。在圖框間模式中，照度及色度通道不具有任何運動預測。
通常，將待編碼之一圖框分割為個別地經壓縮且經編碼之最小編碼單元(區塊、巨集區塊等)。在圖框間模式中，將一個或數個運動向量指派給區塊中之每一者。藉由根據該組運動向量使來自過去及/或未來圖框之像素區塊位移來構建圖框之一預測。最終，將待編碼之圖框之間的稱作殘餘信號之差以一類似方式變換為圖框內模式且與其運動補償預測一起經熵編碼以形成一位元串流。
此外，在圖框間模式中可使用跳過區塊。在不發送殘餘錯誤或運動向量之情況下編碼一跳過區塊。編碼器將僅記錄其係一跳過區塊。解碼器將自已經解碼之其他區塊推斷一跳過區塊之運動向量。根據本發明，一跳過區塊之運動向量較佳地自數位視訊資料之一前述圖框之一區塊而推斷。
在不參考任何過去或未來圖框之情況下根據圖框內模式經編碼之視訊圖框稱作I-圖框。根據圖框間模式經編碼之視訊圖框自身係稱作P-圖框之單向預測圖框，且參考係一圖框內圖框或圖框間圖框之一過去或未來圖框經編碼；或者係稱作B-圖框之雙向預測圖框，且參考兩個或兩個以上過去或未來參考圖框經編碼。P-圖框及B圖框兩者皆可包含編碼在早期圖框中任何處未發現新資料之I-區塊，而通常該等I-區塊係稀有的。
圖框內圖框包括放置於其中無時間冗餘可用之對應於一場景改變之一新組圖框之開始處之場景改變圖框或者放置於其中某些時間冗 餘可用之其他位置中之再新圖框。I圖框通常以規則或不規則間隔插入以具有用於新串流編碼器之再新點或作為傳輸錯誤之一恢複點。
現在，下文中將參考其中展示本發明之當前較佳實施例之隨附圖式更全面地闡述本發明。然而，本發明可以諸多不同形式體現且不應被視為限於本文中所陳述之實施例；而是，此等實施例係為透徹及完整起見而提供且將本發明之範疇完全傳達給熟習此項技術者。
編碼一相當大大小之視訊影像(例如4K或8K視訊影像)需要比在當今視訊裝置中通常可用之快取記憶體更多之快取記憶體。本發明用使得視訊裝置能夠使用具有一限制快取記憶體寬度之快取記憶體編碼相當大視訊影像之一編碼方法來解決此問題。
如所提及，本發明可(例如)用於編碼4K視訊影像，但該方法當然亦可用於關於一源影像經歷具有比快取記憶體可處置大之一影像寬度(以像素或區塊之數目為單位)之一類似問題之其他應用。此應用之一實例係具有數個影像感測器且將來自此等影像感測器之影像融合成接著經編碼之一合成影像之一相機。
舉例而言，在編碼4K視訊影像之情形中，使用具有帶有僅能夠編碼2K視訊(50%參考快取記憶體大小)之一快取記憶體之一數位視訊資料編碼器之一視訊裝置將係可能的。在此實例中，源視訊因此係3840×2160像素且快取記憶體寬度限於1920像素。
在圖1中，圖解說明對應於根據本發明之數位源影像之一序列之經編碼數位視訊資料之四個圖框之一序列之一實例。經編碼數位視訊資料之圖框劃分成複數個區塊2。在圖1中所展示之實例中，經編碼數位視訊資料之每一圖框劃分成16個區塊。然而，每一圖框可劃分成任意數目個區塊。用於編碼數位視訊資料之數位源影像中之每一者具有對應於第一數目個區塊之一相等源影像寬度。用以編碼圖1之數位視訊資料之源影像具有對應於四個區塊之一影像寬度。然而，認識到， 可使用具有對應於任何數目個區塊之一影像寬度(除了一個區塊之一寬度之外)之源影像。用以編碼數位視訊資料之數位視訊資料編碼器具有帶有對應於第二數目個區塊之一快取記憶體寬度之一快取記憶體，在圖1中所圖解說明之實例中，快取記憶體寬度對應於兩個區塊。第二數目個區塊小於第一數目個區塊。因此，快取記憶體寬度小於源影像寬度。
係數位視訊資料之一第一圖框之一圖框內圖框10使用一圖框內編碼模式來編碼。圖框內圖框10對應於數位源影像序列之一第一圖框。快取記憶體不用於編碼圖框內圖框。圖框內圖框10具有對應於源影像寬度之一影像寬度。因此，在圖1中所展示之實例中，圖框內圖框10之影像寬度係4個區塊寬。
針對每一圖框內圖框，使用一圖框間編碼模式編碼數位視訊資料之至少一個額外圖框20。至少一個額外圖框20具有對應於源影像寬度之一影像寬度。數位視訊資料之額外圖框20經編碼為若干個跳過區塊。數位視訊資料之額外圖框20不對應於數位源影像序列之圖框中之任一者。額外圖框20之量取決於數位源影像序列之後續數位源影像劃分成之部分之數目，關於後續數位源影像至部分之劃分參見下文。額外圖框20之量等於數位源影像序列之後續數位源影像劃分成之部分之數目減去一。舉例而言，若後續數位源影像劃分成四個部分，則額外圖框之數目係三。在圖1中所圖解說明之實例中，額外圖框之量係一，此乃因數位源影像序列之後續數位源影像劃分成兩個部分。數位視訊資料之額外圖框20經引用以使得獲得一恆定圖框速率。
為編碼在數位源影像序列之第一數位源影像之後的數位源影像序列之一後續數位源影像，使用圖框間編碼模式。後續數位源影像劃分成部分，在圖1中，使用兩個部分，然而認識到，部分之數目可取決於快取記憶體寬度及數位源影像之寬度而變化。數位源影像之後續 數位源影像之部分具有小於或等於快取記憶體寬度之一影像寬度，以使得關於數位源影像之部分之資料可儲存於快取記憶體中。使用圖框間編碼模式編碼對應於圖1之數位視訊資料之第三圖框之一後續數位源影像之一第一圖框30。該後續數位源影像之該第一圖框30包括：包括對應於後續數位源影像之一第一部分之資料之一第一區域及填補有跳過區塊之一區域。在圖1中，第一區域之區塊用P標記且填補有跳過區塊之區域之區塊用S標記。在圖框30之後，對應於圖1之數位視訊資料之第四圖框之包括填補有跳過區塊之一第一區域(第一區域之區塊在圖1中用S標記)及包括對應於後續數位源影像之一第二部分之資料之另一區域(另一區域之區塊在圖1中用P標記)之該後續數位源影像之一第二圖框40使用圖框間編碼模式來編碼。該第一圖框30及該第二圖框40之影像寬度對應於源影像寬度。因此，在圖1之實例中，數位源影像序列之後續數位源影像使用兩個單獨圖框間圖框來編碼。
實例中所闡述之影像部分之大小可經變更以滿足用於編碼數位視訊資料之一編碼器及用於解碼數位視訊資料之一解碼器之特定要求。舉例而言，若快取記憶體寬度小於源影像寬度之一半，則可將源影像劃分成四個部分，該四個部分具有與源影像相同之高度及係源影像寬度之四分之一的一影像寬度。
可使用能夠根據ISO/MPEG標準或ITU-H.26X標準中之任一者編碼之現有標準數位視訊資料編碼器執行根據本發明之編碼方法。
藉由使用根據本發明之編碼方法產生經編碼數位視訊資料，其中經編碼數位視訊資料之每一圖框具有對應於源影像寬度之影像寬度之一影像寬度但一圖框速率係數位源影像序列之圖框速率之一倍數。可藉由將視訊裝置之圖框速率設定為數位源影像序列之圖框速率之倍數且將影像寬度設定為源影像寬度而使用一標準解碼器及視訊裝置來解碼及回放此數位視訊資料。
因此，根據圖1中所圖解說明之實例，數位視訊資料編碼器將視 訊具有全大小(在具有四個區塊之一影像寬度之此情形中)但圖框速率比數位源影像序列之圖框速率高兩倍之一訊息發送至數位視訊資料之接收器。
另一選擇係，藉由使用本發明之編碼方法，可能告知經配置以解碼經編碼數位視訊資料之解碼器關於使得解碼器能夠以一最佳方式顯示解碼經經編碼視訊資料之編碼方法。舉例而言，藉由發送關於經編碼視訊資料之一圖框速率及數位源影像序列之一圖框速率之資訊或關於快取記憶體寬度及源影像寬度之資訊，可發現兩個圖框速率之間的一比率。在解碼器中，圖框速率之間的比率可用以設定應顯示經解碼視訊資料係哪些圖框。舉例而言，若4倍數位源影像序列之圖框速率用以編碼數位視訊序列，則解碼器可選擇不顯示新資訊直至原始序列之所有四個部分已經解碼為止。藉由使用顯示經解碼之經編碼視訊資料之此替代方法，經顯示視訊資料之圖框速率與數位源影像序列之圖框速率對應。
在圖1之實例中，兩倍數位源影像序列之圖框速率用以編碼數位視訊序列。因此，僅需要顯示經解碼之經編碼視訊資料之每一第二圖框。更確切地說，在圖1之實例中，應顯示僅包括跳過區塊之額外圖框20及係數位源影像序列之後續數位源影像之最後圖框間圖框之圖框40。跳過區塊暗指，將顯示來自早期圖框之影像資訊。
參考圖2，將更詳細論述根據本發明之用於編碼對應於一數位源影像序列之數位視訊資料之方法。數位源影像中之每一者具有對應於第一數目個區塊之一相等源影像寬度。使用包括一快取記憶體之一數位視訊資料編碼器執行該方法，該快取記憶體具有對應於第二數目個區塊之一快取記憶體寬度，其中第二數目個區塊小於第一數目個區塊。因此，快取記憶體寬度小於源影像寬度。該方法包括以下步驟：
步驟201，編碼包括對應於數位源影像序列之一第一影像之資料 之一圖框內圖框10。
步驟202，提供係僅包括跳過區塊之一圖框間圖框之至少一個額外圖框20。
步驟203，將在數位源影像序列之第一源影像之後的數位源影像序列之一數位源影像劃分成複數個部分。後續數位源影像之每一部分具有小於或等於快取記憶體寬度之一影像寬度，以使得關於數位源影像之每一部分之資料可儲存於快取記憶體中。較佳地，後續源影像之部分之影像寬度相等。
步驟204，編碼數位視訊資料之一第一圖框30，該第一圖框包括對應於後續數位源影像之一第一部分之資料及跳過區塊，以使得第一圖框30之一影像寬度對應於源影像寬度。數位視訊資料之第一圖框30使用圖框間模式來編碼。
步驟205，編碼數位視訊資料之一第二圖框40，該第二圖框40包括對應於後續數位源影像之另一部分之資料及跳過區塊，以使得第二圖框40之一影像寬度對應於源影像寬度。數位視訊資料之該第二圖框40使用圖框間模式來編碼。
步驟206，將關於經編碼視訊資料之一圖框速率、數位源影像序列之一圖框速率、快取記憶體寬度及源影像寬度中之至少一者之旁側資訊發送至經配置以解碼經編碼數位視訊資料之一解碼器。可在一側通道上或藉由呈位元串流形式之特定訊息或藉由手動組態或預組態進行旁側資訊至解碼器之發送。
可在根本不使用旁側資訊之情況下進行解碼。因此，解碼器在解碼一經編碼數位視訊序列時像平常一樣起作用。若在根本不使用旁側資訊之情況下進行解碼，則可省去將旁側資訊發送至解碼器之步驟206。
另一選擇係，旁側資訊可用以調整經解碼數位視訊序列之圖框 之顯示時間。若如此，則旁側資訊可用來調整經解碼數位視訊序列之顯示時間以匹配數位源影像序列之圖框速率。舉例而言，若4倍數位源影像序列之圖框速率用以編碼數位視訊序列，則解碼器可選擇不顯示新資訊直至原始序列之所有四個部分已經解碼為止。
為了告知解碼器多少個圖框用以編碼數位源影像序列之一個圖框，可使用關於經編碼視訊資料之圖框速率、數位源影像序列之圖框速率或此等圖框速率之間的一比率之資訊。另一選擇係，可使用快取記憶體寬度及源影像寬度或此等兩個寬度之間的一比率。
熟習此項技術者認識到，本發明決不限於上文所闡述之較佳實施例。相反，在隨附申請專利範圍之範疇內諸多修改及變化係可能的。
舉例而言，認識到，對應於一數位源影像序列之數位視訊資料之編碼可藉由經配置以用於根據ISO/MPEG系列(MPEG-1、MPEG-2、MPEG-4)之視訊編碼標準、ITU-H.26X系列(H.261、H.263及延伸、H.264及HEVC、即將出現之h.265標準)之視訊推薦來編碼之任何標準數位視訊編碼器來執行。然而，相同技術可容易地應用於其他類型之視訊編碼標準，例如屬於WMV-系列之Microsoft轉碼器、On2轉碼器(例如，VP6、VP6-E、VP6-S、VP7或VP8)或WebM。
該編碼器可具有一處理器，該處理器具有用於執行用於實施根據本發明之用於編碼數位視訊資料之方法之一程式之處理能力。
該編碼器可具有用於執行根據本發明之用於編碼數位視訊資料之方法之步驟之硬體組件。
該編碼器可具有用於執行根據本發明之用於編碼數位視訊資料之方法之步驟中之某些步驟之硬體組件及具有用於執行用於實施根據本發明之用於編碼數位視訊資料之方法之步驟中之某些步驟之一程式之處理能力之一處理器兩者。
該數位視訊編碼器可位於經配置以用於擷取數位源影像序列之一數位視訊攝影機中。另一選擇係，該數位視訊編碼器可位於經配置以編碼來自外部視訊擷取裝置之數位源影像之一視訊編碼裝置中。
另外，自對圖式、揭示內容及隨附申請專利範圍之研究，熟習此項技術者在實踐所主張本發明時可理解及實現所揭示實施例之變化。此外，在圖式及說明書中，已揭示本發明之較佳實施例及實例且儘管採用特定術語，但該等術語僅在一在一泛用及闡述性意義上且不出於限制之目的而使用，本發明之範疇陳述於以下申請專利範圍中。在申請專利範圍中，詞語「包括(comprising)」並不排除其他元件或步驟，且不定冠詞「一(a)」或「一(an)」並不排除複數個。

Claims (11)

  1. 一種用於使用包括一快取記憶體之一數位視訊資料編碼器編碼對應於一數位源影像序列之數位視訊資料之方法，該等數位源影像中之每一者具有對應於第一數目個區塊之一相等源影像寬度，該快取記憶體具有對應於第二數目個區塊之一快取記憶體寬度，其中該第二數目個區塊小於該第一數目個區塊，該方法包括：編碼(204)該數位視訊資料之一第一圖框(30)，該第一圖框(30)包括對應於該數位源影像序列中之一數位源影像之一第一部分之資料，該數位源影像之該第一部分具有對應於小於或等於該第二數目個區塊之第三數目個區塊之一影像寬度，以使得關於該數位源影像之該第一部分之資料可儲存於該快取記憶體中，且該第一圖框(30)填補(padded)有跳過(skip)區塊，以使得該第一圖框(30)之一影像寬度對應於該源影像寬度，及編碼(205)該數位視訊資料之一第二圖框(40)，該第二圖框(40)包括對應於該數位源影像之一第二部分之資料，該數位源影像之該第二部分具有對應於小於或等於該第二數目個區塊之第四數目個區塊之一影像寬度，以使得關於該數位源影像之該第二部分之資料可儲存於該快取記憶體中，且該第二圖框(40)填補有跳過區塊，以使得該第二圖框(40)之該影像寬度對應於該源影像寬度，其中該第一圖框(30)及該第二圖框(40)經編碼為圖框間圖框(INTER-frames)，一跳過區塊係記錄為無殘餘錯誤或運動向量之一區塊，且該第二圖框在該第一圖框之後(subsequent to)。
  2. 如請求項1之方法，其進一步包括編碼(201)該數位視訊資料之一先前圖框(10)，該先前圖框(10)包括對應於該數位源影像序列中之一額外數位源影像之資料，其中該先前圖框(10)經編碼為一圖框內圖框。
  3. 如請求項2之方法，其進一步包括提供(202)該數位視訊資料之一額外圖框(20)，該額外圖框(20)係僅包括跳過區塊之一圖框間圖框。
  4. 如請求項3之方法，其中該額外圖框(20)係在該先前圖框(10)之後。
  5. 如請求項3或4之方法，其中該第一圖框(30)及該第二圖框(40)係在該額外圖框(20)之後。
  6. 如請求項1之方法，其中該數位源影像之該第一部分及該第二部分不重疊。
  7. 如請求項1之方法，其中該數位源影像之該第一部分及該第二部分之該影像寬度係相等的。
  8. 如請求項1之方法，其中該數位源影像序列之該等數位源影像包括由複數個影像感測器獲取之資料，且其中該數位源影像之該第一部分對應於由一第一影像感測器獲取之影像資料且該數位源影像之該第二部分對應於由另一影像感測器獲取之影像資料。
  9. 如請求項1之方法，其中該源影像寬度係該快取記憶體寬度之一倍數。
  10. 如請求項1之方法，其進一步包括將關於該經編碼數位視訊資料之旁側資訊發送(206)至經配置以解碼該經編碼數位視訊資料之一解碼器，其中該旁側資訊包括該經編碼視訊資料之一圖框速率、該數位源影像序列之一圖框速率、該快取記憶體寬度及該源影像寬度中之至少一者。
  11. 一種電腦可讀記錄媒體，在其上記錄有用於在於具有處理能力之一裝置上執行時實施如請求項1之方法之一程式。
TW103114265A 2013-06-05 2014-04-18 編碼數位視訊資料之方法 TWI630819B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13170546.9A EP2814253B1 (en) 2013-06-05 2013-06-05 Method for encoding digital video data
??13170546.9 2013-06-05

Publications (2)

Publication Number Publication Date
TW201507444A TW201507444A (zh) 2015-02-16
TWI630819B true TWI630819B (zh) 2018-07-21

Family

ID=48576278

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103114265A TWI630819B (zh) 2013-06-05 2014-04-18 編碼數位視訊資料之方法

Country Status (6)

Country Link
US (3) US9307253B2 (zh)
EP (2) EP2903284A1 (zh)
JP (1) JP5869047B2 (zh)
KR (1) KR101553680B1 (zh)
CN (1) CN104243990B (zh)
TW (1) TWI630819B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942473B2 (en) * 2012-07-25 2015-01-27 Ko Hung Lin Image processing method and display apparatus
EP3343561B1 (en) * 2016-12-29 2020-06-24 Axis AB Method and system for playing back recorded video
EP3506633A1 (en) * 2017-12-19 2019-07-03 Axis AB Video encoding method and system
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay
MX2021002084A (es) 2018-08-27 2021-04-28 Panasonic Ip Corp America Codificador, decodificador, metodo de codificacion y metodo de decodificacion.
EP3618442B1 (en) 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
US11189005B1 (en) * 2020-08-27 2021-11-30 Arm Limited Index buffers in graphics processing systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175049A1 (en) * 2003-03-04 2004-09-09 Matsushita Electric Industrial Co., Ltd Moving image coding method and apparatus
US20100061447A1 (en) * 2008-09-05 2010-03-11 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2719398B1 (fr) * 1994-04-27 1996-07-19 Sgs Thomson Microelectronics Dispositif et procédé d'adressage d'une mémoire cache d'un circuit de compression d'images mobiles.
JP3181002B2 (ja) 1994-05-06 2001-07-03 日本電信電話株式会社 自在駒落ち動画像符号化方法
US6067321A (en) * 1997-04-03 2000-05-23 Lsi Logic Corporation Method and apparatus for two-row macroblock decoding to improve caching efficiency
JPH11220694A (ja) 1998-02-02 1999-08-10 Sony Corp 信号伝送方法、信号伝送装置及び信号記録媒体
JP2000115777A (ja) 1998-10-01 2000-04-21 Hitachi Ltd 画像処理方法および画像処理装置
SG111087A1 (en) * 2002-10-03 2005-05-30 St Microelectronics Asia Cache memory system
WO2004070986A2 (en) * 2003-01-28 2004-08-19 Thomson Licensing S.A. Robust mode staggercasting
GB0323284D0 (en) 2003-10-04 2003-11-05 Koninkl Philips Electronics Nv Method and apparatus for processing image data
CN1328910C (zh) * 2005-03-10 2007-07-25 北京中星微电子有限公司 一种应用硬件实现运动估计时的搜索窗数据读取方法
US8325798B1 (en) * 2005-12-15 2012-12-04 Maxim Integrated Products, Inc. Adaptive motion estimation cache organization
US8593469B2 (en) * 2006-03-29 2013-11-26 Nvidia Corporation Method and circuit for efficient caching of reference video data
CN100493193C (zh) * 2006-12-08 2009-05-27 北京中星微电子有限公司 对实时数码视频影流进行缓存控制的方法和装置
JP4900470B2 (ja) 2007-02-22 2012-03-21 富士通株式会社 動画像符号化装置および動画像符号化方法
US20080285652A1 (en) * 2007-05-14 2008-11-20 Horizon Semiconductors Ltd. Apparatus and methods for optimization of image and motion picture memory access
JP2009055291A (ja) 2007-08-27 2009-03-12 Oki Electric Ind Co Ltd 動き検出回路
CN101179724B (zh) * 2007-12-11 2010-09-29 北京中星微电子有限公司 帧间压缩编码中的帧存储方法及装置
JP2009232370A (ja) 2008-03-25 2009-10-08 Victor Co Of Japan Ltd 動画像復号装置
US20090245374A1 (en) * 2008-03-26 2009-10-01 Mediatek Inc. Video encoder and motion estimation method
JP5662233B2 (ja) 2011-04-15 2015-01-28 株式会社東芝 画像符号化装置及び画像復号装置
US20140092969A1 (en) * 2012-10-01 2014-04-03 Mediatek Inc. Method and Apparatus for Data Reduction of Intermediate Data Buffer in Video Coding System
US9185437B2 (en) * 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175049A1 (en) * 2003-03-04 2004-09-09 Matsushita Electric Industrial Co., Ltd Moving image coding method and apparatus
US20100061447A1 (en) * 2008-09-05 2010-03-11 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding

Also Published As

Publication number Publication date
US20160156916A1 (en) 2016-06-02
EP2814253B1 (en) 2015-09-16
CN104243990A (zh) 2014-12-24
US9307253B2 (en) 2016-04-05
KR20140143328A (ko) 2014-12-16
JP5869047B2 (ja) 2016-02-24
JP2014239428A (ja) 2014-12-18
KR101553680B1 (ko) 2015-09-30
US10165290B2 (en) 2018-12-25
US10045037B2 (en) 2018-08-07
EP2814253A1 (en) 2014-12-17
TW201507444A (zh) 2015-02-16
US20140362908A1 (en) 2014-12-11
EP2903284A1 (en) 2015-08-05
CN104243990B (zh) 2016-05-11
US20180302637A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
TWI630819B (zh) 編碼數位視訊資料之方法
TWI499275B (zh) 用於視頻傳輸的方法和系統
TWI451766B (zh) 用於視頻編碼之電力效率高的運動估計技術
US20080273599A1 (en) Method and apparatus for encoding and decoding multi-view video data
JP2013504256A (ja) シーン切替検出
WO2008151564A1 (en) Encoding and decoding method, encoder and decoder, and image processing system
US8811483B2 (en) Video processing apparatus and method
JP5947641B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP5050964B2 (ja) 復号装置，復号方法および復号プログラム
US9363523B2 (en) Method and apparatus for multi-core video decoder
JP4625096B2 (ja) 復号化回路、復号化装置、及び復号化システム
KR101606931B1 (ko) 키프레임 정지영상 저장 및 재생 장치 및 그 동작 방법
JP2005124091A (ja) 復号装置及び復号方法
US20130156114A1 (en) Data Movement Reduction In Video Compression Systems
TWI520618B (zh) 影像資料處理方法以及影像處理裝置
JP2823809B2 (ja) 画像復号化方法及び画像復号化装置
US20110299591A1 (en) Video processing apparatus and method
JP2009290387A (ja) エンコーダ、デコーダ、及び記録再生装置
JP5240230B2 (ja) トランスコーダ、記録装置及びトランスコード方法
Zhang et al. Overview of the IEEE 1857 surveillance groups
JP5768631B2 (ja) 動画像処理装置および動画像処理システム
JP2015035785A (ja) 動画像符号化装置、撮像装置、動画像符号化方法、プログラム、及び記録媒体
JP2006295705A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム