TW201436534A - 使用平行解碼路徑的視訊壓縮(vc-2)解碼 - Google Patents

使用平行解碼路徑的視訊壓縮(vc-2)解碼 Download PDF

Info

Publication number
TW201436534A
TW201436534A TW103106700A TW103106700A TW201436534A TW 201436534 A TW201436534 A TW 201436534A TW 103106700 A TW103106700 A TW 103106700A TW 103106700 A TW103106700 A TW 103106700A TW 201436534 A TW201436534 A TW 201436534A
Authority
TW
Taiwan
Prior art keywords
idwt
data
band
level
program
Prior art date
Application number
TW103106700A
Other languages
English (en)
Inventor
Caizhang Zhou
Ting-Chung Chen
Chia-Chun Huang
Original Assignee
Intersil Americas LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intersil Americas LLC filed Critical Intersil Americas LLC
Publication of TW201436534A publication Critical patent/TW201436534A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭示執行VC-2解碼之方法、裝置及系統。在一具體實例中,一種VC-2解碼器包括三個平行資料路徑,包括頂部頻帶、當前頻帶及底部頻帶資料路徑。該頂部頻帶資料路徑執行一頂部壓縮資料頻帶的可變長度解碼(VLD)、反量化(IQ)及反DC預測(IDCP)處理。該當前頻帶資料路徑執行一當前壓縮資料頻帶的VLD、IQ及IDCP處理。該底部頻帶資料路徑執行一底部壓縮資料頻帶的VLD、IQ及IDCP處理。另外,該解碼器包括一三級反離散小波轉換(IDWT)模組以執行IDWT處理以取決於使用該三個平行資料路徑產生之部分解壓縮之頂部、當前及底部資料頻帶合成經解碼之源像素值。該解碼器亦包括一片段位元組等化器、一位元串流先進先出(FIFO)、一掃描轉換FIFO及一模組,該模組將水平及垂直遮沒期間插入至自該掃描轉換FIFO接收之資料內。

Description

使用平行解碼路徑的視訊壓縮(VC-2)解碼 【優先權主張】
本申請案主張下列申請案之優先權:- 2013年3月27日申請之美國專利申請案第13/851,821號;及- 2013年3月15日申請之美國臨時專利申請案第61/798,790號。
本發明之具體實例大體上係關於供在解碼資料時使用之解碼器及方法。
VC-2視訊壓縮標準為由英國廣播公司(BBC)對動畫與電視工程師協會(SMPTE)標準貢獻的公開免費使用之視訊解碼標準。VC-2標準使用離散小波轉換(DWT)及交錯指數葛洛姆(IEG)可變長度編碼來達成所要的視訊壓縮。DWT原先經設計以與風行之H.264標準相競爭,期望其導致比風行之基於離散餘弦變換(DCT)之系統少的區塊假影。為了達成串列資料介面(SDI)傳輸系統中之低延遲要求,SMPTE標準化兩個低延遲設定檔,其包括使用(2,2)DWT之64級及使用重疊(5,3)DWT之65級。已展示為了使高清晰度(HD)視訊按優秀的視訊品質適合標準清晰度SDI(SD-SDI)有效負載,需要65級壓縮。
VC-2 65級為具有下列屬性的低延遲設定檔之一子集:
1. 4:2:2 10位元取樣,具有支援之解析度1920×1080i29.97、1920×1080i25、1280×720p59.94、1280×720p50。
2. 編碼解碼器僅使用低延遲設定檔。
3. 編碼解碼器僅使用LeGall(5,3)小波轉換(小波索引=1)
4. 小波深度確切地為3階。
5. 片段大小固定為在亮度上16(水平)×8(垂直)且在色度上8(水平)×8(垂直)。
習知地,重疊之DWT用於廣泛地用於數位攝影機及醫療成像系統中之JPEG-2000標準中。在該文獻中,存在關於如何減小2-D DWT之實施複雜性的許多公佈。此技術之一普通性質在於,基於JPEG-2000之實施使用外部圖框緩衝記憶體來處理晶片上DWT/IDWT資料。因此,此等公佈已主要聚焦於以下方式:使對外部記憶體之讀取及寫入存取最小化;減小晶片上外部記憶體;加速資料處理;及選擇一掃描方案以使記憶體使用最小化。然而,外部記憶體典型地增加與晶片封裝大小及功率消耗相關聯之成本,以及總體系統複雜性及材料單(BOM)成本。
以下描述為非常有效率的三頻帶平行處理VC-2解碼架構及其實施方法,包括時間重疊之高傳輸量2-D反向離散小波轉換(IDWT)濾波器設計、基於同時即時輸入的以多級IDWT分片為基礎之處理方法、用於容易的FIFO處理之片段位元組等化器、用於減少程序間通信暫存器之一個時槽四個程序處理架構、IDWT鄰域片段儲存減少方法及IDWT解析度降低方法。以下亦描述的為基於輸入及輸出視訊格式評估輸入緩衝器大小之分析功能。根據特定具體實例,管線式1-D IDWT程序減少且較佳地減半總體2-D IDWT處理時間。根據特定具體實例,直接將即時產生之輸入資料饋入至IDWT處理器(其亦可被稱作IDWT模組),而不使用中間緩衝器,此減少了儲存及延遲。另外地,特定具體實例避免使用外部動態記憶體(如在多數視訊壓縮系統中需要)且消除了三頻帶內部記憶體。因此,所揭示 之架構及方法允許VC-2解碼器實施使用少量內部靜態記憶體及暫存器,且致使非常短的處理延遲。此使解碼器之多個頻道(例如,解碼器之四個頻道)能夠被裝填至一單一晶片內。
根據本發明之特定具體實例,串列資料介面(SDI)接收器晶片不需要且不包括外部記憶體,此為有益的,因為在SDI應用範圍中的5-10之小壓縮比可不證明使用外部圖框緩衝記憶體之附加成本為正當的。此缺乏外部記憶體為本發明之特定具體實例與其他基於DWT之設計之間的一差異。
與在64級標準中使用的簡單得多之非重疊(2,2)DWT相比,(5,3)DWT之重疊本質難以即時處理。因此,(5,3)DWT之重疊本質若未適當地處理,則可導致實施困難。本文中描述的本發明之特定具體實例克服了此等實施困難,且實際上藉由使用內部記憶體之三個大頻帶來保持傳入之即時視訊資料而利用(5,3)DWT之重疊本質,使得可消除在其他基於DWT之設計中使用的外部記憶體。
在特定具體實例中,SDI接收器將四個解碼器頻道裝填至一晶片內。若未正確地進行,則此SDI接收器可能需要具有比整個晶片之其他部分之總和大的閘計數之內部記憶體大小。換言之,將此潛在的大小大之三頻帶內部記憶體與對於SDI接收器需要之其他電路一起裝填至一晶片內將不實際。為了克服此問題,本文中描述之特定具體實例可用以減少記憶體使用。
更通常地,以下描述為消除可另外由SDI接收器晶片需要之外部記憶體及主要內部記憶體之系統性方式。另外,揭示進一步減少內部暫存器使用之三架構/技術/方案。
某些具體實例與平行處理架構有關,該平行處理架構使用同時執行之三組小的可變長度解碼器(VLD)、反量化(IQ)及反DC預測(IDCP) 模組以即時地產生用於IDWT之所需三頻帶資料。此即時重複產生之IDWT輸入資料完全消除了將非常大的三頻帶資料儲存於內部記憶體中之需求。有利地,使用兩個以上組VLD、IQ及IDCP模組之附加成本導致少於1%之閘計數增加,同時其替換內部記憶體,若內部記憶體未經消除,則其將另外表示大於50%之總閘計數。
為了減小且較佳地最小化輸入緩衝記憶體儲存,可使用一埠靜態RAM來儲存自SD-SDI鏈路擷取的壓縮輸入串流。亦描述為計算對於可持續SD至HD即時操作所需的最小緩衝器大小之技術。如將自以下描述理解,使用簡單的公式來評估緩衝器大小。
在某些具體實例中,為了使同時讀取三個可變長度編碼(VLC)之串流之位址計算邏輯容易,藉由將「1」位元填充至較短片段的等化之位元組邊界來等化每片段的接收之位元組。此技術允許在相等間隔之位址處依序地讀出所需三個VLC串流,其大大地簡化了輸入緩衝器設計。
在某些具體實例中,為了增加2-D IDWT程序之輸出傳輸量,在其兩循環程序時間期間重疊連續的1-D IDWT程序,以幾乎使其總的速度效能雙倍增加。
以下亦描述為基於三級片段之2D-IDWT實施方法及輸入架構,其中使用揭示之平行處理架構直接自即時產生之VLD-IQ-IDCP輸出饋入輸入資料。使用此方法及輸入架構,替代如在多數習知設計中的經由需要較多儲存及延遲之儲存緩衝器饋入。
在習知VC-2解碼器設計中,典型地需要大量內部程序間暫存器。為了減少暫存器使用,特定具體實例將四個程序(VLD-IQ-IDCP-IDWT)組合成一個處理時槽,且讓其共用僅一組通信暫存器。另外,排程方案及較高速度處理器經設計使得可進行一時槽設計。以下亦描述為將所需之模組間暫存器減少至少50%的方式,與習知VC-2解碼 器設計相比,減少至少50%為很顯著的改良。
根據某些具體實例,外部記憶體之消除以及三頻帶內部靜態記憶體之消除導致對於包括當前解碼中之片段的3×3(亦即,9片段)資料區塊之所需IDWT儲存之減少。解碼架構之一另外改良基於此等9片段中的並非所有像素或其延遲之版本皆用於解碼且因此可消除其儲存之VC-2性質將儲存減少至3.3個片段。另外,根據一具體實例之定址方案可用以促進暫存器儲存之至少50%減少。
某些具體實例亦利用將第二級自第一級按比例減少2且亦將第三級自第二級按比例減少2之空間IDWT定標性質。結果,少為一個之位元可儲存於二級像素中,且需要少為兩個之位元用於儲存三級像素。特定言之,此可用以節省關於總暫存器使用之另外10%。
100‧‧‧串列資料介面(SDI)傳輸系統
110‧‧‧HD攝影機
120‧‧‧VC-2 HD至SD編碼器
130‧‧‧有效負載格式器
140‧‧‧SD-SDI傳輸器
145‧‧‧同軸傳輸纜線
150‧‧‧SD-SDI接收器
160‧‧‧有效負載擷取模組
170‧‧‧VC-2 SD至HD解碼器
180‧‧‧HD H.264編碼器
210‧‧‧壓縮位元串流緩衝記憶體
220‧‧‧可變長度解碼器(VLD)模組
230‧‧‧IQ/IDCP模組
240‧‧‧3頻帶緩衝記憶體
250‧‧‧IDWT模組
260‧‧‧掃描轉換緩衝記憶體
270‧‧‧HD輸出模組
280‧‧‧處理元件
282‧‧‧最基本單元
284‧‧‧3×3片段資料區塊
286‧‧‧三個頻帶
2310‧‧‧源片段
2312‧‧‧水平低頻帶L3
2314‧‧‧水平高頻帶H3
2316、2318、2320、2322‧‧‧3級子頻帶
2328、2330、2332、2334‧‧‧第2級頻率分量
2340、2342、2344、2346‧‧‧第1級頻率分量
2410‧‧‧第1級反離散小波轉換(L1-IDWT)
2416、2418、2420、2422‧‧‧第3級分量
2428、2430、2432、2434‧‧‧第2級分量
2440、2442、2444、2446‧‧‧第1級頻帶分量
300‧‧‧1-D(5,3)合成濾波器程序
310‧‧‧先前片段
320‧‧‧當前片段
330‧‧‧下一個片段
340‧‧‧有界限之區域
400‧‧‧基於片段之第一級2-D(5,3)合成濾波器程序
410‧‧‧列
415‧‧‧列
420‧‧‧列
425‧‧‧列
430‧‧‧列
440‧‧‧行
445‧‧‧行
450‧‧‧行
455‧‧‧行
460‧‧‧行
465‧‧‧行
470‧‧‧行
500‧‧‧基於片段之第二級(亦即,第2級)2-D(5,3)IDWT程序500
510‧‧‧列
515‧‧‧列
520‧‧‧列
525‧‧‧列
530‧‧‧列
535‧‧‧列
540‧‧‧列
545‧‧‧行
550‧‧‧行
555‧‧‧行
560‧‧‧行
565‧‧‧行
570‧‧‧行
575‧‧‧行
580‧‧‧行
585‧‧‧行
590‧‧‧行
595‧‧‧行
600‧‧‧2D(5,3)IDWT程序之第3級
610‧‧‧列
612‧‧‧列
614‧‧‧列
616‧‧‧列
618‧‧‧列
620‧‧‧列
622‧‧‧列
624‧‧‧列
626‧‧‧列
628‧‧‧列
630‧‧‧列
632‧‧‧行
634‧‧‧行
636‧‧‧行
638‧‧‧行
640‧‧‧行
642‧‧‧行
644‧‧‧行
646‧‧‧行
648‧‧‧行
650‧‧‧行
652‧‧‧行
654‧‧‧行
656‧‧‧行
658‧‧‧行
660‧‧‧行
662‧‧‧行
664‧‧‧行
666‧‧‧行
668‧‧‧行
700‧‧‧基於片段之第一級2-D(5,3)IDWT程序
710‧‧‧列
715‧‧‧列
720‧‧‧列
725‧‧‧列
730‧‧‧列
735‧‧‧行
740‧‧‧行
745‧‧‧行
750‧‧‧行
755‧‧‧行
800‧‧‧2-D(5,3)IDWT程序之第2級
810‧‧‧列
815‧‧‧列
820‧‧‧列
825‧‧‧列
830‧‧‧列
835‧‧‧列
840‧‧‧列
845‧‧‧行
850‧‧‧行
855‧‧‧行
860‧‧‧行
865‧‧‧行
870‧‧‧行
875‧‧‧行
900‧‧‧2D(5,3)IDWT程序之第3級
910‧‧‧列
912‧‧‧列
914‧‧‧列
916‧‧‧列
918‧‧‧列
920‧‧‧列
922‧‧‧列
924‧‧‧列
926‧‧‧列
928‧‧‧列
930‧‧‧列
932‧‧‧行
934‧‧‧行
936‧‧‧行
938‧‧‧行
940‧‧‧行
942‧‧‧行
944‧‧‧行
946‧‧‧行
948‧‧‧行
950‧‧‧行
952‧‧‧行
1000‧‧‧管線式2-D IDWT設計
1010、1020、1030、1040…1050‧‧‧1-D濾波器程序
1100‧‧‧3頻帶平行處理VLD-IQ/IDCP-IDWT VC-2解碼器架構
1105‧‧‧片段位元組等化器
1110‧‧‧輸入FIFO
1115、1120、1125‧‧‧VLD模組
1130、1135、1140‧‧‧IQ/IDCP模組
1145、1150、1155‧‧‧2片段延遲
1160‧‧‧IDWT處理器
1170‧‧‧BT-1120產生器
1180‧‧‧視訊輸出(VO)FIFO
1190‧‧‧slice_bytes群組
1192、1193、1194‧‧‧可變長度資料之頻帶
1200‧‧‧一時槽中四程序方案
1201‧‧‧習知解碼器設計
1202‧‧‧有效率之一時槽中四程序方案
12700‧‧‧VC-2解碼器
12720‧‧‧片段位元組等化器
12740‧‧‧位元串流FIFO
12800‧‧‧頂部頻帶資料路徑
12820‧‧‧當前頻帶資料路徑
12840‧‧‧底部頻帶資料路徑
12860‧‧‧三級反離散小波轉換(IDWT)模組
12880‧‧‧BT-1220產生器
12900‧‧‧視訊輸出(VO)FIFO
1300‧‧‧9片段儲存減少技術
1310‧‧‧左上部片段2
1320‧‧‧上部中心片段1
1330‧‧‧片段0儲存
1340‧‧‧當前左邊片段5
1350‧‧‧前中心片段4
1360‧‧‧當前右邊片段3
1370‧‧‧左下部片段8
1380‧‧‧下部中心片段7
1390‧‧‧右下部片段6
1395‧‧‧9片段資料區塊相依性圖表
1400‧‧‧IDWT解析度降低技術
1410‧‧‧L1-IDWT
1420、1430、1440‧‧‧L2-IDWT
1450、1460、1470‧‧‧L3-IDWT
圖1展示併有VC-2編碼器及VC-2解碼器之HD攝影機及SD-SDI傳輸系統。
圖2A展示VC-2解碼器之一具體實例之主要處理模組(VLD、IQ/IDCP及IDWT)。
圖2B用以展示橋接SD至HD格式以用於即時HD顯示所需之緩衝器大小。
圖2C用以展示與用於亮度分量(Y)之2-D反離散小波轉換(IDWT)相關聯之處理元件。
圖2D用以展示將源片段分解成10個頻帶之3級DWT程序。
圖2E用以展示將10頻帶合成為源片段之3級IDWT(反DWT)程序。
圖3A用以展示1-D(5,3)合成濾波器程序,使用來自先前片段之一個像素及來自下一個片段之兩個像素充分合成解碼當前片段之1×8個像素。
圖3B用以展示參看圖3A介紹的1-D(5,3)IDWT程序之兩個步驟,其中兩個步驟需要2個循環來完成。
圖4展示基於片段之第一級2-D(5,3)合成濾波器程序,使用來自頂部頻帶、當前頻帶及底部頻帶片段的即時產生之資料,以充分合成解碼當前2×4亮度(Y)像素。
圖5展示基於片段之第二級2-D(5,3)合成濾波器程序,使用來自頂部頻帶、當前頻帶及底部頻帶片段的即時產生之資料,以充分合成解碼當前4×8亮度(Y)像素。
圖6展示基於片段之第三級2-D(5,3)合成濾波器程序,使用來自頂部頻帶、當前頻帶及底部頻帶片段的即時產生之資料,以充分合成解碼當前8×16亮度(Y)像素。
圖7展示基於片段之第一級2-D(5,3)合成濾波器程序,使用來自頂部頻帶、當前頻帶及底部頻帶片段的即時產生之資料,以充分合成解碼當前2×2色度(Cb或Cr)像素。
圖8展示基於片段之第二級2-D(5,3)合成濾波器程序,使用來自頂部頻帶、當前頻帶及底部頻帶片段的即時產生之資料,以充分合成解碼當前4×4色度(Cb或Cr)像素。
圖9展示基於片段之第三級2-D(5,3)合成濾波器程序,使用來自頂部頻帶、當前頻帶及底部頻帶片段的即時產生之資料,以充分合成解碼當前8×8色度(Cb或Cr)像素。
圖10展示具有非常高的傳輸量之時間重疊之管線式2-D IDWT合成濾波器設計。
圖11A展示三頻帶平行處理VLD-IQ/IDCP-IDWT VC-2解碼器架構。
圖11B展示一片段位元組等化器設計以使輸入FIFO讀取定址容易。
圖12A展示用以節省至少50%之程序間介面暫存器的一時槽中四程序 (VLD-IQ/IDCP-IDWT)架構。
圖12B展示使用一時槽中四程序方法之三頻帶平行處理架構。
圖13A展示用以節省63.3%之IDWT程序資料緩衝器暫存器之九片段儲存減少技術。
圖13B展示用於處理2-D IDWT之所有三級之九片段資料相依性圖表。
圖14展示用以節省超過10.5%之IDWT程序資料緩衝器暫存器之IDWT解析度降低方法。
圖1為併有一HD H.264編碼器180的一SDI傳輸系統100之一具體實例之高階方塊圖,該系統可實施於(例如)數位視訊記錄器(DVR)內部用於安全監視應用。參看圖1,將SDI傳輸系統100展示為包括耦接至HD H.264編碼器180之HD攝影機110,在其間具有各種中間區塊及傳輸纜線。
習知地,HD攝影機110將經由HD-SDI鏈路以1.4875Gbps速率連接至HD H.264編碼器180。此高速傳輸鏈路限於經由3C-2V同軸纜線的約90公尺之短距離。然而,對於安全監視應用,較長距離為較佳的。將同一同軸纜線上之傳輸距離延長至約160公尺的一方式為使用在270Mbps下之較低速率SD-SDI。為了將位元串流速率自1.4875Gbps之高清晰度(HD)速率減小至270Mbps之標準清晰度(SD)速率,對HD視訊源應用視訊壓縮。更特定言之,在圖1中展示之SDI傳輸系統100中,使用VC-2 HD至SD編碼器120(其亦可被稱作狄悅克(Dirac)編碼器)來達成視訊壓縮。在展示之實施中,大小為1920×1080×2個位元組之輸入HD源圖像經壓縮成1440×486×1個位元組之輸出SD源圖像,此達成約6/1之壓縮比。將來自VC-2 HD至SD編碼器120的壓縮位元串流饋入至有效負載格式器130以致使具有10位元平行資料(在27MHz下時控)之CCIR-656格式視訊串 流。SD-SDI傳輸器140將27MHz下之10位元平行資料傳輸至在270Mbps下時控之1位元串列資料。根據一具體實例,HD攝影機110、VC-2編碼器120、有效負載格式器130及SD-SDI傳輸器140為系統之攝影機側之組件。雖然展示為分開之區塊,但可將有效負載格式器130實施為VC-2編碼器120之部分。另外,注意,區塊120、130及140可共同地被稱作SDI傳輸器裝置,該SDI傳輸器裝置當實施於單一晶片中時可被稱作SDI傳輸器晶片。
在同軸傳輸纜線145上將較低速率SDI資料傳輸至系統之接收側,接收側包括HD H.264編碼器180。更特定言之,SD-SDI接收器150首先接收在270MHz下之1位元串列資料且將其轉換成在27MHz下之10位元平行CCIR-656格式資料串流。CCIR-656格式串流穿過有效負載擷取模組160以擷取VC-2壓縮之位元串流,且將其儲存至VC-2 SD至HD解碼器170之輸入緩衝器內。雖然展示為分開的區塊,但可將有效負載擷取模組160實施為VC-2解碼器170之部分。在VC-2解碼器170(其亦可被稱作狄悅克解碼器)處,將填充於1440×486×1個位元組之SD大小中的壓縮位元串流解碼成1920×1080×2個位元組之HD大小。此重建構之HD視訊資料與直接來自HD攝影機110之原始資料相比視覺上無損失,且經格式化成HD BT-1120格式以饋入至HD H.264編碼器180內。在H.264編碼器180處,可即時監控來自各種位置之多個HD場景,且該多個HD場景亦經同時壓縮且儲存以供未來參考。注意,區塊150、160及170可共同地被稱作SDI接收器裝置,該SDI接收器裝置當實施於一單一晶片中時可被稱作SDI接收器晶片。當SDI傳輸器裝置/晶片及SDI接收器裝置/晶片正用以延長HD視訊串流可傳輸之距離時,此等裝置亦可被分別稱作HD-SDI延長器傳輸器及HD-SDI延長器接收器。
如可自以上描述看出,在安全監視系統中使用HD-SDI或SD-SDI之益處為位於各種監視位置處之HD攝影機(例如,110)可連接至 在DVR內部之HD H.264編碼器(例如,180)所位於之集中式控制點。注意,為了延長攝影機至控制點距離,亦可使用較高等級纜線。舉例而言,使用RG59同軸纜線可將距離自90公尺延長至200公尺,且使用RG9級同軸纜線可進一步將距離延遲至300公尺。然而,在實際情形中,傳輸纜線常經預先安裝,且使用較高等級纜線加上其安裝之成本遠遠超過在攝影機側及SD-SDI接收器處添加簡單的VC-2編碼器及SD-SDI傳輸器及在H.264編碼器側處添加VC-2解碼器之成本。此為VC-2編碼器與VC-2解碼器之成對適用於安全市場中的HD監視系統之經濟部署之原因。
另外,由於VC-2解碼器(例如,170)位於四個或四個以上HD頻道通常與一HD H.264編碼器(例如,180)填充在一起之中央控制點處,因此將四個VC-2解碼器頻道填充至一晶片內以與現有安裝一致係可用的。在本文中描述之某些具體實例中,焦點在於簡化VC-2解碼器(例如,170)之設計,在所描述之SDI傳輸系統100中之所有組件間,此為最具挑戰性之設計。
圖2A為展示VC-2解碼器170之潛在實施的主要處理模組(VLD、IQ/IDCP及IDWT)之方塊圖。參看圖2A,將VC-2解碼器170展示為包括一壓縮位元串流緩衝記憶體210、一可變長度解碼器(VLD)模組220、一IQ/IDCP模組230、一3頻帶緩衝記憶體240、一IDWT模組250、一掃描轉換緩衝記憶體260及一HD視訊輸出模組270。在此組態中,使用3頻帶內部緩衝記憶體240代替外部記憶體。然而,此3頻帶內部緩衝記憶體240可顯著比所需要的大。
在圖2A中,IDWT模組150為主要處理模組,而VLD模組220及IQ/IDCP模組230處理且產生其輸入資料。參看圖2A,在VC-2編碼器170之輸入端處,在其作用區中含有VC-2壓縮位元串流的CCIR-656位元串流經擷取且置入於輸入記憶體緩衝器210中。在即時視訊解碼器設計 中,重要地,允許在2 270處之連續視訊顯示管。由於SD輸入CCIR-656格式與HD輸出BT-1120格式具有不同的作用及遮沒區域,因此緩衝器210用以儲存輸入壓縮資料,使得任務排程器可在稍後時間開始解碼及輸出視訊程序,以確保一旦開始輸出視訊,則其顯示管將不中斷。習知地,選擇用於輸入緩衝器210之合適大小使得排程器可易於設計涉及亦需要基於需要連結在一起之各種視訊格式的輸入及輸出資料管模擬之試誤程序。
根據特定具體實例,為了使模擬及試驗努力容易,可如下展示定義作用工作週期(DUCY):DUCY=(作用區域)/(總包絡), 方程式(1)
可展示,最小緩衝器大小如下所展示:input_buffer_size=(HD_DUCY-SD_DUCY)×SD_active_size,方程式(2)
其中SD_active_size為一SD圖像中含有之總有效負載。
圖2B展示為了解碼SD欄位輸入以產生連續的可顯示HD欄位輸出,基於方程式(1)及(2),所需SD_active_size為1440×243=349,920個位元組,且最小input_buffer_size為11,652個位元組。為了將SD圖框輸入轉換至HD圖框輸入,由於SD_active_size雙倍增加,因此最小input_buffer_size亦雙倍增加至23,304個位元組。亦即,(HD_DUCY-SD_DUCY)×SD_active_size×2=(0.9608-0.9275)×349,920×2=23,304個位元組。一旦判定了最小輸入緩衝器大小,則任務排程器時序可易於經設計以達成此極限,同時維持無縫(亦即,連續)且未中斷之視訊輸出顯示管。
再次參看圖2A,在VC-2 65級標準中,VLD模組220為交錯指數葛洛姆(IEG)解碼器。為了符合對於即時視訊之所需時序預算,使用每符號一循環演算法以每循環解碼可變長度碼資料之高達N個位元,其中N為表示自IEG編碼器產生的最長碼字之正負號及量值的位元之數目。 其通常受到需要用來表示DWT程序之最低極少頻率分量的位元之數目限制。
在圖2A中,VLD 220將壓縮可變長度位元串流解壓縮成表示DWT像素之正負號及量值之「符號」。VLD模組220取決於其自緩衝記憶體210接收的VC-2壓縮位元串流輸出經VLD解碼之符號。將經VLD解碼之符號饋入至反量化模組(IQ)以重建構其原始較高頻率AC值,接著饋入至反DC預測(IDCP)模組以重建構其DC值。換言之,IQ模組恢復經DWT處理的原始源符號之原始量值;且IDCP模組恢復「DC」值,其表示經DWT處理的原始源符號之每片段平均值。雖然在圖2A中將IQ及IDCP模組共同地展示為IQ/IDCP模組230,但視需要,可分開此等模組。
再參看圖2A,將IQ/IDCP模組230之輸出展示為提供至3頻帶緩衝記憶體240,將該記憶體之輸出提供至反小波轉換(IDWT)模組250。IDWT模組250合成來自經10頻帶DWT處理(亦即,經10頻帶解壓縮)之資料符號的經解碼之像素值。將IDWT模組250之輸出提供至掃描轉換緩衝記憶體260,將該記憶體之輸出提供至HD視訊輸出模組270。
在VC-2 65級中,將僅一個量化索引用於DWT之所有DC及AC頻率分量。為了強調較低頻率分量,在每一級DWT後將其按比例增加2。在解碼器側上,必須將較低頻率分量按比例減少2以重建構其原始值。如將在圖14中展示且以下參看圖14描述,此級按比例調整性質允許將較少位元用於IDWT儲存中以降低硬體成本。總體解碼器硬體複雜性主要受到IDWT之處理要求影響,以下將參看圖3論述IDWT之處理要求。
圖2C展示用於亮度分量(Y)的2-D IDWT之處理元件280。最基本單元(標為282)為大小垂直上8線乘水平上16個像素之片段。可展示,為了得到當前片段之最終結果,需要來自所有八個鄰居之資料,此擴大了對具有大小為24線且48個像素的3×3片段資料區塊284(其亦被稱 作9片段資料區塊)之一片段資料相依性。由於資料按線掃描次序即時到達,因此為了在線跨度上得到用於所有片段之所需資料,需要一共三個頻帶(標為286),其意謂可需要24線乘1920個像素以儲存於內部記憶體240中。注意,頻帶大小與線寬度(亦即,1920個像素)及色彩分量(亦即,Y及Cb/Cr)之數目成比例。在願望為將四個頻道填充至一個解碼器晶片內之情況下,三頻帶緩衝記憶體240之所需大小將總計為737,280個位元組。為了避免使用此巨大量之內部記憶體,以下描述的本發明之某些具體實例提供更有效率的解碼器架構。如本文中所使用之術語,亦可被稱作資料片段之片段為基於片段之IDWT的資料處理單元。亦可被稱作資料頻帶之頻帶包括8線×16像素之120個片段,且為經儲存(以即時視訊)以實現片段之處理的資料之區塊。在本文中描述的使用重疊之(5,3)IDWT濾波器合成經解碼之像素值的本發明之特定具體實例中,並行地同時處理三個資料頻帶以使以上參看圖2A描述之三頻帶緩衝記憶體240能夠被消除。
為了更好地理解3級IDWT程序,圖2D用以展示在VC2 65級編碼程序中進行3級IDWT程序以將一源片段分解成10個頻率分量(亦被稱作子頻帶)之方式。首先,8線×16像素之源片段2310經歷水平分析濾波程序以將其分解成水平低頻帶L3 2312及水平高頻帶H3 2314。L3及H3進一步經歷垂直分析濾波程序以被分解成四個3級子頻帶,即,LL3 2316、LH3 2318、HL3 2320及HH3 2322。此結束第三級DWT程序,其導致產生四個頻帶分量,每一者大小為4線×8像素。三個較高頻帶分量LH3、HL3及HH3已結束了其DWT程序,且已用於隨後量化程序。低頻分量LL3接著經歷類似的第2級水平及垂直分析DWT濾波程序以產生四個第2級頻率分量LL2 2328、LH2 2330、HL2 2332及HH2 2334。每一第2級頻率分量具有2線×4像素之大小。三個較高頻帶分量LH2、HL2及HH2已結束了其第2級DWT程序,且已用於隨後量化程序。第2級低頻帶LL2 2328接著經歷類似 的第1級水平及垂直分析DWT濾波程序以產生四個第1級頻率分量LL0 2340、LH1 2342、HL1 2344及HH1 2346。每一第1級頻率分量具有1線×2像素之大小。LL0分量經歷DC預測程序,同時所有四個頻帶LL0、LH1、HL1及HH1經歷量化程序。經10頻帶分解、DC預測及量化之結果接著經歷可變長度編碼(VLE)程序以被分解成所要的有效負載大小。
圖2E展示反DWT(IDWT)程序,其將由DWT產生之10頻帶分量合成為原始源片段。IDWT自第1級合成開始,其中四個第1級頻帶分量LL0 2440、LH1 2442、HL1 2444及HH1 2446首先經歷垂直濾波且接著水平濾波以合成為LL2 2428第2級低-低頻帶分量。在此等兩個濾波程序期間,此等4個頻帶分量中之像素首先經交錯且接著經濾波以產生所得2線×4像素LL2分量。第2級IDWT程序接著交錯四個第2級分量(亦即,LL2 2428、LH2 2430、HL2 2432及HH2 2434),且接著進行垂直濾波,接著進行水平濾波,以合成4線×8像素LL3分量2416。接著,第3級IDWT程序交錯四個第3級分量(亦即,LL3 2416、LH3 2418、HL3 2420及HH3 2422),且接著進行垂直濾波,接著進行水平濾波,以合成原始源片段2410。在隨後本發明中,第3級IDWT程序展示基於以上基本IDWT規則之特殊實施技術。
在VC-2低延遲設定檔65級中使用的LeGall(5,3)之合成濾波器具有以下公式:步驟1:A2n-=(A2n-1+A2n+1+2)/4 方程式(3)
步驟2:A2n+1+=(A2n+A2n+2+1)/2 方程式(4)
步驟1可等效地表達為:A2n=A2n-((A2n-1+A2n+1+2)/4);且步驟2可等效地表達為:A2n+1=A2n+1+((A2n+A2n+2+1)/2)。在以上方程式中,「A」表示IDWT域中之像素資料值,其中每一個此像素資料值包括(例如)14至16個位元。
對於為大小16×8之片段,需要適當地處置邊界條件。在VC-2標準中,用以處理2-D IDWT之圖像外邊界像素經在編碼器及解碼器處邊界延伸(意謂其經指派與最靠近的同頻帶邊界像素相同的值),使得使用不同解碼器實施產生一致的解碼器結果,且產生類似於原始源視訊的看起來平滑之邊界。
圖3A用以展示1-D(5,3)合成濾波器程序300,在頂部使用一個相鄰像素(與前一個片段相關聯)且在底部使用兩個相鄰像素(與下一個片段相關聯),以充分合成解碼當前片段之1×8個像素。參看圖3A,標為310之區域對應於先前片段,標為320之區域對應於當前片段,且標為330之區域對應於下一個片段。另外,在區域320及330中之矩形表示偶數編號之資料,且三角形表示奇數編號之資料,且有界限之區域340表示先前片段。對於步驟1,基於奇數編號之A2n-1及A2n+1的輸入計算偶數編號之A2n。因此,需要一頂部資料A-1用於計算之A0。對於步驟2,基於偶數編號之A2n及A2n+2的輸入計算奇數號A2n+1。需要A8以計算A7,但A8亦需要自步驟1中之A9計算。因此為了計算圖3中之片段,需要超出片段邊界之三個附加資料:A-1、A8及A9,以用於處理LeGall(5.3)合成濾波器。在此,可得出結論,需要在片段上方之一附加資料及在片段下方之兩個附加資料。在即時視訊操作中,資料保持連續地到來。在不使用附加記憶體之情況下,此規則控管需要儲存以便針對大小為8線×16像素之片段計算IDWT的視訊線之數目。
圖3B用以展示參看圖3A介紹的1-D(5,3)IDWT程序之兩個步驟,其中兩個步驟需要2個循環來完成。在2個循環後,右邊之像素0-7為結果。更特定言之,圖3B進一步展示用於方程式(3)及(4)之實施的時間相依性。對於步驟1,在T=1,基於奇數編號之A2n-1及A2n+1的輸入計算偶數編號之A2n。因此,需要一頂部資料A-1用於計算之A0。舉例而 言,在時間T=1,基於在時間T=0之像素值7t、0及1,使用方程式(3)產生像素0;基於在時間T=0之像素值1、2及3產生像素2;且基於在時間T=0之像素值7、0b及1b產生像素0b。此程序亦產生在時間T=2之像素0、2、4及6之最終結果。注意,即使像素0b不需要用於在時間T=2之最終IDWT結果,像素0b仍經產生以用於在以下步驟2中使用。
對於在T=2處之步驟2,基於偶數編號之A2n及A2n+2的輸入計算奇數編號之A2n+1。需要A8(像素0b)以計算A7,但在步驟1中,亦需要自A9(像素1b)計算A8。舉例而言,基於在時間T=1之像素值0、1及2使用方程式(4)產生像素1;基於時間T=1之像素值2、3及4產生像素3;且基於時間T=1之像素值6、7及0b產生像素7。此程序產生在時間T=2之像素1、3、5及7之最終結果,且進行2步驟1-D IDWT程序。此程序通常需要兩個時脈循環來完成。
圖4用以展示基於片段之第一級2-D(5,3)合成濾波器程序400,使用來自頂部、當前及底部片段的即時產生之資料,以充分合成解碼當前2×4亮度(Y)像素。此程序400為以上描述的1-D程序之2-D延伸。首先,自反量化之變換資料即時地形成大小為7×5(如所示)之陣列。在圖4中,7×5陣列之每一正方形對應於一像素,例如,16位元值之像素。7×5個像素(亦即,(4+1+2)×(2+1+2)個像素)用以合成第1級IDWT之所需4×2低-低頻帶。在圖4中,將列標為410至430,且將行標為440至470。每一小方塊之頂部左邊角上的索引表示關於當前片段(0,0)之左上角的在y及x方向上之原始座標。舉例而言,頂部列410由位於自頂部頻帶向上第6線之資料建構,當前列415及420自自當前頻帶之第0線及第1線建構,而底部兩個列425及430由位於在自當前底部頻帶之原點下方的第8線及第9線之資料建構。類似地,行440由自左邊片段向左第12行建構,行445、450、455及460由自當前片段之第0行、第2行、第1行及第3行建構,且 行465及470由自右邊片段之第16行及第18行建構。總之,需要來自當前片段之全部八個相鄰片段的資料來處理低-低第1級(LL1)頻帶之2-D合成,如自資料構造所展示。
根據一具體實例,9片段資料區塊直接由具有三組2片段緩衝器的即時VLD-IQ/IDCP處理之資料提供,而不經歷外部記憶體或內部記憶體(例如,圖2A中之240)。因此,與使用外部記憶體及/或內部記憶體之習知設計相比,此基於片段之IDWT提供優勢。在針對其他級之IDWT及色度分量IDWT之隨後描述中,可使用類似輸入機制,且將不進一步陳述類似輸入機制。
再參看圖4,為了合成2-D LL1結果,在垂直方向上針對七個行440、445、450、455、460、465及470進行第一ID合成濾波。此後接著進行在水平方向上針對三個列415、420及425之ID合成濾波。在一具體實例中,僅保留該陣列之內部部分5×3(以粗輪廓線標記),因此不需要針對列410及430之濾波。大小為5×3之子陣列為針對第1級之合成結果,其按比例減少2且將應用於第2級IDWT,如下參看圖5描述。
圖5展示用於亮度分量Y的基於片段之第二級(亦即,第2級)2-D(5,3)IDWT程序500,使用來自當前片段的即時產生之資料及其八個相鄰片段(亦即,此處使用來自所有3×3片段之資料),以充分合成當前4×8亮度(Y)像素。首先,大小為11×7之陣列係藉由組合第二級DWT資料(亦即,直接自即時程序產生及應用而不儲存的來自當前片段以及來自其八個相鄰片段之第2級DWT之高-低(HL2)、低-高(LH2)及高-高(HH2)頻帶)自反量化之變換資料形成。在圖5中,將列標為510至540,且將行標為545至595。
在以上陣列形成程序後,自先前圖獲得之第1級合成結果(如由列515、525及535中之「C1」、「CR1」、「B1」及「BR1」標記)用以 填充其餘低-低(LL1)頻帶陣列分量,如所示。所需之資料亦如先前經即時地直接產生及應用,而不儲存。
接著,依序執行類似的ID合成程序(垂直且接著水平)以產生第2級結果。最後,保留內部部分9×5作為第2級之合成結果。命名為大小為9×5之低-低-2頻帶(LL2)的子陣列經按比例減少2且將應用於第3級IDWT,如參看圖6所描述。
圖6展示2D(5,3)IDWT程序600之第3級,作為此具體實例中的亮度分量(Y)之最後階段。首先,使用即時產生無儲存地自供應自IQ/IDCP的反量化之變換資料建構大小為19×11之陣列。自以上第2級程序獲得之9×5結果(如由列612、616、620、624及628中之「C2」、「CR2」、「B2」及「BR2」標記)接著經即時地應用以填充其餘低-低頻帶(LL2)陣列分量,如在該圖中所示。在圖6中,將列標為610至630,且將行標為632至668。
接著,依序執行類似的ID合成程序(垂直且接著水平)以產生第3級結果。最後,將內部部分16×8保留為第3級之合成結果。此輸出接著經歷三個量值調整程序(亦即,帶正負號之2位元按比例減少程序、量值剪裁程序及量值偏移程序)以進入適合於BT-1120標準輸出之資料範圍。此結束了Y分量之2-D IDWT程序。
圖7展示基於片段之第一級2-D(5,3)IDWT程序700,其使用來自當前片段及其八個相鄰片段的即時產生之資料,以充分合成當前2×2色度(Cb/Cr)像素。換言之,圖7展示用於色度分量Cb或Cr的2-D(5,3)IDWT 700之第一級。在圖7中,將列標為710至730,且將行標為735至755。首先,如所展示的大小為5×5之陣列自VLD-IQ/IDCP即時產生之資料形成,而不使用靜態記憶體儲存。在每一小方塊之頂部左邊上的索引表示關於當前片段(0,0)之左上角的在y及x方向上之原始座標。舉例而言, 頂部列710由位於自頂部頻帶向上第6線之資料建構,當前列715及720自自當前頻帶之第0線及第1線建構,而底部兩個列725及730由位於在自底部頻帶之原點下方的第8線及第9線之資料建構。類似地,行735由自左邊片段向左第6行建構,行740及745由自當前片段之第0行及第2行建構,且行750及755由自右邊片段之第8行及第10行建構。總之,自即時程序產生來自當前片段之全部八個相鄰片段的資料以實現低-低第1級(LL1)頻帶之2-D合成,如自資料構造所展示。
為了合成2-D LL1結果,在垂直方向上針對五個行735、740、745、750及755進行第一ID合成濾波。此後接著進行在水平方向上針對三個列715、720及725之ID合成濾波。注意,僅保留該陣列之內部部分3×3(以粗輪廓線標記),因此不需要針對列710及730之濾波。
大小為3×3之子陣列為針對第1級之合成結果,其按比例減少2且將應用於第2級IDWT,如在下圖中所描述。
圖8展示基於片段之第二級2-D(5,3)IDWT程序,其使用來自當前片段及其八個相鄰片段的即時產生之資料,以充分合成當前4×4色度(Cb/Cr)像素。換言之,圖8展示用於色度分量Cb或Cr的2-D(5,3)IDWT程序800之第2級。首先,大小為7×7之陣列係藉由組合第二級DWT資料(亦即,即時地來自VLD-IQ/IDCP程序而不使用記憶體儲存的來自當前片段以及來自其八個相鄰片段之第2級DWT之高-低(HL2)、低-高(LH2)及高-高(HH2)頻帶)自反量化之變換資料形成。在圖8中,將列標為810至840,且將行標為845至875。
在以上陣列形成程序後,自先前圖獲得之第1級合成結果(如由列815、825及835中之「C1」、「CR1」、「B1」及「BR1」標記)用以填充其餘低-低(LL1)頻帶陣列分量,如所示。
依序執行類似的ID合成程序(垂直且接著水平)以產生第 2級結果。最後,保留內部部分5×5作為第2級之合成結果。命名為大小為5×5之低-低-2頻帶(LL2)的子陣列經按比例減少2且將應用於下一圖中之第3級IDWT。
圖9展示基於片段之第3級2-D(5,3)IDWT程序900,其使用來自當前片段及其八個相鄰片段的即時產生之資料,以充分合成當前8×8色度(Cb/Cr)像素。換言之,圖9展示2D(5,3)IDWT程序900之第3級作為用於色度分量Cb或Cr之最後階段。在圖9中,將列標為910至930,且將行標為932至952。首先,自VLD-IQ/IDCP即時程序建構大小為11×11之陣列,且自以上描述之第2級程序獲得5×5結果,如由列912、916、920、924及928中之「C2」、「CR2」、「B2」及「BR2」標記。
接著,依序執行類似的ID合成程序(垂直且接著水平)以產生第3級結果。最後,將內部部分8×8保留為第3級之合成結果。
此輸出接著經歷三個量值調整程序(亦即,帶正負號之2位元按比例減少程序、量值剪裁程序及量值偏移程序)以進入適合於BT-1120標準輸出之資料範圍。此結束了Cb或Cr分量之2-D IDWT程序。
根據特定具體實例,Cb與Cr分量跨一線在水平上交錯。此減少了內部記憶體執行個體之數目且降低總成本。Cb及Cr分量皆具有相同的資料程序。
藉由在兩個方向上重複應用1-D IDWT來進行大小為N行乘M列之2-D IDWT的硬體實施。首先,自行1至行N垂直合成每一M×1行,且接著水平地合成自列2至列(M-1)之所得N×1個水平向量以得到2-D IDWT結果。
圖10展示具有非常高的傳輸量之時間重疊之2-D IDWT合成濾波器設計。更特定言之,圖10展示一有效率的管線式2-D IDWT設計1000以將計算方程式(3)及(4)之兩個步驟所需要的兩個循環擠壓至大 致一個循環內。管線式架構按一個循環重疊1-D濾波器程序1010、1020、1030、1040……及1050中之每一者,使得一個濾波器之第二步驟正與下一個濾波器之第一步驟並行地執行,且濾波器模組之邏輯實質上始終忙。來自1-D濾波器的每一循環之輸出結果表示每一管線式1-D濾波器程序之2步驟結果。
針對每一1-D合成之平均傳輸量等於pipe_length/(pipe_length+1),其非常靠近每個循環一個1-D濾波器結果。換言之,使用N個重疊之一維(1-D)IDWT濾波器實施管線式二維(2-D)IDWT合成濾波器,其中管線長度N為連續地執行以產生2-D IDWT結果的1-D IDWT濾波器之數目。N個重疊之1-D IDWT濾波器之此使用達成每個時脈循環N/(1+N)個1-D IDWT濾波器結果之平均傳輸量。此大大地減少了當針對IDWT程序之總體時序預算非常高時需要的1-D濾波器執行個體之數目。此架構之成本在於,需要儲存來自步驟1之中間結果,但其比當需要雙倍速度系統要求時添加完全1-D濾波器之成本小得多。
再參看圖10,每一分開的濾波器產生一1-D IDTW濾波之結果,其亦可被稱作濾波器輸出。2-D IDWT濾波之結果或輸出藉由執行1-D IDWT濾波兩次來達成。首先,在垂直方向上進行濾波,其產生1-D垂直合成結果。其次,在水平方向上進行濾波,其產生1-D水平結果。第二結果(亦即,1-D水平結果)為2-D IDWT結果。更明確地,為了對8×16片段進行2-D IDWT,首先執行十六(16)個8×1垂直1-D IDWT,接著執行八(8)個1×16水平IDWT。彼等後面的八(8)個1×16水平IDWT之輸出結果為此8×16片段之2-D IDWT結果。若未使用圖10之重疊IDWT操作,則需要約48個時脈循環(亦即,16×2+8×2=48)來完成(16+8)=24個1-D IDWT,且平均傳輸量為每循環24/48=0.5個濾波器結果。相比之下,若使用圖10之重疊IDWT操作,則需要僅約26個時脈循環(亦即,16+1+8+1=26) 來完成24個1-D IDWT,且平均傳輸量為每循環24/26=0.923個濾波器結果。此實現約22個時脈循環(亦即,48-26=22)之節省,此節省了處理時間,且因此可使用1-D合成濾波器之較少執行個體來達成相同的所需處理能力要求。
如在圖2C中所展示及以上參看圖2C所描述,習知地需要大的3頻帶內部記憶體儲存器240來支援以上描述之即時IDWT程序。以下描述的本發明之某些具體實例減少或完全消除了此儲存。
圖11A展示根據本發明之一具體實例的3頻帶平行處理VLD-IQ/IDCP-IDWT VC-2解碼器架構1100。此3頻帶平行處理解碼器架構1100即時地處理且產生所需之3頻帶IDWT輸入資料,使得可完全消除以上論述之3頻帶內部記憶體240。此以兩組附加的VLD及IQ/IDCP模組1115、1125、1130及1140為代價來達成。歸因於實施VLD及IQ/IDCP模組所需的相對少量邏輯,附加硬體之閘計數少於實施其替換的記憶體所需要之大的閘計數之2%。平行架構之操作包括並行執行的程序之三個頻帶之使用。頂部頻帶VLD 1115、IQ/IDCP 1130及2片段延遲1145即時地產生IDWT輸入資料之頂部三個片段。如所示,同時即時地將左邊、當前及右邊片段之資料饋入至IDWT處理器1160。當前頻帶VLD 1120、IQ/IDCP 1135及2片段延遲1150即時地產生IDWT輸入資料之當前三個片段。如所示,同時即時地將左邊、當前及右邊片段之資料饋入至IDWT處理器。底部頻帶VLD 1125、IQ/IDCP 1140及2片段延遲1155即時地產生IDWT輸入資料之底部三個片段。如所示,同時即時地將左邊、當前及右邊片段之資料饋入至IDWT處理器1160。2片段延遲1155可用作用以儲存來自IQ/IDCP程序之輸出資料的緩衝記憶體來實施。IDWT模組1160接收所需之9片段輸入資料且將其解碼以產生適合於經由視訊輸出(VO)-FIFO 1180及BT-1120產生器1170顯示之輸出資料。以下描述根據本發明之特定具體實例之額外實施細節。
圖11B說明一片段位元組等化器設計1105以使輸入FIFO讀取定址容易。更特定言之,圖11B展示等化每一輸入片段的壓縮資料長度之第一階段slice_bytes等化器1105。在VC-2中,每一8線乘16像素片段之交錯的指數葛洛姆IEG編碼受約束於叫作「slice_bytes」的整數數目個位元組。歸因於可變長度編碼之本質,slice_bytes通常自一片段變化至下一個片段。為了使解碼器與經編碼之位元串流之同步容易,將一些片段分群在一起使得slice_bytes之序列具有規則週期性圖案。對於1080I29.97系統之slice_bytes群組1190具有複雜之週期性圖案,其具有17個元素「42、43、43、43、43、43、43、43、42、43、43、43、43、43、43、43、43」。此意謂17片段群組中之第1及第9片段藉由42個位元組編碼,而所有其他者按43個位元組編碼。在HD圖像中之頻帶1192上,每頻帶存在1920/16=120個片段。在新的平行架構中,需要存取由120個片段分開的可變長度資料1192、1193、1194之三個頻帶。由於120並非17之簡單複聯,因此此使輸入資料存取困難。為了使此問題容易,片段位元組等化器1105利用IEG性質:「1」位元解碼至在片段之末尾忽略的「零」值。無論何時當在輸入位元串流中遇到短片段(在此具體實例中,42位元組片段)時,等化器因此將八個「1」位元插入至片段之末尾,且產生相等長度之所有slice_bytes,如在1195處所示。在此特定具體實例中,對於每一片段,其為43個位元組。在等化之後,每一片段含有相同數目個壓縮資料位元組,且每一頻帶亦如此。此經等化之slice_bytes將可變長度壓縮之資料轉變成固定長度壓縮之資料,且允許相互間分隔開一個頻帶的頂部頻帶、當前頻帶及底部頻帶之讀取位址易於計算出。對於此特定具體實例,此等化器之成本為在輸入FIFO 1110中約0.27%之多的儲存空間。
在圖11A中,三個VLD模組1115、1120、1125及三個IQ/IDCP模組1130、1135、1140同時解碼三個相鄰頻帶以針對當前片段之IDWT需 要的輸入資料之三分之一提供3×1片段輸入資料(右邊行)。三個2片段延遲模組1145、1150及1155用以儲存且提供當前片段IDWT需要用於解碼的資料之3×3片段中之先前的資料之三分之二(中心行及左邊行)。此平行架構1100因此產生所需之3×3片段資料用於解碼圖像中之任一片段,且完全消除了對於習知一頻帶處理所需之3頻帶內部記憶體(例如,圖2A中之240)。
圖12A用以解釋根據特定具體實例的有效率的一時槽中四程序方案1200之時間相依性,其用以將程序間介面暫存器(用以儲存與三個平行資料路徑中之每一者相關聯的四個程序中之每一者之結果)之量減少約至少50%。更特定言之,圖12A之標為1202的部分說明一時槽中四程序(VLD、IQ、IDCP及IDWT程序)方案,其可用以節省VC-2解碼器內至少50%的程序間介面暫存器。為了比較,亦展示一習知解碼器設計1201,其使用習知3階段管線設計以減輕對於每一功能模組之速度要求。有益地,當使用一時槽中四程序方案1202時,由於四個程序之間的所有中間資料完全在每個一片段程序時間內利用,因此不需要儲存此等中間結果之附加複本用於稍後由下一階段程序使用,藉此實現程序間暫存器的50%之消除。方案1202之代價為,對於四個程序之處理速度需要幾乎雙倍增加。然而,由於隨機邏輯比大的暫存器組小得多,因此與習知方案1201相比,總的硬體成本降低了。
在圖11A及圖12A中,假定共同地執行IQ及IDCP處理。因此,基本上存在三個主要程序,亦即,VLD、IQ/IDCP及3級IDWT。藉由將三個主要程序分成三個分開的處理時槽,每一程序可具有全部時槽之時間來結束處理一片段,因此處理速度要求放鬆了。根據本發明之特定具體實例,存在對於圖12B中展示(且,亦在圖11A中展示)之三個平行資料頻帶路徑中之每一者的1202一時槽中四程序方案架構(圖12A中所示) 之分開的執行個體。換言之,存在由VLDt及IQ/IDCPt標記之一時槽中四程序方案1202,其中「t」表示頂部頻帶,其對應於頂部頻帶資料路徑12800;由VLDc及IQ/IDCPc標記之一時槽中四程序方案1202,其中「c」表示當前頻帶,其對應於當前頻帶資料路徑12820;及由VLDb及IQ/IDCPb標記之一時槽中四程序方案1202,其中「b」表示底部頻帶,其對應於底部頻帶資料路徑12840。更通常地,圖12A及圖12B分別說明本發明之特定具體實例利用與處理頂部頻帶、當前頻帶及底部頻帶相關聯之時間相依性及幾何相依性。另外,注意,前述資料路徑中之每一者可替代地被稱作解碼器路徑,此係由於此等資料路徑在VC-2解碼器內。
在VC-2解碼器設計中,與處理三個分開的資料頻帶相關聯之一潛在問題為,可能需要大量內部程序間暫存器。舉例而言,為了處理當前資料片段,當使先前片段之結果用於下一個程序使用時,每一功能模組可能需要保持兩組暫存器以乒乓球方式操作,其將導致使用(4×2×128×14×3)43,008個暫存器,此數目相當大。為了節省此大量模組間通信暫存器,使用一時槽中四程序方案1202。基於依序處理較低頻帶資料及較高頻帶資料之特殊VC-2性質,有必要等待來自VLD之所有高頻帶資料可用於開始處理下一個IQ/IDCP管。在下一個程序可開始其管前,僅需要結束其微小的1/16部分(低-低頻帶)。接著,在進行了其餘3/16且最後最後的3/4高頻帶後,對應的IQ/IDCP及IDWT程序可開始。基於此重疊之開始排程方法,IDWT程序得到使用此平行管線架構1202的其原始預算之超過一半。為了達成對於IDWT之所需雙倍速度,兩個小的1-D IDWT程序可並行地執行以達成速度目標。
如上所提到為圖11A之重新繪製版本之圖12B展示具有在三頻帶架構中的具有2片段延遲之平行VLD-IQ/IDCP模組之VC-2解碼器12700。參看圖12B,解碼器12700包括一片段位元組等化器12720、一FIFO 12740、平行資料路徑12800、12820及12840、一3級IDWT模組12860、一BT-1120產生器12880及一VO FIFO 12900。資料路徑12800產生用於頂部右邊片段之頂部頻帶即時資料。藉由2片段延遲,其將所需之頂部頻帶3片段資料發送至如在圖4至圖9中所描述之3級IDWT程序。資料路徑12820產生用於當前右邊片段之當前頻帶即時資料。藉由2片段延遲,其將所需之當前頻帶3片段資料發送至如在圖4至圖9中所描述之3級IDWT程序。資料路徑12840產生用於右下部片段之底部頻帶即時資料。藉由2片段延遲,其將所需之底部頻帶3片段資料發送至如在圖4至圖9中所描述之3級IDWT程序。根據某些具體實例,不使用任何內部記憶體緩衝器進行直接的即時資料傳遞,此為此等具體實例之優勢。
更通常,圖12B說明包括頂部頻帶資料路徑12800、當前頻帶資料路徑12820及底部頻帶資料路徑12840之三個平行資料路徑。頂部頻帶資料路徑12800執行頂部壓縮資料頻帶的可變長度解碼(VXD)、反量化(IQ)及反DC預測(IDCP)處理。當前頻帶資料路徑12820執行當前壓縮資料頻帶的VLD、IQ及IDCP處理。底部頻帶資料路徑12840執行底部壓縮資料頻帶的VLD、IQ及IDCP處理。圖12B亦展示三級反離散小波轉換(IDWT)模組12860以執行IDWT處理以取決於使用三個平行資料路徑產生之部分解壓縮之頂部、當前及底部資料頻帶合成經解碼之像素值。三個平行資料路徑12800、12820及12840中之每一者亦執行2片段延遲,2片段延遲用以將自VLD、IQ及IDCP處理產生的其各別部分解壓縮之資料頻帶分成提供至三級IDWT模組12860之左邊、當前及右邊資料片段。亦可被稱作掃描轉換FIFO之VO-FIFO 12900將三級IDWT模組12860的基於片段之輸出轉換至提供至BT-1220產生器12880的基於線掃描之視訊輸出。BT-1220產生器12880將水平及垂直遮沒期間插入至自掃描轉換FIFO 12900接收之資料內以藉此輸出具有BT-1220格式之視訊信號。
圖12B亦展示等效於圖11A中之片段位元組等化器1105之片段位元組等化器12720,及等效於圖11A中之FIFO 1110之位元串流FIFO 12740。片段位元組等化器12720用以等化每一片段中的每資料片段之一些位元組,及在將包括頂部壓縮資料頻帶、當前壓縮資料頻帶及底部壓縮資料頻帶的三個壓縮資料頻帶提供至三個平行資料路徑前,等化該等資料頻帶中之每一者。位元串流FIFO 12740用以緩衝自片段位元組等化器12720接收的壓縮資料以容納提供至位元串流FIFO 12740之輸入端的輸入視訊格式及在解碼器12700之輸出端輸出的輸出視訊格式之即時處理。根據特定具體實例,以上論述之方程式(1)及(2)用以判定位元串流FIFO 12740之大小,且因此,位元串流FIFO 12740之大小取決於輸入視訊格式與輸出視訊格式之間的在作用區域工作週期中之差異,以及該輸入視訊格式之全部作用圖像大小。此使位元串流FIFO 12740能夠提供輸出視訊格式之無縫且非間斷性顯示操作。
再參看圖12B,根據特定具體實例,三級IDWT模組12860包括一管線式二維(2-D)IDWT合成濾波器,其係使用N個重疊之一維(1-D)IDWT濾波器實施,其中N為經連續地執行以產生2-D IDWT結果的1-D IDWT濾波器之數目,如以上參看圖10所解釋。N個重疊之1-D IDWT濾波器之使用達成每個時脈循環N/(1+N)個1-D IDWT濾波器結果之平均傳輸量,亦如以上參看圖10所描述。
圖13A用以展示用以減少暫存器之所需3×3片段之另一技術1300。更特定言之,圖13A用以說明用以節省63.3%的IDWT程序資料緩衝器暫存器之9片段儲存減少技術1300。此技術係基於VC-2性質:並非3×3鄰域區塊中之所有像素皆用以評估當前片段。注意,在圖11A中,組合之VLD/IQ/IDCP模組1130含有右上部片段,1135含有中間右邊片段,且1140含有右下部片段。2片段延遲模組1145含有上部中心及左上部片段。2片段 延遲模組1150含有當前中心及當前左邊片段。2片段延遲模組1155含有下部中心及左下部片段。
圖13B展示用於處理IDWT之所有3個級的9片段資料區塊相依性圖表1395。舉例而言,為了處理第1級(L1),僅需要來自右上部片段0之一個像素。類似地,L2僅需要一個像素,且L3亦僅需要一個像素。一起僅需要將3個像素儲存於右上部片段中,如與在片段0儲存1330中的充分填滿之128個像素相對。基於此圖表1395,展示上部中心片段1 1320僅需要28個暫存器;左上部片段2 1310僅需要28個暫存器;當前右邊片段3 1360僅需要14個暫存器;當前中心片段4 1350需要全部128個像素;當前左邊片段5 1340亦需要全部128個像素;右下部片段6 1390僅需要6個像素;下部中心片段7 1380僅需要44個像素;且左下部片段8 1370僅需要44個像素。一特定定址方案經設計使得即時地將所需之特定資料傳遞至IDWT程序之每一級。
在此具體實例中,就儲存量而言,存在9片段資料區塊至僅3.3片段區塊之減少。與充分填滿(4×2×9×128×14)或129,024個暫存器之習知方法相比,此方法僅使用(4×2×423×14)或47,376個暫存器。優勢為節省了63.3%之暫存器。
圖14用以展示用以擠出IDWT實施中之最後冗餘度之IDWT解析度降低技術1400。更特定言之,圖14用以展示IDWT解析度降低方法1400,其用以節省超過10.5%之IDWT程序資料緩衝器暫存器。此技術係基於VC-2性質:僅一個量化索引(qindex)用於藉由編碼器之DWT程序分析成十個頻帶之整個片段。為了使用僅一個qindex強調較低頻帶且不再強調較高頻帶,在編碼器側上的DWT之每一級後,VC-2應用因數2按比例增加。在解碼器側上,存在自L1至L2且再次自L2至L3之反按比例減少2。此意謂計算1420、1430、1440中之L2-IDWT所需要的解析度比計算L1-IDWT 1410所需要的解析度少一個位元,且計算1450、1460、1470中之L3-IDWT所需要的解析度亦比L2-IDWT少一個位元。由於L3含有75%之像素或128個像素中的96個,且L2含有18.75%之像素或128個像素中的24個,大部分剩餘片段儲存暫存器可使用少為2個之位元或少為1個之位元。在該具體實例中,此節省了另外10.5%之全部剩餘暫存器。其亦將第2級及第3級算術資料深度減少相同數目個位元,且因此致使稍微更快之IDWT處理速度。因此,三級IDWT模組(在圖11A中標為1160,且在圖11B中標為12860)可經組態以當執行第2級IDWT程序時比當執行第1級IDWT程序時處理少一個位元,且當執行第3級IDWT程序時比當執行第1級IDWT程序時處理少兩個位元,此實現使用比若當執行第1級IDWT程序、第2級IDWT程序及第3級IDWT程序中之每一者時該三級IDWT模組處理相同數目個位元將需要少大致10%之程序間介面暫存器及同樣的較低解析度且稍微更快之算術邏輯。
以上描述之各種模組及區塊可使用硬體、韌體、軟體及/或其組合來實施,如將由一般熟習此項技術者在閱讀本發明後將瞭解。此硬體可(例如)使用一或多個處理器、場可程式化閘陣列(FPGA)及/或特殊應用積體電路(ASIC)來實施,但不限於此。
雖然本文中已說明及描述了特定具體實例,但一般熟習此項技術者應瞭解,可用經計算以達成同一目的之任何配置來取代所展示之特定具體實例。因此,顯然意欲本發明僅受申請專利範圍及其等效物限制。
雖然以上已描述本發明之各種具體實例,但應理解,其已藉由實例且非限制來呈現。熟習相關技術者將顯而易見,在不脫離本發明之精神及範疇之情況下,可在其中進行形式及細節之各種改變。
本發明之寬度及範疇不應受到上述例示性具體實例中之任一者限制,而應僅根據以下申請專利範圍及其等效內容來界定。
1100‧‧‧3頻帶平行處理VLD-IQ/IDCP-IDWT VC-2解碼器架構
1105‧‧‧片段位元組等化器
1110‧‧‧輸入FIFO
1115、1120、1125‧‧‧VLD模組
1130、1135、1140‧‧‧IQ/IDCP模組
1145、1150、1155‧‧‧2片段延遲
1160‧‧‧IDWT處理器
1170‧‧‧BT-1120產生器
1180‧‧‧視訊輸出(VO)FIFO

Claims (22)

  1. 一種解碼器,其包含:三個平行資料路徑,其包括一頂部頻帶資料路徑、一當前頻帶資料路徑及一底部頻帶資料路徑,該頂部頻帶資料路徑執行一頂部壓縮資料頻帶的可變長度解碼(VLD)、反量化(IQ)及反DC預測(IDCP)處理;該當前頻帶資料路徑執行一當前壓縮資料頻帶的VLD、IQ及IDCP處理;且該底部頻帶資料路徑執行一底部壓縮資料頻帶的VLD、IQ及IDCP處理;及一三級反離散小波轉換(IDWT)模組,其執行IDWT處理以取決於使用該三個平行資料路徑所產生之部分解壓縮之頂部、當前及底部資料頻帶而合成經解碼之像素值。
  2. 如申請專利範圍第1項之解碼器,其進一步包含:一片段位元組等化器,其等化正由該解碼器解碼之每一資料片段中的一些壓縮位元組,且藉此,在將包括該頂部壓縮資料頻帶、該當前壓縮資料頻帶及該底部壓縮資料頻帶的三個壓縮資料頻帶提供至該三個平行資料路徑前,等化該等資料頻帶中之每一者中的一些壓縮位元組。
  3. 如申請專利範圍第2項之解碼器,其進一步包含:一位元串流先進先出(FIFO),其緩衝自該片段位元組等化器所接收的壓縮資料;其中由該位元串流FIFO所接收的該壓縮資料係用以產生提供至該三個平行資料路徑的該頂部壓縮資料頻帶、該當前壓縮資料頻帶及該底部壓縮資料頻帶; 其中該位元串流FIFO容納提供至該位元串流FIFO之一輸入端的一輸入視訊格式及在該解碼器之一輸出端處輸出的一輸出視訊格式之即時處理,該輸出視訊格式與該輸入視訊格式不同;且其中該位元串流FIFO之一大小取決於該輸入視訊格式與該輸出視訊格式之間的在作用區域工作週期中之一差異,以及該輸入視訊格式之一全部作用圖像大小;且其中具有該大小之該位元串流FIFO致能該輸出視訊格式之一無縫且非間斷性顯示操作。
  4. 如申請專利範圍第1項之解碼器,其中該三個平行資料路徑中之每一者亦執行一2片段延遲,該2片段延遲係用以將自該VLD處理、該IQ處理及該IDCP處理所產生的一個該部分解壓縮之資料頻帶分成提供至該三級IDWT模組之左邊、當前及右邊資料片段。
  5. 如申請專利範圍第1項之解碼器,其進一步包含一掃描轉換FIFO以將該三級IDWT模組的一基於片段之輸出轉換至一基於線掃描之視訊輸出。
  6. 如申請專利範圍第5項之解碼器,其進一步包含一模組,其經組態以將水平及垂直遮沒期間插入至自該掃描轉換FIFO所接收之資料內以藉此輸出具有一指定格式的一視訊信號。
  7. 如申請專利範圍第1項之解碼器,其中該三級IDWT模組包括一管線式二維(2-D)IDWT合成濾波器,該管線式二維(2-D)IDWT合成濾波器係使用N個重疊之一維(1-D)IDWT濾波器實施,其中N為連續地執行以產生一2-D IDWT結果的1-D IDWT濾波器之一數目。
  8. 如申請專利範圍第7項之解碼器,其中該N個重疊之1-D IDWT濾波器之使用達成每個時脈循環N/(1+N)個1-D IDWT濾波器結果之一平均傳輸量。
  9. 如申請專利範圍第7項之解碼器,其中:程序間介面暫存器係用以儲存與該三個平行資料路徑中之每一者相關聯的四個程序中之每一者之結果,該四個程序包括該VLD程序、該IQ程序、該IDCP程序及該三級IDWT程序;且一個一時槽中四程序方案之使用致能比若在一管線式操作中在四個分開的時槽中執行該四個程序將需要使用之該等程序間介面暫存器少至少50%。
  10. 如申請專利範圍第1項之解碼器,其中:程序間介面暫存器係用以儲存與該三個平行資料路徑中之每一者相關聯的四個程序中之每一者之結果,該四個程序包括該VLD程序、該IQ程序、該IDCP程序及該三級IDWT程序;且該三個平行資料路徑及存在於每一3×3資料片段單元之不同片段之間的資料相依性之使用致能在任一時間點每一3×3資料片段單元之大致僅三分之一被儲存於該等程序間介面暫存器內。
  11. 如申請專利範圍第1項之解碼器,其中:程序間介面暫存器係用以儲存由該三級IDWT模組所執行的一第1級IDWT程序、一第2級IDWT程序及一第3級IDWT程序中之每一者之結果;且該三級IDWT模組經組態以當執行該第2級IDWT程序時比當執行該第1級IDWT程序時少處理一個位元,且當執行該第3級IDWT程序時比當執行該第1級IDWT程序時少處理兩個位元,其致能比若當執行該第1級IDWT程序、該第2級IDWT程序及該第3級IDWT程序中之每一者時該三級IDWT模組處理相同數目個位元將需要使用之程序間介面暫存器少大致10%。
  12. 一種供在解碼資料時使用之方法,其包含: (a)執行一頂部壓縮資料頻帶的可變長度解碼(VLD)、反量化(IQ)及反DC預測(IDCP)處理;(b)執行一當前壓縮資料頻帶的VLD、IQ及IDCP處理;及(c)執行一底部壓縮資料頻帶的VLD、IQ及IDCP處理;其中步驟(a)、(b)及(c)經並行地執行;且進一步包含(d)執行三級反離散小波轉換(IDWT)處理以取決於自步驟(a)、(b)及(c)所產生的部分解壓縮之頂部、當前及底部資料頻帶而合成經解碼之像素值。
  13. 如申請專利範圍第12項之方法,其進一步包含:在步驟(a)、(b)及(c)處並行地執行包括該頂部壓縮資料頻帶、該當前壓縮資料頻帶及該底部壓縮資料頻帶的三個壓縮資料頻帶之該處理前,在該等資料頻帶中之每一者中每資料片段等化一些位元組。
  14. 如申請專利範圍第12項之方法,其中步驟(a)、(b)及(c)中之每一者進一步包含執行一2片段延遲,該2片段延遲被用以將自該VLD處理、該IQ處理及該IDCP處理所產生的一部分解壓縮之資料頻帶分成用於在步驟(d)處執行該三級IDWT處理之左邊、當前及右邊資料片段。
  15. 如申請專利範圍第12項之方法,其進一步包含:(e)將步驟(d)的一基於片段之結果轉換至一基於線掃描之視訊輸出。
  16. 如申請專利範圍第15項之方法,其進一步包含:(f)將水平及垂直遮沒期間插入至自在步驟(e)處所執行之該轉換產生的資料內以藉此產生具有一指定格式的一視訊信號。
  17. 如申請專利範圍第12項之方法,其中在步驟(d)處所執行之該三級IDWT處理係使用N個重疊之一維(1-D)IDWT濾波器實施,其中N 為連續地執行以產生一2-D IDWT結果的1-D IDWT濾波器之一數目。
  18. 如申請專利範圍第17項之方法,其中該N個重疊之1-D IDWT濾波器之使用達成每個時脈循環N/(1+N)個1-D IDWT濾波器結果之一平均傳輸量。
  19. 如申請專利範圍第17項之方法,其進一步包含:將包括該VLD程序、該IQ程序、該IDCP程序及該三級IDWT程序的四個程序中之每一者之結果儲存於程序間介面暫存器中;及使用一個一時槽中四程序方案以將若在四個分開的時槽中執行該四個程序將需要的程序間介面暫存器之一數量減少至少50%。
  20. 如申請專利範圍第12項之方法,其中並行地執行步驟(a)、(b)及(c),且使用存在於每一3×3資料片段單元之不同片段之間的資料相依性致能當執行步驟(a)、(b)及(c)時之任一時間點時,每一3×3資料片段單元之大致僅三分之一被儲存。
  21. 如申請專利範圍第1項之方法,其中:在步驟(d)處所執行之該三級IDWT處理包括一第1級IDWT程序、一第2級IDWT程序及一第3級IDWT程序;且當在步驟(d)處執行該三級IDWT處理時,當執行該第2級IDWT程序時比當執行該第1級IDWT程序時少處理一個位元,且當執行該第3級IDWT程序時比當執行該第1級IDWT程序時少處理兩個位元。
  22. 一種解碼器,其包含:一片段位元組等化器,其等化在正由該解碼器解碼之每一資料片段中的一些壓縮位元組,且藉此,等化在包括一頂部壓縮資料頻帶、一當前壓縮資料頻帶及一底部壓縮資料頻帶的三個壓縮資料頻帶中之每一者中的一些壓縮位元組;三個平行資料路徑,其包括一頂部頻帶資料路徑、一當前頻帶資 料路徑及一底部頻帶資料路徑,該頂部頻帶資料路徑執行該頂部壓縮資料頻帶的可變長度解碼(VLD)、反量化(IQ)及反DC預測(IDCP)處理;該當前頻帶資料路徑執行該當前壓縮資料頻帶的VLD、IQ及IDCP處理;且該底部頻帶資料路徑執行該底部壓縮資料頻帶的VLD、IQ及IDCP處理;及一三級反離散小波轉換(IDWT)模組,其執行使用該三個平行資料路徑所產生之部分解壓縮之頂部、當前及底部資料頻帶之IDWT處理;其中該三級IDWT模組包括一管線式二維(2-D)IDWT合成濾波器,其係使用複數個重疊之一維(1-D)IDWT濾波器實施。
TW103106700A 2013-03-15 2014-02-27 使用平行解碼路徑的視訊壓縮(vc-2)解碼 TW201436534A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361798790P 2013-03-15 2013-03-15
US13/851,821 US9241163B2 (en) 2013-03-15 2013-03-27 VC-2 decoding using parallel decoding paths

Publications (1)

Publication Number Publication Date
TW201436534A true TW201436534A (zh) 2014-09-16

Family

ID=51526943

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103106700A TW201436534A (zh) 2013-03-15 2014-02-27 使用平行解碼路徑的視訊壓縮(vc-2)解碼

Country Status (3)

Country Link
US (1) US9241163B2 (zh)
KR (1) KR102247196B1 (zh)
TW (1) TW201436534A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6551073B2 (ja) * 2015-09-03 2019-07-31 株式会社Jvcケンウッド 画像符号化装置及び方法、並びに、画像復号装置及び方法
US10917110B1 (en) * 2019-09-02 2021-02-09 Ati Technologies Ulc Multiple symbol decoder

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200749A (en) * 1991-05-28 1993-04-06 Tektronix, Inc. Format converter architecture
US5982459A (en) * 1995-05-31 1999-11-09 8×8, Inc. Integrated multimedia communications processor and codec
AUPP918699A0 (en) * 1999-03-12 1999-04-15 Canon Kabushiki Kaisha Encoding method and appartus
US7062101B2 (en) * 2001-03-30 2006-06-13 Ricoh Co., Ltd. Method and apparatus for storing bitplanes of coefficients in a reduced size memory
US6859563B2 (en) * 2001-03-30 2005-02-22 Ricoh Co., Ltd. Method and apparatus for decoding information using late contexts
US20030046322A1 (en) * 2001-06-01 2003-03-06 David Guevorkian Flowgraph representation of discrete wavelet transforms and wavelet packets for their efficient parallel implementation
JP4262017B2 (ja) * 2002-09-26 2009-05-13 キヤノン株式会社 画像生成装置及びその方法
US6931061B2 (en) * 2002-11-13 2005-08-16 Sony Corporation Method of real time MPEG-4 texture decoding for a multiprocessor environment
US7672523B2 (en) * 2003-03-03 2010-03-02 The Hong Kong University Of Science And Technology Efficient rate allocation for multi-resolution coding of data
JP4105577B2 (ja) * 2003-03-28 2008-06-25 株式会社リコー 画像処理装置
US7756351B2 (en) * 2003-12-19 2010-07-13 Stmicroelectronics, Inc. Low power, high performance transform coprocessor for video compression
CA2575908A1 (en) * 2004-09-14 2006-03-23 Gary Demos High quality wide-range multi-layer compression coding system
KR20070021083A (ko) * 2005-08-17 2007-02-22 소니 가부시끼 가이샤 정보 신호를 처리하는 장치 및 방법
US8212823B2 (en) * 2005-09-28 2012-07-03 Synopsys, Inc. Systems and methods for accelerating sub-pixel interpolation in video processing applications
US20080019398A1 (en) * 2006-07-20 2008-01-24 Adimos Systems Ltd. Clock recovery in wireless media streaming
JP5042568B2 (ja) * 2006-09-07 2012-10-03 富士通株式会社 Mpegデコーダ及びmpegエンコーダ
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
JP4356029B2 (ja) * 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
KR101513027B1 (ko) * 2007-07-02 2015-04-17 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8121197B2 (en) * 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
US9042457B2 (en) * 2008-06-10 2015-05-26 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus and image coding apparatus wth parallel decoding
JP5345149B2 (ja) * 2008-10-10 2013-11-20 パナソニック株式会社 画像復号化装置および画像復号化方法
US20100091861A1 (en) * 2008-10-14 2010-04-15 Chih-Ta Star Sung Method and apparatus for efficient image compression
WO2011004577A1 (ja) * 2009-07-06 2011-01-13 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、プログラムおよび集積回路
KR101279507B1 (ko) * 2009-12-15 2013-06-28 한국전자통신연구원 병렬 처리 기반 파이프라인 복호화 장치 및 방법
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US9307260B2 (en) * 2010-07-30 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, image coding apparatus, and image coding method
US9621908B2 (en) * 2011-09-06 2017-04-11 Mediatek Inc. Dynamic load balancing for video decoding using multiple processors
US9986235B2 (en) * 2011-10-31 2018-05-29 Mitsubishi Electric Corporation Video decoding device and video decoding method
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing

Also Published As

Publication number Publication date
US20140269904A1 (en) 2014-09-18
KR20140113880A (ko) 2014-09-25
US9241163B2 (en) 2016-01-19
KR102247196B1 (ko) 2021-04-30

Similar Documents

Publication Publication Date Title
US7907785B2 (en) Image processing apparatus and image processing method
AU2020210276B2 (en) Method, apparatus and system for encoding and decoding video data
US8098947B2 (en) Method and apparatus for processing image data by rearranging wavelet transform data
US20120082243A1 (en) Method and Apparatus for Feature Based Video Coding
US20070286510A1 (en) Image processing apparatus and image processing method
JP2016500965A (ja) 高解像度クロマ・サンプリング・フォーマットのフレーム・パッキング/アンパッキングのための帯域分離フィルタリング/逆フィルタリング
TWI733986B (zh) 用以編碼和解碼視頻資料之方法、設備及系統
JPWO2008143156A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
US9357213B2 (en) High-density quality-adaptive multi-rate transcoder systems and methods
JP2004531969A (ja) ビデオ画像の解像度をダウンスケールする方法及び装置
JP2000050274A (ja) フィ―ルドモ―ド符号化を含む画像フレ―ムのサイズ変更のための方法及び装置
CN105472442B (zh) 一种用于超高清帧率上变换的片外缓存压缩系统
KR101625910B1 (ko) 영상 분할을 이용한 영상 처리 방법 및 장치
KR20100073725A (ko) 영상처리시스템에서의 영상 변환 장치 및 방법
TWI539794B (zh) 影像編碼系統及其方法
US8238434B2 (en) Apparatus and method for processing wavelet information
KR102247196B1 (ko) 병렬 디코딩 경로를 사용하는 vc­2 디코딩
US7676096B2 (en) Modular, low cost, memory efficient, input resolution independent, frame-synchronous, video compression system using multi stage wavelet analysis and temporal signature analysis with a highly optimized hardware implementation
CN104053000B (zh) 使用平行译码路径的视频压缩(vc-2)译码
US20150281737A1 (en) Image processing device and image processing method
Rao et al. Video Codec IP using Discrete Wavelet Transform
WO2005008595A1 (en) Implementation of the jpeg2000 compression algorithm in hardware
KR20240049347A (ko) 컬러 이미지를 압축하기 위한 방법 및 장치
KR101252600B1 (ko) 엘시디 오버드라이브를 위한 웨이블릿 영상 부호화 방법
Tseng et al. Hardware–software co-design architecture for joint photo expert graphic XR encoder