TWI441521B - 壓縮視頻資料流交換方法 - Google Patents
壓縮視頻資料流交換方法 Download PDFInfo
- Publication number
- TWI441521B TWI441521B TW097147217A TW97147217A TWI441521B TW I441521 B TWI441521 B TW I441521B TW 097147217 A TW097147217 A TW 097147217A TW 97147217 A TW97147217 A TW 97147217A TW I441521 B TWI441521 B TW I441521B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- segment
- data stream
- sequence
- gop
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 25
- 239000013598 vector Substances 0.000 claims description 26
- 230000002457 bidirectional effect Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 description 24
- 230000002441 reversible effect Effects 0.000 description 10
- 230000000750 progressive effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010612 desalination reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本發明係關於壓縮視頻資料流交換方法，特別可用於內型、預估式和雙向式寫碼。
例如係關於按照Mpeg4-avc(活動圖像專家群進步視頻寫碼)標準所寫碼視頻序列或程式節之交換。
按照Mpeg4-avc標準之編碼，呼叫不同類型之圖像寫碼：
-內型寫碼(圖像1)，不指涉任何先前或後繼圖像；
-預估式間型寫碼(圖像P)，能夠呼叫前導的參照圖像；
-雙向式間型寫碼(圖像B)，能夠呼叫前導的參照圖像和/或後續參照圖像。
按照Mpeg標準，圖像組合成圖像群(GOP)。GOP之第一圖像是內型圖像，而後續的第一型B圖像可呼叫同一GOP的圖像，是封閉式GOP，或者是來自同一GOP或前導GOP，則係開放式GOP。
今日之影片或視頻序列係以壓縮形式儲存，以減少所需記憶器容量。所以，序列之交換不以基帶為之，而是直接來自Mpeg寫碼之資料流。
試考慮例如二接續視頻序列之廣播，由以壓縮形式儲存之數位資料，第一壓縮視頻資料流相當於第一序列圖像，稱為前連流，被更換，從交換點，利用第二壓縮視頻資料流，稱為新連流，相當於第二序列圖像。問題是當資料流到達交換點，即開始開放式GOP。誠然，若以開放GOP處理，此第二連流的第一GOP之壓縮圖像解碼，需用到前導GOP之圖像。前導GOP相當於另一序列之資料流，則相當於此開放GOP之解碼圖像會呈現障礙。此等障礙一般很明顯，而由於為了解碼第二序列之此等第一型B圖像，乃使用不同參照圖型於寫碼之故。有效的是，構成雙向式模態所寫碼圖像或開放GOP圖像之圖像段，係對同像圖像序列以前導GOP的P型或I型參照圖像以間型寫碼之圖像段。為交換點以後之第一雙向式圖像，以構成剩餘資訊或預估誤差的間型段所寫碼諸段加以解碼，開發出不同段，用來計算以間型寫碼的剩餘段。在解碼水準考量的參照圖像，與在寫碼水準考量者不同。
在第二序列之第一圖像會出現很麻煩的段效應，包含錯誤圖像段之視覺化。
此問題已有解決方案，參見文件ISO/IEC 13818-1附錄K，Mpeg2標準第一部份所載，涉及在系統層，有關可能交換點(在標準中稱為接合點)的資訊整合，傳送連路是有益之特徵，例如藉用封閉式GOP，使圖像得以解碼，而無上述障礙。然則，只能在此等點之一進行交換。當然，資訊必須加入資料連路內，一如來自圖像寫碼，隨後若不實施資料之解壓縮和壓縮，則不再可能加設。
在GOP開始時，授權之交換點，對此GOP的第一圖像寫碼增加侷限，以雙向模態寫碼，因為此GOP必須關閉。此等圖像只能使用後續圖像，不再用前導圖像，做為參照圖像，故以單向模態強制。是故，此連流交換之相容性Mpeg2寫碼，減少壓縮率，通常不用於影片或視頻序列之寫碼。於今，市面上很少有產品強制封閉式GOP於交換要求，引發侷限以調整寫碼器水準之速率，證明發生麻煩。另方面，確定在資料流內先前所在必須使用封閉式GOP，意即預定序列內會斷裂之點，假定知道序列之未來用途。否則，必須排除使用封閉式GOP。
所以，此項解決方案有許多缺點：
-降低視頻資料壓縮率。
-資料流需解碼，再寫碼，在此基礎上無此連流交換相容性，而全部問題牽連到資料回復、圖像品質…。
一項已知解決方案包含將中間計算圖像再寫碼，改為以內型模態寫碼之圖像。此解決方案需將所提圖像之資料流再寫碼。另一已知解決方案是把中間計算圖像寫碼，改為預定圖像，例如以內型黑色圖像寫碼。此方法主要缺點在於麻煩的視覺交換良產率。
本發明針對上述缺點。
係關於壓縮視頻資料流交換方法，傳輸相當於第一視頻系列之第一資料流，在此第一資料流之指定交換點，後接相當於第二視頻序列之第二資料流，各序列是按照GOP(圖像群)結構寫碼，各GOP包括以內型寫碼之內型圖像，以間型寫碼之預估式和以間型寫碼之雙向式，其特徵為，第二資料流在傳輸之前加以修飾，將雙向式圖像(就圖像之寫碼次序言，是在交換點後續的第二序列第一GOP內型圖像後之圖像)，改為雙向性計算圖像，其中圖像段有空餘數和空活動向量，按照圖像內諸段之位置，是順向或反向。按照特別實施，對段之位置言，相關活動向量亦視計算圖像所屬與參照圖像相關之時間性位置而定。按照特定實施，圖像段係巨段或巨段之副區分。
按照特別的實施機構，順向或反向向量是以相對於參照圖像之指向，屬性於巨段或副區分來界定。
按照特別實施，當圖像之時間性位置被視為更接近後續參照圖像時，計算圖像段在反向預估之數量從一圖像增加至另一圖像。
按照特別實施，圖像段係就參照圖像的預估而加權，加權率與計算圖像相對於參照圖像的時間性位置有關。
按照特別實施，加權率是按每切片巨段預定，而圖像是按照選擇同樣加權率的巨段位置分成切片。
按照特別實施，方法開發FMO工具(Flexible Macroblock Ordering,彈性巨段排序)來界定切片。
按照特別實施，對圖像而言，為順向或反向預估之段位置，是以如下步驟界定：
-對於各圖像段，隨機數屬性在0和1之間；
-對各計算圖像的臨限值屬性，當圖像視為在時間上往後續參照圖像運動時，此臨限值遞增；
-為圖像選用比屬於圖像的臨限值為優的段數。
按照特別實施，B型現時圖像的Nb第一巨段，依TV型掃描，使用反向活動向量，Nb界定如下：
Nb
=NMB
*α*b
NMB
係每一圖像之巨段數；α=1/M，M係P圖像周期；b係現時B型圖像在I或P預估圖像間距內之位置指數，1,2,3,…，惟0＜b＜M。
本方法包含初始B型過渡圖像改為B型壓縮圖像，相當於先前界定之圖型。此等圖型呼叫預估/補正工具、反向活動向量、順向活動向量和加權之或多或少複合集。一旦製作圖像，即足以藉預編碼之B型圖像取代初始過渡B型圖像，意即就寫碼次序而言，位在第二序列的第一I圖像之後。
本發明主要優點是，能夠把視頻序列交換成另一序列，或把視頻序列插入另一序列，同時把交換操作或若干交換操作之際出現的障礙減到最少。有賴本發明，才能使用不相容的連流交換之Mpeg寫碼資料流、GOP開放，以及最適方式之壓縮視頻序列。
以裝有預估模態、活動向量和預定加權之B圖像，取代B計算圖像，即可正確操作開關，意即不需交換假象，可能良產率類似基本特殊效果。在新資料流開始時，刪除開放GOPS發生的最麻煩圖像障礙，亦可使序列過渡順利。
對指定格式而言，於伺候機位準，可由同樣預定圖像，更換資料流內之圖像。實施成本低，由於事實上傳送流(按照Mpeg標準)之結構不因處理而修飾，避免複雜的解封包和再封包作業。
本發明之其他特點和優點，由如下參照附圖所示旨在提供非限制性實施例之說明，即可明白。
第1圖表示在視頻傳輸之際，視頻序列(稱為序列1)朝第二視頻序列(稱為序列2)之交換原理。
所用視頻序列係按照Mpeg標準寫碼之序列。圖像之寫碼次序，也就是圖像在寫碼器輸出傳輸之次序，和/或圖像在寫碼器輸入解碼和記憶之次序，與此等解碼圖像的顯示次序不同，由於有雙向寫碼的可能性之故。
假設二序列1和2構成I、B和P型圖像，其寫碼次序如下：
-序列1B1 P1**B1 B1 B1 I1 B1*B1*B1*P1
-序列2B2 P2**B2 B2 B2 I2 B2*B2*B2*P2
內型圖像(I1,I2)界定新GOP之邊界。
內型圖像後之三個雙向式圖像(有星號標註)可指涉內型圖像，而在此內型圖像前導之P型圖像(以二星號標註)即屬於先前GOP。此項參照之選擇，是在巨段位準為之。所以，整體圖像之寫碼可同時呼叫二參照，即內型圖像和P型圖像。
在GOP位準交換，賦予新傳輸序列，構成序列1，至GOP邊界，再構成序列2：
交換序列B1 P1**B1 B1 B1 I2 B2*B2*B2*P2
在內型圖像後之三個雙向式B2*圖像，在解碼之際，參照內型I2圖像和預估式P1**圖像。因此，三個圖像不能正確解碼，因已失去其參照圖像(P2**改為P1**)。
茲考量顯示次序中的二寫碼圖像序言，意即在為顯示的再排序之後。
-序列1B1 P1**B1*B1*B1*I1 B1 B1 B1...
-序列2B2 P2**B2*B2*B2*I2 B2 B2 B2...
-交換序列B1 P1**B2*B2*B2*I2 B2 B2 B2...
三個雙向式B2圖像的解碼，開發不同的參照圖像至寫碼之際所用者。此參照圖像之差異，是B2圖像*中視覺化障礙之來源。
本發明寫碼方法包含把相當於與一或以上參照圖像有關的預估餘數誤差寫碼之B2圖像，改為具有預定組態之圖像，其方式是使此等B型圖像段內所含錯誤預估資訊，與解碼之際所用參照圖像無關。
第1圖按照顯示次序和寫碼/解碼次序展示位元流：
-(a)展示按照第一序列之連流，按照視覺化次序和顯示次序，再按照寫碼次序，箭頭表示依賴於B圖像之參照；
-(b)展示第二序言之圖像；
-(c)展示新位元流，構成第一序列之一部份和第二序列之一部份；
-(d)展示一如(c)之同圖，表示稱為B之圖像，係本方法應用之圖像，得以避免交換假象。
第一方法包含在序列位準的漸進式交換，稱為圖像質，是基於圖像型加權預估。第二方法包含在圖像位準的漸進式交換，稱為段質，是基於圖像的巨段位準之特殊效果。
圖像質漸進式開關，在Mpeg4-avc標準之脈絡內，開發暗示性或明示性加權。
接著，各種提到的「頭標」和頭標領域，指涉Mpeg4-avc標準，在ISO/MEC 14496-10文件內界定。
暗示性加權工具，係例如用來進行交相淡化。為經由B過渡圖像實施二序列間之交相淡化(在本例中總共有三個)，其解決方案包含各B圖像之編碼，其步驟如下：
-在B圖像的頭標內，表示此圖像使用所謂暗示性加權。此資訊可在切片頭標內的圖像參數集(PPS)中更準確找到，並涉及切片之全部巨段。所以，必須插入專用於交相淡化的PPS；
-以雙向式模態，把光度尺寸等於16×16圖元的各巨段(MB)編碼，其中順向或反向活動向量相當於空向量；
-把無預估餘數編碼，意即考慮此等空值餘數，故如此解碼相當於進行交相淡化所尋找的預估。
Bc
圖像指涉I2圖像，亦涉及P1圖像。當I2圖像非古典內型圖像，而是IDR式內型圖像，意即在此IDR圖像前導的參照圖像尚未保存，意即P1圖像已從參照圖像列表刪除，進行I2圖像內的I(DR)2圖像轉換，例如藉修餘頭標為之，使解碼器不會從其緩衝器掏空參照圖像。
如此進行時，所寫碼之各B圖像，按照參照圖像之混合，製作漸進式過渡，從序列1至序列2，而按照顯示次序，是第1d圖所示P1和I2，就時幅(P1,I2)而言，視Bci
圖像位置而定。
根據M-1 B過渡圖像，對指數B圖像之MB巨段而言，按照前導參照圖像Pprev
和後續參照圖像Inext
間之顯示次序，以下述方式進行加權。
其中M：P圖像之周期；α=1/M；b：在I或P預估圖像間距內現時B型圖像之位置指數，1,2,3,…，其中0＜b＜M。
對偶(α,b)相當於暗示性加權之原理。
Pprev
(xfor
,yfor
)相當於先前參照圖像之巨段，按顯示次序，由現時巨段的順向活動向量xfor
和yfor
成份指點。
Inext
(xback
,yback
)相當於後續參照圖像之巨段，按顯示次序，由現時巨段的反向活動向量xback
和yback
成份指點。
以實施例而言，若M=4，屬於指示b=3的B圖像(Inext
前導的B圖像)之巨段預估，作業方式如下：
所以，對容許進行交相淡化的圖像Inext
，施以優異加權。
例如，開發明示性加權工具，以進行淡化。
在圖像的頭標裡，加權預估領域係以各參照圖像關聯之加權因數值指定。
在本實施例中，明示性加權是用於操作利用反向淡化的過渡，再往新序列逆向淡化。此法需要一定數量的B圖像，此組態可在不但使用B圖像，而且在使用B型參照圖像(稱為在Mpeg4-avc標準內儲存之B)當中找到，此等圖像做為參照圖像。此處構想是使B圖像(古典B型者)的前半，進行過渡至黑色，後半使漸進過渡往第二序列的I圖像內容。方法如下：
-過渡圖像之前半，做為B型或P型圖像編碼，其中MB巨段呈順向預估，有空向量和空餘數，明示性加權等於α，諸如：
其中：M：P圖像的周期；α=2/M；b：I或P預估圖像的時幅內現時B型圖像之位置指數(1,2,3,…)，其中0＜b＜M。
-過渡圖像之後半，做為B型圖像編碼，其中MB巨段呈反向預估，有空向量和空餘數，明示加權仍然等於α，諸如：
變化例包含把中央圖像寫碼於以黑色儲存的B內，其餘B圖像則以暗示性加權寫碼於B內，第一部份的圖像參照過去之參照圖像，而B儲存圖像(其他B圖像)則仰賴B儲存圖像，和新序列之參照圖像。
先前解決方案容許圖像質過渡；誠然，B過渡圖像之全部巨段，以同樣方式寫碼。下述段質交換，利用在向量上，尤其在指點向量的各巨段之參照圖像指數上播放，得以空值進行原有和漸進式空間/時間性過渡。
第2圖為上述過渡之例。此等特殊效應之例，當然不具排他性。
第2a圖相當於利用分散性巨段之過渡，第2b圖是從圖像中心至外部的漸進過渡，第2c圖是從圖像頂部起之漸進線性過渡，而第2d圖是從圖像左方起的直行過渡。屬於巨段之數字相當於圖像上出現次序。移動方向當然可以反逆。
此類過渡是以指點進行，經由反向活動向量，在時間上接續，巨段朝往未來參照圖像，意即I圖像，巨段仍然朝先前序列的P圖像指點。
於此，雙向式計算圖像有順向預估和反向預估模態，以令圖像段屬於空活動向量、零值餘數，和就一或以上參照圖像的預估相關之加權率(即圖像內諸段位置之函數)預先界定。
有關第2c圖所示光域掃描之實施例說明如下：M是P圖像之周期；α=1/M；b是I或P預估圖像間距內現時B型圖像之位置指數，1,2,3,…，其中0＜b＜M。
指點未來參照圖像的b指數之B圖像巨段數Nb等於：Nb
=NMB
*α*b，其中NMB
為每一圖像之巨段數。
更準確而言，是B圖像的Nb第一巨段數，按照圖像利用巨段之古典寫碼次序，意即TV掃描次序，指點於未來參照圖像，借助空振幅之反向活動興量，圖像之其餘巨段則指點過去參照圖像，此等為順向活動向量，仍然是根據空向量。
另一實施例包含利用分散性巨段的過渡(第2a圖)。暗示例如隨機分散性再區分，第一方式是令包括0和1間之隨機數歸屬於各巨段，構成圖像之格式，其速率與攸關之全部圖像的時間性共位巨段同樣數目，再顧及B級圖像之任何巨段，其隨機數優於α*b值，待指向未來參照圖像，其他巨段仍然指涉過去指數圖像。實際上，此等臨限值是設計來界定按以下參照圖像指點之巨段百分比，對b是1/4、1/2，然後3/4，分別等於1、2和3，其中M=4。
第3圖展示在三個B型圖像情況下，自左至右交換之實施例，第一B圖像包含1/4巨段指點未來I參照圖像，而3/4巨段指點P圖像，第二B圖像的巨段有一半分佈，而第三B圖像包含1/4巨段指點P圖像，而3/4指點I圖像。
關於B圖像巨段之寫碼模態，甚至對某些組態之P，順向和反向雙向模態已用來澄清說明和瞭解本發明。某些變化例證明更有效於B圖像之寫碼成本，跨越模態稱為「直接模態」，專用於Mpeg4-avc，此模態容許處理順向、反向預估，或雙向預估。此外，此等直接模態按照一定條件，達成一種模態，稱為「越步模態」，其巨段寫碼成本近於零，此模態在此應用中，很容易使用，因為餘數寫碼成本是自願設定於零。
茲說明從活動領域解像度回到巨段實體，屬於順向向量或反向向量，或二向量均為雙向模態。此項選擇可以簡單說明。事實上，巨段可切割成亮度副區分，尺寸為8×16,16×8,8×8,4×8,8×4和4×4圖元。在此等副區分當中，尺寸為8×16,16×8和8×8者，其向量指點在不同指數之參照圖像。所以，應用於巨段之方法，容易延伸至此等巨段之副區分。故在特別效果方面，可能獲得較薄的空間性解像度，對圓型和螺旋型效果很有價值。
基於加權預估淡化和交相淡化的方法，以及基於特別效果的方法組合，展現此交換技術之變化例。就有關參照圖像的中間B圖像之加權而言，必須考慮的不但是圖像內之巨段數，還有其亮度。故對特殊效果，更正確而言，是對B圖像所述空間性良產率而言，與淡化無關之段，可合併暗示性加權：雙向預估或明示性加權，順向預估(列表I0
)或反向預估(列表I1
)。
暗示性或明示性加權只能在巨段切片的位準決定。H 264標準內所含工具，可開發出FMO(Flexible Macroblock Ordering，彈性巨段排序)，得以對所論段結構成巨段切片，故減少此等侷限，因而提高可能效果。若在光域掃描情況下(第2c圖)，圖像容易分解成四個切片，使用FMO工具，不從左到右直行掃描。
在漸進式掃描中有關圖像之比例，亦可應用於以交織式掃描之圖像，明顯考量到圖幅之時間性指數，視同第1圖所示之時間性參照(P1,I2)。
在本發明領域內，可延伸到應用於(意即圖像更換)更重要的順序期間，例如從第一連流的先前I或P圖像，直到第二連流之第一型I圖像，方便減少難解的視覺交換效果；意即不限於三個或甚至更多新的B型圖像。
亦可應用於在現有連流內實施特殊效果，在最酷的景觀過渡時刻，過渡已先在連流內刪除。
應用係關於全部與數位式圖像之傳輸相關者，尤指直接在壓縮視頻圖像之位元流上作業者，此等應用旨在供視頻伺候機使用者。
第1圖表示二位元流間之連流交換；
第2圖為在圖像位準過渡之例；
第3圖為在序列位準垂直左右過渡之例。
Claims (8)
- 一種壓縮視頻資料流交換方法，供傳輸第一資料流，相當於第一視頻序列，在此第一資料流之指定交換點，後接第二資料流，相當於第二視頻序列，其中各序列係按照GOP(圖像群)結構寫碼，各GOP包括以內型寫碼的內型圖像，以間型寫碼之預估式圖像，和以內型寫碼之雙向式圖像，其特徵為下列步驟，該第二資料流在傳輸之前，相對於圖像之寫碼順序，加以修飾，係將雙向式圖像，以及在交換點後的第一GOP內型圖像後之圖像，改成稱為計算圖像的雙向式圖像；具有順向預估和反向預估模態，係以空活動向量、空餘數和關於一或以上參照圖像的預估之相對加權率，歸屬於圖像諸段，加以預界定，加權率係與參照圖像有關之計算圖像的時間性位置相關者。
- 如申請專利範圍第1項之方法，其中資料流係MPEG資料流，而圖像段係巨段或巨段之副區分者。
- 如申請專利範圍第2項之方法，其中順向或反向向量是以相對於參照圖像之指數加以界定，屬於巨段或副區分者。
- 如申請專利範圍第1項之方法，其中當所述圖像之時間性位置更靠近後續參照圖像，則反向預估計算圖像之段數，從一圖像遞增至另一圖像者。
- 如申請專利範圍第1項之方法，其中加權率是以每巨段切片預定，且圖像按照選用同樣加權率之巨段位置分成切片者。
- 如申請專利範圍第5項之方法，其中開發彈性巨段排序FMO工具，以界定切片者。
- 如申請專利範圍第1項之方法，其中為順向或反向預估界定段的位置，對圖像是按照如下步驟：-為各圖像段，歸屬隨機數在0和1之間；-歸屬臨限值於各計算圖像，當所述圖像暫時往後續參照圖像運動時，此臨限值即增加； -為圖像選擇段數，超越屬於圖像的臨限值者。
- 如申請專利範圍第1項之方法，其中按照TV型掃描，現時雙向式圖像之Nb 第一巨段，使用反向活動向量，Nb 界定為：Nb =NMB *α*b；NMB 係每圖像之巨段數；α=1/M，M係預估式圖像之周期；b係在內型或預估式圖像之間距內，現時雙向式圖像之位置指數，1,2,3,…，其中0<b<M者。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0708750 | 2007-12-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200926829A TW200926829A (en) | 2009-06-16 |
| TWI441521B true TWI441521B (zh) | 2014-06-11 |
Family
ID=39400494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW097147217A TWI441521B (zh) | 2007-12-14 | 2008-12-05 | 壓縮視頻資料流交換方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8743958B2 (zh) |
| EP (1) | EP2076044A1 (zh) |
| JP (1) | JP5324200B2 (zh) |
| CN (1) | CN101459851B (zh) |
| TW (1) | TWI441521B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9860458B2 (en) * | 2013-06-19 | 2018-01-02 | Electronics And Telecommunications Research Institute | Method, apparatus, and system for switching transport stream |
| JP6149562B2 (ja) * | 2013-07-12 | 2017-06-21 | 富士通株式会社 | ストリーム配信システム、ストリーム作成装置、ストリーム配信方法およびストリーム作成方法 |
| WO2021125703A1 (ko) * | 2019-12-20 | 2021-06-24 | 엘지전자 주식회사 | 영상/비디오 코딩 방법 및 장치 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066085A (ja) * | 1996-08-14 | 1998-03-06 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JPH114448A (ja) * | 1997-06-13 | 1999-01-06 | Sony Corp | 画像信号送出装置及び画像信号送出方法 |
| FR2782437B1 (fr) * | 1998-08-14 | 2000-10-13 | Thomson Multimedia Sa | Procede de commutation de flux mpeg |
| FR2784845B1 (fr) * | 1998-10-14 | 2001-02-23 | France Telecom | Procede de basculement de la ou des composantes video d'un premier programme audiovisuel sur la ou les composantes video d'un second programme audiovisuel numerique |
| JP3932546B2 (ja) * | 2001-01-24 | 2007-06-20 | 日本電気株式会社 | Ｍｐｅｇビデオ編集装置及びｍｐｅｇビデオ編集方法 |
| US20030206596A1 (en) * | 2002-05-03 | 2003-11-06 | David Carver | Multimedia content assembly |
| US20090225832A1 (en) * | 2004-07-29 | 2009-09-10 | Thomson Licensing | Error concealment technique for inter-coded sequences |
| EP2292749A3 (en) | 2004-07-30 | 2011-12-21 | Novozymes A/S | Alanine 2, 3 aminomutases |
| JP4492518B2 (ja) * | 2005-10-24 | 2010-06-30 | 日本電気株式会社 | エンコーダ装置、そのストリーム切り替え制御方法、およびコーデック装置 |
-
2008
- 2008-12-02 EP EP08105911A patent/EP2076044A1/en not_active Withdrawn
- 2008-12-05 TW TW097147217A patent/TWI441521B/zh not_active IP Right Cessation
- 2008-12-08 JP JP2008312556A patent/JP5324200B2/ja not_active Expired - Fee Related
- 2008-12-10 US US12/316,248 patent/US8743958B2/en not_active Expired - Fee Related
- 2008-12-15 CN CN200810183750.1A patent/CN101459851B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101459851A (zh) | 2009-06-17 |
| US20090154561A1 (en) | 2009-06-18 |
| JP5324200B2 (ja) | 2013-10-23 |
| US8743958B2 (en) | 2014-06-03 |
| TW200926829A (en) | 2009-06-16 |
| JP2009147930A (ja) | 2009-07-02 |
| EP2076044A1 (en) | 2009-07-01 |
| CN101459851B (zh) | 2013-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100518315C (zh) | 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法 | |
| CN101189881B (zh) | 可分级视频编码中的帧号编码的方法和设备 | |
| KR102058759B1 (ko) | 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법 | |
| KR101053628B1 (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
| KR101041823B1 (ko) | 기준 픽쳐를 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치 | |
| CN105706450B (zh) | 根据基于散列的块匹配的结果的编码器决定 | |
| CN105264888B (zh) | 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略 | |
| RU2518435C2 (ru) | Оптимизация кодера в системах доставки стереоскопического видео | |
| JP5625073B2 (ja) | 画像符号化装置及び画像復号装置 | |
| CN111837397A (zh) | 基于子图像码流的视角相关视频编码中的错误消除的码流指示 | |
| CN111182308B (zh) | 视频解码方法、装置、计算机设备及存储介质 | |
| KR100260475B1 (ko) | 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체 | |
| JP2008219876A (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| CN107439008A (zh) | 减轻数字视频的互操作性情景中的损失 | |
| KR20080000588A (ko) | 기준 픽쳐를 이용하여 비디오 신호를 디코딩하는 방법 및장치 | |
| CN111669600B (zh) | 视频编码方法、装置、编码器及存储装置 | |
| JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
| KR100535631B1 (ko) | 적응적 비월주사 모양정보 부호화/복호화 장치및 방법 | |
| TWI441521B (zh) | 壓縮視頻資料流交換方法 | |
| CN100546390C (zh) | 在图象编码过程中实现自适应扫描的方法 | |
| CN116848843A (zh) | 可切换的密集运动向量场插值 | |
| JP5512696B2 (ja) | ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置 | |
| CN115361582B (zh) | 一种视频实时超分辨率处理方法、装置、终端及存储介质 | |
| KR20240072202A (ko) | 비디오 코딩 및 디코딩 | |
| Rüfenacht et al. | Bidirectional hierarchical anchoring of motion fields for scalable video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |