TW200525902A - Moving image encoding method and apparatus - Google Patents

Moving image encoding method and apparatus Download PDF

Info

Publication number
TW200525902A
TW200525902A TW93140490A TW93140490A TW200525902A TW 200525902 A TW200525902 A TW 200525902A TW 93140490 A TW93140490 A TW 93140490A TW 93140490 A TW93140490 A TW 93140490A TW 200525902 A TW200525902 A TW 200525902A
Authority
TW
Taiwan
Prior art keywords
frame
image
dynamic
frames
quality
Prior art date
Application number
TW93140490A
Other languages
English (en)
Inventor
Keiichi Chono
Original Assignee
Nec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp filed Critical Nec Corp
Publication of TW200525902A publication Critical patent/TW200525902A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

200525902 九、發明說明: 【發明所屬之技術領域】 本發明係關於動態影像編碼技術,特別是關於執行多 圖框動態預測之動態影像編碼方法及裝置。 【先前技術】 圖1係顯示編碼動態影像信號之習知之典型的編石馬粟 置之構成的方塊圖。 圖1所示之編碼裝置係包含局部的解碼裝置,為包 括:頻率變換裝置1〇1、量子化裝置102、可變長度編碼裝 置103、逆量子化裝置1〇4、逆頻率變換裝置1〇5、圖框記 憶體106、圖框内預測裝置1〇7、動態補償裴置1〇8、動態 推定裝置109、緩衝器11〇、及碼量控制裝置lu。再者編 碼裝置係包括··減法器丨21、開關122、及加法器123。 輪入影像圖框係被輸入於編碼裝置,而分割成複數區 塊。被分割成之區塊係被減法器121來減去依據圖框内預 測或圖框間預測之預測值。在此,所謂圖框内預測係為使 在之’扁馬圖框之再構築領域而預測現在之影像的方 法’而所謂圖框間預測係為使用過去所再構築之影像圖框 而預測現在之影傻的士、上 ^ ,r „ 的方法。並將減去依據圖框内預測或圖 挽 的〜像區塊稱呼為預測誤差。還有,將 僅以從同一編碼圖框鄰 鄰接圖像來產生預測值之圖框内預 測而編碼出編碼圖框内
圖#。 斤有的區塊之影像圖框稱呼為I
圖k 並將以圖框内預測盘FI 被編石5 Hi t π推 、/、圖框間預測混在一起來使用而 被、、扁碼出之影像圖框 Y ^ P圖像。再者,在圖框間預測
2138-6765-PF 200525902 中,將對現在之編碼圖框以參考輸入時刻為過去與未來 複數影像圖框而被編碼出之影像圖框稱呼為B圖像。之 般上’在編碼動態影像資料中,I圖像係在一定週期 被設定,而將由在該〗圖像所劃分之複數圖框所成之 稱呼為GOP(圖像群;Group 〇f picture)。而u’b圖像及 G〇P之定義係以做為國際標準之動態影像編碼規^之 MPEG(Motion Picture Expert Group)方式等來定義。 其次,預測誤差係被頻率變換裝置1〇1變換為頻率領 域。被變換為頻率領域之預測誤差係被量子化裝置丨丨所 置子化。被量子化之預測誤差也就是變換係數係以可變長 度編碼裝置103而做熵編碼,而記憶儲存於緩衝器11〇^ 緩衝器110係將記憶儲存之產生碼也就是位元資料流以預 疋之時序予以輸出。而且’被量子化之預測誤差係以做為 局。卩的解碼處理,藉由逆量子化裝置丨〇4及逆頻率變換裝 〇5而再度返回原來之空間領域之預測誤差。再者返 回空間領域之預測誤差係被加法^ 123加上預測值,而以 做為再構築影像被儲存於圖框記憶體1 〇 6。 被儲存於圖框記憶體丨〇6之再構築影像係藉由圖框内 預測裝置107、動態補償裝置1〇8、及動態推定裝置1〇9而 被參考為預測值之產生。於是被儲存於圖框記憶體丨〇6之 再構築影像係也被稱為參考圖框。 卜圖框内預測裝置1 07係基於圖框記憶體丨〇7内之再構 築心像以執行圖框内預測而輸出預測值。動態推定裝置丨〇9 係將k輸入影像之區塊與由圖框記憶體1〇6讀出之參考圖
2138-6765-PF 200525902 框來之輸入區塊與預測值之差分也就是預測誤差做為最小 之輸入區塊的動態向量與參考圖框予以檢測。動態補償裝 置108係使用從動態推定裝置109所供應之動態向量與參 考圖框,而從被儲存於圖框記憶體106之參考圖框來產生 預測值。依據動態補償裝置1G9之襲值料基於圖框間 預測之值。在此’以設置„ 122,而於圖框内預測裝置 =7所輸出之預測值與動態補償裝置1〇8所輸出之預測值 裏,用以切換供應給減法器121之預測值。 做為被上述之處理所壓縮之動態影像資訊之位元資料 流,主要藉由以每-區塊之變換係數、量子化參數、(將預 測誤差做為最小之)動態向量、及(將預測誤差做為最小之) 參考圖框所成之可變長度碼來構成。 以上係動態影像壓縮技術之基本動作。
疋 般上,在數位播放系統和影像通訊服務等之 中」,晝影像信號係為了傳輸·記憶儲存,而其產生碼量 也就疋位7〇速率為被控制著。在此,碼量控制裝置U 以‘測可變長度編碼裝^ 1()3所供應之產生碼量,而執行 以下所不之2個處理,來控制產生碼量。 在第—處理中’碼量控制器ιη係根據各圖像類型於 各圖框來設定目舞 θ 钴碼罝。只要一將R做為對在σ〇ρ内尚夫 被編碼之圖框所被分 Μ « XTU \ 攸刀配之碼里、Νρ及Nb分別做為在 内尚未被編碼之p @ 一 像素與B圖像之張數、Xi5Xp,Xb做為表 ,、 )(3)所疋義之各圖像之畫面的複雜度之參數、及 P /、 仪為考慮過圖像類型另外之主觀晝質之參數,則
2138-6765-PF 200525902 圖像類型另外之目標碼1 Ti,Tp,Tb係以式(4)〜(6)來給與。 Xi^QixCi …⑴,
Xp = QpxCp …⑺,
Xb = QbxCb ."(3),
Ti=R/(l+NpxXp/(KpxXi)+NbxXb/(KbxXi) ,··(4), Tp=R/(Np+NbxKpxXb/(KbxXp)) ...(5),
Tb=R/(Nb+NpxKbxXp/(KpxXb)) …(6). 在此,Ci,Cp,Cb係分別為最後所編碼之圖像之產 生碼量,Qi,Qp,Qb係分別做為最後所編碼之圖像之 平均畺子化步驟大小。還有,在以下之說明中,為了表記 之簡單化起見,例如做為Ci,Cp,Cb之任何一值係可以 Ci,p,b般地予以記載。而且,之式係將 所謂對I圖像之Q卜Xi/Ti之式、所謂對p圖像之Qp = Xp/Tp 之式、及所謂對B圖像之Qb=Xb/Tb之式一起整理予以顯 >|n ° 每次將各圖框根據第一處理與在以下來說明之第二處 理予以編碼,而對在G〇p内尚未被編碼之圖框將被分配之 碼量R以基於式(7)予以更新。 R=R-Ci3p5b ...(7). 而且’於編碼G〇P最前面之圖像之際,係將碼量R在 式(8)予以初始化。 尺-⑽一ratexN/frame—rate+R ...(8). bit一rate係做為目標之位元速率,而rate 係圖框速率,N係G〇p内之圖框的張數。
2138-6765-PF 200525902 在第二處理中,為了使在第一處理所求得之對各圖框 之分㈣量Ti’Tp’Tb與實際之產生碼量為—致,以基於各 自圖像類型另外所設定之虛擬緩衝器容量,以巨區塊單位 之回授控制來求得量子化步驟。 首先以先於第j個巨區塊之編碼,將虛擬緩衝器之占 有量依圖像類型另外以式(9)來求得。 di,P5b(j)=di5p,b(0)+B(j-l)-Ti?p?bx(j-l)/M^ ...(9). di,P,b(0)係虛擬緩衝器之初始占有量,而B(j).從圖框 之最則面至第j個巨區塊止之產生碼量,而MBc〇unt係圖 框内之巨區塊之個數。 於各圖框之編碼為完畢時,圖像類型另外之虛擬緩衝 器之初始占有量di,p,b(MBcoimt)係以做為對次一圖像之虛 擬緩衝器之初始占有量di,p,b(;0)而被使用。 其次,將對第j個巨區塊之量子化步驟大小Q(j)以气 (10)來計算。 x Q(J>Qi,P,bxdi,p,b(j)x31/(l〇xr) "·(10),
Qi,p,b=Xi,p5b/Ti,p,b ...(11). R係控制被稱為反應參數之回授迴圈之響應速度的表 數,而以式(12)來給與。 r=2xbitrate/frame_rate ...(12). 還有,在編碼之開始時之虛擬緩衝器之初始占有量 di,P,b(〇)係以式(13)〜(15)來給與。 di(0) = l〇xr/31 ".(13), dp(0)=Kpxdi(0) ."(14), 2138-6765-PF 9 200525902 db(0)=Kbxdi(0) 一方面,非僅從剛才所編 伙過去所編碼之圖框來預測P 剛才之前所編碼之I圖像或p 之B圖像來預測B圖像的、取 態預測之動態影像的編碼方式 擇過去所編碼之高晝質的圖框 之自由度變為增大。 【發明内容】 ..(15). 碼之I圖像或P圖像更進而 圖像,並可考慮所謂非僅從 圖像更進而也從過去所編碼 入可做動態預測之多圖框動 。在該方式中,為了可以選 而執行動態預測,動態預測 發明所欲解決之課題·· 然而,上述之習知之動態影像編碼技術係以不利用依 據多圖框動態預測之動態預測之自由度,單純地僅以圖像 類型與最後所編碼之各圖像之複雜度來控制對各圖框之分 配碼篁。因此在習知之手法中,係在使用多圖框動態預測 之動態影像壓縮裏,並無法聲稱將多圖框動態預測有效地 予以使用而將動態影像編碼成高畫質。相反而言,在使用 多圖框動態預測之動態影像壓縮裏,藉由有效地使用多圖 框動態預測,而可將動態影像編碼成高品質之技術則為受 人所矚目。 本發明之目的係在於以提供有效地活用多圖框動態預 測而可將動態影像編碼成高畫質之動態影像編碼方法。 本發明之另外之目的係在於以提供有效地活用多圖框 動恶預測而可將動態影像編碼成高畫質之動態影像編碼裝 置。 2138-6765-PF 10 200525902 為了解決課題之手段·· 本發明之目的係為以參考 動態預測之動態影像編瑪方張影像圖框來做多圖框 法,包括:包含在使用於… 猎由動態影像編碼方 使用於夕圖框動態預夂 被編碼成比相同之像素類型 "田1晨, 框來達成。 U的圖框為更高畫質之圖 本發明之另外之g的在& ^ m mm m 'at ' 、、1 >考複數張影像圖框來做 夕圖C動心、預測而編碼之動能 俨编瑪壯署,4 心〜像、扁碼裝置,藉由動態影 ^ ± ^ 攸相同之圖像類型之複數 張參考圖框晨來選擇至少彳 佯主v 1張參考圖框,·及編碼裝置,將 被選擇之參考圖框以比相同 _ 々j炙圚像類型之其他的參考圖框 為更高晝質予以編碼而被達成。 在本發明中,係在使用多圖框動態預測之動態影像屢 縮裏,非為單純地利關像類型與最後所編碼之各圖像的 複雜度1¾藉由也考慮在多圖框動態預測中之編媽對象圖 框與參考圖框之關係,將以做為參考圖框 之圖框編碼成高晝質,而執行如以改善景區整體之 測之效果的碼量控制。藉此,若依據本發明,則在以利用 依據多圖框動態預測之動態預測的自由度之動態影像壓縮 裏’可實現高畫質的動態影像編碼方法。 而且’以根據動態影像之景區,將以高畫質編碼之圖 框以一定之圖框間隔予以配置,或將以高晝質編碼之圖框 的圖框間隔藉由參考圖框與編碼對象圖框間之差分資訊及 動態資訊而適應地予以變更,而可正確地來選擇優先地以
2138-6765-PF 11 200525902 '可提供更高晝質動態影像之 可將動態影像編碼成高晝質。 碼 高畫質編碼之參考圖框之 里控制。該結果為,進而
而且’耩由分配與做為參考圖框而優先順序較高之B 圖像圖框來比為較多之踩旦 曰 馬里,而也可提供高畫質動態影像 之碼量控制。該結果為,因為可改善順序整體之動態預測 的效果,所以可將動態影像編碼成高晝質。 【實施方式】 如上所述’在本發明係也考慮在多圖框動態預測中之 編碼對象圖框與參考圖框之關係,藉由將做為參考圖框而 優先順序較高之圖框編碼成高畫f,而執行如以改善景區 整體之動態預測之效果的石馬量控制。 在以下之說明中,所士田「旦 所明 厅、區」係意味任意張數之為 連續之圖'匡。所謂「將圖框編碼成高畫質」係意味對其圖 框來分配較多之碼量、將其圖框之量子化步驟大小變小、 或將其圖框之編碼失真變小等。 以下,基於本發明之基本原理,一邊與習知技術做對 比一邊做說明。 在本發明中,係在使用多圖框動態預測之動態影像編 碼方法裏,以將相同之圖像類型之圖框的畫質非均句地做 成可變,而提高景區整體之動態預測的效果,而為可編碼 面晝質動態影像。對此’在已使用習知之動態預測方向之 動悲影像編碼方法中,因為僅從剛才編碼過之影像來執行 動悲預測,所以僅可執行將相同之圖像類型之圖框的晝質 保持為均勻之編碼。原因為,於在相同之景區使畫質變動
2138-6765-PF 12 200525902 之場合時’因為在與晝質為降低之圖框做參考之圖框中之 圖框間的差分為變大而讓動態預測之效果降低,所以景區 整體之編碼效率為降低,跟隨此而被編碼成之動態影像的 畫質也因而降低。 以下,以參考圖2,來說明該問題點。 在圖2中,如以實線之所示,在習知之動態預測中, 各p圖像係僅參考剛才被編碼成之i或P圖像。即使欲將 P2,P4圖框以比Pl,P3圖框更高畫質予以編碼,因為圖框 係以低畫質而被編碼,所以在參考&圖框之p3圖框中之動 態預測之效果係大為減低,而P2圖框之晝質也大為降低。 參考P2圖框之Pa圖框也為同樣地,畫質係大為降低,而因 為該晝質劣化為傳播至以後之圖框,所以景區整體之書質 跟著劣化。因此在使用習知之動態預測的方法中,不得不 將相同之圖像類型之影像的畫質予以保持成均勻。 然而,如本發明所適用之編碼方法般地,包括:多圖 框動態預測,不僅以參考剛才被編碼成之圖框、甚至過去 所編碼之圖框而可做動態預測。藉由多圖框動態預測,而 在圖2所示之場合中,以追加於習知方式,而可做如以點 線所示之預測。該場合時’以圖框内之領域或區塊之單位 而可選擇做參考之圖框。 藉由利用該多圖框動態預測之構造,即使為相同之圖 像類型’也可做使畫質變動之編碼。以參考目2,來說明 本發明。 ^ 各Ρ圖像係以參考 在圖2所示之多圖框動態預測中 2138-6765-PF 13 200525902 剛才編碼成之複數個I或P圖像。在此係正參考2張〗或p 圖像。於欲將P2,P4圖框以比Us圖框更高晝質予以編碼 時,即使P, ®框為以低晝質而被編碼,而在*僅為圖框 就連也參考1〇圖框之P2圖框中,動態預測之效果也不會大 為減低。於是,P2圖框係以高晝質來編碼。 而且,在以參考編碼成高畫質之P2圖框之匕圖框中之 動態預測之效果也提高’而p3圖框係比習知技術被編碼成 更间旦貝。再者,因為P4圖框係參考被編碼成高書質之 =,P3圖框,所以可編碼成更高晝質。即使以後之圖框也與 前述為同樣地,動態預測之效果為提高,而可將動態影像 編碼為高晝質。 因此,比習知技術為更提高動態預測之效果,而可將 動悲影像編碼為高畫質。而且,以本發明所編碼之動態影 像係只要被編碼成高晝質之圖框為解碼時以週期地被顯 不,則藉由人間之視覺暫留之視覺特性,而成為比習知技 術即使在主觀上而言為更高畫質。 雖然以上係顯示在僅使用〗、P圖像之場合時之例,但 即使在使用I、p、B圖像之場合時,也可適用本發明。在 此,關於以使用圖3,而丨、P、B圖像為存在之場合時之 本發明的利點,一邊使與習知技術相對比一邊做說明。還 有,因為對P圖像之本發明之基本的概念係與圖2所示的 為同樣,所以在以下係僅著眼於B圖像來說明。 在習知技術裏,B圖像圖框係非被參考之圖框、也就 是不被從其他圖框來參考之圖框。因此,於B圖像圖框為
2138-6765-PF 14 200525902 連績之場合時,因為在其連續之各B圖像之動態預測的效 果為同等,於連續之各B圖框係被分配相同之碼量,而以 相同之晝質被編碼。在此,連續之各B圖像之動態預測的 效果做為同等之理由係在圖3之例中只要一著眼於b 1及 B2圖框,則從lG、i>3圖框至&圖框止之圖框間距離分別為 卜2’至框止係分別為2、卜而決定動態預測之效果 之圖框間距離的總和因而總共為3。 然而,在使用多圖框動態預測之動態影像編碼裏,B 圖像係連過去被編碼之B圖像也可參考。因此,連續之B 圖像之動態預測的效果係成為可變,而只要-著眼於圖3 之Bl及B2圖框,則在B2圖框係不僅1〇圖框,就連參考到 圖框間距離之較紐# 圖框之動態預測也為可能,而在 :圖框係明顯地可得到比圖框更高之動態預測的性 月匕因此,即便於h圖框與&圖框不分配相同之碼量, 也可以相同之晝質來編碼。 、、用此原理’若依據本發明,則在使用多圖框動態 Z之動⑼像編碼方法中,在連續之b圖框裏對依編 可以古查所 > 考B圖框以優先地來分配碼量’而成為
二、二田、執行動怨影像編碼。在圖3所示之B丨及B2 圖框裏,僅以優I ^ Α 无地被7刀配碼量之分,Β!圖框就成為被以 比S知技術更冥蚩 r, m ± 。旦質來編碼,而與被以更高畫質編碼成之
Bl圖框做參考之m l ^ 七圖框也可編碼成更高晝質。也就是,以 便β圖像圖框 旦貝受動,而可提高動態預測整體之效 果’而將動態影像編碼為高畫質。
2138-6765-PF 15 200525902 以下,來說明本發明之具體的實施形態。 圖4所示之本發明之 ^ 貫細形恶之動態影像編碼裝 置係對圖1所不之動態影 裝置⑴,而碼量押制μ n 所#以^二 置111録於從㈣控難置m 所i、應之旦貝控制資訊,來 量。在圖",對血在二對應於參考圖框之分配媽 同一夫考符,:出現者為同一構成要素係給與 Π參考付號,關於該等係省略掉詳細之說明 第一實施形態中,係論'明^ … 丈為編碼圖框之圖像類型而使 用I圖像/、P圖像之場合時 之動態影像編碼袭置上來1明=乍以下,在本貫施形態 满W要 上末說明特徵的晝質控制裝置H2及 碼置控制裝置1 1 1。 如圖5之所示,書質_岳 11?1盘佥“ -賢控制政置⑴係由晝質判定裝置 1 一質控制計數器1122所構成 所供應之畫質控制資訊係高書 f置112 畫質化圖框個冑RH0 旗“HQ—flg與剩餘高 rho f 數R-HQ-num與剩餘高晝質化圖框號碼 R 一 HQ—frame—num。在畫質 1121择料〜 利我置112裏,晝質判定裝置 晝質化旗標HQ'fig、高晝質化圖框個數 質化旗圖框號碼叫』讓-咖’而將高畫 Q'flg供應給碼量控制裝置m,而將高畫質化 圖框個數HQ〜num與高晝質化 、 應給晝質控制計數器1122。㈣碼叫-如邮供 定裝以參考® 6,來說明在本實施形態中之晝質判 之曰框相互之^作。在以T之說明中,將被編碼為高畫質 U㈣互之圖框間隔做為s、將已判定剛才編竭為高畫
2138-6765-PF 16 200525902
質之圖框號碼做為prev一hq一num、將高晝質化判定結束之 圖框張數做為i。但是,將編碼對象圖框與可以多圖框預測 來參考之最為過去之圖框的間隔做為ΜΑχ一ref,而s〈 MAX—REF。prev—hq—num與土之初始值係任一值均為〇。= 還有,在本貫施形態中,編碼為高畫質之圖框間隔s 係藉由動態之速度或壓縮後之圖框速率,每一某段期間、 例=為每一 G0P或每一景區都可切換。藉由在每一 G〇P 或每一景區來選擇適於此之圖框間隔s,而依據本發明之 編碼效率的改善係更為提高。 在步驟S101中, 與GOP之圖框張數N HQ—num。 旦貝判疋裝置1121係從圖框間隔^ 以使用式(16)來計算高晝質化圖框數 HQ—num=(N/S)-l ...(16). 其次,在步驟S102中,晝質判定裝置1121係判定是 否比起回晝質化圖框個數HQ一仙❿來高畫質化判定結束之 圖忙張數1為較小,若為較小則以執行步驟S 103,若非如 此則完畢處理。 王。在步驟S103中,晝質判定裝置1121係將高晝質化圖 框唬碼HQ—frame—num[i]以使用式(17)來計算。而且,為了 1、二之處理將高畫質化判定結束之圖框張數1予以加1,將 、J定成剛才編碼為高晝質之圖框號碼prev一hq一num以式(1 8) 予以更新’而執行步驟S102。 HQ 〜frame 一 num[i]=prev—hq 一 num + S …(17),
Pprev—hq—num=HQ—frame—num[i]…(1 8)· 2138-6765^ρρ 17 200525902 畫質判定裝置112 1係完成以上之處理之後HQ—num若 為1以上則將HQ一fig打開,若非如此則關閉。 在本實施形態之動態影像編碼裝置中,藉由圖6所示 之處理,將於其他圖框之編碼之際被參考之參考圖框以每 S之間隔予以編碼為高晝質。s係在多圖框預測中最為過去 可參考之圖框之間㉟MAX_REF以下,因而所有的編碼對 象圖框係必需以參考編碼成高晝質之圖框而動態預測才為 可能。 … 以例子而言,於N=10、MAX一REF = 3、S=2之場合時, 將以本實施形態之方法而被編碼為高晝質之圖框顯示於圖 7。該場合時,Pa、1>4、Ρό、PS之各圖框係被編碼為高晝質。 晝質控制计數器11 2 2係從碼量控制器111所供應之圖 框號碼coding一frame一num、及畫質判定裝置U21所供應之 高晝質化圖框數HQ一num與高畫質化圖框號碼 HQ—frame—num[HQ—num]來計算剩餘高晝質化圖框數 R一HQ—num與剩餘高晝質化圖框號碼R_HQ_fram〔仙仿, 而輸出於碼量控制器m。該晝質控制計數器1122係僅於 咼晝質化圖框數HQ一num為1以上之時予以動作。在此, 將GOP最前面之I圖像之圖框號碼做為frame一仙瓜」、將 同晝質圖框計數器HQ一frame一count做為〇,而以參考圖 8,說明晝質控制計數器1122之動作。 在步驟S201中,晝質控制計數器1122係於從晝質判 定裝置Π21所供應之高晝質化圖框號碼 HQ—frame—num[HQ—frame—c〇unt]來加上加㈣^腿―j。此
2138-6765-PF 18 200525902 係為了取得從碼量控制器111所輸入之編碼中之圖框號碼 coding_frame_num與編碼為高晝質之圖框號碼之同步。 在步驟 S202中,晝質控制計數器 1122係將 HQ—frame_num[HQ—frame—count]做為剩餘高晝質圖框號碼 R—HQ—frame—num,將 HQ—num — HQ—frame—count 做為剩餘 高畫質圖框數R_HQ—num而予以輸出。之後在步驟S203 中,晝質控制計數器 1122 係以判定圖框號碼 coding 一 frame 一 num 與高晝 質化圖 框號碼 HQ—frame—num[HQ—frame_count]是否已同步。於已同步之 場合時,係前進至步驟S204,若非如此則返回步驟S202。 在步驟S204中,晝質控制計數器1122係將 HQ—frame_count予以加1,而判斷HQ—frame_count是否為比 HQ一num更小。HQ—frame—count為比 HQ—num更小,貝1J 前進 至步驟S201,若非如此則完畢處理。 如以上所述,畫質控制計數器1122係將剩餘高晝質圖 框號碼R—HQ—frame_num與剩餘高畫質圖框數R_HQ_num 予以輸出於碼量控制裝置111。 碼量控制裝置111係如圖9所示,由圖框碼量分配裝置 11 11與量子化參數更新裝置1112所構成。在本實施形態中 之碼量控制裝置111與在圖1所示之習知之動態影像編碼裝 置中之碼量控制裝置的不同係在於圖框碼量分配裝置1 111 之動作。 在本實施形態中,圖框碼量分配裝置1111係以使用從 晝質控制裝置112所供應之畫質控制資訊(高畫質化旗標 2138-6765-PF 19 200525902 HQ一fig、剩餘面晝質化圖框數r一 fjQ一num、及剩餘高畫質 化圖框號碼R—HQ—frame—num),來計算對各圖框之分配碼 量’而供應至量子化參數更新裝置1112。量子化參數更新 裝置11 12係以使用從圖框碼量分配裝置丨丨丨丨所供應之圖框 分配碼量與從緩衝器U 〇所供應之產生碼量,來計算量子化 參數’而供應給可變長度編碼裝置丨〇3。 以下’來說明圖框碼量分配裝置丨丨丨丨之動作。還有, 在以下之說明中,以做為參數而考慮··將目標碼量Ti,Tp做 為圖像類型另外之目標碼量、R做為對在G〇p内尚未被編碼 之圖框而被分配之碼量、Np做為在G〇P内尚未被編碼之p 圖像之張數、Xi做為最後所編碼之〗圖像之畫面之複雜度、
Xp做為最後所編碼之P圖像之晝面之複雜度、及Kp做為圖 像類型另外之主觀晝質。 圖1 〇係顯示在第一實施形態中之圖框碼量分配裝置 1111之動作。 首先在步驟S301中,圖框碼量分配裝置llu係判定 從畫質控制裝置112所供應之高晝質化旗標HQ-flg是否打 開或關閉。若高畫質化旗標HQ—flg為打開則前進至步驟 S3 02 ’若為關閉則前進至步驟S3〇7。 在步驟S302中,判定現在起欲編碼之圖框是否為工圖 像。右編碼對象圖框為1圖像則前進至步驟S303,若非如 此則前進至步驟S304。 在v驟S 3 0 3中’圖框碼量分配裝置1111係對現在起 欲編碼之I圖像之碼量Ti以式(19)來計算,而完畢圖框碼
2138-6765-PF 20 200525902 量分配。
Ti=R/(l+NpxXp/Xi) + additional_Ti ".(19), additional_Ti=residul 一bit 1 xXi/Xgop2 ...(20), residu 一 bitl(margin 一 rati〇xRx(Np_R—HQ 一num)x><Xp)/(KpxXgo pl) -(21),
Xgopl=Xi+NpxXp/Kp ...(22),
Xgop2=Xi + R 一 HQ 一 numxXp/Kp ...(23). 在此,margin_ratio係1以下之數。 該場合時,因為比起習知技術,僅以多 additional_Ti 位元數來分配於該I圖框,所以該圖框之畫質係得以改善。 該結果為,以參考該圖框之圖框之動態預測效果也得以改 善。 在步驟S304中,圖框碼量分配裝置1111係判定現在 起欲編碼之P圖像之圖框號碼coding_frame_num是否與從 畫質控制裝置112所供應之剩餘高畫質圖框號碼 R—HQ—frame_num為同步。若為同步則前進至步驟S305, 若非如此則前進至步驟S306。 在步驟S305中,圖框碼量分配裝置1111係將現在欲 編碼之P圖像之碼量以式(24)來計算,而完畢圖框碼量分 配。
Tp=R/Np+additional_Tp …(24), additional—Tp=(margin—rati〇xRx(Np-R—HQ—num)))/(NpxRJHQ— num) 。..(25). 該場合時,因為比起習知技術,僅以多additional_Tp 2138-6765-PF 21 200525902 之位元數來分配P圖框,所以該圖框之畫質係得以改善。 該結果為,以參考該圖框之圖框之動態預測效果也得以改 善。 在步驟S306中,圖框碼量分配裝置U11係以式(26), 來計算對欲編碼之P圖像之碼量,而完畢圖框碼量分配。
Tp = (l-margin—ratio) xR/Νρ …(26). 該場合時,因為僅以margin—rati〇之分而對該圖框之 分配碼量為減少,所以可考慮為該圖框之畫質劣化。然而, 因為藉由晝貝控制裝置112之控制,而以參考被編碼成高 晝質之圖框而可做動態預測,所以即使分配碼量為多少變 少,也可以動態預測之性能為得到改善之分,來抑制晝質 之劣化。 ' 在步驟S307中,圖框碼量分配裝置mi係以判定現 在欲編碼之圖框是否為丨圖像。若編碼對象圖框為〗圖像 則則進至步驟S 3 0 8,若非如此則前進至步驟s 3 〇 9。 在步驟S308中,圖框碼量分配裝置mi係將對現在 欲編碼之I圖像之碼量以式(27)來計算,而完畢圖框碼量分 配。
Ti-R/(l+NpxXp/Xi)…(27). 同樣地在步驟S309中,圖框碼量分配裝置mi係將 對現在欲編碼之P圖像之碼量以式(28)來計算,而完畢圖 框碼量分配。
Tp=R/Np ...(28).
藉由以上之碼量分配,以利用在多圖框動態預測中之 2138-6765-PF 22 200525902 動態預測之自由/έρ,工^ + , 所 又而所有的圖框變為可參寺被編碼成高 旦貝^圖框。因此,若依據本實施形態,則因為景區整體 之動態預測之效果盔扯# M ^ <政果為被改善,所以可將動態影像編碼為 畫質。 因為量子化參數更新裝置1112係使對在圖框碼量分配 裝置1所求得之各圖框的分配碼量Ti,Τρ與實際之產生 馬里知以致,所以基於以設定成各圖像類型另外之虛擬 緩衝器容量,而將量子化參數以巨區塊單位予以回授控 制。而圖11係量子化參數之更新的流程圖。 ^首先在步驟S401中,量子化參數更新裝置1112係於 第j個巨區塊之編碼前,將虛擬緩衝器之占有量依圖像類 型另外以式(29)來計算。 ^5ρα)=(ϋ9ρ(〇)+Βα-ΐ)-τί?ρχα.1)/ΜΒεοιιηί _(29) di,P(〇)係圖像類型另外之虛擬緩衝器之初始占有量, B⑴係從圖框之最前面至第J•個巨區塊止之產生碼量,而 MBcount係為圖框内之巨區塊之數。而不用說,1圖像用之 虛擬緩衝器之初始占有量係_),4 P圖像用之dp(0)。 在各圖框之編碼之完畢時,圖像類型另外之虛擬緩衝 器之初始占有量di,p(MBc〇unt)係以做為對次一圖像之虛 擬緩衝器之初始占有量而被使用。 其次,在步驟S402中,量子化參數更新裝置1112係 將對弟j個巨區塊之量子化步驟大小以式(3〇)來計算。
Qstep = Qi5pXdi?p(j) x31/(l〇xr) ."(30),
Qi,P=Xi5p/Ti,p ...(31). 2138-6765-PF 23 200525902 錯由圖框碼量分配裝置1111之控制,被編碼為高畫質 之圖框之分配碼量Ti,p係比起習知方式為較大。於是,從 式⑼而可了解’高畫質化圖框之量子化步驟大小㈣係 變為較小,而圖框係被編碼為高畫質。該結果為,被輸出 之位元資料流之圖框之平均量子化參數係…圖框間隔 來取得較小之值。 r係以控制被稱為反應參數之回授迴圈的響應速度之 參數,而以式(32)來給與。 r-2xbitrate/frame^rate …(32). 迺有,於編碼之開始時,虛擬緩衝器之初始占有量 di,p(o)係於每一圖像類型,以式(33)、(34)來給與。 di(〇) = l〇xr/31 "·(33), dp(〇)=Kpxdi(〇) ...(34). 繼續地在步驟S403中,量子化參數更新裝置丨丨^係 將對應於量子化步驟大小Qstep之量子化參數q從量子化 表予以檢測。在量子化表上,於對應之量子化步驟大小 Qstep為不存在之場合時,於量子化步驟大小q咐來輸出 最接近之量子化步驟值之量子化參數Q。 如以上之所述,第一實施形態之動態影像編碼裝置係 藉由以做為參考圖框而將優先順序較高之圖框予以編碼為 咼晝質,來執打如以改善景區整體之動態預測的效果之碼 量控制。 ~ 其次,來說明本發明之第二實施形態的動態影像編碼 裝置。圖12所示之本發明之第二實施形態的動態影像編碼
2138-6765-PF 24 200525902 裝置係對圖4所示之第一實施形態的動態影像編碼裝置, 進而加上以執行動態影像之解析之動態影像解析裝置 113。動態影像解析裝置113係以輸出圖框差分資訊與圖框 動態資訊’畫質控制裝置Π 2係也使用該圖框差分資訊與 圖框動態資訊,而產生晝質控制資訊。在此,關於第二實 施形態之動態影像編碼裝置,以重點來說明動態影像解析 裝置113及晝質控制裝置112。還有,在此,來說明以做為 編碼圖框之圖像類型而使用I圖像與p圖像之情形。 動態影像解析裝置113係從輸入影像來計算圖框差分 資訊與圖框動態資訊,並將計算過之資訊予以供應給畫質 控制袭置112’而如圖13之所示,由輸入圖框緩衝器η]} 與動態檢測裝置1132來構成。 輸入圖框緩衝器113 1係將N張輸入動態影像圖框先予 以讀取,而於各圖框以上升順序來分配號碼,並記憶儲存 圖框。雖然該先讀取圖框之張數N係為任意,以做為例子 而言’可考慮將被使用在MPEG之GOP間隔等以做為N 來使用。 動態檢測裝置1132係從被記憶儲存於輸入圖框緩衝 器113 1之圖框,來計算各圖框之圖框動態資訊與圖框差分 貧訊。以下,以參考圖14來說明動態檢測裝置u32之動 作。動態檢測裝置1132係對先讀取之各圖框,來執行圖 14所示之各步驟的處理。 首先’在步驟S501中,動態檢測裝置11 32係將圖框 分割為比圖框尺寸WxH為更小之wXh尺寸的區塊,而在
2138-6765-PF 25 200525902 步驟 S502,將以構成圖框之區塊的區塊動態資訊 WVX,MVY與區塊差分資訊D藉由以下之處理來計算。 將在第 cur個之圖框之座標(x,y)的像素值做為 F(cur,x,y),將第cur個之圖框之已分割之第k個區塊做為 B(cur,k),而將在B(cur,k)之左上角之圖框内的座標做為 (bx(cur,k),by(cur,k)) 〇 第cur圖框之區塊B(cur,k)之、從其圖框僅ref張過去 之圖框也就是對第(cur-ref)圖框之區塊動態資訊 ]^¥又(〇111^,1^〇,]^¥丫(^11^,1^〇與差分資訊 D(cur,k,ref)係 只要一將式(35)之diff(ref,mvx,mvy)做為最小之mvx,mvy,則 以其最小之 diff(ref,MVX(cur,k,ref),MVY(cur,k,ref))來給與。 [數1] i=w-l,j=h-l diff(ref,mvx,mvy) Σ abs(cur_pixel(i5 j) - ref_pixel(ref?i + mvx?j + mvy)) .. .(35) i=〇,j=〇 curjpixel(i,j)=F(cur,bx(cur,k)+i,by(cur,k)+j) ...(36), ref一pixel(ref,i j)=F(cur-ref,bx(cur,k)+i,by(cur,k+j)) ...(37). 在此,在步驟S503中,動態檢測裝置1132係從區塊 動態資訊MVX,MVY與區塊差分資訊D,來計算圖框動態 資訊與圖框差分資訊。 只要一將圖框内之區塊之數做為block_num,則第i 張圖框之對第i-j張圖框的圖框動態資訊FMVj(i)及圖框差 分資訊FDj⑴係以式(3 8)、及式(39)來給與。 [數2] block_num -1 FMVj(i) = l;(abs(MVX(i,n,j) + MVY(i,n,j))) ,··(38), n=0 2138-6765-PF 26 200525902 block num-1 FDj(〇= Σ D(U?j) ...(39). /7=0 動態檢測裝置1132係將以上處理就各輸入圖框id-i SN-1)及各參考圖框ref〇^refSMAX一REF)來執行,而叶 算所有的輸入圖框與參考圖框間之圖框差分資訊與圖框動 態資訊。 畫質控制裝置112係如圖15之所示,由晝質判定裳置 112 1與晝貝控制計數器1丨22所構成。晝質控制裝置工工2 所供應之晝質控制資訊係為高畫質化旗標、剩餘高晝質化 圖框數、及剩餘高晝質化圖框號碼。在本實施形態中之書 質控制裝置112與上述之第一實施形態之晝質控制裝置 112係關於畫質判定裝置1121之動作為不同。在此,以下 係就在該第二實施形態中之晝質判定裝置112 1之動作來 說明。 畫質判定裝置1121係從由動態影像解析裝置112所供 應之圖框差分資訊與圖框動態資訊,來計算高晝質化旗 標、高畫質化圖框數、及高品質化圖框號碼。高畫質化旗 軚係對碼里控制裝置丨丨丨而被輸出,而高畫質化圖框數與 南品質化圖框號碼係被輸出於晝質控制計數器丨丨22。以 下,以參考圖16,來說明在本實施形態中之畫質判定裝置 1121之動作。 首先,在步驟S601中,畫質判定裝置1121係就各圖 框1與其參考圖框,以使用式(40),來計算圖框間成本 IFC(i)。α係為依存於圖框之平均量子化參數的值。 IFCj(i)=FDj(i) + axFMVj(i) ...(40)?
2138-6765-PF 27 200525902 [數3] MIN—IFC(i)= min {IFCj(i)} ...(41),
argl<j<MAX_REF 其次在步驟S602,晝質判定裝置1121係將最小圖框 間成本MIN—IFC(i)(l$i$N-l)以使用式(41)來計算,而求 得對應此之最佳參考圖框BEST_REF(i)。在此,MAX_REF 係為與以編碼對象圖框與多圖框預測而可參考之最為過去 之圖框的間隔。 在步驟S603中,畫質判定裝置1121係判定所有的圖 框之BEST—REF(i)(l $ N-1)是否為1。如圖17A所示, 若所有的圖框之BEST_REF(i)為1,則被預測為於N張解 析區間並無景區改變和閃爍等之瞬時的影像變動之成連續 之景區。對此,如圖17B之所示,於存在BEST—REF(i)不 為1之圖框的場合時,係預測為於N張解析區間中存在景 區改變和閃爍等之不連續景區。在此,在步驟S603中,所 有的BEST—REF(i)若為1則前進至步驟S604,若非如此, 則將高晝質化旗標關閉,並將高畫質化圖框數做為0,而 完畢處理。 在步驟S604中,畫質控制裝置112係從所有的圖框之 MIN—IFC(i)(= =IFCl(i)),就平均圖框間成本 AVERAGE_IFC、 圖框間成本上限IFC_LOWER_LIMIT、及圖框間成本下限 IFC—UPPER—LIMIT 以式(42)〜(44)來計算。在此 margin_ratio係1以下之值。 [數4] AVERAGEJFC = Σ1 MIN_IFC(i)/(N -1) .. .(42), ~ /=1 2138-6765-PF 28 200525902 IFC—UPPER一LIMIT=(l+margin—ratio)x AVERAGE一 IFC ...(43), IFC—LOWER一LIMIT=(1-margin—ratio)x AVERAGE一 IFC ...(44). 之後在步驟S605中,晝質控制裝置112係解析是否所 有的圖框之 MIN—IFC(i) (1 ^ i ^ N-1) 為收於 IFC_LOWER_LIMIT 與 IFC_UPPER_LIM1T 之間的範圍内。 若N-1張所有的影像圖框之MIN_IFC(i)為正在收於上述之 範圍,則如圖18 A之所示,圖框間預測之困難度係成為安 定,若非如此,則如圖1 8B之所示,成為不安定。 於是,畫質控制裝置112係在步驟S605中,若所有的 圖框之MIN」FC(i)為正在收於上述之範圍則將高晝質化旗 標打開而前進至步驟S606,若非如此則將高晝質化旗標關 閉,而將高畫質化圖框數做為0,並完畢以後之處理。 在步驟S606中,晝質控制裝置112係將每一 GOP或 以每一景區所設定之最大高畫質化圖框間隔做為SS,而藉 由在以下所述之處理,將編碼為高晝質之圖框間隔S以適 應地在SS之範圍來計算。在此最大高晝質化圖框間隔SS 係為在編碼對象圖框與多圖框預測與最為過去可參考之圖 框之間隔以下的值,而藉由以動態之速度和動態影像壓縮 後之圖框速率,適切地被設定。 將不超過IFC__UPPER—LIMIT之成連續之圖框之數做 為s_frame,將判定成剛才編碼為高畫質之圖框號碼做為 prev_fnum,將晝質判定處理中之圖框之號碼做為i,而以 參考圖19,來顯示高晝質化圖框數HQ—num與高晝質化圖 框號碼HQ—frame_num[N-l]之計算方法的例子。但是, 2138-6765-PF 29 200525902 s_frame之初始值係為i、prev—fnum之初始值係為0、i之 初始值係為2、及HQ_num之初始值係為0。 圖19係將在步驟s606之處理以更詳細地予以顯示。 首先,在步驟S701中,畫質控制裝置112係以判定 IFCs_frame + l(i)是否比 ifc—UPPER—LIMIT 為更大,若較大 則步驟S702,若非如此則前進至步驟S703。 在步驟S702中,晝質控制裝置112係以基於式(45)來 求得高畫質化圖框號碼,而將prev_fnum、HQ—num、及 s_frame以式(46)〜(48)來更新,而前進至步驟S706。 HQ—frame—num[hp—num]=prev—fnum+s—frame ...(45), prev—fnum =HQ—frame—num[hp—mnn] …(46), HQ—fnum=HQ—fnum+l …(47), sframe=l ... (48). 在步驟S703中,畫質控制裝置112係判定s_frame是 否等於SSd,若可等於則前進至步驟S704,若不等於則前 進至步驟S705。 在步驟S704中,晝質控制裝置112係以做為 s_frame = SS,由式(45)求得高畫質化圖框號碼,並將 prev一fnun、HQ一num、及 s一frame 以根據式(46)〜(48)來更 新,並將圖框號碼i加1。之後,前進至步驟S706。 在步驟S705中,晝質控制裝置112係將s_frame加b 而前進至步驟S706。 在步驟S706中,晝質控制裝置112係將處理對象之圖 框號碼i加1,而判定i是否為比先讀取圖框數N更小,若 2138-6765-PF 30 200525902 更小則返回步驟S701,若非如此則完畢處理。 藉由以上之處理,所有的編碼對象圖框為必需以參考 被編碼成高晝質之圖框’而成為可做動態預測。還有:於 ^上以晝質判定處理所得到之HQ_num為等於N]之 ^也就疋於判疋成將所有的圖框編碼為高畫質之場人 時,將HQ—num重置為〇,將高畫質化旗標關閉:並^ 畫質化圖框數做為〇。 巧 s於N-15、REF—NUM=3、第〇張最前面圖框為工圖像 場合時’將執行上述之高晝質編碼圖框判定之例子顯示於 圖2〇m據本實施形態’則可了解被編碼為高 j 圖框間隔S為以適應地被更新。 、 穿置=地第—貫施形態中,係以設置動態影像解析 裝置⑴,來考慮在G0P中之景區改變和閃燦等 影像之變動、冰祙早、44 η 外Τ的 ㈣也就疋連績之圖框間之像素相關之急劇 降、和景區之編碼困難度之較大的變動之影響等,而 =選擇編碼為高畫質之圖框。該結果為,若依據本實施 ㈣,則進而可將動態影像予以編碼為高畫質。 而且’被編碼為高晝質之圖框之選㈣方法係 限定於上述。例如、gp枯达1 σσ 尸使為已使用圖框間成本IFC(i)之符 單的實施形態也可f親。/ f 9 彳如、於在編碼對象圖框與多圖 框預測與可參考之最為過去 國
取π幻云之圖框之間隔為MAX REF 時,將剛才已被高晝質化之古查所固一 R wrw ~貝化之同晝質圖框號碼 =HQ =me—num以做為參考圖框之一張,而在做為仏 —之圖框號碼(R-HQ 一卿切)尹,可將對高
2138-6765-PF 31 200525902 畫質參考圖框之圖框間成本IFC(i)為比預定之臨界值更 小'且對應於最大之m的圖框決定為其次高晝質化圖框。 士其次,來說明本發明之第三實施形態之動態影像編碼 衣置而在第二實施形態中,係以做為編碼圖框之圖像類 型,而使用I圖像、p圖像、A B圖像。雖然第三實施形 態之動態影像編碼裝置係包含與第一實施形態之動態影像 編碼裝置為相同之構成,但為了使用B圖像來編碼,所以 畫質控制裝置112及碼量控制裝置ln之動作為與第一實 施形態之情形為不同。以下,來說明在第三實施形態中之 晝貝控制裝置112與瑪量控制裝置111之動作。 晝質控制裝置112係與第二實施形態之場合為同樣地 由畫質判定裝置1121與晝質控制計數n 1122所構成。雖 然晝質控制裝置112係對碼量控制裝置lu以做為晝質控 制資訊來供應高畫質化旗標、剩餘高畫質化圖框數、及剩 餘高晝質化圖框號碼,但此處就剩餘高晝質化圖框數及剩 餘高畫質化圖框號碼係對於在第一實施形態令,係關於p 圖像圖框,而在第三實施形態中,係關於B圖像圖框。、因 此,雖然在第三實施形態中,僅為在畫質控制裝置之 畫質判定裝置1121之動作,但與第一實施形態係為不同。 在此,已使用圖21,來說明在第三實施形態中之畫質 判定裝置1121之動作。 直貝 將被含於GOP之圖框之張數·做為N、將畫質列定處理 中之圖框之號碼做為i ’而以參考圖21,來說明高晝質化 圖框數HQ_num與高晝質化圖框^
2138-6765-PF 32 200525902 HQ_frame_nUm[HQ_num]之計算程序。丨之初始值係為丄、 HQ一num之初始值係為〇。 首先,在步驟S801中,晝質判定裝置1121係判定做 為現在之解析對象之第i張圖框的編碼類型是否為B圖 像。若為B圖像則前進至步驟S8〇2,若非如此則前進至步 驟 S804 。 在步驟S802中,畫質判定裝置丨121係繼續地判定第 i+Ι張圖框之編碼類型是否為B圖像。若為B圖像則前進 至步驟S803,若非如此則前進至步驟S8〇4。 在步驟S8G3中’畫f判定裝置1121係基於式㈣而 將現在之第i張圖框以做為編碼為高晝質之圖框予以記 憶,並將商晝質化圖框數以式(5〇)來更新。 Q一 rame—num[HQ—num]=i ".(49) HQ_num=HQ_num+l ...(5〇) 在步驟S804中,書曾划令姑嬰 旦質判疋裝置1121係將處理對象
圖框3F虎碼i加1,刹9 π L 判疋疋否比N小,若為小 S801,若非如此則完畢處理。 驟 畫質判定裝置1121+ 士丨、,u ^ 么彳 係70成以上之處理之後nQ郎瓜若 為1以上則將高晝質化旗標11 笋由以卜夕“ g打開,右非如此則關閉。 曰由^上之處理,可將為被參考且以做 編碼之圖框做為古查所 圖仏而被 α汇做“畫質圖框號碼。也就是 編碼為高書質。屬”在—丄 j财參考圖框 π门旦貝圖22係猎由如該處理,來顧-;^ 晝質之B圖像之例子。 來4不破編碼為高 碼量控制裝置 111 係與第一 實施形態之場合為同樣
2138-6765-PF 33 200525902 地,由圖框碼量分配裝置丨丨丨丨與量子化參數更新裝置11 a 而被構成。以說明在第三實施形態中之碼量控制裝置ηι 的圖框碼量分配裝置11U與量子化參數更新裝置1112之 動作。 圖框碼量分配裝置1111係以使用從晝質控制裝置112 所供應之畫質控制資訊的高晝質化控制旗標、剩餘高書質 化圖框數R一HQ一num、及剩餘高晝質化圖框號碼 R—HQ一frame-num,而執行圖框碼量分配。 將目標碼量Ti,Tp,Tb做為圖像類型另外之目標碼量、 將R做為對在GOP内尚未被編碼之圖框而被分配之碼量、 將Νρ及Nb做為在GOP内尚未被編碼之p及b圖像之張 數將Xi,xp,xp做為最後編碼成之各圖像之晝面之複雜 度、及將Kp與Kb做為考慮到圖像類型另外之主觀晝質的 參數。圖23係顯示在第三實施形態之圖框碼量分配裝置 1111之動作。 首先,在步驟s90 1中,圖框碼量分配裝置1 i i 1係判 定從畫質控制裝置112所供應之高畫質旗標HQ—fig為打開 或關閉。若高畫質旗標HQ一;flg為打開則前進至步驟S9〇2, 若為關閉則前進至步驟S908。 在步驟S902中,圖框碼量分配裝置1 hi係判定現在 欲編碼之圖框的圖像類型。若為I圖像則前進至步驟 S903 ’若為p圖像則前進至步驟s9〇4,若為除此以外,也 就是若為B圖像,則前進至步驟S905。 在步驟S903中,圖框碼量分配裝置mi係將對現在
2138-6765-PF 34 200525902 做為編碼使用之I圖像的碼量以式(5 1)來計算,而完畢圖框 碼量分配。
Ti=料 l+NpxXp/(KpxXi)+Nb 场/(KbxXi))+additional—Ti ...(51), additional一Ti=residu_bit3 xXi/Xgop4 …(52), residu_bit3=(margin_rati〇xRx(Nb-R_HQ_num)xXb)/(Kb><Xgop3) ...( 53),
Xgop3=Xi+NpxXp/Kp+NbxXb/Kb ...(54), Xgop4=Xi+NpxXp/Kp+(Nb-R—HQ_num)xXb/Kb ...(55). 該場合時,因為與習知技術相比,僅以多對應於 addltional_Ti之分之位元數來分配於該I圖框,所以該圖 框之晝質係得以改善。該結果為,也改善了以參考該圖框 之圖框的動態預測效果。 在步驟S904中,圖框碼量分配裝置1111係將對現在 欲編碼之P圖像的碼量以式(56)來計算,而完畢圖框碼量 分配。
Tp=R/(Np+NbxKpxXb/(KbxXp))+additional_Tp ...(56), additional一 Tp=residu一bit4xXp/(KpxXgop6) ...(57), residu 一bit4=(margin 一 ratio x Rx (Nb-R—HQ—num) χ Xb)/(Kb ><Xgop5) …(58),
Xgop5=NpxXp/Kp+NbxXp/Kb ...(59), Xgop6=Np><Xp/Kp+(Nb-R_HQ_num) xXb/Kb ...(60). 該場合時,也因為與習知技術相比,僅以多 additional_Tp之分之位元數來分配於該P圖框,所以該圖 框之晝質係得以改善。該結果為,也改善了以參考該圖框 2138-6765-PF 35 200525902 的動態預測效果。 在步驟S905中,圖框碼量分配裝置1111係判定現在 欲編碼之B圖像的圖框號碼coding—frame_num是否與從晝 質控制裝置 112所供應之剩餘高晝質圖框號碼 R—HQ—frame_num為同步。若為同步則前進至步驟S906, 若非如此則前進至步驟S907。 在步驟S906中,圖框碼量分配裝置1111係以式(61) 來計算對現在欲編碼之B圖像的碼量,而完畢圖框碼量分 配。
Tb=R/(Nb+NpxKbxXp/(KpxXb))+additionalJTb ...(61), additional一 Tb=residu_bit4xXb/(KbxXgop6) ...(62). 該場合時,也因為與習知技術相比,僅以多 additional—Tb之分之位元數來分酉己於該B圖框,所以該圖 框之畫質係得以改善。該結果為,也改善了以參考該圖框 的動態預測效果。 在步驟S907中,圖框碼量分配裝置1111係將對現在 欲編碼之B圖像的碼量以式(63)來計算,而完畢圖框碼量 分配。
Tb=(l-margin_ratio)xR/(Nb+NpxKbxXp/(KpxXb)) ...(63) 此時,因為對僅為margin_ratio之分之該B圖框的分 配碼量為減少,所以該圖框之晝質劣化為被考慮。然而, 因為藉由晝質控制裝置112之控制,而以參考被編碼為高 畫質之I,P,B圖框而可做動態預測,所以即使分配碼量為多 少變少,也可以動態預測之性能為得到改善之分,來抑制 2138-6765-PF 36 200525902 畫質之劣化。 在步驟S908中,圖框碼量分配裝置1111係判定現在 欲編碼之圖框的圖像類型。若為I圖像則前進至步驟 S909,若為p圖像則前進至步驟S910,若為除此以外,也 就是若為B圖像,則前進至S911。 在步驟S909中,圖框碼量分配裝置mi係將對現在 欲編碼之I圖像的碼量以式(64)來計算,而完畢圖框碼量分 配。
Ti=R/(i+NpxXp/(KpxXi)+NbxXb/(KbxXi) ...(64). 在步驟S910中,圖框碼量分配裝置mi係將對現在 欲編碼之P圖像的碼量以式(65)來計算,而完畢圖框碼量 分配。
Tp=R/(Np+NbxKpxXb/(KbxXp)…(65). 在步驟S911中,圖框碼量分配裝置mi係將對現在 欲編碼之B圖像的碼量以式(66)來計算,而完畢圖框碼量 分配。
Tb=R/(Nb+NpxKbxXp/(KpxXb)) ...(66) 、藉由以上之碼畺分配,對以做為參考圖框而優先順序 為低之B圖像圖框以不分配多餘之碼量,並從其他的圖框 查多考而可將以做為LPJ圖像而被編碼之圖框編碼為高 晝質。該結果變為,所有的圖框為從被編碼成高晝質之圖 框而可做動態預測,並可將動態影像編碼為高畫質。 因為量子化 4置1111所求得 參數更新裝置111 2係使對在圖框碼量分配 之各圖框之分配碼量Ti5p,b與實際之產生
2138-6765-PF 37 200525902 碼量為一致,所以以設定成各圖像類型另外之虛擬緩衝琴 容量為基礎,而以巨區塊單位之回授控制來求得量子化表 數。雖然該量子化參數更新裝置1112之動作係與第_實施 形態之場合為相同,因為使對應於圖像類型另外之變數 名,所以以參考圖1 1之流程圖,而將各步驟之動作在以下 來說明。 在步驟S401中,量子化參數更新裝置1112係在第J· 個巨區塊之編碼前,將虛擬緩衝器之占有量依圖像類型另 外以式(67)來計算。 di,p,b ⑴=di,P,b(0)+B(M)-Ti,P,bx(H)/MBCOUnt …(67) di,P,b(0)係虛擬緩衝器之初始占有量、b⑴係從圖框之 最前面至第j個巨區塊為止之產生碼量、贱_係圖框 内之巨區塊之數。在各圖框之編碼完畢時,圖像類型另外 之虛擬緩衝n之初始占有量di,p,b(MBeGun⑽以做為對次 一圖像之虛擬缓衝器之初始占有量di!b(〇)而被使用。 •在步驟S402中,量子化參數更新裝置1112係將對第 j個巨區塊之量子化步驟大小基於式(68)來計算。
Qstep=Qi,P,bxdi,P,b(j)x31/(l〇xr)…⑽),
Qi,P,b=Xi,p,b/Ti,p,b …(69)· 藉由圖框碼量分酉己〗〗〗〗夕 > 生丨 里刀a己mi之控制,被編碼為高晝質之g 框之分配碼量Ti,P,b係比習知之方式為更大,而粗㈣ 編碼之B圖像碼量係扑係比習知之方式為更小。藉㈣ ㈣,而被編碼為高晝質之b圖像圖框之量子化步驟大^ 训係變小,粗略地被編狀㈣像圖框的量子化步驟大^
2138-6765-PF 38 200525902
Qb係變大。也就是,以做為參考圖框而優先順序為較高之 B圖像圖框係比起以做為參考圖框而優先順序為較低之B 圖像圖框以高畫質而被編碼。 r係以控制被稱為反應參數之回授迴圈的響應速度之 參數,並以式(70)來給與。 r=2xbitlate/frame—rate ...(70). 還有,在編碼之開始時之虛擬緩衝器的初始占有量 di,P(0)係以式(71)〜(73)來給與。 di(0)=l〇xr/31 ...(71), dP(0)=Kpxdi(0) ...(72), db(0)=Kbxdi(O) ...(73). 在步驟S403中,量子化參數更新裝置1112係將對應 於篁子化步驟大小Qstep之量子化參數Q從量子化表來檢 測。在量子化表裏,於對應之量子化步驟大小卩以邛為不 存在之場合時,量子化參數更新裝置Π12係將最接近於量 子化步驟大小Qstep之量子化步驟值的量子化參數 輸出。 裝置其次/來說明本發明之第四實施形態之動態影像編碼 苐四只%形怨係以做為編碼圖框之圖像類型,而 目^ P圖像、及B圖像。雖然第四實施形態之動 悲影像編碼梦¥ ^ β μ ^ ^ ^ "係匕έ與第二貫施形態之動態影像編碼裝 質構成,但因為使用Β圖像來執行編碼,所以晝 形態之情开:及碼量控制裝置111之動作為與第二實施 /為不同。此處,碼量控制裝置lu之動作係與
2138-6765-PF 39 200525902 在第三實施形態中之碼量控制裝置n丨為相同。於是,在 以下係說明在本實施例中之晝質控制裝置丨丨2。 晝質控制裝置112係與第三實施形態之場合為同樣, 由畫質判定裝置1121與晝質控制計數器U 22來構成。第 四實施形態之畫質控制裝置為與第三實施形態之晝質控制 裝置不同之處’係依據從動態影像解析裝置丨丨2所供應之 圖框差分資訊與圖框動態資訊之畫質判定裝置U2i的動 作為受到改變。以使用圖24,來說明在第四實施形態中之 畫質判定裝置11 2 1之動作。 將GOP之圖框張數做為n,並將畫質判定處理中之圖 框的號碼做為i,而以參考圖24,來說明高晝質化圖框數 HQ—num與高晝質化圖框號碼HQ_frame一num[HQ_num]i 計算方法。i之初始值係為1、HQ—num之初始值係為〇。 首先,在步驟S1001中,畫質判定裝置U21係就各圖 框i與其參考圖框1,以使用動態影像解析裝置丨丨3所供應 之圖框差分資訊FDl(i)與圖框動態資訊FMVl(i)而由式(40) 來計算圖框間成本IFCl(i)。而且,晝質判定裝置1121係關 於式(42)之 MIN-IFC(i)而做為成立 MIN_IFC(i)=IFCl(i) 者,並基於式(42)〜(44),來求得1FC_UPPER_LIMIT及 IFC一LOWER—LIMIT。除此之外,晝質判定裝置1121係以 判 定 所有的 IFCl(i) 是否為 IFC一LOWER—LIMIT<IFCl(i)<IFC一UPPRE一LIMIT 〇 而所有 的IFC1⑴若為收於上述範圍則以做為i=l而前進至 S1002,若非如此則完畢處理。 2138-6765-PF 40 200525902 在步驟测2中,畫質判定裝置仙係判定做為現在 之解析對象之第!張圖框的編碼類型是否A b圖像 B圖像則前進至步驟讓3,若非如此則前進至步驟s_。 在步驟测”,畫質判定裝11121係繼續地以判定 第出張圖框之編碼類型是否為B圖像。若為b圖像則义 進至步驟SHKM,若非如此則前進至步驟si〇〇5。 月 在步驟S1〇〇4中,畫質判定裝置1121係以基於式 (49) ’將現在之第i張圖框做為高畫質化圖框號碼 HQ—fr繼一num[HQ_num]予以記憶,而將高晝質化圖框數 HQ—num以式(50)來更新。 在步驟S1005中,晝質判定裝置1121係將處理對象之 圖框號碼i加1,而判定是否比圖框數N更小,若為更小 則返回步驟S1002,若非如此則完畢處理。 晝質判定裝置1121係於完成以上之處理中,若 HQ—num為1以上則將高晝質化旗標HQ-flg打開,若非如 此則關閉。 即使為本實施形態,藉由包括動態影像解析裝置丨丨3, 以考慮於GOP中已有景區改變和閃爍等之瞬時的影像之變 動之場合、和景區之編碼困難度之更大的變動之影響,而 了正確地來選擇編碼為高晝質之B圖像圖框。該結果為, 進而可將動態影像編碼為高畫質。 其认’來說明本發明之第五實施形態。基於以上已說 明之本發明之動態影像編碼裝置係從以上之說明很明顯地 看出’雖然也有以硬體來構成之可能,但藉由電腦程式來
2138-6765-PF 41 200525902 實現則也為可能。 圖25係顯示在本發明之第五實施形態中之資訊處理 系統二並顯示已將基於本發明之動態影像編碼裝置予以改 進之資訊處理系統之一般的構成。 該資訊處理系統係由:微處理器201、程式記憶體(主 記憶體)2〇2、及記憶媒體加、2()4所構成。記憶媒體加綱 係也為別個記憶媒體’且也可為在同一記憶媒體中之不同 的記憶領域。以做為記憶媒體,係可使用硬碟之磁性記憶 因而,將可使上述之動態影像編碼處理執行於資訊處 理系統之程式儲存於程式記憶體2G2,而將其程式藉由微 ^理21 〇來執行’而該資訊處理系統係以做為上述之動 態影像編碼裝置而做成功能。輸人動態影像資料係預先被 儲存於記憶㈣203,而於編碼後之位元資料流係被儲存 於記憶媒體204。 纪因此,於本發明之範嘴裏,係可使基於本發明之動態 影像編碼處理執行於電腦之程式、或可以已儲存如此之程 式之電腦可讀取之記憶媒體、進而也包含由如此之程式所 構成之程式產品。 本發明之電腦程式係在例如為以參考複數張影像圖框 來做多圖㈣態預測而執行動態影像編碼之電腦裏,程式 為使執行: 從相同之圖像類型之複數張參考圖框裏來選擇至少】 張參考圖框之處理;及
2138-6765-PF 42 200525902 將已被選擇之參考圖框以比相同之圖像類型之其他的 參考圖框編竭為更高晝質之處理。 或者、本發明之電腦程式係在例如為以參考複數張影 像圖框來做多圖框動態預測而執行動態影像編碼之電腦 裏’程式為使執行: 求出參考圖框與編碼對象圖框間之差分資訊及動態資 訊之處理; ' _基於差分資訊及動態資訊,以被選擇之參考圖框之間 可適應地變化而從相同之圖像類型之複數張參考圖框裏 來選擇至少1張參考圖框之處理;及 將被選擇之參考圖框以比相同之圖像類型之其他的來 考圖框為更高畫質予以編碼之處理。 ^ 其次’以做為本發明之第六實施形態,係就可輸入輪 出由例如上述之第一至第五實施形態之動態影像編碼襞置 所編碼之動態影像資料或動態影像位元資料流的輸入輸出 2置來做說明。在此’雖係以做為可輪入輸出動態影像 貝科(動態影像位it資料流)之輸人輸出|置之例子, 明將基於第一實施形態或第—每 t " 抱m 弟一貝轭形怨所產生之動態影像 編碼位元資料流做為輸入之收 1豕 訊機但基於本發明之輸入 輸出裝置係不應被限制於此, 八 你•火 而也可為可輸入輸出動態影
像負料之圖框同步裝置、和錄放影機等^影UP 如圖26所示,收訊機俏白权 職係包括影像解碼器115與參考圖 框晝質監視裝置116。影像圚 豕解碼裔115係與以與圖1所示之 I知的動態影像編碼裝置成料 <罝成對而被使用之習知的動態影像
213 8-6765-PF 43 200525902 解碼裝置為同樣之物。也就是影像解碼器ιΐ5係包括:以 圖^示之動態影像編碼裝置裏之局部的解碼裝置而構成 之逆里子化裝置1 〇 4、逆頻率變拖驻 蔓換裝置105、圖框記憶體 1 06、圖框内預測裝置1 〇7、 衣1 勖恶補償裝置108、及緩衝器 11〇。更進而,影像解碼器U5 货、括可變長度解碼裝置 114。在影像解碼器η 5中之該蓉播# ^ 系寺構成要素之功能係除掉可 變長度解碼裝置丨14之外,盥在 ,、在圖1所不之習知的動態影 像編碼裝置中者為同等。 輸入於〜‘解碼g 115之影像位元資料流係藉由動態 影像編碼裝置,而將原來之輸人影像分割為複數個區塊, 並以可將從該等區塊以圖框内預測裝置或動態補償裝置讓 預測值被減少之預測誤差信號予以頻率變換並予以量子化 所得之變換係數、及預測值予以產生之動態向量及參考圖 框等為已被可變長度解碼之碼㈣來做為主I之構成要 可變長度解碼裝置i 14係從可記憶铸存已收訊之影像 位元資料流的緩衝H 11G所供應之可變長度碼予以解碼成 原來之數值。於已被解碼之數值係包括:變換係數、量子 化參數、圖像類型、動態向量、及參考圖框等。 逆里子化裝置104係使用量子化參數來將變換係數予 以逆星子化,而產生逆量子化變換係數。逆頻率變換裝置 105係將逆量子化變換係數予以逆頻率變換,而產生預測 誤差信號。於該預測誤差信號係以加法器132來加上從圖 框内預測裝置107或動態補償裝置108所供應之預測值,
2138-6765-PF 44 200525902 而侍到解碼影像。從圖框内預測裝置107及動態補償裝置 1〇8之任一裝置來之預測值為是否被使用,係可以開關131 ,選擇。影像解碼器為以反覆該等處理,而可得到解碼影 像。而且,如此所得到之解碼影像係以做為再構築影像而 被儲存於圖框§己憶體丨〇 6,並被利用於依據圖框内預測裝 置107、動態補償裝置108、及動態推定裝置1〇9之預測 值的產生。 其次,就參考圖框畫質監視裝置114之動作來說明。 參考圖框畫質監視裝置J14係以監視:從影像解碼器 U5所供應之圖像類型、參考圖框、量子化參數、可變長 度碼、及圖框記憶體,而輸出從參考圖框畫質變動旗標所 構成之參考圖框晝質變動資訊。所謂參考圖框晝質變動旗 標係表示”於使用在動態影像位元資料流之解碼之動態補 償(多圖框動態預測)的參考圖框,是否為分配比相同之圖 像類型之其他的圖框為更多之碼量、或包含量子化參數為 較小之圖框的動態影像編碼位元資料流,,。 、、具體而言,參考圖框晝質變動旗標係以先將於解碼後 成為被從其他的圖框所參考之所形成參考圖框的圖框之解 碼時之圖像類型、碼量 '及平均量子化參數予以記憶,而 於已被儲存在圖框記憶體之參考圖框,藉由確認是否為分 配比相同之圖像類型之其他的圖框為更多之碼量、或包含 量子化參數為較小之圖框的動態影像編碼位元資料流而可 求得。 將對應於已被儲存在圖框記憶體之參考圖框的號碼
2138-6765-PF 45 200525902 ι(1<ι<ΜΑΧ一REF)之圖像類型做為pic —type(i)、將圖框全體 之碼量做為total-bit(i)、及將圖框全體之平均量子化參數 做為average-q(i),而圖27係顯示可產生參考圖框畫質變 動旗標之處理。 首先,在步驟SA01中,參考圖框畫質監視裝置114 係以判別現在欲開始解碼之圖框的圖像類型是否為p圖像 或B圖b。若為p圖像或b圖像則前進至步驟sa〇2,若 非如此則參考圖框畫質變動旗標為設定成關閉,並完畢處 理。 在步驟SA02中,參考圖框晝質監視裝置114係在與現 在欲開始解碼之圖框的圖像類型為相同之圖像類型之複數 張refCKrekMAX—REF))的參考圖框中,來判定以做為條件 1,第i張圖框為是否分配比第〕·張參考圖框更多之碼量、 或以做為條件2,量子化參數是否為較小。 條件i係可記述為論Lbit(i㈣+margin_ra峰娜池①4 民啊㈣一㈣)、且i j。而條件2係可記述為狀喊卜 ("π職gin_rati〇))xaverage—q⑴、且 pic_type(i)=pic 咖⑴且 1 j ° 在步驟識中,因為於條件i或條件2為成立之广 合日:,係在動態影像位元資料流為使用於多 : 之參相框’分配比相同之圖像類型之其他的圖框:= =碼量、或如此之參考圖框係為包含量子化 : 圖框的動態影像編碼位元資料流, j之 _ >可_框書皙j目 、置114係將參考圖框晝f變動旗標打開。於條件、1皿,
2138-6765-PF 46 200525902 件2之任一條件均未被滿足之場合時,參考圖框晝質變動 旗標係被關閉。 ' 其次,在步驟SA03中,參考圖框畫質監視裝置Η# 2藉由檢查從緩衝H 110戶斤供應Η變長度碼之碼長而計 算解碼對象圖框全體之碼量tmp_t()tal_bit,㈣由從可變 長度解碼裝置114所供應之每_ MB之量子化參數,來計 斤圖框王體之平均量子化參數q。而且此際, 也記憶從可變長度解石馬裝s 114戶斤供應之圖像類型 tmP-P1〇yPe。於現在之解碼對象之圖框為解碼完畢後以在 圖框記Μ 106做為號碼k而被儲存之時序,參考圖框畫 質監視裝置 114 係將 tmP-t〇tal_bit,tmP_average Q、及 P心Pe 分別儲存於 pic_type(k)、t〇tai ⑽(一k)、及 aVerage—q(k),而完畢處理。 =考圖框晝質變動旗標之計算係將於每次解碼各 圖框而被執行。 糟由以上之處理,品 π p t m 考圖框晝質變動旗標變為打 開k,在做為以基於本發旦 之動態影像位元資料動悲衫像編碼方法而被產生 框,並可確認分配比^ ^於多圖框動態預測之參考圖 之碑量、哎勺人-D圖像類型之其他的圖框為更多 之碼“包含置子化參數為較小之圖框。 【圖式簡單說明] 圖1係顯示習知夕曲 方塊圖。 A 1的動態影像編瑪裝置之構成的 圖2係說明基於太 本發明之動態影像編碼處理之圖。
2138-6765-PF 47 200525902 圖3係說明基於本發明之動態影像編碼處理之圖。 圖4係顯示本發明之第一實施形態之動態影像編碼裝 置之構成的方塊圖。 圖5係顯示晝質控制裝置之構成的方塊圖。 圖6係顯示畫質判定之處理之流程圖。 圖7係說明以高晝質被編碼之圖框之圖。 圖8係顯示晝質控制計數器處理之流程圖。 圖9係顯示碼量控制裝置之構成之方塊圖。 圖1〇係顯示圖框碼量分配之處理之流程圖。 圖11係顯示量子化參數更新之處理之流程圖。 圖12係顯示本發明之第二實施形態之動態影像編碼 裝置之構成之方塊圖。 圖13顯示動態影像解析裝置之構成之方塊圖。 圖14係顯示動態檢測之處理之流程圖。 圖15係顯示畫質控制裝置之構成之方塊圖。 圖16係顯示晝質判定之處理之流程圖。 圖17A係說明最佳參考圖框之圖。 圖1 7B係說明最佳參考圖框之圖。 圖1 8 A係說明圖框間預測困難度之圖。 圖1 8B係說明圖框間預測困難度之圖。 圖19係顯示鬲晝質編碼圖框判定之處理的流程圖。 圖20係說明以高晝質被編碼之圖框之圖。 圖21係顯示畫質判定之處理之流程圖。 圖22係說明以高晝質被編碼之圖框之圖。
2138-6765-PF 48 200525902 圖23係顯示圖框碼量分配之處理之流程圖。 圖24係顯示畫質判定之處理之流程圖。 圖 係以貫裝基於本發明之動態影像編碼裝置之資 訊處理系統之—般的方塊構成圖。 一圖6係顯不以輪入基於本發明而被產生之動態影像 位元資料流之收 叹δίΐ機的一例之方塊圖。 面 係顯不以產生參考圖框畫質變動旗標之處理之 流程圖。 【主要元件符號說明】 101 頻率變換裝置 102 量子化裝置 103 可變長度編碼裝置 104 逆量子化裝置 105 逆頻率變換裝置 106 圖框記憶體 107 圖框内預測裝置 108 動態補償裝置 109 動態推定裝置 110 緩衝器 111 碼量控制裝置 1111 圖框碼量分配裝置 1112 量子化參數更新裝 121 減法器 122 開關
2138-6765-PF 49 200525902 123 加法器 112 晝質控制裝置 1121 晝質判定裝置 1122 晝質控制計數器 113 動態影像解析裝置 1131 輸入圖框緩衝器 1132 動態檢測裝置 114 可變長度解碼裝置 115 影像解碼器 116 參考圖框畫質監視裝置 201 微處理器 202 程式記憶體 203、204記憶媒體 50
2138-6765-PF

Claims (1)

  1. 200525902 十、申請專利範圍: 1. -種動態影像編射法,以參考複數張影像圖框來 做多圖框動態預測,包括·· 包含在使用於多圖框動態預測之參考圖框裏,被編碼 成比相同之像素類型之其他的圖框為更高畫質之圖框。 2·如申請專利範圍第1項所述之動態影像編碼方法, 其中,被編碼成前述高畫質之圖框係被分配比相同之像素 類型之其他的圖框為更多碼量之圖框。 ' 3·如申請專利範圍第}項所述之動態影像編碼方法, 其中,被編碼成前述高畫質之圖框係與相同之像素類型之 其他的圖框來比而量子化參數為較小之圖框。 4·如申請專利範圍第丨項所述之動態影像編碼方法, 其中,被編碼成前述高畫質之圖框係為p圖像圖框。 5·如申請專利範圍第i項所述之動態影像編碼方法, 其中,被編碼成前述高畫質之圖框係為B圖像圖框。 6.如申明專利範圍第5項所述之動態影像編碼方法, 其中,包括:於編碼連續之複數張B圖像圖框之際,與前 述連續之B圖像圖框裏之最後的B圖像圖框來比較,而將 前述最後的B®像圖框以前之㈣像圖框以高晝f予以編 碼之步驟。 7_如申清專利範圍第1項所述之動態影像編碼方法, 其中更包括·將被編石馬成前述高畫質之圖框以一定之圖 框間隔予以配置之步驟。 @ 8·如申請專利範圍帛6項所述之動態影像編碼方法, 2138-6765-PF 51 200525902 其中,更包括:將被編碼成前述高晝質之圖框以一定之圖 框間隔予以配置之步驟。 9.如申請專利範圍第1項所述之動態影像編碼方法, 其中,更包括··將被編碼成前述高畫質之圖框的圖框間隔, 藉由參考圖框與編碼對象圖框間之差分資訊及動態資訊而 適應地予以變更之步驟。 10·如申明專利範圍第6項所述之動態影像編碼方 法八中,更包括·將被編碼成前述高晝質之圖框的圖框 間隔,藉由參考圖框與編碼對象圖框間之差分資訊及動態 資訊而適應地予以變更之步驟。 -種動態影像編碼裝以參考複數張影像圖框 來做多圖框動態預測而編碼, 其特徵在於包括: 選擇裝置,從相同之圖像類型之複數張參考圖框裏來 選擇至少1張參考圖框;及 編碼裳置,將被選擇之參考圖框以比相同之圖像類型 之其他的參考圖框為更高晝質予以編石馬。 署1Λ如申請專利㈣第11項所述之動態影像編碼裝 置’/、中,前述編碼裝置係對前述被選擇之參考圖框,來 !配比前述相同之圖像類型之其他的參考圖框為更多之碼 〇 置,盆1Μ專利乾圍第11 所述之動態影像編碼裝 定成與寸诚ΓΓ編碼裳置係對前述被選擇之參考圖框,設 “目冋之圖像類型之其他的參考圖框來比而量子 2138-6765-PF 52 200525902 化參數為較小。 14·如申請專利範圍第1 1項所述之動態影像編碼裝 置,並中 义 八’前述被選擇之參考圖框係為P圖像圖框。 15.如申請專利範圍第n項所述之動態影像編 置,盆中 义 仏 八’則述被選擇之參考圖框係為B圖像圖框。 16 4r °申请專利範圍第1 5項所述之動態影像編碼裝 置二則述選擇裝置係從連續之複數張B圖像圖框之 中,來選擇比前述連續圖像圖框之最後的6圖像圖框 為更以前之B圖像圖框。 ,=·如申請專利範圍第u項所述之動態影像編碼裝 /、 則述選擇裝置係以一定之圖框間隔來選擇前述 18.如 置,其中, 參考圖框。 I請專利範圍第16項所述之動態影像編碼裝 前述選擇裝置係以一定之圖框間隔來選擇前述 置,如申請專利範圍第11㈣述之動態影像編碼裝 ’更包括動態影像解析裝置,可輪出參考圖框與 、-扁馬對象圖框間之差分資訊及動態資訊; 前述差分資訊及前述動態資訊, 框間隔為可適應地變化來選擇前 前述選擇裝置係基於 以被選擇之參考圖框的圖 述參考圖框。 置,如申睛專利範圍第16項所述之動態影像編碼 ”,更包括:動態影像解析裝置,可輸出n 與編碼對參岡V 别出參考圖 狗’對象圖框間之差分資訊及動態資 2138-6765-PF 53 200525902 前述選擇裝置係基於前述差分資訊及前述動nn 以被選擇之參考圖框的圖框間隔為可適應地變化來選 述參考圖框。 、則 21. -種輸入輸出裝置,可輸入或輸出以參考複數張 影像圖框來做多圖框動態預測之動態影像資料, f中前述被編碼之動態影像資料係包含在使用於多圖 框動態預測之參考圖框裏,被編碼成比相同之像素類型之 其他的圖框為更高晝質之圖框。 / 22·種輸入輪出裝置,可輸入或輸出以參考複數張 影像圖框來做多圖框動態預測之動態影像資料,包括: 影像解碼H,將前述被編碼之動態影像資料予 碼,及 凰視裝置n視從前述影像解碼器 :型、f考圖框、量子化參數、可變長度碼'及圖、:= 體,而判別是否為在前述被編 " 於多, 届馬之㈣影像資料裏被使用 之^動悲預測之參考圖框並包含以比㈣之圖像 之/、他的圖框為更高晝質被編喝之參考圖框。 、 張參考圖《來選擇至少 考圖:圖框以比相同之圖像類型之其他的參 為更间畫質予以編碼之處理得。 24. 一種程式,在以參考複數張影像圖框來做多圖框 2138-6765-PF 54 200525902 動態預測而執行動態影像編碼之電腦裏,使執行: 求出參考圖框與編碼對象圖框間之差分資訊及動態資 訊之處理; 基於前述差分資訊及前述動態資訊,以被選擇之參考 圖框之間隔可適應地變化而從相同之圖像類型之複數張參 考圖框裏來選擇至少1張參考圖框之處理;及 將被選擇之參考圖框以比相同之圖像類型之其他的參 考圖框為更高畫質予以編碼之處理。 25· —種記錄媒體,為電腦可讀取之記錄媒體,而在 以參考複數張影像圖框來做多圖框動態預測而執行動態影 像編碼之電腦裏,予以記錄使執行: 從相同之圖像類型之複數張參考圖框裏來選擇至少1 張參考圖框之處理;及 將被選擇之參考圖框以比相同之圖像類型之其他的參 考圖框為更高晝質予以編碼之處理的程式。 26· —種記錄媒體,為電腦可讀取之記錄媒體,而在 以參考複數張影像圖框來做多圖框動態預測而執行動態影 像編碼之電腦裏,予以記錄使執行: 求出參考圖框與編碼對象圖框間之差分資訊及動態資 訊之處理; 基於前述差分資訊及前述動態資訊,以被選擇之參考 圖框之間隔可適應地變化而從相同之圖像類型之複數張參 考圖框裏來選擇至少1張參考圖框之處理;及 將被選擇之參考圖框以比相同之圖像類型之其他的參 2138-6765-PF 55 200525902 考圖框為更高畫質予以編碼之處理的程式。
    2138-6765-PF 56
TW93140490A 2003-12-25 2004-12-24 Moving image encoding method and apparatus TW200525902A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003430577 2003-12-25

Publications (1)

Publication Number Publication Date
TW200525902A true TW200525902A (en) 2005-08-01

Family

ID=34736346

Family Applications (1)

Application Number Title Priority Date Filing Date
TW93140490A TW200525902A (en) 2003-12-25 2004-12-24 Moving image encoding method and apparatus

Country Status (7)

Country Link
US (1) US9071846B2 (zh)
EP (1) EP1699244B1 (zh)
JP (1) JP4632049B2 (zh)
KR (1) KR100796857B1 (zh)
CN (1) CN1898965B (zh)
TW (1) TW200525902A (zh)
WO (1) WO2005064947A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574554B (zh) * 2012-06-29 2017-03-11 Sony Corp 資訊處理設備及資訊處理方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4732184B2 (ja) * 2006-02-21 2011-07-27 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体
WO2008093714A1 (ja) * 2007-01-31 2008-08-07 Nec Corporation 画質評価方法、画質評価装置および画質評価プログラム
CN101779467B (zh) * 2008-06-27 2012-06-27 索尼公司 图像处理装置和图像处理方法
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US8582654B1 (en) * 2009-09-30 2013-11-12 Hewlett-Packard Development Company, L.P. Generating a deblocked version of video frames using motion estimation
TW201143457A (en) * 2010-04-01 2011-12-01 Sony Corp Image processing device and method
JP5988252B2 (ja) * 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
JP6078883B2 (ja) 2011-02-08 2017-02-15 サン パテント トラスト 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
WO2012120855A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2013066045A1 (ko) * 2011-10-31 2013-05-10 엘지전자 주식회사 참조 픽처 리스트 초기화 방법 및 장치
JPWO2014002900A1 (ja) * 2012-06-29 2016-05-30 ソニー株式会社 画像処理装置および画像処理方法
JP6212345B2 (ja) * 2013-10-02 2017-10-11 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
JP6046761B2 (ja) * 2015-04-06 2016-12-21 日本電信電話株式会社 符号量算出方法、符号量算出装置及び符号量算出プログラム
CN110708570B (zh) * 2019-10-21 2022-05-17 腾讯科技(深圳)有限公司 视频的编码码率确定方法、装置、设备及存储介质
CN112291560B (zh) * 2020-10-30 2024-05-07 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
CN112291559B (zh) * 2020-10-30 2023-10-31 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
US20230078190A1 (en) * 2021-09-15 2023-03-16 Synaptics Incorporated Image compression method and apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223043B2 (ja) 1994-07-19 2001-10-29 松下電器産業株式会社 動画像符号化装置
JPH09191458A (ja) 1996-01-10 1997-07-22 Nippon Columbia Co Ltd 動画像圧縮符号化方法及びその装置
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
JP3604864B2 (ja) 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
JP2891253B1 (ja) 1997-12-10 1999-05-17 日本電気株式会社 画像圧縮処理装置
WO1999063760A1 (en) * 1998-05-30 1999-12-09 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Sequence adaptive bit allocation for pictures encoding
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
JP2002125232A (ja) * 2000-10-12 2002-04-26 Matsushita Electric Ind Co Ltd 動画像データの符号化装置およびその方法
JP2003087732A (ja) 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 映像再生装置
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法
JP4217011B2 (ja) 2001-09-28 2009-01-28 日本放送協会 ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器
JP2003299103A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
JP2003284077A (ja) 2002-01-16 2003-10-03 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US7106798B1 (en) * 2002-05-23 2006-09-12 Microsoft Corporation Smooth scanning presenter
US8040949B2 (en) * 2003-01-09 2011-10-18 The Regents Of The University Of California Video encoding methods and devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574554B (zh) * 2012-06-29 2017-03-11 Sony Corp 資訊處理設備及資訊處理方法

Also Published As

Publication number Publication date
CN1898965A (zh) 2007-01-17
KR100796857B1 (ko) 2008-01-22
JP4632049B2 (ja) 2011-02-16
EP1699244B1 (en) 2016-04-06
JPWO2005064947A1 (ja) 2007-12-20
EP1699244A1 (en) 2006-09-06
CN1898965B (zh) 2012-04-18
EP1699244A4 (en) 2010-04-07
US9071846B2 (en) 2015-06-30
KR20060103545A (ko) 2006-10-02
WO2005064947A1 (ja) 2005-07-14
US20070147500A1 (en) 2007-06-28

Similar Documents

Publication Publication Date Title
TW200525902A (en) Moving image encoding method and apparatus
JP2818340B2 (ja) モーション・ビデオ圧縮システムおよび方法
US10616576B2 (en) Error recovery using alternate reference frame
US7848425B2 (en) Method and apparatus for encoding and decoding stereoscopic video
US7944975B2 (en) Inter-frame prediction method in video coding, video encoder, video decoding method, and video decoder
JP6005157B2 (ja) 深度マップ符号化および復号化
KR101914897B1 (ko) 화상 코딩 장치, 화상을 코딩하는 방법, 화상 디코딩 장치, 화상을 디코딩하는 방법 및 컴퓨터 판독가능 매체
JPH08294130A (ja) 複数のプロセッサを使用したビデオ圧縮
KR20060131699A (ko) 영상 데이터 처리방법
GB2494468A (en) Encoding or Decoding Information Representing Prediction Modes
JPH08163554A (ja) ビデオビット率制御方法
JP2002300581A (ja) 映像符号化装置、及び映像符号化プログラム
US6879632B1 (en) Apparatus for and method of variable bit rate video coding
CN110708570B (zh) 视频的编码码率确定方法、装置、设备及存储介质
JP2012034352A (ja) ステレオ動画像符号化装置及びステレオ動画像符号化方法
JPH10336662A (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
JP2000261800A (ja) 動画像可変ビットレート符号化方法および装置
WO2009148076A1 (ja) 映像符号量制御方法、映像符号量制御装置、映像符号量制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7804897B1 (en) Method for implementing an improved quantizer in a multimedia compression and encoding system
US20090279610A1 (en) Method and apparatus for encoding/decoding with interlace scanning based motion vector transformation
US20230108645A1 (en) Adaptive encoding of screen content based on motion type
JP3646849B2 (ja) ステレオ動画像用符号化装置
JP2000092489A (ja) 画像符号化装置および画像符号化方法およびプログラムを記録した媒体
JP3211778B2 (ja) 改良された適応性のあるビデオ符号化方法
JPH11331850A (ja) 動画像符号化方式