TWI528789B - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
TWI528789B
TWI528789B TW102111790A TW102111790A TWI528789B TW I528789 B TWI528789 B TW I528789B TW 102111790 A TW102111790 A TW 102111790A TW 102111790 A TW102111790 A TW 102111790A TW I528789 B TWI528789 B TW I528789B
Authority
TW
Taiwan
Prior art keywords
unit
intra prediction
prediction mode
pixel
mode
Prior art date
Application number
TW102111790A
Other languages
English (en)
Other versions
TW201347560A (zh
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201347560A publication Critical patent/TW201347560A/zh
Application granted granted Critical
Publication of TWI528789B publication Critical patent/TWI528789B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

圖像處理裝置及方法
本發明係關於一種圖像處理裝置及方法，尤其係關於一種可提高幀內預測之編碼效率之圖像處理裝置及方法。
近年來，將圖像資訊作為數位而進行處理，此時，以高效率之資訊傳輸及儲存為目的，而正在普及如下裝置，其利用圖像資訊特有之冗長性，並採用藉由離散餘弦轉換等正交轉換及動態補償而進行壓縮之編碼方式來對圖像進行壓縮編碼。該編碼方式例如有MPEG(Moving Picture Experts Group，動畫專家群)等。
尤其，MPEG2(ISO/IEC(Internet Standard Organization/International Electrotechnical Commission，國際標準組織/國際電子技術委員會)13818-2)係被定義為通用之圖像編碼方式，且係將隔行掃描圖像及逐行掃描圖像之雙方、以及標準解像度圖像及高精細圖像網羅在內之標準。例如，MPEG2目前廣泛應用於專業用途及消費用途之廣泛用途中。藉由使用MPEG2壓縮方式，若為例如具有720×480像素之標準解像度之隔行掃描圖像，則可分配4至8Mbps之編碼量(位元率)。又，藉由使用MPEG2壓縮方式，若為例如具有1920×1088像素之高解像度之隔行掃描圖像，則可分配18至22Mbps之編碼量(位元率)。藉此，可實現高壓縮率及良好之畫質。
MPEG2係主要以適合於廣播用之高畫質編碼為對象，但無法應對低於MPEG1之編碼量(位元率)亦即壓縮率更高之編碼方式。由於便攜 終端之普及，可認為今後此種編碼方式之需求會提高，對應於此而進行MPEG4編碼方式之標準化。關於圖像編碼方式，於1998年12月ISO/IEC 14496-2之規格被公認為國際標準。
進而，近年來，起初以電視會議用之圖像編碼為目的而推進H.26L(ITU-T(International Telecommunication Union Telecommunication Standardization Sector，國際電信聯盟電信標準化部門)Q6/16 VCEG(Video Coding Experts Group，視訊編碼專家群))之標準之規格化。眾所周知的是，H.26L係與MPEG2或MPEG4之先前之編碼方式相比，因其編碼及解碼而需要較大之運算量，但可實現更高之編碼效率。又，目前作為MPEG4之活動之一環節，進行基於該H.26L、且亦引入H.26L中不支持之功能而實現更高之編碼效率之標準化來作為Joint Model of Enhanced-Compression Video Coding(增強壓縮視訊編碼之聯合模型)。作為標準化之進程，於2003年3月成為H.264及MPEG-4 Part 10(Advanced Video Coding(進階視訊編碼)，以下記作H.264/AVC)之國際標準。
進而，作為其擴展，將RGB(red green blue，紅綠藍)或4：2：2、4：4：4之商業用所必需之編碼方法、或MPEG-2中規定之8x8 DCT(Discrete Cosine Transform，離散餘弦轉換)或量化矩陣亦包括在內的FRExt(Fidelity Range Extension，保真度範圍擴展)之標準化已於2005年2月完成。藉此，成為使用H.264/AVC亦可良好地表現電影中所含之影片雜訊之編碼方式，從而可用於Blu-Ray Disc(藍光光碟)(商標)等之廣泛用途中。
然而，最近，對於欲將高畫質圖像之4倍之4000×2000像素左右之圖像進行壓縮的更高之壓縮率編碼之需求提高。或者，對於欲在如網際網路般傳輸容量有限之環境中傳輸高畫質圖像之更高的壓縮率編碼之需求提高。因此，在上述之隸屬於ITU-T之VCEG(=Video Coding Expert Group，視訊編碼專家群)中，繼續進行與編碼效率之改善相關之研究。
例如，於MPEG2方式中，藉由線性內插處理而進行1/2像素精度之動態預測、補償處理。另一方面，於H.264/AVC方式中，進行使用6階FIR(Finite Impulse Response Filter，有限脈衝響應濾波器)濾波器之1/4像素精度之預測、補償處理。
針對該1/4像素精度之預測、補償處理，近年來研究進一步提高H.264/AVC方式之效率。作為用於此之編碼方式之一種，於非專利文獻1中提出有1/8像素精度之動態預測。
亦即，於非專利文獻1中，1/2像素精度之插值處理係藉由濾波器[-3、12、-39、158、158、-39、12、-3]/256而進行。又，1/4像素精度之插值處理係藉由濾波器[-3、12、-37、229、71、-21、6、-1]/256而進行，1/8像素精度之插值處理係藉由線性插值而進行。
如上所述，藉由進行使用像素精度更高之插值處理之動態預測，尤其於具有高解像度之紋理、動作比較緩慢之序列中，可提高預測精度，並可實現編碼效率之提高。
然而，作為H.264/AVC方式實現較先前之MPEG2方式等更高之編碼效率的原因之一，可列舉採用了以下說明之幀內預測方式。
H.264/AVC方式中，關於亮度信號，規定有9種4×4像素及8×8像素之區塊單元、以及4種16×16像素之巨集區塊單元之幀內預測模式。關於色差信號，規定有4種8×8像素之區塊單元之幀內預測模式。色差信號之幀內預測模式係可與亮度信號之幀內預測模式獨立地設定。另外，預測模式之類型係與圖1之以序號0、1、3至8所表示之方向對應。預測模式2係平均值預測。
藉由採用如此之幀內預測方式，實現預測精度之提高。然而，於H.264/AVC方式中，如圖1之方向所示，只能進行以22.5°為單位之幀內 預測。因此，於邊緣之傾斜度為此以外之角度之情形時，會限制編碼效率之提高。
因此，為進一步改善編碼效率，於非專利文獻2中提出有以較22.5°之單位更細之角度進行預測。
[先前技術文獻] [非專利文獻]
[非專利文獻1]「Motion compensated prediction with 1/8-pel displacement vector resolution」，VCEG-AD09，ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG)，23-27 Oct 2006
[非專利文獻2]Virginie Drugeon，Thomas Wedi，and Torsten Palfner，「High Precision Edge Prediction for Intra Coding」，2008
然而，於H.264/AVC方式之幀內預測中，預測時使用有成為編碼對象之區塊之特定之鄰接像素，與此相對，於非專利文獻2所揭示之提案中，成為編碼對象之區塊之除鄰接像素以外之像素亦必需用於預測。
因此，於非專利文獻2所揭示之提案中，即便以較22.5°之單位更細之角度進行預測，亦會導致記憶體存取次數或處理增加。
本發明係鑒於如此之情況而完成者，其不增加記憶體存取次數或處理便可進一步提高幀內預測之編碼效率。
本發明之第1觀點之圖像處理裝置包括：模式決定機構，其係針對成為幀內預測之處理對象之幀內預測區塊，對圖像資料決定幀內預測之預測模式；相位偏移機構，其係依照與藉由上述模式決定機構所決定之上述預測模式對應之偏移方向及成為候補之偏移量，使以特定 之位置關係與上述幀內預測區塊鄰接之鄰接像素之相位偏移；偏移量決定機構，其係使用上述鄰接像素及藉由上述相位偏移機構偏移上述相位之鄰接像素，對上述鄰接像素決定上述相位之最佳偏移量；及預測圖像產生機構，其係使用依照藉由上述偏移量決定機構所決定之上述最佳偏移量而偏移上述相位之鄰接像素，產生上述幀內預測區塊之預測圖像。
本發明之第1觀點之圖像處理裝置可更包括：編碼機構，其係對上述幀內預測區塊之圖像與藉由上述預測圖像產生機構所產生之上述預測圖像之差分資訊進行編碼而產生編碼串流；及傳輸機構，其係將表示藉由上述偏移量決定機構所決定之上述最佳偏移量之偏移量資訊、及表示藉由上述模式決定機構所決定之上述預測模式之預測模式資訊，與藉由上述編碼機構所產生之編碼串流一併傳輸。
上述編碼機構係可將表示針對上述幀內預測區塊所決定之上述最佳偏移量與針對賦予MostProbableMode(最可能模式)之區塊所決定之最佳偏移量之差分的差分資訊作為上述偏移量資訊而進行編碼；上述傳輸機構可傳輸藉由上述編碼機構所產生之編碼串流及上述差分資訊。
上述相位偏移機構係可於藉由上述模式決定機構所決定之上述預測模式為DC prediction(Direct Current prediction，直流預測)模式之情形時，禁止上述相位之偏移。
上述相位偏移機構係可於藉由上述模式決定機構所決定之上述預測模式為Vertical prediction(垂直預測)模式、Diag_Down_Left prediction模式、或Vertical_Left prediction模式之情形時，對於上述鄰接像素中之上部鄰接像素，使Horizontal(水平)方向之相位依照上述候補之偏移量進行偏移，且對於上述鄰接像素中之左部鄰接像素，可禁止Vertical方向之相位之偏移。
上述相位偏移機構係可於藉由上述模式決定機構所決定之上述預測模式為Horizontal prediction模式、或Horizontal_Up prediction模式之情形時，對於上述鄰接像素中之左部鄰接像素，使Vertical方向之相位依照成為上述候補之偏移量進行偏移，且對於上述鄰接像素中之上部鄰接像素，禁止Horizontal方向之相位之偏移。
上述模式決定機構係可決定上述幀內預測之全部之預測模式；上述相位偏移機構係可依照與藉由上述模式決定機構所決定之上述全部之預測模式對應之偏移方向及成為候補之偏移量，使上述鄰接像素之相位偏移；上述偏移量決定機構係可使用上述鄰接像素及藉由上述相位偏移機構偏移上述相位之鄰接像素，對上述鄰接像素決定上述相位之最佳偏移量及最佳預測模式。
本發明之第1觀點之圖像處理裝置可更包括動態預測補償機構，其針對上述圖像之幀間動態預測區塊進行幀間動態預測；且，上述相位偏移機構係可使用藉由上述動態預測補償機構於預測小數像素精度時使用之濾波器，使上述鄰接像素之相位偏移。
本發明之第1觀點之圖像處理方法包含如下步驟：由圖像處理裝置進行：針對成為幀內預測之處理對象之幀內預測區塊，對圖像資料決定幀內預測之預測模式；依照與所決定之上述預測模式對應之偏移方向及成為候補之偏移量，使以特定之位置關係與上述幀內預測區塊鄰接之鄰接像素之相位偏移；使用上述鄰接像素及已偏移上述相位之鄰接像素，對上述鄰接像素決定上述相位之最佳偏移量；及使用依照所決定之上述最佳偏移量而偏移上述相位之鄰接像素，產生上述幀內預測區塊之預測圖像。
本發明之第2觀點之圖像處理裝置包括：接收機構，其接收預測模式資訊及偏移量資訊，該預測模式資訊係表示針對成為幀內預測之處理對象之幀內預測區塊之幀內預測之預測模式，該偏移量資訊係表 示使以特定之位置關係與上述幀內預測區塊鄰接之鄰接像素之相位根據上述預測模式資訊所表示之預測模式而偏移之偏移量；相位偏移機構，其係依照與藉由上述接收機構接收之上述預測模式對應之偏移方向及偏移量，使上述鄰接像素之相位偏移；及預測圖像產生機構，其係使用藉由上述相位偏移機構偏移上述相位之鄰接像素，產生上述幀內預測區塊之預測圖像。
上述接收機構係可接收表示針對上述幀內預測區塊之偏移量與針對賦予MostProbableMode之區塊之偏移量之差分的差分資訊來作為上述偏移量資訊。
本發明之第2觀點之圖像處理裝置可更包括解碼機構，其使用藉由上述預測圖像產生機構所產生之預測圖像，對上述幀內預測區塊進行解碼。
上述解碼機構係可對藉由上述接收機構接收之預測模式資訊及上述偏移量資訊進行解碼。
上述相位偏移機構係於藉由上述解碼機構所解碼之上述預測模式為DC prediction模式之情形時，可禁止上述鄰接像素之相位之偏移。
上述相位偏移機構係可於藉由上述解碼機構所解碼之上述預測模式為Vertical prediction模式、Diag_Down_Left prediction模式、或Vertical_Left prediction模式之情形時，對於上述鄰接像素中之上部鄰接像素，使Horizontal方向之相位依照藉由上述解碼機構所解碼之上述偏移量進行偏移，且對於上述鄰接像素中之左部鄰接像素，禁止Vertical方向之相位之偏移。
上述相位偏移機構係可於藉由上述解碼機構所解碼之上述預測模式為Horizontal prediction模式、或Horizontal_Up prediction模式之情形時，對於上述鄰接像素中之左部鄰接像素，使Vertical方向之相位依照藉由上述解碼機構所解碼之上述偏移量進行偏移，且對於上述鄰接 像素中之上部鄰接像素，禁止Horizontal方向之相位之偏移。
本發明之第2觀點之圖像處理裝置可更包括動態預測補償機構，其使用經編碼之幀間動態預測區塊及藉由上述解碼機構所解碼之移動向量，進行幀間動態預測；且，上述相位偏移機構係可使用藉由上述動態預測補償機構於預測小數像素精度時使用之濾波器，使上述鄰接像素之相位偏移。
本發明之第2觀點之圖像處理方法包含如下步驟：由圖像處理裝置進行：接收預測模式資訊及偏移量資訊，該預測模式資訊係表示針對成為幀內預測之處理對象之幀內預測區塊之幀內預測之預測模式，該偏移量資訊係表示使以特定之位置關係與上述幀內預測區塊鄰接之鄰接像素之相位根據上述預測模式資訊所表示之預測模式而偏移之偏移量；依照與所接收之上述預測模式對應之偏移方向及偏移量，使上述鄰接像素之相位偏移；使用已偏移上述相位之鄰接像素，產生上述幀內預測區塊之預測圖像。
於本發明之第1觀點中，針對成為幀內預測之處理對象之幀內預測區塊，對圖像資料決定幀內預測之預測模式；依照與所決定之上述預測模式對應之偏移方向及成為候補之偏移量，使以特定之位置關係與上述幀內預測區塊鄰接之鄰接像素之相位偏移。繼而，使用上述鄰接像素及偏移上述相位之鄰接像素，對上述鄰接像素決定上述相位之最佳偏移量；使用依照所決定之上述最佳偏移量而偏移上述相位之鄰接像素，產生上述幀內預測區塊之預測圖像。
於本發明之第2觀點中，接收預測模式資訊及偏移量資訊，該預測模式資訊係表示針對成為幀內預測之處理對象之幀內預測區塊之幀內預測之預測模式，該偏移量資訊係表示使以特定之位置關係與上述幀內預測區塊鄰接之鄰接像素之相位根據上述預測模式資訊所表示之預測模式而偏移之偏移量；依照與所接收之上述預測模式對應之偏移 方向及偏移量，使上述鄰接像素之相位偏移。繼而，使用已偏移上述相位之鄰接像素，產生上述幀內預測區塊之預測圖像。
另外，上述圖像處理裝置之各個可為獨立之裝置，亦可為構成一個圖像編碼裝置或圖像解碼裝置之內部區塊。
根據本發明之第1觀點，可藉由幀內預測而產生預測圖像。又，根據本發明之第1觀點，不增加記憶體存取次數或處理便可提高編碼效率。
根據本發明之第2觀點，可藉由幀內預測而產生預測圖像。又，根據本發明之第2觀點，不增加記憶體存取次數或處理便可提高編碼效率。
51‧‧‧圖像編碼裝置
66‧‧‧可逆編碼部
74‧‧‧幀內預測部
75‧‧‧鄰接像素內插部
76‧‧‧動態預測、補償部
77‧‧‧預測圖像選擇部
81‧‧‧鄰接像素緩衝部
82‧‧‧最佳模式決定部
83‧‧‧最佳偏移量決定部
84‧‧‧預測圖像產生部
91‧‧‧模式判定部
92‧‧‧水平方向內插部
93‧‧‧垂直方向內插部
151‧‧‧圖像解碼裝置
162‧‧‧可逆解碼部
171‧‧‧幀內預測部
172‧‧‧鄰接像素內插部
173‧‧‧動態預測、補償部
174‧‧‧開關
181‧‧‧預測模式接收部
182‧‧‧偏移量接收部
183‧‧‧幀內預測圖像產生部
191‧‧‧水平方向內插部
192‧‧‧垂直方向內插部
圖1係對4×4像素之幀內預測之方向進行說明之圖。
圖2係表示適用本發明之圖像編碼裝置之一實施形態之構成之方塊圖。
圖3係對1/4像素精度之動態預測、補償處理進行說明之圖。
圖4係對多重參考訊框之動態預測．補償方式進行說明之圖。
圖5係對移動向量資訊之產生方法之例進行說明之圖。
圖6係表示幀內預測部及鄰接像素內插部之構成例之方塊圖。
圖7係對圖2之圖像編碼裝置之編碼處理進行說明之流程圖。
圖8係對圖7之步驟S21之預測處理進行說明之流程圖。
圖9係對16×16像素之幀內預測模式之情形之處理順序進行說明之圖。
圖10係表示亮度信號之4×4像素之幀內預測模式之類型之圖。
圖11係表示亮度信號之4×4像素之幀內預測模式之類型之圖。
圖12係對4×4像素之幀內預測之方向進行說明之圖。
圖13係對4×4像素之幀內預測進行說明之圖。
圖14係對亮度信號之4×4像素之幀內預測模式之編碼進行說明之圖。
圖15係表示亮度信號之16×16像素之幀內預測模式之類型之圖。
圖16係表示亮度信號之16×16像素之幀內預測模式之類型之圖。
圖17係對16×16像素之幀內預測進行說明之圖。
圖18係對用以實現小數像素精度之幀內預測之動作進行說明之圖。
圖19係對小數像素精度之幀內預測之效果例進行說明之圖。
圖20係對圖8之步驟S31之幀內預測處理進行說明之流程圖。
圖21係對圖20之步驟S45之鄰接像素內插處理進行說明之流程圖。
圖22係對圖8之步驟S32之幀間動態預測處理進行說明之流程圖。
圖23係表示幀內預測部及鄰接像素內插部之其他構成例之方塊圖。
圖24係對圖8之步驟S31之幀內預測處理之其他例進行說明之流程圖。
圖25係對圖24之步驟S101之鄰接像素內插處理進行說明之流程圖。
圖26係表示適用本發明之圖像解碼裝置之一實施形態之構成之方塊圖。
圖27係表示幀內預測部及鄰接像素內插部之其他構成例之方塊圖。
圖28係對圖26之圖像解碼裝置之解碼處理進行說明之流程圖。
圖29係對圖28之步驟S138之預測處理進行說明之流程圖。
圖30係表示電腦之硬體之構成例之方塊圖。
以下，參考圖式對本發明之實施形態加以說明。
[圖像編碼裝置之構成例]
圖2表示作為適用本發明之圖像處理裝置之圖像編碼裝置之一實施形態之構成。
該圖像編碼裝置51係以例如H.264及MPEG-4 Part 10(Advanced Video Coding)(以下記作H.264/AVC)方式對圖像進行壓縮編碼。
於圖2之例中，圖像編碼裝置51包括A/D(analog/digital，類比/數位)轉換部61、畫面重排緩衝部62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝部67、逆量化部68、逆正交轉換部69、運算部70、解塊濾波器71、訊框記憶體72、開關73、幀內預測部74、鄰接像素內插部75、動態預測、補償部76、預測圖像選擇部77及速率控制部78。
A/D轉換部61對所輸入之圖像進行A/D轉換後，輸出至畫面重排緩衝部62並記憶於此。畫面重排緩衝部62係將所記憶之顯示依序之訊框之圖像按照GOP(Group of Picture，圖像群)，重排為用以編碼之訊框之順序。
運算部63係使自畫面重排緩衝部62所讀出之圖像，減去藉由預測圖像選擇部77所選擇之來自幀內預測部74之預測圖像或來自動態預測、補償部76之預測圖像，並將其差分資訊輸出至正交轉換部64。正交轉換部64係相對於來自運算部63之差分資訊，實施離散餘弦轉換、K-L轉換等正交轉換，並輸出其轉換係數。量化部65係對正交轉換部64所輸出之轉換係數進行量化。
成為量化部65之輸出之經量化之轉換係數係輸入至可逆編碼部66，並於此實施可變長度編碼、算術編碼等可逆編碼而被壓縮。
可逆編碼部66係自幀內預測部74取得表示幀內預測之資訊等，並 自動態預測、補償部76取得表示幀間預測模式之資訊等。另外，以下將表示幀內預測之資訊亦稱作幀內預測模式資訊。又，以下將表示用來表示幀間預測之資訊模式之資訊亦稱作幀間預測模式資訊。
可逆編碼部66係對經量化之轉換係數進行編碼，且對表示幀內預測之資訊或表示幀間預測模式之資訊等進行編碼，並設為壓縮圖像中之標頭資訊之一部分。可逆編碼部66係將經編碼之資料供給至儲存緩衝部67並儲存於此。
例如，於可逆編碼部66中，進行可變長度編碼或算術編碼等可逆編碼處理。作為可變長度編碼，可列舉H.264/AVC方式中規定之CAVLC(Context-Adaptive Variable Length Coding，文絡適應可變長度編碼)等。作為算術編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，文絡適應性二進位算數編碼)等。
儲存緩衝部67係將自可逆編碼部66所供給之資料作為以H.264/AVC方式已進行編碼之壓縮圖像，輸出至例如後段之未圖示之記錄裝置或傳輸路等。
又，自量化部65輸出之經量化之轉換係數係亦輸入至逆量化部68，進行逆量化後，進而於逆正交轉換部69中進行逆正交轉換。經逆正交轉換之輸出係藉由運算部70而與自預測圖像選擇部77所供給之預測圖像進行相加，從而成為經局部解碼之圖像。解塊濾波器71係將經解碼之圖像之區塊失真去除後，供給至訊框記憶體72並儲存於此。對訊框記憶體72亦供給並儲存藉由解塊濾波器71進行解塊濾波處理前之圖像。
開關73係將儲存於訊框記憶體72之參考圖像輸出至動態預測、補償部76或幀內預測部74。
於該圖像編碼裝置51中，例如來自畫面重排緩衝部62之I畫面(Intra Picture，內部畫面)、B畫面(Bidirectionally Predictive-Picture， 雙向預測畫面)及P畫面(Predictive Picture，預測畫面)作為需進行幀內預測(亦稱作幀內處理)之圖像而供給至幀內預測部74。又，自畫面重排緩衝部62所讀出之B畫面及P畫面作為需進行幀間預測(亦稱作幀間處理)之圖像而供給至動態預測、補償部76。
幀內預測部74係根據自畫面重排緩衝部62所讀出之需進行幀內預測之圖像及自訊框記憶體72所供給之參考圖像，進行成為候補之全部的幀內預測模式之幀內預測處理並產生預測圖像。
幀內預測部74係對產生預測圖像之幀內預測模式計算成本函數值，並選擇所計算出之成本函數值賦予最小值之幀內預測模式作為最佳幀內預測模式。幀內預測部74係將需進行幀內預測之對象區塊之鄰接像素及最佳幀內預測模式之資訊，供給至鄰接像素內插部75。
鄰接像素內插部75係沿著與來自幀內預測部74之最佳幀內預測模式對應之偏移方向，使鄰接像素之相位以成為候補之偏移量進行偏移。實際上，鄰接像素內插部75係於與最佳幀內預測模式對應之偏移方向上，對於鄰接像素使用6階FIR濾波器進行線性內插，藉此使鄰接像素之相位偏移至小數像素精度。因此，以下，為方便說明，將藉由6階FIR濾波器及線性內插已偏移相位之鄰接像素作為已進行內插之鄰接像素或相位已進行偏移之鄰接像素而適當地說明，但彼等為相同含義。
鄰接像素內插部75係將相位已進行偏移之鄰接像素供給至幀內預測部74。
幀內預測部74係使用來自鄰接像素緩衝部81之鄰接像素之像素值及藉由鄰接像素內插部75而相位已進行偏移之鄰接像素之像素值，對鄰接像素決定相位之最佳偏移量。又，幀內預測部74係使用相位以所決定之最佳偏移量已進行偏移之鄰接像素之像素值，產生對象區塊之預測圖像，並將所產生之預測圖像及對對應之最佳幀內預測模式計 算出之成本函數值，供給至預測圖像選擇部77。
幀內預測部74係於藉由預測圖像選擇部77已選擇以最佳幀內預測模式所產生之預測圖像之情形時，將表示最佳幀內預測模式之資訊及最佳偏移量之資訊供給至可逆編碼部66。可逆編碼部66係於自幀內預測部74接收到資訊之情形時，對該資訊進行編碼，並設為壓縮圖像中之標頭資訊之一部分。
動態預測、補償部76係進行成為候補之全部的幀間預測模式之動態預測、補償處理。亦即，向動態預測、補償部76，供給自畫面重排緩衝部62所讀出之需進行內部處理之圖像，以及經由開關73自訊框記憶體72供給參考圖像。動態預測、補償部76係根據需進行內部處理之圖像及參考圖像，檢測成為候補之全部的幀間預測模式之移動向量，並根據移動向量而對參考圖像實施補償處理，產生預測圖像。
又，動態預測、補償部76係對成為候補之全部的幀間預測模式計算成本函數值。動態預測、補償部76係將所計算出之成本函數值中賦予最小值之預測模式，決定為最佳幀間預測模式。
動態預測、補償部76將以最佳幀間預測模式所產生之預測圖像及其成本函數值供給至預測圖像選擇部77。動態預測、補償部76係於藉由預測圖像選擇部77已選擇最佳幀間預測模式中所產生之預測圖像之情形時，將表示最佳幀間預測模式之資訊(幀間預測模式資訊)輸出至可逆編碼部66。
另外，只要有必要，亦將移動向量資訊、旗標資訊、參考訊框資訊等輸出至可逆編碼部66。可逆編碼部66仍對來自動態預測、補償部76之資訊進行可變長度編碼、算術編碼之可逆編碼處理，並插入至壓縮圖像之標頭部。
預測圖像選擇部77係根據自幀內預測部74或動態預測、補償部76所輸出之各成本函數值，自最佳幀內預測模式及最佳幀間預測模式決 定最佳預測模式。而且，預測圖像選擇部77選擇所決定之最佳預測模式之預測圖像，並供給至運算部63、70。此時，預測圖像選擇部77係將預測圖像之選擇資訊供給至幀內預測部74或動態預測、補償部76。
速率控制部78係根據儲存於儲存緩衝部67之壓縮圖像，以不產生溢位或欠位之方式，控制量化部65之量化動作之速率。
[H.264/AVC方式之說明]
圖3係表示H.264/AVC方式中之動態預測．補償之區塊大小之例之圖。於H.264/AVC方式中，可改變區塊大小而進行動態預測、補償。
於圖3之上段，自左側起依序表示有分割為16×16像素、16×8像素、8×16像素及8×8像素之分區且包含16×16像素之巨集區塊。又，於圖3之下段，自左側起依序表示有分割為8×8像素、8×4像素、4×8像素及4×4像素之子分區的8×8像素之分區。
亦即，於H.264/AVC方式中，可將一個巨集區塊分割為16×16像素、16×8像素、8×16像素或8×8像素之任一分區，並可具有各自獨立之移動向量資訊。又，可將8×8像素之分區分割為8×8像素、8×4像素、4×8像素或4×4像素之任一子分區，並可具有各自獨立之移動向量資訊。
圖4係對H.264/AVC方式中之1/4像素精度之預測、補償處理進行說明之圖。於H.264/AVC方式中，進行使用6階FIR(Finite Impulse Response Filter)濾波器之1/4像素精度之預測、補償處理。
於圖4之例中，位置A表示整數精度像素之位置，位置b、c、d表示1/2像素精度之位置，位置e1、e2、e3表示1/4像素精度之位置。首先，以下如下式(1)般對Clip()進行定義。
另外，於輸入圖像為8位元精度之情形時，max_pix之值成為255。
位置b及d中之像素值係使用6階FIR濾波器，如下式(2)般產生。
[數2]F=A-2-5‧A-1+20˙A0+20˙A1-5˙A2+A3 b,d=Clip1((F+16)>>5)…(2)
位置c中之像素值係於水平方向及垂直方向適用6階FIR濾波器，如下式(3)般產生。
[數3]F=b-2-5˙b-1+20˙b0+20˙b1-5˙b2+b3或者F=d-2-5˙d-1+20˙d0+20˙d1-5˙d2+d3 c=Clip1((F+512)>>10)…(3)
另外，Clip處理係於進行水平方向及垂直方向之積和處理之雙方後，最後僅執行1次。
位置e1至e3係如下式(4)般，藉由線性內插產生。
[數4]e1=(A+b+1)>>1 e2=(b+d+1)>>1 e3=(b+c+1)>>1…(4)
於H.264/AVC方式中，參考圖3及圖4進行上述之動態預測、補償處理，藉此產生龐大之移動向量資訊，直接對其進行編碼，此情況會導致編碼效率之下降。與此相對，於H.264/AVC方式中，藉由圖5所示之方法實現移動向量之編碼資訊之下降。
圖5係對藉由H.264/AVC方式之移動向量資訊之產生方法進行說明之圖。
於圖5之例中，表示有自此需進行編碼之對象區塊E(例如，16×16像素)、以及既已進行編碼且與對象區塊E鄰接之區塊A至D。
亦即，區塊D係鄰接於對象區塊E之左上方，區塊B係鄰接於對象區塊E之上部，區塊C係鄰接於對象區塊E之右上方，區塊A係鄰接於對象區塊E之左部。另外，未劃分區塊A至D者分別表示圖2中已進行敘述之16×16像素至4×4像素中之任一構成之區塊。
例如，將對於X(=A、B、C、D、E)之移動向量資訊以mvX表示。首先，對於對象區塊E之預測移動向量資訊pmvE係使用與區塊A、B、C相關之移動向量資訊，藉由中值預測而如下式(5)般產生。
pmvE=med(mvA，mvB，mvC)…(5)
與區塊C相關之移動向量資訊有時因圖框之端部、或者尚未進行編碼等原因而無法利用(unavailable，無效)。於該情形時，與區塊C相關之移動向量資訊係由與區塊D相關之移動向量資訊來代替。
使用pmvE，如下式(6)般產生對壓縮圖像之標頭部附加之資料mvdE來作為對於對象區塊E之移動向量資訊。
mvdE=mvE-pmvE…(6)
另外，實際上，對移動向量資訊之水平方向、垂直方向之各成分獨立進行處理。
如此，產生預測移動向量資訊，並將相關於鄰接之區塊而產生之預測移動向量資訊與移動向量資訊之差分之資料mvdE作為移動向量資訊附加於壓縮圖像之標頭部，藉此可降低移動向量資訊。
於此，參考圖4已進行敘述之H.264/AVC方式中之1/4像素精度之預測、補償處理係於動態預測．補償部中執行，但於圖2之圖像編碼裝置51中，1/4像素精度之預測亦於幀內預測中進行。該小數像素精度之幀內預測係藉由以下說明之幀內預測部74及鄰接像素內插部75而執行。
[幀內預測部及鄰接像素內插部之構成例]
圖6係表示幀內預測部及鄰接像素內插部之詳細構成例之方塊 圖。
於圖6之例之情形時，幀內預測部74包括鄰接像素緩衝部81、最佳模式決定部82、最佳偏移量決定部83及預測圖像產生部84。
鄰接像素內插部75包括模式判別部91、水平方向內插部92及垂直方向內插部93。
鄰接像素緩衝部81係儲存來自訊框記憶體72之幀內預測之對象區塊之鄰接像素。於圖6之情形時，省略開關73之圖示，但鄰接像素係自訊框記憶體72經由開關73而被供給至鄰接像素緩衝部81。
向最佳模式決定部82輸入自畫面重排緩衝部62所讀出之需進行幀內預測之圖像。最佳模式決定部82係自鄰接像素緩衝部81讀出與需進行幀內預測之對象區塊對應之鄰接像素。
最佳模式決定部82係使用需進行幀內預測之對象區塊之圖像及對應之鄰接像素，進行成為候補之全部的幀內預測模式之幀內預測處理並產生預測圖像。最佳模式決定部82係對產生預測圖像之幀內預測模式計算成本函數值，並將所計算出之成本函數值賦予最小值之幀內預測模式，決定為最佳幀內預測模式。所決定之預測模式之資訊被供給至模式判別部91、最佳偏移量決定部83及預測圖像產生部84。又，向預測圖像產生部84亦供給與所供給之預測模式對應之成本函數值。
向最佳偏移量決定部83輸入自畫面重排緩衝部62所讀出之需進行幀內預測之圖像、以及藉由最佳模式決定部82已決定為最佳之預測模式之資訊。又，向最佳偏移量決定部83，根據最佳幀內預測模式，輸入藉由水平方向內插部92及垂直方向內插部93進行線性內插而相位已進行偏移之鄰接像素。最佳偏移量決定部83係自鄰接像素緩衝部81讀出與需進行幀內預測之對象區塊對應之鄰接像素。
最佳偏移量決定部83係對藉由最佳模式決定部82所決定之預測模式，使用需進行幀內預測之對象區塊之圖像、對應之鄰接像素、及 對應之已進行內插之鄰接像素之像素值來決定最佳偏移量。最佳偏移量決定部83係例如計算預測誤差(餘差)等，將所計算出之預測誤差較小者決定為最佳偏移量。藉由最佳偏移量決定部83所決定之最佳偏移量之資訊被供給至預測圖像產生部84。
向預測圖像產生部84輸入藉由最佳模式決定部82所決定之預測模式之資訊及對應之成本函數值、以及藉由最佳偏移量決定部83所決定之最佳偏移量之資訊。預測圖像產生部84係自鄰接像素緩衝部81讀出與需進行幀內預測之對象區塊對應之鄰接像素，並於與預測模式對應之相位方向，使已讀出之鄰接像素之相位以最佳偏移量進行偏移。
預測圖像產生部84係使用相位已進行偏移之鄰接像素，於藉由最佳模式決定部82所決定之最佳幀內預測模式中進行幀內預測，產生對象區塊之預測圖像。預測圖像產生部84係將所產生之預測圖像及所對應之成本函數值輸出至預測圖像選擇部77。
又，預測圖像產生部84係於藉由預測圖像選擇部77已選擇以最佳幀內預測模式所產生之預測圖像之情形時，將表示最佳幀內預測模式之資訊及偏移量之資訊供給至可逆編碼部66。
模式判別部91係將與藉由最佳模式決定部82所決定之預測模式對應之控制信號，輸出至水平方向內插部92及垂直方向內插部93。例如，根據預測模式而輸出有表示內插處理之ON之控制信號。
水平方向內插部92及垂直方向內插部93係根據來自模式判別部91之控制信號，自鄰接像素緩衝部81分別讀出鄰接像素。水平方向內插部92及垂直方向內插部93係對所讀出之鄰接像素，藉由6階FIR濾波器及線性內插，於水平方向及垂直方向上，使相位分別進行偏移。藉由水平方向內插部92及垂直方向內插部93內插之鄰接像素之資訊被供給至最佳偏移量決定部83。
[圖像編碼裝置之編碼處理之說明]
其次，參考圖7之流程圖，就圖2之圖像編碼裝置51之編碼處理加以說明。
於步驟S11中，A/D轉換部61對所輸入之圖像進行A/D轉換。於步驟S12中，畫面重排緩衝部62係記憶自A/D轉換部61所供給之圖像，並自各畫面之顯示順序重排為需進行編碼之順序。
於步驟S13中，運算部63係對步驟S12中已進行重排之圖像與預測圖像之差分進行運算。預測圖像係於需進行幀間預測之情形時，自動態預測、補償部76經由預測圖像選擇部77而供給至運算部63，於需進行幀內預測之情形時，自幀內預測部74經由預測圖像選擇部77而供給至運算部63。
差分資料係與原圖像資料相比資料量減小。因此，與直接對圖像進行編碼之情形相比，可使資料量壓縮。
於步驟S14中，正交轉換部64係對自運算部63所供給之差分資訊進行正交轉換。具體而言，進行離散餘弦轉換、K-L轉換等正交轉換，輸出轉換係數。於步驟S15中，量化部65係將轉換係數進行量化。於該量化時，如下述步驟S25之處理中進行說明般，控制速率。
以如此方式進行量化之差分資訊係如下所述般局部進行解碼。亦即，於步驟S16中，逆量化部68係將藉由量化部65已進行量化之轉換係數以與量化部65之特性對應之特性進行逆量化。於步驟S17中，逆正交轉換部69係將藉由逆量化部68已進行逆量化之轉換係數以與正交轉換部64之特性對應之特性進行逆正交轉換。
於步驟S18中，運算部70係將經由預測圖像選擇部77所輸入之預測圖像相加於經局部解碼之差分資訊，產生經局部解碼之圖像(與對運算部63之輸入對應之圖像)。於步驟S19中，解塊濾波器71對自運算部70所輸出之圖像進行濾波。藉此，將區塊失真去除。於步驟S20中，訊框記憶體72記憶經濾波之圖像。另外，自運算部70亦對訊框記憶體72 供給未藉由解塊濾波器71進行濾波處理之圖像，並將該圖像記憶於該訊框記憶體72中。
於步驟S21中，幀內預測部74及動態預測、補償部76分別進行圖像之預測處理。亦即，於步驟S21中，幀內預測部74係進行幀內預測模式之幀內預測處理。動態預測、補償部76係進行幀間預測模式之動態預測、補償處理。
步驟S21中之預測處理之詳細情況將參考圖8於下文中進行敘述，但藉由該處理，分別進行成為候補之全部的預測模式中之預測處理，分別計算出成為候補之全部的預測模式中之成本函數值。繼而，根據所計算出之成本函數值，選擇最佳幀內預測模式，將藉由最佳幀內預測模式之幀內預測所產生之預測圖像及其成本函數值供給至預測圖像選擇部77。
具體而言，此時，幀內預測部74係將使用鄰接像素以幀內預測產生之預測圖像供給至預測圖像選擇部77，該鄰接像素係藉由6階FIR濾波器及線性內插，於與最佳幀內預測模式對應之偏移方向上，使相位以最佳偏移量進行偏移者。另外，與預測圖像一併地，亦將最佳幀內預測模式之成本函數值供給至預測圖像選擇部77。
另一方面，根據所計算出之成本函數值，自幀間預測模式中決定最佳幀間預測模式，並將以最佳幀間預測模式所產生之預測圖像及其成本函數值供給至預測圖像選擇部77。
於步驟S22中，預測圖像選擇部77係根據自幀內預測部74及動態預測、補償部76所輸出之各成本函數值，將最佳幀內預測模式與最佳幀間預測模式中之一者決定為最佳預測模式。繼而，預測圖像選擇部77選擇所決定之最佳預測模式之預測圖像，並供給至運算部63、70。如上所述，該預測圖像用於步驟S13、S18之運算。
另外，該預測圖像之選擇資訊被供給至幀內預測部74或動態預 測、補償部76。於已選擇最佳幀內預測模式之預測圖像之情形時，幀內預測部74係將表示最佳幀內預測模式之資訊(亦即，幀內預測模式資訊)及已決定為最佳之偏移量之資訊供給至可逆編碼部66。
於已選擇最佳幀間預測模式之預測圖像之情形時，動態預測、補償部76係將表示最佳幀間預測模式之資訊、以及視需要將與最佳幀間預測模式對應之資訊，輸出至可逆編碼部66。作為與最佳幀間預測模式對應之資訊，可列舉移動向量資訊或旗標資訊、參考訊框資訊等。亦即，於選擇幀間預測模式之預測圖像作為最佳幀間預測模式時，動態預測、補償部76係將幀間預測模式資訊、移動向量資訊、參考訊框資訊輸出至可逆編碼部66。
於步驟S23中，可逆編碼部66係對自量化部65輸出之經量化之轉換係數進行編碼。亦即，對差分圖像進行可變長度編碼、算術編碼等可逆編碼而將其壓縮。此時，亦將於上述步驟S22中輸入至可逆編碼部66之、來自幀內預測部74之幀內預測模式資訊或與來自動態預測、補償部76之最佳幀間預測模式對應之資訊等加以編碼，並附加於標頭資訊。
於步驟S24中，儲存緩衝部67係儲存差分圖像作為壓縮圖像。將儲存於儲存緩衝部67之壓縮圖像適當讀出，並經由傳輸路傳輸至解碼側。
於步驟S25中，速率控制部78係根據儲存於儲存緩衝部67之壓縮圖像，以不產生溢位或欠位之方式，控制量化部65之量化動作之速率。
[預測處理之說明]
其次，參考圖8之流程圖，對圖7之步驟S21之預測處理進行說明。
於自畫面重排緩衝部62所供給之處理對象之圖像為需進行幀內處理之區塊之圖像之情形時，自訊框記憶體72讀出所參考之已解碼之圖像，並經由開關73供給至幀內預測部74。
於步驟S31中，幀內預測部74係使用所供給之圖像，對處理對象之區塊之像素，以成為候補之全部的幀內預測模式進行幀內預測。另外，作為所參考之已解碼之像素，使用未藉由解塊濾波器71進行解塊濾波之像素。
步驟S31中之幀內預測處理之詳細情況將參考圖20於下文中進行敘述，但藉由該處理，以成為候補之全部的幀內預測模式進行幀內預測。繼而，對成為候補之全部的幀內預測模式計算出成本函數值，並根據所計算出之成本函數值，決定最佳幀內預測模式。
繼而，藉由6階FIR濾波器及線性內插，於與所決定之最佳幀內預測模式對應之偏移方向上，使鄰接像素之相位以最佳偏移量進行偏移。使用該相位已進行偏移之鄰接像素，藉由最佳幀內預測模式中之幀內預測產生預測圖像。將所產生之預測圖像及最佳幀內預測模式之成本函數值供給至預測圖像選擇部77。
於自畫面重排緩衝部62所供給之處理對象之圖像為需進行內部處理之圖像之情形時，自訊框記憶體72讀出所參考之圖像，並經由開關73供給至動態預測、補償部76。根據該等圖像，於步驟S32中，動態預測、補償部76進行幀間動態預測處理。亦即，動態預測、補償部76係參考自訊框記憶體72所供給之圖像，進行成為候補之全部的幀間預測模式之動態預測處理。
步驟S32中之幀間動態預測處理之詳細情況將參考圖22於下文中進行敘述，但藉由該處理，以成為候補之全部的幀間預測模式進行動態預測處理，對成為候補之全部的幀間預測模式計算出成本函數值。
於步驟S33中，動態預測、補償部76係將於步驟S32中所計算出之相對於幀間預測模式之成本函數值進行比較，並將賦予最小值之預測模式決定為最佳幀間預測模式。繼而，動態預測、補償部76將以最佳幀間預測模式所產生之預測圖像及其成本函數值供給至預測圖像選擇 部77。
[H.264/AVC方式中之幀內預測處理之說明]
其次，就H.264/AVC方式中規定之幀內預測之各模式加以說明。
首先，就對於亮度信號之幀內預測模式加以說明。亮度信號之幀內預測模式中，規定有幀內4×4預測模式、幀內8×8預測模式及幀內16×16預測模式之3種方式。其係規定區塊單元之模式，且針對每個巨集區塊而設定。又，相對於色差信號，可針對每個巨集區塊而設定與亮度信號獨立之幀內預測模式。
進而，於幀內4×4預測模式之情形時，針對每個4×4像素之對象區塊，可自9種預測模式設定1種預測模式。於幀內8×8預測模式之情形時，針對每個8×8像素之對象區塊，可自9種預測模式設定1種預測模式。又，於幀內16×16預測模式之情形時，相對於16×16像素之對象巨集區塊，可自4種預測模式設定1種預測模式。
另外，以下，幀內4×4預測模式、幀內8×8預測模式及幀內16×16預測模式係分別亦適當稱作4×4像素之幀內預測模式、8×8像素之幀內預測模式及16×16像素之幀內預測模式。
於圖9之例中，對各區塊標註之數字-1至25表示該各區塊之位元串流順序(解碼側之處理順序)。另外，關於亮度信號，將巨集區塊分割為4×4像素而進行4×4像素之DCT。繼而，僅於幀內16×16預測模式之情形時，如-1之區塊所示，將各區塊之直流成分加以集中而產生4×4行列，對此進而實施正交轉換。
另一方面，關於色差信號，將巨集區塊分割為4×4像素而進行4×4像素之DCT，然後如16及17之各區塊所示，將各區塊之直流成分加以集中而產生2×2行列，對此進而實施正交轉換。
另外，該情況可僅適用於如下情形，即，關於幀內8×8預測模式，以高級規範或此以上之規範，對對象巨集區塊實施8×8正交轉換。
圖10及圖11係表示9種亮度信號之4×4像素之幀內預測模式(Intra_4x4_pred_mode)之圖。除表示平均值(DC)預測之模式2以外之8種各模式係分別與上述圖1之以序號0、1、3至8所表示之方向對應。
就9種Intra_4x4_pred_mode，參考圖12加以說明。於圖12之例中，像素a至p表示需進行幀內處理之對象區塊之像素，像素值A至M表示屬於鄰接區塊之像素之像素值。亦即，像素a至p係自畫面重排緩衝部62所讀出之處理對象之圖像，像素值A至M係自訊框記憶體72讀出之所參考之已解碼之圖像之像素值。
於圖10及圖11所示之各幀內預測模式之情形時，像素a至p之預測像素值係使用屬於鄰接區塊之像素之像素值A至M，如下所述般產生。另外，所謂像素值為「available(有效)」，係指不存在處於圖框之端部或者尚未進行編碼等原因而可利用之情況。與此相對，所謂像素值為「unavailable」，係指因處於圖框之端部或者尚未進行編碼等原因而無法利用之情況。
模式0係Vertical Prediction mode，僅適用於像素值A至D為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(7)般產生。
像素a、e、i、m之預測像素值=A像素b、f、j、n之預測像素值=B像素c、g、k、o之預測像素值=C像素d、h、l、p之預測像素值=D…(7)
模式1係Horizontal Prediction mode，僅適用於像素值I至L為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(8)般產生。
像素a、b、c、d之預測像素值=I像素e、f、g、h之預測像素值=J 像素i、j、k、l之預測像素值=K像素m、n、o、p之預測像素值=L…(8)
模式2係DC Prediction mode，於像素值A、B、C、D、I、J、K、L全部為「available」時，預測像素值係如式(9)般產生。
(A+B+C+D+I+J+K+L+4)>>3…(9)
又，於像素值A、B、C、D全部為「unavailable」時，預測像素值係如式(10)般產生。
(I+J+K+L+2)>>2…(10)
又，於像素值I、J、K、L全部為「unavailable」時，預測像素值係如式(11)般產生。
(A+B+C+D+2)>>2…(11)
另外，於像素值A、B、C、D、I、J、K、L全部為「unavailable」時，將128用作預測像素值。
模式3係Diagonal_Down_Left Prediction mode，僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(12)般產生。
像素a之預測像素值=(A+2B+C+2)>>2像素b、e之預測像素值=(B+2C+D+2)>>2像素c、f、i之預測像素值=(C+2D+E+2)>>2像素d、g、j、m之預測像素值=(D+2E+F+2)>>2像素h、k、n之預測像素值=(E+2F+G+2)>>2像素l、o之預測像素值=(F+2G+H+2)>>2像素p之預測像素值=(G+3H+2)>>2…(12)
模式4係Diagonal_Down_Right Prediction mode，僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於該情形時， 像素a至p之預測像素值係如下式(13)般產生。
像素m之預測像素值=(J+2K+L+2)>>2像素i、n之預測像素值=(I+2J+K+2)>>2像素e、j、o之預測像素值=(M+2I+J+2)>>2像素a、f、k、p之預測像素值=(A+2M+I+2)>>2像素b、g、l之預測像素值=(M+2A+B+2)>>2像素c、h之預測像素值=(A+2B+C+2)>>2像素d之預測像素值=(B+2C+D+2)>>2…(13)
模式5係Diagonal_Vertical_Right Prediction mode，僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(14)般產生。
像素a、j之預測像素值=(M+A+1)>>1像素b、k之預測像素值=(A+B+1)>>1像素c、l之預測像素值=(B+C+1)>>1像素d之預測像素值=(C+D+1)>>1像素e、n之預測像素值=(I+2M+A+2)>>2像素f、o之預測像素值=(M+2A+B+2)>>2像素g、p之預測像素值=(A+2B+C+2)>>2像素h之預測像素值=(B+2C+D+2)>>2像素i之預測像素值=(M+2I+J+2)>>2像素m之預測像素值=(I+2J+K+2)>>2…(14)
模式6係Horizontal_Down Prediction mode，僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(15)般產生。
像素a、g之預測像素值=(M+I+1)>>1像素b、h之預測像素值=(I+2M+A+2)>>2像素c之預測像素值=(M+2A+B+2)>>2像素d之預測像素值=(A+2B+C+2)>>2像素e、k之預測像素值=(I+J+1)>>1像素f、l之預測像素值=(M+2I+J+2)>>2像素i、o之預測像素值=(J+K+1)>>1像素j、p之預測像素值=(I+2J+K+2)>>2像素m之預測像素值=(K+L+1)>>1像素n之預測像素值=(J+2K+L+2)>>2…(15)
模式7係Vertical_Left Prediction mode，僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(16)般產生。
像素a之預測像素值=(A+B+1)>>1像素b、i之預測像素值=(B+C+1)>>1像素c、j之預測像素值=(C+D+1)>>1像素d、k之預測像素值=(D+E+1)>>1像素l之預測像素值=(E+F+1)>>1像素e之預測像素值=(A+2B+C+2)>>2像素f、m之預測像素值=(B+2C+D+2)>>2像素g、n之預測像素值=(C+2D+E+2)>>2像素h、o之預測像素值=(D+2E+F+2)>>2像素p之預測像素值=(E+2F+G+2)>>2…(16)
模式8係Horizontal_Up Prediction mode，僅適用於像素值A、B、 C、D、I、J、K、L、M為「available」之情形。於該情形時，像素a至p之預測像素值係如下式(17)般產生。
像素a之預測像素值=(I+J+1)>>1像素b之預測像素值=(I+2J+K+2)>>2像素c、e之預測像素值=(J+K+1)>>1像素d、f之預測像素值=(J+2K+L+2)>>2像素g、i之預測像素值=(K+L+1)>>1像素h、j之預測像素值=(K+3L+2)>>2像素k、l、m、n、o、p之預測像素值=L…(17)
其次，參考圖13，就亮度信號之4×4像素之幀內預測模式(Intra_4x4_pred_mode)之編碼方式加以說明。於圖13之例中，表示有包含4×4像素且成為編碼對象之對象區塊C，並表示有與對象區塊C鄰接且包含4×4像素之區塊A及區塊B。
於該情形時，可認為對象區塊C中之Intra_4x4_pred_mode與區塊A及區塊B中之Intra_4x4_pred_mode具有較高之相關。使用該相關性，如下所述般進行編碼處理，藉此可實現更高之編碼效率。
亦即，於圖13之例中，將區塊A及區塊B中之Intra_4x4_pred_mode分別作為Intra_4x4_pred_modeA及Intra_4x4_pred_modeB，將MostProbableMode定義為下式(18)。
MostProbableMode=Min(Intra_4x4_pred_modeA，Intra_4x4_pred_modeB)…(18)
亦即，將區塊A及區塊B中之分配有更細之mode_number者設為MostProbableMode。
於位元串流中，作為對於對象區塊C之參數，定義有prev_intra4x4_pred_mode_flag[luma4x4BlkIdx]及rem_intra4x 4_pred_mode[luma4x4BlkIdx]之2種值，並藉由基於下式(19)所示之虛擬碼之處理而進行解碼處理，可獲得對於對象區塊C之Intra_4x4_pred_mode、Intra4x4PredMode[luma4x4BlkIdx]之值。
if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])Intra4x4PredMode[luma4x4BlkIdx]=MostProbableMode else if(rem_intra4x4_pred_mode[luma4x4BlkIdx]<MostProbableMode)Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]else Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]+1…(19)
其次，就16×16像素之幀內預測模式加以說明。圖14及圖15係表示4種亮度信號之16×16像素之幀內預測模式(Intra_16x16_pred_mode)之圖。
就4種幀內預測模式，參考圖16加以說明。於圖16之例中，表示有需進行幀內處理之對象巨集區塊A，P(x，y)；x，y=-1、0、...、15表示與對象巨集區塊A鄰接之像素之像素值。
模式0係Vertical Prediction mode，僅適用於P(x，-1)；x，y=-1、0、...、15為「available」之情形。於該情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(20)般產生。
Pred(x，y)=P(x，-1)；x，y=0、...、15…(20)
模式1係Horizontal Prediction mode，僅適用於P(-1，y)；x，y=-1、0、...、15為「available」之情形。於該情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(21)般產生。
Pred(x，y)=P(-1，y)；x，y=0、...、15…(21)
模式2係DC Prediction mode，於P(x，-1)及P(-1，y)；x，y=-1、0、...、15全部為「available」之情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(22)般產生。
又，於P(x，-1)；x，y=-1、0、...、15為「unavailable」之情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(23)般產生。
於P(-1，y)；x，y=-1、0、...、15為「unavailable」之情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(24)般產生。
於P(x，-1)及P(-1，y)；x，y=-1、0、...、15全部為「unavailable」之情形時，使用128作為預測像素值。
模式3係Plane Prediction mode，僅適用於P(x，-1)及P(-1，y)；x，y=-1、0、...、15全部為「available」之情形。於該情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(25)般產生。
[數8]
其次，就對於色差信號之幀內預測模式加以說明。圖17係表示4種色差信號之幀內預測模式(Intra_chroma_pred_mode)之圖。色差信號之幀內預測模式係可與亮度信號之幀內預測模式獨立地設定。對於色差信號之幀內預測模式係依照上述亮度信號之16×16像素之幀內預測模式。
其中，亮度信號之16×16像素之幀內預測模式係以16×16像素之區塊為對象，與此相對，對於色差信號之幀內預測模式係以8×8像素之區塊為對象。進而，如上述圖14及圖17所示，於兩者中，模式序號並不對應。
於此，依照參考圖16已進行敘述之亮度信號之16×16像素之幀內預測模式之對象巨集區塊A之像素值及所鄰接之像素值之定義。例如，將與需進行幀內處理之對象巨集區塊A(色差信號之情形時，8×8像素)鄰接之像素之像素值設為P(x，y)；x，y=-1、0、...、7。
模式0係DC Prediction mode，於P(x，-1)及P(-1，y)；x，y=-1、0、...、7全部為「available」之情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(26)般產生。
又，於P(-1，y)；x，y=-1、0、...、7為「unavailable」之情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(27)般產生。
又，於P(x，-1)；x，y=-1、0、...、7為「unavailable」之情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(28)般產生。
模式1係Horizontal Prediction mode，僅適用於P(-1，y)；x，y=-1、0、...、7為「available」之情形。於該情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(29)般產生。
Pred(x，y)=P(-1，y)；x，y=0、...、7…(29)
模式2係Vertical Prediction mode，僅適用於P(x，-1)；x，y=-1、0、...、7為「available」之情形。於該情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(30)般產生。
Pred(x，y)=P(x，-1)；x，y=0、...、7…(30)
模式3係Plane Prediction mode，僅適用於P(x，-1)及P(-1，y)；x，y=-1、0、...、7為「available」之情形。於該情形時，對象巨集區塊A之各像素之預測像素值Pred(x，y)係如下式(31)般產生。
[數12]
如上所述，亮度信號之幀內預測模式有9種4×4像素及8×8像素之區塊單元、以及4種16×16像素之巨集區塊單元之預測模式。該區塊單元之模式係針對每個巨集區塊單元而設定。色差信號之幀內預測模式有4種8×8像素之區塊單元之預測模式。該色差信號之幀內預測模式係可與亮度信號之幀內預測模式獨立地設定。
又，關於亮度信號之4×4像素之幀內預測模式(幀內4×4預測模式)及8×8像素之幀內預測模式(幀內8×8預測模式)，針對每個4×4像素及8×8像素之亮度信號之區塊設定1種幀內預測模式。關於亮度信號之16×16像素之幀內預測模式(幀內16×16預測模式)及色差信號之幀內預測模式，對於一個巨集區塊設定1種預測模式。
另外，預測模式之類型係與上述圖1之以序號0、1、3至8所表示之方向對應。預測模式2係平均值預測。
如上所述，H.264/AVC方式中之幀內預測係以整數像素精度進行。與此相對，於圖像編碼裝置51中，進行小數像素精度之幀內預測。
[小數像素精度之幀內預測之動作]
其次，參考圖18，就用以實現小數像素精度之幀內預測之動作加以說明。另外，於圖18之例中，表示有對象區塊為4×4像素之情形之例。
於圖18之例之情形時，黑圓點表示幀內預測之對象區塊之像素，白圓點表示與對象區塊鄰接之鄰接像素。更詳細而言，於白圓點之鄰 接像素中，與對象區塊之左上部鄰接之左上部鄰接像素係A-1且I-1，該像素相當於圖12之像素值M之像素。於白圓點之鄰接像素中，與對象區塊之上部鄰接之上部鄰接像素係A0、A1、A2、...，該等像素相當於圖12之像素值A至H之像素。於白圓點之鄰接像素中，與對象區塊之左部鄰接之左部鄰接像素係I0、I1、I2、...，該等像素相當於圖12之像素值I至L之像素。
又，於鄰接像素之間所示之a-0.5、a+0.5、...及i-0.5、i+0.5、...表示1/2像素精度之像素。進而，於a-0.5、a+0.5、...及i-0.5、i+0.5、...之像素之間所示之a-0.75、a-0.25、a+0.25、a+0.75、...及i-0.75、i-0.25、i+0.25、i+0.75、...表示1/4像素精度之像素。
首先，作為第1動作，於幀內預測部74中，使用圖12所示之像素值A至M，對於各幀內預測模式進行幀內預測，自各幀內預測模式中決定最佳幀內預測模式。於對象區塊為4×4之情形時，該最佳幀內預測模式係圖10或圖11之9種預測模式之任一種。
例如，選擇模式0(Vertical Prediction mode)作為最佳幀內預測模式。此時，對象區塊之預測中所使用之鄰接像素係圖12之像素值A至D之像素，成為圖18之像素A0、A1、A2、A3。
作為第2動作，於鄰接像素內插部75中，藉由參考圖4已進行敘述之H.264/AVC方式中之6階FIR濾波器，產生有圖18之1/2像素精度之像素a-0.5、a+0.5、...。亦即，像素a-0.5係以下式(32)所表示。
a-0.5=(A-2-5*A-1+20*A0+20*A1-5*A1+A2+16)>>5…(32)
其他1/2像素精度之像素a+0.5、a+1.5等亦相同。
作為第3動作，於鄰接像素內插部75中，自像素A0、A1、A2、A3及像素a-0.5、a+0.5等，藉由線性內插產生有圖18之1/4像素精度之像素a-0.75、a-0.25、a+0.25、a+0.75。亦即，像素a+0.25係以下式(33)所表示。
a-0.5=(A0+a+0.5+1)>>2…(33)
其他1/4像素精度之像素亦相同。
作為第4動作，於幀內預測部74中，於模式0之情形時，將整數像素與各小數像素之精度之相位差即-0.75、-0.50、-0.25、+0.25、+0.50、+0.75之值作為水平方向之偏移量之候補，而決定最佳偏移量。
例如，於偏移量為+0.25之情形時，使用像素a+0.25、a+1.25、a+2.25、a+3.25之像素來替代像素A0、A1、A2、A3之像素值，進行幀內預測。
如此，對第1動作中所選擇之最佳幀內預測模式，決定最佳偏移量。例如，亦可存在如下情形，即，將偏移量為0之情形設為最佳情形，使用整數像素之像素值。
另外，於圖10或圖11所示之9種預測模式中，關於模式2(DC prediction mode)，可進行平均值處理。因此，即便已進行偏移，亦不會直接有助於提高編碼效率，故而上述動作遭到禁止而不進行。
關於模式0(Vertical Prediction mode)、模式3(Diagonal_Down_Left Prediction mode)、或模式7(Vertical_Left Prediction mode)，圖18中之僅上部鄰接像素A0、A1、A2、...之偏移成為候補。
關於模式1(Horizontal Prediction mode)、或模式8(Horizontal_Up Prediction mode)，圖18中之僅左部鄰接像素I0、I1、I2、...之偏移成為候補。
關於其他模式(模式4至6)，必需考慮上部鄰接像素及左部鄰接像素之雙方之偏移。
又，關於上部鄰接像素，僅決定水平方向之偏移量，關於左部鄰接像素，僅決定垂直方向之偏移量。
進行以上之第1至第4動作，決定最佳偏移量，藉此可增加幀內預測模式中使用之像素值之選擇項，可進行更佳之幀內預測。藉此，可 進一步提高幀內預測之編碼效率。
又，於H.264/AVC方式中，如參考圖4已進行敘述般，亦可將只能應用於幀間動態預測補償之6階FIR濾波器之電路有效應用於幀內預測。藉此，不必使電路增大，便可改善效率。
進而，能夠以與H.264/AVC方式中規定之幀內預測之分辨率即22.5°相比更細之分辨率進行幀內預測。
[小數像素精度之幀內預測之效果例]
於圖19之例中，虛線表示參考圖1已進行敘述之H.264/AVC方式之幀內預測之預測模式之方向。對虛線所標註之序號係與圖10或圖11所示之9種預測模式之序號對應。另外，因模式2為平均值預測，故而不顯示其序號。
於H.264/AVC方式中，只能以虛線所示之22.5°之分辨率進行幀內預測。與此相對，於圖像編碼裝置51中，藉由進行小數像素精度之幀內預測，如粗線所示般能夠以較22.5°更細之分辨率進行幀內預測。藉此，尤其可提高對於具有傾斜邊緣之紋理之編碼效率。
[幀內預測處理之說明]
其次，參考圖20之流程圖，對作為上述動作之幀內預測處理進行說明。另外，該幀內預測處理係圖8之步驟S31中之幀內預測處理，於圖20之例中，以亮度信號之情況為例進行說明。
最佳模式決定部82係於步驟S41中，對4×4像素、8×8像素及16×16像素之各幀內預測模式進行幀內預測。
如上所述，幀內4×4預測模式及幀內8×8預測模式有9種預測模式，可分別針對每個區塊定義1種預測模式。幀內16×16預測模式及色差信號之幀內預測模式有4種預測模式，可對一個巨集區塊定義1種預測模式。
最佳模式決定部82係對處理對象之區塊之像素，參考自鄰接像素 緩衝部81所讀出之已解碼之鄰接圖像，以各幀內預測模式之全部的類型之預測模式進行幀內預測。藉此，產生有各幀內預測模式之全部的類型之預測模式中之預測圖像。另外，作為所參考之已解碼之像素，使用未藉由解塊濾波器71進行解塊濾波之像素。
最佳模式決定部82係於步驟S42中，計算對於4×4像素、8×8像素及16×16像素之各幀內預測模式之成本函數值。於此，作為成本函數值，根據High Complexity(高複雜度)模式或Low Complexity(低複雜度)模式之任一種方法進行。該等模式係由作為H.264/AVC方式中之參考軟體之JM(Joint Model，聯合模型)中規定。
亦即，於High Complexity模式中，作為步驟S41之處理，對於成為候補之全部的預測模式，暫時進行至編碼處理為止。繼而，對各預測模式計算出以下式(34)所表示之成本函數值，選擇賦予其最小值之預測模式作為最佳預測模式。
Cost(Mode)=D+λ．R…(34)
D係原圖像與解碼圖像之差分(失真)，R係甚至包含正交轉換係數之產生編碼量，λ係作為量化參數QP(quantization parameter)之函數而提供之拉格朗日乘數(Lagrange multiplier)。
另一方面，於Low Complexity模式中，作為步驟S41之處理，對成為候補之全部的預測模式，產生預測圖像、以及計算出移動向量資訊或預測模式資訊、旗標資訊等標頭位元。繼而，對各預測模式計算出以下式(35)所表示之成本函數值，選擇賦予其最小值之預測模式作為最佳預測模式。
Cost(Mode)=D+QPtoQuant(QP)．Header_Bit…(35)
D係原圖像與解碼圖像之差分(失真)，Header_Bit係相對於預測模式之標頭位元，QPtoQuant係作為量化參數QP之函數所提供之函數。
於Low Complexity模式中，僅對全部的預測模式產生預測圖像， 而無需進行編碼處理及解碼處理，故而運算量較少即可。
最佳模式決定部82係於步驟S43中，對4×4像素、8×8像素及16×16像素之各幀內預測模式分別決定最佳模式。亦即，如上所述，於幀內4×4預測模式及幀內8×8預測模式之情形時，預測模式之類型有9種，於幀內16×16預測模式之情形時，預測模式之類型有4種。因此，最佳模式決定部82係根據步驟S42中所計算出之成本函數值，自彼等中決定最佳幀內4×4預測模式、最佳幀內8×8預測模式、最佳幀內16×16預測模式。
最佳模式決定部82係於步驟S44中，自對4×4像素、8×8像素及16×16像素之各幀內預測模式所決定之各最佳模式中，選擇基於步驟S42中所計算出之成本函數值之最佳幀內預測模式。亦即，自對4×4像素、8×8像素及16×16像素所決定之各最佳模式中，選擇成本函數值為最小值之模式作為最佳幀內預測模式。
所決定之預測模式之資訊被供給至模式判別部91、最佳偏移量決定部83及預測圖像產生部84。又，向預測圖像產生部84亦供給與預測模式對應之成本函數值。
鄰接像素內插部75及最佳偏移量決定部83係於步驟S45中，執行鄰接內插處理。步驟S45中之鄰接內插處理之詳細情況將參考圖21於下文中進行敘述，但藉由該處理，於與所決定之最佳幀內預測模式對應之偏移方向上，決定最佳偏移量。與所決定之最佳偏移量相關之資訊被供給至預測圖像產生部84。
於步驟S46中，預測圖像產生部84係使用相位以最佳偏移量已進行偏移之鄰接像素，產生預測圖像。
亦即，預測圖像產生部84係自鄰接像素緩衝部81讀出與需進行幀內預測之對象區塊對應之鄰接像素。繼而，預測圖像產生部84藉由6階FIR濾波器及線性內插，於與預測模式對應之相位方向上，使已讀出之鄰接像素之相位以最佳偏移量進行偏移。預測圖像產生部84係使用 相位已進行偏移之鄰接像素，於藉由最佳模式決定部82所決定之預測模式中進行幀內預測，產生對象區塊之預測圖像，並將所產生之預測圖像及所對應之成本函數值供給至預測圖像選擇部77。
另外，於最佳偏移量為0之情形時，使用來自鄰接像素緩衝部81之鄰接像素之像素值。
於藉由預測圖像選擇部77已選擇以最佳幀內預測模式所產生之預測圖像之情形時，藉由預測圖像產生部84，將表示該等最佳幀內預測模式之資訊及偏移量之資訊供給至可逆編碼部66。繼而，於可逆編碼部66中進行編碼並附加於壓縮圖像之標頭資訊(上述圖7之步驟S23)。
另外，作為該偏移量之資訊之編碼，對所決定之對象區塊之偏移量與參考圖13已進行敘述之賦予MostProbableMode之區塊中之偏移量的差分進行編碼。
其中，例如於MostProbableMode為模式2(DC預測)且對象區塊之預測模式為模式0(Vertical預測)之情形時，不存在賦予MostProbableMode之區塊中之水平方向之偏移量。又，亦由於為內部片段中之幀內巨集區塊之情況，不存在賦予MostProbableMode之區塊中之水平方向之偏移量。
於如此之情形時，將賦予MostProbableMode之區塊中之水平方向之偏移量設為0，進行差分編碼處理。
[鄰接像素內插處理之說明]
其次，參考圖21之流程圖，就圖20之步驟S45之鄰接像素內插處理加以說明。於圖21之例中，就對象區塊為4×4之情形加以說明。
藉由最佳模式決定部82所決定之預測模式之資訊被供給至模式判別部91。模式判別部91係於步驟S51中，判定最佳幀內預測模式是否為DC模式。於步驟S51中，於判定出最佳幀內預測模式並非為DC模式 之情形時，處理進入步驟S52。
於步驟S52中，模式判別部91判定最佳幀內預測模式是否為Vertical Prediction mode、Diagonal_Down_Left Prediction mode、或Vertical_Left Prediction mode。
於步驟S52中，於判定出最佳幀內預測模式為Vertical Prediction mode、Diagonal_Down_Left Prediction mode、或Vertical_Left Prediction mode之情形時，處理進入步驟S53。
於步驟S53中，模式判別部91係對水平方向內插部92輸出控制信號，以使水平方向內插部92進行水平方向之內插。亦即，水平方向內插部92係根據來自模式判別部91之控制信號，自鄰接像素緩衝部81讀出上部鄰接像素，並藉由6階FIR濾波器及線性內插，使所讀出之上部鄰接像素之水平方向之相位偏移。水平方向內插部92係將已進行內插之上部鄰接像素之資訊供給至最佳偏移量決定部83。
於步驟S54中，最佳偏移量決定部83係對藉由最佳模式決定部82所決定之預測模式，於-0.75至+0.75中，決定上部鄰接像素之最佳偏移量。另外，該決定中使用需進行幀內預測之對象區塊之圖像、自鄰接像素緩衝部81所讀出之上部鄰接像素、及已進行內插之上部鄰接像素之資訊。又，此時，使針對左部鄰接像素之最佳偏移量為0。所決定之最佳偏移量之資訊被供給至預測圖像產生部84。
於步驟S52中，於判定出最佳幀內預測模式並非為Vertical Prediction mode、Diagonal_Down_Left Prediction mode、及Vertical_Left Prediction mode之情形時，處理進入步驟S55。
於步驟S55中，模式判別部91判定最佳幀內預測模式是否為Horizontal Prediction mode或Horizontal_Up Prediction mode。於步驟S55中，於判定出最佳幀內預測模式為Horizontal Prediction mode或Horizontal_Up Prediction mode之情形時，處理進入步驟S56。
於步驟S56中，模式判別部91係對垂直方向內插部93輸出控制信號，以使垂直方向內插部93進行垂直方向之內插。亦即，垂直方向內插部93係根據來自模式判別部91之控制信號，自鄰接像素緩衝部81讀出左部鄰接像素，並藉由6階FIR濾波器及線性內插，使所讀出之左部鄰接像素之垂直方向之相位進行偏移。垂直方向內插部93係將已進行內插之左部鄰接像素之資訊供給至最佳偏移量決定部83。
於步驟S57中，最佳偏移量決定部83係對藉由最佳模式決定部82所決定之預測模式，於-0.75至+0.75中，決定左部鄰接像素之最佳偏移量。另外，該決定中使用需進行幀內預測之對象區塊之圖像、自鄰接像素緩衝部81所讀出之左部鄰接像素、及已進行內插之左部鄰接像素之資訊。又，此時，使針對上部鄰接像素之最佳偏移量為0。所決定之最佳偏移量之資訊被供給至預測圖像產生部84。
於步驟S55中，於判定出最佳幀內預測模式並非為Horizontal Prediction mode及Horizontal_Up Prediction mode之情形時，處理進入步驟S58。
於步驟S58中，模式判別部91係對水平方向內插部92輸出控制信號，以使水平方向內插部92進行水平方向之內插，並對垂直方向內插部93輸出控制信號，以使垂直方向內插部93進行垂直方向之內插。
亦即，水平方向內插部92係根據來自模式判別部91之控制信號，自鄰接像素緩衝部81讀出上部鄰接像素，並藉由6階FIR濾波器及線性內插，使所讀出之上部鄰接像素之水平方向之相位偏移。水平方向內插部92係將已進行內插之上部鄰接像素之資訊供給至最佳偏移量決定部83。
又，垂直方向內插部93係根據來自模式判別部91之控制信號，自鄰接像素緩衝部81讀出左部鄰接像素，並藉由6階FIR濾波器及線性內插，使所讀出之左部鄰接像素之垂直方向之相位進行偏移。垂直方向 內插部93係將已進行內插之左部鄰接像素之資訊供給至最佳偏移量決定部83。
於步驟S59中，最佳偏移量決定部83係對藉由最佳模式決定部82所決定之預測模式，於-0.75至+0.75中，決定上部及左部鄰接像素之最佳偏移量。該決定中使用需進行幀內預測之對象區塊之圖像、自鄰接像素緩衝部81所讀出之上部及左部鄰接像素、以及已進行內插之上部及左部鄰接像素之資訊。所決定之最佳偏移量之資訊被供給至預測圖像產生部84。
另一方面，於步驟S51中，於判定出最佳幀內預測模式為DC模式之情形時，結束鄰接像素內插處理。亦即，水平方向內插部82及垂直方向內插部83不進行動作，於最佳偏移量決定部83中，決定偏移量0為最佳偏移量。
[幀間動態預測處理之說明]
其次，參考圖22之流程圖，就圖8之步驟S32之幀間動態預測處理加以說明。
動態預測、補償部76係於步驟S61中，對包含16×16像素至4×4像素之8種各幀間預測模式，分別決定移動向量及參考圖像。亦即，針對各幀間預測模式之處理對象之區塊，分別決定移動向量及參考圖像。
動態預測、補償部76係於步驟S62中，針對包含16×16像素至4×4像素之8種各幀間預測模式，根據步驟S61中所決定之移動向量，對參考圖像進行動態預測及補償處理。藉由該動態預測及補償處理，產生有各幀間預測模式中之預測圖像。
動態預測、補償部76係於步驟S63中，對包含16×16像素至4×4像素之8種各幀間預測模式所決定之移動向量，產生用以附加於壓縮圖像之移動向量資訊。此時，利用參考圖5已進行敘述之移動向量之產生方法。
所產生之移動向量資訊亦於下一個步驟S64中之成本函數值計算時使用，於最終藉由預測圖像選擇部77已選擇對應之預測圖像之情形時，與預測模式資訊及參考訊框資訊一併輸出至可逆編碼部66。
動態預測、補償部76係於步驟S64中，對包含16×16像素至4×4像素之8種各幀間預測模式，計算以上述式(34)或式(35)所表示之成本函數值。於此所計算出之成本函數值係於上述圖8之步驟S34中決定最佳幀間預測模式時使用。
另外，本發明之動作原理並不限定於參考圖18或圖20及圖21已進行敘述之動作。例如，亦可相對於全部的幀內預測模式，計算成為候補之全部的偏移量之預測值，計算其餘差來決定最佳幀內預測模式及最佳偏移量。進行該動作時之幀內預測部及鄰接像素內插部之構成例示於圖23中。
[幀內預測部及鄰接像素內插部之其他構成例]
圖23係表示幀內預測部及鄰接像素內插部之其他構成例之方塊圖。
於圖23之例之情形時，幀內預測部74包括鄰接像素緩衝部101、最佳模式/最佳偏移量決定部102及預測圖像產生部103。
鄰接像素內插部75包括水平方向內插部111及垂直方向內插部112。
鄰接像素緩衝部101儲存來自訊框記憶體72之幀內預測之對象區塊之鄰接像素。於圖23之情形時，亦省略開關73之圖示，但實際上，鄰接像素係自訊框記憶體72經由開關73而被供給至鄰接像素緩衝部101。
對於最佳模式/最佳偏移量決定部102，自畫面重排緩衝部62輸入需進行幀內預測之對象區塊之像素。最佳模式/最佳偏移量決定部102自鄰接像素緩衝部101讀出與需進行幀內預測之對象區塊對應之鄰接 像素。
最佳模式/最佳偏移量決定部102係將候補之幀內預測模式(以下稱作候補模式)之資訊供給至水平方向內插部111及垂直方向內插部112。對於最佳模式/最佳偏移量決定部102，自水平方向內插部111及垂直方向內插部112輸入根據候補模式進行內插之鄰接像素之資訊。
最佳模式/最佳偏移量決定部102係使用需進行幀內預測之對象區塊之像素、所對應之鄰接像素、及已進行內插之鄰接像素之像素值，對全部的候補模式及全部的候補偏移量進行幀內預測，而產生預測圖像。繼而，最佳模式/最佳偏移量決定部102係計算成本函數值或預測餘差等，自全部的候補模式及全部的偏移量中，決定最佳幀內預測模式及最佳偏移量。所決定之預測模式及偏移量之資訊係被供給至預測圖像產生部103。另外，此時，與預測模式對應之成本函數值亦被供給至預測圖像產生部103。
預測圖像產生部103係自鄰接像素緩衝部101讀出與需進行幀內預測之對象區塊對應之鄰接像素，並藉由6階FIR濾波器及線性內插，於與預測模式對應之相位方向上，使已讀出之鄰接像素之相位以最佳偏移量進行偏移。
預測圖像產生部103係使用相位經偏移之鄰接像素，於藉由最佳模式/最佳偏移量決定部102所決定之最佳幀內預測模式中進行幀內預測，而產生對象區塊之預測圖像。預測圖像產生部103係將所產生之預測圖像及所對應之成本函數值輸出至預測圖像選擇部77。
又，預測圖像產生部103係於藉由預測圖像選擇部77而選擇以最佳幀內預測模式所產生之預測圖像之情形時，將表示最佳幀內預測模式之資訊及偏移量之資訊供給至可逆編碼部66。
水平方向內插部111及垂直方向內插部112係根據來自最佳模式/最佳偏移量決定部102之候補模式，自鄰接像素緩衝部101分別讀出鄰 接像素。水平方向內插部111及垂直方向內插部112係藉由6階FIR濾波器及線性內插，於水平方向及垂直方向上，使所讀出之鄰接像素之相位分別偏移。
[幀內預測處理之其他說明]
其次，參考圖24之流程圖，對圖23之幀內預測部74及鄰接像素內插部75所進行之幀內預測處理進行說明。另外，該幀內預測處理係圖8之步驟S31中之幀內預測處理之其他例。
最佳模式/最佳偏移量決定部102係將候補之幀內預測模式之資訊供給至水平方向內插部111及垂直方向內插部112。
於步驟S101中，水平方向內插部111及垂直方向內插部112係對全部的候補之幀內預測模式，執行鄰接像素內插處理。亦即，於步驟S101中，對4×4像素、8×8像素及16×16像素之各幀內預測模式，分別執行鄰接像素內插處理。
步驟S101中之鄰接內插處理之詳細情況將參考圖25於下文中進行敘述，但藉由該處理，於與各幀內預測模式對應之偏移方向上進行內插之鄰接像素之資訊被供給至最佳模式/最佳偏移量決定部102。
於步驟S102中，最佳模式/最佳偏移量決定部102係對4×4像素、8×8像素及16×16像素之各幀內預測模式及各偏移量進行幀內預測。
亦即，最佳模式/最佳偏移量決定部102係使用需進行幀內預測之對象區塊之像素、所對應之鄰接像素、及已進行內插之鄰接像素之像素值，對全部的幀內預測模式及全部的候補偏移量進行幀內預測。其結果，相對於全部的幀內預測模式及全部的候補偏移量，產生有預測圖像。
於步驟S103中，最佳模式/最佳偏移量決定部102係對產生有預測圖像之4×4像素、8×8像素及16×16像素之各幀內預測模式及各偏移量，計算上述式(34)或式(35)之成本函數值。
於步驟S104中，最佳模式/最佳偏移量決定部102係將所計算出之成本函數值進行比較，藉此對4×4像素、8×8像素及16×16像素之各幀內預測模式分別決定最佳模式及最佳偏移量。
於步驟S105中，最佳模式/最佳偏移量決定部102係自步驟S104中所決定之各最佳模式及最佳偏移量中，根據步驟S103中所計算出之成本函數值，選擇最佳幀內預測模式及最佳偏移量。亦即，自對4×4像素、8×8像素及16×16像素之各幀內預測模式所決定之各最佳模式及最佳偏移量中，選擇最佳幀內預測模式及最佳偏移量。所選擇之預測模式及偏移量之資訊係與所對應之成本函數值一併被供給至預測圖像產生部103。
於步驟S106中，預測圖像產生部103係使用相位以最佳偏移量已進行偏移之鄰接像素，產生預測圖像。
亦即，預測圖像產生部103係自鄰接像素緩衝部101讀出與需進行幀內預測之對象區塊對應之鄰接像素。繼而，預測圖像產生部103係藉由6階FIR濾波器及線性內插，於與所決定之預測模式對應之相位方向，使已讀出之鄰接像素之相位以最佳偏移量進行偏移。
預測圖像產生部103係使用相位已進行偏移之鄰接像素，以藉由最佳模式/最佳偏移量決定部102所決定之預測模式進行幀內預測，產生對象區塊之預測圖像。所產生之預測圖像係與所對應之成本函數值一併被供給至預測圖像選擇部77。
[鄰接像素內插處理之說明]
其次，參考圖25之流程圖，就圖24之步驟S101之鄰接像素內插處理加以說明。另外，該鄰接像素內插處理係針對每個候補之幀內預測模式所進行之處理。又，由於圖25之步驟S111至S116係進行與圖21之步驟S51至S53、S55、S56及S58相同之處理，因此適當省略其詳細說明。
候補之幀內預測模式之資訊係自最佳模式/最佳偏移量決定部102被供給至水平方向內插部111及垂直方向內插部112。水平方向內插部111及垂直方向內插部112係於步驟S111中，判定候補之幀內預測模式是否為DC模式。於步驟S111中，於判定出候補之幀內預測模式並非為DC模式之情形時，處理進入步驟S112。
於步驟S112中，水平方向內插部111及垂直方向內插部112係判定候補之幀內預測模式是否為Vertical Prediction mode、Diagonal_Down_Left Prediction mode、或Vertical_Left Prediction mode。
於步驟S112中，於判定出候補之幀內預測模式為Vertical Prediction mode、Diagonal_Down_Left Prediction mode、或Vertical_Left Prediction mode之情形時，處理進入步驟S113。
於步驟S113中，水平方向內插部111係根據候補之幀內預測模式，進行水平方向之內插。水平方向內插部111係將已進行內插之上部鄰接像素之資訊供給至最佳模式/最佳偏移量決定部102。此時，垂直方向內插部112不進行垂直方向之內插處理。
於步驟S112中，於判定出候補之幀內預測模式並非為Vertical Prediction mode、Diagonal_Down_Left Prediction mode、及Vertical_Left Prediction mode之情形時，處理進入步驟S114。
於步驟S114中，水平方向內插部111及垂直方向內插部112係判定候補之幀內預測模式是否為Horizontal Prediction mode、或Horizontal_Up Prediction mode。於步驟S114中，於判定出候補之幀內預測模式為Horizontal Prediction mode、或Horizontal_Up Prediction mode之情形時，處理進入步驟S115。
於步驟S115中，垂直方向內插部112係根據候補之幀內預測模式，進行垂直方向之內插。垂直方向內插部112係將已進行內插之左部 鄰接像素之資訊供給至最佳模式/最佳偏移量決定部102。此時，水平方向內插部111不進行水平方向之內插。
於步驟S114中，於判定出候補之幀內預測模式並非為Horizontal Prediction mode、及Horizontal_Up Prediction mode之情形時，處理進入步驟S116。
於步驟S116中，水平方向內插部111及垂直方向內插部112係根據候補之幀內預測模式，分別進行水平方向之內插及垂直方向之內插。水平方向內插部111及垂直方向內插部112係將已進行內插之上部鄰接像素及左部鄰接像素之資訊分別供給至最佳模式/最佳偏移量決定部102。
經編碼之壓縮圖像經由特定之傳輸路而傳輸，並藉由圖像解碼裝置進行解碼。
[圖像解碼裝置之構成例]
圖26表示作為適用本發明之圖像處理裝置之圖像解碼裝置之一實施形態之構成。
圖像解碼裝置151包括儲存緩衝部161、可逆解碼部162、逆量化部163、逆正交轉換部164、運算部165、解塊濾波器166、畫面重排緩衝部167、D/A(digital/analog，數位/類比)轉換部168、訊框記憶體169、開關170、幀內預測部171、鄰接像素內插部172、動態預測、補償部173及開關174。
儲存緩衝部161係儲存傳輸來之壓縮圖像。可逆解碼部162係將自儲存緩衝部161所供給且藉由圖2之可逆編碼部66已進行編碼之資訊，以與可逆編碼部66之編碼方式對應之方式進行解碼。逆量化部163係將藉由可逆解碼部162已進行解碼之圖像，以與圖2之量化部65之量化方式對應之方式進行逆量化。逆正交轉換部164係以與圖2之正交轉換部64之正交轉換方式對應之方式，將逆量化部163之輸出進行逆正交轉 換。
經逆正交轉換之輸出係藉由運算部165與自開關174所供給之預測圖像相加而進行解碼。解塊濾波器166係將經解碼之圖像之區塊失真去除後，供給並儲存至訊框記憶體169，並且輸出至畫面重排緩衝部167。
畫面重排緩衝部167進行圖像之重排。亦即，將藉由圖2之畫面重排緩衝部62而重排為編碼之順序之訊框之順序，重排為原顯示順序。D/A轉換部168係將自畫面重排緩衝部167所供給之圖像進行D/A轉換，輸出並顯示於未圖示之顯示器。
開關170係自訊框記憶體169讀出需進行內部處理之圖像及所參考之圖像，並輸出至動態預測、補償部173，並且自訊框記憶體169讀出幀內預測中所使用之圖像，並供給至幀內預測部171。
向幀內預測部171，自可逆解碼部162供給將標頭資訊進行解碼所獲得之表示幀內預測模式之資訊及鄰接像素之偏移量之資訊。幀內預測部171係亦將該等資訊供給至鄰接像素內插部172。
幀內預測部171係基於該等資訊，視需要，使鄰接像素內插部172將鄰接像素之相位加以偏移，使用鄰接像素或相位已進行偏移之鄰接像素，產生預測圖像，並將所產生之預測圖像輸出至開關174。
鄰接像素內插部172係於與自幀內預測部171供給之幀內預測模式對應之偏移方向上，使鄰接像素之相位以自幀內預測部171所供給之偏移量進行偏移。實際上，鄰接像素內插部172係於與幀內預測模式對應之偏移方向上，對鄰接像素使用6階FIR濾波器進行濾出，並進行線性內插，藉此使鄰接像素之相位偏移至小數像素精度。鄰接像素內插部172係將相位已進行偏移之鄰接像素供給至幀內預測部171。
向動態預測、補償部173，自可逆解碼部162供給將標頭資訊進行解碼所獲得之資訊(預測模式資訊、移動向量資訊、參考訊框資訊)。 於被供給到表示幀間預測模式之資訊之情形時，動態預測、補償部173係根據移動向量資訊及參考訊框資訊而對圖像實施動態預測及補償處理，產生預測圖像。動態預測、補償部173係將藉由幀間預測模式所產生之預測圖像輸出至開關174。
開關174係選擇藉由動態預測、補償部173或幀內預測部171所產生之預測圖像，並供給至運算部165。
[幀內預測部及鄰接像素內插部之構成例]
圖27係表示幀內預測部及鄰接像素內插部之詳細構成例之方塊圖。
於圖27之例之情形時，幀內預測部171包括預測模式接收部181、偏移量接收部182及幀內預測圖像產生部183。鄰接像素內插部172包括水平方向內插部191及垂直方向內插部192。
預測模式接收部181係接收藉由可逆解碼部162已進行解碼之幀內預測模式資訊。預測模式接收部181將所接收之幀內預測模式資訊，供給至幀內預測圖像產生部183、水平方向內插部191及垂直方向內插部192。
偏移量接收部182係接收藉由可逆解碼部162已進行解碼之偏移量(水平方向及垂直方向)之資訊。偏移量接收部182係於所接收之偏移量中，將水平方向之偏移量供給至水平方向內插部191，且將垂直方向之偏移量供給至垂直方向內插部192。
向幀內預測圖像產生部183，輸入有藉由預測模式接收部181所接收之幀內預測模式之資訊。又，向幀內預測圖像產生部183，自水平方向內插部191輸入有上部鄰接像素或已進行內插之上部鄰接像素之資訊，且自垂直方向內插部192輸入有左部鄰接像素或已進行內插之左部鄰接像素之資訊。
幀內預測圖像產生部183係以所輸入之幀內預測模式資訊所示之 預測模式，使用鄰接像素或已進行內插之鄰接像素之像素值進行幀內預測，產生預測圖像，並將所產生之預測圖像輸出至開關174。
水平方向內插部191係根據來自預測模式接收部181之預測模式，自訊框記憶體169讀出上部鄰接像素。水平方向內插部191係藉由6階FIR濾波器及線性內插，使所讀出之上部鄰接像素之相位以來自偏移量接收部182之水平方向之偏移量進行偏移。已進行內插之上部鄰接像素或未進行內插之上部鄰接像素(亦即，來自訊框記憶體169之鄰接像素)之資訊被供給至幀內預測圖像產生部183。於圖27之情形時，雖然省略開關170之圖示，但鄰接像素係自訊框記憶體169經由開關170而被讀出。
垂直方向內插部192係根據來自預測模式接收部181之預測模式，自訊框記憶體169讀出左部鄰接像素。垂直方向內插部192係藉由6階FIR濾波器及線性內插，使所讀出之左部鄰接像素之相位以來自偏移量接收部182之垂直方向之偏移量進行偏移。已進行線性內插之左部鄰接像素或未進行內插之左部鄰接像素(亦即，來自訊框記憶體169之鄰接像素)之資訊被供給至幀內預測圖像產生部183。
[圖像解碼裝置之解碼處理之說明]
其次，參考圖28之流程圖，就圖像解碼裝置151所執行之解碼處理加以說明。
於步驟S131中，儲存緩衝部161係儲存傳輸來之圖像。於步驟S132中，可逆解碼部162對自儲存緩衝部161所供給之壓縮圖像進行解碼。亦即，藉由圖2之可逆編碼部66已進行編碼之I畫面、P畫面及B畫面被解碼。
此時，移動向量資訊、參考訊框資訊、預測模式資訊(幀內預測模式、或表示幀間預測模式之資訊)、旗標資訊及偏移量之資訊等亦被解碼。
亦即，於預測模式資訊為幀內預測模式資訊之情形時，預測模式資訊及偏移量之資訊被供給至幀內預測部171。於預測模式資訊為幀間預測模式資訊之情形時，與預測模式資訊對應之移動向量資訊及參考訊框資訊被供給至動態預測、補償部173。
於步驟S133中，逆量化部163係將藉由可逆解碼部162已進行解碼之轉換係數，以與圖2之量化部65之特性對應之特性進行逆量化。於步驟S134中，逆正交轉換部164係將藉由逆量化部163已進行逆量化之轉換係數，以與圖2之正交轉換部64之特性對應之特性進行逆正交轉換。藉此，與圖2之正交轉換部64之輸入(運算部63之輸出)對應之差分資訊得以解碼。
於步驟S135中，運算部165將於下述步驟S141之處理中選擇且經由開關174所輸入之預測圖像與差分資訊進行相加。藉此，原圖像得以解碼。於步驟S136中，解塊濾波器166係將自運算部165所輸出之圖像進行濾波。藉此，將區塊失真去除。於步驟S137中，訊框記憶體169記憶經濾波之圖像。
於步驟S138中，幀內預測部171及動態預測、補償部173與自可逆解碼部162所供給之預測模式資訊對應，分別進行圖像之預測處理。
亦即，於自可逆解碼部162供給有幀內預測模式資訊之情形時，幀內預測部171進行幀內預測模式之幀內預測處理。此時，幀內預測部171使用鄰接像素進行幀內預測處理，該鄰接像素係於與幀內預測模式對應之偏移方向上，使相位以自可逆解碼部162所供給之偏移量進行偏移者。
步驟S138中之預測處理之詳細情況將參考圖29於下文中進行敘述，但藉由該處理，藉由幀內預測部171所產生之預測圖像、或藉由動態預測、補償部173所產生之預測圖像被供給至開關174。
於步驟S139中，開關174選擇預測圖像。亦即，供給有藉由幀內 預測部171所產生之預測圖像、或藉由動態預測、補償部173所產生之預測圖像。因此，選擇所供給之預測圖像並供給至運算部165，如上所述，於步驟S134中，與逆正交轉換部164之輸出進行相加。
於步驟S140中，畫面重排緩衝部167進行重排。亦即，將藉由圖像編碼裝置51之畫面重排緩衝部62為編碼而加以重排之訊框之順序，重排為原顯示順序。
於步驟S141中，D/A轉換部168係將來自畫面重排緩衝部167之圖像進行D/A轉換。該圖像輸出至未圖示之顯示器並顯示圖像。
[預測處理之說明]
其次，參考圖29之流程圖，對圖28之步驟S138之預測處理進行說明。
預測模式接收部181於步驟S171中，判定對象區塊是否進行幀內編碼。當幀內預測模式資訊自可逆解碼部162供給至預測模式接收部181時，預測模式接收部181於步驟S171中，判定為對象區塊已進行幀內編碼，處理進入步驟S172。
預測模式接收部181於步驟S172中，接收並取得來自可逆解碼部162之幀內預測模式資訊。預測模式接收部181將所接收之幀內預測模式資訊，供給至幀內預測圖像產生部183、水平方向內插部191及垂直方向內插部192。
偏移量接收部182於步驟S173中，接收並取得藉由可逆解碼部162已進行解碼之鄰接像素之偏移量(水平方向及垂直方向)之資訊。偏移量接收部182係於所接收之偏移量中，將水平方向之偏移量供給至水平方向內插部191，且將垂直方向之偏移量供給至垂直方向內插部192。
水平方向內插部191及垂直方向內插部192係自訊框記憶體169讀出鄰接像素，並於步驟S174中，執行鄰接像素內插處理。步驟S174中之鄰接內插處理之詳細情況係與參考圖25已進行敘述之鄰接內插處理 基本上相同之處理，故而省略其說明及圖示。
藉由該處理，於與來自預測模式接收部181之幀內預測模式對應之偏移方向上已進行內插之鄰接像素、或者根據幀內預測模式未進行內插之鄰接像素將供給至幀內預測圖像產生部183。
亦即，於幀內預測模式為模式2(DC預測)之情形時，水平方向內插部191及垂直方向內插部192不進行鄰接像素之內插，將自訊框記憶體169所讀出之上部及左部鄰接像素供給至幀內預測圖像產生部183。
於幀內預測模式為模式0(Vertical預測)、模式3(Diagonal_Down_Left預測)、或模式7(Vertical_Left預測)之情形時，僅進行水平方向之內插。亦即，水平方向內插部191對自訊框記憶體169所讀出之上部鄰接像素，以來自偏移量接收部182之水平方向之偏移量進行內插，並將已進行內插之上部鄰接像素供給至幀內預測圖像產生部183。此時，垂直方向內插部192不進行左部鄰接像素之內插，將自訊框記憶體169所讀出之左部鄰接像素供給至幀內預測圖像產生部183。
於幀內預測模式為模式1(Horizontal預測)、或模式8(Horizontal_Up預測)之情形時，僅進行垂直方向之內插。亦即，垂直方向內插部192對自訊框記憶體169所讀出之左部鄰接像素，以來自偏移量接收部182之垂直方向之偏移量進行內插，並將已進行內插之左部鄰接像素供給至幀內預測圖像產生部183。此時，水平方向內插部191不進行上部鄰接像素之內插，將自訊框記憶體169所讀出之上部鄰接像素供給至幀內預測圖像產生部183。
於幀內預測模式為其他預測模式之情形時，進行水平方向及垂直方向之內插。亦即，水平方向內插部191對自訊框記憶體169所讀出之上部鄰接像素，以來自偏移量接收部182之水平方向之偏移量進行內插，並將已進行內插之上部鄰接像素供給至幀內預測圖像產生部183。垂直方向內插部192對自訊框記憶體169所讀出之左部鄰接像素，以來 自偏移量接收部182之垂直方向之偏移量進行內插，並將已進行內插之左部鄰接像素供給至幀內預測圖像產生部183。
於步驟S175中，幀內預測圖像產生部183係以所輸入之幀內預測模式資訊所示之預測模式，使用來自水平方向內插部191及垂直方向內插部192之鄰接像素或已進行內插之鄰接像素之像素值進行幀內預測。藉由該幀內預測而產生預測圖像，所產生之預測圖像被輸出至開關174。
另一方面，於步驟S171中，於判定出未進行幀內編碼之情形時，處理進入步驟S176。
於處理對象之圖像為需進行內部處理之圖像之情形時，幀間預測模式資訊、參考訊框資訊、移動向量資訊自可逆解碼部162供給至動態預測、補償部173。於步驟S176中，動態預測、補償部173取得來自可逆解碼部162之幀間預測模式資訊、參考訊框資訊、移動向量資訊等。
繼而，動態預測、補償部173於步驟S177中，進行幀間動態預測。亦即，於處理對象之圖像為需進行幀間預測處理之圖像之情形時，自訊框記憶體169讀出所需之圖像，並經由開關170供給至動態預測、補償部173。於步驟S177中，動態預測、補償部173係根據步驟S176中所取得之移動向量，進行幀間預測模式之動態預測，產生預測圖像。所產生之預測圖像被輸出至開關174。
如上所述，於圖像編碼裝置51中，藉由6階FIR濾波器及線性內插而求出小數像素精度之像素，並決定最佳偏移量，因此可增加幀內預測模式中所使用之像素值之選擇項。藉此，可進行最佳幀內預測，可進一步提高幀內預測之編碼效率。
又，於H.264/AVC方式中，亦可將只能用於參考圖4已進行敘述之幀間動態預測補償之6階FIR濾波器之電路，有效地活用於幀內預測。藉此，不必使電路增大，便可改善效率。
進而，能夠以與H.264/AVC方式中規定之幀內預測之分辨率即22.5°相比更細之分辨率進行幀內預測。
另外，於圖像編碼裝置51中，與非專利文獻2所揭示之提案不同地，僅以下像素利用於幀內預測，該像素係以特定之位置與H.264/AVC方式之幀內預測中所使用之對象區塊鄰接者。亦即，自鄰接像素緩衝部81讀出之像素僅為鄰接像素即可。
因此，可避免非專利文獻2之提案中之除成為編碼對象之區塊之鄰接像素以外之像素亦應用於預測之情況所引起的記憶體存取次數或處理之增加，亦即，處理效率之下降。
另外，於上述說明中，作為鄰接像素內插處理，以亮度信號之幀內4×4預測模式之情況為例進行了說明，但本發明亦可適用於幀內8×8或幀內16×16預測模式之情形。又，本發明亦可適用於色差信號之幀內預測模式之情形。
另外，於幀內8×8預測模式之情形時，與幀內4×4預測模式之情形相同地，關於模式2(DC prediction mode)，進行平均值處理。因此，即便已進行偏移，亦不會直接有助於提高編碼效率，故而上述動作遭到禁止而不進行。
關於模式0(Vertical Prediction mode)、模式3(Diagonal_Down_Left Prediction mode)、或模式7(Vertical_Left Prediction mode)，圖18中之僅上部鄰接像素A0、A1、A2、...之偏移成為候補。
關於模式1(Horizontal Prediction mode)、或模式8(Horizontal_Up Prediction mode)，圖18中之僅左部鄰接像素I0、I1、I2、...之偏移成為候補。
關於其他模式(模式4至6)，必需考慮上部鄰接像素及左部鄰接像素之雙方之偏移。
又，於幀內16×16預測模式及色差信號之幀內預測模式之情形 時，關於Vertical Prediction mode，僅進行上部鄰接像素之水平方向之偏移。關於Horizontal Prediction mode，僅進行左部鄰接像素之垂直方向之偏移。關於DC Prediction mode，不進行偏移處理。關於Plane Prediction mode，進行上部鄰接像素之水平方向之偏移及左部鄰接像素之垂直方向之偏移之雙方。
進而，如非專利文獻1所揭示，於動態預測中進行1/8像素精度之內插處理之情形時，於本發明中，亦進行1/8像素精度之內插處理。
於以上說明中，使用H.264/AVC方式作為編碼方式，但本發明並不限定於此，可適用進行使用鄰接像素之幀內預測之其他編碼方式/解碼方式。
另外，本發明可適用於例如MPEG、H.26x等般，將藉由離散餘弦轉換等正交轉換及動態補償而進行壓縮之圖像資訊(位元串流)，經由衛星廣播、有線電視、網際網路或行動電話等網路媒體接收時使用之圖像編碼裝置及圖像解碼裝置。又，本發明可適用於光、磁碟及快閃記憶體之記憶媒體上進行處理時使用之圖像編碼裝置及圖像解碼裝置。進而，本發明亦可適用於彼等圖像編碼裝置及圖像解碼裝置等中所含之動態預測補償裝置。
上述之一連串處理可藉由硬體執行，亦可藉由軟體執行。於藉由軟體執行一連串處理之情形時，將構成該軟體之程式安裝於電腦。於此，電腦包括可裝入專用硬體之電腦、或藉由安裝各種程式而可執行各種功能之通用之個人電腦等。
圖30係表示藉由程式執行上述之一連串處理之電腦之硬體之構成例的方塊圖。
於電腦中，CPU(Central Processing Unit，中央處理單元)301、ROM(Read Only Memory，唯讀記憶體)302、RAM(Random Access Memory，隨機存取記憶體)303係藉由匯流排304而相互連接。
於匯流排304上，進而連接有輸入輸出介面305。於輸入輸出介面305上，連接有輸入部306、輸出部307、記憶部308、通信部309及驅動部310。
輸入部306包括鍵盤、滑鼠、麥克風等。輸出部307包括顯示器、揚聲器等。記憶部308包括硬碟或非揮發性之記憶體等。通信部309包括網路介面等。驅動部310係對磁碟、光碟、磁光碟或半導體記憶體等可移除式媒體311進行驅動。
於如上所述構成之電腦中，CPU 301例如將記憶於記憶部308之程式經由輸入輸出介面305及匯流排304載入RAM 303而執行，藉此進行上述之一連串處理。
電腦(CPU 301)所執行之程式係例如可記錄於作為套裝軟體媒體等之可移除式媒體311而提供。又，程式係可經由區域網路、網際網路、數位廣播之有線或無線之傳輸媒體而提供。
於電腦中，程式可藉由將可移除式媒體311安裝於驅動部310，而經由輸入輸出介面305安裝於記憶部308。又，程式可經由有線或無線之傳輸媒體而由通信部309接收，並安裝於記憶部308。此外，程式可預先安裝於ROM 302或記憶部308。
另外，電腦所執行之程式可為按照本說明書中所說明之順序而時間序列性地進行處理的程式，亦可為並行或以進行調換時等所需之時序進行處理的程式。
本發明之實施形態並不限定於上述實施形態，可於不脫離本發明之主旨之範圍內進行各種變更。

Claims (14)

  1. 一種圖像處理裝置，其包括：相位偏移部，其係構成為依據幀內預測模式來垂直偏移與用於幀內預測之處理的幀內預測區塊(intra prediction block)鄰接之左部鄰接像素(left adjacent pixel)之相位；預測圖像產生部，其係構成為使用相位經上述相位偏移部偏移後的上述左部鄰接像素來執行上述幀內預測，並產生上述幀內預測區塊之預測圖像；及編碼部，其係構成為使用由上述預測圖像產生部所產生之預測圖像來對上述幀內預測區塊進行編碼。
  2. 如請求項1之圖像處理裝置，其中上述編碼部係對上述幀內預測區塊之圖像與由上述預測圖像產生部所產生之上述預測圖像之間的差分資訊進行編碼，以產生編碼串流。
  3. 如請求項2之圖像處理裝置，其進一步包括：模式決定部，其係決定幀內預測用之上述幀內預測模式。
  4. 如請求項1之圖像處理裝置，其中上述相位偏移部係藉由對左部鄰接像素之線性內插來垂直偏移上述左部鄰接像素之相位。
  5. 如請求項1之圖像處理裝置，其中上述相位偏移部係在根據小數像素精度之位置，垂直偏移上述左部鄰接像素之相位。
  6. 如請求項1之圖像處理裝置，其中上述預測圖像產生部係以小數像素精度執行上述幀內預測。
  7. 如請求項1之圖像處理裝置，其中上述相位偏移部係依照根據上述幀內預測模式之偏移方向來垂直偏移上述左部鄰接像素之相位。
  8. 一種圖像處理方法，其包含如下步驟：相位偏移步驟，其係依據幀內預測模式來垂直偏移與用於幀內預測之處理的幀內預測區塊鄰接之左部鄰接像素之相位；預測圖像產生步驟，其係使用相位以上述相位偏移步驟偏移後的上述左部鄰接像素來執行上述幀內預測，並產生上述幀內預測區塊之預測圖像；及編碼步驟，其係使用以上述預測圖像產生步驟所產生之預測圖像來對上述幀內預測區塊進行編碼。
  9. 如請求項8之圖像處理方法，其中上述編碼步驟包括對上述幀內預測區塊之圖像與以上述預測圖像產生步驟產生之上述預測圖像之間的差分資訊進行編碼，以產生編碼串流。
  10. 如請求項9之圖像處理方法，其進一步包括：模式決定步驟，其係決定幀內預測用之上述幀內預測模式。
  11. 如請求項8之圖像處理方法，其中上述相位偏移步驟包括藉由對左部鄰接像素之線性內插來垂直偏移上述左部鄰接像素之相位。
  12. 如請求項8之圖像處理方法，其中上述相位偏移步驟包括在根據小數像素精度之位置，垂直偏移上述左部鄰接像素之相位。
  13. 如請求項8之圖像處理方法，其中上述預測圖像產生步驟包括以小數像素精度執行上述幀內預測。
  14. 如請求項8之圖像處理方法，其中 上述相位偏移步驟包括依照根據上述幀內預測模式之偏移方向來垂直偏移上述左部鄰接像素之相位。
TW102111790A 2009-04-24 2010-03-23 Image processing apparatus and method TWI528789B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009105937A JP5169978B2 (ja) 2009-04-24 2009-04-24 画像処理装置および方法

Publications (2)

Publication Number Publication Date
TW201347560A TW201347560A (zh) 2013-11-16
TWI528789B true TWI528789B (zh) 2016-04-01

Family

ID=43011172

Family Applications (5)

Application Number Title Priority Date Filing Date
TW102111789A TWI540901B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method
TW102111788A TWI531216B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method
TW102111790A TWI528789B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method
TW102111791A TWI524743B (zh) 2009-04-24 2010-03-23 An image processing apparatus, an image processing method, a program, and a recording medium
TW99108540A TWI400960B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW102111789A TWI540901B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method
TW102111788A TWI531216B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW102111791A TWI524743B (zh) 2009-04-24 2010-03-23 An image processing apparatus, an image processing method, a program, and a recording medium
TW99108540A TWI400960B (zh) 2009-04-24 2010-03-23 Image processing apparatus and method

Country Status (12)

Country Link
US (4) US10755444B2 (zh)
EP (3) EP3211895A1 (zh)
JP (1) JP5169978B2 (zh)
KR (5) KR101786418B1 (zh)
CN (5) CN104320666B (zh)
AU (1) AU2010240090B2 (zh)
BR (1) BRPI1015330B1 (zh)
CA (2) CA2973288C (zh)
MX (1) MX2011010960A (zh)
RU (3) RU2547634C2 (zh)
TW (5) TWI540901B (zh)
WO (1) WO2010123056A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431971B2 (en) 2019-06-24 2022-08-30 Industrial Technology Research Institute Method and image processing apparatus for video coding

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
ES2718426T3 (es) 2010-12-17 2019-07-01 Mitsubishi Electric Corp Dispositivo de codificación de imágenes en movimiento, dispositivo de decodificación de imágenes en movimiento, método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法
TW201235974A (en) * 2011-02-25 2012-09-01 Altek Corp Image processing apparatus and memory accessing method thereof
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR101654673B1 (ko) 2011-06-28 2016-09-22 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
TWI484442B (zh) * 2012-09-20 2015-05-11 Univ Nat Taiwan Science Tech 錯視影像產生裝置及其方法
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
CN105338366B (zh) * 2015-10-29 2018-01-19 北京工业大学 一种视频序列中分数像素的解码方法
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
US11368682B2 (en) 2016-04-26 2022-06-21 Intellectual Discovery Co., Ltd. Method and device for encoding/decoding image
MX2019004151A (es) 2016-10-11 2019-08-05 Lg Electronics Inc Metodo y aparato de decodificación de imagen basados en la intrapredicción en sistema de codificación de imagen.
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
JP7188594B2 (ja) * 2019-07-18 2022-12-13 日本電気株式会社 画像処理装置および画像処理方法
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2023192336A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction
WO2023212254A1 (en) * 2022-04-27 2023-11-02 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078657A (ko) * 1996-05-20 1997-12-12 구자홍 비디오 데이타 압축 장치
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
US6418408B1 (en) * 1999-04-05 2002-07-09 Hughes Electronics Corporation Frequency domain interpolative speech codec system
US6987893B2 (en) * 2001-01-05 2006-01-17 Lg Electronics Inc. Image interpolation method and apparatus thereof
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2003037843A (ja) * 2001-07-23 2003-02-07 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7120196B2 (en) * 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
JP2003348595A (ja) 2002-05-28 2003-12-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
AU2003248913A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
BRPI0408087A (pt) * 2003-03-03 2006-02-14 Agency Science Tech & Res método de intrapredição de codificação de vìdeo avançada (avc) para codificar vìdeo digital, aparelho que utiliza essa intrapredição e produto de programa de computador
JP3968712B2 (ja) * 2003-04-28 2007-08-29 ソニー株式会社 動き予測補償装置及びその方法
US8417066B2 (en) * 2004-03-04 2013-04-09 Broadcom Corporation Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
JP5037938B2 (ja) * 2004-04-28 2012-10-03 日立コンシューマエレクトロニクス株式会社 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
WO2006020019A1 (en) * 2004-07-15 2006-02-23 Qualcomm Incorporated H.264 spatial error concealment based on the intra-prediction direction
JP4501631B2 (ja) * 2004-10-26 2010-07-14 日本電気株式会社 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
US7830960B2 (en) * 2005-01-13 2010-11-09 Qualcomm Incorporated Mode selection techniques for intra-prediction video encoding
US8340175B2 (en) * 2005-04-13 2012-12-25 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
KR100718135B1 (ko) * 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
JP4650173B2 (ja) * 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
EP1985124B1 (en) * 2006-02-17 2010-09-01 Thomson Licensing Process for coding images using intra prediction mode
US7929608B2 (en) * 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
US7545740B2 (en) 2006-04-07 2009-06-09 Corrigent Systems Ltd. Two-way link aggregation
US20070286277A1 (en) * 2006-06-13 2007-12-13 Chen Xuemin Sherman Method and system for video compression using an iterative encoding algorithm
CN102685496B (zh) * 2006-07-10 2014-11-05 夏普株式会社 用于组合多层比特流中的层的方法和系统
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
AU2006346583B2 (en) 2006-07-28 2011-04-28 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
JP4854019B2 (ja) 2006-11-29 2012-01-11 独立行政法人情報通信研究機構 意見収集システム、意見収集方法および意見収集プログラム
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
US8942505B2 (en) 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
KR101103699B1 (ko) * 2007-02-23 2012-01-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
JP4762938B2 (ja) * 2007-03-06 2011-08-31 三菱電機株式会社 データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
JP2008271371A (ja) * 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
JP2009010492A (ja) * 2007-06-26 2009-01-15 Hitachi Ltd 画像復号化装置及び画像変換回路
CN101115207B (zh) * 2007-08-30 2010-07-21 上海交通大学 基于预测点间相关性的帧内预测实现的方法及装置
KR101712915B1 (ko) * 2007-10-16 2017-03-07 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP2009284275A (ja) 2008-05-23 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
KR101479141B1 (ko) * 2009-12-10 2015-01-07 에스케이텔레콤 주식회사 트리 구조를 이용한 부호화/복호화 방법 및 장치
JP2012086745A (ja) 2010-10-21 2012-05-10 Tenryu Kogyo Kk 乗物用座席のヘッドレスト構造
JP5614233B2 (ja) 2010-10-21 2014-10-29 トヨタ自動車株式会社 排気部品の遮熱構造
JP5488684B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5488685B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431971B2 (en) 2019-06-24 2022-08-30 Industrial Technology Research Institute Method and image processing apparatus for video coding

Also Published As

Publication number Publication date
US10755445B2 (en) 2020-08-25
CA2973288A1 (en) 2010-10-28
CN104320664B (zh) 2018-09-14
CN102396230B (zh) 2015-06-17
BRPI1015330A2 (pt) 2016-05-31
RU2015103222A3 (zh) 2018-07-27
TW201347561A (zh) 2013-11-16
US11107251B2 (en) 2021-08-31
RU2665877C2 (ru) 2018-09-04
WO2010123056A1 (ja) 2010-10-28
MX2011010960A (es) 2011-11-02
CN104320666A (zh) 2015-01-28
TWI531216B (zh) 2016-04-21
CA2973288C (en) 2018-12-04
RU2011142001A (ru) 2013-04-27
KR101641474B1 (ko) 2016-07-20
CN104320665A (zh) 2015-01-28
KR101641400B1 (ko) 2016-07-20
US20130301941A1 (en) 2013-11-14
KR20170005158A (ko) 2017-01-11
KR101786418B1 (ko) 2017-10-17
CN104320664A (zh) 2015-01-28
US20200320746A1 (en) 2020-10-08
AU2010240090B2 (en) 2015-11-12
TW201105144A (en) 2011-02-01
AU2010240090A1 (en) 2011-10-27
EP3211896A1 (en) 2017-08-30
CN104320666B (zh) 2018-11-02
CN104363457A (zh) 2015-02-18
CA2755889C (en) 2017-08-15
TWI524743B (zh) 2016-03-01
KR101690471B1 (ko) 2016-12-27
CN104363457B (zh) 2018-09-04
RU2665876C2 (ru) 2018-09-04
RU2547634C2 (ru) 2015-04-10
TWI400960B (zh) 2013-07-01
US20190221007A1 (en) 2019-07-18
KR20160086419A (ko) 2016-07-19
CN104320665B (zh) 2018-08-31
JP5169978B2 (ja) 2013-03-27
RU2015103369A (ru) 2015-06-20
US10755444B2 (en) 2020-08-25
US9123109B2 (en) 2015-09-01
US20120033736A1 (en) 2012-02-09
EP2424246A1 (en) 2012-02-29
KR20160086420A (ko) 2016-07-19
KR101697056B1 (ko) 2017-01-16
CN102396230A (zh) 2012-03-28
TW201347559A (zh) 2013-11-16
BRPI1015330B1 (pt) 2021-04-13
JP2010258740A (ja) 2010-11-11
KR20150022027A (ko) 2015-03-03
EP3211895A1 (en) 2017-08-30
EP2424246A4 (en) 2013-10-02
TW201347560A (zh) 2013-11-16
CA2755889A1 (en) 2010-10-28
TW201347558A (zh) 2013-11-16
RU2015103222A (ru) 2016-08-20
TWI540901B (zh) 2016-07-01
KR20120027145A (ko) 2012-03-21
RU2015103369A3 (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
TWI528789B (zh) Image processing apparatus and method
KR20180134764A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2010035137A (ja) 画像処理装置および方法、並びにプログラム
US20120147960A1 (en) Image Processing Apparatus and Method
JP2010268259A (ja) 画像処理装置および方法、並びにプログラム
JP2010258739A (ja) 画像処理装置および方法、並びにプログラム
JP5488685B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
AU2015255215B2 (en) Image processing apparatus and method
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6102978B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5776804B2 (ja) 画像処理装置および方法、並びに記録媒体
JP5776803B2 (ja) 画像処理装置および方法、並びに記録媒体
WO2023055968A1 (en) Methods and devices for decoder-side intra mode derivation