TWI699996B - 圖像處理裝置及方法 - Google Patents
圖像處理裝置及方法 Download PDFInfo
- Publication number
- TWI699996B TWI699996B TW107141014A TW107141014A TWI699996B TW I699996 B TWI699996 B TW I699996B TW 107141014 A TW107141014 A TW 107141014A TW 107141014 A TW107141014 A TW 107141014A TW I699996 B TWI699996 B TW I699996B
- Authority
- TW
- Taiwan
- Prior art keywords
- unit
- image
- intra prediction
- filter
- prediction
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 348
- 238000000034 method Methods 0.000 title claims abstract description 229
- 230000008569 process Effects 0.000 claims description 153
- 238000006243 chemical reaction Methods 0.000 claims description 108
- 238000001914 filtration Methods 0.000 claims description 98
- 238000003672 processing method Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 230000007480 spreading Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 abstract description 122
- 230000015654 memory Effects 0.000 abstract description 103
- 230000006870 function Effects 0.000 description 116
- 239000000872 buffer Substances 0.000 description 100
- 230000002441 reversible effect Effects 0.000 description 96
- 238000004364 calculation method Methods 0.000 description 59
- 238000010586 diagram Methods 0.000 description 56
- 239000013598 vector Substances 0.000 description 44
- 230000008707 rearrangement Effects 0.000 description 38
- 230000007246 mechanism Effects 0.000 description 32
- 239000012536 storage buffer Substances 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 230000005236 sound signal Effects 0.000 description 17
- 230000009466 transformation Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 2
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 229930091051 Arenine Natural products 0.000 description 1
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
本發明係關於一種可進行與圖像或位元率對應之雜訊去除之圖像處理裝置及方法。低通濾波器設定部93自內置之濾波係數記憶體94中所儲存之濾波係數中,設定與幀內預測模式資訊及量化參數對應之濾波係數。鄰接像素設定部81使用由低通濾波器設定部93所設定之濾波係數,對來自訊框記憶體72之對象區塊之鄰接像素值實施濾波處理。預測圖像產生部82使用來自鄰接像素設定部81之經濾波處理之鄰接像素值進行幀內預測,產生預測圖像。本發明可適用於例如以H.264/AVC方式進行編碼之圖像編碼裝置。
Description
本發明係關於一種圖像處理裝置及方法,尤其係關於一種可實現與圖像或位元率對應之雜訊去除並可改善預測效率之圖像處理裝置及方法。
近年來,將圖像資訊作為數位來進行處理,此時,以高效率之資訊傳輸、儲存為目的,利用圖像資訊特有之冗長性,採用藉由離散餘弦轉換等正交轉換與移動補償進行壓縮之編碼方式對圖像進行壓縮編碼之裝置不斷普及。該編碼方式例如有MPEG(Moving Picture Experts Group,動畫專家組)等。 尤其,MPEG2(ISO/IEC (International Standardization Organization/ International Electrotechnical Commission,國際標準化組織/國際電機工業委員會)13818-2)被定義為通用圖像編碼方式,其係囊括了隔行掃描圖像及逐行掃描圖像之雙方、以及標準解析度圖像及高精細圖像之標準。例如,MPEG2當前正廣泛地適用於專業用途及消費型用途之廣泛實際應用中。藉由使用MPEG2壓縮方式,例如若為具有720×480像素之標準解析度之隔行掃描圖像便可分配4至8 Mbps之編碼量(位元率)。又,藉由使用MPEG2壓縮方式,例如若為具有1920×1088像素之高解析度之隔行掃描圖像,便可分配18至22 Mbps之編碼量(位元率)。藉此,可實現較高之壓縮率及良好之畫質。 MPEG2主要以適於廣播用之高畫質編碼作為對象,其無法對應於編碼量(位元率)較MPEG1低、即壓縮率較MPEG1高之編碼方式。因便攜終端之普及,今後對於此種編碼方式之需要會增大,對應於此,進行MPEG4編碼方式之標準化。關於圖像編碼方式,1998年12月其規格作為ISO/IEC 14496-2而被承認為國際標準。 進而,近年來,當初以電視會議用之圖像編碼為目的,H.26L(ITU(International Telecommunication Union,國際電信聯盟)-T Q6/16 VCEG(Video Coding Experts Group,視訊編碼專家組))之標準之規格化得以發展。眾所周知,與MPEG2或MPEG4之先前編碼方式相比,H.26L因其編碼、解碼而要求更多之運算量,但其可實現更高之編碼效率。又,當前作為MPEG4之舉動之一環,以該H.26L為基礎,亦引入H.26L不支持之功能而實現更高編碼效率之標準化,係作為Joint Model of Enhanced-Compression Video Coding(增強壓縮視頻編碼之聯合模式)而進行。作為標準化之進程,於2003年3月成為H.264及MPEG-4 Part10 (Advanced Video Coding(進階視頻編碼),以下記作H.264/AVC)之國際標準。 進而,作為其之擴展,2005年2月完成了亦包含RGB或4:2:2、4:4:4之類之商業用所必需之編碼方法、或由MPEG-2規定之8x8DCT(Discrete Cosine Transformation,離散餘弦轉換)或量化矩陣在內的FRExt(Fidelity Range Extension,保真度範圍擴展)之標準化。藉此,使用H.264/AVC成為亦可良好地表現影像中所含之影片雜訊之編碼方式,將用於Blu-Ray Disc(商標)等之廣泛實際應用中。 然而,最近,對高畫質圖像之4倍之4000×2000像素左右之圖像進行壓縮之、對於更高壓縮率編碼之需求高漲。或者,期望於如網際網路之傳輸容量受限之環境中傳送高畫質圖像之、對於更高壓縮率編碼之需求高漲。因此,於上述之ITU-T(International Telecommunications Union-Telecommunication Standards Sector)下之VCEG(=Video Coding Expert Group)中繼續進行關於改善編碼效率之研究。 此處,與先前之MPEG2方式等相比,H.264/AVC方式實現較高之編碼效率之主要原因之一,可列舉幀內預測方式之採用。 於幀內預測方式中,關於亮度信號,規定有九種4×4像素及8×8像素之區塊單位、以及四種16×16像素之巨集區塊單位之幀內預測模式。關於色差信號,規定有四種8×8像素之區塊單位之幀內預測模式。色差信號之幀內預測模式可獨立於亮度信號之幀內預測模式而設定。 於此種幀內預測後之殘差之出現方式中,針對每個幀內預測模式而存在特定之圖案。 作為排除上述冗長性,進一步提高編碼效率之方法,於非專利文獻1中提出有如下之方法。 即,預先於離線處理中使用訓練信號,並藉由通常之H.264/AVC方式進行幀內圖像之編碼處理,於每個相對於各區塊之幀內預測模式中,進行K-L(Karhunen-Loeve,卡忽南-拉維)轉換等正交轉換,並計算出最佳之轉換係數。 而且,於實際之編碼處理中,代替H.264/AVC方式中所規定之正交轉換,藉由上述K-L轉換而進行使用有針對每個模式所最佳之正交轉換係數之處理。 又,於非專利文獻2中,亦提出有將上述幀內預測與幀間預測加以組合之方法。 即,於非專利文獻2中,對於幀間預測中所求出之運動向量資訊,不僅產生關於對象區塊之差分資訊,亦產生關於對象區塊周邊之鄰接像素值之差分資訊。於如此產生之與對象區塊相關之差分資訊及與鄰接像素相關之差分資訊之間,藉由實施幀內預測而產生二次差分資訊。然後,將所產生之二次差分資訊正交轉換及量化,並將其與壓縮圖像一併向後段輸出。 藉此,編碼效率得以進一步提高。 又,如上所述,於H.264/AVC方式中,巨集區塊大小為16×16像素。然而,將巨集區塊大小設為16像素×16像素,則對於成為下一代編碼方式之對象之UHD(Ultra High Definition,超高清晰度;4000像素×2000像素)之大圖框並非為最佳。 因此,於非專利文獻3等中,亦提出有將巨集區塊大小例如擴展為32×32像素之大小。 [先前技術文獻] [非專利文獻] [非專利文獻1]「Improved Intra Coding」,VCEG-AF15, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 20-21 April 2007 [非專利文獻2]「Second Order Prediction (SOP) in P Slice」,Sijia Chen, Jinpeng Wang, Shangwen Li and, Lu Yu, VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group (VCEG), 16-18 July 2008 [非專利文獻3]「Video Coding Using Extended Block Sizes」,VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009
[發明所欲解決之問題] 於H.264/AVC方式中,在進行上述8×8像素之區塊單位之幀內預測之前,進行鄰接像素之像素值之低通濾波處理。藉此去除鄰接像素中所含有之雜訊,提高相關性,因此可實現更高之編碼效率。 然而,儘管含有雜訊之程度亦會因輸入圖像或量化參數值、幀內預測模式而不同,但於H.264/AVC方式中,用以去除雜訊之低通濾波器係被固定者。即,該低通濾波器並非係對應於輸入圖像、量化參數值、幀內預測模式等之最佳者。 又,於H.264/AVC方式中,進行上述鄰接像素之像素值之雜訊去除僅適用於8×8像素之區塊單位的幀內預測模式,並不適用於其他模式。 本發明係鑒於所述狀況而完成者,其係實現與圖像或位元率對應之雜訊去除,並改善預測效率者。 [解決問題之技術手段] 本發明之第1態樣之圖像處理裝置包括:解碼機構,其對成為解碼處理之對象之對象區塊的圖像進行解碼;濾波器設定機構,其對應於上述對象區塊,根據編碼參數來設定用於上述對象區塊之幀內預測之、對上述對象區塊之鄰接像素所實施之濾波處理中所使用之係數;以及幀內預測機構,其使用由上述濾波器設定機構所設定之上述係數對上述鄰接像素實施上述濾波處理,並進行上述對象區塊之幀內預測。 上述編碼參數包含上述對象區塊之幀內預測模式或上述對象區塊之量化參數,上述解碼機構對上述對象區塊之幀內預測模式或上述對象區塊之量化參數進行解碼,上述濾波器設定機構可根據藉由上述解碼機構而解碼之幀內預測之模式、或藉由上述解碼機構而解碼之量化參數來設定上述係數。 本發明之第1態樣之圖像處理裝置更包括儲存上述係數之濾波係數儲存機構,上述係數係以如下方式計算出並儲存於上述濾波係數儲存機構中者,即於學習圖像中,使成為編碼處理之對象之學習區塊,與藉由對應於上述學習區塊之幀內預測模式或上述學習區塊之量化參數而對上述學習區塊進行幀內預測所獲得的預測圖像之殘差成為最小,上述濾波器設定機構可自上述濾波係數儲存機構中所儲存之上述係數中,將與上述對象區塊之幀內預測模式或上述對象區塊之量化參數對應者設定為上述係數。 上述濾波係數儲存機構可根據處理器之暫存器長度,將上述係數作為n位元(n為整數)之值加以保持。 上述解碼機構對上述係數進行解碼,該係數係以使上述對象區塊,與藉由使用實施上述濾波處理前之上述鄰接像素對上述對象區塊進行幀內預測所獲得之預測圖像之殘差成為最小的方式於編碼側計算出,且對應於上述對象區塊之幀內預測模式、或上述對象區塊之量化參數而設定者,上述濾波器設定機構可自藉由上述解碼機構而解碼之上述係數中,將與上述對象區塊之幀內預測模式或上述對象區塊之量化參數對應者設定為上述係數。 上述係數可包含濾波係數與偏差值。 上述濾波係數可包含3個分接頭(tap)。 上述濾波係數可以相對於0相位之係數為中心而具有對稱性。 上述解碼機構對上述對象區塊之幀內預測模式進行解碼,上述濾波器設定機構將幀內預測模式中之垂直模式或水平模式設為第1類別,將該等以外之模式設為第2類別,於上述對象區塊之幀內預測模式屬於上述第1類別之情形時,可設定與上述第1類別對應之上述係數,於經解碼之上述對象區塊之幀內預測模式屬於上述第2類別之情形時,可設定與上述第2類別對應之上述係數。 本發明之第1態樣之圖像處理裝置更包括接收機構,其接收表示是否對上述鄰接像素進行上述濾波處理之旗標資訊,上述濾波器設定機構可根據由上述接收機構所接收之旗標資訊,設定是否對上述鄰接像素進行上述濾波處理。 上述接收機構接收巨集區塊單位之上述旗標資訊,上述濾波器設定機構可根據由上述接收機構所接收之旗標資訊,設定是否以巨集區塊為單位對上述鄰接像素進行上述濾波處理。 上述接收機構接收區塊單位之上述旗標資訊,上述濾波器設定機構可根據由上述接收機構所接收之旗標資訊,設定是否以區塊為單位對上述鄰接像素進行上述濾波處理。 本發明之第1態樣之圖像處理方法包括如下步驟,即圖像處理裝置對成為解碼處理之對象之對象區塊的圖像進行解碼,並對應於上述對象區塊,根據編碼參數來設定用於上述對象區塊之幀內預測之、對上述對象區塊之鄰接像素所實施之濾波處理中所使用之係數,且使用所設定之上述係數對上述鄰接像素實施上述濾波處理,並進行上述對象區塊之幀內預測。 本發明之第2態樣之圖像處理裝置包括:濾波器設定機構,其將成為編碼處理之對象之對象區塊作為對象,並根據編碼參數來設定用於上述對象區塊之幀內預測之、對上述對象區塊之鄰接像素所實施之濾波處理中所使用之係數;幀內預測機構,其使用由上述濾波器設定機構所設定之上述係數對上述鄰接像素實施上述濾波處理,並進行上述對象區塊之幀內預測;以及編碼機構,其對上述對象區塊之圖像進行編碼。 上述編碼參數包含上述對象區塊之幀內預測模式或上述對象區塊之量化參數,上述濾波器設定機構對應於上述對象區塊之幀內預測模式或上述對象區塊之量化參數來設定上述係數,上述編碼機構對所對應之上述對象區塊之幀內預測模式或上述對象區塊之量化參數進行編碼。 本發明之第2態樣之圖像處理裝置更包括儲存上述係數之濾波係數儲存機構,上述係數係以如下方式計算出並儲存於上述濾波係數儲存機構中者,即於學習圖像中,使成為編碼處理之對象之學習區塊,與藉由對應於上述學習區塊之幀內預測模式或上述學習區塊之量化參數而對上述學習區塊進行幀內預測所獲得的預測圖像之殘差成為最小,上述濾波器設定機構可自上述濾波係數儲存機構中所儲存之上述係數中,將與上述對象區塊之幀內預測模式或上述對象區塊之量化參數對應者設定為上述係數。 本發明之第2態樣之圖像處理裝置更包括濾波係數計算機構,其以使上述對象區塊與如下預測圖像之殘差成為最小之方式計算出上述係數,即,該預測圖像係藉由使用對應於上述對象區塊之幀內預測模式、或上述對象區塊之量化參數而實施上述濾波處理前之上述鄰接像素,對上述對象區塊進行幀內預測所獲得者,上述濾波器設定機構可自藉由上述濾波係數計算機構所計算出之上述係數中,將與上述對象區塊之幀內預測模式或上述對象區塊之量化參數對應者設定為上述係數,上述編碼機構可進而對上述係數進行編碼。 上述係數可包含濾波係數與偏差值。 上述濾波器設定機構設定是否對上述鄰接像素進行上述濾波處理,上述編碼機構可對表示是否進行由上述濾波器設定機構所設定之上述濾波處理之旗標資訊進行編碼。 本發明之第2態樣之圖像處理方法包括如下步驟,即圖像處理裝置將成為編碼處理之對象之對象區塊作為對象,根據編碼參數來設定用於上述對象區塊之幀內預測之、對上述對象區塊之鄰接像素所實施之濾波處理中所使用之係數,並使用所設定之上述係數對上述鄰接像素實施上述濾波處理,進行上述對象區塊之幀內預測,且對上述對象區塊之圖像進行編碼。 於本發明之第1態樣中,對成為解碼處理之對象之對象區塊的圖像進行解碼,並對應於上述對象區塊,根據編碼參數來設定用於上述對象區塊之幀內預測之、對上述對象區塊之鄰接像素所實施之濾波處理中所使用之係數。而且,使用所設定之上述係數對上述鄰接像素實施上述濾波處理,並進行上述對象區塊之幀內預測。 於本發明之第2態樣中,將成為編碼處理對象之對象區塊作為對象,根據編碼參數來設定用於上述對象區塊之幀內預測之、對上述對象區塊之鄰接像素所實施之濾波處理中所使用之係數。而且,使用所設定之上述係數對上述鄰接像素實施上述濾波處理,並進行上述對象區塊之幀內預測,且對上述對象區塊之圖像進行編碼。 再者,上述之圖像處理裝置之各個可為獨立之裝置,亦可為構成一個圖像編碼裝置或圖像解碼裝置之內部區塊。 [發明之效果] 根據本發明之第1態樣,可對圖像進行解碼。又根據本發明之第2態樣,可進行與圖像或位元率對應之雜訊去除。 根據本發明之第2態樣,可對圖像進行編碼。又根據本發明之第1態樣,可進行與圖像或位元率對應之雜訊去除。
以下,參考圖式對本發明之實施形態進行說明。再者,按以下順序進行說明。 1.第1實施形態(鄰接像素內插濾波器切換:幀內預測之例) 2.第2實施形態(鄰接像素內插濾波器切換:二次預測之例) 3.第3實施形態(鄰接像素內插濾波器開啟/關閉控制:幀內預測之例) 4.第4實施形態(鄰接像素內插濾波器開啟/關閉控制:二次預測之例) <1. 第1實施形態> [圖像編碼裝置之構成例] 圖1表示作為適用本發明之圖像處理裝置之圖像編碼裝置之一實施形態的構成。 該圖像編碼裝置51以例如H.264及MPEG-4 Part10 (Advanced Video Coding)(以下記作H.264/AVC)方式對圖像進行壓縮編碼。 於圖1之例中,圖像編碼裝置51包括:A/D(Analog/ Digital,類比/數位)轉換部61、畫面重排緩衝器62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝器67、逆量化部68、逆正交轉換部69、運算部70、解塊濾波器71、訊框記憶體72、開關73、幀內預測部74、鄰接像素內插濾波器切換部75、運動預測·補償部76、預測圖像選擇部77、以及速率控制部78。 A/D轉換部61對所輸入之圖像進行A/D轉換,並輸出至畫面重排緩衝器62中加以儲存。畫面重排緩衝器62根據GOP(Group of Picture,畫面群組),將所儲存之顯示順序之訊框之圖像重排為用於編碼之訊框順序。 運算部63使自畫面重排緩衝器62所讀出之圖像,減去藉由預測圖像選擇部77所選擇之來自幀內預測部74之預測圖像或來自運動預測·補償部76之預測圖像,並將其差分資訊輸出至正交轉換部64中。正交轉換部64對來自運算部63之差分資訊實施離散餘弦轉換、卡忽南-拉維轉換等正交轉換,並輸出其轉換係數。量化部65將正交轉換部64所輸出之轉換係數加以量化。 成為量化部65之輸出之經量化的轉換係數被輸入至可逆編碼部66中,於該可逆編碼部66中被實施可變長度編碼、算術編碼等可逆編碼且進行壓縮。 可逆編碼部66自幀內預測部74獲得表示幀內預測之資訊等,並自運動預測·補償部76獲得表示幀間預測模式之資訊等。再者,表示幀內預測之資訊以下亦稱為幀內預測模式資訊。又,表示幀間預測之資訊以下亦稱為幀間預測模式資訊。 可逆編碼部66對經量化之轉換係數進行編碼,並且對表示幀內預測之資訊或表示幀間預測模式之資訊、及量化參數等進行編碼,並設為壓縮圖像中之前導資訊之一部分。可逆編碼部66將經編碼之資料供給至儲存緩衝器67中加以儲存。 例如,於可逆編碼部66中進行可變長度編碼或者算術編碼等可逆編碼處理。作為可變長度編碼,可列舉以H.264/ AVC方式所規定之CAVLC(Context-Adaptive Variable Length Coding,基於上下文自適應可變長度編碼)等。作為算術編碼,可列舉CABAC(Context-Adaptive Binary Arithmetic Coding,基於上下文自適應二進制算術編碼)等。 儲存緩衝器67將自可逆編碼部66所供給之資料作為以H.264/AVC方式編碼之壓縮圖像,輸出至例如後段之未圖示之記錄裝置或傳輸路徑等。 又,自量化部65所輸出之經量化之轉換係數亦被輸入至逆量化部68中,經逆量化後,進而於逆正交轉換部69中進行逆正交轉換。經逆正交轉換之輸出藉由運算部70而與自預測圖像選擇部77所供給之預測圖像相加,成為經局部解碼之圖像。解塊濾波器71去除經解碼之圖像之區塊失真後,將其供給至訊框記憶體72中加以儲存。亦對訊框記憶體72供給藉由解塊濾波器71進行解塊濾波處理之前之圖像,並加以儲存。 開關73將訊框記憶體72中所儲存之參考圖像輸出至運動預測·補償部76或幀內預測部74中。 於該圖像編碼裝置51中,例如將來自畫面重排緩衝器62之I畫面、B畫面以及P畫面作為進行幀內預測(亦稱為幀內處理)之圖像供給至幀內預測部74。又,將自畫面重排緩衝器62所讀出之B畫面及P畫面作為進行幀間預測(亦稱為幀間處理)之圖像供給至運動預測·補償部76。 幀內預測部74根據自畫面重排緩衝器62所讀出之進行幀內預測之圖像與自訊框記憶體72所供給之參考圖像,進行成為候補之所有幀內預測模式之幀內預測處理而產生預測圖像。 於該幀內預測處理之前,幀內預測部74對各對象區塊之幀內預測中所使用之像素,即以特定之位置關係鄰接於對象區塊之鄰接像素實施濾波處理。於該濾波處理中,對應於由幀內預測部74所供給之幀內預測模式等,使用由鄰接像素內插濾波器切換部75所設定之濾波係數。即,於幀內預測部74中,在成為候補之所有幀內預測模式之幀內預測處理中使用以由鄰接像素內插濾波器切換部75所設定之濾波係數實施了濾波處理之鄰接像素。 幀內預測部74針對已產生預測圖像之幀內預測模式而計算出價值函數值,並選擇所計算出之價值函數值賦予最小值之幀內預測模式作為最佳幀內預測模式。幀內預測部74將最佳幀內預測模式下所產生之預測圖像與針對所對應之最佳幀內預測模式而計算出之價值函數值供給至預測圖像選擇部77。 幀內預測部74於藉由預測圖像選擇部77已選擇最佳幀內預測模式下所產生之預測圖像之情形時,將表示最佳幀內預測模式之資訊供給至可逆編碼部66。可逆編碼部66於自幀內預測部74已傳送來資訊之情形時,對該資訊進行編碼,並將其設為壓縮圖像中之前導資訊之一部分。 鄰接像素內插濾波器切換部75,儲存後述之圖28之學習裝置251中藉由使用訓練圖像進行學習而獲得之、與量化參數及幀內預測模式對應之濾波係數。 對鄰接像素內插濾波器切換部75供給有來自速率控制部78之量化參數,並自幀內預測部74供給有幀內預測模式之資訊。鄰接像素內插濾波器切換部75係對應於來自速率控制部78之量化參數及來自幀內預測部74之幀內預測模式而設定濾波係數。鄰接像素內插濾波器切換部75將所設定之濾波係數供給至幀內預測部74。 再者,於鄰接像素內插濾波器切換部75中,即便不對應於量化參數及幀內預測模式之雙方,亦可以對應於任一者之方式學習、儲存濾波係數。 又,於鄰接像素內插濾波器切換部75中,儲存有預先於離線下學習所得之濾波係數,但亦可代替此,藉由線上計算出濾波係數。於此情形時,為傳送至解碼側,如虛線箭頭所示般,將由鄰接像素內插濾波器切換部75所設定之濾波係數輸出至可逆編碼部66。 運動預測·補償部76進行成為候補之所有幀間預測模式之運動預測·補償處理。即,對運動預測·補償部76供給自畫面重排緩衝器62所讀出之進行幀間處理之圖像,且經由開關73自訊框記憶體72供給參考圖像。運動預測·補償部76根據進行幀間處理之圖像與參考圖像,檢測成為候補之所有幀間預測模式之運動向量,並根據運動向量對參考圖像實施補償處理,產生預測圖像。 又,運動預測·補償部76針對成為候補之所有幀間預測模式計算出價值函數值。運動預測·補償部76將提供所計算出之價值函數值中之最小值之預測模式決定為最佳幀間預測模式。 運動預測·補償部76將最佳幀間預測模式下所產生之預測圖像及其價值函數值供給至預測圖像選擇部77。運動預測·補償部76於藉由預測圖像選擇部77已選擇最佳幀間預測模式下所產生之預測圖像之情形時,將表示最佳幀間預測模式之資訊(幀間預測模式資訊)輸出至可逆編碼部66中。 再者,若有必要,則亦將運動向量資訊、旗標資訊、參考訊框資訊等輸出至可逆編碼部66中。可逆編碼部66仍對來自運動預測·補償部76之資訊進行可變長度編碼、算術編碼之可逆編碼處理,並將其插入至壓縮圖像之前導部。 預測圖像選擇部77根據自幀內預測部74或運動預測·補償部76所輸出之各價值函數值,自最佳幀內預測模式與最佳幀間預測模式中決定最佳預測模式。然後,預測圖像選擇部77選擇所決定之最佳預測模式之預測圖像,並將其供給至運算部63、70。此時,預測圖像選擇部77將預測圖像之選擇資訊供給至幀內預測部74或運動預測·補償部76。 速率控制部78根據儲存緩衝器67中所儲存之壓縮圖像,藉由量化參數而控制量化部65之量化動作之速率,以便不產生溢位或下溢。 將用於量化部65之速率控制之量化參數供給至可逆編碼部66,進行可逆編碼處理,然後插入至壓縮圖像之前導部。又,將該量化參數供給至鄰接像素內插濾波器切換部75,用於對鄰接像素所實施之濾波處理中所使用之濾波係數之設定。 [H.264/AVC方式中之幀內預測處理之說明] 首先,對以H.264/AVC方式所規定之幀內預測之各模式進行說明。 首先,對相對於亮度信號之幀內預測模式進行說明。於亮度信號之幀內預測模式中,規定有幀內4×4預測模式、幀內8×8預測模式、以及幀內16×16預測模式之三種方式。其係規定區塊單位之模式,並針對每個巨集區塊而設定。又,對於色差信號,可於每個巨集區塊中設定獨立於亮度信號之幀內預測模式。 進而,於幀內4×4預測模式之情形時,可針對每個4×4像素之對象區塊自九種預測模式中設定一種預測模式。於幀內8×8預測模式之情形時,可針對每個8×8像素之對象區塊自九種預測模式中設定一種預測模式。又,於幀內16×16預測模式之情形時,可對16×16像素之對象巨集區塊,自四種預測模式中設定一種預測模式。 再者,以下,幀內4×4預測模式、幀內8×8預測模式、以及幀內16×16預測模式亦分別適當地稱作4×4像素之幀內預測模式、8×8像素之幀內預測模式、以及16×16像素之幀內預測模式。 於圖2之例中,附加於各區塊中之數字-1至25表示該各區塊之位元串流順序(解碼側之處理順序)。再者,關於亮度信號,將巨集區塊分割成4×4像素,並進行4×4像素之DCT。而且,僅於幀內16×16預測模式之情形時,如-1之區塊所示般,集合各區塊之直流成分而產生4×4矩陣,並與此相對進而實施正交轉換。 另一方面,關於色差信號,將巨集區塊分割成4×4像素,並進行4×4像素之DCT後,如16及17之各區塊所示般,集合各區塊之直流成分而產生2×2矩陣,並與此相對進而實施正交轉換。 再者,上述內容僅可適用於幀內8×8預測模式下以高級規範或其以上之規範對對象巨集區塊實施8×8正交轉換之情形。 圖3及圖4係表示九種亮度信號之4×4像素之幀內預測模式(Intra_4×4_pred_mode)之圖。除表示平均值(DC)預測之模式2以外之八種各模式分別對應於圖5之編號0、1、3至8所示之方向。 關於九種Intra_4×4_pred_mode,參考圖6進行說明。於圖6之例中,像素a至p表示進行幀內處理之對象區塊之像素,像素值A至M表示屬於鄰接區塊之像素之像素值。即,像素a至p係自畫面重排緩衝器62所讀出之處理對象之圖像,像素值A至M係自訊框記憶體72讀出且所要參考之已完成解碼的圖像之像素值。 於圖3及圖4所示之各幀內預測模式之情形時,像素a至p之預測像素值係利用屬於鄰接區塊之像素之像素值A至M,以如下方式產生。再者,像素值為「available」表示因不存在為訊框之端部或尚未編碼等之理由而可用之情形。與此相對,像素值為「unavailable」表示因係訊框之端部或尚未編碼等之理由而無法利用之情形。 模式0為Vertical Prediction mode(垂直預測模式),其僅適用於像素值A至D為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(1)之方式產生。 像素a、e、i、m之預測像素值 = A 像素b、f、j、n之預測像素值 = B 像素c、g、k、o之預測像素值 = C 像素d、h、l、p之預測像素值 = D ···(1) 模式1為Horizontal Prediction mode(水平預測模式),其僅適用於像素值I至L為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(2)之方式產生。 像素a、b、c、d之預測像素值 = I 像素e、f、g、h之預測像素值 = J 像素i、j、k、l之預測像素值 = K 像素m、n、o、p之預測像素值 = L ···(2) 模式2為DC(direct current)Prediction mode(直流預測模式),當像素值A、B、C、D、I、J、K、L全部為「available」時,預測像素值係以下式(3)之方式產生。 (A+B+C+D+I+J+K+L+4)>>3 ···(3) 又,當像素值A、B、C、D全部為「unavailable」時,預測像素值係以下式(4)之方式產生。 (I+J+K+L+2)>>2 ···(4) 又,當像素值I、J、K、L全部為「unavailable」時,預測像素值係以下式(5)之方式產生。 (A+B+C+D+2)>>2 ···(5) 再者,當像素值A、B、C、D、I、J、K、L全部為「unavailable」時,使用128作為預測像素值。 模式3為Diagonal_Down_Left Prediction mode(左對角預測模式),其僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(6)之方式產生。 像素a之預測像素值 = (A+2B+C+2)>>2 像素b、e之預測像素值 = (B+2C+D+2)>>2 像素c、f、i之預測像素值 = (C+2D+E+2) >> 2 像素d、g、j、m之預測像素值 = (D+2E+F+2) >> 2 像素h、k、n之預測像素值 = (E+2F+G+2) >> 2 像素l、o之預測像素值 = (F+2G+H+2) >> 2 像素p之預測像素值 = (G+3H+2) >> 2 ···(6) 模式4為Diagonal_Down_Right Prediction mode(右對角預測模式),其僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(7)之方式產生。 像素m之預測像素值 = (J+2K+L+2) >> 2 像素i、n之預測像素值 = (I+2J+K+2) >> 2 像素e、j、o之預測像素值 = (M+2I+J+2) >> 2 像素a、f、k、p之預測像素值 = (A+2M+I+2) >> 2 像素b、g、l之預測像素值 = (M+2A+B+2) >> 2 像素c、h之預測像素值 = (A+2B+C+2) >> 2 像素d之預測像素值 = (B+2C+D+2) >> 2 ···(7) 模式5為Diagonal_Vertical_Right Prediction mode(垂直右對角預測模式),其僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(8)之方式產生。 像素a、j之預測像素值=(M+A+1)>>1 像素b、k之預測像素值=(A+B+1)>>1 像素c、l之預測像素值 = (B+C+1) >> 1 像素d之預測像素值 = (C+D+1) >> 1 像素e、n之預測像素值 = (I+2M+A+2) >> 2 像素f、o之預測像素值 = (M+2A+B+2) >> 2 像素g、p之預測像素值 = (A+2B+C+2) >> 2 像素h之預測像素值 = (B+2C+D+2) >> 2 像素i之預測像素值 = (M+2I+J+2) >> 2 像素m之預測像素值 = (I+2J+K+2) >> 2 ···(8) 模式6為Horizontal_Down Prediction mode(水平偏下預測模式),其僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(9)之方式產生。 像素a、g之預測像素值 = (M+I+1) >> 1 像素b、h之預測像素值 = (I+2M+A+2) >> 2 像素c之預測像素值 = (M+2A+B+2) >> 2 像素d之預測像素值 = (A+2B+C+2) >> 2 像素e、k之預測像素值 = (I+J+1) >> 1 像素f、l之預測像素值 = (M+2I+J+2) >> 2 像素i、o之預測像素值 = (J+K+1) >> 1 像素j、p之預測像素值 = (I+2J+K+2) >> 2 像素m之預測像素值 = (K+L+1) >> 1 像素n之預測像素值 = (J+2K+L+2) >> 2 ···(9) 模式7為Vertical_Left Prediction mode(垂直偏左預測模式),其僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於此情形時,像素a至p之預測像素值係下式(10)之方式產生。 像素a之預測像素值 = (A+B+1) >> 1 像素b、i之預測像素值 = (B+C+1) >> 1 像素c、j之預測像素值 = (C+D+1) >> 1 像素d、k之預測像素值 = (D+E+1) >> 1 像素l之預測像素值 = (E+F+1) >> 1 像素e之預測像素值 = (A+2B+C+2) >> 2 像素f、m之預測像素值 = (B+2C+D+2) >> 2 像素g、n之預測像素值 = (C+2D+E+2) >> 2 像素h、o之預測像素值 = (D+2E+F+2) >> 2 像素p之預測像素值 = (E+2F+G+2) >> 2 ···(10) 模式8為Horizontal_Up Prediction mode(水平偏上預測模式),其僅適用於像素值A、B、C、D、I、J、K、L、M為「available」之情形。於此情形時,像素a至p之預測像素值係以下式(11)之方式產生。 像素a之預測像素值 = (I+J+1) >> 1 像素b之預測像素值 = (I+2J+K+2) >> 2 像素c、e之預測像素值 = (J+K+1) >> 1 像素d、f之預測像素值 = (J+2K+L+2) >> 2 像素g、i之預測像素值 = (K+L+1) >> 1 像素h、j之預測像素值 = (K+3L+2) >> 2 像素k、l、m、n、o、p之預測像素值 = L ···(11) 其次,參考圖7對亮度信號之4×4像素之幀內預測模式(Intra_4×4_pred_mode)之編碼方式進行說明。於圖7之例中,表示有包含4×4像素、並成為編碼對象之對象區塊C,且表示有與對象區塊C鄰接之包含4×4像素之區塊A及區塊B。 於此情形時,一般認為對象區塊C中之Intra_4×4_ pred_mode、與區塊A及區塊B中之Intra_4×4_pred_mode具有較高之相關性。利用該相關性,以如下方式進行編碼處理,藉此可實現更高之編碼效率。 即,於圖7之例中,將區塊A及區塊B中之Intra_4×4_ pred_mode分別設為Intra_4×4_pred_modeA及Intra_4×4_ pred_modeB,並將MostProbableMode(最可能模式)定義為下式(12)。 MostProbableMode=Min(Intra_4×4_pred_modeA, Intra_4×4_pred_modeB) ···(12) 即,將區塊A及區塊B中分配有更小之mode_number(模式編號)者作為MostProbableMode。 位元串流中,作為相對於對象區塊C之參數,定義有prev_intra4×4_pred_mode_flag[luma4×4BlkIdx]及rem_intra4×4_ pred_mode[luma4×4BlkIdx]之兩個值,藉由基於下式(13)所示之虛擬碼之處理而進行解碼處理,可獲得相對於對象區塊C之Intra_4×4_pred_mode、Intra4×4PredMode[luma4× 4BlkIdx]之值。 if(prev_intra4×4_pred_mode_flag[luma4×4BlkIdx]) Intra4×4PredMode[luma4×4BlkIdx]=MostProbableMode else if(rem_intra4×4_pred_mode[luma4×4BlkIdx]<MostProbableMode) Intra4×4PredMode[luma4×4BlkIdx]=rem_intra4×4_pred_mode[luma4×4BlkIdx] else Intra4×4PredMode[luma4×4BlkIdx]=rem_intra4×4_pred_mode[luma4×4BlkIdx]+1 ···(13) 其次,對8×8像素之幀內預測模式進行說明。圖8及圖9係表示九種亮度信號之8×8像素之幀內預測模式(Intra_8×8_pred_mode)的圖。 將對象之8×8區塊中之像素值設為p[x,y](0≦x≦7;0≦y≦7),並將鄰接區塊之像素值設為以p[-1,-1]、…、p[-1,15]、p[-1,0]、…、p[-1,7]之方式表示者。 關於8×8像素之幀內預測模式,於產生預測值之前,對鄰接像素實施低通濾波處理。此處,將低通濾波處理前之像素值表示為p[-1,-1]、…、p[-1,15]、p[-1,0]、… [p-1,7],將處理後之像素值表示為p'[-1,-1]、…、 p'[-1,15]、p'[-1,0]、…p'[-1,7]。 首先,p'[0,-1]於p[-1,-1]為「available」之情形時,以下式(14)之方式計算出,於p[-1,-1]為「not available」之情形時,以下式(15)之方式計算出。 p'[0,-1]=(p[-1,-1]+2*p[0,-1]+p[1,-1]+2)>>2 ···(14) p'[0,-1]=(3*p[0,-1]+p[1,-1]+2)>>2 ···(15) p'[x,-1](x=0、…、7)以下式(16)之方式計算出。 p'[x,-1]=(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2 ···(16) p'[x,-1](x=8、…、15)於p[x,-1](x=8、…、15)為「available」之情形時,以下式(17)之方式計算出。 p'[x,-1]=(p[x-1,-1]+2*p[x,-1]+p[x+1,-1]+2)>>2 p'[15,-1]=(p[14,-1]+3*p[15,-1]+2)>>2 ···(17) p'[-1,-1]於p[-1,-1]為「available」之情形時,以如下方式計算出。即,p'[-1,-1]於p[0,-1]及p[-1,0]之雙方均為available之情形時,以下式(18)之方式計算出,於p[-1,0]為「unavailable」之情形時,以下式(19)之方式計算出。又,p'[-1,-1]於p[0,-1]為「unavailable」之情形時,以下式(20)之方式計算出。 p'[-1,-1]=(p[0,-1]+2*p[-1,-1]+p[-1,0]+2)>>2 ···(18) p'[-1,-1]=(3*p[-1,-1]+p[0,-1]+2)>>2 ···(19) p'[-1,-1]=(3*p[-1,-1]+p[-1,0]+2)>>2 ···(20) p'[-1,y](y=0、…、7)於p[-1,y](y=0、…、7)為「available」時,以如下方式計算出。即,首先,p'[-1,0]於p[-1,-1]為「available」之情形時,以下式(21)之方式計算出,於 p[-1,-1]為「unavailable」之情形時,以式(22)之方式計算出。 p'[-1,0]=(p[-1,-1]+2*p[-1,0]+p[-1,1]+2)>>2 ···(21) p'[-1,0]=(3*p[-1,0]+p[-1,1]+2)>>2 ···(22) 又,p'[-1,y](y=1、…、6)以下式(23)之方式計算出,p'[-1,7]以下式(24)之方式計算出。 p[-1,y]=(p[-1,y-1]+2*p[-1,y]+p[-1,y+1]+2)>>2 ···(23) p'[-1,7]=(p[-1,6]+3*p[-1,7]+2)>>2 ···(24) 使用以上述方式所計算出之p',以如下方式產生圖8及圖9所示之各幀內預測模式下之預測值。 模式0為Vertical Prediction mode,其僅適用於p[x,-1] (x=0、…、7)為「available」時。預測值pred8×8L
[x,y]係以下式(25)之方式產生。 pred8×8L
[x,y]=p'[x,-1] x,y=0、…、7 ···(25) 模式1為Horizontal Prediction mode,其僅適用於p[-1,y] (y=0、…、7)為「available」時。預測值pred8×8L
[x,y]係以下式(26)之方式產生。 pred8×8L
[x,y]=p'[-1,y] x,y=0、…、7 ···(26) 模式2為DC Prediction mode,預測值pred8×8L
[x,y]係以如下方式產生。即,於p[x,-1](x=0、…、7)及p[-1,y](y= 0、…、7)之雙方均為「available」之情形時,預測值pred8×8L
[x,y]係以下式(27)之方式產生。 [數1]於p[x,-1](x=0、…、7)為「available」,而p[-1,y](y=0、…、7)為「unavailable」之情形時,預測值pred8×8L
[x,y]係以下式(28)之方式產生。 [數2]於p[x,-1](x=0、…、7)為「unavailable」,但p[-1,y](y= 0、…、7)為「available」之情形時,預測值pred8×8L
[x,y]係以下式(29)之方式產生。 [數3]於p[x,-1](x=0、…、7)及p[-1,y](y=0、…、7)之雙方均為「unavailable」之情形時,預測值pred8×8L
[x,y]係以下式(30)之方式產生。 pred8×8L
[x,y]=128 ···(30) 其中,式(30)表示輸入8位元之情形。 模式3為Diagonal_Down_Left_prediction mode,預測值pred8×8L
[x,y]係以如下方式產生。即,Diagonal_Down_ Left_prediction mode僅適用於p[x,-1],x=0、…、15為「available」時,x=7且y=7之預測像素值係以下式(31)之方式產生,其他預測像素值係以下式(32)之方式產生。 pred8×8L
[x,y]=(p'[14,-1]+3*p[15,-1]+2)>>2 ···(31) pred8×8L
[x,y]=(p'[x+y,-1]+2*p'[x+y+1,-1]+p'[x+y+2,-1]+2)>>2 ···(32) 模式4為Diagonal_Down_Right_prediction mode,預測值pred8×8L
[x,y]係以如下方式產生。即,Diagonal_Down_ Right_prediction mode僅適用於p[x,-1],x=0、…、7及p[-1,y],y=0、…、7為「available」時,x>y之預測像素值係以下式(33)之方式產生,x<y之預測像素值係以下式(34)之方式產生。又,x=y之預測像素值係以下式(35)之方式產生。 pred8×8L
[x,y]=(p'[x-y-2,-1]+2*p'[x-y-1,-1]+p'[x-y,-1]+2)>>2 ···(33) pred8×8L
[x,y]=(p'[-1,y-x-2]+2*p'[-1,y-x-1]+p'[-1,y-x]+2)>>2 ···(34) pred8×8L
[x,y]=(p'[0,-1]+2*p'[-1,-1]+p'[-1,0]+2)>>2 ···(35) 模式5為Vertical_Right_prediction mode,預測值pred8×8L
[x,y]係以如下方式產生。即,Vertical_Right_ prediction mode僅適用於p[x,-1],x=0、…、7及p[-1,y],y=-1、…、7為「available」時。當前,以下式(36)之方式定義zVR。 zVR=2*x-y ···(36) 此時,於zVR為0、2、4、6、8、10、12、14之情形時,像素預測值係以下式(37)之方式產生,於zVR為1、3、5、7、9、11、13之情形時,像素預測值係以下式(38)之方式產生。 pred8×8L
[x,y]=(p'[x-(y>>1)-1,-1]+p'[x-(y>>1),-1]+1)>>1 ···(37) pred8×8L
[x,y]=(p'[x-(y>>1)-2,-1]+2*p'[x-(y>>1)-1,-1]+p' [x-(y>>1),-1]+2)>>2 ···(38) 又,於zVR為-1之情形時,像素預測值係以下式(39)之方式產生,於除此以外之情形時,即,於zVR為-2、-3、 -4、-5、-6、-7之情形時,像素預測值係以下式(40)之方式產生。 pred8×8L
[x,y]=(p'[-1,0]+2*p'[-1,-1]+p'[0,-1]+2)>>2 ···(39) pred8×8L
[x,y]=(p'[-1,y-2*x-1]+2*p'[-1,y-2*x-2]+p'[-1,y-2*x-3]+2)>>2 ···(40) 模式6為Horizontal_Down_prediction mode,預測值pred8×8L
[x,y]係以如下方式產生。即,Horizontal_Down_ prediction mode僅適用於p[x,-1],x=0、…、7及p[-1,y],y=-1、…、7為「available」時。當前,將zVR設為以下式(41)之方式定義者。 zHD=2*y-x ···(41) 此時,於zHD為0、2、4、6、8、10、12、14之情形時,預測像素值係以下式(42)之方式產生,於zHD為1、3、5、7、9、11、13之情形時,預測像素值係以下式(43)之方式產生。 pred8×8L
[x,y]=(p'[-1,y-(x>>1)-1]+p'[-1,y-(x>>1)+1]>>1 ···(42) pred8×8L
[x,y]=(p'[-1,y-(x>>1)-2]+2*p'[-1,y-(x>>1)-1]+p' [-1,y-(x>>1)]+2)>>2 ···(43) 又,於zHD為-1之情形時,預測像素值係以下式(44)之方式產生,於zHD為除此以外之值之情形時,即為-2、 -3、-4、-5、-6、-7之情形時,預測像素值係以下式(45)之方式產生。 pred8×8L
[x,y]=(p'[-1,0]+2*p[-1,-1]+p'[0,-1]+2)>>2 ···(44) pred8×8L
[x,y]=(p'[x-2*y-1,-1]+2*p'[x-2*y-2,-1]+p'[x-2*y- 3,-1]+2)>>2 ···(45) 模式7為Vertical_Left_prediction mode,預測值pred8× 8L
[x,y]係以如下方式產生。即,Vertical_Left_prediction mode僅適用於p[x,-1],x=0、…、15為「available」時,於y=0、2、4、6之情形時,預測像素值係以下式(46)之方式產生,於除此以外之情形時,即y=1、3、5、7之情形時,預測像素值係以下式(47)之方式產生。 pred8×8L
[x,y]=(p'[x+(y>>1),-1]+p'[x+(y>>1)+1,-1]+1) >>1 ···(46) pred8×8L
[x,y]=(p'[x+(y>>1),-1]+2*p'[x+(y>>1)+1,-1]+p' [x+(y>>1)+2,-1]+2)>>2 ···(47) 模式8為Horizontal_Up_prediction mode,預測值pred8×8L
[x,y]係以如下方式產生。即,Horizontal_Up_ prediction mode僅適用於p[-1,y],y=0、…、7為「available」時。以下,以下式(48)之方式定義zHU。 zHU=x+2*y ···(48) 於zHU之值為0、2、4、6、8、10、12之情形時,預測像素值係以下式(49)之方式產生,於zHU之值為1、3、5、7、9、11之情形時,預測像素值係以下式(50)之方式產生。 pred8×8L
[x,y]=(p'[-1,y+(x>>1)]+p'[-1,y+(x>>1)+1]+1)>>1 ···(49) pred8×8L
[x,y]=(p'[-1,y+(x>>1)] ···(50) 又,於zHU之值為13之情形時,預測像素值係以下式(51)之方式產生,於除此以外之情形時,即於zHU之值大於13之情形時,預測像素值係以下式(52)之方式產生。 pred8×8L
[x,y]=(p'[-1,6]+3*p'[-1,7]+2)>>2 ···(51) pred8×8L
[x,y]=p'[-1,7] ···(52) 其次,對16×16像素之幀內預測模式進行說明。圖10及圖11係表示四種亮度信號之16×16像素之幀內預測模式(Intra_16×16_pred_mode)的圖。 參考圖12對四種幀內預測模式進行說明。於圖12之例中,表示有進行幀內處理之對象巨集區塊A,P(x,y);x、y=-1、0、…、15表示鄰接於對象巨集區塊A之像素之像素值。 模式0為Vertical Prediction mode,其僅適用於P(x,-1);x、y=-1、0、…、15為「available」時。於此情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(53)之方式產生。 Pred(x,y)=P(x,-1);x、y=0、…、15 ···(53) 模式1為Horizontal Prediction mode,其僅適用於P(-1,y);x、y=-1、0、…、15為「available」時。於此情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(54)之方式產生。 Pred(x,y)=P(-1,y);x、y=0、…、15 ···(54) 模式2為DC Prediction mode,於P(x,-1)及P(-1,y);x、y=-1、0、…、15全部為「available」之情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(55)之方式產生。 [數4]又,於P(x,-1); x,y=-1,0,…,15為 「unavailable」 之情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(56)之方式產生。 [數5]於P(-1,y);x、y=-1、0、…、15為「unavailable」之情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(57)之方式產生。 [數6]於P(x,-1)及P(-1,y);x、y=-1、0、…、15全部為「unavailable」之情形時,使用128作為預測像素值。 模式3為Plane Prediction mode(平面預測模式),其僅適用於P(x,-1)及P(-1,y);x、y=-1、0、…、15全部為「available」之情形時。於此情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(58)之方式產生。 [數7]其次,對相對於色差信號之幀內預測模式進行說明。圖13係表示四種色差信號之幀內預測模式(Intra_chroma_ pred_mode)之圖。色差信號之幀內預測模式可獨立於亮度信號之幀內預測模式而設定。相對於色差信號之幀內預測模式係以上述亮度信號之16×16像素之幀內預測模式為準。 然而,亮度信號之16×16像素之幀內預測模式係以16×16像素之區塊作為對象,與此相對,相對於色差信號之幀內預測模式係以8×8像素之區塊作為對象。進而,如上述圖10與圖13所示,於兩者中模式編號並不對應。 此處,以參考圖12所述之亮度信號之16×16像素之幀內預測模式之對象巨集區塊A的像素值及鄰接之像素值之定義為準。例如,將與進行幀內處理之對象巨集區塊A(於色差信號之情形時為8×8像素)鄰接之像素的像素值設為P(x,y);x、y=-1、0、…、7。 模式0為DC Prediction mode,於P(x,-1)及P(-1,y);x、y=-1、0、…、7全部為「available」之情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(59)之方式產生。 [數8]又,於P(-1,y);x、y=-1、0、…、7為「unavailable」之情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(60)之方式產生。 [數9]又,於P(x,-1);x、y=-1、0、…、7為「unavailable」之情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(61)之方式產生。 [數10]模式1為Horizontal Prediction mode,其僅適用於 P(-1,y);x、y=-1、0、…、7為「available」之情形時。於此情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(62)之方式產生。 Pred(x,y)=P(-1,y);x、y=0、…、7 ···(62) 模式2為Vertical Prediction mode,其僅適用於P(x,-1);x、y=-1、0、…、7為「available」之情形時。於此情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(63)之方式產生。 Pred(x,y)=P(x,-1);x、y=0、…、7 ···(63) 模式3為Plane Prediction mode,其僅適用於P(x,-1)及P(-1,y);x、y=-1、0、…、7為「available」之情形時。於此情形時,對象巨集區塊A之各像素之預測像素值Pred(x,y)係以下式(64)之方式產生。 [數11]如上述般,於亮度信號之幀內預測模式中,存在九種4×4像素以及8×8像素之區塊單位、以及四種16×16像素之巨集區塊單位之預測模式。該區塊單位之模式係針對每個巨集區塊單位而設定。於色差信號之幀內預測模式中,存在四種8×8像素之區塊單位之預測模式。該色差信號之幀內預測模式可獨立於亮度信號之幀內預測模式而設定。 又,關於亮度信號之4×4像素之幀內預測模式(幀內4×4預測模式)及8×8像素之幀內預測模式(幀內8×8預測模式),係針對每個4×4像素及8×8像素之亮度信號之區塊而設定一種幀內預測模式。關於亮度信號之16×16像素之幀內預測模式(幀內16×16預測模式)與色差信號之幀內預測模式,係針對1個巨集區塊而設定一種預測模式。 再者,預測模式之類型對應於上述圖5之編號0、1、3至8所示之方向。預測模式2為平均值預測。 如上所述,於H.264/AVC方式之幀內預測中,如式(14)至式(24)中所述般,僅於進行8×8像素之區塊單位之幀內預測之前,以所規定之濾波係數進行鄰接像素之像素值之濾波處理。與此相對,於圖像編碼裝置51中,在進行所有幀內預測模式之幀內預測之前,以對應於預測對象之區塊而設定之濾波係數進行鄰接像素之像素值的濾波處理。 [幀內預測部及鄰接像素內插濾波器切換部之構成例] 圖14係表示圖1之幀內預測部74及鄰接像素內插濾波器切換部75之詳細構成例之方塊圖。 於圖14之例之情形時,幀內預測部74包括鄰接圖像設定部81、預測圖像產生部82、以及最佳預測模式判定部83。 鄰接像素內插濾波器切換部75包括預測模式緩衝器91、量化參數緩衝器92、以及低通濾波器設定部93。再者,於低通濾波器設定部93中內置有濾波係數記憶體94。 對鄰接圖像設定部81供給來自訊框記憶體72之幀內預測之對象區塊的鄰接像素值。於圖14之情形時,雖然省略了開關73之圖示,但實際上,鄰接像素值係自訊框記憶體72,經由開關73而供給至鄰接圖像設定部81。再者,於幀內預測之情形時,使用未藉由解塊濾波器71而進行解塊濾波之像素值作為鄰接像素值。 鄰接像素設定部81使用由低通濾波器設定部93所設定之濾波係數,對來自訊框記憶體72之對象區塊之鄰接像素值實施濾波處理,並將經濾波處理之鄰接像素值供給至預測圖像產生部82。 預測圖像產生部82將當前正進行處理之幀內預測模式係哪一種模式之資訊供給至預測模式緩衝器91。預測圖像產生部82使用來自鄰接像素設定部81之經濾波處理之鄰接像素值,進行供給至預測模式緩衝器91之幀內預測模式下之對象區塊之幀內預測,產生預測圖像。所產生之預測圖像與幀內預測模式資訊一併被供給至最佳預測模式判定部83。 對最佳預測模式判定部83供給自畫面重排緩衝器62所讀出之進行幀內預測圖像、由預測圖像產生部82所產生之預測圖像、及其幀內預測模式資訊。 最佳預測模式判定部83使用所供給之資訊,對已產生預測圖像之幀內預測模式計算出價值函數值,將所計算出之價值函數值賦予最小值之幀內預測模式決定為最佳幀內預測模式。最佳預測模式判定部83將最佳幀內預測模式之預測圖像與對應之價值函數值輸出至預測圖像選擇部77。 又,最佳預測模式判定部83於藉由預測圖像選擇部77已選擇最佳幀內預測模式下所產生之預測圖像之情形時,將表示最佳幀內預測模式之資訊供給至可逆編碼部66。 預測模式緩衝器91儲存來自預測圖像產生部82之幀內預測模式資訊。量化參數緩衝器92儲存來自速率控制部78之量化參數。 低通濾波器設定部93自預測模式緩衝器91讀出對象區塊之幀內預測模式資訊,並自量化參數緩衝器92讀出相對於對象區塊之量化參數。低通濾波器設定部93自內置之濾波係數記憶體94中所儲存之濾波係數中,設定與該等資訊對應之濾波係數,並將所設定之濾波係數供給至鄰接像素設定部81。 濾波係數記憶體94儲存後述之圖28之學習裝置251中藉由使用訓練圖像進行學習而獲得之、與量化參數及幀內預測模式對應之濾波係數。該濾波係數例如為針對每個片斷而以如下所說明之方式計算出且加以儲存者。 [最佳濾波係數之計算之說明] 其次,參考圖15對該鄰接像素之濾波處理中所使用之最佳之濾波係數計算方法進行說明。再者,於圖15之例中,表示了對4×4像素之對象區塊進行垂直預測(vertical Prediction)之例,但以下之說明係對可適用於任何幀內預測模式之情形進行說明。 於式(14)至式(24)中所述之8×8像素之區塊單位的幀內預測中,作為相對於鄰接像素之低通濾波器,定義有如{1,2,1}般之3個分接頭之濾波係數,作為3個分接頭之一般形態,考慮{c0
,c1
,c2
}。進而,於本發明中,作為偏差值,亦導入有第4參數c3
。 再者,於以下之說明中,可針對每個片斷而設定該3個分接頭之濾波器,但並不限定於此,例如亦可針對整個序列或每個GOP來設定。 於圖15之例中,akm
(0≦k,m≦3)係對象區塊中所包含之像素之像素值,bm(-1≦m≦4)係垂直預測中所使用之鄰接像素之像素值。 首先,藉由對鄰接像素值bm
實施3個分接頭之濾波處理,而產生下式(65)所示之b'm(0≦m≦3)。 [數12]即,於進行濾波處理並使用濾波係數之情形時,即便以下並未特別提及,亦如式(65)所示使用對應之偏差值。換言之,濾波係數與偏差值係濾波處理中所使用之係數。同樣地,於將濾波係數編碼並傳送至解碼側之情形時,亦將對應之偏差值編碼並傳送至解碼側。 當前,若將幀內預測模式為n時之預測像素值設定為pij
(b'm
,n);0≦i,j≦3,則幀內預測像素值如參考圖2至圖14所述般,由於預測像素係藉由線性之式而產生,因此下式(66)成立。 [數13]此時,將aij
作為原圖像像素值,以下式(67)表示相對於對象區塊Ω之預測平方誤差。 [數14]此處,於對象片斷內,以Φ表示作為幀內預測模式n而被編碼之幀內區塊之集合,與屬於Φ之區塊有關之預測平方誤差的總和係以下式(68)表示。 [數15]於上述式(68)中,將Err(ΩÎΦ)看作c0
,c1
,c2
,c3
之函數,即Err(ΩÎΦ;c0
,c1
,c2
,c3
),如使Err(ΩÎΦ;c0
,c1
,c2
,c3
)為最小之c0
、c1
、c2
、c3
成為對象片斷中之最佳濾波係數之值。即,只要求出下式(69)成立之c0
,c1
,c2
,c3
即可。 [數16]即,可藉由式(69)而獲得下式(70)所示之聯立方程式。 [數17]若使用矩陣重寫該式(70),則成為式(71)。 [數18] 藉由對該式(71)進行求解,可求出與對象片斷相對之最佳濾波係數及偏差值{c0
,c1
,c2
,c3
}。 再者,最佳濾波係數及偏差值{c0
,c1
,c2
,c3
}可藉由對式(70)之聯立方程式進行求解,而作為浮動小數點之值求出,但於適用於圖1之圖像編碼裝置51與對應之圖22之圖像解碼裝置151的情形時,例如四捨五入成8位元之係數。 即,即便濾波係數為浮動小數點,例如於濾波係數記憶體94中,根據處理器之暫存器長度,將其作為n位元(n為整數)之值加以保持。 藉由將與上述方法相同之方法亦適用於其他幀內預測模式,而於其他幀內預測模式中,亦可求出最佳濾波係數。又,不僅幀內4×4預測模式,對於幀內8×8預測模式、幀內16×16預測模式、與色差信號相對之幀內預測模式,亦可藉由相同之方法而求出最佳濾波係數。 於上述說明中,相對各個幀內預測模式而求出1個濾波係數,但並不限定於此,亦可對所有幀內預測模式僅求出1個濾波係數。尤其,於參考圖2至圖14所述之幀內預測模式中,關於Vertical(垂直)及Horizontal(水平)模式係直接使用預測像素值,與此相對,關於其他模式,在預測像素之產生中進行某種平均處理或加權平均處理,因此特性不同。因此,進行Vertical及Horizontal模式與該等以外之模式之兩種類別之分類,並針對各個類別計算出濾波係數,藉此可實現編碼效率之進一步提高。又,例如關於亮度信號,亦可對於幀內4×4預測模式設定為1個,對於幀內8×8預測模式設定為1個,對於幀內16×16預測模式設定為1個。關於色差信號,例如亦可針對Cb/Cr之各個而另行求出濾波係數。 又,於上述說明中,作為用於低通濾波處理之濾波係數,設定為{c0
,c1
,c2
}之3個分接頭,但並不限定於3個分接頭,亦可使用若干分接頭之濾波器。即,求出分接頭數之濾波係數+偏差值。但隨著分接頭數之增加,應求解之聯立方程式之次數增大。 進而,亦可如CIF(Common Intermediate Format,共用中間格式)/QCIF(Quarter CIF,四分之一共用中間格式)、SD(Standard Definition,標準畫質)、HD(High Definition,高畫質)等般,預先準備有因訊框而不同之濾波係數,並適用該濾波係數。 又,於上述方法中,藉由使幀內預測殘差(預測平方誤差)為最小而進行濾波係數之計算。但濾波係數之計算方法並不限定於此,例如,於需要將濾波係數傳送至解碼側之情形時,亦可進行包含用於傳送該濾波係數之位元在內之優化。 進而,於上述濾波係數中,如下式(72)所示假定係數之對稱性。 C0=C2 ···(72) 即,如{c0
,c1
,c0
}般,濾波係數係以將相對於0相位之係數設為中心而具有對稱性之方式計算出。藉此,可將上述式(70)所示之3個聯立方程式減為2個。其結果,可減少運算量。 使用以上方法,設定適於輸入圖像之濾波係數,適當地進行相對於鄰接像素之低通濾波處理,藉此可使用圖像或量化參數、適於預測模式之預測圖像來進行編碼。藉此可提高編碼效率。 就上述最佳濾波係數之計算而言,可考慮以下兩種方法。第1方法係於進行編碼處理之前,使用用於訓練之圖像信號,預先計算出使該圖像信號整體優化之濾波係數的離線處理。關於作為該離線處理之學習處理,將參考圖28於下文敍述,將藉由該學習處理所計算出之濾波係數與偏差值儲存於圖14之濾波係數記憶體94中。 第2方法係針對各片斷,依次計算出最佳濾波係數之線上處理。於此情形時,將所計算出之濾波係數與偏差值傳送至解碼側。再者,關於進行作為第2方法之線上處理之情形的例子,將參考圖20於下文敍述。 [圖像編碼裝置之編碼處理之說明] 其次,參考圖16之流程圖,對圖1之圖像編碼裝置51之編碼處理進行說明。 於步驟S11中,A/D轉換部61對所輸入之圖像進行A/D轉換。於步驟S12中,畫面重排緩衝器62儲存自A/D轉換部61所供給之圖像,並進行自各畫面之顯示順序向編碼順序之重排。 於步驟S13中,運算部63對步驟S12中所重排之圖像與預測圖像之差分進行運算。預測圖像於進行幀間預測之情形時係自運動預測·補償部76經由預測圖像選擇部77而供給至運算部63,於進行幀內預測之情形時係自幀內預測部74經由預測圖像選擇部77而供給至運算部63。 差分資料與原來之圖像資料相比資料量變小。因此,與對圖像直接進行編碼之情形相比,可壓縮資料量。 於步驟S14中,正交轉換部64對自運算部63所供給之差分資訊進行正交轉換。具體而言,進行離散餘弦轉換、卡忽南-拉維轉換等正交轉換,並輸出轉換係數。於步驟S15中,量化部65將轉換係數加以量化。於該量化時,如後述之步驟S25之處理中所說明般速率受到控制。 以上述方式量化之差分資訊係以如下方式被局部解碼。即,於步驟S16中,逆量化部68以與量化部65之特性對應之特性,將藉由量化部65而量化之轉換係數逆量化。於步驟S17中,逆正交轉換部69以與正交轉換部64之特性對應之特性,對藉由逆量化部68而逆量化之轉換係數進行逆正交轉換。 於步驟S18中,運算部70於經局部解碼之差分資訊中加上經由預測圖像選擇部77而輸入之預測圖像,產生經局部解碼之圖像(與向運算部63之輸入對應之圖像)。於步驟S19中,解塊濾波器71對自運算部70所輸出之圖像進行濾波。藉此去除區塊失真。於步驟S20中,訊框記憶體72儲存經濾波之圖像。再者,對訊框記憶體72亦自運算部70供給未藉由解塊濾波器71進行濾波處理之圖像,並加以儲存。 於步驟S21中,幀內預測部74及運動預測·補償部76分別進行圖像之預測處理。即,於步驟S21中,幀內預測部74進行幀內預測模式之幀內預測處理。運動預測·補償部76進行幀間預測模式之運動預測·補償處理。 步驟S21中之預測處理之詳細情況將參考圖17於下文敍述,藉由該處理,分別進行成為候補之所有幀內預測模式下之預測處理,並分別計算出成為候補之所有幀內預測模式下之價值函數值。然後,根據所計算出之價值函數值,選擇最佳幀內預測模式,並將藉由最佳幀內預測模式之幀內預測所產生之預測圖像與其價值函數值供給至預測圖像選擇部77。 再者,此時,於幀內預測部74中,在幀內預測處理之前,使用藉由鄰接像素內插濾波器切換部75所設定之濾波係數,對各對象區塊之幀內預測中所使用之鄰接像素實施濾波處理。然後,於幀內預測部74中,使用已實施濾波處理之鄰接像素進行幀內預測,產生預測圖像。 於步驟S22中,預測圖像選擇部77根據自幀內預測部74及運動預測·補償部76所輸出之各價值函數值,將最佳幀內預測模式與最佳幀間預測模式中之一者決定為最佳預測模式。然後,預測圖像選擇部77選擇所決定之最佳預測模式之預測圖像,並將其供給至運算部63、70。該預測圖像如上述般用於步驟S13、S18之運算。 再者,將該預測圖像之選擇資訊供給至幀內預測部74或運動預測·補償部76。於已選擇最佳幀內預測模式之預測圖像之情形時,幀內預測部74將表示最佳幀內預測模式之資訊(即幀內預測模式資訊)供給至可逆編碼部66。 於已選擇最佳幀間預測模式之預測圖像之情形時,運動預測·補償部76將表示最佳幀間預測模式之資訊與視需要而對應於最佳幀間預測模式之資訊輸出至可逆編碼部66中。作為與最佳幀間預測模式對應之資訊,可列舉運動向量資訊或旗標資訊、參考訊框資訊等。即,於選擇幀間預測模式之預測圖像作為最佳幀間預測模式時,運動預測·補償部76將幀間預測模式資訊、運動向量資訊、參考訊框資訊輸出至可逆編碼部66中。 於步驟S23中,可逆編碼部66對自量化部65所輸出之經量化之轉換係數進行編碼。即,對差分圖像進行可變長度編碼、算術編碼等可逆編碼,並加以壓縮。此時,對在上述步驟S22中輸入至可逆編碼部66之來自幀內預測部74之資訊、或來自運動預測·補償部76之資訊及來自速率控制部78之量化參數等亦進行編碼,並附加於前導資訊中。 於步驟S24中,儲存緩衝器67將差分圖像作為壓縮圖像加以儲存。適當地讀出儲存緩衝器67中所儲存之壓縮圖像,並將其經由傳輸路徑而傳輸至解碼側。 於步驟S25中,速率控制部78根據儲存緩衝器67中所儲存之壓縮圖像,藉由量化參數而控制量化部65之量化動作之速率,以防止產生溢位或下溢。 將量化部65之速率之控制中所使用的量化參數供給至可逆編碼部66,於上述步驟S23中,進行可逆編碼處理,並將其插入至壓縮圖像之前導部。又,將該量化參數供給至鄰接像素內插濾波器切換部75,於上述步驟S21中,將其用於在幀內預測之前所進行之、對鄰接像素所實施之濾波處理中所使用之濾波係數之設定。 [預測處理之說明] 其次,參考圖17之流程圖來說明圖16之步驟S21中之預測處理。 於自畫面重排緩衝器62所供給之處理對象之圖像為進行幀內處理之區塊之圖像的情形時,自訊框記憶體72讀出所參考之已完成解碼之圖像,並經由開關73供給至幀內預測部74中。 於步驟S31中,幀內預測部74使用所供給之圖像,以成為候補之所有幀內預測模式對處理對象之區塊的像素進行幀內預測。再者,作為所參考之已完成解碼之像素,可使用未藉由解塊濾波器71而進行解塊濾波之像素。 步驟S31中之幀內預測處理之詳細情況將參考圖18於下文敍述,藉由該處理,設定最佳之濾波係數,並使用所設定之濾波係數對鄰接像素進行濾波處理。然後,使用已進行濾波處理之鄰接像素進行幀內預測而產生預測圖像。 對成為候補之所有幀內預測模式進行以上之處理,並對成為候補之所有幀內預測模式計算出價值函數值,根據所計算出之價值函數值決定最佳幀內預測模式。將所產生之預測圖像與最佳幀內預測模式之價值函數值供給至預測圖像選擇部77。 於自畫面重排緩衝器62所供給之處理對象之圖像為進行幀間處理之圖像的情形時,自訊框記憶體72讀出所參考之圖像,並經由開關73供給至運動預測·補償部76中。根據該等圖像,於步驟S32中,運動預測·補償部76進行幀間運動預測處理。即,運動預測·補償部76參考自訊框記憶體72所供給之圖像,進行成為候補之所有幀間預測模式之運動預測處理。 步驟S32中之幀間運動預測處理之詳細情況將參考圖19於下文敍述。藉由該處理,以成為候補之所有幀間預測模式進行運動預測處理,並對成為候補之所有幀間預測模式計算出價值函數值。 於步驟S33中,運動預測·補償部76對步驟S32中所計算出之針對幀間預測模式之價值函數值進行比較,並將賦予最小值之預測模式決定為最佳幀間預測模式。然後,運動預測·補償部76將最佳幀間預測模式下所產生之預測圖像及其價值函數值供給至預測圖像選擇部77。 [幀內預測處理之說明] 其次,參考圖18之流程圖說明圖17之步驟S31中的幀內預測處理。再者,於圖18之例中,以亮度信號之情形為例進行說明。 速率控制部78於上述圖16之步驟S25中,供給相對於對象區塊之量化參數。量化參數緩衝器92於步驟S41中,獲得來自速率控制部78之相對於對象區塊之量化參數並加以儲存。 預測圖像產生部82於步驟S42中,選擇4×4像素、8×8像素、以及16×16像素之各幀內預測模式中之1個幀內預測模式。所選擇之幀內預測模式之資訊被儲存於預測模式緩衝器91中。 低通濾波器設定部93自預測模式緩衝器91讀出幀內預測模式之資訊,並自量化參數緩衝器92讀出量化參數值。然後,低通濾波器設定部93於步驟S43中,自濾波係數記憶體94中所儲存之針對每個片斷所計算出之濾波係數中,設定與幀內預測模式及量化參數對應之濾波係數。將所設定之濾波係數供給至鄰接像素設定部81。 於步驟S44中,鄰接像素設定部81使用所設定之濾波係數,對對象區塊之鄰接像素值進行濾波處理,並將經濾波處理之鄰接像素值供給至預測圖像產生部82。 於步驟S43中,預測圖像產生部82使用經濾波處理之鄰接像素值,以步驟S42中所選擇之幀內預測模式進行對象區塊之幀內預測,產生預測圖像。 對最佳預測模式判定部83供給自畫面重排緩衝器62所讀出之進行幀內預測之圖像、藉由預測圖像產生部82所產生之預測圖像、及其幀內預測模式資訊。 最佳預測模式判定部83於步驟S46中,使用所供給之資訊,對已產生預測圖像之幀內預測模式計算出價值函數值。此處,價值函數值係根據High Complexity(高複雜度)模式或Low Complexity(低複雜度)模式中之任一種方法而計算出。該等模式係由H.264/AVC方式中之參考軟體即JM(Joint Model,聯合模型)規定。 即,於High Complexity模式中,作為步驟S45之處理,對成為候補之所有預測模式暫時進行至編碼處理為止。然後,對各預測模式計算出由下式(73)所表示之價值函數值,並選擇賦予其最小值之預測模式作為最佳預測模式。 Cost(Mode)=D+λ·R ···(73) D為原圖像與解碼圖像之差分(失真),R為甚至包含正交轉換係數在內之產生編碼量,λ為作為量化參數QP之函數而提供之拉格朗日乘數(Lagrange multiplier)。 另一方面,於Low Complexity模式中,作為步驟S45之處理,針對成為候補之所有預測模式產生預測圖像,及計算出運動向量資訊或預測模式資訊、旗標資訊等之前導位元。而且,針對各預測模式計算出以下式(74)所表示之價值函數值,並選擇賦予其最小值之預測模式作為最佳預測模式。 Cost(Mode)=D+QPtoQuant(QP)·Header_Bit ···(74) D為原圖像與解碼圖像之差分(失真),Header_Bit為相對於預測模式之前導位元,QPtoQuant為作為量化參數QP之函數而提供之函數。 於Low Complexity模式中,針對所有預測模式僅產生預測圖像,而無需進行編碼處理及解碼處理,因此運算量較少即可。 最佳預測模式判定部83於步驟S47中,判定針對所有幀內預測模式之處理是否已結束。即,於步驟S47中,判定是否已對4×4像素、8×8像素、以及16×16像素之各幀內預測模式均進行了步驟S42至S46之處理。 當於步驟S47中判定為針對所有幀內預測模式之處理尚未結束時,處理返回至步驟S42,重複其後之處理。 當於步驟S47中判定為針對所有幀內預測模式之處理已結束時,處理進入至步驟S48。最佳預測模式判定部83於步驟S48中,將所計算出之價值函數值成為最小值之幀內預測模式決定為最佳幀內預測模式。 將最佳幀內預測模式之預測圖像與對應之價值函數值供給至預測圖像選擇部77。 而且,於藉由預測圖像選擇部77已選擇最佳幀內預測模式下所產生之預測圖像之情形時,藉由最佳預測模式判定部83將表示最佳幀內預測模式之資訊供給至可逆編碼部66。然後,於可逆編碼部66中對該資訊進行編碼,並將其附加於壓縮圖像之前導資訊(上述圖16之步驟S23)。 再者,將濾波係數記憶體94中所儲存之藉由學習處理而計算出之濾波係數同樣地亦儲存於後述的圖22之圖像解碼裝置151中,藉此無需將所設定之濾波係數附加於壓縮圖像之前導資訊並對其進行傳送。 因此,於H.264/AVC之情形時,量化參數有51種,幀內預測模式之4×4或8×8有9種,若考慮該等之組合,則需要51×9=459種之龐大之濾波係數。由於無需將與如此龐大之濾波係數有關之資訊傳送至解碼側,因此不額外增大係數資訊便可實現處理。 [幀間運動預測處理之說明] 其次,參考圖19之流程圖對圖17之步驟S32之幀間運動預測處理進行說明。 運動預測·補償部76於步驟S61中,針對包含16×16像素至4×4像素之八種幀間預測模式之各個分別決定運動向量與參考圖像。即,針對各幀間預測模式之處理對象之區塊分別決定運動向量與參考圖像。 運動預測·補償部76於步驟S62中,針對包含16×16像素至4×4像素之八種幀間預測模式之各個,根據步驟S61中所決定之運動向量,對參考圖像進行運動預測與補償處理。藉由該運動預測與補償處理,產生各幀間預測模式下之預測圖像。 運動預測·補償部76於步驟S63中,對針對包含16×16像素至4×4像素之八種幀間預測模式之各個所決定之運動向量,產生用於附加於壓縮圖像之運動向量資訊。 所產生之運動向量資訊亦可於下一步驟S64中之計算價值函數值時使用,於最終藉由預測圖像選擇部77而選擇出相對應之預測圖像之情形時,將其與預測模式資訊及參考訊框資訊一併輸出至可逆編碼部66中。 運動預測·補償部76於步驟S64中,針對包含16×16像素至4×4像素之八種幀間預測模式之各個,計算出以上述式(73)或式(74)所示之價值函數值。此處所計算出之價值函數值係於上述圖17之步驟S34中決定最佳幀間預測模式時使用。 其次,參考圖20,對進行作為計算出最佳濾波係數之第2方法之、針對各片斷依次計算出最佳濾波係數之線上處理之情形之例進行說明。 再者,於此情形時,需要將針對各片斷而於編碼側所計算出之濾波係數傳送至解碼側,傳送分為過多情形之濾波係數會導致編碼效率下降。因此,針對片斷僅傳輸1個濾波係數、或者對各區塊大小之預測模式之各個僅傳輸1個濾波係數、或者對水平預測、垂直預測、…之類型之預測模式僅傳輸1個濾波係數。 又,於上述離線處理之情形時,對使用幀內預測模式與量化參數作為用於計算出濾波係數之參數之例進行了說明。與此相對,於線上處理之情形時,若用於計算出濾波係數之參數較多則處理量增大,因此於圖20之例中,對僅將幀內預測模式作為參數之例進行說明。雖省略說明,但當然亦可僅使用量化參數,或者亦可使用兩者之參數。 [幀內預測部及鄰接像素內插濾波器切換部之其他構成例] 圖20係表示進行對各片斷依次計算出最佳濾波係數之線上處理之情形之幀內預測部74、及鄰接像素內插濾波器切換部75之其他構成例的方塊圖。 於圖20之例之情形時,在幀內預測部74與鄰接像素內插濾波器切換部75之間設置有開關101,藉由開關101之接通/斷開,與圖14之情形不同,幀內預測部74進行2次幀內預測。即,於幀內預測部74中,在開關101斷開之狀態下進行由H.264/AVC所定義之幀內預測,計算出適合於該幀內預測之濾波係數。然後,於開關101開啟之狀態下,以由鄰接像素內插濾波器切換部75自計算出之濾波係數中所設定之濾波係數進行幀內預測。 圖20之幀內預測部74包括鄰接圖像設定部111、預測圖像產生部112、以及最佳預測模式判定部113。 鄰接像素內插濾波器切換部75包括預測模式緩衝器121、最佳濾波器計算部122、以及低通濾波器設定部123。 對鄰接圖像設定部111供給來自訊框記憶體72之幀內預測之對象片斷的所有對象區塊之鄰接像素值。於圖20之情形時,亦省略開關73之圖示。再者,於幀內預測之情形時,使用未藉由解塊濾波器71進行解塊濾波之像素值作為鄰接像素值。 鄰接像素設定部111於開關101為斷開狀態時,僅於由H.264/AVC所定義之幀內預測模式之情形時,使用濾波係數對來自訊框記憶體72之對象區塊之鄰接像素值實施濾波處理,並將其供給至預測圖像產生部112。即,僅於式(14)至式(24)中所述之8×8像素預測模式之情形時,將已實施濾波處理之鄰接像素值供給至預測圖像產生部112。於除此以外之情形時,將來自訊框記憶體72之對象區塊之鄰接像素值直接供給至預測圖像產生部112。 鄰接像素設定部111於開關101為接通狀態之情形時,自低通濾波器設定部123被供給有濾波係數。藉此,鄰接像素設定部111使用由低通濾波器設定部123所設定之濾波係數,對來自訊框記憶體72之對象區塊之鄰接像素值實施濾波處理,並將已實施濾波處理之鄰接像素值供給至預測圖像產生部112。 預測圖像產生部112使用來自鄰接像素設定部111之鄰接像素值,進行所有幀內預測模式下之對象區塊之幀內預測,產生預測圖像。所產生之預測圖像與幀內預測模式資訊一併被供給至最佳預測模式判定部113。 對最佳預測模式判定部113供給自畫面重排緩衝器62所讀出之進行幀內預測之圖像、由預測圖像產生部112所產生之預測圖像及其幀內預測模式資訊。 最佳預測模式判定部113使用所供給之資訊,對已產生預測圖像之幀內預測模式計算出價值函數值,並將所計算出之價值函數值賦予最小值之幀內預測模式決定為最佳幀內預測模式。 最佳預測模式判定部113於開關101為斷開狀態之情形時,將最佳幀內預測模式之資訊供給至預測模式緩衝器121。最佳預測模式判定部113於開關101為接通狀態之情形時,將最佳幀內預測模式之預測圖像與對應之價值函數值供給至預測圖像選擇部77。 又,最佳預測模式判定部113於藉由預測圖像選擇部77已選擇由最佳幀內預測模式所產生之預測圖像之情形時,將表示最佳幀內預測模式之資訊供給至可逆編碼部66。 預測模式緩衝器121儲存來自最佳預測模式判定部113之幀內預測模式資訊。 對最佳濾波器計算部122供給自畫面重排緩衝器62所讀出之進行幀內預測之圖像與來自訊框記憶體72之對象區塊之鄰接像素值。最佳濾波器計算部122自預測模式緩衝器121讀出對象片斷中所包含之各區塊之幀內預測模式。然後,最佳濾波器計算部122使用該等資訊,如參考圖15所述般,計算出與對象片斷之各幀內預測模式相對之最佳濾波係數,並將所計算出之濾波係數供給至低通濾波器設定部123。 低通濾波器設定部123自所計算出之對象片斷之濾波係數中,設定相對於對象區塊之濾波係數,使開關101之端子接通,並將所設定之濾波係數供給至鄰接像素設定部111。又,低通濾波器設定部123將對象片斷之濾波係數供給至可逆編碼部66。 [幀內預測處理之其他說明] 其次,參考圖21之流程圖,說明圖20之幀內預測部74及鄰接像素內插濾波器切換部75所進行之幀內預測處理。再者,該幀內預測處理係圖17之步驟S31中之幀內預測處理的另一例。 首先,開關101成為斷開狀態。對鄰接圖像設定部111供給來自訊框記憶體72之幀內預測之對象片斷之所有對象區塊的鄰接像素值。鄰接像素設定部111僅於由H.264/AVC所定義之8×8像素之幀內預測模式的情形時,使用濾波係數對來自訊框記憶體72之對象區塊之鄰接像素值實施濾波處理,並將其供給至預測圖像產生部112。即,於其他幀內預測模式之情形時,將來自訊框記憶體72之對象區塊之鄰接像素值直接供給至預測圖像產生部112。 預測圖像產生部112於步驟S101中,對對象片斷中所包含之所有區塊進行幀內預測處理。即,預測圖像產生部112使用來自鄰接像素設定部111之對象區塊之鄰接像素值,以各幀內預測模式進行幀內預測,產生預測圖像。 對最佳預測模式判定部113供給自畫面重排緩衝器62所讀出之進行幀內預測之圖像、由預測圖像產生部112所產生之預測圖像及其幀內預測模式資訊。 最佳預測模式判定部113於步驟S102中,使用所供給之資訊,對已產生預測圖像之所有幀內預測模式計算出上述式(73)或式(74)之價值函數值。 最佳預測模式判定部113於步驟S103中,將使式(73)或式(74)之價值函數為最小值之幀內預測模式決定為最佳幀內預測模式,並將所決定之幀內預測模式之資訊供給至預測模式緩衝器121。 對最佳濾波器計算部122供給自畫面重排緩衝器62所讀出之進行幀內預測之圖像與來自訊框記憶體72之對象區塊之鄰接像素值。最佳濾波器計算部122自預測模式緩衝器121讀出對象片斷中所包含之各區塊之幀內預測模式。 然後,最佳濾波器計算部122於步驟S104中,使用該等資訊,針對對象片斷之各幀內預測模式,計算出使對象片斷整體中之殘差為最小之濾波係數作為最佳濾波係數。將參考圖15如上述般計算出之濾波係數供給至低通濾波器設定部123。 低通濾波器設定部123自所計算出之對象片斷之濾波係數中,設定與對象區塊相對之濾波係數,使開關101之端子為接通,並將所設定之濾波係數供給至鄰接像素設定部111。 鄰接像素設定部111於步驟S105中,使用由低通濾波器設定部123所設定之濾波係數,對來自訊框記憶體72之對象區塊之鄰接像素值進行濾波處理。 將經濾波處理之鄰接像素值供給至預測圖像產生部112。預測圖像產生部112於步驟S106中,使用經濾波處理之鄰接像素值,對對象片斷中所包含之所有區塊再次進行幀內預測,產生預測圖像。所產生之預測圖像與幀內預測模式資訊一併被供給至最佳預測模式判定部113。 最佳預測模式判定部113於開關101為接通狀態之情形時,將最佳幀內預測模式之預測圖像與對應之價值函數值供給至預測圖像選擇部77。 預測圖像選擇部77於上述圖16之步驟S22中,將最佳幀內預測模式與最佳幀間預測模式中之一者決定為最佳預測模式,並供給預測圖像之選擇資訊。 對應於該預測圖像之選擇資訊,最佳預測模式判定部113於步驟S107中,判定是否已選擇最佳幀內預測模式之預測圖像。當於步驟S107中判定為已選擇最佳幀內預測模式之預測圖像時,處理進入至步驟S108。 於步驟S108中,最佳預測模式判定部113將幀內預測模式之資訊供給至可逆編碼部66。再者,當於對象片斷中仍未供給有濾波係數時,亦可將來自最佳濾波器計算部122之濾波係數供給至可逆編碼部66。 當於步驟S107中判定為未選擇最佳幀內預測模式之預測圖像時,幀內預測處理結束。 再者,藉由反覆進行上述步驟S104至S106之處理,亦可獲得進一步優化之濾波係數。 經編碼之壓縮圖像係經由特定之傳輸路徑而傳輸,並藉由圖像解碼裝置解碼。 [圖像解碼裝置之構成例] 圖22表示作為適用本發明之圖像處理裝置之圖像解碼裝置之一實施形態的構成。 圖像解碼裝置151包括儲存緩衝器161、可逆解碼部162、逆量化部163、逆正交轉換部164、運算部165、解塊濾波器166、畫面重排緩衝器167、D/A轉換部168、訊框記憶體169、開關170、幀內預測部171、鄰接像素內插濾波器切換部172、運動預測·補償部173、以及開關174。 儲存緩衝器161儲存傳輸而來之壓縮圖像。可逆解碼部162對自儲存緩衝器161所供給之藉由圖1之可逆編碼部66而編碼之資訊,以與可逆編碼部16之編碼方式相對應之方式進行解碼。逆量化部163以與圖1之量化部65之量化方式相對應之方式,將藉由可逆解碼部162而解碼之圖像逆量化。逆正交轉換部164以與圖1之正交轉換部64之正交轉換方式相對應之方式,對逆量化部163之輸出進行逆正交轉換。 經逆正交轉換之輸出藉由運算部165與自開關174所供給之預測圖像相加而得以解碼。解塊濾波器166於去除經解碼之圖像之區塊失真後,將其供給至訊框記憶體169加以儲存,並且將其輸出至畫面重排緩衝器167中。 畫面重排緩衝器167進行圖像之重排。即,將為了成為編碼之順序而藉由圖1之畫面重排緩衝器62重排之訊框之順序重排成原來之顯示順序。D/A轉換部168對自畫面重排緩衝器167所供給之圖像進行D/A轉換,並將其輸出至未圖示之顯示器加以顯示。 開關170自訊框記憶體169讀出進行幀間處理之圖像與所參考之圖像,並將該等輸出至運動預測·補償部173,並且自訊框記憶體169讀出用於幀內預測之圖像,並將其供給至幀內預測部171。 將對前導資訊進行解碼而獲得之表示幀內預測模式之資訊自可逆解碼部162供給至幀內預測部171中。幀內預測部171根據該等資訊,使用由鄰接像素內插濾波器切換部172所設定之濾波係數,對鄰接像素值進行濾波處理及幀內預測,藉此產生預測圖像,並將所產生之預測圖像輸出至開關174中。 根據圖像編碼裝置51之編碼,自可逆解碼部162將對前導資訊進行解碼而獲得之表示幀內預測模式之資訊與量化參數之資訊的至少一者供給至鄰接像素內插濾波器切換部172。鄰接像素內插濾波器切換部172與圖1之鄰接像素內插濾波器切換部75相同,儲存後述之圖28之學習裝置251中藉由進行學習而獲得之與量化參數及幀內預測模式的至少一者對應之濾波係數。 鄰接像素內插濾波器切換部172設定與來自可逆解碼部162之量化參數及幀內預測模式之至少一者對應的濾波係數。鄰接像素內插濾波器切換部172將所設定之濾波係數供給至幀內預測部74。 再者,於鄰接像素內插濾波器切換部172中儲存有預先於離線下進行學習所得之濾波係數。但於圖1之鄰接像素內插濾波器切換部75中,當於線上計算出濾波係數時,將該濾波係數例如針對每個片斷而進行發送。於此情形時,於鄰接像素內插濾波器切換部172中,使用藉由可逆解碼部162而解碼之濾波係數。 自可逆解碼部162對運動預測·補償部173供給對前導資訊進行解碼所獲得之資訊(預測模式資訊、運動向量資訊、參考訊框資訊)。於供給有表示幀間預測模式之資訊之情形時,運動預測·補償部173根據運動向量資訊與參考訊框資訊對圖像實施運動預測及補償處理,產生預測圖像。運動預測·補償部173將藉由幀間預測模式而產生之預測圖像輸出至開關174。 開關174選擇藉由運動預測·補償部173或幀內預測部171而產生之預測圖像,並將其供給至運算部165。 再者,於圖1之圖像編碼裝置51中,為進行基於價值函數之預測模式判定,對所有幀內預測模式進行幀內預測處理。與此相對,於該圖像解碼裝置151中,僅根據經編碼後傳送而來之幀內預測模式之資訊進行幀內預測處理。 [幀內預測部及鄰接像素內插濾波器切換部之構成例] 圖23係表示幀內預測部及鄰接像素內插濾波器切換部之詳細構成例之方塊圖。再者,圖23之功能區塊係與圖14所示之圖像編碼裝置51之離線處理時之功能區塊對應者。 於圖23之例之情形時,幀內預測部171包括預測圖像產生部181、以及鄰接像素設定部182。鄰接像素內插濾波器切換部172包括預測模式緩衝器191、量化參數緩衝器192、以及低通濾波器設定部193。再者,於低通濾波器設定部193中內置有濾波係數記憶體194。 對預測圖像產生部181供給來自可逆解碼部162之幀內預測模式資訊,並自鄰接像素設定部182供給經濾波處理之鄰接像素值。預測圖像產生部181使用所供給之鄰接像素值,進行來自可逆解碼部162之幀內預測模式下之幀內預測,產生預測圖像,並將所產生之預測圖像供給至開關174。 對鄰接像素設定部182供給來自訊框記憶體169之幀內預測之對象區塊的鄰接像素值。於圖23之情形時,雖然省略了開關170之圖示,但實際上,鄰接像素值係自訊框記憶體169,經由開關170而供給至鄰接圖像設定部182。 鄰接像素設定部182使用由低通濾波器設定部193所設定之濾波係數,對來自訊框記憶體169之對象區塊之鄰接像素值實施濾波處理,並將經濾波處理之鄰接像素值供給至預測圖像產生部181。 預測模式緩衝器191儲存來自可逆解碼部162之幀內預測模式資訊。量化參數緩衝器192儲存來自可逆解碼部162之量化參數。 低通濾波器設定部193自預測模式緩衝器191讀出對象區塊之幀內預測模式資訊,並自量化參數緩衝器192讀出針對對象區塊之量化參數。低通濾波器設定部193自內置之濾波係數記憶體194中所儲存之濾波係數中,設定與該等資訊對應之濾波係數,並將所設定之濾波係數供給至鄰接像素設定部182。 濾波係數記憶體194與圖14之濾波係數記憶體94相同,儲存後述之圖28之學習裝置251中藉由進行學習而獲得之與量化參數及幀內預測模式對應的濾波係數。 該濾波係數例如為針對每個片斷而參考圖15以如上所述之方式計算出並加以儲存者。再者,於濾波係數記憶體194中,亦根據處理器之暫存器長度,將濾波係數作為n位元(n為整數)之值加以保持。 [圖像解碼裝置之解碼處理之說明] 其次,參考圖24之流程圖對圖像解碼裝置151所執行之解碼處理進行說明。 於步驟S131中,儲存緩衝器161儲存傳輸而來之圖像。於步驟S132中,可逆解碼部162對自儲存緩衝器161所供給之壓縮圖像進行解碼。即,對藉由圖1之可逆編碼部66而編碼之I畫面、P畫面以及B畫面進行解碼。 此時,亦對運動向量資訊、參考訊框資訊、預測模式資訊(表示幀內預測模式、或幀間預測模式之資訊)、量化參數之資訊、以及旗標資訊等進行解碼。 即,於預測模式資訊為幀內預測模式資訊之情形時,預測模式資訊被供給至幀內預測部171及鄰接像素內插濾波器切換部172。又,於量化參數之資訊經解碼之情形時,亦將其供給至鄰接像素內插濾波器切換部172。於預測模式資訊為幀間預測模式資訊之情形時,將與預測模式資訊相對應之運動向量資訊及參考訊框資訊供給至運動預測·補償部173。 於步驟S133中,逆量化部163以與圖1之量化部65之特性相對應之特性,將藉由可逆解碼部162而解碼之轉換係數逆量化。於步驟S134中,逆正交轉換部164以與圖1之正交轉換部64之特性相對應之特性,對藉由逆量化部163而逆量化之轉換係數進行逆正交轉換。藉此,與圖1之正交轉換部64之輸入(運算部63之輸出)對應之差分資訊得以解碼。 於步驟S135中,運算部165將於後述之步驟S141之處理中所選擇之經由開關174而輸入的預測圖像與差分資訊相加。藉此,原來之圖像得以解碼。於步驟S136中,解塊濾波器166對自運算部165所輸出之圖像進行濾波。藉此去除區塊失真。於步驟S137中,訊框記憶體169儲存經濾波之圖像。 於步驟S138中,幀內預測部171及運動預測·補償部173根據自可逆解碼部162所供給之預測模式資訊,分別進行圖像之預測處理。 即,於自可逆解碼部162供給有幀內預測模式資訊之情形時,幀內預測部171進行幀內預測模式之幀內預測處理。此時,幀內預測部171使用由鄰接像素內插濾波器切換部172所設定之濾波係數,進行針對鄰接像素之濾波處理及幀內預測處理。 步驟S138中之預測處理之詳細情況將參考圖25於下文敍述,藉由該處理,將藉由幀內預測部171所產生之預測圖像、或藉由運動預測·補償部173所產生之預測圖像供給至開關174。 於步驟S139中,開關174選擇預測圖像。即,被供給有藉由幀內預測部171所產生之預測圖像、或藉由運動預測·補償部173所產生之預測圖像。因此,選擇所供給之預測圖像並將其供給至運算部165,如上所述,於步驟S134中使其與逆正交轉換部164之輸出相加。 於步驟S140中,畫面重排緩衝器167進行重排。即,將為了編碼而藉由圖像編碼裝置51之畫面重排緩衝器62重排之訊框之順序重排成原來之顯示順序。 於步驟S141中,D/A轉換部168對來自畫面重排緩衝器167之圖像進行D/A轉換。將該圖像輸出至未圖示之顯示器而顯示圖像。 [預測處理之說明] 其次,參考圖25之流程圖對圖24之步驟S138之預測處理進行說明。 預測圖像產生部181於步驟S171中,判定對象區塊是否已被幀內編碼。若自可逆解碼部162將幀內預測模式資訊供給至預測圖像產生部181,則預測圖像產生部181於步驟S171中,判定為對象區塊已被幀內編碼,處理進入至步驟S172。 預測圖像產生部181於步驟S172中接收並獲得來自可逆解碼部162之幀內預測模式資訊。此時,亦將幀內預測模式資訊供給至預測模式緩衝器191中加以儲存。 又,若自可逆解碼部162將量化參數之資訊供給至量化參數緩衝器192,則量化參數緩衝器192於步驟S173中獲得量化參數並加以儲存。 低通濾波器設定部193自預測模式緩衝器191讀出對象區塊之幀內預測模式資訊,並自量化參數緩衝器192讀出與對象區塊相對之量化參數。低通濾波器設定部193於步驟S174中,自內置之濾波係數記憶體194中所儲存之針對每個片斷之濾波係數中,設定與該等資訊對應之針對鄰接像素之濾波係數。將所設定之濾波係數供給至鄰接像素設定部182。 鄰接像素設定部182於步驟S175中,使用由低通濾波器設定部193所設定之濾波係數,對來自訊框記憶體169之對象區塊之鄰接像素值實施濾波處理,並將經濾波處理之鄰接像素值供給至預測圖像產生部181。 預測圖像產生部181使用自鄰接像素設定部182所供給之鄰接像素值,進行步驟S172中所獲得之幀內預測模式下之幀內預測,產生預測圖像。將所產生之預測圖像供給至開關174。 另一方面,當於步驟S171中判定為未被幀內編碼時,處理進入至步驟S177。 於處理對象之圖像為進行幀間處理之圖像之情形時,自可逆解碼部162將幀間預測模式資訊、參考訊框資訊、運動向量資訊供給至運動預測·補償部173。於步驟S177中,運動預測·補償部173獲得來自可逆解碼部162之幀間預測模式資訊、參考訊框資訊、運動向量資訊等。 然後,運動預測·補償部173於步驟S178中進行幀間運動預測。即,於處理對象之圖像為進行幀間預測處理之圖像的情形時,自訊框記憶體169讀出所需之圖像,並經由開關170供給至運動預測·補償部173。於步驟S177中,運動預測·補償部173根據步驟S176中所獲得之運動向量,進行幀間預測模式之運動預測,產生預測圖像。將所產生之預測圖像輸出至開關174。 [幀內預測部及鄰接像素內插濾波器切換部之其他構成例] 圖26係表示幀內預測部及鄰接像素內插濾波器切換部之詳細構成例之方塊圖。再者,圖26之功能區塊係與圖20中所示之圖像編碼裝置51之線上處理的情形之功能區塊對應者。 於圖26之例之情形時,幀內預測部171包括圖23之預測圖像產生部181、以及鄰接像素設定部182。鄰接像素內插濾波器切換部172包括圖23之預測模式緩衝器191、以及內插濾波器緩衝器201及低通濾波器設定部202。再者,於圖26之例中,對於與圖23之情形相對應之部分附加相對應之編碼,並基本上進行相同之處理,因此省略其之說明。 於圖26之情形時,自圖像編碼裝置51,針對對象片斷所計算出之濾波係數進行編碼後加以傳送。因此,可逆解碼部162將其與其他資訊一併解碼,並供給至鄰接像素內插濾波器切換部172之內插濾波器緩衝器201。 內插濾波器緩衝器201獲得來自可逆解碼部162之對象片斷之濾波係數,並加以儲存。 低通濾波器設定部202自預測模式緩衝器191讀出對象區塊之幀內預測模式資訊。低通濾波器設定部202自內插濾波器緩衝器201中所儲存之對象片斷之濾波係數中,讀出與所讀出之幀內預測模式對應之濾波係數,並將其設定為對象區塊之濾波係數。將所設定之濾波係數供給至鄰接像素設定部182。 [預測處理之其他說明] 其次,參考圖27之流程圖,說明圖26之幀內預測部171及鄰接像素內插濾波器切換部172之情形的預測處理。再者,該幀內預測處理係圖24之步驟S138中之預測處理的另一例。又,圖27之步驟S181、S182、及S185至S188之處理係基本上進行與圖25之步驟S171、S172、及S175至S178相同之處理,因此省略該等之詳細說明。 預測圖像產生部181於步驟S181中,判定對象區塊是否已被幀內編碼。若自可逆解碼部162將幀內預測模式資訊供給至預測圖像產生部181,則預測圖像產生部181於步驟S181中,判定為對象區塊已被幀內編碼,處理進入至步驟S182。 預測圖像產生部181於步驟S182中接收並獲得來自可逆解碼部162之幀內預測模式資訊。此時,亦將幀內預測模式資訊供給至預測模式緩衝器191中加以儲存。 又,若自可逆解碼部162將對象片斷之濾波係數之資訊供給至內插濾波器緩衝器201,內插濾波器緩衝器201於步驟S183中獲得對象片斷之濾波係數並加以儲存。再者,針對每個片斷來供給該濾波係數。 低通濾波器設定部202自預測模式緩衝器191讀出對象區塊之幀內預測模式資訊。低通濾波器設定部202於步驟S184中,自內插濾波器緩衝器201中所儲存之對象片斷之濾波係數中,設定與對象區塊之幀內預測模式對應之、針對鄰接像素之濾波係數。將所設定之濾波係數供給至鄰接像素設定部182。 鄰接像素設定部182於步驟S185中,使用由低通濾波器設定部202所設定之濾波係數,對來自訊框記憶體169之對象區塊之鄰接像素值實施濾波處理,並將經濾波處理之鄰接像素值供給至預測圖像產生部181。 預測圖像產生部181於步驟S186中,使用自鄰接像素設定部182所供給之鄰接像素值,進行步驟S172中所獲得之幀內預測模式下之幀內預測,產生預測圖像。將所產生之預測圖像供給至開關174。 另一方面,當於步驟S181中判定為未被幀內編碼時,處理進入至步驟S187。 於步驟S187中,運動預測·補償部173獲得來自可逆解碼部162之幀間預測模式資訊、參考訊框資訊、運動向量資訊等。 運動預測·補償部173於步驟S188中進行幀間運動預測。藉由該處理,將所產生之預測圖像供給至開關174。 以上,於圖1之圖像編碼裝置51及圖22之圖像解碼裝置151中,在幀內預測之前,使用對圖像適當設定之濾波係數來對幀內預測中所使用之鄰接像素進行濾波處理。例如,根據幀內預測之模式或量化參數來設定濾波係數。 藉此,可進行與圖像或位元率對應之雜訊去除。其結果可改善預測效率。 圖28表示適用本發明之學習裝置之一實施形態的構成。於圖28之例中,學習裝置251使用訓練圖像信號進行濾波係數之學習處理。 再者,所謂訓練圖像信號係指用於求出濾波係數之測試圖像,例如,亦可使用於www.vqeg.org中可獲得之圖像壓縮編碼之標準化中所使用的標準序列。或者,又,亦可使用與各應用程式對應之輸入圖像。例如,於輸入為攝像信號之情形時,亦可利用使用CCD(Charge Coupled Devices,電荷耦合器件)或CMOS感測器所拍攝之基頻信號進行學習。 圖28之學習裝置251與圖1之圖像編碼裝置51共通之處在於包括A/D轉換部61、畫面重排緩衝器62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝器67、逆量化部68、逆正交轉換部69、運算部70、解塊濾波器71、訊框記憶體72、開關73、幀內預測部74、運動預測·補償部76、預測圖像選擇部77、以及速率控制部78。 又,學習裝置251與圖1之圖像編碼裝置51之不同之處在於使用訓練用之圖像信號作為所使用之信號、以及具備鄰接像素內插濾波器計算部261代替鄰接像素內插濾波器切換部75。 具體而言,於學習裝置251中,僅使用I畫面中所包含之區塊進行學習。或者,於學習裝置251中,僅使用B畫面及P畫面中所包含之幀內巨集區塊內之區塊進行學習。前者之學習所需之運算量較後者更少即可。又,於前者之情形時,可將針對I畫面中所包含之區塊而求出之係數僅適用於I畫面中所包含的區塊,亦可適用於B畫面及P畫面中所包含之幀內巨集區塊。 即,於學習裝置251中,進行僅利用幀內預測部74之幀內預測之學習。因此,運動預測·補償部76實際上不發揮功能。 進而,圖29之鄰接像素內插濾波器計算部261與圖20之鄰接像素內插濾波器切換部75共通之處在於包括預測模式緩衝器121、最佳濾波器計算部122、以及低通濾波器設定部123。 與此相對,鄰接像素內插濾波器計算部261與圖20之鄰接像素內插濾波器切換部75之不同之處在於追加有濾波係數儲存部271,以及自速率控制部78將量化參數供給至最佳濾波器計算部122。 若具體說明,則於圖29之例中,與圖20之例之情形相同,於幀內預測部74與鄰接像素內插濾波器切換部75之間設置有開關101,藉由開關101之接通/斷開,幀內預測部74進行2次幀內預測。 即,於幀內預測部74中,在開關101斷開之狀態下進行由H.264/AVC所定義之幀內預測,並針對每個片斷計算出最適合於其幀內預測模式與量化參數之濾波係數。將所計算出之針對每個片斷之濾波係數儲存於濾波係數儲存部271中。然後,於開關101接通之狀態下,以由鄰接像素內插濾波器切換部75自所計算出之針對每個片斷之濾波係數中所設定之濾波係數進行幀內預測。 將該濾波係數儲存部271中所儲存之濾波係數經由記錄媒體或網路等而儲存於圖1之圖像編碼裝置51之濾波係數記憶體94(圖14)、以及圖22之圖像解碼裝置151之濾波係數記憶體194(圖23)中。 [學習處理中之幀內預測處理之說明] 其次,參考圖30之流程圖,說明作為圖28之學習裝置251所進行之學習處理之一種處理的幀內預測處理。再者,作為學習裝置251之學習處理,除將步驟S21之預測處理替換為圖30之幀內預測處理以外,進行與圖17之編碼處理基本相同之處理。 又,圖30之步驟S201至S203、及S206至S209係進行與圖21之步驟S101至S103、及S105至S108基本相同之處理,因此其說明變得重複,故省略。即,於圖30之步驟S204中,最佳濾波器計算部122針對對象片斷之各幀內預測模式及對應之量化參數,計算出使對象片斷整體中之殘差為最小之濾波係數作為最佳之濾波係數。將所計算出之濾波係數供給至濾波係數儲存部271。 於步驟S205中,濾波係數儲存部271儲存自最佳濾波器計算部122所供給之濾波係數。 低通濾波器設定部123自濾波係數儲存部271中所儲存之對象片斷之濾波係數中,設定相對於對象區塊之濾波係數,使開關101之端子接通,並將所設定之濾波係數供給至鄰接像素設定部111。 對應於此,於步驟S206中,使用所設定之濾波係數對來自訊框記憶體72之對象區塊之鄰接像素值進行濾波處理。 當然,亦可與圖21之例之情形相同,藉由反覆進行上述步驟S204至S207之處理,而獲得進一步優化之濾波係數。 如上所述,於學習裝置251中,使用訓練圖像信號進行與實際上所進行之編碼處理相同之處理,將其中所計算出之濾波係數儲存於濾波係數儲存部271中。因此,可求出最佳之濾波係數。 將該濾波係數儲存部271中所儲存之濾波係數經由記錄媒體或網路等而儲存於圖1之圖像編碼裝置51之濾波係數記憶體94(圖14)、以及圖22之圖像解碼裝置151之濾波係數記憶體194(圖23)中。 然後,於圖像編碼裝置51中,如上所述,針對I畫面中所包含之區塊所求出之係數(或者B畫面及P畫面中所包含之幀內巨集區塊)僅適用於I畫面中所包含的區塊。或者,不僅適用於I畫面中所包含之區塊,亦適用於B畫面及P畫面中所包含之幀內巨集區塊。 藉此,於圖1之圖像編碼裝置51及圖22之圖像解碼裝置151中,可實現較高之編碼效率。 再者,於上述圖1之圖像編碼裝置51之正交轉換部64及逆正交轉換部69、以及圖22之圖像解碼裝置151之逆正交轉換部164中,進行由H.264/AVC所定義之正交轉換·逆正交轉換。代替此,亦可於圖1之圖像編碼裝置51之正交轉換部64及逆正交轉換部69、以及圖22之圖像解碼裝置151之逆正交轉換部164中,適用非專利文獻1中所提出之正交轉換·逆正交轉換。 藉此,可進一步提高非專利文獻1中所提出之方式之編碼效率。 再者,於上述說明中說明了進行幀內預測之例,但本發明亦可適用於非專利文獻2中所提出之二次預測中之幀內預測。 <2. 第2實施形態> [圖像編碼裝置之其他構成例] 圖31表示作為適用本發明之圖像處理裝置之圖像編碼裝置之另一實施形態的構成。 圖像編碼裝置351與圖1之圖像編碼裝置51共通之處在於包括A/D轉換部61、畫面重排緩衝器62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝器67、逆量化部68、逆正交轉換部69、運算部70、解塊濾波器71、訊框記憶體72、開關73、幀內預測部74、運動預測·補償部76、預測圖像選擇部77、以及速率控制部78。 又,圖像編碼裝置351與圖1之圖像編碼裝置51之不同之處在於去除了鄰接像素內插濾波器切換部75、以及追加有二次預測部361及鄰接像素內插濾波器切換部362。 即,於圖31之例中,幀內預測部74進行H.264/AVC之幀內預測。 另一方面,運動預測·補償部76根據進行幀間處理之圖像與參考圖像,檢測成為候補之所有幀間預測模式之運動向量,並根據運動向量對參考圖像實施補償處理,產生預測圖像。 運動預測·補償部76將所檢測出之運動向量資訊、進行幀間處理之圖像之資訊(位址等)、以及進行幀間處理之圖像與所產生之預測圖像之差分即一次殘差供給至二次預測部361。 運動預測·補償部76對來自二次預測部361之二次殘差進行比較,藉此決定二次預測中之最佳之幀內預測模式。又,運動預測·補償部76對二次殘差與一次殘差進行比較,藉此決定對二次殘差進行編碼抑或對一次殘差進行編碼。再者,該等處理係對成為候補之所有幀間預測模式進行。 然後,運動預測·補償部76針對成為候補之所有幀間預測模式計算出價值函數值。此時,使用一次殘差及二次殘差中針對每個幀間預測模式所決定之殘差而計算出價值函數值。運動預測·補償部76將所計算出之價值函數值中賦予最小值之預測模式決定為最佳幀間預測模式。 運動預測·補償部76將最佳幀間預測模式下所產生之預測圖像(或進行幀間處理之圖像與二次殘差之差分)、及其價值函數值供給至預測圖像選擇部77。運動預測·補償部76於藉由預測圖像選擇部77已選擇最佳幀間預測模式下所產生之預測圖像之情形時,將表示最佳幀間預測模式之資訊輸出至可逆編碼部66中。 此時,亦將運動向量資訊、參考訊框資訊、表示進行二次預測之二次預測旗標、以及二次預測中之幀內預測模式之資訊等輸出至可逆編碼部66中。可逆編碼部66仍對來自運動預測·補償部76之資訊進行可變長度編碼、算術編碼之可逆編碼處理,並將其插入至壓縮圖像之前導部。 二次預測部361根據來自運動預測·補償部76之運動向量資訊與進行幀間處理之圖像資訊,自訊框記憶體72讀出與進行幀間處理之對象之對象區塊鄰接之對象鄰接像素。又,二次預測部361自訊框記憶體72讀出與根據運動向量資訊而對應於對象區塊之參考區塊鄰接之參考鄰接像素。 二次預測部361進行二次預測處理。所謂二次預測處理係指於一次殘差、以及對象鄰接像素與參考鄰接像素之差分之間進行預測而產生二次差分資訊(二次殘差)的處理。 此處,參考圖32對二次預測處理進行說明。 於圖32之例中,表示有對象訊框與參考訊框,於對象訊框中,表示有對象區塊A。 當於參考訊框與對象訊框中相對於對象區塊A求出運動向量mv(mv_x,mv_y)時,計算出對象區塊A與以運動向量mv對應於對象區塊A之區塊的差分資訊(殘差)。 於二次預測方式中,不僅計算出與對象區塊A相關之差分資訊,而且亦計算出鄰接於對象區塊A之鄰接像素群R、與以運動向量mv對應於鄰接像素群R之鄰接像素群R1之差分資訊。 即,根據對象區塊A之左上方之座標(x,y)求出鄰接像素群R之各座標。又,根據以運動向量mv對應於對象區塊A之區塊之左上方的座標(x+mv_x,y+mv_y)求出鄰接像素群R1之各座標。根據該等座標值計算出鄰接像素群之差分資訊。 於二次預測方式中,在以上述方式所計算出之關於對象區塊之差分資訊與關於鄰接像素之差分資訊之間,進行H.214/AVC方式之幀內預測,藉此產生二次差分資訊。對所產生之二次差分資訊進行正交轉換、量化,並將其與壓縮圖像一併進行編碼,然後傳送至解碼側。 二次預測部361於該二次預測之前,使用由鄰接像素內插濾波器切換部362所設定之濾波係數,對幀內預測中所使用之對象鄰接像素與參考鄰接像素之差分進行濾波處理。然後,二次預測部361使用經濾波處理之對象鄰接像素與參考鄰接像素之差分進行二次預測處理,並將所獲得之二次差分資訊(二次殘差)輸出至運動預測·補償部76中。 即,二次預測部361係以包含圖14所示之幀內預測部74等之方式構成。 鄰接像素內插濾波器切換部362係與圖1之鄰接像素內插濾波器切換部75基本上相同地構成,且進行相同之處理。即,鄰接像素內插濾波器切換部362設定與來自二次預測部361之幀內預測模式之資訊、以及來自速率控制部78之量化參數對應之濾波係數,並將所設定之濾波係數供給至二次預測部361。 再者,圖31之圖像編碼裝置351之編碼處理僅於以下之幀內處理與運動預測處理不同於圖1之圖像編碼裝置51之圖16的編碼處理,其他處理與圖1之圖像編碼裝置51之圖16的編碼處理基本相同,因此省略其之說明。 即,於圖31之圖像編碼裝置351中,作為幀內處理,進行H.264/AVC方式之幀內預測。又,作為運動預測處理,於進行運動預測處理時使用由鄰接像素內插濾波器切換部362所設定之濾波係數產生二次差分資訊。然後,選擇一次差分資訊與二次差分資訊中編碼效率較佳者,並對價值函數值進行比較,藉此決定最佳幀間預測模式。 參考圖33對接收由該圖像編碼裝置351所編碼之壓縮圖像並將該壓縮圖像解碼之圖像解碼裝置進行說明。 [圖像解碼裝置之其他構成例] 圖33表示作為適用本發明之圖像處理裝置之圖像解碼裝置之另一實施形態的構成。 圖像解碼裝置401與圖22之圖像解碼裝置151共通之處在於包括儲存緩衝器161、可逆解碼部162、逆量化部163、逆正交轉換部164、運算部165、解塊濾波器166、畫面重排緩衝器167、D/A轉換部168、訊框記憶體169、開關170、幀內預測部171、運動預測·補償部173、以及開關174。 又,圖像解碼裝置401與圖22之圖像解碼裝置151之不同之處在於去除了鄰接像素內插濾波器切換部172、以及追加有二次預測部411及鄰接像素內插濾波器切換部412。 即,將對前導資訊進行解碼而獲得之表示幀內預測模式之資訊自可逆解碼部162供給至幀內預測部171中。幀內預測部171根據該資訊而產生預測圖像,並將所產生之預測圖像輸出至開關174中。 將對前導資訊進行解碼而獲得之資訊中之預測模式資訊、運動向量資訊、參考訊框資訊等自可逆解碼部162供給至運動預測·補償部173中。又,於對對象區塊適用二次預測處理之情形時,亦將表示進行二次預測之二次預測旗標與二次預測中之幀內預測模式資訊自可逆解碼部162供給至運動預測·補償部173中。 運動預測·補償部173於判定為適用二次預測處理之情形時,控制二次預測部411,並利用二次預測中之幀內預測模式資訊所示之幀內預測模式進行二次預測。 運動預測·補償部173根據運動向量資訊與參考訊框資訊對圖像實施運動預測與補償處理,產生預測圖像。即,對象區塊之預測圖像係使用參考訊框中,以運動向量對應於對象區塊之參考區塊之像素值而產生。然後,運動預測·補償部173將所產生之預測圖像與來自二次預測部411之預測差分值相加,並將所得值輸出至開關174中。 二次預測部411使用自訊框記憶體169所讀出之對象鄰接像素與參考鄰接像素之差分進行二次預測。二次預測部411於該二次預測之前,使用由鄰接像素內插濾波器切換部412所設定之濾波係數,對對象鄰接像素與參考鄰接像素之差分進行濾波處理。然後,二次預測部411使用經濾波處理之對象鄰接像素與參考鄰接像素之差分進行二次預測處理,並將所獲得之二次差分資訊(二次殘差)輸出至運動預測·補償部173中。 即,二次預測部411係以包含圖26所示之幀內預測部171之方式構成。 鄰接像素內插濾波器切換部412係與鄰接像素內插濾波器切換部172基本相同地構成。即,鄰接像素內插濾波器切換部412設定與來自可逆解碼部162之量化參數及幀內預測模式之至少一者對應的濾波係數。鄰接像素內插濾波器切換部412將所設定之濾波係數供給至二次預測部411。 再者,圖33之圖像解碼裝置401之編碼處理僅於以下之幀內處理與運動預測處理不同於圖22之圖像解碼裝置151之圖24之解碼處理,其他處理與圖22之圖像解碼裝置151之圖24之解碼處理基本相同,因此省略其之說明。 即,於圖33之圖像解碼裝置401中,作為幀內處理,進行H.264/AVC方式之幀內預測。又,作為運動預測處理,於進行運動預測處理時,使用由鄰接像素內插濾波器切換部412所設定之濾波係數進行二次預測(幀內預測),產生二次差分資訊。 於以上之二次預測處理之幀內預測中亦可適用本發明。 再者,於上述說明中,說明了在幀內預測之前,使用對圖像適當設定之濾波係數來對幀內預測中所使用之鄰接像素進行濾波處理的例。 幀內預測方式中使用之鄰接像素中所包含之雜訊會根據圖像內容及量化參數等編碼條件而不同。因此,例如藉由實施H.264/AVC方式中所進行之濾波處理,而存在有編碼效率提高之區塊與未提高之區塊。 雖然如此,但於H.264/AVC方式中,當對巨集區塊進行以8×8區塊為基礎之幀內預測時,由於對所有區塊同樣地進行濾波處理,因此產生編碼效率下降之區塊。 由此,繼而對使針對幀內預測中所使用之鄰接像素之濾波處理開始/結束的情形之例進行說明。 <3. 第3實施形態> [圖像編碼裝置之其他構成例] 圖34表示作為適用本發明之圖像處理裝置之圖像編碼裝置之另一實施形態的構成。 圖像編碼裝置451與圖1之圖像編碼裝置51共通之處在於包括A/D轉換部61、畫面重排緩衝器62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝器67、逆量化部68、逆正交轉換部69、運算部70、解塊濾波器71、訊框記憶體72、開關73、幀內預測部74、運動預測·補償部76、預測圖像選擇部77、以及速率控制部78。 又,圖像編碼裝置451與圖1之圖像編碼裝置51之不同之處在於將鄰接像素內插濾波器切換部75替換為鄰接像素內插濾波器控制部461。 即,鄰接像素內插濾波器控制部461進行使如下之濾波處理on(開始)或off(結束)之控制,即該濾波處理係於H.264/AVC方式下進行以8×8區塊為基礎之幀內預測時,對所有區塊同樣地進行之針對鄰接像素之濾波處理。再者,於H.264/AVC方式中,雖然僅對以8×8區塊為基礎之幀內預測進行了濾波處理,但於圖像編碼裝置451中,亦對幀內4×4、幀內16×16進行濾波處理。 將來自鄰接像素內插濾波器控制部461之濾波處理之on/off之控制信號供給至幀內預測部74。 幀內預測部74根據自畫面重排緩衝器62所讀出之進行幀內預測之圖像與自訊框記憶體72所供給之參考圖像,進行成為候補之所有幀內預測模式之幀內預測處理,產生預測圖像。此時,於幀內預測部74中,在幀內預測之前,根據來自鄰接像素內插濾波器控制部461之控制信號而使濾波處理on或off,然後進行幀內預測,結果採用所計算出之價值函數值較小者。 進而,幀內預測部74產生表示該濾波處理之on或off之旗標。該旗標資訊於藉由預測圖像選擇部77已選擇最佳幀內預測模式下所產生之預測圖像之情形時,與表示最佳幀內預測模式之資訊一併被供給至可逆編碼部66。 [幀內預測部之構成例] 圖35係表示圖34之幀內預測部74之詳細構成例之方塊圖。於圖35之例之情形時,幀內預測部74包括預測圖像產生部471、價值函數值產生部472、以及模式及on/off判定部473。 對預測圖像產生部471供給有來自訊框記憶體72之幀內預測之對象區塊的鄰接像素值。於圖35之情形時,雖然省略了開關73之圖示,但實際上,鄰接像素值係自訊框記憶體72,經由開關73而供給至預測圖像產生部471。再者,於幀內預測之情形時,使用未藉由解塊濾波器71進行解塊濾波之像素值作為鄰接像素值。 預測圖像產生部471根據來自鄰接像素內插濾波器控制部461之控制信號,進行針對鄰接像素值之濾波處理,或者不進行濾波處理,而進行成為候補之所有幀內預測模式之幀內預測處理,產生預測圖像。該控制信號所示之鄰接像素內插濾波器控制部461之on/off控制如參考圖36至圖38於下文敍述般,係以區塊為單位或以巨集區塊為單位來進行。 預測圖像產生部471將所產生之預測圖像像素值與其幀內預測模式之資訊供給至價值函數值產生部472。 自畫面重排緩衝器62對價值函數值產生部472供給原圖像像素值。價值函數值產生部472使用原圖像像素值與預測圖像像素值,計算出濾波處理on或off時之針對各幀內預測模式之價值函數值。價值函數值產生部472將所計算出之價值函數值、預測圖像像素值、以及幀內預測模式之資訊供給至模式及on/off判定部473。 模式及on/off判定部473使用來自價值函數值產生部472之價值函數值,決定將最佳幀內預測模式與濾波處理設定為on或off之哪一者,產生表示濾波處理之on或off之on/off旗標資訊。 模式及on/off判定部473將最佳幀內預測模式之預測圖像像素值供給至預測圖像選擇部77。於藉由預測圖像選擇部77已選擇最佳幀內預測模式之預測圖像之情形時,模式及on/off判定部473將表示最佳幀內預測模式之資訊與對應之on/off旗標資訊供給至可逆編碼部66。 再者,除以下要說明之幀內預測處理以外,圖像編碼裝置451之處理係進行與圖1之圖像編碼裝置51之處理相同之處理,因此其之說明變得重複,故省略。 其次,參考圖36之流程圖,對以區塊為單位進行on或off控制之情形之圖34之幀內預測部74之幀內預測處理進行說明。再者,該處理係圖17之步驟S31之幀內預測處理之另一例,於圖36之例中,以幀內4×4為例進行說明。又,以下亦將濾波處理on/off簡稱為濾波器on/off。 於步驟S401中,價值函數值產生部472針對對象區塊,產生與圖3或圖4所示之九種幀內預測模式之各個相對之價值函數值。 即,對預測圖像產生部471供給來自訊框記憶體72之幀內預測之對象區塊之鄰接像素值。預測圖像產生部471進行與圖3或圖4所示之九種幀內預測模式之各個相對之幀內預測,產生對象區塊之預測圖像。 此時,自鄰接像素內插濾波器控制部461供給不進行針對鄰接像素之濾波處理之控制信號,預測圖像產生部471不對鄰接像素進行濾波處理而進行幀內預測。再者,此處,亦可供給對鄰接像素進行濾波處理之控制信號。但並非實施例如於九種模式中在Vertical中進行濾波處理,但在Horizontal中不進行濾波處理等不同之控制,進行或不進行濾波處理係作為對九種模式進行相同之控制者。又,此處,不對所有模式進行濾波處理時,運算量較少即可。 預測圖像產生部471將所產生之預測圖像像素值與其幀內預測模式之資訊供給至價值函數值產生部472。價值函數值產生部472使用來自畫面重排緩衝器62之原圖像像素值與預測圖像像素值,針對濾波器off之情形時之各幀內預測模式,計算出由上述式(73)或式(74)所示之價值函數值。價值函數值產生部472將所計算出之價值函數值、預測圖像像素值、以及幀內預測模式之資訊供給至模式及on/off判定部473。 於步驟S402中,模式及on/off判定部473使用來自價值函數值產生部472之價值函數值,選擇對於對象區塊而言最佳之幀內預測模式。將所選擇之幀內預測模式之資訊供給至鄰接像素內插濾波器控制部461。 於步驟S403中,鄰接像素內插濾波器控制部461使價值函數值產生部472針對所選擇之幀內預測模式,產生濾波器on及off之價值函數值。再者,由於在步驟S401中產生有濾波器off之價值函數值,因此實際上,於步驟S403中產生濾波器on之價值函數值。 即,鄰接像素內插濾波器控制部461將濾波器on之控制信號與所選擇之幀內預測模式之資訊供給至預測圖像產生部471。預測圖像產生部471進行針對所選擇之幀內預測模式中所使用之鄰接像素值之濾波處理後,以所選擇之幀內預測模式進行幀內預測,產生對象區塊之預測圖像。 預測圖像產生部471將所產生之預測圖像像素值與所選擇之幀內預測模式之資訊供給至價值函數值產生部472。價值函數值產生部472使用來自畫面重排緩衝器62之原圖像像素值與預測圖像像素值,針對濾波器on之情形時所選擇之幀內預測模式,計算出由上述式(73)或式(74)所示之價值函數值。價值函數值產生部472將所計算出之價值函數值及預測圖像像素值供給至模式及on/off判定部473。 於步驟S404中,模式及on/off判定部473對針對所選擇之幀內預測模式之濾波器on及off之價值函數值進行比較後,針對對象區塊決定濾波器on/off。即,於濾波器on之價值函數值較小之情形時,針對對象區塊決定濾波器on,於濾波器off之價值函數值較小之情形時,針對對象區塊決定濾波器off。然後,模式及on/off判定部473將所決定者之預測圖像值供給至預測圖像選擇部77。 於步驟S405中,模式及on/off判定部473產生表示針對對象區塊而於步驟S404中所決定之on或off之on/off旗標。例如,於濾波器on之情形時,將on/off濾波器之值設為1。於濾波器off之情形時,將on/off濾波器之值設為0。 所產生之on/off旗標資訊於在上述圖16之步驟S22中已選擇幀內預測模式之預測圖像的情形時,與表示最佳幀內預測模式之資訊一併被供給至可逆編碼部66。然後,於圖16之步驟S23中,對所供給之該等資訊進行編碼,並附加於壓縮圖像之前導且傳送至解碼側。 其次,參考圖37之流程圖,對以區塊為單位進行on或off控制之情形之圖34之幀內預測部74之幀內預測處理的另一例進行說明。於圖37之例之情形時,亦以幀內4×4為例進行說明。 於步驟S421中,價值函數值產生部472針對對象區塊,對各個幀內預測模式產生濾波器之on及off之價值函數值。 即,對預測圖像產生部471供給來自訊框記憶體72之幀內預測之對象區塊的鄰接像素值。預測圖像產生部471進行與圖3或圖4所示之九種幀內預測模式之各個相對之幀內預測,產生對象區塊之預測圖像。 此時,首先,自鄰接像素內插濾波器控制部461供給不進行針對鄰接像素之濾波處理之控制信號,預測圖像產生部471不進行針對鄰接像素之濾波處理,而進行針對各幀內預測模式之幀內預測,產生預測圖像。進而,自鄰接像素內插濾波器控制部461供給進行針對鄰接像素之濾波處理之控制信號,預測圖像產生部471進行針對鄰接像素之濾波處理,並進行針對各幀內預測模式之幀內預測,產生預測圖像。 預測圖像產生部471將濾波器on及off之各幀內預測模式之資訊與對應之預測圖像像素值供給至價值函數值產生部472。價值函數值產生部472使用來自畫面重排緩衝器62之原圖像像素值與預測圖像像素值,針對濾波處理off之情形、on之情形之各情形的各幀內預測模式,計算出由上述式(73)或式(74)所示之價值函數值。價值函數值產生部472將所計算出之濾波處理on、off之各情形之價值函數值、預測圖像像素值、以及幀內預測模式之資訊供給至模式及on/off判定部473。 於步驟S422中,模式及on/off判定部473使用來自價值函數值產生部472之價值函數值,針對對象區塊,對各個幀內預測模式決定使濾波器on抑或off。 然後,進而於步驟S423中,模式及on/off判定部473自已決定濾波器on或off之各幀內預測模式中,選擇針對對象區塊之最佳幀內預測模式。 於步驟S424中,模式及on/off判定部473產生表示所選擇之幀內預測模式之濾波器之狀態(on或off)的on/off旗標。所產生之on/off旗標資訊於在上述圖16之步驟S22中已選擇幀內預測模式之預測圖像的情形時,與表示最佳幀內預測模式之資訊一併被供給至可逆編碼部66。然後,於圖16之步驟S23中,對所供給之該等資訊進行編碼,並附加於壓縮圖像之前導,然後傳送至解碼側。 其次,參考圖38之流程圖,對以巨集區塊為單位進行on或off控制之情形之圖34之幀內預測部74之幀內預測處理進行說明。再者,該處理係圖17之步驟S31之幀內預測處理的另一例,於圖38之例中,亦以幀內4×4為例進行說明。 於步驟S451中,鄰接像素內插濾波器控制部461將針對巨集區塊整體之濾波器固定為off或on。此時,鄰接像素內插濾波器控制部461將濾波器固定為off,並將濾波器off之控制信號供給至預測圖像產生部471。濾波器之固定可為on,亦可為off,但固定為off時,可藉由更少之運算量實現。 幀內預測部74於步驟S452中,針對各個區塊決定幀內預測模式。即,對預測圖像產生部471供給來自訊框記憶體72之幀內預測之對象區塊的鄰接像素值。預測圖像產生部471進行與圖3或圖4所示之九種幀內預測模式之各個相對之幀內預測,產生對象區塊之預測圖像。 此時,自鄰接像素內插濾波器控制部461供給不進行針對鄰接像素之濾波處理之控制信號,預測圖像產生部471不對鄰接像素進行濾波處理而進行幀內預測,產生預測圖像。預測圖像產生部471將所產生之預測圖像像素值與其幀內預測模式之資訊供給至價值函數值產生部472。 價值函數值產生部472使用來自畫面重排緩衝器62之原圖像像素值與預測圖像像素值,針對濾波處理off之情形之各幀內預測模式,計算出由上述式(73)或式(74)所示之價值函數值。價值函數值產生部472將所計算出之價值函數值、預測圖像像素值、以及幀內預測模式之資訊供給至模式及on/off判定部473。 模式及on/off判定部473使用來自價值函數值產生部472之價值函數值,針對各個區塊決定最佳之幀內預測模式。將所決定之幀內預測模式之資訊供給至鄰接像素內插濾波器控制部461。 於步驟S453中,鄰接像素內插濾波器控制部461使價值函數值產生部472針對巨集區塊整體,產生濾波器on及off之價值函數值。再者,針對巨集區塊內之各區塊之最佳幀內預測模式(即巨集區塊整體)之濾波器off之價值函數值係於步驟S452中產生。因此,實際上,於步驟S453中產生針對巨集區塊全整體之濾波器on之價值函數值。 即,鄰接像素內插濾波器控制部461將濾波器on之控制信號與針對各區塊而分別決定之幀內預測模式之資訊供給至預測圖像產生部471。預測圖像產生部471進行針對所決定之幀內預測模式中所使用之鄰接像素值的濾波處理後,以所決定之幀內預測模式進行幀內預測,產生對象區塊之預測圖像。 預測圖像產生部471將所產生之預測圖像像素值與所決定之幀內預測模式之資訊供給至價值函數值產生部472。價值函數值產生部472使用來自畫面重排緩衝器62之原圖像像素值與預測圖像像素值,針對濾波器on之情形時所決定之幀內預測模式,計算出由上述式(73)或式(74)所示之價值函數值。價值函數值產生部472將所計算出之濾波器on及off之情形之價值函數值、及預測圖像像素值供給至模式及on/off判定部473。 於步驟S454中,模式及on/off判定部473對來自價值函數值產生部472之濾波器on及off之情形的巨集區塊內之所有區塊之價值函數值進行比較,決定針對巨集區塊整體適用濾波器on/off之哪一者。 於步驟S455中,模式及on/off判定部473產生表示針對巨集區塊整體而於步驟S454中所決定之on或off之on/off旗標。將所產生之on/off旗標資訊針對每個巨集區塊而供給至可逆編碼部66。然後,於步驟S23中,對所供給之該等資訊進行編碼,並附加於壓縮圖像之前導且傳送至解碼側。 如上所述,濾波器之on/off(on或off)控制亦可以區塊為單位進行,亦可以巨集區塊為單位進行。再者,藉由以區塊為單位控制on/off,可提高幀內預測處理之預測精度,但傳輸與各區塊相對之旗標資訊所需要之資訊量增大。與此相對,當以巨集區塊為單位進行控制時,較之以區塊為單位進行控制,預測精度之提高較低,但旗標資訊於各巨集區塊中僅有1個即可,因此可減少由旗標所引起之資訊量之增大。 再者,於上述說明中,對亮度信號之例進行了說明,但亦可用於針對色差信號之幀內預測。又,關於要控制之濾波處理之濾波係數,並不限定於H.264/AVC方式中之{1,2,1}//4之3個分接頭者,亦可適用於任意分接頭長度之任意係數或由圖1之圖像編碼裝置51所設定之濾波係數。 即,於濾波器on之情形時,亦可進行利用由圖1之圖像編碼裝置51所設定之濾波係數之濾波處理。 參考圖39對接收由該圖像編碼裝置451所編碼之壓縮圖像並對該壓縮圖像進行解碼之圖像解碼裝置進行說明。 [圖像解碼裝置之其他構成例] 圖39表示作為適用本發明之圖像處理裝置之圖像解碼裝置之另一實施形態的構成。 圖像解碼裝置501與圖22之圖像解碼裝置151共通之處在於包括儲存緩衝器161、可逆解碼部162、逆量化部163、逆正交轉換部164、運算部165、解塊濾波器166、畫面重排緩衝器167、D/A轉換部168、訊框記憶體169、開關170、幀內預測部171、運動預測·補償部173、以及開關174。 又,圖像解碼裝置501與圖22之圖像解碼裝置151之不同之處在於將鄰接像素內插濾波器切換部172替換為鄰接像素內插濾波器控制部511。 即,將對前導資訊進行解碼而獲得之表示幀內預測模式之資訊自可逆解碼部162供給至幀內預測部171中。幀內預測部171進行資訊所示之幀內預測模式之幀內預測,藉此產生預測圖像,並將所產生之預測圖像輸出至開關174中。此時,於幀內預測之前,幀內預測部171根據來自鄰接像素內插濾波器控制部511之控制信號,對鄰接像素值進行濾波處理(或者不進行)。 根據圖像編碼裝置451之編碼,針對每個巨集區塊或者每個區塊,將on/off旗標資訊自可逆解碼部162供給至鄰接像素內插濾波器控制部511中。鄰接像素內插濾波器控制部511根據所供給之on/off旗標資訊,將表示進行或不進行濾波處理之控制信號供給至幀內預測部171。 再者,於圖34之圖像編碼裝置451中,嘗試濾波器為on之情形與off之情形之雙方,選擇根據價值函數值而判定為提供更高之編碼效率者來進行幀內預測處理。與此相對,於該圖像解碼裝置501中,根據編碼後傳送而來之on/off旗標之資訊控制濾波器on或off來進行幀內預測處理。 [幀內預測部及鄰接像素內插濾波器控制部之構成例] 圖40係表示幀內預測部及鄰接像素內插濾波器控制部之詳細構成例之方塊圖。 於圖40之例之情形時,幀內預測部171包括預測模式緩衝器521、以及預測圖像產生部522。鄰接像素內插濾波器控制部511包括旗標緩衝器531、以及控制信號產生部532。 對預測模式緩衝器521供給來自可逆解碼部162之幀內預測模式資訊。對預測圖像產生部522供給來自訊框記憶體169之幀內預測之對象區塊的鄰接像素值。於圖40之情形時,亦省略了開關170之圖示,但實際上,鄰接像素值係自訊框記憶體169,經由開關170而供給至預測圖像產生部522。 預測圖像產生部522讀出來自預測模式緩衝器521之針對對象區塊之幀內預測模式資訊,並針對對象區塊進行所讀出之幀內預測模式之幀內預測,產生預測圖像。於該幀內預測之前,預測圖像產生部522根據來自控制信號產生部532之控制信號,對來自訊框記憶體169之鄰接圖像像素值進行濾波處理。 針對每個巨集區塊或每個區塊,將on/off旗標資訊自可逆解碼部162供給至旗標緩衝器531中。控制信號產生部532自旗標緩衝器531讀出對應之on/off旗標,產生表示針對每個區塊進行或不進行濾波處理之控制信號,並將所產生之控制信號供給至預測圖像產生部522。 再者,除以下要說明之預測處理以外,圖像解碼裝置501之處理係進行與圖22之圖像解碼裝置151之處理相同之處理,因此其之說明變得重複,故省略。 [預測處理之說明] 其次,參考圖41之流程圖對圖39之圖像解碼裝置501之預測處理進行說明。再者,該處理係圖24之步驟S138之預測處理的另一例。 預測圖像產生部522於步驟S501中,判定對象區塊是否已被幀內編碼。自可逆解碼部162將幀內預測模式資訊供給至預測模式緩衝器521,預測圖像產生部522讀出該幀內預測模式資訊。與此相對,預測圖像產生部522於步驟S501中,判定為對象區塊已被幀內編碼,處理進入至步驟S502。 預測圖像產生部522於步驟S502中,獲得預測模式緩衝器521之幀內預測模式資訊。 又,若自可逆解碼部162將on/off旗標之資訊供給至旗標緩衝器531,則旗標緩衝器531於步驟S503中獲得on/off旗標並加以儲存。 控制信號產生部532自旗標緩衝器531讀出與對象區塊對應之on/off旗標,於步驟S504中,判定on/off旗標是否為1。當於步驟S504中判定為on/off旗標為1,即,濾波處理為on時,控制信號產生部532將用於進行濾波處理之控制信號供給至預測圖像產生部522。 根據該控制信號,預測圖像產生部522於步驟S505中,使用濾波係數對鄰接像素實施濾波處理。然後,於步驟S506中,預測圖像產生部522使用實施過濾波處理之鄰接像素值進行幀內預測,產生預測圖像。 另一方面,當於步驟S504中判定為on/off旗標不為1,即,濾波處理為off時,跳過步驟S505之濾波處理,處理進入至步驟S506。 於步驟S506中,預測圖像產生部522使用來自訊框記憶體169之鄰接圖像像素值進行幀內預測,產生預測圖像。 將步驟S506中所產生之預測圖像供給至開關174。 另一方面,當於步驟S501中判定為未被幀內編碼時,處理進入至步驟S507。 運動預測·補償部173於步驟S507中進行幀間運動預測。即,於處理對象之圖像為進行幀間預測處理之圖像的情形時,自訊框記憶體169讀出所需之圖像,並經由開關170供給至運動預測·補償部173。於步驟S508中,運動預測·補償部173根據步驟S507中所獲得之運動向量,進行幀間預測模式之運動預測,產生預測圖像。將所產生之預測圖像輸出至開關174。 如上所述,於圖像編碼裝置451及圖像解碼裝置501中,控制針對幀內預測中所使用之鄰接像素之濾波處理的on或off,不對編碼效率下降之區塊進行濾波處理。藉此可提高編碼效率。 再者,於上述說明中,說明了進行幀內預測之例,但於參考圖32所述之二次預測中之幀內預測中,亦可適用濾波處理之on或off控制。 <4. 第4實施形態> [圖像編碼裝置之其他構成例] 圖42表示作為適用本發明之圖像處理裝置之圖像編碼裝置之另一實施形態的構成。 圖像編碼裝置551與圖34之圖像編碼裝置451共通之處在於包括A/D轉換部61、畫面重排緩衝器62、運算部63、正交轉換部64、量化部65、可逆編碼部66、儲存緩衝器67、逆量化部68、逆正交轉換部69、運算部70、解塊濾波器71、訊框記憶體72、開關73、幀內預測部74、運動預測·補償部76、預測圖像選擇部77、以及速率控制部78。 又,圖像編碼裝置551與圖34之圖像編碼裝置451之不同之處在於去除了鄰接像素內插濾波器控制部461、以及追加有圖31之二次預測部361及鄰接像素內插濾波器控制部561。 即,於圖42之例中,幀內預測部74進行H.264/AVC之幀內預測。 另一方面,運動預測·補償部76根據進行幀間處理之圖像與參考圖像,檢測成為候補之所有幀間預測模式之運動向量,並根據運動向量對參考圖像實施補償處理,產生預測圖像。 運動預測·補償部76將所檢測出之運動向量資訊、進行幀間處理之圖像之資訊(位址等)、以及進行幀間處理之圖像與所產生之預測圖像之差分即一次殘差供給至二次預測部361。 運動預測·補償部76對來自二次預測部361之二次殘差進行比較,藉此決定二次預測中之最佳幀內預測模式。又,運動預測·補償部76對二次殘差與一次殘差進行比較,藉此決定對二次殘差進行編碼抑或對一次殘差進行編碼。再者,該等處理係對成為候補之所有幀間預測模式進行。 然後,運動預測·補償部76針對成為候補之所有幀間預測模式計算出價值函數值。此時,使用一次殘差及二次殘差中針對每個幀間預測模式所決定之殘差而計算出價值函數值。運動預測·補償部76將提供所計算出之價值函數值中之最小值之預測模式決定為最佳幀間預測模式。 運動預測·補償部76將最佳幀間預測模式下所產生之預測圖像(或進行幀間處理之圖像與二次殘差之差分)、及其價值函數值供給至預測圖像選擇部77。運動預測·補償部76於藉由預測圖像選擇部77已選擇由最佳幀間預測模式所產生之預測圖像之情形時,將表示最佳幀間預測模式之資訊輸出至可逆編碼部66中。 此時,亦將運動向量資訊、參考訊框資訊、表示進行二次預測之二次預測旗標、二次預測中之幀內預測模式之資訊、以及二次預測中之on/of旗標資訊等輸出至可逆編碼部66中。可逆編碼部66仍對來自運動預測·補償部76之資訊進行可變長度編碼、算術編碼之可逆編碼處理,並將其插入至壓縮圖像之前導部。 二次預測部361根據來自運動預測·補償部76之運動向量資訊與進行幀間處理之圖像之資訊,自訊框記憶體72讀出與進行幀間處理之對象之對象區塊鄰接之對象鄰接像素。又,二次預測部361自訊框記憶體72讀出與藉由運動向量資訊而對應於對象區塊之參考區塊鄰接之參考鄰接像素。 二次預測部361進行參考圖32所述之二次預測處理。所謂二次預測處理係指於一次殘差、以及對象鄰接像素與參考鄰接像素之差分之間進行預測而產生二次差分資訊(二次殘差)的處理。 但是,圖42之二次預測部361於該二次預測之前,根據來自鄰接像素內插濾波器控制部561之控制信號,對幀內預測中所使用之對象鄰接像素與參考鄰接像素之差分進行濾波處理(或者不進行)。然後,二次預測部361使用經濾波處理之(或者未經濾波處理之)對象鄰接像素與參考鄰接像素之差分進行二次預測處理,並將所獲得之二次差分資訊(二次殘差)輸出至運動預測·補償部76中。此時,二次預測部361亦將表示進行或不進行濾波處理之on/off旗標資訊輸出至運動預測·補償部76中。 即,二次預測部361係以包含圖35所示之幀內預測部74等之方式構成。 鄰接像素內插濾波器控制部561係與圖34之鄰接像素內插濾波器控制部461基本相同地構成,且進行相同之處理。即,鄰接像素內插濾波器控制部561將控制以區塊為單位或以巨集區塊為單位進行或不進行濾波處理之控制信號供給至二次預測部361。 再者,圖42之圖像編碼裝置551之編碼處理僅於以下之幀內處理與運動預測處理不同於圖34之圖像編碼裝置451之編碼處理(即圖16之編碼處理),其他處理基本相同,因此省略其之說明。 即,於圖42之圖像編碼裝置551中,作為幀內處理,進行H.264/AVC方式之幀內預測。又,作為運動預測處理,於進行運動預測處理時,根據來自鄰接像素內插濾波器控制部561之控制信號控制濾波處理,產生經濾波處理(或者未經濾波處理)之二次差分資訊。然後,選擇一次差分資訊與二次差分資訊中編碼效率較佳者,並比較價值函數值,藉此決定最佳幀間預測模式。 參考圖43對接收由該圖像編碼裝置551所編碼之壓縮圖像並對該壓縮圖像進行解碼之圖像解碼裝置進行說明。 [圖像解碼裝置之其他構成例] 圖43表示作為適用本發明之圖像處理裝置之圖像解碼裝置之另一實施形態的構成。 圖像解碼裝置601與圖39之圖像解碼裝置501共通之處在於包括儲存緩衝器161、可逆解碼部162、逆量化部163、逆正交轉換部164、運算部165、解塊濾波器166、畫面重排緩衝器167、D/A轉換部168、訊框記憶體169、開關170、幀內預測部171、運動預測·補償部173、以及開關174。 又,圖像解碼裝置601與圖39之圖像解碼裝置501之不同之處在於去除了鄰接像素內插濾波器控制部511、以及追加有圖33之二次預測部411及鄰接像素內插濾波器控制部611。 即,將對前導資訊進行解碼而獲得之表示幀內預測模式之資訊自可逆解碼部162供給至幀內預測部171中。幀內預測部171根據該資訊而產生預測圖像,並將所產生之預測圖像輸出至開關174中。 將對前導資訊進行解碼而獲得之資訊中之預測模式資訊、運動向量資訊、參考訊框資訊等自可逆解碼部162供給至運動預測·補償部173中。又,於針對對象區塊適用二次預測處理之情形時,亦將表示進行二次預測之二次預測旗標與二次預測中之幀內預測模式資訊自可逆解碼部162供給至運動預測·補償部173中。 運動預測·補償部173於判定為已適用有二次預測處理之情形時,控制二次預測部411,並利用二次預測中之幀內預測模式資訊所示之幀內預測模式進行二次預測。 運動預測·補償部173根據運動向量資訊與參考訊框資訊對圖像實施運動預測與補償處理,產生預測圖像。即,對象區塊之預測圖像係使用參考訊框中,以運動向量對應於對象區塊之參考區塊之像素值而產生。然後,運動預測·補償部173將所產生之預測圖像與來自二次預測部411之預測差分值相加,並將所得值輸出至開關174中。 二次預測部411使用自訊框記憶體169所讀出之對象鄰接像素與參考鄰接像素之差分進行二次預測。但圖43之二次預測部411於自鄰接像素內插濾波器控制部611接收到對進行濾波處理加以控制之控制信號的情形時,於該二次預測之前,針對對象鄰接像素與參考鄰接像素之差分進行濾波處理。然後,二次預測部411使用經濾波處理之對象鄰接像素與參考鄰接像素之差分進行二次預測處理,並將所獲得之二次差分資訊(二次殘差)輸出至運動預測·補償部173中。 再者,於自鄰接像素內插濾波器控制部611接收到控制為不進行濾波處理之控制信號之情形時,二次預測部411不進行濾波處理,而使用對象鄰接像素與參考鄰接像素之差分進行二次預測處理。 即,二次預測部411係以包含圖40所示之幀內預測部171之方式構成。 鄰接像素內插濾波器控制部611係與圖39之鄰接像素內插濾波器控制部511基本相同地構成,且進行基本相同之處理。即,自可逆解碼部162將對前導資訊進行解碼所獲得之資訊中之on/off旗標資訊供給至鄰接像素內插濾波器控制部611中。鄰接像素內插濾波器控制部611根據on/off旗標資訊,將進行或不進行鄰接像素之濾波處理之控制信號供給至二次預測部411。 再者,圖43之圖像解碼裝置601之解碼處理僅於以下之幀內處理與運動預測處理不同於圖39之圖像解碼裝置501之解碼處理(即圖24之解碼處理),其他處理基本相同,因此省略其之說明。 即,於圖43之圖像解碼裝置601中,作為幀內處理,進行H.264/AVC方式之幀內預測。又,作為運動預測處理,於進行運動預測處理時,根據來自鄰接像素內插濾波器控制部611之控制信號進行濾波處理後,進行二次預測(幀內預測),產生二次差分資訊。 於如上所述之二次預測處理中之幀內預測中亦可適用濾波處理之on或off控制。 再者,於上述說明中,對巨集區塊之大小為16×16像素之情形進行了說明,但本發明亦可適用於專利文獻3中所記載之經擴展之巨集區塊大小。 圖44係表示經擴展之巨集區塊大小之例的圖。於專利文獻3中,將巨集區塊大小擴展成32×32像素。 於圖44之上段中,自左側起依序表示有分割成32×32像素、32×16像素、16×32像素、以及16×16像素之區塊(分區)之由32×32像素構成的巨集區塊。於圖44之中段中,自左側起依序表示有分割成16×16像素、16×8像素、8×16像素、以及8×8像素之區塊之由16×16像素構成的區塊。又,於圖44之下段中,自左側起依序表示有分割成8×8像素、8×4像素、4×8像素、以及4×4像素之區塊之8×8像素之區塊。 即,32×32像素之巨集區塊可進行圖44之上段中所示之32×32像素、32×16像素、16×32像素、以及16×16像素之區塊中之處理。 又,上段之右側所示之16×16像素之區塊係與H.264/ AVC方式同樣地,可進行中段所示之16×16像素、16×8像素、8×16像素、以及8×8像素之區塊中之處理。 進而,中段之右側所示之8×8像素之區塊係與H.264/AVC方式同樣地,可進行下段所示之8×8像素、8×4像素、4×8像素、以及4×4像素之區塊中之處理。 藉由採用此種階層構造,於經擴展之巨集區塊大小中,關於16×16像素之區塊以下,一面與H.264/AVC方式保持互換性,一面定義有更大之區塊作為其之超集。 亦可將本發明之濾波係數之設定、計算、或濾波處理之開始/結束控制適用於以上所提出之經擴展之巨集區塊大小。 於上述中,使用H.264/AVC方式作為編碼方式,但本發明並不限定於此,可適用進行使用有鄰接像素之預測(例如幀內預測或二次預測)之其他編碼方式/解碼方式。 再者,本發明可適用於例如經由衛星廣播、有線電視、網際網路、或行動電話等網路媒體接收如MPEG、H.26x等般藉由離散餘弦轉換等正交轉換與移動補償而壓縮之圖像資訊(位元串流)時所使用之圖像編碼裝置及圖像解碼裝置。又,本發明可適用於在如磁光碟及快閃記憶體之儲存媒體中進行處理時所使用之圖像編碼裝置以及圖像解碼裝置。進而,本發明亦可適用於該等圖像編碼裝置及圖像解碼裝置等中所包含之運動預測補償裝置。 上述一系列處理可藉由硬體執行,亦可藉由軟體執行。於藉由軟體執行一系列處理之情形時,將構成其軟體之程式安裝於電腦中。此處,電腦包括組裝入專用硬體中之電腦、藉由安裝各種程式而可執行各種功能之通用之個人電腦等。 圖45係表示藉由程式執行上述一系列處理之電腦之硬體之構成例的方塊圖。 於電腦中,CPU(Central Processing Unit,中央處理單元)801、ROM(Read Only Memory,唯讀記憶體)802、RAM(Random Access Memory,隨機存取記憶體)803係藉由匯流排804而相互連接。 匯流排804上進而連接有輸入輸出介面805。輸入輸出介面805上連接有輸入部806、輸出部807、儲存部808、通信部809、以及驅動器810。 輸入部806包含鍵盤、滑鼠、麥克風等。輸出部807包含顯示器、揚聲器等。儲存部808包含硬碟或非揮發性記憶體等。通信部809包含網路介面等。驅動器810驅動磁碟、光碟、磁光碟或半導體記憶體等可移動媒體811。 於以上述方式構成之電腦中,CPU801例如將儲存部808中所儲存之程式經由輸入輸出介面805及匯流排804載入至RAM803中加以執行,藉此進行上述一系列之處理。 電腦(CPU801)所執行之程式例如可記錄於作為套裝軟體媒體等之可移動媒體811中而加以提供。又,程式可經由區域網路、網際網路、數位廣播之有線或無線之傳輸媒體而加以提供。 於電腦中,程式可藉由將可移動媒體811安裝於驅動器810,並經由輸入輸出介面805而安裝於儲存部808中。又,程式可經由有線或無線之傳輸媒體,由通信部809接收而安裝於儲存部808中。除此以外,程式可預先安裝於ROM802或儲存部808中。 再者,電腦所執行之程式可為按本說明書中所說明之順序以時間序列進行處理之程式,亦可為並列地、或以已進行調用時等之必要時序進行處理之程式。 本發明之實施形態並不限定於上述實施形態,可於不脫離本發明之主旨之範圍內進行各種變更。 例如,上述圖像編碼裝置51、351、451及551或圖像解碼裝置151、401、501及601可適用於任意之電子機器。以下對其例進行說明。 圖46係表示使用適用有本發明之圖像解碼裝置之電視接收器之主要構成例的方塊圖。 圖46所示之電視接收器1300包括地面波調諧器1313、視訊解碼器1315、影像信號處理電路1318、圖形產生電路1319、面板驅動電路1320、以及顯示面板1321。 地面波調諧器1313經由天線而接收地面類比廣播之廣播波信號,進行解調後獲得影像信號,並將其供給至視訊解碼器1315。視訊解碼器1315對於自地面波調諧器1313所供給之影像信號實施解碼處理,並將所獲得之數位之成分信號供給至影像信號處理電路1318。 影像信號處理電路1318對於自視訊解碼器1315所供給之影像資料實施雜訊去除等特定處理,並將所獲得之影像資料供給至圖形產生電路1319。 圖形產生電路1319產生顯示於顯示面板1321之節目之影像資料、或基於經由網絡所供給之應用程式之處理之圖像資料等,並將所產生之影像資料或圖像資料供給至面板驅動電路1320。又,圖形產生電路1319亦適當地進行如下處理,即產生用於顯示由使用者於選擇項目等時所利用之畫面的影像資料(圖形),並將其與節目之影像資料重疊,將藉此所獲得之影像資料供給至面板驅動電路1320。 面板驅動電路1320根據自圖形產生電路1319所供給之資料而驅動顯示面板1321,並使節目之影像或上述各種畫面顯示於顯示面板1321。 顯示面板1321包括LCD(Liquid Crystal Display,液晶顯示器)等,其根據面板驅動電路1320之控制而顯示節目之影像等。 又,電視接收器1300亦包括聲音A/D(Analog/Digital)轉換電路1314、聲音信號處理電路1322、回音消除/聲音合成電路1323、聲音放大電路1324、以及揚聲器1325。 地面波調諧器1313對所接收之廣播波信號進行解調,藉此不僅獲得影像信號,亦獲得聲音信號。地面波調諧器1313將所取得之聲音信號供給至聲音A/D轉換電路1314。 聲音A/D轉換電路1314對自地面波調諧器1313所供給之聲音信號實施A/D轉換處理,並將所獲得之數位之聲音信號供給至聲音信號處理電路1322。 聲音信號處理電路1322對自聲音A/D轉換電路1314所供給之聲音資料實施雜訊去除等特定之處理,並將所獲得之聲音資料供給至回音消除/聲音合成電路1323。 回音消除/聲音合成電路1323將自聲音信號處理電路1322所供給之聲音資料供給至聲音放大電路1324。 聲音放大電路1324對自回音消除/聲音合成電路1323所供給之聲音資料實施D/A轉換處理、放大處理,並於調整為特定音量之後,使聲音自揚聲器1325輸出。 進而,電視接收器1300亦包括數位調諧器1316及MPEG解碼器1317。 數位調諧器1316經由天線接收數位廣播(地面數位廣播,BS(Broadcasting Satellite,廣播衛星)/CS(Communications Satellite,通信衛星)數位廣播)之廣播波信號,進行解調後獲得MPEG-TS(Moving Picture Experts Group-Transport Stream,動畫專家群-傳輸串流),並將其供給至MPEG解碼器1317。 MPEG解碼器1317解除對自數位調諧器1316所供給之MPEG-TS所實施之鎖碼,並提取包含成為再生對象(視聽對象)之節目之資料的串流。MPEG解碼器1317對構成所提取之串流之聲音封包進行解碼,將所獲得之聲音資料供給至聲音信號處理電路1322,並且對構成串流之影像封包進行解碼,將所獲得之影像資料供給至影像信號處理電路1318。又,MPEG解碼器1317將自MPEG-TS所提取之EPG(Electronic Program Guide,電子節目表)資料經由未圖示之路徑而供給至CPU1332。 電視接收器1300使用上述圖像解碼裝置151、401、501或601作為如上述般對影像封包進行解碼之MPEG解碼器1317。因此,MPEG解碼器1317與圖像解碼裝置151及401之情形同樣地,在幀內預測之前,根據量化參數或預測模式來切換濾波係數,進行鄰接像素之濾波處理。或者,MPEG解碼器1317與圖像解碼裝置501及601之情形同樣地,根據on/off旗標對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理進行控制。藉此可提高編碼效率。 自MPEG解碼器1317所供給之影像資料與自視訊解碼器1315所供給之影像資料之情形同樣地,於影像信號處理電路1318中被實施特定之處理。然後,實施過特定處理之影像資料於圖形產生電路1319中,適當地與所產生之影像資料等重疊後,經由面板驅動電路1320而供給至顯示面板1321,並顯示其圖像。 自MPEG解碼器1317所供給之聲音資料與自聲音A/D轉換電路1314所供給之聲音資料之情形同樣地,於聲音信號處理電路1322中被實施特定之處理。然後,實施過特定處理之聲音資料經由回音消除/聲音合成電路1323而供給至聲音放大電路1324,並被實施D/A轉換處理或放大處理。其結果,調整為特定音量之聲音自揚聲器1325輸出。 又,電視接收器1300亦包括麥克風1326、及A/D轉換電路1327。 A/D轉換電路1327接收作為聲音會話用者而由設置於電視接收器1300中之麥克風1326所取入之使用者之聲音的信號。A/D轉換電路1327對所接收之聲音信號實施A/D轉換處理,並將所獲得之數位聲音資料供給至回音消除/聲音合成電路1323。 回音消除/聲音合成電路1323於自A/D轉換電路1327供給有電視接收器1300之使用者(使用者A)之聲音之資料的情形時,將使用者A之聲音資料作為對象而進行回音消除。然後,將回音消除/聲音合成電路1323於回音消除之後與其他聲音資料進行合成等而獲得之聲音資料,經由聲音放大電路1324自揚聲器1325輸出。 進而,電視接收器1300亦包括聲音編解碼器1328、內部匯流排1329、SDRAM(Synchronous Dynamic Random Access Memory,同步動態隨機存取記憶體)1330、快閃記憶體1331、CPU1332、USB(Universal Serial Bus,通用串列匯流排)I/F1333、以及網路I/F1334。 A/D轉換電路1327接收作為聲音會話用者而由設置於電視接收器1300中之麥克風1326所取入之使用者之聲音的信號。A/D轉換電路1327對所接收之聲音信號實施A/D轉換處理,並將所獲得之數位聲音資料供給至聲音編解碼器1328。 聲音編解碼器1328將自A/D轉換電路1327所供給之聲音資料轉換為用以經由網路發送之特定格式之資料,並經由內部匯流排1329而供給至網路I/F1334。 網路I/F1334經由安裝於網路端子1335之電纜而連接於網路。網路I/F1334例如對連接於該網路之其他裝置發送自聲音編解碼器1328所供給之聲音資料。又,網路I/F1334例如經由網路端子1335接收自經由網路而連接之其他裝置所發送的聲音資料,並將其經由內部匯流排1329而供給至聲音編解碼器1328。 聲音編解碼器1328將自網路I/F1334所供給之聲音資料轉換為特定格式之資料,並將其供給至回音消除/聲音合成電路1323。 回音消除/聲音合成電路1323將自聲音編解碼器1328所供給之聲音資料作為對象而進行回音消除,與其他聲音資料進行合成等後將獲得之聲音資料經由聲音放大電路1324而自揚聲器1325輸出。 SDRAM1330儲存有CPU1332進行處理中所必需之各種資料。 快閃記憶體1331儲存由CPU1332所執行之程式。於電視接收器1300啟動時等特定之時序,藉由CPU1332讀出快閃記憶體1331中所儲存之程式。於快閃記憶體1331中亦儲存有經由數位廣播而獲得之EPG資料,經由網路而自特定之伺服器所獲得之資料等。 例如,於快閃記憶體1331中儲存有MPEG-TS,該MPEG-TS包含藉由CPU1332之控制而經由網路自特定之伺服器所獲得之內容資料。快閃記憶體1331例如藉由CPU1332之控制,將該MPEG-TS經由內部匯流排1329而供給至MPEG解碼器1317。 MPEG解碼器1317與自數位調諧器1316所供給之MPEG-TS之情形同樣地對該MPEG-TS進行處理。如此,電視接收器1300可經由網路接收包含影像或聲音等之內容資料,並使用MPEG解碼器1317進行解碼,從而顯示該影像或輸出聲音。 又,電視接收器1300亦包括接收自遙控器1351所發送之紅外線信號之受光部1337。 受光部1337接收來自遙控器1351之紅外線,將進行解調而獲得之表示使用者操作之內容之控制碼輸出至CPU1332。 CPU1332執行快閃記憶體1331中所儲存之程式,並根據自受光部1337所供給之控制碼等而控制電視接收器1300整體之動作。CPU1332與電視接收器1300之各部分係經由未圖示之路徑連接。 USB I/F1333在與經由安裝於USB端子1336之USB電纜而連接之電視接收器1300之外部機器之間進行資料之發送接收。網路I/F1334亦經由安裝於網路端子1335之電纜而連接於網路,且與連接於網路之各種裝置進行聲音資料以外之資料之發送接收。 電視接收器1300使用圖像解碼裝置151、401、501或601作為MPEG解碼器1317,藉此可提高編碼效率。作為其結果,電視接收器1300可更高速地自經由天線所接收之廣播波信號、或經由網路而獲得之內容資料獲得更高精細之解碼圖像,並加以顯示。 圖47係表示使用著適用本發明之圖像編碼裝置及圖像解碼裝置之行動電話之主要構成例的方塊圖。 圖47所示之行動電話1400包括以統一控制各部分之方式所形成之主控制部1450、電源電路部1451、操作輸入控制部1452、圖像編碼器1453、攝像機I/F部1454、LCD控制部1455、圖像解碼器1456、多工分離部1457、記錄再生部1462、調變解調電路部1458、以及聲音編解碼器1459。該等部分係經由匯流排1460而相互連接。 又,行動電話1400包括操作鍵1419、CCD(Charge Coupled Devices)攝像機1416、液晶顯示器1418、儲存部1423、發送接收電路部1463、天線1414、麥克風(話筒)1421、以及揚聲器1417。 藉由使用者之操作而結束通話及使電源鍵成為接通狀態之後,電源電路部1451自電池組對各部分供給電力,藉此使行動電話1400啟動為可動作之狀態。 行動電話1400基於包括CPU、ROM及RAM等之主控制部1450之控制,以聲音通話模式或資料通信模式等各種模式進行聲音信號之發送接收、電子郵件或圖像資料之發送接收、圖像拍攝、或資料記錄等各種動作。 例如於聲音通話模式中,行動電話1400藉由聲音編解碼器1459而將由麥克風(話筒)1421所收集之聲音信號轉換為數位聲音資料,並以調變解調電路部1458對該數位聲音資料進行展頻處理,且以發送接收電路部1463進行數位類比轉換處理及頻率轉換處理。行動電話1400經由天線1414將藉由上述轉換處理而獲得之發送用信號發送至未圖示之基地台。向基地台傳輸之發送用信號(聲音信號)係經由公眾電話網路而供給至通話對象之行動電話。 又,例如於聲音通話模式中,行動電話1400以發送接收電路部1463將由天線1414所接收之接收信號放大,進而進行頻率轉換處理及類比數位轉換處理,且以調變解調電路部1458進行解展頻,並藉由聲音編解碼器1459而轉換為類比聲音信號。行動電話1400將經該轉換而獲得之類比聲音信號自揚聲器1417輸出。 進而,例如當於資料通信模式中發送電子郵件時,行動電話1400係於操作輸入控制部1452接收藉由對操作鍵1419進行操作而輸入之電子郵件之文本資料。行動電話1400係於主控制部1450中對該文本資料進行處理,並經由LCD控制部1455使其作為圖像而顯示於液晶顯示器1418。 又,行動電話1400係於主控制部1450中,根據操作輸入控制部1452所接收之文本資料或使用者指示等而產生電子郵件資料。行動電話1400以調變解調電路部1458對該電子郵件資料進行展頻處理,並以發送接收電路部1463進行數位類比轉換處理及頻率轉換處理。行動電話1400將經該轉換處理而獲得之發送用信號經由天線1414而發送至未圖示之基地台。向基地台傳輸之發送用信號(電子郵件)係經由網路及郵件伺服器等而供給至特定之目的地。 又,例如當於資料通信模式中接收電子郵件時,行動電話1400係經由天線1414而以發送接收電路部1463接收自基地台所發送之信號,對該信號進行放大之後,進而進行頻率轉換處理及類比數位轉換處理。行動電話1400以調變解調電路部1458對該接收信號進行解展頻處理而復原為原來之電子郵件資料。行動電話1400將經復原之電子郵件資料經由LCD控制部1455而顯示於液晶顯示器1418。 再者,行動電話1400亦可經由記錄再生部1462而將所接收之電子郵件資料記錄(儲存)於儲存部1423。 該儲存部1423為可覆寫之任意之儲存媒體。儲存部1423例如可為RAM或內置型快閃記憶體等半導體記憶體,亦可為硬碟,亦可為磁碟、磁光碟、光碟、USB記憶體、或記憶卡等可移動媒體。當然,亦可為除該等以外者。 進而,例如當於資料通信模式中發送圖像資料時,行動電話1400藉由攝像而利用CCD攝像機1416產生圖像資料。CCD攝像機1416包括透鏡或光圈等光學裝置與作為光電轉換元件之CCD,其拍攝被攝體,並將所接收之光之強度轉換為電信號,產生被攝體之圖像之圖像資料。藉由圖像編碼器1453,例如以MPEG2或MPEG4等特定之編碼方式,經由攝像機I/F部1454而對該圖像資料進行壓縮編碼,藉此將該圖像資料轉換為編碼圖像資料。 行動電話1400使用上述圖像編碼裝置51、351、451或551作為進行此種處理之圖像編碼器1453。因此,圖像編碼器1453與圖像編碼裝置51及351之情形同樣地,於幀內預測之前,根據量化參數或預測模式而設定濾波係數,進行鄰接像素之濾波處理。或者,圖像編碼器1453與圖像編碼裝置451及551之情形同樣地,對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理加以控制。藉此,可提高編碼效率。 再者,與此同時,行動電話1400將藉由CCD攝像機1416進行拍攝之過程中由麥克風(話筒)1421所收集之聲音於聲音編解碼器1459中進行類比數位轉換,進而進行編碼。 行動電話1400係於多工分離部1457中,以特定之方式將自圖像編碼器1453所供給之編碼圖像資料與自聲音編解碼器1459所供給之數位聲音資料加以複用。行動電話1400利用調變解調電路部1458對上述所獲得之複用資料進行展頻處理,並利用發送接收電路部1463進行數位類比轉換處理及頻率轉換處理。行動電話1400將藉由該轉換處理而獲得之發送用信號經由天線1414發送至未圖示之基地台。向基地台傳輸之發送用信號(圖像資料)係經由網路等而供給至通信對象。 再者,於不發送圖像資料之情形時,行動電話1400亦可不經由圖像編碼器1453,而經由LCD控制部1455將由CCD攝像機1416所產生之圖像資料顯示於液晶顯示器1418。 又,例如當於資料通信模式中接收與簡易主頁等鏈接之動態圖像檔案之資料時,行動電話1400經由天線1414而以發送接收電路部1463接收自基地台所發送之信號,將該信號放大後,進而進行頻率轉換處理及類比數位轉換處理。行動電話1400以調變解調電路部1458對該接收信號進行解展頻處理而復原為原來之複用資料。行動電話1400係於多工分離部1457中分離該複用資料,並將其分為編碼圖像資料與聲音資料。 行動電話1400係於圖像解碼器1456中,以與MPEG2或MPEG4等特定編碼方式對應之解碼方式對編碼圖像資料進行解碼,藉此產生再生動態圖像資料,並經由LCD控制部1455使其顯示於液晶顯示器1418。藉此,使例如與簡易主頁鏈接之動態圖像檔案中所包含之動畫資料顯示於液晶顯示器1418。 行動電話1400使用上述圖像解碼裝置151、401、501或601作為進行此種處理之圖像解碼器1456。因此,圖像解碼器1456與圖像解碼裝置151及401之情形同樣地,在幀內預測之前,根據量化參數或預測模式而切換濾波係數,進行鄰接像素之濾波處理。或者,圖像解碼器1456與圖像解碼裝置501及601之情形同樣地,根據on/off旗標對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理加以控制。藉此可提高編碼效率。 此時,行動電話1400係同時於聲音編解碼器1459中,將數位之聲音資料轉換為類比聲音信號,並使其自揚聲器1417輸出。藉此,使例如與簡易主頁鏈接之動態圖像檔案中所包含之聲音資料再生。 再者,與電子郵件之情形同樣地,行動電話1400亦可將所接收之與簡易主頁等鏈接之資料經由記錄再生部1462而記錄(儲存)於儲存部1423。 又,行動電話1400可於主控制部1450中,對由CCD攝像機1416進行拍攝而獲得之二維碼進行解析,從而獲得記錄成二維碼之資訊。 進而,行動電話1400可藉由紅外線通信部1481而以紅外線與外部之機器進行通信。 行動電話1400使用圖像編碼裝置51、351、451或551作為圖像編碼器1453,藉此可提高例如對CCD攝像機1416中所產生之圖像資料進行編碼而產生之編碼資料的編碼效率。其結果,行動電話1400可將編碼效率佳之編碼資料(圖像資料)提供至其他裝置。 又,行動電話1400使用圖像解碼裝置151、401、501或601作為圖像解碼器1456,藉此可產生精度較高之預測圖像。作為其結果,行動電話1400例如可自與簡易主頁鏈接之動態圖像檔案中獲得更高精細之解碼圖像,並加以顯示。 再者,以上對行動電話1400使用CCD攝像機1416之情形進行了說明,但亦可使用應用CMOS(Complementary Metal Oxide Semiconductor,互補金氧半導體)之影像感測器(CMOS影像感測器)代替該CCD攝像機1416。於此情形時,行動電話1400亦可與使用CCD攝像機1416之情形同樣地拍攝被攝體,並產生被攝體之圖像之圖像資料。 又,以上對行動電話1400進行了說明,但只要為例如PDA(Personal Digital Assistants,個人數位助理)、智慧型手機、UMPC(Ultra Mobile Personal Computer,超行動個人計算機)、迷你筆記型個人計算機、筆記型個人電腦等具有與該行動電話1400相同之拍攝功能或通信功能之裝置,則無論為何種裝置,均可與行動電話1400之情形同樣地,適用圖像編碼裝置51、351、451或551及圖像解碼裝置151、401、501或601。 圖48係表示使用有適用本發明之圖像編碼裝置及圖像解碼裝置之硬碟記錄器之主要構成例的方塊圖。 圖48所示之硬碟記錄器(HDD記錄器)1500係如下之裝置,即,將由調諧器所接收之自衛星或地面之天線等發送的廣播波信號(電視信號)中所包含之廣播節目之音訊資料與視訊資料保存於內置之硬碟中,並將所保存之資料以與使用者之指示對應之時序提供給使用者。 硬碟記錄器1500例如可自廣播波信號中提取音訊資料與視訊資料,並適當地對該等資料進行解碼後,儲存於內置之硬碟中。又,硬碟記錄器1500例如亦可經由網路而自其他裝置獲得音訊資料或視訊資料,並適當地對該等資料進行解碼後,儲存於內置之硬碟中。 進而,硬碟記錄器1500例如對記錄於內置之硬碟中之音訊資料或視訊資料進行解碼並供給至監視器1560,使該圖像顯示於監視器1560之畫面上。又,硬碟記錄器1500可將上述聲音自監視器1560之揚聲器輸出。 硬碟記錄器1500例如對自經由調諧器而獲得之廣播波信號所提取之音訊資料與視訊資料、或經由網路而自其他裝置獲得之音訊資料或視訊資料進行解碼並供給至監視器1560,使該圖像顯示於監視器1560之畫面上。又,硬碟記錄器1500亦可使上述聲音自監視器1560之揚聲器輸出。 當然,亦可進行其他動作。 如圖48所示,硬碟記錄器1500包括接收部1521、解調部1522、解多工器1523、音訊解碼器1524、視訊解碼器1525、以及記錄器控制部1526。硬碟記錄器1500還包括EPG資料記憶體1527、程式記憶體1528、工作記憶體1529、顯示轉換器1530、OSD(On Screen Display,螢幕顯示)控制部1531、顯示控制部1532、記錄再生部1533、D/A轉換器1534、以及通信部1535。 又,顯示轉換器1530具有視訊編碼器1541。記錄再生部1533具有編碼器1551及解碼器1552。 接收部1521接收來自遙控器(未圖示)之紅外線信號,將該紅外線信號轉換為電信號並輸出至記錄器控制部1526。記錄器控制部1526例如由微處理器等構成,且根據儲存於程式記憶體1528之程式而執行各種處理。此時,記錄器控制部1526根據需要而使用工作記憶體1529。 通信部1535連接於網路,經由網路而進行與其他裝置之通信處理。例如,通信部1535由記錄器控制部1526控制,與調諧器(未圖示)進行通信,並主要對調諧器輸出通道選擇控制信號。 解調部1522對自調諧器所供給之信號進行解調,並輸出至解多工器1523。解多工器1523將自解調部1522所供給之資料分離為音訊資料、視訊資料、及EPG資料,並分別輸出至音訊解碼器1524、視訊解碼器1525或記錄器控制部1526。 音訊解碼器1524例如以MPEG方式對所輸入之音訊資料進行解碼,並輸出至記錄再生部1533。視訊解碼器1525例如以MPEG方式對所輸入之視訊資料進行解碼,並輸出至顯示轉換器1530。記錄器控制部1526將所輸入之EPG資料供給至EPG資料記憶體1527中加以儲存。 顯示轉換器1530將自視訊解碼器1525或記錄器控制部1526所供給之視訊資料,藉由視訊編碼器1541而編碼為例如NTSC(National Television Standards Committee,國家電視標準委員會)方式之視訊資料,並輸出至記錄再生部1533。又,顯示轉換器1530將自視訊解碼器1525或記錄器控制部1526所供給之視訊資料之畫面的大小轉換為與監視器1560之大小對應之大小。顯示轉換器1530進而藉由視訊編碼器1541而將畫面之大小經轉換之視訊資料轉換為NTSC方式之視訊資料,繼而轉換為類比信號後輸出至顯示控制部1532。 顯示控制部1532於記錄器控制部1526之控制下,將OSD(On Screen Display)控制部1531所輸出之OSD信號與自顯示轉換器1530所輸入之視訊信號重疊,並輸出至監視器1560之顯示器而加以顯示。 又,藉由D/A轉換器1534而將音訊解碼器1524所輸出之音訊資料轉換為類比信號,並供給至監視器1560。監視器1560將該音訊信號自內置之揚聲器輸出。 記錄再生部1533具有硬碟來作為記錄視訊資料或音訊資料等之儲存媒體。 記錄再生部1533例如藉由編碼器1551以MPEG方式對自音訊解碼器1524所供給之音訊資料進行編碼。又,記錄再生部1533藉由編碼器1551以MPEG方式對自顯示轉換器1530之視訊編碼器1541所供給之視訊資料進行編碼。記錄再生部1533藉由多工器而對該音訊資料之編碼資料與視訊資料之編碼資料進行合成。記錄再生部1533對該合成資料進行通道編碼並將其放大後,經由記錄頭而將該資料寫入至硬碟。 記錄再生部1533經由再生磁頭而將記錄於硬碟之資料予以再生、放大,並藉由解多工器而分離為音訊資料與視訊資料。記錄再生部1533藉由解碼器1552以MPEG方式對音訊資料及視訊資料進行解碼。記錄再生部1533對經解碼之音訊資料進行D/A轉換,並輸出至監視器1560之揚聲器。又,記錄再生部1533對經解碼之視訊資料進行D/A轉換,並輸出至監視器1560之顯示器。 記錄器控制部1526根據經由接收部1521而接收之由來自遙控器之紅外線信號所表示之使用者指示,自EPG資料記憶體1527讀出最新之EPG資料,並將其供給至OSD控制部1531。OSD控制部1531產生與所輸入之EPG資料相對應之圖像資料,並輸出至顯示控制部1532。顯示控制部1532將自OSD控制部1531所輸入之視訊資料輸出至監視器1560之顯示器而加以顯示。藉此,於監視器1560之顯示器中顯示EPG(電子節目表)。 又,硬碟記錄器1500可經由網際網路等網路而獲得自其他裝置所供給之視訊資料、音訊資料或EPG資料等各種資料。 通信部1535由記錄器控制部1526控制,經由網路而獲得自其他裝置所發送之視訊資料、音訊資料及EPG資料等之編碼資料,並將其供給至記錄器控制部1526。記錄器控制部1526例如將所獲得之視訊資料或音訊資料之編碼資料供給至記錄再生部1533,並儲存於硬碟。此時,記錄器控制部1526及記錄再生部1533亦可根據需要而進行再編碼等之處理。 又,記錄器控制部1526對所獲得之視訊資料或音訊資料之編碼資料進行解碼,將所獲得之視訊資料供給至顯示轉換器1530。顯示轉換器1530與自視訊解碼器1525所供給之視訊資料同樣地,對自記錄器控制部1526所供給之視訊資料進行處理,經由顯示控制部1532而將其供給至監視器1560,並顯示該圖像。 又,配合該圖像顯示,記錄器控制部1526亦可將經解碼之音訊資料經由D/A轉換器1534供給至監視器1560,並使該聲音自揚聲器輸出。 進而,記錄器控制部1526對所獲得之EPG資料之編碼資料進行解碼,將經解碼之EPG資料供給至EPG資料記憶體1527。 如上所述之硬碟記錄器1500使用圖像解碼裝置151、401、501或601作為視訊解碼器1525、解碼器1552、以及內置於記錄器控制部1526之解碼器。因此,視訊解碼器1525、解碼器1552、以及內置於記錄器控制部1526之解碼器與圖像解碼裝置151及401之情形同樣地,於幀內預測之前,根據量化參數或預測模式來切換濾波係數,進行鄰接像素之濾波處理。或者,視訊解碼器1525、解碼器1552、以及內置於記錄器控制部1526之解碼器與圖像解碼裝置501及601之情形同樣地,根據on/off旗標對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理加以控制。藉此可提高編碼效率。 因此,硬碟記錄器1500可產生精度較高之預測圖像。其結果,硬碟記錄器1500例如可自經由調諧器所接收之視訊資料之編碼資料、或自記錄再生部1533之硬碟所讀出之視訊資料之編碼資料、或經由網路所獲得之視訊資料之編碼資料,獲得更高精細之解碼圖像,並顯示於監視器1560。 又,硬碟記錄器1500使用圖像編碼裝置51、351、451或551作為編碼器1551。因此,編碼器1551與圖像編碼裝置51及351之情形同樣地,於幀內預測之前,根據量化參數或預測模式來設定濾波係數,進行鄰接像素之濾波處理。或者,編碼器1551與圖像編碼裝置451及551之情形同樣地,對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理加以控制。藉此可提高編碼效率。 因此,硬碟記錄器1500例如可提高記錄於硬碟之編碼資料之編碼效率。作為其結果,硬碟記錄器1500可更有效率地使用硬碟之儲存區域。 再者,以上對將視訊資料或音訊資料記錄於硬碟之硬碟記錄器1500進行了說明,當然,記錄媒體亦可為任意者。例如即便為適用快閃記憶體、光碟、或錄像帶等硬碟以外之記錄媒體之記錄器,亦可與上述硬碟記錄器1500之情形同樣地,適用圖像編碼裝置51、351、451及551,以及圖像解碼裝置151、401、501及601。 圖49係表示使用有適用本發明之圖像解碼裝置及圖像編碼裝置之攝像機之主要構成例的方塊圖。 圖49所示之攝像機1600拍攝被攝體,並使被攝體之圖像顯示於LCD1616,或將其作為圖像資料而記錄於記錄媒體1633。 透鏡塊1611使光(即被攝體之影像)入射至CCD/ CMOS1612。CCD/CMOS1612係使用有CCD或CMOS之影像感測器,其將所接收之光之強度轉換為電信號,並供給至攝像信號處理部1613。 攝像信號處理部1613將自CCD/CMOS1612所供給之電信號轉換為Y、Cr、Cb之色差信號,並供給至圖像信號處理部1614。圖像信號處理部1614於控制器1621之控制下,對自攝像信號處理部1613所供給之圖像信號實施特定之圖像處理、或由編碼器1641以例如MPEG方式對該圖像信號進行編碼。圖像信號處理部1614將對對圖像信號進行編碼而產生之編碼資料供給至解碼器1615。進而,圖像信號處理部1614獲得於螢幕顯示器(OSD)1620中所產生之顯示用資料,並將其供給至解碼器1615。 於以上之處理中,攝像信號處理部1613適當地使用經由匯流排1617而連接之DRAM(Dynamic Random Access Memory,動態隨機存取記憶體)1618,並根據需要而將圖像資料、或對該圖像資料進行編碼所得之編碼資料等保持於該DRAM1618。 解碼器1615對自圖像信號處理部1614所供給之編碼資料進行解碼,將所獲得之圖像資料(解碼圖像資料)供給至LCD1616。又,解碼器1615將自圖像信號處理部1614所供給之顯示用資料供給至LCD1616。LCD1616適當地將自解碼器1615所供給之解碼圖像資料之圖像與顯示用資料之圖像加以合成,並顯示該合成圖像。 螢幕顯示器1620於控制器1621之控制下,將包含符號、文字、或圖形之選單畫面或圖符等顯示用資料經由匯流排1617而輸出至圖像信號處理部1614。 控制器1621根據表示使用者使用操作部1622而指示之內容之信號,執行各種處理,並且經由匯流排1617而控制圖像信號處理部1614、DRAM1618、外部介面1619、螢幕顯示器1620、以及媒體驅動器1623等。於FLASH ROM1624中儲存控制器1621執行各種處理時所必需之程式或資料等。 例如,控制器1621可代替圖像信號處理部1614或解碼器1615而對儲存於DRAM1618之圖像資料進行編碼、或對儲存於DRAM1618之編碼資料進行解碼。此時,控制器1621可藉由與圖像信號處理部1614或解碼器1615之編碼·解碼方式相同之方式進行編碼·解碼處理,亦可藉由圖像信號處理部1614或解碼器1615未對應之方式進行編碼·解碼處理。 又,例如,於自操作部1622指示有開始印刷圖像之情形時,控制器1621自DRAM1618讀出圖像資料,將其經由匯流排1617而供給至連接於外部介面1619之印表機1634並進行印刷。 進而,例如,於自操作部1622指示有記錄圖像之情形時,控制器1621自DRAM1618讀出編碼資料,將其經由匯流排1617而供給至安裝於媒體驅動器1623之記錄媒體1633並加以儲存。 記錄媒體1633例如為磁碟、光磁碟、光碟、或半導體記憶體等可讀寫之任意之可移除式媒體。對於記錄媒體1633而言,當然,作為可移動媒體之類型亦為任意,亦可為磁帶裝置,亦可為碟片,亦可為記憶卡。當然,亦可為非接觸IC(Integrated Circuit,積體電路)卡等。 又,亦可將媒體驅動器1623與記錄媒體1633一體化,例如,如內置型硬碟驅動器或SSD(Solid State Drive,固態驅動器)等般由非可攜性之儲存媒體構成。 外部介面1619包含例如USB輸入輸出端子等,於進行圖像之印刷之情形時,其連接於印表機1634。又,外部介面1619上根據需要而連接有驅動器1631,且適當地安裝有磁碟、光碟、或者磁光碟等可移動媒體1632,自該等所讀出之電腦程式可根據需要而安裝於FLASH ROM1624。 進而,外部介面1619具有連接於LAN(local area network,局域網路)或網際網路等特定網路之網路介面。控制器1621例如可根據來自操作部1622之指示,自DRAM1618讀出編碼資料,並將其自外部介面1619供給至經由網路而連接之其他裝置。又,控制器1621可經由外部介面1619獲得經由網路自其他裝置所供給之編碼資料或圖像資料,並將其保持於DRAM1618或供給至圖像信號處理部1614。 如上所述之攝像機1600使用圖像解碼裝置151、401、501或601作為解碼器1615。因此,解碼器1615與圖像解碼裝置151及401之情形同樣地,於幀內預測之前,根據量化參數或預測模式而切換濾波係數,進行鄰接像素之濾波處理。或者,解碼器1615與圖像解碼裝置501及601之情形同樣地,根據on/off旗標對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理加以控制。藉此可提高編碼效率。 因此,攝像機1600可產生精度較高之產生預測圖像。作為其結果,攝像機1600例如可根據於CCD/CMOS1612中所產生之圖像資料、或自DRAM1618或記錄媒體1633所讀出之視訊資料之編碼資料、或經由網路而獲得之視訊資料之編碼資料,獲得更高精細之解碼圖像,並使其顯示於LCD1616。 又,攝像機1600使用圖像編碼裝置51、351、451或551作為編碼器1641。因此,編碼器1641與圖像編碼裝置51及351之情形同樣地,於幀內預測之前,根據量化參數或預測模式設定濾波係數而進行鄰接像素之濾波處理。或者,編碼器1641與圖像編碼裝置451及551之情形同樣地,對進行或不進行在幀內預測之前所進行之鄰接像素之濾波處理加以控制。藉此,可提高編碼效率。 因此,攝像機1600例如可提高記錄於硬碟之編碼資料之編碼效率。作為其結果,攝像機1600可更有效率地使用DRAM1618或記錄媒體1633之儲存區域。 再者,亦可於控制器1621所進行之解碼處理中適用圖像解碼裝置151、401、501或601之解碼方法。同樣地,亦可於控制器1621所進行之編碼處理中適用圖像編碼裝置51、351、451或551之編碼方法。 又,攝像機1600所拍攝之圖像資料可為動態圖像,亦可為靜態圖像。 當然,圖像編碼裝置51、351、451或551及圖像解碼裝置151、401、501或601亦可適用於上述裝置以外之裝置或系統。
51‧‧‧圖像編碼裝置66‧‧‧可逆編碼部74‧‧‧幀內預測部75‧‧‧鄰接像素內插濾波器切換部81‧‧‧鄰接像素設定部82‧‧‧預測圖像產生部83‧‧‧最佳預測模式判定部91‧‧‧預測模式緩衝器92‧‧‧量化參數緩衝器93‧‧‧低通濾波器設定部94‧‧‧濾波係數記憶體111‧‧‧鄰接像素設定部112‧‧‧預測圖像產生部113‧‧‧最佳預測模式判定部121‧‧‧預測模式緩衝器122‧‧‧最佳濾波器計算部151‧‧‧圖像解碼裝置162‧‧‧可逆解碼部171‧‧‧幀內預測部172‧‧‧鄰接像素內插濾波器切換部181‧‧‧預測圖像產生部182‧‧‧鄰接像素設定部191‧‧‧預測模式緩衝器192‧‧‧量化參數緩衝器193‧‧‧低通濾波器設定部194‧‧‧濾波係數記憶體202‧‧‧低通濾波器設定部251‧‧‧學習裝置261‧‧‧鄰接內插濾波器計算部271‧‧‧濾波係數儲存部351‧‧‧圖像編碼裝置361‧‧‧二次預測部362‧‧‧鄰接像素內插濾波器切換部401‧‧‧圖像解碼裝置411‧‧‧二次預測部412‧‧‧鄰接像素內插濾波器切換部451‧‧‧圖像編碼裝置461‧‧‧鄰接像素內插濾波器控制部501‧‧‧圖像解碼裝置511‧‧‧鄰接像素內插濾波器控制部551‧‧‧圖像編碼裝置561‧‧‧鄰接像素內插濾波器控制部601‧‧‧圖像解碼裝置611‧‧‧鄰接像素內插濾波器控制部
圖1係表示適用本發明之圖像編碼裝置之一實施形態之構成的方塊圖; 圖2係說明16×16像素之幀內預測模式之情形之處理順序的圖; 圖3係表示亮度信號之4×4像素之幀內預測模式之類型的圖; 圖4係表示亮度信號之4×4像素之幀內預測模式之類型的圖; 圖5係說明4×4像素之幀內預測之方向的圖; 圖6係說明4×4像素之幀內預測之圖; 圖7係說明亮度信號之4×4像素之幀內預測模式之編碼的圖; 圖8係表示亮度信號之8×8像素之幀內預測模式之類型的圖; 圖9係表示亮度信號之8×8像素之幀內預測模式之類型的圖; 圖10係表示亮度信號之16×16像素之幀內預測模式之類型的圖; 圖11係表示亮度信號之16×16像素之幀內預測模式之類型的圖; 圖12係說明16×16像素之幀內預測之圖; 圖13係表示色差信號之幀內預測模式之類型的圖; 圖14係表示圖1之幀內預測部及鄰接像素內插濾波器切換部之構成例的方塊圖; 圖15係說明濾波係數之計算之圖; 圖16係說明圖1之圖像編碼裝置之編碼處理的流程圖; 圖17係說明圖16之步驟S21之預測處理的流程圖; 圖18係說明圖17之步驟S31之幀內預測處理的流程圖; 圖19係說明圖17之步驟S32之幀間運動預測處理的流程圖; 圖20係表示圖1之幀內預測部及鄰接像素內插濾波器切換部之其他構成例的方塊圖; 圖21係說明圖17之步驟S31之幀內預測處理之另一例的流程圖; 圖22係表示適用本發明之圖像解碼裝置之一實施形態之構成的方塊圖; 圖23係表示圖22之幀內預測部及鄰接像素內插濾波器切換部之構成例的方塊圖; 圖24係說明圖22之圖像解碼裝置之解碼處理的流程圖; 圖25係說明圖24之步驟S138之預測處理的流程圖; 圖26係表示圖22之幀內預測部及鄰接像素內插濾波器切換部之其他構成例的方塊圖; 圖27係說明圖24之步驟S138之預測處理之另一例的流程圖; 圖28係表示適用本發明之學習裝置之一實施形態之構成的方塊圖; 圖29係表示圖28之幀內預測部及鄰接像素內插濾波器計算部之構成例的方塊圖; 圖30係說明圖28之學習裝置之幀內預測處理的流程圖; 圖31係表示適用本發明之圖像編碼裝置之另一實施形態之構成的方塊圖; 圖32係說明二次預測處理之圖; 圖33係表示適用本發明之圖像解碼裝置之另一實施形態之構成的方塊圖; 圖34係表示適用本發明之圖像編碼裝置之又一實施形態之構成的方塊圖; 圖35係表示圖34之幀內預測部之構成例的方塊圖; 圖36係說明圖17之步驟S31之幀內預測處理之另一例的流程圖; 圖37係說明圖17之步驟S31之幀內預測處理之又一例的流程圖; 圖38係說明圖17之步驟S31之幀內預測處理之另一例的流程圖; 圖39係表示適用本發明之圖像解碼裝置之又一實施形態之構成的方塊圖; 圖40係表示圖39之幀內預測部及鄰接像素內插濾波器控制部之構成例的方塊圖; 圖41係說明圖24之步驟S138之預測處理之又一例的流程圖; 圖42係表示適用本發明之圖像編碼裝置之另一實施形態之構成的方塊圖; 圖43係表示適用本發明之圖像解碼裝置之另一實施形態之構成的方塊圖; 圖44係表示經擴展之區塊大小之例的圖; 圖45係表示電腦之硬體之構成例的方塊圖; 圖46係表示適用本發明之電視接收器之主要構成例的方塊圖; 圖47係表示適用本發明之行動電話之主要構成例的方塊圖; 圖48係表示適用本發明之硬碟記錄器之主要構成例的方塊圖;及 圖49係表示適用本發明之攝像機之主要構成例的方塊圖。
62‧‧‧畫面重排緩衝器
66‧‧‧可逆編碼部
72‧‧‧訊框記憶體
74‧‧‧幀內預測部
75‧‧‧鄰接像素內插濾波器切換部
77‧‧‧預測圖像選擇部
78‧‧‧速率控制部
81‧‧‧鄰接像素設定部
82‧‧‧預測圖像產生部
83‧‧‧最佳預測模式判定部
91‧‧‧預測模式緩衝器
92‧‧‧量化參數緩衝器
93‧‧‧低通濾波器設定部
94‧‧‧濾波係數記憶體
Claims (11)
- 一種圖像處理裝置,其包括: 濾波器控制裝置,其構成為基於幀內預測模式,對鄰近地位於幀內預測用之當前區塊之鄰接像素,實施開始或結束(turned on or off)濾波處理,該當前區塊成為編碼處理之對象,進行開始或結束上述濾波處理之上述鄰接像素係作為上述當前區塊之上述幀內預測之參考像素; 幀內預測裝置,其構成為使用上述參考像素對上述當前區塊實施幀內預測,藉此產生預測圖像;及 編碼裝置,其構成為使用上述預測圖像編碼上述當前區塊之圖像;且 上述鄰接像素不包含於上述當前區塊; 上述濾波處理改變經濾波之各像素之值; 上述濾波器控制裝置基於上述幀內預測模式之模式編號,對上述鄰接像素決定濾波處理on(開始)或濾波處理off(結束); 上述濾波器控制裝置基於指示對上述當前區塊實施或不實施濾波處理之控制資料,決定濾波處理on(開始)或濾波處理off(結束); 上述濾波器控制裝置、上述幀內預測裝置及上述編碼裝置之至少一者由處理器實現。
- 如請求項1之圖像處理裝置,其中 上述解碼構件解碼上述當前區塊之幀內預測之模式;且 濾波設定構件根據上述解碼構件所解碼之幀內預測之模式設定係數,上述係數包含濾波係數與偏差值。
- 如請求項1之圖像處理裝置,其更包括: 調變解調電路裝置,其構成為對解碼處理之對象進行展頻處理及解展頻處理之至少一者;且 上述調變解調電路裝置由處理器實現。
- 如請求項1之圖像處理裝置,其中 上述鄰接像素與上述當前區塊鄰接,但不包含於上述當前區塊之像素。
- 如請求項3之圖像處理裝置,其更包括: 發送接收電路裝置,其構成為對從上述調變解調電路接收之信號進行頻率轉換處理及數位類比轉換處理;且 上述發送接收電路裝置由處理器實現。
- 如請求項5之圖像處理裝置,其更包括: 多工分離電路裝置,其構成為對聲音資料及上述圖像進行調變處理及分離處理之至少一者;且 上述多工分離電路裝置由處理器實現。
- 如請求項6之圖像處理裝置,其更包括: 電源電路裝置,其構成為藉由供給電力而使上述圖像處理裝置啟動為可動作之狀態;且 上述電源電路裝置由處理器實現。
- 一種圖像處理方法,其包括如下步驟: 基於幀內預測模式,對鄰近地位於幀內預測用之當前區塊之鄰接像素,實施開始或結束濾波處理,該當前區塊成為編碼處理之對象,進行開始或結束上述濾波處理之上述鄰接像素係作為上述當前區塊之上述幀內預測之參考像素; 使用上述參考像素對上述當前區塊實施幀內預測,藉此產生預測圖像;及 使用上述預測圖像編碼上述當前區塊之圖像;且 上述鄰接像素不包含於上述當前區塊; 上述濾波處理改變經濾波之各像素之值; 基於上述幀內預測模式之模式編號,對上述鄰接像素實施上述濾波處理on(開始)或上述濾波處理off(結束); 基於指示對上述當前區塊實施或不實施濾波處理之控制資料,實施上述濾波處理on(開始)或上述濾波處理off(結束)。
- 如請求項8之圖像處理方法,其中 根據上述幀內預測模式之模式所設定之濾波係數包含3個分接頭(tap)。
- 如請求項8之圖像處理方法,其中 根據上述幀內預測模式之模式所設定之濾波係數相對於0相位之係數為中心而具有對稱性。
- 如請求項8之圖像處理方法,其中 上述鄰接像素與上述當前區塊鄰接,但不包含於上述當前區塊之像素。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-156563 | 2009-07-01 | ||
JP2009156563 | 2009-07-01 | ||
JP2009244753A JP5597968B2 (ja) | 2009-07-01 | 2009-10-23 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2009-244753 | 2009-10-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201907722A TW201907722A (zh) | 2019-02-16 |
TWI699996B true TWI699996B (zh) | 2020-07-21 |
Family
ID=43410941
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW099117996A TWI475891B (zh) | 2009-07-01 | 2010-06-03 | Image processing apparatus and method, program and recording medium |
TW107141014A TWI699996B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法 |
TW103122612A TWI577179B (zh) | 2009-07-01 | 2010-06-03 | Image processing apparatus and method, program, and recording medium |
TW107137624A TWI705702B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法 |
TW105140741A TWI651965B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法、電腦程式產品以及記錄媒體 |
TW105140740A TWI650007B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法、電腦程式產品以及記錄媒體 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW099117996A TWI475891B (zh) | 2009-07-01 | 2010-06-03 | Image processing apparatus and method, program and recording medium |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103122612A TWI577179B (zh) | 2009-07-01 | 2010-06-03 | Image processing apparatus and method, program, and recording medium |
TW107137624A TWI705702B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法 |
TW105140741A TWI651965B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法、電腦程式產品以及記錄媒體 |
TW105140740A TWI650007B (zh) | 2009-07-01 | 2010-06-03 | 圖像處理裝置及方法、電腦程式產品以及記錄媒體 |
Country Status (14)
Country | Link |
---|---|
US (7) | US8885956B2 (zh) |
EP (1) | EP2451162A4 (zh) |
JP (1) | JP5597968B2 (zh) |
KR (7) | KR102051266B1 (zh) |
CN (4) | CN106385583B (zh) |
BR (2) | BRPI1011906B1 (zh) |
CA (1) | CA2763887C (zh) |
MX (3) | MX349900B (zh) |
MY (2) | MY156869A (zh) |
RU (4) | RU2542945C2 (zh) |
TR (1) | TR201112794T1 (zh) |
TW (6) | TWI475891B (zh) |
WO (1) | WO2011001865A1 (zh) |
ZA (1) | ZA201106207B (zh) |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101317458B (zh) * | 2006-03-16 | 2012-04-18 | 华为技术有限公司 | 在编码过程中实现自适应量化的方法及装置 |
JP5597968B2 (ja) * | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
KR101510108B1 (ko) | 2009-08-17 | 2015-04-10 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
WO2011121938A1 (ja) * | 2010-03-31 | 2011-10-06 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム、ならびに画像復号装置、画像復号方法及び画像復号プログラム |
KR20110123651A (ko) | 2010-05-07 | 2011-11-15 | 한국전자통신연구원 | 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법 |
TWI508534B (zh) * | 2010-05-18 | 2015-11-11 | Sony Corp | Image processing apparatus and image processing method |
KR102086145B1 (ko) * | 2010-12-13 | 2020-03-09 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
WO2012081895A1 (ko) | 2010-12-13 | 2012-06-21 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
US8917950B2 (en) * | 2011-01-18 | 2014-12-23 | Sony Corporation | Simplifying parametric loop filters |
WO2012134046A2 (ko) | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
KR101383775B1 (ko) | 2011-05-20 | 2014-04-14 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
JP2013034162A (ja) * | 2011-06-03 | 2013-02-14 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2012253722A (ja) * | 2011-06-07 | 2012-12-20 | Sony Corp | 画像符号化装置と画像復号装置およびその方法とプログラム |
KR20120140181A (ko) | 2011-06-20 | 2012-12-28 | 한국전자통신연구원 | 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치 |
JP5789172B2 (ja) * | 2011-10-20 | 2015-10-07 | 日本放送協会 | 画像処理装置及びプログラム |
WO2013062191A1 (ko) | 2011-10-24 | 2013-05-02 | (주)인터앱 | 인트라 예측 모드에서의 영상 부호화 방법 및 장치 |
CN104935929B (zh) * | 2011-10-24 | 2018-05-25 | 英孚布瑞智有限私人贸易公司 | 图像解码设备 |
RU2588990C2 (ru) | 2011-10-28 | 2016-07-10 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для внутреннего предсказания видео |
KR101616010B1 (ko) | 2011-11-04 | 2016-05-17 | 구글 테크놀로지 홀딩스 엘엘씨 | 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링 |
JP5871628B2 (ja) * | 2011-11-07 | 2016-03-01 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
JP2013102297A (ja) | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
TWI569625B (zh) * | 2012-04-06 | 2017-02-01 | Sony Corp | Image processing apparatus and method, program, and recording medium |
MX347522B (es) * | 2012-04-13 | 2017-04-27 | Mitsubishi Electric Corp | Dispositivo de codificación de imagen, dispositvo de decodificación de imagen, método de codificación de imagen, y método de decodificación de imagen. |
US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
WO2013185336A1 (en) * | 2012-06-15 | 2013-12-19 | Intel Corporation | Adaptive filtering for scalable video coding |
US9781447B1 (en) | 2012-06-21 | 2017-10-03 | Google Inc. | Correlation based inter-plane prediction encoding and decoding |
TWI618404B (zh) * | 2012-06-27 | 2018-03-11 | Sony Corp | Image processing device and method |
US9167268B1 (en) | 2012-08-09 | 2015-10-20 | Google Inc. | Second-order orthogonal spatial intra prediction |
US9344742B2 (en) | 2012-08-10 | 2016-05-17 | Google Inc. | Transform-domain intra prediction |
US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
US20150256827A1 (en) * | 2012-09-28 | 2015-09-10 | Mitsubishi Electric Corporation | Video encoding device, video decoding device, video encoding method, and video decoding method |
US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
US9503746B2 (en) * | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
JPWO2014084106A1 (ja) * | 2012-11-30 | 2017-01-05 | ソニー株式会社 | 画像処理装置および方法 |
JP6065613B2 (ja) * | 2013-01-29 | 2017-01-25 | 富士通株式会社 | 動画像符号化装置 |
US9247251B1 (en) | 2013-07-26 | 2016-01-26 | Google Inc. | Right-edge extension for quad-tree intra-prediction |
US9332150B2 (en) * | 2014-08-25 | 2016-05-03 | Kabushiki Kaisha Toshiba | Text scanning system, image processing apparatus, and text scanning method |
TWI561060B (en) * | 2015-01-15 | 2016-12-01 | Mstar Semiconductor Inc | Signal processing apparatus and signal processing method including quantization or inverse-quantization process |
JP2016146572A (ja) * | 2015-02-09 | 2016-08-12 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム |
US10382792B2 (en) | 2015-02-13 | 2019-08-13 | Lg Electronics Inc. | Method and apparatus for encoding and decoding video signal by means of transform-domain prediction |
EP3067889A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for signal-adaptive transform kernel switching in audio coding |
WO2017043786A1 (ko) | 2015-09-10 | 2017-03-16 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인트라 예측 방법 및 장치 |
EP3355580A4 (en) * | 2015-09-21 | 2019-04-24 | LG Electronics Inc. | METHOD AND DEVICE FOR PROCESSING VIDEO IMAGE SIGNALS USING COEFFICIENT REMOVAL PRESCRIPTION |
CN108141609A (zh) * | 2015-10-21 | 2018-06-08 | 夏普株式会社 | 预测图像生成装置、图像解码装置以及图像编码装置 |
GB2552273A (en) | 2015-11-09 | 2018-01-17 | Sky Cp Ltd | Television User Interface |
EP3376764A4 (en) * | 2015-11-12 | 2019-12-04 | LG Electronics Inc. | METHOD AND DEVICE FOR COEFFICIENT-INDUCED INTRAPREDICATION IN A BILDCODING SYSTEM |
CN109417637B (zh) | 2016-04-26 | 2021-12-07 | 英迪股份有限公司 | 用于编码/解码图像的方法和设备 |
US20200329232A1 (en) * | 2016-05-27 | 2020-10-15 | Lg Electronics Inc. | Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block |
KR101974261B1 (ko) | 2016-06-24 | 2019-04-30 | 한국과학기술원 | Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치 |
WO2017222140A1 (ko) * | 2016-06-24 | 2017-12-28 | 한국과학기술원 | Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치 |
WO2018012660A1 (ko) * | 2016-07-15 | 2018-01-18 | 엘지전자(주) | 예측 유닛 분할을 위한 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치 |
JP2019534629A (ja) * | 2016-09-30 | 2019-11-28 | エルジー エレクトロニクス インコーポレイティド | 画像処理方法及びこのための装置 |
KR20180080115A (ko) * | 2017-01-02 | 2018-07-11 | 한양대학교 산학협력단 | 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치 |
WO2018124853A1 (ko) * | 2017-01-02 | 2018-07-05 | 한양대학교 산학협력단 | 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치 |
KR102053242B1 (ko) * | 2017-04-26 | 2019-12-06 | 강현인 | 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 |
WO2019107999A1 (ko) * | 2017-11-30 | 2019-06-06 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 장치 |
KR101998036B1 (ko) * | 2017-12-06 | 2019-07-08 | 한국과학기술원 | 왜곡 제거 방법 및 장치 |
KR102606200B1 (ko) * | 2018-03-06 | 2023-11-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
WO2019185884A1 (en) * | 2018-03-29 | 2019-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for selecting an intra-prediction mode for padding |
US10687083B2 (en) * | 2018-06-06 | 2020-06-16 | Intel Corporation | Loop restoration filtering for super resolution video coding |
US11647179B2 (en) | 2018-06-25 | 2023-05-09 | B1 Institute Of Image Technology, Inc. | Method and apparatus for encoding/decoding images |
BR112020026971A2 (pt) | 2018-07-02 | 2021-03-30 | Huawei Technologies Co., Ltd. | Aparelho e método para filtragem em codificação de vídeo |
HUE063986T2 (hu) * | 2018-09-16 | 2024-02-28 | Huawei Tech Co Ltd | Eljárás és berendezés predikcióhoz |
JP7228980B2 (ja) * | 2018-09-21 | 2023-02-27 | 日本放送協会 | 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム |
CN112740276A (zh) * | 2018-09-23 | 2021-04-30 | 华为技术有限公司 | 用于帧内参考样本插值滤波器切换的方法和装置 |
RU2718426C9 (ru) * | 2019-07-10 | 2020-12-29 | федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" (Южный федеральный университет) | Устройство восстановления папиллярных узоров отпечатка пальца |
TWI731579B (zh) * | 2020-02-11 | 2021-06-21 | 日商東芝股份有限公司 | 傳輸裝置、通訊系統、傳輸方法及電腦程式產品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003304538A (ja) * | 2002-04-11 | 2003-10-24 | Matsushita Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及びそれらの方法 |
US20040136458A1 (en) * | 2001-11-30 | 2004-07-15 | Achim Dahlhoff | Method for conducting a directed prediction of an image block |
US20040213470A1 (en) * | 2002-04-25 | 2004-10-28 | Sony Corporation | Image processing apparatus and method |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3608582B2 (ja) * | 1995-07-07 | 2005-01-12 | ソニー株式会社 | 画像符号化装置および方法、画像復号装置および方法 |
JP3493872B2 (ja) * | 1996-02-29 | 2004-02-03 | ソニー株式会社 | 画像データ処理方法およびその装置 |
JP3263807B2 (ja) * | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
DE59801516D1 (de) * | 1997-01-31 | 2001-10-25 | Siemens Ag | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes |
JP3748489B2 (ja) * | 1998-03-11 | 2006-02-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
FI117533B (fi) * | 2000-01-20 | 2006-11-15 | Nokia Corp | Menetelmä digitaalisten videokuvien suodattamiseksi |
EP1137267A3 (en) * | 2000-02-07 | 2005-09-14 | Sony Corporation | Device and method for image processing |
US6654503B1 (en) * | 2000-04-28 | 2003-11-25 | Sun Microsystems, Inc. | Block-based, adaptive, lossless image coder |
JP2002073541A (ja) * | 2000-08-31 | 2002-03-12 | Sony Corp | コンテンツ配信方法およびコンテンツ供給システム |
US20020146074A1 (en) * | 2001-02-20 | 2002-10-10 | Cute Ltd. | Unequal error protection of variable-length data packets based on recursive systematic convolutional coding |
US20020157058A1 (en) * | 2001-02-20 | 2002-10-24 | Cute Ltd. | System and method for feedback-based unequal error protection coding |
US7450641B2 (en) * | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
EP2320661B8 (en) | 2001-11-29 | 2015-09-02 | Godo Kaisha IP Bridge 1 | Coding distortion removal method |
US20030103523A1 (en) * | 2001-11-30 | 2003-06-05 | International Business Machines Corporation | System and method for equal perceptual relevance packetization of data for multimedia delivery |
US6907079B2 (en) * | 2002-05-01 | 2005-06-14 | Thomson Licensing S.A. | Deblocking filter conditioned on pixel brightness |
US7227901B2 (en) * | 2002-11-21 | 2007-06-05 | Ub Video Inc. | Low-complexity deblocking filter |
US7289562B2 (en) * | 2003-08-01 | 2007-10-30 | Polycom, Inc. | Adaptive filter to improve H-264 video quality |
US7321565B2 (en) * | 2003-08-29 | 2008-01-22 | Ineoquest Technologies | System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks |
CN1233171C (zh) * | 2004-01-16 | 2005-12-21 | 北京工业大学 | 一种用于视频编码的简单化环路滤波方法 |
JP4082383B2 (ja) * | 2004-05-20 | 2008-04-30 | ソニー株式会社 | 撮像装置、画像処理方法および色領域設定プログラム |
KR100813958B1 (ko) * | 2004-06-07 | 2008-03-14 | 세종대학교산학협력단 | 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치 |
JP4763422B2 (ja) * | 2004-12-03 | 2011-08-31 | パナソニック株式会社 | イントラ予測装置 |
US7876833B2 (en) * | 2005-04-11 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive up-scaling for spatially scalable coding |
US20060258991A1 (en) * | 2005-04-29 | 2006-11-16 | Lin Edward D | Portable needle uncapping and recapping device |
US20090034857A1 (en) * | 2005-07-22 | 2009-02-05 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
JP2007150913A (ja) * | 2005-11-29 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
US7570704B2 (en) * | 2005-11-30 | 2009-08-04 | Intel Corporation | Transmitter architecture for high-speed communications |
WO2007074649A1 (ja) * | 2005-12-27 | 2007-07-05 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
KR101246294B1 (ko) * | 2006-03-03 | 2013-03-21 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
EP1841230A1 (en) * | 2006-03-27 | 2007-10-03 | Matsushita Electric Industrial Co., Ltd. | Adaptive wiener filter for video coding |
EP2001239B1 (en) * | 2006-03-27 | 2017-09-13 | Sun Patent Trust | Picture coding apparatus and picture decoding apparatus |
KR100745765B1 (ko) | 2006-04-13 | 2007-08-02 | 삼성전자주식회사 | 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법 |
CN100578622C (zh) | 2006-05-30 | 2010-01-06 | 北京中星微电子有限公司 | 一种自适应麦克阵列系统及其语音信号处理方法 |
US8243815B2 (en) * | 2006-06-16 | 2012-08-14 | Via Technologies, Inc. | Systems and methods of video compression deblocking |
FR2903253A1 (fr) * | 2006-06-29 | 2008-01-04 | Thales Sa | Procede permettant de determiner des parametres de compression et de protection pour la transmission de donnees multimedia sur un canal sans fil. |
WO2008004940A1 (en) * | 2006-07-07 | 2008-01-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Video data management |
JP4747975B2 (ja) * | 2006-07-14 | 2011-08-17 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
WO2008056931A1 (en) * | 2006-11-07 | 2008-05-15 | Samsung Electronics Co, . Ltd. | Method and apparatus for encoding and decoding based on intra prediction |
US9445128B2 (en) * | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
US9961372B2 (en) * | 2006-12-08 | 2018-05-01 | Nxp Usa, Inc. | Adaptive disabling of deblock filtering based on a content characteristic of video information |
US8942505B2 (en) * | 2007-01-09 | 2015-01-27 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive filter representation |
JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
JP5089214B2 (ja) * | 2007-03-27 | 2012-12-05 | キヤノン株式会社 | 画像処理方法及びその装置、コンピュータプログラム及び記憶媒体 |
JP4790843B2 (ja) * | 2007-03-30 | 2011-10-12 | 富士通株式会社 | 能動消音装置および能動消音方法 |
US20080253467A1 (en) * | 2007-04-13 | 2008-10-16 | Nokia Corporation | System and method for using redundant pictures for inter-layer prediction in scalable video coding |
US8406299B2 (en) | 2007-04-17 | 2013-03-26 | Qualcomm Incorporated | Directional transforms for intra-coding |
US8422803B2 (en) * | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
BR122019021946B1 (pt) * | 2007-06-29 | 2024-02-06 | Velos Media International Limited | Dispositivo de codificação de imagem para codificar imagens de entrada e dispositivo de decodificação de imagem para decodificar dados de imagens codificados |
CN100562114C (zh) | 2007-08-30 | 2009-11-18 | 上海交通大学 | 视频解码方法与解码装置 |
JP2009194617A (ja) * | 2008-02-14 | 2009-08-27 | Sony Corp | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
MX2010009194A (es) * | 2008-03-07 | 2010-09-10 | Toshiba Kk | Metodo y dispositivo de codificacion/decodificacion dinamica de imagen. |
US8831086B2 (en) * | 2008-04-10 | 2014-09-09 | Qualcomm Incorporated | Prediction techniques for interpolation in video coding |
EP2266321B1 (en) * | 2008-04-23 | 2017-12-13 | Telefonaktiebolaget LM Ericsson (publ) | Template-based pixel block processing |
WO2009133845A1 (ja) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | 動画像符号化/復号化装置及び方法 |
WO2009133844A1 (ja) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置 |
RU2011103915A (ru) * | 2008-07-04 | 2012-08-10 | Кабусики Кайся Тосиба (Jp) | Способ и устройство кодирования/декодирования движущегося изображения |
CN101321290B (zh) * | 2008-07-17 | 2010-12-15 | 北京数码视讯科技股份有限公司 | 基于数字信号处理器的去块滤波方法 |
TWI386068B (zh) * | 2008-10-22 | 2013-02-11 | Nippon Telegraph & Telephone | 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體 |
BRPI0922793A2 (pt) * | 2009-01-05 | 2016-01-05 | Toshiba Kk | métodos de codificação e de decodificação de imagens em movimento |
US20100329361A1 (en) * | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same |
JP5597968B2 (ja) * | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
US8306355B2 (en) * | 2009-07-13 | 2012-11-06 | Sharp Laboratories Of America, Inc. | Methods and systems for reducing compression artifacts |
JP2011050001A (ja) * | 2009-08-28 | 2011-03-10 | Sony Corp | 画像処理装置および方法 |
US20110249741A1 (en) * | 2010-04-09 | 2011-10-13 | Jie Zhao | Methods and Systems for Intra Prediction |
AU2011241284B2 (en) * | 2010-04-13 | 2015-05-07 | Samsung Electronics Co., Ltd. | Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure |
DE102011006036B4 (de) * | 2011-01-14 | 2012-12-27 | Siemens Aktiengesellschaft | Verfahren und Vorrichtungen zur Bildung eines Prädiktionswertes |
US20160073107A1 (en) * | 2013-04-15 | 2016-03-10 | Intellectual Discovery Co., Ltd | Method and apparatus for video encoding/decoding using intra prediction |
WO2017155334A1 (ko) * | 2016-03-11 | 2017-09-14 | 디지털인사이트 주식회사 | 비디오 코딩 방법 및 장치 |
CN117221600A (zh) * | 2016-06-22 | 2023-12-12 | Lx 半导体科技有限公司 | 图像编码/解码设备以及传输图像数据的设备 |
KR102410424B1 (ko) * | 2016-10-04 | 2022-06-17 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
EP3646599A1 (en) * | 2017-06-30 | 2020-05-06 | Telefonaktiebolaget LM Ericsson (PUBL) | Encoding and decoding a picture block using a curved intra-prediction mode |
-
2009
- 2009-10-23 JP JP2009244753A patent/JP5597968B2/ja active Active
-
2010
- 2010-06-03 TW TW099117996A patent/TWI475891B/zh active
- 2010-06-03 TW TW107141014A patent/TWI699996B/zh active
- 2010-06-03 TW TW103122612A patent/TWI577179B/zh active
- 2010-06-03 TW TW107137624A patent/TWI705702B/zh active
- 2010-06-03 TW TW105140741A patent/TWI651965B/zh active
- 2010-06-03 TW TW105140740A patent/TWI650007B/zh active
- 2010-06-23 MX MX2015004728A patent/MX349900B/es unknown
- 2010-06-23 KR KR1020197000633A patent/KR102051266B1/ko active IP Right Grant
- 2010-06-23 MX MX2015004729A patent/MX349898B/es unknown
- 2010-06-23 CN CN201610811821.2A patent/CN106385583B/zh active Active
- 2010-06-23 KR KR1020167033590A patent/KR101765430B1/ko active Application Filing
- 2010-06-23 WO PCT/JP2010/060605 patent/WO2011001865A1/ja active Application Filing
- 2010-06-23 KR KR1020177015072A patent/KR101772851B1/ko active IP Right Grant
- 2010-06-23 MX MX2011013711A patent/MX2011013711A/es active IP Right Grant
- 2010-06-23 US US13/380,478 patent/US8885956B2/en active Active
- 2010-06-23 KR KR1020167033587A patent/KR101765429B1/ko active IP Right Grant
- 2010-06-23 MY MYPI2011006087A patent/MY156869A/en unknown
- 2010-06-23 CN CN201610811112.4A patent/CN106254876B/zh active Active
- 2010-06-23 TR TR201112794T patent/TR201112794T1/xx unknown
- 2010-06-23 MY MYPI2016000276A patent/MY176882A/en unknown
- 2010-06-23 RU RU2011152881/08A patent/RU2542945C2/ru active
- 2010-06-23 KR KR1020197034885A patent/KR102161394B1/ko active IP Right Grant
- 2010-06-23 CN CN201080028028.6A patent/CN102474617B/zh active Active
- 2010-06-23 BR BRPI1011906-0A patent/BRPI1011906B1/pt active IP Right Grant
- 2010-06-23 CA CA2763887A patent/CA2763887C/en active Active
- 2010-06-23 BR BR122013014095-6A patent/BR122013014095B1/pt active IP Right Grant
- 2010-06-23 CN CN201410254234.9A patent/CN104125468B/zh active Active
- 2010-06-23 KR KR1020157003164A patent/KR101938316B1/ko active IP Right Grant
- 2010-06-23 EP EP10794034A patent/EP2451162A4/en not_active Ceased
- 2010-06-23 KR KR1020117029824A patent/KR101696950B1/ko active IP Right Grant
-
2011
- 2011-08-23 ZA ZA2011/06207A patent/ZA201106207B/en unknown
-
2013
- 2013-08-13 US US13/965,950 patent/US8675978B2/en active Active
-
2014
- 2014-09-11 US US14/483,325 patent/US9830716B2/en active Active
- 2014-09-11 US US14/483,245 patent/US9710930B2/en active Active
- 2014-10-13 RU RU2014141292A patent/RU2665885C2/ru active
-
2017
- 2017-09-18 US US15/707,509 patent/US10614593B2/en active Active
-
2018
- 2018-08-07 RU RU2018128907A patent/RU2690211C1/ru active
-
2019
- 2019-05-23 RU RU2019115874A patent/RU2019115874A/ru unknown
-
2020
- 2020-02-28 US US16/805,115 patent/US11328452B2/en active Active
-
2022
- 2022-05-09 US US17/740,320 patent/US20220335657A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040136458A1 (en) * | 2001-11-30 | 2004-07-15 | Achim Dahlhoff | Method for conducting a directed prediction of an image block |
JP2003304538A (ja) * | 2002-04-11 | 2003-10-24 | Matsushita Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及びそれらの方法 |
US20040213470A1 (en) * | 2002-04-25 | 2004-10-28 | Sony Corporation | Image processing apparatus and method |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI699996B (zh) | 圖像處理裝置及方法 | |
WO2011018965A1 (ja) | 画像処理装置および方法 | |
JP6048774B2 (ja) | 画像処理装置および方法 | |
AU2017201515B2 (en) | Image processing device and method | |
AU2015203503B2 (en) | Image processing device and method | |
AU2010267185B8 (en) | Image processing device and method |