TW201041404A - Image processing device and method - Google Patents
Image processing device and method Download PDFInfo
- Publication number
- TW201041404A TW201041404A TW099103245A TW99103245A TW201041404A TW 201041404 A TW201041404 A TW 201041404A TW 099103245 A TW099103245 A TW 099103245A TW 99103245 A TW99103245 A TW 99103245A TW 201041404 A TW201041404 A TW 201041404A
- Authority
- TW
- Taiwan
- Prior art keywords
- motion vector
- block
- unit
- accuracy
- vector information
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title abstract description 106
- 230000033001 locomotion Effects 0.000 claims abstract description 456
- 230000007246 mechanism Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims 1
- 230000002441 reversible effect Effects 0.000 abstract description 42
- 230000006835 compression Effects 0.000 abstract description 12
- 238000007906 compression Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 description 86
- 238000006243 chemical reaction Methods 0.000 description 64
- 230000008569 process Effects 0.000 description 44
- 230000015654 memory Effects 0.000 description 39
- 230000006870 function Effects 0.000 description 33
- 239000000463 material Substances 0.000 description 29
- 239000012536 storage buffer Substances 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 23
- 239000000872 buffer Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000013139 quantization Methods 0.000 description 20
- 230000005236 sound signal Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 14
- 230000008707 rearrangement Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000012769 display material Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 241001674044 Blattodea Species 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910000859 α-Fe Inorganic materials 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
201041404 六、發明說明: 【發明所屬之技術領域】 本發明係關於一種影像處理裝置及方法,特別係關於一 種抑制壓縮資訊之增大,並且提昇預測精度之影像處理裝 置及方法。 ' 【先前技術】 近年來,會將影像資訊作為數位進行處理,此時,以高 效率之資訊之傳輸、儲存為目的,利用影像資訊特有之冗 ^ 餘性,採用藉由離散餘弦轉換等正交轉換與活動補償進行 _ 壓縮之編碼方式對影像進行壓縮編碼之裝置得到不斷普 及。該編碼方式例如有MPEG(Moving Picture Experts Group,動畫專家組織)等。 尤其是MPEG2(ISO/IEC 13818-2)被定義為通用影像編碼 方式,其係包羅交錯掃描影像及依序掃描影像兩者、以及 標準解析度影像及高精細影像之標準。例如,MPEG2目前 Q 正廣泛地應用於專業型用途以及消費型用途之廣泛用途。 藉由使用MPEG2壓縮方式,若為例如具有720x480像素之 標準解析度之交錯掃描影像,則分配4至8 Mbps之編碼量 . (位元率)。又,藉由使用MPEG2壓縮方式,若為例如具有 1920x1088像素之高解析度之交錯掃描影像,則分配18至 22 Mbps之編碼量(位元率)。藉此,可實現較高之壓縮率 及良好之畫質。 MPEG2主要係以適合於廣播用之高晝質編碼為對象,但 其並不對應於較MPEG1更低之編碼量(位元率),即更高之 144635.doc 201041404 壓縮率之編碼方式。可想到隨著移動終端之普及,今後此 種編碼方式之需求將高漲,因應於此,業界已進行MPEG4 編碼方式之標準化。關於影像編碼方式,該規格於1998年 12月作為ISO/IEC 14496-2批准為國際標準。 此外’近年來,為實現最初電視會議用之影像編碼,正 在推進H.26L ( ITU-T Q6/16 VCEG)這一標準之規格化。眾 所周知,H.26L雖與MPEG2或MPEG4之類的先前之編碼方 式相比,其編碼、解碼要求更多之運算量,但可實現更高 之編碼效率。又,目前,作為MPEG4之活動之一環,以該 H.26L為基礎亦導入H.26L中無法支持之功能以實現更高之 編碼效率之標準化作為Joint M〇del 〇f Enhaneed_
Compression Video Coding(增強壓縮視頻編碼之聯合開發 模式)正在進行。作為標準化之排程,於年3月已變為 H.264 以及 MPEG-4 Partl0(Advanced Vide〇 (先進視 頻編碼),以下記作乩264/八1^(:)這一國際標準。 且說,於MPEG2方式巾,係藉由線性内插處理進行ι/2 像素精度之活動預測與補償處理。與此相對,於 H.264/AVC方式中’係進行使用有六個分接頭(6_㈣之fir (Finite Impulse Resp〇nse Fmer,有限脈衝響應渡波器成 波器之1/4像素精度之預測與補償處理。 又於MPEG2方式中,於訊框活動補償模式之情形時, 係以16 16像素為單凡進行活動預測與補償處理。於場活 動補:#模式之情形時,係對第1場與第2場之各個以16χ8像 素為單7L進行活動預測與補償處理。 144635.doc 201041404 相較於此,於H.264/AVr*〇·、丄 方式争,可使區塊尺寸為 以變更而進行活動預測與 ^ 、铺佾。即,於H 264/avc 中,可將包含16xl6像素之万式 .8 、 *巨集區塊分割成16x16、 16x8、8x16、或者8x8之任—八 毹A旦咨细 刀區,且分別具有獨立之移 動向里資訊。又,關於8X8分 刀£,可分割成8x8 ' 8M、 4x8、或者4x4之任一子分F Q、 資訊。 °°,且为別具有獨立之移動向量 Ο 〇 然而,於H.264/AVC方式中李 .^ 係進仃上述1/4像素精度以 及&塊可變之活動預測與補 丄,入 ^旦^ 員處理,由此會生成龐大之移 降 且接蝙碼,則會導致編碼效率之下 因此’業界已提出如下方宰 M , 夕作垃「成 業#,藉由利用已完成編碼 ^並精由中值運算(median 〇Pera 1〇n)生成之後欲加以編碼之對1 > 曰 3又對象£塊之預測移動向 1貧訊的方法等,來抑制編碼效率之下降。 且說,近年來,業界正在進行旨在進-步提昇 =.264^AVC方式之效率的研究。作為實現此目的之編碼方 式之一,於非專利文獻1中提出有灣素精度之活動箱 測。 罚7貝 ^於非專利文獻lt,1/2像素精度之内插處理係 濾波窃[-3,12, -39 1 ss 1 ςδ ^ A W,158’ 158, -39, 12, -3]/256 而進行。又, 1Μ像素精度之内插處理係藉由濾波器[·3, 12, -3 7, 229 71 21,6, ’256而進行’ 1/8像素精度之内插 由:’ 性内插而進行。 田、,泉 144635.doc 201041404 藉由如上所述進行利用有更高像素精度之内插處理的活 動預測,尤其於具有解析度較高之紋理,且比較緩慢之活 動之序列中,可提昇預測精度,從而實現編碼效率之提 昇。 [先前技術文獻] [非專利文獻] peldisplacementvectorresoIution」,VCEG-AD09,ITU-
Telecommunications Standardization Sector STUDY GROUP
Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006 【發明内容】 [發明所欲解決之問題] 就傳送至解碼側之壓縮影像資訊中之移動向量資
此處,就谓 訊進行考量。
144635.doc 201041404 本發明係鑒於上述情況而完成者,其係抑㈣㈣訊之 增大’並且提昇預測精度者。 [解決問題之技術手段] 本發明之第工態樣之影像處理裝置包括:精度旗 機構,其生成表示對象區塊之移動向量資訊之精度與鄰接 於上述對象區塊之鄰接區塊之移動向量資訊之精度是相同 還是不同的精度旗標;以及編碼機構,其對上述對象區塊 〇之移動向量資訊與由上述精度旗標生成機構所生成之上述 精度旗標進行編碼。 上述影像處理裝置進而包括預測移動向量生成機構,盆 係於由上述精度旗標生成機構所生成之上述精度旗標表示 上述對象區塊之移動向量資訊之精度與上述鄰接區塊之移 動向量資訊之精度不同的情形時,將上述鄰接區塊之移動 向量資訊之精度換算成上述對象區塊之移動向量資訊之精 〇 度而進行中值預測,生成預測移動向量資訊,上述編碼機 構可將上述對象區塊之移動向量資訊與上述預測移動向量 貝…分作為上述對象區塊之移動向量資訊而編碼。 上述精度旗標生成機構以及上述預測移動向量生成機構 可使用鄰接於上述對象區塊之左部之區塊作為上述鄰接區 塊。 上述精度旗標生成機構 可使用鄰接於上述對象區 區塊作為上述鄰接區塊。 上述精度旗標生成機構 以及上述預測移動向量生成機構 塊、並且之前剛實施編碼處理之 以及上述_移動向量生成機構 I44635.doc 201041404 可使用鄰接於上述料區塊、並且提供藉由中值預測而選 擇之移動向量資訊之區塊作為上述鄰接區塊。 本發明之第1態樣之影像處理方法包括如下步驟:影像 處理裝置生成表示對象區塊之移動向量資訊之精度與鄰接 於上述對象區塊之鄰接區塊之移動向量資訊 還是不同的精度旗標,並對上述對象區塊之㈣== 與所生成之上述精度旗標進行編碼。 本發明之第2«之㈣處縣置包括:解碼機構,豆 對經編碼之對象區塊之移動向量資訊'以及表示上述 =之移動向量資訊之精度與鄰接於上述對象區塊之鄰接 移動向量資訊之精度是相同還是不同的精度旗標進 而::,移動向量再構成機構,其使用藉由上述解碼機構 之上‘之上述精度旗標,再構成藉由上述解碼機構而解碼 之上述對象區塊之移動向量資訊;以及碼 構,其使用藉由上述移% Λ θ 心 成機 對象區塊之移動;it ^再構錢構而再構成之上述 像。 動向…,生成上述對象區塊之預測影 传象處理裝置進而包括預測移動向量生成機構盆 象=由上述解碼機構而解碼之上述精度旗對 ::::度換算成上述對象區塊之移動向量資訊:精:: ==::::移動_ 一動心 &解碼機構而解碼之上述精度旗標 J44635.doc 201041404 動向 區塊 二上述預測移動向量生成機構所生成之上述預測移 量資訊’再構成藉由上述解碼機構而解石馬之上述對 之移動向量資訊。 以及上述預測移動向量生成機 塊之左部之區塊作為上述鄰接 上述移動向量再構成機構 構可使用鄰接於上述對象區 區塊。 上述移動向量再構成機構以及上述預測移動向
❹ 構可使用錢於上述對象區塊、並且之前剛剛實施編碼處 理之區塊作為上述鄰接區塊。 上述移動向量再構成機構以及上述預測移動向量生成機 構可使用鄰接於上述對象區塊、並且提供藉由中值預測而 選擇之移動向量資訊之區塊作為上述鄰接區塊。 本發月之第2 _樣之影像處理方法包括如下步驟:影像 處理裝置對經編碼之對象區塊之移動向量資訊、以及表示 上述對象區塊之移動向量資訊之精度與鄰接於上述對象區 塊之鄰接區塊之移動向量資訊之精度是相同還是不同的精 度旗標進行解碼’並使用經解碼之上述精度旗標再構成經 解碼之上迷對象區塊之移動向量資訊,錢用經再構成之 上述對象區塊之移動向量資訊生成上述對象區塊之預測影 旦:本發明之^態樣中’係、生成表示對象區塊之移動向 2訊之精度與鄰接於上述對象區塊之鄰接區塊之移動向 里貝之精度是相同還是不同的精度旗標,並將所生成之 上述精度旗標與上述對象區塊之移動向量f訊—併進行編 144635.doc 201041404 碼。 於本發明之第2態樣中,係對經編 次』 场碼之對象區塊之移動 向里貝afl、以及表示上述對象區塊 μ , 凡心移動向1貧訊之精唐 ^鄰接於上料象區塊之鄰㈣塊切動向㈣訊之财 疋相同還是不同的精度旗標進行解石馬。繼而,使用經解瑪 之上边精度旗標再構成經解碼之上述對象區塊之移動向量 且使用經再構成之上述對象區塊之移動向量資訊生 成上述對象區塊之預測影像。 再者,上述影像處理裝置之各個可為獨立之裝置,亦可 為構成—個影像編碼裝置或者影像解碼裝置之㈣區塊。 [發明之效果] j據本發明之第1態樣’Μ影像進行編碼。又,根據 測精度。 i縮貝讯之增大,並且提昇預 根據本發明之第2態樣,可對影像進行解碼。又,根據 本發明之第2態樣,可抑制壓縮資訊之增大,並且提昇預 測精度。 汁預 【實施方式】 以下’參照®式對本發明之實施職進行說明。
[影像編碼裝置之構成例J 圖1表示作為應用有本笋 月之衫像處理裝置之影像編碼 裝置之一實施形態的構成。 該影像編碼裝置5 1藉由例如H.264以及刪G_4 Partl〇 ㈤㈣ced 〇 Coding)(以下記作Wye)方式對影像 144635.doc -10- 201041404 進行壓縮編碼。 於圖1之例中’影像編碼裝置51包括A/D(Anai〇g/
Digita1,類比/數位)轉換部61、晝面重新排列緩衝器62、 運算部63、正交轉換部64、量子化部“、可逆編碼部“、 儲存緩衝器67、逆量子化部68、逆正交轉換部69、運算部 7〇、解塊渡波器71、訊框記憶體72 '開關&框内預測部 Ο Ο 74、活動預測與補償部75、移動向量精度判定部76、預測 影像選擇部77以及碼率控制部78。 A/D轉換部61對所輸人之影像進行A轉換,並輸出至 晝面重新排列緩衝器62中加以儲存。晝面重新排列緩衝器 62將所儲存之顯示之次序之訊框的影像對應於㈣㈣叩 ㈣cture,影像群)重新排列成用以編碼之訊框之次序。 運算部63從自畫面重新排列緩衝器62讀出之影像中減去 由預測影像選擇部77所選擇之來自框内預測部74之預測影 像或者來自活動預測與補償部75之預測影像,將其差分資 訊輸出至正交轉換部64中。正交轉換部64對來自運算部63 之差分資訊實施離散餘弦轉換、卡氏轉換等正交轉換,並 Ί 、轉換係數。里子化部65將正交轉換部64所輸出之轉 換係數量子化。 口成為量子化部65之輸出之經量子化的轉換係數被輸入至 部66中’於此被實施可變長編碼、算術編碼等可 逆編碼,而加以壓縮。 $可逆編碼部66自框内預測部74獲得表示框内預測之資 成’並自活動預測與補償部75獲得表示框間預測模式之資 I44635.d〇c 201041404 訊等。再者,表示框内預測之資 訊,以下分別介μ 貝汛與表不框間預測之資 資訊。 無為框内預测模式資訊以及框間預測模式 表=内編Γ部66對經量子化之轉換係數進行編碼,並且對 " /則之貝§fl、表示框間預測模式之資编 瑪,而設為I縮影像中之標頭資訊之 ^仃、扁 66將經編碼之資料 σ刀。可逻編碼部 m 給至儲存緩衝器67中加以儲存。 例如,於可逆編媽部66中進行可變 等可逆編碼處理。Mm & 編碼
”、、I長鸡碼,可列舉以H.264/AVC c r^"CAVLC(C~^^ variable Length 可列可變長度編碼)等。作為算術編碼, AC(Context-Adaptive Binary Arithmetic Coding · 文絡適應性二進位算數編碼)等。 H 4存緩衝器6 7將自可逆編碼部6 6所供給之資料作為以 • AVC方式編碼之壓縮影像,輸出至例如後段之未圖 示之記錄裝置或傳輸線路等。 自里子化邛65所輪出之經量子化之轉換係數亦被輪C 入至逆量子化部68中經逆量子化後,進而於逆正交轉換部 69中加以逆正交轉換。經逆正交轉換之輸出藉由運算部70 而二自預測衫像選擇部77所供給之預測影像相加,變為局 部經解碼之影像。解塊據波器71去除經解碼之影像之區塊 雜(ock noise)後,將其供給至訊框記憶體中加以儲 存。於訊框記憶體72 Φ + ,, 中’亦供給藉由解塊濾波器71進行解 塊滤波處理之前之影像加以儲存。 144635.doc 201041404 開關7 3將訊框記情贈7 2 φ 户玉士 Λ 4體72中所储存之參照影 預測與補償部75或者框内制部㈣。 至活動 於該影像編碼裝置51中 哭查 將米自晝面重新排列緩衝 时62之I圖晝、B圖晝、以及p圖晝作 為框内處理)之影像# ‘·' 1預測(亦稱 办像么、給至框内預測部74。又,將白金工 重新排列緩衝器62所讀出之_書以 將自-面 預測(亦稱為框間處理“ 里作為進行框間 Ο 75。 )之“象供給至活動預測與補償部
框内預測部74根掳ό童工上A ” m 畫面重新排列緩衝器62所讀出之,隹 仃框内預測之影傻盥 丨请m之進 m 框記憶體72所供給之參昭¥傻 成預測影像㈣之框―處理,並生 二=測部74針對成為候補之所有框内_” U出成本函數值,並選__ 預_式 〇 小值之框内預測模式作為 〃數值提供最 ^ ^ 取住框内預測模式。 框内預測部74將以遇 4 4r_ 及其成本函數值供給至預模式所生成之_影像 王頂馮影像選擇部77由 Μ於已藉由預測影像選擇部^ 。框内預測部 生成之預測影像之情形時,將U 框内預測模式所 訊供給至可逆編碼部66中。可:取佳框内預測模式之資 碼,並將其作為I I爲碼部66對該資訊進行編 活勤箱w 像中之標頭資訊之-部分。 活動預測與補償部75進行成為/刀 之活動預測與補償處理。g 、南之所有框間預测模式 供給自晝面重新排列^ P ’向活動預測與補償部75中, ^衝器62所讀出之要進行框間處理之 M4635.doc 201041404 ”像亚且經由開關73自訊框記憶體72供給參照影像 ^預測與補仏部75根據要進行框間處理之影像與參照影 彳’檢測成為候補之所有框間預測模式之移動向量 據移動向量對參照影像實施補償處理,而生成預測影像/ 再者,活動預測與補償部75係進行上述非專利文獻^中 己載之1/8像素精度之活動預测補償處理,而 以後述之H.264/AVC太4俗招〜 …圖 補償處理。鞭方式所規疋之1/4像素精度之活動預測 次=活動預測與補償部75所求出之對象區塊之移動向量 移::接於對象區塊之鄰接區塊之移動向量資訊供給至 判定部-中。對應於此,向活動預測與補償 動^自移動向量精度判定部76供給表示對象區塊之移 =…之精度與鄰接區塊之移動向量資訊之精度是相 冋還疋不同的精度旗標。 移=!測與補償部75基於該精度旗標,使用鄰接區塊之 里貧μ异對象區塊之預測移動向量資訊,並將所 作為=動向量資訊與所生成之預測移動向量資訊之差分 為傳送至解碼側的移動向量資訊。 二==償部75針對成為候補之所有框間預測 2出成本函數值。活動預測與補償部75將提供所算 測模式。 取;值之預·式決定為最佳框間預 測將ιχ最佳框間預測模式所生成之預 κ、成本函數值供給至預測影像選擇部77+。活動 144635.doc •14- 201041404 予^則與補仏部75於藉由制影像選擇初已選擇 間預測模式所生成之預測影像之情形時,將表示最佳表 =測模式之—資職至可逆:: 此&^’移動向量資訊、私 輸出至可逆編碼部66;二::66參照訊—等亦被 儅邱逆、、扁碼祕對來自活動預測與補 。 貝讯仍然進行可變長編碼、算術編& Ο ❹ 編碼處理,並插入至壓縮影像之標碼之類的可逆 判定部二’供給來自活動預測與補償 訊。移動6 Ζ之移動向與鄰接11塊之移動向量資 二=:精度判定部76生成表示對象區塊之移動“ …精度與鄰接區塊之移動 不同的精度旗標,並將所Μ ^度疋相间還是 與補償部75中。 叙精度旗標供給至活動預測 預測影像選擇部77根據自框 補償部75所輸出之各成本函數值,自J;^4或者活動預測與 最佳框間預測模式中決定最佳預㈣^框内預測模式與 、登裡立 、模式。繼而,預測旦;ί傻 選擇部77選擇所決定之最佳預 預像 運算部63、70中。此時 "預測影像,供給至 選擇資m供仏至r Λ /貝1影像選擇部77將預測影像之 伴貝Λ供給至框内預測部74 中。 ’動預測與補償部7 5 碼率控制部78根據儲存緩衝器 控制量子化部65之量子化動:所儲存之I縮影像, 者下溢。 之馬率,以防止產生溢出或 144635.doc 15 201041404 [H.264/AVC方式之說明] 活動預測與補償之區塊尺 中’使區塊尺寸可變而進 圖2係表示H.264/AVC方式中之 寸之例的圖。於H.264/AVC方式 行活動預測與補償。 於圊2之上段中,自左側起依次表 人衣不有分割成16x16像 素、16x8像素、8xl6像素、以及8χ8像素之分區之包含 像素的巨集區塊。又’於圖2之下段中,自左侧起依 次表示有分割成8χ8像素、8x4像素、4χ8像素、以及私4像 素之子分區之8x8像素的分區。 即 ’可將1個巨集區塊分割成 於H.264/AVC方式中 16x16像素、16χ8像素、8χ16像素、或者8χ8像素中之任一 分區,並分別具有獨立之移動向量資訊。χ,關於8哪 素之分區,可分割成8χ8像素、8χ4像素、4χ8像素、或者 4x4像素中之任一子分區,並分別具有獨立之移動向量資 訊。 圖3係說明H.264/AVC方式中之1/4像素精度之預測盥 償處理之圖。於H.264/AVC方式中,進行有使用6個分接頭 之 FIR(Finite lmpulse Resp〇nse FiUer)濾波器之 ι/4像素精 度之預測與補償處理。 ’ 於圖3之例中,位置a表示整數精度像素之位置,位置 b、c、d表示1/2像素精度之位置,位置el、e2、e3表示w 像素精度之位置。首先’以下,如以下之式⑴般 Clip。。 [數1] 144635.doc 16- 201041404 〇,·若(a<0)
Clipl(a) = ] a;否則 max_pix;若(a > max_pix) 再者,於輸入影像為8位元精度之情形時,max ρίχ之值 為 255。 位置b以及d中之像素值係使用6個分接頭之FIR渡波器, 如以下之式(2)般生成。 [數2] 〇 F=A.2-5-A.i+2〇-A〇+20-A1-5-A2h-A3 b » d=Clipl((F+16)>>5) ...(2) 位置c中之像素值係於水平方向以及垂直方向上應用有6 個分接頭之FIR濾波器,如以下之式(3)般生成。 [數3] F=b_2-5.b.i+20.b〇+20.bi-5.b2+b3 或者 ❹ F=d.2-5-d.i+20-d〇+20-d1-5-d2+d3 c=Clipl((F+15)»10) ...(3) 再者’ Clip處理係進行水平方向之 y w <積和處理以及垂直方 向之積和處理兩者後,最後僅執行丨次。 位置e 1至e 3係如以下之式(4)船Μ氺& , 八1 )奴糟由線性内插而生成。 [數4] ei=(A+b+l)»l e2=(b+d+l)»l …(4) e3=(b+c+l)»l 144635.doc 201041404 再者,於圖i之活動預測與補償部75中, 專利文獻1所記載之灣素精度之活動預測補^上述非 非1M像素精度之活動預測補償處理。、、員处理,而 「即,於活動預測與補償部75中,係使用據波Μ 39,158,158,_39,12,_3]/256進行卿素精度之内插〆 理。又,使用渡波器[-^37,229,7^^== 行1M像素精度之内插處理,且_ 精度之内插處理. 肖行崎素
圖4係說明Η遍AVC方式中之多參考訊框之預測盘紹 處理之圖。於H.264/AVC方式中,規定有多參考則 (MiilU-Reference Frame)之活動預測與補償方式。 於圖4之例中,表示有即將進行編碼之對象訊框Fn以2 已完成編碼之訊框Fn_5、...、Fn]。訊框Fn_〗係時間抽」 對象訊框Fn之向前數第一個訊框,訊框ρη_2係對象訊框f
之向前數第二個訊框,訊框Fn_3係對象訊框Fn之向前數第 三個訊框。又,訊框Fn_4係對象訊框Fn之向前數第四個訊 框,訊框Fn-5係對象訊框Fn之向前數第五個訊框。通常, 相對於對象訊框Fn於時間軸上越近之訊框,被附加越小之 參照圖晝編號(ref—id)。即,訊框Fn-Ι之參照圖畫編號最 小,以後,按Fn-2、...、Fn-5之順序參照圖晝編號遞增。 於對象訊框Fn中表示有區塊a 1與區塊A2,區塊A1被設 定為與向前數第二個訊框Fn-2之區塊Α Γ相關聯,搜尋移 動向量VI。又’區塊A2被設定為與向前數第四個訊框Fn- 4之區塊ΑΓ相關聯,搜尋移動向量V2。 144635.doc -18· 201041404 如上所述,於H_264/AVC方式中,將複數個參照訊框儲 存於記憶體中,於1個訊框(圖畫)中,可參照不同之參照訊 框。即,例如,如區塊八丨參照訊框以^,區塊A2參照訊 框Fn-4般,於1個圖晝中,每個區塊可分別具有獨立之參 照訊框資訊(參照圖晝編號(ref_id))。 夕 此處,所謂區塊,係表示以上參照圖2所述之16\丨6像 素、16x8像素' 8x16像素、以及8χ8像素之分區中之任一 ❹ 者。8x8子區塊内之參照訊框必需為相同。 於H.264/AVC方式中,係藉由進行以上參照圖2至圖4所 述之活動預測與補償處理,生成龐大之移動向量資訊,並 將其直接編碼,這會導致編碼效率之下降。與此相對,於 H.264/AVC方式中,則藉由圖5所示之方法,實現了移動向 量之編碼資訊之減少。 圖5係說明利用H.264/AVC方式之移動向量資訊之生成方 法的圖。 〇 於圖5之例中,表示有即將進行編碼之對象區塊以例 如,16x16像素)、以及已完成編碼且鄰接於對象區塊£之 區塊A至D。 即,區塊D鄰接於對象區塊E之左上方,區塊B鄰接於對 象區塊E之上方,區塊C鄰接於對象區塊£之右上方,區塊 A鄰接於對象區塊E之左邊。再者,區塊A至D未被劃分, 係表示其等分別為圖2中所述之16><16像素至4χ4像素中之 任一構成之區塊。 例如’以mvx表示針對Χ(=Α、Β、c、D、Ε)之移動向量 144635.doc -19- 201041404 向量資訊pmvE係使 藉由中值預測而如 資訊。首先,針對象區塊E之預測移動 用關於區塊A、B、c之移動向量資訊, 以下之式(5)般生成。 pmvE=med(mVA、mvB、mVc) ⑺ 有日τ關於區塊C之移動命署杳·*η山# A 土 秒動Π里貝讯由於為畫框之端、或者 尚未被編碼等理由,而益、、么斗丨丨田γ 而,,、、法利用(unavailable)。於此情形 時,關於區塊C之移動命吾咨却总m 砂動Π里貝甙係使用關於區塊D之移動 向量資訊來代替。 訊而附加於壓縮影像 如以下之式(6)般生 fl 作為針對對象區塊E之移動向量資 之標頭部之資料mvdE係使用pm%, 成。
mvdE=mvE-pmvF ..•(6) 再者’實際上,對移動向詈眘— 功门夏貧讯之水平方向、垂直方向 之各個成分單獨地進行處理。 ϋ 以下,為與由活動預測所求出之移動向量資訊加以區 分,適當地將該資料mvd4稱作差分移動向量資訊。 如此’生成預測移動向量資訊,將藉由與鄰接之區塊之 關聯而生成之預測移動向量資 、, 里貝Λ興矛夕動向量資訊的差分即 差分移動向量資訊附加於壓飨影偾 !%衫像之標頭部,藉此可減少 移動向量資訊。 且說,關於Β圖畫之移動向量資訊中之資訊量雖然龐 大,但於H.264/AVC方式中,準備有被稱作直接模式之模 式。於直接模式中,移動向|眘4 土 π里貝況未儲存於壓縮影像中。 即,於解碼側,於對象區堍 鬼之周邊之移動向量資訊或者 144635.doc -20- 201041404 參照圖晝中,自與對象區塊座標相同之區塊即c〇_ looted(同址)區塊之移動向量資訊中抽出對象區塊之移動 向量資訊。因此’無需將移動向量f訊傳送至解碼側。 於該直接模式中’存在空間直接模式伽制一
Mode)與時間直接模式(Temp〇ral此⑽m_)兩種。空間 直接模式係主要利用空間方向(圖畫内之水平、垂直之二 維空間)之活動資訊之關聯性的模式,通常於包含相同活 〇動之影像中、活動速度會變化之影像中有效。另一方面, %間直接模式係主要利用時間彳向之活動資訊之關聯性的 杈式,通常於包含不同活動之影像中、活動速度固定之影 像中有效。 使用該等空間直接模式與時間直接模式中之哪一者,可 每個切片(slice)地進行切換。 再次’參照圖5,對利用H.264/AVC方式之空間直接模式 進行說明。於圖5之例中,如上所述,表示有即將進行編 〇 碼之對象區塊E(例如,116像素)、以及已完成編碼且鄰 接於對象區塊E之區塊A至D。而且,例如以rnvx表示針對 X(=A、B、C、D、E)之移動向量資訊。 針對象區塊E之預測移動向量資訊pmvys使用關於區塊 A、B、C之移動向量資訊,藉由中值預測而如上述之式(5) 般生成。而且’空間直接模式中之針對對象區塊E之移動 向量資訊mvE係由以下之式(7)表示。 mvE=pmvE ...(7) 即’於空間直接模式中,將藉由中值預測所生成之預測 144635.doc -21· 201041404
說明。 自左側起依次 於圖6之例中,時間軸t表示時間之經過, 表示有LO(LiSt〇)參照圖畫、即將進行編碼之對象圖晝 畫、對象圖晝、L1 ’並不限定於該順 L 1 (List 1)參照圖晝。再者,L0參照圖書、 參,¾圖晝之排列於H.264/AVC方式中,並 序。 對象圖畫之對象區塊例如包含於B切片中。因此,關於 對象圖晝之對象區塊,對L〇參照圖畫與L丨參照圖晝,計算 出基於時間直接模式之L〇移動向量資訊mv^與L〗移動向量 資訊mvLi。 又’於L0參照圖畫中,位於與即將進行編碼之對象區塊 相同之空間上之位址(座標)的區塊即c〇_l〇cate(j區塊中之移 動向量資訊mvCQl,係根據L0參照圖晝與L1參照圖晝而算 出。 此處’將對象圖晝與L0參照圖畫之時間軸上之距離設為 TDB ’將L0參照圖晝與L1參照圖晝之時間軸上之距離設為 TDd。於此情形時,對象圖晝中之L0移動向量資訊mVL0與 對象圖晝中之L1移動向量資訊mvLi可由以下之式(8)而計 算。 144635.doc -22- 201041404 [數5] TD mv — b uvL〇--~-mv , TD c〇] ^D mvL1 -TDb
TD mv col
D
再者,於H.264/AVC方式中,於壓縮影像中,不存在相 田於相對於對象圖畫之時間軸t上之距離TDB、TDd的資 〇 訊。因此,作為距離TDB、TDD2實際值,係使用表示圖 畫之輸出順序之資訊即P〇c(Picture 〇rder c〇unt,圖像序 列號)。 又,於H.264/AVC方式中,作為同樣無需傳送移動向量 模式除上述以外,亦有跳越模式(skip mode)。於 關於移動向量之編碼資料為〇之情形時(H.264/AVC方式之 凊形時,上述式(7)成立之情形時),且當DCT係數全部為〇 夺、〃、對象區塊變為跳越模式。又,於B圖畫之情形時, 〇當為直接模式且DCT係數為0時,該對象區塊變為跳越模 式。 [活動預測與補償部以及移動向量精度判定部之構成例] 圖7係表示活動預測與補償部以及移動向量精度判定部 之詳細構成例的方塊圖。再者’關於各詳細情況,適當地 使用上述圖5之對象區塊e以及鄰接區塊人至£)進行說明。 、於圖7之例中,活動預測與補償部75包含整數像素精度 活動預測與補償部81、小數像素精度活動預測與補償部 82 '移動向量資訊儲存緩衝器83、預測移動向量計算部 144635.doc -23- 201041404 84、移動向量資訊編碼部85、以及模式判定部%。 移動向量精度判定部76包含對象移動向量精度判別部 91、鄰接移動向量精度判別部92、以及精度旗標生 93。 # 向整數像素精度活動預測與補償部8 1中,供給自書面 新排列緩衝器62所讀出之要進行框間處理之原影像旦並^ 經由開關73自訊框記憶體72供給參照影像。整數像素精声 活動預測與補償部81對成為候補之所有框間預測模式= 對象區塊E之整數像素精度之活動預測與補償處理。此 時’所求出之對象區⑽之整數像素精度之移動向 訊,與要進行框間處理之影像以及參照影像一併被供給至 小數像素精度活動預測與補償部82中。 =像㈣度㈣制與補㈣82使料進行框間處理 〜象以及參照影像,基於整數像素精度之移動 訊,進行對象區塊E之小數像紊 貝 , 像素精度之活動預測與補償處 理。此處,如上所述,進 償處理。此時…、山 料精度之活動預測與補 向量/之移動向量資訊被儲存於移動 句里貝§fl儲存緩衝器83 φ,* α、丄 碑部85以及㈣ 被供給至移動向量資訊編 :::以及對象移動向量精度判別_ 像素精度之補償處理,所求出之預測影像與心= 照说框m被供給至模式判定部86。 ^ 移動向量資訊儲存緩衝器83儲存 活 動預測與補償㈣而求出之移數像素精度活 C、D、E)。 〇 里負 5凡 mvx(x=A、B、 J44635.doc -24- 201041404 預測移動向量計算部84自移動向量資訊儲存緩衝器83讀 出鄰接於對象區塊之鄰接區塊之移動向量資訊mvA、 mvB、mVc。預測移動向量計算部84使用所讀出之移動向 量資訊,藉由上述式(5)之中值預測計算出對象區塊丑之預 . 測移動向量資。此時,向預測移動向量計算部84 中,供給由精度旗標生成部93所生成之精度旗標 (horizontal_mv_precision_change_flag ^ vertical:mv_precision_change_flag) 〇 〇 於該精度旗標表示對象區塊E之移動向量資訊之精度與 用於預測移動向量資訊生成之鄰接區塊之移動向量資訊之 精度為不同的情形時,預測移動向量計算部84以如下方式 進行處理。即,於此情形時,預測移動向量計算部以將鄰 接區塊之移動向量資訊之精度換算成(配合)對象區塊E之 移動向量資訊之精度,計算出對象區塊E之預測移動向量 資訊pmvE。 藉由預測移動向量計算部8 4而生成之對象區塊E之預測 〇移動向量資訊pmVE被供給至移動向量資訊編碼部85。 向移動向量資減碼⑽巾,自小數像素精度活動預測 與補償部82供給對象區塊移動向量資訊.,且自預測 寿夕動向ϊ計算部84供給對象區塊E之預測移動向量資訊
PmvE。進而,向移動向量資訊編碼部中,自精度旗標生 成部93供給精度旗標。 矛夕動向里寊讯編碼部85使用對象區塊^之移動向量資訊 6 對象區塊E之預測移動向量資訊pmvE,藉由上述式 (6) ’求出用卩附加於I縮影像之標頭部之對象區塊E的差 144635.doc -25- 201041404 刀移動向!資訊mvdE。移動向 對象區塊E之差分移動向量資訊將所求出之 至模式判定部86中。 一月度旗軚一併供給 向模式判定部86中,供給來自小數 補償部η之預測影像、原影像及參照訊框資 移動向量資訊編碼部85之差分移動向量資訊—來自 標等。模式判定部86適當地使用所供給之資二= ==有框間預測模式之成本函數值。模_ 預測模' I提供最小值之預測模式決定為最佳框間 兑成麵間關模相生叙預測影像及 ”成本函數值供給至預測影像選擇部77中。 於已藉由制影像選擇部7選擇最佳_制模式之預 測影像之情料,模式判定部_㈣最佳_預測模式 …與差分移動向量資訊一、精度旗標、參照訊框資 況等輸出至可逆編碼部66。 對象移動向量精度判別部91判別來自小數像素精度活動 預測與補償部82之對象區塊之移動向量資訊mVE的精度。 繼而’對象移動向量精度判別部91決定對於對象區塊之移 動向里:貝efl之水平成分與垂直成分的相關精度參數 (cu,_honzontal„cision^^^ , -_ν6^1„〇ίδί〇η„) 〇 所決定之對象區塊之移動向量資訊之精度參數被供給至精 度旗標生成部93中。 例如,於對象區塊£之移動向量資訊僅具有至】/4像 素精度為止之資訊的情形時,對象區塊水平成分之精 144635.doc -26 - 201041404 度參數與垂直成分之精度參數之值設為〇。於對象區塊£之 移動向量資訊mvE具有至1/8像素精度為止之資訊的情形 時’對象區塊E之水平成分之精度參數與垂直成分之精度 參數之值設為1。 鄰接移動向量精度判別部92讀出移動向量資訊儲存緩衝器 幻之鄰接區塊之移動向量資訊,判別鄰接區塊之移動向量資 訊之精度。繼而,鄰接移動向量精度判別部92決定對於鄰接 〇區塊之移動向量資訊之水平成分與垂直成分的相關精度參數 (pred_honzontal_mv_precision_param ^ pred_vertical_mv_precision_param) ° 所決定之鄰接區塊之移動向量資訊之精度參數被供給至精 度旗標生成部93中。 例如,於鄰減塊之移動向„訊僅具有至1/4像素精 度為止之資訊的情形時,鄰接區塊之水平成分之精度參數 2垂直成分之精度參數之值設為0。於鄰接區塊之移動向 s貧訊具有至1/8像素精度為止之資訊的情形時,鄰接區 〇塊之水平成分之精度參數與垂直成分之精度參數之值設為 此處’所謂鄰接區塊,係指有可能向對象區塊E之移動 向量資訊mvE提供預測值(預測移動向量資訊)pmvE之區 塊’例如圖5之區塊A、b、c、D中之任一區塊。具體而 言’由以下之任一方法加以定義。 第1方法係使用鄰接於對象區塊E之左部之區塊A作為鄰 接區塊之方法。 第2方法係使用之前剛剛實施解碼處理之區塊作為鄰接 144635.doc -27· 201041404 區塊之方法。 第3方法錢用提㈣由上述式⑺之t值觸而選擇之 預測值的區塊作為鄰接區塊之方法。即,於此情形時’传 使用藉由中值預測而設為預測值之移動向量之精度。〃 再者,於上述第1方法以及第2方法中,提供 pred.honzontaLmv^ecision^ , pred^erticaLmv^ecis^ 之區塊為經框内編碼者之情形時,將其移動向量資訊之值 設為〇而進行處理。又,於第3方法之情形時,進行基於以 H.264/AVC方式所規定之中值預測之處理。 向精度旗標生成部93中,供給來自對象移動向量精度判 別部91之對象區塊E之移動向量資訊之精度參數、以及來 自鄰接移動向量精度判別部92之鄰接區塊之移動向量資訊 之精度參數。精度旗標生成部93對兩者之精度參數進行比 較,生成表示對象區塊E之移動向量資訊之精度與鄰接區 塊之移動向量資訊之精度是相同還是不同的精度旗標。 即,右對象區塊E之水平成分之精度參數與鄰接區塊之 水平成分之精度參數為相同值,則對象區塊E之水平成分 之精度旗標(h〇riZontal—mv_precisi〇n_change—叫)之值設 為〇。若對象區塊E之水平成分之精度參數與鄰接區塊之水 平成分之精度參數為不同值,則對象區塊E之水平成分之 精度旗標(h〇riZ〇ntaLmv_precisi〇n—change—flag)之值設為 又,右對象區塊E之垂直成分之精度參數與鄰接區塊之 垂直成分之精度參數為相同值,則對象區塊E之垂直成分 144635.doc •28· 201041404 之精度旗標(vertical_mv_precision_change_flag)之值設為 0。若對象區塊E之垂直成分之精度參數與鄰接區塊之垂直 成分之精度參數為不同值,則對象區塊£之垂直成分之精 度旗標(vertical_mv_precision_change_flag)之值設為 1。 即,表示對象區塊E之移動向量資訊之精度與鄰接區塊 之移動向量資訊之精度是相同還是不同的精度旗標,係表 示對象區塊E之移動向量資訊之精度是否自鄰接區塊之移 0 動向量資訊之精度發生改變者。 所生成之對象區塊之水平成分以及垂直成分之精度旗標 被供給至預測移動向量計算部8 4以及移動向量資訊編碼部 85中。 [衫像編碼裝置之編碼處理之說明] 其次,參照圖8之流程圖,對圖丨之影像編碼裝置“之編 碼處理進行說明。 於步驟S11中,A/D轉換部61對所輸入之影像進行A/D轉 〇 換。於步驟W2中,畫面重新排列緩衝器62儲存自Α/〇轉換 部61所供給之影像,將各圖晝自顯示次序重新排列成編碼 次序。 於步驟S13中,運算部63對步驟S12中所重新排列之影像 與預測影像之差分進行運算。預測影像於要進行框間預測 之情形時係自活動預測與補償部75經由預測影像選擇部π 供給至運算部63,於要進行框内預測之情形時係自框内預 測部74經由預測影像選擇部77供給至運算部〇。 差分資料與原來之影像資料相比資料量變小。因此,與 144635.doc •29- 201041404 對〜像直接進行編碼之情形時相比,可壓縮資料量。 於步驟S14中’正交轉換部64對自運算部63所供給之差 刀資Λ進仃正父轉換。具體而言’進行離散餘弦轉換、卡 氏轉換等正父轉換,輸出轉換係數。於步驟⑴中,量子 化4 65將轉換係數加以量子化。於該量子化時,如後述之 步驟S25之處理中所說明般,碼率受到控制。 以上述方式里子化之差分資訊以如下方式被局部解碼。 尸;γ驟S 16中,逆量子化部68以與量子化部65之特性 相對應之特性將藉由量子化部65而量子化之轉換係數逆量 子化於步驟S 1 7中,逆正交轉換部69以與正交轉換部64 之特性相對應之特性對藉由逆量子化部Μ而逆量子化之轉 換係數進行逆正交轉換。 於V驟S 1 8中’運算部70將經由預測影像選擇部77而輸 入之預測影像與經局部解碼之差分資訊相加,而生成經局 P解馬之〜像(與向運算部63之輸入相對應《影像)。於步 驟si”,解塊據波器71對自運算部7〇所輸出之影像進行 濾波。藉此去除區塊雜訊。於步㈣辦,訊框記憶體η 儲存經遽波之影像。再者,對訊框記憶體72亦自運算部 供給未藉*解塊錢器71進㈣波處理之影像加以儲存。 、於步驟S21’ ’框内預測部74以及活動預測與補償部π 刀別進行影像之預測處理。於步驟⑵中,框内預測 4 74進行框内預測模式之框内預測處理。活動預測與補償 部75以1/8像素精度進行框間制料之活動預測與 處理。 144635.doc -30- 201041404 償部定部76生成表示由活動預測與補 對象區塊之_塊:=?:量資:之精度與鄰接於 π, 龙之移動向Ϊ貧訊之精度是相同還是又 ::度旗標。活動預測與補償部75基於該精 ::!區塊之移動向量資訊,計算出對象區塊之預測移; Ο Ο 彳求出之移動向量資訊與所算出之預測蔣 2向量資訊的差分作為傳送至解碼側之差分移動向量資 I精度旗標及差分移動向量資訊於步驟S22中 ===_,時,與表 66 0 "、一』框貧訊—併被供給至可逆編碼部 、f=21中之預測處理之詳細情況將參照圖9於後文^ 由該處理’分別進行成為候補之所有預測模式下二 =處理,分別計算出成為候補之所有預测模 函數值。繼而’根據所計算出之成本函數值,選擇=本 内預測模式,並將由最佳框内預測模式之框内預測:生2 之預測影像及其成本函數值供給至預測影像選擇部77。成 又’藉由該處理,分料行成為候補之 ^ 式下之預測處理,分別計算出成為候補之所曰預測杈 式下之成本函數值。根據所計算出 王間預測模 預測模式之中決定最佳框間預测模式,並==佳自框間 測模式生成之預測影像及其成本 Μ框間預 擇部77。 值仪給至預測影像選 144635.doc -31- 201041404 ^驟S22中,預測影像選擇部77根據自框内預測部μ以 =動預測與補償部75所輸出之各成本 ::測模式與最佳框間預測模式中之-者決定為最佳= 繼而,預測影像選擇部77選擇所決定之最佳 ==像’並將其供給至運算部Μ。中。該預測影 所述,係用於步驟S13、Sl8之運算。 =將該預測影像之選擇資訊供給至框内預測部㈣ 者活動預測與補償部75中。 預測影像之情# “ 選擇取佳框内預測模式之 式之資二 内預測部74將表示最佳框内預測模
=^_,框内預_式資訊)供給至可逆編碼部I ㈣:佳框間預測模式之預測影像之情形時,活動 Γ償部75將表示最佳框間預測模式之資訊'以及: 而要之對應於最佳框間預 ° 66中。作為對應於最佳框間預輸出至可逆編碼部 移動向量資訊、精⑽:指式之貧訊,可列舉差分 於步㈣3中,:二:照訊框資訊等。 量子化之轉換係數進行編碼如 :碼、算術編碼等可逆〜進㈣ …來自框= 最佳框間預測模式相對應之資預f與補償部75之 標頭資訊中。 、^ 、订編碼,並附加至 於步驟S24中,儲在结你^ 加_。適當存像作為壓縮影像 存緩衝以7中所儲存之壓縮影 144635.doc -32- 201041404 像’並將其經由傳輪線路傳輸至解碼側。 於步驟S25中’碼率控制部78根據儲存緩衝_中所錯 存之墨縮影像,控制量子化部“之量子 防止產生溢出或者下溢。 ,丰以 [預測處理之說明j 理其次,參照圖9之流程圖說明圖8之步撕之預測處 ❹ 要:自Si新排列緩衝器62所供給之處理對象之影像為 要進仃框内處理之區塊之影 。 讀情形時,自訊框記憶體72 =斤“、、之已解碼之影像,並經 内預測部74中。根據該等影像,於步驟⑶中,框内: 部74以成為候補之所有 預'賴式對處理對象之區塊之 象素進订框内制。再者’作為所參照之已解碼之像素, 系使用未藉由解塊遽波器71進行解㈣波之像素。 步驟S3 1中之框内預測處 文 处里之祥細情況將參照圖10於後 ==,藉由該處理,以成為候補之所有框内_ 貝測,並針對成為候補之所有框内預測模式計算出 忙内值。繼而,根據所計算出之成本函數值選擇最佳 Γ預測模式’並將由最佳框内預測模式之框内預=1 2預測影像及其成本函數值供給£預測影像選擇部77 於自晝面重新排列緩衝器62 in 所供給之處理對象之影像為 仃㈣處収影像的情料,自純記憶 參照之影像,並經㈣關73„供給歸動㈣與補= 144635.doc -33- 201041404 75中。根據該等影後, 象於步驟S32中,活動預測與補償部 75進行框間活動預測虛 J尾理。即,活動預測與補償部75參照 自訊框記憶體72所供给之&你 ^ |仏、、°之影像,進行成為候補之所有框間 預測模式之活動預測處理。 再者騎,移動向量精度判定部76生成表示由活動預 測與補償部75所求出之對象區塊之移動向量資訊之精# ^於對象區塊之鄰接區塊之移動向量資訊之精度是相同、 :疋不同的精度旗標。活動預測與補償部75基於該精度旗 〇 才示,使用鄰接區塊之移動闩曰 移動向I魏生成對象區塊之預測移 動向罝貧訊,並將所求出 — 移動向量貝汛與所生成之預測 移動向罝貧訊的差分作A t、、, ^ 為傳运至解碼側之差分移動向量資 訊0 、 3亥精度旗標及差分移動向吾次% & m ge 助门里貝矾於圖8之步驟S22中,已 k擇最佳框間預測模式之 〜W叫衫像之情形時,盥表 框間預測模式之資訊或參昭 碼部66中。 一框…併被供給至可逆編
Q 步驟S32中之框間活動預測處 Mm ^ 之砰細h況將參照圖11 、後文4田述,精由該處理, 六、m 成為候補之所有框間預測模 計算出成本函數值。 Μ補之所有框間預測模式 :步=34中,活動預測與補償部75之模式 ==計算出之針對框間預測模式之成本函數㈣ 佳框間預測模式,並將以最佳框間 ^疋為取 具列杈式生成之預測影 144635.doc -34· 201041404 像及其成本函數值供給至預測影像選擇部77中。 [框内預測處理之說明] 其次,參照圖10之流程圖說明圖9之步驟S3丨中之框内預 測處理。再者,於圖10之例中,以亮度訊號之情形為例進 行說明。 框内預測部74於步驟S41令,對4χ4像素、8χ8像素、以 及16x16像素之各框内預測模式進行框内預測。 Ο ❹ 於売度訊號之框内預測模式中,存在九種4χ4像素以及 Μ像素之區塊單元、以及四_χ16像素之巨集區塊單元 之預㈣式’於色差訊號之框内預測模式中,存在四種 ^像素之區塊單元之預測模式。色差訊號之框内預測模 式可獨立於亮度訊號之框内預測模式而設定。關於亮度訊 號之4M像素以及8x8像素之框内預測模式,對每個叫像 素以及…像素之亮度訊號之區塊定義一種框内預測模 。式。關於亮度訊號之16x16像素之框内預測模式與色差訊 號之框内預測模式,對—個巨集區塊定義—種預測模式。 具體而言’框内預測部74自訊框記憶體72讀出處理對象 之區塊之像素’並參照經由開關73所供給之已解碼之影像 ^丁框内預測。藉由以各框内預測模式進行該框内預測處 各框内預測模式生成預測影像。再者,作為所參 遽波之像=像素,係使用未藉由解塊渡波器71進行解塊 像:=部74於步驟S42中’計算出針對叫像素、㈣ ” Xl6像素之各框内預測模式之成本函數值。 144635.doc -35· 201041404 此處,作為成本函數值,係根據High C〇mpiexity(高複雜 度)模式或者Low Complexity(低複雜度)模式中之任一種方 法而算出。該等模式係*H.264/AVC方式中之參照軟體即 JM(J〇int Model ’聯合模型)而決定。 即,於High Complexity模式中,作為步驟S41之處理, 對成為候補之所有預測模式暫時進行至編碼處理為止。繼 而’針對各預測模式計算出由以下之式(9)所表示之成本函 數值,並選擇提供其最小值之預測模式作為最佳預測模
Cost(Mode)=D+X-R , ."(9) D為原影像與解碼影像之差分(變形量),r為包含至正六 轉換係數為止之發生編碼量,λ為作為量子化參數砂之= 數而提供之拉格朗日乘數。 另-方面,於L0W Complexity模式中,作為步驟州之 針對成為候補之所有㈣模式,生成預測影像,並 异:移動向量資訊或預測模式資訊、旗標資訊等之標 ⑽所表示之^ 測模式計算出由以下之式 作為最佳箱I叾數值’亚選擇提供最^值之預測模式 作為取佳預測模式。
Cost(M^ode)=D+QPtoQuant(Qp)eHeader …、衫像與解瑪影像之差分(變 對預測模式之椤藤n 。 里)Header—Bn為針
之函數㈣供二| 一為作為量子化參數QP mplexuy杈式中,對於所有預測模式僅生成預 144635.doc -36 - 201041404 測影像 可較少 而無為進行編碼處理以 及解碼處理,因此運算量 框内預測部7 4於步驟s 4 3 Φ,al n 以们α “ 乂心43中’針對4x4像素、8χ8像素、 及6 X 16像素之各框内預彳 ρ , 頂利杈式,分別決定最佳模式。 Ρ ·如上所述,於框内4 X 4預、>丨播 預,則槟式以及框内8x8預測模式 之h开)時’預測模式之種類在 員存在九種,於框内16x16預滑 模式之情形時,預測模式之 Ο 裡犬貝存在四種。因此,框内預 測部74根據步驟S42中所計 ' T异出之成本函數值,自該等之 中決定最佳框内4χ4預測掇沬、县&上 J衩式最佳框内8x8預測模式、最 佳框内16x16預測模式。 框内預測部74於步驟844Φ,#祕-、 乂 宁,根據步驟S42中所計算出之 成本函數值,自針對4><4像紊、s 1豕I 8 x 8像素、以及16 X 16像素 之各框内預測模式所決定之久畏 疋<谷敢佳模式之中選擇最佳框内 預測模式。即,自針對4x4像素、㈣像素、以及ΐ6χ_ 素所決定之各最佳模式之中,選擇成本函數值為最小值之 Ο模式作為最佳框内預測模式。繼而,框内預測部74將以最 佳框内預測模式所生成之預測影像及其成本函數值供給至 預測影像選擇部77中。 [框間活動預測處理之說明] 其次,參照圖π之流程圖對圖9之步驟S32之框間活動預 測處理進行說明。 活動預測與補償部75於步驟S51中,針對以上參照圖2所 述之包含16x16像素至4x4像素之八種之各框間預測模式分 別决定移動向量與參照影像。即,針對各框間預測模式之 144635.doc •37- 201041404 處理對象之區塊分別決定移動向量與參照影像。 活動預測與補償部75於步驟S52中’針對包含ΐ6χΐ6像素 至4x4像素之八種之各框間預測模式,根據步驟⑸中所決 定之移動向量對參照影像進行活動關與補償處理。藉由' 該活動預測與補償處理,生成各框間預_式下之預心 具體而言’上述步驟S51以及S52之處理係藉由整數像素 Z度活動制與補償和1整數像素精度對各框間預測 f :^對象區塊來進行,並藉由小數像讀度活動預測與 汗員部82以1/8像素精度來進行。 百先’整數像素精度㈣_與補償部81對成為候補之 2框間預難式進行對象區塊之整數像素精度之活動預 ,'匕、補償f理。此時,所求出之對㈣塊之整數像素精度 =動向^訊與要進行㈣處理之影像以及參照影像一 开^供、,’α至小數像素精度活動預測與補償部82中。對應於 =’小數像素精度活動制與補償和使用要進行框間處 訊之影像以及參照影像,基於整數像素精度之移動向量資 進行對象區塊之小數像素精度之活動預測與補償處 埋。 器83中二扣動向里貝訊被儲存於移動向量資訊儲存緩衝 ^ , Θ兀且被供給至移動向量資訊編碼部85以及對象移 動向量精度判別部91中。?—丄 理, 中又’猎由小數像素精度之補償處 供 出之預測影像與原影像以及參照訊框資訊-併被 供給至模式判定部86中。 144635.doc -38· 201041404 ^數像素精度活動預測與補償部82供給對象 :動^貧訊,則於步㈣3中,移動向量精度判定部% 仃㈣向量精度判定處理。關於該移動向量精度判定声 理,將參照圖12於後文描述。 人 处 藉由步驟S53之移動向量精度判定處
Vs ^ 王风衣不對象 移動向量資訊之精度與鄰接區塊之移動向量資訊之 精度是相同還是不同的精度旗標。 Ο ^ 5 王攻之精度旗標被供 :。預測移動向量計算部84以及移動向量資訊編碼部Μ 預測移動向量計算部84與移㈣量資訊編碼部Μ於步驟 W中’就針對包含16><16像素至4χ4像素之八種之各框間 預測模式所決定之移動向量,生成差分移動向量資訊 mvdE。此時,係使用以上參照圖5所述之移動向量之生成 方法。 ^即二預測移動向量計算部84使用鄰接區塊移動向量資 〇訊’藉由上述式⑺之中值預測計算出針對對象區邮之預 測移動向量資訊pmvE。繼而,移動向量資訊編碼部85如上 述式⑹所示般,根據來自小數像素精度活動預測與補償部 82之移動向量資訊⑽以及所計算出之預測移動向量資訊 pmvE之差分’求出差分移動向量資訊。 再者,於進行預測移動肖f資訊之計#時,例如,圖5 所示之鄰接區塊A、B、C、D中之移動向量資訊之精度有 時混合存在1/4像素精度與1/8像素精度。例如,對於水 平、垂直成分之各個’於對象區塊£之移動向量資訊mvE為 144635.doc •39· 201041404 0之移動向量資訊 式(11)般進行中值 1/8像素精度’而鄰接區塊χ=Α、b、c、 mvx為1/4像素精度之情形時,如以下之 預測。 mvx=mvx*2 •••(11) 即,於此情形時,將鄰接區塊 灣素精度,進行中值制。㈣向^換算成 反之,對於水平、垂直成分之各個,於對 動向量資訊mVE為1/4像素精度,而鄰接區塊X=A、B c
C =之移動向量資訊mvx為1/8像素精度之情形時,、之 式(12)般進行中值預測。 .下之 mvx=mvx/2 即,於此情形時,將鄰接區 …(12) _素精度,進行中值_。 &動向量資訊換算成 所求出之差分移動向量資訊與精… 式判定部86中。該差分移動次=、不併破供給至模 中之成本函數值進行計算時。^且貝㈣^於/ —步驟S54 選擇部77而選擇相對應之_影像之精:預測影像 量育訊與精度旗標、預測模、:ϋ移動向 被輸出至可逆編碼部66。貝5以及參照訊框資訊一併 模式判定部86於步驟S54中, 像素之八種之各框間預測,2匕3 16x16像素至4x4 (1〇)所示之成本函數值。、,5异出以上述式(9)或者式 即,向模式判定部86中,供 測與補償部82之預測影像、 '、數像素精度活動預 〜、原影像及參照訊框資訊,以及 144635.doc -40. 201041404 來自移動向量資訊編碼部85之差分移動向量資訊mvdE及精 度旗標等。模式判定部86適當地使用所供給之資訊,計算 出針對成為候補之所有框間預測模式之成本函數值。此處 所計算出之成本函數值係用於上述圖8之步驟S34中決定最 佳框間預測模式時。 [移動向量精度判定處理之說明] 其次,參照圖12之流程圖對圖11之步驟S53之移動向量 精度判定處理進行說明。 對象移動向量精度判別部91於步驟S71中決定 curr_horizontal_mv_precision_param 以及 curr_vertical_mvjpredsion_param。 即,向對象移動向量精度判別部9 1中,自小數像素精度活 動預測與補償部82供給對象區塊之移動向量資訊。對象移 動向量精度判別部91判別對象區塊之移動向量資訊之精 度,並於步驟S71中決定針對對象區塊之移動向量資訊之 水平成分之精度參數以及垂直成分之精度參數。所決定之 curr_horizontal—mv_precision__param 以及 curr_vertical_mv_precision_param 被供給至精度旗標生成部93中。 鄰接移動向量精度判別部92於步驟S72中決定 pred_horizontal_mv_precision_param 以及 pred_vertical_mv_precision_parani 〇 即,鄰接移動向量精度判別部92讀出來自移動向量資訊儲 存缓衝器83之鄰接區塊之移動向量資訊。鄰接移動向量精 度判別部9 2判別鄰接區塊之移動向量資訊之精度,並於步 驟S72中決定針對鄰接區塊之移動向量資訊之水平成分之 精度參數以及垂直成分之精度參數。所決定之 144635.doc -41 · 201041404 pred__horizontal_mv_precision_param 以及 pred—vertical_mv_precision_param 被供給至精度旗標生成部93中。 精度旗標生成部93於步驟S73中,判定 curr—horizontal—mv_precision_param 與 pred_horizontal_ mv_precision_param 是否一致。 於步驟S73中’判定為curr-horizontal_mv—precision—param 與 pred—horizontal_mv_precision—param 為一致之情形時, 處理進入至步驟S74。於步驟S74中,精度旗標生成部93將 對象區塊之水平成分之精度旗標jjag) 之值設為〇。即,生成值為〇之對象區塊之水平成分之精度 旗標。 ;v 驟 S73 中’判定為 Curr_horizontal_mv_precision_param ^ d~horizontal_mv__precision_param 為不同之情形時, 處理進入至步驟875。於步驟S75中,精度旗標生成部93將 品免之水平成分之精度旗標(horizontal_mv_precision_change_flag: 之值%為1 °即’生成值為1之對象區塊之水平成分之精度 旗標。 ” &生成σ{5 93於步驟§ %中判定curr_vertical_ m v_preci si on_pararr 與 Pred Vert^Ql — ~~ -mv—Precision_param是否一致。 於步驟S76中,參丨金也 , .. 1 于·1 疋马 curr_vertical_mv—precision—param pred * 〜ertical一mv—precision—param 為一致之情形時,處 王里 至步驟S77。於步驟S77中,精度旗標生成部93將對 -0* 古 JL·· 置成分之精度旗標(vertical_mv_precision_change_flag 值'^為0 °即’生成值為〇之對象區塊之垂直成分之精度 144635.doc -42- 201041404 旗標。 於步驟 S76 中,判定為 curr—verticai—mv—precisi〇n—param 與 pred_vertical_mv_precision_param 為不同之情形時,處 理進入至步驟S78。於步驟S78中,精度旗標生成部93將對 象區塊之垂直成分之精度旗標公啤) 之值設為1。即,生成值為丨之對象區塊之垂直成分之精度 旗標。 〇
所生成之對象區塊之水平成分以及垂直成分之精度旗標 被供給至制㈣向量計算料職㈣向量資訊編碼部 85中。繼而’當於圖8之步驟似中已選擇最佳框間預測模 式之預測影像時,精度旗標與差分移動向量資訊、表示最 佳框間預測模式之資訊或參照訊框資訊—併被供給至可逆 編碼部66,經編碼而傳送至解碼側。 如上所述,於每個對象區塊中,將表示對象區塊之移動 向量資訊之精度與其鄰接區塊之移動向量資訊之精度是相 同還是不同的精度旗標附加於麼縮影像之標頭,傳送至解 即,於本發明中,對壓縮影金次 塊定義精度旗標。縮〜像貝訊中之各個活動預測區 藉此,可僅於需要時以1/8像素精度傳送移動向 訊,而非總是以1/8像素精度傳送移動向量資訊。即,於 =要:,能夠以1/4像素精度傳送移動向量資訊… 果為,由於無需對所有移動向量資訊分配更多 … 因此可提昇活動預測效率,而不使移動向量資訊增大 144635、doc •43- 201041404 再者,於對象區塊為B區塊之情形時,對ListO以及Listl 之各個進行一系列之處理。 又’如以上參照圖5或者圖6所述,於對象區塊為直接模式或 者跳越模式之情形時’精度旗標(horizontal_mv_precision_change flag 、vertical_mv_precision_change—flag)之值設為〇,而不傳 輸至解碼側。 經編碼之壓縮影像係經由特定之傳輸線路而傳輸,並藉 由影像解碼裝置解碼。 [影像解碼裝置之構成例] 〇 圖13表示作為應用有本發明之影像處理裝置之影像解碼 裝置之一實施形態的構成。 影像解碼裝置1 〇 1包含儲存緩衝器丨u、可逆解碼部 112、逆量子化部113 '逆正交轉換部114、運算部ιΐ5、解 塊渡波器11 6、晝面重新排列緩衝器i i 7、d/Α轉換部11 8、 。凡忙D己隐體119、開關12 0、框内預測部121、活動預測與 補償部122、移動向量精度判定部i23以及開關124。 儲存緩衝器111儲存傳輸而來之壓縮影像。可逆解碼部〇 112以與可逆編碼部之編碼方式相對應之方式對自儲 存緩衝器111所供給之藉由圖i之可逆編碼部66而編碼之資 訊進行解碼。逆量子化部113以與圖1之量子化部65之量子 化方式相對應之方式,將藉由可逆解碼部丨丨2而解碼之影 像逆量子化。逆正交轉換部114以與圖丨之正交轉換部64之 正交轉換方式相對應之方式,對逆量子化部113之輸出進 行逆正交轉換。 144635.doc •44- 201041404 經逆正交轉換之輸出藉由運算部115而與自開關124所供 給之預測影像相加而得到解碼。解塊遽波器ιΐ6在去除經 解碼之影像之區塊雜訊後,將其供給至訊框記憶體⑽加 以儲存,並且輪出至晝面重新排列緩衝器ιΐ7中。 ❹ 畫面重新排列緩衝器117進行影像之重新排列。即,將 為了編碼之次序而藉由圖】之晝面重新排列緩衝器a重新 排列之訊框之次序重新排列成原來之顯示之次序。D/A轉 換部η晴自畫面重新排列緩衝器117所供給之影像進行 D/A轉換’亚輸出至未圖示之顯示器加以顯示。 開關120自訊框記憶體119讀出要進行框間處理之 所參照之影像輸出至活動預測與補償部122,並且^ =體m讀“於框㈣測之影像供給至框内預测: 向框内預测部121中,自可逆解碼部112供給對標頭 Ο Γ2 而獲得之表示框内預測模式之資訊。框内預測部 根據该貧訊生成預測影像’並將所生 出至開關124中。 冢輸 向活動預測與補償部122中,自可逆解碼部ιΐ2供 進行解碼而獲得之資訊中之預測模式資訊、、= 式之=訊、參照訊框資訊等。於供給有表示框間預挪槿 =曰^之情形時,活動預測與補償部122參照來自移動 數里:度判定部123之對象區塊之移動向量資 ^使用經解碼之差分移動向量資訊,再構成移動向^ I44635.doc -45- 201041404 具體而言,活動預測與補償部122參照來自敕紅丄 ㈡砂動向量精 度判定部123之對象區塊之移動向量資訊之精度參數自 鄰接區塊之移動向量資訊生成對象區塊之預測移動向旦= 訊。活動預測與補償部122根據來自可逆解碼部丨12 八 之差分 移動向量資訊、對象區塊之移動向量資訊之精度表數、以 及對象區塊之預測移動向量資訊,再構成對象區塊之移動 向量資訊。 繼而’活動預測與補償部122根據參照訊框資訊所示之 訊框記憶體11 9之參照影像與經再構成之移動向量資吨, 對影像實施補償處理,生成預測影像。所生成之預測影像 被輸出至開關124。 向移動向量精度判定部123中,自可逆解碼部ii2供給對 標頭資訊進行解碼而獲得之資訊中之精度旗標。移動向量 精度判定部123根據來自可逆解碼部112之精度旗標與來自 活動預測與補償部122之鄰接區塊之移動向量資訊之精 度,决疋對象區塊之移動向量資訊之精度參數。所決定之 對象區塊之移動向量資訊之精度參數被供給至活動預 補償部122中。 〃 開關124選擇由活動預測與補償部122或者框内預測部 121所生成之預測影像,供給至運算部115中。 [舌動預測與補償部以及移動向量精度判定部之構成例] 圖,14係表不活動預測與補償部以及移動向量精度判定部 羊、構成例的方塊圖。再者,關於各部之詳細情況 當地使用卜、+ 、 述圖5之對象區塊E以及鄰接區塊八至D進行說 144635.doc -46- 201041404 明。 4之例中,活動預測與補償部122包含移動向晉一 訊接收部15 1、預測妒毹a β 土 向量貧 W53 η/ 成部152、移動向量再構成 :55。、移動向量資訊儲存緩衝器154、以及影像預測部 Ο =向量精度判定部123包含精度旗標接收部 :動向量精度判別物、以及對象移動向量精度判別; 移動向量資訊接收部151接收來自可逆解喝部叫即, 影像編碼裝置51)之對象區塊Ε之差分移動向量資訊mvdE, 並將所接收之差分移動向量資mmvdE供給至移動向 成部153中。 # 精
向預測移動向量生成部152中,供給來自對象移動向量 度判別部163之針對對象區塊E之移動向量之水平成分與 直成刀的相關精度參數、 eurrjerueaimvj^i&njaram)。預測移動向量生成部1 μ自移 動向$ -貧訊儲存緩衝器154讀出鄰接區塊之移動向量資訊 mvA ' mvB > mvc ° 預測移動向量生成部152參照對象區塊£之移動向量之精 度參數’使用鄰接區塊之移動向量資訊mVA、叫、請。, 並藉由上述式(5)之中值預測,生成對象區塊E之預測移動 向量資訊pmvE。所生成之預測移動向量資訊pmvE被供給 至移動向量再構成部153中。 向移動向量再構成部153中,供給來自移動向量資訊接 144635.doc -47- 201041404 收⑽之差分移動向量資訊_ 成部152之預測移動 預幻移動向量生 構成部1如,供給來自對㈣㈣量=動向置再 象區塊Ε之移動向量之精度參數。 心⑹之對 :動向量再構成部153參照對象區塊以 參數,將差分移動向量資訊mvdE自處 度 訊--來自預=Γ3使經換算之差分移動向量資 、:自預測移動向量生成部152之預測 舌fl pmvE相加,藉M i 里貝 啊。將經再象區塊^移動向量資訊
十象區塊E之移動向量資訊mvE :多::。量資訊儲存緩衝器154中,並且輸出至影像預測部 移動向量資訊儲存緩衝器154儲存藉由移動向量 部⑽再構成之移動向量資訊—HU D成 E) ° 影像預測部155經由開關12〇,自訊框記憶體i 19讀出來 自可逆解碼部112之參照訊框資訊所示之參照影像。影像◎ 預測部155根據藉由移動向量再構成部153再構成之對象區 塊E之移動向量資訊mVE對參照影像實施補償處理,而生成 對象區塊E之預測影像。所生成之預測影像被輸出至開關 124 中。 精度旗標接收部161接收來自可逆解碼部U2之針對對象 區塊E之移動向量資訊之水平以及垂直成分的精度旗標 (horizontal_mv_precision_change_flag > vertical_mvjprecision_change flag) 〇 144635.doc -48- 201041404 所接收之針對對象區《之移動向量資訊之水平以及垂直 成分的精度旗標被供給至對象移動向量精度判別部163 中。 。鄰接移動向量精度判別部162自移動向量資訊儲存缓衝 =54讀出鄰接移動向量資訊’並判別鄰接區塊之移動向 置資訊之精度。繼而’鄰接移動向量精度判別部162決定 針對鄰接區塊之移動向量資訊之水平成分與垂直成分的相 Ο 關 d精度參數(Pred-horizontal-mV__precisi〇n_param、
Pred—vertlcal〜mv—precisi〇n—㈣叫。所決定之鄰接區塊之 移動向量資訊之精度參數被供給至對象移動向量精度判別 部163中。 窃再者,此處,鄰接區塊係有可能對對象區塊Ei移動向 I貢訊mvE提供預測值(預測移動向量資訊)pmvE之區塊, 且利用以上參照圖7所述之第1至第3方法加以定義。 向對象移動向量精度判別部163中,供給來自亮度旗標 0接收部161之針對對象區塊E之移動向量資訊之水平以及垂 直成分的精度旗標、以及來自鄰接移動向量精度判別部 162之鄰接區塊之移動向量資訊的精度參數。 對象移動向量精度判別部163自針對對象區塊£之移動向 ϊ貧訊之水平以及垂直成分的精度旗標與鄰接區塊之移動 向量賁訊之精度參數,判別對象區塊E之移動向量資訊之精 度。繼而,對象移動向量精度判別部163決定針對鄰接區塊 E之移動向量資訊之水平成分與垂直成分的相關精度參數 (curr_horizontal_mv_precision_param > curr_vertical_mv_precision_param)= 144635.doc •49- 201041404 所决疋之鄰接區塊£之移動向量資訊之精度參數被供給至 預 '則移動向量生成部丨52以及移動向量再構成部1 μ中。 [衫像解碼裝置之解碼處理之說明】 f次,參照圖15之流程圖’對影像解碼裝置1〇1所執行 之解瑪處理進行說明。 於步驟仙中,儲存緩衝器⑴館存傳輸而來之影像。 :步驟S1 32中’可逆解碼部〗〗2對自儲存緩衝器⑴所供认 ^壓縮影像進行解碼。即,對藉由圖i之可逆編碼部: 、.碼之1圖畫、P圖畫、以及B圖晝進行解碼。 :時’亦對差分移動向量資訊、參照訊框資訊、預測模 =W表示框内預測模式或者框間預測模式之資訊)、旗 心資sfl進行解碼。 測:式^預測模式資訊為框内預測模式資訊之情形時,預 為框間預測模式資訊之产於預測模式資訊 差八η 之清开场’與預測模式資訊相對應之 差刀移動向量資訊以及參昭欠 補償部m中。又,於此二”讯被供給至活動預測與f 6曰拉ώ 於此情形時’將旗標資訊供給至移動《 向I精度判定部123中。 於步驟S133中,读晉$儿Λ[Τ1 特性相對應之特性,將_ 與圖1之量子化部65之 係數逆量子化。於步驟s:二=咖而解碼_ 之中延正父轉換部U4以與圖i 之正又轉換部64之特性相對 二 113而逆量子仆夕絲抵〆 對猎由圯里子化部 之正m 進行逆正交轉換。藉此,與圖1 又轉換部64之輸人(運算州之輪出)相制之差分資 144635.doc •50- 201041404 訊得到解瑪。 於步驟S13S中,運算部115使於後述之步驟““之處理 中所選擇的經由開關124而輪入之預測影像與差分資訊相 加藉此,原來之影像得到解碼。於步驟s 13 6中,解塊濾 波器m對自運算部115所輸出之影像進行濾波。藉此,區 塊雜訊被去除。於步驟⑴?中,訊框記憶體ιΐ9儲存經濾 波之影像。 〇 ◎ 於步驟S138中,框内預測部121以及活動預測與補償部 123對應於自可逆解碼部112所供給之制模式資訊,分別 進行影像之預測處理。 即,於自可逆解碼部112供給有框内預測模式資訊之情 形時,㈣預測部121進行框内預測模式之框内預測處 理。於自可逆解碼部112供給有框間預測模式資訊之情形 時、,活動預測與補償部i 2 2進行框間預測模式之活動預測 與,償處理。此時,活動預測與補償部122參照來自移動 向量精度判定部123之對象區塊之移動向量資訊的精度參 數,使用來自可逆解碼部112之差分移動向量資訊,再構 成對象區塊之移動向量資訊。 、、步驟S138中之預測處理之詳細情況將參照圖邮後文描 逑,藉由該處理,由框内預測部121所生成之預測影像、 =由活動預測與補償部122所生成之預测影像被供給至 開關12 4中。 於步驟S139中,開關124選擇 .^ 1叫办诼。即,供給由框 内預測部1 2 1所生成之子|消丨旦彡後 42.,( 吓玍成之預測衫像、或者由活動預測與補償 144635.doc 51 · 201041404 β 122所生成之預測影像。因此,選擇所供給之預測影像 供給至運算部115中,並如上所述,於步驟SU4中使其與 逆正交轉換部1Η之輸出相加。 ;步驟S 140中,冑自重新排列緩衝器^7進行重新排 列°/P ’將為了編碼而藉由影像編碼裳置51之晝面重新排 列緩衝器62重新排列之訊框之順序重新排列成原來之顯示 之順序。 。。;步驟8141中’〇/八轉換部118對來自畫面重新排列緩衝 斋117之影像進行D/A轉換。將該影像輪出至未圖示之顯示 器而顯示影像。 [影像解碼裝置之預測處理之說明] 其次,參照圖16之流程圖說明圖15之步驟8138之預測處 理。 框内預測部121於步驟8171中,判定對象區塊是否得到 框内編碼。若自可逆解碼部112將框内預測模式資訊供給 至框内預測部121中,則框内預測部121於步驟171中,判 定對象區塊得到框内編碼,處理進入至步驟si72。 广内預測部121於步驟S172中,獲得框内預測模式資 6扎’並於步驟s 1 7 3中進行框内預測。 即’於處理對象之影像係要進行㈣處理之影像的情形 時,自訊框記憶體m讀出所需之影像,並經由開關職 給至框内預測部121中。於步驟⑽中,框内預測部⑵根 據步驟S1 72中所獲得之框内制模式資訊進行框内預測, 而生成預测影像。所生成之預測影像被輸出至開關Μ# I44635.doc -52- 201041404 中。 方面,於步驟sm中,判定為未得到框内編瑪之情 形時’處理進入至步驟s〗74。 於步驟sm中,活動預測與補償部122獲得來自 碼部112之予想模式資訊等。 Ο Ο 於處理對象之料係要進行_處理之f彡像的情形時, 自:逆解碼部U 2將框間預測模式資訊、參照訊框資訊、 差刀移動向置貧訊供給至活動預測與補償部中。於此 情形時,、於步驟仙中,活動預測與補償部122獲得框間 預測模式資訊、參照訊框f訊、差分移動向量資訊。 再者,此時,精度旗標接收部161接收而獲得精度旗 標。所接收之針對對象區塊之移動向量資訊之水平以及垂 直成分的精度旗標被供給至對象移動向量精度判別部163 中。又,鄰接移動向量精度判別部162基於來自移動向量 資訊儲存緩衝器154之鄰接移動向量資訊,決定鄰接區塊 之移動向篁貝訊之精度參數,並將其供給至對象移動向量 精度判別部16 3中。 對象移動向里精度判別部163於步驟si75中,根據針對 對象區塊之移動向量資訊之水平以及垂直成分的精度旗標 與鄰接區塊之移動向量資訊之精度參數,決定對象區塊之 移動向ϊ資訊之精度。所決定之對象區塊之移動向量資訊 之精度參數破供給至預測移動向量生成部152以及移動向 Ϊ再構成部153中。 方七、、”σ來自對象移動向量精度判別部i 63之對象區塊之 144635.doc •53· 201041404 移動向量資訊的精度參數,則預測移動向量生成部152於 步驟S17 6中,進行以上參照圖$所述之中值預測。 具體而言,預測移動向量生成部152自移動向量資訊儲 存綾衝器154讀出鄰接區塊之移動向量資訊、爪”、 mvc ’並藉由上述式(5)之中值預測,生成對象區塊之預測 移動向量資訊PmvE。此時,參照對象區塊之移動向量之精 度:數。即,於精度參數所示之對象區塊之移動向量資訊 ,精度與用於預測移動向量資訊生成t鄰接區塊之移動向 I貧訊的精度為不同時,將鄰接區塊之移動向量資訊之精 度換算成對象區塊之移動向量資訊之精度。 12測移動向量生成部152所生成之對象區塊之預測移 動向ΐ育訊PmvE被供給至移動向量再構成部153中。 旦:動向量再構成部153於步驟sm中,使用來自移動向 量資訊接收部151之差分移動向量資訊mvdE,再構建對象 區塊之移動向量資訊。@,向移動向量再構成部153中, 供給來自移動向量資訊接收部151之差分移動向量資訊 mVdE、來自預測移動向量生成部152之預測移動向量資訊 吨%。進而,向移動向量再構成部153中,供給來自對象 移動向量精度判別部163之對象區塊之移動向量的精度參 數0 〆 彖移動向量再構成部153參照對象區塊之移動向量之精度 ^數’將差分移動向量資訊nwdE之值自處理±之值換算成 實:,值。移動向量再構成部153使已換算值之差分移動 向量資訊—£與來自預測移動向量生成部152之預測移動 144635.doc • 54- 201041404 向量資訊pmvE相加。藉此,再構成對象區塊之移動向量資 訊m e 、、呈再構成之移動向量資訊mVE被儲存於移動向量 資訊儲存緩衝器154中’並且被輸出至影像預測部155中。 影像預測部155於步驟㈣中,生成對象區塊之預測影 像P〜像預/則部155經由開關120,自訊框記憶體丨! 9 4出來自可逆解碼部U2之參照訊框資訊所示之參照影 象^像預測1 55根據藉由移動向量再構成部153再構成 ❹之移動向置貝訊mvE對參照影像實施補償處理,而生成對 象區塊之預測影像。所生成之預測影像被輸出至開關124 中〇
=所述,於每個對象區塊中,將表示對象區塊之移動 向量f訊之精度與其鄰接區塊之移動向量資訊之精度是相 同還是:同的精度旗標附加於壓縮影像之標頭,傳送至解 馬側藉此’可僅於需要時以1/8像素精度傳送移動向量 資訊,而非總是以1/8像素精度傳送移動向量資訊。其結 果為,可提昇活動預測效率,而不使移動向量資訊增大。 …即·:可進行1/8像素精度之活動預測與補償,而不導致 壓縮資訊之增大,因此可提昇預測精度。 再者,於上述說明中,係以 1/8像素精度為止為例進行說明 至丨/4像素精度為止或者至 ’但並不限於該例。 P,發明可應用於進行如整數像素精度與^像素精 又、1/2像素精度與1/4像素精度等般,小數像素精度之活 =測與補償之所有情形。又,本發明亦可應用於如整數 像素精度、1/2像素精度、以及ι/4像讀度等般旧個階段 144635.doc -55· 201041404 以上之設定進行處理之情形時。 又’於上述說明中’係對巨集區塊之大小為16xl6像素 之情形時進行說明,但本發明亦可應用於r Video Coding
Using ExtendedBl〇ckSizes」,VCEG-AD09,ITU-
Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123,Jan 2009中所記載之經擴展 之巨集區塊尺寸。 圖17係表示經擴展之巨集區塊尺寸之例的圖。於上述提 案中’將巨集區塊尺寸擴展成32x32像素。 於圖17之上段,自左側起依次表示有分割成32x32像 素、32x16像素、16x32像素、以及16x16像素之區塊(分 區)之包含32x32像素的巨集區塊。於圖17之中段,自左側 起依次表示有分割成16χ16像素、16><8像素、8x16像素、 以及8x8像素之區塊之由16x16像素所構成的區塊。又,於 圖17之下段,自左側起依次表示有分割成8χ8像素、8><4像 素、4x8像素、以及4x4像素之區塊之8x8像素之區塊。 即,32x32像素之巨集區塊能夠以圖17之上段所示之 32x32像素、32x16像素、16x32像素、以及16x16像素之區 塊進行處理。 又’上段之右側所示之16x16像素之區塊可與 H.264/AVC方式同樣地’以中段所示之16x16像素、16x8 像素、8x16像素、以及8x8像素之區塊進行處理。 此外,中段之右側所示之8x8像素之區塊可與 H.264/AVC方式同樣地,以下段所示之8x8像素、8x4像 144635.doc -56- 201041404 素、4><8像素、以及4x4像素之區塊進行處理。 藉由採用此種階層構造,於經擴展之巨集區塊尺寸中, 一方面關於16x16像素之區塊以下,與H 264/AVC方式保持 互換性,一方面定義更大之區塊作為其超集。 對於如上述所提出之經擴展之巨集區塊尺寸,亦可應用 本發明。 ~ Μ丄1示便用 〇 ❹ 其他編碼方式/解碼方式 再者,本發明例如可應用於經由衛星廣播、有線電視、 網際網路、或者行動電話等網路媒體接收藉由如MPEG、 H.26x等離散餘弦轉換等之正交轉換與活動補償而壓縮之 影像資訊(位元流)時所使用之影像編碼裝置以及影像解碼 裝置。又,本發明可應用於在如磁光碟、以及快閃記憶體 般之儲存媒體上進行處理時所使用之影像編碼裳置以及马 像解碼裝置。此外,本發明亦可應用於該等影像編碼農= 以及影像解碼裝置等中所包含之活動_補償裝置。 广:系列之處理可藉由硬體執行,亦可藉由軟體執 二错由軟體執行-系列之處理之情形時,將構成該軟
體之私式安裝於雷/^ + .I 電細中。此處,電腦包括組裝入專用硬俨 ’之4、或者藉由安裝各種程式而可執行各種 用之個人電腦等。 通 二8係表不利用程式執行上述一系列處理之電腦之硬體 之構成例的方塊圖。 於電腦中,CPU(CentralProcessingUnit,令央處理單 144635.doc -57- 201041404 兀)301、R〇M(Read Only Memory ’ 唯讀記憶體)3〇2、 RAM(Random Access Memory,隨機存取記憶體)3〇3係藉 由匯流排3 0 4而相互連接。 匯流排304上進而連接有輸入輸出介面3〇5。輸入輸出介 面305上連接有輸入部3〇6、輸出部3〇7、儲存部利8、通訊 部309、以及驅動器31〇。 °
I 輸入部3〇6包含鍵盤、滑鼠、麥克風等。輸出部307包含 顯示器、揚聲器等。儲存部3〇8包含硬碟或非揮發性記憶 體等。通訊部309包含網路介面等。驅動器動磁/ 光碟、磁光碟、或者半導體記憶體等可移動媒體311。 於以上述方式構成之電腦中,咖如例如㈣存部_ 中所儲存之程式經由輸人輸出介面奶以及匯流㈣ 至RAM303中加以執行,藉此進行上述—系列之處理。 電腦⑽侧)所執行之程相如可記騎 :體等之可移動媒體311中加以提供。又,程式可經3 V麟,凋際網路、數位廣播之類的
tJ 媒體加以提供。 之傳輪 於電腦中,裎式可藉由將可移動 310 ’而經由輸入輸出入 女羞於驅動器 %入輸“㈣5安裝於儲存部3〇8中。又 程式可經由有線或者無線之傳輪, 收’而安裝於儲存部则中。除 Hp 309接 於ROM3G2或儲存部3{)8中。” ,&式可預先安農 再者’電腦所執行^切為按本 序以時間序列進行處理者 -中“明之頻 J為並列地、或者於已進行 144635.doc -58- 201041404 呼叫時等之必要時序進行處理者。 本發明之貫施形態並不限定於上述實施形態,可於不脫 離本發明之主旨之範圍内進行各種變更。 例如,上述影像編碼裝置5丨或影像解碼裝置1〇1可應用 於任意之電子機器中。以下對其例進行說明。 圖D係表示使用應用有本發明之影像解碼裝置之電視接 收機之主要構成例的方塊圖。 〇 圖19所示之電視接收機1300包含地面波調諧器13 13、視 頻解碼器1315、圖像訊號處理電路1318、圖形生成電路 13!9、面板驅動電路132〇、以及顯示面板”以。 地面波凋諧器1313經由天線接收地面類比廣播之廣播波 訊號,並加以解調而獲得圖像訊號,繼而將該圖像訊號供 給至視頻解碼器1315中。視頻解碼器1315對自地面波調諧 态1313所供給之圖像訊號實施解碼處理,並將所獲得之數 位之成分訊號供給至圖像訊號處理電路1318中。 〇 圖像汛號處理電路1318對自視頻解碼器1315所供給之圖 像資料實施去除雜訊等之特定處理,並將所獲得之圖像資 料供給至圖形生成電路13 19。 圖形生成電路1319生成顯示於顯示面板1321中之節目之 圖像資料、或者藉由基於經由網路而供給之應用程式的處 理而獲仔之影像資料等,並將所生成之圖像資料或影像資 料供给至面板驅動電路132Gt。又’圖形生成電路mg亦 進行如下之處理.生成用以顯示用戶用於項目之選擇 等之晝面的圖像資料(圖形),並將藉由使其與節目之圖像 144635.doc -59- 201041404 資料重疊而獲得之圖像資料供給至面板驅動電路1320。 面板驅動電路1320根據自圖形生成電路丨319所供給之資 料驅動顯示面板13 21,使節目之圖像或上述各種畫面顯示 於顯示面板1321中。 顯示面板 1321 包含LCD(Liquid Crystal Display,液晶顯 示器)等,其根據面板驅動電路1320之控制顯示節目之圖 像等。 又’電視接收機1300亦包含音訊A/D(Analog/Digital, 類比/數位)轉換電路1314、音訊訊號處理電路1322、回音 消除/音訊合成電路1323、音訊放大電路1324、以及揚聲 器 1325 。 地面波調諧器13 13藉由對所接收之廣播波訊號進行解 調’不僅獲得圖像訊號,亦獲得音訊訊號。地面波調諧器 1313將所獲得之音訊訊號供給至音訊a/d轉換電路丨3丨4。 音訊A/D轉換電路13 14對自地面波調諧器丨3丨3所供給之 音訊訊號實施A/D轉換處理,並將所獲得之數位之音訊訊 號供給至音訊訊號處理電路丨3 22。 音訊訊號處理電路1322對自音訊A/D轉換電路1314供給 之音§fl資料實施去除雜訊等特定之處理,並將所獲得之音 说資料供給至回音消除/音訊合成電路〗323。 回音消除/音訊合成電路1323將自音訊訊號處理電路 1 3 22供給之音訊資料供給至音訊放大電路丨3 24中。 音訊放大電路1324對自回音消除/音訊合成電路1323供 給之音訊資料實施D/A轉換處理、放大處理,調整至特定 144635.doc -60- 201041404 之a里後’使音訊自揚聲器輸出。 此外電視接收機13 00亦包含數位調諧器丨3〗6以及 MPEG解碼器1317。 數位調諧器1316經由天線接收數位廣播(地面數位廣播、 BS(Br〇adCasting Satellite,廣播衛星)/cs(c〇m—
Satenite’通信衛星)數位廣播)之廣播波訊號並加以解調, ^€#MPEG-TS(Moving Picture Experts Group-Transport 〇 Stream ’動畫專家組織-傳輸流),,繼而將其供給至⑽即解 碼器13 17。 ^^0解碼器1317解除對自數位調错||1316供給之 MPEG-TS所實施之拌碼(scramble),並抽出包含成為再生 對象(視聽對象)之節目資料的串流(stream)。MpEG解碼器 1317對構成所抽出之串流之音訊封包進行解碼,繼而將所 獲得之音訊資料供給至音訊訊號處理電路1322中,並且對 構成串流之圖像封包進行解碼,繼而將所獲得之圖像資料 0供給至圖像訊號處理電路叫8中。X,MPEG解碼器1317 將自MPEG-TS抽出之EPG(Electr〇nic〜簡㈣心,電子 即目導覽)資料經由未圖示之路徑供給至cpui332中。 電視接收機1300使用上▲影像解碼裝置1〇1作為以上述 方式對圖像封包進行解碼之MpEG解瑪器1317。因此, MPEG解碼器1317可與影像解碼裝置1G1之情形同樣地,抑 制壓縮資訊之增大,並且提昇預測精度。 對於自MPEG解碼器1317供給之圖像請,與自視頻解 碼器1315供給之圖像資料之情形時同樣地,於圖像訊號處 144635.doc -61 - 201041404 里電路1 3 1 8中貫施特定處理。繼而’將已實施特定處理之 :像㈣於圖形生成電路1319中與所生成之圖像資料等適 當地重疊’並經由面板驅動電路132〇供給至顯示面板 1321 ’而顯示其影像。 對於自MPEG解碼器1317供給之音訊資料,盥自音訊 細轉換電路1314供給之音訊資料之情形時同樣地,於音 純號處理電路助中實施特定處理。繼而,將已實施特 定處理之音訊資料經由回音消除/音訊合成電路仰供給 至曰sfl放大電路1324,並對盆實 理。其結果為,使調整至特定音 出。
施D/A轉換處理或放大處 量之音訊自揚聲器1325輸 1326以及A/D轉換電 又電視接收機1300亦包含麥克風 路 1327。 A/D轉換電路1327接收藉由你么立μ a上 牧叹稭甶作為音讯會話用裝置的設於 電視接收機1300中之麥券雨〗私措 〇 夕兄風1326所導入之用戶之音訊訊 號。A/D轉換電路1327對所桩此夕立π ^上— 厅接收之曰讯g江號貫施A/.d轉換 處理,並將所獲得之數位立 、 < a δίΐ貝料供給至回音消除/音 訊合成電路1323中。 回音消除/音訊合成電路1323 包崎於自A/D轉換電路1327供給 有電視接收機13〇〇之用戶^田 ― 、 ^ 州尸(用户A)之音訊資料之情形時, 以用戶A之音訊資料為對象 丁豕進仃回音湞除。繼而,回音消 除/音訊合成電路1 323使回音消除之後,與其他音訊資料 合成等而獲得之音訊資料經由音訊放大電路⑽而自 器1325輸出。 144635.doc -62- 201041404 此外,電視接收機1300亦包含音訊編解碼器1328、内部 匯流排 1329 ' SDRAM(Synchronous Dynamic Random
Access Memory ’同步動態隨機存取記憶體)^30、快閃記 憶體 1331、CPU1332、USB(Universal Serial Bus ,通用串 列匯流排)I/F1333、以及網路I/F1334。 A/D轉換電路1327接收藉由作為音訊會話用裝置的設於 電視接收機1300中之麥克風1326所導入之用戶之音訊訊 0 號。A/D轉換電路1327對所接收之音訊訊號實施A/D轉換 處理,並將所獲得之數位之音訊資料供給至音訊編解碼器 1328。 音訊編解碼器1328將自A/D轉換電路1327所供給之音訊 資料轉換成用以經由網路傳送之特定格式之資料,並經由 内部匯流排1329供給至網路i/f 1334。 網路I/F1334係經由安裝於網路端子1335之電纜而與網 路連接。網路I/F1334例如對與該網路連接之其他裝置傳送 Ο 自音讯編解碼器1328供給之音訊資料。又,網路I/F1334例 如經由網路端子1335接收自經由網路而連接之其他裝置所 傳送之音訊資料’並將其經由内部匯流排丨329供給至音訊 編解碼器1328。 音訊編解碼器1328將自網路I/F1334所供給之音訊資料 轉換成特定格式之資料,供給至回音消除/音訊合成電路 1323 中。 回音消除/音訊合成電路1323使如下音訊資料經由音訊 放大電路1324自揚聲器1325輸出,該音訊資料係以自音訊 144635.doc -63- 201041404 編解碼器13 2 8所供給之音訊資料為對象進行回音消除後, 與其他音訊資料合成等而獲得。 SDRAM1330儲存CPU1332進行處理時所需之各種資料。 快閃記憶體1331儲存由CPU1332所執行之程式。快閃記 憶體1331中所儲存之程式係於電視接收機13〇〇之啟動時等 特定之時序由ΟΡΙΠ332讀出。於快閃記憶體1331中,亦儲 存經由數位廣播而獲得之EPG資料、經由網路而自特定之 伺服器所獲得之資料等。 例如於陕閃δ己憶體1 33 1中儲存包含藉由cpu 1 3 32之控 制並經由網路而自特定之伺服器所獲得之内容資料的 MPEG-TS。快閃記憶體1331例如藉由cpm332之控制,將 該MPEG-TS經由内部匯流排1329供給至MpEG解碼器13丄7 中。 MPEG解碼器! 3 ! 7與自數位調譜器】3】6所供給之刪& TS之情形時同樣地,對該mpeg-ts進行處理。如此,電 視接收機1300可經由網路接收包含圖像或音訊等之内容資 料,並使用MPEG解碼器1317進行料,而使該圖像顯示 或者使音訊輪出。 又’電視接收機1300亦包含接收自遙控器咖所傳送之 紅外線gfL號之受光部13 3 7。 —受光部1337將接收來自遙控器1351之紅外線,並對其進 灯解調而獲侍之表示用戶操作之内容的控制碼輸出至 CPU1332 。 CPIH332執行快閃記憶體1331中所儲存之程式,並對應 144635.doc -64- 201041404 於自受光部1337所供給之控制碼等而控制電視接收機測 之正體動作。CPU1332與電視接收機^⑽之各部係經由未 圖示之路徑而連接。 USB I/F1333與經由安裝於USB端子1336之刪電瘦而連 接之電視接收機1300之外部機器之間進行資料收發。網路 I/F1334經由安裝於網路端 中 驷于1335之黾纜而與網路連接,並
G 〇 亦與連接於網路之各種裝置進行除音訊資料以外之資料收 發。 電視接收機1300藉由使用影像解碼裝置101作為MPEG解 碼器1317,可提昇編碼效率。作為其結果,電視接收機 1300可根據經由天線而接收之廣播波訊號、或者經由網路 而獲得之内容資料,雜·泡# 4 址, 一 焱取更加间精細之解碼影像加以顯 不 ° 圖2〇係表示使用應用有本發明之影像編碼農置以及影像 解碼裝置之行動電話之主要構成例的方塊圖。 圖20所不之订動電話14Q()包括:以總括地控制各部之方 式形成之主控制部1450、電源電路部1451、操作輸入控制 部1452、影像編碼器1453、相機ι/ρ部“μ、·控制部 1455、影像解碼器1456、多卫分離部1457、記錄再生部 卜調變解調電路部1458、以及音訊編解碼器1459。該 等係經由匯流排1460而相互連接。 又行動電活1400包含:操作鍵1419、CCD(Charge Coupled DeVlces ’ f荷麵合裝置)相機i4i6、液晶顯示器 1418、儲存部1423、收發電路部1463、天線⑷*、麥克風 144635.doc -65- 201041404 (°舌琦)1421、以及揚聲器1417。 電源電路部1451於藉由用戶操 术作而結束對話以及使雷 源鍵為接通狀態時,_ &自+ 精由自电池組對各部供給電力而將行 動電話1400啟動為可運作之狀態。 丁 行動電話剛基於由⑽、職以及副等所構成之主 控制部1450之控制,以立% q 、 %㈣料式或資料通訊模式等各 /式進行音訊訊號之收發、電子郵件或影像資料之收 發、影像拍攝、或者資料記錄等各種動作。 。。例如於音訊通話模式中’行動電話14〇〇藉由音訊編解碼 盗1459將由麥克風(話筒)1421所收集之音訊訊號轉換成數 位音訊資料’並㈣調變_電路部咖對其進行展頻處 理,繼而藉由收發電路部1463進行數位類比轉換處理以及 頻率轉換處理。行動電話14〇〇將藉由該轉換處理所獲得之 傳送用訊號經由天線14丨4傳送至未圖示之基地台。傳輸至 基地台之傳送用訊號(音訊訊號)經由公眾電話線路網而供 給至通話對象之行動電話中。 又,例如於音訊通話模式中,行動電話14〇〇利用收發電 路部1463將由天線1414接收之接收訊號放大,進而進^頻 率轉換處理以及類比數位轉換處理,並藉由解調電路 部1458進行解展頻處理,繼而藉由音訊編解碼器Μ”將其 轉換成類比音訊訊號。行動電話14〇〇將該經轉換而獲得之 類比音sfl訊號自揚聲器141 7輸出。 此外,例如當於資料通訊模式中傳送電子郵件時,行動 電話1400係藉由操作輸入控制部1452接收藉由操作鍵i4i9 144635.doc -66 - 201041404 之私作而輸入之電子郵件之文字資料。行動電話⑽〇於主 控制Μ450中對該文字資料進行處理,並經由LCD控制部 1455將其作為影像顯示於液晶顯示H 1418中。 又’仃動電話1400係於主控制部145〇中,根據操作輸入 控制部1452所接收之文字資 叹之文子貝枓或用戶指示等而生成電子郵 貝;行動電話1400利用調變解調電路部1458對咳雷+ Ο 郵件資料進行展頻處理,並藉由收發電路部1463 ^ 類比轉換處理以及艏盅結4(fe + 位 項李轉換處理。行動電話1400將藉由該 Ό而獲传之傳送用訊號經由天線⑷4傳送至未圖示 路Hi心傳輪至基地台之傳送用訊號(電子郵件)經由網 伺服态等而供給至特定之收件地址。 ^ ^ *於貝料通訊模式下接收電子郵件時,行動· 話1400藉由收發電路 电 邛 經由天線1414接收自基地台 所傳送之訊號,並將 口 放大,㈣進行頻率轉換處理 以及類比數位轉換虛 > ^ 物8對,姑 電話1400利用調變解調電路 4 1458對该接收訊號 展頻處理而恢復成原來之電子 Τ二電話1400將經恢復之電子郵件資料經由 咖控制部1455顯示於液晶顯示器刚中。 :二行動電話140。亦可將所接收之電 §己錄再生部1462記錄(儲存)於儲存部1423中。 例如Π423係可覆寫之任意之儲存媒體。儲存部1423 2可為R趟或内置型㈣記_等半__ 硬碟,亦可為磁碟、磁# 了為 降切 先碟、光碟、膽記憶體、或者纪 憶卡等可移動媒體。當'然,亦可為除此等以外者。 144635.doc •67- 201041404 此外’例如當於資料通訊模式 , 俱式下傳送影像資料時,行動 笔活1400利用CCD相機1416藉 _ 稽由拍攝而生成影像資料。 CCD相機1416包含透鏡、光圈等光風。 年光于盗件以及作為光電轉 換兀件之CCD,其拍攝被攝體, 將所接收之光之強度轉 換成電汛唬,而生成被攝體之 象之衫像負料。經由相機 I/F 口(M454,於影像編碼器 平藉由例如MPEG2或 MPEG4等特定之編碼方式將 甘“、 …飞將H身料壓縮編碼,藉此將 /、轉換成編碼影像資料。 饤動電賴G0使用上述影像編碼裝置51作為進行此種處 =影像編碼器U53。因此,影像編碼器1453可與影像編 ^置51之情形時同樣地’抑制壓縮資訊之增大,並且提 汁預測精度。 再者’與此同時,行動電話14〇〇將利用⑽相機⑷⑽ ,過程中由麥克風(話筒)1421所收集之音訊在音訊編解碼 盗:牦9中進行類比數位轉換,進而加以編碼。 仃動電話1400係於多工分離部1457中,將自影像編碼器 ^53所供給之編碼影像詩収自音訊編解碼以459所供 4曰資料以特定之方式多工化。行動電話1400利 用調變解調電路部1458對其結果所獲得之多工化資料進行 & ,处里並藉由收發電路部1 463進行數位類比轉換處理 =及頻率轉換處理。行動電話1400將藉由該轉換處理所獲 付之傳达用訊號經由天線"⑷專送至未圖示之基地台。傳 輸至基地台之傳送用訊號(影像資料)經由網路等而供給至 通訊對象。 144635.doc 68- 201041404 再者,於不傳送影像資料之情形時,行動電話ΐ4〇〇可使 CCD相機1416中所生成之影像資料不經由影像編碼器 1453,而經由LCD控制部1455顯示於液晶顯示器“Η中。 又,例如當於資料通訊模式下接收鏈接於簡易主頁等之 動態影像文件之資料時,行動電話14〇〇藉由收發電路部 1463,並經由天線1414接收自基地台所傳送之訊號,並將
〇 該訊號放大,進而進行頻率轉換處理以及類比數位轉換處 理。行動電話1400利用調變解調電路部1458對該接收訊號 進行解展頻處理而恢復為原來之多工化資料。行動電話 1糊於多工分離部1457中,將該多卫化資料加以分離,^ 分成編碼影像資料與音訊資料。 行動電話1400於影像解碼器1456中,以與MpEG2或 刪辦特定之編碼以㈣應的解碼m編碼影像資 料進行解碼’藉此生成再生動態影像資料,並經由LCD控 制部1455使其顯示於液晶顯示器⑷”。藉此,使例如鏈 接於簡易主頁之動態影像文件中所包含之動畫資料顯示於 液晶顯示器1418中。 仃動電話14GG使用上述影像解碼|置1()1作為進行此種 處理之影像解碼器1456。因此’影像解碼器㈣可與影像 解碼農置⑻之情形時同樣地,抑制壓縮資訊之增大,並 且提昇預測精度。 寺行動電话14〇〇同時於音訊編解碼器j 459中,將數 K資料轉換成類比音訊訊號,並使其自揚聲器1417 Ί出藉此,使例如鏈接於簡易主頁之動態影像文件中所 144635.doc •69- 201041404 包含之音訊資料再生。 再者〃電子郵件之情形時同樣地,行 將所接收之鏈接於+ 電話1400亦可 』 蛾接於間易主頁寺之貧料經由記錄再 而§己錄(儲存)於錯存部1423中。 對藉由CCD相 二維碼中所記 又,行動電話14〇〇可於主控制部145〇中, 機1416拍攝而獲得之二維碼進行分析獲得 錄之資訊。 此外,行動電話1400可藉由紅外線通訊部⑷ 線與外部之機器進行通訊。 用、.外 行動電話U00可藉由使用影像編料置51作為影像編碼 益1453 ’而提昇例如將CCD相機1416中所生成之影像資料 編碼而生成之編碼資料的編碼效率。作為結果,行動電話 1400可將編碼效率較佳之編碼資料(影像資料)提供至兑他 裝置。 又,行動電話1400可藉由使用影像解碼裝置1〇1作為影 像解碼1456 ’而生成精度較高之預測影像。作為其結 果,仃動電話1400可自例如鏈接於簡易主頁之動態影像文 件中獲得更加高精細之解碼影像加以顯示。 再者’以上係說明行動電話14〇〇使用CCD相機1416之情 y 仁亦"T 使用應用有 CMOS(Complementary Metal Oxide SemiC〇nduct〇r ’互補金屬氧化物半導體)之影像感測器 (CMOS影像感測器)代替該CCD相機1416。於此情形時, 行動電話1400亦可與使用CCD相機141 6之情形時同樣地拍 攝被攝體,而生成被攝體之影像之影像資料。 144635.doc •70- 201041404 又,以上係作為行動電話1400進行說明,但只要係例如 PDA(Personal Digital Assistants,個人數位助理)、智慧型 手機、UMPC(Ultra Mobile Personal Computer,超行動個 人电胳)、小筆電(netbook)、筆記型個人電腦等具有與該 行動電話1400相同之拍攝功能或通訊功能之裝置,則不論 何種裝S,均可與行動電話14〇〇之情形時同樣地應用影像 編碼裝置5 1以及影像解碼裝置丨〇 1。 0 ® 21係使用應用有本發明之影像編碼裝置以及影像解碼 裝置之硬碟δ己錄益'之主要構成例的方塊圖。 圖21所示之硬碟記錄器(HDD(Hard Disk Drive,硬磁碟 驅動機)記錄器)1500係將由調諧器所接收之自衛星或地面 之天線等所傳送之廣播波訊號(電視訊號)中所包含之廣播 節目的音頻貧料與視頻資料保存於内置之硬碟中,並以與 用戶之指示相對應之時序將所保存之資料提供給用戶。 硬碟記錄器1500例如可自廣播波訊號中抽出音頻資料與 〇 視頻資料,將該等資料適當解碼,繼而儲存於内置之硬碟 中。又,硬碟記錄器丨500亦可例如經由網路自其他裝置獲 得音頻資料或視頻資料,將該等資料適當解碼,而儲存於 内置之硬碟中。 此外,硬碟記錄器1 5〇〇例如對内置之硬碟中所記錄之音 頻資料或視頻資料進行解碼而供給至監視器156〇中,使其 影像顯不於監視器1560之晝面中。又,硬碟記錄器15〇〇可 使其音訊自監視器156〇之揚聲器輸出。 硬碟記錄器1500例如對自經由調諧器而獲得之廣播波訊 144635.doc -71 · 201041404 號中所抽出之音㈣料與視㈣料 裝置獲得之音頻資料或視頻資而:鄕自其他 156〇,使立麥俊顧-_ 、仃解碼而供給至監視器 ^像顯不於監視器1560之畫面中。又 錄器1500可使1立白 硬碟5己 , 定八曰5扎自監視盗1560之揚聲器輸出。 當然,亦可進行其他動作。 如圖21所硬碟記錄以綱包括:接收部1521 部1522、解多1哭“π A 解5周 1525 D 、日頻解碼器、視頻解碼器 .•及§己錄器控制部1526。硬碟記錄器15〇〇進而包 含.EPG資料記憶體i527、 _ 往八屺11體1528、工作記憶體 1529、顯不轉換器153〇 USD(On SCreen DlspIay,螢幕 示)控制部15 3 1、顯矛批也丨加! q。 ’’
頌不控制部1532、記錄再生部1533、D/A 轉換斋1 5 3 4、以及通訊部1 $ 3 5。 又’顯不轉換器1530包含視頻編碼器1541。記錄再生部 1533包含編碼器1551以及解碼器1552。 接收部1521接收來自遙控器(未圖示)之紅外線訊號,將 其轉換成電訊號後輸出至記錄器控制部1526中。記錄器控 制部1526包含例如微處理器等,其根據程式記憶體1528中 所儲存之程式執行各種處理。此時,記錄器控制部Η%視 需要而使用工作記憶體15 2 9。 通訊部1535與網路連接,並經由網路進行與其他裝置之 通訊處理。例如,通訊部1 535由記錄器控制部1526控制, 與調谐Is (未圖不)進行通訊,且主要對調諧器輸出選台控 制訊號。 解調部1522對自調諧器所供給之訊號進行解調,並將其 144635.doc -72- 201041404 輸出至解夕工器1523。解多工器i523將自解調部⑸2所供 之 > 料分離成音頻資料、視頻資料、以及EpG資料,並 將°亥等資料分別輸出至音頻解碼器1524、視頻解碼器 1525、或者記錄器控制部1526中。 、音頻解碼ϋ 1524例如賴PEG方式對所輸人之音頻資料 進灯解碼,並將其輪出至記錄再生部1533。視頻解碼器 W25例如以MPEG*式對所輸入之視頻資料進行解碼,2 〇將八輸出至顯不轉換器153〇。記錄器控制部1526將所輸入 之EPG資料供給至EP(J資料記憶體丨⑵中加以儲存。 顯示轉換器1530利用視頻編碼器1541將自視頻解碼器 1525或者記錄器控制部1526所供給之視頻資料編碼成例如 C(National Television Standards Committee,國家電視 標準委員會)方式之視頻資料,而輸出至記錄再生部 1533。又,顯示轉換器153〇將自視頻解碼器^^或者記錄 器控制部1526所供給之視頻資料之畫面尺寸轉換成與監視 〇 H156G之尺寸相對應之尺寸。顯示轉換器⑸。進而利用視 頻編瑪器1541將畫面〖寸經轉換之視頻資料轉換成财叱 方式之視頻資料,繼而轉換成類比訊號,輸出至顯示控制 部1532中。 = 顯示控制部1532基於記錄器控制部1526之控制,使 OSD(On Screen Display)控制部1531所輸出之〇SD訊號與 自顯示轉換器1530所輸入之視頻訊號重疊,而輸出至監視 器1560之顯示器中加以顯示。 又,藉由D/A轉換器1534將音頻解碼器1524所輪出之音 144635.doc -73- 201041404 頻貝料轉換成類比訊號而供給至監視器丨56〇中。監視器 1560將§亥音頻訊號自内置之揚聲器輸出。 5己錄再生部1533包含硬碟作為記錄視頻資料或音頻資料 等之儲存媒體。 ' 記錄再生部1533例如利用編碼器155UxMpEG方式對自 音頻解碼器1524所供給之音頻資料進行編碼。&,記錄再 生部15 3 3制編碼胃i 5 5 !以M p E G方式對自顯示轉換器 1530之視頻編碼器1541所供給之視頻資料進行編碼。記錄 再生部1533利用多工器合成該音頻資料之編碼資料與視頻 資料之編碼資料。記錄再生部1 533對該合成資料進行通道 編碼而將其放大,並將該資料經由記錄頭而寫入至硬碟 。己錄再生部1533經由再生頭而再生硬碟中所記錄之資 料,並將其放大,、繼而藉由解多^分離成音頻資料盘視 頻貧料。記錄再生部1533利用解碼器1552明咖方 音頻資料以及視頻資料進行解碼。記錄再生部⑽對 碼之音頻資料進行D/A轉換,並將其輸出至監視器⑽之 揚“中。又,記錄再生部1533對經解碼之視㈣料 轉換’並將其輸出至監視器1560之顯示器中。 記錄器控制部1526根據由經由接收部i52i所接收 遙控=之^卜線訊號所示的用戶指示,自咖資料記憶體 = 27n貝出取新之EpG資料,並將其供給至控制部= =控:部1531生成與所輸入之崎料相對應之影 亚將其輸出至顯示控制部1532中。顯示控制部 144635.doc -74- 201041404 1532將自〇SD控制部153 1所輸入之視頻資料輸出至監視界 1 560之顯示器中加以顯示。藉此,於監視器1 560之顯示哭 中顯示EPG(電子節目導覽)。 又,硬碟記錄器1500可經由網際網路等網路獲得自其他 裝置所供給之視頻資料、音頻資料、或者EPG資料等各種 資料。 通訊部1535受到記錄器控制部1526控制,經由網路而獲 0 得自其他裝置所傳送來之視頻資料、音頻資料、以及EPG 寅料寻編碼資料’並將其供給至記錄器控制部15 2 6中。兮己 錄器控制部1 526例如將所獲得之視頻資料或音頻資料之編 碼資料供給至記錄再生部丨533,並儲存於硬碟中。此時, 記錄器控制部1526以及記錄再生部1533亦可視需要而進行 再編碼等處理。 又,5己錄益控制部1 5 2 6對所獲得之視頻資料或音頻資料 之、為碼 > 料進行解碼’並將所獲得之視頻資料供給至顯示 ◎ 轉換器1530中。顯示轉換器1530與自視頻解碼器1525所供 給之視頻資料同樣地對自記錄器控制部1526所供給之視頻 資料進行處理’並經由顯示控制部丨532將其供給至監視器 1560而使其影像顯示。 又’結合該影像顯示’記錄器控制部1526亦可將經解碼 之音頻資料經由D/A轉換器1534供給至監視器156〇中,並 使其音訊自揚聲器輸出。 進而’記錄器控制部1526對所獲得之EPG資料之編碼資 料進行解碼’並將經解碼之EPG資料供給至EPG資料記憶 144635.doc -75- 201041404 體1527中。 士上所述之硬碟記錄器丨5〇〇使用影像解碼裝置1 〇 1作為 視頻解碼器1525、解碼器1552、以及内置於記錄器控制部 1526中之解碼器。因此,視頻解碼器Μ。、解碼器bn、 以及内置於記錄器控制部中之解碼器可與影像解碼裝 置之情形時同樣地,抑制壓縮資訊之增大,並且提 預測精度。 因此’硬碟記錄器15GG可生成精度較高之預測影像。作 為其結果,硬碟記錄器1500例如可自經由調譜器所接收之 視頻資料^編碼資料、或者自記錄再生部1533之硬碟所讀 出之視頻貧料之編碼資料、或者經由網路所獲得之視頻資 料之編碼資料中獲得更加高精細之解石馬影像,並使、干 於監視器1560中。 ....... 又,硬碟記錄器1500使用影像編石馬裝置51作為編碼写 :因此’編碼器1551可與影像編碼裝置51之情形時同 樣地’抑㈣縮資訊之增大,並且提㈣測精度。 次Γ,硬碟記錄器Μ""可提昇例如記錄於硬碟中之編碼 Λ料之編碼效率。作為1 έ士婁 下马具、、,〇果硬碟記錄器1500可更高兮 地使用硬碟之儲存區域。 > 再者^係說明將視頻資料或音頻資料記錄於硬碟中 之硬碟§己錄器15〇〇,當狹,纪锌據辦飞* Μ㈣ 錄媒體可為任意者。例如即 使為快閃§己憶體、光碟、或者錄影帶等 錄媒體之記錄器,亦可與上述硬碟記錄器15。。之:己 樣地應用影像編碼褒置51以及影像解碼裝置⑻。"%同 144635.doc -76 - 201041404 圖22係表示使用應用有本發明之影像解碼裝置以及影像 編碼裝置之相機之主要構成例的方塊圖。 圖22所示之相機16〇〇拍攝被攝體,並使被攝體之影像顯 示於LCD1616中、或者將其作為影像資料記錄於記錄媒體 1633 中。 透鏡區塊1611係使光(即,被攝體之圖像)入射至 CCD/CMOS1612 中。CCD/CMOS1612 係使用 CCD 或者 0 CM0S之影像感測器,其將所接收之光之強度轉換成電訊 號’而供給至相機訊號處理部1613中。 相機訊號處理部1013將自CCD/CMOS1612所供給之電訊 號轉換成Y、Cr、Cb之色差訊號,供給至影像訊號處理部 1614中。影像訊號處理部1614於控制器1621之控制之下, 對自相機訊號處理部1613所供給之影像訊號實施特定之影 像處理、或者利用編碼器1641以例如mpeg方式將該影像 訊號編碼。影像訊號處理部1614將對影像訊號進行編碼而 〇 生成之編碼資料供給至解碼器1615中。此外,影像訊號處 理部1614獲得螢幕顯示器(〇SD)162〇中所生成之顯示用資 料,並將其供給至解碼器〗6丨5。 於以上處理中,相機訊號處理部1613適當地利用經由匯 流排1617而連接之DRAM(Dynamic Rand_八⑽“
Memory,冑態隨機存取記憶體)1618,視需要使影像資料 或者將該影像資料編碼而成之編碼資料等保持於該 DRAM 161 8 中。 解瑪器1615對自影像訊 號處理部1 614所供給之編碼資料 144635.doc -77· 201041404 進行解碼’並將所獲得之影像資料(解碼影像資料)供給至 CD 1616中又,解碼器1615將自影像訊號處理部丨6丨4所 供給之顯示用資料供給至LCD1616中。Lcm6i6將自解碼 益1615所供給之解碼影像資料之影像與顯示用資料之影像 適當地合成,並顯示該合成影像。 螢幕顯示器1620於控制器16υ之控制之下,將包含符 號、文字、或者圖形之選單晝面或圖標等顯示用資料經由 匯流排1617輸出至影像訊號處理部1614中。 控制器1621根據表示用戶使用操作部1622所指示之内容❹ 之訊號,執行各種處理,並且經由匯流排1617控制影像訊 號處理部1614、DRAM1618、外部介面1619、螢幕顯示器 1620、以及媒體驅動器1623等。於flash r〇mi624中儲 存控制器1 621執行各種處理時所需之程式或資料等。 例如,控制器1621可代替影像訊號處理部1614或解碼器 1615,將DRAM1618中所儲存之影像資料編碼、或者對 DRAM 1 61 8中所儲存之編碼資料進行解碼。此時,控制器 1621可藉由與影像訊號處理部1614或解碼器1615之編碼、◎ 解馬方式相同之方式進行編碼、解碼處理,亦可藉由景彡像 訊號處理部1614或解碼器1615未對應之方式進行編碼、解 碼處理。 又,例如於自操作部1622指示開始影像印刷之情形時, 控制器1621自DRAM1618讀出影像資料,並將其經由匯流 排1617供給至與外部介面1619連接之列印機1634中加以 刷。 144635.doc -78- 201041404 此外,例如於自操作部1622指示進行影像記錄之情形 時,控制器162UDRAM1618讀出編碼資料,並將其㈣ 匯流排如7供給至安裳於媒體驅動器1623之記錄媒體則 中加以儲存。 Ο Ο 記錄媒體⑽例如為磁碟、磁光碟、光碟、或者半導體 記憶體等可讀寫之任意之可移動媒體。當然,記錄媒體 作為可移動媒體之種類亦為任意,可為磁帶機 bice)’亦可為碟片,亦可為記憶卡。當然,亦可為非接 觸IC(Integratedcircuit,積體電路)卡等。 又,亦可將媒體驅動器1623與記錄媒體1633—體化,例 如’如内置型硬碟驅動器或SSD(s〇Hd 8她D如固態 驅動器)等般包含非可移動性之儲存媒體。 〜 外部介面1619例如包含USB輸入輸出端子等於進行影 像之印刷之情形時與列印機1634連接。又,於外部介2 1619上’視需要而連接驅動器1631,並適當地安農磁:、 光碟、或者磁光碟等可移動媒體1632,且視需要將自該等 所讀出之電腦程式安裝於FLASHROM1624中。 此外,外部介面1619包含與LAN或網際網路等特定之網 路連接之網路介面。控制器則例如可根據來自操作部 1622之指示,自⑽鑛…中讀出編碼資料,並將其自外 部介面1619供給至經由網路而連接之其他裝置中。又,控 制器1621可經由外部介面1619獲得經由網路而自其他裝置 所供給之編碼資料或影像f料,並將其保持於⑽咖川 中、或者供給至影像訊號處理部1614中。 144635.doc -79- 201041404 如上所述之相機1600使用影像解碼裝置ι〇1作為解碼器 1615。因此,解碼器1615可與影像解碼裝置1〇1之情形時 同樣地’抑制壓縮資訊之增大’並且提昇預測精度。 因此,相機1600可生成精度較高之預測影像。作為其結 果,相機1600例如可自CCD/CMOS1612中所生成之影像資 料、或者自DRAM1618或記錄媒體1633所讀出之視頻資料 之編碼資料、或者經由網路而獲得之視頻資料之編碼資料 中獲得更加高精細之解碼影像,並使其顯示於LCDWW 中。 又,相機16〇〇係使用影像編碼裝置51作為編碼器Μ" 因此’編碼ϋ純可與影像編碼裝置51之情形時同樣地 抑制壓縮資訊之增大,並且提昇預測精度。 之編碼資料之 高效地使用 因此,相機1600可提昇例如記錄於硬碟中 編碼效率。作為其結果,相機16〇〇可更 DRAM1618或記錄媒體1633之儲存區域。 ::,亦可於控制器1621所進行之解碼處理中應用影係 :衣置IGi之解碼方法。同樣地,亦可於控制器咖所 仃之編碼處理中應用影像編碼裝置 靜:影:機_所拍攝之影像資料可為二亦可為 亦可應用 田然,影像編碼裝置5 1以及影像解碼裝置1〇1 於除上述農置以外之裝置或系統中。 【圖式簡單說明】 圖1係表示應用 有本發明之影像編 碼裝置之—實施形態 144635.doc -80- 201041404 之構成的方塊圖。 圖2係說明可變區塊尺寸活動預測與補償處理之圖。 圖3係說明1/4像素精度之活動預測與補償處理之圖。 圖4係說明多參考訊框之活動預測與補償方式之圖。 圖5係說明移動向量資訊之生成方法之例的圖。 圖6係對時間直接模式進行說明之圖。 圖7係表示圖丨之活動預測與補償部以及移動向量精度判 0 疋部之構成例的方塊圖。 圖8係說明圖〗之影像編碼裝置之編碼處理的流程圖。 圖9係說明圖8之步驟S21之預測處理的流程圖。 圖10係說明圖9之步驟S31之框内預測處理的流程圖。 圖11係說明圖9之步驟S32之框間活動預測處理的流程 圖。 圖12係說明圖u之步驟S53之移動向量精度判定處理的 流程圖。 〇 圖U係表示應用有本發明之影像解碼裝置之-實施形態 之構成的方塊圖。 〃圖14係表示圖13之活動預測與補償部以及移動向量精度 判定部之構成例的方塊圖。 圖15係說明圖13之影像解碼裝置之解碼處理的流程圖。 圖16係說明圖15之步驟sm之預測處理的流程圖。 圖17係表示經擴展之區塊尺寸之例的圖。 圖18係表示電腦之硬體之構成例的方塊圖。 圖19係表示應用有本發明 %月之电視接收機之主要構成例的 144635.doc •81 - 201041404 方塊圖。 圖20係表示應用有本發明 塊圖。 動電活之主要構成例的方 圖21係表示應用有本發明之 方塊圖。 系§己錄器之主要構成例的 圖 圖 22儀表示應用有本發明之相機之主要構成例 的方塊 【主要元件符號說明】 51 66 74 75 76 77 81 82 83 84 85 86 91 92 93 101 影像編碼裝置 可逆編碼部 框内預測部 活動預測與補償部 移動向量精度判定部 預測影像選擇部 整數像素精度__與補償部 小數像素精度活動_與補償部 移動向量資訊儲存緩衝器 預測移動向量計算部 移動向量資訊編碼部 模式判定部 對象移動向量精度判別部 鄰接移動向量精度判別部 精度旗標生成部 影像解碼裝置 144635.doc -82- 201041404 112 可逆解碼部 121 框内預測部 122 活動預測與補償部 123 移動向量精度判定部 124 開關 151 移動向量資訊接收部 152 預測移動向量生成部 Ο 153 移動向量再構成部 154 移動向量資訊儲存緩衝器 155 影像預測部 161 精度旗標接收部 162 鄰接移動向量精度判別部 163 對象移動向量精度判別部 Ο 144635.doc -83-
Claims (1)
- 201041404 七、申請專利範園·· L 一種影像處理裝置,其包括: 精度旗標生成機構,其生成表 眘m也 成表不對象區塊之移動向量 貝Λ之精度與鄰接於上 量資Μ象£塊之鄰接區塊之移動向 之精度是相同還是不同的精度旗標;以及 =構,其對上述對象區塊之移動向量資訊與由上 ❹ ❹ =旗標生成機構所生成之上述精度旗標進行編竭。 2·如钿求項1之影像處理裝置,其中 進而包括預測移動向量生成播 ㈣…一 置生成機構,其係於由上述精度 旗私生成機構所生成之上述精 — '表不上述對象區塊 之移動向Μ訊之精度與上料接區塊之㈣向量資訊 =二同的情形時,將上述鄰接區塊之移動向量資訊 =度換异成上料象區塊之移動向量資訊之精度而進 仃中值預測,生成預測移動向量資訊; 上述編碼機構將上述對象區塊之移動向量資訊盘上述 制移動向量資訊之差分作為上述對㈣塊之移動向量 貝§fL而編碼。 3. 如請求項2之影像處理裝置,其中 上述精度旗標生成機構以及上述預測移動向量生成機 構係使用鄰接於上述對象區塊之左部之區塊作為上述鄰 接區塊。 4. 如請求項2之影像處理裝置,其中 上述精度旗標生成機構以及上述預測移動向量生成機 構係使用鄰接於上述對象區塊’並且之前剛剛實施編碼 144635.doc 201041404 處理之區塊作為上述鄰接區塊。 5. 如請求項2之影像處理裝置,其中 6· 上述精度旗標生成機構以及上述預測移動向量生成機 構係使用鄰接於上述對象區塊,並且提供藉由中值預測 而選擇之移動向量資訊之區塊作為上述鄰接區塊。 —種影像處理方法,其包括如下步驟: 影像處理裝置生成表示對象區塊之移動向量資訊之精 度與鄰接於上述對象區塊之鄰接區塊之移動向量資訊之 精度是相同還是不同的精度旗標,並對上述對象區塊之 移動向量資訊與所生成之上述精度旗標進行編石馬。 一種影像處理裴置,其包括: 、解碼機構,其對經編碼之對象區塊之移動向量資訊、 =述對象區塊之移動向量資訊之精度與鄰接於 :、品鬼之鄰接區塊之移動向量資訊之精度是相同 還疋不同的精度旗標進行解碼; ::::再構成機構,其使用藉由上述解碼機 碼之上述精度旗標,再構 上述對象區塊之移動向"訊;:碼機構而解瑪之 預測影像生成機構,其使用藉由上述移動 機構而再構成之上述對象區塊之移動向量資訊:: 述對象區塊之預測影像。 成上 8. 如請求項7之影像處理裝置,其中 碼::包:預測移動向量生成機構,其係於藉由上述解 碼機構而解碼之上述精度旗標表示上述對象區塊之移Γ 144635.doc 201041404 向量資訊之精度與上述鄰接區塊之移動向量資訊之精度 為不同之情形時,將上述鄰接區塊之移動向量資訊之精 度換算成上述對象區塊之移動向量資訊之精度而進行中 值預測,生成預測移動向量資訊; 上述移動向S再構成機構係使用藉由上述解碼機構而 解碼之上述精度旗標與由上述制移動向量生成機構所 生成之上述預測移動向量資訊,再構成藉由上述解碼機 〇 構而解碼之上述對象區塊之移動向量資訊。 9. 如請求項8之影像處理裝置,其中 上k私動向里再構成機構以及上述預測移動向量生成 機構係使㈣接於上述對象區塊之左部之區塊作為上述 鄰接區塊。 10. 如請求項8之影像處理裝置,其中 上述移動向量再構成機構以及上述預測移動向量生成 機構係使用鄰接於上述對象區塊,並且之前剛剛實施編 〇 碼處理之區塊作為上述鄰接區塊。 11 ·如請求項8之影像處理裝置,其中 上述移動向量再構成機構以及上述預測移動向量生成 機構係使用_於上述對象區塊,並且提供藉由中值預 測而選擇之移動向量資訊之區塊作為上述鄰接區塊。 12. —種影像處理方法,其包括如下步驟: 影像處理裳置對經編碼之對象區塊之移動向量資訊、 以及表示上述對象區塊之移動向量資訊之精度與鄰接於 上述對象區塊之鄰接區塊之移動向量資訊之精度是相同 144635.doc 201041404 還是不同的積度旗標進行解碼,· 使用沒解碼之上述精度旗標再構成輯碼之上述對象 區塊之移動向量資訊;且 使用經再構成之上述對象區塊 尼 < 移動向量資訊生成上 述對象區塊之預測影像。 144635.doc
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009054077 | 2009-03-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201041404A true TW201041404A (en) | 2010-11-16 |
Family
ID=42709623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW099103245A TW201041404A (en) | 2009-03-06 | 2010-02-03 | Image processing device and method |
Country Status (12)
Country | Link |
---|---|
US (1) | US20120057632A1 (zh) |
EP (1) | EP2405659A4 (zh) |
JP (1) | JPWO2010101064A1 (zh) |
KR (1) | KR20110139684A (zh) |
CN (1) | CN102342108B (zh) |
AU (1) | AU2010219746A1 (zh) |
BR (1) | BRPI1009535A2 (zh) |
CA (1) | CA2752736A1 (zh) |
MX (1) | MX2011009117A (zh) |
RU (1) | RU2011136072A (zh) |
TW (1) | TW201041404A (zh) |
WO (1) | WO2010101064A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI552578B (zh) * | 2011-06-23 | 2016-10-01 | Jvc Kenwood Corp | A recording medium, a video decoding method, a video decoding method, and a video decoding program, and a recording medium, a recording medium, a recording medium, a recording medium, a recording medium, a video recording method, The recording method and the recording medium of the receiving program |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9237355B2 (en) * | 2010-02-19 | 2016-01-12 | Qualcomm Incorporated | Adaptive motion resolution for video coding |
US10327008B2 (en) * | 2010-10-13 | 2019-06-18 | Qualcomm Incorporated | Adaptive motion vector resolution signaling for video coding |
BR112015004285A2 (pt) * | 2012-08-28 | 2017-07-04 | Abb Technology Ag | controle de um conversor modular em dois estágios |
MX340603B (es) * | 2012-09-03 | 2016-07-15 | Sony Corp | Dispositivo y metodo de procesamiento de imagenes. |
WO2014147021A2 (en) * | 2013-03-20 | 2014-09-25 | Bayer Pharma Aktiengesellschaft | Novel compounds |
US9706229B2 (en) * | 2013-06-05 | 2017-07-11 | Texas Instruments Incorporated | High definition VP8 decoder |
EP4221202A1 (en) * | 2015-06-05 | 2023-08-02 | Dolby Laboratories Licensing Corporation | Image encoding and decoding method and image decoding device |
US11272207B2 (en) | 2017-06-12 | 2022-03-08 | Futurewei Technologies, Inc. | Selection and signaling of motion vector (MV) precisions |
CN116016921A (zh) | 2017-07-07 | 2023-04-25 | 三星电子株式会社 | 用于对运动矢量进行编码和解码的设备和方法 |
BR112020004381A2 (pt) * | 2017-09-28 | 2020-09-08 | Samsung Electronics Co., Ltd. | método de decodificação de vídeo, aparelho de decodificação de vídeo, método de codificação de vídeo, e aparelho de codificação de vídeo |
CN109905714B (zh) | 2017-12-08 | 2022-12-27 | 华为技术有限公司 | 帧间预测方法、装置及终端设备 |
WO2020005046A1 (ko) * | 2018-06-30 | 2020-01-02 | 김기백 | 영상 부호화/복호화 방법 및 장치 |
WO2020084475A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Utilization of refined motion vector |
CN111436227B (zh) * | 2018-11-12 | 2024-03-29 | 北京字节跳动网络技术有限公司 | 在视频处理中使用组合帧间-帧内预测 |
WO2020103852A1 (en) | 2018-11-20 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Difference calculation based on patial position |
KR102635518B1 (ko) | 2019-03-06 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 변환된 단예측 후보의 사용 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121359A (ja) * | 1995-10-26 | 1997-05-06 | Hitachi Ltd | 画像符号化方法および画像復号化方法 |
KR100359115B1 (ko) * | 2000-05-24 | 2002-11-04 | 삼성전자 주식회사 | 영상 코딩 방법 |
KR100962759B1 (ko) * | 2002-01-24 | 2010-06-09 | 가부시키가이샤 히타치세이사쿠쇼 | 동화상 신호의 부호화 방법 및 복호화 방법 |
JP4355319B2 (ja) * | 2002-01-24 | 2009-10-28 | 株式会社日立製作所 | 動画像復号化方法 |
US6728315B2 (en) * | 2002-07-24 | 2004-04-27 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
US7499495B2 (en) * | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
TWI253001B (en) * | 2004-11-16 | 2006-04-11 | An Lnternet Products & Technol | Method for setting the threshold of a fast motion estimation algorithm |
JP2006238291A (ja) * | 2005-02-28 | 2006-09-07 | Ricoh Printing Systems Ltd | カラー画像情報の符号化処理方法、復号化処理方法およびこれを用いた印刷装置 |
JP4713972B2 (ja) * | 2005-07-27 | 2011-06-29 | 株式会社東芝 | 符号化装置 |
JP4235209B2 (ja) * | 2006-02-10 | 2009-03-11 | Nttエレクトロニクス株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
CN101102503A (zh) * | 2006-07-07 | 2008-01-09 | 华为技术有限公司 | 视频分层编码层间运动矢量的预测方法 |
-
2010
- 2010-02-03 TW TW099103245A patent/TW201041404A/zh unknown
- 2010-02-25 CA CA2752736A patent/CA2752736A1/en not_active Abandoned
- 2010-02-25 WO PCT/JP2010/052925 patent/WO2010101064A1/ja active Application Filing
- 2010-02-25 KR KR1020117020036A patent/KR20110139684A/ko not_active Application Discontinuation
- 2010-02-25 MX MX2011009117A patent/MX2011009117A/es not_active Application Discontinuation
- 2010-02-25 RU RU2011136072/07A patent/RU2011136072A/ru unknown
- 2010-02-25 JP JP2011502727A patent/JPWO2010101064A1/ja active Pending
- 2010-02-25 US US13/203,957 patent/US20120057632A1/en not_active Abandoned
- 2010-02-25 CN CN201080010021.1A patent/CN102342108B/zh not_active Expired - Fee Related
- 2010-02-25 BR BRPI1009535A patent/BRPI1009535A2/pt not_active IP Right Cessation
- 2010-02-25 EP EP10748659A patent/EP2405659A4/en not_active Withdrawn
- 2010-02-25 AU AU2010219746A patent/AU2010219746A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI552578B (zh) * | 2011-06-23 | 2016-10-01 | Jvc Kenwood Corp | A recording medium, a video decoding method, a video decoding method, and a video decoding program, and a recording medium, a recording medium, a recording medium, a recording medium, a recording medium, a video recording method, The recording method and the recording medium of the receiving program |
Also Published As
Publication number | Publication date |
---|---|
EP2405659A1 (en) | 2012-01-11 |
EP2405659A4 (en) | 2013-01-02 |
CN102342108B (zh) | 2014-07-09 |
AU2010219746A1 (en) | 2011-09-08 |
CA2752736A1 (en) | 2010-09-10 |
KR20110139684A (ko) | 2011-12-29 |
JPWO2010101064A1 (ja) | 2012-09-10 |
RU2011136072A (ru) | 2013-03-10 |
MX2011009117A (es) | 2011-10-06 |
US20120057632A1 (en) | 2012-03-08 |
CN102342108A (zh) | 2012-02-01 |
BRPI1009535A2 (pt) | 2016-03-15 |
WO2010101064A1 (ja) | 2010-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201041404A (en) | Image processing device and method | |
TWI723849B (zh) | 圖像解碼裝置、方法及電腦可讀取記錄媒體 | |
JP5234368B2 (ja) | 画像処理装置および方法 | |
JP5812372B2 (ja) | 復号装置および方法 | |
TW201116069A (en) | Image processing device and method | |
TWI405469B (zh) | Image processing apparatus and method | |
JP5240530B2 (ja) | 画像処理装置および方法 | |
WO2010035731A1 (ja) | 画像処理装置および方法 | |
TW201129099A (en) | Image processing device and method | |
WO2010035734A1 (ja) | 画像処理装置および方法 | |
KR20130037200A (ko) | 화상 처리 장치 및 방법 | |
US20120044996A1 (en) | Image processing device and method | |
WO2010035730A1 (ja) | 画像処理装置および方法 | |
WO2011089973A1 (ja) | 画像処理装置および方法 | |
WO2010035732A1 (ja) | 画像処理装置および方法 | |
TW201132130A (en) | Device, method, and program for image processing | |
TW201143450A (en) | Image processing apparatus and method, and program | |
JP2011259040A (ja) | 画像処理装置および方法 | |
JPWO2010064675A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2011135184A (ja) | 画像処理装置および方法、並びにプログラム | |
US20110235711A1 (en) | Image processing device and method | |
TW201041405A (en) | Image processing device and method | |
WO2010035735A1 (ja) | 画像処理装置および方法 | |
JP2014143716A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
WO2011125809A1 (ja) | 画像処理装置および方法 |