TW201041404A - Image processing device and method - Google Patents

Image processing device and method Download PDF

Info

Publication number
TW201041404A
TW201041404A TW099103245A TW99103245A TW201041404A TW 201041404 A TW201041404 A TW 201041404A TW 099103245 A TW099103245 A TW 099103245A TW 99103245 A TW99103245 A TW 99103245A TW 201041404 A TW201041404 A TW 201041404A
Authority
TW
Taiwan
Prior art keywords
motion vector
block
unit
accuracy
vector information
Prior art date
Application number
TW099103245A
Other languages
English (en)
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201041404A publication Critical patent/TW201041404A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

201041404 六、發明說明: 【發明所屬之技術領域】 本發明係關於一種影像處理裝置及方法,特別係關於一 種抑制壓縮資訊之增大,並且提昇預測精度之影像處理裝 置及方法。 ' 【先前技術】 近年來,會將影像資訊作為數位進行處理,此時,以高 效率之資訊之傳輸、儲存為目的,利用影像資訊特有之冗 ^ 餘性,採用藉由離散餘弦轉換等正交轉換與活動補償進行 _ 壓縮之編碼方式對影像進行壓縮編碼之裝置得到不斷普 及。該編碼方式例如有MPEG(Moving Picture Experts Group,動畫專家組織)等。 尤其是MPEG2(ISO/IEC 13818-2)被定義為通用影像編碼 方式,其係包羅交錯掃描影像及依序掃描影像兩者、以及 標準解析度影像及高精細影像之標準。例如,MPEG2目前 Q 正廣泛地應用於專業型用途以及消費型用途之廣泛用途。 藉由使用MPEG2壓縮方式,若為例如具有720x480像素之 標準解析度之交錯掃描影像,則分配4至8 Mbps之編碼量 . (位元率)。又,藉由使用MPEG2壓縮方式,若為例如具有 1920x1088像素之高解析度之交錯掃描影像,則分配18至 22 Mbps之編碼量(位元率)。藉此,可實現較高之壓縮率 及良好之畫質。 MPEG2主要係以適合於廣播用之高晝質編碼為對象,但 其並不對應於較MPEG1更低之編碼量(位元率),即更高之 144635.doc 201041404 壓縮率之編碼方式。可想到隨著移動終端之普及,今後此 種編碼方式之需求將高漲,因應於此,業界已進行MPEG4 編碼方式之標準化。關於影像編碼方式,該規格於1998年 12月作為ISO/IEC 14496-2批准為國際標準。 此外’近年來,為實現最初電視會議用之影像編碼,正 在推進H.26L ( ITU-T Q6/16 VCEG)這一標準之規格化。眾 所周知,H.26L雖與MPEG2或MPEG4之類的先前之編碼方 式相比,其編碼、解碼要求更多之運算量,但可實現更高 之編碼效率。又,目前,作為MPEG4之活動之一環,以該 H.26L為基礎亦導入H.26L中無法支持之功能以實現更高之 編碼效率之標準化作為Joint M〇del 〇f Enhaneed_
Compression Video Coding(增強壓縮視頻編碼之聯合開發 模式)正在進行。作為標準化之排程,於年3月已變為 H.264 以及 MPEG-4 Partl0(Advanced Vide〇 (先進視 頻編碼),以下記作乩264/八1^(:)這一國際標準。 且說,於MPEG2方式巾,係藉由線性内插處理進行ι/2 像素精度之活動預測與補償處理。與此相對,於 H.264/AVC方式中’係進行使用有六個分接頭(6_㈣之fir (Finite Impulse Resp〇nse Fmer,有限脈衝響應渡波器成 波器之1/4像素精度之預測與補償處理。 又於MPEG2方式中,於訊框活動補償模式之情形時, 係以16 16像素為單凡進行活動預測與補償處理。於場活 動補:#模式之情形時,係對第1場與第2場之各個以16χ8像 素為單7L進行活動預測與補償處理。 144635.doc 201041404 相較於此,於H.264/AVr*〇·、丄 方式争,可使區塊尺寸為 以變更而進行活動預測與 ^ 、铺佾。即,於H 264/avc 中,可將包含16xl6像素之万式 .8 、 *巨集區塊分割成16x16、 16x8、8x16、或者8x8之任—八 毹A旦咨细 刀區,且分別具有獨立之移 動向里資訊。又,關於8X8分 刀£,可分割成8x8 ' 8M、 4x8、或者4x4之任一子分F Q、 資訊。 °°,且为別具有獨立之移動向量 Ο 〇 然而,於H.264/AVC方式中李 .^ 係進仃上述1/4像素精度以 及&塊可變之活動預測與補 丄,入 ^旦^ 員處理,由此會生成龐大之移 降 且接蝙碼,則會導致編碼效率之下 因此’業界已提出如下方宰 M , 夕作垃「成 業#,藉由利用已完成編碼 ^並精由中值運算(median 〇Pera 1〇n)生成之後欲加以編碼之對1 > 曰 3又對象£塊之預測移動向 1貧訊的方法等,來抑制編碼效率之下降。 且說,近年來,業界正在進行旨在進-步提昇 =.264^AVC方式之效率的研究。作為實現此目的之編碼方 式之一,於非專利文獻1中提出有灣素精度之活動箱 測。 罚7貝 ^於非專利文獻lt,1/2像素精度之内插處理係 濾波窃[-3,12, -39 1 ss 1 ςδ ^ A W,158’ 158, -39, 12, -3]/256 而進行。又, 1Μ像素精度之内插處理係藉由濾波器[·3, 12, -3 7, 229 71 21,6, ’256而進行’ 1/8像素精度之内插 由:’ 性内插而進行。 田、,泉 144635.doc 201041404 藉由如上所述進行利用有更高像素精度之内插處理的活 動預測,尤其於具有解析度較高之紋理,且比較緩慢之活 動之序列中,可提昇預測精度,從而實現編碼效率之提 昇。 [先前技術文獻] [非專利文獻] peldisplacementvectorresoIution」,VCEG-AD09,ITU-
Telecommunications Standardization Sector STUDY GROUP
Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006 【發明内容】 [發明所欲解決之問題] 就傳送至解碼側之壓縮影像資訊中之移動向量資
此處,就谓 訊進行考量。
144635.doc 201041404 本發明係鑒於上述情況而完成者,其係抑㈣㈣訊之 增大’並且提昇預測精度者。 [解決問題之技術手段] 本發明之第工態樣之影像處理裝置包括:精度旗 機構,其生成表示對象區塊之移動向量資訊之精度與鄰接 於上述對象區塊之鄰接區塊之移動向量資訊之精度是相同 還是不同的精度旗標;以及編碼機構,其對上述對象區塊 〇之移動向量資訊與由上述精度旗標生成機構所生成之上述 精度旗標進行編碼。 上述影像處理裝置進而包括預測移動向量生成機構,盆 係於由上述精度旗標生成機構所生成之上述精度旗標表示 上述對象區塊之移動向量資訊之精度與上述鄰接區塊之移 動向量資訊之精度不同的情形時,將上述鄰接區塊之移動 向量資訊之精度換算成上述對象區塊之移動向量資訊之精 〇 度而進行中值預測,生成預測移動向量資訊,上述編碼機 構可將上述對象區塊之移動向量資訊與上述預測移動向量 貝…分作為上述對象區塊之移動向量資訊而編碼。 上述精度旗標生成機構以及上述預測移動向量生成機構 可使用鄰接於上述對象區塊之左部之區塊作為上述鄰接區 塊。 上述精度旗標生成機構 可使用鄰接於上述對象區 區塊作為上述鄰接區塊。 上述精度旗標生成機構 以及上述預測移動向量生成機構 塊、並且之前剛實施編碼處理之 以及上述_移動向量生成機構 I44635.doc 201041404 可使用鄰接於上述料區塊、並且提供藉由中值預測而選 擇之移動向量資訊之區塊作為上述鄰接區塊。 本發明之第1態樣之影像處理方法包括如下步驟:影像 處理裝置生成表示對象區塊之移動向量資訊之精度與鄰接 於上述對象區塊之鄰接區塊之移動向量資訊 還是不同的精度旗標,並對上述對象區塊之㈣== 與所生成之上述精度旗標進行編碼。 本發明之第2«之㈣處縣置包括:解碼機構,豆 對經編碼之對象區塊之移動向量資訊'以及表示上述 =之移動向量資訊之精度與鄰接於上述對象區塊之鄰接 移動向量資訊之精度是相同還是不同的精度旗標進 而::,移動向量再構成機構,其使用藉由上述解碼機構 之上‘之上述精度旗標,再構成藉由上述解碼機構而解碼 之上述對象區塊之移動向量資訊;以及碼 構,其使用藉由上述移% Λ θ 心 成機 對象區塊之移動;it ^再構錢構而再構成之上述 像。 動向…,生成上述對象區塊之預測影 传象處理裝置進而包括預測移動向量生成機構盆 象=由上述解碼機構而解碼之上述精度旗對 ::::度換算成上述對象區塊之移動向量資訊:精:: ==::::移動_ 一動心 &解碼機構而解碼之上述精度旗標 J44635.doc 201041404 動向 區塊 二上述預測移動向量生成機構所生成之上述預測移 量資訊’再構成藉由上述解碼機構而解石馬之上述對 之移動向量資訊。 以及上述預測移動向量生成機 塊之左部之區塊作為上述鄰接 上述移動向量再構成機構 構可使用鄰接於上述對象區 區塊。 上述移動向量再構成機構以及上述預測移動向
❹ 構可使用錢於上述對象區塊、並且之前剛剛實施編碼處 理之區塊作為上述鄰接區塊。 上述移動向量再構成機構以及上述預測移動向量生成機 構可使用鄰接於上述對象區塊、並且提供藉由中值預測而 選擇之移動向量資訊之區塊作為上述鄰接區塊。 本發月之第2 _樣之影像處理方法包括如下步驟:影像 處理裝置對經編碼之對象區塊之移動向量資訊、以及表示 上述對象區塊之移動向量資訊之精度與鄰接於上述對象區 塊之鄰接區塊之移動向量資訊之精度是相同還是不同的精 度旗標進行解碼’並使用經解碼之上述精度旗標再構成經 解碼之上迷對象區塊之移動向量資訊,錢用經再構成之 上述對象區塊之移動向量資訊生成上述對象區塊之預測影 旦:本發明之^態樣中’係、生成表示對象區塊之移動向 2訊之精度與鄰接於上述對象區塊之鄰接區塊之移動向 里貝之精度是相同還是不同的精度旗標,並將所生成之 上述精度旗標與上述對象區塊之移動向量f訊—併進行編 144635.doc 201041404 碼。 於本發明之第2態樣中,係對經編 次』 场碼之對象區塊之移動 向里貝afl、以及表示上述對象區塊 μ , 凡心移動向1貧訊之精唐 ^鄰接於上料象區塊之鄰㈣塊切動向㈣訊之财 疋相同還是不同的精度旗標進行解石馬。繼而,使用經解瑪 之上边精度旗標再構成經解碼之上述對象區塊之移動向量 且使用經再構成之上述對象區塊之移動向量資訊生 成上述對象區塊之預測影像。 再者,上述影像處理裝置之各個可為獨立之裝置,亦可 為構成—個影像編碼裝置或者影像解碼裝置之㈣區塊。 [發明之效果] j據本發明之第1態樣’Μ影像進行編碼。又,根據 測精度。 i縮貝讯之增大,並且提昇預 根據本發明之第2態樣,可對影像進行解碼。又,根據 本發明之第2態樣,可抑制壓縮資訊之增大,並且提昇預 測精度。 汁預 【實施方式】 以下’參照®式對本發明之實施職進行說明。
[影像編碼裝置之構成例J 圖1表示作為應用有本笋 月之衫像處理裝置之影像編碼 裝置之一實施形態的構成。 該影像編碼裝置5 1藉由例如H.264以及刪G_4 Partl〇 ㈤㈣ced 〇 Coding)(以下記作Wye)方式對影像 144635.doc -10- 201041404 進行壓縮編碼。 於圖1之例中’影像編碼裝置51包括A/D(Anai〇g/
Digita1,類比/數位)轉換部61、晝面重新排列緩衝器62、 運算部63、正交轉換部64、量子化部“、可逆編碼部“、 儲存緩衝器67、逆量子化部68、逆正交轉換部69、運算部 7〇、解塊渡波器71、訊框記憶體72 '開關&框内預測部 Ο Ο 74、活動預測與補償部75、移動向量精度判定部76、預測 影像選擇部77以及碼率控制部78。 A/D轉換部61對所輸人之影像進行A轉換,並輸出至 晝面重新排列緩衝器62中加以儲存。晝面重新排列緩衝器 62將所儲存之顯示之次序之訊框的影像對應於㈣㈣叩 ㈣cture,影像群)重新排列成用以編碼之訊框之次序。 運算部63從自畫面重新排列緩衝器62讀出之影像中減去 由預測影像選擇部77所選擇之來自框内預測部74之預測影 像或者來自活動預測與補償部75之預測影像,將其差分資 訊輸出至正交轉換部64中。正交轉換部64對來自運算部63 之差分資訊實施離散餘弦轉換、卡氏轉換等正交轉換,並 Ί 、轉換係數。里子化部65將正交轉換部64所輸出之轉 換係數量子化。 口成為量子化部65之輸出之經量子化的轉換係數被輸入至 部66中’於此被實施可變長編碼、算術編碼等可 逆編碼,而加以壓縮。 $可逆編碼部66自框内預測部74獲得表示框内預測之資 成’並自活動預測與補償部75獲得表示框間預測模式之資 I44635.d〇c 201041404 訊等。再者,表示框内預測之資 訊,以下分別介μ 貝汛與表不框間預測之資 資訊。 無為框内預测模式資訊以及框間預測模式 表=内編Γ部66對經量子化之轉換係數進行編碼,並且對 " /則之貝§fl、表示框間預測模式之資编 瑪,而設為I縮影像中之標頭資訊之 ^仃、扁 66將經編碼之資料 σ刀。可逻編碼部 m 給至儲存緩衝器67中加以儲存。 例如,於可逆編媽部66中進行可變 等可逆編碼處理。Mm & 編碼
”、、I長鸡碼,可列舉以H.264/AVC c r^"CAVLC(C~^^ variable Length 可列可變長度編碼)等。作為算術編碼, AC(Context-Adaptive Binary Arithmetic Coding · 文絡適應性二進位算數編碼)等。 H 4存緩衝器6 7將自可逆編碼部6 6所供給之資料作為以 • AVC方式編碼之壓縮影像,輸出至例如後段之未圖 示之記錄裝置或傳輸線路等。 自里子化邛65所輪出之經量子化之轉換係數亦被輪C 入至逆量子化部68中經逆量子化後,進而於逆正交轉換部 69中加以逆正交轉換。經逆正交轉換之輸出藉由運算部70 而二自預測衫像選擇部77所供給之預測影像相加,變為局 部經解碼之影像。解塊據波器71去除經解碼之影像之區塊 雜(ock noise)後,將其供給至訊框記憶體中加以儲 存。於訊框記憶體72 Φ + ,, 中’亦供給藉由解塊濾波器71進行解 塊滤波處理之前之影像加以儲存。 144635.doc 201041404 開關7 3將訊框記情贈7 2 φ 户玉士 Λ 4體72中所储存之參照影 預測與補償部75或者框内制部㈣。 至活動 於該影像編碼裝置51中 哭查 將米自晝面重新排列緩衝 时62之I圖晝、B圖晝、以及p圖晝作 為框内處理)之影像# ‘·' 1預測(亦稱 办像么、給至框内預測部74。又,將白金工 重新排列緩衝器62所讀出之_書以 將自-面 預測(亦稱為框間處理“ 里作為進行框間 Ο 75。 )之“象供給至活動預測與補償部
框内預測部74根掳ό童工上A ” m 畫面重新排列緩衝器62所讀出之,隹 仃框内預測之影傻盥 丨请m之進 m 框記憶體72所供給之參昭¥傻 成預測影像㈣之框―處理,並生 二=測部74針對成為候補之所有框内_” U出成本函數值,並選__ 預_式 〇 小值之框内預測模式作為 〃數值提供最 ^ ^ 取住框内預測模式。 框内預測部74將以遇 4 4r_ 及其成本函數值供給至預模式所生成之_影像 王頂馮影像選擇部77由 Μ於已藉由預測影像選擇部^ 。框内預測部 生成之預測影像之情形時,將U 框内預測模式所 訊供給至可逆編碼部66中。可:取佳框内預測模式之資 碼,並將其作為I I爲碼部66對該資訊進行編 活勤箱w 像中之標頭資訊之-部分。 活動預測與補償部75進行成為/刀 之活動預測與補償處理。g 、南之所有框間預测模式 供給自晝面重新排列^ P ’向活動預測與補償部75中, ^衝器62所讀出之要進行框間處理之 M4635.doc 201041404 ”像亚且經由開關73自訊框記憶體72供給參照影像 ^預測與補仏部75根據要進行框間處理之影像與參照影 彳’檢測成為候補之所有框間預測模式之移動向量 據移動向量對參照影像實施補償處理,而生成預測影像/ 再者,活動預測與補償部75係進行上述非專利文獻^中 己載之1/8像素精度之活動預测補償處理,而 以後述之H.264/AVC太4俗招〜 …圖 補償處理。鞭方式所規疋之1/4像素精度之活動預測 次=活動預測與補償部75所求出之對象區塊之移動向量 移::接於對象區塊之鄰接區塊之移動向量資訊供給至 判定部-中。對應於此,向活動預測與補償 動^自移動向量精度判定部76供給表示對象區塊之移 =…之精度與鄰接區塊之移動向量資訊之精度是相 冋還疋不同的精度旗標。 移=!測與補償部75基於該精度旗標,使用鄰接區塊之 里貧μ异對象區塊之預測移動向量資訊,並將所 作為=動向量資訊與所生成之預測移動向量資訊之差分 為傳送至解碼側的移動向量資訊。 二==償部75針對成為候補之所有框間預測 2出成本函數值。活動預測與補償部75將提供所算 測模式。 取;值之預·式決定為最佳框間預 測將ιχ最佳框間預測模式所生成之預 κ、成本函數值供給至預測影像選擇部77+。活動 144635.doc •14- 201041404 予^則與補仏部75於藉由制影像選擇初已選擇 間預測模式所生成之預測影像之情形時,將表示最佳表 =測模式之—資職至可逆:: 此&^’移動向量資訊、私 輸出至可逆編碼部66;二::66參照訊—等亦被 儅邱逆、、扁碼祕對來自活動預測與補 。 貝讯仍然進行可變長編碼、算術編& Ο ❹ 編碼處理,並插入至壓縮影像之標碼之類的可逆 判定部二’供給來自活動預測與補償 訊。移動6 Ζ之移動向與鄰接11塊之移動向量資 二=:精度判定部76生成表示對象區塊之移動“ …精度與鄰接區塊之移動 不同的精度旗標,並將所Μ ^度疋相间還是 與補償部75中。 叙精度旗標供給至活動預測 預測影像選擇部77根據自框 補償部75所輸出之各成本函數值,自J;^4或者活動預測與 最佳框間預測模式中決定最佳預㈣^框内預測模式與 、登裡立 、模式。繼而,預測旦;ί傻 選擇部77選擇所決定之最佳預 預像 運算部63、70中。此時 "預測影像,供給至 選擇資m供仏至r Λ /貝1影像選擇部77將預測影像之 伴貝Λ供給至框内預測部74 中。 ’動預測與補償部7 5 碼率控制部78根據儲存緩衝器 控制量子化部65之量子化動:所儲存之I縮影像, 者下溢。 之馬率,以防止產生溢出或 144635.doc 15 201041404 [H.264/AVC方式之說明] 活動預測與補償之區塊尺 中’使區塊尺寸可變而進 圖2係表示H.264/AVC方式中之 寸之例的圖。於H.264/AVC方式 行活動預測與補償。 於圊2之上段中,自左側起依次表 人衣不有分割成16x16像 素、16x8像素、8xl6像素、以及8χ8像素之分區之包含 像素的巨集區塊。又’於圖2之下段中,自左侧起依 次表示有分割成8χ8像素、8x4像素、4χ8像素、以及私4像 素之子分區之8x8像素的分區。 即 ’可將1個巨集區塊分割成 於H.264/AVC方式中 16x16像素、16χ8像素、8χ16像素、或者8χ8像素中之任一 分區,並分別具有獨立之移動向量資訊。χ,關於8哪 素之分區,可分割成8χ8像素、8χ4像素、4χ8像素、或者 4x4像素中之任一子分區,並分別具有獨立之移動向量資 訊。 圖3係說明H.264/AVC方式中之1/4像素精度之預測盥 償處理之圖。於H.264/AVC方式中,進行有使用6個分接頭 之 FIR(Finite lmpulse Resp〇nse FiUer)濾波器之 ι/4像素精 度之預測與補償處理。 ’ 於圖3之例中,位置a表示整數精度像素之位置,位置 b、c、d表示1/2像素精度之位置,位置el、e2、e3表示w 像素精度之位置。首先’以下,如以下之式⑴般 Clip。。 [數1] 144635.doc 16- 201041404 〇,·若(a<0)
Clipl(a) = ] a;否則 max_pix;若(a > max_pix) 再者,於輸入影像為8位元精度之情形時,max ρίχ之值 為 255。 位置b以及d中之像素值係使用6個分接頭之FIR渡波器, 如以下之式(2)般生成。 [數2] 〇 F=A.2-5-A.i+2〇-A〇+20-A1-5-A2h-A3 b » d=Clipl((F+16)>>5) ...(2) 位置c中之像素值係於水平方向以及垂直方向上應用有6 個分接頭之FIR濾波器,如以下之式(3)般生成。 [數3] F=b_2-5.b.i+20.b〇+20.bi-5.b2+b3 或者 ❹ F=d.2-5-d.i+20-d〇+20-d1-5-d2+d3 c=Clipl((F+15)»10) ...(3) 再者’ Clip處理係進行水平方向之 y w <積和處理以及垂直方 向之積和處理兩者後,最後僅執行丨次。 位置e 1至e 3係如以下之式(4)船Μ氺& , 八1 )奴糟由線性内插而生成。 [數4] ei=(A+b+l)»l e2=(b+d+l)»l …(4) e3=(b+c+l)»l 144635.doc 201041404 再者,於圖i之活動預測與補償部75中, 專利文獻1所記載之灣素精度之活動預測補^上述非 非1M像素精度之活動預測補償處理。、、員处理,而 「即,於活動預測與補償部75中,係使用據波Μ 39,158,158,_39,12,_3]/256進行卿素精度之内插〆 理。又,使用渡波器[-^37,229,7^^== 行1M像素精度之内插處理,且_ 精度之内插處理. 肖行崎素
圖4係說明Η遍AVC方式中之多參考訊框之預測盘紹 處理之圖。於H.264/AVC方式中,規定有多參考則 (MiilU-Reference Frame)之活動預測與補償方式。 於圖4之例中,表示有即將進行編碼之對象訊框Fn以2 已完成編碼之訊框Fn_5、...、Fn]。訊框Fn_〗係時間抽」 對象訊框Fn之向前數第一個訊框,訊框ρη_2係對象訊框f
之向前數第二個訊框,訊框Fn_3係對象訊框Fn之向前數第 三個訊框。又,訊框Fn_4係對象訊框Fn之向前數第四個訊 框,訊框Fn-5係對象訊框Fn之向前數第五個訊框。通常, 相對於對象訊框Fn於時間軸上越近之訊框,被附加越小之 參照圖晝編號(ref—id)。即,訊框Fn-Ι之參照圖畫編號最 小,以後,按Fn-2、...、Fn-5之順序參照圖晝編號遞增。 於對象訊框Fn中表示有區塊a 1與區塊A2,區塊A1被設 定為與向前數第二個訊框Fn-2之區塊Α Γ相關聯,搜尋移 動向量VI。又’區塊A2被設定為與向前數第四個訊框Fn- 4之區塊ΑΓ相關聯,搜尋移動向量V2。 144635.doc -18· 201041404 如上所述,於H_264/AVC方式中,將複數個參照訊框儲 存於記憶體中,於1個訊框(圖畫)中,可參照不同之參照訊 框。即,例如,如區塊八丨參照訊框以^,區塊A2參照訊 框Fn-4般,於1個圖晝中,每個區塊可分別具有獨立之參 照訊框資訊(參照圖晝編號(ref_id))。 夕 此處,所謂區塊,係表示以上參照圖2所述之16\丨6像 素、16x8像素' 8x16像素、以及8χ8像素之分區中之任一 ❹ 者。8x8子區塊内之參照訊框必需為相同。 於H.264/AVC方式中,係藉由進行以上參照圖2至圖4所 述之活動預測與補償處理,生成龐大之移動向量資訊,並 將其直接編碼,這會導致編碼效率之下降。與此相對,於 H.264/AVC方式中,則藉由圖5所示之方法,實現了移動向 量之編碼資訊之減少。 圖5係說明利用H.264/AVC方式之移動向量資訊之生成方 法的圖。 〇 於圖5之例中,表示有即將進行編碼之對象區塊以例 如,16x16像素)、以及已完成編碼且鄰接於對象區塊£之 區塊A至D。 即,區塊D鄰接於對象區塊E之左上方,區塊B鄰接於對 象區塊E之上方,區塊C鄰接於對象區塊£之右上方,區塊 A鄰接於對象區塊E之左邊。再者,區塊A至D未被劃分, 係表示其等分別為圖2中所述之16><16像素至4χ4像素中之 任一構成之區塊。 例如’以mvx表示針對Χ(=Α、Β、c、D、Ε)之移動向量 144635.doc -19- 201041404 向量資訊pmvE係使 藉由中值預測而如 資訊。首先,針對象區塊E之預測移動 用關於區塊A、B、c之移動向量資訊, 以下之式(5)般生成。 pmvE=med(mVA、mvB、mVc) ⑺ 有日τ關於區塊C之移動命署杳·*η山# A 土 秒動Π里貝讯由於為畫框之端、或者 尚未被編碼等理由,而益、、么斗丨丨田γ 而,,、、法利用(unavailable)。於此情形 時,關於區塊C之移動命吾咨却总m 砂動Π里貝甙係使用關於區塊D之移動 向量資訊來代替。 訊而附加於壓縮影像 如以下之式(6)般生 fl 作為針對對象區塊E之移動向量資 之標頭部之資料mvdE係使用pm%, 成。
mvdE=mvE-pmvF ..•(6) 再者’實際上,對移動向詈眘— 功门夏貧讯之水平方向、垂直方向 之各個成分單獨地進行處理。 ϋ 以下,為與由活動預測所求出之移動向量資訊加以區 分,適當地將該資料mvd4稱作差分移動向量資訊。 如此’生成預測移動向量資訊,將藉由與鄰接之區塊之 關聯而生成之預測移動向量資 、, 里貝Λ興矛夕動向量資訊的差分即 差分移動向量資訊附加於壓飨影偾 !%衫像之標頭部,藉此可減少 移動向量資訊。 且說,關於Β圖畫之移動向量資訊中之資訊量雖然龐 大,但於H.264/AVC方式中,準備有被稱作直接模式之模 式。於直接模式中,移動向|眘4 土 π里貝況未儲存於壓縮影像中。 即,於解碼側,於對象區堍 鬼之周邊之移動向量資訊或者 144635.doc -20- 201041404 參照圖晝中,自與對象區塊座標相同之區塊即c〇_ looted(同址)區塊之移動向量資訊中抽出對象區塊之移動 向量資訊。因此’無需將移動向量f訊傳送至解碼側。 於該直接模式中’存在空間直接模式伽制一
Mode)與時間直接模式(Temp〇ral此⑽m_)兩種。空間 直接模式係主要利用空間方向(圖畫内之水平、垂直之二 維空間)之活動資訊之關聯性的模式,通常於包含相同活 〇動之影像中、活動速度會變化之影像中有效。另一方面, %間直接模式係主要利用時間彳向之活動資訊之關聯性的 杈式,通常於包含不同活動之影像中、活動速度固定之影 像中有效。 使用該等空間直接模式與時間直接模式中之哪一者,可 每個切片(slice)地進行切換。 再次’參照圖5,對利用H.264/AVC方式之空間直接模式 進行說明。於圖5之例中,如上所述,表示有即將進行編 〇 碼之對象區塊E(例如,116像素)、以及已完成編碼且鄰 接於對象區塊E之區塊A至D。而且,例如以rnvx表示針對 X(=A、B、C、D、E)之移動向量資訊。 針對象區塊E之預測移動向量資訊pmvys使用關於區塊 A、B、C之移動向量資訊,藉由中值預測而如上述之式(5) 般生成。而且’空間直接模式中之針對對象區塊E之移動 向量資訊mvE係由以下之式(7)表示。 mvE=pmvE ...(7) 即’於空間直接模式中,將藉由中值預測所生成之預測 144635.doc -21· 201041404
說明。 自左側起依次 於圖6之例中,時間軸t表示時間之經過, 表示有LO(LiSt〇)參照圖畫、即將進行編碼之對象圖晝 畫、對象圖晝、L1 ’並不限定於該順 L 1 (List 1)參照圖晝。再者,L0參照圖書、 參,¾圖晝之排列於H.264/AVC方式中,並 序。 對象圖畫之對象區塊例如包含於B切片中。因此,關於 對象圖晝之對象區塊,對L〇參照圖畫與L丨參照圖晝,計算 出基於時間直接模式之L〇移動向量資訊mv^與L〗移動向量 資訊mvLi。 又’於L0參照圖畫中,位於與即將進行編碼之對象區塊 相同之空間上之位址(座標)的區塊即c〇_l〇cate(j區塊中之移 動向量資訊mvCQl,係根據L0參照圖晝與L1參照圖晝而算 出。 此處’將對象圖晝與L0參照圖畫之時間軸上之距離設為 TDB ’將L0參照圖晝與L1參照圖晝之時間軸上之距離設為 TDd。於此情形時,對象圖晝中之L0移動向量資訊mVL0與 對象圖晝中之L1移動向量資訊mvLi可由以下之式(8)而計 算。 144635.doc -22- 201041404 [數5] TD mv — b uvL〇--~-mv , TD c〇] ^D mvL1 -TDb
TD mv col
D
再者,於H.264/AVC方式中,於壓縮影像中,不存在相 田於相對於對象圖畫之時間軸t上之距離TDB、TDd的資 〇 訊。因此,作為距離TDB、TDD2實際值,係使用表示圖 畫之輸出順序之資訊即P〇c(Picture 〇rder c〇unt,圖像序 列號)。 又,於H.264/AVC方式中,作為同樣無需傳送移動向量 模式除上述以外,亦有跳越模式(skip mode)。於 關於移動向量之編碼資料為〇之情形時(H.264/AVC方式之 凊形時,上述式(7)成立之情形時),且當DCT係數全部為〇 夺、〃、對象區塊變為跳越模式。又,於B圖畫之情形時, 〇當為直接模式且DCT係數為0時,該對象區塊變為跳越模 式。 [活動預測與補償部以及移動向量精度判定部之構成例] 圖7係表示活動預測與補償部以及移動向量精度判定部 之詳細構成例的方塊圖。再者’關於各詳細情況,適當地 使用上述圖5之對象區塊e以及鄰接區塊人至£)進行說明。 、於圖7之例中,活動預測與補償部75包含整數像素精度 活動預測與補償部81、小數像素精度活動預測與補償部 82 '移動向量資訊儲存緩衝器83、預測移動向量計算部 144635.doc -23- 201041404 84、移動向量資訊編碼部85、以及模式判定部%。 移動向量精度判定部76包含對象移動向量精度判別部 91、鄰接移動向量精度判別部92、以及精度旗標生 93。 # 向整數像素精度活動預測與補償部8 1中,供給自書面 新排列緩衝器62所讀出之要進行框間處理之原影像旦並^ 經由開關73自訊框記憶體72供給參照影像。整數像素精声 活動預測與補償部81對成為候補之所有框間預測模式= 對象區塊E之整數像素精度之活動預測與補償處理。此 時’所求出之對象區⑽之整數像素精度之移動向 訊,與要進行框間處理之影像以及參照影像一併被供給至 小數像素精度活動預測與補償部82中。 =像㈣度㈣制與補㈣82使料進行框間處理 〜象以及參照影像,基於整數像素精度之移動 訊,進行對象區塊E之小數像紊 貝 , 像素精度之活動預測與補償處 理。此處,如上所述,進 償處理。此時…、山 料精度之活動預測與補 向量/之移動向量資訊被儲存於移動 句里貝§fl儲存緩衝器83 φ,* α、丄 碑部85以及㈣ 被供給至移動向量資訊編 :::以及對象移動向量精度判別_ 像素精度之補償處理,所求出之預測影像與心= 照说框m被供給至模式判定部86。 ^ 移動向量資訊儲存緩衝器83儲存 活 動預測與補償㈣而求出之移數像素精度活 C、D、E)。 〇 里負 5凡 mvx(x=A、B、 J44635.doc -24- 201041404 預測移動向量計算部84自移動向量資訊儲存緩衝器83讀 出鄰接於對象區塊之鄰接區塊之移動向量資訊mvA、 mvB、mVc。預測移動向量計算部84使用所讀出之移動向 量資訊,藉由上述式(5)之中值預測計算出對象區塊丑之預 . 測移動向量資。此時,向預測移動向量計算部84 中,供給由精度旗標生成部93所生成之精度旗標 (horizontal_mv_precision_change_flag ^ vertical:mv_precision_change_flag) 〇 〇 於該精度旗標表示對象區塊E之移動向量資訊之精度與 用於預測移動向量資訊生成之鄰接區塊之移動向量資訊之 精度為不同的情形時,預測移動向量計算部84以如下方式 進行處理。即,於此情形時,預測移動向量計算部以將鄰 接區塊之移動向量資訊之精度換算成(配合)對象區塊E之 移動向量資訊之精度,計算出對象區塊E之預測移動向量 資訊pmvE。 藉由預測移動向量計算部8 4而生成之對象區塊E之預測 〇移動向量資訊pmVE被供給至移動向量資訊編碼部85。 向移動向量資減碼⑽巾,自小數像素精度活動預測 與補償部82供給對象區塊移動向量資訊.,且自預測 寿夕動向ϊ計算部84供給對象區塊E之預測移動向量資訊
PmvE。進而,向移動向量資訊編碼部中,自精度旗標生 成部93供給精度旗標。 矛夕動向里寊讯編碼部85使用對象區塊^之移動向量資訊 6 對象區塊E之預測移動向量資訊pmvE,藉由上述式 (6) ’求出用卩附加於I縮影像之標頭部之對象區塊E的差 144635.doc -25- 201041404 刀移動向!資訊mvdE。移動向 對象區塊E之差分移動向量資訊將所求出之 至模式判定部86中。 一月度旗軚一併供給 向模式判定部86中,供給來自小數 補償部η之預測影像、原影像及參照訊框資 移動向量資訊編碼部85之差分移動向量資訊—來自 標等。模式判定部86適當地使用所供給之資二= ==有框間預測模式之成本函數值。模_ 預測模' I提供最小值之預測模式決定為最佳框間 兑成麵間關模相生叙預測影像及 ”成本函數值供給至預測影像選擇部77中。 於已藉由制影像選擇部7選擇最佳_制模式之預 測影像之情料,模式判定部_㈣最佳_預測模式 …與差分移動向量資訊一、精度旗標、參照訊框資 況等輸出至可逆編碼部66。 對象移動向量精度判別部91判別來自小數像素精度活動 預測與補償部82之對象區塊之移動向量資訊mVE的精度。 繼而’對象移動向量精度判別部91決定對於對象區塊之移 動向里:貝efl之水平成分與垂直成分的相關精度參數 (cu,_honzontal„cision^^^ , -_ν6^1„〇ίδί〇η„) 〇 所決定之對象區塊之移動向量資訊之精度參數被供給至精 度旗標生成部93中。 例如,於對象區塊£之移動向量資訊僅具有至】/4像 素精度為止之資訊的情形時,對象區塊水平成分之精 144635.doc -26 - 201041404 度參數與垂直成分之精度參數之值設為〇。於對象區塊£之 移動向量資訊mvE具有至1/8像素精度為止之資訊的情形 時’對象區塊E之水平成分之精度參數與垂直成分之精度 參數之值設為1。 鄰接移動向量精度判別部92讀出移動向量資訊儲存緩衝器 幻之鄰接區塊之移動向量資訊,判別鄰接區塊之移動向量資 訊之精度。繼而,鄰接移動向量精度判別部92決定對於鄰接 〇區塊之移動向量資訊之水平成分與垂直成分的相關精度參數 (pred_honzontal_mv_precision_param ^ pred_vertical_mv_precision_param) ° 所決定之鄰接區塊之移動向量資訊之精度參數被供給至精 度旗標生成部93中。 例如,於鄰減塊之移動向„訊僅具有至1/4像素精 度為止之資訊的情形時,鄰接區塊之水平成分之精度參數 2垂直成分之精度參數之值設為0。於鄰接區塊之移動向 s貧訊具有至1/8像素精度為止之資訊的情形時,鄰接區 〇塊之水平成分之精度參數與垂直成分之精度參數之值設為 此處’所謂鄰接區塊,係指有可能向對象區塊E之移動 向量資訊mvE提供預測值(預測移動向量資訊)pmvE之區 塊’例如圖5之區塊A、b、c、D中之任一區塊。具體而 言’由以下之任一方法加以定義。 第1方法係使用鄰接於對象區塊E之左部之區塊A作為鄰 接區塊之方法。 第2方法係使用之前剛剛實施解碼處理之區塊作為鄰接 144635.doc -27· 201041404 區塊之方法。 第3方法錢用提㈣由上述式⑺之t值觸而選擇之 預測值的區塊作為鄰接區塊之方法。即,於此情形時’传 使用藉由中值預測而設為預測值之移動向量之精度。〃 再者,於上述第1方法以及第2方法中,提供 pred.honzontaLmv^ecision^ , pred^erticaLmv^ecis^ 之區塊為經框内編碼者之情形時,將其移動向量資訊之值 設為〇而進行處理。又,於第3方法之情形時,進行基於以 H.264/AVC方式所規定之中值預測之處理。 向精度旗標生成部93中,供給來自對象移動向量精度判 別部91之對象區塊E之移動向量資訊之精度參數、以及來 自鄰接移動向量精度判別部92之鄰接區塊之移動向量資訊 之精度參數。精度旗標生成部93對兩者之精度參數進行比 較,生成表示對象區塊E之移動向量資訊之精度與鄰接區 塊之移動向量資訊之精度是相同還是不同的精度旗標。 即,右對象區塊E之水平成分之精度參數與鄰接區塊之 水平成分之精度參數為相同值,則對象區塊E之水平成分 之精度旗標(h〇riZontal—mv_precisi〇n_change—叫)之值設 為〇。若對象區塊E之水平成分之精度參數與鄰接區塊之水 平成分之精度參數為不同值,則對象區塊E之水平成分之 精度旗標(h〇riZ〇ntaLmv_precisi〇n—change—flag)之值設為 又,右對象區塊E之垂直成分之精度參數與鄰接區塊之 垂直成分之精度參數為相同值,則對象區塊E之垂直成分 144635.doc •28· 201041404 之精度旗標(vertical_mv_precision_change_flag)之值設為 0。若對象區塊E之垂直成分之精度參數與鄰接區塊之垂直 成分之精度參數為不同值,則對象區塊£之垂直成分之精 度旗標(vertical_mv_precision_change_flag)之值設為 1。 即,表示對象區塊E之移動向量資訊之精度與鄰接區塊 之移動向量資訊之精度是相同還是不同的精度旗標,係表 示對象區塊E之移動向量資訊之精度是否自鄰接區塊之移 0 動向量資訊之精度發生改變者。 所生成之對象區塊之水平成分以及垂直成分之精度旗標 被供給至預測移動向量計算部8 4以及移動向量資訊編碼部 85中。 [衫像編碼裝置之編碼處理之說明] 其次,參照圖8之流程圖,對圖丨之影像編碼裝置“之編 碼處理進行說明。 於步驟S11中,A/D轉換部61對所輸入之影像進行A/D轉 〇 換。於步驟W2中,畫面重新排列緩衝器62儲存自Α/〇轉換 部61所供給之影像,將各圖晝自顯示次序重新排列成編碼 次序。 於步驟S13中,運算部63對步驟S12中所重新排列之影像 與預測影像之差分進行運算。預測影像於要進行框間預測 之情形時係自活動預測與補償部75經由預測影像選擇部π 供給至運算部63,於要進行框内預測之情形時係自框内預 測部74經由預測影像選擇部77供給至運算部〇。 差分資料與原來之影像資料相比資料量變小。因此,與 144635.doc •29- 201041404 對〜像直接進行編碼之情形時相比,可壓縮資料量。 於步驟S14中’正交轉換部64對自運算部63所供給之差 刀資Λ進仃正父轉換。具體而言’進行離散餘弦轉換、卡 氏轉換等正父轉換,輸出轉換係數。於步驟⑴中,量子 化4 65將轉換係數加以量子化。於該量子化時,如後述之 步驟S25之處理中所說明般,碼率受到控制。 以上述方式里子化之差分資訊以如下方式被局部解碼。 尸;γ驟S 16中,逆量子化部68以與量子化部65之特性 相對應之特性將藉由量子化部65而量子化之轉換係數逆量 子化於步驟S 1 7中,逆正交轉換部69以與正交轉換部64 之特性相對應之特性對藉由逆量子化部Μ而逆量子化之轉 換係數進行逆正交轉換。 於V驟S 1 8中’運算部70將經由預測影像選擇部77而輸 入之預測影像與經局部解碼之差分資訊相加,而生成經局 P解馬之〜像(與向運算部63之輸入相對應《影像)。於步 驟si”,解塊據波器71對自運算部7〇所輸出之影像進行 濾波。藉此去除區塊雜訊。於步㈣辦,訊框記憶體η 儲存經遽波之影像。再者,對訊框記憶體72亦自運算部 供給未藉*解塊錢器71進㈣波處理之影像加以儲存。 、於步驟S21’ ’框内預測部74以及活動預測與補償部π 刀別進行影像之預測處理。於步驟⑵中,框内預測 4 74進行框内預測模式之框内預測處理。活動預測與補償 部75以1/8像素精度進行框間制料之活動預測與 處理。 144635.doc -30- 201041404 償部定部76生成表示由活動預測與補 對象區塊之_塊:=?:量資:之精度與鄰接於 π, 龙之移動向Ϊ貧訊之精度是相同還是又 ::度旗標。活動預測與補償部75基於該精 ::!區塊之移動向量資訊,計算出對象區塊之預測移; Ο Ο 彳求出之移動向量資訊與所算出之預測蔣 2向量資訊的差分作為傳送至解碼側之差分移動向量資 I精度旗標及差分移動向量資訊於步驟S22中 ===_,時,與表 66 0 "、一』框貧訊—併被供給至可逆編碼部 、f=21中之預測處理之詳細情況將參照圖9於後文^ 由該處理’分別進行成為候補之所有預測模式下二 =處理,分別計算出成為候補之所有預测模 函數值。繼而’根據所計算出之成本函數值,選擇=本 内預測模式,並將由最佳框内預測模式之框内預測:生2 之預測影像及其成本函數值供給至預測影像選擇部77。成 又’藉由該處理,分料行成為候補之 ^ 式下之預測處理,分別計算出成為候補之所曰預測杈 式下之成本函數值。根據所計算出 王間預測模 預測模式之中決定最佳框間預测模式,並==佳自框間 測模式生成之預測影像及其成本 Μ框間預 擇部77。 值仪給至預測影像選 144635.doc -31- 201041404 ^驟S22中,預測影像選擇部77根據自框内預測部μ以 =動預測與補償部75所輸出之各成本 ::測模式與最佳框間預測模式中之-者決定為最佳= 繼而,預測影像選擇部77選擇所決定之最佳 ==像’並將其供給至運算部Μ。中。該預測影 所述,係用於步驟S13、Sl8之運算。 =將該預測影像之選擇資訊供給至框内預測部㈣ 者活動預測與補償部75中。 預測影像之情# “ 選擇取佳框内預測模式之 式之資二 内預測部74將表示最佳框内預測模
=^_,框内預_式資訊)供給至可逆編碼部I ㈣:佳框間預測模式之預測影像之情形時,活動 Γ償部75將表示最佳框間預測模式之資訊'以及: 而要之對應於最佳框間預 ° 66中。作為對應於最佳框間預輸出至可逆編碼部 移動向量資訊、精⑽:指式之貧訊,可列舉差分 於步㈣3中,:二:照訊框資訊等。 量子化之轉換係數進行編碼如 :碼、算術編碼等可逆〜進㈣ …來自框= 最佳框間預測模式相對應之資預f與補償部75之 標頭資訊中。 、^ 、订編碼,並附加至 於步驟S24中,儲在结你^ 加_。適當存像作為壓縮影像 存緩衝以7中所儲存之壓縮影 144635.doc -32- 201041404 像’並將其經由傳輪線路傳輸至解碼側。 於步驟S25中’碼率控制部78根據儲存緩衝_中所錯 存之墨縮影像,控制量子化部“之量子 防止產生溢出或者下溢。 ,丰以 [預測處理之說明j 理其次,參照圖9之流程圖說明圖8之步撕之預測處 ❹ 要:自Si新排列緩衝器62所供給之處理對象之影像為 要進仃框内處理之區塊之影 。 讀情形時,自訊框記憶體72 =斤“、、之已解碼之影像,並經 内預測部74中。根據該等影像,於步驟⑶中,框内: 部74以成為候補之所有 預'賴式對處理對象之區塊之 象素進订框内制。再者’作為所參照之已解碼之像素, 系使用未藉由解塊遽波器71進行解㈣波之像素。 步驟S3 1中之框内預測處 文 处里之祥細情況將參照圖10於後 ==,藉由該處理,以成為候補之所有框内_ 貝測,並針對成為候補之所有框内預測模式計算出 忙内值。繼而,根據所計算出之成本函數值選擇最佳 Γ預測模式’並將由最佳框内預測模式之框内預=1 2預測影像及其成本函數值供給£預測影像選擇部77 於自晝面重新排列緩衝器62 in 所供給之處理對象之影像為 仃㈣處収影像的情料,自純記憶 參照之影像,並經㈣關73„供給歸動㈣與補= 144635.doc -33- 201041404 75中。根據該等影後, 象於步驟S32中,活動預測與補償部 75進行框間活動預測虛 J尾理。即,活動預測與補償部75參照 自訊框記憶體72所供给之&你 ^ |仏、、°之影像,進行成為候補之所有框間 預測模式之活動預測處理。 再者騎,移動向量精度判定部76生成表示由活動預 測與補償部75所求出之對象區塊之移動向量資訊之精# ^於對象區塊之鄰接區塊之移動向量資訊之精度是相同、 :疋不同的精度旗標。活動預測與補償部75基於該精度旗 〇 才示,使用鄰接區塊之移動闩曰 移動向I魏生成對象區塊之預測移 動向罝貧訊,並將所求出 — 移動向量貝汛與所生成之預測 移動向罝貧訊的差分作A t、、, ^ 為傳运至解碼側之差分移動向量資 訊0 、 3亥精度旗標及差分移動向吾次% & m ge 助门里貝矾於圖8之步驟S22中,已 k擇最佳框間預測模式之 〜W叫衫像之情形時,盥表 框間預測模式之資訊或參昭 碼部66中。 一框…併被供給至可逆編
Q 步驟S32中之框間活動預測處 Mm ^ 之砰細h況將參照圖11 、後文4田述,精由該處理, 六、m 成為候補之所有框間預測模 計算出成本函數值。 Μ補之所有框間預測模式 :步=34中,活動預測與補償部75之模式 ==計算出之針對框間預測模式之成本函數㈣ 佳框間預測模式,並將以最佳框間 ^疋為取 具列杈式生成之預測影 144635.doc -34· 201041404 像及其成本函數值供給至預測影像選擇部77中。 [框内預測處理之說明] 其次,參照圖10之流程圖說明圖9之步驟S3丨中之框内預 測處理。再者,於圖10之例中,以亮度訊號之情形為例進 行說明。 框内預測部74於步驟S41令,對4χ4像素、8χ8像素、以 及16x16像素之各框内預測模式進行框内預測。 Ο ❹ 於売度訊號之框内預測模式中,存在九種4χ4像素以及 Μ像素之區塊單元、以及四_χ16像素之巨集區塊單元 之預㈣式’於色差訊號之框内預測模式中,存在四種 ^像素之區塊單元之預測模式。色差訊號之框内預測模 式可獨立於亮度訊號之框内預測模式而設定。關於亮度訊 號之4M像素以及8x8像素之框内預測模式,對每個叫像 素以及…像素之亮度訊號之區塊定義一種框内預測模 。式。關於亮度訊號之16x16像素之框内預測模式與色差訊 號之框内預測模式,對—個巨集區塊定義—種預測模式。 具體而言’框内預測部74自訊框記憶體72讀出處理對象 之區塊之像素’並參照經由開關73所供給之已解碼之影像 ^丁框内預測。藉由以各框内預測模式進行該框内預測處 各框内預測模式生成預測影像。再者,作為所參 遽波之像=像素,係使用未藉由解塊渡波器71進行解塊 像:=部74於步驟S42中’計算出針對叫像素、㈣ ” Xl6像素之各框内預測模式之成本函數值。 144635.doc -35· 201041404 此處,作為成本函數值,係根據High C〇mpiexity(高複雜 度)模式或者Low Complexity(低複雜度)模式中之任一種方 法而算出。該等模式係*H.264/AVC方式中之參照軟體即 JM(J〇int Model ’聯合模型)而決定。 即,於High Complexity模式中,作為步驟S41之處理, 對成為候補之所有預測模式暫時進行至編碼處理為止。繼 而’針對各預測模式計算出由以下之式(9)所表示之成本函 數值,並選擇提供其最小值之預測模式作為最佳預測模
Cost(Mode)=D+X-R , ."(9) D為原影像與解碼影像之差分(變形量),r為包含至正六 轉換係數為止之發生編碼量,λ為作為量子化參數砂之= 數而提供之拉格朗日乘數。 另-方面,於L0W Complexity模式中,作為步驟州之 針對成為候補之所有㈣模式,生成預測影像,並 异:移動向量資訊或預測模式資訊、旗標資訊等之標 ⑽所表示之^ 測模式計算出由以下之式 作為最佳箱I叾數值’亚選擇提供最^值之預測模式 作為取佳預測模式。
Cost(M^ode)=D+QPtoQuant(Qp)eHeader …、衫像與解瑪影像之差分(變 對預測模式之椤藤n 。 里)Header—Bn為針
之函數㈣供二| 一為作為量子化參數QP mplexuy杈式中,對於所有預測模式僅生成預 144635.doc -36 - 201041404 測影像 可較少 而無為進行編碼處理以 及解碼處理,因此運算量 框内預測部7 4於步驟s 4 3 Φ,al n 以们α “ 乂心43中’針對4x4像素、8χ8像素、 及6 X 16像素之各框内預彳 ρ , 頂利杈式,分別決定最佳模式。 Ρ ·如上所述,於框内4 X 4預、>丨播 預,則槟式以及框内8x8預測模式 之h开)時’預測模式之種類在 員存在九種,於框内16x16預滑 模式之情形時,預測模式之 Ο 裡犬貝存在四種。因此,框内預 測部74根據步驟S42中所計 ' T异出之成本函數值,自該等之 中決定最佳框内4χ4預測掇沬、县&上 J衩式最佳框内8x8預測模式、最 佳框内16x16預測模式。 框内預測部74於步驟844Φ,#祕-、 乂 宁,根據步驟S42中所計算出之 成本函數值,自針對4><4像紊、s 1豕I 8 x 8像素、以及16 X 16像素 之各框内預測模式所決定之久畏 疋<谷敢佳模式之中選擇最佳框内 預測模式。即,自針對4x4像素、㈣像素、以及ΐ6χ_ 素所決定之各最佳模式之中,選擇成本函數值為最小值之 Ο模式作為最佳框内預測模式。繼而,框内預測部74將以最 佳框内預測模式所生成之預測影像及其成本函數值供給至 預測影像選擇部77中。 [框間活動預測處理之說明] 其次,參照圖π之流程圖對圖9之步驟S32之框間活動預 測處理進行說明。 活動預測與補償部75於步驟S51中,針對以上參照圖2所 述之包含16x16像素至4x4像素之八種之各框間預測模式分 別决定移動向量與參照影像。即,針對各框間預測模式之 144635.doc •37- 201041404 處理對象之區塊分別決定移動向量與參照影像。 活動預測與補償部75於步驟S52中’針對包含ΐ6χΐ6像素 至4x4像素之八種之各框間預測模式,根據步驟⑸中所決 定之移動向量對參照影像進行活動關與補償處理。藉由' 該活動預測與補償處理,生成各框間預_式下之預心 具體而言’上述步驟S51以及S52之處理係藉由整數像素 Z度活動制與補償和1整數像素精度對各框間預測 f :^對象區塊來進行,並藉由小數像讀度活動預測與 汗員部82以1/8像素精度來進行。 百先’整數像素精度㈣_與補償部81對成為候補之 2框間預難式進行對象區塊之整數像素精度之活動預 ,'匕、補償f理。此時,所求出之對㈣塊之整數像素精度 =動向^訊與要進行㈣處理之影像以及參照影像一 开^供、,’α至小數像素精度活動預測與補償部82中。對應於 =’小數像素精度活動制與補償和使用要進行框間處 訊之影像以及參照影像,基於整數像素精度之移動向量資 進行對象區塊之小數像素精度之活動預測與補償處 埋。 器83中二扣動向里貝訊被儲存於移動向量資訊儲存緩衝 ^ , Θ兀且被供給至移動向量資訊編碼部85以及對象移 動向量精度判別部91中。?—丄 理, 中又’猎由小數像素精度之補償處 供 出之預測影像與原影像以及參照訊框資訊-併被 供給至模式判定部86中。 144635.doc -38· 201041404 ^數像素精度活動預測與補償部82供給對象 :動^貧訊,則於步㈣3中,移動向量精度判定部% 仃㈣向量精度判定處理。關於該移動向量精度判定声 理,將參照圖12於後文描述。 人 处 藉由步驟S53之移動向量精度判定處
Vs ^ 王风衣不對象 移動向量資訊之精度與鄰接區塊之移動向量資訊之 精度是相同還是不同的精度旗標。 Ο ^ 5 王攻之精度旗標被供 :。預測移動向量計算部84以及移動向量資訊編碼部Μ 預測移動向量計算部84與移㈣量資訊編碼部Μ於步驟 W中’就針對包含16><16像素至4χ4像素之八種之各框間 預測模式所決定之移動向量,生成差分移動向量資訊 mvdE。此時,係使用以上參照圖5所述之移動向量之生成 方法。 ^即二預測移動向量計算部84使用鄰接區塊移動向量資 〇訊’藉由上述式⑺之中值預測計算出針對對象區邮之預 測移動向量資訊pmvE。繼而,移動向量資訊編碼部85如上 述式⑹所示般,根據來自小數像素精度活動預測與補償部 82之移動向量資訊⑽以及所計算出之預測移動向量資訊 pmvE之差分’求出差分移動向量資訊。 再者,於進行預測移動肖f資訊之計#時,例如,圖5 所示之鄰接區塊A、B、C、D中之移動向量資訊之精度有 時混合存在1/4像素精度與1/8像素精度。例如,對於水 平、垂直成分之各個’於對象區塊£之移動向量資訊mvE為 144635.doc •39· 201041404 0之移動向量資訊 式(11)般進行中值 1/8像素精度’而鄰接區塊χ=Α、b、c、 mvx為1/4像素精度之情形時,如以下之 預測。 mvx=mvx*2 •••(11) 即,於此情形時,將鄰接區塊 灣素精度,進行中值制。㈣向^換算成 反之,對於水平、垂直成分之各個,於對 動向量資訊mVE為1/4像素精度,而鄰接區塊X=A、B c
C =之移動向量資訊mvx為1/8像素精度之情形時,、之 式(12)般進行中值預測。 .下之 mvx=mvx/2 即,於此情形時,將鄰接區 …(12) _素精度,進行中值_。 &動向量資訊換算成 所求出之差分移動向量資訊與精… 式判定部86中。該差分移動次=、不併破供給至模 中之成本函數值進行計算時。^且貝㈣^於/ —步驟S54 選擇部77而選擇相對應之_影像之精:預測影像 量育訊與精度旗標、預測模、:ϋ移動向 被輸出至可逆編碼部66。貝5以及參照訊框資訊一併 模式判定部86於步驟S54中, 像素之八種之各框間預測,2匕3 16x16像素至4x4 (1〇)所示之成本函數值。、,5异出以上述式(9)或者式 即,向模式判定部86中,供 測與補償部82之預測影像、 '、數像素精度活動預 〜、原影像及參照訊框資訊,以及 144635.doc -40. 201041404 來自移動向量資訊編碼部85之差分移動向量資訊mvdE及精 度旗標等。模式判定部86適當地使用所供給之資訊,計算 出針對成為候補之所有框間預測模式之成本函數值。此處 所計算出之成本函數值係用於上述圖8之步驟S34中決定最 佳框間預測模式時。 [移動向量精度判定處理之說明] 其次,參照圖12之流程圖對圖11之步驟S53之移動向量 精度判定處理進行說明。 對象移動向量精度判別部91於步驟S71中決定 curr_horizontal_mv_precision_param 以及 curr_vertical_mvjpredsion_param。 即,向對象移動向量精度判別部9 1中,自小數像素精度活 動預測與補償部82供給對象區塊之移動向量資訊。對象移 動向量精度判別部91判別對象區塊之移動向量資訊之精 度,並於步驟S71中決定針對對象區塊之移動向量資訊之 水平成分之精度參數以及垂直成分之精度參數。所決定之 curr_horizontal—mv_precision__param 以及 curr_vertical_mv_precision_param 被供給至精度旗標生成部93中。 鄰接移動向量精度判別部92於步驟S72中決定 pred_horizontal_mv_precision_param 以及 pred_vertical_mv_precision_parani 〇 即,鄰接移動向量精度判別部92讀出來自移動向量資訊儲 存缓衝器83之鄰接區塊之移動向量資訊。鄰接移動向量精 度判別部9 2判別鄰接區塊之移動向量資訊之精度,並於步 驟S72中決定針對鄰接區塊之移動向量資訊之水平成分之 精度參數以及垂直成分之精度參數。所決定之 144635.doc -41 · 201041404 pred__horizontal_mv_precision_param 以及 pred—vertical_mv_precision_param 被供給至精度旗標生成部93中。 精度旗標生成部93於步驟S73中,判定 curr—horizontal—mv_precision_param 與 pred_horizontal_ mv_precision_param 是否一致。 於步驟S73中’判定為curr-horizontal_mv—precision—param 與 pred—horizontal_mv_precision—param 為一致之情形時, 處理進入至步驟S74。於步驟S74中,精度旗標生成部93將 對象區塊之水平成分之精度旗標jjag) 之值設為〇。即,生成值為〇之對象區塊之水平成分之精度 旗標。 ;v 驟 S73 中’判定為 Curr_horizontal_mv_precision_param ^ d~horizontal_mv__precision_param 為不同之情形時, 處理進入至步驟875。於步驟S75中,精度旗標生成部93將 品免之水平成分之精度旗標(horizontal_mv_precision_change_flag: 之值%為1 °即’生成值為1之對象區塊之水平成分之精度 旗標。 ” &生成σ{5 93於步驟§ %中判定curr_vertical_ m v_preci si on_pararr 與 Pred Vert^Ql — ~~ -mv—Precision_param是否一致。 於步驟S76中,參丨金也 , .. 1 于·1 疋马 curr_vertical_mv—precision—param pred * 〜ertical一mv—precision—param 為一致之情形時,處 王里 至步驟S77。於步驟S77中,精度旗標生成部93將對 -0* 古 JL·· 置成分之精度旗標(vertical_mv_precision_change_flag 值'^為0 °即’生成值為〇之對象區塊之垂直成分之精度 144635.doc -42- 201041404 旗標。 於步驟 S76 中,判定為 curr—verticai—mv—precisi〇n—param 與 pred_vertical_mv_precision_param 為不同之情形時,處 理進入至步驟S78。於步驟S78中,精度旗標生成部93將對 象區塊之垂直成分之精度旗標公啤) 之值設為1。即,生成值為丨之對象區塊之垂直成分之精度 旗標。 〇
所生成之對象區塊之水平成分以及垂直成分之精度旗標 被供給至制㈣向量計算料職㈣向量資訊編碼部 85中。繼而’當於圖8之步驟似中已選擇最佳框間預測模 式之預測影像時,精度旗標與差分移動向量資訊、表示最 佳框間預測模式之資訊或參照訊框資訊—併被供給至可逆 編碼部66,經編碼而傳送至解碼側。 如上所述,於每個對象區塊中,將表示對象區塊之移動 向量資訊之精度與其鄰接區塊之移動向量資訊之精度是相 同還是不同的精度旗標附加於麼縮影像之標頭,傳送至解 即,於本發明中,對壓縮影金次 塊定義精度旗標。縮〜像貝訊中之各個活動預測區 藉此,可僅於需要時以1/8像素精度傳送移動向 訊,而非總是以1/8像素精度傳送移動向量資訊。即,於 =要:,能夠以1/4像素精度傳送移動向量資訊… 果為,由於無需對所有移動向量資訊分配更多 … 因此可提昇活動預測效率,而不使移動向量資訊增大 144635、doc •43- 201041404 再者,於對象區塊為B區塊之情形時,對ListO以及Listl 之各個進行一系列之處理。 又’如以上參照圖5或者圖6所述,於對象區塊為直接模式或 者跳越模式之情形時’精度旗標(horizontal_mv_precision_change flag 、vertical_mv_precision_change—flag)之值設為〇,而不傳 輸至解碼側。 經編碼之壓縮影像係經由特定之傳輸線路而傳輸,並藉 由影像解碼裝置解碼。 [影像解碼裝置之構成例] 〇 圖13表示作為應用有本發明之影像處理裝置之影像解碼 裝置之一實施形態的構成。 影像解碼裝置1 〇 1包含儲存緩衝器丨u、可逆解碼部 112、逆量子化部113 '逆正交轉換部114、運算部ιΐ5、解 塊渡波器11 6、晝面重新排列緩衝器i i 7、d/Α轉換部11 8、 。凡忙D己隐體119、開關12 0、框内預測部121、活動預測與 補償部122、移動向量精度判定部i23以及開關124。 儲存緩衝器111儲存傳輸而來之壓縮影像。可逆解碼部〇 112以與可逆編碼部之編碼方式相對應之方式對自儲 存緩衝器111所供給之藉由圖i之可逆編碼部66而編碼之資 訊進行解碼。逆量子化部113以與圖1之量子化部65之量子 化方式相對應之方式,將藉由可逆解碼部丨丨2而解碼之影 像逆量子化。逆正交轉換部114以與圖丨之正交轉換部64之 正交轉換方式相對應之方式,對逆量子化部113之輸出進 行逆正交轉換。 144635.doc •44- 201041404 經逆正交轉換之輸出藉由運算部115而與自開關124所供 給之預測影像相加而得到解碼。解塊遽波器ιΐ6在去除經 解碼之影像之區塊雜訊後,將其供給至訊框記憶體⑽加 以儲存,並且輪出至晝面重新排列緩衝器ιΐ7中。 ❹ 畫面重新排列緩衝器117進行影像之重新排列。即,將 為了編碼之次序而藉由圖】之晝面重新排列緩衝器a重新 排列之訊框之次序重新排列成原來之顯示之次序。D/A轉 換部η晴自畫面重新排列緩衝器117所供給之影像進行 D/A轉換’亚輸出至未圖示之顯示器加以顯示。 開關120自訊框記憶體119讀出要進行框間處理之 所參照之影像輸出至活動預測與補償部122,並且^ =體m讀“於框㈣測之影像供給至框内預测: 向框内預测部121中,自可逆解碼部112供給對標頭 Ο Γ2 而獲得之表示框内預測模式之資訊。框内預測部 根據该貧訊生成預測影像’並將所生 出至開關124中。 冢輸 向活動預測與補償部122中,自可逆解碼部ιΐ2供 進行解碼而獲得之資訊中之預測模式資訊、、= 式之=訊、參照訊框資訊等。於供給有表示框間預挪槿 =曰^之情形時,活動預測與補償部122參照來自移動 數里:度判定部123之對象區塊之移動向量資 ^使用經解碼之差分移動向量資訊,再構成移動向^ I44635.doc -45- 201041404 具體而言,活動預測與補償部122參照來自敕紅丄 ㈡砂動向量精 度判定部123之對象區塊之移動向量資訊之精度參數自 鄰接區塊之移動向量資訊生成對象區塊之預測移動向旦= 訊。活動預測與補償部122根據來自可逆解碼部丨12 八 之差分 移動向量資訊、對象區塊之移動向量資訊之精度表數、以 及對象區塊之預測移動向量資訊,再構成對象區塊之移動 向量資訊。 繼而’活動預測與補償部122根據參照訊框資訊所示之 訊框記憶體11 9之參照影像與經再構成之移動向量資吨, 對影像實施補償處理,生成預測影像。所生成之預測影像 被輸出至開關124。 向移動向量精度判定部123中,自可逆解碼部ii2供給對 標頭資訊進行解碼而獲得之資訊中之精度旗標。移動向量 精度判定部123根據來自可逆解碼部112之精度旗標與來自 活動預測與補償部122之鄰接區塊之移動向量資訊之精 度,决疋對象區塊之移動向量資訊之精度參數。所決定之 對象區塊之移動向量資訊之精度參數被供給至活動預 補償部122中。 〃 開關124選擇由活動預測與補償部122或者框内預測部 121所生成之預測影像,供給至運算部115中。 [舌動預測與補償部以及移動向量精度判定部之構成例] 圖,14係表不活動預測與補償部以及移動向量精度判定部 羊、構成例的方塊圖。再者,關於各部之詳細情況 當地使用卜、+ 、 述圖5之對象區塊E以及鄰接區塊八至D進行說 144635.doc -46- 201041404 明。 4之例中,活動預測與補償部122包含移動向晉一 訊接收部15 1、預測妒毹a β 土 向量貧 W53 η/ 成部152、移動向量再構成 :55。、移動向量資訊儲存緩衝器154、以及影像預測部 Ο =向量精度判定部123包含精度旗標接收部 :動向量精度判別物、以及對象移動向量精度判別; 移動向量資訊接收部151接收來自可逆解喝部叫即, 影像編碼裝置51)之對象區塊Ε之差分移動向量資訊mvdE, 並將所接收之差分移動向量資mmvdE供給至移動向 成部153中。 # 精
向預測移動向量生成部152中,供給來自對象移動向量 度判別部163之針對對象區塊E之移動向量之水平成分與 直成刀的相關精度參數、 eurrjerueaimvj^i&njaram)。預測移動向量生成部1 μ自移 動向$ -貧訊儲存緩衝器154讀出鄰接區塊之移動向量資訊 mvA ' mvB > mvc ° 預測移動向量生成部152參照對象區塊£之移動向量之精 度參數’使用鄰接區塊之移動向量資訊mVA、叫、請。, 並藉由上述式(5)之中值預測,生成對象區塊E之預測移動 向量資訊pmvE。所生成之預測移動向量資訊pmvE被供給 至移動向量再構成部153中。 向移動向量再構成部153中,供給來自移動向量資訊接 144635.doc -47- 201041404 收⑽之差分移動向量資訊_ 成部152之預測移動 預幻移動向量生 構成部1如,供給來自對㈣㈣量=動向置再 象區塊Ε之移動向量之精度參數。 心⑹之對 :動向量再構成部153參照對象區塊以 參數,將差分移動向量資訊mvdE自處 度 訊--來自預=Γ3使經換算之差分移動向量資 、:自預測移動向量生成部152之預測 舌fl pmvE相加,藉M i 里貝 啊。將經再象區塊^移動向量資訊
十象區塊E之移動向量資訊mvE :多::。量資訊儲存緩衝器154中,並且輸出至影像預測部 移動向量資訊儲存緩衝器154儲存藉由移動向量 部⑽再構成之移動向量資訊—HU D成 E) ° 影像預測部155經由開關12〇,自訊框記憶體i 19讀出來 自可逆解碼部112之參照訊框資訊所示之參照影像。影像◎ 預測部155根據藉由移動向量再構成部153再構成之對象區 塊E之移動向量資訊mVE對參照影像實施補償處理,而生成 對象區塊E之預測影像。所生成之預測影像被輸出至開關 124 中。 精度旗標接收部161接收來自可逆解碼部U2之針對對象 區塊E之移動向量資訊之水平以及垂直成分的精度旗標 (horizontal_mv_precision_change_flag > vertical_mvjprecision_change flag) 〇 144635.doc -48- 201041404 所接收之針對對象區《之移動向量資訊之水平以及垂直 成分的精度旗標被供給至對象移動向量精度判別部163 中。 。鄰接移動向量精度判別部162自移動向量資訊儲存缓衝 =54讀出鄰接移動向量資訊’並判別鄰接區塊之移動向 置資訊之精度。繼而’鄰接移動向量精度判別部162決定 針對鄰接區塊之移動向量資訊之水平成分與垂直成分的相 Ο 關 d精度參數(Pred-horizontal-mV__precisi〇n_param、
Pred—vertlcal〜mv—precisi〇n—㈣叫。所決定之鄰接區塊之 移動向量資訊之精度參數被供給至對象移動向量精度判別 部163中。 窃再者,此處,鄰接區塊係有可能對對象區塊Ei移動向 I貢訊mvE提供預測值(預測移動向量資訊)pmvE之區塊, 且利用以上參照圖7所述之第1至第3方法加以定義。 向對象移動向量精度判別部163中,供給來自亮度旗標 0接收部161之針對對象區塊E之移動向量資訊之水平以及垂 直成分的精度旗標、以及來自鄰接移動向量精度判別部 162之鄰接區塊之移動向量資訊的精度參數。 對象移動向量精度判別部163自針對對象區塊£之移動向 ϊ貧訊之水平以及垂直成分的精度旗標與鄰接區塊之移動 向量賁訊之精度參數,判別對象區塊E之移動向量資訊之精 度。繼而,對象移動向量精度判別部163決定針對鄰接區塊 E之移動向量資訊之水平成分與垂直成分的相關精度參數 (curr_horizontal_mv_precision_param > curr_vertical_mv_precision_param)= 144635.doc •49- 201041404 所决疋之鄰接區塊£之移動向量資訊之精度參數被供給至 預 '則移動向量生成部丨52以及移動向量再構成部1 μ中。 [衫像解碼裝置之解碼處理之說明】 f次,參照圖15之流程圖’對影像解碼裝置1〇1所執行 之解瑪處理進行說明。 於步驟仙中,儲存緩衝器⑴館存傳輸而來之影像。 :步驟S1 32中’可逆解碼部〗〗2對自儲存緩衝器⑴所供认 ^壓縮影像進行解碼。即,對藉由圖i之可逆編碼部: 、.碼之1圖畫、P圖畫、以及B圖晝進行解碼。 :時’亦對差分移動向量資訊、參照訊框資訊、預測模 =W表示框内預測模式或者框間預測模式之資訊)、旗 心資sfl進行解碼。 測:式^預測模式資訊為框内預測模式資訊之情形時,預 為框間預測模式資訊之产於預測模式資訊 差八η 之清开场’與預測模式資訊相對應之 差刀移動向量資訊以及參昭欠 補償部m中。又,於此二”讯被供給至活動預測與f 6曰拉ώ 於此情形時’將旗標資訊供給至移動《 向I精度判定部123中。 於步驟S133中,读晉$儿Λ[Τ1 特性相對應之特性,將_ 與圖1之量子化部65之 係數逆量子化。於步驟s:二=咖而解碼_ 之中延正父轉換部U4以與圖i 之正又轉換部64之特性相對 二 113而逆量子仆夕絲抵〆 對猎由圯里子化部 之正m 進行逆正交轉換。藉此,與圖1 又轉換部64之輸人(運算州之輪出)相制之差分資 144635.doc •50- 201041404 訊得到解瑪。 於步驟S13S中,運算部115使於後述之步驟““之處理 中所選擇的經由開關124而輪入之預測影像與差分資訊相 加藉此,原來之影像得到解碼。於步驟s 13 6中,解塊濾 波器m對自運算部115所輸出之影像進行濾波。藉此,區 塊雜訊被去除。於步驟⑴?中,訊框記憶體ιΐ9儲存經濾 波之影像。 〇 ◎ 於步驟S138中,框内預測部121以及活動預測與補償部 123對應於自可逆解碼部112所供給之制模式資訊,分別 進行影像之預測處理。 即,於自可逆解碼部112供給有框内預測模式資訊之情 形時,㈣預測部121進行框内預測模式之框内預測處 理。於自可逆解碼部112供給有框間預測模式資訊之情形 時、,活動預測與補償部i 2 2進行框間預測模式之活動預測 與,償處理。此時,活動預測與補償部122參照來自移動 向量精度判定部123之對象區塊之移動向量資訊的精度參 數,使用來自可逆解碼部112之差分移動向量資訊,再構 成對象區塊之移動向量資訊。 、、步驟S138中之預測處理之詳細情況將參照圖邮後文描 逑,藉由該處理,由框内預測部121所生成之預測影像、 =由活動預測與補償部122所生成之預测影像被供給至 開關12 4中。 於步驟S139中,開關124選擇 .^ 1叫办诼。即,供給由框 内預測部1 2 1所生成之子|消丨旦彡後 42.,( 吓玍成之預測衫像、或者由活動預測與補償 144635.doc 51 · 201041404 β 122所生成之預測影像。因此,選擇所供給之預測影像 供給至運算部115中,並如上所述,於步驟SU4中使其與 逆正交轉換部1Η之輸出相加。 ;步驟S 140中,冑自重新排列緩衝器^7進行重新排 列°/P ’將為了編碼而藉由影像編碼裳置51之晝面重新排 列緩衝器62重新排列之訊框之順序重新排列成原來之顯示 之順序。 。。;步驟8141中’〇/八轉換部118對來自畫面重新排列緩衝 斋117之影像進行D/A轉換。將該影像輪出至未圖示之顯示 器而顯示影像。 [影像解碼裝置之預測處理之說明] 其次,參照圖16之流程圖說明圖15之步驟8138之預測處 理。 框内預測部121於步驟8171中,判定對象區塊是否得到 框内編碼。若自可逆解碼部112將框内預測模式資訊供給 至框内預測部121中,則框内預測部121於步驟171中,判 定對象區塊得到框内編碼,處理進入至步驟si72。 广内預測部121於步驟S172中,獲得框内預測模式資 6扎’並於步驟s 1 7 3中進行框内預測。 即’於處理對象之影像係要進行㈣處理之影像的情形 時,自訊框記憶體m讀出所需之影像,並經由開關職 給至框内預測部121中。於步驟⑽中,框内預測部⑵根 據步驟S1 72中所獲得之框内制模式資訊進行框内預測, 而生成預测影像。所生成之預測影像被輸出至開關Μ# I44635.doc -52- 201041404 中。 方面,於步驟sm中,判定為未得到框内編瑪之情 形時’處理進入至步驟s〗74。 於步驟sm中,活動預測與補償部122獲得來自 碼部112之予想模式資訊等。 Ο Ο 於處理對象之料係要進行_處理之f彡像的情形時, 自:逆解碼部U 2將框間預測模式資訊、參照訊框資訊、 差刀移動向置貧訊供給至活動預測與補償部中。於此 情形時,、於步驟仙中,活動預測與補償部122獲得框間 預測模式資訊、參照訊框f訊、差分移動向量資訊。 再者,此時,精度旗標接收部161接收而獲得精度旗 標。所接收之針對對象區塊之移動向量資訊之水平以及垂 直成分的精度旗標被供給至對象移動向量精度判別部163 中。又,鄰接移動向量精度判別部162基於來自移動向量 資訊儲存緩衝器154之鄰接移動向量資訊,決定鄰接區塊 之移動向篁貝訊之精度參數,並將其供給至對象移動向量 精度判別部16 3中。 對象移動向里精度判別部163於步驟si75中,根據針對 對象區塊之移動向量資訊之水平以及垂直成分的精度旗標 與鄰接區塊之移動向量資訊之精度參數,決定對象區塊之 移動向ϊ資訊之精度。所決定之對象區塊之移動向量資訊 之精度參數破供給至預測移動向量生成部152以及移動向 Ϊ再構成部153中。 方七、、”σ來自對象移動向量精度判別部i 63之對象區塊之 144635.doc •53· 201041404 移動向量資訊的精度參數,則預測移動向量生成部152於 步驟S17 6中,進行以上參照圖$所述之中值預測。 具體而言,預測移動向量生成部152自移動向量資訊儲 存綾衝器154讀出鄰接區塊之移動向量資訊、爪”、 mvc ’並藉由上述式(5)之中值預測,生成對象區塊之預測 移動向量資訊PmvE。此時,參照對象區塊之移動向量之精 度:數。即,於精度參數所示之對象區塊之移動向量資訊 ,精度與用於預測移動向量資訊生成t鄰接區塊之移動向 I貧訊的精度為不同時,將鄰接區塊之移動向量資訊之精 度換算成對象區塊之移動向量資訊之精度。 12測移動向量生成部152所生成之對象區塊之預測移 動向ΐ育訊PmvE被供給至移動向量再構成部153中。 旦:動向量再構成部153於步驟sm中,使用來自移動向 量資訊接收部151之差分移動向量資訊mvdE,再構建對象 區塊之移動向量資訊。@,向移動向量再構成部153中, 供給來自移動向量資訊接收部151之差分移動向量資訊 mVdE、來自預測移動向量生成部152之預測移動向量資訊 吨%。進而,向移動向量再構成部153中,供給來自對象 移動向量精度判別部163之對象區塊之移動向量的精度參 數0 〆 彖移動向量再構成部153參照對象區塊之移動向量之精度 ^數’將差分移動向量資訊nwdE之值自處理±之值換算成 實:,值。移動向量再構成部153使已換算值之差分移動 向量資訊—£與來自預測移動向量生成部152之預測移動 144635.doc • 54- 201041404 向量資訊pmvE相加。藉此,再構成對象區塊之移動向量資 訊m e 、、呈再構成之移動向量資訊mVE被儲存於移動向量 資訊儲存緩衝器154中’並且被輸出至影像預測部155中。 影像預測部155於步驟㈣中,生成對象區塊之預測影 像P〜像預/則部155經由開關120,自訊框記憶體丨! 9 4出來自可逆解碼部U2之參照訊框資訊所示之參照影 象^像預測1 55根據藉由移動向量再構成部153再構成 ❹之移動向置貝訊mvE對參照影像實施補償處理,而生成對 象區塊之預測影像。所生成之預測影像被輸出至開關124 中〇
=所述,於每個對象區塊中,將表示對象區塊之移動 向量f訊之精度與其鄰接區塊之移動向量資訊之精度是相 同還是:同的精度旗標附加於壓縮影像之標頭,傳送至解 馬側藉此’可僅於需要時以1/8像素精度傳送移動向量 資訊,而非總是以1/8像素精度傳送移動向量資訊。其結 果為,可提昇活動預測效率,而不使移動向量資訊增大。 …即·:可進行1/8像素精度之活動預測與補償,而不導致 壓縮資訊之增大,因此可提昇預測精度。 再者,於上述說明中,係以 1/8像素精度為止為例進行說明 至丨/4像素精度為止或者至 ’但並不限於該例。 P,發明可應用於進行如整數像素精度與^像素精 又、1/2像素精度與1/4像素精度等般,小數像素精度之活 =測與補償之所有情形。又,本發明亦可應用於如整數 像素精度、1/2像素精度、以及ι/4像讀度等般旧個階段 144635.doc -55· 201041404 以上之設定進行處理之情形時。 又’於上述說明中’係對巨集區塊之大小為16xl6像素 之情形時進行說明,但本發明亦可應用於r Video Coding
Using ExtendedBl〇ckSizes」,VCEG-AD09,ITU-
Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123,Jan 2009中所記載之經擴展 之巨集區塊尺寸。 圖17係表示經擴展之巨集區塊尺寸之例的圖。於上述提 案中’將巨集區塊尺寸擴展成32x32像素。 於圖17之上段,自左側起依次表示有分割成32x32像 素、32x16像素、16x32像素、以及16x16像素之區塊(分 區)之包含32x32像素的巨集區塊。於圖17之中段,自左側 起依次表示有分割成16χ16像素、16><8像素、8x16像素、 以及8x8像素之區塊之由16x16像素所構成的區塊。又,於 圖17之下段,自左側起依次表示有分割成8χ8像素、8><4像 素、4x8像素、以及4x4像素之區塊之8x8像素之區塊。 即,32x32像素之巨集區塊能夠以圖17之上段所示之 32x32像素、32x16像素、16x32像素、以及16x16像素之區 塊進行處理。 又’上段之右側所示之16x16像素之區塊可與 H.264/AVC方式同樣地’以中段所示之16x16像素、16x8 像素、8x16像素、以及8x8像素之區塊進行處理。 此外,中段之右側所示之8x8像素之區塊可與 H.264/AVC方式同樣地,以下段所示之8x8像素、8x4像 144635.doc -56- 201041404 素、4><8像素、以及4x4像素之區塊進行處理。 藉由採用此種階層構造,於經擴展之巨集區塊尺寸中, 一方面關於16x16像素之區塊以下,與H 264/AVC方式保持 互換性,一方面定義更大之區塊作為其超集。 對於如上述所提出之經擴展之巨集區塊尺寸,亦可應用 本發明。 ~ Μ丄1示便用 〇 ❹ 其他編碼方式/解碼方式 再者,本發明例如可應用於經由衛星廣播、有線電視、 網際網路、或者行動電話等網路媒體接收藉由如MPEG、 H.26x等離散餘弦轉換等之正交轉換與活動補償而壓縮之 影像資訊(位元流)時所使用之影像編碼裝置以及影像解碼 裝置。又,本發明可應用於在如磁光碟、以及快閃記憶體 般之儲存媒體上進行處理時所使用之影像編碼裳置以及马 像解碼裝置。此外,本發明亦可應用於該等影像編碼農= 以及影像解碼裝置等中所包含之活動_補償裝置。 广:系列之處理可藉由硬體執行,亦可藉由軟體執 二错由軟體執行-系列之處理之情形時,將構成該軟
體之私式安裝於雷/^ + .I 電細中。此處,電腦包括組裝入專用硬俨 ’之4、或者藉由安裝各種程式而可執行各種 用之個人電腦等。 通 二8係表不利用程式執行上述一系列處理之電腦之硬體 之構成例的方塊圖。 於電腦中,CPU(CentralProcessingUnit,令央處理單 144635.doc -57- 201041404 兀)301、R〇M(Read Only Memory ’ 唯讀記憶體)3〇2、 RAM(Random Access Memory,隨機存取記憶體)3〇3係藉 由匯流排3 0 4而相互連接。 匯流排304上進而連接有輸入輸出介面3〇5。輸入輸出介 面305上連接有輸入部3〇6、輸出部3〇7、儲存部利8、通訊 部309、以及驅動器31〇。 °
I 輸入部3〇6包含鍵盤、滑鼠、麥克風等。輸出部307包含 顯示器、揚聲器等。儲存部3〇8包含硬碟或非揮發性記憶 體等。通訊部309包含網路介面等。驅動器動磁/ 光碟、磁光碟、或者半導體記憶體等可移動媒體311。 於以上述方式構成之電腦中,咖如例如㈣存部_ 中所儲存之程式經由輸人輸出介面奶以及匯流㈣ 至RAM303中加以執行,藉此進行上述—系列之處理。 電腦⑽侧)所執行之程相如可記騎 :體等之可移動媒體311中加以提供。又,程式可經3 V麟,凋際網路、數位廣播之類的
tJ 媒體加以提供。 之傳輪 於電腦中,裎式可藉由將可移動 310 ’而經由輸入輸出入 女羞於驅動器 %入輸“㈣5安裝於儲存部3〇8中。又 程式可經由有線或者無線之傳輪, 收’而安裝於儲存部则中。除 Hp 309接 於ROM3G2或儲存部3{)8中。” ,&式可預先安農 再者’電腦所執行^切為按本 序以時間序列進行處理者 -中“明之頻 J為並列地、或者於已進行 144635.doc -58- 201041404 呼叫時等之必要時序進行處理者。 本發明之貫施形態並不限定於上述實施形態,可於不脫 離本發明之主旨之範圍内進行各種變更。 例如,上述影像編碼裝置5丨或影像解碼裝置1〇1可應用 於任意之電子機器中。以下對其例進行說明。 圖D係表示使用應用有本發明之影像解碼裝置之電視接 收機之主要構成例的方塊圖。 〇 圖19所示之電視接收機1300包含地面波調諧器13 13、視 頻解碼器1315、圖像訊號處理電路1318、圖形生成電路 13!9、面板驅動電路132〇、以及顯示面板”以。 地面波凋諧器1313經由天線接收地面類比廣播之廣播波 訊號,並加以解調而獲得圖像訊號,繼而將該圖像訊號供 給至視頻解碼器1315中。視頻解碼器1315對自地面波調諧 态1313所供給之圖像訊號實施解碼處理,並將所獲得之數 位之成分訊號供給至圖像訊號處理電路1318中。 〇 圖像汛號處理電路1318對自視頻解碼器1315所供給之圖 像資料實施去除雜訊等之特定處理,並將所獲得之圖像資 料供給至圖形生成電路13 19。 圖形生成電路1319生成顯示於顯示面板1321中之節目之 圖像資料、或者藉由基於經由網路而供給之應用程式的處 理而獲仔之影像資料等,並將所生成之圖像資料或影像資 料供给至面板驅動電路132Gt。又’圖形生成電路mg亦 進行如下之處理.生成用以顯示用戶用於項目之選擇 等之晝面的圖像資料(圖形),並將藉由使其與節目之圖像 144635.doc -59- 201041404 資料重疊而獲得之圖像資料供給至面板驅動電路1320。 面板驅動電路1320根據自圖形生成電路丨319所供給之資 料驅動顯示面板13 21,使節目之圖像或上述各種畫面顯示 於顯示面板1321中。 顯示面板 1321 包含LCD(Liquid Crystal Display,液晶顯 示器)等,其根據面板驅動電路1320之控制顯示節目之圖 像等。 又’電視接收機1300亦包含音訊A/D(Analog/Digital, 類比/數位)轉換電路1314、音訊訊號處理電路1322、回音 消除/音訊合成電路1323、音訊放大電路1324、以及揚聲 器 1325 。 地面波調諧器13 13藉由對所接收之廣播波訊號進行解 調’不僅獲得圖像訊號,亦獲得音訊訊號。地面波調諧器 1313將所獲得之音訊訊號供給至音訊a/d轉換電路丨3丨4。 音訊A/D轉換電路13 14對自地面波調諧器丨3丨3所供給之 音訊訊號實施A/D轉換處理,並將所獲得之數位之音訊訊 號供給至音訊訊號處理電路丨3 22。 音訊訊號處理電路1322對自音訊A/D轉換電路1314供給 之音§fl資料實施去除雜訊等特定之處理,並將所獲得之音 说資料供給至回音消除/音訊合成電路〗323。 回音消除/音訊合成電路1323將自音訊訊號處理電路 1 3 22供給之音訊資料供給至音訊放大電路丨3 24中。 音訊放大電路1324對自回音消除/音訊合成電路1323供 給之音訊資料實施D/A轉換處理、放大處理,調整至特定 144635.doc -60- 201041404 之a里後’使音訊自揚聲器輸出。 此外電視接收機13 00亦包含數位調諧器丨3〗6以及 MPEG解碼器1317。 數位調諧器1316經由天線接收數位廣播(地面數位廣播、 BS(Br〇adCasting Satellite,廣播衛星)/cs(c〇m—
Satenite’通信衛星)數位廣播)之廣播波訊號並加以解調, ^€#MPEG-TS(Moving Picture Experts Group-Transport 〇 Stream ’動畫專家組織-傳輸流),,繼而將其供給至⑽即解 碼器13 17。 ^^0解碼器1317解除對自數位調错||1316供給之 MPEG-TS所實施之拌碼(scramble),並抽出包含成為再生 對象(視聽對象)之節目資料的串流(stream)。MpEG解碼器 1317對構成所抽出之串流之音訊封包進行解碼,繼而將所 獲得之音訊資料供給至音訊訊號處理電路1322中,並且對 構成串流之圖像封包進行解碼,繼而將所獲得之圖像資料 0供給至圖像訊號處理電路叫8中。X,MPEG解碼器1317 將自MPEG-TS抽出之EPG(Electr〇nic〜簡㈣心,電子 即目導覽)資料經由未圖示之路徑供給至cpui332中。 電視接收機1300使用上▲影像解碼裝置1〇1作為以上述 方式對圖像封包進行解碼之MpEG解瑪器1317。因此, MPEG解碼器1317可與影像解碼裝置1G1之情形同樣地,抑 制壓縮資訊之增大,並且提昇預測精度。 對於自MPEG解碼器1317供給之圖像請,與自視頻解 碼器1315供給之圖像資料之情形時同樣地,於圖像訊號處 144635.doc -61 - 201041404 里電路1 3 1 8中貫施特定處理。繼而’將已實施特定處理之 :像㈣於圖形生成電路1319中與所生成之圖像資料等適 當地重疊’並經由面板驅動電路132〇供給至顯示面板 1321 ’而顯示其影像。 對於自MPEG解碼器1317供給之音訊資料,盥自音訊 細轉換電路1314供給之音訊資料之情形時同樣地,於音 純號處理電路助中實施特定處理。繼而,將已實施特 定處理之音訊資料經由回音消除/音訊合成電路仰供給 至曰sfl放大電路1324,並對盆實 理。其結果為,使調整至特定音 出。
施D/A轉換處理或放大處 量之音訊自揚聲器1325輸 1326以及A/D轉換電 又電視接收機1300亦包含麥克風 路 1327。 A/D轉換電路1327接收藉由你么立μ a上 牧叹稭甶作為音讯會話用裝置的設於 電視接收機1300中之麥券雨〗私措 〇 夕兄風1326所導入之用戶之音訊訊 號。A/D轉換電路1327對所桩此夕立π ^上— 厅接收之曰讯g江號貫施A/.d轉換 處理,並將所獲得之數位立 、 < a δίΐ貝料供給至回音消除/音 訊合成電路1323中。 回音消除/音訊合成電路1323 包崎於自A/D轉換電路1327供給 有電視接收機13〇〇之用戶^田 ― 、 ^ 州尸(用户A)之音訊資料之情形時, 以用戶A之音訊資料為對象 丁豕進仃回音湞除。繼而,回音消 除/音訊合成電路1 323使回音消除之後,與其他音訊資料 合成等而獲得之音訊資料經由音訊放大電路⑽而自 器1325輸出。 144635.doc -62- 201041404 此外,電視接收機1300亦包含音訊編解碼器1328、内部 匯流排 1329 ' SDRAM(Synchronous Dynamic Random
Access Memory ’同步動態隨機存取記憶體)^30、快閃記 憶體 1331、CPU1332、USB(Universal Serial Bus ,通用串 列匯流排)I/F1333、以及網路I/F1334。 A/D轉換電路1327接收藉由作為音訊會話用裝置的設於 電視接收機1300中之麥克風1326所導入之用戶之音訊訊 0 號。A/D轉換電路1327對所接收之音訊訊號實施A/D轉換 處理,並將所獲得之數位之音訊資料供給至音訊編解碼器 1328。 音訊編解碼器1328將自A/D轉換電路1327所供給之音訊 資料轉換成用以經由網路傳送之特定格式之資料,並經由 内部匯流排1329供給至網路i/f 1334。 網路I/F1334係經由安裝於網路端子1335之電纜而與網 路連接。網路I/F1334例如對與該網路連接之其他裝置傳送 Ο 自音讯編解碼器1328供給之音訊資料。又,網路I/F1334例 如經由網路端子1335接收自經由網路而連接之其他裝置所 傳送之音訊資料’並將其經由内部匯流排丨329供給至音訊 編解碼器1328。 音訊編解碼器1328將自網路I/F1334所供給之音訊資料 轉換成特定格式之資料,供給至回音消除/音訊合成電路 1323 中。 回音消除/音訊合成電路1323使如下音訊資料經由音訊 放大電路1324自揚聲器1325輸出,該音訊資料係以自音訊 144635.doc -63- 201041404 編解碼器13 2 8所供給之音訊資料為對象進行回音消除後, 與其他音訊資料合成等而獲得。 SDRAM1330儲存CPU1332進行處理時所需之各種資料。 快閃記憶體1331儲存由CPU1332所執行之程式。快閃記 憶體1331中所儲存之程式係於電視接收機13〇〇之啟動時等 特定之時序由ΟΡΙΠ332讀出。於快閃記憶體1331中,亦儲 存經由數位廣播而獲得之EPG資料、經由網路而自特定之 伺服器所獲得之資料等。 例如於陕閃δ己憶體1 33 1中儲存包含藉由cpu 1 3 32之控 制並經由網路而自特定之伺服器所獲得之内容資料的 MPEG-TS。快閃記憶體1331例如藉由cpm332之控制,將 該MPEG-TS經由内部匯流排1329供給至MpEG解碼器13丄7 中。 MPEG解碼器! 3 ! 7與自數位調譜器】3】6所供給之刪& TS之情形時同樣地,對該mpeg-ts進行處理。如此,電 視接收機1300可經由網路接收包含圖像或音訊等之内容資 料,並使用MPEG解碼器1317進行料,而使該圖像顯示 或者使音訊輪出。 又’電視接收機1300亦包含接收自遙控器咖所傳送之 紅外線gfL號之受光部13 3 7。 —受光部1337將接收來自遙控器1351之紅外線,並對其進 灯解調而獲侍之表示用戶操作之内容的控制碼輸出至 CPU1332 。 CPIH332執行快閃記憶體1331中所儲存之程式,並對應 144635.doc -64- 201041404 於自受光部1337所供給之控制碼等而控制電視接收機測 之正體動作。CPU1332與電視接收機^⑽之各部係經由未 圖示之路徑而連接。 USB I/F1333與經由安裝於USB端子1336之刪電瘦而連 接之電視接收機1300之外部機器之間進行資料收發。網路 I/F1334經由安裝於網路端 中 驷于1335之黾纜而與網路連接,並
G 〇 亦與連接於網路之各種裝置進行除音訊資料以外之資料收 發。 電視接收機1300藉由使用影像解碼裝置101作為MPEG解 碼器1317,可提昇編碼效率。作為其結果,電視接收機 1300可根據經由天線而接收之廣播波訊號、或者經由網路 而獲得之内容資料,雜·泡# 4 址, 一 焱取更加间精細之解碼影像加以顯 不 ° 圖2〇係表示使用應用有本發明之影像編碼農置以及影像 解碼裝置之行動電話之主要構成例的方塊圖。 圖20所不之订動電話14Q()包括:以總括地控制各部之方 式形成之主控制部1450、電源電路部1451、操作輸入控制 部1452、影像編碼器1453、相機ι/ρ部“μ、·控制部 1455、影像解碼器1456、多卫分離部1457、記錄再生部 卜調變解調電路部1458、以及音訊編解碼器1459。該 等係經由匯流排1460而相互連接。 又行動電活1400包含:操作鍵1419、CCD(Charge Coupled DeVlces ’ f荷麵合裝置)相機i4i6、液晶顯示器 1418、儲存部1423、收發電路部1463、天線⑷*、麥克風 144635.doc -65- 201041404 (°舌琦)1421、以及揚聲器1417。 電源電路部1451於藉由用戶操 术作而結束對話以及使雷 源鍵為接通狀態時,_ &自+ 精由自电池組對各部供給電力而將行 動電話1400啟動為可運作之狀態。 丁 行動電話剛基於由⑽、職以及副等所構成之主 控制部1450之控制,以立% q 、 %㈣料式或資料通訊模式等各 /式進行音訊訊號之收發、電子郵件或影像資料之收 發、影像拍攝、或者資料記錄等各種動作。 。。例如於音訊通話模式中’行動電話14〇〇藉由音訊編解碼 盗1459將由麥克風(話筒)1421所收集之音訊訊號轉換成數 位音訊資料’並㈣調變_電路部咖對其進行展頻處 理,繼而藉由收發電路部1463進行數位類比轉換處理以及 頻率轉換處理。行動電話14〇〇將藉由該轉換處理所獲得之 傳送用訊號經由天線14丨4傳送至未圖示之基地台。傳輸至 基地台之傳送用訊號(音訊訊號)經由公眾電話線路網而供 給至通話對象之行動電話中。 又,例如於音訊通話模式中,行動電話14〇〇利用收發電 路部1463將由天線1414接收之接收訊號放大,進而進^頻 率轉換處理以及類比數位轉換處理,並藉由解調電路 部1458進行解展頻處理,繼而藉由音訊編解碼器Μ”將其 轉換成類比音訊訊號。行動電話14〇〇將該經轉換而獲得之 類比音sfl訊號自揚聲器141 7輸出。 此外,例如當於資料通訊模式中傳送電子郵件時,行動 電話1400係藉由操作輸入控制部1452接收藉由操作鍵i4i9 144635.doc -66 - 201041404 之私作而輸入之電子郵件之文字資料。行動電話⑽〇於主 控制Μ450中對該文字資料進行處理,並經由LCD控制部 1455將其作為影像顯示於液晶顯示H 1418中。 又’仃動電話1400係於主控制部145〇中,根據操作輸入 控制部1452所接收之文字資 叹之文子貝枓或用戶指示等而生成電子郵 貝;行動電話1400利用調變解調電路部1458對咳雷+ Ο 郵件資料進行展頻處理,並藉由收發電路部1463 ^ 類比轉換處理以及艏盅結4(fe + 位 項李轉換處理。行動電話1400將藉由該 Ό而獲传之傳送用訊號經由天線⑷4傳送至未圖示 路Hi心傳輪至基地台之傳送用訊號(電子郵件)經由網 伺服态等而供給至特定之收件地址。 ^ ^ *於貝料通訊模式下接收電子郵件時,行動· 話1400藉由收發電路 电 邛 經由天線1414接收自基地台 所傳送之訊號,並將 口 放大,㈣進行頻率轉換處理 以及類比數位轉換虛 > ^ 物8對,姑 電話1400利用調變解調電路 4 1458對该接收訊號 展頻處理而恢復成原來之電子 Τ二電話1400將經恢復之電子郵件資料經由 咖控制部1455顯示於液晶顯示器刚中。 :二行動電話140。亦可將所接收之電 §己錄再生部1462記錄(儲存)於儲存部1423中。 例如Π423係可覆寫之任意之儲存媒體。儲存部1423 2可為R趟或内置型㈣記_等半__ 硬碟,亦可為磁碟、磁# 了為 降切 先碟、光碟、膽記憶體、或者纪 憶卡等可移動媒體。當'然,亦可為除此等以外者。 144635.doc •67- 201041404 此外’例如當於資料通訊模式 , 俱式下傳送影像資料時,行動 笔活1400利用CCD相機1416藉 _ 稽由拍攝而生成影像資料。 CCD相機1416包含透鏡、光圈等光風。 年光于盗件以及作為光電轉 換兀件之CCD,其拍攝被攝體, 將所接收之光之強度轉 換成電汛唬,而生成被攝體之 象之衫像負料。經由相機 I/F 口(M454,於影像編碼器 平藉由例如MPEG2或 MPEG4等特定之編碼方式將 甘“、 …飞將H身料壓縮編碼,藉此將 /、轉換成編碼影像資料。 饤動電賴G0使用上述影像編碼裝置51作為進行此種處 =影像編碼器U53。因此,影像編碼器1453可與影像編 ^置51之情形時同樣地’抑制壓縮資訊之增大,並且提 汁預測精度。 再者’與此同時,行動電話14〇〇將利用⑽相機⑷⑽ ,過程中由麥克風(話筒)1421所收集之音訊在音訊編解碼 盗:牦9中進行類比數位轉換,進而加以編碼。 仃動電話1400係於多工分離部1457中,將自影像編碼器 ^53所供給之編碼影像詩収自音訊編解碼以459所供 4曰資料以特定之方式多工化。行動電話1400利 用調變解調電路部1458對其結果所獲得之多工化資料進行 & ,处里並藉由收發電路部1 463進行數位類比轉換處理 =及頻率轉換處理。行動電話1400將藉由該轉換處理所獲 付之傳达用訊號經由天線"⑷專送至未圖示之基地台。傳 輸至基地台之傳送用訊號(影像資料)經由網路等而供給至 通訊對象。 144635.doc 68- 201041404 再者,於不傳送影像資料之情形時,行動電話ΐ4〇〇可使 CCD相機1416中所生成之影像資料不經由影像編碼器 1453,而經由LCD控制部1455顯示於液晶顯示器“Η中。 又,例如當於資料通訊模式下接收鏈接於簡易主頁等之 動態影像文件之資料時,行動電話14〇〇藉由收發電路部 1463,並經由天線1414接收自基地台所傳送之訊號,並將
〇 該訊號放大,進而進行頻率轉換處理以及類比數位轉換處 理。行動電話1400利用調變解調電路部1458對該接收訊號 進行解展頻處理而恢復為原來之多工化資料。行動電話 1糊於多工分離部1457中,將該多卫化資料加以分離,^ 分成編碼影像資料與音訊資料。 行動電話1400於影像解碼器1456中,以與MpEG2或 刪辦特定之編碼以㈣應的解碼m編碼影像資 料進行解碼’藉此生成再生動態影像資料,並經由LCD控 制部1455使其顯示於液晶顯示器⑷”。藉此,使例如鏈 接於簡易主頁之動態影像文件中所包含之動畫資料顯示於 液晶顯示器1418中。 仃動電話14GG使用上述影像解碼|置1()1作為進行此種 處理之影像解碼器1456。因此’影像解碼器㈣可與影像 解碼農置⑻之情形時同樣地,抑制壓縮資訊之增大,並 且提昇預測精度。 寺行動電话14〇〇同時於音訊編解碼器j 459中,將數 K資料轉換成類比音訊訊號,並使其自揚聲器1417 Ί出藉此,使例如鏈接於簡易主頁之動態影像文件中所 144635.doc •69- 201041404 包含之音訊資料再生。 再者〃電子郵件之情形時同樣地,行 將所接收之鏈接於+ 電話1400亦可 』 蛾接於間易主頁寺之貧料經由記錄再 而§己錄(儲存)於錯存部1423中。 對藉由CCD相 二維碼中所記 又,行動電話14〇〇可於主控制部145〇中, 機1416拍攝而獲得之二維碼進行分析獲得 錄之資訊。 此外,行動電話1400可藉由紅外線通訊部⑷ 線與外部之機器進行通訊。 用、.外 行動電話U00可藉由使用影像編料置51作為影像編碼 益1453 ’而提昇例如將CCD相機1416中所生成之影像資料 編碼而生成之編碼資料的編碼效率。作為結果,行動電話 1400可將編碼效率較佳之編碼資料(影像資料)提供至兑他 裝置。 又,行動電話1400可藉由使用影像解碼裝置1〇1作為影 像解碼1456 ’而生成精度較高之預測影像。作為其結 果,仃動電話1400可自例如鏈接於簡易主頁之動態影像文 件中獲得更加高精細之解碼影像加以顯示。 再者’以上係說明行動電話14〇〇使用CCD相機1416之情 y 仁亦"T 使用應用有 CMOS(Complementary Metal Oxide SemiC〇nduct〇r ’互補金屬氧化物半導體)之影像感測器 (CMOS影像感測器)代替該CCD相機1416。於此情形時, 行動電話1400亦可與使用CCD相機141 6之情形時同樣地拍 攝被攝體,而生成被攝體之影像之影像資料。 144635.doc •70- 201041404 又,以上係作為行動電話1400進行說明,但只要係例如 PDA(Personal Digital Assistants,個人數位助理)、智慧型 手機、UMPC(Ultra Mobile Personal Computer,超行動個 人电胳)、小筆電(netbook)、筆記型個人電腦等具有與該 行動電話1400相同之拍攝功能或通訊功能之裝置,則不論 何種裝S,均可與行動電話14〇〇之情形時同樣地應用影像 編碼裝置5 1以及影像解碼裝置丨〇 1。 0 ® 21係使用應用有本發明之影像編碼裝置以及影像解碼 裝置之硬碟δ己錄益'之主要構成例的方塊圖。 圖21所示之硬碟記錄器(HDD(Hard Disk Drive,硬磁碟 驅動機)記錄器)1500係將由調諧器所接收之自衛星或地面 之天線等所傳送之廣播波訊號(電視訊號)中所包含之廣播 節目的音頻貧料與視頻資料保存於内置之硬碟中,並以與 用戶之指示相對應之時序將所保存之資料提供給用戶。 硬碟記錄器1500例如可自廣播波訊號中抽出音頻資料與 〇 視頻資料,將該等資料適當解碼,繼而儲存於内置之硬碟 中。又,硬碟記錄器丨500亦可例如經由網路自其他裝置獲 得音頻資料或視頻資料,將該等資料適當解碼,而儲存於 内置之硬碟中。 此外,硬碟記錄器1 5〇〇例如對内置之硬碟中所記錄之音 頻資料或視頻資料進行解碼而供給至監視器156〇中,使其 影像顯不於監視器1560之晝面中。又,硬碟記錄器15〇〇可 使其音訊自監視器156〇之揚聲器輸出。 硬碟記錄器1500例如對自經由調諧器而獲得之廣播波訊 144635.doc -71 · 201041404 號中所抽出之音㈣料與視㈣料 裝置獲得之音頻資料或視頻資而:鄕自其他 156〇,使立麥俊顧-_ 、仃解碼而供給至監視器 ^像顯不於監視器1560之畫面中。又 錄器1500可使1立白 硬碟5己 , 定八曰5扎自監視盗1560之揚聲器輸出。 當然,亦可進行其他動作。 如圖21所硬碟記錄以綱包括:接收部1521 部1522、解多1哭“π A 解5周 1525 D 、日頻解碼器、視頻解碼器 .•及§己錄器控制部1526。硬碟記錄器15〇〇進而包 含.EPG資料記憶體i527、 _ 往八屺11體1528、工作記憶體 1529、顯不轉換器153〇 USD(On SCreen DlspIay,螢幕 示)控制部15 3 1、顯矛批也丨加! q。 ’’
頌不控制部1532、記錄再生部1533、D/A 轉換斋1 5 3 4、以及通訊部1 $ 3 5。 又’顯不轉換器1530包含視頻編碼器1541。記錄再生部 1533包含編碼器1551以及解碼器1552。 接收部1521接收來自遙控器(未圖示)之紅外線訊號,將 其轉換成電訊號後輸出至記錄器控制部1526中。記錄器控 制部1526包含例如微處理器等,其根據程式記憶體1528中 所儲存之程式執行各種處理。此時,記錄器控制部Η%視 需要而使用工作記憶體15 2 9。 通訊部1535與網路連接,並經由網路進行與其他裝置之 通訊處理。例如,通訊部1 535由記錄器控制部1526控制, 與調谐Is (未圖不)進行通訊,且主要對調諧器輸出選台控 制訊號。 解調部1522對自調諧器所供給之訊號進行解調,並將其 144635.doc -72- 201041404 輸出至解夕工器1523。解多工器i523將自解調部⑸2所供 之 > 料分離成音頻資料、視頻資料、以及EpG資料,並 將°亥等資料分別輸出至音頻解碼器1524、視頻解碼器 1525、或者記錄器控制部1526中。 、音頻解碼ϋ 1524例如賴PEG方式對所輸人之音頻資料 進灯解碼,並將其輪出至記錄再生部1533。視頻解碼器 W25例如以MPEG*式對所輸入之視頻資料進行解碼,2 〇將八輸出至顯不轉換器153〇。記錄器控制部1526將所輸入 之EPG資料供給至EP(J資料記憶體丨⑵中加以儲存。 顯示轉換器1530利用視頻編碼器1541將自視頻解碼器 1525或者記錄器控制部1526所供給之視頻資料編碼成例如 C(National Television Standards Committee,國家電視 標準委員會)方式之視頻資料,而輸出至記錄再生部 1533。又,顯示轉換器153〇將自視頻解碼器^^或者記錄 器控制部1526所供給之視頻資料之畫面尺寸轉換成與監視 〇 H156G之尺寸相對應之尺寸。顯示轉換器⑸。進而利用視 頻編瑪器1541將畫面〖寸經轉換之視頻資料轉換成财叱 方式之視頻資料,繼而轉換成類比訊號,輸出至顯示控制 部1532中。 = 顯示控制部1532基於記錄器控制部1526之控制,使 OSD(On Screen Display)控制部1531所輸出之〇SD訊號與 自顯示轉換器1530所輸入之視頻訊號重疊,而輸出至監視 器1560之顯示器中加以顯示。 又,藉由D/A轉換器1534將音頻解碼器1524所輪出之音 144635.doc -73- 201041404 頻貝料轉換成類比訊號而供給至監視器丨56〇中。監視器 1560將§亥音頻訊號自内置之揚聲器輸出。 5己錄再生部1533包含硬碟作為記錄視頻資料或音頻資料 等之儲存媒體。 ' 記錄再生部1533例如利用編碼器155UxMpEG方式對自 音頻解碼器1524所供給之音頻資料進行編碼。&,記錄再 生部15 3 3制編碼胃i 5 5 !以M p E G方式對自顯示轉換器 1530之視頻編碼器1541所供給之視頻資料進行編碼。記錄 再生部1533利用多工器合成該音頻資料之編碼資料與視頻 資料之編碼資料。記錄再生部1 533對該合成資料進行通道 編碼而將其放大,並將該資料經由記錄頭而寫入至硬碟 。己錄再生部1533經由再生頭而再生硬碟中所記錄之資 料,並將其放大,、繼而藉由解多^分離成音頻資料盘視 頻貧料。記錄再生部1533利用解碼器1552明咖方 音頻資料以及視頻資料進行解碼。記錄再生部⑽對 碼之音頻資料進行D/A轉換,並將其輸出至監視器⑽之 揚“中。又,記錄再生部1533對經解碼之視㈣料 轉換’並將其輸出至監視器1560之顯示器中。 記錄器控制部1526根據由經由接收部i52i所接收 遙控=之^卜線訊號所示的用戶指示,自咖資料記憶體 = 27n貝出取新之EpG資料,並將其供給至控制部= =控:部1531生成與所輸入之崎料相對應之影 亚將其輸出至顯示控制部1532中。顯示控制部 144635.doc -74- 201041404 1532將自〇SD控制部153 1所輸入之視頻資料輸出至監視界 1 560之顯示器中加以顯示。藉此,於監視器1 560之顯示哭 中顯示EPG(電子節目導覽)。 又,硬碟記錄器1500可經由網際網路等網路獲得自其他 裝置所供給之視頻資料、音頻資料、或者EPG資料等各種 資料。 通訊部1535受到記錄器控制部1526控制,經由網路而獲 0 得自其他裝置所傳送來之視頻資料、音頻資料、以及EPG 寅料寻編碼資料’並將其供給至記錄器控制部15 2 6中。兮己 錄器控制部1 526例如將所獲得之視頻資料或音頻資料之編 碼資料供給至記錄再生部丨533,並儲存於硬碟中。此時, 記錄器控制部1526以及記錄再生部1533亦可視需要而進行 再編碼等處理。 又,5己錄益控制部1 5 2 6對所獲得之視頻資料或音頻資料 之、為碼 > 料進行解碼’並將所獲得之視頻資料供給至顯示 ◎ 轉換器1530中。顯示轉換器1530與自視頻解碼器1525所供 給之視頻資料同樣地對自記錄器控制部1526所供給之視頻 資料進行處理’並經由顯示控制部丨532將其供給至監視器 1560而使其影像顯示。 又’結合該影像顯示’記錄器控制部1526亦可將經解碼 之音頻資料經由D/A轉換器1534供給至監視器156〇中,並 使其音訊自揚聲器輸出。 進而’記錄器控制部1526對所獲得之EPG資料之編碼資 料進行解碼’並將經解碼之EPG資料供給至EPG資料記憶 144635.doc -75- 201041404 體1527中。 士上所述之硬碟記錄器丨5〇〇使用影像解碼裝置1 〇 1作為 視頻解碼器1525、解碼器1552、以及内置於記錄器控制部 1526中之解碼器。因此,視頻解碼器Μ。、解碼器bn、 以及内置於記錄器控制部中之解碼器可與影像解碼裝 置之情形時同樣地,抑制壓縮資訊之增大,並且提 預測精度。 因此’硬碟記錄器15GG可生成精度較高之預測影像。作 為其結果,硬碟記錄器1500例如可自經由調譜器所接收之 視頻資料^編碼資料、或者自記錄再生部1533之硬碟所讀 出之視頻貧料之編碼資料、或者經由網路所獲得之視頻資 料之編碼資料中獲得更加高精細之解石馬影像,並使、干 於監視器1560中。 ....... 又,硬碟記錄器1500使用影像編石馬裝置51作為編碼写 :因此’編碼器1551可與影像編碼裝置51之情形時同 樣地’抑㈣縮資訊之增大,並且提㈣測精度。 次Γ,硬碟記錄器Μ""可提昇例如記錄於硬碟中之編碼 Λ料之編碼效率。作為1 έ士婁 下马具、、,〇果硬碟記錄器1500可更高兮 地使用硬碟之儲存區域。 > 再者^係說明將視頻資料或音頻資料記錄於硬碟中 之硬碟§己錄器15〇〇,當狹,纪锌據辦飞* Μ㈣ 錄媒體可為任意者。例如即 使為快閃§己憶體、光碟、或者錄影帶等 錄媒體之記錄器,亦可與上述硬碟記錄器15。。之:己 樣地應用影像編碼褒置51以及影像解碼裝置⑻。"%同 144635.doc -76 - 201041404 圖22係表示使用應用有本發明之影像解碼裝置以及影像 編碼裝置之相機之主要構成例的方塊圖。 圖22所示之相機16〇〇拍攝被攝體,並使被攝體之影像顯 示於LCD1616中、或者將其作為影像資料記錄於記錄媒體 1633 中。 透鏡區塊1611係使光(即,被攝體之圖像)入射至 CCD/CMOS1612 中。CCD/CMOS1612 係使用 CCD 或者 0 CM0S之影像感測器,其將所接收之光之強度轉換成電訊 號’而供給至相機訊號處理部1613中。 相機訊號處理部1013將自CCD/CMOS1612所供給之電訊 號轉換成Y、Cr、Cb之色差訊號,供給至影像訊號處理部 1614中。影像訊號處理部1614於控制器1621之控制之下, 對自相機訊號處理部1613所供給之影像訊號實施特定之影 像處理、或者利用編碼器1641以例如mpeg方式將該影像 訊號編碼。影像訊號處理部1614將對影像訊號進行編碼而 〇 生成之編碼資料供給至解碼器1615中。此外,影像訊號處 理部1614獲得螢幕顯示器(〇SD)162〇中所生成之顯示用資 料,並將其供給至解碼器〗6丨5。 於以上處理中,相機訊號處理部1613適當地利用經由匯 流排1617而連接之DRAM(Dynamic Rand_八⑽“
Memory,冑態隨機存取記憶體)1618,視需要使影像資料 或者將該影像資料編碼而成之編碼資料等保持於該 DRAM 161 8 中。 解瑪器1615對自影像訊 號處理部1 614所供給之編碼資料 144635.doc -77· 201041404 進行解碼’並將所獲得之影像資料(解碼影像資料)供給至 CD 1616中又,解碼器1615將自影像訊號處理部丨6丨4所 供給之顯示用資料供給至LCD1616中。Lcm6i6將自解碼 益1615所供給之解碼影像資料之影像與顯示用資料之影像 適當地合成,並顯示該合成影像。 螢幕顯示器1620於控制器16υ之控制之下,將包含符 號、文字、或者圖形之選單晝面或圖標等顯示用資料經由 匯流排1617輸出至影像訊號處理部1614中。 控制器1621根據表示用戶使用操作部1622所指示之内容❹ 之訊號,執行各種處理,並且經由匯流排1617控制影像訊 號處理部1614、DRAM1618、外部介面1619、螢幕顯示器 1620、以及媒體驅動器1623等。於flash r〇mi624中儲 存控制器1 621執行各種處理時所需之程式或資料等。 例如,控制器1621可代替影像訊號處理部1614或解碼器 1615,將DRAM1618中所儲存之影像資料編碼、或者對 DRAM 1 61 8中所儲存之編碼資料進行解碼。此時,控制器 1621可藉由與影像訊號處理部1614或解碼器1615之編碼、◎ 解馬方式相同之方式進行編碼、解碼處理,亦可藉由景彡像 訊號處理部1614或解碼器1615未對應之方式進行編碼、解 碼處理。 又,例如於自操作部1622指示開始影像印刷之情形時, 控制器1621自DRAM1618讀出影像資料,並將其經由匯流 排1617供給至與外部介面1619連接之列印機1634中加以 刷。 144635.doc -78- 201041404 此外,例如於自操作部1622指示進行影像記錄之情形 時,控制器162UDRAM1618讀出編碼資料,並將其㈣ 匯流排如7供給至安裳於媒體驅動器1623之記錄媒體則 中加以儲存。 Ο Ο 記錄媒體⑽例如為磁碟、磁光碟、光碟、或者半導體 記憶體等可讀寫之任意之可移動媒體。當然,記錄媒體 作為可移動媒體之種類亦為任意,可為磁帶機 bice)’亦可為碟片,亦可為記憶卡。當然,亦可為非接 觸IC(Integratedcircuit,積體電路)卡等。 又,亦可將媒體驅動器1623與記錄媒體1633—體化,例 如’如内置型硬碟驅動器或SSD(s〇Hd 8她D如固態 驅動器)等般包含非可移動性之儲存媒體。 〜 外部介面1619例如包含USB輸入輸出端子等於進行影 像之印刷之情形時與列印機1634連接。又,於外部介2 1619上’視需要而連接驅動器1631,並適當地安農磁:、 光碟、或者磁光碟等可移動媒體1632,且視需要將自該等 所讀出之電腦程式安裝於FLASHROM1624中。 此外,外部介面1619包含與LAN或網際網路等特定之網 路連接之網路介面。控制器則例如可根據來自操作部 1622之指示,自⑽鑛…中讀出編碼資料,並將其自外 部介面1619供給至經由網路而連接之其他裝置中。又,控 制器1621可經由外部介面1619獲得經由網路而自其他裝置 所供給之編碼資料或影像f料,並將其保持於⑽咖川 中、或者供給至影像訊號處理部1614中。 144635.doc -79- 201041404 如上所述之相機1600使用影像解碼裝置ι〇1作為解碼器 1615。因此,解碼器1615可與影像解碼裝置1〇1之情形時 同樣地’抑制壓縮資訊之增大’並且提昇預測精度。 因此,相機1600可生成精度較高之預測影像。作為其結 果,相機1600例如可自CCD/CMOS1612中所生成之影像資 料、或者自DRAM1618或記錄媒體1633所讀出之視頻資料 之編碼資料、或者經由網路而獲得之視頻資料之編碼資料 中獲得更加高精細之解碼影像,並使其顯示於LCDWW 中。 又,相機16〇〇係使用影像編碼裝置51作為編碼器Μ" 因此’編碼ϋ純可與影像編碼裝置51之情形時同樣地 抑制壓縮資訊之增大,並且提昇預測精度。 之編碼資料之 高效地使用 因此,相機1600可提昇例如記錄於硬碟中 編碼效率。作為其結果,相機16〇〇可更 DRAM1618或記錄媒體1633之儲存區域。 ::,亦可於控制器1621所進行之解碼處理中應用影係 :衣置IGi之解碼方法。同樣地,亦可於控制器咖所 仃之編碼處理中應用影像編碼裝置 靜:影:機_所拍攝之影像資料可為二亦可為 亦可應用 田然,影像編碼裝置5 1以及影像解碼裝置1〇1 於除上述農置以外之裝置或系統中。 【圖式簡單說明】 圖1係表示應用 有本發明之影像編 碼裝置之—實施形態 144635.doc -80- 201041404 之構成的方塊圖。 圖2係說明可變區塊尺寸活動預測與補償處理之圖。 圖3係說明1/4像素精度之活動預測與補償處理之圖。 圖4係說明多參考訊框之活動預測與補償方式之圖。 圖5係說明移動向量資訊之生成方法之例的圖。 圖6係對時間直接模式進行說明之圖。 圖7係表示圖丨之活動預測與補償部以及移動向量精度判 0 疋部之構成例的方塊圖。 圖8係說明圖〗之影像編碼裝置之編碼處理的流程圖。 圖9係說明圖8之步驟S21之預測處理的流程圖。 圖10係說明圖9之步驟S31之框内預測處理的流程圖。 圖11係說明圖9之步驟S32之框間活動預測處理的流程 圖。 圖12係說明圖u之步驟S53之移動向量精度判定處理的 流程圖。 〇 圖U係表示應用有本發明之影像解碼裝置之-實施形態 之構成的方塊圖。 〃圖14係表示圖13之活動預測與補償部以及移動向量精度 判定部之構成例的方塊圖。 圖15係說明圖13之影像解碼裝置之解碼處理的流程圖。 圖16係說明圖15之步驟sm之預測處理的流程圖。 圖17係表示經擴展之區塊尺寸之例的圖。 圖18係表示電腦之硬體之構成例的方塊圖。 圖19係表示應用有本發明 %月之电視接收機之主要構成例的 144635.doc •81 - 201041404 方塊圖。 圖20係表示應用有本發明 塊圖。 動電活之主要構成例的方 圖21係表示應用有本發明之 方塊圖。 系§己錄器之主要構成例的 圖 圖 22儀表示應用有本發明之相機之主要構成例 的方塊 【主要元件符號說明】 51 66 74 75 76 77 81 82 83 84 85 86 91 92 93 101 影像編碼裝置 可逆編碼部 框内預測部 活動預測與補償部 移動向量精度判定部 預測影像選擇部 整數像素精度__與補償部 小數像素精度活動_與補償部 移動向量資訊儲存緩衝器 預測移動向量計算部 移動向量資訊編碼部 模式判定部 對象移動向量精度判別部 鄰接移動向量精度判別部 精度旗標生成部 影像解碼裝置 144635.doc -82- 201041404 112 可逆解碼部 121 框内預測部 122 活動預測與補償部 123 移動向量精度判定部 124 開關 151 移動向量資訊接收部 152 預測移動向量生成部 Ο 153 移動向量再構成部 154 移動向量資訊儲存緩衝器 155 影像預測部 161 精度旗標接收部 162 鄰接移動向量精度判別部 163 對象移動向量精度判別部 Ο 144635.doc -83-

Claims (1)

  1. 201041404 七、申請專利範園·· L 一種影像處理裝置,其包括: 精度旗標生成機構,其生成表 眘m也 成表不對象區塊之移動向量 貝Λ之精度與鄰接於上 量資Μ象£塊之鄰接區塊之移動向 之精度是相同還是不同的精度旗標;以及 =構,其對上述對象區塊之移動向量資訊與由上 ❹ ❹ =旗標生成機構所生成之上述精度旗標進行編竭。 2·如钿求項1之影像處理裝置,其中 進而包括預測移動向量生成播 ㈣…一 置生成機構,其係於由上述精度 旗私生成機構所生成之上述精 — '表不上述對象區塊 之移動向Μ訊之精度與上料接區塊之㈣向量資訊 =二同的情形時,將上述鄰接區塊之移動向量資訊 =度換异成上料象區塊之移動向量資訊之精度而進 仃中值預測,生成預測移動向量資訊; 上述編碼機構將上述對象區塊之移動向量資訊盘上述 制移動向量資訊之差分作為上述對㈣塊之移動向量 貝§fL而編碼。 3. 如請求項2之影像處理裝置,其中 上述精度旗標生成機構以及上述預測移動向量生成機 構係使用鄰接於上述對象區塊之左部之區塊作為上述鄰 接區塊。 4. 如請求項2之影像處理裝置,其中 上述精度旗標生成機構以及上述預測移動向量生成機 構係使用鄰接於上述對象區塊’並且之前剛剛實施編碼 144635.doc 201041404 處理之區塊作為上述鄰接區塊。 5. 如請求項2之影像處理裝置,其中 6· 上述精度旗標生成機構以及上述預測移動向量生成機 構係使用鄰接於上述對象區塊,並且提供藉由中值預測 而選擇之移動向量資訊之區塊作為上述鄰接區塊。 —種影像處理方法,其包括如下步驟: 影像處理裝置生成表示對象區塊之移動向量資訊之精 度與鄰接於上述對象區塊之鄰接區塊之移動向量資訊之 精度是相同還是不同的精度旗標,並對上述對象區塊之 移動向量資訊與所生成之上述精度旗標進行編石馬。 一種影像處理裴置,其包括: 、解碼機構,其對經編碼之對象區塊之移動向量資訊、 =述對象區塊之移動向量資訊之精度與鄰接於 :、品鬼之鄰接區塊之移動向量資訊之精度是相同 還疋不同的精度旗標進行解碼; ::::再構成機構,其使用藉由上述解碼機 碼之上述精度旗標,再構 上述對象區塊之移動向"訊;:碼機構而解瑪之 預測影像生成機構,其使用藉由上述移動 機構而再構成之上述對象區塊之移動向量資訊:: 述對象區塊之預測影像。 成上 8. 如請求項7之影像處理裝置,其中 碼::包:預測移動向量生成機構,其係於藉由上述解 碼機構而解碼之上述精度旗標表示上述對象區塊之移Γ 144635.doc 201041404 向量資訊之精度與上述鄰接區塊之移動向量資訊之精度 為不同之情形時,將上述鄰接區塊之移動向量資訊之精 度換算成上述對象區塊之移動向量資訊之精度而進行中 值預測,生成預測移動向量資訊; 上述移動向S再構成機構係使用藉由上述解碼機構而 解碼之上述精度旗標與由上述制移動向量生成機構所 生成之上述預測移動向量資訊,再構成藉由上述解碼機 〇 構而解碼之上述對象區塊之移動向量資訊。 9. 如請求項8之影像處理裝置,其中 上k私動向里再構成機構以及上述預測移動向量生成 機構係使㈣接於上述對象區塊之左部之區塊作為上述 鄰接區塊。 10. 如請求項8之影像處理裝置,其中 上述移動向量再構成機構以及上述預測移動向量生成 機構係使用鄰接於上述對象區塊,並且之前剛剛實施編 〇 碼處理之區塊作為上述鄰接區塊。 11 ·如請求項8之影像處理裝置,其中 上述移動向量再構成機構以及上述預測移動向量生成 機構係使用_於上述對象區塊,並且提供藉由中值預 測而選擇之移動向量資訊之區塊作為上述鄰接區塊。 12. —種影像處理方法,其包括如下步驟: 影像處理裳置對經編碼之對象區塊之移動向量資訊、 以及表示上述對象區塊之移動向量資訊之精度與鄰接於 上述對象區塊之鄰接區塊之移動向量資訊之精度是相同 144635.doc 201041404 還是不同的積度旗標進行解碼,· 使用沒解碼之上述精度旗標再構成輯碼之上述對象 區塊之移動向量資訊;且 使用經再構成之上述對象區塊 尼 < 移動向量資訊生成上 述對象區塊之預測影像。 144635.doc
TW099103245A 2009-03-06 2010-02-03 Image processing device and method TW201041404A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009054077 2009-03-06

Publications (1)

Publication Number Publication Date
TW201041404A true TW201041404A (en) 2010-11-16

Family

ID=42709623

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099103245A TW201041404A (en) 2009-03-06 2010-02-03 Image processing device and method

Country Status (12)

Country Link
US (1) US20120057632A1 (zh)
EP (1) EP2405659A4 (zh)
JP (1) JPWO2010101064A1 (zh)
KR (1) KR20110139684A (zh)
CN (1) CN102342108B (zh)
AU (1) AU2010219746A1 (zh)
BR (1) BRPI1009535A2 (zh)
CA (1) CA2752736A1 (zh)
MX (1) MX2011009117A (zh)
RU (1) RU2011136072A (zh)
TW (1) TW201041404A (zh)
WO (1) WO2010101064A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI552578B (zh) * 2011-06-23 2016-10-01 Jvc Kenwood Corp A recording medium, a video decoding method, a video decoding method, and a video decoding program, and a recording medium, a recording medium, a recording medium, a recording medium, a recording medium, a video recording method, The recording method and the recording medium of the receiving program

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US10327008B2 (en) * 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
BR112015004285A2 (pt) * 2012-08-28 2017-07-04 Abb Technology Ag controle de um conversor modular em dois estágios
MX340603B (es) * 2012-09-03 2016-07-15 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
WO2014147021A2 (en) * 2013-03-20 2014-09-25 Bayer Pharma Aktiengesellschaft Novel compounds
US9706229B2 (en) * 2013-06-05 2017-07-11 Texas Instruments Incorporated High definition VP8 decoder
EP4221202A1 (en) * 2015-06-05 2023-08-02 Dolby Laboratories Licensing Corporation Image encoding and decoding method and image decoding device
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
CN116016921A (zh) 2017-07-07 2023-04-25 三星电子株式会社 用于对运动矢量进行编码和解码的设备和方法
BR112020004381A2 (pt) * 2017-09-28 2020-09-08 Samsung Electronics Co., Ltd. método de decodificação de vídeo, aparelho de decodificação de vídeo, método de codificação de vídeo, e aparelho de codificação de vídeo
CN109905714B (zh) 2017-12-08 2022-12-27 华为技术有限公司 帧间预测方法、装置及终端设备
WO2020005046A1 (ko) * 2018-06-30 2020-01-02 김기백 영상 부호화/복호화 방법 및 장치
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN111436227B (zh) * 2018-11-12 2024-03-29 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09121359A (ja) * 1995-10-26 1997-05-06 Hitachi Ltd 画像符号化方法および画像復号化方法
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
KR100962759B1 (ko) * 2002-01-24 2010-06-09 가부시키가이샤 히타치세이사쿠쇼 동화상 신호의 부호화 방법 및 복호화 방법
JP4355319B2 (ja) * 2002-01-24 2009-10-28 株式会社日立製作所 動画像復号化方法
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
TWI253001B (en) * 2004-11-16 2006-04-11 An Lnternet Products & Technol Method for setting the threshold of a fast motion estimation algorithm
JP2006238291A (ja) * 2005-02-28 2006-09-07 Ricoh Printing Systems Ltd カラー画像情報の符号化処理方法、復号化処理方法およびこれを用いた印刷装置
JP4713972B2 (ja) * 2005-07-27 2011-06-29 株式会社東芝 符号化装置
JP4235209B2 (ja) * 2006-02-10 2009-03-11 Nttエレクトロニクス株式会社 動きベクトル検出装置および動きベクトル検出方法
CN101102503A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 视频分层编码层间运动矢量的预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI552578B (zh) * 2011-06-23 2016-10-01 Jvc Kenwood Corp A recording medium, a video decoding method, a video decoding method, and a video decoding program, and a recording medium, a recording medium, a recording medium, a recording medium, a recording medium, a video recording method, The recording method and the recording medium of the receiving program

Also Published As

Publication number Publication date
EP2405659A1 (en) 2012-01-11
EP2405659A4 (en) 2013-01-02
CN102342108B (zh) 2014-07-09
AU2010219746A1 (en) 2011-09-08
CA2752736A1 (en) 2010-09-10
KR20110139684A (ko) 2011-12-29
JPWO2010101064A1 (ja) 2012-09-10
RU2011136072A (ru) 2013-03-10
MX2011009117A (es) 2011-10-06
US20120057632A1 (en) 2012-03-08
CN102342108A (zh) 2012-02-01
BRPI1009535A2 (pt) 2016-03-15
WO2010101064A1 (ja) 2010-09-10

Similar Documents

Publication Publication Date Title
TW201041404A (en) Image processing device and method
TWI723849B (zh) 圖像解碼裝置、方法及電腦可讀取記錄媒體
JP5234368B2 (ja) 画像処理装置および方法
JP5812372B2 (ja) 復号装置および方法
TW201116069A (en) Image processing device and method
TWI405469B (zh) Image processing apparatus and method
JP5240530B2 (ja) 画像処理装置および方法
WO2010035731A1 (ja) 画像処理装置および方法
TW201129099A (en) Image processing device and method
WO2010035734A1 (ja) 画像処理装置および方法
KR20130037200A (ko) 화상 처리 장치 및 방법
US20120044996A1 (en) Image processing device and method
WO2010035730A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
TW201132130A (en) Device, method, and program for image processing
TW201143450A (en) Image processing apparatus and method, and program
JP2011259040A (ja) 画像処理装置および方法
JPWO2010064675A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2011135184A (ja) 画像処理装置および方法、並びにプログラム
US20110235711A1 (en) Image processing device and method
TW201041405A (en) Image processing device and method
WO2010035735A1 (ja) 画像処理装置および方法
JP2014143716A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2011125809A1 (ja) 画像処理装置および方法