TWI556652B - An image processing apparatus, an image processing method, a program, and a recording medium - Google Patents

An image processing apparatus, an image processing method, a program, and a recording medium Download PDF

Info

Publication number
TWI556652B
TWI556652B TW101115850A TW101115850A TWI556652B TW I556652 B TWI556652 B TW I556652B TW 101115850 A TW101115850 A TW 101115850A TW 101115850 A TW101115850 A TW 101115850A TW I556652 B TWI556652 B TW I556652B
Authority
TW
Taiwan
Prior art keywords
unit
square
quantization matrix
matrix
quantized
Prior art date
Application number
TW101115850A
Other languages
English (en)
Other versions
TW201301901A (zh
Inventor
Hironari Sakurai
Junichi Tanaka
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201301901A publication Critical patent/TW201301901A/zh
Application granted granted Critical
Publication of TWI556652B publication Critical patent/TWI556652B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Description

圖像處理裝置、圖像處理方法、程式及記錄媒體
本發明係關於圖像處理裝置及圖像處理方法。
圖像編碼方式之標準樣式之一的H.264/AVC，係可於高清(High Profile)以上之分佈圖中圖像資料量子化時使用每正交轉換係數之成分不同之量子化步驟。每正交轉換係數之成分之量子化步驟係基於與正交轉換單位同等尺寸所定義之量子化矩陣(亦稱作縮放表列(scaling list))及基準之步驟值而設定。
圖28顯示於H.264/AVC中預定義之4種既定量子化矩陣。矩陣SL1係幀內預測模式之4×4之既定量子化矩陣。矩陣SL2係幀間預測模式之4×4之既定量子化矩陣。矩陣SL3係幀內預測模式之8×8之既定量子化矩陣。矩陣SL4係幀間預測模式之8×8之既定量子化矩陣。且，使用者可針對序列參數集或圖像參數集，定義與圖28所示之既定矩陣相異之單獨之量子行矩陣。另，未指定量子化矩陣時可使用針對全部成分具有相等量子化步驟之平坦量子化矩陣。
作為繼H.264/AVC之後之下一代之圖像編碼方式而逐漸標準化之HEVC(High Efficiency Video Coding：高效視頻編碼)係已導入相當於先前之巨集區塊之編碼單位(CU：Coding Unit)之概念(參照下述非專利文獻1)。進而，1個編碼單位被劃分成表示預測處理單位之1個以上之預測單位(Prediction Unit：PU)。而且，針對各預測單位，進行 幀內預測或幀間預測。且，1個編碼單位被劃分成表示正交轉換單位之1個以上之轉換單位(Transform Unit：TU)。而且，針對各轉換單位，進行自圖像資料朝轉換係數資料之正交轉換及轉換係數資料之量子化。下述非專利文獻2中提案有稱作短距離(Short Distance)幀內預測法之技術，其可於框內預測模式中選擇尺寸較小之非正方形預測單位(例如線狀或矩形預測單位)。該情形下，轉換單位之形狀依照預測單位之形狀成為非正方形。
[非專利文獻1]JCTVC-B205，「Test Model under Consideration」，ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11第二次會議：日內瓦，21-28 July，2010
[非專利文獻2]JCTVC-E278，「CE6.b1 Report on Short Distance Intra Prediction Method」，ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11第五次會議：日內瓦，16-23 March，2011
然而，若可選擇之轉換單位之形狀及尺寸之種類變多，則對應之量子化矩陣之數目亦增加，用於量子化矩陣之編碼量之增加反而招致編碼效率下降。因此，希望提供一種即使所使用之量子化矩陣之候補增加仍不會致使編碼效率明顯降低之構造。
根據本發明可提供一種圖像處理裝置，其具備：解碼 部，其使編碼流解碼並生成經量子化之轉換係數資料；及反量子化部，其於選擇非正方形之轉換單位作為使換轉換係數資料逆正交轉換時所使用之轉換單位時，使用自與正方形之轉換單位對應之正方形量子化矩陣生成之與非正方形之轉換單位對應之非正方形量子化矩陣，並使由上述解碼部解碼之上述經量子化之轉換係數資料予以逆量子化。
上述圖像處理裝置，典型而言，可實現作為解碼圖像之圖像解碼裝置。
再者，根據本揭示可提供一種圖像處理方法，其包含：解碼編碼流並產生經量子化之轉換係數資料者；及於選擇非正方形之轉換單位作為使轉換係數資料逆正交轉換時所使用之轉換單位時，使用自與正方形之轉換單位對應之正方形量子化矩陣產生之與非正方形之轉換單位對應之非正方形量子化矩陣，使經解碼之上述經量子化之轉換係數資料予以反量子化。
如以上說明般，根據本揭示可提供一種構造，其即使隨著可選擇之轉換單位之種類增加而所使用之量子化矩陣之候補增加，仍不會使編碼效率明顯降低者。
以下一面參照附加圖式一面對本揭示之適宜實施形態進行詳細說明。另，本說明書及圖式中藉由對實質上具有相同功能構成之構成要素附加相同符號而省略重複說明。
再者，按照以下順序進行說明。
1.一實施形態之圖像編碼裝置之構成例
1-1.整體構成例
1-2.語法(syntax)處理部之構成例
1-3.正交轉換部之構成例
1-4.量子化部之構成例
1-5.參數構成例
1-6.非正方形量子化矩陣之產生例
1-7.掃描圖案之例
2.一實施形態之編碼時之處理流程 3.一實施形態之圖像解碼裝置之構成例
3-1.整體構成例
3-2.語法處理部之構成例
3-3.反量子化部之之構成例
3-4.逆正交轉換部之構成例
4.一實施形態之解碼時之處理流程 5.於各種編解碼器上之應用
5-1.多視圖編解碼器
5-2 可調性編解碼器
6.應用例 7.總結 <1.一實施形態之圖像編碼裝置之構成例>
本節係就一實施形態之圖像編碼裝置之構成例進行說明。
[1-1.整體構成例]
圖1係顯示一實施形態之圖像編碼裝置10之構成之一例的方塊圖。參照圖1，圖像編碼裝置10具備：A/D(Analogue to Digital：類比對數位)轉換部11、排序緩衝器12、語法處理部13、減法部14、正交轉換部15、量子化部16、可逆編碼部17、儲存緩衝器18、速率控制部19、反量子化部21、逆正交轉換部22、加法部23、解塊濾波器24、幀記憶體25、選擇器26、幀內預測部30、動態搜索部40、及模式選擇部50。
A/D轉換部11將類比形式輸入之圖像信號轉換為數位形式之圖像資料並將一連串數位圖像資料向排序緩衝器12輸出。
排序緩衝器12重排包含於自A/D轉換部11輸入之一連串圖像資料中之圖像。排序緩衝器12根據編碼處理之GOP(Group of Pictures：圖片群組)構造而重排圖像後，將重排後之圖像資料向語法處理部13輸出。
自排序緩衝器12向語法處理部13輸出之圖像資料以稱作NAL(Network Abstraction Layer：網路抽象層)單元之單位映射(mapping)至位元流。圖像資料流包含1個以上之序列。序列開頭之圖像稱作IDR(Instantaneous Decoding Refresh：即時解碼更新)圖像。各序列包含1個以上之圖像進而各圖像包含1個以上之切片。H.264/AVC及HEVC中，該等切片係圖像之編碼及解碼的基本單位。各切片之資料以VCL(Video Coding Layer：視訊編碼層)NAL單元被辨識。
語法處理部13依序辨識自排序緩衝器12輸入之圖像資料 流中之NAL單元，並將儲存標頭資訊之非VCL NAL單元插入流中。語法處理部13插入流中之非VCL NAL單元包含序列參數集(SPS：Sequence Parameter Set：序列參數集)及圖像參數集(PPS：Picture Parameter Set)。儲存於SPS及PPS內之標頭資訊包含例如與後續說明之量子化矩陣有關聯之參數(以下稱作量子化矩陣參數)。另，亦可定義與SPS及PPS相異之新的參數集。例如，語法處理部13亦可將僅儲存量子化矩陣參數之量子化矩陣參數集(QMPS：Quantization Matrix Parameter Set：量子化矩陣參數集)插入流中。且，語法處理部13在切片之開頭附加切片標頭(SH：Slice Header：切片標頭)。而且，語法處理部13將包含VCL NAL單元及非VCL NAL單元之圖像資料流向減法部14、幀內預測部30及動態搜索部40輸出。就語法處理部13之詳細構成於後將予以進一步說明。
對減法部14供給自語法處理部13輸入之圖像資料、及由後續說明之模式選擇部50選擇之預測圖像資料。減法部14計算出自語法處理部13輸入之圖像資料與自模式選擇部50輸入之預測圖像資料之差分的預測誤差資料，並將計算出之預測誤差資料向正交轉換部15輸出。
正交轉換部15對編碼之圖像設定轉換單位，針對各轉換單位使圖像資料進行正交轉換而產生轉換係數資料。本實施形態中，由正交轉換部15設定之轉換單位之形狀可為正方形或非正方形。正方形轉換單位之一邊之尺寸亦可為4個像素、8個像素、16個像素或32個像素等。非正方形轉 換單位之長邊之尺寸亦可為4個像素、8個像素、16個像素或32個像素等，且長邊尺寸與短邊尺寸之比例亦可為2：1、4：1或8：1等。成為正交轉換部15之正交轉換對象之圖像資料係自減法部14輸入之預測誤差資料。正交轉換部15之正交轉換亦可例如按照離散餘弦轉換(DCT)方式、離散正弦轉換(DST)方式、沃爾什-阿達瑪轉換方式或卡忽南-拉維轉換方式等之任意之正交轉換方式執行。正交轉換部15將經由正交轉換處理而自預測誤差資料轉換後之轉換係數資料向量子化部16輸出。關於正交轉換部15之詳細構成於後將予以進一步說明。
量子化部16使用與各轉換單位對應之量子化矩陣將自正交轉換部15輸入之各轉換單位之轉換係數資料量子化後，並將量子化後之轉換係數資料(以下稱作量子化資料)向可逆編碼部17及反量子化部21輸出。量子化資料之位元速率係基於來自速率控制部19之速率控制信號予以控制。由量子化部16所使用之量子化矩陣可於SPS或PPS、或其他參數集內定義，且每切片可於切片標頭內指定。代替將量子化矩陣於參數集內定義，亦可使用如圖28例示之既定量子化矩陣，該情形下，無需用於定義量子化矩陣之參數。對量子化部16之詳細構成於後將進一步說明。
可逆編碼部17藉由對自量子化部16輸入之量子化資料進行編碼而產生編碼流。且，可逆編碼部17對由語法處理部13插入流中之量子化矩陣參數進行編碼並將經編碼之參數多工化成編碼流。且，可逆編碼部17對與自模式選擇部50 輸入之幀內預測有關之資訊或與幀間預測有關之資訊進行編碼，並將經編碼之資訊多工化成編碼流。由可逆編碼部17之編碼，典型上，亦可係基於算術編碼、戈洛姆編碼或哈夫曼編碼等之可逆可變長編碼。而且，可逆編碼部17將產生之編碼流向儲存緩衝器18輸出。
儲存緩衝器18使用半導體記憶體等之記憶媒體暫時儲存自可逆編碼部17輸入之編碼流。而且，儲存緩衝器18以與傳輸路徑之頻帶相應之速率，將儲存之編碼流向未圖示之傳輸部(例如與通信介面或周邊機器之連接介面等)輸出。
速率控制部19監視儲存緩衝器18之空出容量。又，速率控制部19根據儲存緩衝器18之空出容量產生速率控制信號，並將產生之速率控制信號向量子化部16輸出。例如，速率控制部19於儲存緩衝器18之空出容量較少時，產生用於降低量子化資料之位元速率之速率控制信號。且，例如，速率控制部19於儲存緩衝器18之空出容量相當多時，產生用於提高量子化資料之位元速率之速率控制信號。
反量子化部21針對自量子化部16輸入之量子化資料，使用與藉由量子化部16之量子化處理時所設定者相同之量子化矩陣進行反量子化處理。又，反量子化部21將通過反量子化處理而取得之轉換係數資料向逆正交轉換部22輸出。
逆正交轉換部22藉由就自反量子化部21輸入之轉換係數資料進行逆正交轉換處理而復原預測誤差資料。逆正交轉換部22所使用之正交轉換方式等同於正交轉換部15之正交轉換處理時所選擇之方式。而且，逆正交轉換部22將經復 原之預測誤差資料向加法部23輸出。
加法部23藉由將自逆正交轉換部22輸入之經復原之預測誤差資料與自模式選擇部50輸入之預測圖像資料相加而產生解碼圖像資料。接著，加法部23將產生之解碼圖像資料向解塊濾波器24及幀記憶體25輸出。
解塊濾波器24進行用於減少圖像編碼時產生之區塊變形之濾波處理。解塊濾波器24藉由過濾自加法部23輸入之解碼圖像資料而消除區塊變形，並將過濾後之解碼圖形資料向幀記憶體25輸出。
幀記憶體25利用記憶媒體記憶自加法部23輸入之解碼圖像資料及自解塊濾波器24輸入之過濾後之解碼圖像資料。
選擇器26自幀記憶體25讀出幀內預測所使用之過濾前之解碼圖像資料，並將讀出之解碼圖像資料作為參照圖像資料供給至幀內預測部30。且，選擇部26自幀記憶體25讀出幀間預測所使用之過濾後之解碼圖像資料，並將讀出之解碼圖像資料作為參照圖像資料供給至動態搜索部40。
幀內預測部30基於自語法處理部13輸入之編碼對象之圖像資料及透過選擇器26供給之解碼圖像資料，進行各幀內預測模式之幀內預測處理。例如，幀內預測部30使用特定之成本函數評估各幀內預測模式之預測結果。且，幀內預測部30將成本函數值成為最小之幀內預測模式即壓縮率成為最高之幀內預測模式選擇為最恰當之幀內預測模式。而且，幀內預測部30將與包含預測圖像資料及選擇之最恰當之幀內預測模式等之幀內預測有關之資訊、及成本函數值 向模式選擇部50輸出。
動態搜索部40基於自語法處理部13輸入之編碼對象之圖像資料及透過選擇部26供給之解碼圖像，進行幀間預測處理(幀間預測處理)。例如，動態搜索部40使用特定成本函數評估各預測模式之預測結果。接著，動態搜索部40將成本函數值成為最小之預測模式即壓縮率成為最高之預測模式選擇為最恰當之預測模式。且，動態搜索部40按照該最恰當之預測模式產生預測圖像資料。且，動態搜索部40將與包含預測圖像資料及選擇之最恰當之預測模式等之幀間預測有關之資訊、及成本函數值向模式選擇部50輸出。
模式選擇部50對與自幀內預測部30輸入之幀內預測有關之成本函數值與自動態搜索部40輸入之幀間預測有關之成本函數值進行比較。又，模式選擇部50選擇幀內預測及幀間預測之中成本函數值較少之預測技術。模式選擇部50於選擇幀內預測時，將與幀內預測有關之資訊向可逆編碼部17輸出，且將預測圖像資料向減法部14及加法部23輸出。且，模式選擇部50於選定幀間預測時，將與幀間預測有關之上述資訊向可逆編碼部17輸出，且將預測圖像資料向減法部14及加法部23輸出。
[1-2.語法處理部之構成例]
圖2係顯示圖1所示之圖像編碼裝置10之語法處理部13之詳細構成之一例的方塊圖。參照圖2，語法處理部13包含設定保持部132、參數產生部134及插入部136。
(1)設定保持部
設定保持部132保持圖像編碼裝置10之編碼處理所使用之各種設定。例如，設定保持部132保持圖像資料之各序列之分佈圖、各圖像之編碼模式、與GOP構造有關之資料、以及編碼單位、預測單位及轉換單位之設定等。且，本實施形態中，設定保持部132保持關於由量子化部16(及反量子化部21)所使用之量子化矩陣之設定。該等設定典型而言可基於斷開線之圖像解析而預先決定。
(2)參數產生部
參數產生部134產生定義由設定保持部132所保持之設定之參數，並將產生之參數向插入部136輸出。
例如，本實施形態中，參數產生部134產生用於產生成為量子化部16所使用之候補之量子化矩陣之量子化矩陣參數。量子化部16所使用之量子化矩陣之候補包含與設定於圖像內之轉換單位之種類彼此對應之量子化矩陣。本實施形態中，轉換單位之種類至少根據轉換單位之形狀及尺寸之組合予以區分。就由參數產生部134產生之量子化矩陣參數之一例於後文將進一步說明。
(3)插入部
插入部136將分別包含由參數產生部134所產生之參數群之SPS、PPS及切片標頭等之標頭資訊插入自排序緩衝器12輸入之圖像資料流中。由插入部136插入於圖像資料流之標頭資訊包含由參數產生部134所產生之量子化矩陣參數。而且，插入部136將插入有標頭資訊之圖像資料流向減法部14、幀內預測部30及動態搜索部40輸出。
[1-3.正交轉換部之構成例]
圖3係顯示圖1所示之圖像編碼裝置10之正交轉換部15之詳細構成之一例的方塊圖。參照圖3，正交轉換部15具有轉換單位設定部152及正交轉換運算部154。
(1)轉換單位設定部
轉換單位設定部152將使編碼之圖像資料進行正交轉換時所使用之轉換單位設定在圖像內。由轉換單位設定部152設定之轉換單位之形狀係正方形或非正方形。例如，轉換單位設定部152於幀內預測部30利用上述短距離幀內預測法之情形中，於選擇非正方形之預測單位作為預測單位時，亦可將與該預測單位為相同尺寸之非正方形之轉換單位設定在圖像內。
(2)正交轉換運算部
正交轉換運算部154針對由轉換單位設定部152設定在圖像內之各轉換單位，藉由使自減法部14輸入之預測誤差資料進行正交轉換而產生轉換係數資料。而且，正交轉換運算部154將產生之轉換係數資料向量子化部16輸出。且，轉換單位設定部152將使設定後之轉換單位予以特定之轉換單位資訊向量子化部16輸出。
[1-4.量子化部之構成例]
圖4係顯示圖1所示之圖像編碼裝置10之量子化部16之詳細構成之一例的方塊圖。參照圖4，量子化部16包含量子化矩陣設定部162及量子化運算部164。
(1)量子化矩陣設定部
量子化矩陣設定部162針對由正交轉換部15設定之各轉換單位，設定用於量子化經正交轉換而產生之轉換係數資料之量子化矩陣。例如，量子化矩陣設定部162首先自正交轉換部15取得轉換單位資訊。轉換單位資訊亦可為例如特定出將各編碼單位劃分於1個以上之轉換單位之分區位置之資訊。且，預測單位與轉換單位相等時，轉換單位資訊亦可為代替轉換單位而特定出預測單位之資訊。
量子化矩陣設定部162辨識來自取得之轉換單位資訊之各轉換單位之形狀及尺寸，並將與經辨識之形狀及尺寸對應之量子化矩陣設定在各轉換單位。作為一例，8×8像素之轉換單位係設定8列8行之量子化矩陣；2×8像素之轉換單位係設定2列8行之量子化矩陣；8×2像素之轉換單位係設定8列2行之量子化矩陣。量子化矩陣設定部162亦可例如將與預測模式(幀內預測/幀間預測)及信號成分(Y/Cb/Cr)之每一組合相異之量子化矩陣設定在各轉換單位。設定之量子化矩陣之量子化步驟亦可根據來自速率控制部19之速率控制信號予以調整。
(2)量子化運算部
量子化運算部164針對各轉換單位，使用由量子化矩陣設定部162設定之量子化矩陣，而對自正交轉換部15輸入之轉換係數資料量子化。又，量子化運算部164將量子化後之轉換係數資料(量子化資料)向可逆編碼部17及反量子化部21輸出。另，由量子化矩陣設定部162設定之量子化矩陣亦可使用於反量子化部21之反量子化時。
[1-5.參數構成例]
圖5顯示由語法處理部13之參數產生部134產生之量子化矩陣參數中，與非正方形量子化矩陣有關之參數之一例。另，與正方形量子化矩陣有關之參數亦可為與H.264/AVC等之既存圖像編碼方式相同之參數。
參照圖5，量子化矩陣參數包含用於產生「非正方形矩陣旗標」及非正方形之各量子化矩陣之參數群。
「非正方形矩陣旗標」係表示是否使用非正方形量子化矩陣之旗標。非正方形矩陣旗標顯示為「0：否」時，因非正方形量子化矩陣未被使用，故用於產生非正方形量子化矩陣之圖5所示之其他參數被省略。另一方面，非正方形矩陣旗標顯示為「1：是」時，因可使用非正方形量子化矩陣，故基於以下說明之參數，於解碼側進行該等量子化矩陣之產生。
用於產生非正方形量子化矩陣之參數之一係「產生模式」。該「產生模式」係表示應如何產生非正方形量子化矩陣的分類。作為一例，產生模式之分類可應用以下任一值。
0：全掃描模式
1：複製模式
2：換位模式
(1)全掃描模式
若產生模式為「0：全掃描模式」則量子化矩陣參數進而包含「差分資料」。「差分資料」係定義非正方形量子化 矩陣之資料。「差分資料」亦可為例如以特定掃描圖案1次元排列非正方形量子化矩陣之全部要素，並以DPCM(Differential Pulse Code Modulation：差分脈衝編碼調變)方式編碼該1次元排列之資料。
(2)複製模式
若產生模式為「1：複製模式」則非正方形量子化矩陣藉由將對應之正方形量子化矩陣之任一列或行複製到非正方形量子化矩陣之各列或各行而產生。所謂與某非正方形量子化矩陣對應之正方形量子化矩陣係指亦可為具有一邊之尺寸與該非正方形量子化矩陣之長邊之尺寸相同之正方形量子化矩陣。該情形下，量子化矩陣參數進而包含「指定模式」。該「指定模式」係表示如何指定正方形量子化矩陣之列或行之中成為複製源之列或行的分類。作為一例，該分類可應用以下任一值。
0：預設(default)
1：複製源ID
2：方向+複製源ID
若指定模式為「0：預設」則將預先定義之既定位置之列或行作為複製源之列或行處理。例如，若對象之非正方形量子化矩陣之尺寸為2列8行(2×8)，則對應之正方形量子化矩陣之尺寸為8列8行(8×8)。該情形下，8×8之量子化矩陣之第0列及第4列、或第0列及第1列亦可為既定之複製源。且，例如，即使對象之非正方形量子化矩陣之尺寸為8×2時，對應之正方性量子化矩陣之尺寸仍為8×8。該情形 下，8×8之量子化矩陣之第0行及第4行、或第0行及第1行亦可為既定之複製源。另，此處矩陣之上端之列及左端之行分別為第0列及第0行。
若指定模式為「1：複製源ID」則量子化矩陣參數進而包含「複製源ID」。「複製源ID」係表示用於特定出對應之正方形量子化矩陣之列或行中複製源之列或行之位置之1個以上之列ID或行ID。例如，對象之非正方形量子化矩陣之尺寸為2×8，且為「複製源ID」顯示「0」及「3」者。該情形下，8×8之正方形量子化矩陣之第0列及第3行成為複製源。另，本指定方式中，若對象之非正方形量子化矩陣之長邊為水平方向之邊，則對應之正方形量子化矩陣之任一列成為複製源。且，若對象之非正方形量子化矩陣之長邊為垂直方向之邊，則對應之正方形量子化矩陣之任一行成為複製源。
若指定模式為「2：方向+複製源ID」，則儘管於對象之非正方形量子化矩陣之長邊方向，亦可將對應之正方形量子化矩陣之列指定為複製源，且亦可將行指定為複製源。該情形下，量子化矩陣參數進而包含「複製源ID」及「複製源方向」。「複製源方向」係用於特定出將對應之正方形量子化矩陣之列作為複製源還是將行作為複製源的分類。作為一例，複製源方向之分類可應用以下任一值。
0：同方向
1：其他方向
例如，設對象之非正方形量子化矩陣之尺寸為2×8，且 為「複製源ID」顯示「0」及「3」，「複製源方向」顯示「0：同方向」者。該情形下，8×8之正方形量子化矩陣之第0列及第3列成為複製源。另一方面，在相同條件下「複製源方向」顯示「1：其他方向」時，8×8之正方形量子化矩陣之第0行及第3行分別成為2×8之非正方形量子化矩陣之第0列及第1列之複製源。
(3)換位模式
若產生模式為「2：換位模式」，則對象之非正方形量子化矩陣可計算為長邊之尺寸與短邊之尺寸互調之另一非正方形量子化矩陣之換位矩陣。例如，8×2之量子化矩陣可計算為2×8之量子化矩陣之換位矩陣。
「殘差資料」係於產生模式為「1：複製模式」或「2：換位模式」時包含於量子化矩陣參數中。殘差資料亦可為將針對由複製或換位產生之量子化矩陣之實際所使用之量子化矩陣之全部要素之殘差以特定掃描圖案予以1次元排列化之資料。
圖5例示之量子化矩陣參數亦可如上述般插入SPS或PPS、或與該等參數集相異之參數集中。另，該等量子化矩陣參數只不過為一例。即，亦可省略上述量子化矩陣參數之其中一部分參數，或亦可追加其他參數。另，圖5例示之「非正方形矩陣旗標」及「殘差資料」以外之參數可對每種非正方形量子化矩陣分別定義，亦可涵蓋複數種非正方形量子化矩陣而共通定義。
例如，亦可以複製模式產生非正方形量子化矩陣，及由 編碼器及解碼器以共通規格預先定義要複製哪一列或哪一行。該情形中，因亦可不將「產生模式」、「指定模式」、「複製源ID」及「複製源方向」等之參數插入參數集中，故可降低處理負擔(overhead)從而提高編碼效率。
再者，即使「非正方形矩陣旗標」顯示「1：是」之情形時，在使用既定之量子化矩陣作為對應之正方形量子化矩陣之例中，亦可省略「非正方形矩陣旗標」以外之圖5例示之量子化矩陣參數。如此之例中，關於非正方形量子化矩陣亦可使用預定義之既定之量子化矩陣。
[1-6.非正方形量子化矩陣之產生例]
圖6A~圖6C顯示複製模式下之非正方形量子化矩陣之產生例。
圖6A之右側顯示產生對象之量子化矩陣即2×8之非正方形量子化矩陣MNS28。另一方面，圖6A之左側顯示與量子化矩陣MNS28對應之8×8之正方形量子化矩陣MS8。且，作為指定模式則指定「0：預設」。預定義之既定複製源設為第0列及第4列。該情形下，量子化矩陣MNS28可藉由於其第0列複製量子化矩陣MS8之第0列、於其第1列複製量子化矩陣MS8之第4列而產生。且，複製後之量子化矩陣MNS28之各要素係亦可根據必要而加上殘差。
如此，可藉由複製來自正方形量子化矩陣之列或行而產生非正方形量子化矩陣，可抑制使用非正方形量子化矩陣所引起之編碼量之增加。且，藉由設複製源之列或行之位置為既定之位置可避免伴隨指定複製源之列或行之位置而 使編碼量增加。
圖6B之右側顯示產生對象之量子化矩陣之8×2之非正方形量子化矩陣MNS82。另一方面，圖6B之左側顯示與量子化矩陣MNS82對應之8×8之正方形量子化矩陣MS8。且，作為指定模式指定「1：複製源ID」，作為複製源ID則指定(0,6)。該情形下，量子化矩陣MNS82係藉由於其第0列複製量子化矩陣MS8之第0列、於其第1列複製量子化矩陣MS8之第6列而產生。且，複製後之量子化矩陣MNS82之各要素係亦可根據必要而加上殘差。
如此，於產生來自正方形量子化矩陣之非正方形量子化矩陣時，藉由指定複製源之列或行之位置，可更減小相對於複製後之矩陣之實際使用之矩陣之殘差，從而可抑制用於殘差資料之編碼量。藉此，可更有效抑制使用非正方形量子化矩陣引起之編碼量之增加。
圖6C之右側顯示產生對象之量子化矩陣的2×4之非正方形量子化矩陣MNS24。另一方面，圖6C之左側顯示與量子化矩陣MNS24對應之4×4之正方形量子化矩陣MS4。且，作為指定模式而指定「2：複製源方向+複製源ID」、作為複製源ID則指定(0,3)、作為複製源方向則指定「1：其他方向」。該情形下，量子化矩陣MNS24藉由對其第0列複製量子化矩陣MS4之第0行、對其第1列複製量子化矩陣MS4之第3行而產生。且，複製後之量子化矩陣MNS24之各要素係亦可根據必要而加上殘差。
如此，無關於非正方形量子化矩陣之形狀，複製而可藉 由指定正方形量子化矩陣之列及行兩者作為複製源，特別於使用具有非對稱要素值之量子化矩陣時，可擴大複製源之選擇範圍。藉此，可使相對於複製後之矩陣之實際使用之矩陣之殘差極小化。
圖7顯示換位模式下之非正方形量子化矩陣之產生例。
圖7之右側顯示有產生對象之量子化矩陣的2×8之非正方形量子化矩陣MNS28。另一方面，圖7之左側顯示有8×2之非正方形量子化矩陣MNS82。該情形下，可產生量子化矩陣MNS28作為量子化矩陣MNS82之換位矩陣(MNS82 T)。且，換位後之量子化矩陣MNS28之各要素係亦可根據需要而加上殘差。
如此，換位模式中，無需指定模式、複製源ID及複製源方向等之參數即可自對稱之其他非正方形量子化矩陣產生與使用複製模式之情形同樣之非正方形量子化矩陣。因此，可進一步減少用於非正方形量子化矩陣之編碼量。
圖8A及圖8B係用於針對用於產生非正方形量子化矩陣之簡化技術進行說明的說明圖。
圖8A之右側顯示產生對象之量子化矩陣的2個非正方形量子化矩陣MNS416及MNS164。另一方面，圖8A之左側顯示對應之8×8之正方形量子化矩陣MS16。此處，以複製模式產生非正方形量子化矩陣者，及複製哪一行/列者對編碼器及解碼器兩者而言為既知(例如作為規格予以預先定義)。因此，「產生模式」、「指定模式」、「複製源ID」及「複製源方向」作為量子化參數未被編碼。預定義之既定 複製源之列/行之位置亦可為任意位置。圖8A之例中，預定義之既定複製源之列及行之位置分別為自第0列每隔4列及自第0行每隔4行之位置(圖中斜線部分)。該情形下，量子化矩陣MNS416藉由對其之4列複製量子化矩陣MS16之第0、第4、第8及第12列而產生。量子化矩陣MNS164藉由對其之4行複製量子化矩陣MS16之第0、第4、第8及第12行而產生。
圖8B之右側顯示產生對象之量子化矩陣的2個非正方形量子化矩陣MNS832及MNS328。另一方面，圖8B之左側顯示對應之32×32之正方形量子化矩陣MS32。與圖8A之例同樣，「產生模式」、「指定模式」、「複製源ID」及「複製源方向」作為量子化參數未被編碼。預定義之既定複製源之列及行之位置係與圖8A之例同樣，分別為自第0列每隔4列及自第0行每隔4行之位置(圖中斜線部分)。該情形下，量子化矩陣MNS832藉由對其之8列複製量子化矩陣MS32之第0、第4、第8、第12、第16、第20、第24及第28列而產生。量子化矩陣MNS328藉由對其之8行複製量子化矩陣MS32之第0、第4、第8、第12、第16、第20、第24及第28行而產生。
另，如圖8A及圖8B之例般，既定複製源之列/行之位置亦可為根據矩陣之邊之尺寸比而等間隔劃分之位置。代之，亦可為例如自上端或左端之連續N個列/行。且，代替複製既定位置之行/列，亦可將正方形量子矩陣之既定位置之4個要素複製到非正方形量子化矩陣之4個頂點位置之 要素，並內插剩餘要素(例如利用線型內插等之技術)。且，亦可將正方形量子化矩陣之既定位置之N個要素(N等於非正方形量子化矩陣之全要素之數)分別複製到非正方形量子化矩陣之對應位置之要素。
如此，藉由以複製模式自正方形量子化矩陣生成非正方形量子化矩陣者及預定義複製哪一矩陣，而可針對非正方形量子化矩陣省略量子化矩陣參數之較多編碼。藉此，可降低傳輸之處理負擔且可降低編碼器及解碼器之構成之複雜度。
圖9係用於針對使用既定之正方形量子化矩陣之情形時用於產生非正方形量子化矩陣之技術進行說明的說明圖。
圖9之左側顯示8×8之既定正方形量子化矩陣MS8def。使用如此之既定之正方形矩陣MS8def時，對應之非正方形量子化矩陣亦可為既定之矩陣。圖9之右側顯示2個既定之非正方形量子化矩陣MNS28def及MNS82def。非正方形量子化矩陣MNS28def及MNS82def係代替自正方形量子化矩陣MN8def(複製列或行等之技術)產生者，而可例如以共通規格預定義並記憶於編碼器及解碼器兩者之記憶體內。
如此，使用既定之正方形量子化矩陣時，藉由亦使非正方形量子化矩陣成為既定之量子化矩陣，可減少編碼之量子化矩陣參數從而降低傳輸之處理負擔。且，可降低編碼器及解碼器之構成之複雜度。
[1-7.掃描圖案之例]
圖5例示之量子化矩陣參數中，全掃描模式之差分資料 以及複製模式及換位模式之殘差資料係依據某種掃描圖案使2次元之矩陣予以1次元化而產生。使正方形量子化矩陣之要素1次元化時所常用之掃描圖案係所謂Z字形掃描。於此相對，使非正方形量子化矩陣之要素1次元化時，亦可利用與類似於Z字形掃描之掃描圖案相異之掃描圖案。
圖10顯示3種利用於非正方形量子化矩陣之掃描圖案之例。
圖10之左側之第1例係類似於Z字形掃描之掃描圖案，此處將該掃描圖案亦稱作Z字形掃描。Z字形掃描中，以量子化矩陣之中位於自右上至左下之斜線上之要素間之相關性高為前提，以使相互相關性較高之要素群之要素連續掃描之方式決定掃描順序。
圖10之中央之第2例係連續掃描沿非正方形量子化矩陣之長邊方向排列之要素群的掃描圖案，將該掃描圖案稱作長邊優先掃描。長邊優先掃描於量子化矩陣之中沿長邊方向排列之要素間之相關性較高時，減小連續掃描之要素間之差分，並最優化DPCM後之1次元排列。
圖10之右側之第3例係連續掃描沿非正方形量子化矩陣之短邊方向排列之要素群的掃描圖案，係將該掃描圖案稱作短邊優先掃描。短邊優先掃描於量子化矩陣之中沿短邊方向排列之要素間之相關性較高時，係減小連續掃描之要素間之差分，並最優化DPCM後之1次元排列。
利用於非正方形量子化矩陣之掃描圖案亦可為圖10所例示之掃描圖案之中固定定義之任一種掃描圖案。取代之， 亦可自複數個掃描圖案之候補，對每語法、每圖像、或每切片相應選擇最優化編碼效率之掃描圖案。該情形中包含用於識別應使用於SPS、PPS或切片標頭等之掃描圖案之識別碼(圖10所例示之掃描ID(scan_id)等)。
<2.一實施形態之編碼時之處理流程>
圖11係顯示本實施形態之圖像編碼裝置10之編碼時之處理流程之一例的流程圖。另，此處，自說明之簡潔性之觀點而言，僅顯示與圖像資料之正交轉換及量子化有關聯之處理步驟。
參照圖11，首先，正交轉換部15之轉換單位設定部152辨識應設定在經編碼之圖像資料中之各轉換單位之形狀及尺寸，並在圖像內設定轉換單位(步驟S110)。
接著，正交轉換運算部154針對由轉換單位設定部152設定之各轉換單位，藉由使圖像資料(自減法部14輸入之預測誤差資料)進行正交轉換而產生轉換係數資料(步驟S120)。
接著，量子化部16之量子化矩陣設定部162將與經設定之轉換單位之形狀及尺寸對應之量子化矩陣設定為各轉換單位(步驟S130)。
接著，量子化運算部164針對各轉換單位，使用由量子化矩陣設定部162設定之量子化矩陣，使自正交轉換運算部154輸入之轉換係數資料量子化(步驟S140)。
又，可逆編碼化部17藉由對自量子化運算部164輸入之量子化資料編碼而產生編碼流，同時對量子化矩陣參數進 行編碼並多工化成編碼流(步驟S150)。
該等處理步驟典型可針對經編碼之圖像內之全部轉換單位予以反覆。
<3.一實施形態之圖像編碼裝置之構成例>
本節中，對一實施形態之圖像解碼裝置之構成例進行說明。
[3-1.整體構成例]
圖12係顯示一實施形態之圖像解碼裝置60之構成之一例的方塊圖。參照圖12，圖像解碼裝置60包含：語法處理部61、可逆解碼部62、反量子化部63、逆正交轉換部64、加法部65、解塊濾波器66、排序緩衝器67、D/A(Digital to Analogue：數位對類比)轉換部68、幀記憶體69、選擇器70及71、幀內預測部80、及動態補償部90。
語法處理部61自經由傳輸路徑輸入之編碼流取得SPS、PPS及切片標頭等之標頭資訊，並基於取得之標頭資訊辨識用於圖像解碼裝置60之解碼處理之各種設定。例如，本實施形態中，語法處理部61基於各參數集包含之量子化矩陣參數，產生反量子化部63之反量子化處理時所使用之量子化矩陣之候補。關於語法處理部61之詳細構成於後將予以進一步說明。
可逆解碼部62根據編碼時所使用之編碼方式而解碼自語法處理部61輸入之編碼流。又，可逆解碼部62將解碼後之量子化資料向反量子化部63輸出。且，可逆解碼部62將與標頭資訊包含之幀內預測有關之資訊向幀內預測部80輸 出，將與幀間預測有關之資訊向動態補償部90輸出。
反量子化部63使用與由語法處理部61產生之量子化矩陣之候補中之各轉換單位之形狀及尺寸對應之量子化矩陣，使可逆解碼部62解碼後之量子化資料(即經量子化之轉換係數資料)予以反量子化。關於反量子化部63之詳細構成於後將予以進一步說明。
逆正交轉換部64針對設定在經解碼之圖像內之各轉換單位，藉由使反量子化後之轉換係數資料進行逆正交轉換而產生預測誤差資料。本實施形態中可設定之轉換單位之形狀係如上述為正方形或非正方形。又，逆正交轉換部64將產生之預測誤差資料向加法部65輸出。
加法部65藉由將自逆正交轉換部64輸入之預測誤差資料與自選擇器71輸入之預測圖像資料相加而產生解碼圖像資料。接著，加法部65將產生之解碼圖像資料向解塊濾波器66及幀記憶體69輸出。
解塊濾波器66藉由過濾自加法部65輸入之解碼圖像資料而消除區塊變形，並將過濾後之解碼圖像資料向排序緩衝器67及幀記憶體69輸出。
排序緩衝器67藉由重排自解塊濾波器66輸入之圖像而產生時間序列之一連串圖像資料。接著，排序緩衝器67將產生之圖像資料向D/A轉換部68輸出。
D/A轉換部68將自排序緩衝器67輸入之數位形式之圖像資料轉換為類比形式之圖像信號。接著，D/A轉換部68例如藉由向與圖像解碼裝置60連接之顯示器(未圖示)輸出類 比圖像信號而顯示圖像。
幀記憶體69使用記憶媒體記憶自加法部65輸入之過濾前之解碼圖像資料及自解塊過濾器66輸入之過濾後之解碼圖像資料。
選擇器70根據由可逆解碼部62取得之模式資訊，對圖像內之各區塊，使來自幀記憶體69之圖像資料之輸出地於幀內預測部80與動態補償部90之間切換。例如，選擇器70於指定幀內預測模式時，將自幀記憶體69供給之過濾前之解碼圖像資料作為參照圖像資料向幀內預測部80輸出。且，選擇器70於指定幀間預測模式時，將自幀記憶體69供給之過濾後之解碼圖像資料作為參照圖像資料向動態補償部90輸出。
選擇器71根據由可逆解碼部62取得之模式資訊，對圖像內之各區塊，使應供給至加法部65之預測圖像資料之輸出端於幀內預測部80與動態補償部90之間切換。例如，選擇器71於指定幀內預測模式時，將自幀內預測部80輸出之預測圖像資料向加法部65供給。選擇器71於指定幀間預測模式時，將自動態補償部90輸出之預測圖像資料向加法部65供給。
幀內預測部80基於與自可逆解碼部62輸入之幀內預測有關之資訊及來自幀記憶體69之參照圖像資料，進行像素值之畫面內預測，產生預測圖像資料。接著，幀內預測部80將產生之預測圖像資料向選擇器71輸出。
動態補償部90基於與自可逆解碼部62輸入之幀間預測有 關之資訊及來自幀記憶體69之參照圖像資料，進行動態補償處理，產生預測圖像資料。接著，動態補償部90將產生之預測圖像資料向選擇器71輸出。
[3-2.語法處理部之構成例]
圖13係顯示圖12所示之圖像解碼裝置60之語法處理部61之詳細構成之一例的方塊圖。參照圖13，語法處理部61包含參數獲取部212及產生部214。
(1)參數獲取部
參數獲取部212辨識來自圖像資料流之SPS、PPS及切片標頭等之標頭資訊並取得標頭資訊所包含之參數。例如，本實施形態中，參數獲取部212自各參數集取得定義量子化矩陣之量子化矩陣參數。接著，參數獲取部212將取得之參數向產生部214輸出。且，參數獲取部212將圖像資料流向可逆解碼部62輸出。
(2)產生部
產生部214基於由參數獲取部212取得之量子化矩陣參數產生可由反量子化部63使用之量子化矩陣之候補。本實施形態中，由產生部214產生之量子化矩陣包含與由逆正交轉換部64逆正交轉換之單位之轉換單位之種類(即形狀及尺寸之組合)各者對應之量子化矩陣。
更具體而言，產生部214於例如未使用既定之量子化矩陣時，基於編碼流之參數集或標頭內之定義而產生各種尺寸之正方形量子化矩陣。且，產生部214於編碼流之參數集或標頭中包含表示使用非正方形量子化矩陣之旗標(例 如上述非正方形矩陣旗標)時，產生非正方形量子化矩陣。非正方形量子化矩陣亦可根據上述全掃描模式、複製模式及換位模式之任一者而產生。
例如，複製模式中，產生部214藉由複製對應之正方形量子化矩陣之列或行而產生非正方形量子化矩陣。應複製正方形量子化矩陣之哪一列或行可由量子化矩陣參數內之複製源ID及複製方向而指定。且，未指定應複製之列或行時，將預定義之既定位置之列或行作為複製源處理。
再者，全掃描模式中，產生部214代替自正方形量子化矩陣產生非正方形量子化矩陣，而是基於使用DPCM方式之差分資料之定義產生非正方形量子化矩陣。
再者，換位模式中，產生部214產生非正方形量子化矩陣作為具有與該非正方形量子化矩陣對稱之形狀之另一非正方形量子化矩陣之換位矩陣。複製模式及換位模式之情形中，產生部214亦可進而對複製後之量子化矩陣或換位後之量子化矩陣之各要素加上於量子化矩陣參數內定義之殘差。
另，產生部214於與某非正方形量子化矩陣對應之正方形量子化矩陣為既定量子化矩陣時，使用預定義之既定非正方形量子化矩陣作為該非正方形量子化矩陣。
產生部214將如此產生之量子化矩陣之候補向反量子化部63輸出。
[3-3.反量子化部之構成例]
圖14係顯示圖12所示之圖像解碼裝置60之反量子化部63 之詳細構成之一例的方塊圖。參照圖14，反量子化部63包含量子化矩陣設定部232及反量子化運算部234。
(1)量子化矩陣設定部
量子化矩陣設定部232辨識由逆正交轉換部64逆正交轉換時所使用之轉換單位之形狀及尺寸，並將與經辨識之形狀及尺寸對應之量子化矩陣設定在各轉換單位內。例如，量子化矩陣設定部232取得編碼流之標頭資訊所包含之轉換單位資訊。又，量子化矩陣設定部232辨識來自轉換單位資訊之各轉換單位之形狀及尺寸，並將語法處理部61之產生部214所產生之量子化矩陣中與經辨識之形狀及尺寸對應之量子化矩陣設定在各轉換單位中。另，量子化矩陣產生部232亦可將與預測模式(幀內預測/幀間預測)及信號成分(Y/Cb/Cr)之每一組合相異之量子化矩陣設定在各轉換單位中。
(2)反量子化運算部
反量子化運算部234針對各轉換單位，使用由量子化矩陣設定部232設定之量子化矩陣，使自可逆解碼部62輸入之轉換係數資料(量子化資料)反量子化。接著，反量子化運算部234將經反量子化後之轉換係數資料逆正交轉換部64輸出。
[3-4.逆正交轉換部之構成例]
圖15係顯示圖12所示之圖像解碼裝置60之逆正交轉換部64之詳細構成之一例的方塊圖。參照圖15，逆正交轉換部64包含轉換單位設定部242及逆正交轉換運算部244。
(1)轉換單位設定部
轉換單位設定部242設定正方形或非正方形之轉換單位作為將經解碼之圖像資料予以逆正交轉換時所使用之轉換單位。由轉換單位設定部242設定之轉換單位之形狀係正方形或非正方形。例如，轉換單位設定部242於幀內預測部80利用上述短距離幀內預測法之情形中，選擇非正方形之預測單位作為預測單位時，亦可將與該預測單位相同尺寸之非正方形之轉換單位設定在圖像內。
(2)逆正交轉換運算部
逆正交轉換運算部244針對由轉換單位設定部242設定之各轉換單位，藉由使自反量子化部63輸入之轉換係數資料進行逆正交轉換而產生預測誤差資料。又，逆正交轉換運算部244將產生之預測誤差資料向加法部65輸出。
<4.一實施形態之解碼時之處理流程>
(1)處理流程之概要
圖16係顯示本實施形態之圖像解碼裝置60解碼時之處理流程之一例的流程圖。另，此處，自說明之簡潔性之觀點而言，僅顯示與圖像資料之反量子化及逆正交轉換有關聯之處理步驟。
參照圖16，首先，語法處理部61之參數獲取部212辨識來自圖像資料流之SPS、PPS及切片標頭等之標頭資訊，取得標頭資訊所包含之量子化矩陣參數(步驟S210)。
接著，語法處理部61之產生部214基於由參數獲取部212取得之量子化矩陣參數，產生可由反量子化部63使用之量 子化矩陣之候補中之正方形量子化矩陣(步驟8220)。
接著，產生部214基於上述量子化矩陣參數，產生可由反量子化部63使用之量子化矩陣之候補中之非正方形量子化矩陣(步驟8230)。此處之詳細處理流程將於後文使用圖17進一步說明。
接著，反量子化部63之量子化矩陣設定部232對各轉換單位設定與該轉換單位之形狀及尺寸之組合對應之量子化矩陣(步驟S260)。
接著，反量子化部63之反量子化運算部234針對各轉換單位，使用經量子化矩陣設定部232設定之量子化矩陣使自可逆解碼部62輸入之量子化資料反量子化(步驟S270)。
接著，反量子化部63之反量子化運算部234針對各轉換單位，使用由量子化矩陣設定部232設定之量子化矩陣，使自可逆解碼部62輸入之量子化資料反量子化(步驟S270)。
接著，逆正交轉換部64針對各轉換單位，藉由使自反量子化部63輸入之轉換係數資料進行逆正交轉換而產生預測誤差資料(步驟S280)。此處藉由將產生之預測誤差資料由加法部65加於預測圖像資料而復原編碼前之圖像資料。
另，步驟S260~步驟S280之處理，典型上，可針對經解碼之圖像內之所有轉換單位予以反覆。
(2)非正方形量子化矩陣產生處理
圖17係顯示圖16之步驟S230之非正方形量子化矩陣產生處理之流程之一例的流程圖。圖17所示之處理係對包含量 子化矩陣參數之每個參數集進行。另，各參數集具有如圖5所例示般之量子化矩陣參數。
參照圖17，首先，產生部214取得非正方形矩陣旗標(步驟S231)。接著，產生部214基於非正方形矩陣旗標之值決定是否產生非正方形量子化矩陣(步驟S232)。此處，產生部214決定不產生非正方形量子化矩陣時，跳過其以後之處理。另一方面，產生部214決定產生非正方形量子化矩陣時，處理則前進至步驟S234。
步驟S236~步驟S252之處理可針對每非正方形量子化矩陣反覆進行(步驟S234)。非正方形量子化矩陣之種類可例如根據量子化矩陣之尺寸、預測模式及信號成分之組合而區分。
步驟S238中，產生部214判定對應之正方形量子化矩陣是否為既定之量子化矩陣(步驟S236)。此處，對應之正方形量子化矩陣為既定之量子化矩陣時，處理則前進至步驟S237。另一方面，對應之正方形量子化矩陣並非既定之量子化矩陣時，處理則前進至步驟S238。
步驟S237中，產生部214係取得預定義之記憶於記憶體內之既定之量子化矩陣作為產生對象之非正方形量子化矩陣(步驟S237)。
步驟S238中，產生部214取得產生模式(步驟S238)。又，產生部214基於取得之產生模式之值轉換其以後之處理。
例如，產生部214於產生模式顯示為全掃描模式時(步驟 S240)，進而取得差分資料，並以全掃描模式產生非正方形量子化矩陣(步驟S242)。
再者，例如，產生部214於產生模式顯示為複製模式時(步驟S244)，進而取得指定模式以及根據必要進而取得複製源ID及複製源方向(步驟S246)。接著，產生部214藉由以複製模式即自對應之正方形量子化矩陣複製指定之列或行而產生非正方形量子化矩陣(步驟248)。
再者，例如，產生部214於產生模式顯示為換位模式時，以換位模式自具有與該非正方形量子化矩陣對稱之形狀之另一非正方形量子化矩陣，產生非正方形量子化矩陣(步驟S250)。
另，預定義藉由來自正方形量子化矩陣之複製產生之非正方形量子化矩陣之情形中，亦可不執行基於產生模式之值之處理轉換而原則上亦可以複製模式產生非正方形量子化矩陣。
進而，產生部214於複製模式或換位模式中，於存在殘差資料時，對複製後之量子化矩陣或換位後之量子化矩陣之各要素加上殘差(步驟S252)。
<5.對各種編解碼器的應用>
本發明之技術可應用於與圖像之編碼及解碼有關聯之各種編解碼器上。本節中，本發明之技術係就分別於多視圖編解碼器及可調性編解碼器應用之例進行說明。
[5-1.多視圖編解碼器]
多視圖編解碼器係用於編碼及解碼所謂多視點影像的圖 像編碼方式。圖18係用於針對多視圖編解碼器進行說明的說明圖。參照圖18，其顯示3個視點中分別攝影之3個視圖之幀序列。各視圖被賦予視圖ID(view_id)。指定該等複數個視圖中之任意一個視圖為基準視圖(base view)。基準視圖以外之視圖稱作非基準視圖。圖18之例中視圖ID為「0」之視圖係基準視圖，視圖ID為「1」或「2」之2個視圖係非基準視圖。編碼該等多視圖之圖像資料時，基於針對基準視圖之幀之編碼資訊，藉由編碼非基準視圖之幀，可壓縮作為整體之編碼流之資料尺寸。
根據上述多視圖編解碼器之編碼處理及解碼處理中，可自與正方形之轉換單位對應之量子化矩陣產生與非正方形之轉換單位對應之量子化矩陣。每產生各視圖所利用之量子化矩陣時，亦可對每一視圖設定某種控制參數(例如圖5所例示之參數)。且，基準視圖內設定之控制參數亦可於非基準視圖內予以再利用。且，亦可追加指定顯示視圖間是否再利用控制參數之旗標。
圖19係用於針對將上述圖像編碼處理應用於多視圖編解碼器進行說明的說明圖。參照圖19，其顯示有作為一例之多視圖編碼裝置710之構成。多視圖編碼裝置710包含：第1編碼部720、第2編碼部730及多工化部740。
第1編碼部720將基準視圖圖像編碼並產生基準視圖之編碼流。第2編碼部730將非基準視圖圖像編碼並產生非基準圖像之編碼流。多工化部740將由第1編碼部720產生之基準視圖之編碼流及由第2編碼部730產生之1個以上之非基 準視圖之編碼流多工化並產生多視圖之多工化流。
圖19中例示之第1編碼部720及第2編碼部730具有與上述實施形態之圖像編碼裝置10同等之構成。藉此，可自與正方形之轉換單位對應之量子化矩陣產生與各視圖所利用之非正方形之轉換單位對應之量子化矩陣。控制該等處理之參數可插入各視圖之編碼流之標頭區域，亦可插入多工化流內之共通標頭區域。
圖20係用於針對將上述圖像解碼處理應用於多視圖編解碼器進行說明的說明圖。參照圖20，其顯示作為一例之多視圖解碼裝置760之構成。多視圖解碼裝置760包含：逆多工化部770、第1解碼部780及第2解碼部790。
逆多工化部770將多視圖之多工化流逆多工化成基準視圖之編碼流及1個以上之非基準視圖之編碼流。第1解碼部780自基準視圖之編碼流解碼基準視圖圖像。第2解碼部790自非基準視圖之編碼流解碼非基準視圖圖像。
圖20中例示之第1解碼部780及第2解碼部790具有與上述實施形態之圖像解碼裝置60同等之構成。藉此，可自與正方形之轉換單位對應之量子化矩陣產生與各視圖所利用之非正方形之轉換單位對應之量子化矩陣。控制該等處理之參數可自各視圖之編碼流之標頭區域取得，亦可自多工化流內之共通標頭區域取得。
[5-2.可調性編解碼器]
可調性編解碼器係用於實現所謂階層編碼之圖像編碼方式。圖21係用於針對可調性編解碼器進行說明的說明圖。 參照圖21，其顯示空間解像度、時間解像度或畫質之不同3層之幀序列。各層被賦予層ID(Layer_id)。該等複數層之中，解像度(或畫質)最低之層為基準層(base layer)。基準層以外之層稱作增強層。圖21之例中，層ID為「0」之層係基準層，層ID為「1」或「2」之2層係增強層。編碼該等多層之圖像資料時，基於針對基準層之幀之編碼資訊而編碼增強層之幀，可壓縮作為整體之編碼流之資料尺寸。
依據上述可調性編解碼器之編碼處理及解碼處理中，可自與正方形之轉換單位對應之量子化矩陣產生與非正方形之轉換單位對應之量子化矩陣。每產生各層所利用之量子化矩陣時，亦可對每層設定某種控制參數(例如圖5例示之參數)。且，基準層中設定之控制參數亦可在增強層內予以再利用。且，亦可追加指定顯示層間是否再利用控制參數之旗標。
圖22係用於針對上述圖像編碼處理於可調性編解碼器之應用進行說明的說明圖。參照圖22，其顯示有作為一例之可調性編碼裝置810之構成。可調性編碼裝置810包含：第1編碼部820、第2編碼部830及多工化部840。
第1編碼部820編碼基準層圖像並產生基準層之編碼流。第2編碼部830編碼增強層圖像並產生增強層之編碼流。多工化部840使由第1編碼部820產生之基準層之編碼流及由第2編碼部830產生之1個以上之增強層之編碼流予以多工化並產生多層之多工化流。
圖22中例示之第1編碼部820及第2編碼部830具有與上述實施形態之圖像編碼裝置10同等之構成。藉此，可自與正方形之轉換單位對應之量子化矩陣產生與各層所利用之非正方形之轉換單位對應之量子化矩陣。控制該等處理之參數亦可插入各層之編碼流之標頭區域，或亦可插入多工化流內之共通標頭區域。
圖23係用於針對上述圖像解碼處理於可調性編解碼器之應用進行說明的說明圖。參照圖23，其顯示作為一例之可調性解碼裝置860之構成。可調性解碼裝置860包含：逆多工化部870、第1解碼部880及第2解碼部890。
逆多工化部870將多層之多工化流逆多工化成基準層之編碼流及1個以上之增強層之編碼流。第1解碼部880自基準層之編碼流解碼基準層圖像。第2解碼部890自增強層之編碼流解碼增強層圖像。
圖23中例示之第1解碼部880及第2解碼部890具有與上述實施形態之圖像解碼裝置60同等之構成。藉此，可自與正方形之轉換單位對應之量子化矩陣產生與各層所利用之非正方形之轉換單位對應之量子化矩陣。控制該等處理之參數可自各層之編碼流之標頭區域取得，亦可自多工化流內之共通標頭區域取得。
<6.應用例>
上述實施形態之圖像編碼裝置10及圖像解碼裝置60可應用於藉衛星播放、電纜TV等之有線播放、網際網路上之傳送、及利用蜂窩通訊朝終端之傳送等之發送機或接收 機、於光碟、磁性光碟及快閃記憶體等之媒體記憶圖像之記錄裝置、或自該等記錄媒體再生圖像之再生裝置等之各種電子機器。以下，就4種應用例進行說明。
[6-1.第1應用例]
圖24顯示應用上述實施形態之電視裝置之概略構成之一例。電視裝置900包含：天線901、調諧器902、解多工器(demultiplexer)903、解碼器904、影像信號處理部905、顯示部906、聲音信號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902自透過天線901接收之播放信號抽出所需之頻道信號並解調所抽出之信號。又，調諧器902將解調所得之編碼位元流向解多工器903輸出。即，調諧器902具有接收圖像經編碼之編碼流之作為電視裝置900中之傳輸機構之作用。
解多工器903自編碼位元流分離視聽對象之節目之影像流及聲音流並將經分離之各流朝解碼器904輸出。且，解多工器903自編碼位元流抽出EPG(Electronic Program Guide：電子節目單)等之輔助資料，並將抽出之資料供給控制部910。另，解多工器903於編碼位元流可調性(scramble)時亦可進行解擾。
解碼器904解碼自解多工器903輸入之影像流及聲音流。又，解碼器904將由解碼處理產生之影像資料向影像信號處理部905輸出。且，解碼器904將由解碼處理產生之聲音資料向聲音信號處理部907輸出。
影像信號處理部905再生自解碼器904輸入之影像資料並使影像顯示於顯示部906。且，影像信號處理部905亦可使經網路供給之應用畫面顯示於顯示部906。且，影像信號處理部905針對影像資料亦可根據設定進行例如消除雜訊等之追加處理。進而，影像信號處理部905亦可例如產生選單、按鈕或游標等之GUI(Graphical User Interface：圖形使用者介面)之圖像，並將產生之圖像重疊於輸出圖像。
顯示部906由自影像信號處理部905供給之驅動信號驅動而於顯示裝置(例如液晶顯示器、電漿顯示器或OLED等)之影像面上顯示影像或圖像。
聲音信號處理部907針對自解碼器904輸入之聲音資料進行D/A轉換及放大等之再生處理，並自揚聲器908輸出聲音。且，聲音信號處理部907亦可針對聲音資料進行消除雜訊等之追加處理。
外部介面909係用於連接電視裝置900與外部機器或網路的介面。例如，亦可由解碼器904解碼經外部介面909接收之影像流或聲音流。即，外部介面909亦具有接收圖像被編碼之編碼流之作為電視裝置900中之傳輸機構的功能。
控制部910具有CUP(Central Processing Unit：中央處理器)等之處理器、及RAM(Random Access Memory：隨機存取記憶體)及ROM(Read Only Memory：唯讀記憶體)等之記憶體。記憶體記憶由CPU執行之程式、程式資料、EPG資料、及經由網路取得之資料等。由記憶體記憶之程式例如 於啟動電視裝置900時由CPU讀入並執行。CPU藉由執行程式而例如根據自使用者介面911輸入之操作信號而控制電視裝置900之動作。
使用者介面911連接於控制部910。使用者介面911包含例如使用者用於操作電視裝置900之按鈕及開關以及遠距離控制信號之接收部等。使用者介面911經由該等構成要素檢測使用者之操作從而產生操作信號，並將產生之操作信號向控制部910輸出。
匯流排912相互連接調諧器902、解多工器903、解碼器904、影像信號處理部905、聲音信號處理部907、外部介面909及控制部910。
如此構成之電視裝置900中，解碼器904具有上述實施形態之圖像解碼裝置60之功能。因此，就由電視裝置900解碼之影像，即使於使用非正方形之轉換單位之情形，仍可抑制定義量子化矩陣所需之編碼量之增大。
[6-2.第2應用例]
圖25顯示應用上述實施形態之行動電話之概略構成之一例。行動電話920包含：天線921、通信部922、聲音編解碼器923、揚聲器924、麥克風925、照相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921連接於通信部922。揚聲器924及麥克風925連接於聲音編解碼器923。操作部932連接於控制部931。匯流排933相互連接通信部922、聲音編解碼器923、照相機部 926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931。
行動電話920係以包含聲音通話模式、資料通信模式、攝影模式及電視電話模式之各種動作模式進行聲音信號之收發、電子郵件或圖像資料之收發、圖像拍攝及資料記錄等之動作。
聲音通話模式中，由麥克風925產生之類比聲音信號供給聲音編解碼器923。聲音編解碼器923將類比聲音信號轉換為聲音資料，A/D轉換並壓縮經轉換之聲音資料。接著，聲音編解碼器923將壓縮後之聲音資料向通信部922輸出。通信部922將聲音信號編碼及調變並產生發送信號。接著，通信部922將產生之發送信號經由天線921發送給基地台(未圖示)。且，通信部922放大經天線921接收之無線信號並進行頻率轉換而取得接收信號。接著，通信部922解調及解碼接收信號而產生聲音資料，並將產生之聲音資料向聲音編解碼器923輸出。聲音編解碼器923擴展聲音資料並進行及D/A轉換而產生類比聲音信號。接著，聲音編解碼器923將產生之聲音信號供給至揚聲器924從而輸出聲音。
再者，資料通信模式中，例如，控制部931根據使用者透過操作部932之操作而產生構成電子郵件之文字資料。且，控制部931將文字顯示於顯示部930。且，控制部931根據來自使用者透過操作部932之發送指示而產生電子郵件資料，並將產生之電子郵件資料向通信部922輸出。通 信部922編碼及調變電子郵件資料並產生發送信號。接著，通信部922將產生之發送信號經天線921發送給基地台(未圖示)。且，通信部922放大經天線921接收之無線信號並進行頻率轉換而取得接收信號。又，通信部922解調及解碼接收信號而復原電子郵件資料，並將經復原之電子郵件資料向控制部931輸出。控制部931電子郵件之內容顯示於顯示部930同時亦將電子郵件資料記憶於記錄再生部929之記憶媒體中。
記錄再生部929具有可讀寫之任意之記憶媒體。例如，記憶媒體可為RAM或快閃記憶體等之內置型記憶媒體，亦可為硬碟、磁性光碟、磁光碟、光碟、USB記憶體、或記憶卡等之外部安裝型記憶媒體。
再者，攝影模式中，例如，照相機部926拍攝被攝物體而產生圖像資料並將產生之圖像資料向圖像處理部927輸出。圖像處理部927編碼自照相機部926輸入之圖像資料，並將編碼流記憶於記錄再生部929之記憶媒體中。
再者，電視電話模式中，例如，多工分離部928使經圖像處理部927編碼之影像流及自聲音編解碼器923輸入之聲音流予以多工化，並將經多工化之流朝通信部922輸出。通信部922編碼及調變該流並產生發送信號。接著，通信部922將產生之發送信號經天線921發送給基地台(未圖示)。且，通信部922放大經天線921接收之無線信號並進行頻率轉換而取得接收信號。該等發送信號及接收信號可包含編碼位元流。接著，通信部922解調及解碼接收信號 而使流復原，並將經復原之流向多工分離部928輸出。多工分離部928自輸入之流分離成影像流及聲音流，並將影像流朝圖像處理部927輸出、將聲音流朝聲音編解碼器923輸出。圖像處理部927解碼影像流而產生影像信號。將影像資料供給至顯示部930而由顯示部930顯示一連串之圖像。聲音編解碼器923擴展聲音流並進行D/A轉換而產生類比聲音信號。接著，聲音編解碼器923將產生之聲音信號供給至揚聲器924從而輸出聲音。
如此構成之行動電話920中，圖像處理部927具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。因此，關於由行動電話920編碼及解碼之影像，即使用非正方形之轉換單位之情形中仍可抑制定義量子化矩陣所需之編碼量之增大。
[6-3.第3應用例]
圖26顯示應用上述實施形態之記錄再生裝置之概略構成之一例。記錄再生裝置940例如編碼所接收之廣播節目之聲音資料及影像資料並記錄於記錄媒體。且，記錄再生裝置940亦可例如編碼自其他裝置取得之聲音資料及影像資料並記錄於記錄媒體。且，記錄再生裝置940例如根據使用者之指示而將記錄於記錄媒體中之資料在監視器及揚聲器上再生。此時，記錄再生裝置940解碼聲音資料及影像資料。
記錄再生裝置940包含：調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive：硬碟驅動器)944、磁碟 驅動器945、選擇器946、解碼器947、OSD(On-Screen Display：螢幕上顯示器)948、控制部949、及使用者介面950。
調諧器941自經天線(未圖示)接收之廣播信號抽出所需之頻道信號並解調所抽出之信號。接著，調諧器941將解調所得之編碼位元流朝選擇器946輸出。即，調諧器941具有作為記錄再生裝置940中之傳輸機構之功能。
外部介面942係用於連接記錄再生裝置940與外部機器或網路的介面。外部介面942例如亦可為IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，經外部介面942接收之影像信號及聲音資料輸入至編碼器943。即，外部介面942具有作為記錄再生裝置940中之傳輸機構之功能。
編碼器943於自外部介面942輸入之影像資料及聲音資料未被編碼之情形下，編碼影像資料及聲音資料。接著，編碼器943將編碼位元流朝選擇器946輸出。
HDD944將影像及聲音等之內容資料經壓縮之編碼位元流、各種程式及其他資料記錄於內部硬碟中。且，HDD944係於影像及聲音之再生時自硬碟讀出該等資料。
磁碟驅動器945執行對所安裝之記錄媒體之資料記錄及讀出。安裝於磁碟驅動器945上之記錄媒體亦可為例如DVD光碟(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或藍光(Blu-ray)(註冊商標)光碟等。
選擇部946於影像及聲音之記錄時，選擇自調諧器941或 編碼器943輸入之編碼位元流，並將選定之編碼位元流朝HDD944或磁碟驅動器945輸出。且，選擇器946於影像及信號之再生時，將自HDD944或磁碟驅動器945輸入之編碼位元流朝解碼器947輸出。
解碼器947使編碼位元流解碼而產生影像資料及聲音資料。接著，解碼器947將產生之影像資料向OSD948輸出。且，解碼器947將產生之聲音資料向外部揚聲器輸出。
OSD948使自解碼器947輸入之影像資料再生而顯示影像。且，OSD948亦可對顯示之圖像重疊例如選單、按鈕或游標等之UGI之圖像。
控制部949包含CPU等之處理器、以及RAM及ROM等之記憶體。記憶體記憶由CPU執行之程式及程式資料等。由記憶體記憶之程式例如於啟動記錄再生裝置940時由CPU讀入並執行。CPU藉由執行程式而例如根據自使用者介面950輸入之操作信號而控制記錄再生裝置940之動作。
使用者介面950連接於控制部949。使用者介面950包含例如使用者用於操作記錄再生裝置940之按鈕及開關、以及遠距離控制信號之接收部等。使用者介面950經由該等構成要素檢測使用者之操作而產生操作信號，並將產生之操作信號向控制部949輸出。
如此構成之記錄再生裝置940中，編碼器943具有上述實施形態之圖像編碼裝置10之功能。且，解碼器947具有上述實施形態之圖像解碼裝置60之功能。因此，針對由記錄再生裝置940編碼及解碼之影像，即使於使用非正方形之 轉換單位之情形中，仍可抑制定義量子化矩陣所需之編碼量之增大。
[6-4.第4應用例]
圖27顯示應用上述實施形態之攝像裝置之概略構成之一例。攝像裝置960攝像被攝物體而產生圖像，繼而編碼圖像資料並記錄於記錄媒體中。
攝像裝置960包含：光學區塊961、攝像部962、信號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961連接於攝像部962。攝像部962連接於信號處理部963。顯示部965連接於圖像處理部964。使用者介面971連接於控制部970。匯流排972相互連接圖像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970。
光學區塊961具有聚焦透鏡及光圈機構等。光學區塊961將被攝物體之光學像成像於攝像部962之攝像面上。攝像部962具有CCD或CMOS等之影像感應器，並藉由光電轉換將成像於攝像面上之光學像轉換為電性信號之圖像信號。接著，攝像部962將圖像信號向信號處理部963輸出。
信號處理部963對於自攝像部962輸入之圖像信號進行高照度亮度修正(Knee correct)、伽瑪修正(Gamma correct)、顏色修正等之各種照相機信號處理。信號處理部963將照相機信號處理後之圖像資料向圖像處理部964輸出。
圖像處理部964編碼自信號處理部963輸入之圖像資料而產生編碼資料。接著，圖像處理部964將產生之編碼資料向外部介面966或媒體驅動器968輸出。且，圖像處理部964解碼自外部介面966或媒體驅動器968輸入之編碼資料而產生圖像資料。接著，圖像處理部964將產生之圖像資料向顯示部965輸出。且，圖像處理部964亦可將自信號處理部963輸入之圖像資料向顯示部965輸出並顯示圖像。且，圖像處理部964亦可將自OSD969取得之顯示用資料重疊於向顯示部965輸出之圖像上。
OSD969例如產生選單、按鈕或游標等之GUI之圖像並將產生之圖像向圖像處理部964輸出。
外部介面966例如作為USB輸入輸出端子而構成。外部介面966係例如於印刷圖像時連接於攝像裝置960與印表機。且，外部介面966係根據必要連接有驅動器。驅動器中例如安裝有磁性光碟或光碟等之可移除媒體，自可移除媒體讀出之程式安裝於攝像裝置960上。進而，外部介面966亦可作為連接於LAN或網際網路等之網路上之網路介面而構成。即，外部介面966具有作為攝像裝置960中之傳輸機構之功能。
安裝於媒體驅動器968上之記錄媒體亦可為例如磁性光碟、光磁碟、光碟、或半導體記憶體等之可讀寫之任意之可移除媒體。且，媒體驅動器968中固定安裝有記錄媒體，例如亦可構成如內置型硬碟驅動器或SSD(Solid State Drive：固態驅動器)般之非可攜性記憶部。
控制部970具有CPU等之處理器以及RAM及ROM等之記憶體。記憶體記憶由CPU執行之程式及程式資料等。由記憶體記憶之程式例如於啟動攝像裝置960時由CPU讀入並執行。CPU藉由執行程式而例如根據自使用者介面971輸入之操作信號而控制攝像裝置960之動作。
使用者介面971連接於控制部970。使用者介面971具有例如使用者用於操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要素檢測使用者之操作而產生操作信號，並將產生之操作信號向控制部970輸出。
如此構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。因此，關於由攝像裝置960編碼及解碼之影像，即使於可使用非正方形之轉換單位之情形中仍可抑制定義量子化矩陣所需之編碼量之增大。
<7.總結>
至此，已使用圖1~圖27就一實施形態之圖像編碼裝置10及圖像解碼裝置60進行了說明。根據上述實施形態，轉換係數資料之量子化及反量子化時，可將與轉換單位之形狀對應之量子化矩陣設定為各轉換單位。轉換單位之形狀係正方形或非正方形，且與非正方形之轉換單位對應之量子化矩陣可自與正方形之轉換單位對應之量子化矩陣產生。因此，可部分地省略與非正方形之轉換單位對應之量子化矩陣之定義，或可有效定義(即以較少之編碼量)與非正方形之轉換單位對應之量子化矩陣。因此，即使於採用可選 擇非正方形之轉換單位之方式之情形中，仍可避免隨著可選擇之轉換單位種類之增加使編碼效率明顯下降。
再者，根據本實施形態，藉由複製某正方形量子化矩陣之任一列或行而產生具有與該正方形量子化矩陣之一邊之尺寸相等之長邊的非正方形量子化矩陣。因此，僅藉反覆複製要素值般之處理成本極小之操作即可簡單產生非正方形量子化矩陣。
再者，根據本實施形態，可自正方形量子化矩陣將應複製之列或行靈活指定於編碼流之參數集或標頭內。因此，可通過上述複製產生適用於使非正方形之轉換單位之轉換係數資料予以量子化或反量子化之量子化矩陣。另一方面，自正方形量子化矩陣預定義應複製之列及行時，於減少編碼之量子化矩陣參數從而降低傳輸之處理負擔之同時，可降低裝置之複雜度。
另，本說明書中，已就將量子化矩陣參數多工化成編碼流之標頭並自編碼側傳輸至解碼側之例進行了說明。然而，傳輸量子化矩陣參數之技術並不限定於此例。例如，標頭資訊亦可不經多工成編碼位元流而係作為與編碼位元流建立關聯之其他資料予以傳輸或記錄。此時，稱作[建立關聯]之用語係表示解碼時將位元流所包含之圖像(亦可為切片或區塊等之圖像之一部分)與該圖像所對應之資訊予以鏈結。即，資訊與圖像(或位元流)亦可在不同傳輸路徑上予以傳輸。且，資訊與圖像(或位元流)亦可記錄於不同記憶媒體(或相同記錄媒體之不同記錄區域)。進而，資 訊與圖像(或位元流)亦可藉由例如複數幀、1幀、或幀內之一部分等之任意單位相互建立關聯。
以上，雖已一面參照附圖一面就本揭示之較佳實施形態進行了說明，但本揭示之技術範圍並不限定於此例。顯然，若為具備本揭示之技術範圍之通常知識者，均可於專利申請範圍所揭示之技術思想之範疇內思及各種變更例或修正例，該等當然仍應理解為應屬於本揭示之技術範圍。
另，以下之如此之構成亦屬於本揭示之技術範圍。
(1)一種圖像處理裝置，其包含：解碼部，其解碼編碼流並產生量子化後之轉換係數資料；及反量子化部，其於選擇非正方形之轉換單位作為使轉換係數資料進行逆正交轉換時所使用之轉換單位時，使用自與正方形之轉換單位對應之正方形量子化矩陣產生之與非正方形之轉換單位對應之非正方形量子化矩陣，使由上述解碼部解碼之上述經量子化之轉換係數資料予以反量子化。
(2)如上述(1)之圖像處理裝置，其中上述非正方形量子化矩陣係藉由複製上述正方形量子化矩陣之列要素或行要素而產生。
(3)如上述(2)之圖像處理裝置，其中上述非正方形量子化矩陣之長邊之尺寸與上述正方形量子化矩陣之一邊之尺寸相同。
(4)如上述(2)或上述(3)之圖像處理裝置，其中經複製之上述正方形量子化矩陣之列要素或行要素係被預定義。
(5)如上述(2)~(4)之任一項圖像處理裝置，其中上述非正方形量子化矩陣係藉由等間隔複製上述正方形量子化矩陣之列要素或行要素而產生。
(6)如上述(5)之圖像處理裝置，其中上述正方形之量子化矩陣之經複製之列要素或行要素之間隔係由上述正方形量子化矩陣之一邊之尺寸相對於上述非正方形量子化矩陣之短邊尺寸之比而決定。
(7)如上述(6)之圖像處理裝置，其中上述比係1比4；上述間隔係4列或4行。
(8)如上述(7)之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係4×4；上述非正方形量子化矩陣之尺寸係1×4或4×1。
(9)如上述(7)之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係8×8；上述非正方形量子化矩陣之尺寸係2×8或8×2。
(10)如上述(7)之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係16×16；上述非正方形量子化矩陣之尺寸係4×16或16×4。
(11)如上述(7)之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係32×32；上述非正方形量子化矩陣之尺寸係8×32或32×8。
(12)如上述(2)~(11)之任一項之圖像處理裝置，其進而包 含：產生部，其自上述正方形量子化矩陣產生上述非正方形量子化矩陣。
(13)如上述(2)~(12)之任一項圖像處理裝置，其進而包含：逆正交轉換部，其使用經選擇之上述非正方形之轉換單位，使由上述反量子化部而反量子化之上述轉換係數資料進行逆正交轉換。
(14)一種圖像處理方法，其包含：使編碼流解碼並產生經量子化後之轉換係數資料；及於選擇非正方形之轉換單位作為使轉換係數資料進行逆正交轉換時，使用自與正方形之轉換單位對應之正方形量子化矩陣產生之與非正方形之轉換單位對應之非正方形量子化矩陣，使經解碼之上述經量子化之轉化係數資料予以反量子化。
10‧‧‧圖像處理裝置(圖像編碼裝置)
15‧‧‧正交轉換部
16‧‧‧量子化部
17‧‧‧可逆編碼部
60‧‧‧圖像處理裝置(圖像解碼裝置)
61‧‧‧語法處理部
62‧‧‧可逆解碼部
63‧‧‧量子化部
64‧‧‧逆正交轉換部
65‧‧‧加法部
66‧‧‧解塊濾波器
67‧‧‧排序緩衝器
68‧‧‧D/A
69‧‧‧幀記憶體
70‧‧‧選擇器
71‧‧‧選擇器
80‧‧‧幀內預測部
90‧‧‧動態補償部
152‧‧‧轉換單位設定部
214‧‧‧產生部
242‧‧‧轉換單位設定部
圖1係顯示一實施形態之圖像編碼裝置之構成之一例的方塊圖。
圖2係顯示圖1所示之語法(syntax)處理部之詳細構成之一例的方塊圖。
圖3係顯示圖1所示之正交轉換部之詳細構成之一例的方塊圖。
圖4係顯示圖1所示之量子化部之詳細構成之一例的方塊圖。
圖5係顯示用於產生量子化矩陣之參數之一例的說明圖。
圖6A係用於就複製模式下之非正方形量子化矩陣之產生進行說明的第1說明圖。
圖6B係用於就複製模式下之非正方形量子化矩陣之產生進行說明的第2說明圖。
圖6C係用於就複製模式下之非正方形量子化矩陣之產生進行說明的第3說明圖。
圖7係用於就換位模式下之量子化矩陣之產生進行說明的說明圖。
圖8A係用於就用於產生非正方形量子化矩陣之簡化技術進行說明的第1說明圖。
圖8B係用於就用於產生非正方形量子化矩陣之簡化技術進行說明的第2說明圖。
圖9係用於就於使用既定之正方形量子化矩陣之情形下之用於產生非正方形量子化矩陣之技術進行說明的說明圖。
圖10係用於就用於非正方形量子化矩陣之掃描圖案之例進行說明的說明圖。
圖11係顯示一實施形態之編碼時之處理流程之一例的流程圖。
圖12係顯示一實施形態之圖像解碼裝置構成之一例的方塊圖。
圖13係顯示圖12所示之語法處理部之詳細構成之一例的 方塊圖。
圖14係顯示圖12所示之反量子化部之詳細構成之一例的方塊圖。
圖15係顯示圖12所示之逆正交轉換部之詳細構成之一例的方塊圖。
圖16係顯示一實施形態之解碼時之處理流程之一例的流程圖。
圖17係顯示圖16所示之量子化矩陣產生處理流程之一例的流程圖。
圖18係用於就多視圖編解碼器進行說明的說明圖。
圖19係用於就一實施形態之圖像解碼處理於多視圖編解碼器上之應用進行說明的說明圖。
圖20係用於就在一實施形態之圖像解碼處理於多視圖編解碼器上之應用進行說明的說明圖。
圖21係用於就可調性編解碼器進行說明的圖。
圖22係用於就一實施形態之圖像解碼處理於可調性編解碼器上之應用進行說明的說明圖。
圖23係用於就一實施形態之圖像解碼處理於可調性編解碼器上之應用進行說明的說明圖。
圖24係顯示電視裝置之概略構成之一例的方塊圖。
圖25係顯示行動電話之概略構成之一例的方塊圖。
圖26係顯示記錄再生裝置之概略構成之一例的方塊圖。
圖27係顯示攝像裝置之概略構成之一例的方塊圖。
圖28係顯示H.264/AVC中之預定義之既定量子化矩陣的 說明圖。
60‧‧‧圖像解碼裝置
61‧‧‧語法處理部
62‧‧‧可逆解碼部
63‧‧‧反量子化部
64‧‧‧逆正交轉換部
65‧‧‧加法部
66‧‧‧解塊濾波器
67‧‧‧排序緩衝器
68‧‧‧D/A
69‧‧‧幀記憶體
70‧‧‧選擇器
71‧‧‧選擇器
80‧‧‧幀內預測部
90‧‧‧動態補償部

Claims (16)

  1. 一種圖像處理裝置，其包含：解碼部，其將編碼流解碼並產生經量子化之轉換係數資料；及反量子化部，其於選擇非正方形之轉換單位作為將轉換係數資料進行逆正交轉換時使用之轉換單位之情形時，使用自與正方形之轉換單位對應之正方形量子化矩陣產生之與非正方形之轉換單位對應之非正方形量子化矩陣，將由上述解碼部解碼之上述經量子化之轉換係數資料進行反量子化。
  2. 如請求項1之圖像處理裝置，其中上述非正方形量子化矩陣係藉由複製上述正方形量子化矩陣之列要素或行要素而產生。
  3. 如請求項2之圖像處理裝置，其中上述非正方形量子化矩陣之長邊之尺寸與上述正方形量子化矩陣之一邊之尺寸相等。
  4. 如請求項2或3之圖像處理裝置，其中被複製之上述正方形量子化矩陣之列要素或行要素為預定義。
  5. 如請求項2或3之圖像處理裝置，其中上述非正方形量子化矩陣係藉由以等間隔複製上述正方形量子化矩陣之列要素或行要素而產生。
  6. 如請求項5之圖像處理裝置，其中上述正方形量子化矩陣之被複製之列要素或行要素之間隔係由上述正方形量子化矩陣之一邊之尺寸相對於上述非正方形量子化矩陣 之短邊之尺寸之比而決定。
  7. 如請求項6之圖像處理裝置，其中上述比係1比4，上述間隔係4列或4行。
  8. 如請求項7之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係4×4，上述非正方形量子化矩陣之尺寸係1×4或4×1。
  9. 如請求項7之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係8×8，上述非正方形量子化矩陣之尺寸係2×8或8×2。
  10. 如請求項7之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係16×16，上述非正方形量子化矩陣之尺寸係4×16或16×4。
  11. 如請求項7之圖像處理裝置，其中上述正方形量子化矩陣之尺寸係32×32，上述非正方形量子化矩陣之尺寸係8×32或32×8。
  12. 如請求項2或3之圖像處理裝置，其進而包含：產生部，其自上述正方形量子化矩陣產生上述非正方形量子化矩陣。
  13. 如請求項2或3之圖像處理裝置，其進而包含：逆正交轉換部，其使用經選擇之上述非正方形之轉換單位使由上述反量子化部經反量子化之上述轉換係數資料進行逆正交轉換。
  14. 一種圖像處理方法，其包含：將編碼流解碼並產生經量子化之轉換係數資料；及 於選擇非正方形之轉換單位作為將轉換係數資料逆正交轉換時使用之轉換單位之情形時，使用自與正方形之轉換單位對應之正方形量子化矩陣產生之與非正方形之轉換單位對應之非正方形量子化矩陣，將解碼之上述經量子化之轉換係數資料進行反量子化。
  15. 一種程式，該程式係使控制圖像處理裝置之處理器發揮功能而作為以下構件：解碼部，其將編碼流解碼並產生經量子化之轉換係數資料；及反量子化部，其於選擇非正方形之轉換單位作為將轉換係數資料逆正交轉換時使用之轉換單位之情形時，使用自與正方形之轉換單位對應之正方形量子化矩陣產生之與非正方形之轉換單位對應之非正方形量子化矩陣，將由上述解碼部解碼之上述經量子化之轉換係數資料進行反量子化。
  16. 一種電腦可讀取之記錄媒體，其記錄有如請求項15之程式。
TW101115850A 2011-05-20 2012-05-03 An image processing apparatus, an image processing method, a program, and a recording medium TWI556652B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011113232 2011-05-20
JP2011235828 2011-10-27

Publications (2)

Publication Number Publication Date
TW201301901A TW201301901A (zh) 2013-01-01
TWI556652B true TWI556652B (zh) 2016-11-01

Family

ID=47216976

Family Applications (2)

Application Number Title Priority Date Filing Date
TW101115850A TWI556652B (zh) 2011-05-20 2012-05-03 An image processing apparatus, an image processing method, a program, and a recording medium
TW105128125A TWI624173B (zh) 2011-05-20 2012-05-03 圖像處理裝置、圖像處理方法、程式及記錄媒體

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105128125A TWI624173B (zh) 2011-05-20 2012-05-03 圖像處理裝置、圖像處理方法、程式及記錄媒體

Country Status (5)

Country Link
US (4) US9641840B2 (zh)
JP (2) JP5874725B2 (zh)
CN (3) CN106937126B (zh)
TW (2) TWI556652B (zh)
WO (1) WO2012160890A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
SG10201400975QA (en) 2011-02-10 2014-07-30 Sony Corp Image Processing Device And Image Processing Method
JP5874725B2 (ja) 2011-05-20 2016-03-02 ソニー株式会社 画像処理装置及び画像処理方法
EP2748934A4 (en) 2011-08-23 2016-06-01 Mediatek Singapore Pte Ltd METHOD AND SYSTEM FOR PROCESSING TRANSFORMED BLOCKS ACCORDING TO A VIDEO ENCODING QUANTIFICATION MATRIX
BR112014005496A8 (pt) * 2011-09-08 2022-07-05 Motorola Mobility Llc Métodos e aparelhos para quantificação e dequantificação de um bloco retangular de coeficientes
WO2013065259A1 (ja) * 2011-11-01 2013-05-10 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
KR102074600B1 (ko) 2012-02-29 2020-02-06 소니 주식회사 화상 처리 장치 및 방법, 및 기록 매체
US10609394B2 (en) * 2012-04-24 2020-03-31 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
RU2639250C2 (ru) * 2012-12-18 2017-12-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
BR112016012417B1 (pt) 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
CN105981388B (zh) 2013-12-27 2019-05-10 寰发股份有限公司 调色板编码中句法冗余移除的方法和装置
WO2015096812A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
CN106063270A (zh) 2013-12-27 2016-10-26 寰发股份有限公司 用于主颜色索引图编码的方法及装置
WO2015103980A1 (en) * 2014-01-07 2015-07-16 Mediatek Inc. Method and apparatus for color index prediction
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
CN108366394A (zh) * 2018-01-24 2018-08-03 南京邮电大学 基于时空压缩网络编码的高能效无线传感网数据传输方法
EP3780621A4 (en) 2018-03-28 2021-05-26 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN116233458A (zh) 2018-03-30 2023-06-06 松下电器（美国）知识产权公司 编码装置、解码装置以及存储介质
WO2020003740A1 (ja) * 2018-06-29 2020-01-02 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
US11184446B2 (en) 2018-12-05 2021-11-23 Micron Technology, Inc. Methods and apparatus for incentivizing participation in fog networks
JP2020098983A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
US11256778B2 (en) 2019-02-14 2022-02-22 Micron Technology, Inc. Methods and apparatus for checking the results of characterized memory searches
US11327551B2 (en) 2019-02-14 2022-05-10 Micron Technology, Inc. Methods and apparatus for characterizing memory devices
JP2020150338A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
US20200349217A1 (en) * 2019-05-03 2020-11-05 Micron Technology, Inc. Methods and apparatus for performing matrix transformations within a memory array
US10867655B1 (en) 2019-07-08 2020-12-15 Micron Technology, Inc. Methods and apparatus for dynamically adjusting performance of partitioned memory
JP2021048532A (ja) * 2019-09-19 2021-03-25 キヤノン株式会社 画像符号化装置、画像復号装置及びそれらの制御方法及びプログラム
US11449577B2 (en) 2019-11-20 2022-09-20 Micron Technology, Inc. Methods and apparatus for performing video processing matrix operations within a memory array
US11853385B2 (en) 2019-12-05 2023-12-26 Micron Technology, Inc. Methods and apparatus for performing diversity matrix operations within a memory array
EP4017001A1 (en) * 2020-12-17 2022-06-22 Axis AB Method and digital video camera for forming a combined image frame of a combined video stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986710A (en) * 1996-06-26 1999-11-16 Samsung Electronics Co., Ltd. Image encoding method and apparatus for controlling the number of bits generated using quantization activities
CN1751511A (zh) * 2003-02-21 2006-03-22 松下电器产业株式会社 图像编码方法和图像解码方法
US20070116371A1 (en) * 2005-11-18 2007-05-24 Fuji Xerox Co., Ltd. Decoding apparatus, inverse quantization method, and computer readable medium

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100287624B1 (ko) * 1992-09-28 2001-04-16 야스카와 히데아키 화상데이타의압축,해제방법및그장치
ATE333758T1 (de) * 1998-05-04 2006-08-15 Gen Instrument Corp Verfahren und gerät fur die inverse quantisierung von mpeg-4 video
JP4594688B2 (ja) * 2004-06-29 2010-12-08 オリンパス株式会社 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化／復号化システム、拡張画像圧縮伸張処理システム
CN101401435A (zh) * 2006-02-13 2009-04-01 株式会社东芝 运动图像编码/译码方法、装置以及程序
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
JPWO2008132890A1 (ja) * 2007-04-16 2010-07-22 株式会社東芝 画像符号化と画像復号化の方法及び装置
US9100646B2 (en) * 2008-09-03 2015-08-04 Sk Telecom Co., Ltd. Device and method for image encoding/decoding using prediction direction conversion and selective encoding
KR101302660B1 (ko) * 2009-09-14 2013-09-03 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
CN102625090B (zh) * 2011-01-26 2015-08-05 鸿富锦精密工业（深圳）有限公司 影像译码方法与使用该方法的图形处理设备
SG10201400975QA (en) 2011-02-10 2014-07-30 Sony Corp Image Processing Device And Image Processing Method
JP2012238927A (ja) 2011-05-09 2012-12-06 Sony Corp 画像処理装置及び画像処理方法
JP5874725B2 (ja) 2011-05-20 2016-03-02 ソニー株式会社 画像処理装置及び画像処理方法
EP2748934A4 (en) * 2011-08-23 2016-06-01 Mediatek Singapore Pte Ltd METHOD AND SYSTEM FOR PROCESSING TRANSFORMED BLOCKS ACCORDING TO A VIDEO ENCODING QUANTIFICATION MATRIX
JPWO2013031315A1 (ja) 2011-08-30 2015-03-23 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986710A (en) * 1996-06-26 1999-11-16 Samsung Electronics Co., Ltd. Image encoding method and apparatus for controlling the number of bits generated using quantization activities
CN1751511A (zh) * 2003-02-21 2006-03-22 松下电器产业株式会社 图像编码方法和图像解码方法
US20070116371A1 (en) * 2005-11-18 2007-05-24 Fuji Xerox Co., Ltd. Decoding apparatus, inverse quantization method, and computer readable medium

Also Published As

Publication number Publication date
TWI624173B (zh) 2018-05-11
CN103535037A (zh) 2014-01-22
CN103535037B (zh) 2017-06-09
US20140050267A1 (en) 2014-02-20
US20170188030A1 (en) 2017-06-29
US9641840B2 (en) 2017-05-02
CN106937126B (zh) 2019-11-15
JP2016103850A (ja) 2016-06-02
TW201301901A (zh) 2013-01-01
TW201701676A (zh) 2017-01-01
CN106937126A (zh) 2017-07-07
US10070131B2 (en) 2018-09-04
US10448017B2 (en) 2019-10-15
JPWO2012160890A1 (ja) 2014-07-31
US20180359474A1 (en) 2018-12-13
CN107018424A (zh) 2017-08-04
JP5874725B2 (ja) 2016-03-02
JP6070870B2 (ja) 2017-02-01
CN107018424B (zh) 2020-06-09
WO2012160890A1 (ja) 2012-11-29
US20190356917A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
TWI556652B (zh) An image processing apparatus, an image processing method, a program, and a recording medium
JP6459005B2 (ja) 画像処理装置および画像処理方法
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
KR102216571B1 (ko) 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
RU2669685C2 (ru) Устройство и способ декодирования изображения
WO2012153578A1 (ja) 画像処理装置及び画像処理方法
KR102242722B1 (ko) 디코딩 디바이스, 디코딩 방법, 인코딩 디바이스, 및 인코딩 방법
WO2012005099A1 (ja) 画像処理装置及び画像処理方法
KR20190133293A (ko) 화상 처리 장치 및 화상 처리 방법
US20190020877A1 (en) Image processing apparatus and method
KR20200038933A (ko) 화상 처리 장치 및 화상 처리 방법
JP2018125879A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2015192381A (ja) 画像処理装置及び画像処理方法
CN104854868A (zh) 图像处理设备和方法
WO2013088833A1 (ja) 画像処理装置及び画像処理方法
TW201440500A (zh) 影像處理裝置及方法
JP2012175615A (ja) 画像処理装置及び画像処理方法
WO2015098231A1 (ja) 画像処理装置及び画像処理方法