TW202101990A - 圖像編碼裝置、圖像解碼裝置、方法及程式 - Google Patents

圖像編碼裝置、圖像解碼裝置、方法及程式 Download PDF

Info

Publication number
TW202101990A
TW202101990A TW109113992A TW109113992A TW202101990A TW 202101990 A TW202101990 A TW 202101990A TW 109113992 A TW109113992 A TW 109113992A TW 109113992 A TW109113992 A TW 109113992A TW 202101990 A TW202101990 A TW 202101990A
Authority
TW
Taiwan
Prior art keywords
color difference
quantization
quantization matrix
component
residual
Prior art date
Application number
TW109113992A
Other languages
English (en)
Inventor
志摩悟
Original Assignee
日商佳能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商佳能股份有限公司 filed Critical 日商佳能股份有限公司
Publication of TW202101990A publication Critical patent/TW202101990A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本發明在提高2個色差成分的殘差係數的編碼效率的同時，抑制主觀畫質的劣化。為此，本發明的將以1個亮度成分與2個色差成分而構成的圖像資料進行編碼的圖像編碼裝置具有：量化手段，其就將作為編碼對象的圖像進行分割從而獲得的區塊的各成分進行正交變換，將以該正交變換獲得的各成分的變換係數進行量化；和編碼手段，其將透過前述量化手段而獲得的殘差係數進行編碼。於此，前述編碼手段在將前述2個色差成分的正交變換的變換係數統合而編碼的情況下，對進行該統合從而獲得的正交變換的變換係數，使用預先設定的量化矩陣進行量化，將獲得的殘差係數進行編碼。

Description

圖像編碼裝置、圖像解碼裝置、方法及程式
本發明涉及圖像編碼裝置、圖像解碼裝置、方法及程式。
動態圖像的壓縮記錄的編碼方式方面，已知HEVC(High Efficiency Video Coding)編碼方式(以下，記為HEVC)。在HEVC方面，為了編碼效率提升，採用比歷來的大區塊(16×16像素)大的尺寸的基本塊。此大的尺寸的基本塊稱為CTU(Coding Tree Unit)，其尺寸最大為64×64像素。CTU進一步被分割為子塊，該子塊為用於執行預測、變換的單元。 此外，於HEVC運用稱為量化矩陣的以下處理：將實施正交變換後的係數(以下，記為正交變換係數)依頻率成分進行加權。透過進一步削減人類的視覺上劣化不明顯的高頻成分的資料，從而可一面維持畫質一面提高壓縮效率。於專利文獻1，已揭露對如此的量化矩陣進行編碼的技術。
近年來，作為HEVC的後繼，已展開進行更高效率的編碼方式的國際標準化之活動。在ISO／IEC與ITU-T之間設立JVET(Joint Video Experts Team)，在VVC(Versatile Video Coding)編碼方式(以下，VVC)方面標準化正在進展。為了編碼效率提升，在VVC方面，正檢討將2個色差成分(Cb成分與Cr成分)的量化後的殘差係數統合而編碼的新的編碼方法(以下，稱為色差殘差係數統合編碼)。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2013-38758號公報
[發明所欲解決之問題]
於VVC，亦如同HEVC般正在檢討量化矩陣的導入。然而，在HEVC之量化矩陣以對於亮度(Y)及色差(Cb、Cr)個別的成分之量化反量化處理為前提，未能應付屬新的編碼方法之色差殘差係數統合編碼。為此，使用色差殘差係數統合編碼的情況下，存在無法進行因應於頻率成分之量化控制，無法提升主觀畫質如此的課題。因此，本發明是為了解決上述的課題而創作者，目的在於，變得可進行使用了亦應付色差殘差係數統合編碼的量化矩陣的量化處理，從而使主觀畫質提升。 [解決問題之技術手段]
為了解決此課題，例如本發明的圖像編碼裝置具備以下的構成。 亦即，一種圖像編碼裝置，其為將以1個亮度成分與2個色差成分而構成的圖像資料進行編碼者，具有： 量化手段，其就將作為編碼對象的圖像進行分割從而獲得的區塊的各成分進行正交變換，將以該正交變換獲得的各成分的變換係數進行量化；和 編碼手段，其將透過前述量化手段而獲得的殘差係數進行編碼； 前述編碼手段在將前述2個色差成分的正交變換的變換係數統合而編碼的情況下，對進行該統合從而獲得的正交變換的變換係數，使用預先設定的量化矩陣進行量化，將透過量化而獲得的殘差係數進行編碼。 [對照先前技術之功效]
依本發明時，可在提高2個色差成分的殘差係數的編碼效率的同時，抑制主觀畫質的劣化。
本發明的其他特徵及優點將透過參照圖式下的以下的說明而明朗化。另外，圖式中，對相同或同樣的構成，標注相同的參考符號。
以下，參照圖式詳細說明實施方式。另外，以下的實施方式非限定申請專利範圍的發明者。於實施方式雖記載複數個特徵，惟不限於此等複數個特徵的全部為發明必須者，此外複數個特徵亦可任意進行組合。再者，圖式中，對相同或同樣的構成標注相同的參考符號，重複之說明省略。
圖1為本實施方式的圖像編碼裝置的方塊構成圖。圖像編碼裝置具有掌管裝置整體的控制的控制部150。此控制部150具有CPU、儲存CPU執行的程式的ROM、用作為CPU的工作區的RAM。此外，圖像編碼裝置具有輸入端子101、區塊分割部102、量化矩陣保存部103、預測部104、變換兼量化部105、反量化兼逆變換部106、圖像再生部107、圖框記憶體108、迴圈式濾波器部109、編碼部110、統合編碼部111、輸出端子112、及量化矩陣編碼部113。
輸入端子101將在圖像資料產生源產生的作為編碼對象的圖像資料以畫格為單位而輸入。圖像資料產生源可為攝像裝置、記憶作為編碼對象的圖像資料的檔案伺服器、記憶媒體等，不問其種類。此外，輸出端子112將編碼資料輸出至輸出目的地裝置，而該輸出目的地裝置可為記憶媒體、檔案伺服器等，不特別限制。
區塊分割部102將輸入的畫格的圖像分割為複數個基本塊，將其中一個作為基本塊而依序輸出至後級的預測部104。
量化矩陣保存部103在編碼之前生成複數個量化矩陣，保存於內部的未圖示的記憶體。量化矩陣的生成方法方面不特別限定，可由使用者輸入量化矩陣，從輸入圖像的特性而算出，亦可使用預先指定為初始值者。本實施方式中的量化矩陣保存部103生成並保存示於圖8A的與8×8像素的正交變換對應的二維的量化矩陣800、和示於圖8B、8C的與4×4的正交變換對應的二維的量化矩陣801、802。量化矩陣800為亮度成分用、量化矩陣801、802為2個色差成分用的量化矩陣。
預測部104對基本塊單位的圖像資料決定子塊分割，以子塊單位進行畫格內預測(intra prediction)、畫格間預測(inter prediction)等，生成預測圖像資料。再者，預測部104從輸入的圖像資料與預測圖像資料算出並輸出像素單位的預測誤差。此外，預測部104亦與預測誤差一併輸出預測所需的資訊如子塊分割、預測模式、動態向量等的資訊。以下，將此預測所需的資訊稱為預測資訊。
變換兼量化部105將從預測部104輸入的預測誤差以子塊單位進行正交變換而獲得正交變換係數(被正交變換的殘差係數)。再者，變換兼量化部105使用儲存於量化矩陣保存部103的量化矩陣，進行正交變換係數的量化，獲得量化的殘差係數(量化的正交變換係數)。
反量化兼逆變換部106從變換兼量化部105輸入殘差係數，使用儲存於量化矩陣保存部103的量化矩陣進行反量化，再生成正交變換係數。反量化兼逆變換部106進一步進行逆正交變換而再生成預測誤差。
圖像再生部107根據從預測部104輸出的預測資訊，酌情參照圖框記憶體108而生成預測圖像資料。圖像再生部107對此預測圖像資料加算來自反量化兼逆變換部106的預測誤差，從而生成再生圖像資料，儲存於圖框記憶體108。
迴圈式濾波器部109對儲存於圖框記憶體108的再生圖像，進行去區塊濾波器、取樣自適應偏移等的迴圈式濾波器處理，將濾波處理後的圖像資料再度儲存於圖框記憶體108。
編碼部110將從變換兼量化部105輸出的殘差係數及從預測部104輸出的預測資訊進行編碼，生成代碼資料，輸出至統合編碼部111。
量化矩陣編碼部113將保存於量化矩陣保存部103的量化矩陣進行編碼，生成量化矩陣代碼資料，輸出至統合編碼部111。
統合編碼部111生成包含來自量化矩陣編碼部113的量化矩陣代碼資料的標頭代碼資料。並且，統合編碼部111使從編碼部110輸出的代碼資料接續於標頭代碼資料，形成位元流。並且，統合編碼部111將形成的位元流經由輸出端子112輸出。
於此，就在圖像編碼裝置之圖像的編碼動作更詳細在以下進行說明。在本實施方式，雖採用從輸入端子101按畫格單位輸入4：2：0色彩格式的動態圖像資料的構成，惟亦可採用輸入1畫格份的靜態圖像資料的構成。此外，在本實施方式，為了使說明容易雖僅說明畫格內預測編碼的處理，惟不限於此，亦可適用於畫格間預測編碼的處理。再者，在本實施方式，為了說明，以於區塊分割部101將從輸入端子輸入的圖像資料分割為8×8像素的基本塊者進行說明。亦即，於8×8像素的基本塊，包含8×8像素的亮度(Y)成分與4×4像素的色差(Cb及Cr)成分的像素。另外，此僅用於使理解容易，不限定於上述數值(尺寸)。
在圖像的編碼之前，進行量化矩陣的生成及編碼。
量化矩陣保存部103首先生成並保存量化矩陣。具體而言，依被編碼的子塊的尺寸、預測方法的種類，生成量化矩陣。在本實施方式，生成與示於圖7A的未分割為子塊的8×8像素的基本塊對應的量化矩陣。亦即，量化矩陣保存部103生成亮度(Y)成分用的8×8的量化矩陣及色差(Cb及Cr)成分用的4×4的量化矩陣。其中，生成的量化矩陣不限定於此，可生成4×8、8×4等與子塊的形狀對應的量化矩陣。構成量化矩陣的各要素的決定方法不特別限定。例如，可使用既定的初始值，亦可個別設定。此外，亦可依圖像的特性而生成。
量化矩陣保存部103將如此般生成的量化矩陣保存於內部的未圖示的記憶體。圖8A示出Y成分用的量化矩陣800。此外，圖8B示出Cb成分用的量化矩陣801，圖8C示出Cr成分用的量化矩陣802。為了使說明簡易化，採用8×8的64像素份及4×4的16像素份的構成，粗框內的各正方形表示構成量化矩陣的各要素。在本實施方式，雖採用以二維的形狀保存示於圖8A～C的三種量化矩陣，惟量化矩陣內的各要素當然不限定於此。此外，亦可依子塊的尺寸或依後述的預測方法的種類如使用畫格內預測或使用畫格間預測，從而對於相同的色成分保存複數個量化矩陣。一般而言，量化矩陣是為了實現因應於人類的視覺特性下的量化處理，如示於圖8A～8C般相當於量化矩陣800～802的左上部分的低頻部分的要素小，相當於右下部分之高頻部分的要素大。
量化矩陣編碼部113依序讀出保存於量化矩陣保存部106的二維形狀的量化矩陣，計算將各要素進行掃描而獲得的前後的要素的差分，配置為一維的矩陣。在本實施方式，依示於圖8A～8C的各量化矩陣800～802的尺寸，使用示於圖9A或圖9B的掃描方法，按要素計算與在掃描順序下緊接著之前的要素的差分。例如在圖8C示出的4×4像素份的量化矩陣802透過在圖9B示出的掃描方法進行掃描，位於左上的最初的要素8的下一個為位於緊臨下面的要素14被掃描，計算出為差分的+6。此外，於量化矩陣的最初的要素(本實施方式中為8)的編碼，雖作成計算與既定的初始值(例如8)的差分，惟當然不限定於此，亦可使用與任意的值的差分、最初的要素的值本身。總之只要與解碼裝置為相同的初始值即可。
作成如此，量化矩陣編碼部113就圖8A的量化矩陣800使用圖9A的掃描方法而生成差分矩陣。同樣地，量化矩陣編碼部113就圖8B、8C的量化矩陣801、802使用圖9B的掃描方法，生成差分矩陣。圖10A示出從圖8A的量化矩陣800獲得的差分矩陣1000。圖10B示出從圖8B的量化矩陣801獲得的差分矩陣1001。並且，圖10C示出從量化矩陣802獲得的差分矩陣1002。
量化矩陣編碼部113將如上述般而生成的各差分矩陣進一步進行編碼，生成量化矩陣代碼資料。本實施方式的量化矩陣編碼部113對差分矩陣的各要素，使用示於圖11A的編碼表，分配碼字從而進行編碼，生成量化矩陣代碼資料。另外，編碼表不限定於此，亦可使用例如示於圖11B的編碼表。作成如此，量化矩陣編碼部113將生成的量化矩陣代碼資料輸出至後級的統合編碼部111。
返回圖1，統合編碼部111將量化矩陣的代碼資料統合於圖像資料的編碼所需的標頭資訊。
接著，進行圖像資料的編碼。從輸入端子101輸入的1畫格份的圖像資料被供應至區塊分割部102。區塊分割部102將輸入的1畫格的圖像資料分割為複數個基本塊，將基本塊單位的圖像資料輸出至預測部104。在本實施方式，8×8像素的基本塊單位的圖像資料被供應至預測部104。
預測部104對從區塊分割部102輸入的基本塊單位的圖像資料執行預測處理。具體而言，決定將基本塊進一步分割為細小的子塊的子塊分割法，進一步以子塊單位決定水平預測、垂直預測等的畫格內預測模式。
參照圖7A～7F說明子塊分割方法。圖7A～7F的區塊700至705的粗框為與基本塊相同的8×8像素的尺寸。粗框內的各四角形表示子塊。圖7B示出歷來的正方形子塊分割的一例，8×8像素的基本塊701分割為4個4×4像素的子塊。另一方面，圖7C～7F表示長方形子塊分割的一例。圖7C表示基本塊702被分割為4×8像素尺寸的2個子塊(垂直方向上長邊)。圖7D表示基本塊703被分割為8×4像素尺寸的2個子塊(水平方向上長邊)。圖7E、7F的基本塊704、705的情況下，僅管分割方向不同，以1：2：1的比分割為3個長方形子塊。如此般不僅正方形，亦可使用長方形的子塊進行編碼處理。
在本實施方式，雖僅使用不將8×8像素尺寸的基本塊分割為子塊的圖7A，惟子塊分割方法不限定於此。亦可使用如圖7B的四元樹分割、如圖7E、7F的三元樹分割或如圖7C、7D的二元樹分割。亦使用圖7A以外的子塊分割的情況下，在量化矩陣保存部103生成與被使用的子塊對應的量化矩陣。此外，生成的量化矩陣在量化矩陣編碼部113被編碼。
預測部104從決定的預測模式及儲存於圖框記憶體108的編碼完成的區域生成預測圖像資料，從進一步輸入的圖像資料與前述預測圖像資料算出像素單位的預測誤差，將該預測誤差對變換兼量化部105輸出。此外，預測部104使子塊分割、預測模式等的資訊為預測資訊，對編碼部110、圖像再生部107輸出。
變換兼量化部105對從預測部104輸入的預測誤差，進行正交變換兼量化，生成殘差係數。此外，變換兼量化部105是與此並行而判定是否使用將成分Cb與Cr的殘差係數統合而編碼的色差殘差係數統合編碼。
於此，就在本實施方式使用的色差殘差係數統合編碼進行說明。色差殘差係數統合編碼是在Cb與Cr的殘差係數的相關高的情況下僅就其中一個殘差係數進行編碼，省略另一個殘差係數的編碼，從而削減產生代碼量，使編碼效率提升。在解碼側僅將被編碼的其中一個色差殘差係數進行解碼，另一個色差殘差係數是使用被解碼的色差殘差係數而算出從而再生成。在本實施方式，作為一例，Cb的殘差係數與Cr的殘差係數呈負的相關關係的情況下，使用色差殘差係數統合編碼，於後級的編碼部110僅將成分Cb進行編碼，省略Cr的殘差係數的編碼。
返回圖1，變換兼量化部105首先對預測誤差實施與子塊的尺寸對應的正交變換處理並生成正交變換係數(正交變換的殘差係數)。接著，變換兼量化部105從生成的成分Cb及Cr的正交變換係數的相關關係，決定是否使用色差殘差係數統合編碼。亦即，變換兼量化部105判定對成分Cb的正交變換係數乘(-1)者是否接近成分Cr的正交變換係數，判斷為近的情況下，決定使用色差殘差係數統合編碼。此外，變換兼量化部105生成顯示是否使用色差殘差係數統合編碼的資訊(1位元即可)作為色差統合資訊。並且，變換兼量化部105將正交變換係數依色成分使用儲存於量化矩陣保存部103的量化矩陣進行量化，生成殘差係數(量化的正交變換係數)。在本實施方式，對Y成分的正交變換係數使用圖8A、對Cb成分的正交變換係數使用圖8B、對Cr成分的正交變換係數使用圖8C的量化矩陣。其中，使用的量化矩陣不限定於此。此外，決定為使用色差殘差係數統合編碼的情況下，將Cb成分的正交變換係數使用圖8B的量化矩陣進行量化，省略Cr成分的正交變換係數的量化處理及往後級的輸出。藉此，可削減在後級的處理不使用的Cr成分的量化處理份的演算量。生成的殘差係數及色差統合資訊被輸出至編碼部110及反量化兼逆變換部106。
反量化兼逆變換部106將從變換兼量化部105輸入的殘差係數(被量化的正交變換係數)，使用儲存於量化矩陣保存部103的量化矩陣進行反量化，從而再生成正交變換係數(正確而言，未被量化惟被正交變換的殘差係數)。反量化兼逆變換部106進一步將再生成的正交變換係數進行逆正交變換而再生成預測誤差。於反量化處理，如同變換兼量化部105，使用與編碼對象子塊的色成分對應的量化矩陣。具體而言，反量化兼逆變換部106使用與在變換兼量化部105使用的量化矩陣相同者而進行反量化。亦即，對Y成分的殘差係數使用圖8A、對Cb成分的殘差係數使用圖8B、對Cr成分的殘差係數使用圖8C的量化矩陣。
此外，在色差統合資訊顯示在子塊使用色差殘差係數統合編碼的情況下，反量化兼逆變換部106使用Cb成分的殘差係數的圖8B的量化矩陣801進行反量化，再生成Cb成分的正交變換係數。反量化兼逆變換部106將對再生成的Cb成分的正交變換係數乘上「-1」者作為Cr成分的正交變換係數而再生成。對如此再生成的正交變換係數實施逆正交變換而再生成的預測誤差被輸出至圖像再生部107。
圖像再生部107根據從預測部104輸入的預測資訊，酌情參照圖框記憶體108，再生成預測圖像。並且，圖像再生部107根據再生成的預測圖像和透過反量化兼逆變換部106而再生成的預測誤差，生成再生圖像資料，儲存於圖框記憶體108。
迴圈式濾波器部109從圖框記憶體108讀出再生圖像資料，進行去區塊濾波器等的迴圈式濾波器處理。並且，迴圈式濾波器部109將被濾波處理的圖像資料再儲存於圖框記憶體108。
編碼部110將在變換兼量化部105生成的子塊單位的殘差係數、色差統合資訊、以及從預測部104輸入的預測資訊進行熵編碼，生成代碼資料。在色差統合資訊顯示於該子塊不使用色差殘差係數統合編碼的情況下，編碼部110將Y、Cb、Cr的全部的色成分的殘差係數進行編碼。另一方面，在色差統合資訊顯示於該子塊使用色差殘差係數統合編碼的情況下，編碼部110將Y、Cb的色成分的殘差係數進行編碼，不進行Cr成分的殘差係數的編碼。熵編碼的方法不特別指定，可使用哥倫布編碼、算術編碼、霍夫曼編碼等。編碼部110將生成的代碼資料輸出至統合編碼部111。
統合編碼部111是與前述的標頭的代碼資料一起，將從編碼部110輸入的代碼資料等多工化而形成位元流。並且，統合編碼部111將形成的位元流從輸出端子112輸出至外部(記錄媒體、網路等)。
圖6A為在本實施方式輸出的位元流的資料構造的一例。於序列標頭，包含量化矩陣的代碼資料，被以各要素的編碼結果而構成。其中，編碼的位置不限定於此，當然亦可採取編碼於圖像標頭部、其他標頭部的構成。此外，在1個序列之中進行量化矩陣的變更的情況下，亦可將量化矩陣重新編碼從而更新。此情況下，可改寫全部的量化矩陣，亦可指定與改寫的量化矩陣對應的量化矩陣的色成分從而變更其一部分。
圖3為就實施方式的圖像編碼裝置中的控制部150的1畫格份的編碼處理進行繪示的流程圖。
首先，在圖像的編碼之前，在S301，控制部150控制量化矩陣保存部103，予以生成並保存二維的量化矩陣。本實施方式的量化矩陣保存部103生成並保存與8×8像素的區塊對應且與示於圖8A～8C的Y成分、Cb成分及Cr成分的個別的色成分對應的量化矩陣800至802。
在S302，控制部150控制量化矩陣編碼部113，就在S301生成並保存的量化矩陣進行掃描而算出各要素的差分，生成差分矩陣。在本實施方式，示於圖8A～8C的量化矩陣800～802使用圖9A或圖9B的掃描方法，生成示於圖10A～10C的差分矩陣1001～1003。並且，控制部150控制量化矩陣編碼部113，予以進行生成的差分矩陣的編碼，予以生成量化矩陣代碼資料。
在S303，控制部150控制統合編碼部111，與生成的量化矩陣代碼資料一起將圖像資料的編碼所需的標頭資訊進行編碼，予以輸出。在S304，控制部150控制區塊分割部102，將畫格單位的輸入圖像予以分割為基本塊單位。在S305，控制部150控制預測部104，對在S304生成的基本塊單位的圖像資料，予以執行預測處理，予以生成子塊分割資訊、預測模式等的預測資訊及預測圖像資料。再者，控制部150控制預測部104，從輸入的圖像資料與預測圖像資料予以算出預測誤差。
在S306，控制部150控制變換兼量化部105，對在S305算出的預測誤差予以進行正交變換，予以生成變換係數。再者，控制部150控制變換兼量化部105，利用在S301被生成並保存的量化矩陣予以進行量化，予以生成殘差係數。與此並行，變換兼量化部105予以決定是否使用將Cb與Cr的殘差係數統合而編碼的色差殘差係數統合編碼。在本實施方式，對Y成分的正交變換係數使用圖8A、對Cb成分的正交變換係數使用圖8B、對Cr成分的正交變換係數使用圖8C的量化矩陣。此外，使用色差殘差係數統合編碼的情況下，將Cb成分的正交變換係數使用圖8B的量化矩陣進行量化，省略Cr成分的正交變換係數的量化處理。
另外，為了決定是否使用色差殘差係數統合編碼用的判定處理方面，舉對成分Cb的正交變換係數乘上(-1)者是否接近成分Cr的正交變換係數的具體的判定處理時如下。
成分Cb、Cr的正交變換係數分別為4×4個。於此，將圖9B的掃描順序的變換係數表示為Cb(i)、Cr(i) (i=0、1、…15)。Cr(i)接近對Cb(i)乘上“-1”的值指就i=0、1、2、…兩者的關係視為以下關係的情況。
Figure 02_image001
(此處，“≒”表示兩邊大致上相等) 亦即，如下式，色差Cb與Cr的和成為閾值以下的情況。
Figure 02_image003
此處，｜x｜表示實數x的絕對值。
實施方式的情況下，色差成分的係數的個數為4×4個，故使用既定的閾值Th而符合下式的情況下，可判斷為對成分Cb的正交變換係數乘上(-1)者接近成分Cr的正交變換係數。
Figure 02_image005
(此處，Σ表示i=0、1、…15的合計) 另外，亦可代替求出絕對值，如下式般從左邊的2個色差的和的平方和進行判定。
Figure 02_image007
另外，在上述之實施方式，Cb的殘差係數與Cr的殘差係數呈負的相關關係的情況下雖使用色差殘差係數統合編碼，惟不限於此。 亦可如Cb(i)≒aCr(i)(a為整數)般將相關關係一般化。 此情況下，為了決定是否使用色差殘差係數統合編碼用的判定處理是使用Σ{｜Cb(i)｜-｜Cr(i)／a｜}＜Th或Σ{｜Cb(i)｜-｜Cr(i)／a｜}2 ＜Th等的條件。符合此條件的情況下，適用色差殘差係數統合編碼。
另外，亦可將顯示相關關係的資訊「a」進行編碼。
在S307，控制部150控制反量化兼逆變換部106，將在S306生成的殘差係數，使用在S301被生成並保存的量化矩陣予以進行反量化，予以再生成正交變換係數。在本步驟，使用與在S306使用的量化矩陣相同者，進行反量化處理。此外，使用色差殘差係數統合編碼的情況下，將Cb成分的殘差係數使用圖8B的量化矩陣進行反量化，再生成Cb成分的正交變換係數。再者，將對再生成的Cb成分的正交變換係數乘上「-1」者作為Cr成分的正交變換係數而再生成。並且，對再生成的正交變換係數進行逆正交變換，再生成預測誤差。
在S308，控制部150控制圖像再生部107，根據在S305生成的預測資訊予以再生成預測圖像，根據再生成的預測圖像與在S307生成的預測誤差予以再生成圖像資料，予以儲存於圖框記憶體108。
在S309，控制部150控制編碼部110，予以進行在S305生成的預測資訊及在S306生成的殘差係數、色差統合資訊的編碼，予以生成代碼資料。於此，在色差統合資訊顯示於該子塊不使用色差殘差係數統合編碼的情況下，編碼部110將Y、Cb、Cr的全部的色成分的殘差係數進行編碼。另一方面，在色差統合資訊顯示於該子塊使用色差殘差係數統合編碼的情況下，編碼部110將成分Y、Cb的色成分的殘差係數進行編碼，省略Cr成分的殘差係數的編碼。另外，使用了色差殘差係數統合編碼的情況下的色成分的編碼資料方面，亦可代替將Cb成分的殘差係數進行編碼，將Cb成分的殘差係數的值和將Cr成分的殘差係數的符號予以反轉的值的平均值進行編碼。此情況下，可抑制解碼後的圖像的色再現的劣化。此外，編碼部110將生成的代碼資料輸出至統合編碼部111。統合編碼部111將來自編碼部110的編碼資料以接續於先生成的標頭的方式予以定位，並輸出。
在S310，控制部150進行著眼畫格內的全部的基本塊的編碼是否結束的判定。控制部150在判定為已結束的情況下進至S311，判斷為殘留未編碼的基本塊的情況下使處理返回至S304，予以繼續對於下個基本塊之編碼。
在S311，控制部150控制迴圈式濾波器部109，對在S308再生成的圖像資料，進行迴圈式濾波器處理，生成被濾波處理的圖像，使處理結束。
透過以上的構成與動作，尤其透過於S306對使用了色差殘差係數統合編碼的子塊進行使用了量化矩陣的量化處理，使得可按頻率成分控制量化而使主觀畫質提升。
另外，在本實施方式，雖採用在使用色差殘差係數統合編碼的情況下使用圖8B的量化矩陣的構成，惟使用的量化矩陣不限定於此。例如，使用圖8C的Cr成分用的量化矩陣進行量化兼反量化處理的構成方面功效仍不變。此外，亦可構成為使用既存的圖8B、圖8C的量化矩陣而生成新的量化矩陣，用於量化兼反量化處理。
再者，亦可構成為，為了色差殘差係數統合編碼而將別的量化矩陣進行編碼。除既存的圖8A～8C的量化矩陣800～802以外，亦可如示於圖8D，構成為使用用於色差殘差係數統合編碼的量化矩陣803而進行編碼，使用於使用色差殘差係數統合編碼的子塊的量化處理。藉此，可實現對於使用了色差殘差係數統合編碼的子塊之獨自的量化控制。
再者，在本實施方式，雖構成為無歧義地決定對於使用了色差殘差係數統合編碼之子塊的量化矩陣，惟亦可構成為導入識別符從而可進行選擇。例如圖6B為新導入為了指定量化矩陣用的色差矩陣資訊(採2位元)，從而令對於使用了色差殘差係數統合編碼之子塊的量化矩陣為選擇性者。
例如，色差矩陣資訊為0的情況下，對使用了色差殘差係數統合編碼的子塊，使用為對於Cb成分之量化矩陣的圖8B。色差矩陣資訊顯示1的情況下，對使用了色差殘差係數統合編碼的子塊，使用為對於Cr成分之量化矩陣的圖8C。另一方面，色差矩陣資訊顯示2的情況下，對使用了色差殘差係數統合編碼的子塊，使用被個別編碼的圖8D。藉此，可選擇性實現量化矩陣代碼量削減和對於使用了色差殘差係數統合編碼之子塊的獨自的量化控制。
將上述更詳細進行說明時，在某圖像的某子塊(實施方式中子塊=基本塊)的色差統合資訊顯示不使用色差殘差係數統合編碼的情況下，表示該子塊的成分Cb的變換係數是使用示於圖8B的量化矩陣801被量化，Cr成分的變換係數是使用圖8C的量化矩陣802被量化。
另一方面，在某圖像的某子塊的色差統合資訊顯示被色差殘差係數統合編碼的情況下，成分Cb、Cr的子塊的任一者是否被編碼依存於儲存在標頭的色差矩陣資訊。例如，色差矩陣資訊為0的情況下，表示成分Cb、Cr之中成分Cb的子塊的變換係數以圖8B的量化矩陣801被量化並編碼，表示成分Cr的量化及編碼被省略。此外，色差矩陣資訊為1的情況下，表示成分Cb、Cr之中成分Cr的子塊的變換係數使用圖8C的量化矩陣802被量化並編碼，表示成分Cb的量化及編碼被省略(將成分Cb編碼，省略成分Cr亦可)。並且，色差矩陣資訊為2的情況下，表示成分Cb、Cr之中成分Cb(或成分Cr)的子塊的變換係數使用圖8D的量化矩陣803被量化並編碼，表示成分Cr(或成分Cb)的量化及編碼被省略。
另外，使用圖8D的量化矩陣803的情況下，於標頭儲存量化矩陣803的編碼資料。亦即，量化矩陣保存部103生成並保存量化矩陣803，量化矩陣編碼部113亦將該量化矩陣803進行編碼。
圖2為將實施方式中的在上述圖像編碼裝置生成的編碼圖像資料進行解碼的圖像解碼裝置的方塊構成圖。以下，參照同圖，說明涉及解碼處理的構成與其動作。
圖像解碼裝置具有掌管裝置整體的控制的控制部250。此控制部250具有CPU、儲存CPU執行的程式的ROM、用作為CPU的工作區的RAM。此外，圖像解碼裝置具有輸入端子201、分離解碼部202、解碼部203、反量化兼逆變換部204、圖像再生部205、圖框記憶體206、迴圈式濾波器部207、輸出端子208、及量化矩陣解碼部209。
輸入端子201為輸入被編碼的位元流者，輸入源雖為例如儲存編碼流的記憶媒體，惟亦可從網路輸入，不問其種類。
分離解碼部202從位元流分離為涉及解碼處理的資訊、涉及係數的代碼資料，且將存在於位元流的標頭部的編碼資料進行解碼。本實施方式的分離解碼部202將量化矩陣代碼資料分離，對量化矩陣解碼部209輸出。此外，分離解碼部202將圖像的代碼資料輸出至解碼部203。亦即，分離解碼部202進行與圖1的統合編碼部111相反的動作。
量化矩陣解碼部209，係將從分離解碼部202供應的量化矩陣代碼資料進行解碼從而再生成並保存量化矩陣。
解碼部203將從分離解碼部202輸出的圖像的編碼資料進行解碼，再生成殘差係數、色差統合資訊及預測資訊。
反量化兼逆變換部204如同圖1的反量化兼逆變換部106，使用再生成的量化矩陣對殘差係數進行反量化，獲得反量化後的係數，進一步執行逆正交變換從而再生成預測誤差。
圖像再生部205根據輸入的預測資訊，酌情參照圖框記憶體206而生成預測圖像資料。並且，圖像再生部205根據此預測圖像資料與以反量化兼逆變換部204再生成的預測誤差而生成再生圖像資料，再儲存於圖框記憶體206。
迴圈式濾波器部207如同圖1的迴圈式濾波器部109，對儲存於圖框記憶體206的再生圖像資料，進行去區塊濾波器等的迴圈式濾波器處理，將濾波處理後的圖像資料再儲存於圖框記憶體。
輸出端子208將儲存於圖框記憶體206的畫格圖像依序對外部輸出。輸出目的地一般為顯示裝置，亦可為其他裝置。
就涉及上述實施方式的圖像解碼裝置的圖像的解碼的動作，更詳細進行說明。在本實施方式，為將被編碼的位元流以畫格單位進行輸入的構成。
於圖2，從輸入端子201輸入的1畫格份的位元流被供應至分離解碼部202。在分離解碼部202，從位元流分離為涉及解碼處理的資訊、涉及係數的代碼資料，將存在於位元流的標頭部的編碼資料進行解碼。並且，於分離解碼部202，將包含於標頭部的量化矩陣代碼資料供應至量化矩陣解碼部209，將圖像資料的代碼資料供應至解碼部202。具體而言，分離解碼部202首先從示於圖6A的位元流的序列標頭將量化矩陣代碼資料抽出，對量化矩陣解碼部209輸出。在本實施方式，與示於圖8A～8C的量化矩陣對應的量化矩陣代碼資料被抽出、輸出。接著，抽出圖像資料的基本塊單位的代碼資料，對解碼部203輸出。
量化矩陣解碼部209首先將輸入的量化矩陣代碼資料進行解碼，再生成示於圖10A～10C的一維的差分矩陣1000～1002。並且，量化矩陣解碼部209如同編碼側，使用示於圖11A的編碼表將各量化矩陣進行解碼。另外，在實施方式雖利用圖11A的編碼表，惟使用圖11B的編碼表亦無妨。簡言之，使用與編碼側相同者即可。量化矩陣解碼部209將再生成的一維的差分矩陣1000～1002進行反向掃描，再生成並保存二維的量化矩陣。此處是進行與編碼側的量化矩陣編碼部113的動作相反的動作。亦即，本實施方式的量化矩陣編碼部113將示於圖10A～10C的差分矩陣1000～1002依個別的尺寸使用示於圖9A或圖9B的掃描方法進行解碼。此結果，量化矩陣編碼部113可再生成並保存示於圖8A～8C的3種的量化矩陣800～802。
解碼部203將從分離解碼部202供應的代碼資料進行解碼，再生成色差統合資訊及預測資訊，依再生成的色差統合資訊進一步再生成殘差係數。首先，解碼部203再生成預測資訊，取得在該子塊使用的預測模式。接著，解碼部203再生成色差統合資訊，判定在該子塊是否進行色差殘差係數統合編碼。在色差統合資訊顯示於該子塊不使用色差殘差係數統合編碼的情況下，解碼部203將Y、Cb、Cr的全部的色成分的殘差係數進行解碼而再生成。另一方面，在色差統合資訊顯示於該子塊使用色差殘差係數統合編碼的情況下，解碼部203，係將Y、Cb的色成分的殘差係數進行解碼(Cr的色成分的編碼資料不存在，故不進行該解碼處理)。解碼部203將再生成的色差統合資訊及殘差係數輸出至反量化兼逆變換部204，再生成的預測資訊被輸出至圖像再生部205。
反量化兼逆變換部204對輸入的殘差係數，使用以量化矩陣解碼部209再生成的量化矩陣進行反量化而生成正交變換係數，進一步實施逆正交變換而再生成預測誤差。反量化兼逆變換部204，係如同編碼側的反量化兼逆變換部106，使用與解碼對象子塊的色成分對應的量化矩陣而進行反量化。亦即，對Y成分的殘差係數使用圖8A、對Cb成分的殘差係數使用圖8B、對Cr成分的殘差係數使用圖8C的量化矩陣。其中，在色差統合資訊顯示於該子塊使用色差殘差係數統合編碼的情況下，從解碼部203無Cr成分的正交變換係數的殘差係數的供應。所以，反量化兼逆變換部204在使用Cb成分的殘差係數的圖8B的量化矩陣而反量化後，再生成Cr成分的正交變換係數。亦即，在Cr成分的再生前使用量化矩陣進行反量化，從而圖求處理的效率化。具體而言，反量化兼逆變換部204，係將對再生成的Cb成分的正交變換係數乘上(-1)者作為Cr成分的正交變換係數而再生成，供應至圖像再生部205。對如此再生成的正交變換係數實施逆正交變換而再生成的預測誤差被輸出至圖像再生部205。其中，使用的量化矩陣不限定於此，為與在編碼側的變換兼量化部105及反量化兼逆變換部106使用的量化矩陣相同者即可。
另外，在上述，雖說明呈負的相關關係的情況作為一例，惟不限於此。 呈Cb(i)≒aCr(i)(a為整數)的相關關係的情況下進行色差殘差係數統合編碼的情況下，將對Cb成分的正交變換係數乘上「a]者作為Cr成分的正交變換係數而再生成。顯示相關關係的資訊「a」可從位元流解碼，亦可在編碼側與解碼側預先作為規則而保存。
圖像再生部205根據從解碼部203輸入的預測資訊，酌情參照圖框記憶體206，再生成預測圖像。本實施方式的圖像再生部205如同編碼側的預測部104，使用水平預測、垂直預測等的畫格內預測。具體的預測的處理方面，如同編碼側的預測部104，故省略說明。圖像再生部205從此預測圖像與從反量化兼逆變換部204輸入的預測誤差而再生成圖像資料，再儲存於圖框記憶體206。儲存的圖像資料用於預測之際的參照。
迴圈式濾波器部207如同編碼側的迴圈式濾波器部109，從圖框記憶體206讀出再生圖像，進行去區塊濾波器等的迴圈式濾波器處理。並且，迴圈式濾波器部207將濾波處理的圖像再次再儲存於圖框記憶體206。
儲存於圖框記憶體206的再生圖像最後從輸出端子208輸出至外部(顯示裝置為其代表)。
圖4為就涉及實施方式的圖像解碼裝置中的控制部250的解碼處理進行繪示的流程圖。
首先，在S401，控制部250控制分離解碼部202，從位元流分離為涉及解碼處理的資訊、涉及係數的代碼資料，將標頭部分的代碼資料進行解碼。更具體而言，分離解碼部202，係將量化矩陣代碼資料供應至量化矩陣解碼部209，將圖像的代碼資料予以供應至解碼部203。
在S402，控制部250控制量化矩陣解碼部209，將在S401被再生成的量化矩陣代碼資料予以解碼。此結果，量化矩陣解碼部209再生成在圖10A～10C示出的一維的差分矩陣1000～1002。並且，量化矩陣解碼部209，係對一維的差分矩陣1000進行示於圖9A的掃描，依圖11A的編碼表進行解碼，再生成並保存圖8A的量化矩陣800。此外，量化矩陣解碼部209對一維的差分矩陣1001、1102進行示於圖9B的掃描，依圖11A的編碼表進行解碼，再生成並保存圖8B、8C的量化矩陣801、802。
在S403，控制部250控制解碼部203，將在S401分離的代碼資料進行解碼，再生成色差統合資訊及預測資訊，再生成與亮度成分的殘差係數及色差統合資訊對應的色差的殘差係數。如已說明，請留意再生成的色差的殘差係數存在Cb、Cr的雙方的情況和僅Cb的情況。
在S404，控制部250控制反量化兼逆變換部204，對殘差係數使用在S402再生成的量化矩陣進行反量化而予以生成正交變換係數。反量化兼逆變換部204進一步進行逆正交變換，再生成預測誤差。在本實施方式，依解碼對象子塊的色成分，決定在反量化處理使用的量化矩陣。亦即，反量化兼逆變換部204對Y成分的殘差係數使用圖8A、對Cb成分的殘差係數使用圖8B、對Cr成分的殘差係數使用圖8C的量化矩陣而進行反量化。其中，使用的量化矩陣不限定於此，與在編碼側使用的量化矩陣相同者即可。
其中，在色差統合資訊顯示於該子塊使用色差殘差係數統合編碼的情況下，反量化兼逆變換部204，係使用Cb成分的殘差係數的圖8B的量化矩陣進行反量化，再生成Cb成分的正交變換係數。然後，反量化兼逆變換部204將對再生成的Cb成分的正交變換係數乘上(-1)者作為Cr成分的正交變換係數而再生成。
在S405，控制部250控制圖像再生部205，予以再生成在S403生成的圖像。具體而言，圖像再生部205根據預測資訊，參照圖框記憶體206而再生成預測圖像。此時，圖像再生部205如同編碼側的S305，使用水平預測、垂直預測等的畫格內預測。並且，圖像再生部205根據再生成的預測圖像和在S404生成的預測誤差而再生成圖像資料，將再生成的圖像資料儲存於圖框記憶體206。
在S406，控制部250進行著眼畫格內的全部的基本塊的解碼是否結束的判定，結束時使處理進至S407，存在未解碼的區塊的情況下為了使下個基本塊為解碼對象，使處理返回S403。
在S407，控制部250控制迴圈式濾波器部207，對在S405再生成的圖像資料，進行迴圈式濾波器處理，生成被濾波處理的圖像，使處理結束。
透過以上的構成與動作，使得亦可對先前說明的在圖像編碼裝置生成的編碼位元流，亦即對使用了色差殘差係數統合編碼的子塊，按頻率成分控制量化，將提升主觀畫質的位元流進行解碼。
另外，在本實施方式，於位元流的標頭包含色差矩陣資訊的情況下的解碼處理如下。
在某圖像的某子塊(實施方式中子塊=基本塊)的色差統合資訊顯示不使用色差殘差係數統合編碼的情況下，該子塊的成分Cb的殘差係數使用示於圖8B的量化矩陣801被反量化，Cr成分的殘差係數使用圖8C的量化矩陣802被反量化。
另一方面，在某圖像的某子塊的色差統合資訊顯示被色差殘差係數統合編碼的情況下，成分Cb、Cr的子塊的任一者是否被編碼依存於儲存在標頭的色差矩陣資訊。以下為其說明。
色差矩陣資訊為0的情況下，成分Cb、Cr之中成分Cb的子塊的殘差係數是以圖8B的量化矩陣801反量化而獲得變換係數，被解碼。成分Cr不存在，故將對反量化的成分Cb的變換係數乘上“-1”的值作為成分Cr的變換係數而生成並解碼。
此外，色差矩陣資訊為1的情況下，成分Cb、Cr之中成分Cr的子塊的殘差係數是以圖8C的量化矩陣802反量化而獲得變換係數，被解碼。成分Cb不存在，故將對反量化的成分Cr的變換係數乘上“-1”的值作為成分Cb的變換係數而生成並解碼。
此外，色差矩陣資訊為2的情況下，成分Cb、Cr之中其中一個(例如成分Cb)子塊的殘差係數是以圖8B的量化矩陣801反量化而獲得變換係數，被解碼。另一個成分Cr不存在，故將對反量化的其中一個成分的變換係數乘上“-1”的值作為另一個成分的變換係數而生成並解碼。
此結果，可將實現了對於使用了色差殘差係數統合編碼的子塊之獨自的量化控制的位元流進行解碼。
[第2實施方式] 上述實施方式的圖像編碼裝置及圖像解碼裝置具有的各處理部是當作以硬體而構成者而說明。然而，就以示於此等圖的各處理部進行的處理，亦能以電腦程式而構成。
圖5為就可適用於涉及上述實施方式的圖像編碼裝置、圖像解碼裝置的電腦的硬體的構成例進行繪示的方塊圖。
CPU501，係使用儲存於RAM502、ROM503的電腦程式、資料進行電腦整體的控制，同時執行以涉及上述各實施方式的圖像處理裝置所進行而上述的各處理。亦即，CPU501作用為示於圖1、圖2的各處理部。
RAM502具有為了將經由外部記憶裝置506、I／F(介面)507從外部取得的程式、資料等暫時記憶用的區域。再者，RAM502亦被利用為在CPU501執行各種的處理之際使用的工作區。RAM502例如可分配為圖框記憶體，酌情提供其他各種的區域。
於ROM503儲存主電腦的設定資料、啟動程序等。操作部504由鍵盤、滑鼠等構成，主電腦的使用者進行操作，從而可對CPU501輸入各種的指示。顯示部505將透過CPU501之處理結果進行顯示。此外，顯示部505以例如液晶顯示器構成。
外部記憶裝置506是硬碟裝置為代表的大容量資訊記憶裝置。於外部記憶裝置506，保存OS(作業系統)、為了使CPU501實現示於圖1、圖2的各部分的功能用的電腦程式(應用程式)。再者，亦可於外部記憶裝置506保存作為處理對象的各圖像資料。
保存於外部記憶裝置506的電腦程式、資料依透過CPU501之控制酌情加載於RAM502，成為CPU501的處理對象。於I／F507，可連接LAN、網際網路等的網路、投影裝置、顯示裝置等的其他機器，主電腦可經由此I／F507取得、送出各種的資訊。508為連接上述的各部分的匯流排。
於上述構成，電源導通於本裝置時，CPU501執行儲存於ROM503的啟動程序，將儲存於外部記憶裝置506的OS加載於RAM502並執行。並且，CPU501在OS的控制下，從外部記憶裝置506將涉及編碼或解碼的應用程式加載於RAM502，並執行。此結果，CPU501作用為圖1或圖2的各處理部，本裝置作用為圖像編碼裝置或圖像解碼裝置。
(其他實施例) 本發明亦可將實現上述的實施方式的1個以上的功能的程式透過網路或記憶媒體而提供至系統或裝置，以該系統或裝置的電腦中的1個以上的處理器將程式讀出並執行的處理從而實現。此外，亦可透過實現1個以上的功能的電路(例如，ASIC)而實現。 [產業利用性]
本發明用於進行靜態圖像兼動態圖像的編碼兼解碼的編碼裝置兼解碼裝置。尤其，可適用於使用量化矩陣的編碼方式及解碼方式。
本發明不限制於上述實施方式，在不從本發明的精神及範圍脫離之下，可進行各種的變更及變形。因此，提供申請專利範圍以公開本發明的範圍。
101:輸入端子 102:區塊分割部 103:量化矩陣保存部 104:預測部 105:變換兼量化部 106:反量化兼逆變換部 107:圖像再生部 108:圖框記憶體 109:迴圈式濾波器部 110:編碼部 111:統合編碼部 112:輸出端子 113:量化矩陣編碼部 150:控制部 201:輸入端子 202:分離解碼部 203:解碼部 204:反量化兼逆變換部 205:圖像再生部 206:圖框記憶體 207:迴圈式濾波器部 208:輸出端子 209:量化矩陣解碼部 250:控制部 501:CPU 502:RAM 503:ROM 504:操作部 505:顯示部 506:外部記憶裝置 507:I／F 508:匯流排 700:基本塊 701:基本塊 702:基本塊 703:基本塊 704:基本塊 705:基本塊 800:量化矩陣 801:量化矩陣 802:量化矩陣 803:量化矩陣 1000:差分矩陣 1002:差分矩陣 1003:差分矩陣
圖式含於說明書中，構成其一部分，示出本發明的實施方式，與其記述一起用於說明本發明的原理。 [圖1]第1實施方式中的圖像編碼裝置的方塊構成圖。 [圖2]第1實施方式中的圖像解碼裝置的方塊構成圖。 [圖3]就第1實施方式中的在圖像編碼裝置之圖像編碼處理進行繪示的流程圖。 [圖4]就第1實施方式中的在圖像解碼裝置之圖像解碼處理進行繪示的流程圖。 [圖5]在第2實施方式應用的電腦硬體構成圖。 [圖6A]就以實施方式而生成的位元流的資料構造之例進行繪示的圖。 [圖6B]就以實施方式而生成的位元流的資料構造之例進行繪示的圖。 [圖7A]就實施方式中的子塊分割之例進行繪示的圖。 [圖7B]就實施方式中的子塊分割之例進行繪示的圖。 [圖7C]就實施方式中的子塊分割之例進行繪示的圖。 [圖7D]就實施方式中的子塊分割之例進行繪示的圖。 [圖7E]就實施方式中的子塊分割之例進行繪示的圖。 [圖7F]就實施方式中的子塊分割之例進行繪示的圖。 [圖8A]就在實施方式使用的量化矩陣之例進行繪示的圖。 [圖8B]就在實施方式使用的量化矩陣之例進行繪示的圖。 [圖8C]就在實施方式使用的量化矩陣之例進行繪示的圖。 [圖8D]就在實施方式使用的量化矩陣之例進行繪示的圖。 [圖9A]就在實施方式使用的量化矩陣的要素的掃描方法進行繪示的圖。 [圖9B]就在實施方式使用的量化矩陣的要素的掃描方法進行繪示的圖。 [圖10A]就在實施方式生成的量化矩陣的差分值矩陣進行繪示的圖。 [圖10B]就在實施方式生成的量化矩陣的差分值矩陣進行繪示的圖。 [圖10C]就在實施方式生成的量化矩陣的差分值矩陣進行繪示的圖。 [圖11A]就使用於量化矩陣的差分值的編碼之編碼表之例進行繪示的圖。 [圖11B]就使用於量化矩陣的差分值的編碼之編碼表之例進行繪示的圖。
101:輸入端子
102:區塊分割部
103:量化矩陣保存部
104:預測部
105:變換兼量化部
106:反量化兼逆變換部
107:圖像再生部
108:圖框記憶體
109:迴圈式濾波器部
110:編碼部
111:統合編碼部
112:輸出端子
113:量化矩陣編碼部
150:控制部

Claims (17)

  1. 一種圖像編碼裝置，其為將以1個亮度成分與2個色差成分而構成的圖像資料進行編碼者， 具有： 量化手段，其就將作為編碼對象的圖像進行分割從而獲得的區塊的各成分進行正交變換，將以該正交變換獲得的各成分的變換係數進行量化；和 編碼手段，其將透過前述量化手段而獲得的殘差係數進行編碼； 前述編碼手段在將前述2個色差成分的正交變換的變換係數統合而編碼的情況下，對進行該統合從而獲得的正交變換的變換係數，使用預先設定的量化矩陣進行量化，將透過量化而獲得的殘差係數進行編碼。
  2. 如請求項1的圖像編碼裝置，其中，前述量化矩陣為前述2個色差成分之中的其中一個色差成分用的量化矩陣。
  3. 如請求項1的圖像編碼裝置，其中，前述量化矩陣與前述2個色差成分用的量化矩陣不同。
  4. 如請求項1的圖像編碼裝置，其中，前述編碼手段將決定在將用於前述2個色差成分的各者的2個量化矩陣、及與用於前述2個色差成分的各者的量化矩陣不同的既定的量化矩陣之中前述2個色差成分的正交變換的變換係數統合而編碼的情況下使用的量化矩陣所需的資訊進一步進行編碼。
  5. 如請求項1至4中任一項之圖像編碼裝置，其中，前述編碼手段在前述2個色差成分的正交變換的變換係數存在既定的關係的情況下，將前述2個色差成分的正交變換的變換係數統合而編碼。
  6. 如請求項5的圖像編碼裝置，其中，前述既定的關係為第1色差成分的變換係數=a×第2色差成分的變換係數。
  7. 如請求項6的圖像編碼裝置，其中，前述編碼手段將為了導出前述既定的關係用的資訊進一步進行編碼。
  8. 一種圖像解碼裝置，其為將被以區塊單位進行編碼的圖像資料進行解碼者，具有： 解碼手段，其從位元流將第1色差成分及第2色差成分的殘差係數進行解碼；和 反量化手段，其使用第1量化矩陣將前述被解碼的第1色差成分的殘差係數進行反量化，將前述被解碼的第2色差成分的殘差係數使用第2量化矩陣進行反量化； 在從前述位元串流就將前述2個色差成分的正交變換的變換係數統合而編碼的殘差係數進行解碼的情況下，前述反量化手段對被解碼的殘差係數，使用第3量化矩陣進行反量化，從透過前述反量化而獲得的正交變換的變換係數，生成前述第1色差成分及前述第2色差成分的正交變換的變換係數。
  9. 如請求項8的圖像解碼裝置，其中，前述第3量化矩陣為前述第1量化矩陣及第2量化矩陣之中的其中一個量化矩陣。
  10. 如請求項8的圖像解碼裝置，其中，前述解碼手段在從前述位元串流就將前述2個色差成分的正交變換的變換係數統合而編碼的殘差係數進行解碼的情況下，將為了導出量化矩陣用的資訊進行解碼，根據該資訊決定作為前述第3量化矩陣而使用的量化矩陣。
  11. 如請求項8至10中任一項之圖像解碼裝置，其中，前述解碼手段在前述2個色差成分的正交變換的變換係數存在既定的關係的情況下，將作為第1色差成分的殘差係數或第2色差成分的殘差係數中的任一者而被編碼的殘差係數進行解碼。
  12. 如請求項11的圖像解碼裝置，其中，前述反量化手段在前述解碼手段將前述殘差係數作為第1色差成分的殘差係數而解碼的情況下使用前述第1量化矩陣將殘差係數進行反量化，在前述解碼手段將前述殘差係數作為第2色差成分的殘差係數而解碼的情況下使用前述第2量化矩陣將殘差係數進行反量化。
  13. 如請求項12的圖像解碼裝置，其中，前述既定的關係為第1色差成分的變換係數=a×第2色差成分的變換係數。
  14. 如請求項13的圖像解碼裝置，其中，前述解碼手段將為了導出前述既定的關係用的資訊進一步進行解碼。
  15. 一種圖像編碼方法，其為將以1個亮度成分與2個色差成分而構成的圖像資料進行編碼者，具有： 量化程序，其為就將作為編碼對象的圖像進行分割從而獲得的區塊的各成分進行正交變換，將以該正交變換獲得的各成分的變換係數進行量化者；和 編碼程序，其為將在前述量化程序獲得的殘差係數進行編碼者； 於前述編碼程序，在將前述2個色差成分的正交變換的變換係數統合而編碼的情況下，對進行該統合從而獲得的正交變換的變換係數，使用預先設定的量化矩陣進行量化，獲得的殘差係數被編碼。
  16. 一種圖像解碼方法，其為將被編碼為預先設定的區塊單位的編碼圖像資料進行解碼者，具有： 解碼程序，其從位元流將第1色差成分及第2色差成分的殘差係數進行解碼者；和 反量化程序，其為使用第1量化矩陣將前述被解碼的第1色差成分的殘差係數進行反量化，將前述被解碼的第2色差成分的殘差係數使用第2量化矩陣進行反量化者； 在從前述位元串流就將前述2個色差成分的正交變換的變換係數統合而編碼的殘差係數進行解碼的情況下，於前述反量化程序，對被解碼的殘差係數，使用第3量化矩陣進行反量化，從透過前述反量化而獲得的正交變換的變換係數，生成前述第1色差成分及前述第2色差成分的正交變換的變換係數。
  17. 一種程式，用於透過電腦進行讀取執行，從而使前述電腦執行如請求項15或16的方法的各程序。
TW109113992A 2019-06-07 2020-04-27 圖像編碼裝置、圖像解碼裝置、方法及程式 TW202101990A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019107454A JP7493310B2 (ja) 2019-06-07 2019-06-07 画像復号装置及び方法及びプログラム
JP2019-107454 2019-06-07

Publications (1)

Publication Number Publication Date
TW202101990A true TW202101990A (zh) 2021-01-01

Family

ID=73652489

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113992A TW202101990A (zh) 2019-06-07 2020-04-27 圖像編碼裝置、圖像解碼裝置、方法及程式

Country Status (8)

Country Link
US (6) US11856198B2 (zh)
EP (1) EP3982632A4 (zh)
JP (2) JP7493310B2 (zh)
KR (1) KR20220011175A (zh)
CN (1) CN113994677A (zh)
BR (1) BR112021024187A2 (zh)
TW (1) TW202101990A (zh)
WO (1) WO2020246125A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11641469B2 (en) * 2020-01-13 2023-05-02 Qualcomm Incorporated Signaling scaling matrices in video coding
US20220353547A1 (en) * 2021-04-16 2022-11-03 Tencent America LLC Entropy coding of sign map for transform coefficients

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
WO2010070897A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
US9369718B2 (en) 2009-10-30 2016-06-14 Sun Patent Trust Decoding method, decoding apparatus, coding method, and coding apparatus using a quantization matrix
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
CN101790094B (zh) * 2010-03-19 2013-01-30 山东大学 一种jpeg图像解码器的vlsi系统结构及其实现方法
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
MY191819A (en) * 2011-02-10 2022-07-18 Sony Group Corp Image processing device and image processing method
JP2013038758A (ja) 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9031137B2 (en) * 2012-05-03 2015-05-12 Texas Instruments Incorporated Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US10735729B2 (en) * 2015-12-22 2020-08-04 Realnetworks, Inc. Residual transformation and inverse transformation in video coding systems and methods
CN107360419B (zh) * 2017-07-18 2019-09-24 成都图必优科技有限公司 一种基于透视模型的运动前视视频帧间预测编码方法
EP3664449A1 (en) * 2018-12-05 2020-06-10 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
JP6644865B2 (ja) 2018-12-28 2020-02-12 日本光電工業株式会社 医療用システム

Also Published As

Publication number Publication date
KR20220011175A (ko) 2022-01-27
EP3982632A1 (en) 2022-04-13
CN113994677A (zh) 2022-01-28
WO2020246125A1 (ja) 2020-12-10
EP3982632A4 (en) 2023-05-03
US20220094937A1 (en) 2022-03-24
US20240089440A1 (en) 2024-03-14
BR112021024187A2 (pt) 2022-01-11
US11856198B2 (en) 2023-12-26
JP2020202473A (ja) 2020-12-17
US20240089441A1 (en) 2024-03-14
US20240089443A1 (en) 2024-03-14
JP2024015184A (ja) 2024-02-01
JP7493310B2 (ja) 2024-05-31
US20240089442A1 (en) 2024-03-14
US20240089439A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
TWI849820B (zh) 圖像編碼裝置、圖像編碼方法及程式
JP7508675B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム
JP2024015184A (ja) 画像復号装置及び方法及びプログラム
TWI795635B (zh) 圖像解碼裝置、圖像解碼方法及程式
JP2023181542A (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
TWI791959B (zh) 圖像解碼裝置、圖像解碼方法及程式
WO2020003740A1 (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP7508676B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム
TWI856179B (zh) 影像編碼裝置及其控制方法、以及影像解碼裝置及其控制方法
TWI833620B (zh) 圖像編碼裝置、圖像編碼方法、圖像解碼裝置及圖像解碼方法
WO2020255820A1 (ja) 画像符号化装置及び画像復号装置及び方法及びコンピュータプログラム
JP7090490B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
WO2021187023A1 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
TW202034699A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式