TW202130170A - 影像處理裝置及影像處理方法 - Google Patents

Abstract

本揭露有關於能夠避免記憶體大小之增大的影像處理裝置及影像處理方法。 適應色彩轉換部，係將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對影像的殘差訊號做施行；正交轉換部，係對影像的殘差訊號、或對已被施行過適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理。然後，藉由控制部，進行適應色彩轉換處理之適用的相關控制。本技術係可適用於例如，對應於ACT處理的影像編碼裝置及影像解碼裝置。

Description

影像處理裝置及影像處理方法

本揭露係有關於影像處理裝置及影像處理方法，特別是有關於，能夠避免記憶體大小之增大的影像處理裝置及影像處理方法。

先前，將影像資訊以數位方式加以處理，此時，為了高效率的資訊傳輸、積存之目的，利用影像資訊特有的冗長性，採用藉由離散餘弦轉換等之正交轉換和運動補償而進行壓縮的編碼方式，來將影像予以壓縮編碼的裝置，正逐漸普及。

該編碼方法係有例如：MPEG (Moving Picture Experts Group)、H.264 and MPEG-4 Part 10 (Advanced Video Coding, hereinafter referred to as H.264/AVC)、及H.265 and MPEG-H Part 2 (High Efficiency Video Coding, hereinafter referred to as H.265/HEVC)。

又，為了更進一步提升對AVC(Advanced Video Coding)或HEVC(High Efficiency Video Coding)等的編碼效率，一種被稱為VVC(Versatile Video Coding)的編碼方式之標準化，正在進行中(參照後述的實施形態的支持)。

如非專利文獻1所揭露，在VVC中係揭露，將影像的色彩空間做適應性轉換的ACT(Adaptive Color Transform)的相關技術。 [先前技術文獻] [專利文獻]

[非專利文獻1]Xiaoyu Xiu, Yi-Wen Chen, Tsung-Chuan Ma, Hong-Jheng Jhu, Xianglin Wang, Support of adaptive color transform for 444 video coding in VVC, JVET-P0517_r1 (version 3 - date 2019-10-11)

[發明所欲解決之課題]

話說回來，在適用ACT處理，而例如將RGB色彩空間轉換成YCgCo色彩空間的情況下，必須將作為其處理結果而被輸出的YCgCo殘差訊號予以暫時積存。因此，隨著ACT處理之後所被進行的正交轉換處理中的正交轉換區塊之區塊尺寸，用來積存YCgCo殘差訊號所需之記憶體大小也被認為需要跟著增大。

本揭露係有鑑於此種狀況而研發，目的在於能夠避免記憶體大小之增大。 [用以解決課題之手段]

本揭露之第1側面的影像處理裝置，係具備：適應色彩轉換部，係將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對前記影像的殘差訊號做施行；和正交轉換部，係對前記影像的殘差訊號、或對已被施行過前記適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理；和控制部，係進行前記適應色彩轉換處理之適用的相關控制。

本揭露之第1側面的影像處理方法，係含有：將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對前記影像的殘差訊號做施行之步驟；和對前記影像的殘差訊號、或對已被施行過前記適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理之步驟；和進行前記適應色彩轉換處理之適用的相關控制之步驟。

於本揭露之第1側面中，對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，係對影像的殘差訊號而被施行；對影像的殘差訊號、或對已被施行過適應色彩轉換處理的影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，而被施行正交轉換處理；適應色彩轉換處理之適用的相關控制係被進行。

本揭露之第2側面的影像處理裝置，係具備：逆正交轉換部，係對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，以取得前記殘差訊號；和逆適應色彩轉換部，係對前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理；和控制部，係進行前記逆適應色彩轉換處理之適用的相關控制。

本揭露之第2側面的影像處理方法，係含有：對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，以取得前記殘差訊號之步驟；和對前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理之步驟；和進行前記逆適應色彩轉換處理之適用的相關控制之步驟。

於本揭露之第2側面中，對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，殘差訊號係被取得；對殘差訊號，將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理係被施行；逆適應色彩轉換處理之適用的相關控制係被進行。

＜支持技術內容、技術用語的文獻等＞

本說明書中所揭露的範圍，係不限定於實施例的內容，於申請當時所公知的以下之參考文獻REF1~REF5的內容，也是藉由參照而被納入在本說明書中。亦即，參考文獻REF1~REF5中所記載之內容也是作為在判斷支持要件之際的根據。再者，參考文獻REF1~REF5中所參照的文獻亦為在判斷支持要件之際的根據。

例如，Quad-Tre Block Structure、QTBT (Quad Tree Plus Binary Tree)、Block Structure，MTT(Multi-type Tree) Block Structure等，即使在發明的詳細說明中未被直接定義的情況下，仍是屬於本揭露之範圍內，而滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使在發明的詳細說明中未被直接定義的情況下，仍是屬於本揭露之範圍內，而滿足申請專利範圍的支持要件。又，例如，關於ACT(Adaptive Color Transform)等之技術用語也是同等地，即使在發明的詳細說明中未被直接定義的情況下，仍是屬於本揭露之範圍內，而滿足申請專利範圍的支持要件。

REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017 REF2：Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018 REF3：Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 7), JVET-P2001-v14 (version 14 - date 2019-11-14) REF4：Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7), JVET-P2002-v1 (version 1 - date 2019-11-10) REF5：Xiaoyu Xiu, Yi-Wen Chen, Tsung-Chuan Ma, Hong-Jheng Jhu, Xianglin Wang, Support of adaptive color transform for 444 video coding in VVC, JVET-P0517_r1 (version 3 - date 2019-10-11)

＜用語＞ 在本案中，以下的用語，是定義如下。

＜區塊＞ 作為影像(圖像)之部分領域或處理單位而用於說明的「區塊」(並非表示處理部的區塊)，係在沒有特別言及的情況下，是表示圖像內的任意之部分領域，其大小、形狀、及特性等並無限定。例如，「區塊」中係可包含有：TB(Transform Block)、TU(Transform Unit)、PB(Prediction Block)、PU(Prediction Unit)、SCU(Smallest Coding Unit)、CU(Coding Unit)、LCU(Largest Coding Unit)、CTB(Coding TreeBlock)、CTU(Coding Tree Unit)、轉換區塊、子區塊、巨集區塊、瓷磚、或切片等，任意之部分領域(處理單位)。

＜區塊尺寸的指定＞ 又，在指定此種區塊的尺寸時，不只可直接地指定區塊尺寸，亦可間接地指定區塊尺寸。例如亦可使用用來識別尺寸的識別資訊，來指定區塊尺寸。又，例如，亦可藉由與作為基準之區塊(例如LCU或SCU等)之尺寸的比或差分，來指定區塊尺寸。例如，作為語法要素等而將用來指定區塊尺寸的資訊予以傳輸的情況下，作為該資訊，亦可使用如上述的間接指定尺寸的資訊。藉由如此設計，可降低該資訊的資訊量，有時候可以提升編碼效率。又，該區塊尺寸之指定中係包含有，區塊尺寸之範圍之指定(例如所被容許之區塊尺寸之範圍之指定等)。

＜資訊、處理的單位＞ 各種資訊所被設定的資料單位、或各種處理之對象的資料單位，係分別為任意，並非限定於上述的例子。例如，這些資訊或處理係亦可分別對每一TU(Transform Unit)、TB(Transform Block)、PU(Prediction Unit)、PB(Prediction Block)、CU(Coding Unit)、LCU(Largest Coding Unit)、子區塊、區塊、瓷磚、切片、圖像、序列、或組件而被設定，亦可以這些資料單位之資料為對象。當然，該資料單位，係可按照每一資訊或處理而被設定，並不一定要所有的資訊或處理之資料單位都是統一的。此外，這些資訊的儲存場所係為任意，亦可被儲存在上述的資料單位之標頭或參數集等。又，亦可被儲存在複數地點。

＜控制資訊＞ 關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將表示上述的本技術之適用對象(或非適用對象)的控制資訊，予以傳輸。例如，亦可將用來指定適用本技術(或者是許可或禁止適用)的區塊尺寸(上限或下限、或其雙方)、畫格、組件、或層等的控制資訊，予以傳輸。

＜旗標＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。

＜將後設資料建立關連＞ 又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。

此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。又，於本說明書中，所謂編碼，係不只包含將影像轉換成位元串流的全體之處理，也包含部分之處理。例如，不只包含將預測處理、正交轉換、量化、算術編碼等予以包括的處理，也包含將量化與算術編碼予以總稱的處理、將預測處理與量化與算術編碼予以包括的處理等。同樣地，所謂解碼，係不只包含將位元串流轉換成影像的全體之處理，也包含部分之處理。例如，不只包含將逆算術解碼、逆量化、逆正交轉換、預測處理等予以包括的處理，也包含將逆算術解碼與逆量化予以包括的處理、將逆算術解碼與逆量化與預測處理予以包括的處理等。

所謂預測區塊，係意味著進行畫面間預測之際作為處理單位的區塊，也包含預測區塊內的子區塊。又，進行正交轉換之際的作為處理單位的正交轉換區塊或進行編碼處理之際的作為處理單位的編碼區塊與處理單位是被統一的情況下，則預測區塊與正交轉換區塊/編碼區塊是意味著相同的區塊。

所謂畫面間預測，係為運動偵測所致之運動向量之導出(Motion Prediction / Motion Estimation)、或使用運動向量的運動補償(Motion Compensation)等之畫格(預測區塊)間之預測所伴隨的處理之總稱，包含在預測影像生成之際所使用的一部分之處理(例如僅運動補償處理)、或全部之處理(例如運動偵測處理＋運動補償處理)。所謂畫面間預測模式，係意味著包括畫面間預測進行之際的模式號碼、模式號碼之索引、預測區塊之區塊尺寸、預測區塊內的作為處理單位的子區塊之尺寸等，在導出畫面間預測模式之際所參照的變數(參數)。

於本技術中，亦可將用來識別複數模態的識別資料，設定作為位元串流的語法。此情況下，在解碼器中藉由將識別資料進行剖析＋參照，就可較有效率地進行處理。作為識別區塊尺寸的方法(資料)，係不只有將區塊尺寸本身予以數值化(位元化)，亦包含將相對於作為基準的區塊尺寸(最大區塊尺寸、最小區塊尺寸等)的差分值予以識別的方法(資料)。

以下針對適用了本技術的具體之實施形態，參照圖式而詳細說明。

＜影像處理系統之構成例＞ 圖1係適用了本技術之影像處理系統的一實施形態之構成例的區塊圖。

如圖1所示，影像處理系統11，係具備影像編碼裝置12及影像解碼裝置13而被構成。例如，在影像處理系統11中，已被輸入至影像編碼裝置12的影像會被編碼，藉由該編碼所得的位元串流會被傳輸至影像解碼裝置13，於影像解碼裝置13中會將從位元串流所被解碼出來的解碼影像，予以輸出。

如圖1所示，影像編碼裝置12係具有：預測部21、編碼部22、記憶部23、及控制部24，影像解碼裝置13係具有：預測部31、解碼部32、記憶部33、及控制部34。

預測部21，係進行畫面間預測或畫面內預測而生成預測影像。例如，預測部21係在進行畫面間預測的情況下，將所定之區塊尺寸之預測區塊(Prediction Unit)當作處理單位而生成預測影像。

編碼部22，係將所定之區塊尺寸之編碼區塊(Coding Unit)當作處理單位，將已被輸入至影像編碼裝置12的影像依照所定之編碼方式而進行編碼，將編碼資料的位元串流，發送至影像解碼裝置13。又，該位元串流中係含有，如參照圖4乃至圖6而後述的區塊之相關參數等。

記憶部23係記憶，於影像編碼裝置12中將影像進行編碼之際所需要記憶的各種資料。例如，記憶部23，係如參照圖2所後述，將藉由ACT處理而被輸出的YCgCo殘差訊號1、以及作為IACT處理之對象的YCgCo殘差訊號2，予以暫時積存。

控制部24，係進行如參照圖2所後述的ACT處理及IACT處理之適用的相關控制。

預測部31，係進行畫面間預測或畫面內預測而生成預測影像。例如，預測部21係在進行畫面間預測的情況下，將所定之區塊尺寸之預測區塊當作處理單位而生成預測影像。

解碼部32，係對應於編碼部22所致之編碼方式，而將從影像編碼裝置12所被發送過來的位元串流予以解碼，將已被解碼之影像予以輸出。

記憶部33係記憶，於影像解碼裝置13中將影像進行解碼之際所需要記憶的各種資料。例如，記憶部33，係如參照圖3所後述，將作為IACT處理之對象的YCgCo殘差訊號2予以暫時積存。

控制部34，係進行如參照圖3所後述的IACT處理之適用的相關控制。

在如此所被構成的影像處理系統11中，藉由適切地進行ACT處理及IACT處理的相關控制，就可避免記憶部23及記憶部33的記憶體大小之增大。

參照圖2所示的區塊圖，針對影像編碼裝置12之構成，做進一步說明。

如圖2所示，影像編碼裝置12係具備：演算部41、適應色彩轉換部42、正交轉換部43、量化部44、逆量化部45、逆正交轉換部46、逆適應色彩轉換部47、演算部48、預測部49、及編碼部50而被構成。

演算部41係進行，從已被輸入至影像編碼裝置12之影像，減去從預測部49所被供給之預測影像的演算，將藉由該演算所得的差分資訊也就是RGB殘差訊號1，供給至適應色彩轉換部42。

適應色彩轉換部42，係對從演算部41所被供給之RGB殘差訊號1，施行將作為編碼之對象的影像之色彩空間進行適應性轉換的ACT處理。例如，適應色彩轉換部42，係藉由進行將RGB色彩空間轉換成YCgCo色彩空間的ACT處理，以從RGB殘差訊號1取得YCgCo殘差訊號1而供給至正交轉換部43。

正交轉換部43，係藉由對從適應色彩轉換部42所被供給之YCgCo殘差訊號1，實施針對作為處理單位的每一正交轉換區塊進行正交轉換的正交轉換處理，以取得轉換係數，並供給至量化部44。又，正交轉換部43，係在適應色彩轉換部42中被控制成不要施行ACT處理的情況下，可對從演算部41所被供給之RGB殘差訊號1，施行正交轉換處理。

量化部44，係將從正交轉換部43所被供給之轉換係數進行量化並供給至逆量化部45及編碼部50。逆量化部45，係將於量化部44中已被量化之轉換係數進行逆量化並供給至逆正交轉換部46。

逆正交轉換部46，係藉由對從逆量化部45所被供給之轉換係數，施行針對作為處理單位的每一正交轉換區塊進行逆正交轉換的逆正交轉換處理以取得YCgCo殘差訊號2，並供給至逆適應色彩轉換部47。又，逆正交轉換部46，係在逆適應色彩轉換部47被控制成不要施行IACT處理的情況下，可藉由逆正交轉換處理而取得RGB殘差訊號2並供給至演算部48。

逆適應色彩轉換部47，係對從逆正交轉換部46所被供給之YCgCo殘差訊號2，施行將影像之色彩空間進行適應性逆轉換的IACT處理。例如，逆適應色彩轉換部47，係藉由進行將YCgCo色彩空間予以逆轉換成RGB色彩空間的IACT處理，以從YCgCo殘差訊號2取得RGB殘差訊號2並供給至演算部48。

演算部48，係藉由進行將從逆適應色彩轉換部47所被供給之RGB殘差訊號2，加算至從預測部49所被供給之預測影像的演算，以局部性地將影像予以重建(解碼)，將表示該已重建之影像的重建訊號，予以輸出。又，演算部48，係在逆適應色彩轉換部47中被控制成不要施行IACT處理的情況下，可根據從逆正交轉換部46所被供給之RGB殘差訊號2而將影像予以重建(解碼)。

預測部49，係對應於圖1的預測部21，將根據於演算部48中所被重建之影像而被預測的預測影像加以生成，並供給至演算部41及演算部48。

編碼部50，係對應於圖1的編碼部22，對量化部44中已被量化的轉換係數，例如，使用對連續同值而編碼效率較高的編碼方式也就是CABAC(Context-based Adaptive Binary Arithmetic Coding)等來實施編碼處理。藉此，編碼部50，係將編碼資料的位元串流加以取得，並發送至影像解碼裝置13。

在如此所被構成的影像編碼裝置12中，藉由於適應色彩轉換部42中進行將RGB殘差訊號1轉換成YCgCo殘差訊號1的ACT處理，就可謀求訊號的能量集中度之提升。如此，藉由提升訊號的能量集中度，影像編碼裝置12就能以較少的編碼量來表現影像訊號，可期待編碼效率之改善。

參照圖3所示的區塊圖，針對影像解碼裝置13之構成，做進一步說明。

如圖3所示，影像解碼裝置13係具備：解碼部61、逆量化部62、逆正交轉換部63、逆適應色彩轉換部64、演算部65、及預測部66而被構成。

解碼部61，係對應於圖1的解碼部32，對從影像編碼裝置12所被發送過來的編碼資料的位元串流，使用對應於圖2的編碼部50所致之編碼的編碼方式(例如CABAC)來施行解碼處理。藉此，解碼部61，係從編碼資料的位元串流，取得已被量化之轉換係數，供給至逆量化部62。此時，解碼部61，係也將編碼資料的位元串流中所含的，如參照圖4乃至圖6所後述的區塊之相關參數等，加以取得。

逆量化部62，係將從解碼部61所被供給之已被量化之轉換係數進行逆量化並供給至逆正交轉換部63。

逆正交轉換部63，係藉由對從逆量化部62所被供給之轉換係數，施行針對作為處理單位的每一正交轉換區塊進行逆正交轉換的逆正交轉換處理以取得YCgCo殘差訊號2，並供給至逆適應色彩轉換部64。又，逆正交轉換部63，係在逆適應色彩轉換部64被控制成不要施行IACT處理的情況下，可將藉由逆正交轉換處理而取得的RGB殘差訊號2，供給至演算部65。

逆適應色彩轉換部64，係和圖2的逆適應色彩轉換部47同樣地，對從逆正交轉換部63所被供給之YCgCo殘差訊號2，施行將影像之色彩空間進行適應性逆轉換的IACT處理。例如，逆適應色彩轉換部64，係藉由進行將YCgCo色彩空間予以逆轉換成RGB色彩空間的IACT處理，以從YCgCo殘差訊號2取得RGB殘差訊號2並供給至演算部65。

演算部65，係藉由進行將從逆適應色彩轉換部64所被供給之RGB殘差訊號2，加算至從預測部66所被供給之預測影像的演算，以局部性地將影像予以重建(解碼)，將表示該已重建之影像的重建訊號，予以輸出。又，演算部65，係在逆適應色彩轉換部64中被控制成不要施行IACT處理的情況下，可根據從逆正交轉換部63所被供給之RGB殘差訊號2而將影像予以重建(解碼)。

預測部66，係對應於圖1的預測部31，和圖2的預測部49同樣地，將根據於演算部65中所被重建之影像而被預測的預測影像加以生成，並供給至演算部65。

在如此所被構成的影像解碼裝置13中，係和影像編碼裝置12同樣地，可對編碼效率之改善有所貢獻。

影像處理系統11係被構成如上，於適應色彩轉換部42中會進行將RGB殘差訊號1轉換成YCgCo殘差訊號1的ACT處理，於逆適應色彩轉換部47及64中會進行將YCgCo殘差訊號2轉換成RGB殘差訊號2的IACT處理。

此時，在影像編碼裝置12中，由於適應色彩轉換部42中是以3分量單位來進行ACT處理，因此3分量份的YCgCo殘差訊號1，會被暫時記憶在圖1的記憶部23中。因此，記憶部23中係會記憶著，相當於正交轉換部43中的正交轉換區塊之區塊尺寸(例如32×32)的3分量份的YCgCo殘差訊號1。又，記憶部23中係會記憶著，相當於逆正交轉換部46中的正交轉換區塊之區塊尺寸(例如32×32)的3分量份的YCgCo殘差訊號2。

同樣地，在影像解碼裝置13中，會有相當於逆正交轉換部63中的正交轉換區塊之區塊尺寸(例如32×32)的3分量份的YCgCo殘差訊號2，被記憶在圖1的記憶部33中。

如此，在影像處理系統11中，在適用ACT處理及IACT處理的情況下，必須隨著正交轉換區塊之區塊尺寸而增大記憶部23的記憶體大小以使其能夠記憶YCgCo殘差訊號1及YCgCo殘差訊號2。同樣地，在適用ACT處理及IACT處理的情況下，必須隨著正交轉換區塊之區塊尺寸而增大記憶部33的記憶體大小以使其能夠記憶YCgCo殘差訊號2。因此，伴隨著記憶體大小的增大，影像處理系統11的實作成本會跟著增加。

於是，在影像處理系統11中，藉由控制部24，來適切地進行適應色彩轉換部42所致之ACT處理及逆適應色彩轉換部47所致之IACT處理之適用的相關控制，藉此就可避免記憶部23的記憶體大小之增大。同樣地，在影像處理系統11中，藉由控制部34，來適切地進行逆適應色彩轉換部64所致之IACT處理之適用的相關控制，藉此就可避免記憶部33的記憶體大小之增大。因此，影像處理系統11，係可避免記憶體大小的增大，同時抑制實作成本的增加。

＜ACT處理及IACT處理之適用的相關控制的第1概念＞

例如，在影像處理系統11中，在對影像的編碼之際的編碼區塊設有所定之限制(例如尺寸、面積、形狀等之限制)的情況下，則進行控制以使得ACT處理及IACT處理會被適用。

例如，作為用來進行如此限制所需的編碼區塊之參數，係有尺寸、長邊尺寸、短邊尺寸、面積、及形狀。尺寸係有16×16、16×8、8×16等。長邊尺寸，對16×8區塊而言係有16。短邊尺寸，對16×8區塊而言係有8。面積係有16×16、16×8等。形狀係有正方形、長方形等。

先前，由於正交轉換處理及逆正交轉換處理中的正交轉換區塊之區塊尺寸是使用32×32，因此需要能夠儲存32×32之區塊尺寸且3分量份的YCgCo殘差訊號的記憶體大小。

相對於此，在影像處理系統11中係設有，例如，將ACT處理及IACT處理被適用時的編碼區塊之區塊尺寸限制成所定尺寸(例如16×16)以下。藉由如此限制，記憶部23係只需要能夠記憶16×16之區塊尺寸且3分量份的YCgCo殘差訊號1的記憶體大小即可。同樣地，關於YCgCo殘差訊號2也是，記憶部23及記憶部33，係只需要能夠記憶16×16之區塊尺寸且3分量份的YCgCo殘差訊號2的記憶體大小即可。

例如，關於位元串流之語法，在ACT處理及IACT處理會被適用的條件中，考慮編碼區塊之參數(尺寸、面積、形狀等)。亦即，在影像編碼裝置12中，在發送表示要適用ACT處理的旗標之際，會確認編碼區塊之區塊尺寸是所定尺寸(例如16×16)以下。然後，只有在編碼區塊之區塊尺寸是所定尺寸(例如16×16)以下的情況下，才發送表示要適用ACT處理的旗標，在大於所定尺寸(例如16×16)的情況下，則不發送表示要適用ACT處理的旗標，以此方式來取決語法。

藉此，在影像處理系統11中，在編碼區塊之區塊尺寸是大於所定尺寸的情況下，就不需要表示要適用ACT處理的旗標之送訊，可將該旗標從位元串流予以剔除，因此可期待編碼效率之改善。又，藉由不發送此種不需要送訊的旗標，在位元串流的語法中可以剔除不明確的訊號。

又，針對作為編碼方式是使用VVC(Versatile Video Coding)的情況來做說明。作為編碼方式是使用VVC的情況下，正交轉換處理及逆正交轉換處理中作為正交轉換區塊之區塊尺寸，可以使用64×64。因此，作為編碼方式是使用VVC的情況下，需要能夠儲存64×64之區塊尺寸且3分量份的YCgCo殘差訊號的記憶體大小。

於是，在影像處理系統11中，作為編碼方式是使用VVC的情況下，設有例如，將ACT處理及IACT處理被適用時的編碼區塊之區塊尺寸限制成32×32以下。藉由如此限制，記憶部23係只需要能夠記憶32×32之區塊尺寸且3分量份的YCgCo殘差訊號1的記憶體大小即可。同樣地，關於YCgCo殘差訊號2也是，記憶部23及記憶部33，係只需要能夠記憶32×32之區塊尺寸且3分量份的YCgCo殘差訊號2的記憶體大小即可。

此外，作為編碼方式是使用HEVC(High Efficiency Video Coding)的情況下也會具備有進行ACT處理及IACT處理的機構，在HEVC中係在規格上，正交轉換處理及逆正交轉換處理中的正交轉換區塊之最大區塊尺寸是被設成32×32。相對於此，在VVC中，作為正交轉換區塊之最大區塊尺寸是要能夠支援64×64，因此記憶體大小的增大會比HEVC還大。於是，在影像處理系統11中，作為編碼方式是使用VVC的情況下，在ACT處理及IACT處理被適用之際，藉由限制正交轉換處理及逆正交轉換處理中的正交轉換區塊，就可用與HEVC相同的記憶體大小來進行處理。

圖4中係圖示了高階語法之參數集之一例。

於圖4所示的參數集中，在sps_act_enabled_ flag為1的情況下，指定了可以適用ACT處理及IACT處理，在編碼單元語法中可能存在有cu_act_enabled_flag。另一方面，在sps_act_enabled_flag為0的情況下，則指定了ACT處理及IACT處理不被適用，在編碼單元語法中不會存在有cu_act_enabled_flag。此外，在參數集中不存在有sps_act_enabled_flag的情況下，sps_act_enabled_flag係被推測為0。

於圖4所示的參數集中，sps_log2_act_max_ size_minus2，係將ACT處理及IACT處理中所被使用的最大區塊尺寸，在0至7的範圍內做指定。此外，在參數集中不存在有sps_log2_act_max_size_minus2的情況下，sps_log2_act_max_size_minus2係被推測為0。

又，MaxActSize變數，係在被設定成1的情況下，就會遠小於sps_log2_act_max_size_minus2+2(The variable MaxActSize is set equal to 1 ＜＜ (sps_log2_act_ max_size_minus2+2))。例如，sps_log2_act_max_size_ minus2中若設置2，則MaxActSize變數會變成16(=1＜＜4)。藉此，就可禁止以比MaxActSize還大的尺寸來進行ACT處理及IACT處理。

圖5中係圖示了高階語法之編碼單元之一例。

在圖5所示的編碼單元中，在cu_act_ enabled_flag為1的情況下，則指定了現在的編碼單元之殘差是在YCgCo色彩空間中被編碼。另一方面，在cu_act_enabled_flag為0的情況下，則指定了現在的編碼單元之殘差是在原本的色彩空間中被編碼。此外，在cu_act_enabled_flag為不存在的情況下，cu_act_enabled_flag係被推測為0。

此處，藉由把編碼區塊的寬度是在ACT處理及IACT處理中的區塊尺寸之最大尺寸以下，以及，編碼區塊的高度是在ACT處理及IACT處理中的區塊尺寸之最大尺寸以下的此一條件(&& cbWidth ＜= MaxActSize && cbHeight ＜= MaxActSize)，加入至發送cu_act_enabled_ flag的條件，藉此就可限制ACT處理及IACT處理中所被使用的記憶體大小。

又，藉由將編碼區塊的寬度或編碼區塊的高度是在ACT處理及IACT處理中的區塊尺寸之最大尺寸以下的此一條件(&& (cbWidth * cbHeight) ＜= (MaxActSize* MaxActSize))，加入至發送cu_act_enabled_flag的條件，也可以限制記憶體大小。此情況下，即使一邊超過MaxActSize，只要另一邊是較小而滿足上記的條件，則仍可適用ACT處理及IACT處理。

＜關於ACT處理及IACT處理之適用的第2概念＞ 在第2概念中，即使在影像處理系統11中所被使用的編碼區塊或預測區塊之區塊尺寸為較大的情況下，仍進行控制以使用將編碼區塊或預測區塊之區塊尺寸分割成較小尺寸的正交轉換區塊來施行正交轉換處理及逆正交轉換處理，進行控制以使得ACT處理及IACT處理會被適用。亦即，即使在影像處理系統11中所被使用的編碼區塊或預測區塊之區塊尺寸為較大的情況下，在ACT處理及IACT處理被適用之際，仍令其以較編碼區塊或預測區塊之區塊尺寸還小的正交轉換區塊，來進行正交轉換處理及逆正交轉換處理。

例如，編碼區塊之區塊尺寸為64×64，且畫面間預測之預測區塊之區塊尺寸為64×64的情況下，通常，即使於正交轉換區塊也是使用64×64之區塊尺寸。相對於此，在影像處理系統11中，即使是同樣的情況下，在ACT處理及IACT處理被適用之際，會自動地使用被分割成比64×64還小的區塊尺寸之正交轉換區塊(例如32×32之區塊尺寸的4個區塊)。

例如，藉由參照表示ACT處理被適用的控制訊號，在ACT處理被適用的情況下，係進行控制，以令其使用將此時的編碼區塊或預測區塊之區塊尺寸予以分割而設成較小區塊尺寸的正交轉換區塊來施行正交轉換處理及逆正交轉換處理。

因此，在影像處理系統11中，藉由依照如此的第2概念來進行控制，正交轉換處理及逆正交轉換處理中的正交轉換區塊之區塊尺寸就會變小，能夠避免在適用ACT處理及IACT處理之際所需要的記憶體大小之增大。例如，儲存YCbCo殘差訊號1的記憶部23，係不需要64×64之區塊尺寸且3分量份的記憶體大小，可設成32×32之區塊尺寸且3分量份的記憶體大小。其結果為，在影像處理系統11中，可抑制實作成本的增加。

＜關於ACT處理及IACT處理之適用的第3概念＞ 在第3概念中，在正交轉換處理及逆正交轉換處理中的作為正交轉換區塊之最大區塊尺寸是使用較小尺寸的情況下，則進行控制以使得ACT處理及IACT處理會被適用。

例如，在影像處理系統11中，作為正交轉換區塊之最大區塊尺寸是被規定有32及64。然後，控制部24，係限制成作為正交轉換區塊之最大區塊尺寸是使用32的情況，令適應色彩轉換部42所致之ACT處理及逆適應色彩轉換部47所致之IACT處理被進行。同樣地，控制部34，係限制成作為正交轉換區塊之最大區塊尺寸是使用32的情況，令逆適應色彩轉換部64所致之IACT處理被進行。

依照如此的第3概念的控制，係可藉由利用高階語法之參數集中所含之sps_max_luma_transform_size_ 64_flag來加以實現。

圖6中係圖示了影像處理系統11中所被使用的高階語法之參數集之一例。

例如，sps_max_luma_transform_size_64_flag為0的情況下，被設定成作為正交轉換區塊之最大區塊尺寸是使用32。另一方面，sps_max_luma_transform_size_ 64_flag為1的情況下，被設定成作為正交轉換區塊之最大區塊尺寸是使用64。

於是，在影像處理系統11中係進行控制，使其只有在sps_max_luma_transform_size_64_flag為0的情況下，ACT處理及IACT處理才會被適用。亦即，在影像處理系統11中，在sps_max_luma_transform_size_64_flag為1的情況下，ACT處理及IACT處理不會被適用。

然後，控制部24，係在sps_max_luma_ transform_ size_64_flag為0的情況下，在表示是否適用適應色彩轉換處理的sps_act_enabled_flag中，設定表示要適用適應色彩轉換處理的1，而發送至影像解碼裝置13。此情況下，cu_act_enabled_flag也會被包含在編碼單元語法中。此外，在sps_act_enabled_flag為0的情況下，表示不適用適應色彩轉換處理，此情況下，cu_act_enabled_flag係不被包含在編碼單元語法中。此處，sps_act_enabled_ flag未被包含在參數集中的情況下，sps_act_enabled_flag係被推測為0。

如此，sps_max_luma_transform_size_64_flag為0的情況下，由於正交轉換區塊之最大區塊尺寸是被限制成32，因此在影像處理系統11中，能夠避免在適用ACT處理及IACT處理之際所需要的記憶體大小之增大。

例如，在如此的控制未被進行的情況下，亦即，正交轉換區塊之最大區塊尺寸可以是64的情況下，記憶部23及記憶部33係需要能夠儲存64×64之區塊尺寸且3分量份的YCgCo殘差訊號的記憶體大小。相對於此，只有在正交轉換區塊之最大區塊尺寸被限制成32，才會適用ACT處理及IACT處理，藉由進行如此的控制，記憶部23及記憶部33係只需要能夠記憶32×32之區塊尺寸且3分量份的YCgCo殘差訊號的記憶體大小即可。

因此，在影像處理系統11中，藉由進行依照如此第3概念的控制，就能夠避免記憶體大小的增大，結果，可抑制實作成本的增加。

＜基於電腦的系統之構成例＞ 圖7係適用了本技術的基於電腦的系統的一實施形態之構成例的區塊圖。

圖7係為1或複數台電腦或伺服器等透過網路而被連接的網路系統之構成例的區塊圖。此外，在圖7的實施形態中所被圖示的硬體及軟體環境，係作為能夠提供用來實作本揭露所致之軟體及/或方法所需之平台之一例而被圖示。

如圖7所示，網路系統101係具備：電腦102、網路103、遠端電腦104、網頁伺服器105、雲端儲存伺服器106、及電腦伺服器107而被構成。此處，在本實施形態中，藉由圖7所示的功能區塊之中的1或複數個，而可執行複數個事例。

又，在圖7中係圖示了電腦102的詳細構成。此外，在電腦102內所被圖示的功能區塊，係為了建立例示性的功能而被圖示，並非限定於如此的構成。又，遠端電腦104、網頁伺服器105、雲端儲存伺服器106、及電腦伺服器107之詳細構成雖然未被圖示，但它們係含有與在電腦102內所被圖示的功能區塊相同的構成。

作為電腦102係可使用：個人電腦、桌上型電腦、膝上型電腦、平板電腦、小筆記電腦、攜帶型資訊終端、智慧型手機、或能夠與網路上的其他裝置進行通訊的其他可程式化的電子裝置。

然後，電腦102係具備：匯流排111、處理器112、記憶體113、非揮發性儲存體114、網路介面115、周邊機器介面116、及顯示器介面117而被構成。這些功能之各者，係在某個實施形態中，是被實作於各個電子子系統(積體電路晶片或晶片與關連裝置之組合)中，或者，在其他實施形態中，則是亦可將數個功能做組合而實作於單一晶片(單晶片系統或SoC(System on Chip))中。

匯流排111係可採用各種的自訂規格或業界標準的高速平行或序列式周邊相互連接匯流排。

處理器112係可採用1或複數個以單一或多晶片微處理器方式而被設計及/或製造者。

記憶體113及非揮發性儲存體114，係為可藉由電腦102進行讀取的儲存媒體。例如，記憶體113係可採用DRAM(Dynamic Random Access Memory)或SRAM(Static RAM)等這類任意的適切之揮發性儲存裝置。非揮發性儲存體114係可採用軟碟片、硬碟、SSD(Solid State Drive)、ROM(Read Only Memory)、EPROM(Erasable and Programmable Read Only Memory)、快閃記憶體、Compact Disc(CD或CD-ROM)、DVD(Digital Versatile Disc)、卡片型記憶體、或棒狀型記憶體之其中至少1者以上。

又，非揮發性儲存體114中係被儲存有程式121。程式121係為，例如，為了作成、管理、及控制特定之軟體功能所被使用的機械可讀命令及/或資料的集合。此外，在記憶體113是遠比非揮發性儲存體114還要高速的構成中，程式121係在被處理器112執行之前，可先從非揮發性儲存體114傳輸至記憶體113。

電腦102係可透過網路介面115，而與透過網路103之其他電腦進行通訊及相互作用。網路103係可採用例如：LAN(Local Area Network)、網際網路等之WAN(Wide Area Network)、或LAN及WAN之組合而包含有線、無線、或光纖連接之構成。一般而言，網路103係由支援2個以上之電腦與關連裝置間之通訊的連接及協定的任意之組合所成。

周邊機器介面116，係可和能夠與電腦102做本地連接的其他裝置，進行資料的輸出入。例如，周邊機器介面116，係提供對外部裝置131之連接。外部裝置131係可使用：鍵盤、滑鼠、數字鍵盤、觸控螢幕、及/或其他適切的輸入裝置。外部裝置131係還可包含有例如：隨身碟、可攜式光碟或磁碟、及記憶卡等之可攜式電腦可讀記憶媒體。

在本揭露的實施形態中，例如，為了實施程式121而被使用的軟體及資料，係亦可被記憶在如此的可攜式電腦可讀記憶媒體中。在如此的實施形態中，軟體係亦可在非揮發性儲存體114中，或透過周邊機器介面116而直接被載入至記憶體113中。周邊機器介面116，係在與外部裝置131的連接上，亦可使用例如RS-232或USB(Universal Serial Bus)等之業界標準。

顯示器介面117，係可將電腦102連接至顯示器132，可使用顯示器132，而將命令列或圖形使用者介面，提示給電腦102的使用者。例如，顯示器介面117係可採用VGA(Video Graphics Array)、或DVI(Digital Visual Interface)、DisplayPort、HDMI(High-Definition Multimedia Interface) (註冊商標)等之業界標準。

＜影像編碼裝置之構成例＞ 圖8係表示作為適用了本揭露之影像處理裝置的影像編碼裝置之一實施形態的構成。

圖8所示的影像編碼裝置201，係使用預測處理來將影像資料予以編碼。此處，作為編碼方式，係使用例如VVC(Versatile Video Coding)方式或HEVC(High Efficiency Video Coding)方式等。

圖8的影像編碼裝置201係具有：A/D轉換部202、畫面排序緩衝區203、演算部204、正交轉換部205、量化部206、可逆編碼部207、及積存緩衝區208。又，影像編碼裝置201係具有：逆量化部209、逆正交轉換部210、演算部211、去區塊濾波器212、適應偏置濾波器213、適應迴圈濾波器214、畫格記憶體215、選擇部216、畫面內預測部217、運動預測補償部218、預測影像選擇部219、及速率控制部220。

A/D轉換部202，係將已被輸入之影像資料(Picture(s))進行A/D轉換然後供給至畫面排序緩衝區203。此外，亦可不設置A/D轉換部202，而設計成讓數位資料之影像被輸入之構成。

畫面排序緩衝區203，係將從A/D轉換部202所被供給之影像資料加以記憶，將已記憶之顯示順序的畫格之影像，隨應於GOP(Group of Picture)構造，排序成編碼所需的畫格之順序。畫面排序緩衝區203，係將畫格順序排序過的影像，輸出至演算部204、畫面內預測部217、及運動預測補償部218。

演算部204，係將從畫面排序緩衝區203所被輸出之影像，減去透過預測影像選擇部219而從畫面內預測部217或運動預測補償部218所供給之預測影像，將其差分資訊，輸出至正交轉換部205。

例如，若是進行畫面內編碼的影像，則演算部204係從畫面排序緩衝區203所被輸出之影像，減去從畫面內預測部217所供給之預測影像。又，例如，若是進行畫面間編碼的影像，則演算部204係由從畫面排序緩衝區203所被輸出之影像，減去從運動預測補償部218所供給之預測影像。

正交轉換部205，係對從演算部204所供給的差分資訊，實施離散餘弦轉換、卡忽南-拉維轉換等之正交轉換，將其轉換係數供給至量化部206。

量化部206，係將正交轉換部205所輸出的轉換係數，進行量化。量化部206係將已被量化之轉換係數，供給至可逆編碼部207。

可逆編碼部207，係對該已被量化之轉換係數，實施可變長度編碼、算術編碼等之可逆編碼。

可逆編碼部207係從畫面內預測部217取得表示畫面內預測模式之資訊的參數，從運動預測補償部218取得表示畫面間預測模式之資訊或運動向量資訊等之參數。

可逆編碼部207係將已被量化之轉換係數予以編碼，並且將所取得之各參數(語法要素)予以編碼，當成編碼資料的標頭資訊的一部分(進行多工化)。可逆編碼部207，係將編碼所得到之編碼資料，供給至積存緩衝區208而積存之。

例如，在可逆編碼部207中，會進行可變長度編碼或算術編碼等之可逆編碼處理。作為可變長度編碼，係可舉例CAVLC(Context-Adaptive Variable Length Coding)等。作為算術編碼，係可舉例CABAC(Context-Adaptive Binary Arithmetic Coding)等。

積存緩衝區208係將從可逆編碼部207所供給之編碼串流(Encoded Data)予以暫時保持，在所定之時序上，當作編碼過的編碼影像，輸出至例如後段未圖示的記錄裝置或傳輸路等。亦即，積存緩衝區208係亦為將編碼串流予以傳輸的傳輸部。

又，於量化部206中被量化過的轉換係數，係也被供給至逆量化部209。逆量化部209係將該已被量化之轉換係數，以對應於量化部206所做之量化的方法，進行逆量化。逆量化部209，係將所得到之轉換係數，供給至逆正交轉換部210。

逆正交轉換部210，係將所被供給之轉換係數，以正交轉換部205所做之正交轉換處理所對應的方法，進行逆正交轉換。已被逆正交轉換之輸出(已被復原之差分資訊)，係被供給至演算部211。

演算部211，係對逆正交轉換部210所供給之逆正交轉換結果、亦即已被復原之差分資訊，加算上透過預測影像選擇部219而從畫面內預測部217或運動預測補償部218所供給的預測影像，獲得局部性解碼之影像(解碼影像)。

例如，若差分資訊是對應於進行畫面內編碼的影像，則演算部211係對該差分資訊，加算上從畫面內預測部217所供給之預測影像。又，例如，若差分資訊是對應於進行畫面間編碼的影像，則演算部211係對該差分資訊，加算上從運動預測補償部218所供給之預測影像。

該加算結果之解碼影像，係被供給至去區塊濾波器212及畫格記憶體215。

去區塊濾波器212，係對來自演算部211的影像，藉由適宜進行去區塊濾波器處理以抑制解碼影像的區塊失真，將其濾波器處理結果，供給至適應偏置濾波器213。去區塊濾波器212，係具有根據量化參數QP所求出的參數β及Tc。參數β及Tc，係為關於去區塊濾波器之判定中所被使用的閾值(參數)。

此外，去區塊濾波器212所具有的參數β及Tc，係從HEVC方式所規定之β與Tc所擴充而來。參數β及Tc之各偏置，係作為去區塊濾波器之參數，於可逆編碼部207中被編碼，並被發送至後述的圖10的影像解碼裝置301。

適應偏置濾波器213，係對去區塊濾波器212所致之濾波後的影像，進行主要用來抑制漣波現象的偏置濾波器(SAO:Sample adaptive offset)處理。

偏置濾波器的種類，係有頻帶偏置2種、邊緣偏置6種、無偏置，總計9種。適應偏置濾波器213，係使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值，來對去區塊濾波器212所致之濾波後的影像，實施濾波處理。適應偏置濾波器213，係將濾波處理後之影像，供給至適應迴圈濾波器214。

此外，於影像編碼裝置201中，quad-tree結構與每一分割領域之偏置值，係藉由適應偏置濾波器213而被算出而使用。已被算出的quad-tree結構與每一分割領域之偏置值，係作為適應偏置參數，在可逆編碼部207中被編碼，被發送至後述圖10的影像解碼裝置301。

適應迴圈濾波器214，係對適應偏置濾波器213所致之濾波後的影像，使用濾波器係數，每一處理單位地，進行適應迴圈濾波器(ALF：Adaptive Loop Filter)處理。於適應迴圈濾波器214中，作為濾波器係可使用例如2維的維納濾波器(Wiener Filter)。當然，也可使用維納濾波器以外的濾波器。適應迴圈濾波器214，係將濾波處理結果，供給至畫格記憶體215。

此外，雖然在圖8的例子中沒有圖示，但於影像編碼裝置201中，濾波器係數係每一處理單位地，以使得與來自畫面排序緩衝區203之原影像的殘差呈最小的方式，藉由適應迴圈濾波器214而被算出而使用。已被算出之濾波器係數，係作為適應迴圈濾波器參數，而在可逆編碼部207中被編碼，被發送至後述圖10的影像解碼裝置301。

畫格記憶體215係於所定之時序上，將所累積的參照影像，透過選擇部216而輸出至畫面內預測部217或運動預測補償部218。

例如，若是進行畫面內編碼的影像，則畫格記憶體215係將參照影像，透過選擇部216而供給至畫面內預測部217。又，例如，若畫面間編碼有被進行的情況下，畫格記憶體215係將參照影像，透過選擇部216而供給至運動預測補償部218。

選擇部216係當從畫格記憶體215所供給之參照影像，是將進行畫面內編碼之影像，則將該參照影像供給至畫面內預測部217。又，選擇部216係當從畫格記憶體215所供給之參照影像，是將進行畫面間編碼之影像，則將該參照影像，供給至運動預測補償部218。

畫面內預測部217，係進行畫面內預測(Intra預測)，使用畫面內的像素值來生成預測影像。畫面內預測部217，係藉由複數模式(畫面內預測模式)來進行畫面內預測。

畫面內預測部217，係以所有的畫面內預測模式來生成預測影像，並評估各預測影像，選擇出最佳模式。畫面內預測部217，係一旦選擇了最佳的畫面內預測模式，就將該最佳模式所生成之預測影像，透過預測影像選擇部219而供給至演算部204或演算部211。

又，如上述，畫面內預測部217係亦可將表示所採用之畫面內預測模式的畫面內預測模式資訊等之參數，適宜地供給至可逆編碼部207。

運動預測補償部218，係針對被進行畫面間編碼的影像，使用從畫面排序緩衝區203所供給之輸入影像、和透過選擇部216而從畫格記憶體215所供給之參照影像，來進行運動預測。又，運動預測補償部218，係隨應於藉由運動預測而被偵測出來的運動向量來進行運動補償處理，生成預測影像(畫面間預測影像資訊)。

運動預測補償部218，係進行所有候補之畫面間預測模式的畫面間預測處理，生成預測影像。運動預測補償部218，係將已被生成之預測影像，透過預測影像選擇部219而供給至演算部204或演算部211。又，運動預測補償部218，係將表示已被採用之畫面間預測模式的畫面間預測模式資訊、或表示已算出之運動向量的運動向量資訊等之參數，供給至可逆編碼部207。

預測影像選擇部219係若是進行畫面內編碼之影像時，則將畫面內預測部217之輸出，供給至演算部204或演算部211；若是進行畫面間編碼之影像時，則將運動預測補償部218之輸出，供給至演算部204或演算部211。

速率控制部220，係基於積存緩衝區208中所積存之壓縮影像，以不會發生溢位或下溢之方式，控制量化部206的量化動作之速率。

影像編碼裝置201係被如此構成，在演算部204及正交轉換部205之間設有適應色彩轉換部42(圖2)，在逆正交轉換部210及演算部211之間設有逆適應色彩轉換部47(圖2)。然後，在影像編碼裝置201中，藉由進行依照上述第1乃至第3概念的控制，就能夠避免記憶體大小之增大。

＜影像編碼裝置的動作＞ 參照圖9，說明如以上之影像編碼裝置201所執行的編碼裝置之流程。

於步驟S101中，A/D轉換部202係將所輸入之影像進行A/D轉換。

於步驟S102中，畫面排序緩衝區203係將已被A/D轉換部202進行A/D轉換之影像加以記憶，進行從各圖像之顯示順序往編碼之順序的排序。

若從畫面排序緩衝區203所供給之處理對象的影像是被畫面內處理之區塊的影像，則所被參照之已解碼影像會從畫格記憶體215中被讀出，透過選擇部216而供給至畫面內預測部217。

基於這些影像，於步驟S103中，畫面內預測部217係將處理對象之區塊的像素，以身為候補之所有畫面內預測模式來進行畫面內預測。此外，作為所被參照之已解碼像素，係使用了未被去區塊濾波器212進行濾波的像素。

藉由此處理，會以身為候補之所有畫面內預測模式來進行畫面內預測，對身為候補之所有畫面內預測模式，算出成本函數值。然後，基於已被算出之成本函數值，來選擇最佳畫面內預測模式，最佳畫面內預測模式的畫面內預測所生成之預測影像和其成本函數值，會被供給至預測影像選擇部219。

若從畫面排序緩衝區203所供給之處理對象的影像是被畫面間處理的影像，則所被參照之影像會從畫格記憶體215中被讀出，透過選擇部216而供給至運動預測補償部218。基於這些影像，於步驟S104中，運動預測補償部218係進行運動預測．補償處理。

藉由此處理，會以身為候補之所有畫面間預測模式來進行運動預測處理，對於身為候補之所有畫面間預測模式，會算出成本函數值，基於已算出之成本函數值，來決定最佳畫面間預測模式。然後，藉由最佳畫面間預測模式而被生成之預測影像和其成本函數值，會被供給至預測影像選擇部219。

於步驟S105中，預測影像選擇部219係基於畫面內預測部217及運動預測補償部218所輸出的各成本函數值，而將最佳畫面內預測模式與最佳畫面間預測模式的其中一方，決定成最佳預測模式。然後，預測影像選擇部219係將已決定之最佳預測模式的預測影像予以選擇，供給至演算部204、211。此預測影像，係在後述的步驟S106、S111之演算中，會被利用。

此外，該預測影像的選擇資訊，係被供給至畫面內預測部217或運動預測補償部218。當最佳畫面內預測模式的預測影像被選擇時，畫面內預測部217係將表示最佳畫面內預測模式之資訊(亦即畫面內預測之相關參數)，供給至可逆編碼部207。

當最佳畫面間預測模式的預測影像被選擇時，運動預測補償部218，係將表示最佳畫面間預測模式之資訊，和相應於最佳畫面間預測模式之資訊(亦即運動預測之相關參數)，輸出至可逆編碼部207。作為相應於最佳畫面間預測模式之資訊，係可舉例如運動向量資訊、參照畫格資訊等。

於步驟S106中，演算部204係演算出步驟S102中被排序過之影像、與步驟S105中所選擇之預測影像之間的差分。預測影像，係若進行畫面間預測時則從運動預測補償部218、若進行畫面內預測時則從畫面內預測部217，分別透過預測影像選擇部219而供給至演算部204。

差分資料係相較於原始的影像資料，資料量較小。因此，相較於把影像直接進行編碼的情形，可壓縮資料量。

於步驟S107中，正交轉換部205係將從演算部204所供給之差分資訊，進行正交轉換。具體而言，會進行離散餘弦轉換、卡忽南-拉維轉換等之正交轉換，而輸出轉換係數。

於步驟S108中，量化部206係將轉換係數予以量化。此量化之際，如後述的步驟S118之處理所說明，速率會被控制。

如以上所述，已被量化之差分資訊，係如下述般地被局部性解碼。亦即，於步驟S109中，逆量化部209係將已被量化部206所量化之轉換係數，以量化部206之特性所對應之特性，進行逆量化。於步驟S110中，逆正交轉換部210係將已被逆量化部209所逆量化之轉換係數，以正交轉換部205之特性所對應之特性，進行逆正交轉換。

於步驟S111中，演算部211係將透過預測影像選擇部219所輸入之預測影像，加算至已被局部性解碼的差分資訊，生成已被局部性解碼(亦即已被本地解碼)之影像(對應於往演算部204輸入的影像)。

於步驟S112中，去區塊濾波器212，係對演算部211所輸出的影像，進行去區塊濾波處理。此時，作為去區塊濾波器之相關判定的閾值，是使用從HEVC方式所規定之β與Tc所被擴充而來的參數β及Tc。來自去區塊濾波器212的濾波後的影像，係被輸出至適應偏置濾波器213。

此外，藉由使用者操作了操作部而被輸入，去區塊濾波器212上所被使用的參數β及Tc的各偏置，係作為去區塊濾波器的參數，而被供給至可逆編碼部207。

於步驟S113中，適應偏置濾波器213係進行適應偏置濾波處理。藉由此處理，使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值，來對去區塊濾波器212所致之濾波後的影像，實施濾波處理。濾波後的影像，係被供給至適應迴圈濾波器214。

此外，已被決定之quad-tree結構和每一分割領域之偏置值，係被當成適應偏置參數，供給至可逆編碼部207。

於步驟S114中，適應迴圈濾波器214，係對適應偏置濾波器213所致之濾波後的影像，進行適應迴圈濾波處理。例如，對適應偏置濾波器213所致之濾波後的影像，使用濾波器係數，每一處理單位地，對影像進行濾波處理，濾波處理結果會被供給至畫格記憶體215。

於步驟S115中，畫格記憶體215係將已被過濾之影像，加以記憶。此外，對畫格記憶體215，係還會有未被去區塊濾波器212、適應偏置濾波器213、及適應迴圈濾波器214進行濾波之影像，從演算部211被供給，而被記憶。

另一方面，在上述的步驟S108中被量化之轉換係數，係也被供給至可逆編碼部207。於步驟S116中，可逆編碼部207係將量化部206所輸出之已被量化之轉換係數、和所被供給之各參數，加以編碼。亦即，差分影像係被可變長度編碼、算術編碼等之可逆編碼，而被壓縮。此處，作為已被編碼之各參數，係可舉例如：去區塊濾波器的參數、適應偏置濾波器的參數、適應迴圈濾波器的參數、量化參數、運動向量資訊或參照畫格資訊、預測模式資訊等。

於步驟S117中，積存緩衝區208係將已被編碼之差分影像(亦即編碼串流)，當成壓縮影像而予以積存。積存緩衝區208所積存之壓縮影像，係被適宜讀出，透過傳輸路而傳輸至解碼側。

於步驟S118中，速率控制部220係基於積存緩衝區208中所積存之壓縮影像，以不會發生溢位或下溢之方式，控制量化部206的量化動作之速率。

一旦步驟S118的處理結束，則編碼處理就會結束。

如以上的編碼處理中，在步驟S106及步驟S107之間會進行適應色彩轉換部42(圖2)所致之ACT處理，在步驟S110及步驟S111之間會進行逆適應色彩轉換部47(圖2)所致之IACT處理。然後，在編碼處理中，會進行依照上述第1乃至第3概念的ACT處理及IACT處理之適用的相關控制。

＜影像解碼裝置之構成例＞ 圖10係表示作為適用了本揭露之影像處理裝置的影像解碼裝置之一實施形態的構成。如圖10所示的影像解碼裝置301，係為對應於圖8之影像編碼裝置201的解碼裝置。

已被影像編碼裝置201所編碼之編碼串流(Encoded Data)，係透過所定之傳輸路，被傳輸至該對應於影像編碼裝置201的影像解碼裝置301，而被解碼。

如圖10所示，影像解碼裝置301係具有：積存緩衝區302、可逆解碼部303、逆量化部304、逆正交轉換部305、演算部306、去區塊濾波器307、適應偏置濾波器308、適應迴圈濾波器309、畫面排序緩衝區310、D/A轉換部311、畫格記憶體312、選擇部313、畫面內預測部314、運動預測補償部315、及選擇部316。

積存緩衝區302，係將所被傳輸過來的編碼資料加以收取的收取部。積存緩衝區302，係將所被傳輸過來的編碼資料，加以收取並積存。該編碼資料係被影像編碼裝置201所編碼而成。可逆解碼部303，係將在所定之時序上從積存緩衝區302所讀出之編碼資料，以圖8之可逆編碼部207之編碼方式所對應之方式，進行解碼。

可逆解碼部303，係將已被解碼之表示畫面內預測模式之資訊等參數，供給至畫面內預測部314，並將表示畫面間預測模式之資訊或運動向量資訊等參數，供給至運動預測補償部315。又，可逆解碼部303係將已被解碼之去區塊濾波器的參數，供給至去區塊濾波器307，將已被解碼之適應偏置參數，供給至適應偏置濾波器308。

逆量化部304，係將可逆解碼部303解碼所得之係數資料(量化係數)，以圖8之量化部206的量化方式所對應之方式，進行逆量化。亦即，逆量化部304，係使用從影像編碼裝置201所供給之量化參數，以和圖8之逆量化部209同樣的方法，進行量化係數的逆量化。

逆量化部304係將已被逆量化之係數資料、亦即正交轉換係數，供給至逆正交轉換部305。逆正交轉換部305，係以圖8的正交轉換部205的正交轉換方式所對應之方式，將該正交轉換係數進行逆正交轉換，獲得在影像編碼裝置201中被正交轉換前的殘差資料所對應之解碼殘差資料。

逆正交轉換所得到的解碼殘差資料，係被供給至演算部306。又，對演算部306，係透過選擇部316，而從畫面內預測部314或是運動預測補償部315，供給著預測影像。

演算部306，係將該解碼殘差資料與預測影像進行加算，獲得影像編碼裝置201之演算部204進行預測影像減算前的影像資料所對應之解碼影像資料。演算部306，係將該解碼影像資料，供給至去區塊濾波器307。

去區塊濾波器307，係對來自演算部306的影像，藉由適宜進行去區塊濾波器處理以抑制解碼影像的區塊失真，將其濾波器處理結果，供給至適應偏置濾波器308。去區塊濾波器307，係和圖8的去區塊濾波器212基本上同樣地被構成。亦即，去區塊濾波器307，係具有根據量化參數所求出的參數β及Tc。參數β及Tc，係為關於去區塊濾波器之判定中所被使用的閾值。

此外，去區塊濾波器307所具有的參數β及Tc，係從HEVC方式所規定之β與Tc所擴充而來。已被影像編碼裝置201所編碼之去區塊濾波器的參數β及Tc的各偏置，係作為去區塊濾波器的參數，而於影像解碼裝置301中被接收，被可逆解碼部303所解碼，然後被去區塊濾波器307所使用。

適應偏置濾波器308，係對去區塊濾波器307所致之濾波後的影像，進行主要用來抑制漣波現象的偏置濾波(SAO)處理。

適應偏置濾波器308，係使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值，來對去區塊濾波器307所致之濾波後的影像，實施濾波處理。適應偏置濾波器308，係將濾波處理後之影像，供給至適應迴圈濾波器309。

此外，此quad-tree結構與每一分割領域之偏置值，係被影像編碼裝置201的適應偏置濾波器213所算出，被當成適應偏置參數，而被編碼然後發送。然後，已被影像編碼裝置201所編碼之quad-tree結構與每一分割領域之偏置值，係作為適應偏置參數，於影像解碼裝置301中被接收，被可逆解碼部303所解碼，然後被適應偏置濾波器308所使用。

適應迴圈濾波器309，係對適應偏置濾波器308所致之濾波後的影像，使用濾波器係數，每一處理單位地進行濾波處理，將濾波處理結果，供給至畫格記憶體312及畫面排序緩衝區310。

此外，雖然在圖10的例子中沒有圖示，但於影像解碼裝置301中，濾波器係數，係被影像編碼裝置201的適應迴圈濾波器214而每LUC地算出，作為適應迴圈濾波器參數，而被編碼而送來者，係被可逆解碼部303所解碼然後使用。

畫面排序緩衝區310，係進行影像的排序，並供給至D/A轉換部311。亦即，藉由圖8的畫面排序緩衝區203而被排序成編碼所需之順序的畫格之順序，係被排序成原本的顯示順序。

D/A轉換部311，係將從畫面排序緩衝區310所供給之影像(Decoded Picture(s))進行D/A轉換，輸出至未圖示之顯示器而顯示之。此外，亦可不設置D/A轉換部311，而設計成直接以數位資料的方式輸出影像之構成。

適應迴圈濾波器309的輸出，係還會被供給至畫格記憶體312。

畫格記憶體312、選擇部313、畫面內預測部314、運動預測補償部315、及選擇部316，係、分別對應於影像編碼裝置201的畫格記憶體215、選擇部216、畫面內預測部217、運動預測補償部218、及預測影像選擇部219。

選擇部313，係將被畫面間處理之影像與被參照之影像，從畫格記憶體312中讀出，供給至運動預測補償部315。又，選擇部313，係將畫面內預測時所使用的影像，從畫格記憶體312中讀出，供給至畫面內預測部314。

對畫面內預測部314係從可逆解碼部303適宜供給著，將標頭資訊解碼所得之表示畫面內預測模式的資訊等。畫面內預測部314係基於該資訊，而根據從畫格記憶體312所取得之參照影像，生成預測影像，將所生成之預測影像供給至選擇部316。

對運動預測補償部315，係有將標頭資訊解碼所得到的資訊(預測模式資訊、運動向量資訊、參照畫格資訊、旗標、及各種參數等)，會從可逆解碼部303被供給。

運動預測補償部315，係基於從可逆解碼部303所供給之這些資訊，根據從畫格記憶體312所取得之參照影像，生成預測影像，將所生成之預測影像供給至選擇部316。

選擇部316，係將運動預測補償部315或畫面內預測部314所生成之預測影像加以選擇，供給至演算部306。

影像解碼裝置301係被如此構成，在逆正交轉換部305及演算部306之間設有逆適應色彩轉換部64(圖3)。然後，在影像解碼裝置301中，藉由進行依照上述第1乃至第3概念的控制，就能夠避免記憶體大小之增大。

＜影像解碼裝置的動作＞ 參照圖11，說明如以上之影像解碼裝置301所執行的解碼處理的流程例。

解碼處理一旦開始，則於步驟S201中，積存緩衝區302係將所被傳輸過來的編碼串流(資料)，加以收取、積存。於步驟S202中，可逆解碼部303係將從積存緩衝區302所供給之編碼資料，加以解碼。已被圖8之可逆編碼部207所編碼的I圖像、P圖像、以及B圖像，會被解碼。

在早於圖像之解碼前，運動向量資訊、參照畫格資訊、預測模式資訊(畫面內預測模式、或畫面間預測模式)等之參數的資訊，也被解碼。

預測模式資訊是畫面內預測模式資訊的情況下，預測模式資訊係被供給至畫面內預測部314。當預測模式資訊是畫面間預測模式資訊時，與預測模式資訊對應的運動向量資訊等，係被供給至運動預測補償部315。又，去區塊濾波器的參數及適應偏置參數也被解碼，分別被供給至去區塊濾波器307及適應偏置濾波器308。

於步驟S203中，畫面內預測部314或運動預測補償部315，係對應於從可逆解碼部303所供給之預測模式資訊，而分別進行預測影像生成處理。

亦即，從可逆解碼部303供給了畫面內預測模式資訊時，畫面內預測部314係生成畫面內預測模式的畫面內預測影像。從可逆解碼部303供給了畫面間預測模式資訊時，運動預測補償部315，係進行畫面間預測模式的運動預測．補償處理，生成畫面間預測影像。

藉由此處理，畫面內預測部314所生成之預測影像(畫面內預測影像)、或運動預測補償部315所生成之預測影像(畫面間預測影像)，係被供給至選擇部316。

於步驟S204中，選擇部316係選擇預測影像。亦即，畫面內預測部314所生成之預測影像、或運動預測補償部315所生成之預測影像，會被供給。因此，已被供給之預測影像會被選擇然後供給至演算部306，於後述的步驟S207中，與逆正交轉換部305之輸出進行加算。

於上述的步驟S202中，已被可逆解碼部303所解碼之轉換係數，係也被供給至逆量化部304。於步驟S205中，逆量化部304係將已被可逆解碼部303所解碼之轉換係數，以圖8之量化部206之特性所對應之特性，進行逆量化。

於步驟S206中，逆正交轉換部305係將已被逆量化部304所逆量化之轉換係數，以圖8之正交轉換部205之特性所對應之特性，進行逆正交轉換。藉此，圖8之正交轉換部205之輸入(演算部204之輸出)所對應的差分資訊，就被解碼。

於步驟S207中，演算部306係將上述步驟S204之處理中所被選擇，透過選擇部316而被輸入的預測影像，與差分資訊進行加算。藉此，原本的影像就被解碼。

於步驟S208中，去區塊濾波器307，係對演算部306所輸出的影像，進行去區塊濾波處理。此時，作為去區塊濾波器之相關判定的閾值，是使用從HEVC方式所規定之β與Tc所被擴充而來的參數β及Tc。來自去區塊濾波器307的濾波後的影像，係被輸出至適應偏置濾波器308。此外，於去區塊濾波處理中，從可逆解碼部303所供給之去區塊濾波器的參數β及Tc的各偏置，也會被使用。

於步驟S209中，適應偏置濾波器308係進行適應偏置濾波處理。藉由此處理，使用對每一分割領域決定偏置濾波器之種類的quad-tree結構與每一分割領域的偏置值，來對去區塊濾波器307所致之濾波後的影像，實施濾波處理。濾波後的影像，係被供給至適應迴圈濾波器309。

於步驟S210中，適應迴圈濾波器309，係對適應偏置濾波器308所致之濾波後的影像，進行適應迴圈濾波處理。適應迴圈濾波器309，係使用每一處理單位所被計算出來的濾波器係數，對輸入影像，每一處理單位地進行濾波處理，將濾波處理結果，供給至畫面排序緩衝區310及畫格記憶體312。

於步驟S211中，畫格記憶體312係將已被過濾之影像，加以記憶。

於步驟S212中，畫面排序緩衝區310係進行了適應迴圈濾波器309後的影像之排序之後，供給至D/A轉換部311。亦即，已被影像編碼裝置201的畫面排序緩衝區203為了進行編碼而排序過的畫格之順序，會被排序成原本的顯示順序。

於步驟S213中，D/A轉換部311，係將已被畫面排序緩衝區310所排序過的影像進行D/A轉換而輸出至未圖示的顯示器，影像就被顯示。

一旦步驟S213的處理結束，則解碼處理就會結束。

在如以上的解碼處理中，在步驟S206及步驟S207之間會進行逆適應色彩轉換部64(圖3)所致之IACT處理。然後，在解碼處理中，會進行依照上述第1乃至第3概念的ACT處理及IACT處理之適用的相關控制。

＜電腦之構成例＞ 其次，上述一連串處理(影像處理方法)，係可藉由的硬體來進行，也可藉由軟體來進行。在以軟體來進行一連串之處理時，構成該軟體的程式，係可安裝至通用的電腦等。

圖12係為執行上述一連串處理的程式所被安裝之電腦的一實施形態之構成例的區塊圖。

程式是可預先被記錄在內建於電腦中的做為記錄媒體之硬碟1005或ROM1003。

又或者，程式係亦可先儲存(記錄)在藉由驅動機1009而被驅動的可移除式記錄媒體1011中。此種可移除式記錄媒體1011，係可以所謂套裝軟體的方式來提供。此處，作為可移除式記錄媒體1011係例如有軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)碟、DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。

此外，程式除了可從如上述的可移除式記錄媒體1011安裝至電腦，還可透過通訊網或播送網而下載至電腦中，安裝至內建的硬碟1005。亦即，程式係可例如從下載網站，透過數位衛星播送用的人造衛星，以無線而傳輸至電腦、或透過LAN(Local Area Network)、網際網路這類網路，以有線方式而傳輸至電腦。

電腦係內藏有CPU(Central Processing Unit)1002，對CPU1002係透過匯流排1001而連接有輸出入介面1010。

CPU1002係一旦透過輸出入介面1010藉由使用者操作輸入部1007等而進行了指令輸入，則會聽從之而執行ROM(Read Only Memory)1003中所儲存的程式。或者，CPU1002係將硬碟1005中所儲存的程式，載入至RAM(Random Access Memory)1004中而加以執行。

藉此，CPU1002係會進行依照上述流程圖之處理，或是由上述區塊圖之構成所進行之處理。然後，CPU1002係將其處理結果，因應需要，例如，透過輸出入介面1010而從輸出部1006加以輸出，或者從通訊部1008進行送訊，或甚至記錄在硬碟1005中等。

此外，輸入部1007係由鍵盤、滑鼠、麥克風等所構成。又，輸出部1006係由LCD(Liquid Crystal Display)或揚聲器等所構成。

此處，於本說明書中，電腦依照程式而進行之處理，係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即，電腦依照程式所進行的處理，係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。

又，程式係可被1個電腦(處理器)所處理，也可被複數電腦分散處理。甚至，程式係亦可被傳輸至遠方的電腦而執行之。

再者，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。

又，例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。

又，例如，本技術係亦可將1個功能，透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。

又，例如，上述的程式，係可於任意的裝置中執行。此情況下，只要讓該裝置，具有必要的功能(功能區塊等)，能夠獲得必要的資訊即可。

又，例如，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。

此外，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。

此外，本說明書中所複數說明的本技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。

＜構成之組合例＞ 此外，本技術係亦可採取如以下之構成。 (1) 一種影像處理裝置，係具備： 適應色彩轉換部，係將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對前記影像的殘差訊號做施行；和 正交轉換部，係對前記影像的殘差訊號、或對已被施行過前記適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理；和 控制部，係進行前記適應色彩轉換處理之適用的相關控制。 (2) 如上記(1)所記載之影像處理裝置，其中， 作為前記正交轉換區塊的最大之區塊尺寸係被規定有：第1區塊尺寸、與大於該第1區塊尺寸的第2區塊尺寸； 前記控制部，係在作為前記正交轉換區塊的最大之區塊尺寸是使用前記第1區塊尺寸的情況下，對前記適應色彩轉換部進行控制以使其適用前記適應色彩轉換處理。 (3) 如上記(2)所記載之影像處理裝置，其中， 前記第1區塊尺寸係為32，前記第2區塊尺寸係為64； 前記控制部，係在作為前記正交轉換區塊的最大之區塊尺寸是限制成使用32的情況下，令前記適應色彩轉換處理被適用。 (4) 如上記(3)所記載之影像處理裝置，其中， 前記控制部，係在高階語法之參數集中所含之sps_max_luma_transform_size_64_flag為0的情況下，將表示要適用前記適應色彩轉換處理的sps_act_enabled_flag，發送至解碼側。 (5) 如上記(1)至(4)之任一項所記載之影像處理裝置，其中， 前記控制部，係在對前記影像的編碼之際的編碼區塊是被設有所定之限制的情況下，對前記適應色彩轉換部進行控制以使其適用前記適應色彩轉換處理。 (6) 如上記(5)所記載之影像處理裝置，其中， 前記控制部，係在前記影像的編碼之際的作為處理單位的編碼區塊之區塊尺寸是被限制成所定尺寸以下的情況下，令前記適應色彩轉換處理被適用。 (7) 如上記(6)所記載之影像處理裝置，其中， 前記控制部，係在前記編碼區塊之區塊尺寸是被限制成16×16以下的情況下，令前記適應色彩轉換處理被適用。 (8) 如上記(1)至(7)之任一項所記載之影像處理裝置，其中， 前記控制部，係在前記影像的編碼之際的作為處理單位的編碼區塊之區塊尺寸是大於所定尺寸的情況下，對前記正交轉換部進行控制以使其使用將前記編碼區塊進行分割而變成較小之區塊尺寸的前記正交轉換區塊來施行前記正交轉換處理，並對前記適應色彩轉換部進行控制以使其適用前記適應色彩轉換處理。 (9) 如上記(8)所記載之影像處理裝置，其中， 前記控制部，係在前記編碼區塊之區塊尺寸是64×64的情況下，令其將前記正交轉換區塊設成32×32而進行前記正交轉換處理，並令前記適應色彩轉換處理被適用。 (10) 如上記(1)至(9)之任一項所記載之影像處理裝置，其中， 還具備： 逆正交轉換部，係對藉由施行過前記正交轉換處理而獲得的轉換係數，藉由針對每一前記正交轉換區塊施行逆正交轉換處理，以取得前記殘差訊號；和 逆適應色彩轉換部，係對已被前記逆正交轉換部所取得之前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理； 前記控制部，係進行令其對應於前記適應色彩轉換處理而做前記逆適應色彩轉換處理之適用的相關控制。 (11) 一種影像處理方法，係含有： 將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對前記影像的殘差訊號做施行之步驟；和 對前記影像的殘差訊號、或對已被施行過前記適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理之步驟；和 進行前記適應色彩轉換處理之適用的相關控制之步驟。 (12) 一種影像處理裝置，係具備： 逆正交轉換部，係對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，以取得前記殘差訊號；和 逆適應色彩轉換部，係對前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理；和 控制部，係進行前記逆適應色彩轉換處理之適用的相關控制。 (13) 一種影像處理方法，係含有： 對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，以取得前記殘差訊號之步驟；和 對前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理之步驟；和 進行前記逆適應色彩轉換處理之適用的相關控制之步驟。

此外，本實施形態係不限定於上述實施形態，在不脫離本揭露主旨的範圍內可做各種變更。又，本說明書中所記載之效果僅為例示並非限定，亦可還有其他的效果。

11:影像處理系統 12:影像編碼裝置 13:影像解碼裝置 21:預測部 22:編碼部 23:記憶部 24:控制部 31:預測部 32:解碼部 33:記憶部 34:控制部 41:演算部 42:適應色彩轉換部 43:正交轉換部 44:量化部 45:逆量化部 46:逆正交轉換部 47:逆適應色彩轉換部 48:演算部 49:預測部 50:編碼部 61:解碼部 62:逆量化部 63:逆正交轉換部 64:逆適應色彩轉換部 65:演算部 66:預測部 101:網路系統 102:電腦 103:網路 104:遠端電腦 105:網頁伺服器 106:雲端儲存伺服器 107:電腦伺服器 111:匯流排 112:處理器 113:記憶體 114:非揮發性儲存體 115:網路介面 116:周邊機器介面 117:顯示器介面 121:程式 131:外部裝置 132:顯示器 201:影像編碼裝置 202:A/D轉換部 203:畫面排序緩衝區 204:演算部 205:正交轉換部 206:量化部 207:可逆編碼部 208:積存緩衝區 209:逆量化部 210:逆正交轉換部 211:演算部 212:去區塊濾波器 213:適應偏置濾波器 214:適應迴圈濾波器 215:畫格記憶體 216:選擇部 217:畫面內預測部 218:運動預測補償部 219:預測影像選擇部 220:速率控制部 301:影像解碼裝置 302:積存緩衝區 303:可逆解碼部 304:逆量化部 305:逆正交轉換部 306:演算部 307:去區塊濾波器 308:適應偏置濾波器 309:適應迴圈濾波器 310:畫面排序緩衝區 311:D/A轉換部 312:畫格記憶體 313:選擇部 314:畫面內預測部 315:運動預測補償部 316:選擇部 1001:匯流排 1002:CPU 1003:ROM 1004:RAM 1005:硬碟 1006:輸出部 1007:輸入部 1008:通訊部 1009:驅動機 1010:輸出入介面 1011:可移除式記錄媒體

[圖1]適用了本技術的影像處理系統之一實施形態之構成例的區塊圖。 [圖2]影像編碼裝置之構成例的圖示。 [圖3]影像解碼裝置之構成例的圖示。 [圖4]高階語法之參數集之一例的圖示。 [圖5]高階語法之編碼單元之一例的圖示。 [圖6]高階語法之參數集之一例的圖示。 [圖7]適用了本技術的基於電腦的一實施形態之構成例的區塊圖。 [圖8]影像編碼裝置的一實施形態之構成例的區塊圖。 [圖9]說明編碼處理的流程圖。 [圖10]影像解碼裝置的一實施形態之構成例的區塊圖。 [圖11]說明解碼處理的流程圖。 [圖12]適用了本技術之電腦的一實施形態之構成例的區塊圖。

12:影像編碼裝置

41:演算部

42:適應色彩轉換部

43:正交轉換部

44:量化部

45:逆量化部

46:逆正交轉換部

47:逆適應色彩轉換部

48:演算部

49:預測部

50:編碼部

Claims (13)

1. 一種影像處理裝置，係具備： 適應色彩轉換部，係將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對前記影像的殘差訊號做施行；和 正交轉換部，係對前記影像的殘差訊號、或對已被施行過前記適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理；和 控制部，係進行前記適應色彩轉換處理之適用的相關控制。
2. 如請求項1所記載之影像處理裝置，其中， 作為前記正交轉換區塊的最大之區塊尺寸係被規定有：第1區塊尺寸、與大於該第1區塊尺寸的第2區塊尺寸； 前記控制部，係在作為前記正交轉換區塊的最大之區塊尺寸是使用前記第1區塊尺寸的情況下，對前記適應色彩轉換部進行控制以使其適用前記適應色彩轉換處理。
3. 如請求項2所記載之影像處理裝置，其中， 前記第1區塊尺寸係為32，前記第2區塊尺寸係為64； 前記控制部，係在作為前記正交轉換區塊的最大之區塊尺寸是限制成使用32的情況下，令前記適應色彩轉換處理被適用。
4. 如請求項3所記載之影像處理裝置，其中， 前記控制部，係在高階語法之參數集中所含之sps_max_luma_transform_size_64_flag為0的情況下，將表示要適用前記適應色彩轉換處理的sps_act_enabled_flag，發送至解碼側。
5. 如請求項1所記載之影像處理裝置，其中， 前記控制部，係在對前記影像的編碼之際的編碼區塊是被設有所定之限制的情況下，對前記適應色彩轉換部進行控制以使其適用前記適應色彩轉換處理。
6. 如請求項5所記載之影像處理裝置，其中， 前記控制部，係在前記影像的編碼之際的作為處理單位的編碼區塊之區塊尺寸是被限制成所定尺寸以下的情況下，令前記適應色彩轉換處理被適用。
7. 如請求項6所記載之影像處理裝置，其中， 前記控制部，係在前記編碼區塊之區塊尺寸是被限制成16×16以下的情況下，令前記適應色彩轉換處理被適用。
8. 如請求項1所記載之影像處理裝置，其中， 前記控制部，係在前記影像的編碼之際的作為處理單位的編碼區塊之區塊尺寸是大於所定尺寸的情況下，對前記正交轉換部進行控制以使其使用將前記編碼區塊進行分割而變成較小之區塊尺寸的前記正交轉換區塊來施行前記正交轉換處理，並對前記適應色彩轉換部進行控制以使其適用前記適應色彩轉換處理。
9. 如請求項8所記載之影像處理裝置，其中， 前記控制部，係在前記編碼區塊之區塊尺寸是64×64的情況下，令其將前記正交轉換區塊設成32×32而進行前記正交轉換處理，並令前記適應色彩轉換處理被適用。
10. 如請求項1所記載之影像處理裝置，其中， 還具備： 逆正交轉換部，係對藉由施行過前記正交轉換處理而獲得的轉換係數，藉由針對每一前記正交轉換區塊施行逆正交轉換處理，以取得前記殘差訊號；和 逆適應色彩轉換部，係對已被前記逆正交轉換部所取得之前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理； 前記控制部，係進行令其對應於前記適應色彩轉換處理而做前記逆適應色彩轉換處理之適用的相關控制。
11. 一種影像處理方法，係含有： 將對作為編碼之對象的影像之色彩空間進行適應性轉換的適應色彩轉換處理，對前記影像的殘差訊號做施行之步驟；和 對前記影像的殘差訊號、或對已被施行過前記適應色彩轉換處理的前記影像的殘差訊號，按照作為處理單位的每一正交轉換區塊，施行正交轉換處理之步驟；和 進行前記適應色彩轉換處理之適用的相關控制之步驟。
12. 一種影像處理裝置，係具備： 逆正交轉換部，係對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，以取得前記殘差訊號；和 逆適應色彩轉換部，係對前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理；和 控制部，係進行前記逆適應色彩轉換處理之適用的相關控制。
13. 一種影像處理方法，係含有： 對在編碼側中已經對作為解碼之對象的影像的殘差訊號施行過正交轉換處理的轉換係數，藉由按照作為處理單位的每一正交轉換區塊而施行逆正交轉換處理，以取得前記殘差訊號之步驟；和 對前記殘差訊號，施行將影像之色彩空間進行適應性逆轉換的逆適應色彩轉換處理之步驟；和 進行前記逆適應色彩轉換處理之適用的相關控制之步驟。

Images