TW201540048A - 圖像處理裝置、圖像處理方法及記錄媒體 - Google Patents

圖像處理裝置、圖像處理方法及記錄媒體 Download PDF

Info

Publication number
TW201540048A
TW201540048A TW104121764A TW104121764A TW201540048A TW 201540048 A TW201540048 A TW 201540048A TW 104121764 A TW104121764 A TW 104121764A TW 104121764 A TW104121764 A TW 104121764A TW 201540048 A TW201540048 A TW 201540048A
Authority
TW
Taiwan
Prior art keywords
quantization matrix
unit
parameter
image processing
quantization
Prior art date
Application number
TW104121764A
Other languages
English (en)
Other versions
TWI590646B (zh
Inventor
Junichi Tanaka
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201540048A publication Critical patent/TW201540048A/zh
Application granted granted Critical
Publication of TWI590646B publication Critical patent/TWI590646B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明緩解伴隨量化矩陣之更新而產生之編碼效率之降低。本發明提供一種圖像處理裝置，其包括：取得部，其自不同於序列參數集及圖片參數集之參數集內設定有定義量化矩陣之量化矩陣參數之編碼串流，取得上述量化矩陣參數；設定部，其根據由上述取得部取得之上述量化矩陣參數，設定將自上述編碼串流解碼之資料反量化時所使用之量化矩陣；及反量化部，其使用由上述設定部設定之量化矩陣，將自上述編碼串流解碼之上述資料反量化。

Description

圖像處理裝置、圖像處理方法及記錄媒體
本發明係關於一種圖像處理裝置及圖像處理方法。
作為圖像編碼方式之標準規格之一的H.264/AVC(Advanced Video Coding，進階視訊編碼)中，於High Profile(高等型級)以上之分佈中，當圖像資料量化時，可針對正交轉換係數之每個成分而使用不同量化間距。正交轉換係數之每個成分之量化間距(quantization step)(或量化位階(quantization scale))係可根據定義為與正交轉換之單位同等之尺寸之量化矩陣(亦稱為scaling list)及基準之間距值而設定。
圖38表示H.264/AVC中預先定義之4種既定之量化矩陣。矩陣SL1係框內預測模式之4×4之既定之量化矩陣。矩陣SL2係框間預測模式之4×4之既定之量化矩陣。矩陣SL3係框內預測模式之8×8之既定之量化矩陣。矩陣SL4係框間預測模式之8×8之既定之量化矩陣。又，使用者可於序列參數集或圖片參數集中定義不同於圖38所示之既定矩陣之單獨之量化矩陣。再者，於不存在量化矩陣之指定之情形時，可針對全部成分使用具有相等量化間距之平面量化矩陣。
作為繼H.264/AVC之後的新一代圖像編碼方式而不斷推進標準化之HEVC(High Efficiency Video Coding，高效能視訊編碼)中，導入有相當於先前之巨集區塊之編碼單位(CU：Coding Unit)這一概念(參照下述非專利文獻1)。編碼單位之尺寸範圍係由序列參數集中 LCU(Largest Coding Unit，最大編碼單元)及SCU(Smallest Coding Unit，最小編碼單元)之二次方之值之組而指定。而且，使用split_flag，而特定由LCU及SCU指定之範圍內之具體編碼單位之尺寸。
HEVC中，1個編碼單位可分割為1個以上之正交轉換之單位、即1個以上之轉換單位(Transform Unit：TU)。作為轉換單位之尺寸，可利用4×4、8×8、16×16及32×32中之任一個。因此，量化矩陣亦可針對該等轉換單位之每個候補尺寸而指定。下述非專利文獻2提出，於1圖片內針對1個轉換單位之尺寸指定複數個量化矩陣之候補，並根據RD(Rate-Distortion，率失真)最佳化之觀點而針對每個區塊適應性地選擇量化矩陣。
[先前技術文獻] [專利文獻]
[非專利文獻1] JCTVC-B205, 「Test Model under Consideration」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/ WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
[非專利文獻2] VCEG-AD06, 「Adaptive Quantization Matrix Selection on KTA Software」, ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23-24 October, 2006
然而，適合於量化及反量化之量化矩陣係根據影像中所含之各圖像之特性而不同。因此，若欲以最佳量化矩陣對圖像特性時刻發生變化之影像進行編碼，則量化矩陣之更新頻度變高。量化矩陣係在 H.264/AVC中定義於序列參數集(SPS)或圖片參數集(PPS)內。因此，若量化矩陣之更新頻度增高，則編碼串流中所占之SPS或PPS之比例增加。這意味著藉由額外負擔(overhead)之增大而使編碼效率降低。於量化矩陣之尺寸變得更大、每個圖片可定義多達幾種量化矩陣之HEVC中，伴隨如上所述之量化矩陣更新而產生之編碼效率之降低有更明顯之虞。
因此，較理想的是提供可緩解伴隨量化矩陣更新而產生之編碼效率之降低的構造。
根據本發明，可提供一種圖像處理裝置，其包括：取得部，其自不同於序列參數集及圖片參數集之參數集內設定有定義量化矩陣之量化矩陣參數之編碼串流，取得上述量化矩陣參數；設定部，其根據由上述取得部取得之上述量化矩陣參數，設定將自上述編碼串流解碼之資料反量化時所使用之量化矩陣；及反量化部，其使用由上述設定部設定之量化矩陣，將自上述編碼串流解碼之上述資料反量化。
典型而言，上述圖像處理裝置可作為對圖像進行解碼之圖像解碼裝置而實現。
又，根據本發明，可提供一種圖像處理方法，其包括：自不同於序列參數集及圖片參數集之參數集內設定有定義量化矩陣之量化矩陣參數之編碼串流，取得上述量化矩陣參數；根據所取得之上述量化矩陣參數，設定將自上述編碼串流解碼之資料反量化時所使用之量化矩陣；及使用所設定之量化矩陣，將自上述編碼串流解碼之上述資料反量化。
又，根據本發明，可提供一種圖像處理裝置，其包括：量化部，其係使用量化矩陣將資料量化；設定部，其設定量化矩陣參數，該量化矩陣參數係定義由上述量化部將上述資料量化時所使用之量化 矩陣；及編碼部，其將由上述設定部設定之上述量化矩陣參數編碼至不同於序列參數集及圖片參數集之參數集內。
典型而言，上述圖像處理裝置可作為對圖像進行編碼之圖像編碼裝置而實現。
又，根據本發明，可提供一種圖像處理方法，其包括：使用量化矩陣將資料量化；設定量化矩陣參數，該量化矩陣參數係定義將上述資料量化時所使用之上述量化矩陣；及將所設定之上述量化矩陣參數編碼至不同於序列參數集及圖片參數集之參數集內。
根據本發明之圖像處理裝置及圖像處理方法，可緩解伴隨量化矩陣更新而產生之編碼效率之降低。
10‧‧‧圖像處理裝置(圖像編碼裝置)
16‧‧‧量化部
120‧‧‧參數生成部
130‧‧‧插入部
60‧‧‧圖像處理裝置(圖像解碼裝置)
63‧‧‧反量化部
160‧‧‧參數取得部
170‧‧‧設定部
圖1係表示一實施形態之圖像編碼裝置之構成之一例的區塊圖。
圖2係表示圖1所示之語法處理部之詳細構成之一例的區塊圖。
圖3係表示一實施形態中量化矩陣參數集內所含之參數之一例的說明圖。
圖4係表示一實施形態中片層標頭內所含之參數之一例的說明圖。
圖5係表示一實施形態之參數集插入處理流程之一例的流程表。
圖6係用以對一實施形態之方法與現有方法之間的串流構成之差異進行說明的說明圖。
圖7係表示一實施形態之圖像解碼裝置之構成之一例的區塊圖。
圖8係表示圖7所示之語法處理部之詳細構成之一例的區塊圖。
圖9係表示一實施形態之量化矩陣生成處理流程之一例的流程表。
圖10係表示一實施形態之拷貝模式下之處理之詳細流程之一例 的流程表。
圖11係表示一實施形態之軸指定模式下之處理之詳細流程之一例的流程表。
圖12係表示對於一實施形態之片層之量化矩陣設定處理之流程之一例的流程表。
圖13係表示體現量化矩陣參數集之語法之例示性虛擬碼之第1例的第1說明圖。
圖14係表示體現量化矩陣參數集之語法之例示性虛擬碼之第1例的第2說明圖。
圖15係表示體現量化矩陣參數集之語法之例示性虛擬碼之第1例的第3說明圖。
圖16係表示體現量化矩陣參數集之語法之例示性虛擬碼之第2例的第1說明圖。
圖17係表示體現量化矩陣參數集之語法之例示性虛擬碼之第2例的第2說明圖。
圖18係表示體現量化矩陣參數集之語法之例示性虛擬碼之第2例的第3說明圖。
圖19係表示體現量化矩陣參數集之語法之例示性虛擬碼之第2例的第4說明圖。
圖20係表示體現量化矩陣參數集之語法之例示性虛擬碼之第2例的第5說明圖。
圖21係表示為了量化矩陣之量化而定義之量化位階設定區域之一例的說明圖。
圖22係表示圖21所例示之各量化位階設定區域內所設定之量化位階之一例的說明圖。
圖23係用以對LCEC中準備之11組VLC表格進行說明之說明圖。
圖24係表示根據利用APS之第1方法而構成之編碼串流之一例的說明圖。
圖25係表示根據利用APS之第1方法而定義之APS之語法之一例的說明圖。
圖26係表示根據利用APS之第1方法而定義之片層標頭之語法之一例的說明圖。
圖27係表示根據利用APS之第1方法之一變形例而定義之APS之語法之一例的說明圖。
圖28係表示根據利用APS之第2方法而構成之編碼串流之一例的說明圖。
圖29係表示根據利用APS之第3方法而構成之編碼串流之一例的說明圖。
圖30係表示根據利用APS之第3方法而定義之APS之語法之一例的說明圖。
圖31係表示根據利用APS之第3方法而定義之片層標頭之語法之一例的說明圖。
圖32係每個代表性編碼工具之參數之特徵之一覽表。
圖33係用以對根據利用APS之第3方法之一變形例而構成之編碼串流之一例進行說明的說明圖。
圖34係表示電視裝置之概略性構成之一例之區塊圖。
圖35係表示行動電話機之概略性構成之一例之區塊圖。
圖36係表示記錄再生裝置之概略性構成之一例之區塊圖。
圖37係表示攝像裝置之概略性構成之一例之區塊圖。
圖38係表示H.264/AVC中預先定義之既定之量化矩陣之說明圖。
以下，一面參照隨附圖式，一面對本發明之較佳實施形態進行 詳細說明。再者，本說明書及圖式中，藉由對實質上具有相同功能構成之構成要素附以相同符號而省略重複說明。
又，依照以下之順序進行說明。
1.一實施形態之圖像編碼裝置之構成例
1-1.整體構成例
1-2.語法處理部之構成例
1-3.參數構成例
2.一實施形態之編碼時之處理流程
3.一實施形態之圖像解碼裝置之構成例
3-1.整體構成例
3-2.語法處理部之構成例
4.一實施形態之解碼時之處理流程
4-1.量化矩陣之生成
4-2.對於片層之量化矩陣之設定
5.語法之例
5-1.第1例
5-2.第2例
6.參數集之各種構成例
6-1.第1方法
6-2.第1方法之變形例
6-3.第2方法
6-4.第3方法
6-5.第3方法之變形例
7.應用例
8.總結
<1.一實施形態之圖像編碼裝置之構成例>
本段落中，對一實施形態之圖像編碼裝置之構成例進行說明。
[1-1.整體構成例]
圖1係表示一實施形態之圖像編碼裝置10之構成之一例的區塊圖。若參照圖1，則圖像編碼裝置10包括：A/D(Analogue to Digital，類比/數位)轉換部11、重排緩衝器12、語法處理部13、減算部14、正交轉換部15、量化部16、可逆編碼部17、儲存緩衝器18、速率控制部19、反量化部21、逆正交轉換部22、加算部23、解塊濾波器24、圖框記憶體25、選擇器26、框內預測部30、運動搜索部40、及模式選擇部50。
A/D轉換部11將以類比形式輸入之圖像訊號轉換為數位形式之圖像資料，並將一系列數位圖像資料輸出至重排緩衝器12。
重排緩衝器12對自A/D轉換部11輸入之一系列圖像資料中所含之圖像進行重排。重排緩衝器12根據關於編碼處理之GOP(Group of Pictures，圖像群組)構造對圖像進行重排後，將重排後之圖像資料輸出至語法處理部13。
自重排緩衝器12輸出至語法處理部13之圖像資料係以NAL(Network Abstraction Layer：網路抽象層)單元這一單位向位元串流映射(mapping)。圖像資料之串流包含1個以上之序列。序列之前導之圖片被稱為IDR(Instantaneous Decoding Refresh，即時解碼刷新)圖片。各序列包含1個以上之圖片，進而，各圖片包含1個以上之片層。H.264/AVC及HEVC中，該等片層為影像之編碼及解碼之基本單位。各片層之資料係作為VCL(Video Coding Layer：視訊編碼層)NAL單元而識別。
語法處理部13依序識別自重排緩衝器12輸入之圖像資料之串流內之NAL單元，並將儲存標頭資訊之非VCL NAL單元插入至串流。由語法處理部13插入至串流之非VCL NAL單元包含序列參數集 (SPS：Sequence Parameter Set)及圖片參數集(PPS：Picture Parameter Set)。進而，本實施形態中，語法處理部13將不同於SPS及PPS之非VCL NAL單元即量化矩陣參數集(QMPS：Quantization Matrix Parameter Set)插入至串流。又，語法處理部13於片層之前導附加片層標頭(SH：Slice Header)。然後，語法處理部13將包含VCL NAL單元及非VCL NAL單元之圖像資料之串流輸出至減算部14、框內預測部30及運動搜索部40。關於語法處理部13之詳細構成，進而於下文中說明。
於減算部14，供給有自語法處理部13輸入之圖像資料、及由下文中說明之模式選擇部50選擇之預測圖像資料。減算部14計算自語法處理部13輸入之圖像資料與自模式選擇部50輸入之預測圖像資料之差分即預測誤差資料，並將計算出之預測誤差資料輸出至正交轉換部15。
正交轉換部15對自減算部13輸入之預測誤差資料進行正交轉換。由正交轉換部15執行之正交轉換例如可為離散餘弦轉換(Discrete Cosine Transform：DCT)或卡洛轉換(Karhunen-Loeve Transformation)等。正交轉換部15將藉由正交轉換處理而取得之轉換係數資料輸出至量化部16。
量化部16使用量化矩陣而將自正交轉換部15輸入之轉換係數資料量化，並將量化後之轉換係數資料(以下，稱為量化資料)輸出至可逆編碼部17及反量化部21。量化資料之位元率係根據來自速率控制部19之速率控制訊號而得以控制。由量化部16使用之量化矩陣係可定義於量化矩陣參數集內，且針對每個片層指定於片層標頭內。於未指定量化矩陣之情形時，針對全部成分使用具有相等量化間距之平面量化矩陣。
可逆編碼部17藉由對自量化部16輸入之量化資料進行可逆編碼 處理，而生成編碼串流。由可逆編碼部17進行之可逆編碼係可例如為可變長度編碼、或算術編碼等。又，可逆編碼部17將自模式選擇部50輸入之與框內預測相關之資訊或與框間預測相關之資訊多工化於編碼串流之標頭內。然後，可逆編碼部17將已生成之編碼串流輸出至儲存緩衝器18。
儲存緩衝器18使用半導體記憶體等記憶媒體來暫時儲存自可逆編碼部17輸入之編碼串流。然後，儲存緩衝器18將已儲存之編碼串流以與傳輸路徑之頻帶對應之速率輸出至未圖示之傳輸部(例如，通訊介面或與周邊裝置之連接介面等)。
速率控制部19對儲存緩衝器18之空餘容量進行監控。然後，速率控制部19根據儲存緩衝器18之空餘容量而生成速率控制訊號，並將已生成之速率控制訊號輸出至量化部16。例如，速率控制部19於儲存緩衝器18之空餘容量較少時，生成用以降低量化資料之位元率之速率控制訊號。又，例如，速率控制部19於儲存緩衝器18之空餘容量足夠大時，生成用以提高量化資料之位元率之速率控制訊號。
反量化部21使用量化矩陣而對自量化部16輸入之量化資料進行反量化處理。然後，反量化部21將藉由反量化處理而取得之轉換係數資料輸出至逆正交轉換部22。
逆正交轉換部22藉由對自反量化部21輸入之轉換係數資料進行逆正交轉換處理，而恢復預測誤差資料。然後，逆正交轉換部22將已恢復之預測誤差資料輸出至加算部23。
加算部23藉由將自逆正交轉換部22輸入之經恢復之預測誤差資料與自模式選擇部50輸入之預測圖像資料相加，而生成解碼圖像資料。然後，加算部23將已生成之解碼圖像資料輸出至解塊濾波器24及圖框記憶體25。
解塊濾波器24進行用以減少圖像之編碼時所產生之區塊失真之 過濾處理。解塊濾波器24藉由過濾自加算部23輸入之解碼圖像資料而去除區塊失真，並將過濾後之解碼圖像資料輸出至圖框記憶體25。
圖框記憶體25使用記憶媒體來記憶自加算部23輸入之解碼圖像資料、及自解塊濾波器24輸入之過濾後之解碼圖像資料。
選擇器26自圖框記憶體25讀出用於框內預測之過濾前之解碼圖像資料，並將已讀出之解碼圖像資料作為參照圖像資料而供給至框內預測部30。又，選擇器26自圖框記憶體25讀出用於框間預測之過濾後之解碼圖像資料，並將已讀出之解碼圖像資料作為參照圖像資料而供給至運動搜索部40。
框內預測部30根據自語法處理部13輸入之編碼對象之圖像資料、及經由選擇器26而供給之解碼圖像資料，而進行各框內預測模式之框內預測處理。例如，框內預測部30使用特定之價值函數而評估各框內預測模式之預測結果。然後，框內預測部30選擇價值函數值最小之框內預測模式、即壓縮率最高之框內預測模式作為最佳框內預測模式。進而，框內預測部30將表示該最佳框內預測模式之預測模式資訊、預測圖像資料、及價值函數值等與框內預測相關之資訊輸出至模式選擇部50。
運動搜索部40根據自語法處理部13輸入之編碼對象之圖像資料、及經由選擇器26而供給之解碼圖像資料，而進行框間預測處理(圖框間預測處理)。例如，運動搜索部40使用特定之價值函數而評估各預測模式之預測結果。然後，運動搜索部40選擇價值函數值最小之預測模式、即壓縮率最高之預測模式作為最佳預測模式。又，運動搜索部40根據該最佳預測模式而生成預測圖像資料。然後，運動搜索部40將表示所選擇之最佳預測模式之預測模式資訊、預測圖像資料、及價值函數值等與框間預測相關之資訊輸出至模式選擇部50。
模式選擇部50將自框內預測部30輸入之與框內預測相關之價值 函數值、和自運動搜索部40輸入之與框間預測相關之價值函數值進行比較。然後，模式選擇部50選擇框內預測及框間預測中之價值函數值更少之預測方法。模式選擇部50於選擇了框內預測之情形時，將與框內預測相關之資訊輸出至可逆編碼部17，並且將預測圖像資料輸出至減算部14及加算部23。又，模式選擇部50於選擇了框間預測之情形時，將與框間預測相關之上述資訊輸出至可逆編碼部17，並且將預測圖像資料輸出至減算部14及加算部23。
[1-2.語法處理部之構成例]
圖2係表示圖1所示之圖像編碼裝置10之語法處理部13之詳細構成之一例的區塊圖。若參照圖2，則語法處理部13包含設定部110、參數生成部120及插入部130。
(1)設定部
設定部110保持用於由圖像編碼裝置10進行之編碼處理之各種設定。例如，設定部110保持與圖像資料之各序列之分佈、各圖片之編碼模式、及GOP構造相關之資料等。又，本實施形態中，設定部110保持對由量化部16(及反量化部21)使用之量化矩陣之設定。典型而言，應藉由量化部16使用何種量化矩陣係可根據離線狀態下之圖像之解析，針對每個片層而預先決定。
例如，數位視訊相機之各種應用例中，因輸入圖像不存在壓縮失真，故即便於高波段，亦可使用量化間距更小之量化矩陣。量化矩陣係以圖片單位或圖框單位變化。於輸入圖像之複雜性較低之情形時，藉由使用量化間距更小之平面量化矩陣，可提高使用者主觀上感知到之畫質。另一方面，於輸入圖像之複雜性較高之情形時，為抑制編碼量之增大，較理想的是使用更大之量化間距。於此情形時，若使用平面量化矩陣，則有低波段訊號之失真被作為區塊雜訊而識別之虞。因此，有益的是使用如量化間距自低波段向高波段增加之量化矩 陣而減少雜訊。
對以MPEG(Moving Picture Experts Group，動畫專家群)2編碼之廣播內容進行再壓縮之記錄器之各種應用例中，輸入圖像自身存在蚊狀雜訊(mosquito noise)等之MPEG2之壓縮失真。蚊狀雜訊係作為將高波段訊號以更大之量化間距量化之結果而產生之雜訊，雜訊之頻率成分自身亦成為極高頻率。對於此種輸入圖像，較理想的是進行再壓縮時使用高波段具有較大之量化間距之量化矩陣。又，與漸進式訊號相比，交錯式訊號中，於交錯掃描之影響下，水平方向之訊號之相互關係高於垂直方向之訊號之相互關係。因此，亦有益的是根據圖像訊號為漸進式訊號或交錯式訊號而使用不同量化矩陣。於任何一種情形時，均可根據圖像內容，使最佳量化矩陣以圖片為單位或以圖框為單位變化。
(2)參數生成部
參數生成部120生成定義由設定部110保持之用於編碼處理之設定之參數，並將所生成之參數輸出至插入部130。
例如，本實施形態中，參數生成部120生成定義由量化部16使用之量化矩陣之量化矩陣參數。由參數生成部120生成之一組量化矩陣參數包含於量化矩陣參數集(QMPS)。對各QMPS賦予用以彼此識別各QMPS之識別碼即QMPS ID(Quantization Matrix Parameter Set Identifier，量化矩陣參數集識別碼)。典型而言，於1個QMPS內，定義有複數種量化矩陣。量化矩陣之種類係根據矩陣尺寸、以及對應之預測方式及訊號成分而相互區別。例如，於1個QMPS內，針對4×4、8×8、16×16及32×32之各尺寸，最多可定義6種量化矩陣(框內預測/框間預測之Y/Cb/Cr成分)。
更具體而言，參數生成部120亦可與H.264/AVC中之量化矩陣之編碼處理同樣，藉由鋸齒狀掃描而使各量化矩陣呈一維排列而變形， 以DPCM(Differential Pulse Code Modulation，差分脈碼調變)方式對一維排列之各要素之值進行編碼。於此情形時，DPCM之差分資料之一維排列成為量化矩陣參數。本說明書中，將用以生成量化矩陣參數之此種模式稱為全掃描模式。
又，為削減量化矩陣參數之編碼量，參數生成部120亦可在與全掃描模式不同之模式下生成量化矩陣參數。例如，參數生成部120亦可不使用全掃描模式而於以下所說明之拷貝模式或軸指定模式下生成量化矩陣參數。
拷貝模式係針對某片層所使用之量化矩陣與已定義之量化矩陣類似或相等之情形時可選擇之模式。於拷貝模式之情形時，參數生成部120係於QMPS中包含定義拷貝源之量化矩陣之QMPS之QMPS ID、以及拷貝源之量化矩陣之尺寸及類型作為量化矩陣參數。再者，本說明書中，將與某量化矩陣對應之預測方式和訊號成分之組合稱為該量化矩陣之類型。於欲定義之量化矩陣與拷貝源之量化矩陣之間存在差分之情形時，參數生成部120亦可於QMPS中進而包含用以生成表示各成分之殘差之殘差矩陣之殘差資料。
對軸指定模式之處理進而根據差分方式與內插方式這兩種指定方式而分類。差分方式中，參數生成部120僅指定符合轉換單位之最左方一行即縱軸、最上方一列即橫軸及沿著對角線之斜軸之量化矩陣之要素之值。內插方式中，參數生成部120僅指定符合轉換單位之左上(DC(Direct Current，直流)成分)、右上、左下及右下這4個角隅之量化矩陣之要素之值。剩餘之要素之值可藉由線性內插、三次內插(cubic interpolation)或拉格朗日內插(Lagrange interpolation)等任意方法而內插。即便於軸指定模式下，於欲定義之量化矩陣與內插後之量化矩陣之間存在差分之情形時，參數生成部120亦可於QMPS中進而包含用以生成表示各成分之殘差之殘差矩陣之殘差資料。
(3)插入部
插入部130將分別包含由參數生成部120生成之參數群之SPS、PPS、QMPS及片層標頭等之標頭資訊插入至自重排緩衝器12輸入之圖像資料之串流。如上所述，QMPS係不同於SPS及PPS之非VCL NAL單元。QMPS內包含由參數生成部120生成之量化矩陣參數。然後，插入部130將插入有標頭資訊之圖像資料之串流輸出至減算部14、框內預測部30及運動搜索部40。
[1-3.參數構成例]
(1)量化矩陣參數集
圖3係表示本實施形態中各QMPS內所包含之參數之一例之說明圖。若參照圖3，則各QMPS內包含「QMPS ID」、「生成模式存在旗標」、「生成模式」及針對各模式而不同之量化矩陣參數。
「QMPS ID」係用以彼此識別各QMPS之識別碼。QMPS ID係可例如為0~31之範圍之整數等。未使用之QMPS ID之指定意味著定義新QMPS。序列內已使用之QMPS ID之再指定意味著更新已結束定義之QMPS。
「生成模式存在旗標」係表示表現量化矩陣生成處理模式之劃分即「生成模式」是否存在於該QMPS內的旗標。於生成模式存在旗標表示「0：不存在」之情形時，該QMPS內係於全掃描模式下定義量化矩陣。另一方面，於生成模式存在旗標表示「1：存在」之情形時，該QMPS內存在「生成模式」。
「生成模式」係可選取例如「0：拷貝」、「1：軸指定」或「2：全掃描」中任一值之劃分。下文中所說明之語法之虛擬碼中，生成模式由「pred_mode」這一變數表示。
於拷貝模式(即，pred_mode=0)之情形時，QMPS可包含「源ID」、「拷貝源尺寸」、「拷貝源類型」、「殘差旗標」及「殘差資料」作 為量化矩陣參數。「源ID」係指定定義有拷貝源之量化矩陣之QMPS之QMPS ID。「拷貝源尺寸」係拷貝源之量化矩陣之尺寸。「拷貝源類型」係拷貝源之量化矩陣之類型(框內-Y、框內-Cb、...、框間Cr)。「殘差旗標」係表示是否存在殘差之旗標。「殘差資料」係於存在殘差之情形時用以生成表示殘差之殘差矩陣之資料。於殘差旗標表示「0：不存在」之情形時，可省略殘差資料。
再者，於某QMPS之源ID與該QMPS自身之QMPS ID相等之情形時，可解釋為如圖38所例示之既定之量化矩陣已被指定。藉此，QMPS中亦可不包含用以指定既定之量化矩陣之單獨之旗標，因此可削減QMPS之編碼量。
於軸指定模式(即，pred_mode=1)之情形時，QMPS除「指定方式旗標」以外，亦可包含「基準軸資料」及「角隅資料」中之任一者、「殘差旗標」、以及「殘差資料」作為量化矩陣參數。指定方式旗標係表示如何指定成為量化矩陣之生成基準之基準軸之要素之值的旗標，例如可選取「0：差分」或「1：內插」中之任一值。於指定方式為「0：差分」之情形時，符合量化矩陣之基準軸即縱軸、橫軸及斜軸之要素之值係由基準軸資料指定。於指定方式為「1：內插」之情形時，符合量化矩陣之左上、右上、左下及右下這4個角隅之要素之值係由角隅資料指定。3個基準軸之要素之值可藉由內插而自該等4個角隅之值生成。殘差旗標及殘差資料與拷貝模式之情形相同。
於全掃描模式(即，pred_mode=2)之情形時，QMPS可包含DPCM之差分資料之一維排列作為量化矩陣參數。
再者，各QMPS亦可包含針對量化矩陣之每個種類而不同之生成模式及與各模式對應之量化矩陣參數。即，作為一例，亦可為1個QMPS內，某種量化矩陣定義為全掃描模式，另一種量化矩陣定義為軸指定模式，剩餘之量化矩陣定義為拷貝模式。
(2)片層標頭
圖4係部分表示本實施形態中各片層標頭內所含之參數之一例之說明圖。若參照圖4，則各片層標頭內可包含「片層類型」、「PPS ID」、「QMPS ID存在旗標」及「QMPS ID」。「片層類型」係表示該片層之編碼類型之劃分，選取與P片層、B片層或I片層等對應之值。「PPS ID」係為了該片層而參照之圖片參數集(PPS)之ID。「QMPS ID存在旗標」係表示該片層標頭內是否存在QMPS ID之旗標。「QMPS ID」係為了該片層而參照之量化矩陣參數集(QMPS)之QMPS ID。
<2.一實施形態之編碼時之處理流程>
(1)參數集插入處理
圖5係表示由本實施形態之語法處理部13之插入部130進行之參數集插入處理之流程之一例的流程表。
若參照圖5，則插入部130首先依序取得自重排緩衝器12輸入之圖像資料之串流內之NAL單元，而識別1個圖片(步驟S100)。然後，插入部130判定已識別之圖片是否為序列之前導之圖片(步驟S102)。此處，於已識別之圖片為序列之前導之圖片之情形時，插入部130將SPS插入至串流(步驟S104)。然後，插入部130進而對已識別之圖片判定是否存在PPS之變更(步驟S106)。此處，於存在PPS之變更之情形、或已識別之圖片為序列之前導之圖片之情形時，插入部130將PPS插入至串流(步驟S108)。然後，插入部130進而判定是否存在QMPS之變更(步驟S110)。此處，於存在QMPS之變更之情形、或已識別之圖片為序列之前導之圖片之情形時，插入部130將QMPS插入至串流(步驟S112)。其後，於檢測出串流結束之情形時，插入部130結束處理。另一方面，於串流未結束之情形時，插入部130對下一圖片重複上述處理(步驟S114)。
再者，此處為簡化說明，流程表中僅對SPS、PPS及QMPS之插入 進行表示，插入部130亦可將SEI(Supplemental Enhancement Information，補充增強資訊)及片層標頭等之其他標頭資訊插入至串流。
(2)串流構成之說明
圖6係用以對本實施形態之方法與現有方法之間的串流構成之差異進行說明之說明圖。
於圖6左側，表示有根據現有方法而生成之作為一例之串流ST1。由於串流ST1之前導為序列之前導，故而於串流ST1之前導插入有第1個SPS(1)及第1個PPS(1)。SPS(1)及PPS(1)中，可定義有1個以上之量化矩陣。然後，於後續若干片層標頭及片層資料之後，產生了更新量化矩陣之必要性。於是，在串流ST1中插入第2個PPS(2)。PPS(2)內亦包含除量化矩陣參數以外之參數。然後，於後續若干片層標頭及片層資料之後，產生了更新PPS之必要性。於是，在串流ST1中插入第3個PPS(3)。PPS(3)內亦包含量化矩陣參數。其後之對片層之量化處理(及反量化處理)係使用定義於由片層標頭內之PPS ID指定之PPS內之量化矩陣而進行。
於圖6右側，表示有根據本實施形態之上述方法而生成之作為一例之串流ST2。由於串流ST2之前導為序列之前導，故而於串流ST1之前導插入有第1個SPS(1)、第1個PPS(1)及第1個QMPS(1)。串流ST2中，可於QMPS(1)中定義1個以上之量化矩陣。串流ST2之PPS(1)及QMPS(1)之長度之和與串流ST1之PPS(1)之長度大致相等。然後，若於後續若干片層標頭及片層資料之後，產生更新量化矩陣之必要性，則於串流ST2中插入第2個QMPS(2)。由於QMPS(2)內不包含除量化矩陣參數以外之參數，故而QMPS(2)之長度短於串流ST2之PPS(2)之長度。然後，若於後續若干片層標頭及片層資料之後，產生更新PPS之必要性，則於串流ST2中插入第2個PPS(2)。由於串流ST2之PPS(2)內 不包含量化矩陣參數，故而串流ST2之PPS(2)之長度短於串流ST1之PPS(3)之長度。其後之對片層之量化處理(及反量化處理)係使用定義於由片層標頭內之QMPS ID指定之QMPS內之量化矩陣而進行。
若將圖6之串流ST1及ST2進行比較，則理解可藉由本實施形態中說明之方法而削減串流整體之編碼量。尤其於量化矩陣之尺寸更大之情形、或針對每個圖片定義之量化矩陣之數量更多之情形時，藉由上述方法而實現之編碼量之削減更為有效。
<3.一實施形態之圖像解碼裝置之構成例>
[3-1.整體構成例]
本段落中，對一實施形態之圖像解碼裝置之構成例進行說明。
[3-1.整體構成例]
圖7係表示一實施形態之圖像解碼裝置60之構成之一例之區塊圖。若參照圖7，則圖像解碼裝置60包括語法處理部61、可逆解碼部62、反量化部63、逆正交轉換部64、加算部65、解塊濾波器66、重排緩衝器67、D/A(Digital to Analogue，數位/類比)轉換部68、圖框記憶體69、選擇器70及71、框內預測部80、以及運動補償部90。
語法處理部61自經由傳輸路徑而輸入之編碼串流取得SPS、PPS、QMPS及片層標頭等之標頭資訊，根據已取得之標頭資訊而識別用於由圖像解碼裝置60進行之解碼處理之各種設定。例如，本實施形態中，語法處理部61係根據QMPS內所含之量化矩陣參數，而設定由反量化部63進行反量化處理時所使用之量化矩陣。關於語法處理部61之詳細構成，進而於下文中說明。
可逆解碼部62根據編碼時所使用之編碼方式對自語法處理部61輸入之編碼串流進行解碼。然後，可逆解碼部62將解碼後之量化資料輸出至反量化部62。又，可逆解碼部62將標頭資訊中所含之與框內預測相關之資訊輸出至框內預測部80，將與框間預測相關之資訊輸出至 運動補償部90。
反量化部63使用由語法處理部61設定之量化矩陣，將由可逆解碼部62進行解碼後之量化資料(即，經量化之轉換係數資料)反量化。針對某片層內之各區塊應使用何者量化矩陣，可根據片層標頭中指定之QMPS ID、各區塊(轉換單位)之尺寸、各區塊之預測方式及訊號成分而決定。
逆正交轉換部64係藉由根據編碼時所使用之正交轉換方式，對自反量化部63輸入之轉換係數資料進行逆正交轉換，而生成預測誤差資料。然後，逆正交轉換部64將已生成之預測誤差資料輸出至加算部65。
加算部65藉由將自逆正交轉換部64輸入之預測誤差資料、與自選擇器71輸入之預測圖像資料相加，而生成解碼圖像資料。然後，加算部65將已生成之解碼圖像資料輸出至解塊濾波器66及圖框記憶體69。
解塊濾波器66藉由對自加算部65輸入之解碼圖像資料進行過濾而去除區塊失真，並將過濾後之解碼圖像資料輸出至重排緩衝器67及圖框記憶體69。
重排緩衝器67藉由對自解塊濾波器66輸入之圖像進行重排，而生成時間序列之一系列圖像資料。然後，重排緩衝器67將已生成之圖像資料輸出至D/A轉換部68。
D/A轉換部68將自重排緩衝器67輸入之數位形式之圖像資料轉換為類比形式之圖像訊號。然後，D/A轉換部68藉由例如對與圖像解碼裝置60連接之顯示器(未圖示)輸出類比圖像訊號，而顯示圖像。
圖框記憶體69使用記憶媒體而記憶自加算部65輸入之過濾前之解碼圖像資料、及自解塊濾波器66輸入之過濾後之解碼圖像資料。
選擇器70根據由可逆解碼部62取得之模式資訊，針對圖像內之 每個區塊，將來自圖框記憶體69之圖像資料之輸出目的地於框內預測部80與運動補償部90之間進行切換。例如，選擇器70於已指定框內預測模式之情形時，將自圖框記憶體69供給之過濾前之解碼圖像資料作為參照圖像資料而輸出至框內預測部80。又，選擇器70於已指定框間預測模式之情形時，將自圖框記憶體69供給之過濾後之解碼圖像資料作為參照圖像資料而輸出至運動補償部90。
選擇器71根據由可逆解碼部62取得之模式資訊，針對圖像內之每個區塊，而將應供給至加算部65之預測圖像資料之輸出源於框內預測部80與運動補償部90之間進行切換。例如，選擇器71於已指定框內預測模式之情形時，將自框內預測部80輸出之預測圖像資料供給至加算部65。選擇器71於已指定框間預測模式之情形時，將自運動補償部90輸出之預測圖像資料供給至加算部65。
框內預測部80根據自可逆解碼部62輸入之與框內預測相關之資訊和來自圖框記憶體69之參照圖像資料而進行像素值之畫面內預測，從而生成預測圖像資料。然後，框內預測部80將已生成之預測圖像資料輸出至選擇器71。
運動補償部90根據自可逆解碼部62輸入之與框間預測相關之資訊和來自圖框記憶體69之參照圖像資料進行運動補償處理，從而生成預測圖像資料。然後，運動補償部90將已生成之預測圖像資料輸出至選擇器71。
[3-2.語法處理部之構成例]
圖8係表示圖7所示之圖像解碼裝置60之語法處理部61之詳細構成之一例的區塊圖。若參照圖8，則語法處理部61包含參數取得部160及設定部170。
(1)參數取得部
參數取得部160自圖像資料之串流中識別SPS、PPS、QMPS及片 層標頭等之標頭資訊，取得標頭資訊內所含之參數。例如，本實施形態中，參數取得部160係自QMPS取得定義量化矩陣之量化矩陣參數。如上所述，QMPS係不同於SPS及PPS之非VCL NAL單元。然後，參數取得部160將已取得之參數輸出至設定部170。又，參數取得部160將圖像資料之串流輸出至可逆解碼部62。
(2)設定部
設定部170根據由參數取得部160取得之參數，而進行用於圖7所示之各部之處理之設定。例如，設定部170係自LCU及SCU之值之組識別編碼單位之尺寸之範圍，並且根據split_flag之值而設定編碼單位之尺寸。將此處所設定之編碼單位作為處理之單位，進行圖像資料之解碼。又，設定部170進而設定轉換單位之尺寸。此處將所設定之轉換單位作為處理之單位，進行由上述反量化部63實現之反量化及由逆正交轉換部64實現之逆正交轉換。
又，本實施形態中，設定部170係根據由參數取得部160自QMPS取得之量化矩陣參數，而設定量化矩陣。更具體而言，設定部170係根據QMPS內所含之量化參數，於全掃描模式、拷貝模式或軸指定模式下分別生成尺寸及類型彼此不同之複數個量化矩陣。量化矩陣之生成可每當於圖像資料之串流內檢測到QPMS時進行。
例如，設定部170係於全掃描模式下，以DPCM方式對量化矩陣參數內所含之差分資料之一維排列進行解碼。然後，設定部170使解碼後之一維排列按照鋸齒狀掃描之掃描圖案而變形為二維量化矩陣。
又，設定部170係於拷貝模式下，拷貝由量化矩陣參數內所含之源ID、拷貝源尺寸及拷貝源類型所特定(之前已生成)之量化矩陣。此時，設定部170在新量化矩陣之尺寸小於拷貝源之量化矩陣之尺寸之情形時，藉由減省已拷貝之量化矩陣之要素，而生成新量化矩陣。又，設定部170在新量化矩陣之尺寸大於拷貝源之量化矩陣之尺寸之 情形時，藉由內插已拷貝之量化矩陣之要素，而生成新量化矩陣。然後，設定部170於存在殘差成分之情形時，對新量化矩陣加上殘差成分。
又，設定部170係於某QMPS內之量化矩陣參數內所含之源ID與該QMPS之QMPS ID相等之情形時，將新量化矩陣設為既定之量化矩陣。
又，設定部170係於軸指定模式下，識別量化矩陣參數內所含之指定方式旗標。然後，設定部170於差分方式之情形時，根據量化矩陣參數內所含之基準軸資料而生成符合縱軸、橫軸及斜軸之量化矩陣之要素之值，藉由內插而生成剩餘之要素之值。又，設定部170於內插方式之情形時，根據量化矩陣參數內所含之角隅資料而生成符合4個角隅之量化矩陣之要素之值，藉由內插而生成基準軸之要素之值之後，進而藉由內插而生成剩餘之要素之值。然後，設定部170於存在殘差成分之情形時，對新量化矩陣加上殘差成分。
其後，若於片層標頭中指定QMPS ID，則設定部170設定針對藉由經指定之QMPS ID識別之QMPS而生成之量化矩陣作為反量化部63應使用之量化矩陣。
<4.一實施形態之解碼時之處理流程>
[4-1.量化矩陣之生成]
(1)量化矩陣生成處理
圖9係表示由本實施形態之語法處理部61進行之量化矩陣生成處理流程之一例之流程表。圖9之量化矩陣生成處理係可每當於圖像資料之串流內檢測到QPMS時進行之處理。
若參照圖9，則參數取得部160首先自QMPS取得QMPS ID(步驟S200)。若此處所取得之QMPS ID為串流內未使用之ID，則設定部170根據以下所要說明之處理而新生成與該QMPS ID建立關聯之量化矩 陣。另一方面，若QMPS ID為已使用之ID，則設定部170將與該QMPS ID建立關聯並加以保持之量化矩陣更新為按照以下所要說明之處理而生成之矩陣。然後，參數取得部160自QMPS取得生成模式存在旗標(步驟S202)。
其後之步驟S206至步驟S240之處理針對量化矩陣之每個種類進行重複(步驟S204)。再者，所謂量化矩陣之種類，相當於量化矩陣之尺寸與類型(即，預測方式及訊號成分)之組合。
步驟S206中，設定部170係根據生成模式存在旗標之值，而判定QMPS內是否存在生成模式(之劃分)(步驟S206)。此處，於不存在生成模式之情形時，設定部170係與H.264/AVC中之量化矩陣之解碼處理同樣，以全掃描方式生成量化矩陣(步驟S208)。另一方面，於存在生成模式之情形時，參數取得部160自QMPS取得生成模式(步驟S210)。然後，設定部170根據生成模式而進行不同之處理(步驟S212、S214)。
例如，設定部170係於指示拷貝模式之情形時，進行圖10所例示之拷貝模式下之處理(步驟S220)。又，設定部170係於指示軸指定模式之情形時，進行圖11所例示之軸指定模式下之處理(步驟S240)。又，設定部170係於指示全掃描模式之情形時，與H.264/AVC中之量化矩陣之解碼處理同樣，以全掃描方式生成量化矩陣(步驟S208)。
其後，若針對全部量化矩陣之種類而生成量化矩陣，則圖9所示之量化矩陣生成處理結束。
(2)拷貝模式下之處理
圖10係表示圖9之步驟S220中拷貝模式下之處理之詳細流程之一例的流程表。
若參照圖10，則首先，參數取得部160自QMPS取得源ID(步驟S221)。其次，設定部170判定圖9之步驟S200中所取得之QMPS ID(當 前之QMPS之QMPS ID)與源ID是否相等(步驟S222)。此處，於當前之QMPS之QMPS ID與源ID相等之情形時，設定部170生成新量化矩陣作為既定之量化矩陣(步驟S223)。另一方面，於當前之QMPS之QMPS ID與源ID不等之情形時，處理進行至步驟S224。
步驟S224中，參數取得部160自QMPS取得拷貝源尺寸及拷貝源類型(步驟S224)。其次，設定部170拷貝由源ID、拷貝源尺寸及拷貝源類型所特定之量化矩陣(步驟S225)。然後，設定部170將拷貝源尺寸與生成對象之量化矩陣之尺寸進行比較(步驟S226)。此處，於拷貝源尺寸與生成對象之量化矩陣之尺寸不等之情形時，設定部170係根據尺寸之差異而內插或減省已拷貝之量化矩陣之要素，由此而生成新量化矩陣(步驟S227)。
進而，參數取得部160自QMPS取得殘差旗標(步驟S228)。其次，設定部170根據殘差旗標之值而判定是否存在殘差資料(步驟S229)。此處，於存在殘差資料之情形時，設定部170對步驟S223或步驟S225~S227中所生成之新量化矩陣加上殘差(步驟S230)。
(3)軸指定模式下之處理
圖11係表示圖9之步驟S240中軸指定模式下之處理之詳細流程之一例的流程表。
若參照圖11，則首先，參數取得部160自QMPS取得指定方式旗標(步驟S241)。其次，設定部170根據指定方式旗標之值而判定指定方式(步驟S242)。此處，於指示差分方式之情形時，處理進行至步驟S243。另一方面，於指示內插方式之情形時，處理進行至步驟S246。
於差分方式之情形時，設定部170根據量化矩陣參數內所含之基準軸資料，而生成符合縱軸、橫軸及斜軸之量化矩陣之要素之值(步驟S243、S244及S245)。另一方面，於內插方式之情形時，設定部170根據量化矩陣參數內所含之角隅資料，而生成符合4個角隅之量化矩 陣之要素之值(步驟S246)。然後，設定部170藉由內插而生成連結4個角隅而成之基準軸(縱軸、橫軸及斜軸)之要素之值(步驟S247)。其後，設定部170根據基準軸之要素之值而內插剩餘之要素之值(步驟S248)。
進而，參數取得部160自QMPS取得殘差旗標(步驟S249)。然後，設定部170根據殘差旗標之值而判定是否存在殘差資料(步驟S250)。此處，於存在殘差資料之情形時，設定部170對步驟S248中所生成之新量化矩陣加上殘差(步驟S251)。
[4-2.對片層之量化矩陣之設定]
圖12係表示由本實施形態之語法處理部61對片層進行之量化矩陣設定處理之流程之一例的流程表。圖12之處理可每當於圖像資料之串流內檢測到片層標頭時進行。
首先，參數取得部160自片層標頭取得QMPS ID存在旗標(步驟S261)。其次，參數取得部160根據QMPS ID存在旗標之值，而判定片層標頭內是否存在QMPS ID(步驟S262)。此處，於存在QMPS ID之情形時，參數取得部160進而自QMPS取得QMPS ID(步驟S263)。然後，設定部170針對繼該片層標頭之後的片層設定對藉由所取得之QMPS ID識別之QMPS而生成之量化矩陣(步驟S264)。另一方面，於片層標頭內不存在QMPS ID之情形時，設定部170針對繼該片層標頭之後的片層設定平面量化矩陣(步驟S265)。
<5.語法之例>
[5-1.第1例]
圖13~圖15表示體現本實施形態之QMPS之語法之例示性虛擬碼之第1例。虛擬碼之左端附有列號。又，對虛擬碼內之變數所附之下線係指與該變數對應之參數於QMPS內為特定。
圖13之第1列之函數QuantizaionMatrixParameterSet()係體現1個 QMPS之語法之函數。於第2列及第3列中，QMPS ID(quantization_matrix_paramter_id)及生成模式存在旗標(pred_present_flag)為特定。其後之第6列至第56列之語法針對各量化矩陣之尺寸及類型而循環。迴路內之第7列至第53列之語法於存在生成模式之情形(pred_present_flag=1)時插入至QMPS。
於存在生成模式之情形時，第9列至第16列之語法係拷貝模式下之語法。於第9列至第11列中，源ID、拷貝源尺寸及拷貝源類型為特定。第12列之函數pred_matrix()意味著對由源ID、拷貝源尺寸及拷貝源類型特定之量化矩陣進行拷貝。於第13列中，殘差旗標為特定。第15列之函數residual_matrix()意味著於存在殘差成分之情形時殘差資料於QMPS內為特定。
第18列至第50列之語法係軸指定模式下之語法，記載於圖14。於第18列中，指定方式旗標為特定。於指定方式為差分(DPCM)方式之情形時，第21列至第25列中縱軸之要素之值、第26列至第34列中橫軸之要素之值、第35列至第40列中斜軸之要素之值分別為特定。此情形時之基準軸資料為DPCM之差分資料之一維排列。再者，於可自縱軸拷貝橫軸之要素之值之情形時，可省略關於橫軸之要素之語法(第27列、第28列)。於指定方式為內插方式之情形時，第42列至第45列中左上(DC成分)、右上、左下及右下之要素之值作為角隅資料而分別特定。
第52列之處理係全掃描模式下之語法。第55列之處理係不存在生成模式之情形時之語法。於任一情形時，均可藉由體現H.264/AVC中之量化矩陣之語法之函數qmatrix()，以全掃描方式特定量化矩陣。
圖15之第1列之函數residual_matrix()係圖13之第15列及圖14之第49列所使用之用以特定殘差資料之函數。圖15之例中，殘差資料係根據DPCM方式或運行長度(run-length)方式而特定。於DPCM方式之情 形時，於第4列至第8列中，針對一維排列之每個要素特定其與前一個要素之間的差分之值(delta_coef)。於運行長度方式之情形時，於第11列至第18列中，重複特定值中接零之部分之要素群之長度(run，運行)及非零之要素之值(data，資料)。
[5-2.第2例]
圖16~圖20表示體現本實施形態之QMPS之語法之例示性虛擬碼之第2例。
圖16之第1列之函數QuantizaionMatrixParameterSet()係體現1個QMPS之語法之函數。於第2列中，QMPS ID(quantization_matrix_paramter_id)為特定。又，除僅指定既定之量化矩陣之情形以外，於第6列中，生成模式存在旗標(pred_present_flag)為特定。
進而，第2例中，於函數QuantizaionMatrixParameterSet()之第7列至第10列中，4種量化位階(Qscale0~Qscale3)為特定。該等量化位階係可為將量化矩陣之各要素之值量化以使編碼量更少而採用之參數。更具體而言，例如，8×8之量化矩陣中定義有如圖21所示之4個量化位階設定區域A1~A4。量化位階設定區域A1係用於與包含DC成分之低波段訊號對應之要素群之區域。量化位階設定區域A2及A3分別係用於與中間波段之訊號對應之要素群之區域。量化位階設定區域A4係用於與高波段訊號對應之要素群之區域。可針對每個上述區域，設定用以將量化矩陣之要素之值量化之量化位階。例如，若參照圖22，則關於量化位階設定區域A1之第1量化位階(Qscale0)為「1」。此情形意味著，關於與低波段訊號對應之要素群，量化矩陣之值未量化。另一方面，關於量化位階設定區域A2之第2量化位階(Qscale1)為「2」。關於量化位階設定區域A3之第3量化位階(Qscale2)為「3」。關於量化位階設定區域A4之第4量化位階(Qscale3)為「4」。量化位階變得越大， 越會增加由量化產生之誤差。然而，一般而言，對於高波段訊號可允許某種程度之誤差。因此，於期望達成高編碼效率之情形時，藉由用於量化矩陣之量化之此種量化位階之設定，可有效地削減定義量化矩陣所需之編碼量，而不會使畫質大幅度劣化。於進行量化矩陣之量化之情形時，實質上圖3所例示之殘差資料或差分資料之各要素之值能夠以針對各要素所屬之量化位階設定區域設定之量化間距進行量化或反量化。
再者，圖21所示之量化位階設定區域之配置僅為一例。例如，亦可針對量化矩陣之每個尺寸而定義不同數量之量化位階設定區域(例如，尺寸越大，可定義越多之量化位階設定區域)。又，量化位階設定區域之邊界位置亦不限定於圖21之例。通常，使量化矩陣一維化時之掃描圖案為鋸齒狀掃描。因此，較佳為使用如圖21所示之右上及至左下之傾斜之區域邊界。然而，亦可根據量化矩陣之要素間之相互關係或所使用之掃描圖案等，而使用沿著縱向或橫向之區域邊界。進而，就編碼效率之觀點而言，量化位階設定區域之配置(區域數量及邊界位置等)亦可適應性地進行選擇。例如，在定義接近於平面之量化矩陣之情形時，亦可選擇數量更少之量化位階設定區域。
圖16中，其後之第13列至第76列之語法針對量化矩陣之每個尺寸及類型而循環。迴路內之第14列至第66列(參照圖18)之語法於存在生成模式之情形(pred_present_flag=1)時插入至QMPS。
於存在生成模式之情形時之第16列至第22列之語法係拷貝模式下之語法。於第16列至第18列中，源ID、拷貝源尺寸及拷貝源類型為特定。於第19列中，殘差旗標為特定。第21列之函數residual_matrix()意味著於存在殘差成分之情形時殘差資料於QMPS內為特定。此處之殘差資料係可根據上述4種量化位階(Qscale0~Qscale3)之值而量化。第23列至第56列之語法係軸指定模式 下之語法，記載於圖17。軸指定模式下之殘差資料亦可根據上述4種量化位階(Qscale0~Qscale3)之值而量化(第55列)。
圖18之第57列至第66列之語法係全掃描模式下之語法。又，第68列至第75列之語法係不存在生成模式之情形時之語法。於任一情形時，均可藉由函數qmatrix()而以全掃描方式特定量化矩陣。然而，於第2例中，為更提高編碼效率，可適應性地切換用以對DPCM方式之差分資料(delta_coef)或運行長度方式之運行之值(run)及非零要素之值(data)進行熵編碼之VLC(Variable Length Coding，可變長度編碼)表格。第61列及第71列之vlc_table_data特定為了DPCM方式之差分資料(delta_coef)或運行長度方式之非零要素之值(data)而選擇之VLC表格之表格編號。第63列及第73列之vlc_table_run特定為了運行長度方式之運行之值(run)而選擇之VLC表格之表格編號。
圖19之第1列之函數qmatrix()係用來以全掃描方式特定量化矩陣之語法。圖19之第3列至第8列表示DPCM方式之語法，第5列之差分資料(delta_coef)係使用由上述vlc_table_data特定之VLC表格而編碼。又，第10列至第21列表示運行長度方式之語法，第12列之運行之值(run)係使用由上述vlc_table_run特定之VLC表格而編碼。第13列之非零要素之值(data)係使用由上述vlc_table_data特定之VLC表格而編碼。
圖23表示LCEC(Low Complexity Entropy Coding：低負載熵編碼)方式中可選擇之11種VLC(Variable Length Coding)表格之碼字表。圖23中各碼字內之「x」係所謂後綴。例如，若以指數哥倫布碼(exponential Golomb code)對「15」這個值進行編碼，則可獲得「000010000」之9位元之碼字，若以VLC4對該值進行編碼，則可獲得「11111」之5位元之碼字。如此，於較多地對更大值進行編碼之情形時，可藉由選擇較短之碼字之中具有位數更多之後綴之VLC表格， 而提高編碼效率。圖23之11種VLC表格中，例如VLC4於5位元之碼字之中具有4位數後綴。又，VLC9於6位元之碼字之中具有4位數後綴。因此，該等VLC表格適合於較多地對更大值進行編碼之情形。
若返回至量化矩陣之語法，則量化矩陣之一維排列之差分資料中後續為零之情形較多，因此，關於運行長度方式之運行之值，較多地產生並非零、1或2等較小之值而為更大之值。另一方面，關於運行長度方式之非零要素之值及差分資料之值，較大之值僅以較少之頻度產生。因此，如上述語法，藉由針對差分資料之每種指定方式(DPCM/運行長度)及值之每個種類(運行長度方式之情形時之運行/非零要素)而切換VLC表格，可更削減定義量化矩陣所需之編碼量。
圖20之第1列之函數residual_matrix()中，亦採用VLC表格之適應性切換。即，第7列之vlc_table_data特定為了DPCM方式之差分資料(delta_coef)而選擇之VLC表格之表格編號。第10列之差分資料(delta_coef)係使用第7列中特定之VLC表格而進行編碼。第15列之vlc_table_data特定為了運行長度方式之非零要素之值(data)而選擇之VLC表格之表格編號。第16列之vlc_table_run特定為了運行長度方式之運行之值(run)而選擇之VLC表格之表格編號。第19列之運行之值(run)係使用由上述vlc_table_run特定之VLC表格而進行編碼。第20列之非零要素之值(data)係使用由上述vlc_table_data特定之VLC表格而進行編碼。
根據此種QMPS之語法之各種特徵，可有效地削減定義量化矩陣所需之編碼量，從而提高編碼效率。再者，本段落中所說明之語法僅為一例。即，亦可省略此處所例示之語法之一部分，變更參數之順序，或者將其他參數追加於語法中。又，本段落中所說明之語法之若干特徵亦可於SPS或PPS內、而非QMPS內定義量化矩陣時採用。於此情形時，可削減SPS或PPS內之定義量化矩陣所需之編碼量。
<6.參數集之各種構成例>
至此，說明了儲存量化矩陣參數之量化矩陣參數集(QMPS)之語法之具體若干例。QMPS實質上既可為僅包含量化矩陣參數之專用參數集，亦可為還包含與除量化矩陣以外之編碼工具相關之其他參數之共用參數集。例如，「Adaptation Parameter Set(APS)」(JCTVC-F747r3,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting：Torino,IT,14-22 July,2011)提出有導入被稱為適應性參數集(APS：Adaptation Parameter Set)之新參數集，將與適應性迴路濾波器(ALF：Adaptive Loop Filter)及樣品適應性偏移(SAO：Sample Adaptive Offset)相關之參數儲存於APS。藉由使上述APS中進而包含量化矩陣參數，可實質構成上述QMPS。因此，本段落中，對用以利用由「Adaptation Parameter Set(APS)」(JCTVC-F747r3)提出之APS而構成QMPS之若干方法進行說明。
[6-1.第1方法]
第1方法係如下方法，即，列舉1個APS內成為對象之全部參數，使用唯一識別該APS之識別碼即APS ID，並參照各參數。圖24表示根據第1方法而構成之編碼串流之一例。
若參照圖24，則在位於序列之前導之圖片P0之開頭插入有SPS801、PPS802及APS803。PPS802藉由PPS ID「P0」而得以識別。APS803藉由APS ID「A0」而得以識別。APS803包含ALF相關參數、SAO相關參數及量化矩陣參數(以下，稱為QM相關參數)。圖片P0內之片層資料中附加之片層標頭804包含參照PPS ID「P0」，這意味著為對該片層資料進行解碼而參照PPS802內之參數。同樣，片層標頭804包含參照APS ID「A0」，這意味著為對該片層資料進行解碼而參照APS803內之參數。
繼圖片P0之後的圖片P1內插入有APS805。APS805藉由APS ID「A1」而得以識別。APS805包含ALF相關參數、SAO相關參數及QM相關參數。APS805內所含之ALF相關參數及SAO相關參數係自APS803更新，而QM相關參數未更新。圖片P1內之片層資料中所附加之片層標頭806包含參照APS ID「A1」，這意味著為對該片層資料進行解碼而參照APS805內之參數。
繼圖片P1之後的圖片P2內插入有APS807。APS807藉由APS ID「A2」而得以識別。APS807包含ALF相關參數、SAO相關參數及QM相關參數。APS807內所含之ALF相關參數及QM相關參數係自APS805更新，而SAO相關參數未更新。圖片P2內之片層資料中所附加之片層標頭808包含參照APS ID「A2」，這意味著為對該片層資料進行解碼而參照APS807內之參數。
圖25表示根據第1方法而定義之APS之語法之一例。於圖25之第2列中，用以唯一識別該APS之APS ID為特定。APS ID係代替用圖3說明之QMPS ID而使用之參數集識別碼。於第13列~第17列中，ALF相關參數為特定。於第18列~第23列中，SAO相關參數為特定。於第24列~第28列中，QM相關參數為特定。第24列之「aps_qmatrix_flag」係表示該APS內是否設定有QM相關參數之量化矩陣存在旗標。第27列之「qmatrix_param()」係特定如圖13~圖20所例示之量化矩陣參數之函數。於第24列之量化矩陣存在旗標表示該APS內設定有QM相關參數之情形(aps_qmatrix_flag=1)時，該APS內可使用函數qmatrix_param()而設定量化矩陣參數。
於採用第1方法之情形時，圖8所示之參數取得部160藉由參照APS內所含之量化矩陣存在旗標，而判定該APS內是否設定有量化矩陣參數。然後，參數取得部160於APS內設定有量化矩陣參數之情形時，自該APS而取得量化矩陣參數。
圖26係表示根據第1方法而定義之片層標頭之語法之一例之說明圖。於圖26之第5列中，用以參照應設定於該片層之參數中之PPS內所含之參數的參照PPS ID為特定。於第8列中，用以參照應設定於該片層之參數中之APS內所含之參數的參照APS ID為特定。參照APS ID係代替用圖4說明之(參照)QMPS ID而使用之參照用參數。
根據第1方法，可藉由擴充由「Adaptation Parameter Set(APS)」(JCTVC-F747r3)提出之APS，而以較少之成本實現上述量化矩陣參數集。又，可使用量化矩陣存在旗標，僅部分地更新APS內可包含之與各種編碼工具相關之參數中之量化矩陣參數，或者僅部分地不更新量化矩陣參數。即，可僅於產生更新量化矩陣之必要性之時間點使APS包含量化矩陣參數，因此APS內可有效地傳輸量化矩陣參數。
[6-2.第1方法之變形例]
為更削減APS內之量化矩陣參數之編碼量，亦可採用以下所要說明之變形例之方法。
圖27表示根據第1方法之一變形例而定義之APS之語法之一例。圖27所示之語法中，於第24列~第33列中，QM相關參數為特定。第24列之「aps_qmatrix_flag」係表示該APS內是否設定有QM相關參數之量化矩陣存在旗標。第25列之「ref_aps_id_present_flag」係表示是否使用過去參照ID作為該APS之QM相關參數之過去參照ID存在旗標。於過去參照ID存在旗標表示使用過去參照ID之情形(ref_aps_id_present_flag=1)時，於第27列中，設定有過去參照ID「ref_aps_id」。過去參照ID係用以參照早於該APS進行編碼或解碼之APS之APS ID之識別碼。於使用過去參照ID之情形時，被參照物之(後面之)APS內未設定有量化矩陣參數。於此情形時，圖8所示之設定部170重複使用根據由過去參照ID表示之參照物之APS之量化矩陣參數而設定之量化矩陣作為與被參照物之APS對應之量化矩陣。再者， 亦可禁止過去參照ID以被參照物之APS之APS ID為參照(所謂自我參照)。亦可代替此情形，設定部170將既定之量化矩陣設定為與進行自我參照之APS對應之量化矩陣。於未使用過去參照ID之情形(ref_aps_id_present_flag=0)時，可使用第31列之函數「qmatrix_param()」而於該APS內設定量化矩陣參數。
如此，可藉由使用過去參照ID對已編碼或解碼之量化矩陣進行重複使用，而避免相同量化矩陣參數重複設定於APS內。藉此，可削減APS內之量化矩陣參數之編碼量。再者，圖27中表示了為參照過去之APS而使用APS ID之例，但參照過去之APS之方法並不限定於此例。例如，亦可將被參照物之APS與參照物之APS之間的APS數量等其他參數用於參照過去之APS。又，亦可代替使用過去參照ID存在旗標，而根據過去參照ID是否表示特定之值(例如負1)來對過去之APS之參照與新量化矩陣參數之設定進行切換。
[6-3.第2方法]
第2方法係如下方法，即，針對參數之每個種類，將參數儲存於不同之APS(不同之NAL單元)內，使用唯一識別各APS之APS ID而參照各參數。圖28表示根據第2方法而構成之編碼串流之一例。
若參照圖28，則在位於序列之前導之圖片P0之開頭插入有SPS811、PPS812、APS813a、APS813b及APS813c。PPS812藉由PPS ID「P0」而得以識別。APS813a係ALF相關參數用APS，且藉由APS ID「A00」而得以識別。APS813b係SAO相關參數用APS，且藉由APS ID「A10」而得以識別。APS813c係QM相關參數用APS，且藉由APS ID「A20」而得以識別。圖片P0內之片層資料中所附加之片層標頭814包含參照PPS ID「P0」，這意味著為對該片層資料進行解碼而參照PPS812內之參數。同樣，片層標頭814包含參照APS_ALF ID「A00」、參照APS_SAO ID「A10」及參照APS_QM ID「A20」，這意 味著為對該片層資料進行解碼而參照APS813a、813b及813c內之參數。
繼圖片P0之後的圖片P1內插入有APS815a及APS815b。APS815a係ALF相關參數用APS，且藉由APS ID「A01」而得以識別。APS815b係SAO相關參數用APS，且藉由APS ID「A11」而得以識別。由於QM相關參數未自圖片P0更新，故而未插入QM相關參數用APS。圖片P1內之片層資料中所附加之片層標頭816包含參照APS_ALF ID「A01」、參照APS_SAO ID「A11」及參照APS_QM ID「A20」。這意味著為對該片層資料進行解碼而參照APS815a、815b及813c內之參數。
繼圖片P1之後的圖片P2內插入有APS817a及APS817c。APS817a係ALF相關參數用APS，且藉由APS ID「A02」而得以識別。APS817c係QM相關參數用APS，且藉由APS ID「A21」而得以識別。由於SAO相關參數未自圖片P1更新，故而未插入有SAO相關參數用APS。圖片P2內之片層資料中所附加之片層標頭818包含參照APS_ALF ID「A02」、參照APS_SAO ID「A11」及參照APS_QM ID「A21」。這意味著為對該片層資料進行解碼而參照APS817a、815b及817c內之參數。
第2方法中之QM相關參數用APS(例如，APS813c及817c)實質上等於上述QMPS。QM相關參數用APS之APS ID係可代替用圖3說明之QMPS ID而使用。根據第2方法，可針對參數之每個種類而使用不同之APS，因此不對無需更新之參數進行冗餘之參數之傳輸。因此，可使編碼效率最佳化。然而，第2方法中，被視為APS之對象之參數之種類越增加，則用以識別APS之種類之識別碼即NAL單元類型(nal_unit_type)之種類亦越增加。HEVC之標準規格中，為擴充而確保之NAL單元類型(nal_unit_type)之數量存在限制。因此，有益的是考 慮避免因APS而消耗多個NAL單元類型之構造。
[6-4.第3方法]
第3方法係如下方法，即，APS內包含量化矩陣參數及其他參數，針對與APS ID定義不同之每個識別碼將該等參數群組化。本說明書中，將與APS ID定義不同且針對每個群組而賦予之該識別碼稱為輔助識別碼(SUB ID)。各參數係於片層標頭中使用輔助識別碼以供參照。圖29表示根據第3方法而構成之編碼串流之一例。
若參照圖29，則在位於序列之前導之圖片P0之開頭插入有SPS821、PPS822及APS823。PPS822藉由PPS ID「P0」而得以識別。APS823包含ALF相關參數、SAO相關參數及QM相關參數。ALF相關參數係屬於1個群組，且藉由ALF用輔助識別碼即SUB_ALF ID「AA0」而得以識別。SAO相關參數係屬於1個群組，且藉由SAO用輔助識別碼即SUB_SAO ID「AS0」而得以識別。QM相關參數係屬於1個群組，且藉由QM用輔助識別碼即SUB_QM ID「AQ0」而得以識別。圖片P0內之片層資料中所附加之片層標頭824包含參照SUB_ALF ID「AA0」、參照SUB_SAO ID「AS0」及參照SUB_QM ID「AQ0」。此等意味著為對該片層資料進行解碼而參照屬於SUB_ALF ID「AA0」之ALF相關參數、屬於SUB_SAO ID「AS0」之SAO相關參數及屬於SUB_QM ID「AQ0」之QM相關參數。
繼圖片P0之後的圖片P1內插入有APS825。APS825包含ALF相關參數及SAO相關參數。ALF相關參數藉由SUB_ALF ID「AA1」而得以識別。SAO相關參數藉由SUB_SAO ID「AS1」而得以識別。由於QM相關參數未自圖片P0更新，故而APS825內不包含QM相關參數。圖片P1內之片層資料中所附加之片層標頭826包含參照SUB_ALF ID「AA1」、參照SUB_SAO ID「AS1」及參照SUB_QM ID「AQ0」。此等意味著為對該片層資料進行解碼而參照APS825內之屬於SUB_ALF ID「AA1」之ALF相關參數及屬於SUB_SAO ID「AS1」之SAO相關參數、以及APS823內之屬於SUB_QM ID「AQ0」之QM相關參數。
繼圖片P1之後的圖片P2內插入有APS827。APS827包含ALF相關參數及QM相關參數。ALF相關參數藉由SUB_ALF ID「AA2」而得以識別。QM相關參數藉由SUB_QM ID「AQ1」而得以識別。由於SAO相關參數未自圖片P1更新，故而APS827內不包含SAO相關參數。圖片P2內之片層資料中所附加之片層標頭828包含參照SUB_ALF ID「AA2」、參照SUB_SAO ID「AS1」及參照SUB_QM ID「AQ1」。此等意味著為對該片層資料進行解碼而參照APS827內之屬於SUB_ALF ID「AA2」之ALF相關參數及屬於SUB_QM ID「AQ1」之QM相關參數、以及APS825內之屬於SUB_SAO ID「AS1」之SAO相關參數。
圖30表示根據第3方法而定義之APS之語法之一例。於圖30之第2列~第4列中，3個群組存在旗標「aps_adaptive_loop_filter_flag」、「aps_sample_adaptive_offset_flag」及「aps_qmatrix_flag」為特定。群組存在旗標表示屬於各群組之參數是否包含於該APS內。圖30之例中係自語法中省略APS ID，但亦可於語法內追加用以識別該APS之APS ID。於第12列~第17列中，ALF相關參數為特定。第13列之「sub_alf_id」係ALF用輔助識別碼。於第18列~第24列中，SAO相關參數為特定。第19列之「sub_sao_id」係SAO用輔助識別碼。於第25列~第30列中，QM相關參數為特定。第26列之「sub_qmatrix_id」係QM用輔助識別碼。第29列之「qmatrix_param()」係特定如圖13~圖20所例示之量化矩陣參數之函數。
圖31係表示根據第3方法而定義之片層標頭之語法之一例的說明圖。於圖31之第5列中，用以參照應設定於該片層之參數中之PPS內所含之參數之參照PPS ID為特定。於第8列中，用以參照應設定於該片層之參數中之ALF相關參數之參照SUB_ALF ID為特定。於第9列 中，用以參照應設定於該片層之參數中之SAO相關參數之參照SUB_SAO ID為特定。於第10列中，用以參照應設定於該片層之參數中之QM相關參數之參照SUB_QM ID為特定。
於採用第3方法之情形時，每當更新量化矩陣參數時，圖像編碼裝置10之語法處理部13之參數生成部130均對經更新之一組量化矩陣參數賦予新SUB_QM ID作為輔助識別碼。然後，插入部130將被賦予SUB_QM ID之量化矩陣參數與其他參數一併插入至APS。圖像解碼裝置60之語法處理部61之參數取得部160使用片層標頭中指定之參照SUB_QM ID，自APS取得設定於各片層之量化矩陣參數。
根據第3方法，使用輔助識別碼而使APS內之參數群組化，不對無需更新之群組之參數進行冗餘之參數傳輸。因此，可使編碼效率最佳化。又，即便參數之種類增加，APS之種類亦不會增加，因此如上述第2方法，不會消耗許多NAL單元類型。因此，第3方法亦不會損害未來擴充之靈活性。
圖29~圖31之例中，APS內所含之參數根據ALF、SAO及QM之相關編碼工具而經群組化。然而，此僅為參數之群組化之一例。又，APS內亦可包含與其他編碼工具相關之參數。例如，適應性內插濾波器(AIF：Adaptive Interpolation Filter)之濾波器係數等AIF相關參數為包含於APS之參數之一例。以下，一面參照圖32，一面對APS內所含之參數之群組化之各種基準進行闡述。
圖32所示之表係作為每個代表性編碼工具之參數特徵之「參數內容」、「更新頻度」及「資料尺寸」之一覽表。
適應性迴路濾波器(ALF)係以使解碼圖像與原圖像之誤差最小化之方式適應性地決定之濾波器係數對解碼圖像進行二維過濾之濾波器(典型而言，為維納濾波器(Wiener filter))。ALF相關參數包含適用於各區塊之濾波器係數、及每個CU(Coding Unit，編碼單元)之 On/Off(開/關)旗標。ALF之濾波器係數之資料尺寸與其他種類之參數相比非常大。因此，通常，對於編碼量多之I圖片，傳輸ALF相關參數，但對於編碼量小之B圖片，則可省略ALF相關參數之傳輸。其原因在於，就增益之觀點而言，對編碼量小之圖片傳輸資料尺寸大之ALF相關參數並非有效之舉。ALF之濾波器係數於大部分情形時係針對每個圖片而變化。由於濾波器係數依存於圖像內容，故可重複使用過去所設定之濾波器係數之可能性較低。
樣品適應性偏移(SAO)係藉由對解碼圖像之各像素值加上適應性地決定之偏移值而使解碼圖像之畫質提高之工具。SAO相關參數包含偏移圖案及偏移值。SAO相關參數之資料尺寸並未大至ALF相關參數之程度。SAO相關參數原則上亦針對每個圖片而變化。然而，SAO相關參數具有即便圖像內容稍有變化、亦不會有太大變化之性質，因此存在可重複使用過去所設定之參數值之可能性。
量化矩陣(QM)係以將藉由正交轉換而自圖像資料轉換之轉換係數量化時所使用之量化位階為要素之矩陣。關於QM相關參數、即量化矩陣參數，如本說明書中已詳細說明。QM相關參數之資料尺寸大於SAO相關參數。量化矩陣原則上為全部圖片所必需，但若圖像內容未大幅度變化，則亦可不必針對每個圖片進行更新。因此，量化矩陣可針對相同種別(I/P/B圖片等)之圖片重複使用，或者針對每個GOP重複使用。
適應性內插濾波器(AIF)係針對每個子像素位置使運動補償時所使用之內插濾波器之濾波器係數適應性地變化之工具。AIF相關參數包含每個子像素位置之濾波器係數。AIF相關參數之資料尺寸與上述3種參數相比較小。AIF相關參數原則上針對每個圖片而變化。然而，存在若圖片之種別相同、則內插特性類似之傾向，因此可對相同種別(I/P/B圖片等)之圖片重複使用AIF相關參數。
基於如上所述之參數之性質，可採用例如用以使APS內所含之參數群組化之以下3種基準。
基準A)根據編碼工具進行之群組化
基準B)根據更新頻度進行之群組化
基準C)根據參數之重複使用之可能性進行之群組化
基準A係根據相關之編碼工具而使參數群組化之基準。圖29~圖31所例示之參數集之構成以基準A為依據。參數之性質大體係根據相關之編碼工具而確定，因此可藉由針對每個編碼工具使參數群組化，而根據參數之各種性質，適時且有效地更新參數。
基準B係根據更新頻度而使參數群組化之基準。如圖32所示，ALF相關參數、SAO相關參數及AIF相關參數原則上均可針對每個圖片更新。因此，例如可將該等參數群組化為1個群組，將QM相關參數群組化為其他群組。於此情形時，與基準A相比，群組數量變少。其結果為，片層標頭內應特定之輔助識別碼之數量亦變少，因此可削減片層標頭之編碼量。另一方面，屬於相同群組之參數之更新頻度相互類似，因此為更新其他參數而冗餘地傳輸未更新之參數之可能性亦保持得較低。
基準C係根據參數之重複使用之可能性而使參數群組化之基準。對於ALF相關參數，重複使用之可能性較低，對於SAO相關參數及AIF相關參數，則存在某種程度之重複使用之可能性。對於QM相關參數，遍及複數個圖片而重複使用參數之可能性較高。因此，藉由根據如此之重複使用之可能性而使參數群組化，可避免於APS內冗餘地傳輸重複使用之參數。
[6-5.第3方法之變形例]
上述第3方法中，如圖31所例示，片層標頭內特定有使APS內之參數群組化而成之群組之數量之參照SUB ID。參照SUB ID所必需之 編碼量大致與片層標頭數量和群組數量之積成比例。為更削減此種編碼量，亦可採用以下所要說明之變形例之方法。
第3方法之變形例中，與輔助識別碼之組合建立關聯之組合ID定義於APS或其他參數集內。然後，APS內所含之參數可通過組合ID而自片層標頭參照。圖33表示根據第3方法之此種變形例而構成之編碼串流之一例。
若參照圖33，則在位於序列之前導之圖片P0之開頭插入有SPS831、PPS832及APS833。PPS832藉由PPS ID「P0」而得以識別。APS833包含ALF相關參數、SAO相關參數及QM相關參數。ALIF相關參數藉由SUB_ALF ID「AA0」而得以識別。SAO相關參數藉由SUB_SAO ID「AS0」而得以識別。QM相關參數藉由SUB_QM ID「AQ0」而得以識別。進而，APS833包含組合ID「C00」={AA0，AS0，AQ0}作為組合之定義。圖片P0內之片層資料中所附加之片層標頭834包含組合ID「C00」。這意味著為對該片層資料進行解碼而參照與組合ID「C00」分別建立關聯之屬於SUB_ALF ID「AA0」之ALF相關參數、屬於SUB_SAO ID「AS0」之SAO相關參數及屬於SUB_QM ID「AQ0」之QM相關參數。
繼圖片P0之後的圖片P1內插入有APS835。APS835包含ALF相關參數及SAO相關參數。ALF相關參數藉由SUB_ALF ID「AA1」而得以識別。SAO相關參數藉由SUB_SAO ID「AS1」而得以識別。由於QM相關參數未自圖片P0更新，故而APS835內不包含QM相關參數。進而，APS835包含組合ID「C01」={AA1，AS0，AQ0}、組合ID「C02」={AA0，AS1，AQ0}及組合ID「C03」={AA1，AS1，AQ0}作為組合之定義。圖片P1內之片層資料中所附加之片層標頭836包含組合ID「C03」。這意味著為對該片層資料進行解碼而參照與組合ID「C03」分別建立關聯之屬於SUB_ALF ID「AA1」之ALF相關 參數、屬於SUB_SAO ID「AS1」之SAO相關參數及屬於SUB_QM ID「AQ0」之QM相關參數。
繼圖片P1之後的圖片P2內插入有APS837。APS837包含ALF相關參數。ALF相關參數藉由SUB_ALF ID「AA2」而得以識別。由於SAO相關參數及QM相關參數未自圖片P1更新，故而APS837內不包含SAO相關參數及QM相關參數。進而，APS837包含組合ID「C04」={AA2，AS0，AQ0}及組合ID「C05」={AA2，AS1，AQ0}作為組合之定義。圖片P2內之片層資料中所附加之片層標頭838包含組合ID「C05」。這意味著為對該片層資料進行解碼而參照與組合ID「C05」分別建立關聯之屬於SUB_ALF ID「AA2」之ALF相關參數、屬於SUB_SAO ID「AS1」之SAO相關參數及屬於SUB_QM ID「AQ0」之QM相關參數。
再者，本變形例中，亦可不對輔助識別碼之全部組合定義組合ID，亦可僅對片層標頭中實際參照之輔助識別碼之組合定義組合ID。又，輔助識別碼之組合亦可定義於與儲存有對應參數之APS不同之APS內。
於採用本變形例之情形時，圖像編碼裝置10之語法處理部13之參數生成部130生成與使包含量化矩陣參數之各種參數群組化之輔助識別碼之組合建立關聯之組合ID作為追加參數。然後，插入部130將由參數生成部130生成之組合ID插入至APS或其他參數集。圖像解碼裝置60之語法處理部61之參數取得部160取得各片層之片層標頭中指定之組合ID，並使用與該組合ID建立關聯之輔助識別碼，進而取得APS內之量化矩陣參數。
如此，藉由使用與輔助識別碼之組合建立關聯之組合ID而參照APS內之參數，可削減自片層標頭參照各參數所需之編碼量。
<7.應用例>
上述實施形態之圖像編碼裝置10及圖像解碼裝置60可應用於在衛星廣播、有線電視等有線廣播、網際網路上之發送、及向蜂窩通訊終端之發送等中之傳送機或接收機、光碟、磁碟及快閃記憶體等媒體中記錄圖像之記錄裝置、或由該等記憶媒體再生圖像之再生裝置等各種電子機器。以下，對4個應用例進行說明。
[7-1.第1應用例]
圖34表示應用上述實施形態之電視裝置之概略性構成之一例。電視裝置900包括：天線901、調諧器902、解多工器903、解碼器904、影像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902自經由天線901而接收之廣播訊號抽取所需之通道之訊號，並對所抽取之訊號進行解調。然後，調諧器902將藉由解調而獲得之編碼位元串流輸出至解多工器903。即，調諧器902具有作為接收圖像經編碼而成之編碼串流的電視裝置900中之傳輸機構之作用。
解多工器903自編碼位元串流中分離視聽對象之節目之影像串流及聲音串流，並將所分離之各串流輸出至解碼器904。又，解多工器903自編碼位元串流中抽取EPG(Electronic Program Guide，電子節目指南)等輔助性資料，並將所抽取之資料供給至控制部910。再者，解多工器903於編碼位元串流受到擾頻之情形時，亦可進行解擾。
解碼器904對自解多工器903輸入之影像串流及聲音串流進行解碼。然後，解碼器904將藉由解碼處理而生成之影像資料輸出至影像訊號處理部905。又，解碼器904將藉由解碼處理而生成之聲音資料輸出至聲音訊號處理部907。
影像訊號處理部905再生自解碼器904輸入之影像資料，並使影像顯示於顯示部906。又，影像訊號處理部905亦可使經由網路而供給之應用畫面顯示於顯示部906。又，影像訊號處理部905亦可根據設定 對影像資料進行例如雜訊去除等追加性處理。進而，影像訊號處理部905亦可生成例如選單、按鈕或游標等GUI(Graphical User Interface，圖形使用者介面)之圖像，並使所生成之圖像與輸出圖像重疊。
顯示部906係藉由自影像訊號處理部905供給之驅動訊號而驅動，於顯示器件(例如，液晶顯示器、電漿顯示器或OLED(Organic ElectroLuminescence Display)(有機EL(電致發光)顯示器)等)之影像面上顯示影像或圖像。
聲音訊號處理部907對自解碼器904輸入之聲音資料進行D/A轉換及放大等再生處理，而使聲音自揚聲器908輸出。又，聲音訊號處理部907亦可對聲音資料進行雜訊去除等追加性處理。
外部介面909係用以將電視裝置900與外部機器或網路連接之介面。例如，經由外部介面909而接收之影像串流或聲音串流亦可藉由解碼器904而解碼。即，外部介面909亦具有作為接收對圖像經編碼而成之編碼串流的電視裝置900中之傳輸機構之作用。
控制部910包含CPU(Central Processing Unit，中央處理單元)等處理器、以及RAM(Random Access Memory，隨機存取記憶體)及ROM(Read Only Memory，唯讀記憶體)等記憶體。記憶體記憶由CPU執行之程式、程式資料、EPG資料、及經由網路而取得之資料等。由記憶體記憶之程式例如係於啟動電視裝置900時由CPU讀入並執行。CPU藉由執行程式。而根據例如自使用者介面911輸入之操作訊號。來控制電視裝置900之動作。
使用者介面911與控制部910連接。使用者介面911包含例如用以供使用者操作電視裝置900之按鈕及開關、以及遠距控制訊號之接收部等。使用者介面911經由該等構成要素檢測使用者之操作而生成操作訊號，並將所生成之操作訊號輸出至控制部910。
匯流排912使調諧器902、解多工器903、解碼器904、影像訊號 處理部905、聲音訊號處理部907、外部介面909及控制部910相互連接。
如此構成之電視裝置900中，解碼器904具有上述實施形態之圖像解碼裝置60之功能。因此，可緩解對於電視裝置900中被解碼之影像之編碼效率之降低，或者可提高編碼效率。
[7-2.第2應用例]
圖35表示應用上述實施形態之行動電話機之概略性構成之一例。行動電話機920包括天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921連接於通訊部922。揚聲器924及麥克風925連接於聲音編解碼器923。操作部932連接於控制部931。匯流排933使通訊部922、聲音編解碼器923、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931相互連接。
行動電話機920於包括聲音通話模式、資料通訊模式、攝影模式及視訊電話模式之各種動作模式下，進行聲音訊號之收發、電子郵件或圖像資料之收發、圖像之攝像、及資料之記錄等動作。
於聲音通話模式下，藉由麥克風925而生成之類比聲音訊號供給至聲音編解碼器923。聲音編解碼器923將類比聲音訊號轉換為聲音資料，對經轉換之聲音資料進行A/D轉換並壓縮。然後，聲音編解碼器923將壓縮後之聲音資料輸出至通訊部922。通訊部922對聲音資料進行編碼及調變，從而生成傳送訊號。然後，通訊部922將所生成之傳送訊號經由天線921而傳送至基地台(未圖示)。又，通訊部922將經由天線921而接收之無線訊號放大及進行頻率轉換，從而取得接收訊號。然後，通訊部922對接收訊號進行解調及解碼而生成聲音資料， 並將所生成之聲音資料輸出至聲音編解碼器923。聲音編解碼器923對聲音資料進行擴展及D/A轉換，而生成類比聲音訊號。然後，聲音編解碼器923將所生成之聲音訊號供給至揚聲器924而輸出聲音。
又，於資料通訊模式下，例如，控制部931係根據由使用者經由操作部932進行之操作，而生成構成電子郵件之字符資料。又，控制部931使字符顯示於顯示部930。又，控制部931根據經由操作部932之來自使用者之傳送指示而生成電子郵件資料，並將所生成之電子郵件資料輸出至通訊部922。通訊部922對電子郵件資料進行編碼及調變，從而生成傳送訊號。然後，通訊部922將所生成之傳送訊號經由天線921而傳送至基地台(未圖示)。又，通訊部922將經由天線921而接收之無線訊號放大及進行頻率轉換，從而取得接收訊號。然後，通訊部922對接收訊號進行解調及解碼而將電子郵件資料恢復，並將已恢復之電子郵件資料輸出至控制部931。控制部931使電子郵件之內容顯示於顯示部930，並且使電子郵件資料記憶於記錄再生部929之記憶媒體。
記錄再生部929包含可讀寫之任意記憶媒體。例如，記憶媒體既可為RAM或快閃記憶體等內置型記憶媒體，亦可為硬碟、磁碟、磁光碟、光碟、USB(Universal Serial Bus，通用串列匯流排)記憶體、或記憶卡等外部安裝型記憶媒體。
又，於攝影模式下，例如，相機部926對被攝體進行攝像而生成圖像資料，並將所生成之圖像資料輸出至圖像處理部927。圖像處理部927對自相機部926輸入之圖像資料進行編碼，並將編碼串流記憶於記錄再生部929之記憶媒體。
又，於視訊電話模式下，例如，多工分離部928將藉由圖像處理部927而編碼之影像串流、與自聲音編解碼器923輸入之聲音串流多工化，並將已多工化之串流輸出至通訊部922。通訊部922對串流進行編 碼及調變，從而生成傳送訊號。然後，通訊部922將所生成之傳送訊號經由天線921而傳送至基地台(未圖示)。又，通訊部922將經由天線921而接收之無線訊號放大及進行頻率轉換，從而取得接收訊號。該等傳送訊號及接收訊號中可包含編碼位元串流。然後，通訊部922對接收訊號進行解調及解碼而將串流恢復，並將已恢復之串流輸出至多工分離部928。多工分離部928自所輸入之串流中分離影像串流及聲音串流，並將影像串流輸出至圖像處理部927，將聲音串流輸出至聲音編解碼器923。圖像處理部927對影像串流進行解碼，從而生成影像資料。影像資料係供給至顯示部930，藉由顯示部930而顯示一系列圖像。聲音編解碼器923對聲音串流進行擴展及D/A轉換，從而生成類比聲音訊號。然後，聲音編解碼器923將所生成之聲音訊號供給至揚聲器924而輸出聲音。
如此構成之行動電話機920中，圖像處理部927具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。因此，可緩解對於行動電話機920中被編碼及解碼之影像之編碼效率之降低，或者可提高編碼效率。
[7-3.第3應用例]
圖36表示應用上述實施形態之記錄再生裝置之概略性構成之一例。記錄再生裝置940係例如對所接收之廣播節目之聲音資料及影像資料進行編碼並記錄於記錄媒體。又，記錄再生裝置940亦可例如對自其他裝置取得之聲音資料及影像資料進行編碼而記錄於記錄媒體。又，記錄再生裝置940係例如根據使用者之指示，於監控器及揚聲器上再生記錄媒體中所記錄之資料。此時，記錄再生裝置940對聲音資料及影像資料進行解碼。
記錄再生裝置940包括：調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive，硬磁碟驅動器)944、磁碟驅動器945、選 擇器946、解碼器947、OSD(On-Screen Display，屏幕顯示器)948、控制部949、及使用者介面950。
調諧器941自經由天線(未圖示)而接收之廣播訊號中抽取所需之通道之訊號，並對所抽取之訊號進行解調。然後，調諧器941將藉由解調而獲得之編碼位元串流輸出至選擇器946。即，調諧器941具有作為記錄再生裝置940中之傳輸機構之作用。
外部介面942係用以將記錄再生裝置940與外部機器或網路連接之介面。外部介面942例如可為IEEE(Institute of Electrical and Electronic Engineers，電氣與電子工程師協會)1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，經由外部介面942而接收之影像資料及聲音資料係輸入至編碼器943。即，外部介面942具有作為記錄再生裝置940中之傳輸機構之作用。
編碼器943於自外部介面942輸入之影像資料及聲音資料未編碼之情形時，對影像資料及聲音資料進行編碼。然後，編碼器943將編碼位元串流輸出至選擇器946。
HDD944將影像及聲音等內容資料經壓縮而得之編碼位元串流、各種程式及其他資料記錄於內部之硬碟。又，HDD944於再生影像及聲音時，自硬碟中讀出該等資料。
磁碟驅動器945進行資料向所安裝之記錄媒體之記錄及讀出。安裝於磁碟驅動器945之記錄媒體例如可為DVD(Digital Versatile Disc，數位多功能光碟)碟片(DVD-Video(DVD影碟)、DVD-RAM(DVD隨機存取記憶體)、DVD-R(DVD Recordable，可記錄式DVD)、DVD-RW(DVD ReWritable，可覆寫式DVD)、DVD+R(DVD Recordable，可記錄式DVD)、DVD+RW(DVD ReWritable，可覆寫式DVD)等)或Blu-ray(藍光)(註冊商標)碟片等。
選擇器946於記錄影像及聲音時，選擇自調諧器941或編碼器943 輸入之編碼位元串流，並將所選擇之編碼位元串流輸出至HDD944或磁碟驅動器945。又，選擇器946於再生影像及聲音時，將自HDD944或磁碟驅動器945輸入之編碼位元串流輸出至解碼器947。
解碼器947對編碼位元串流進行解碼，從而生成影像資料及聲音資料。然後，解碼器947將所生成之影像資料輸出至OSD948。又，解碼器904將所生成之聲音資料輸出至外部之揚聲器。
OSD948再生自解碼器947輸入之影像資料而顯示影像。又，OSD948亦可使例如選單、按鈕或游標等GUI之圖像與顯示之影像重疊。
控制部949包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式、及程式資料等。由記憶體記憶之程式例如係於啟動記錄再生裝置940時由CPU讀入並執行。CPU藉由執行程式，而根據例如自使用者介面950輸入之操作訊號，來控制記錄再生裝置940之動作。
使用者介面950與控制部949連接。使用者介面950例如包含用以供使用者操作記錄再生裝置940之按鈕及開關、以及遠距控制訊號之接收部等。使用者介面950經由該等構成要素檢測使用者之操作而生成操作訊號，並將所生成之操作訊號輸出至控制部949。
如此構成之記錄再生裝置940中，編碼器943具有上述實施形態之圖像編碼裝置10之功能。又，解碼器947具有上述實施形態之圖像解碼裝置60之功能。因此，可緩解對於記錄再生裝置940中被編碼及解碼之影像之編碼效率之降低，或者可提高編碼效率。
[7-4.第4應用例]
圖37表示應用上述實施形態之攝像裝置之概略性構成之一例。攝像裝置960對被攝體進行攝像而生成圖像，並對圖像資料進行編碼而記錄於記錄媒體。
攝像裝置960包括：光學區塊961、攝像部962、訊號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961連接於攝像部962。攝像部962連接於訊號處理部963。顯示部965連接於圖像處理部964。使用者介面971連接於控制部970。匯流排972使圖像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970相互連接。
光學區塊961包含聚焦透鏡及光闌機構等。光學區塊961使被攝體之光學影像成像於攝像部962之攝像面。攝像部962包含CCD(Charge Coupled Device，電荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)等影像感測器，藉由光電轉換將成像於攝像面之光學影像轉換為作為電氣訊號之圖像訊號。然後，攝像部962將圖像訊號輸出至訊號處理部963。
訊號處理部963對自攝像部962輸入之圖像訊號進行拐點修正(knee correction)、伽瑪修正(Gamma correction)、顏色修正等各種相機訊號處理。訊號處理部963將相機訊號處理後之圖像資料輸出至圖像處理部964。
圖像處理部964對自訊號處理部963輸入之圖像資料進行編碼，從而生成編碼資料。然後，圖像處理部964將所生成之編碼資料輸出至外部介面966或媒體驅動器968。又，圖像處理部964對自外部介面966或媒體驅動器968輸入之編碼資料進行解碼，從而生成圖像資料。然後，圖像處理部964將所生成之圖像資料輸出至顯示部965。又，圖像處理部964亦可將自訊號處理部963輸入之圖像資料輸出至顯示部965而顯示圖像。又，圖像處理部964亦可使自OSD969取得之顯示用資料與輸出至顯示部965之圖像重疊。
OSD969生成例如選單、按鈕或游標等GUI之圖像，並將所生成 之圖像輸出至圖像處理部964。
外部介面966例如係構成為USB輸入輸出端子。外部介面966例如於印刷圖像時，將攝像裝置960與印表機連接。又，視需要於外部介面966連接有驅動器。可於驅動器上安裝例如磁碟或光碟等可移動媒體，且可將自可移動媒體讀出之程式安裝於攝像裝置960。進而，外部介面966亦可構成為連接於LAN(Local Area Network，區域網路)或網際網路等網路之網路介面。即，外部介面966具有作為攝像裝置960中之傳輸機構之作用。
安裝於媒體驅動器968之記錄媒體例如可為磁碟、磁光碟、光碟、或半導體記憶體等可讀寫之任意可移動媒體。又，亦可於媒體驅動器968中固定地安裝記錄媒體，例如，構成如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)之非可攜性記憶部。
控制部970包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式、及程式資料等。由記憶體記憶之程式例如係於啟動攝像裝置960時由CPU讀入並執行。CPU藉由執行程式，而根據例如自使用者介面971輸入之操作訊號，來控制攝像裝置960之動作。
使用者介面971與控制部970連接。使用者介面971例如包含用以供使用者操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要素檢測使用者之操作而生成操作訊號，並將經生成之操作訊號輸出至控制部970。
如此構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。因此，可緩解對於攝像裝置960中被編碼及解碼之影像之編碼效率之降低，或者可提高編碼效率。
<8.總結>
至此，已使用圖1~圖37對一實施形態之圖像編碼裝置10及圖像解碼裝置60進行了說明。根據本實施形態，定義圖像之量化及反量化時所使用之量化矩陣之量化矩陣參數係插入至不同於序列參數集及圖片參數集之量化矩陣參數集(QMPS)內。藉此，既無需於更新量化矩陣時對除量化矩陣參數以外之參數進行編碼，亦無需於更新除量化矩陣參數以外之參數時對量化矩陣參數進行編碼。因此，可緩解伴隨量化矩陣更新而產生之編碼效率降低，或者可提高編碼效率。尤其於量化矩陣之尺寸更大之情形、或針對每個圖片而定義之量化矩陣之數量更多之情形時，基於本說明書中所揭示之方法之編碼量之削減更為有效。
又，根據本實施形態，可代替直接定義量化矩陣，而使指示拷貝之前所生成之量化矩陣之參數包含於QMPS。於此情形時，QMPS內省略了特定量化矩陣本身之參數(例如，基於DPCM方式之差分資料之排列)，因此可進而削減定義量化矩陣所需之編碼量。
又，根據本實施形態，對各QMPS賦予QMPS ID。然後，於拷貝模式下，定義拷貝源之量化矩陣之QMPS之QMPS ID可指定為源ID。又，拷貝源之量化矩陣之尺寸及類型可指定為拷貝源尺寸及拷貝源類型。因此，可將之前所生成之複數個QMPS之量化矩陣中之任意QMPS之量化矩陣靈活地指定為拷貝源之量化矩陣。又，亦可拷貝尺寸或類型不同之量化矩陣而進行重複使用。
又，根據本實施形態，指定所拷貝之量化矩陣之殘差成分之參數可包含於QMPS。因此，亦可使與之前所生成之量化矩陣不完全相等之量化矩陣以較少之編碼量新生成。
又，於軸指定模式下，可代替掃描量化矩陣之全部要素，而僅使符合量化矩陣之3個基準軸或4個角隅之量化矩陣之要素之值包含於QMPS。因此，於此情形時，亦能夠以較少之編碼量來定義量化矩 陣。
又，根據本實施形態，根據藉由片層標頭中指定之QMPS ID而得以識別之QMPS內之量化矩陣參數，針對各片層設定應使用之量化矩陣。因此，可針對每個片層，靈活地切換量化矩陣，故於圖像特性時刻變化之情形時，亦可於各時刻使用最佳量化矩陣而對影像進行編碼或解碼。
再者，本說明書中，對量化矩陣參數集多工化為編碼串流之標頭並自編碼側向解碼側傳輸之例進行了說明。然而，傳輸量化矩陣參數集之方法並不限定於此例。例如，各參數集內之資訊亦可不多工化為編碼位元串流，而作為與編碼位元串流建立關聯之其他資料進行傳輸或記錄。此處，「建立關聯」這一用語係指可使位元串流中所含之圖像(亦可為片層或區塊等圖像之一部分)及與該圖像對應之資訊於解碼時鏈接。即，資訊亦可於與圖像(或位元串流)不同之傳輸路徑上傳輸。又，資訊亦可記錄於與圖像(或位元串流)不同之記錄媒體(或同一記錄媒體之不同記錄區域)。進而，資訊與圖像(或位元串流)係可例如以複數個圖框、1個圖框、或圖框內之一部分等任意單位相互建立關聯。
以上，一面參照隨附圖式，一面對本發明之較佳實施形態進行了詳細說明，但本發明之技術範疇並不限定於上述例。明確的是，只要為具有本發明所屬技術領域中之常用知識之人員，則於申請專利範圍所記載之技術思想之範疇內可想到各種變更例或修正例，且應當瞭解其等亦當然屬於本發明之技術範疇。
再者，如下構成亦屬於本發明之技術範疇。
(1)一種圖像處理裝置，其包括：取得部，其係自不同於序列參數集及圖片參數集之參數集內設定有定義量化矩陣之量化矩陣參數之編碼串流取得上述量化矩陣參 數；設定部，其係根據由上述取得部取得之上述量化矩陣參數，設定將自上述編碼串流解碼之資料反量化時所使用之量化矩陣；及反量化部，其係使用由上述設定部設定之量化矩陣，將自上述編碼串流解碼之上述資料反量化。
(2)如上述(1)之圖像處理裝置，其中包含上述量化矩陣參數之參數集係亦可設定與除量化矩陣以外之編碼工具相關之其他編碼參數的共用參數集，上述取得部係於上述共用參數集內設定有上述量化矩陣參數之情形時，取得該量化矩陣參數。
(3)如上述(2)之圖像處理裝置，其中上述取得部係藉由參照上述共用參數集內所含之旗標而判定上述共用參數集內是否設定有上述量化矩陣參數。
(4)如上述(2)或上述(3)之圖像處理裝置，其中上述共用參數集係適應性參數集(Adaptation Parameter Set)。
(5)如上述(4)之圖像處理裝置，其中上述設定部係於在第1適應性參數集之後解碼之第2適應性參數集內包含對上述第1適應性參數集之參照之情形時，將根據自上述第1適應性參數集取得之上述量化矩陣參數而設定之量化矩陣作為與上述第2適應性參數集對應之量化矩陣而進行重複使用。
(6)如上述(5)之圖像處理裝置，其中上述設定部係於第3適應性參數集內包含對該第3適應性參數集之參照之情形時，將既定之量化矩陣設定為與該第3適應性參數集對應之量化矩陣。
(7)如上述(1)之圖像處理裝置，其中上述設定部係在指示關於第1參數集之第1量化矩陣之拷貝之拷貝參數包含於第2參數集之情形時，藉由拷貝上述第1量化矩陣而設定第2量化矩陣。
(8)如上述(7)之圖像處理裝置，其中包含上述量化矩陣參數之各參數集具有識別各參數集之識別碼，上述拷貝參數包含拷貝源之參數集之識別碼。
(9)如上述(8)之圖像處理裝置，其中各參數集包含分別定義複數種量化矩陣之上述量化矩陣參數，上述拷貝參數包含指定上述第1量化矩陣之種類之種類參數。
(10)如上述(8)之圖像處理裝置，其中上述設定部係在第3參數集內所含之上述拷貝源之參數集之識別碼等於上述第3參數集之識別碼之情形時，將既定之量化矩陣設定為關於上述第3參數集之第3量化矩陣。
(11)如上述(7)之圖像處理裝置，其中上述設定部係在上述第2量化矩陣之尺寸大於上述第1量化矩陣之尺寸之情形時，藉由內插已拷貝之上述第1量化矩陣之要素而設定上述第2量化矩陣。
(12)如上述(7)之圖像處理裝置，其中上述設定部係在上述第2量化矩陣之尺寸小於上述第1量化矩陣之尺寸之情形時，藉由減省已拷貝之上述第1量化矩陣之要素而設定上述第2量化矩陣。
(13)如上述(7)之圖像處理裝置，其中上述設定部係在指定所拷貝之量化矩陣之殘差成分之殘差指定參數包含於上述第2參數集之情形時，藉由對已拷貝之上述第1量化矩陣加上上述殘差成分而設定上述第2量化矩陣。
(14)如上述(1)之圖像處理裝置，其中包含上述量化矩陣參數之各參數集具有識別各參數集之參數集識別碼，上述反量化部針對各片層使用量化矩陣，該量化矩陣係根據藉由各片層標頭中指定之上述參數集識別碼而得以識別之參數集內所含之量化矩陣參數，而藉由上述設定部來設定。
(15)如上述(7)至(14)中任一項之圖像處理裝置，其中包含上述量 化矩陣參數之參數集進而包含與除量化矩陣以外之編碼工具相關之其他編碼參數。
(16)如上述(15)之圖像處理裝置，其中上述量化矩陣參數及上述其他編碼參數係針對與識別各參數集之參數集識別碼定義不同之每個輔助識別碼而群組化，上述取得部係使用上述輔助識別碼而取得上述量化矩陣參數。
(17)如上述(16)之圖像處理裝置，其中上述參數集或其他參數集中，定義有與複數個上述輔助識別碼之組合建立關聯之組合識別碼，上述取得部取得各片層之片層標頭中指定之上述組合識別碼，並使用與所取得之上述組合識別碼建立關聯之上述輔助識別碼而取得上述量化矩陣參數。
(18)一種圖像處理方法，其包括：自不同於序列參數集及圖片參數集之參數集內設定有定義量化矩陣之量化矩陣參數之編碼串流取得上述量化矩陣參數；根據所取得之上述量化矩陣參數，而設定將自上述編碼串流解碼之資料反量化時所使用之量化矩陣；及使用所設定之量化矩陣，將自上述編碼串流解碼之上述資料反量化。
(19)一種圖像處理裝置，其包括：量化部，其係使用量化矩陣而將資料量化；設定部，其設定量化矩陣參數，該量化矩陣參數定義藉由上述量化部將上述資料量化時所使用之量化矩陣；及編碼部，其將由上述設定部設定之上述量化矩陣參數編碼至不同於序列參數集及圖片參數集之參數集內。
(20)一種圖像處理方法，其包括：使用量化矩陣而將資料量化； 設定量化矩陣參數，該量化矩陣參數定義將上述資料量化時所使用之上述量化矩陣；及將所設定之上述量化矩陣參數編碼至不同於序列參數集及圖片參數集的參數集內。
60‧‧‧圖像解碼裝置
61‧‧‧語法處理部
62‧‧‧可逆解碼部
63‧‧‧反量化部
64‧‧‧逆正交轉換部
65‧‧‧加算部
66‧‧‧解塊濾波器
67‧‧‧重排緩衝器
68‧‧‧D/A轉換部
69‧‧‧圖框記憶體
70‧‧‧選擇器
71‧‧‧選擇器
80‧‧‧框內預測部
90‧‧‧運動補償部

Claims (15)

  1. 一種圖像處理裝置，其包括電路，該電路係構成為：將編碼串流解碼以產生量化資料；根據一參數設定當前量化矩陣，該參數係表示是否使用與基準量化矩陣相同之量化矩陣，該基準量化矩陣係根據包含預測模式之上述基準量化矩陣的類型與上述基準量化矩陣的尺寸而被選擇者；且使用上述當前量化矩陣將上述量化資料反量化(inversely quantize)。
  2. 如請求項1之圖像處理裝置，其中上述電路係構成為：於上述參數係表示上述基準量化矩陣被用作為上述當前量化矩陣之情形，藉由使用與上述基準量化矩陣之值相同之值來設定上述當前量化矩陣。
  3. 如請求項2之圖像處理裝置，其中上述基準量化矩陣係自不同之基準量化矩陣被選擇出來作為上述當前量化矩陣。
  4. 如請求項1之圖像處理裝置，其中上述基準量化矩陣之上述類型包含預測模式與顏色成分(color component)之至少一組合。
  5. 如請求項1之圖像處理裝置，其中上述電路自上述編碼串流之圖片參數集(picture parameter set)獲得上述參數。
  6. 如請求項1之圖像處理裝置，其中上述電路係進一步構成為：自由上述圖像處理裝置接收到之輸入串流，分離影像串流與聲音串流。
  7. 如請求項1之圖像處理裝置，其中上述電路係進一步構成為：放大由上述圖像處理裝置接收到之無線訊號，對上述接收到之無線訊號進行頻率轉換以產生接收訊號(reception signal)，且對上 述接收訊號進行解調。
  8. 如請求項7之圖像處理裝置，其進一步包含接收無線訊號之天線。
  9. 如請求項8之圖像處理裝置，其進一步包含顯示一系列圖像之顯示部。
  10. 一種圖像處理方法，其包括：將編碼串流解碼以產生量化資料；根據一參數來設定當前量化矩陣，該參數係表示是否使用與基準量化矩陣相同之量化矩陣，該基準量化矩陣係根據包含預測模式之上述基準量化矩陣的類型與上述基準量化矩陣的尺寸而被選擇者；且使用上述當前量化矩陣將上述產生之量化資料反量化。
  11. 如請求項10之圖像處理方法，其進一步包含：於上述參數係表示上述基準量化矩陣被用作為上述當前量化矩陣之情形，藉由使用與上述基準量化矩陣之值來設定上述當前量化矩陣。
  12. 如請求項11之圖像處理方法，其進一步包含：自不同之基準量化矩陣選擇上述基準量化矩陣而作為上述當前量化矩陣。
  13. 如請求項1之圖像處理方法，其中上述基準量化矩陣之上述類型包含預測模式與顏色成分之至少一組合。
  14. 如請求項1之圖像處理方法，其進一步包含：自上述編碼串流之圖片參數集獲得上述參數。
  15. 一種非暫時性(non-transitory)電腦可讀取記錄媒體，其用於在其中儲存包含指令之電腦程式，其係於圖像處理裝置上執行時，使上述圖像處理裝置執行圖像處理方法者，該圖像處理方法包含： 將編碼串流解碼以產生量化資料；根據一參數來設定當前量化矩陣，該參數係表示是否使用與基準量化矩陣相同之量化矩陣，該基準量化矩陣係根據包含預測模式之上述基準量化矩陣的類型與上述基準量化矩陣的尺寸而被選擇者；且使用上述當前量化矩陣將上述產生之量化資料反量化。
TW104121764A 2011-02-10 2012-01-20 Image processing apparatus, image processing method, image processing program and computer-readable medium TWI590646B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011027896 2011-02-10
JP2011047655 2011-03-04
JP2011187179 2011-08-30

Publications (2)

Publication Number Publication Date
TW201540048A true TW201540048A (zh) 2015-10-16
TWI590646B TWI590646B (zh) 2017-07-01

Family

ID=46638456

Family Applications (4)

Application Number Title Priority Date Filing Date
TW104121764A TWI590646B (zh) 2011-02-10 2012-01-20 Image processing apparatus, image processing method, image processing program and computer-readable medium
TW106109615A TWI629894B (zh) 2011-02-10 2012-01-20 圖像處理裝置、圖像處理方法、圖像處理程式及電腦可讀取媒體
TW107118253A TWI695617B (zh) 2011-02-10 2012-01-20 圖像處理裝置、圖像處理方法、圖像處理程式及電腦可讀取媒體
TW101102627A TWI528734B (zh) 2011-02-10 2012-01-20 An image processing apparatus, an image processing method, and a storage medium

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW106109615A TWI629894B (zh) 2011-02-10 2012-01-20 圖像處理裝置、圖像處理方法、圖像處理程式及電腦可讀取媒體
TW107118253A TWI695617B (zh) 2011-02-10 2012-01-20 圖像處理裝置、圖像處理方法、圖像處理程式及電腦可讀取媒體
TW101102627A TWI528734B (zh) 2011-02-10 2012-01-20 An image processing apparatus, an image processing method, and a storage medium

Country Status (19)

Country Link
US (13) US9706205B2 (zh)
EP (3) EP2675161B1 (zh)
JP (6) JP5966932B2 (zh)
KR (4) KR101989613B1 (zh)
CN (5) CN103370935B (zh)
AU (1) AU2012215968B2 (zh)
BR (2) BR122014031521B1 (zh)
CA (3) CA3211497A1 (zh)
CO (1) CO6751263A2 (zh)
ES (1) ES2708940T3 (zh)
HK (1) HK1250109A1 (zh)
MX (3) MX348562B (zh)
MY (2) MY191819A (zh)
PH (2) PH12015501742B1 (zh)
RU (2) RU2609094C2 (zh)
SG (3) SG10201912144SA (zh)
TW (4) TWI590646B (zh)
WO (1) WO2012108237A1 (zh)
ZA (1) ZA201304780B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800695B (zh) * 2018-12-17 2023-05-01 日商佳能股份有限公司 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
BR122014013355B1 (pt) 2010-06-04 2021-11-23 Sony Corporation Aparelho e método de processamento de imagem
CA2815817C (en) 2010-12-07 2019-01-15 Sony Corporation Image processing device and image processing method
MX2013006131A (es) 2010-12-07 2013-06-28 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
MX348562B (es) 2011-02-10 2017-06-20 Velos Media Int Ltd Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
EP2685723B1 (en) 2011-03-11 2021-03-31 Sony Corporation Image processing device and method
CN103535037B (zh) 2011-05-20 2017-06-09 索尼公司 图像处理装置和图像处理方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN107318019B (zh) 2011-06-28 2020-02-28 索尼公司 图像处理装置和图像处理方法
WO2013032794A1 (en) 2011-08-23 2013-03-07 Mediatek Singapore Pte. Ltd. Method and system of transform block processing according to quantization matrix in video coding
CN103096056B (zh) 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
US9866839B2 (en) 2012-01-20 2018-01-09 Electronics And Telecommunications Research Institute Method for encoding and decoding quantized matrix and apparatus using same
MX352223B (es) 2012-02-29 2017-11-15 Sony Corp Dispositivo y método de procesamiento de imágenes.
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
BR112013033830A2 (pt) * 2012-05-25 2017-02-14 Panasonic Corp método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e decodificação de imagem
JP6041554B2 (ja) * 2012-06-27 2016-12-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
EP3273691B1 (en) 2012-12-18 2021-09-22 Sony Group Corporation Image processing device and image processing method
GB2519745B (en) * 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
KR102231279B1 (ko) 2013-10-30 2021-03-25 삼성디스플레이 주식회사 영상 데이터 인코딩 장치 및 방법
KR102253039B1 (ko) * 2013-11-04 2021-05-20 삼성디스플레이 주식회사 영상 데이터 인코딩 장치 및 방법
KR102073930B1 (ko) * 2014-03-14 2020-02-06 브이아이디 스케일, 인크. Rgb 비디오 코딩 향상을 위한 시스템 및 방법
US9877035B2 (en) * 2014-03-17 2018-01-23 Qualcomm Incorporated Quantization processes for residue differential pulse code modulation
CN105227953A (zh) * 2014-06-11 2016-01-06 晨星半导体股份有限公司 影像编码装置、影像解码装置以及其相关编码与解码方法
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
KR102365685B1 (ko) * 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
WO2016119746A1 (zh) * 2015-01-29 2016-08-04 同济大学 图像编码方法及装置、图像解码方法及装置
US9380303B1 (en) * 2015-03-18 2016-06-28 Sony Corporation Adding run-mode to block-based DPCM codec
CN105208298B (zh) * 2015-10-28 2018-06-19 大连科迪视频技术有限公司 一种用于多格式视频信号切换的矩阵切换系统及矩阵切换方法
FR3044196B1 (fr) * 2015-11-20 2019-05-10 Thales Methode de compression d'images permettant d'obtenir une qualite de compression fixe
CN105472371B (zh) * 2016-01-13 2019-11-05 腾讯科技（深圳）有限公司 视频码流处理方法和装置
US10218976B2 (en) * 2016-03-02 2019-02-26 MatrixView, Inc. Quantization matrices for compression of video
CN115022624A (zh) * 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
CN114245122A (zh) * 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
JP6272441B2 (ja) * 2016-11-08 2018-01-31 キヤノン株式会社 画像復号装置、画像復号方法及びプログラム
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
WO2020103932A1 (en) 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Using reference lines for intra mode video processing
EP3917142A4 (en) * 2018-12-26 2022-11-09 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR ENCODING/DECODING QUANTIFICATION MATRIX AND RECORDING MEDIUM WITH BITSTREAM STORED THEREON
CA3132390A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Tile and sub-picture partitioning
KR20210130235A (ko) * 2019-04-15 2021-10-29 엘지전자 주식회사 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
CN113785581A (zh) * 2019-04-15 2021-12-10 Lg 电子株式会社 基于缩放列表的视频或图像编译
CN114391254A (zh) * 2019-06-28 2022-04-22 弗劳恩霍夫应用研究促进协会 视频解码器、视频编码器、用于编码和解码视频信号的方法以及调整一个或多个去噪操作的计算机程序
CN114041286A (zh) * 2019-07-02 2022-02-11 交互数字Vc控股法国有限公司 用于视频编码和解码的色度格式相关量化矩阵
US11394973B2 (en) 2019-07-06 2022-07-19 Hfi Innovation Inc. Signaling of quantization matrices
WO2021006612A1 (ko) 2019-07-08 2021-01-14 현대자동차주식회사 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
EP3993412A4 (en) * 2019-07-08 2023-03-08 Hyundai Motor Company METHOD AND DEVICE FOR INTRA PREDICTION CODING OF VIDEO DATA
JP2022539937A (ja) 2019-07-10 2022-09-14 オッポ広東移動通信有限公司 画像成分予測方法、符号化器、復号化器、並びに記憶媒体
JP2021048532A (ja) * 2019-09-19 2021-03-25 キヤノン株式会社 画像符号化装置、画像復号装置及びそれらの制御方法及びプログラム
CN114762349B (zh) 2019-11-05 2024-04-12 Lg电子株式会社 用于图像/视频编译的高级别语法信令方法和装置
JP7443513B2 (ja) 2019-11-05 2024-03-05 エルジー エレクトロニクス インコーポレイティド 映像／ビデオコーディング方法及び装置
WO2021091254A1 (ko) 2019-11-05 2021-05-14 엘지전자 주식회사 영상/비디오 코딩 시스템에서 픽처 헤더에서 슬라이스 타입에 관한 정보를 시그널링하는 방법 및 장치
CN115720265A (zh) * 2019-12-18 2023-02-28 腾讯科技（深圳）有限公司 视频编解码方法、装置、设备及存储介质
CN114007082B (zh) * 2020-03-25 2022-12-23 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
US20230188714A1 (en) * 2020-06-10 2023-06-15 Lg Electronics Inc Image encoding/decoding method and device for signaling aps identifier, and computer-readable recording medium in which bitstream is stored
CN112429475B (zh) * 2020-09-29 2023-06-30 贵州大学 一种胶囊排序送料装置
WO2022115113A1 (en) * 2020-11-30 2022-06-02 Intel Corporation Determining adaptive quantization matrices using machine learning for video coding

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284412A (ja) * 1993-03-26 1994-10-07 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH07152693A (ja) * 1993-11-29 1995-06-16 Canon Inc 情報処理装置
DE19618117C1 (de) 1996-05-06 1997-10-02 Siemens Ag Verfahren zur Quantisierung und Verfahren zur inversen Quantisierung von Transformationscodierungskoeffizienten eines Videodatenstorms
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
EP0944261A3 (en) * 1998-03-17 1999-10-06 Matsushita Electric Industrial Co., Ltd. Video signal processing apparatus
JP4099682B2 (ja) 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2000152213A (ja) * 1998-11-17 2000-05-30 Nec Software Nagano Ltd 圧縮画像のセキュリティ装置および方法
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
KR100584552B1 (ko) 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
WO2004077810A2 (en) * 2003-02-21 2004-09-10 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
JP4414328B2 (ja) * 2003-12-26 2010-02-10 パナソニック株式会社 画像処理装置及び画像処理装置
EP1665133A4 (en) * 2004-01-20 2009-05-13 Panasonic Corp IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, AND CORRESPONDING PROGRAM
PL2384002T3 (pl) * 2004-01-30 2016-07-29 Panasonic Ip Corp America Sposób dekodowania ruchomych obrazów przy użyciu dodatkowych macierzy kwantyzacji
KR101136629B1 (ko) * 2004-01-30 2012-04-23 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
US20050190836A1 (en) 2004-01-30 2005-09-01 Jiuhuai Lu Process for maximizing the effectiveness of quantization matrices in video codec systems
JP4393319B2 (ja) * 2004-09-08 2010-01-06 キヤノン株式会社 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
EP1675402A1 (en) * 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
US7653129B2 (en) * 2004-12-28 2010-01-26 General Instrument Corporation Method and apparatus for providing intra coding frame bit budget
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
PT2380592T (pt) 2005-11-14 2018-06-06 Teva Pharmaceuticals Int Gmbh Anticorpos antagonistas dirigidos contra o péptido relacionado com o gene da calcitonina e métodos utilizando os mesmos
JP5044415B2 (ja) * 2005-11-30 2012-10-10 株式会社東芝 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化／復号化方法及び装置並びにプログラム
JP2007318516A (ja) 2006-05-26 2007-12-06 Sony Corp プログラム、情報処理装置、情報処理方法、並びに、記録媒体
KR100773761B1 (ko) * 2006-09-14 2007-11-09 한국전자통신연구원 동영상 부호화 장치 및 방법
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
US20080253449A1 (en) 2007-04-13 2008-10-16 Yoji Shimizu Information apparatus and method
JPWO2009008177A1 (ja) * 2007-07-11 2010-09-02 パナソニック株式会社 トランスコーダ、トランスコード方法、デコーダ、およびデコード方法
US20100091842A1 (en) * 2007-10-19 2010-04-15 Hiroshi Ikeda Coding rate conversion apparatus, coding rate conversion method, and integrated circuit
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8660193B2 (en) * 2009-01-12 2014-02-25 Maxim Integrated Products, Inc. Parallel, pipelined, integrated-circuit implementation of a computational engine
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
BR122014013355B1 (pt) 2010-06-04 2021-11-23 Sony Corporation Aparelho e método de processamento de imagem
US9167252B2 (en) 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
MX2013006131A (es) 2010-12-07 2013-06-28 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
CA2815817C (en) 2010-12-07 2019-01-15 Sony Corporation Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
MX348562B (es) 2011-02-10 2017-06-20 Velos Media Int Ltd Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
EP2685723B1 (en) 2011-03-11 2021-03-31 Sony Corporation Image processing device and method
JP2012238927A (ja) 2011-05-09 2012-12-06 Sony Corp 画像処理装置及び画像処理方法
CN103535037B (zh) 2011-05-20 2017-06-09 索尼公司 图像处理装置和图像处理方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
CN107318019B (zh) 2011-06-28 2020-02-28 索尼公司 图像处理装置和图像处理方法
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN103748884A (zh) 2011-08-30 2014-04-23 索尼公司 图像处理装置和图像处理方法
MX352223B (es) 2012-02-29 2017-11-15 Sony Corp Dispositivo y método de procesamiento de imágenes.
MX342497B (es) 2012-06-29 2016-10-03 Sony Corp Dispositivo de codificacion y metodo de codificacion.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800695B (zh) * 2018-12-17 2023-05-01 日商佳能股份有限公司 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法
TWI833620B (zh) * 2018-12-17 2024-02-21 日商佳能股份有限公司 圖像編碼裝置、圖像編碼方法、圖像解碼裝置及圖像解碼方法
US11930178B2 (en) 2018-12-17 2024-03-12 Canon Kabushiki Kaisha Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US20220014746A1 (en) 2022-01-13
CN107566845B (zh) 2020-03-03
CN103780912B (zh) 2017-11-24
PH12015501742A1 (en) 2017-06-14
KR101989613B1 (ko) 2019-06-14
CN107566845A (zh) 2018-01-09
KR20200105544A (ko) 2020-09-07
US10225554B2 (en) 2019-03-05
US20240040123A1 (en) 2024-02-01
CN103780912A (zh) 2014-05-07
CN107509077B (zh) 2020-08-07
US9967564B2 (en) 2018-05-08
BR122014031521B1 (pt) 2022-08-23
US11825089B2 (en) 2023-11-21
US10531089B2 (en) 2020-01-07
CO6751263A2 (es) 2013-09-16
US8897361B2 (en) 2014-11-25
EP3462738A1 (en) 2019-04-03
EP2675161B1 (en) 2018-11-14
US20190182485A1 (en) 2019-06-13
CA3063234A1 (en) 2012-08-16
EP4254953A2 (en) 2023-10-04
CA2819401A1 (en) 2012-08-16
CN103370935A (zh) 2013-10-23
US20150043816A1 (en) 2015-02-12
US10257515B2 (en) 2019-04-09
AU2012215968A2 (en) 2013-08-01
CA2819401C (en) 2020-02-11
AU2012215968B2 (en) 2015-12-24
JPWO2012108237A1 (ja) 2014-07-03
CN103370935B (zh) 2017-11-21
US20130251032A1 (en) 2013-09-26
BR122014031521A2 (pt) 2019-08-20
CA3063234C (en) 2023-09-19
MX2018013536A (es) 2021-06-23
US20170310966A1 (en) 2017-10-26
SG10201606972VA (en) 2016-10-28
PH12018501219A1 (en) 2019-03-11
RU2013136367A (ru) 2015-02-10
PH12015501742B1 (en) 2017-06-14
ZA201304780B (en) 2016-07-27
MX2013008980A (es) 2013-11-01
US20200252612A1 (en) 2020-08-06
JP2018011340A (ja) 2018-01-18
CN107682706A (zh) 2018-02-09
MY191819A (en) 2022-07-18
KR20140010029A (ko) 2014-01-23
TWI695617B (zh) 2020-06-01
JP5967179B2 (ja) 2016-08-10
JP6211653B2 (ja) 2017-10-11
TWI590646B (zh) 2017-07-01
US11196996B2 (en) 2021-12-07
KR102205752B1 (ko) 2021-01-22
US10674153B2 (en) 2020-06-02
KR101874143B1 (ko) 2018-07-03
JP2016195430A (ja) 2016-11-17
KR20190069613A (ko) 2019-06-19
PH12018501219B1 (en) 2019-03-11
CN107509077A (zh) 2017-12-22
AU2012215968A1 (en) 2013-07-18
US9706205B2 (en) 2017-07-11
MX348562B (es) 2017-06-20
TW201249114A (en) 2012-12-01
MY169660A (en) 2019-04-26
ES2708940T3 (es) 2019-04-12
JP6726334B2 (ja) 2020-07-22
TW201830960A (zh) 2018-08-16
CA3211497A1 (en) 2012-08-16
US20200099931A1 (en) 2020-03-26
BR112013019937B1 (pt) 2022-05-03
SG10201912144SA (en) 2020-02-27
US11166024B2 (en) 2021-11-02
US9986241B2 (en) 2018-05-29
US11831873B2 (en) 2023-11-28
JP2019165468A (ja) 2019-09-26
EP2675161A1 (en) 2013-12-18
KR20180080334A (ko) 2018-07-11
US20150063447A1 (en) 2015-03-05
JP6208822B2 (ja) 2017-10-04
WO2012108237A1 (ja) 2012-08-16
HK1250109A1 (zh) 2018-11-23
US20180234680A1 (en) 2018-08-16
JP2015084556A (ja) 2015-04-30
SG10201400975QA (en) 2014-07-30
RU2609094C2 (ru) 2017-01-30
US20220078426A1 (en) 2022-03-10
JP5966932B2 (ja) 2016-08-10
TWI528734B (zh) 2016-04-01
CN107682706B (zh) 2020-04-03
BR112013019937A2 (pt) 2016-12-13
EP4254953A3 (en) 2024-01-03
EP2675161A4 (en) 2016-03-16
US20130322525A1 (en) 2013-12-05
RU2595624C2 (ru) 2016-08-27
RU2014150547A (ru) 2016-07-10
TW201722153A (zh) 2017-06-16
JP2016195429A (ja) 2016-11-17
TWI629894B (zh) 2018-07-11
US20190166368A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
JP6726334B2 (ja) 画像処理装置および画像処理方法
AU2018206825B2 (en) Image processing device and image processing method
AU2015202011B2 (en) Image Processing Device and Image Processing Method