TW201442486A - 圖像處理裝置及方法 - Google Patents

圖像處理裝置及方法 Download PDF

Info

Publication number
TW201442486A
TW201442486A TW103121264A TW103121264A TW201442486A TW 201442486 A TW201442486 A TW 201442486A TW 103121264 A TW103121264 A TW 103121264A TW 103121264 A TW103121264 A TW 103121264A TW 201442486 A TW201442486 A TW 201442486A
Authority
TW
Taiwan
Prior art keywords
unit
image
quantization
quantization parameter
coding
Prior art date
Application number
TW103121264A
Other languages
English (en)
Other versions
TWI568245B (zh
Inventor
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201442486A publication Critical patent/TW201442486A/zh
Application granted granted Critical
Publication of TWI568245B publication Critical patent/TWI568245B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Storage Device Security (AREA)
  • Facsimile Transmission Control (AREA)

Abstract

本技術係關於一種可根據圖像之內容而進行適當之量子化處理或反量子化處理之圖像處理裝置及方法。可逆解碼部202係對以特定之時序自儲存緩衝器201讀出之編碼資料進行解碼。子巨集區塊反量子化部221使用自反量子化部203所供給之量子化參數而求出每個子巨集區塊之量子化值，並將其返回至反量子化部203。反量子化部203使用自子巨集區塊反量子化部221所供給之每個子巨集區塊之量子化值，將藉由可逆解碼部202解碼而獲得之量子化係數反量子化。本技術可應用於例如圖像處理裝置。

Description

圖像處理裝置及方法
本技術係關於一種圖像處理裝置及方法，且係關於進行量子化處理或反量子化處理之圖像處理裝置及方法。
近年來，將圖像資訊作為數位進行處理，此時以效率較高之資訊之傳輸、儲存為目的，依據利用圖像資訊特有之冗餘性並藉由離散餘弦轉換等正交轉換與運動補償而進行壓縮之MPEG(Moving Picture Experts Group，動畫專家群)等方式之裝置於廣播台等之資訊發送、及普通家庭中之資訊接收之雙方中正於普及。
最近，欲壓縮高畫質圖像之4倍之4096×2048像素左右之圖像或者欲於如網際網路般之有限傳輸容量之環境中發送高畫質圖像等對更高壓縮率編碼之需求正於增加。因此，於ITU-T(International Telecommunication Union-Telecommunication Standardization，國際電信聯盟-電信標準部)下屬之VCEG(Video Coding Experts Group，視訊編碼專家組)中繼續進行與改善編碼效率相關之研究。
成為迄今為止之圖像編碼方式即MPEG1、MPEG2及ITU-T H.264、MPEG4-AVC(Advanced Video Coding，進階視訊編碼)中之圖像編碼時之圖像之分割單位(編碼處理單位)的圖像之部分區域即巨集區塊之像素尺寸均為16×16像素。另一方面，根據非專利文獻1，作為下一代之圖像編碼標準之要素技術，提出有擴展巨集區塊之水平及垂直方向之像素數之提案。根據該提案，除了於MPEG1、MPEG2及 ITU-T H.264、MPEG4-AVC等中所規定之16×16像素之巨集區塊之像素尺寸以外，亦提出使用包括32×32像素、64×64像素之巨集區塊。其目的在於，可預想到例如UHD(Ultra High Definition(超高清晰度)，4000像素×2000像素)般，將來進行編碼之圖像之水平及垂直方向之像素尺寸會增大，於該情形時，於運動相似之區域內以更大之區域為單位進行運動補償及正交轉換，藉此提高編碼效率。
非專利文獻1中，藉由採用階層構造，關於16×16像素區塊以下，一面與當前之AVC中之巨集區塊保持相容性，一面定義更大之區塊作為其超級集合(Super Set)。
非專利文獻1係將經擴展之巨集區塊應用於片間(interslice)之提案，而於非專利文獻2中則提出將經擴展之巨集區塊應用於片內(intraslice)。
[先前技術文獻] [非專利文獻]
[非專利文獻1] Peisong Chenn, Yan Ye, Marta Karczewicz, 「Video Coding Using Extended Block Sizes」, COM16-C123-E, Qualcomm Inc.
[非專利文獻2] Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, 「Intra coding using extended block size」, VCEG-AL28, 2009年7月。
然而，若應用如非專利文獻1或者非專利文獻2中所提出之經擴展之大小的巨集區塊，則於單一之巨集區塊內混合存在有平坦之區域與含有紋理(texture)之區域的可能性變高。
然而，非專利文獻1或非專利文獻2中，對1個巨集區塊僅可指定單一之量子化參數，因此，難以進行適應面內之各區域之特性之適應 量子化。
本技術係鑒於此種情況而完成者，其目的在於進行更適當之量子化處理而抑制解碼圖像之主觀畫質之降低。
本技術之一方面係一種圖像處理裝置，其包括：解碼部，其對編碼串流進行解碼而產生量子化資料；設定部，其以較處於對圖像資料進行編碼時之編碼處理單位即編碼單元之基準層的基準編碼單元更處於下位層之編碼單元為對象，設定將由上述解碼部而產生之量子化資料反量子化時所使用之量子化參數；及反量子化部，其使用藉由上述設定部而設定之量子化參數，將藉由上述解碼部而產生之量子化資料反量子化。
上述設定部可使用表示對成為反量子化處理之對象之目前編碼單元所設定之量子化參數和對與上述目前編碼單元處於相同階層之編碼單元所設定之量子化參數之差分值的差分量子化參數，而設定上述目前編碼單元之量子化參數。
上述差分量子化參數可為對上述目前編碼單元所設定之量子化參數與對在解碼處理順序上較上述目前編碼單元而先進行解碼之編碼單元所設定之量子化參數的差分值。
上述差分量子化參數可為對上述目前編碼單元所設定之量子化參數與對在解碼處理順序上較上述目前編碼單元為前一個進行解碼之編碼單元所設定之量子化參數的差分值。
上述基準編碼單元可為作為最上位層之編碼單元之最大編碼單元。
上述圖像處理裝置可進而包括受理部，該受理部受理上述編碼串流及表示設定上述差分量子化參數之編碼單元之最小尺寸之最小編碼單元尺寸資料，上述設定部可根據由上述受理部受理之最小編碼單 元尺寸資料，而設定上述目前編碼單元之量子化參數。
上述受理部可自上述編碼串流之片標頭取得上述最小編碼單元尺寸資料。
於上述最小編碼單元尺寸資料所示之尺寸為16像素之情形時，尺寸未達16像素之編碼單元之差分量子化參數可設定為0。
上述設定部可使用表示對成為解碼處理之對象之目前編碼單元所設定之量子化參數與對上述目前編碼單元所屬之片所設定之量子化參數之差分值的差分量子化參數，而設定上述目前編碼單元之量子化參數。
上述設定部係可於上述目前編碼單元於上述基準編碼單元之階層中於解碼處理順序上為最先進行解碼處理之情形時，使用表示對上述目前編碼單元所設定之量子化參數與對上述目前編碼單元所屬之片所設定之量子化參數之差分值的差分量子化參數，而設定上述目前編碼單元之量子化參數。
上述基準編碼單元可為作為最上位層之編碼單元之最大編碼單元。
上述圖像處理裝置可進而包括受理部，該受理部受理上述編碼串流及表示設定上述差分量子化參數之編碼單元之最小尺寸之最小編碼單元尺寸資料，上述設定部可根據由上述受理部受理之最小編碼單元尺寸資料，而設定上述目前編碼單元之量子化參數。
上述受理部可自上述編碼串流之片標頭取得上述最小編碼單元尺寸資料。
於上述最小編碼單元尺寸資料所示之尺寸為16像素之情形時，尺寸未達16像素之編碼單元之差分量子化參數可設定為0。
上述設定部係可以較基準編碼單元更處於下位層之編碼單元為對象，於上述差分量子化參數之值為0之情形時，將對上述基準編碼 單元所設定之量子化參數作為對較上述基準編碼單元更處於下位層之編碼單元所設定之量子化參數而設定。
上述圖像處理裝置可進而包括受理部，該受理部以較上述基準編碼單元更處於下位層之編碼單元為對象，而受理識別上述差分量子化參數之值是否為0之差分識別資料，上述設定部使用由上述受理部受理之差分識別資料，將對上述基準編碼單元所設定之量子化參數設定為對較上述基準編碼單元更處於下位層之編碼單元所設定之量子化參數。
本技術之一方面亦係一種圖像處理方法，其係對編碼串流進行解碼而產生量子化資料，以較處於對圖像資料進行編碼時之編碼處理單位即編碼單元之基準層的基準編碼單元更處於下位層之編碼單元為對象，設定將產生之量子化資料反量子化時所使用之量子化參數，使用所設定之量子化參數將所產生之量子化資料反量子化。
本技術之其他方面係一種圖像處理裝置，其包括：設定部，其係以較處於對圖像資料進行編碼時之編碼處理單位即編碼單元之基準層的基準編碼單元更處於下位層之編碼單元為對象，設定將圖像資料量子化時所使用之量子化參數；量子化部，其使用藉由上述設定部而設定之量子化參數將圖像資料量子化而產生量子化資料；及編碼部，其對藉由上述量子化部產生之量子化資料進行編碼而產生編碼串流。
上述設定部可設定表示對成為編碼處理之對象之目前編碼單元所設定之量子化參數和對與上述目前編碼單元處於相同階層之編碼單元所設定之量子化參數之差分值的差分量子化參數，上述圖像處理裝置可進而包括傳輸部，該傳輸部傳輸藉由上述設定部而設定之差分量子化參數及藉由上述編碼部而產生之編碼串流。
上述設定部可將對上述目前編碼單元所設定之量子化參數與對在編碼處理順序上較上述目前編碼單元而先進行編碼之編碼單元所設 定之量子化參數的差分值設定為上述差分量子化參數。
上述設定部可將對上述目前編碼單元所設定之量子化參數與對在編碼處理順序上較上述目前編碼單元而為前一個進行編碼之編碼單元所設定之量子化參數的差分值設定為上述差分量子化參數。
上述基準編碼單元可為作為最上位層之編碼單元之最大編碼單元。
上述設定部可對表示設定上述差分量子化參數之編碼單元之最小尺寸的最小編碼單元尺寸資料進行設定，上述傳輸部傳輸藉由上述設定部而設定之最小編碼單元尺寸資料。
上述傳輸部可於藉由上述編碼部而產生之編碼串流之語法中追加藉由上述設定部而設定之最小編碼單元尺寸資料作為片標頭。
上述設定部可於將上述最小編碼單元尺寸資料所示之尺寸設定為16像素之情形時，將尺寸未達16像素之編碼單元之差分量子化參數設定為0。
上述設定部可設定表示對成為編碼處理之對象之目前編碼單元所設定之量子化參數與對上述目前編碼單元所屬之片所設定之量子化參數之差分值的差分量子化參數，且該圖像處理裝置進而包括傳輸部，該傳輸部傳輸藉由上述設定部而設定之差分量子化參數及藉由上述編碼部而產生之編碼串流。
上述設定部係可於上述目前編碼單元於上述基準編碼單元之階層中於編碼處理順序上為最先進行編碼處理之情形時，將對上述目前編碼單元所設定之量子化參數與對上述目前編碼單元所屬之片所設定之量子化參數之差分值設定為上述差分量子化參數。
上述基準編碼單元可為作為最上位層之編碼單元之最大編碼單元。
上述設定部可對表示設定上述差分量子化參數之編碼單元之最 小尺寸之最小編碼單元尺寸資料進行設定，上述傳輸部傳輸藉由上述設定部而設定之最小編碼單元尺寸資料。
上述傳輸部可於藉由上述編碼部而產生之編碼串流之語法中追加藉由上述設定部而設定之最小編碼單元尺寸資料作為片標頭。
上述設定部係可於將上述最小編碼單元尺寸資料所示之尺寸設定為16像素之情形時，將尺寸未達16像素之編碼單元之差分量子化參數設定為0。
上述設定部係可以較基準編碼單元更處於下位層之編碼單元為對象，於將上述差分量子化參數之值設定為0之情形時，將對上述基準編碼單元所設定之量子化參數設定為對較上述基準編碼單元更處於下位層之編碼單元所設定之量子化參數。
上述設定部可以較基準編碼單元更處於下位層之編碼單元為對象，而設定識別上述差分量子化參數之值是否為0之差分識別資料，且該圖像處理裝置進而包括傳輸部，該傳輸部傳輸藉由上述設定部而設定之差分識別資料及藉由上述編碼部而產生之編碼串流。
本技術之其他方面亦係一種圖像處理方法，其係以較處於對圖像資料進行編碼時之編碼處理單位即編碼單元之基準層的基準編碼單元更處於下位層之編碼單元為對象，設定將圖像資料量子化時所使用之量子化參數，使用所設定之量子化參數將圖像資料量子化而產生量子化資料，對所產生之量子化資料進行編碼而產生編碼串流。
本技術之一方面中，對編碼串流進行解碼而產生量子化資料，以較處於對圖像資料進行編碼時之編碼處理單位即編碼單元之基準層的基準編碼單元更處於下位層之編碼單元為對象，設定將產生之量子化資料反量子化時所使用之量子化參數，使用所設定之量子化參數，將所產生之量子化資料反量子化。
本技術之其他方面中，以較處於對圖像資料進行編碼時之編碼 處理單位即編碼單元之基準層的基準編碼單元更處於下位層之編碼單元為對象，設定將圖像資料量子化時所使用之量子化參數，使用所設定之量子化參數將圖像資料量子化而產生量子化資料，對所產生之量子化資料進行編碼而產生編碼串流。
根據本技術，可更適當地進行量子化處理或反量子化處理。
100‧‧‧圖像編碼裝置
105‧‧‧量子化部
108‧‧‧反量子化部
117‧‧‧速率控制部
121‧‧‧子巨集區塊量子化部
122‧‧‧子巨集區塊反量子化部
151‧‧‧子巨集區塊活動率緩衝器
152‧‧‧量子化參數計算部
153‧‧‧量子化處理部
200‧‧‧圖像解碼裝置
203‧‧‧反量子化部
221‧‧‧子巨集區塊反量子化部
251‧‧‧量子化參數緩衝器
252‧‧‧正交轉換係數緩衝器
253‧‧‧反量子化處理部
圖1係表示應用有本技術之圖像編碼裝置之主要構成例之區塊圖。
圖2係表示亮度訊號之量子化參數與色差訊號之量子化參數之對應關係之例的圖。
圖3係表示巨集區塊之例之圖。
圖4係表示巨集區塊之其他例之圖。
圖5係表示量子化部之詳細之構成例之區塊圖。
圖6係說明巨集區塊單位之圖像之例之圖。
圖7係說明編碼處理之流程之例之流程圖。
圖8係說明量子化參數計算處理之流程之例之流程圖。
圖9係表示應用有本技術之圖像解碼裝置之主要構成例之區塊圖。
圖10係表示反量子化部之詳細之構成例之區塊圖。
圖11係說明解碼處理之流程之例之流程圖。
圖12係說明反量子化處理之流程之例之流程圖。
圖13係說明量子化參數計算處理之流程之其他例之流程圖。
圖14係說明反量子化處理之流程之其他例之流程圖。
圖15係說明編碼單元之構成例之圖。
圖16係表示針對每個編碼單元所分配之量子化參數之例之圖。
圖17係表示語法之例之圖。
圖18係表示應用有本技術之圖像編碼裝置之其他構成例之區塊圖。
圖19係表示編碼單元量子化部及速率控制部之詳細之構成例之區塊圖。
圖20係說明量子化參數計算處理之流程之進而其他例之流程圖。
圖21係表示應用有本技術之圖像解碼裝置之其他構成例之區塊圖。
圖22係表示編碼單元反量子化部之詳細之構成例之區塊圖。
圖23係表示反量子化處理之流程之進而其他例之流程圖。
圖24係比較量子化參數dQP之各計算方法之特徵之圖。
圖25係表示針對每個編碼單元所分配之量子化參數之例之圖。
圖26係表示片標頭之語法之例之圖。
圖27係說明活動率之計算方法之例之圖。
圖28係說明量子化參數與量子化程度(Quantizer Scale)之關係之圖。
圖29係表示應用有本技術之圖像編碼裝置之進而其他構成例之區塊圖。
圖30係表示編碼單元量子化部、量子化部及速率控制部之詳細之構成例之區塊圖。
圖31係說明編碼處理之流程之其他例之流程圖。
圖32係說明量子化處理之流程之例之流程圖。
圖33係表示多視點圖像編碼方式之例之圖。
圖34係表示應用有本技術之多視點圖像編碼裝置之主要構成例之圖。
圖35係表示應用有本技術之多視點圖像解碼裝置之主要構成例之圖。
圖36係表示階層圖像編碼方式之例之圖。
圖37係表示應用有本技術之階層圖像編碼裝置之主要構成例之圖。
圖38係表示應用有本技術之階層圖像解碼裝置之主要構成例之圖。
圖39係表示應用有本技術之電腦之主要構成例之區塊圖。
圖40係表示應用有本技術之電視裝置之主要構成例之區塊圖。
圖41係表示應用有本技術之行動終端機(Mobile Terminal)之主要構成例之區塊圖。
圖42係表示應用有本技術之記錄再生機之主要構成例之區塊圖。
圖43係表示應用有本技術之攝像裝置之主要構成例之區塊圖。
以下，對用以實施本技術之形態(以下稱為實施形態)進行說明。再者，說明依照以下之順序進行。
1.第1實施形態(圖像編碼裝置)
2.第2實施形態(圖像解碼裝置)
3.第3實施形態(圖像編碼裝置．圖像解碼裝置)
4.第4實施形態(圖像編碼裝置．圖像解碼裝置)
5.第5實施形態(圖像編碼裝置)
6.第6實施形態(多視點圖像編碼．多視點圖像解碼裝置)
7.第7實施形態(階層圖像編碼．階層圖像解碼裝置)
8.第8實施形態(應用例)
<1.第1實施形態> [圖像編碼裝置]
圖1表示作為應用有本技術之圖像處理裝置之圖像編碼裝置之一實施形態的構成。
圖1所示之圖像編碼裝置100係例如為與H.264及MPEG(Moving Picture Experts Group)4 Part10(AVC(Advanced Video Coding))(以下稱為H.264/AVC)方式相同地對圖像進行編碼之編碼裝置。但圖像編碼裝置100係針對每個子巨集區塊指定量子化參數。
所謂巨集區塊係成為對圖像進行編碼時之處理單位之上述圖像之部分區域。所謂子巨集區塊係將該巨集區塊分割為複數個部分而得之小區域。
圖1之例中，圖像編碼裝置100包括A/D(Analog/Digital，類比/數位)轉換部101、畫面重排緩衝器102、運算部103、正交轉換部104、量子化部105、可逆編碼部106、及儲存緩衝器107。又，圖像編碼裝置100包括反量子化部108、逆正交轉換部109、運算部110、解塊濾波器111、訊框記憶體112、選擇部113、幀內預測部114、運動預測．補償部115、選擇部116、及速率控制部117。
圖像編碼裝置100進而包括子巨集區塊量子化部121及子巨集區塊反量子化部122。
A/D轉換部101對輸入之圖像資料進行A/D轉換，將其輸出至畫面重排緩衝器102並加以記憶。
畫面重排緩衝器102係根據GOP(Group of Picture，圖像群組)構造，將記憶之顯示順序之訊框之圖像重排為用於編碼之訊框之順序。畫面重排緩衝器102將已對訊框之順序進行重排之圖像供給至運算部103。又，畫面重排緩衝器102亦將已對訊框之順序進行重排之圖像供給至幀內預測部114及運動預測．補償部115。
運算部103係由自畫面重排緩衝器102讀出之圖像減去經由選擇 部116自幀內預測部114或運動預測．補償部115供給之預測圖像，並將其差分資訊輸出至正交轉換部104。
例如，於進行幀內編碼之圖像之情形時，運算部103係由自畫面重排緩衝器102讀出之圖像減去自幀內預測部114供給之預測圖像。又，例如於進行幀間編碼之圖像之情形時，運算部103係由自畫面重排緩衝器102讀出之圖像減去自運動預測．補償部115供給之預測圖像。
正交轉換部104係對自運算部103供給之差分資訊實施離散餘弦轉換、卡洛轉換(Karhunen-Loeve Transformation)等正交轉換，並將其轉換係數供給至量子化部105。
量子化部105將正交轉換部104輸出之轉換係數量子化。量子化部105根據自速率控制部117供給之資訊，一面與子巨集區塊量子化部121協作，一面針對每個較巨集區塊小之區域即子巨集區塊設定量子化參數而進行量子化。量子化部105將經量子化之轉換係數供給至可逆編碼部106。
可逆編碼部106對上述經量子化之轉換係數實施可變長度編碼、算術編碼等可逆編碼。
可逆編碼部106自幀內預測部114取得表示幀內預測之資訊等，自運動預測．補償部115取得表示幀間預測模式之資訊或運動向量資訊等。再者，表示幀內預測(畫面內預測，intra prediction)之資訊以下亦稱為幀內預測模式資訊。又，將表現表示幀間預測(畫面間預測、inter prediction)之資訊模式之資訊亦稱為幀間預測模式資訊。
可逆編碼部106對經量子化之轉換係數進行編碼，並且將濾波器係數、幀內預測模式資訊、幀間預測模式資訊、及量子化參數等各種資訊設為編碼資料之標頭資訊之一部分(多工化)。可逆編碼部106將編碼所得之編碼資料供給並儲存於儲存緩衝器107。
例如，於可逆編碼部106中進行可變長度編碼或算術編碼等可逆編碼處理。作為可變長度編碼，可列舉以H.264/AVC方式規定之CAVLC(Context-Adaptive Variable Length Coding，基於上下文之可變長編碼)等。作為算術編碼，可列舉CABAC(Context-Adaptive Binary Arithmetic Coding，基於上下文之算術編碼)等。
儲存緩衝器107暫時性地保持自可逆編碼部106供給之編碼資料，並於特定之時序將其作為以H.264/AVC方式進行了編碼之編碼圖像而輸出至例如後段之未圖示之記錄裝置或傳輸路徑等。
又，於量子化部105中進行了量子化之轉換係數亦被供給至反量子化部108。反量子化部108以與由量子化部105進行之量子化相對應之方法將上述經量子化之轉換係數反量子化。反量子化部108一面與子巨集區塊反量子化部122協作，一面使用已於量子化部105中設定之每個子巨集區塊之量子化參數而進行反量子化。反量子化部108將獲得之轉換係數供給至逆正交轉換部109。
逆正交轉換部109以與由正交轉換部104進行之正交轉換處理相對應之方法對所供給之轉換係數進行逆正交轉換。經逆正交轉換之輸出(經恢復之差分資訊)供給至運算部110。
運算部110將經由選擇部116自幀內預測部114或運動預測．補償部115供給之預測圖像與自逆正交轉換部109供給之逆正交轉換結果即已恢復之差分資訊相加，而獲得局部經解碼之圖像(解碼圖像)。
例如於差分資訊與進行幀內編碼之圖像相對應之情形時，運算部110將自幀內預測部114供給之預測圖像與該差分資訊相加。又，例如於差分資訊與進行幀間編碼之圖像相對應之情形時，運算部110將自運動預測．補償部115供給之預測圖像與該差分資訊相加。
其加法運算結果供給至解塊濾波器111或訊框記憶體112。
解塊濾波器111藉由適當進行解塊濾波處理而去除解碼圖像之區 塊畸變，並且藉由使用例如文納濾波器(Wiener Filter)適當進行迴路濾波器(loop filter)處理而進行畫質改善。解塊濾波器111將各像素分級(classification)，針對每個級別實施適當之濾波處理。解塊濾波器111將其濾波處理結果供給至訊框記憶體112。
訊框記憶體112係於特定之時序經由選擇部113將儲存之參照圖像輸出至幀內預測部114或運動預測．補償部115。
例如於進行幀內編碼之圖像之情形時，訊框記憶體112係經由選擇部113將參照圖像供給至幀內預測部114。又，例如於進行幀間編碼之情形時，訊框記憶體112係經由選擇部113將參照圖像供給至運動預測．補償部115。
選擇部113係於自訊框記憶體112供給之參照圖像為進行幀內編碼之圖像之情形時，將該參照圖像供給至幀內預測部114。又，選擇部113係於自訊框記憶體112供給之參照圖像為進行幀間編碼之圖像之情形時，將該參照圖像供給至運動預測．補償部115。
幀內預測部114進行使用畫面內之像素值而產生預測圖像之幀內預測(畫面內預測)。幀內預測部114藉由複數個模式(幀內預測模式)而進行幀內預測。
幀內預測部114以全部幀內預測模式而產生預測圖像，評估各預測圖像而選擇最佳模式。幀內預測部114一旦選擇出最佳幀內預測模式，便經由選擇部116將藉由該最佳模式而產生之預測圖像供給至運算部103或運算部110。
又，如上所述，幀內預測部114將表示所採用之幀內預測模式之幀內預測模式資訊等資訊適當供給至可逆編碼部106。
運動預測．補償部115針對進行幀間編碼之圖像，使用自畫面重排緩衝器102供給之輸入圖像、及經由選擇部113自訊框記憶體112供給之參照圖像而進行運動預測，根據檢測出之運動向量進行運動補償處 理，從而產生預測圖像(幀間預測圖像資訊)。
運動預測．補償部115係進行成為候補之全部幀間預測模式之幀間預測處理而產生預測圖像。運動預測．補償部115經由選擇部116將所產生之預測圖像供給至運算部103或運算部110。
又，運動預測．補償部115將表示所採用之幀間預測模式之幀間預測模式資訊、及表示計算出之運動向量之運動向量資訊供給至可逆編碼部106。
選擇部116係於進行幀內編碼之圖像之情形時，將幀內預測部114之輸出供給至運算部103或運算部110，於進行幀間編碼之圖像之情形時，將運動預測．補償部115之輸出供給至運算部103或運算部110。
速率控制部117根據儲存於儲存緩衝器107之壓縮圖像，控制量子化部105之量子化動作之速率以使得不產生溢流或下溢。速率控制部117係針對巨集區塊被分割為複數個部分而得之每個小區域之子巨集區塊，將表示圖像之複雜度之資訊供給至量子化部105。
例如，速率控制部117將表示像素值之分散之資訊即活動率(activity)作為表示該圖像之複雜度之資訊提供至量子化部105。當然，表示該圖像之複雜度之資訊可為任一種資訊。
子巨集區塊量子化部121係自量子化部105取得表示每個子巨集區塊之圖像之複雜度之資訊，並根據該資訊而設定每個子巨集區塊之量子化值(量子化步驟)，將該值返回至量子化部105。
子巨集區塊反量子化部122係自反量子化部108取得量子化參數，並使用其等之值而求出每個子巨集區塊之量子化值，並將該每個子巨集區塊之量子化值返回至反量子化部108。
[AVC之量子化]
此處，作為先前之量子化處理，以於AVC(Advanced Video Coding)中規定之量子化為例進行說明。
AVC中規定之整數轉換矩陣[H]並未滿足下式(1)中所示之正交轉換矩陣之條件，於整數轉換後，對各成分進行不同之量子化處理，並組合整數轉換與量子化，藉此而進行正交轉換處理。
[H][H]T=[I]···(1)
AVC中，為進行量子化，可相對於各巨集區塊定義可取「0」至「51」之值之量子化參數QP(Quantization Parameter，量子化參數)。
例如，將A(QP)與B(QP)設為不管QP之值而均滿足下式(2)之值。
A(QP)*B(QP)=2m+n···(2)
AVC中之正交轉換及逆正交轉換可藉由如下式(3)及式(4)之運算而實現。
d=c*A(QP)/2m···(3)
c'=d*B(QP)/2n···(4)
再者，c為量子化前之正交轉換係數，d為量子化後之正交轉換係數，c'為反量子化後之正交轉換係數。
藉由進行此種處理，AVC中，僅利用移位運算而非除法運算便可實現量子化及反量子化處理。
再者，A及B之值針對每個成分具有不同之值。
量子化參數QP以例如自6至12般當其值增加6時進行2倍左右之量子化處理之方式進行設計。
又，尤其於更低之位元率即更高之QP中，色差訊號之劣化顯著。因此，相對於與亮度訊號相對應之量子化參數QPY，與色差訊號相對應之預設(default)之量子化參數QPC以如圖2所示之表般進行定義。
使用者可藉由設定圖像壓縮資訊中所含之與ChromaQPOffset(色度和亮度之間的量子化差)相關之資訊，而控制上述關係。
又，於High Profile(高等型級)以上，可使用ChromaQPOffset及2ndChromaQPOffset而獨立地設定相對於Cb/Cr成分之量子化參數。
[量子化參數計算]
AVC編碼方式、以及非專利文獻1及非專利文獻2中所記載之編碼方式中，相對於各巨集區塊之量子化參數MB_QP係以下述方式進行計算。
即，首先，根據存在於序列參數集之bit_depth_luma_minus8，如下式(5)般計算出QpBdOffsetY。
QpBdOffsetY=6*bit_depth_luma_minus8···(5)
其次，藉由圖片參數集中之pic_init_qp_minus26而指定各圖片中之量子化參數之初始值。
繼而，藉由片層(slice layer)中所規定之slice_qp_delta，如下式(6)般計算出該片中之量子化參數SliceQPY。
SliceQPY=26+pic_init_qp_minus26+slice_qp_delta···(6)
最後，使用巨集區塊層中之mb_qp_delta，如下式(7)般計算出相對於各巨集區塊之量子化參數MB_QP。
MB_QP=((MB_QPPrev+mb_qp_delta+52+2*QpBdOffsetY)%(52+Qp BdOffsetY))-QpBdOffsetY···(7)
此處，MB_QPPrev為之前的巨集區塊之量子化參數。
本技術中，除此以外，進而於圖像壓縮中之子巨集區塊層中包含關於submb_qp_delta之資訊。
使用該資訊，如下式(8)般計算出相對於各子巨集區塊之量子化參數SubMB_QP。
SubMB_QP=Clip(0，51，MB_QP+submb_qp_delta)···(8)
此處，Clip(min，max，value)係具有如下式(9)之返回值(return value)之函數。
[數1]min,if(value<min) Clip(min,max,value)=man,if(value>man) value,otherwise···(9)
亦即，相對於各子巨集區塊之量子化參數SubMB_QP係如下式(10)般計算出。其中，將預先定義之最小之量子化參數設為minQP，將預先定義之最大之量子化參數設為maxQP。
再者，於圖像壓縮資訊內不存在submb_qp_delta之情形時，將其值設為「0」，該巨集區塊之量子化參數亦適用於該子巨集區塊。
[量子化部]
圖5係說明圖1之量子化部105之詳細之構成例的區塊圖。如圖5所示，量子化部105包括子巨集區塊活動率緩衝器151、量子化參數計算部152、及量子化處理部153。
子巨集區塊活動率緩衝器151保持自速率控制部117供給之活動率。AVC編碼方式中進行如MPEG-2 Test Model(試驗模型)中所規定之基於活動率之適應量子化，速率控制部117針對每個子巨集區塊進行活動率(亦稱為子巨集區塊活動率)之計算。子巨集區塊活動率之計算方法與針對每個巨集區塊計算活動率之先前之情形相同。
子巨集區塊活動率緩衝器151保持自速率控制部117供給之子巨集區塊活動率，以特定量(例如1畫面)為單位將上述保持之子巨集區塊活動率供給至子巨集區塊量子化部121。
子巨集區塊量子化部121使用自子巨集區塊活動率緩衝器151供 給之子巨集區塊活動率，針對各子巨集區塊計算量子化值。該每個子巨集區塊之量子化值係可藉由與根據每個巨集區塊之活動率計算每個巨集區塊之量子化值之情形相同的方法計算出。
若針對各子巨集區塊求出量子化值，則子巨集區塊量子化部121將上述每個子巨集區塊之量子化值供給至量子化參數計算部152。
量子化參數計算部152使用自子巨集區塊量子化部121供給之每個子巨集區塊之量子化值而計算各種量子化參數。
例如，量子化參數計算部152計算pic_init_qp_minus26、slice_qp_delta、及mb_qp_delta等量子化參數。由於量子化參數計算部152可根據每個子巨集區塊之量子化值求出每個巨集區塊之量子化值，故與先前之AVC編碼方式等之情形相同地，計算並設定該等各種量子化參數。
量子化參數計算部152進而求出表示每個巨集區塊之量子化參數MB_QP與每個子巨集區塊之量子化參數SubMB_QP之差分的量子化參數submb_qp_delta。必需將上述每個子巨集區塊之量子化參數傳輸至解碼側。因此，藉由如此般設為差分值，可減少上述每個子巨集區塊之量子化參數之編碼量。上述量子化參數submb_qp_delta可謂量子化參數SubMB_QP之傳輸用格式。每個子巨集區塊之量子化參數SubMB_QP可藉由轉換每個子巨集區塊之量子化值而獲得。相同地，每個巨集區塊之量子化參數MB_QP可藉由轉換每個巨集區塊之量子化值而獲得。量子化參數計算部152使用例如上式(35)而針對各子巨集區塊計算submb_qp_delta。
量子化參數計算部152將每個子巨集區塊之量子化值供給至量子化處理部153。又，量子化參數計算部152將計算出之各種量子化參數(具體而言，為pic_init_qp_minus26、slice_qp_delta、及mb_qp_delta等)供給至可逆編碼部106，並與對圖像編碼所得之編碼串流一併傳 輸。再者，如上所述，於submb_qp_delta之值為「0」之情形時，省略submb_qp_delta之傳輸。亦即，於該情形時，將除submb_qp_delta以外之量子化參數供給至可逆編碼部106。
進而，量子化參數計算部152亦將每個子巨集區塊之量子化值供給至反量子化部108。
量子化處理部153使用每個子巨集區塊之量子化值而將自正交轉換部104供給之正交轉換係數量子化。
量子化處理部153將經量子化之正交轉換係數供給至可逆編碼部106與反量子化部108。
再者，反量子化部108使用子巨集區塊反量子化部122，藉由上述量子化部105將經量子化之正交轉換係數反量子化。由於於與圖像編碼裝置100相對應之圖像解碼裝置中亦進行與該反量子化處理相同之處理，故對於反量子化之詳情之說明於說明圖像解碼裝置時進行。
於AVC編碼方式等之先前之情形時，相對於1個巨集區塊僅可設定1個量子化參數。因此，於1個巨集區塊內混合存在有平坦之區域與含有紋理之區域的情形時，難以設定適合於上述兩者之區域之量子化參數。
尤其是，如非專利文獻2等中提出之經擴展之巨集區塊(擴展部分區域)，巨集區塊之尺寸越大，上述區域內混合存在有具有彼此不同之特徵之圖像之可能性便越高，從而變得更難以進行適應上述各區域之特性之適應量子化。
相對於此，圖像編碼裝置100可於速率控制部117中針對每個子巨集區塊計算表示圖像之複雜度之指標，且於子巨集區塊量子化部121中針對每個子巨集區塊計算量子化值。亦即，量子化處理部153可針對每個子巨集區塊使用適當之量子化值而進行量子化處理。
藉此，圖像編碼裝置100可根據圖像之內容而進行適當之量子化 處理。尤其是，於巨集區塊尺寸得以擴展且於單一之巨集區塊內包含平坦(flat)之區域(area)與含有紋理之區域之兩者之情形時，圖像編碼裝置100亦可進行適合於各區域之適應量子化處理，從而抑制解碼圖像之主觀畫質之劣化。
例如，圖6所示之圖像160中，巨集區塊161僅包含平坦區域。因此，即便假設圖像編碼裝置100相對於此種巨集區塊161進行使用單一之量子化參數的量子化處理，畫質方面亦不會特別成為問題。
相對於此，巨集區塊162中包含平坦區域與紋理區域之兩者。於使用單一之量子化參數之量子化處理中，無法進行適合於平坦區域與紋理區域之兩者之適應量子化。因此，假設圖像編碼裝置100於相對於此種巨集區塊161進行使用單一之量子化參數之量子化處理的情形時，有解碼圖像之主觀畫質降低之虞。
於此種情形時，圖像編碼裝置100亦可如上所述般以子巨集區塊為單位計算量子化值，因此可進行更適當之量子化處理，從而抑制解碼圖像之主觀畫質之降低。
又，儲存緩衝器107中，當相對於各圖片之總編碼量即將產生溢流時，亦進行基於量子化參數之控制。因此，此時如上所述，量子化部105以子巨集區塊為單位計算量子化值而進行量子化，藉此，圖像編碼裝置100能夠以更精細之單位進行溢流對策之控制。
進而，由於於submb_qp_delta之值為「0」之情形時省略了該submb_qp_delta之傳輸，故可抑制不必要之編碼效率之降低。由於於submb_qp_delta之值為「0」之情形時，每個子巨集區塊之量子化參數SubMB_QP與每個巨集區塊之量子化參數MB_QP相等，故可於解碼側將每個巨集區塊之量子化參數MB_QP設為每個子巨集區塊之量子化參數SubMB_QP，因此，無需submb_qp_delta之值(「0」)。因此，可如上所述般省略submb_qp_delta之傳輸。當然，亦可傳輸值為 「0」之submb_qp_delta，但藉由省略submb_qp_delta之傳輸，可使編碼效率提高相應程度。
[編碼處理之流程]
繼而，對藉由如上所述之圖像編碼裝置100而執行之各處理之流程進行說明。首先，參照圖7之流程圖來說明編碼處理之流程之例。
步驟S101中，A/D轉換部101對經輸入之圖像進行A/D轉換。步驟S102中，畫面重排緩衝器102記憶經A/D轉換之圖像，自各圖片顯示順序向編碼之順序進行重排。
步驟S103中，運算部103運算藉由步驟S102之處理而重排之圖像與預測圖像之差分。預測圖像於進行幀間預測之情形時係自運動預測．補償部115經由選擇部116供給至運算部103，而於進行幀內預測之情形時係自幀內預測部114經由選擇部116供給至運算部103。
差分資料與原本之圖像資料相比，資料量減少。因此，與直接對圖像進行編碼之情形相比，可壓縮資料量。
步驟S104中，正交轉換部104對藉由步驟S103之處理而產生之差分資訊進行正交轉換。具體而言，進行離散餘弦轉換、卡洛轉換等正交轉換，並輸出轉換係數。
步驟S105中，量子化部105及子巨集區塊量子化部121求出量子化參數。關於量子化參數計算處理之流程之詳情稍後敍述。
步驟S106中，量子化部105之量子化處理部153係使用藉由步驟S105之處理而計算出之每個子巨集區塊之量子化值，將藉由步驟S104之處理而獲得之正交轉換係數量子化。
藉由步驟S106之處理而量子化之差分資訊係如下述般被局部地解碼。即，步驟S107中，反量子化部108係以與量子化部105之特性相對應之特性將藉由步驟S106之處理而產生之經量子化之正交轉換係數(亦稱為量子化係數)反量子化。步驟S108中，逆正交轉換部109係以 與正交轉換部104之特性相對應之特性對藉由步驟S107之處理而獲得之正交轉換係數進行逆正交轉換。
步驟S109中，運算部110係將預測圖像與經局部解碼之差分資訊相加，從而產生經局部解碼之圖像(與對運算部103之輸入相對應之圖像)。步驟S110中，解塊濾波器111對藉由步驟S109之處理而產生之圖像進行過濾(filtering)。藉此去除區塊畸變。
步驟S111中，訊框記憶體112記憶已藉由步驟S110之處理而去除區塊畸變之圖像。再者，訊框記憶體112中亦自運算部110供給並記憶有未藉由解塊濾波器111進行濾波處理之圖像。
步驟S112中，幀內預測部114進行幀內預測模式之幀內預測處理。步驟S113中，運動預測．補償部115進行幀間運動預測處理，該幀間運動預測處理進行幀間預測模式下之運動預測或運動補償。
步驟S114中，選擇部116根據自幀內預測部114及運動預測．補償部115輸出之各成本函數值而確定最佳預測模式。亦即，選擇部116選擇藉由幀內預測部114而產生之預測圖像、與藉由運動預測．補償部115而產生之預測圖像之任一者。
又，表示選擇了上述哪一個預測圖像之選擇資訊係供給至幀內預測部114及運動預測．補償部115中選擇了預測圖像的一方。於選擇了最佳幀內預測模式之預測圖像之情形時，幀內預測部114將表示最佳幀內預測模式之資訊(即，幀內預測模式資訊)供給至可逆編碼部106。
於選擇了最佳幀間預測模式之預測圖像之情形時，運動預測．補償部115將表示最佳幀間預測模式之資訊輸出至可逆編碼部106，且視需要將與最佳幀間預測模式相應之資訊輸出至可逆編碼部106。作為與最佳幀間預測模式相應之資訊，可列舉運動向量資訊或旗標資訊、參照訊框資訊等。
步驟S115中，可逆編碼部106對已藉由步驟S106之處理而量子化之轉換係數進行編碼。即，相對於差分圖像(於幀間之情形時，為2次差分圖像)，進行可變長度編碼或算術編碼等可逆編碼。
再者，可逆編碼部106對步驟S105中計算出之量子化參數進行編碼，並附加編碼資料。
又，可逆編碼部106對與藉由步驟S114之處理而選擇之預測圖像之預測模式相關的資訊進行編碼，並附加於對差分圖像進行編碼而獲得之編碼資料。亦即，可逆編碼部106亦對與自幀內預測部114供給之幀內預測模式資訊、或自運動預測．補償部115供給之最佳幀間預測模式相應之資訊等進行編碼，並附加編碼資料。
步驟S116中，儲存緩衝器107儲存自可逆編碼部106輸出之編碼資料。將儲存於儲存緩衝器107之編碼資料適當地讀出，並經由傳輸路徑而傳輸至解碼側。
步驟S117中，速率控制部117根據藉由步驟S116之處理而儲存於儲存緩衝器107之壓縮圖像，控制量子化部105之量子化動作之速率，以使得不會產生溢流或下溢。
若步驟S117之處理結束，則編碼處理便結束。
[量子化參數計算處理之流程]
繼而，參照圖8之流程圖，說明圖7之步驟S105中執行之量子化參數計算處理之流程的例。
若開始量子化參數計算處理，則於步驟S131中，子巨集區塊活動率緩衝器151取得自速率控制部117供給之子巨集區塊活動率。子巨集區塊活動率緩衝器151保持例如1畫面之該所取得之子巨集區塊活動率。
步驟S132中，子巨集區塊量子化部121自子巨集區塊活動率緩衝器151取得例如1畫面之子巨集區塊活動率。繼而，子巨集區塊量子化 部121使用已取得之子巨集區塊活動率，計算每個子巨集區塊之量子化值。
步驟S133中，量子化參數計算部152使用步驟S132中計算出之每個子巨集區塊之量子化值，而求出量子化參數pic_init_qp_minus26。
步驟S134中，量子化參數計算部152使用步驟S132中計算出之每個子巨集區塊之量子化值，而求出量子化參數slice_qp_delta。
步驟S135中，量子化參數計算部152使用步驟S132中計算出之每個子巨集區塊之量子化值，而求出量子化參數mb_qp_delta。
步驟S136中，量子化參數計算部152使用步驟S132中計算出之每個子巨集區塊之量子化值，而求出量子化參數submb_qp_delta。
若以上述之方式求出各種量子化參數，則量子化部105結束量子化參數計算處理，將處理返回至圖7之步驟S105，執行步驟S106之後的處理。
由於以上述方式進行編碼處理或量子化參數計算處理，故圖像編碼裝置100可針對每個子巨集區塊而設定量子化值，從而可進行更適當之量子化處理。
又，由於將以如此方式計算出之量子化參數傳輸至圖像解碼裝置，故圖像編碼裝置100可進行如該圖像解碼裝置針對每個子巨集區塊求出量子化值並使用該量子化值進行反量子化之處理。
<2.第2實施形態> [圖像解碼裝置]
圖9係表示應用有本技術之圖像解碼裝置之主要構成例之區塊圖。圖9所示之圖像解碼裝置200係與圖像編碼裝置100相對應之解碼裝置。
由圖像編碼裝置100編碼之編碼資料係經由特定之傳輸路徑而傳輸至與該圖像編碼裝置100相對應之圖像解碼裝置200並被解碼。 如圖9所示，圖像解碼裝置200包括儲存緩衝器201、可逆解碼部202、反量子化部203、逆正交轉換部204、運算部205、解塊濾波器206、畫面重排緩衝器207、及D/A轉換部208。又，圖像解碼裝置200包括訊框記憶體209、選擇部210、幀內預測部211、運動預測．補償部212、及選擇部213。
進而，圖像解碼裝置200包括子巨集區塊反量子化部221。
儲存緩衝器201儲存傳輸而來之編碼資料。該編碼資料係藉由圖像編碼裝置100而被編碼者。可逆解碼部202以與圖1之可逆編碼部106之編碼方式相對應之方式對以特定時序自儲存緩衝器201讀出之編碼資料進行解碼。
反量子化部203與子巨集區塊反量子化部221協作而動作，以與圖1之量子化部105之量子化方式相對應之方式將藉由可逆解碼部202解碼而獲得之係數資料(量子化係數)反量子化。亦即，反量子化部203使用自圖像編碼裝置100供給之針對每個子巨集區塊計算出之量子化參數，以與圖1之反量子化部108相同之方法進行量子化係數之反量子化。
反量子化部203將經反量子化之係數資料、亦即正交轉換係數供給至逆正交轉換部204。逆正交轉換部204以與圖1之正交轉換部104之正交轉換方式相對應之方式，對上述正交轉換係數進行逆正交轉換，從而獲得與圖像編碼裝置100中進行正交轉換之前的殘差資料相對應的解碼殘差資料。
進行逆正交轉換而獲得之解碼殘差資料被供給至運算部205。又，經由選擇部213自幀內預測部211或運動預測．補償部212對運算部205供給預測圖像。
運算部205將上述解碼殘差資料與預測圖像相加，而獲得與藉由圖像編碼裝置100之運算部103減去預測圖像之前的圖像資料相對應的 解碼圖像資料。運算部205將該解碼圖像資料供給至解塊濾波器206。
解塊濾波器206係於去除所供給之解碼圖像之區塊畸變之後，將其供給至畫面重排緩衝器207。
畫面重排緩衝器207進行圖像之重排。即，為了編碼之順序而藉由圖1之畫面重排緩衝器102重排的訊框之順序重排為原本之顯示順序。D/A轉換部208對自畫面重排緩衝器207供給之圖像進行D/A轉換，輸出並顯示於未圖示之顯示器。
解塊濾波器206之輸出進而供給至訊框記憶體209。
訊框記憶體209、選擇部210、幀內預測部211、運動預測．補償部212、及選擇部213分別對應於圖像編碼裝置100之訊框記憶體112、選擇部113、幀內預測部114、運動預測．補償部115、及選擇部116。
選擇部210自訊框記憶體209讀出要進行幀間處理之圖像與參照之圖像並供給至運動預測．補償部212。又，選擇部210自訊框記憶體209讀出幀內預測中所使用之圖像並供給至幀內預測部211。
自可逆解碼部202對幀內預測部211適當地供給對標頭資訊進行解碼而獲得之表示幀內預測模式之資訊等。幀內預測部211基於該資訊，根據自訊框記憶體209取得之參照圖像產生預測圖像，並將產生之預測圖像供給至選擇部213。
運動預測．補償部212自可逆解碼部202取得對標頭資訊進行解碼而獲得之資訊(預測模式資訊、運動向量資訊、參照訊框資訊、旗標、及各種參數等)。
運動預測．補償部212基於自可逆解碼部202供給之該等資訊，根據自訊框記憶體209取得之參照圖像產生預測圖像，並將產生之預測圖像供給至選擇部213。
選擇部213選擇藉由運動預測．補償部212或幀內預測部211而產生之預測圖像，並供給至運算部205。
子巨集區塊反量子化部221自反量子化部203取得量子化參數，使用式(10)而求出每個子巨集區塊之量子化值，並將其返回至反量子化部203。
[反量子化部]
圖10係說明反量子化部203之詳細之構成例之區塊圖。
如圖10所示，反量子化部203包括量子化參數緩衝器251、正交轉換係數緩衝器252、及反量子化處理部253。
自圖像編碼裝置100供給之編碼資料之圖片參數集、或片標頭等各層中之與量子化相關之參數係於可逆解碼部202被解碼，並供給至量子化參數緩衝器251。量子化參數緩衝器251適當保持該量子化參數，並於特定之時序將其供給至子巨集區塊反量子化部221。
子巨集區塊反量子化部221使用自量子化參數緩衝器251供給之量子化參數，例如式(5)至式(10)所示般針對各子巨集區塊計算量子化參數SubMB_QP，將其轉換成每個子巨集區塊之量子化值，並將該每個子巨集區塊之量子化值供給至反量子化處理部253。
再者，第1實施形態中如上所述，於submb_qp_delta之值為「0」之情形時不傳輸submb_qp_delta。子巨集區塊反量子化部221係於自量子化參數緩衝器251供給之量子化參數中不存在submb_qp_delta之情形時，將每個巨集區塊之量子化參數MB_QP之值應用於每個子巨集區塊之量子化參數SubMB_QP。
又，可逆解碼部202中，對自圖像編碼裝置100供給之編碼資料進行解碼而獲得之經量子化之正交轉換係數被供給至正交轉換係數緩衝器252。正交轉換係數緩衝器252適當地保持上述經量子化之正交轉換係數，並於特定之時序將其供給至反量子化處理部253。
反量子化處理部253使用自子巨集區塊反量子化部221供給之每個子巨集區塊之量子化值，將自正交轉換係數緩衝器252供給之經量 子化之正交轉換係數反量子化。反量子化處理部253將藉由反量子化而獲得之正交轉換係數供給至逆正交轉換部204。
如上所述，反量子化部203可使用針對每個子巨集區塊計算出之量子化值進行反量子化處理。藉此，圖像解碼裝置200可根據圖像之內容而進行適當之反量子化處理。尤其是，於巨集區塊尺寸得以擴展且於單一之巨集區塊內包含平坦之區域與含有紋理之區域之兩者的情形時，圖像解碼裝置200亦可進行適合於各區域之適應反量子化處理，從而抑制解碼圖像之主觀畫質之劣化。
再者，圖1所示之圖像編碼裝置100之反量子化部108亦具有與上述反量子化部203相同之構成，並進行相同之處理。但反量子化部108係取得自量子化部105供給之量子化參數與經量子化之正交轉換係數而進行反量子化。
又，反量子化部108對進行與子巨集區塊反量子化部221相同之處理之子巨集區塊反量子化部122提供量子化參數，從而產生每個子巨集區塊之量子化值。
[解碼處理之流程]
繼而，對藉由如上所述之圖像解碼裝置200而執行之各處理之流程進行說明。首先，參照圖11之流程圖說明解碼處理之流程之例。
若開始解碼處理，則於步驟S201中，儲存緩衝器201儲存傳輸而來之編碼資料。步驟S202中，可逆解碼部202對自儲存緩衝器201供給之編碼資料進行解碼。即，對藉由圖1之可逆編碼部106而編碼之I圖片、P圖片、及B圖片進行解碼。
此時，運動向量資訊、參照訊框資訊、預測模式資訊(幀內預測模式或幀間預測模式)以及旗標或量子化參數等資訊亦被解碼。
於預測模式資訊為幀內預測模式資訊之情形時，預測模式資訊被供給至幀內預測部211。於預測模式資訊為幀間預測模式資訊之情 形時，與預測模式資訊相對應之運動向量資訊被供給至運動預測．補償部212。
步驟S203中，反量子化部203將藉由可逆解碼部202解碼而得之經量子化之正交轉換係數反量子化。步驟S204中，逆正交轉換部204以與圖1之正交轉換部104相對應之方法對藉由反量子化部203反量子化而得之正交轉換係數進行逆正交轉換。藉此，與圖1之正交轉換部104之輸入(運算部103之輸出)相對應之差分資訊被解碼。
步驟S205中，運算部205將預測圖像與藉由步驟S204之處理而獲得之差分資訊相加。藉此，原本之圖像資料被解碼。
步驟S206中，解塊濾波器206適當地過濾藉由步驟S205之處理而獲得之解碼圖像。藉此，自解碼圖像中適當地去除區塊畸變。
步驟S207中，訊框記憶體209記憶經過濾之解碼圖像。
步驟S208中，幀內預測部211或運動預測．補償部212與自可逆解碼部202供給之預測模式資訊相對應地分別進行圖像之預測處理。
即，於自可逆解碼部202供給幀內預測模式資訊之情形時，幀內預測部211進行幀內預測模式之幀內預測處理。又，於自可逆解碼部202供給幀間預測模式資訊之情形時，運動預測．補償部212進行幀間預測模式之運動預測處理。
步驟S209中，選擇部213選擇預測圖像。即，對選擇部213供給藉由幀內預測部211而產生之預測圖像、或藉由運動預測．補償部212而產生之預測圖像。選擇部213選擇已供給該預測圖像之一方，並將該預測圖像供給至運算部205。該預測圖像係藉由步驟S205之處理而與差分資訊相加。
步驟S210中，畫面重排緩衝器207進行解碼圖像資料之訊框之重排。即，解碼圖像資料之為編碼而藉由圖像編碼裝置100之畫面重排緩衝器102(圖1)進行重排的訊框之順序重排為原本之顯示順序。
步驟S211中，D/A轉換部208對畫面重排緩衝器207中訊框經重排之解碼圖像資料進行D/A轉換。該解碼圖像資料被輸出至未圖示之顯示器而顯示其圖像。
[反量子化處理]
繼而，參照圖12之流程圖說明反量子化處理之流程之例。
若開始反量子化處理，則量子化參數緩衝器251於步驟S231中取得自可逆解碼部202供給之量子化參數pic_init_qp_minus26。
步驟S232中，量子化參數緩衝器251取得自可逆解碼部202供給之量子化參數slice_qp_delta。
步驟S233中，量子化參數緩衝器251取得自可逆解碼部202供給之量子化參數mb_qp_delta。
步驟S234中，量子化參數緩衝器251取得自可逆解碼部202供給之量子化參數submb_qp_delta。但於不存在submb_qp_delta之情形時，省略步驟S234之處理。
步驟S235中，子巨集區塊反量子化部221使用藉由步驟S231至步驟S234之處理而取得之各種量子化參數，針對每個子巨集區塊計算量子化值。但於未自圖像編碼裝置100供給submb_qp_delta而省略了步驟S234之處理之情形時，子巨集區塊反量子化部221將每個巨集區塊之量子化值應用於每個子巨集區塊之量子化值。
步驟S236中，反量子化處理部253使用藉由步驟S235之處理而計算出之每個子巨集區塊之量子化值，將保持於正交轉換係數緩衝器252之經量子化之正交轉換係數反量子化。
若步驟S236之處理結束，則反量子化部203將處理返回至步驟S203，執行步驟S204之後的處理。
如上所述，藉由進行解碼處理及反量子化處理，圖像解碼裝置200可使用針對每個子巨集區塊而計算出之量子化值來進行反量子化 處理，可根據圖像之內容而進行適當之反量子化處理。
<3.第3實施形態> [submb_qp_present_flag]
以上說明了將submb_qp_delta作為量子化參數而適當地傳輸，此外，亦可傳輸針對每個巨集區塊通知submb_qp_delta是否存在之旗標。
於該情形時，圖像編碼裝置100之構成與圖1所示之構成例相同。又，量子化部105之構成亦與圖5所示之構成例相同。但量子化參數計算部152進而針對每個巨集區塊，計算表示是否存在值不為「0」之submb_qp_delta的旗標資訊即submb_qp_present_flag。於即便屬於該巨集區塊之子巨集區塊之submb_qp_delta之一者具有不為「0」之值的情形時，submb_qp_present_flag亦設置為例如「1」。又，於屬於該巨集區塊之所有子巨集區塊之submb_qp_delta均為「0」之情形時，submb_qp_present_flag設置為例如「0」。
當然，submb_qp_present_flag之值為任意，只要可識別即便submb_qp_delta之一者具有不為「0」之值之情形與所有子巨集區塊之submb_qp_delta均為「0」之情形，則為任意值均可。
若以上述方式設定值，則量子化參數計算部152將submb_qp_present_flag作為量子化參數之一而供給至可逆編碼部106。可逆編碼部106將上述submb_qp_present_flag附加於例如巨集區塊標頭並進行編碼。亦即，與其他量子化參數相同地，submb_qp_present_flag與編碼資料一併被傳輸。
因此，該情形時之編碼處理係參照圖7之流程圖而與上述處理相同地進行。又，參照圖13之流程圖來說明該情形時之量子化參數計算處理之流程之例。量子化參數計算處理於該情形時亦與參照圖8之流程圖說明之情形基本相同地進行。
亦即，步驟S331至步驟S336之各處理係與圖8之步驟S131至步驟S136之各處理相同地進行。但於該情形時，量子化參數計算部152於步驟S337中進而計算量子化參數submb_qp_present_flag。
以上述方式計算並傳輸量子化參數submb_qp_present_flag。
亦即，資料之各巨集區塊標頭中存在submb_qp_present_flag。而且，該submb_qp_present_flag之值為「1」之巨集區塊之子巨集區塊標頭中存在submb_qp_delta，submb_qp_present_flag之值為「0」之巨集區塊之子巨集區塊標頭中不存在submb_qp_delta。
此種編碼資料係自圖像編碼裝置100傳輸至圖像解碼裝置200。
該情形時之圖像解碼裝置200之構成與圖9所示之構成例相同。又，反量子化部203之構成亦與圖10所示之構成例相同。但子巨集區塊反量子化部221針對submb_qp_present_flag被設置為「0」之巨集區塊，未等待submb_qp_delta之供給便計算每個巨集區塊之量子化值，並將其應用於每個子巨集區塊之量子化值。
換言之，子巨集區塊反量子化部221僅於submb_qp_present_flag為「1」之情形時取得submb_qp-delta，並進行每個子巨集區塊之量子化值之計算。
該情形時之解碼處理係參照圖11之流程圖與上述處理相同地進行。又，參照圖14之流程圖說明該情形時之反量子化處理之流程之例。反量子化處理於該情形時亦與參照圖12之流程圖說明之情形基本相同地進行。
亦即，步驟S431至步驟S433之各處理係與圖12之步驟S231至步驟S233之各處理相同地進行。但於該情形時，量子化參數緩衝器251於步驟S434中取得儲存於巨集區塊標頭之量子化參數submb_qp_present_flag。
步驟S435中，子巨集區塊反量子化部221判定量子化參數 submb_qp_present_flag之值是否為「1」。於量子化參數submb_qp_present_flag之值為「1」之情形時，量子化參數緩衝器251於步驟S436中取得量子化參數submb_qp_delta。步驟S437中，子巨集區塊反量子化部221計算每個子巨集區塊之量子化值。亦即，進行與圖12之步驟S234及步驟S235相同之處理。
又，步驟S435中，於判定量子化參數submb_qp_present_flag之值為「0」之情形時，子巨集區塊反量子化部221於步驟S438中計算每個巨集區塊之量子化值，並將其作為每個子巨集區塊之量子化值而應用。
若以上述之方式計算出量子化值，則反量子化處理部253於步驟S439中使用該量子化值進行反量子化。
如上所述，傳輸針對每個巨集區塊表示量子化參數submb_qp_delta是否存在之submb_qp_present_flag，並於反量子化時加以利用，藉此，圖像解碼裝置200可更容易地把握量子化參數submb_qp_delta是否存在，無需檢索不存在之submb_qp_delta等多餘之處理，便可更容易地計算量子化值。
如上所述，第1實施形態至第3實施形態中，以進行依照AVC之方式之編碼之圖像編碼裝置、以及進行依照AVC之方式之解碼之圖像解碼裝置為例進行了說明，但本技術之應用範圍並不限於此，可應用於進行基於如圖4所示之階層構造之區塊之編碼處理之所有圖像編碼裝置以及圖像解碼裝置。
又，以上所說明之各種量子化參數例如既可附加於編碼資料之任意位置，亦可與編碼資料分開地傳輸至解碼側。例如，可逆編碼部106可將該等資訊作為語法記述於位元串流(bit stream)。又，可逆編碼部106亦可將該等資訊作為輔助資訊而儲存於特定之區域並進行傳輸。例如，該等資訊可儲存於SEI(Suplemental Enhancement Information，補充增強資訊)等參數集(例如序列或圖片之標頭等)。
又，可逆編碼部106亦可將該等資訊與編碼資料分開地(作為另一檔案)自圖像編碼裝置傳輸至圖像解碼裝置。於該情形時，必需使該等資訊與編碼資料之對應關係明確(可於解碼側加以把握)，其方法為任意。例如，可另外作成表示對應關係之表格資訊，亦可將表示對應目標之資料之鏈接資訊填入至彼此之資料中等。
再者，使用有上述每個子巨集區塊之量子化值之量子化(每個子巨集區塊之量子化參數之計算)亦可僅針對32×32以上之擴展巨集區塊進行。
例如，速率控制部117僅於處理對象巨集區塊為擴展巨集區塊之情形時，針對每個子巨集區塊計算活動率，於處理對象巨集區塊為AVC等原有編碼標準中所規定之先前之16×16以下之巨集區塊的情形時，針對每個巨集區塊計算活動率。
子巨集區塊量子化部121例如僅針對擴展巨集區塊計算每個子巨集區塊之量子化值，針對先前之16×16以下之巨集區塊則計算每個巨集區塊之量子化值。
量子化參數計算部152例如僅針對擴展巨集區塊計算量子化參數Submb_qp_delta，針對先前之16×16以下之巨集區塊則不計算量子化參數submb_qp_delta。
量子化處理部153例如僅針對擴展巨集區塊而使用每個子巨集區塊之量子化值進行量子化，針對先前之16×16以下之巨集區塊則使用每個巨集區塊之量子化值進行量子化。
藉由上述方式，圖像編碼裝置100可僅針對解碼圖像之主觀畫質劣化之抑制效果可引起足夠期待的較大區域之擴展巨集區塊進行使用有每個子巨集區塊之量子化值之量子化，而針對效果之期待相對較小之先前之大小的巨集區塊則進行使用有每個巨集區塊之量子化值之量 子化。藉此，圖像編碼裝置100可抑制因進行使用有每個子巨集區塊之量子化值之量子化所引起的負載之增大。
當然，於該情形時，圖像解碼裝置200可與圖像編碼裝置100相同地，僅針對擴展巨集區塊進行使用有每個子巨集區塊之量子化值之反量子化。
例如，子巨集區塊反量子化部221僅針對擴展巨集區塊計算每個子巨集區塊之量子化值，針對先前之16×16以下之巨集區塊則計算每個巨集區塊之量子化值。
因此，反量子化處理部253例如僅針對擴展巨集區塊而使用每個子巨集區塊之量子化值進行反量子化，針對先前之16×16以下之巨集區塊則使用每個巨集區塊之量子化值進行反量子化。
藉由上述方式，圖像解碼裝置200可僅針對解碼圖像之主觀畫質劣化之抑制效果可引起足夠期待的較大區域之擴展巨集區塊進行使用有每個子巨集區塊之量子化值之反量子化，且針對效果之期待相對較小之先前之大小的巨集區塊則進行使用有每個巨集區塊之量子化值之反量子化。藉此，圖像解碼裝置200可抑制因進行使用有每個子巨集區塊之量子化值之反量子化所引起的負載之增大。
再者，如第3實施形態，於傳輸submb_qp_present_flag之情形時，僅針對擴展巨集區塊傳輸該量子化參數submb_qp_present_flag便可。換言之，針對先前之大小之巨集區塊，可省略該量子化參數submb_qp_present_flag之傳輸。當然，亦可針對先前之大小之巨集區塊，傳輸表示不存在值為「0」以外之量子化參數submb_qp_delta之值的量子化參數submb_qp_present_flag。
<4.第4實施形態> [概要]
以上說明了以子巨集區塊為單位指定量子化參數，但相對於子 巨集區塊之量子化參數之分配方法亦可為除上述以外者。例如亦可使用每個子巨集區塊之量子化參數submb_qp_delta、及於此之前經編碼之子巨集區塊之量子化參數previous_qp，如下式(11)般定義分配至各子巨集區塊之量子化參數SubMB_QP。
SubMB_QP=Clip(0,51,previous_qp+submb_qp_delta)···(11)
[編碼單元]
以下對此種方法進行說明，以下敍述中係使用編碼單元(Coding Unit)之單位以代替上述巨集區塊或子巨集區塊來進行說明。
例如，「Test Model Under Consideration」(「研究中試驗模型」)(JCTVC-B205)中，參照圖4而說明之擴展巨集區塊由編碼單元(Coding Unit)之概念而定義。
編碼單元係成為圖像資料之編碼處理等之處理單位的圖像(1圖片)之分割單位。亦即，編碼單元係圖像(1圖片)分割為複數個部分而得之區塊(部分區域)。即，編碼單元相當於上述巨集區塊或子巨集區塊。
圖15係表示編碼單元之構成例之圖。如圖15所示，編碼單元可將其區域進一步分割成複數個部分，且將各區域設為低1階層之編碼單元。亦即，編碼單元可構成為階層狀(構成為樹形構造)。附帶而言，編碼單元之尺寸為任意，1個圖片內亦可存在彼此為不同尺寸之編碼單元。
圖15之例中，最上位層(Depth(深度)=0)之編碼單元之尺寸係設為128像素×128像素，於縱橫方向上各2等分地分割該編碼單元(分割成4個部分)而成之64像素×64像素之區域係設為低1階層(Depth=1)之編碼單元，以下相同地重複編碼單元之階層化，8像素×8像素之區域係設為最下位層(Depth=4)之編碼單元。
此時，將最上位層之編碼單元稱為LCU(Largest Coding Unit，最 大編碼單元)，將最下位層之編碼單元稱為SCU(Smallest Coding Unit，最小編碼單元)。亦即，LCU相當於巨集區塊，較其為下位層之編碼單元相當於子巨集區塊。
再者，各階層之編碼單元之尺寸或形狀、及階層數為任意。亦即，圖像(1圖片)內，LCU或SCU之尺寸及形狀無需全部一致，可根據圖像內之位置而使編碼單元之階層數不同，區域之分割方法亦為任意。亦即，編碼單元之樹形構造可設為任意之構造。
當然，例如亦可為區域之分割方法為共通且可僅使階層數不同等，部分限制編碼單元之階層構造之自由度。例如，如圖15所示，不論於哪個位置，均可將1個區域(1圖片或1編碼單元)於縱橫方向上2等分地分割(即分割成4個部分)，定義各位置之LCU與SCU之大小，藉此來定義編碼單元之階層構造。
LCU及SCU之大小例如可於圖像壓縮資訊中之序列參數集中指定。當然，亦可於其他後設資料(metadata)等中指定。
[量子化參數之分配]
本實施形態中，代替巨集區塊或子巨集區塊而於各編碼單元中分配有量子化參數submb_qp_delta。但於該情形時，量子化參數submb_qp_delta並非每個巨集區塊之量子化參數MB_QP與每個子巨集區塊之量子化參數SubMB_QP之差分值，而係之前經編碼之編碼單元之量子化參數previous_qp與當前之處理對象之編碼單元之量子化參數SubMB_QP的差分值。
換言之，各編碼單元中，分配有表示之前的編碼時所使用之量子化參數previous_qp與當前之處理對象之編碼單元之量子化參數SubMB_QP之差分值的量子化參數submb_qp_delta。亦即，滿足上述式(11)之量子化參數submb_qp_delta被分配至各編碼單元。
再者，由於只要將圖像內之整個區域量子化便可，故實際上， 例如僅SCU等般相對於一部分之編碼單元而分配有量子化參數submb_qp_delta。
與上述其他實施形態相同地，當前處理對象之編碼單元之量子化參數SubMB_QP係可對根據該編碼單元之活動率求出之量子化值進行轉換而獲得。因此，每個編碼單元之量子化參數submb_qp_delta可使用式(11)而計算出。
圖16中表示1個LCU內之編碼單元之構成例、與分配至各編碼單元之量子化參數之例。如圖16所示，各編碼單元(CU)中，分配有之前的編碼時所使用之量子化參數previous_qp與當前處理對象之編碼單元之量子化參數SubMB_QP的差分值ΔQP而作為量子化參數。
更具體而言，該LCU內之左上方之編碼單元0(Coding Unit 0)中分配有量子化參數ΔQP0。又，該LCU內之右上方之4個編碼單元內之左上方的編碼單元10(Coding Unit 10)中分配有量子化參數ΔQP10。進而，該LCU內之右上方之4個編碼單元內之右上方的編碼單元11(Coding Unit 11)中分配有量子化參數ΔQP11。又，該LCU內之右上方之4個編碼單元內之左下方之編碼單元12(Coding Unit 12)中分配有量子化參數ΔQP12。進而，該LCU內之右上方之4個編碼單元內之右下方之編碼單元13(Coding Unit 13)中分配有量子化參數ΔQP13。
該LCU內之左下方之4個編碼單元內之左上方的編碼單元20(Coding Unit 20)中分配有量子化參數ΔQP20。進而，該LCU內之左下方之4個編碼單元內之右上方的編碼單元21(Coding Unit 21)中分配有量子化參數ΔQP21。又，該LCU內之左下方之4個編碼單元內之左下方的編碼單元22(Coding Unit 22)中分配有量子化參數ΔQP22。進而，該LCU內之左下方之4個編碼單元內之右下方的編碼單元23(Coding Unit 23)中分配有量子化參數ΔQP23。而且，該LCU內之右下方之編碼單元3(Coding Unit 3)中分配有量子化參數ΔQP3。
將於該LCU之前經處理之編碼單元之量子化參數設為PrevQP。進而，將該LCU內之左上方之編碼單元0(Coding Unit 0)設為該LCU內最先進行處理之編碼單元且為當前之處理對象。
當前之處理對象之編碼單元之量子化參數CurrentQP係如下式(12)般計算出。
CurrentQP=PrevQP+ΔQP0····(12)
將於編碼單元0之下一個進行處理之編碼單元設為圖16所示之LCU內之右上方之4個編碼單元內之左上方的編碼單元10(Coding Unit 10)。
若該編碼單元10成為處理對象，則當前之處理對象之編碼單元之量子化參數CurrentQP係如下式(13)及式(14)般計算出。
PrevQP=CurrentQP···(13)
CurrentQP=PrevQP+ΔQP10····(14)
如此，將分配至各編碼單元之量子化參數設為之前經編碼之編碼單元之量子化參數與當前之處理對象之量子化參數的差分值，藉此無需計算每個巨集區塊之量子化參數，故可更容易地進行量子化處理。
再者，於計算編碼結束之編碼單元之量子化參數與當前之處理對象之量子化參數之差分值的情形時，亦可計算與先於當前之處理對象之編碼單元進行編碼之編碼單元(於LCU內較之前經編碼之編碼單元更先進行編碼的編碼單元)的差分值。但較佳為獲得之前經編碼之編碼單元之量子化參數與當前之處理對象之量子化參數的差分值。
亦即，於計算之前經編碼之編碼單元之量子化參數與當前之處理對象之量子化參數的差分值時，預先僅將之前經編碼之編碼單元之量子化參數保存於記憶體便可，且以FIFO(First In First Out：先入先出)形式管理量子化參數便可。因此，於計算量子化參數之差分值 時，量子化參數之管理變得容易，所使用之記憶體量亦變少，故於安裝方面具有優點。
再者，每個上述編碼單元之量子化參數cu_qp_delta係例如圖17所示般於編碼單元之語法中被定義，並傳輸至解碼側。亦即，每個該編碼單元之量子化參數cu_qp_delta相當於上述量子化參數sub_qp_delta。
[圖像編碼裝置]
圖18係表示應用有本技術之圖像編碼裝置之主要構成例之區塊圖。圖18所示之圖像編碼裝置300係如上所述般針對每個編碼單元進行量子化參數cu_qp_delta之分配。
如圖18所示，圖像編碼裝置300具有與圖1之圖像編碼裝置100基本上相同之構成。但圖像編碼裝置300包括編碼單元量子化部305及速率控制部317以代替圖像編碼裝置100之量子化部105、速率控制部117、及子巨集區塊量子化部121。又，圖像編碼裝置300包括編碼單元反量子化部308以代替圖像編碼裝置100之反量子化部108及子巨集區塊反量子化部122。
速率控制部317根據儲存於儲存緩衝器107之壓縮圖像，控制編碼單元量子化部305之量子化動作之速率，以使得不會產生溢流或下溢。進而，速率控制部317將針對每個編碼單元表示圖像之複雜度之資訊提供至編碼單元量子化部305。編碼單元量子化部305使用上述活動率而針對每個編碼單元進行量子化。又，編碼單元量子化部305針對每個編碼單元計算量子化參數。編碼單元量子化部305將針對每個編碼單元予以量子化之正交轉換係數(係數資料)、與計算出之每個編碼單元之量子化參數供給至可逆編碼部106，進行編碼並傳輸。進而，編碼單元量子化部305亦將針對每個編碼單元予以量子化之正交轉換係數(係數資料)、與計算出之每個編碼單元之量子化參數提供至 編碼單元反量子化部308。
編碼單元反量子化部308使用自編碼單元量子化部305供給之每個編碼單元之量子化參數，針對每個編碼單元進行反量子化。編碼單元反量子化部308將針對每個編碼單元予以反量子化之正交轉換係數(係數資料)供給至逆正交轉換部109。關於編碼單元反量子化部308之詳情，稍後於圖像解碼裝置之說明中敍述。
[關於量子化之詳細之構成]
圖19係表示速率控制部317及編碼單元量子化部305之詳細之構成例之區塊圖。
如圖19所示，速率控制部317包括活動率計算部321及活動率緩衝器322。
活動率計算部321係自畫面重排緩衝器102取得編碼處理對象之圖像(處理對象之編碼單元)，並計算出表示像素值之分散之資訊即活動率以作為表示該圖像之複雜度之資訊。亦即，活動率計算部321針對每個編碼單元計算活動率。再者，量子化處理針對圖像整體進行便可，因此，例如僅SCU等，活動率之計算可僅針對一部分之編碼單元進行。
活動率緩衝器322保持藉由活動率計算部321而計算出之每個編碼單元之活動率，並以特定之時序將其提供至量子化部105。活動率緩衝器322保持例如1畫面之所取得之每個編碼單元之活動率。
活動率之計算方法為任意，例如可為與上述MPEG2 TestModel相同之方法。又，表示圖像之複雜度之資訊之內容亦為任意，亦可為除此種活動率以外之資訊。
編碼單元量子化部305包括編碼單元量子化值計算部331、圖片量子化參數計算部332、片量子化參數計算部333、編碼單元量子化參數計算部334、及編碼單元量子化部335。
編碼單元量子化值計算部331根據自速率控制部317供給之每個編碼單元之活動率(表示每個編碼單元之圖像之複雜度的資訊)，計算每個編碼單元之量子化值。上述每個編碼單元之量子化值可藉由與根據每個LCU之活動率計算出每個LCU之量子化值之情形相同的方法而計算出。再者，量子化處理針對圖像整體進行便可，因此，每個編碼單元之量子化值之計算亦可僅針對一部分之編碼單元進行。以下，作為一例，僅針對SCU而計算每個編碼單元之量子化值。
若針對各編碼單元求出量子化值，則編碼單元量子化值計算部331將上述每個編碼單元之量子化值供給至圖片量子化參數計算部332。
圖片量子化參數計算部332使用每個編碼單元之量子化值而求出每個圖片之量子化參數pic_init_qp_minus26。
片量子化參數計算部333使用每個編碼單元之量子化值而求出每個片之量子化參數slice_qp_delta。
編碼單元量子化參數計算部334使用之前的編碼時所使用之量子化參數prevQP而求出每個編碼單元之量子化參數cu_qp_delta。
圖片量子化參數計算部332至編碼單元量子化參數計算部334所產生之量子化參數被供給至可逆編碼部106而予以編碼，傳輸至解碼側，並且亦供給至編碼單元反量子化部308。
編碼單元量子化部335使用每個編碼單元之量子化值將處理對象之編碼單元之正交轉換係數量子化。
編碼單元量子化部335將針對每個編碼單元予以量子化之正交轉換係數供給至可逆編碼部106及編碼單元反量子化部308。
[編碼處理之流程]
圖像編碼裝置300與參照圖6而說明之圖1之圖像編碼裝置100之情形基本相同地進行編碼處理。
[量子化參數計算處理之流程]
參照圖20之流程圖，說明於上述編碼處理中執行之量子化參數計算處理之流程之例。
若開始量子化參數計算處理，則於步驟S531中，編碼單元量子化值計算部331取得自速率控制部317供給之每個編碼單元之活動率。
步驟S532中，編碼單元量子化值計算部331使用每個編碼單元之活動率而計算每個編碼單元之量子化值。
步驟S533中，圖片量子化參數計算部332使用於步驟S532中計算出之每個編碼單元之量子化值而求出量子化參數pic_init_qp_minus26。
步驟S534中，片量子化參數計算部333使用於步驟S532中計算出之每個編碼單元之量子化值而求出量子化參數slice_qp_delta。
步驟S535中，編碼單元量子化參數計算部334使用之前的編碼時所使用之量子化參數prevQP而求出每個編碼單元之量子化參數cu_qp_delta(圖16之ΔQP0至ΔQP23等)。
若以上述之方式求出各種量子化參數，則編碼單元量子化部305結束量子化參數計算處理，並進行編碼處理之後續之處理。
由於以上述方式進行編碼處理或量子化參數計算處理，故圖像編碼裝置300可針對每個編碼單元設定量子化值，且可根據圖像之內容而進行更適當之量子化處理。
又，由於將以如此方式計算出之量子化參數傳輸至圖像解碼裝置，故圖像編碼裝置300可進行如該圖像解碼裝置針對每個編碼單元進行反量子化之處理。
再者，圖像編碼裝置300所具有之編碼單元反量子化部308進行與對應於圖像編碼裝置300之圖像解碼裝置所具有之編碼單元反量子化部相同之處理。亦即，圖像編碼裝置300亦可針對每個編碼單元進 行反量子化。
[圖像解碼裝置]
圖21係表示應用本技術之圖像解碼裝置之主要構成例之區塊圖。圖21所示之圖像解碼裝置400對應於上述圖像編碼裝置300，將圖像編碼裝置300對圖像資料進行編碼而產生之編碼串流(編碼資料)正確地解碼而產生解碼圖像。
如圖21所示，圖像解碼裝置400基本上具有與圖8之圖像解碼裝置200相同之構成，並進行相同之處理。但圖像解碼裝置400包括編碼單元反量子化部403以代替圖像解碼裝置200之反量子化部203及子巨集區塊反量子化部221。
編碼單元反量子化部403使用自該圖像編碼裝置300供給之每個編碼單元之量子化參數等，將圖像編碼裝置300中針對每個編碼單元予以量子化之正交轉換係數反量子化。
圖22係表示編碼單元反量子化部403之主要構成例之區塊圖。如圖22所示，編碼單元反量子化部403包括量子化參數緩衝器411、正交轉換係數緩衝器412、編碼單元量子化值計算部413、及編碼單元反量子化處理部414。
自圖像編碼裝置300供給之編碼資料之圖片參數集、或片標頭等各層之量子化參數於可逆解碼部202中被解碼，並被供給至量子化參數緩衝器411。量子化參數緩衝器411適當地保持該量子化參數，並於特定之時序將其供給至編碼單元量子化值計算部413。
編碼單元量子化值計算部413使用自量子化參數緩衝器411供給之量子化參數，例如式(36)至式(39)般針對各編碼單元計算量子化值，並將該量子化值供給至編碼單元反量子化處理部414。
又，可逆解碼部202中，對自圖像編碼裝置300供給之編碼資料進行解碼而獲得之經量子化之正交轉換係數被供給至正交轉換係數緩 衝器412。正交轉換係數緩衝器412適當地保持該經量子化之正交轉換係數，並以特定之時序將其供給至編碼單元反量子化處理部414。
編碼單元反量子化處理部414使用自編碼單元量子化值計算部413供給之每個編碼單元之量子化值，將自正交轉換係數緩衝器412供給之經量子化之正交轉換係數反量子化。編碼單元反量子化處理部414將藉由反量子化而獲得之正交轉換係數供給至逆正交轉換部204。
如上所述，編碼單元反量子化部403可使用針對每個編碼單元計算出之量子化值而進行反量子化處理。藉此，圖像解碼裝置400可根據圖像之內容進行適當之反量子化處理。尤其是，於巨集區塊尺寸得以擴展(LCU之尺寸較大)且單一之LCU內包含平坦之區域與含有紋理之區域之兩者的情形時，圖像解碼裝置400亦可進行適合於各區域之適應反量子化處理，從而抑制解碼圖像之主觀畫質之劣化。
再者，圖18所示之圖像編碼裝置300之編碼單元反量子化部308亦具有與上述編碼單元反量子化部403相同之構成，且進行相同之處理。但編碼單元反量子化部308取得自編碼單元量子化部305供給之量子化參數、與經量子化之正交轉換係數，從而進行反量子化。
[解碼處理之流程]
圖像解碼裝置400與參照圖10之流程圖而說明之圖8之圖像解碼裝置200之情形基本相同地進行解碼處理。
[反量子化處理之流程]
參照圖23之流程圖，說明於上述圖像解碼裝置400之解碼處理中執行之反量子化處理之流程之例。
若開始反量子化處理，則量子化參數緩衝器411於步驟S631中取得自可逆解碼部202供給之量子化參數pic_init_qp_ninus26。
步驟S632中，量子化參數緩衝器411取得自可逆解碼部202供給之量子化參數slice_qp_delta。
步驟S633中，量子化參數緩衝器411取得自可逆解碼部202供給之量子化參數cu_qp_delta。
步驟S634中，編碼單元量子化值計算部413使用藉由步驟S631至步驟S633之處理而取得之各種量子化參數、及之前所使用之量子化參數PrevQP而計算每個編碼單元之量子化值。
步驟S635中，編碼單元反量子化處理部414使用藉由步驟S634之處理而計算出之每個編碼單元之量子化值，將保持於正交轉換係數緩衝器412之經量子化之正交轉換係數反量子化。
若步驟S635之處理結束，則編碼單元反量子化部403將處理返回至解碼處理，執行其後之處理。
如上所述，藉由進行解碼處理及反量子化處理，圖像解碼裝置400可使用針對每個編碼單元計算出之量子化值而進行反量子化處理，可根據圖像之內容而進行適當之反量子化處理。
如以上所說明般，為了減少每個編碼單元(子巨集區塊)之量子化參數之編碼量，並非傳輸量子化參數SubMB_QP本身，而係求出特定之量子化參數與量子化參數SubMB_QP之差分值dQP(量子化參數submb_qp_delta)，並傳輸該差分值dQP。以上，作為該量子化參數dQP之計算方法，對下式(15)及式(16)所示之2種方法進行了說明。
dQP=CurrentQP-LCUQP···(15)
dQP=CurrentQP-PreviousQP···(16)
式(15)及式(16)中，CurrentQP為處理對象之編碼單元(CU)之量子化參數。又，LCUQP為處理對象之CU所屬之LCU(亦即處理對象之LCU)之量子化參數。進而，PreviousQP係於當前之處理對象之CU之前經處理的CU之量子化參數。
亦即，於式(15)之情形時，傳輸處理對象之LCU之量子化參數與處理對象之CU之量子化參數的差分值。又，於式(16)之情形時，傳輸 之前經處理之CU之量子化參數與當前之處理對象之CU之量子化參數的差分值。
如此之傳輸用之量子化參數dQP之計算方法為任意，亦可為除上述2例以外者。
例如，亦可如下式(17)所示，傳輸處理對象之CU所屬之片(亦即處理對象之片)之量子化參數SliceQP與處理對象之CU之量子化參數的差分值。
dQP=CurrentQP-SliceQP···(17)
量子化參數CurrentQP係可藉由例如圖19之編碼單元量子化參數計算部334對編碼單元量子化值計算部331計算出之處理對象之CU之量子化值進行轉換而獲得。又，量子化參數SliceQP係可例如圖19之片量子化參數計算部333使用圖片量子化參數計算部332所求出之量子化參數pic_init_qp_minus26、及片量子化參數計算部333本身所求出之量子化參數slice_qp_delta而求出。
因此，例如，圖19之編碼單元量子化參數計算部334可使用該等值而求出量子化參數dQP。編碼單元量子化參數計算部334將該量子化參數dQP供給至可逆編碼部106，並傳輸至解碼側。
關於量子化參數pic_init_qp_minus26及量子化參數slice_qp_delta，例如於「Test Model Under Consideration」(JCTVC-B205)中被定義，且能夠以與先前之編碼方式相同之方法加以設定。
於解碼側，可根據自編碼側傳輸之量子化參數dQP求出CU之量子化參數。
例如，編碼單元量子化值計算部413根據量子化參數dQP如下式(18)般求出CU之量子化參數SubMB_QP，並對該量子化參數SubMB_QP進行轉換，藉此而求出量子化值。
SubMB_QP=Clip(minQP,maxQP,SliceQP+submb_qp_delta)···(18)
式(18)中，minQP為預先定義之最小之量子化參數，maxQP為預先定義之最大之量子化參數。
如上所述，於為求出量子化參數dQP而使用量子化參數SliceQP之情形時，亦可與上述2種方法之情形相同地，進行量子化．反量子化。亦即，不僅可根據圖像之內容而進行適當之量子化．反量子化，亦可減少量子化參數之編碼量。
將比較該等各方法之處理之特徵的表於圖24中表示。圖24所示之表中，最上方之方法(稱為第1方法)係使用LCU之量子化參數而求出量子化參數dQP之方法。自上方起第2個方法(稱為第2方法)係使用於處理對象之CU之前經處理之CU之量子化參數而求出量子化參數dQP之方法。而且，最下方之方法(稱為第3方法)係使用處理對象之片之量子化參數而求出量子化參數dQP之方法。
圖24之表係比較作為各方法之特徵的管線處理之操作容易度與編碼效率。如圖24之表所示，相較第2方法，第1方法之管線處理較容易。又，相較第1方法，第3方法之管線處理較容易。進而，相較第3方法，第1方法之編碼效率較佳。又，相較該第1方法，第2方法之編碼效率較佳。
亦即，一般而言，越為接近於該處理對象區域之區域，與處理對象區域(編碼單元或子巨集區塊等)之關聯性越高。因此，可利用更接近於處理對象區域之區域而求出量子化參數dQP，藉此使量子化參數dQP之編碼效率進一步提高。
但一般而言，越為遠離處理對象區域之區域，處理順序越靠前。因此，直至處理對象區域被處理為止之時間變長。亦即，相對於處理延遲等之容許時間變長。因此，藉由利用更遠離處理對象區域之區域求出量子化參數dQP而難以產生延遲，從而對管線處理有利。
如上所述，各方法具有彼此不同之特徵，因此，何種方法更為 適合係根據優先條件而不同。再者，亦可選擇各方法。該選擇方法為任意。例如，亦可為例如使用者等預先規定應用何種方法。又，例如亦可根據任意之條件(例如每個任意之處理單位或於任意之事件產生時等)，而適應性地選擇任一方法。
又，於適應性地選擇任一方法之情形時，可產生表示選擇了何種方法之旗標資訊，並將該旗標資訊自編碼側(量子化側)傳輸至解碼側(反量子化側)。於該情形時，解碼側(反量子化側)可藉由參照該旗標資訊而選擇與編碼側(量子化側)相同之方法。
又，量子化參數dQP之計算方法為任意，亦可為除上述以外者。所要準備之計算方法之數量亦為任意。又，亦可將該數量設為可變。又，亦可將定義量子化參數dQP之資訊自編碼側(量子化側)傳輸至解碼側(反量子化側)。
考慮上述各方法之特徵，而例示量子化參數之差分值之計算方法。圖25表示LCU與CU之構成之一例。(編號)表示編碼單元之編碼(解碼)之處理順序。
LCU(0)中，編碼單元之編碼順序如下所述：
CU(0)
→CU(10)→CU(11)→CU(12)→CU(13)
→CU(20)→CU(21)
→CU(30)→CU(31)→CU(32)→CU(33)
→CU(23)
→CU(3)
於該情形時，量子化參數之差分值如下：LCU內之前導之編碼單元CU(0)使用式(17)而傳輸CU(0)所屬之片(亦即處理對象之片)之量子化參數SliceQP與處理對象之CU(0)之量子化參數的差分值。
dQP(CU(0))=CurrentQP(CU0)-SliceQP
繼而，LCU內之前導以外之編碼單元CU(10)至CU(3)係使用式(16)而傳輸處理對象之CU之量子化參數(CurrentCU)與之前經編碼之CU(PrevisousCU)的差分值。
dQP=CurrentQP(CUi)-PreviousQP(CUi-1)
亦即，若使用圖25進行說明，則量子化參數之差分值如下：
dQP(CU(10))=CurrentQP(CU(10))-PrevisouQP(CU(0))
dQP(CU(11))=CurrentQP(CU(11))-PrevisouQP(CU(10))
dQP(CU(12))=CurrentQP(CU(12))-PrevisouQP(CU(11))
dQP(CU(13))=CurrentQP(CU(13))-PrevisouQP(CU(12))
dQP(CU(20))=CurrentQP(CU(20))-PrevisouQP(CU(13))
dQP(CU(21))=CurrentQP(CU(21))-PrevisouQP(CU(20))
dQP(CU(30))=CurrentQP(CU(30))-PrevisouQP(CU(21))
dQP(CU(31))=CurrentQP(CU(31))-PrevisouQP(CU(30))
dQP(CU(32))=CurrentQP(CU(32))-PrevisouQP(CU(31))
dQP(CU(33))=CurrentQP(CU(33))-PrevisouQP(CU32))
dQP(CU(23))=CurrentQP(CU(23))-PrevisouQP(CU33))
dQP(CU(3))=CurrentQP(CU(3))-PrevisouQP(CU23)
針對其他LCU(1)至LCU(N)，亦相同計算．傳輸量子化參數之差分值。
如此，藉由計算．傳輸量子化參數之差分值，採用各方法之特徵之優點(◎)，藉此可同時兼顧管線處理之操作容易度與編碼效率。
再者，就安裝方面之觀點而言，於在LUC內進行閉合控制之情形時，只要LCU內之前導之編碼單元CU(0)使用式(15)計算出量子化參數之差分值便可。
再者，以上所說明之量子化參數dQP無需對所有編碼單元設定， 僅對欲設定與LCUQP、PreviousQP、SliceQP等成為基準之量子化參數不同之值之CU進行設定便可。
因此，例如於片標頭(SliceHeader)，亦可追加稱為MinCUForDQPCoded之語法。
圖26係表示片標頭之語法之例之圖。各列之左端之數字係為便於說明而標註之列號。
圖26之例中，第22列設定有MinCUForDQPCoded。該MinCUForDQPCoded指定設定dQP之最小CU尺寸。例如，即便CU之最小尺寸為8×8，於指定為MinCUForDQPCoded=16之情形時，圖像編碼裝置300之編碼單元量子化參數計算部334亦僅針對16×16以上之尺寸之CU設定dQP，不會對8×8之CU設定dQP。亦即，於該情形時，傳輸16×16以上之尺寸之CU之dQP。再者，MinCUForDQPCoded亦可作為自編碼(解碼)時所設定之CU尺寸(4×4，8×8，16×16，32×32等)中識別(選擇)出設定dQP之最小CU尺寸之旗標(例如0：4×4；1：8×8；2：16×16等)而設定，以此作為指定設定dQP之最小CU尺寸之方法。
例如，若製作編碼器之人員僅期待16×16尺寸之CU內之控制，則8×8尺寸之CU內必需全部以0傳輸dQP，由此會產生編碼效率降低之虞。
因此，藉由設定如此之語法MinCUForDQPCoded，可於此種情形時省略8×8尺寸之CU之dQP之傳輸，從而抑制編碼效率之降低。
圖像解碼裝置400之編碼單元量子化值計算部413根據如此之語法，掌握未傳輸8×8之CU之dQP之情況，使用LCUQP、PreviousQP、SliceQP等成為基準之量子化參數計算量子化值。
再者，MinCUForDQPCoded亦可儲存於除片標頭以外者。例如，可儲存於圖片參數集(PictureParameterSet)。藉由儲存於片標頭或圖片參數集，可應對例如場景轉換(scene change)後變更該值等操作。
但更理想的是，藉由將MinCUForDQPCoded儲存於片標頭，亦可應對使圖片多片化且針對每個片平行地處理之情形。
<5.第5實施形態> [概要]
以上，說明了將每個子巨集區塊(小於LCU之編碼單元)之量子化參數自圖像編碼裝置傳輸至圖像解碼裝置，於該情形時，圖像解碼裝置亦必需可取得每個上述子巨集區塊(小於LCU之編碼單元)之量子化參數，並使用該量子化參數而針對每個子巨集區塊(小於LCU之編碼單元)進行量子化。
因此，圖像編碼裝置係針對每個子巨集區塊(小於LCU之編碼單元)而進行量子化處理，但量子化參數之設定可針對每個巨集區塊(LCU)而進行，且將該每個該巨集區塊(LCU)之量子化參數提供至圖像解碼裝置。
例如，於圖像編碼裝置藉由上述TestMode15而計算各巨集區塊(LCU)之活動率時，即便巨集區塊(LCU)之大小為64×64或128×128，亦以小於該巨集區塊(LCU)之8×8或16×16等區塊(編碼單元)為單位計算活動率。
而且，圖像編碼裝置係基於上述各8×8或16×16區塊單位之活動率，而根據TestMode15之方法來確定8×8區塊或16×16區塊單位之量子化參數值。
但，量子化參數係針對每個巨集區塊(LCU)予以設定。
例如，如圖27所示般設LCU(巨集區塊)之尺寸為64×64像素。設為當圖像編碼裝置相對於該LCU而針對每個16×16之編碼單元計算活動率並計算量子化參數時，各編碼單元(區塊)之活動率成為QP00至QP33。
於AVC之情形時，量子化參數QP係以如圖28所示例如自6至12般 當該值增加6時進行2倍左右之量子化處理之方式進行設計。
又，尤其於更低之位元率、即更高之QP中，色差訊號之劣化顯著。因此，相對於與亮度訊號相對應之量子化參數QPY，預先定義與色差訊號相對應之預設之量子化參數QPC。
使用者可藉由設定圖像壓縮資訊中所含之與ChromaQPOffset相關之資訊而控制該關係。
相對於此，於本實施形態之情形時，作為第1步驟，圖像編碼裝置係如下式(19)般確定相對於巨集區塊之量子化參數QPMB。
作為第2步驟，使用QP00至QP33之值進行各區塊之量子化處理。其結果為，各區塊中，將成為非0(zero，零)之係數之位置記憶於記憶體。
作為第3步驟，使用QPMB之值而進行各區塊之量子化處理。
作為第4步驟，僅將藉由第3步驟而獲得之非0之中於第2步驟中亦為非0係數之係數位置之值作為編碼資訊傳輸至可逆編碼資訊。
藉由進行上述處理，雖作為傳輸至圖像壓縮資訊之量子化參數僅為QPMB，但由於虛擬地使用QP00至QP33之值而對各區塊進行處理，故可實現適應量子化，使成為輸出之圖像壓縮資訊之主觀畫質提高。
[圖像編碼裝置]
圖29係表示應用有本技術之圖像編碼裝置之主要構成例之區塊圖。如圖29所示，該情形時之圖像編碼裝置500具有與圖1之圖像編碼裝置100基本相同之構成，且進行相同之處理。
但圖像編碼裝置500包括速率控制部317、編碼單元量子化部 504、及量子化部505以代替圖像編碼裝置100之量子化部105、速率控制部117、及子巨集區塊量子化部121。
又，相對於圖1之圖像編碼裝置100於反量子化部108之基礎上亦包括子巨集區塊反量子化部122，圖像編碼裝置500僅包括反量子化部108。亦即，反量子化處理係與先前之AVC等相同地針對每個LCU(巨集區塊)而進行。該情形即便於與上述圖像編碼裝置500相對應之圖像解碼裝置中亦相同。
編碼單元量子化部504使用藉由速率控制部317而求出之每個編碼單元之活動率，針對每個編碼單元(例如SCU)進行量子化。
量子化部505求出每個LCU之量子化參數，並使用該量子化參數而進行各編碼單元之量子化。繼而，量子化部505將編碼單元量子化部504所求出之各編碼單元之經量子化之正交轉換係數中非零之係數和與該非零之係數處於相同位置之藉由量子化部505而產生的量子化處理結果(經量子化之正交轉換係數)進行置換。
進行該置換之結果係作為量子化結果而供給至可逆編碼部106及反量子化部108。又，藉由量子化部505而計算出之每個LCU之量子化參數係供給至可逆編碼部106及反量子化部108。
反量子化部108及圖像解碼裝置之反量子化部(未圖示)係與先前之AVC等之情形相同地，使用上述每個LCU之量子化參數而進行反量子化。
[速率控制部、編碼單元量子化部、量子化部之構成]
圖30係表示圖29之速率控制部、編碼單元量子化部、及量子化部之詳細之構成例的區塊圖。
如圖30所示，編碼單元量子化部504包括編碼單元量子化參數確定部511、編碼單元量子化處理部512、及非零係數位置緩衝器513。
編碼單元量子化參數確定部511使用自速率控制部317之活動率緩 衝器322供給之每個較LCU為下位層之編碼單元(例如SCU)之活動率，針對每個較LCU為下位層之編碼單元(例如SCU)而確定量子化參數CU_QP。編碼單元量子化參數確定部511將上述每個編碼單元之量子化參數CU_QP供給至編碼單元量子化處理部512、及量子化部505之LCU量子化參數確定部522。
編碼單元量子化處理部512使用自編碼單元量子化參數確定部511供給之每個編碼單元之量子化參數CU_QP，針對每個較LCU為下位層之編碼單元(例如SCU)，將自量子化部505之正交轉換係數緩衝器521供給之正交轉換係數量子化。編碼單元量子化處理部512將藉由該量子化而獲得之每個編碼單元之經量子化之正交轉換係數中值不為零(為非零係數)之編碼單元之位置供給至非零係數位置緩衝器513並加以保持。
非零係數位置緩衝器513於特定之時序將保持之非零係數之位置供給至量子化部505之係數置換部524。
如圖30所示，量子化部505包括正交轉換係數緩衝器521、LCU量子化參數確定部522、LCU量子化處理部523、及係數置換部524。
正交轉換係數緩衝器521保持自正交轉換部104供給之正交轉換係數，並以特定之時序，將保持之正交轉換係數供給至編碼單元量子化處理部512及LCU量子化處理部523。
LCU量子化參數確定部522係如上式(19)般，將自編碼單元量子化參數確定部511供給之每個編碼單元之量子化參數CU_QP於其LCU內之最小值確定為每個LCU之量子化參數LCU_QP。LCU量子化參數確定部522將上述每個LCU之量子化參數LCU_QP(處理對象LCU內之CU_QP之最小值)供給至LCU量子化處理部523。
LCU量子化處理部523使用自LCU量子化參數確定部522供給之每個LCU之量子化參數LCU_QP，針對每個較LCU為下位層之編碼單元 (例如SCU)將自正交轉換係數緩衝器521供給之正交轉換係數量子化。LCU量子化處理部523將藉由該量子化而獲得之每個編碼單元之經量子化之正交轉換係數供給至係數置換部524。
係數置換部524將藉由LCU量子化處理部523而量子化之正交轉換係數之值不為零之係數(非零係數)中與自非零係數位置緩衝器513供給之非零係數之位置不同之位置的係數置換為零。
亦即，係數置換部524於使用針對每個較LCU為下位層之編碼單元而確定之量子化參數CU_QP之量子化、與使用針對每個LCU而確定之量子化參數LCU_QP之量子化之兩者中，僅針對所獲得之量子化結果之值非零之(較LCU為下位層之)編碼單元，採用該量子化結果之值作為經量子化之正交轉換係數。相對於此，針對其他之(較LCU為下位層之)編碼單元，係數置換部524係將經量子化之正交轉換係數之值全部設為零。
係數置換部524將以上述之方式適當地進行值之置換之經量子化之正交轉換係數與針對每個LCU而決定之量子化參數LCU_QP一併供給至可逆編碼部106及反量子化部108。
可逆編碼部106對所供給之係數資料或量子化參數進行編碼，並供給至與圖像編碼裝置500相對應(可對藉由圖像編碼裝置500而產生之編碼資料進行解碼)之圖像解碼裝置。該圖像解碼裝置係與先前之AVC等相同地，使用自圖像編碼裝置500供給之每個LCU之量子化參數LCU_QP而進行反量子化。
反量子化部108亦相同地，使用自係數置換部524供給之每個LCU之量子化參數LCU_QP，進行自係數置換部524供給之係數資料之反量子化。
再者，上述反量子化部108之構成具有與參照圖10而說明之反量子化部203基本相同之構成。但於反量子化部108之情形時，反量子化 處理部253使用自量子化參數緩衝器251供給之量子化參數(每個LCU之量子化參數LCU_QP)，將自正交轉換係數緩衝器252供給之經量子化之正交轉換係數反量子化。
[編碼處理之流程]
繼而，參照圖31之流程圖來說明藉由上述圖像編碼裝置500而執行之編碼處理之流程之例。於該情形時，編碼處理之各處理係與參照圖7之流程圖而說明之編碼處理之各處理基本相同地進行。
亦即，與圖7之步驟S101至步驟S104之各處理相同地，進行步驟S701至步驟S704之各處理。但進行步驟S705之量子化處理以代替圖7之步驟S105及步驟S106。又，與步驟S106至步驟S117之各處理相同地，進行步驟S706至步驟S716之各處理。
[量子化處理之流程]
繼而，參照圖32之流程圖說明圖31之步驟S705中所執行之量子化處理之流程之例。
若開始量子化處理，則於步驟S731中，活動率計算部321計算每個編碼單元之活動率。
步驟S732中，編碼單元量子化參數確定部511確定以較LCU為下位層之編碼單元為單位之量子化參數CU_QP。
步驟S733中，LCU量子化參數決定部522決定以LCU為單位之量子化參數LCU_QP。
步驟S734中，編碼單元量子化處理部512使用以較LCU為下位層之編碼單元為單位之量子化參數CU_QP而進行量子化。
步驟S735中，非零係數位置緩衝器513保持藉由步驟S734之量子化處理而產生之非零係數之位置。
步驟S736中，LCU量子化處理部523使用以LCU為單位之量子化參數LCU_QP而進行量子化。
步驟S737中，係數置換部524將處於與藉由步驟S735之處理而得以保持之非零係數之位置不同之位置的較LCU為下位層之編碼單元的經量子化之正交轉換係數之值置換為零。
若置換結束，則量子化處理得以結束，將處理返回至圖31之步驟S705，執行自步驟S706之後之處理。
如上所述，於將基於使用經擴展之巨集區塊之編碼方式之圖像壓縮資訊作為輸出的圖像資訊編碼裝置以及將該圖像壓縮資訊作為輸入的圖像資訊解碼化裝置中，虛擬地進行以較LCU為下位層之編碼單元(子巨集區塊)為單位之量子化處理，藉此，即便於單一LCU(巨集區塊)內混合存在平坦之區域與紋理區域之情形時，亦可進行基於各自之特性的適應量子化，從而可提高主觀畫質。
<6.第6實施形態> [對多視點圖像編碼．多視點圖像解碼之應用]
上述一系列處理可應用於多視點圖像編碼．多視點圖像解碼。圖33表示多視點圖像編碼方式之一例。
如圖33所示，多視點圖像包含複數個視點之圖像，該複數個視點中特定之1個視點之圖像被指定為基礎視點(base view)之圖像。除基礎視點之圖像以外之各視點之圖像被作為非基礎視點(non-base view)之圖像來處理。
於進行如圖33之多視點圖像編碼之情形時，亦可於各視點(同一視點)中取得量子化參數之差分：
(1)base-view：
(1-1)dQP(base view)=Current_CU_QP(base view)-LCU_QP(base view)
(1-2)dQP(base view)=Current_CU_QP(base view)-Previsous_CU_QP(base view)
(1-3)dQP(base view)=Current_CU_QP(base view)-Slice_QP(base view)
(2)non-base-view：
(2-1)dQP(non-base view)=Current_CU_QP(non-base view)-LCU_QP(non-base view)
(2-2)dQP(non-base view)=CurrentQP(non-base view)-PrevisousQP(non-base view)
(2-3)dQP(non-base view)=Current_CU_QP(non-base view)-Slice_QP(non-base view)
於進行多視點圖像編碼之情形時，亦可於各視點(不同視點)中取得量子化參數之差分：
(3)base-view/non-base view：
(3-1)dQP(inter-view)=Slice_QP(base view)-Slice_QP(non-base view)
(3-2)dQP(inter-view)=LCU_QP(base view)-LCU_QP(non-base view) (4)non-base view/non-base view：
(4-1)dQP(inter-view)=Slice_QP(non-base view i)-Slice_QP(non-base view j)
(4-2)dQP(inter-view)=LCU_QP(non-base view i)-LCU_QP(non-base view j)
於該情形時，亦可組合上述(1)至(4)而使用。例如於非基礎視點方面，考慮於基礎視點與非基礎視點之間以片級取得量子化參數之差分之方法(組合3-1及2-3)、以及於基礎視點與非基礎視點之間以LCU級取得量子化參數之差分之方法(組合3-2及2-1)。如此，於藉由重複應用差分而進行多視點編碼之情形時，亦可提高編碼效率。
與上述方法相同地，亦可對上述各dQP設置識別是否存在值不為0之dQP之旗標。
[多視點圖像編碼裝置]
圖34係表示進行上述多視點圖像編碼之多視點圖像編碼裝置之圖。如圖34所示，多視點圖像編碼裝置600包括編碼部601、編碼部602、及多工化部603。
編碼部601對基礎視點圖像進行編碼，從而產生基礎視點圖像編碼串流。編碼部602對非基礎視點圖像進行編碼，從而產生非基礎視點圖像編碼串流。多工化部603將編碼部601中所產生之基礎視點圖像編碼串流、及編碼部602中所產生之非基礎視點圖像編碼串流多工化，從而產生多視點圖像編碼串流。
可將圖像編碼裝置100(圖1)、圖像編碼裝置300(圖18)、或圖像編碼裝置500(圖29)應用於上述多視點圖像編碼裝置600之編碼部601及編碼部602。於該情形時，多視點圖像編碼裝置600對編碼部601所設定之量子化參數與編碼部602所設定之量子化參數的差分值進行設定並傳輸。
[多視點圖像解碼裝置]
圖35係表示進行上述多視點圖像解碼之多視點圖像解碼裝置之圖。如圖35所示，多視點圖像解碼裝置610包括解多工化部611、解碼部612、及解碼部613。
解多工化部611將基礎視點圖像編碼串流及非基礎視點圖像編碼串流經多工化之多視點圖像編碼串流解多工化，並抽取基礎視點圖像編碼串流及非基礎視點圖像編碼串流。解碼部612對藉由解多工化部611而抽取之基礎視點圖像編碼串流進行解碼，從而獲得基礎視點圖像。解碼部613對藉由解多工化部611而抽取之非基礎視點圖像編碼串流進行解碼，從而獲得非基礎視點圖像。
可將圖像解碼裝置200(圖9)或圖像解碼裝置400(圖21)應用於上述多視點圖像解碼裝置610之解碼部612及解碼部613。於該情形時，多視點圖像解碼裝置610根據編碼部601所設定之量子化參數與編碼部602所設定之量子化參數的差分值而設定量子化參數，並進行反量子化。
<7.第7實施形態> [對階層圖像點編碼．階層圖像解碼之應用]
上述一系列處理可應用於階層圖像編碼．階層圖像解碼。圖36表示多視點圖像編碼方式之一例。
如圖36所示，階層圖像包含複數個階層(解像度)之圖像，該複數個解像度中特定之1個階層之圖像被指定為基礎階層(base layer)之圖像。除基礎階層之圖像以外之各階層之圖像被作為非基礎階層(non-base layer)之圖像來處理。
於進行如圖36之階層圖像編碼(空間可調能力)之情形時，亦可於各階層(同一階層)中取得量子化參數之差分：
(1)base-layer：
(1-1)dQP(base layer)=Current_CU_QP(base layer)-LCU_QP(base layer)
(1-2)dQP(base layer)=Current_CU_QP(base layer)-Previsous_CU_QP(base layer)
(1-3)dQP(base layer)=Current_CU_QP(base layer)-Slice_QP(base layer)
(2)non-base-layer：
(2-1)dQP(non-base layer)=Current_CU_QP(non-base layer)-LCU_QP(non-base layer)
(2-2)dQP(non-base layer)=CurrentQP(non-base layer)-PrevisousQP(non-base layer)
(2-3)dQP(non-base layer)=Current_CU_QP(non-base layer)-Slice_QP(non-base layer)
於進行階層編碼之情形時，亦可於各階層(不同階層)中取得量子化參數之差分：
(3)base-layer/non-base layer：
(3-1)dQP(inter-layer)=Slice_QP(base layer)-Slice_QP(non-base layer)
(3-2)dQP(inter-layer)=LCU_QP(base layer)-LCU_QP(non-base layer)
(4)non-base layer/non-base layer：
(4-1)dQP(inter-layer)=Slice_QP(non-base layer i)-Slice_QP(non-base layer j)
(4-2)dQP(inter-layer)=LCU_QP(non-base layer i)-LCU_QP(non-base layer j)
於該情形時，亦可組合上述(1)至(4)而使用。例如於非基礎階層方面，考慮於基礎階層與非基礎階層之間以片級取得量子化參數之差分之方法(組合3-1及2-3)以及於基礎階層與非基礎階層之間以LCU級取得量子化參數之差分之方法(組合3-2及2-1)。如此，於藉由重複應用差分而進行階層編碼之情形時，亦可提高編碼效率。
與上述方法相同地，亦可對上述各dQP設置識別是否存在值不為0之dQP之旗標。
[階層圖像編碼裝置]
圖37係表示進行上述階層圖像編碼之階層圖像編碼裝置之圖。如圖37所示，階層圖像編碼裝置620包括編碼部621、編碼部622、及多工化部623。
編碼部621對基礎階層圖像進行編碼，從而產生基礎階層圖像編碼串流。編碼部622對非基礎階層圖像進行編碼，從而產生非基礎階層圖像編碼串流。多工化部623將編碼部621中所產生之基礎階層圖像編碼串流、及編碼部622中所產生之非基礎階層圖像編碼串流多工化，從而產生階層圖像編碼串流。
可將圖像編碼裝置100(圖1)、圖像編碼裝置300(圖18)、或圖像編碼裝置500(圖29)應用於上述階層圖像編碼裝置620之編碼部621及編碼部622。於該情形時，階層圖像編碼裝置600對編碼部621所設定之量子化參數與編碼部622所設定之量子化參數的差分值進行設定並傳輸。
[階層圖像解碼裝置]
圖38係表示進行上述階層圖像解碼之階層圖像解碼裝置之圖。 如圖38所示，階層圖像解碼裝置630包括解多工化部631、解碼部632、及解碼部633。
解多工化部631將基礎階層圖像編碼串流及非基礎階層圖像編碼串流經多工化之階層圖像編碼串流解多工化，並抽取基礎階層圖像編碼串流、及非基礎階層圖像編碼串流。解碼部632對藉由解多工化部631而抽取之基礎階層圖像編碼串流進行解碼，從而獲得基礎階層圖像。解碼部633對藉由解多工化部631而抽取之非基礎階層圖像編碼串流進行解碼，從而獲得非基礎階層圖像。
可將圖像解碼裝置200(圖9)或圖像解碼裝置400(圖21)應用於上述階層圖像解碼裝置630之解碼部632及解碼部633。於該情形時，階層圖像解碼裝置630根據編碼部631所設定之量子化參數與編碼部632所設定之量子化參數的差分值而設定量子化參數，進行反量子化。
<8.第8實施形態> [電腦]
上述一系列處理既可藉由硬體而執行，亦可藉由軟體而執行。於該情形時，例如可作為如圖39所示之電腦而構成。
圖39中，個人電腦700之CPU(Central Processing Unit，中央處理單元)701按照記憶於ROM(Read Only Memory，唯讀記憶體)702之程式、或自記憶部713載入至RAM(Random Access Memory，隨機存取記憶體)703之程式而執行各種處理。又，RAM703中亦適當地記憶有於CPU701執行各種之處理之方面所必需之資料等。
CPU701、ROM702、及RAM703經由匯流排704而相互連接。於該匯流排704亦連接有輸入輸出介面710。
於輸入輸出介面710連接有：包含鍵盤、滑鼠等之輸入部711；包含含有CRT(Cathode Ray Tube，陰極射線管)或LCD(Liquid Crystal Display，液晶顯示器)等之顯示器、及揚聲器等之輸出部712；包含硬 碟等之記憶部713；及包含數據機等之通訊部714。通訊部714進行經由包括網際網路之網路之通訊處理。
亦視需要而於輸入輸出介面710連接有驅動器715，且適當地安裝有磁碟、光碟、磁光碟、或半導體記憶體等可移動媒體721，自其等讀出之電腦程式視需要安裝(install)於記憶部713。
於藉由軟體而執行上述一系列處理之情形時，構成該軟體之程式係自網路或記錄媒體而安裝。
該記錄媒體係例如圖39所示，不僅由與裝置本體分開地為向使用者發送程式而散佈的包括記錄有程式之磁碟(包括軟碟)、光碟(包括CD-ROM(Compact Disc-Read Only Memory，唯讀光碟)及DVD(Digital Versatile Disc，數位多功能光碟))、磁光碟(包括MD(Mini Disc，迷你磁碟))、或半導體記憶體等可移動媒體721所構成，亦由於預先組裝於裝置本體之狀態下發送至使用者的記錄有程式之ROM702、及記憶部713中所含之硬碟等所構成。
再者，電腦所執行之程式既可為按照本說明書所說明之順序沿時間序列進行處理之程式，亦可為平行地或者於進行呼叫(calling)時等必要之時序進行處理之程式。
又，本說明書中，記述記錄媒體中所記錄之程式之步驟包括按照所記載之順序而沿時間序列進行之處理一事自不必言，此外亦包括即便不一定沿時間序列進行處理亦平行地或者單獨地執行之處理。
又，本說明書中，所謂系統係表示包含複數個器件(裝置)之裝置整體。
又，亦可對以上作為1個裝置(或處理部)而說明之構成進行分割以構成為複數個裝置(或處理部)。亦可相反地，集中以上作為複數個裝置(或處理部)而說明之構成而構成為1個裝置(或處理部)。又，當然亦可對各裝置(或各處理部)之構成附加除上述以外之構成。進而，只 要作為系統整體之構成或動作實質上相同，則亦可使某個裝置(或處理部)之構成之一部分包含於其他裝置(或其他處理部)之構成中。亦即，本技術之實施形態並不限定於上述實施形態，可於不脫離本技術之主旨之範圍內進行各種變更。
上述實施形態之圖像編碼裝置100(圖1)、圖像編碼裝置300(圖18)、圖像編碼裝置500(圖29)、多視點圖像編碼裝置600(圖34)、階層圖像編碼裝置620(圖37)、圖像解碼裝置200(圖9)、圖像解碼裝置400(圖21)、多視點圖像解碼裝置610(圖35)、以及階層圖像解碼裝置630(圖38)可應用於於衛星廣播、有線電視等有線廣播、網際網路上之發送及向蜂窩通訊終端之發送等中之傳送機或接收機、光碟、磁碟及快閃記憶體等媒體中記錄圖像之記錄裝置、或由該等記憶媒體再生圖像之再生裝置等各種電子機器。以下，對4個應用例進行說明。
[電視裝置]
圖40表示應用有上述實施形態之電視裝置之概略性構成之一例。電視裝置900包括天線901、調諧器902、解多工器903、解碼器904、影像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902自經由天線901而接收之廣播訊號中抽取所需之通道之訊號，並對所抽取之訊號進行解調。繼而，調諧器902將藉由解調而獲得之編碼位元串流輸出至解多工器903。即，調諧器902具有作為接收對圖像進行編碼之編碼串流的電視裝置900中之傳輸機構之作用。
解多工器903自編碼位元串流中分離視聽對象之節目之影像串流及聲音串流，並將所分離之各串流輸出至解碼器904。又，解多工器903自編碼位元串流中抽取EPG(Electronic Program Guide，電子節目指南)等輔助性資料，並將所抽取之資料供給至控制部910。再者，解 多工器903於編碼位元串流受到擾頻之情形時，亦可進行解擾。
解碼器904對自解多工器903輸入之影像串流及聲音串流進行解碼。繼而，解碼器904將藉由解碼處理而產生之影像資料輸出至影像訊號處理部905。又，解碼器904將藉由解碼處理而產生之聲音資料輸出至聲音訊號處理部907。
影像訊號處理部905再生自解碼器904輸入之影像資料，並使影像顯示於顯示部906。又，影像訊號處理部905亦可使經由網路而供給之應用畫面顯示於顯示部906。又，影像訊號處理部905亦可根據設定對影像資料進行例如雜訊去除等追加性處理。進而，影像訊號處理部905亦可產生例如選單、按鈕或游標等GUI(Graphical User Interface，圖形使用者介面)之圖像，並使所產生之圖像與輸出圖像重疊。
顯示部906係藉由自影像訊號處理部905供給之驅動訊號而驅動，於顯示器件(例如，液晶顯示器、電漿顯示器或OELD(Organic ElectroLuminescence Display)(有機EL(電致發光)顯示器)等)之影像面上顯示影像或圖像。
聲音訊號處理部907對自解碼器904輸入之聲音資料進行D/A轉換及放大等再生處理，並將聲音自揚聲器908輸出。又，聲音訊號處理部907亦可對聲音資料進行雜訊去除等追加性處理。
外部介面909係用以將電視裝置900與外部機器或網路連接之介面。例如，經由外部介面909而接收之影像串流或聲音串流亦可藉由解碼器904進行解碼。即，外部介面909亦具有作為接收對圖像進行編碼之編碼串流的電視裝置900中之傳輸機構之作用。
控制部910包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶藉由CPU而執行之程式、程式資料、EPG資料、及經由網路而取得之資料等。由記憶體記憶之程式例如係於電視裝置900之啟動時由CPU讀入並執行。CPU藉由執行程式，而根據例如自使用者介面 911輸入之操作訊號，來控制電視裝置900之動作。
使用者介面911與控制部910連接。使用者介面911包含例如用以使用者操作電視裝置900之按鈕及開關、以及遠距控制訊號之接收部等。使用者介面911經由該等構成要素檢測使用者之操作而產生操作訊號，並將所產生之操作訊號輸出至控制部910。
匯流排912使調諧器902、解多工器903、解碼器904、影像訊號處理部905、聲音訊號處理部907、外部介面909及控制部910相互連接。
於如此構成之電視裝置900中，解碼器904具有上述實施形態之圖像解碼裝置200(圖9)、圖像解碼裝置400(圖21)、多視點圖像解碼裝置610(圖35)、或階層圖像解碼裝置630(圖38)之功能。因此，對於於電視裝置900中被解碼之影像，使用自編碼側供給之submb_qp_delta等量子化參數，針對每個子巨集區塊計算量子化值，進行反量子化。因此，可根據圖像之內容進行適當之反量子化處理，可抑制解碼圖像之主觀畫質之劣化。
[行動電話機]
圖41表示應用有上述實施形態之行動電話機之概略性構成之一例。行動電話機920包括天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921與通訊部922連接。揚聲器924及麥克風925與聲音編解碼器923連接。操作部932與控制部931連接。匯流排933使通訊部922、聲音編解碼器923、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931相互連接。
行動電話機920於包括聲音通話模式、資料通訊模式、攝影模式 及視訊電話模式之各種動作模式下，進行聲音訊號之收發、電子郵件或圖像資料之收發、圖像之攝像、及資料之記錄等動作。
於聲音通話模式下，藉由麥克風925而產生之類比聲音訊號係供給至聲音編解碼器923。聲音編解碼器923將類比聲音訊號轉換為聲音資料，對經轉換之聲音資料進行A/D轉換並壓縮。繼而，聲音編解碼器923將壓縮後之聲音資料輸出至通訊部922。通訊部922對聲音資料進行編碼及調變，而產生傳送訊號。繼而，通訊部922將產生之傳送訊號經由天線921而傳送至基地台(未圖示)。又，通訊部922將經由天線921而接收之無線訊號放大及進行頻率轉換，而取得接收訊號。繼而，通訊部922將接收訊號解調及解碼而產生聲音資料，並將所產生之聲音資料輸出至聲音編解碼器923。聲音編解碼器923對聲音資料進行擴展及D/A轉換而產生類比聲音訊號。繼而，聲音編解碼器923將所產生之聲音訊號供給至揚聲器924而輸出聲音。
又，於資料通訊模式下，例如，控制部931根據經由操作部932之使用者之操作而產生構成電子郵件之字符資料。又，控制部931使字符顯示於顯示部930。又，控制部931根據經由操作部932之來自使用者之傳送指示而產生電子郵件資料，並將產生之電子郵件資料輸出至通訊部922。通訊部922對電子郵件資料進行編碼及調變，從而產生傳送訊號。繼而，通訊部922將所產生之傳送訊號經由天線921傳送至基地台(未圖示)。又，通訊部922將經由天線921而接收之無線訊號放大及進行頻率轉換，從而取得接收訊號。繼而，通訊部922對接收訊號進行解調及解碼而將電子郵件資料恢復，並將經恢復之電子郵件資料輸出至控制部931。控制部931使電子郵件之內容顯示於顯示部930，並且使電子郵件資料記憶於記錄再生部929之記憶媒體。
記錄再生部929包含可讀寫之任意之記憶媒體。例如記憶媒體既可為RAM或快閃記憶體等內置型之記憶媒體，亦可為硬碟、磁碟、 磁光碟、光碟、USB(Universal Serial Bus，通用串列匯流排)記憶體、或記憶卡等外部安裝型之記憶媒體。
又，於攝影模式下，例如相機部926對被攝體進行攝像而產生圖像資料，並將產生之圖像資料輸出至圖像處理部927。圖像處理部927對自相機部926輸入之圖像資料進行編碼，並將編碼串流記憶於記錄再生部929之記憶媒體。
又，於視訊電話模式下，例如多工分離部928將藉由圖像處理部927進行編碼後之影像串流、與自聲音編解碼器923輸入之聲音串流多工化，並將經多工化之串流輸出至通訊部922。通訊部922對串流進行編碼及調變，從而產生傳送訊號。繼而，通訊部922將所產生之傳送訊號經由天線921傳送至基地台(未圖示)。又，通訊部922將經由天線921而接收之無線訊號放大及進行頻率轉換，從而取得接收訊號。該等傳送訊號及接收訊號中可包含編碼位元串流。繼而，通訊部922將接收訊號解調及解碼而將串流恢復，並將經恢復之串流輸出至多工分離部928。多工分離部928自所輸入之串流中將影像串流及聲音串流分離，並將影像串流輸出至圖像處理部927，將聲音串流輸出至聲音編解碼器923。圖像處理部927對影像串流進行解碼，從而產生影像資料。影像資料係供給至顯示部930，藉由顯示部930顯示一系列之圖像。聲音編解碼器923對聲音串流進行擴展及D/A轉換，從而產生類比聲音訊號。繼而，聲音編解碼器923將產生之聲音訊號供給至揚聲器924而輸出聲音。
於如此構成之行動電話機920中，圖像處理部927具有上述實施形態之圖像編碼裝置100(圖1)、圖像編碼裝置300(圖18)、圖像編碼裝置500(圖29)、多視點圖像編碼裝置600(圖34)、或階層圖像編碼裝置620(圖37)之功能以及圖像解碼裝置200(圖9)、圖像解碼裝置400(圖21)、多視點圖像解碼裝置610(圖35)、或階層圖像解碼裝置630(圖38) 之功能。因此，對於行動電話機920中被編碼及解碼之影像，針對每個子巨集區塊計算量子化值，使用該每個子巨集區塊之量子化值而進行正交轉換係數之量子化。藉由上述之方式，能夠根據圖像之內容而進行適當之量子化處理，能夠以抑制解碼圖像之主觀畫質之劣化之方式產生編碼資料。又，使用自編碼側供給之submb_qp_delta等量子化參數，針對每個子巨集區塊計算量子化值，進行反量子化。因此，可根據圖像之內容進行適當之反量子化處理，可抑制解碼圖像之主觀畫質之劣化。
又，以上說明了行動電話機920，例如只要為PDA(Personal Digital Assistants，個人數位助理)、智慧型手機(smart phone)、UMPC(Ultra Mobile Personal Computer，超行動個人電腦)、迷你筆記型電腦(net book)、筆記型個人電腦等具有與該行動電話機920相同之攝像功能及通訊功能之裝置，則不論為何種裝置，亦可與行動電話機920之情形相同地，應用應用有本技術之圖像編碼裝置及圖像解碼裝置。
[記錄再生裝置]
圖42表示應用有上述實施形態之記錄再生裝置之概略性構成之一例。又，記錄再生裝置940係例如對所接收之廣播節目之聲音資料及影像資料進行編碼並記錄於記錄媒體。又，記錄再生裝置940亦可例如對自其他裝置中所取得之聲音資料及影像資料進行編碼而記錄於記錄媒體。又，記錄再生裝置940例如根據使用者之指示，於監視器及揚聲器上再生記錄媒體中所記錄之資料。此時，記錄再生裝置940將聲音資料及影像資料解碼。
記錄再生裝置940包括調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive，硬磁碟驅動機)944、磁碟驅動器945、選擇器946、解碼器947、OSD(On-Screen Display，屏幕顯示器)948、控制部 949、及使用者介面950。
調諧器941自經由天線(未圖示)而接收之廣播訊號中抽取所需之通道之訊號，並對所抽取之訊號進行解調。繼而，調諧器941將藉由解調而獲得之編碼位元串流輸出至選擇器946。即，調諧器941具有作為記錄再生裝置940中之傳輸機構之作用。
外部介面942係用以將記錄再生裝置940與外部機器或網路連接之介面。外部介面942例如可為IEEE(Institute of Electrical and Electronic Engineers，電氣與電子工程師協會)1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，經由外部介面942而接收之影像資料及聲音資料係輸入至編碼器943。即，外部介面942具有作為記錄再生裝置940中之傳輸機構之作用。
編碼器943於自外部介面942輸入之影像資料及聲音資料未編碼之情形時，對影像資料及聲音資料進行編碼。繼而，編碼器943將編碼位元串流輸出至選擇器946。
HDD944將影像及聲音等內容資料經壓縮而得之編碼位元串流、各種程式及其他資料記錄於內部之硬碟。又，HDD944於再生影像及聲音時，自硬碟中讀出該等資料。
磁碟驅動器945進行資料向所安裝之記錄媒體之記錄及讀出。安裝於磁碟驅動器945之記錄媒體例如可為DVD碟片(DVD-Video(DVD影碟)、DVD-RAM(DVD隨機存取記憶體)、DVD-R(DVD Recordable，可記錄式DVD)、DVD-RW(DVD ReWritable，可覆寫式DVD)、DVD+R(DVD Recordable，可記錄式DVD)、DVD+RW(DVD ReWritable，可覆寫式DVD)等)或Blu-ray(藍光)(註冊商標)碟片等。
選擇器946於記錄影像及聲音時，選擇自調諧器941或編碼器943輸入之編碼位元串流，並將所選擇之編碼位元串流輸出至HDD944或磁碟驅動器945。又，選擇器946於再生影像及聲音時，將自HDD944 或磁碟驅動器945輸入之編碼位元串流輸出至解碼器947。
解碼器947對編碼位元串流進行解碼，從而產生影像資料及聲音資料。繼而，解碼器947將所產生之影像資料輸出至OSD948。又，解碼器904將所產生之聲音資料輸出至外部之揚聲器。
OSD948再生自解碼器947輸入之影像資料而顯示影像。又，OSD948亦可使例如選單、按鈕或游標等GUI之圖像與顯示之影像重疊。
控制部949包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶藉由CPU所執行之程式、及程式資料等。由記憶體記憶之程式例如係於記錄再生裝置940之啟動時由CPU讀入並執行。CPU藉由執行程式，而根據例如自使用者介面950輸入之操作訊號，控制記錄再生裝置940之動作。
使用者介面950與控制部949連接。使用者介面950例如包含用於使用者操作記錄再生裝置940之按鈕及開關、以及遠距控制訊號之接收部等。使用者介面950經由該等構成要素檢測使用者之操作而產生操作訊號，並將所產生之操作訊號輸出至控制部949。
於如此構成之記錄再生裝置940中，編碼器943具有上述實施形態之圖像編碼裝置100(圖1)、圖像編碼裝置300(圖18)、圖像編碼裝置500(圖29)、多視點圖像編碼裝置600(圖34)、或階層圖像編碼裝置620(圖37)之功能。又，解碼器947具有上述實施形態之圖像解碼裝置200(圖9)、圖像解碼裝置400(圖21)、多視點圖像解碼裝置610(圖35)、或階層圖像解碼裝置630(圖38)之功能。因此，對於記錄再生裝置940中被編碼及解碼之影像，針對每個子巨集區塊計算量子化值，使用該每個子巨集區塊之量子化值而進行正交轉換係數之量子化。藉由上述之方式，能夠根據圖像之內容而進行適當之量子化處理，能夠以抑制解碼圖像之主觀畫質之劣化之方式而產生編碼資料。又，使用 自編碼側供給之submb_qp_delta等量子化參數，針對每個子巨集區塊計算量子化值並進行反量子化。因此，可根據圖像之內容進行適當之反量子化處理，可抑制解碼圖像之主觀畫質之劣化。
[攝像裝置]
圖43表示應用有上述實施形態之攝像裝置之概略性構成之一例。攝像裝置960對被攝體進行攝像而產生圖像，並對圖像資料進行編碼而記錄於記錄媒體。
攝像裝置960包括光學區塊961、攝像部962、訊號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961與攝像部962連接。攝像部962與訊號處理部963連接。顯示部965與圖像處理部964連接。使用者介面971與控制部970連接。匯流排972使圖像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970相互連接。
光學區塊961包含聚焦透鏡及光闌機構等。光學區塊961使被攝體之光學影像成像於攝像部962之攝像面。攝像部962包含CCD(Charge Coupled Device，電荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)等影像感測器，藉由光電轉換將成像於攝像面之光學影像轉換為作為電氣訊號之圖像訊號。繼而，攝像部962將圖像訊號輸出至訊號處理部963。
訊號處理部963對自攝像部962輸入之圖像訊號進行拐點修正(Knee Correction)、伽瑪修正(Gamma Correction)、顏色修正等各種相機訊號處理。訊號處理部963將相機訊號處理後之圖像資料輸出至圖像處理部964。
圖像處理部964對自訊號處理部963輸入之圖像資料進行編碼，從而產生編碼資料。繼而，圖像處理部964將所產生之編碼資料輸出 至外部介面966或媒體驅動器968。又，圖像處理部964對自外部介面966或媒體驅動器968輸入之編碼資料進行解碼，從而產生圖像資料。繼而，圖像處理部964將所產生之圖像資料輸出至顯示部965。又，圖像處理部964亦可將自訊號處理部963輸入之圖像資料輸出至顯示部965而顯示圖像。又，圖像處理部964亦可使自OSD969取得之顯示用資料與輸出至顯示部965之圖像重疊。
OSD969產生例如選單、按鈕或游標等GUI之圖像，並將產生之圖像輸出至圖像處理部964。
外部介面966例如係構成為USB輸入輸出端子。外部介面966例如於印刷圖像時，將攝像裝置960與印表機連接。又，視需要而於外部介面966連接有驅動器。可於驅動器上安裝例如磁碟或光碟等可移動媒體，且可將自可移動媒體讀出之程式安裝至攝像裝置960。進而，外部介面966亦可構成為與LAN或網際網路等網路連接之網路介面。即，外部介面966具有作為攝像裝置960中之傳輸機構之作用。
安裝於媒體驅動器968之記錄媒體例如可為磁碟、磁光碟、光碟、或半導體記憶體等可讀寫之任意之可移動媒體。又，亦可於媒體驅動器968中固定地安裝記錄媒體，例如，構成如內置型硬碟驅動器或SSD(Solid State Drive，固態驅動器)之非可攜性之記憶部。
控制部970包含CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶藉由CPU所執行之程式、及程式資料等。由記憶體記憶之程式例如係於攝像裝置960之啟動時由CPU讀入並執行。CPU藉由執行程式，而根據例如自使用者介面971輸入之操作訊號，控制攝像裝置960之動作。
使用者介面971與控制部970連接。使用者介面971例如包含用以使用者操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要素檢測使用者之操作而產生操作訊號，並將經產生之操作訊號輸 出至控制部970。
如此構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置100(圖1)、圖像編碼裝置300(圖18)、圖像編碼裝置500(圖29)、多視點圖像編碼裝置600(圖34)、或階層圖像編碼裝置620(圖37)之功能以及圖像解碼裝置200(圖9)、圖像解碼裝置400(圖21)、多視點圖像解碼裝置610(圖35)、或階層圖像解碼裝置630(圖38)之功能。因此，對於攝像裝置960中被編碼及解碼之影像，針對每個子巨集區塊計算量子化值，使用該每個子巨集區塊之量子化值而進行正交轉換係數之量子化。藉由上述之方式，能夠根據圖像之內容而進行適當之量子化處理，能夠以抑制解碼圖像之主觀畫質之劣化之方式而產生編碼資料。又，使用自編碼側供給之submb_qp_delta等量子化參數，針對每個子巨集區塊計算量子化值，進行反量子化。因此，可根據圖像之內容進行適當之反量子化處理，可抑制解碼圖像之主觀畫質之劣化。
當然，應用有本技術之圖像編碼裝置及圖像解碼裝置亦可應用於除上述裝置以外之裝置或系統。
再者，本說明書中，對量子化參數自編碼側向解碼側傳輸之例進行了說明。傳輸量子化矩陣參數之方法亦可不多工化為編碼位元串流，而作為與編碼位元串流建立關聯之其他資料進行傳輸或記錄。此處，「建立關聯」之用語係指可使位元串流中所含之圖像(亦可為片或區塊等圖像之一部分)及與該圖像相對應之資訊於解碼時鏈接。即，資訊亦可於與圖像(或位元串流)不同之傳輸路徑上傳輸。又，資訊亦可記錄於與圖像(或位元串流)不同之記錄媒體(或同一記錄媒體之不同記錄區域)。進而，資訊與圖像(或位元串流)係可例如以複數個訊框、1個訊框、或訊框內之一部分等任意之單位相互建立關聯。
以上，一面參照隨附圖式一面對本技術之揭示內容之較佳實施 形態進行了詳細說明，本技術之揭示內容之技術範圍並不限定於上述例。明確的是，只要為具有本技術之揭示內容之技術領域中之常用知識之人員，則於申請專利範圍所記載之技術思想之範疇內可想到各種變更例或修正例，且應當瞭解其等亦當然屬於本發明之揭示內容之技術範圍。
104‧‧‧正交轉換部
105‧‧‧量子化部
106‧‧‧可逆編碼部
108‧‧‧反量子化部
117‧‧‧速率控制部
121‧‧‧子巨集區塊量子化部
151‧‧‧子巨集區塊活動率緩衝器
152‧‧‧量子化參數計算部
153‧‧‧量子化處理部

Claims (4)

  1. 一種圖像處理裝置，其包括：設定部，其以與編碼單元之最上位層即最大編碼單元相較為位於下位層之編碼單元作為對象，設定將圖像資料進行量子化時所使用之量子化參數，上述編碼單元係對圖像資料進行編碼時之編碼處理單位；量子化部，其使用由上述設定部所設定之量子化參數，將圖像資料進行量子化而產生量子化資料；及編碼部，其以具有階層構造之單位將由上述量子化部所產生之量子化資料進行編碼，而產生編碼串流。
  2. 如請求項1之圖像處理裝置，其中上述設定部設定表示目前編碼單元(current coding unit)經設定之量子化參數與上述目前編碼單元所屬之片(slice)經設定之量子化參數的差分值之差分量子化參數；進一步包含傳輸部，該傳輸部係傳輸由上述設定部所設定之差分量子化參數及由上述編碼部所產生之編碼串流。
  3. 一種圖像處理方法，其包括：設定步驟，其以與編碼單元之最上位層即最大編碼單元相較為位於下位層之編碼單元作為對象，設定將圖像資料進行量子化時所使用之量子化參數；量子化步驟，其使用於上述設定步驟設定後之量子化參數，將圖像資料進行量子化而產生量子化資料；及編碼步驟，其以具有階層構造之單位將於上述量子化步驟所產生之量子化資料進行編碼，而產生編碼串流。
  4. 如請求項3之圖像處理方法，其中於上述設定步驟設定表示目前 編碼單元經設定之量子化參數與上述目前編碼單元所屬之片經設定之量子化參數的差分值之差分量子化參數；進一步包含傳輸步驟，該傳輸步驟係傳輸於上述設定步驟設定後之差分量子化參數及於上述編碼步驟所產生之編碼串流。
TW103121264A 2010-06-04 2011-06-03 Image processing apparatus and method TWI568245B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010129414 2010-06-04
JP2010222300 2010-09-30
JP2011053479 2011-03-10
JP2011054816 2011-03-11

Publications (2)

Publication Number Publication Date
TW201442486A true TW201442486A (zh) 2014-11-01
TWI568245B TWI568245B (zh) 2017-01-21

Family

ID=45066873

Family Applications (4)

Application Number Title Priority Date Filing Date
TW100119669A TWI454149B (zh) 2010-06-04 2011-06-03 Image processing apparatus and method
TW103101900A TWI536845B (zh) 2010-06-04 2011-06-03 An image processing apparatus, a method, a program, and a recording medium
TW103121264A TWI568245B (zh) 2010-06-04 2011-06-03 Image processing apparatus and method
TW103121267A TWI565301B (zh) 2010-06-04 2011-06-03 Image processing apparatus and method

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW100119669A TWI454149B (zh) 2010-06-04 2011-06-03 Image processing apparatus and method
TW103101900A TWI536845B (zh) 2010-06-04 2011-06-03 An image processing apparatus, a method, a program, and a recording medium

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103121267A TWI565301B (zh) 2010-06-04 2011-06-03 Image processing apparatus and method

Country Status (17)

Country Link
US (7) US8849052B2 (zh)
EP (7) EP4290860A3 (zh)
JP (2) JP6048144B2 (zh)
KR (5) KR20170118962A (zh)
CN (9) CN103369323B (zh)
AU (1) AU2011259939B2 (zh)
BR (4) BR122014013355B1 (zh)
CA (3) CA2974558C (zh)
DK (1) DK3177017T3 (zh)
HK (2) HK1213409A1 (zh)
HU (1) HUE047906T2 (zh)
MX (4) MX341890B (zh)
MY (2) MY190480A (zh)
RU (4) RU2616155C1 (zh)
TW (4) TWI454149B (zh)
WO (1) WO2011152518A1 (zh)
ZA (1) ZA201208901B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750175B2 (en) 2017-05-04 2020-08-18 Sony Corporation Quantization partitioning for enhanced image compression

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20130058410A1 (en) * 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP4290860A3 (en) 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
MX355733B (es) * 2010-06-10 2018-04-27 Thomson Licensing Métodos y aparatos para determinar predictores de parametro de cuantificación a partir de una pluralidad de parametros de cuantificación contiguos.
KR20120016980A (ko) 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
JP5707412B2 (ja) 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
MX2013001774A (es) 2010-09-30 2013-03-18 Panasonic Corp Metodo de decodificacion de imagen, metodo de codificacion de imagen, aparato de decodificacion de imagen, aparato codificacion de imagen, programa, y circuito integrado.
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
EP3748964A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
PH12018501811A1 (en) 2010-12-07 2019-02-18 Sony Corp Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
BR122019025405B8 (pt) * 2011-01-13 2023-05-02 Canon Kk Aparelho de codificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, método de decodificação de imagem e meio de armazenamento
BR122014031521B1 (pt) 2011-02-10 2022-08-23 Velos Media International Limited Dispositivo e método de processamento de imagem
JP6327435B2 (ja) 2011-03-03 2018-05-23 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
US20140241422A1 (en) * 2011-06-28 2014-08-28 Samsung Electronics Co., Ltd. Method and apparatus for image encoding and decoding using adaptive quantization parameter differential
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102010160B1 (ko) 2011-06-28 2019-08-12 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
JP5900307B2 (ja) * 2011-12-13 2016-04-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに送信装置、送信方法及び送信プログラム
WO2013094385A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 画像処理装置および方法
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
JP2015080002A (ja) * 2012-01-19 2015-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN106131561B (zh) 2012-01-20 2019-10-18 维洛媒体国际有限公司 解码装置和解码方法
BR112014018115B1 (pt) * 2012-01-30 2021-10-26 Samsung Electronics Co., Ltd Método de decodificar um vídeo
RU2607998C9 (ru) 2012-03-28 2017-07-07 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования изображения, способ кодирования изображения и программа кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и программа декодирования изображения
JP5664584B2 (ja) * 2012-03-28 2015-02-04 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
CN111147852B (zh) 2012-04-16 2022-05-31 韩国电子通信研究院 图像解码方法和图像编码方法
JP5943757B2 (ja) * 2012-07-23 2016-07-05 キヤノン株式会社 画像符号化装置及びその方法
JP6154588B2 (ja) * 2012-08-23 2017-06-28 日本放送協会 画像符号化装置、画像復号装置及びプログラム
JP2014236264A (ja) 2013-05-31 2014-12-15 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9218639B2 (en) * 2013-09-27 2015-12-22 Apple Inc. Processing order in block processing pipelines
GB2520002B (en) * 2013-11-04 2018-04-25 British Broadcasting Corp An improved compression algorithm for video compression codecs
CN104754361B (zh) * 2013-12-28 2018-01-23 同济大学 图像编码、解码方法及装置
GB2523736B (en) * 2014-02-19 2020-03-25 Advanced Risc Mach Ltd Rate control in video encoding
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
EP3566440B1 (en) 2017-03-21 2020-12-02 Dolby Laboratories Licensing Corporation Quantization parameter prediction using luminance information
WO2019050300A1 (ko) * 2017-09-06 2019-03-14 가온미디어 주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
US10616585B2 (en) 2017-11-22 2020-04-07 Arm Limited Encoding data arrays
US11818479B2 (en) 2020-05-14 2023-11-14 Board Of Trustees Of Michigan State University Sigma Delta quantization for images
US11032546B1 (en) * 2020-07-20 2021-06-08 Tencent America LLC Quantizer for lossless and near-lossless compression
CN113010715B (zh) * 2021-03-30 2023-06-23 通威太阳能(金堂)有限公司 硅片电致发光图片分拣方法、装置、电子设备及存储介质

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6915014B1 (en) * 1990-07-31 2005-07-05 Canon Kabushiki Kaisha Image processing apparatus and method
JP3271091B2 (ja) * 1993-03-22 2002-04-02 ソニー株式会社 画像信号符号化方法、装置、復号化方法及び装置
EP1711015A3 (en) * 1996-02-05 2006-11-08 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus, video signal regenerating apparatus, image coding apparatus and image decoding apparatus
JP4665372B2 (ja) * 2000-05-29 2011-04-06 ソニー株式会社 画像処理装置及び方法、通信システム及び方法、並びに記録媒体
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
US6975773B1 (en) * 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
JP4063204B2 (ja) * 2003-11-20 2008-03-19 セイコーエプソン株式会社 画像データ圧縮装置及びエンコーダ
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
KR101158439B1 (ko) * 2005-07-08 2012-07-13 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는 방법
FR2888699A1 (fr) * 2005-07-13 2007-01-19 France Telecom Dispositif de codage/decodage hierachique
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US7656410B2 (en) 2006-03-31 2010-02-02 Intel Corporation Image buffering techniques
CN100530979C (zh) * 2006-09-13 2009-08-19 华为技术有限公司 一种矢量量化方法及矢量量化器
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US20080170793A1 (en) * 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
EP3107292B1 (en) * 2007-03-20 2018-08-15 Fujitsu Limited Video encoding method and apparatus, and video decoding apparatus
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
CN101170701B (zh) * 2007-11-16 2010-10-27 四川虹微技术有限公司 视频编解码系统中去块滤波方法及装置
US8107754B2 (en) * 2007-12-07 2012-01-31 Mediatek Inc. Systems and methods for randomly accessing compressed images
CN101281749A (zh) * 2008-05-22 2008-10-08 上海交通大学 可分级的语音和乐音联合编码装置和解码装置
JP4768779B2 (ja) * 2008-06-02 2011-09-07 株式会社東芝 動画像符号化／復号化の方法及び装置
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010011075A (ja) * 2008-06-26 2010-01-14 Toshiba Corp 動画像符号化及び動画像復号化の方法及び装置
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
TWI383684B (zh) * 2008-11-18 2013-01-21 Univ Nat Taiwan 多媒體串流之動態視訊編碼系統與方法
TWI396443B (zh) * 2008-12-22 2013-05-11 Ind Tech Res Inst 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
CN101572817B (zh) * 2009-05-26 2011-01-05 北京邮电大学 一种用于空间可分级视频编码的编码模式选择方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP4290860A3 (en) 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
PH12018501811A1 (en) 2010-12-07 2019-02-18 Sony Corp Image processing device and image processing method
EP3748964A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
BR122014031521B1 (pt) 2011-02-10 2022-08-23 Velos Media International Limited Dispositivo e método de processamento de imagem
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
GB2498550B (en) * 2012-01-19 2016-02-24 Canon Kk Method and device for processing components of an image for encoding or decoding
RU2643490C2 (ru) 2012-06-29 2018-02-01 Вилос Медиа Интернэшнл Лимитед Устройство декодирования и способ декодирования

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750175B2 (en) 2017-05-04 2020-08-18 Sony Corporation Quantization partitioning for enhanced image compression

Also Published As

Publication number Publication date
EP3177017B1 (en) 2020-01-29
KR20180014249A (ko) 2018-02-07
EP3675494A1 (en) 2020-07-01
CN105245895B (zh) 2019-02-26
CN103369321B (zh) 2016-07-06
MY163789A (en) 2017-10-31
AU2011259939B2 (en) 2015-07-30
CN108366264B (zh) 2022-08-26
EP3185559A1 (en) 2017-06-28
BR122020013772B1 (pt) 2021-09-28
CN102918837B (zh) 2015-09-30
BR112012030158B1 (pt) 2021-10-05
MX2012013748A (es) 2013-01-22
RU2656718C1 (ru) 2018-06-06
MX342691B (es) 2016-10-10
BR122014013355B1 (pt) 2021-11-23
US20130071039A1 (en) 2013-03-21
TWI568245B (zh) 2017-01-21
MX341890B (es) 2016-09-07
CA2974558C (en) 2020-10-27
EP3675493A1 (en) 2020-07-01
KR101918904B1 (ko) 2019-02-08
EP2916546A1 (en) 2015-09-09
TW201215151A (en) 2012-04-01
EP2579594A1 (en) 2013-04-10
CN105245895A (zh) 2016-01-13
US9369704B2 (en) 2016-06-14
BR112012030158A2 (pt) 2016-12-13
KR20180014866A (ko) 2018-02-09
EP4290860A3 (en) 2024-02-14
US20140321537A1 (en) 2014-10-30
BR122014013355A2 (pt) 2019-08-13
CA2974558A1 (en) 2011-12-08
MY190480A (en) 2022-04-22
RU2012150834A (ru) 2014-10-27
TWI565301B (zh) 2017-01-01
JPWO2011152518A1 (ja) 2013-08-01
KR20130084236A (ko) 2013-07-24
AU2011259939A1 (en) 2012-12-20
ZA201208901B (en) 2013-09-25
JP2014195319A (ja) 2014-10-09
US10230964B2 (en) 2019-03-12
US20140321536A1 (en) 2014-10-30
US8849052B2 (en) 2014-09-30
US20130301739A1 (en) 2013-11-14
EP3675494B1 (en) 2021-12-15
US20180007370A1 (en) 2018-01-04
JP6024709B2 (ja) 2016-11-16
CA2974561A1 (en) 2011-12-08
HK1213714A1 (zh) 2016-07-08
RU2619720C1 (ru) 2017-05-17
CN103369320A (zh) 2013-10-23
CN103369323A (zh) 2013-10-23
KR101823316B1 (ko) 2018-01-29
BR122020013775B1 (pt) 2022-04-19
RU2616155C1 (ru) 2017-04-12
CN102918837A (zh) 2013-02-06
US20190104318A1 (en) 2019-04-04
US10375403B2 (en) 2019-08-06
CA2798927A1 (en) 2011-12-08
KR101918905B1 (ko) 2018-11-14
CN103369320B (zh) 2016-06-22
US9924177B2 (en) 2018-03-20
TWI536845B (zh) 2016-06-01
CA2798927C (en) 2019-12-31
EP2579594A4 (en) 2014-10-29
CN108366264A (zh) 2018-08-03
TW201442487A (zh) 2014-11-01
KR101828625B1 (ko) 2018-02-12
CN105245882B (zh) 2019-02-22
US8731310B2 (en) 2014-05-20
AU2011259939A2 (en) 2013-01-10
CA2974561C (en) 2019-04-30
JP6048144B2 (ja) 2016-12-21
EP4290860A2 (en) 2023-12-13
EP3185559B1 (en) 2020-02-19
US20140321538A1 (en) 2014-10-30
CN103369322B (zh) 2016-06-29
CN103369322A (zh) 2013-10-23
KR20170118962A (ko) 2017-10-25
TW201421998A (zh) 2014-06-01
HUE047906T2 (hu) 2020-05-28
TWI454149B (zh) 2014-09-21
CN103369319A (zh) 2013-10-23
CN103369321A (zh) 2013-10-23
CN103369323B (zh) 2016-12-28
DK3177017T3 (da) 2020-03-02
EP3177017A1 (en) 2017-06-07
CN105245882A (zh) 2016-01-13
RU2014115193A (ru) 2015-10-20
HK1213409A1 (zh) 2016-06-30
CN103369319B (zh) 2016-08-10
KR20170118963A (ko) 2017-10-25
US9380299B2 (en) 2016-06-28
MX362216B (es) 2019-01-09
RU2573216C2 (ru) 2016-01-20
WO2011152518A1 (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
TWI568245B (zh) Image processing apparatus and method
AU2015221528B2 (en) Image Processing Apparatus and Method