TW201717642A - 資訊處理設備及資訊處理方法 - Google Patents

資訊處理設備及資訊處理方法 Download PDF

Info

Publication number
TW201717642A
TW201717642A TW105141619A TW105141619A TW201717642A TW 201717642 A TW201717642 A TW 201717642A TW 105141619 A TW105141619 A TW 105141619A TW 105141619 A TW105141619 A TW 105141619A TW 201717642 A TW201717642 A TW 201717642A
Authority
TW
Taiwan
Prior art keywords
image
unit
information
reference image
specification information
Prior art date
Application number
TW105141619A
Other languages
English (en)
Other versions
TWI644564B (zh
Inventor
Shuo Lu
Kazushi Sato
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201717642A publication Critical patent/TW201717642A/zh
Application granted granted Critical
Publication of TWI644564B publication Critical patent/TWI644564B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

一種資訊處理設備,包含:電路。該電路配置成:判定目前圖像是否為在圖像組中的初始圖像,取出參考資訊,該參考資訊係指示其針對該目前圖像前之先前圖像的參考圖像規格資訊是否應被使用為針對該目前圖像的參考圖像規格資訊,依據該目前圖像是否為在該圖像組中的該初始圖像,其中該參考圖像規格資訊為指明一用以產生預測圖像之參考圖像的資訊,在其中該參考資訊被取出的情況下,依據該參考資訊以產生針對該目前圖像的該參考圖像規格資訊,以及使用由所產生的該參考圖像規格資訊所指明的該參考圖像以產生預測圖像。

Description

資訊處理設備及資訊處理方法
本技術關於編碼設備、編碼方法、解碼設備、及解碼方法,更具體而言,關於配置成降低關於指定參考圖像的資訊之資訊量之編碼設備、編碼方法、解碼設備、及解碼方法。
近年來,數位地處理影像資訊及符合動畫專家組階段(MPEG)或類似設計的設備逐漸盛行用於從廣播站等散佈資訊及在一般家庭接收資訊,為了有效率傳輸及資訊的累積,這些設備使用藉由利用影像資訊特定的冗餘之例如離散餘弦轉換(DCT)及動作補償等正交轉換,以壓縮影像資訊。
特別地,MPEG-2(標準化國際組織(ISO)/國際電器標準會議(IEC)13818-2)被界定為一般用途影像碼化設計,而且是不僅涵蓋交錯掃描影像及漸進掃描影像、也涵蓋標準清晰度影像及高清晰度影像的標準。MPEG-2目前廣泛地用於專業及消費者用途等範圍廣大的應用。藉由 例如分配4至8Mbps的碼量(位元率)給具有720×480像素的標準解析度交錯掃描影像、或是分配18至22Mbps的碼量(位元率)給具有1920×1088像素的高解析度交錯掃描影像,MPEG-2設計允許高壓縮比以及令人滿意的影像品質。
主要用於適合廣播的高品質碼化之MPEG-2不支援比MPEG-1更低碼量(位元率)、或是更高壓縮比之碼化設計。藉由廣泛使用的行動終端,預期此類碼化設計的需求會增加,因而開創了MPEG-4碼化設計的標準。在1998年12月,MPEG-4影像碼化設計標準、ISO/IEC 14496-2被接受作為國際標準。
此外,原先用於視訊會議的影像碼化之H.26L標準(國際電信聯盟電信標準區(ITU-T)Q6/16視頻碼化專家組(VCEG))近年來已有進展。一般而言,H.26L比例如MPEG-2及MPEG-4等現有的碼化設計提供更高的碼化效率,但是其涉及大量計算以用於編碼及解碼。
此外,根據H.26L,具有H.26L未支援的功能及提供更高碼化效率之稱為強化壓縮視頻碼化的聯合模型的標準目前正發展成為MPEG-4標準活動的一部份。在名稱為H.264及MPEG-4部份10(先進視頻碼化(ACV))之下,在2003年3月,國際上將此標準標準化。
此外,在2005年2月完成稱為逼真度範圍延伸之上述標準的延伸之標準化,其包含商業用途的碼化工具,例如MPEG-2界定的RGB、4:2:2及4:4:4、以及8×8 DCT和量化矩陣。因此,AVC可以作為碼化設計,甚至允許包含在影片中的底片雜訊良好地顯示,以及廣泛用於例如藍光光碟(註冊商標)等範圍廣泛的應用。
但是,近來,碼化時使用的壓縮比之愈來愈要求進一步增加壓縮比,例如,4000×2000像素的影像壓縮的需求,這是高清晰度影像的像素數目的四倍,或是在例如網際網路等具有有限傳輸容量的環境中散佈高清晰度影像的需求。為達此目的,在ITU-T之下的VCEG繼續研究碼化效率的強化。
在高效率視頻碼化(HEVC)設計中,順序參數集(SPS)包含短期參考圖像集(於下稱為「RPS」),由解碼設備使用以辨識指定參考圖像的參考圖像規格資訊(舉例而言,請參考Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Weigan之「High efficiency video coding(HEVC)text specification draft 7」,JCTVC-I1003_d4,2012.4.27-5.7)。
圖1顯示RPS的言法之實例。
如圖1中的第二線所示般,RPS包含inter_ref_pic_set_prediction_flag。inter_ref_pic_set_prediction_flag是用於被編碼的圖像之參考資訊,標示指定先前圖像的參考圖像的參考圖像規格資訊是否作為指定被編碼的圖像之參考圖像的參考圖像規格資訊,所述先前圖像是指定在依編碼次序的圖像組(GOP)中被編碼的圖像之前的圖像。
假使指定先前圖像的參考圖像的參考圖像規格資訊是 要作為指定被編碼的圖像的參考圖像的參考圖像規格資訊時,則inter_ref_pic_set_prediction_flag等於1。假使指定先前圖像的參考圖像的參考圖像規格資訊不是要作為指定被編碼的圖像的參考圖像的參考圖像規格資訊時,則inter_ref_pic_set_prediction_flag等於0。
如同圖1中的第三及第四行中所示般,假使inter_ref_pic_set_prediction_flag等於1時,則RPS包含de1ta_idx_minus1,delta_idx_minus1是指定先前圖像的先前圖像規格資訊。delta_idx_minus1具體而言是將從被編碼的碼化號數(碼化次序)減掉先前圖像的碼化號數而取得的值再減掉1而取得的值。此處所使用的「碼化號數」一詞意指指派給從最小值開始之依編碼次序的GOP中的各圖像。
此外,如同圖1中的第十三至第二十三線所示般,假使inter_ref_pic_set_prediction_flag等於0時,則RPS包含參考圖像規格資訊。
圖2顯示inter_ref_pic_set_prediction_flag及delta_idx_minus1的實例。
在圖2中所示的實例中,用於被指派碼化號數N之被編碼的圖像的參考圖像規格資訊與用於被指派碼化號數N-1且正好在依編碼次序被編碼的圖像之前的先前圖像之參考圖像規格資訊相同。
在此情形中,inter_ref_pic_set_prediction_flag設定為1,這表示用於先前圖像的參考圖像規格資訊是要作為 用於被編碼的圖像的參考圖像規格資訊。此外,delta_idx_minus1設定為0,這是從被編碼的圖像的碼化號數N減掉先前圖像的碼化號數N-1、再從取得的值1減掉而取得的。
但是,與例如RPS等參考圖像規格資訊有關的資訊量未被充份地降低。
因此,希望降低指定參考圖像的資訊有關的資訊量。
根據本技術的第一實施例之編碼設備包含下述元件。預測圖像產生單元配置成使用參考圖像以產生預測圖像。發送單元配置成發送參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
根據本技術的第一實施例之編碼方法對應於根據本技術的第一實施例之編碼設備。
在本技術的第一實施例中,使用參考圖像,產生預測圖像,以及,傳送參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
根據本技術的第二實施例之解碼設備包含下述元件。接收單元配置成接收參考禁能資訊,參考禁能資訊是標示 對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像的參考圖像的資訊。參考圖像設定單元配置成根據接收單元收到的參考禁能資訊而產生用於被解碼的圖像之參考圖像規格資訊。預測圖像產生單元配置成使用參考圖像設定單元產生的用於被解碼圖像的參考圖像規格資訊指定的參考圖像,以產生預測圖像。
根據本技術的第二實施例之解碼方法對應於根據本技術的第二實施例之解碼設備。
在本技術的第二實施例中,接收參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像的參考圖像之參考圖像規格資訊;根據收到的參考禁能資訊,產生用於被解碼的圖像之參考圖像規格資訊;以及,使用產生之用於被解碼圖像的參考圖像規格資訊指定的參考圖像,以產生預測圖像。
根據本技術的第三實施例之編碼設備包含下述元件。預測圖像產生單元配置成使用參考圖像以產生預測圖像。發送單元配置成在被編碼的圖像是圖像組中的初始圖像以外的圖像的情形中,發送參考資訊,參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像規格資訊是否作為用於被編碼的圖像的參考圖像規格資 訊,參考圖像規格資訊是指定參考圖像的資訊。
根據本技術的第三實施例之編碼方法對應於根據本技術的第三實施例之編碼設備。
在本技術的第三實施例中,使用參考圖像以產生預測圖像;以及,在被編碼的圖像是圖像組中的初始圖像以外的圖像的情形中,發送參考資訊,參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像規格資訊是否作為用於被編碼的圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
根據本技術的第四實施例之解碼設備包含下述元件。接收單元配置成接收參考資訊,參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像規格資訊是否作為用於被編碼的圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測定圖像的參考圖像之參考圖像規格資訊,在被編碼的圖像是圖像組中的初始圖像以外的圖像的情形中,發送參考資訊。參考圖像設定單元配置成在參考資訊由接收單元接收的情形中,根據參考資訊,產生用於被編碼的圖像之參考圖像規格資訊,以及,在參考資訊未由接收單元接收的情形中,根據標示用於先前圖像的參考圖像規格資訊不是要作為用於被編碼的參考圖像規格資訊之參考資訊,產生用於被解碼的圖像之參考圖像規格資訊。預測圖像產生單元配置成使用參考圖像設定單元產生的參考圖像規格資訊所指定的參考圖像,產生預測圖像。
根據本技術的第四實施例之解碼方法對應於根據本技術的第四實施例之解碼設備。
在本技術的第四實施例中,接收參考資訊,參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像之參考圖像規格資訊是否作為被編碼的圖像的參考圖像之參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像之參考圖像的資訊,在被編碼的圖像是圖像組中的初始圖像以外的圖像的情形中,發送參考資訊;在參考資訊被接收的情形中,根據參考資訊,產生用於被編碼的圖像之參考圖像規格資訊,以及,在參考資訊未被接收的情形中,根據標示用於先前圖像的參考圖像規格資訊不是要作為用於被編碼的參考圖像規格資訊之參考資訊,產生用於被解碼的圖像之參考圖像規格資訊;以及,使用產生的參考圖像規格資訊所指定的參考圖像,產生預測圖像。
根據第一及第三實施例的編碼設備以及根據第二及第四實施例的解碼設備可以藉由促使電腦執行程式而實施。
此外,經由傳輸媒體而傳送或是記錄於記錄媒體上,以提供由電腦執行以實施根據第一及第三實施例的編碼設備以及根據第二及第四實施例的解碼設備之程式。
根據本技術的第一及第三實施例,可以降低指定參考圖像的資訊有關的資訊量。
此外,根據本技術的第二及第四實施例,可以將具有降低之指定參考圖像的資訊有關的資訊量之編碼串解碼。
10‧‧‧編碼設備
11‧‧‧編碼單元
12‧‧‧設定單元
13‧‧‧發送單元
110‧‧‧解碼設備
111‧‧‧接收單元
112‧‧‧取出單元
113‧‧‧解碼單元
150‧‧‧編碼設備
151‧‧‧設定單元
170‧‧‧解碼設備
171‧‧‧取出單元
190‧‧‧編碼設備
191‧‧‧設定單元
210‧‧‧解碼設備
211‧‧‧取出單元
230‧‧‧編碼設備
231‧‧‧編碼單元
232‧‧‧設定單元
270‧‧‧解碼設備
271‧‧‧解碼單元
600‧‧‧多畫面影像編碼設備
601‧‧‧編碼單元
602‧‧‧編碼單元
603‧‧‧多工單元
610‧‧‧多畫面影像解碼設備
611‧‧‧反多工單元
612‧‧‧解碼單元
613‧‧‧解碼單元
620‧‧‧階層影像編碼設備
621‧‧‧編碼單元
622‧‧‧編碼單元
623‧‧‧多工單元
630‧‧‧多畫面影像解碼設備
631‧‧‧反多工單元
632‧‧‧解碼單元
633‧‧‧解碼單元
圖1顯示RPS語法的實例;圖2顯示inter_ref_pic_set_prediction_flag及delta_idx_minus1的實例;圖3是方塊圖,顯示根據本技術的第一實施例之編碼設備的範例配置;圖4是方塊圖,顯示圖3中所示的編碼單元的範例配置;圖5是顯示圖3中所示的設定單元設定的SPS語法的實例;圖6是顯示RPS語法的實例;圖7顯示圖3中所示的設定單元設定的RPS的資訊量的實例;圖8顯示先前技術中RPS的資訊量;圖9顯示片段標頭的語法的實例;圖10是流程圖,顯示圖3中所示的編碼設備執行的產生處理;圖11是流程圖,顯示圖10中所示的RPS設定處理的細節;圖12是流程圖,顯示圖10中所示的編碼處理的細節;圖13是流程圖,顯示圖10中所示的編碼處理的細節; 圖14是流程圖,顯示圖12中所示的RPS索引決定處理的細節;圖15是方塊圖,顯示根據本技術的第一實施例的解碼設備的範例配置;圖16是方塊圖,顯示圖15中所示的解碼單元的範例配置;圖17是流程圖,顯示圖15中所示的解碼設備執行的接收處理;圖18顯示圖17中所示的RPS設定處理的細節;圖19是流程圖,顯示圖17中所示的解碼處理的細節;圖20是方塊圖,顯示根據本技術的第二實施例之編碼設備的範例配置;圖21是顯示圖20中所示的設定單元設定的SPS語法的實例;圖22顯示圖21中所示的RPS語法的實例;圖23顯示圖20中所示的設定單元設定的RPS的資訊量;圖24顯示圖20中所示的設定單元設定的RPS的資訊量;圖25顯示先前技術中RPS的資訊量;圖26是流程圖,顯示圖20中所示的編碼設備執行的RPS設定處理的細節;圖27是方塊圖,顯示根據本技術的第二實施例的解 碼設備的範例配置;圖28是流程圖,顯示圖27中所示的解碼設備執行的RPS設定處理的細節;圖29是方塊圖,顯示根據本技術的第三實施例之編碼設備的範例配置;圖30是顯示圖29中所示的設定單元設定的SPS語法的實例;圖31是顯示圖30中所示的RPS語法的實例;圖32顯示圖29中所示的設定單元設定的RPS的資訊量;圖33是流程圖,顯示圖29中所示的編碼設備執行的RPS設定處理的細節;圖34是方塊圖,顯示根據本技術的第三實施例的解碼設備的範例配置;圖35是流程圖,顯示圖34中所示的解碼設備執行的RPS設定處理的細節;圖36是方塊圖,顯示根據本技術的第四實施例的編碼設備的範例配置;圖37是方塊圖,顯示圖36中所示的編碼單元的範例配置;圖38顯示圖36中所示的設定單元設定的PPS語法的實例;圖39顯示由圖36中所示的設定單元設定的PPS語法的實例; 圖40顯示根據先前技術中HEVC設計的PPS語法的實例。
圖41顯示根據先前技術中HEVC設計的PPS語法的實例。
圖42顯示要由圖37中所示的無損失編碼單元加上的片段標頭的語法實例;圖43顯示要由圖37中所示的無損失編碼單元加上的片段標頭的語法實例;圖44顯示要由圖37中所示的無損失編碼單元加上的片段標頭的語法實例;圖45顯示根據先前技術中HEVC設計的片段標頭語法的實例;圖46顯示根據先前技術中HEVC設計的片段標頭語法的實例;圖47顯示根據先前技術中HEVC設計的片段標頭語法的實例;圖48是流程圖,顯示圖36中所示的編碼設備執行的產生處理;圖49是流程圖,顯示圖48中所示的編碼處理的細節;圖50是流程圖,顯示圖48中所示的編碼處理的細節;圖51是流程圖,顯示圖48中所示的PPS設定處理的細節; 圖52是方塊圖,顯示根據本技術的第四實施例的解碼設備的範例配置;圖53是方塊圖,顯示圖52中所示的解碼單元的範例實例;圖54是流程圖,顯示圖52中所示的解碼設備執行的接收處理;圖55是流程圖,顯示圖54中所示的解碼處理的細節;圖56顯示多畫面編碼設計實例;圖57顯示根據本技術的實施例的多畫面影像編碼設備的範例主配置;圖58顯示根據本技術的實施例的多畫面影像解碼設備的範例主配置;圖59顯示層化影像編碼設計;圖60顯示根據本技術的實施例的層化影像編碼設備的範例主配置;圖61顯示根據本技術的實施例的層化影像解碼設備的範例主配置;圖62是方塊圖,顯示電腦硬體的範例配置;圖63顯示舉例說明的根據本技術的實施例之電視設備的配置;圖64顯示舉例說明的根據本技術的實施例之行動電話的配置;圖65顯示舉例說明的根據本技術的實施例之記錄/再 生設備的配置;圖66顯示舉例說明的根據本技術的實施例之影像捕捉設備的配置;圖67是方塊圖,顯示利用可比例碼化的實例;圖68是方塊圖,顯示利用可比例碼化的另一實例;以及圖69是方塊圖,顯示利用可比例碼化的仍然又另一實例。
第一實施例
根據第一實施例之編碼設備的範例配置。
圖3是方塊圖,顯示根據本技術的第一實施例之編碼設備10的範例配置;圖3中所示的編碼設備10包含編碼單元11、設定單元12、及發送單元13,以及配置成使用HEVC設計以將影像編碼。
具體而言,圖像以一格接一格的方式作為輸入訊號而輸入至編碼設備10的編碼單元11。編碼單元11使用HEVC設計以將輸入訊號編碼,並參考從設定單元12供應的RPS以取得編碼資料,以及,將編碼資料供應給設定單元12。
設定單元12設定未包含inter_ref_pic_set_predictioin_flag但包含參考圖像規格資訊的RPS、以及設定包含 inter_ref_pic_set_predictioin_flag及參考圖像規格資訊或delta_idx_minus1之RPS。設定單元12指派索引給各RPS作為指定相關的RPS(參考圖像資訊)的參考圖像資訊規格資訊。此處,舉例而言,將引數0指派給未包含inter_ref_pic_set_predictioin_flag但包含參考圖像規格資訊的RPS。
設定單元12將被指派索引的RPS供應給編碼單元11。設定單元12設定包含RPS、圖像參數集(PPS)、等等的SPS。
設定單元12使用編碼單元11供應的編碼資料、設定的SPS及PPS以產生編碼串。設定單元12將編碼串供應給發送單元13。
發送單元13將編碼串從設定單元12供應至下述解碼設備。
編碼單元的範例配置
圖4是方塊圖,顯示圖3中的編碼單元11的範例配置。
參考圖4,編碼單元11包含類比對數位(A/D)轉換單元13、螢幕再配置緩衝器32、計算單元33、正交轉換單元34、量化單元35、無損失編碼單元36、累積緩衝器37、反量化單元38、反正交轉換單元39、加法器單元40、解塊濾波器41、適應偏移濾波器42、適應迴路濾波器43、格記憶體44、開關45、內部預測單元46、動作預 測及補償單元47、預測圖像選取單元48、參考圖像設定單元49、及速率控制單元50。
具體而言,編碼單元11的A/D轉換器31對作為輸入訊號之一格接一格的影像輸入執行A/D轉換,以及將結果影像輸出至螢幕再配置緩衝器32用於儲存。螢幕再配置緩衝器32將儲存的依顯示次序配置的一格接一格圖像再配置成為根據GOP(圖像組)結構的編碼次序,以及將再配置的圖像輸出至計算單元33,內部預測單元46、以及動作預測及補償單元47。
計算單元33作為編碼單元,以及,藉由計算從預測圖像選取單元48供應的預測圖像與螢幕再配置緩衝器32輸出的被編碼圖像之間的差異,以執行編碼。具體而言,計算單元33藉由將螢幕再配置緩衝器32輸出的被編碼圖像減掉預測圖像選取單元48供應的預測圖像而_執行編碼。計算單元33將減法結果取得的圖像作為餘差資訊輸出給正交轉換單元34。假使沒有預測影像從預測圖像選取單元48供應時,計算單元33將讀自螢幕再配置緩衝器32的圖像以原狀餘差資訊輸出至正交轉換單元34。
正交轉換單元34對計算單元33供應的餘差資訊執行正交轉換,以產生正交係數。正交轉換單元34將產生的正交轉換係數供應至量化單元35。
量化單元35使用速率控制單元50供應的量化參數,將正交轉換單元34供應的正交轉換係數量化。量化單元35將量化係數輸入至無損失編碼單元36。
無損失編碼單元36從內部預測單元46取得表示最佳內部預測模式(於下,稱為「內部預測模式資訊」)的資訊。無損失編碼單元36也從動作預測及補償單元47取得表示最佳預測間模式(於下,稱為「預測間模式資訊」)的資訊、動作向量、以及任何其它適當資料。無損失編碼單元36又從參考圖像設定單元49取得RPS的索引或是RPS以及任何其它適當資料,以及,從速率控制單元50取得量化參數。
此外,無損失編碼單元36從適應偏移濾波器42取得儲存旗標、索引或偏移、及型式資訊,以及從適應迴路濾波器43取得濾波器係數。
使用可變長度編碼(舉例而言,內容適應可變長度碼化(CAVLC))、算術碼化(例如內容適應二進位算術碼化(CABAC))、等等,無損失編碼單元36對量化單元35供應的量化係數無損失地編碼。
無損失編碼單元36又對與編碼有關的碼化資訊無損失地編碼。碼化資訊包含內部預測模式資訊或預測間模式資訊及動作向量、RPS的索引或RPS和任何其它適當資料、量化參數、偏移濾波器資訊、及濾波器係數。無損失編碼單元36將無損失編碼的碼化資訊及係數供應給累積緩衝器37,作為用於累積的編碼資料。無損失編碼的碼化資訊可以是無損失編碼的係數的標頭資訊(片段標頭)。
累積緩衝器37暫時地儲存從無損失編碼單元36供應 的編碼資料。此外,累積緩衝器37供應儲存的編碼資料至圖3中所示的設定單元12。
從量化單元35輸出的量化係數也輸入至反量化單元38。反量化單元38使用速率控制單元50供應的量化參數,將量化單元35量化的係數反量化,以取得正交轉換係數,以及,將取得的正交轉換係數供應給反正交轉換單元39。
反正交轉換單元39對反量化單元38供應的正交轉換係數執行反正交轉換。反正交轉換單元39將因反正交轉換的結果取得的餘差資訊供應給加法器單元40。
加法器單元40將從反正交轉換單元39供應之餘差資訊以及從預測圖像選取單元48供應的預測圖像相加,以取得本地解碼圖像。假使沒有預測圖像從預測圖像選取單元48供應,則加法器單元40使用反正交轉換單元39供應的餘差資訊作為本地解碼圖像。加法器單元40將本地解碼圖像供應至解塊濾波器41及也供應本地解碼圖像給格記憶體44以用於累積。
解塊濾波器41對加法器單元40供應的本地解碼圖像執行適應解塊濾波處理,以移除區塊失真,以及,將結果影像供應給適應偏移濾波器42。
適應偏移濾波器42對接受解塊濾波器41之適應解塊濾波處理的圖像執行適應偏移濾波(取樣適應偏移(SAO))操作,以主要移除振影人為因素。
具體而言,適應偏移濾波器42對各最大碼化單位 (LCU)決定適應偏移濾波處理的型式,以及決定適應偏移濾波處理中要使用的偏移。使用決定的偏移,適應偏移濾波器42對接受適應解塊濾波處理的圖像執行適應偏移濾波處理的決定型式。適應偏移濾波器42供應接受適應偏移濾波處理的圖像給適應迴路濾波器43。
此外,適應偏移濾波器42具有儲存偏移的緩衝器。適應偏移濾波器42根據LCU接LCU而決定適應解塊濾波處理中使用的偏移是否已儲存於緩衝器中。
假使判定適應解塊濾波處理中使用的偏移已儲存在緩衝器中時,適應偏移濾波器42將表示偏移是否儲存在緩衝器中的儲存旗標設定於代表偏移被儲存於緩衝器中的值(此處為1)。
適應偏移濾波器42將被設定於1的儲存旗標、表示偏移儲存在緩衝器中的位置之索引、及表示已執行的適應偏移濾波處理的型式之型式資訊,LCU接LCU為基礎而供應給無損失編碼單元36。
假使判定適應解塊濾波處理中使用的偏移尚未儲存在緩衝器中時,適應偏移濾波器42將偏移依序地儲存在緩衝器中。適應偏移濾波器42又將儲存旗標設定在表示偏移未儲存在緩衝器中的值(此處為0)。適應偏移濾波器42將設定於0的儲存旗標、偏移及型式資訊以LCU接LCU為基礎而供應給無損失編碼單元36。
舉例而言,適應迴路濾波器43對以LCU接LCU為基礎而從適應偏移濾波器42供應的接受過適應偏移濾波 處理的圖像執行適應迴路濾波(適應迴路濾波(ALF))處理。舉例而言,使用根據二維文納(Wiener)濾波器之處理作為適應迴路濾波處理。可以使用文納濾波器以外的濾波器。
更具體而言,適應迴路濾波器43以LCU接LCU為基礎而計算適應迴路濾波處理中使用的濾波器係數,以致於從螢幕再配置緩衝器32輸出的圖像之原始圖像與接受適應迴路濾波處理的影像之間的餘差變成最少。以LCU接LCU為基礎,適應迴路濾波器43對接受過使用計算的濾波器係數的適應偏移濾波處理之圖像執行適應迴路濾波處理。
適應迴路濾波器43供應接受過適應迴路濾波操作的圖像給格記憶體44。適應迴路濾波器43又供應濾波器係數給無損失編碼單元36。
在上述說明中,以LCU接LCU為基礎,執行適應迴路濾波處理。但是,適應迴路濾波處理的單位不限於LCU。注意,使適應偏移濾波器42及適應迴路濾波器43的處理單位相符,可以提供有效率的處理。
格記憶體44累積適應迴路濾波器43供應的圖像以及加法器單元40供應的圖像。累積在格記憶體44中的圖像作為參考圖像,經由開關45輸出至內部預測單元46或是動作預測及補償單元47。
使用經由開關45而從格記憶體44讀出的參考圖像,內部預測單元46執行用於所有可能的內部預測模式的內 部預測處理。
此外,根據讀自螢幕再配置緩衝器32的圖像及因內部預測處理的結果而產生的預測圖像,內部預測單元46計算所有可能的內部預測模式的成本函數值(於下將說明其細節)。內部預測單元46將成本函數值最小的內部預測模式判定為最佳內部預測模式。
內部預測單元46供應最佳的內部預測模式中產生的預測影像及對應的成本函數值給預測圖像選取單元48。在由預測圖像選取單元48告知最佳內部預測模式中產生的預測圖像的選取時,內部預測單元46供應內部預測模式資訊給無損失編碼單元36。
應注意,成本函數值也稱為速率失真(RD)成本,以及,使用例如H.264/AVC參考軟體之聯合模型(JM)所界定般高複雜度模式或低複雜度模式決定方法中之一,計算成本函數值。
具體而言,在使用高複雜度模式決定方法計算成本函數值的情形中,對所有可能的預測模式有條件地執行到達解碼之多個處理,以及,對各預測模式計算下述公式(1)表示的成本函數值。
Cost(Mode)=D+λ.R…(1)D代表原始影像與解碼影像之間的差異(失真),R代表也包含正交轉換係數的產生的碼量,以及,λ代表作為量化參數QP的函數之拉格朗日(Lagrange)乘數。
在使用低複雜度模式決定方法以計算成本函數值的情 形中,對所有可能的預測模式執行預測圖像的產生及碼化資訊的碼量計算,以及,對各預測模式,計算下述公式(2)表示的成本函數:Cost(Mode)=D+QPtoQuant(QP).Header_Bit…(2)其中,D代表原始圖像與預測圖像之間的差異(或失真),Header_Bit代表碼化資訊的碼量,以及,QPtoQuant代表作為量化參數QP的函數。
低複雜度模式決定方法涉及對所有預測模式產生預測圖像,但未涉及解碼圖像的產生,造成計算量減少。
動作預測及補償單元47對所有可能的預測間模式執行動作預測/補償處理。具體而言,根據螢幕再配置緩衝器32供應的圖像及經由開關45而自格記憶體44讀出的參考圖像,動作預測及補償單元47偵測所有可能預測間模式的動作向量。動作預測及補償單元47作為預測圖像產生單元,以及,根據動作向量而對參考圖像執行補償操作,以產生預測圖像。
在此情形中,根據螢幕再配置緩衝器32供應的圖像及預測圖像,動作預測及補償單元47對所有可能的預測間模式,計算成本函數值,以及,動作預測及補償單元25將成本函數值最小的預測間模式判定為最佳的預測間模式。然後,動作預測及補償單元47將最佳預測間模式中產生的預測圖像及對應的成本函數值供應給預測圖像選取單元48。當由預測圖像選取單元48通知最佳預測間模式中產生的預測圖像的選取時,動作預測及補償單元47 將預測間模式資訊、對應的動作向量、及任何適當的資料輸出至無損失編碼單元36,以及將參考圖像規格資訊輸出至參考圖像設定單元49。
根據內部預測單元46以及動作預測及補償單元47供應的成本函數值,預測圖像選取單元48將最佳內部預測模式及具有較小成本函數值的最佳預測模式之一判定為最佳預測模式。預測圖像選取單元48將最佳預測模式中的預測圖像供應給計算單元33及加法單元40。此外,預測圖像選取單元48也將最佳預測模式中的預測圖像的選取,通知內部預測單元46或是動作預測及補償單元47。
參考圖像設定單元49保存動作預測及補償單元47供應的參考圖像規格資訊,其數量對應於GOP。假使被編碼的圖像是GOP的初始圖像時,則參考圖像設定單元49將表示被編碼的圖像的RPS是包含在SPS中的RPS之RPS旗標及RPS的引數0,供應給無損失編碼單元36。
假使被編碼的圖像是GOP中的初始圖像以外的圖像,則參考圖像設定單元49比較用於參考圖像的參考圖像規格資訊與用於被編碼的圖像之參考圖像規格資訊,以及,根據比較結果,決定inter_ref_pic_set_prediction_flag及delta_idx_minus1。參考圖像設定單元49使用包含決定的inter_ref_pic_set_prediction_flag之RPS及用於被編碼的圖像之參考圖像規格資訊或是delta_idx_minus1以作為被編碼的圖像的RPS。
在與被編碼的圖像的RPS相同的RPS從設定單元12 供應的情形中,參考圖像設定單元49將標示被編碼的圖像的RPS是包含在SPS中的RPS之RPS旗標和RPS索引,供應給無損失編碼單元36。在與被編碼的圖像的RPS相同的RPS未從設定單元12供應的情形中,參考圖像設定單元49將標示被編碼的圖像的RPS不是包含在SPS中的RPS之RPS旗標,供應給無損失編碼單元36。
速率控制單元50根據累積緩衝器37中累積的編碼資料,決定要由量化單元35使用的量化參數,以致於不會發生溢出或下溢。速率控制單元50將決定的量化參數供應給量化單元35、無損失編碼單元36、及反量化單元38。
SPS語法的實例
圖5顯示圖3中所示的設定單元12設定的SPS語法的實例。
如同在圖5中的第十八列中所示般,SPS包含具有個別索引(i)的RPS。
RPS語法的實例
圖6顯示RPS語法的實例。
雖然圖6中未顯示,但是在第六列之後的列的說明類似於圖1中的第三列之後的列的說明。
如同在圖6中的第二及第三列中所示般,索引(idx)等於0的RPS未包含inter_ref_pic_set_prediction_flag ,但包含當inter_ref_pic_set_prediction_flag等於0時被包含的參考圖像規格資訊。
相對地,如同在第四及第五列中所示般,索引(idx)等於0以外的值之RPS包含inter_ref_pic_set_prediction_flag。當inter_ref_pic_set_prediction_flag等於0時,RPS又包含參考圖像規格資訊,或是當inter_ref_pic_set_prediction_flag等於1時,包含delta_idx_minus1。
本技術的實施例的優點
圖7顯示圖3中所示的設定單元12設定的RPS的資訊量,圖8顯示先前技術中RPS的資訊量。
在圖7及8中的實例中,用於從GOP開端開始的第二及第八圖像的參考圖像規格資訊與用於在編碼次序上正好在前的圖像之參考圖像規格資訊相同。
在此情形中,如圖7中所示般,設定單元12將用於GOP中的初始圖像的參考圖像規格資訊設定為索引等於0的RPS。舉例而言,設定單元12也將用於inter_ref_pic_set_prediction_flag的值1及用於delta_idx_minus1的值0設定為索引等於1的RPS。然後,在GOP中的初始圖像的RPS的索引設定為0,以及,第二圖像及第八圖像的RPS的索引設定為1。
相對地,如圖8中所示般,在先前技術中,用於inter_ref_pic_set_prediction_flag的值0及用於GOP中的初始圖像的參考圖像規格資訊設定為例如索引等於0的 RPS。此外,藉由設定單元12,設定索引等於1的RPS。此外,GOP中的初始圖像的索引設定為0,以及,第二圖像及第八圖像的RPS的索引設定為1。
因此,設定單元12未將inter_ref_pic_set_prediction_flag設定為索引等於0的RPS,此RPS作為初始圖像的RPS。亦即,依編碼次序沒有圖像在GOP中的初始圖像之前。因此,inter_ref_pic_set_prediction_flag確定地等於0。因此,設定單元12未將inter_ref_pic_set_prediction_flag設定為索引等於0的RPS,此RPS作為初始圖像的RPS,但僅設定參考圖像規格資訊,其中,inter_ref_pic_set_prediction_flag等於0。結果,相較於先前技術的RPS資訊量,RPS的資訊量減少相當於初始圖像的inter_ref_pic_set_prediction_flag的數量。
片段標頭的語法實例
圖9顯示片段標頭的語法實例。
如同圖9中的第五列中所示般,片段標頭包含對應的係數的RPS旗標(short_term_ref_pic_set_sps_flag)。此外,如同圖9中的第六及第七列中所示般,假使RPS旗標等於0,這表示被編碼的圖像的RPS不是包含在SPS中的RPS,則片段標頭包含對應的係數的RPS作為short_term_ref_pic_set(num_short_term_ref_pic_sets)。
如同圖9中的第八及第九列中所示般,假使RPS旗標等於1,這表示被編碼的圖像的RPS是包含在SPS中的 RPS,則片段標頭包含對應的係數的RPS的索引作為short_term_ref_pic_set_index。
〔編碼設備的處理〕
圖10是流程圖,說明產生圖3中所示的編碼設備10執行的產生處理。
參考圖10,在步驟S11中,編碼設備10的設定單元12執行用於設定RPS的RPS設定處理。於下將參考下述圖11,說明RPS設定處理的細節。在步驟S12中,編碼單元11執行編碼處理,使用HEVC設計,將從外側作為輸入訊號輸入的一格接一格的圖像編碼。將參考下述的圖12和13,說明編碼處理的細節。
在步驟S13中,設定單元12設定包含被指定索引的RPS之SPS。在步驟S14中,設定單元12設定PPS。在步驟S15中,使用從編碼單元11供應的編碼資料以及設定的SPS和PPS,設定單元12產生編碼串。設定單元12供應編碼串給發送單元13。
在步驟S16中,發送單元13發送設定單元12供應的編碼串給下述解碼設備。然後,處理結束。
圖11是流程圖,說明圖10中的步驟S11中的RPS設定處理的細節。
參考圖11,在步驟S21中,設定單元12將RPS的索引設定為0。在步驟S22中,設定單元12判斷RPS的索引i是否等於0。假使在步驟S22中判定RPS的索引i等 於0,則在步驟S23中,設定單元12將inter_ref_pic_set_prediction_flag設定為0。然後,處理進行至步驟S25。
假使在步驟S22中判定RPS的索引i不等於0,則在步驟S24中,設定單元12將inter_ref_pic_set_prediction_flag設定為具有索引i的RPS。然後,處理進行至步驟S25。
在步驟S25中,設定單元12判斷inter_ref_pic_set_prediction_flag是否等於1。假使在步驟S25中,判斷inter_ref_pic_set_prediction_flag等於1,則在步驟S26中,設定單元12將delta_idx_minus1設定為具有索引i的RPS。然後,處理進行至步驟S28。
假使在步驟S25中,判斷inter_ref_pic_set_prediction_flag不等於1,亦即,inter_ref_pic_set_prediction_flag等於0,則在步驟S27中,設定單元12設定參考圖像規格資訊。然後,處理進行至步驟S28。
在步驟S28中,設定單元12將索引i增量1。在步驟S29中,設定單元12決定索引i是否大於或等於代表包含在SPS中的RPS的數目之num_short_term_ref_pic_sets。
假使在步驟S29中判定索引i不大於或等於數目num_short_term_ref_pic_sets,則處理返回至步驟S22,以及,步驟S22至S29的處理重複執行直到索引i變成大於或等於數目num_short_term_ref_pic_sets。
假使在步驟S29中判定索引i大於或等於數目 num_short_term_ref_pic_sets,則處理返回至圖10中的步驟S11,然後進行至步驟S12。
圖12及13是流程圖,顯示圖10中的步驟S12中的編碼處理的細節。
參考圖12,在步驟S31中,編碼單元11的A/D轉換單元31對作為輸入訊號的一格接一格的圖像輸入執行A/D轉換,以及,將結果圖像輸出至螢幕再配置緩衝器32,用於儲存。
在步驟S32中,螢幕再配置緩衝器32將儲存的依顯示次序配置的格的圖像,再配置成根據GOP(圖像組)結構的編碼次序。螢幕再配置緩衝器32將再配置的一格接一格圖像供應給計算單元33、內部預測單元46、以及動作預測及補償單元47。
在步驟S33中,內部預測單元46對所有可能的內部預測模式執行內部預測處理。此外,根據讀自螢幕再配置緩衝器32的圖像及因內部預測處理的結果而產生的預測圖像,內部預測單元46計算所有可能的內部預測模式的成本函數值。然後,內部預測單元46接著將成本函數值最小的內部預測模式判定為最佳內部預測模式。內部預測單元46將最佳內部預測模式中產生的預測圖像以及對應的成本函數值供應給預測圖像選取單元48。
此外,動作預測及補償單元47對所有可能的預測間模式執行動作預測及補償處理。此外,根據從螢幕再配置緩衝器32供應的圖像及預測圖像,動作預測及補償單元 47對所有可能的預測間模式計算成本函數值,以及,動作預測及補償單元25將成本函數值最小的預測間模式判定為最佳預測間模式。動作預測及補償單元47將最佳預測間模式中產生的預測圖像及對應的成本函數值供應給預測圖像選取單元48。
在步驟S34中,根據經由步驟33的處理而從內部預測單元46及動作預測及補償單元47供應的成本函數值,預測影像選取單元48將最佳內部預測模式及具有較小成本函數值的最佳預測間模式,判定為最佳預測模式。然後,預測圖像選取單元48在最佳預測模式中供應預測圖像給計算單元33及加法器單元40。
在步驟S35中,預測影像選取單元48判斷最佳預測模式是否為最佳預測間模式。假使步驟S35中判定最佳預測模式是最佳預測間模式時,預測圖像選取單元48將最佳預測間模式中產生的預測圖像的選取通知動作預測及補償單元47。
然後,在步驟S36中,動作預測及補償單元47將預測間模式資訊及對應的動作向量供應給無損失編碼單元36。動作預測及補償單元47將參考圖像規格資訊供應給參考圖像設定單元49。
在步驟S37中,參考圖像設定單元49執行RPS索引決定處理,用於決定RPS的索引。將參考下述圖14,說明RPS索引決定處理的細節。
假使在步驟S35中判定最佳預測模式不是最佳預測間 模式時,亦即,最佳預測模式是最佳內部預測模式時,預測圖像選取單元48將最佳內部預測模式中產生的預測圖像的選取通知內部預測單元46。然後,在步驟S38中,內部預測單元46供應內部預測模式資訊給無損失編碼單元36。然後,處理進行至步驟S39。
在步驟S39中,藉由將螢幕再配置緩衝器32供應的圖像減掉預測圖像選取單元48供應的預測圖像,計算單元33執行編碼。計算單元33將結果圖像作為餘差資訊輸出給正交轉換單元34。
在步驟S40中,正交轉換單元34對計算單元33供應的餘差資訊執行正交轉換,以取得正交轉換係數,以及,將取得的正交轉換係數供應給量化單元35。
在步驟S41中,使用速率控制單元50供應的量化參數,量化單元35量化從正交轉換單元34供應的係數。量化係數輸入至無損失編碼單元36及反量化單元38。
參考圖13,在步驟S42中,使用速率控制單元50供應的量化參數,反量化單元38將量化單元35供應的量化係數反量化以取得正交轉換係數,以及,供應取得的正交轉換係數給反正交轉換單元39。
在步驟S43中,反正交轉換單元39對反量化單元38供應的正交轉換係數執行反正交轉換以取得餘差資訊,以及,將取得的餘差資訊供應給加法器單元40。
在步驟S44中,加法器單元40將反正交轉換單元39供應的餘差資訊與預測圖像選取單元48供應的預測圖像 相加,以取得本地解碼圖像。加法器單元40將取得的圖像供應給解塊濾波器41,以及也供應給格記憶體44。
在步驟S45中,解塊濾波器41對加法器單元40供應的本地解碼圖像執行解塊濾波處理。解塊濾波器41將解碼濾波處理的結果取得之圖像供應給適應偏移濾波器42。
在步驟S46中,適應偏移濾波器42以LCU接LCU為基礎而對自解塊濾波器41供應的圖像執行適應偏移濾波處理。適應偏移濾波器42將適應偏移濾波處理的結果取得的圖像供應給適應迴路濾波器43。此外,適應偏移濾波器42以LCU接LCU為基礎而將包含儲存旗標、索引或偏移、及型式資訊之偏移濾波器資訊供應給無損失編碼單元36。
在步驟S47中,適應迴路濾波器43對以LCU接LCU為基礎而從適應偏移濾波器42供應的圖像執行適應迴路濾波處理。適應迴路濾波器43將適應迴路濾波處理的結果取得的圖像供應給格記憶體44。適應迴路濾波器43又將適應迴路濾波處理中使用的濾波器係數供應給無損失編碼單元36。
在步驟S48中,格記憶體44累積適應迴路濾波器43供應的圖像及加法器單元40供應的圖像。累積在格記憶體44中的圖像作為參考圖像經由開關45而輸出至內部預測單元46或是動作預測及補償單元47。
在步驟S49中,無損失編碼單元36對作為編碼資訊 的速率控制單元50供應的量化參數、內部預測模式資訊或是預測間模式資訊及動作向量、RPS的索引或RPS及任何其它適當資料、偏移濾波資訊、及濾波器係數執行無損失編碼。
在步驟S50中,無損失編碼單元36對量化單元35供應的量化係數執行無損失編碼。然後,使用步驟S49的處理中無損失地編碼的碼化資訊及無損失編碼的係數,無損失編碼單元36產生編碼資料。
在步驟S51中,累積緩衝器37暫時地累積無損失編碼單元36供應的編碼資料。
在步驟S52中,根據累積在累積緩衝器37中的編碼資料,速率控制單元50決定要由量化單元35使用的量化參數,以致於沒有發生溢出或下溢。速率控制單元50供應決定的量化參數給量化單元35、無損失編碼單元36、及反量化單元38。
在步驟S53中,累積緩衝器37將儲存的編碼資料輸出至圖3中的設定單元12。
在圖12及13中所示的編碼處理中,為了簡明起見,執行內部預測處理及動作預測和補償處理。但是,事實上,可以根據圖像型式等等,執行處理之一。
圖14是流程圖,顯示圖12中的步驟S37中的RPS索引決定處理的細節。
參考圖14,在步驟S71中,參考圖像設定單元49固持動作預測及補償單元47供應的參考圖像規格資訊,所 述供應的參考圖像規格資訊的數量相當於GOP。在步驟S72中,參考圖像設定單元49判斷被編碼的圖像是否是GOP中的初始圖像。
假使在步驟S72中判定被編碼的圖像是GOP中的初始圖像以外的圖像時,則在步驟S73中,參考圖像設定單元49將RPS旗標設定為1。在步驟S74中,參考圖像設定單元49將RPS的引數設定為0。然後,處理進行至步驟S79。
假使在步驟S72中判定被編碼的圖像是GOP中的初始圖像以外的圖像時,則在步驟S75中,參考圖像設定單元49產生被編碼的圖像的RPS。
具體而言,參考圖像設定單元49判斷固持之用於先前圖像的參考圖像規格資訊與用於被編碼的圖像之參考圖像規格資訊是否相同。假使判定固持的用於先前圖像的參考圖像規格資訊與用於被編碼的圖像之參考圖像規格資訊相同,則參考圖像設定單元49產生包含用於inter_ref_pic_set_prediction_flag的值1及包含delta_idx_minus1之被編碼圖像的RPS。
假使判定固持的用於先前圖像的參考圖像規格資訊不同於用於被編碼的圖像之參考圖像規格資訊,則參考圖像設定單元49產生包含用於inter_ref_pic_set_prediction_flag的值0之被編碼圖像的RPS。
在步驟S76中,參考圖像設定單元49判斷被編碼的圖像之RPS與包含在設定單元12供應的SPS中的RPS是 否相同。假使在步驟S76中判定被編碼的圖像之RPS與包含在SPS中的RPS相同,則在步驟S77中,參考圖像設定單元49將RPS旗標設定為1。
在步驟S78中,參考圖像設定單元49辨識包含在與被編碼的圖像之RPS的SPS相同的SPS中的RPS的索引i。然後,處理進行至步驟S79。在步驟S79中,參考圖像設定單元49將步驟S73或S77中設定的RPS旗標和步驟S74中設定的RPS的索引或是步驟S78中辨識的RPS的索,供應給無損失編碼單元36。然後,處理返回至圖12中的步驟S37,以及進行至步驟S39。
假使在步驟S76中判定被編碼的圖像之RPS與包含在SPS中的RPS不相同時,則在步驟S80中,參考圖像設定單元49將RPS旗標設定為0。在步驟S81中,參考圖像設定單元49將步驟S80中設定的RPS旗標及步驟S75中產生的RPS,供應給無損失編碼單元36。然後,處理返回至圖12中的步驟S37,以及進行至步驟S39。
因此,假使被編碼的影像是GOP中初始圖像以外的影像時,則編碼設備10傳送inter_ref_pic_set_prediction_flag。亦即,假使被編碼的影像是GOP中的初始圖像時,編碼設備10未傳送inter_ref_pic_set_prediction_flag。因此,與參考圖像規格資訊有關的RPS的資訊量減少相當於GOP中初始圖像的inter_ref_pic_set_prediction_flag的量。
根據第一實施例的解碼設備的範例配置
圖15是方塊圖,顯示根據本技術的第一實施例之解碼設備的範例配置,其配置成將將圖3中所示的編碼設備10發送的編碼串解碼。
參考圖15,解碼設備110包含接收單元111、取出單元112、及解碼單元113。
解碼設備110的接收單元111接收從圖3中的編碼設備10發送的編碼串,以及,將編碼串供應至取出單元112。
取出單元112將來自接收單元111供應的編碼串之例如SPS、PPS、編碼資料等等取出。取出單元112供應編碼資料給解碼單元113。此外,取出單元112取得inter_ref_pic_set_prediction_flag及delta_idx_minus1或是根據SPS之各RPS中的參考圖像規格資訊,以及,將取得的資訊供應至解碼單元113。及影像調整單元54。假使需要時,取出單元112也供應包含在SPS中RPS以外的資訊、PSS、等等給解碼單元113。
解碼單元113根據取出單元112供應的各RPS中的參考圖像規格資訊或是inter_ref_pic_set_prediction_flag及delta_idx_minus1,使用HEVC技術,將取出單元112供應的編碼資料解碼。在此情形中,假使需要時,解碼單元113也參考包含在SPS中RPS以外的資訊、PSS、等等。解碼單元113將解碼結果而取得的圖像輸出作為輸出訊號。
解碼單元的範例配置
圖16是方塊圖,顯示圖15所示的解碼單元113的範例配置。
參考圖16,解碼單元113包含累積緩衝器131、無損失解碼單元132、反量化單元133、反正交轉換單元134、加法器單元135、解塊濾波器136、適應偏移濾波器137、適應迴路濾波器138、螢幕再配置緩衝器139、數位對類比(D/A)轉換單元140、格記憶體141、開關142、內部預測單元143、參考圖像設定單元144、動作補償單元145、及開關146。
解碼單元113的累積緩衝器131接收來自圖15中的取出單元112的編碼資料,以及累積編碼資料。累積緩衝器131將累積的編碼資料供應給無損失解碼單元132。
使用可變長度解碼、算術解碼、等等,無損失解碼單元132將累積緩衝器131供應的編碼資料無損失地解碼,以取得量化係數及碼化資訊。無損失解碼單元132供應量化係數給反量化單元133。此外,無損失解碼單元132將內部預測模式資訊及任何其它適當資料作為碼化資訊供應給內部預測單元143,以及供應動作向量、預測間模式資訊及任何適當資料供應給動作補償單元145。無損失解碼單元132又將RPS旗標及RPS的索引或RPS供應給參考圖像設定單元144。
此外,無損失解碼單元132將內部預測模式資訊或預 測間模式資訊作為編碼資訊供應給開關146。無損失解碼單元132將偏移濾波器資訊作為碼化資訊供應給適應偏移濾波器137,以及,將濾波器係數作為碼化資訊供應給適應迴路濾波器138。
反量化單元133、反正交轉換單元134、加法器單元135、解塊濾波器136、適應偏移濾波器137、適應迴路濾波器138、格記憶體141、開關142、內部預測單元143、及動作補償單元145執行與圖4中的反量化單元38、反正交轉換單元39、加法單元40、解塊濾波器41、適應偏移濾波器42、適應迴路濾波器43、格記憶體44、開關45、內部預測單元46、以及動作預測及補償單元47類似的操作。因此,圖像被解碼。
具體而言,反量化單元133將來自無損失解碼單元132的量化係數反量化以取得正交轉換係數,以及,將取得的正交轉換係數供應至反正交轉換單元134。
反正交轉換單元134對反量化單元133供應的係數執行反正交轉換。反正交轉換單元134將反正交轉換的結果取得的餘差資訊供應給加法器單元135。
加法單元135作為解碼單元,以及,將反正交轉換單元134供應的作為被解碼圖像之餘差資訊與從開關146供應的預測圖像相加而執行解碼。加法器單元135將因解碼結果而取得的圖像供應給解塊濾波器136,以及,也供應給格記憶體141。假使沒有圖像從開關146供應的情形中,加法器單元135將反正交轉換單元134供應的餘差資 訊之圖像作為解碼結果取得的圖像供應給解塊濾波器136以及格記憶體141以用於累積。
解塊濾波器136對加法器單元135供應的圖像執行適應解塊濾波,以及,將結果圖像供應給適應偏移濾波器137。
適應偏移濾波器137具有緩衝器,用於儲存依序從無損失解碼單元132供應的偏移。此外,根據無損失解碼單元132的偏移濾波器資訊,適應偏移濾波器137以LCU接LCU為基礎而對接受解塊濾波器136執行的適應解塊濾波處理之圖像執行適應偏移濾波處理。
具體而言,假使包含在偏移濾波器資訊中的儲存旗標等於0時,則藉由使用包含在偏移濾波器資訊中的偏移,適應偏移濾波器137對接受LCU接LCU解塊濾波處理的圖像,執行型式資訊指定的型式之適應偏移濾波處理。
假使包含在偏移濾波器資訊中的儲存旗標等於1時,適應偏移濾波器137從接受LCU接LCU解塊濾波處理的圖像中,讀取儲存在包含在偏移濾波器資訊中的索引所標示的位置之偏移。然後,使用讀取的偏移,適應偏移濾波器137執行型式資訊指定的型式之適應偏移濾波處理。適應偏移濾波器137將接受適應偏移濾波處理的圖像供應給適應迴路濾波器138。
以LCU接LCU為基礎,使用無損失解碼單元132供應的濾波器係數,適應迴路濾波器138對從適應偏移濾波器137供應的圖像執行適應迴路濾波處理。適應迴路濾波 器132將適應迴路濾波處理的結果而取的圖像供應至格記憶體141及螢幕再配置緩衝器139。
螢幕再配置緩衝器139以格為單元而儲存適應迴路濾波器138供應的圖像。螢幕再配置緩衝器139將依編碼次序配置的儲存之一格接一格的圖像再配置至原始顯示次序,以及,將再配置的圖像供應給D/A轉換單元140。
D/A轉換單元140對從螢幕再配置緩衝器139供應的一格接一格的圖像執行D/A轉換,以及,將結果的圖像輸出作為輸出訊號。格記憶體141累積從適應迴路濾波器138供應的圖像及從加法器單元135供應的圖像。累積在格記憶體141中的圖像被讀取作為參考圖像、及經由開關142而供應至內部預測單元143或是動作補償單元145。
使用經由開關142而自格記憶體141讀取之參考圖像,內部預測單元143執行用於無損失解碼單元132供應的內部預測模式資訊標示的內部預測模式之內部預測處理。內部預測單元143供應內部預測處理的結果產生的預測圖像給開關146。
參考圖像設定單元144固持圖15中所示的選取單元112供應的各RPS中的參考圖像規格資訊或是inter_ref_pic_set_prediction_flag及delta_idx_minus1,以作為RPS資訊。此外,根據無損失解碼單元132供應的RPS旗標、RPS的索引或RPS、及關於各RPS的RPS資訊,參考圖像設定單元144產生用於被編碼的圖像之參考圖像規格資訊。參考圖像設定單元144將產生的參考圖像 規格資訊供應給動作補償單元145,也固持它。
根據參考圖像設定單元144供應的參考圖像規格資訊,動作補償單元145經由開關142而從格記憶體141讀取由參考圖像規格資訊指定的參考影像。動作補償單元145作為預測圖像產生單元,以及,使用動作向量及參考圖像,動作補償單元145執行用於預測間模式資訊標示的最佳預測間模式的動作補償處理。動作補償單元145將動作補償處理的結果產生的預測影像供應給開關146。
在內部預測模式資訊從無損失解碼單元132供應時,開關146將內部預測單元143供應的預測圖像供應至加法器單元135。在預測間模式資訊從無損失解碼單元132供應時,開關146將動作補償單元145供應的預測圖像供應給加法器單元135。
解碼裝置的處理
圖17是流程圖,說明圖15中所示的解碼設備110執行的接收處理。
參考圖17,在步驟S111中,解碼設備110的接收單元111接收從圖3所示的編碼設備10發送的編碼串,以及,供應編碼串給選取單元112。
在步驟S112中,選取單元112從來自接收單元111供應的編碼串中取出SPS、PPS、編碼資料、等等。假使需要時,選取單元112又供應包含在SPS中的RPS以外的資訊、PPS、等等給編碼單元113。
在步驟S113中,選取單元112根據SPS而取得inter_ref_pic_set_prediction_flag及delta_idx_minus1或各RPS中的參考圖像規格資訊作為RPS資訊,以及供應取得的資訊給解碼單元113。
在步驟S114中,根據從選取單元112供應的各RPS有關的RPS資訊,使用HEVC技術,解碼單元113執行用於將選取單元112供應的編碼資料解碼。於下,將參考圖19,說明解碼處理的細節。然後,處理結束。
圖18是流程圖,說明圖17中的步驟S113中的RPS設定處理的細節。
參考圖18,在步驟S120中,選取單元112取得包含在SPS中的num_short_ref_pic_sets(圖5)。在步驟S121中,選取單元112將對應於要產生之RPS資訊的RPS的索引i設定為0。在步驟S122中,選取單元112判斷RPS的索引i是否等於0。
假使在步驟S122中,判定索引i等於0時,在步驟S123中,選取單元112將具有索引i的RPS有關的RPS資訊中包含的inter_ref_pic_set_prediction_flag設定為0。然後,處理進行至步驟S125。
假使在步驟S122中,判定索引i不等於0時,在步驟S124中,選取單元112取得包含在SPS中具有索引i的RPS中包含的inter_ref_pic_set_prediction_flag。然後,選取單元112將取得的inter_ref_pic_set_prediction_flag設定為具有索引i的RPS有關的RPS資訊中包含的 inter_ref_pic_set_prediction_flag。然後,處理進行至步驟S125。
在步驟S125中,選取單元112判斷inter_ref_pic_set_prediction_flag是否等於1。假使在步驟S125中判定inter_ref_pic_set_prediction_flag等於1時,則在步驟S126中,選取單元112取得包含在SPS中具有索引i的RPS中包含的delta_idx_minus1。然後,選取單元112將取得的delta_idx_minus1設定為包含在具有索引i的RPS有關的RPS資訊中包含的delta_idx_minus1。然後,處理進行至步驟S128。
假使在步驟S125中判定inter_ref_pic_set_prediction_flag不等於1時,則在步驟S127中,選取單元112取得包含在SPS中具有索引i的RPS中包含的參考圖像規格資訊。然後,選取單元112將取得的參考圖像規格資訊設定為包含在具有索引i的RPS有關的RPS資訊中包含的參考圖像規格資訊。然後,處理進行至步驟S128。
在步驟S128中,選取單元112使索引i增量1。在步驟S129中,選取單元112判斷索引i是否大於或等於步驟S120中取得的num_short_term_ref_pic_sets。
假使在步驟S129中判斷索引i不大於或等於num_short_term_ref_pic_sets,則處理返回至步驟S122,以及,重複執行步驟S122至S129的處理直到索引i變成大於或等於num_short_term_ref_pic_sets。
假使在步驟S129中判斷索引i大於或等於 num_short_term_ref_pic_sets,則在步驟S130中,選取單元112供應數目等於num_short_term_ref_pic_sets之RPS集有關的RPS資訊。然後,處理返回至圖17中的步驟S113,以及進行至步驟S114。
圖19是流程圖,顯示圖17中的步驟S114中的解碼處理的細節。
參考圖19,在步驟S131中,解碼單元113的累積緩衝器131從圖15中所示的選取單元112接收一格接一格的編碼資料,以及累積編碼資料。累積緩衝器131將累積的編碼資料供應至無損失解碼單元132。
在步驟S132中,無損失解碼單元132對來自累積緩衝器131的編碼資料無損失地解碼,以取得量化係數及碼化資訊。無損失解碼單元132供應量化係數給反量化單元133。此外,無損失解碼單元132將內部預測模式資訊及任何其它適當資料作為碼化資訊供應給內部預測單元143,以及,將動作向量、預測間模式資訊、RPS索引或RPS、及任何其它適當資料作為碼化資訊供應給動作補償單元145。
此外,無損失解碼單元132將內部預測模式資訊或是預測間模式資訊作為編碼資訊供應給開關146。無損失解碼單元132將偏移濾波器資訊作為碼化資訊供應給適應偏移濾波器137,以及,將濾波器係數作為碼化資訊供應給適應迴路濾波器138。
在步驟S133中,反量化單元133將無損失解碼單元 132供應的量化係數反量化以取得正交轉換係數,以及,將取得的正交轉換係數供應給反正交轉換單元134。
在步驟S134中,動作補償單元145判斷預測間模式資訊是否從無損失解碼單元132供應。假使在步驟S134中判定預測間模式資訊被供應時,處理進行至步驟S135。
在步驟S135中,根據選取單元112供應的各RPS有關的RPS資訊、以及無損失解碼單元132供應的RPS或RPS索引以及RPS旗標,參考圖像設定單元144產生用於被解碼的圖像之參考圖像規格資訊,以及,參考圖像設定單元144固持產生的參考圖像規格資訊。
具體而言,參考圖像設定單元144固持取出單元112供應的各RPS有關的RPS資訊。假使RPS旗標等於0時,參考圖像設定單元144讀取被固持的RPS資訊中RPS的索引有關的RPS資訊。假使包含在讀取的RPS資訊中的inter_ref_pic_set_prediction_flag等於0時,則參考圖像設定單元144使用包含在RPS資訊中的參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的的參考圖像規格資訊,以及固持產生的參考圖像規格資訊。
假使inter_ref_pic_set_prediction_flag等於1時,則參考圖像設定單元144從固持的參考圖像規格資訊讀取用於包含在RPS資訊中的delta_idx_minus1所指定的先前圖像之參考圖像規格資訊。然後,參考圖像設定單元144使 用讀取的用於先前圖像的參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的參考圖像規格資訊,以及固持產生的參考圖像規格資訊。
此外,假使RPS旗標等於0及從無損失解碼單元132供應的RPS中包含的inter_ref_pic_set_prediction_flag與RPS旗標一起等於0時,參考圖像設定單元144使用包含在RPS中的參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的參考圖像規格資訊,以及固持產生的參考圖像規格資訊。相對地,假使inter_ref_pic_set_prediction_flag等於1時,則參考圖像設定單元144從固持的參考圖像規格資訊讀取用於包含在RPS中的delta_idx_minus1所指定的先前圖像之參考圖像規格資訊。然後,參考圖像設定單元144使用讀取的用於先前圖像的參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的參考圖像規格資訊,以及固持產生的參考圖像規格資訊。
在步驟S136中,動作補償單元145根據參考圖像設定單元144供應的參考圖像規格資訊而讀取參考圖像,以及,使用動作向量及參考圖像,執行用於預測間模式資訊及標示的最佳預測間模式的動作補償處理。動作補償單元145經由開關146而供應動作補償理的結果產生的預測影像給加法器單元135。然後,處理進行至步驟S138。
假使在步驟S134中沒有判定預測間模式未被供應時,亦即,內部預測模式資訊供應給內部預測單元143 時,處理進行至步驟S137。
在步驟S137中,使用經由開關142而從格記憶體141讀取的參考圖像,內部預測單元143執行用於由內部預測模式資訊標示的內部預測模式的內部預測處理。內部預測單元143將內部預測處理的結果產生的預測圖像經由開關146而供應至加法器單元135。然後,處理進行至步驟S138。
在步驟S138中,反正交轉換單元134對反量化單元133供應的正交轉換係數執行反正交轉換,以取得餘差資訊,以及將取得的餘差資訊供應給加法器單元135。
在步驟S139中,加法器單元135將反正交轉換單元134供應的餘差資訊與開關146供應的預測影像相加。加法器單元135將相加結果取得的圖像供應至解塊濾波器136,也供應至格記憶體141。
在步驟S140中,解塊濾波器136對加法器單元135供應的圖像執行解塊濾波處理,以移除區塊失真。解塊濾波器136供應解塊濾波處理的結果取得的圖像給適應偏移濾波器137。
在步驟S141中,根據以LCU接LCU為基礎之無損失解碼單元132供應的偏移濾波器資訊,適應偏移濾波器137對接受過解塊濾波器136的解塊濾波處理的圖像執行適應偏移濾波處理。適應偏移濾波器137將接受過適應偏移濾波處理的圖像供應給適應迴路濾波器138。
在步驟S142中,使用以LCU接LCU為基礎之無損 失解碼單元132供應的濾波器係數,適應迴路濾波器138對適應偏移濾波器137供應的圖像執行適應迴路濾波處理。適應迴路濾波器138將適應迴路濾波處理的結果所取得之圖像供應至格記憶體141及螢幕再配置緩衝器139。
在步驟S143中,格記憶體141累積加法器單元135供應的圖像及適應迴路濾波器138供應的圖像。累積在格記憶體141中的圖像經由開關142而作為參考圖像供應至動作補償單元145或內部預測單元143。
在步驟S144中,螢幕再配置緩衝器139儲存以格為單位從適應濾波器138供應的圖像。螢幕再配置緩衝器139將依編碼次序配置的儲存的一格接一格的圖像,再配置成原始顯示次序,以及,將結果圖像供應給D/A轉換器140。
在步驟S145中,D/A轉換器140對從螢幕再配置緩衝器139供應的一格接一格的圖像執行D/A轉換,以及,將結果圖像作為輸出訊號輸出。然後,處理返回至圖17中的步驟S114,以及結束。
因此,解碼設備110接收在被解碼的圖像是GOP中初始圖像以外的圖像的情形中傳送的inter_ref_pic_set_prediction_flag。在接收inter_ref_pic_set_prediction_flag時,解碼設備110根據inter_ref_pic_set_prediction_flag而產生用於被解碼的圖像之參考圖像規格資訊。在解碼設備110未接收inter_ref_pic_set_prediction_flag的情形中,解碼設備110根據用於inter_ref_pic_set_prediction_ flag的值0而產生用於被解碼的參考圖像規格資訊。
結果,解碼設備110將具有相當於GOP中的初始圖像的inter_ref_pic_sct_prediction_flag之數量而縮減的RPS有關的資訊量之編碼串解碼。
第二實施例
根據第二實施例之編碼設備的範例配置。
圖20是方塊圖,顯示根據本技術的第二實施例之編碼設備150的範例配置;與圖3中所示的組件實質上相同的圖20中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖20中所示的編碼設備150的配置與圖3中所示的編碼設備10的配置不同之處在於設置設定單元151以取代設定單元12。編碼設備150設定SPS,以致於inter_ref_pic_set_predictioin_flag及delta_idx_minus1能以GOP為單位而被共用。
具體而言,設定單元151設定包含inter_ref_pic_set_predictioin_flag、delta_idx_minus1、參考圖像規格資訊、及任何其它必需資料(假使有的話)的RPS、以及指派索引給各別RPS。設定單元151將被指派索引的RPS供應給編碼單元11。設定單元151又設定包含RPS及參考禁能資訊、以及也包含對GOP中的所有圖像是否共同的delta_idx_minus1(假使有任何的話)之SPS,參考禁能資訊是標示inter_ref_pic_set_predictioin_flag對於GOP 中的所有圖像是否等於0。
此外,類似於圖3中所示的設定單元12,設定單元151使用編碼單元11供應的編碼資料、設定的SPS及PPS以產生編碼串。類似於設定單元12,設定單元151將編碼串供應給發送單元13。
SPS語法的實例
圖21顯示圖20中所示的設定單元151設定的SPS語法的實例。
如同在圖21中的第四列中所示般,SPS包含參考禁能資訊(disable_rps_prediction_flag)。此外,如同第五及第六列中所示般,在參考禁能資訊等於0的情形中,這是未標示inter_ref_pic_set_predictioin_flag對於GOP中的所有圖像等於0之情形,則SPS包含標示delta_idx_minus1對於GOP中所有的圖像是否相同之相同性資訊(unified_rps_prediction_control_present_flag)。
此外,如同第七及第八列中所示般,在相同性資訊等於1的情形中,這是標示delta_idx_minus1對於GOP中所有的圖像是相同的情形,則SPS包含unified_delta_idx_minus1,這表示delta_idx_minus1對GOP中所有的圖像是共同的。此外,如同第十一列中所示般,SPS包含具有個別索引(i)的RPS。
RPS語法的實例
圖22顯示RPS語法的實例。
雖然圖22中未顯示,但是在第十列之後的列的說明類似於圖1中的第四列之後的列的說明。
如同在圖22中的第二及第三列中所示般,在disable_rps_prediction_flag等於1的情形中,RPS未包含inter_ref_pic_set_prediction_flag,但包含當inter_ref_pic_set_prediction_flag等於0時被包含的參考圖像規格資訊。
相對地,如同在第四及第五列中所示般,在disable_rps_prediction_flag等於0的情形中,RPS包含inter_ref_pic_set_prediction_flag。此外,如同第六至第八列中所示般,在inter_ref_pic_set_prediction_flag等於1以及unified_rps_prediction_control_present_flag等於1的情形中,RPS未包含delta_idx_minus1、以及包含取代delta_idx_minus1的unified_delta_idx_minus1。
此外,如同第九及第十列中所示般,在inter_ref_pic_set_prediction_flag等於1及unified_rps_prediction_control_present_flag等於0的情形,RPS包含delta_idx_minus1。
本技術的實施例的優點
圖23及24顯示圖20中所示的設定單元151設定的RPS的資訊量,圖25顯示先前技術中RPS的資訊量。
在圖23中的實例中,用於從GOP開端開始的第二及 第八圖像的參考圖像規格資訊與用於在編碼次序上正好在前的圖像之參考圖像規格資訊相同。
在此情形中,如圖23中所示般,設定單元151將disable_rps_prediction_flag設定為0,以及,將unified_rps_prediction_control_present_flag設定為1。設定單元151又將unified_delta_idx_minus1設定為0。
此外,舉例而言,設定單元151將用於inter_ref_pic_set_prediction_flag的值0及用於GOP中的初始圖像的參考圖像規格資訊設定為索引等於0的RPS。此外,設定單元151也將用於inter_ref_pic_set_prediction_flag的值1為索引等於1的RPS。然後,在GOP中的初始圖像的RPS的被指派索引0,以及,第二圖像及第八圖像的RPS被指派索引1。
依此方式,設定單元151將GOP中所有的圖像共同的delta_idx_minus1設定為unified_delta_idx_minus1。因此,設定單元151以GOP為單位,設定delta_idx_minus1。
此外,在圖24及25中的實例中,用於GOP中的所有圖像的參考圖像規格資訊與用於在編碼次序上在前的圖像之參考圖像規格資訊不相同。
在此情形中,如圖24中所示般,設定單元151設定用於disable_rps_prediction_flag的值1,以及,將用於圖像的參考圖像規格資訊設定為對應於GOP中各圖像的RPS。在先前技術中,相對地,如圖25中所示般,將用於inter_ref_pic_set_prediction_flag的值0及用於圖像的 參考圖像規格資訊設定為對應於GOP中各圖像的RPS。
依此方式,設定單元151將GOP中用於inter_ref_pic_set_prediction_flag的值0設定為disable_rps_prediction_flag,這對GOP中所有圖像是共同的。因此,在disable_rps_prediction_flag等於1的情形中,關於RPS的資訊量可以比先前技術中的資訊量減少相當於inter_ref_pic_set_prediction_flag的量。
編碼設備的處理
圖20中所示的編碼設備執行的產生處理類似於圖10中所示的產生處理,但是,RPS設定處理除外,下述將僅說明RPS設定處理。
圖26是流程圖,說明編碼設備150的設定單元151執行的RPS設定處理的細節。
參考圖26,在步驟S161中,設定單元151將disable_rps_prediction_flag設定為SPS。在步驟S162中,設定單元151判斷disable_rps_prediction_flag是否等於1。假使在步驟S162中判定disable_rps_prediction_flag不等於1,則在步驟S163中,設定單元151將unified_rps_prediction_control_present_flag設定為SPS。
在步驟S164中,設定單元151判斷unified_rps_prediction_control_present_flag是否等於1。假使在步驟S164中,判定unified_rps_prediction_control_present_flag等於1時,則在步驟165中,設定單元151將 unified_delta_idx_minus1設定為SPS。然後,處理進行至步驟S166。
假使在步驟S162中判定disable_rps_prediction_flag不等於1、或者假使在步驟S164中判定unified_rps_prediction_control_present_flag等於0時,則處理進行至步驟166。
在步驟S166中,設定單元151將RPS的索引i設定為0。在步驟S167中,設定單元151判斷disable_rps_prediction_flag是否等於1。假使在步驟S167中,判定disable_rps_prediction_flag等於1,則在步驟S168中,設定單元151將inter_ref_pic_set_prediction_flag設定為0。然後,處理進行至步驟S170。
假使在步驟S167中,判定disable_rps_prediction_flag不等於1,則在步驟S169中,設定單元151將inter_ref_pic_set_prediction_flag設定為具有索引i的RPS。然後,處理進行至步驟S170。
在步驟S170中,設定單元151判斷inter_ref_pic_set_prediction_flag是否等於1。假使在步驟S170中,判定inter_ref_pic_set_prediction_flag等於1,則在步驟S171中,設定單元151判斷unified_rps_prediction_control_present_flag是否等於1。
假使在步驟S171中判定unified_rps_prediction_control_present_flag等於1,則處理進行至步驟S174。假使在步驟S171中判定unified_rps_prediction_control_ present_flag不等於1,則在步驟Sl72中,設定單元151將delta_idx_minus1設定為具有索引i的RPS。然後,處理進行至步驟S174。
假使在步驟S170中,判定inter_ref_pic_set_prediction_flag不等於1,則在步驟S173中,設定單元151將參考圖像規格資訊設定為具有索引i的RPS。然後,處理進行至步驟S174。
在步驟S174中,設定單元151使索引i增量1。在步驟S175中,設定單元151判斷索引i是否大於或等於代表包含在SPS中的RPS的數目之num_short_term_ref_pic_sets。
假使在步驟步驟S175中判定索引i不大於或等於num_short_term_ref_pic_sets,則處理返回至步驟S167,以及,重複執行步驟S167至S175的處理直到索引i變成大於或等於數目num_short_term_ref_pic_sets。
假使在步驟S175中判定索引i大於或等於數目num_short_term_ref_pic_sets,則RPS設定處理結束。
編碼設備150以上述方式設定disable_rps_prediction_flag。因此,在disable_rps_prediction_flag等於1的情形中,關於參考圖像規格資訊的RPS有關的資訊量比先前技術減少相當於inter_ref_pic_set_prediction_flag的量。此外,以GOP為單位設定inter_ref_pic_set_prediction_flag。
此外,由於編碼設備150將對於GOP中所有的圖像 是共同的delta_idx_minus1設定為unified_delta_idx_minus1,所以,delta_idx_minus1以GOP為單位設定。
根據第二實施例之解碼設備的範例配置。
圖27是方塊圖,顯示根據本技術的第二實施例之解碼設備170的範例配置,其配置成將圖20中所示的編碼設備150傳送的編碼串解碼。
與圖15中所示的組件是實質上相同的圖27中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖27中所示的解碼設備170的配置與圖15中所示的解碼設備110的配置不同之處在於設置取出單元171以取代取出單元112。解碼設備170根據圖21中所示的SPS而設定各RPS有關的RPS資訊。
具體而言,類似於圖15中所示的取出單元112,解碼設備170的取出單元171從接收單元111供應的編碼串取出SPS、PPS、編碼資料、等等。類似於取出單元112,取出單元171將編碼資料供應給解碼單元113。此外,取出單元171根據圖21中所示的SPS而取得各RPS有關的RPS資訊,以及,將取得的資訊供應給解碼單元113。此外,類似於取出單元112,假使需要時,取出單元171將包含在SPS中的RPS以外的資訊、PPS、等等供應給解碼單元113。
解碼設備的處理
圖27中所示的解碼設備170執行的接收處理類似於圖17中所示的接收處理,但是,RPS設定處理除外,下述將僅說明RPS設定處理。
圖28是流程圖,說明圖27中所示的解碼設備170執行的RPS設定處理的細節。
參考圖28,在步驟S191中,取出單元171取得包含在SPS中的num_short_term_ref_pic_sets(圖21)。在步驟S192中,取出單元171取得包含在SPS中的disable_rps_prediction_flag。在步驟S193中,取出單元171判斷取得的disable_rps_prediction_flag是否等於1。
假使在步驟S193中判定disable_rps_prediction_flag不等於0,則在步驟S194中,取出單元171取得包含在SPS中的unified_rps_prediction_control_present_flag。在步驟S195中,取出單元171判斷取得的unified_rps_prediction_control_present_flag是否等於1。
假使在步驟S195中判定unified_rps_prediction_control_present_flag等於1時,則在步驟196中,選取單元171取得包含在SPS中的unified_delta_idx_minus1。然後,處理進行至步驟S197。假使在步驟S193中判定disable_rps_prediction_flag等於1,則處理進行至步驟197。
在步驟S197中,取出單元171將對應於要產生的RPS資訊之RPS的索引i設定為0。在步驟S198中,取出單元171判斷步驟S192中取得的disable_rps_ prediction_flag是否等於1。
假使在步驟S198中,判定disable_rps_prediction_flag等於1,則在步驟S199中,取出單元171將包含在關於具有索引i的RPS的RPS資訊中的inter_ref_pic_set_prediction_flag設定為0。然後,處理進行至步驟S201。
假使在步驟S198中,判定disable_rps_prediction_flag不等於1,則在步驟S200中,選取單元171取得包含在SPS中具有索引i的RPS中包含的inter_ref_pic_set_prediction_flag。然後,選取單元171將取得的inter_ref_pic_set_prediction_flag設定為包含在具有索引i的RPS有關的RPS資訊中包含的inter_ref_pic_set_prediction_flag。然後,處理進行至步驟S201。
在步驟S201中,取出單元171判斷inter_ref_pic_set_prediction_flag是否等於1。假使在步驟S201中,判定inter_ref_pic_set_prediction_flag等於1,則在步驟S202中,取出單元171判斷步驟S194中取得的unified_rps_prediction_control_present_flag是否等於1。
假使在步驟S202中判定unified_rps_prediction_control_present_flag等於1,則處理進行至步驟S203。在步驟S203中,取出單元171將步驟S196中取得的unified_delta_idx_minus1設定為包含在具有索引i的RPS有關的RPS資訊中的unified_delta_idx_minus1。然後,處理進行至步驟S206。
假使在步驟S202中,判定unified_rps_prediction_ control_present_flag不等於1,則在步驟S204中,取出單元171取得包含在SPS中具有索引i的RPS中包含的delta_idx_minus1。然後,取出單元171將取得的delta_idx_minus1設定為包含在具有索引i的RPS有關的RPS資訊中的delta_idx_minus1。然後,處理進行至步驟S206。
假使在步驟S201中判定inter_ref_pic_set_prediction_flag不等於1,則在步驟S205中,取出單元171取得包含在SPS具有索引i的RPS中包含的參考圖像規格資訊。然後,取出單元171將取得的參考圖像規格資訊設定為包含在具有索引i的RPS有關的RPS資訊中的參考圖像規格資訊。然後,處理進行至步驟S206。
步驟S206至208的處理類似於圖18中的步驟S128至S130的處理,且此處將不說明。
因此,解碼設備170接收disable_rps_prediction_flag,以及,根據disable_rps_prediction_flag而產生用於被編碼的圖像之參考圖像規格資訊。結果,在disable_rps_prediction_flag等於1的情形中,解碼設備170將具有減少相當於inter_ref_pic_set_prediction_flag的量之RPS有關的資訊量的編碼串解碼。
此外,解碼設備170接收對於GOP中所有的圖像是共同的delta_idx_minus1,以及根據unified_delta_idx_minus1而產生用於被解碼的圖像之參考圖像規格資訊。結果,解碼設備170將delta_idx_minus1以GOP為單位設定 的編碼串解碼。
第三實施例
根據第三實施例之編碼設備的範例配置
圖29是方塊圖,顯示根據本技術的第三實施例之編碼設備190的範例配置;與圖3中所示的組件實質上相同的圖29中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖29中所示的編碼設備190的配置與圖3中所示的編碼設備10的配置不同之處在於設置設定單元191以取代設定單元12。編碼設備190是圖3中所示的編碼設備10與圖20中所示的編碼設備150的結合。
具體而言,編碼設備190的設定單元191設定未包含inter_ref_pic_set_predictioin_flag但包含包括參考圖像規格資訊的RPS及包含inter_ref_pic_set_predictioin_flag、delta_idx_minus1、參考圖像規格資訊、及任何其它必需資料(假使有的話)的RPS。此外,設定單元191指派索引給各別RPS。此處,未包含inter_ref_pic_set_predictioin_flag但包含參考圖像規格資訊的RPS被指派索引0。
設定單元191將被指派索引的RPS供應給編碼單元11。此外,設定單元191設定包含RPS及disable_rps_prediction_flag以及於需要時也包含unified_rps_prediction_control_present_flag或unified_delta_idx_minus1 的SPS。設定單元191設定PPS等等。
此外,類似於圖3中所示的設定單元12,設定單元191使用編碼單元11供應的編碼資料、設定的SPS及PPS以產生編碼串。類似於設定單元12,設定單元191將編碼串供應給發送單元13。
SPS語法的實例
圖30顯示圖29中所示的設定單元191設定的SPS語法的實例。
圖30中所示的配置與圖21中所示的配置相同,於此將不作說明。
RPS語法的實例
圖31顯示RPS語法的實例。
雖然圖31中未顯示,但是在第十列之後的列的說明類似於圖1中的第四列之後的列的說明。
如同在圖31中的第二及第三列中所示般,假使索引(idx)等於0或是假使disable_rps_prediction_flag等於1,則RPS未包含inter_ref_pic_set_prediction_flag,但包含當inter_ref_pic_set_prediction_flag等於0時被包含的參考圖像規格資訊。
第四至第十列的說明類似於圖22中的第四至第十列的說明,於此將不作說明。
本技術的實施例的優點
圖32顯示圖29中所示的設定單元191設定的RPS的資訊量。
在圖32中的實例中,用於從GOP開端開始的第二及第八圖像的參考圖像規格資訊與用於在編碼次序上正好在前的圖像之參考圖像規格資訊相同。
在此情形中,如圖32中所示般,設定單元191設定用於disable_rps_prediction_flag的值0,以及,設定用於unified_rps_prediction_control_present_flag的值1。設定單元191又將unified_delta_idx_minus1設定為0。
此外,舉例而言,設定單元191將用於GOP中的初始圖像的參考圖像規格資訊設定為索引等於0的RPS。設定單元191又將用於inter_ref_pic_set_prediction_flag的值1設定為索引等於1的RPS。然後,在GOP中的初始圖像的RPS的被指派索引0,以及,第二圖像及第八圖像的RPS被指派索引1。
依此方式,設定單元191未將inter_ref_pic_set_prediction_flag設定為作為初始圖像的RPS的索引等於0的RPS。因此,相較於圖8中所示的先前技術,RPS有關的資訊量減少相當於初始圖像的inter_ref_pic_set_prediction_flag的量。
此外,設定單元191將GOP中所有的圖像共同的delta_idx_minus1設定為unified_delta_idx_minus1。因此,delta_idx_minus1以GOP為單位設定。
此外,雖然圖中未顯示,但是,設定單元將對GOP中所有圖像是共同的用於inter_ref_pic_set_prediction_flag的值0設定作為disable_rps_prediction_flag。因此,假使disable_rps_prediction_flag等於1,則相較於先前技術,RPS有關的資訊量減少相當於初始圖像以外的圖像的inter_ref_pic_set_prediction_flag的量。
編碼設備的處理
圖29中所示的編碼設備190執行的產生處理類似於圖10中所示的產生處理,但是,RPS設定處理除外,下述將僅說明RPS設定處理。
圖33是流程圖,說明編碼設備190的設定單元191執行的RPS設定處理的細節。
圖33中的步驟S221至S226類似於圖26的步驟S161至S166,此處將不作說明。
在步驟S227中,設定單元191判斷disable_rps_prediction_flag是否等於1或者索引i是否等於0。假使在步驟S227中判定disable_rps_prediction_flag等於1或者索引i等於0,則處理進行至步驟S228。假使在步驟S227中判定disable_rps_prediction_flag不等於1或者索引i不等於0,則處理進行至步驟S229。
步驟S228至S235的處理類似於圖26的步驟S168至S175的處理,此處將不作說明。
根據第三實施例之解碼設備的範例配置。
圖34是方塊圖,顯示根據本技術的第三實施例之解碼設備210的範例配置,其配置成將圖29中所示的編碼設備190傳送的編碼串解碼。
與圖15中所示的組件是實質上相同的圖34中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖34中所示的解碼設備210的配置與圖15中所示的解碼設備110的配置不同之處在於設置取出單元211以取代取出單元112。解碼設備210根據包含圖31中所示的RPS之圖30中所示的SPS而設定各RPS有關的RPS資訊。
具體而言,類似於圖15中所示的取出單元112,解碼設備210的取出單元211從接收單元111供應的編碼串取出SPS、PPS、編碼資料、等等。類似於取出單元112,取出單元211將編碼資料供應給解碼單元113。此外,取出單元211根據包含圖31中所示的RPS之圖30中所示的SPS而取得各RPS有關的RPS資訊,以及,將取得的資訊供應給解碼單元113。此外,類似於取出單元112,假使需要時,取出單元211將包含在SPS中的RPS以外的資訊、PPS、等等供應給解碼單元113。
解碼設備的處理
圖34中所示的解碼設備210執行的接收處理類似於圖17中所示的接收處理,但是,RPS設定處理除外,下 述將僅說明RPS設定處理。
圖35是流程圖,說明圖34中所示的解碼設備210執行的RPS設定處理的細節。
圖35中的步驟S251至S257的處理類似於圖28中的步驟S191至S197的處理,此處將不作說明。
在步驟S258中,取出單元211判斷步驟S252中取得的disable_rps_prediction_flag是否等於1或者索引i是否等於0。
假使在步驟S258中判定disable_rps_prediction_flag等於1或者索引i等於0,則處理進行至步驟S259。假使在步驟S258中判定disable_rps_prediction_flag不等於1或者索引i不等於0,則處理進行至步驟S260。
步驟S259至S268的處理類似於圖28中的步驟S199至S208的處理,此處將不作說明。
第四實施例
根據第四實施例之編碼設備的範例配置。
圖36是方塊圖,顯示根據本技術的第四實施例之編碼設備230的範例配置;與圖3中所示的組件實質上相同的圖36中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖36中所示的編碼設備230的配置與圖3中所示的編碼設備10的配置不同之處在於設置編碼單元231及設定單元232以分別取代編碼單元11及設定單元12。編碼 設備230未設定對於參考圖像有關的資訊,所述參考圖像有關的資訊對於取決於圖像中的片段型式之片段型式並非必需。
具體而言,一格接一格的圖像輸入至編碼設備230的編碼單元231作為輸入訊號。藉由參考設定單元232供應的RPS、PPS、等等,用HEVC設計,編碼單元231將輸入訊號編碼。在此情形中,假使需要時,編碼單元231對用於內部預測的參考圖像執行加權預測。
加權預測是用於施加權重給參考圖像以產生預測圖像的處理。具體而言,舉例而言,依編碼次序,在被編碼的格X的二先前格Y1及Y0的解碼圖像作為參考圖像的情形中,使用下述公式(3),以加權預測來決定格X的預測圖像X’。
X’=w0×Y0+w0×Y1+d (3)
在公式(3)中,w0及w1代表加權因數,d代表偏移值。在編碼串被傳送之前,加權因數及偏移值包含在編碼串中。
即使在藉由使用淡入、淡出、交錯淡出、等等而在參考圖像與被編碼的圖像之間發生亮度變化時,權重預測仍然能降低預測圖像與被編碼的圖像之間的差異。結果,增加碼化效率。
在未執行權重預測的情形中,相對地,藉由使用淡入、淡出、交錯淡出、等等而在參考圖像與被編碼的圖像之間的亮度變化會直接造成預測圖像與被編碼的圖像之間 的差異,造成不佳的碼化效率。
編碼單元231將編碼結果取得的編碼資料供應給設定單元232。
類似於圖3中所示的設定單元12,設定單元232設定未包含inter_ref_pic_set_predictioin_flag但包含參考圖像規格資訊的RPS、以及包含inter_ref_pic_set_predictioin_flag及參考圖像規格資訊的RPS或delta_idx_minus1。類似於設定單元12,設定單元232將索引指派給各RPS。
設定單元232設定包含RSP的SPS、PPS、等等。設定單元232將被指派索引的RPS及PPS供應給編碼單元231。設定單元232使用編碼單元231供應的編碼資料、設定的SPS及PPS以產生編碼串。設定單元232將編碼串供應給發送單元13。
編碼單元的範例配置
圖37是方塊圖,顯示圖36中所示的編碼單元231的範例配置。
與圖4中所示的組件實質上相同的圖37中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖37中所示的編碼單元231的配置與圖4中所示的編碼單元11的配置不同之處在於設置動作預測及補償單元251和無損失編碼單元251以分別取代動作預測及補償單元47和無損失編碼單元36。
根據圖36中所示的設定單元232供應的PPS,動作 預測及補償單元251對所有可能的預測間模式執行使用加權預測的動作預測及補償處理。具體而言,根據螢幕再配置緩衝器32供應的圖像及經由開關45而自格記憶體44讀出的參考圖像,動作預測及補償單元251偵測所有可能預測間模式的動作向量。然後,動作預測及補償單元251根據偵測到的動作向量而對參考圖像執行補償處理。
此外,動作預測及補償單元251計算加權預測中包含加權因素及偏移值的加權資訊。動作預測及補償單元251作為產生單元,以及根據計算的加權資訊而對接受過補償處理的參考圖執行加權預測,以產生預測圖像。
在此情形中,類似於圖4中所示的動作預測及補償單元47,根據螢幕再配置緩衝器32供應的圖像及預測圖像,動作預測及補償單元251對所有可能的預測間模式,計算成本函數值。然後,類似於動作預測及補償單元47,動作預測及補償單元251將成本函數值最小的預測間模式判定為最佳的預測間模式。
然後,類似於動作預測及補償單元47,動作預測及補償單元251將最佳預測間模式中產生的預測圖像及對應的成本函數值供應給預測圖像選取單元48。當由預測圖像選取單元48通知最佳預測間模式中產生的預測圖像的選取時,動作預測及補償單元251將預測間模式資訊、對應的動作向量、加權資訊、及任何其它適當的資料輸出至無損失編碼單元252。動作預測及補償單元251也將參考圖像規格資訊輸出至參考圖像設定單元49。
根據圖36中顯示的設定單元232供應的PPS,無損失編碼單元252產生標示被編碼的圖像中片段的型式之片段型式。此外,類似於圖4中所示的無損失編碼單元36,無損失編碼單元252從預測單元46取得內部預測模式資訊、無損失編碼單元252又從動作預測及補償單元251取得預測間模式資訊、動作向量、加權資訊、及任何其它適當資料。此外,類似於無損失編碼單元36,無損失編碼單元252從參考圖像設定單元49取得RPS的索引或RPS及任何其它適當的資料,以及從速率控制單元50取得量化參數。
此外,類似於無損失編碼單元36,無損失編碼單元252從適應偏移濾波器42取得包含儲存旗標、索引或偏移、及型式資訊的偏移濾波器資訊,以及從適應迴路濾波器43取得濾波器係數。
類似於無損失編碼單元36,無損失編碼單元252對量化單元35供應的量化係數無損失地編碼。無損失編碼單元252也將片段型式、內部預測模式資訊或預測間模式資訊及動作向量、加權資訊、RPS的索引或RPS和任何其它適當資料、量化參數、偏移濾波器資訊、及濾波器係數無損失地編碼,以作為碼化資訊。
無損失編碼單元252將無損失編碼的碼化資訊及無損失編碼的係數相加作為片段標頭,以產生編碼資料。無損失編碼單元252將編碼資料供應給累積緩衝器37以用於儲存。
PPS語法的實例
圖38及39顯示圖36中所示的設定單元232設定的PPS語法的實例,圖40及41顯示根據先前技術的HEVC設計的PPS語法的實例。
如同圖38中的第六列中所示般,由設定單元232設定的PPS包含單一性旗標(unified_slice_type_flag),標示對應圖像中所有的片段是否具有相同的型式。此外,如同第七及第八列中所示般,假使單一性旗標等於1時,則PPS包含I-flag(all_intra_slice_flag),以標示對應的圖像中所有的片段是否具有I-片段的型式。
此外,如同第九及第十列中所示般,假使I-flag不等於1時,亦即,假使圖像包含P-片段或B-片段,則PPS包含non-B-flag(no_b_slice_flag),標示對應的圖像未包含B-片段。
如同第十一及第十二列中所示般,假使I-flag不等於1,則PPS包含RPSL0數目(num_ref_idx_10_default_active_minus1)作為關於參考圖像的資訊,RPSL0數目是使用比對應的圖像更早存在的參考圖像而執行的前向預測(L0預測)中最大數目的RPS。
如同第十三及第十四列中所示般,假使non-B-flag等於0,亦即,假使圖像包含B片段,則PPS包含RPSL1數目(num_ref_idx_11_default_active_minus1)作為關於參考圖像的資訊,RPSL1數目是使用比對應的圖像更晚存 在的參考圖像而執行的後向預測(L1預測)中最大數目的RPS。
如同第二十五及第二十六列中所示般,假使I-flag不等於1,則PPS包含P預測旗標(weighted_pred_flag)作為關於參考圖像的資訊,P預測旗標係標示是否對P切片執行加權預測。此外,假使non-B-flag不等於1,則PPS包含B預測旗標(weighted_bipred_flag)作為關於參考圖像的資訊,B預測旗標係標示是否對B片段執行加權預測。
因此,在圖38及39中所的PPS中,在對應的圖像僅包含I片段的情形中,未設定RPSL0數目、RPSL1數目、P預測旗標、及B預測旗標。此外,在對應的圖像包含I片段以外的片段的情形中,未設定RPSL1數目及B預測旗標。因此,與不管圖像中的片段的型式為何都對所有的圖像設定RPSL0數目、RPSL1數目、P預測旗標、及B預測旗標的情形相比,碼化效率增加。
注意,當圖像僅包含I-片段時,解碼設備判定RPSL0數目等於0及RPSL1數目等於0,以及,當圖像包含I-片段以外的其它片段時,解碼設備判定RPSL1數目等於0。
在圖40及41中所示的先前技術中根據HEVC設計的PPS的語法中,相對地,如同圖40中的第六、第七、第十一、及第十八列所示般,不管圖像中片段的型式為何,都設定RPSL0數目、RPSL1數目、P預測旗標、及B預測旗標。
假使圖像僅包含B片段,則P預測旗標不一定被設定。
片段標頭的語法實例
圖42至44顯示要由圖37中所示的無損失編碼單元252加入的片段標頭的語法實例,圖45至47顯示先前技術中根據HEVC設計的片段標頭的語法實例。
如圖42中的第二列所示般,要由無損失編碼單元252加入的片段標頭包含初始旗標(first_slice_in_pic_flag),初始旗標係標示對應的片段是否是圖像中的初始片段。此外,如同第十一及第十二列所示般,假使單一性旗標等於0或假使單一性旗標等於1及初始旗標等於0時,片段標頭包含對應的片段之片段型式(slice_type)。
具體而言,假使在圖像中的片段未具有相同的型式或是假使圖像中的片段具有相對的型式且對應的片段是圖像中的初始片段時,則片段型式被設定在圖42至44中所示的片段標頭中。
但是,假使在圖像中的片段具有相同的型式且對應的片段是圖像中的初始片段以外的片段時,則片段型式未設定在圖42至44中所示的片段標頭中。在此情形中,包含在初始片段的片段標頭中的片段型式作為初始片段以外的其它片段的片段型式。
因此,相較於不管圖像中的所有片段是否具有相同的 片段型式,都設定所有片段的片段型式之情形,碼化效率增加。
相對地,如圖45中的第十一列所示般,不論所有片段是否具有相同的片段型式,圖45至47中所示的根據先前技術中的HEVC設計,圖像中所有片段的片段型式設定於片段標頭中。
編碼設備的處理
圖48是流程圖,說明產生圖36中所示的編碼設備230執行的產生處理。
參考圖48,在步驟S281中,編碼設備230的設定單元232執行圖11中所示的RPS設定處理。在步驟S282中,編碼單元231執行編碼處理,使用HEVC設計,將從外側作為輸入訊號輸入的一格接一格的圖像編碼。將參考下述的圖49和50,說明編碼處理的細節。
在步驟S283中,設定單元232設定包含被指定索引的RPS之5PS。在步驟S284中,設定單元232執行用於設定PPS的PPS設定處理。於下將參考圖15,說明PPS設定處理的細節。
步驟S285及S286的處理類似於圖10中的步驟S15及S16的處理,此處將不作說明。
圖49及50顯示流程圖,說明圖48中的步驟S282中的編碼處理的細節。
圖49中的步驟S301及S302的處理類似於圖12中的 步驟S31及S32的處理,且此處將不作說明。
在步驟S303中,動作預測及補償單元251判斷是否根據圖36中顯示的設定單元232供應的PPS中包含的P預測旗標或B預測旗標而執行加權預測。
具體而言,在被編碼的圖像是P片段的情形中,假使P預測旗標等於1時,動作預測及補償單元251判定加權預測是要被執行。在在被編碼的圖像是B片段的情形中,假使B預測旗標等於1時,動作預測及補償單元251判定加權預測是要被執行。此外,在被編碼的圖像是I片段的情形中,處理跳過步驟S303的處理,以及進行至步驟S304。
假使在步驟S303中判定要執行加權預測時,則在步驟S304中,內部預測單元46對所有可能的內部預測模式執行內部預測處理。此外,內部預測單元46根據讀自螢幕再配置緩衝器32的圖像以及內部預測處理的結果而產生的預測圖像,計算用於所有可能的內部預測模式的成本函數值。然後,內部預測單元46將成本函數值最小的內部預測模式判定為最佳內部預測模式。內部預測單元46將最佳內部預測模式中產生的預測圖像以及對應的成本函數值供應給預測圖像選取單元48。
動作預測及補償單元251又對所有可能的預測間模式執行使用加權預測的動作預測及補償處理。此外,根據從螢幕再配置緩衝器32供應的圖像及預測圖像,動作預測及補償單元251對所有可能的預測間模式計算成本函數 值,以及,動作預測及補償單元25將成本函數值最小的預測間模式判定為最佳預測間模式。動作預測及補償單元251將最佳預測間模式中產生的預測圖像及對應的成本函數值供應給預測圖像選取單元48。
假使被編碼的圖像是I片段時,不執行動作預測及補償處理。在步驟S304的處理之後,處理進行至步驟S306。
假使在步驟S303中判定不執行加權預測時,則在步驟S305中,內部預測單元46執行類似於步驟S304的處理。
動作預測及補償單元251又對所有可能的預測間模式執行動作預測及補償處理。此外,動作預測及補償單元251根據螢幕再配置緩衝器32供應的圖像及預測圖像,計算用於所有可能的預測間模式的成本函數值,以及,將成本函數值最小的預測間模式判定為最佳預測間模式。動作預測及補償單元251將最佳預測間模式中產生的預測圖像及對應的成本函數值供應給預測圖像選取單元48。然後,處理進行至步驟S306。
步驟S306至S308的處理類似於圖12中的步驟S34至S36的處理,此處將不作說明。
在步驟S308的處理之後,在步驟S309中,動作預測及補償單元251判斷是否在動作預測及補償處理中執行加權預測。假使在步驟S309中判定已執行加權預測,則動作預測及補償單元251將有關於加權預測的加權資訊供應 給無損失編碼單元252。然後,處理進行至步驟S311。
步驟S311至S322的處理類似於圖12及13中的步驟S37至S48的處理,此處將不作說明。
參考圖50,在步驟S323中,無損失編碼單元252判斷圖36中所示的設定單元232供應的PPS中包含的單一性旗標是否等於0或者單一性旗標是否等於1及初始旗標是否等於1。
假使在步驟S323中判定單一性旗標等於0或者單一性旗標等於1及初始旗標等於1時,則在步驟S324中,無損失編碼單元252產生被編碼的圖像的片段型式。然後,處理進行至步驟S325。
假使在步驟S323中判定單一性旗標不等於0以及單一性旗標不等於1或初始旗標不等於1時,則處理進行至步驟S325。
在步驟S325中,無損失編碼單元252將片段型式、內部預測模式資訊或預測間模式資訊及動作向量、加權資訊、RPS的索引或RPS和任何其它適當資料、速率控制單元50供應的量化參數、偏移濾波器資訊、及濾波器係數無損失地編碼,以作為碼化資訊。
步驟S326至S329的處理類似於圖13中的步驟S50至S53的處理,此處將不作說明。
圖51是流程圖,顯示圖48中的步驟S284中的PPS設定處理的細節點。以圖像為單位執行PPS設定處理。
參考圖51,在步驟S331中,設定單元232判斷圖像 中的所有片段是否具有相同型式。假使在步驟S331中判定圖像中的所有片段具有相同型式,則在步驟S332中,設定單元232將單一性旗標設定為1,以及,促使單一性旗標包含在PPS中。
在步驟S333中,設定單元232判斷圖像中的所有片段是否具有I片段的型式。假使在步驟S333中判定圖像中所有的片段具有I片段型式,則在步驟S334中,設定單元232將I旗標設定於1,以及,假使I旗標包含在PPS中。然後,處理進行至步驟S337。
假使在步驟S333中判定圖像中所有的片段未具有I片段型式,則在步驟S335中,設定單元232將I旗標設定於0,以及,促使I旗標包含在PPS中。然後,處理進行至步驟S337。
假使在步驟S331中判定圖像中所有的片段未具有相同型式,則在步驟S336中,設定單元232將單一性旗標設定於0,以及,促使單一性旗標包含在PPS中。然後,處理進行至步驟S337。
在步驟S337中,設定單元232判斷I旗標是否不等於1。假使在步驟S337中,判定I旗標不等於1,則在步驟S338中,設定單元232將RPSL0數目及P預測旗標設定在PPS中,以及,假使RPSL0數目及P預測旗標包含在PPS中。
在步驟S339中,設定單元232判斷圖像是否包含B片段。假使在步驟S339中判定圖像包含B片段時,則在 步驟S340中,設定單元232將包含在PPS中的non-B-flag設定為0,以及,使non-B-flag包含在PPS中。在步驟S341中,設定單元232將RPSL1數目及B預測旗標設定在PPS中,以及使RPSL1數目及B預測旗標包含在PPS中。然後,處理返回至圖48中的步驟S284,以及,處理進行至步驟S285。
假使在步驟S339中判定圖像未包含B片段時,則在步驟S342中,設定單元232將non-b-flag設定為1,以及,使non-b-flag包含在PPS中。然後,處理返回至圖48中的步驟S284,以及,處理進行至步驟S285。
假使在步驟S337中判定I旗標等於1時,則處理返回至圖48中的步驟S284,以及,處理進行至步驟S285。
因此,由於編碼設備230根據圖像中的片段型式而設定參考圖像有關的資訊,所以,參考圖像有關的資訊量能夠減少,以及,碼化效率增加。此外,由於編碼設備230根據圖像中的所有片段是否具有相同的型式而設定片段型式,所以,片段型式有關的資訊量減少,以及,碼化效率增加。
根據第四實施例的解碼設備的範例配置
圖52是方塊圖,顯示根據本技術的第四實施例之解碼設備270的範例配置,其配置成將圖36中所示的編碼設備230傳送的編碼串解碼。
與圖15中所示的組件是實質上相同的圖52中所示的 組件使用相同的代號表示,且將不作說明以免冗長。
圖52中所示的解碼設備270的配置與圖15中所示的配置不同之處在於設置解碼單元271以取代解碼單元113。假使需要時,解碼設備270在動作補償處理期間執行加權預測。
具體而言,根據取出單元112供應的各RPS中的參考圖像規格資訊或是inter_ref_pic_set_prediction_flag及delta_idx_minus1,使用HEVC設計,解碼設備270的解碼單元271將取出單元112供應的編碼資料解碼。在此情形中,假使需要時,解碼單元217也參考包含在SPS中的RPS以外的資訊、PPS、等等。此外,在動作補償處理中,假使需要時,解碼單元271執行加權預測。解碼單元271將解碼結果取得的圖像輸出作為輸出訊號。
解碼單元的範例配置
圖53是方塊圖,顯示圖52中所示的解碼單元271的範例配置。
與圖16中所示的組件實質上相同的圖53中所示的組件使用相同的代號表示,且將不作說明以免冗長。
圖53中所示的解碼設備271的配置與圖16中所示的配置不同之處在於設置無損失編碼單元291以及動作補償單元292以分別取代無損失解碼單元132和動作補償單元145。
類似於圖16所示的無損失解碼單元132,解碼單元 271的無損失編碼單元291將累積緩衝器131供應的編碼資料無損失地解碼,以取得量化係數及碼化資訊。類似於無損失解碼單元132,無損失解碼單元291供應量化係數給反量化單元133。此外,無損失解碼單元291將內部預測模式資訊及任何其它適當資料作為碼化資訊供應給內部預測單元143,以及供應動作向量、預測間模式資訊、加權資訊、及任何適當資料供應給動作補償單元292。類似於無損失解碼單元132,無損失解碼單元132又將RPS旗標及RPS的索引或RPS供應給參考圖像設定單元144。
類似於無損失解碼單元132,無損失解碼單元291又將內部預測模式資訊或預測間模式資訊作為碼化資訊供應給開關146。類似於無損失解碼單元132,無損失解碼單元291將偏移濾波器資訊作為碼化資訊供應給適應偏移濾波器137,以及,將濾波器係數作為碼化資訊供應給適應迴路濾波器138。
類似於圖16中所示的動作補償單元292,根據參考圖像設定單元144供應的參考圖像規格資訊,動作補償單元292經由開關142而從格記憶體141讀出參考圖像規格資訊指定的參考圖像。
此外,類似於圖37中所示的動作預測及補償單元251,動作補償單元292根據取出單元112供應的PPS中包含的P預測旗標或B預測旗標而判斷是否執行加權預測。
動作補償單元292作為產生單元,以及,假使判定加 權預測要執行,則藉由使用動作向量及參考圖像,為用於預測間模式資訊標示的最佳預測間模式,執行使用加權預測的動作補償處理。在此情形中,假使需要時,假使被編碼的圖像中的片段是P片段,則動作補償單元292參考RPSL0數目,或者,假使被編碼的圖像中的片段是B片段,則動作補償單元292參考RPSL0數目及RPSL1數目。
假使判定加權預測不要執行時,類似於動作補償單元145,動作補償單元292執行用於最佳預測間模式的動作補償處理。動作補償單元292將動作補償處理的結果產生的預測圖像供應給開關146。
解碼設備的處理
圖54是流程圖,說明圖52中所示的解碼設備270執行的接收處理。
圖54中的步驟351至S353的處理類似於圖17中的步驟S111至S113的處理,此處將不作說明。
在步驟S354中,解碼單元271根據取出單元112供應的PPS及各RPS有關的RPS資訊而執行解碼處理。於下,將參考圖55,說明解碼處理的細節。然後,處理結束。
圖55是流程圖,顯示圖54中的步驟S354中的解碼處理的細節。
參考圖55,在步驟S361中,解碼單元271的累積緩 衝器131從圖52中顯示的取出單元112接收一格接一格的編碼資料,以及,累積一格接一格的編碼資料。累積緩衝器131將累積的編碼資料供應給無損失解碼單元291。
在步驟S362中,無損失解碼單元291將累積緩衝器131供應的編碼資料無損失地解碼,以取得量化係數及碼化資訊。無損失解碼單元291供應量化係數給反量化單元133。此外,無損失解碼單元291將內部預測模式資訊及任何其它適當資料作為碼化資訊供應給內部預測單元143,以及供應動作向量、預測間模式資訊、加權資訊、RPS旗標、RPS的索引或RPS、及任何適當資料供應給動作補償單元292。
無損失解碼單元291又將內部預測模式資訊或預測間模式資訊作為碼化資訊供應給開關146。無損失解碼單元291將偏移濾波器資訊作為碼化資訊供應給適應偏移濾波器137,以及,將濾波器係數作為碼化資訊供應給適應迴路濾波器138。
步驟363至S365的處理類似於圖19中的步驟S133至S135的處理,此處將不作說明。在步驟S366中,類似於圖37中所示的動作預測及補償單元251,根據圖52中所示的取出單元112供應的PPS中包含的P預測旗標或B預測旗標,動作補償單元292判斷是否執行加權預測。
假使在步驟S366中判定加權預測要執行時,則在步驟S367中,動作補償單元292根據參考圖像設定單元144供應的參考圖像規格資訊而讀取參考圖像,以及,藉 由使用動作向量及參考圖像,為用於預測間模式資訊標示的最佳預測間模式,執行使用加權預測的動作補償處理。
在此情形中,假使需要時,假使被編碼的圖像中的片段是P片段,則動作補償單元292參考RPSL0數目,以及,假使被編碼的圖像中的片段是B片段時,則動作補償單元292參考RPSL0數目及RPSL1數目。動作補償單元292將動作補償處理的結果產生的預測圖像經由開關146而供應給加法器單元135。然後,處理進行至步驟S370。
假使在步驟S366中判定加權預測不要執行時,則在步驟S368中,動作補償單元292根據參考圖像設定單元144供應的參考圖像規格資訊而讀取參考圖像,以及,藉由使用動作向量及參考圖像,為用於預測間模式資訊標示的最佳預測間模式,執行動作補償處理。動作補償單元292將動作補償處理的結果產生的預測圖像經由開關146而供應給加法器單元135。然後,處理進行至步驟S370。
步驟S369至S377的處理類似於圖19中的步驟S137至S145的處理,且於此將不作說明。
因此,解碼設備270根據圖像中的片段的型式而設定參考圖像有關的資訊,因而以增加的碼化效率來將編碼串解碼。
在第四實施例中,參考圖像有關的資訊包含但不限於RPSL0數目、RPSL1數目、P預測旗標、及B預測旗標。
多畫面影像編碼及多畫面影像解碼應用 影像解碼
上述操作系列可應用至多畫面影像編碼及多畫面影像解碼。圖56顯示多畫面影像編碼設計。
如圖56所示,多畫面影像包含多個畫面,以及,在眾多畫面中某畫面的圖像被指定為基本畫面圖像。基本畫面圖像以外的各別畫面的圖像被作為非基本畫面圖像操作。
在圖56中所示的多畫面影像編碼時,在各畫面(同一畫面)中取得量化參數之間的差異。
(1)基本畫面:
(1-1)dQP(基本畫面)=Current_CU_QP(基本畫面)-LCU_QP(基本畫面)
(1-2)dQP(基本畫面)=Current_CU_QP(基本畫面)-Previsous_CU_QP(基本畫面)
(1-3)dQP(基本畫面)=Current_CU_QP(基本畫面)-Slice_QP(基本畫面)
(2)非基本畫面:
(2-1)dQP(非基本畫面)=Current_CU_QP(非基本畫面)-LCU_QP(非基本畫面)
(2-2)dQP(非基本畫面)=CurrentQP(非基本畫面)-PrevisousQP(非基本畫面)
(2-3)dQP(非基本畫面)=Current_CU_QP(非基本畫面)-Slice_QP(非基本畫面)
在多畫面影像編碼時,在個別畫面(不同畫面)中取 得量化參數之間的差異。
(3)基本畫面/非基本畫面:
(3-1)dQP(畫面之間)=Slice_QP(基本畫面)-Slice_QP(非基本畫面)
(3-2)dQP(畫面之間)=LCU_QP(基本畫面)-LCU_QP(非基本畫面)
(4)非基本畫面/非基本畫面:
(4-1)dQP(畫面之間)=Slice_QP(非基本畫面i)-Slice_QP(非基本畫面j)
(4-2)dQP(畫面之間)=LCU_QP(非基本畫面i)-LCU_QP(非基本畫面j)
在此情形中,上述項目(1)至(4)可以結合使用。舉例而言,在非基本畫面中,可以使用用於以片段等級為基礎而取得基本畫面與非基本畫面之間的量化參數的差異之技術(使用3-1及2-3的結合)、以及用於以LCU等級為基礎而取得基本畫面與非基本畫面之間的量化參數的差異之技術(使用3-2及2-1的結合)。因此,即使在多畫面編碼時,重複地應用差異而增加碼化效率。
類似於上述技術,對上述各dQP設定辨識值不是0的dQP是否存在的旗標。
多畫面影像編碼設備
圖57是視圖,顯示配置成執行上述多畫面影像編碼操作的多畫面影像編碼設備600。如圖57所示,多畫面 影像編碼設備600包含編碼單元601、編碼單元602、及多工單元603。
編碼單元601將基本畫面影像編碼,以產生編碼的基本畫面圖像串。編碼單元602將非基本畫面圖像編碼,以產生編碼的非基本畫面圖像串。多工單元603將編碼單元601產生的編碼基本畫面圖像串及編碼單元602產生的編碼非基本畫面圖像串多工化,以產生編碼多畫面圖像串。
編碼設備10(150,190)可用於多畫面影像編碼設備600的各編碼單元601及編碼單元602。在此情形中,多畫面影像編碼設備600設定編碼單元601設定的量化參數與編碼單元602設定的量化參數之間的差值,以及傳送差值。
多畫面影像解碼設備
圖58顯示配置成執行上述多畫面影像解碼操作的多畫面影像解碼設備610。如圖58所示,多畫面影像解碼設備610包含反多工單元611、解碼單元612、及解碼單元613。
反多工單元611將編碼基本畫面圖像串及編碼非基本畫面圖像串都被多工化之編碼多畫面圖像串反多工,以及取出編碼基本畫面圖像串及編碼非基本畫面圖像串。解碼單元612將反多工單元611取出的編碼基本畫面圖像串解碼,以取得基本畫面圖像。解碼單元613將反多工單元611取得的編碼非基本畫面圖像串解碼,以取得非基本畫 面圖像。
解碼設備110(170、210)可用於多畫面影像解碼設備610的各解碼單元612以及解碼單元613。在此情形中,使用由編碼單元601設定的量化參數及由解碼單元602設定的量化參數之間的差值,多畫面影像解碼設備610設定量化參數,以及執行反量化。
階層影像編碼及階層影像解碼
上述系列操作可應用至階層影像編碼及階層影像解碼。圖59顯示階層影像碼化設計的實例。
如圖59所示,階層影像包含眾多層(解析度)的圖像,以及,眾多層中的某層的圖像被指定為基本層圖像。基本層圖像以外的各層影像被作為非基本層圖像處理。
在執行如圖59中的階層影像編碼(空間比例化能力)時,可在各層(同一層)中取得量化參數之間的差異。
(1)基本層:
(1-1)dQP(基本層)=Current_CU_QP(基本畫層)-LCU_QP(基本層)
(1-2)dQP(基本畫面)=Current_CU_QP(基本層)-Previsous_CU_QP(基本層)
(1-3)dQP(基本層)=Current_CU_QP(基本層)-Slice_QP(基本層)
(2)非基本層:
(2-1)dQP(非基本層)=Current_CU_QP(非基本層)-LCU_QP(非基本層)
(2-2)dQP(非基本層)=CurrentQP(非基本層)-PrevisousQP(非基本層)
(2-3)dQP(非基本層)=Current_CU_QP(非基本層)-Slice_QP(非基本層)
在階層編碼時,在個別層(不同層)中取得量化參數之間的差異。
(3)基本層/非基本層:
(3-1)dQP(層間)=Slice_QP(基本層)-Slice_QP(非基本層)
(3-2)dQP(層間)=LCU_QP(基本層)-LCU_QP(非基本層)
(4)非基本層/非基本層:
(4-1)dQP(層間)=Slice_QP(非基本層i)-Slice_QP(非基本層j)
(4-2)dQP(層間)=LCU_QP(非基本層i)-LCU_QP(非基本層j)
在此情形中,上述項目(1)至(4)可以結合使用。舉例而言,在非基本層中,可以使用用於以片段等級為基礎而取得基本層與非基本層之間的量化參數的差異之技術(使用3-1及2-3的結合)、以及用於以LCU等級為基礎而取得基本層與非基本層之間的量化參數的差異之技術(使用3-2及2-1的結合)。因此,即使在階層編碼時, 重複地應用差異而增加碼化效率。
類似於上述技術,對上述各dQP設定辨識值不是0的dQP是否存在的旗標。
階層影像編碼設備
圖60顯示配置成執行上述階層影像編碼操作的階層影像編碼設備620。如圖60所示,階層影像編碼設備620包含編碼單元621、編碼單元622、及多工單元623。
編碼單元621將基本層影像編碼,以產生編碼的基本層圖像串。編碼單元622將非基本層圖像編碼,以產生編碼的非基本層圖像串。多工單元623將編碼單元621產生的編碼基本層圖像串及編碼單元622產生的編碼非基本層圖像串多工化,以產生編碼層影像串。
編碼設備10(150,190)可用於階層影像編碼設備620的各編碼單元621及編碼單元622。在此情形中,階層影像編碼設備620設定編碼單元621設定的量化參數與編碼單元622設定的量化參數之間的差值,以及傳送差值。
階層影像解碼設備
圖61顯示配置成執行上述階層影像解碼操作的階層影像解碼設備630。如圖61所示,階層影像解碼設備630包含反多工單元631、解碼單元632、及解碼單元633。
反多工單元631將編碼基本層圖像串及編碼非基本層 圖像串都被多工化之編碼層圖像串反多工,以及取出編碼基本層圖像串及編碼非基本層圖像串。解碼單元632將反多工單元631取出的編碼基本層圖像串解碼,以取得基本層圖像。解碼單元633將反多工單元631取出的編碼非基本層圖像串解碼,以取得非基本層圖像。
解碼設備110(170、210)可用於階層影像解碼設備630的各解碼單元632以及解碼單元633。在此情形中,使用由編碼單元621設定的量化參數及由解碼單元622設定的量化參數之間的差值,階層影像解碼設備630設定量化參數,以及執行反量化。
根據本技術的實施例的電腦
上述系列處理可由硬體或軟體執行。假使系列處理是由軟體執行時,構成軟體的程式安裝於電腦中。電腦的實例包含併入於專用硬體中的電腦、以及藉由安裝各種程式而能夠執行各種功能的例如一般用途的個人電腦等電腦。
圖62是方塊圖,顯示配置成根據程式以執行上述系列處理的電腦800之硬體架構的範例配置。
在電腦800中,中央處理單元(CPU)801、唯讀記憶體(ROM)802、及隨機存取記憶體(RAM)803經由匯流排804而彼此連接。
輸入/輸出介面805也連接至匯流排804。輸入/輸出介面805連接至輸入單元806、輸出單元807、儲存單元808、通訊單元809、及驅動器810。
輸入單元806包含鍵盤、滑鼠、麥克風、等等。輸出單元807包含顯示器、揚音器、等等。儲存單元808包含硬碟、非依電性記憶體、等等。通訊單元809包含網路介面等等。驅動器810驅動例如磁碟、光碟、磁光碟、或半導體記憶體等可移除媒體811。
在具有上述配置的電腦800中,CPU 801將儲存在儲存單元808中的程式經由輸入/輸出介面805和匯流排804而載入至RAM 803中,以及,執行程式,藉以執行上述系列操作。
舉例而言,由電腦800(CPU 801)執行的程式可以記錄在可移除媒體811上,作為套裝媒體等等。也可經由例如區域網路(LAN)、網際網路、或數位衛星廣播等有線或無線傳輸媒體,提供程式。
在電腦800中,經由輸入/輸出介面805,將程式安裝在儲存單元808中,以回應可移除媒體811設定於驅動器810中。經由有線或無線傳輸媒體,也由通訊單元809接收程式,以及,程式被安裝於儲存單元808中。替代地,程式可以預先安裝在ROM 802或儲存單元808中。
由電腦800執行的程式可為此處所述的依時間次序被執行處理之程式、或是平行地或在例如當被呼叫時等任何所需時機執行處理的程式。
電視設備的範例配置
圖63顯示根據本技術的實施例的電視設備900的舉 例說明的配置。電視設備900包含天線901、調諧器902、解多工器903、解碼器904、視頻訊號處理單元905、顯示單元906、音頻訊號處理單元907、揚音器908、外部介面909。電視設備900又包含控制單元910、使用者介面911、等等。
調諧器902選取使用從天線901收到的廣播電波訊號之所需頻道、以及經由解調變而取得編碼位元串。調諧器902將取得的編碼位元串輸出至解多工器903。
解多工器903從編碼位元串取出攜帶要觀看的節目之視頻與音頻分封,以及,將取出的分封的資料輸出至解碼器904。解多工器903又將例如EPG(電子節目表)等資料分封供應給控制單元910。經過擾碼的內容由解多工器903或任何其它適當的組件解擾碼。
解碼器904對分封執行解碼處理以產生視頻資料及音頻資料,以及,將視頻資料輸出至視頻訊號處理單元905及將音頻資料輸出至音頻訊號處理單元907。
視頻訊號處理單元905對視頻資料執行雜訊移除(或至少降低)、根據使用者設定的視頻處理、等等。視頻訊號處理單元905產生要顯示於顯示單元906上的節目的視頻資料、根據經由網路供應的應用為基礎之處理的影像資料、及任何其它適當資料。視頻訊號處理單元905也產生用以顯示用於選項選取的選單之視頻資料等等、以及將產生的視頻資料重疊於節目的視頻資料上。視頻訊號處理單元905根據依上述方式產生的視頻資料而產生驅動訊號以 驅動顯示單元906。
顯示單元906根據視頻訊號處理單元905供應的驅動訊號而驅動顯示裝置(例如液晶顯示元件),以顯示節目的視訊等等。
音頻訊號處理單元907對音頻資料執行例如雜訊移除(或是至少降低)等某處理,以及對處理後取得的音頻資料執行D/A轉換處理及放大處理。音頻訊號處理單元907將結果的音頻資料輸出給揚音器908,藉以提供音頻輸出。
外部介面單元909是要連接至外部裝置或網路之介面,以及傳送和接收例如視頻資料和音頻資料等資料。
使用者介面單元911連接至控制單元910。使用者介面單元911包含操作開關、遙控訊號接收單元、等等,以及將根據使用者操作的操作訊號供應給控制單元910。
控制單元910包含CPU、記憶體、等等。記憶體儲存由CPU執行的程式、CPU執行處理所需的各種資料、EPG資料、經由網路取得的資料、及任何其它所需的資料。在例如電視設備900被致動時,儲存在記憶體中的程式由CPU讀取及執行。CPU執行程式,藉以控制個別單元以致於電視設備900根據使用者的操作而執行操作。
電視設備900包含匯流排912,用於連接調諧器902、解多工器903、解碼器904、視頻訊號處理單元905、音頻訊號處理單元907、外部介面單元909、等等至控制單元910。
在具有上述配置的電視設備900中,解碼器904設有根據本揭示的例的解碼設備(解碼方法)的功能。因此,具有減少之與指定參考圖像的資訊相關的資訊量的編碼串能被解碼。
行動電話的範例配置
圖64顯示根據本技術的實施例之行動電話920的舉例說明的配置。行動電話920包含通訊單元922、音頻編解碼器923、相機單元926、影像處理單元927、多工/解多工單元928、記錄/再生單元929、顯示單元930、及控制單元931。這些組件經由匯流排933而彼此連接。
天線921連接至通訊單元922、揚音器924及麥克風925連接至音頻編解碼器923。此外,操作單元932連接至控制單元931。
在例如語音會談模式及資料通訊模式等各種模式中,行動電話920執行例如音頻訊號的發送和接收、執行例如音頻訊號的傳送及接收、電子郵件和影像資料的發送及接收、影像捕捉、以及資料記錄等各種操作。
在語音會談模式中,由麥克風925產生的音頻訊號由音頻編解碼器923轉換成音頻資料及接受資料壓縮,以及造成的音頻資料供應給通訊單元922。通訊單元922對音頻資料執行例如調變處理及頻率轉換處理,以產生發送訊號。通訊單元922將發送訊號供應給天線921以將發送訊號傳送至基地台(未顯示)。此外,通訊單元922對天線 921接收的接收訊號執行例如放大、頻率轉換、及解調變處理等處理,以及將取得的音頻資料供應給音頻編解碼器923。音頻編解碼器923將音頻資料展開及將音頻資料轉換成類比音頻訊號,以及輸出造成的訊號給揚音器924。
在資料通訊模式中郵件傳輸的情形中,控制單元931接收文字資料輸入以回應操作單元932的操作以及在顯示單元930上顯示文字。此外,控制單元931根據操作單元932作出的使用者指令等等而產生電子郵件資料,以及供應產生的電子郵件資料給通訊單元922。通訊單元922對電子郵件資料執行例如調變處理及頻率轉換處理等處理,以及從天線921發送取得的傳送訊號。通訊單元922又對天線921收到的接收訊號執行例如放大、頻率轉換處理、及解調變處理等處理,以恢復電子郵件資料。電子郵件資料供應給顯示單元930以顯示電子郵件的內容。
行動電話920也配置成使用記錄/再生單元929以將收到的電子郵件資料儲存在儲存媒體中。儲存媒體是任何可重寫的儲存媒體。儲存媒體的實例包含例RAM、硬碟、及例如磁碟、磁光碟、光碟、通用串列匯流排(USB)記憶體、或記憶卡等可移除媒體。
在資訊通訊模式中影像資料傳輸的情形中,由相機單元926產生的影像資料供應給影像處理單元927。影像處理單元927對影像資料執行編碼處理,以產生編碼資料。
多工/解多工單元928使用某設計以將影像處理單元927產生的編碼資料以及自音頻編解碼器923供應的音頻 資料多工化,以及將結果資料供應給通訊單元922。通訊單元922對多工化資料執行例如調變處理及頻率轉換處理等處理等處理以取得發送訊號,以及,從天線921傳送發送訊號。此外,通訊單元922對經由天線921收到的接收訊號執行例如放大、頻率轉換處理、及調變處理等處理,以恢復多工化的資料。恢復的多工化資料供應給多工/解多工單元928。多工/解多工單元928將多工化的資料解多工以取得編碼資料以及音頻資料,以及,將編碼資料供應給影像處理單元927,及將音頻資料供應給音頻編解碼器923。影像處理單元927對編碼資料執行解碼處理,以產生影像資料。影像資料供應給顯示單元930,以顯示收到的影像。音頻編解碼器923將音頻資料轉換成類比音頻訊號,以及將類比音頻訊號供應給揚音器924,藉以輸出收到的音頻。
在具有上述配置的行動電話裝置920中,影像處理單元927設有根據本揭示的實施例之編碼設備及解碼設備(編碼方法和解碼方法)的功能。因此,具有減少之與指定參考圖像的資訊相關的資訊量的編碼串能被解碼。
記錄/再生設備的範例配置
圖65顯示根據本技術的實施例之記錄/再生設備940的舉例說明的配置。舉例而言,記錄/再生設備940配置成記錄收到的廣播節目的音頻資料及視頻資料於記錄媒體上以及根據使用者的指令而在某時刻提供記錄的資料。舉 例而言,記錄/再生設備940也配置成從其它裝置取得音頻資料及視頻資料,以及將音頻資料及視頻資料記錄在記錄媒體上。記錄/再生設備940也配置成將記錄於記錄媒體上的音頻資料及視頻資料解碼及輸出,藉以允許監視裝置等等顯示影像或輸出音頻。
記錄/再生設備940包含調諧器941、外部介面單元942、編碼器943、硬碟機(HDD)單元944、碟片驅動器945、選取器946、解碼器947、螢幕上顯示(OSD)單元948、控制單元949、及使用者介面單元950。
調諧器941從天線(未顯示)收到的廣播訊號中取出所需頻道。調諧器941將所需頻道的接收訊號解調變以取得編碼位元串,以及將編碼位元串輸出給選取器946。
外部介面單元942包含電機電子工程式學會(IEEE)1394介面、網路介面單元、USB介面、及快閃記憶體介面。外部介面單元942可以是連接至外部裝置、網路、記憶卡、等等的介面,以及配置成接收例如視頻資料及音頻資料等要記錄的資料。
假使從外部介面單元942供應的視頻資料及音頻資料未被編碼時,使用某設計,編碼器943將它們編碼,以及,將編碼的位元串供應給選取器946。
HDD 944將例如視頻及音頻等內容資料、各種程式、其它資料等等記錄於內建的硬碟上,以及為了再生而從硬碟讀取它們。
碟片驅動器945對設於其中的光碟記錄及再生訊號。 光碟的實例包含數位多樣式碟片(DVD)(例如DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)及藍光光碟(註冊商標)。
當記錄視頻及音頻時,選取器946從調諧器941及編碼器943之一選取編碼位元串,以及,將選取的編碼位元串輸出至HDD單元944及碟片驅動器945。當再生視頻及音頻時,選取器946將從HDD單元944或碟片驅動器945輸出的編碼位元串供應至解碼器947。
解碼器947對編碼位元串執行解碼處理。解碼器947將經由解碼處理產生的視頻資料供應至OSD單元948。解碼器947又將經由解碼處理產生的音頻資料輸出。
OSD單元948產生視頻資料,用以顯示用於選項選取的選單螢幕,以及,在將產生的視頻資料疊加於從解碼器947輸出的視頻資料上之後,將產生的視頻資料輸出。
使用者介面單元950連接至控制單元949。使用者介面單元950包含操作開關、遙控訊號接收單元、等等,以及根據使用者操作而將操作訊號供應給控制單元949。
控制單元949包含CPU、記憶體、等等。記憶體儲存要由CPU執行的程式、及CPU執行處理所需的各種資料。在例如當記錄/再生設備940致動時的某時刻,由CPU讀取及執行儲存在記憶體中的程式。CPU執行程式,藉以控制個別單元,以致於記錄/再生設備940根據使用者操作而執行操作。
在具有如上所述的配置之記錄/再生設備940中,解 碼器947設有根據本揭示的實施例之解碼設備(解碼方法)的功能。因此,具有減少之與指定參考圖像的資訊相關的資訊量的編碼串能被解碼。
影像捕捉設備的範例配置
圖66顯示根據本技術的實施例之影像捕捉設備960的舉例說明的配置。影像捕捉設備960配置成捕捉物件的影像、及將物件影像顯示於顯示單元上或是記錄在記錄媒體上作為影像資料。
影像捕捉設備960包含光學區961、影像捕捉設備962、相機訊號處理單元963、影像資料處理單元964、顯示單元965、外部介面單元966、記憶體單元967、媒體驅動器968、OSD單元969、及控制單元970。使用者介面單元971連接至控制單元970。影像資料處理單元964、外部介面單元966、記憶體單元967、媒體驅動器968、OSD單元969、控制單元970、等等經由匯流排972相連接。
光學區961包含聚焦透鏡、孔徑機構、等等。光學區961在影像捕捉單元962的成像表面上形成物件的光學影像。影像捕捉單元962包含例如電耦合裝置(CCD)或互補金屬氧化物半導體(CMOS)影像感測器等影像感測器。影像捕捉單元962執行光電轉換以產生對應於光學影像的電訊號,以及,將產生的電訊號供應給相機訊號處理單元963。
相機訊號處理單元963對影像捕捉單元962供應的電訊號執行例如拐點校正、伽瑪校正、及色彩校正等各種相機訊號處理操作。相機訊號處理單元963將接受相機訊號操作的影像資料供應給影像資料處理單元964。
影像資料處理單元964對相機訊號處理單元963供應的影像資料執行編碼處理。影像資料處理單元964將經由編碼處理而供應的編碼資料輸出至外部介面單元966或媒體驅動器968。影像資料處理單元964又對外部介面單元966或媒體驅動器968供應的編碼資料執行解碼處理。影像資料處理單元964將經由解碼處理產生的影像資料供應給顯示單元965。此外,影像資料處理單元964將相機訊號處理單元963供應的影像資料供應給顯示單元965、以及在將顯示資料疊加於影像資料上之後,將得自OSD單元969的顯示資料供應給顯示單元965。
OSD單元969產生例如包含符號、文字、及圖形和圖像的選單螢幕等顯示資料,以及,將產生的顯示資料輸出至影像資料處理單元964。
外部介面單元966包含例如USB輸入/輸出端,以及連接至印表機以列印影像。假使需要時,驅動器連接至外部介面單元966,以及,例如磁碟或光碟等可移除媒體如所需地設置,以致於讀自可移除媒體的電腦程式被安裝。此外,外部介面單元966具有要連接至例如LAN或網際網路等某網路的網路介面。控制單元970配置成根據例如使用者介面元971所給的指令而自媒體驅動器968讀取編 碼資料,以及將讀取的編碼資料從外部介面單元966經由網路而供應給另一裝置。控制單元970也配置成經由外部介面單元966而取得網路上的另一裝置供應的的編碼資料及影像資料,以及,將取得的資料供應給影像資料處理單元964。
由媒體驅動器968驅動的記錄媒體的實例包含例如磁碟、磁光碟、光碟、或半導體記憶體等電腦可讀取/可重寫的可移除媒體。記錄媒體可為任何型式的可移除媒體,以及可為帶式裝置、碟片、或記憶卡。記錄媒體也可以是非接觸式積體電路(IC)卡等等。
媒體驅動器968及記錄媒體可以整合地形成為單一單元,舉例而言,實施成例如內建硬碟機或固態驅動器(SSD)等非可運輸媒體。
控制單元970包含CPU。記憶體單元967儲存由控制單元970執行的程式、控制單元970執行處理所需的各種資料、以及任何其它所需資料。在例如當影像捕捉設備960被致動時的某時刻,由控制單元970讀取及執行儲存在記憶體967中的程式。控制單元970執行程式,藉以控制個別單元,以致於控制單元970根據使用者操作而執行操作。
在具有如上所述的配置之影像捕捉設備960中,影像資料處理單元964設有編根據本揭示的實施例之編碼設備及解碼設備(編碼方法及解碼方法)的功能。因此,具有減少之與指定參考圖像的資訊相關的資訊量的編碼串能被 解碼。此外,具有減少之與指定參考圖像的資訊相關的資訊量的編碼串能被解碼。
舉例說明之階層碼化的應用 第一系統
接著,將說明已接受可比例碼化(或階層碼化)的可比例碼化資料使用的具體實例。舉例而言,如圖67中所示的實例中般,可比例碼化可用於要傳送的資料之選取。
在圖67中所示的資料傳輸系統1000中,散佈伺服器1002讀取儲存在可比例碼化儲存單元1001中的可比例碼化資料,以及,經由網路1003而將可比例碼化資料散佈給終端裝置,例如個人電腦1004、音頻/視頻(AV)裝置1005、平板裝置1006、及行動電話1007。
散佈伺服器1002根據例如終端裝置的性能及通訊環境等某些條件而選取具有所需品質的編碼資料,以及傳送選取的編碼資料。即使散佈伺服器1002傳送比所需還高的品質之資料,終端裝置仍然無需取得高品質影像,以及造成延遲或溢流。此外,此資料佔據比所需還多的通訊頻寬,或是增加比所需還多的終端裝置上的負載。相反地,即使散佈伺服器1002傳送比所需還低的品質之資料,終端裝置仍然無需取得具有足夠品質的影像。因此,假使需要時,散佈伺服器1002讀取儲存在可比例碼化資料儲存單元1001中的可比例碼化資料,作為品質適合例如終端裝置的性能及通訊環境等某些條件的編碼資料,以及傳送 讀取的編碼資料。
舉例而言,可比例碼化資料儲存單元1001儲存已接受可比例碼化的可比例碼化資料(BL+EL)1011。可比例碼化資料(BL+EL)1011是包含基本層及強化層的編碼資料,以及是被解碼以取得基本層圖像及強化層圖像之資料。
散佈伺服器1002根據例如傳送資料的終端裝置的性能及通訊環境等某些條件而選取適合的層,以及讀取層的資料。舉例而言,散佈伺服器1002從可比例碼化資料儲存單元1001讀取高品質可比例碼化資料(BL+EL)1011,以及將讀取的可比例碼化資料(BL+EL)1011原狀地傳送給具有高處理能力的個人電腦1004及平板裝置1006。相反地,舉例而言,散佈伺服器1002從可比例碼化資料(BL+EL)1011中取出基本層的資料,以及將取出的基本層的資料傳送給具有低處理能力的AV裝置1005及行動電話1007,作為具有與可比例碼化資料(BL+EL)1011相同內容的可比例碼化資料(BL)1012以及具有比可比例碼化資料(BL+EL)1011更低品質的可比例碼化資料(BL)1012。
依此方式,使用可比例碼化資料便於資料量的調整,藉以抑制延遲或溢流的發生以及抑制終端裝置或通訊媒體上負載的不必要增加。此外,可比例碼化資料(BL+EL)1011具有減少的層間冗餘,因而比具有各別層的個別編碼資料之資料具有更少量的資料。因此,可以更有效率地 利用可比例碼化資料儲存單元1001的儲存面積。
由於例如個人電1004、AV裝置1005、平板裝置1006、及行動電話1007等各種裝置可以作為終端裝置,所以,終端裝置的硬體性能可以隨著裝置不同而不同。此外,由於各種應用可以由終端裝置執行,所以,應用的軟體能力會不同。此外,作為通訊媒體的網路1003可以實施成例如網際網路或LAN等有線、無線或二者等任何通訊鏈結網路,以及具有各種資料傳輸能力。此性能及能力可以隨著其它通訊等等而變。
為了克服這些不便,在開始傳輸資料之前,散佈伺服器1002與資料要被傳送的終端裝置通訊,以及取得關於終端裝置的能力之資訊,例如終端裝置的硬體性能或是由終端裝置執行的應用(軟體)的性能,也取得關於通訊環境的資訊,例如網路1003的可利用頻寬。散佈伺服器1002可以根據取得的資訊而選取適合的層。
層的取出可以由終端裝置執行。舉例而言,個人電腦1004可以將傳送的可比例碼化資料(BL+EL)1011解碼以及顯示基本層圖像或是強化層圖像。替代地,舉例而言,個人電腦1004可以從傳送的可比例碼化資料(BL+EL)1011取出基本層的可比例碼化資料(BL)1012,儲存取出的可比例碼化資料(BL)1012,傳送取出的可比例碼化資料(BL)1012至另一裝置或是將取出的可比例碼化資料(BL)1012解碼以顯示基本層圖像。
可比例碼化資料儲存單元1001的數目、散佈伺服器 1002的數目、網路1003的數目、及終端裝置的數目可以是任意的。雖然以散佈伺服器1002傳送資料給終端裝置為例說明,但是,可以作出任何其它舉例說明的應用。根據例如終端裝置的能力及通訊環境等某些條件,當傳送已接受可比例碼化的編碼資料給終端裝置時,資料傳輸系統1000可以應用至選取適合層的任何系統。
第二系統
如圖68中所示的實例中般,可比例碼化可用於經由眾多通訊媒介的傳輸。
在圖68中所示的資料傳輸系統1100中,廣播站1101經由陸面廣播1111而傳送基本層的可比例碼化資料(BL)1121。廣播站1101又經由有線、無線、或二者之通訊網路形成的所需網路1112而傳送(例如分封化及傳送)強化層的可比例碼化資料(BL)1122。
終端裝置1102具有從廣播站1101接收陸面廣播1111的功能,以及接收經由陸面廣播1111傳送的基本層的可比例碼化資料(BL)1121。終端裝置1102又具有用於經由網路1112執行通訊的通訊功能,以及接收經由網路1112傳送的強化層的可比例碼化資料(EL)1122。
根據例如使用者指令等,終端裝置1102將經由陸面廣播1111傳送的基本層的可比例碼化資料(BL)1121解碼以取得基本層圖像,以及,儲存可比例碼化資料(BL)1121或是傳送可比例碼化資料(BL)1121給另一 裝置。
此外,根據例如使用者指令等,終端裝置1102結合經由陸面廣播1111取得的基本層的可比例碼化資料(BL)1121與經由網路1112取得的強化層的可比例碼化資料(EL)1122以取得可比例碼化資料(BL+EL),以及將可比例碼化資料(BL+EL)解碼以取得強化層圖像、儲存可比例碼化資料(BL+EL)、或傳送可比例碼化資料(BL+EL)給另一裝置。
因此,經由例如不同於層至層的通訊媒介,傳送可比例碼化資料。因此,能分散負載,以及抑制延遲或溢流發生。
此外,根據情形而選取用於各層的傳輸通訊媒介。舉例而言,具有相對大量的資料之基本層的可比例碼化資料(BL)1121可以經由具有大頻寬的通訊媒介傳送,以及,具有相對小量的資料之強化層的可比例碼化資料(EL)1122可以經由具有窄頻寬的通訊媒介傳送。替代地,舉例而言,根據可取得的網路1112的頻寬,強化層的可比例碼化資料(EL)1122傳送經過的通訊媒介可以在網路1112與陸面廣播1111之間切換。
依上述方式之控制進一步抑制資料傳輸的負載。
層的數目是任意的,且用於傳輸的通訊媒體的數目也是任意的。此外,要被散佈資料的終端裝置1102的數目也是任意的。雖然以廣播站1101廣播的情形中為例說明,但是,可以作出任何其它舉例說明的應用。資料傳輸 系統1100可以應用於將已接受可比例碼化的編碼資料分成眾多以層為單位的區段及經由眾多線而傳送資料區段的系統。
第三系統
如圖69中所示的實例中般,可比例碼化可用於經由編碼資料的儲存。
在圖69中所示的影像捕捉系統1200中,影像捕捉設備1201捕捉物件1211的影像以取得影像資料、對取得的資料執行可比例碼化以產生可比例碼化資料(BL+EL)1221,以及將產生的可比例碼化資料(BL+EL)1221供應給可比例碼化資料儲存裝置1202。
可比例碼化資料儲存裝置1202以適合情境的品質儲存影像捕捉設備1201供應的可比例碼化資料(BL+EL)1221。舉例而言,在一般狀態中,可比例碼化資料儲存裝置1202從可比例碼化資料(BL+EL)1221取出基本層的資料,以及將取出的基本層的資料作為具有低品質及小量資料的基本層的可比例碼化資料(BL)1222儲存。相對地,舉例而言,在注意狀態中,可比例碼化資料儲存裝置1202原狀地儲存具有高品質及大量資料的可比例碼化資料(BL+EL)1221儲存。
因此,僅當需要時,可比例碼化資料儲存裝置1202才以高品質儲存影像。這能抑制資料量的增加並抑制導因於影像因品質下降之影像價值降低,以及增進儲存面積的 有效率使用。
舉例而言,影像捕捉設備1201可為安全相機。假使要被監視的物件(例如,入侵者)未出現在捕捉的影像中時(正常狀態),則可能是捕捉的影像不具有重要的內容。因此,資料量的降低是優先的,以及,以低品質儲存影像的影像資料(可比例碼化資料)。相反地,假使要被監視的物件作為物件1211出現在捕捉的影像中時(注意狀態),則可能是捕捉的影像具有重要的內容。因此,影像品質是優先的,以及,以高品質儲存影像的影像資料(可比例碼化資料)。
舉例而言,由可比例碼化資料儲存裝置1202藉由分析影像而決定正常狀態或注意狀態。或者,影像捕捉設備1201決定正常狀態或注意狀態,以及將決定結果傳送給可比例碼化資料儲存裝置1202。
正常狀態或注意狀態的決定可以根據任何標準,決定所根據的影像可以具有任何內容。影像內容以外的條件可以作為決定標準。狀態可以根據例如記錄的音頻的量值、波形、等等而改變,或是狀態以預定的時間週期的間隔而改變。替代地,狀態可以根據例如使用者指令等外部指令而改變。
雖然以二狀態之間的改變實例為例說明,亦即,正常狀態及注意狀態,但是,狀態的數目可以是任意的,以及,可以在二個以上的狀態之間作狀態改變,例如,正常狀態、低注意狀態、中度注意狀態、及高度注意狀態。注 意,要改變之狀態數目的上限取決於可比例碼化資料的層的數目。
此外,影像捕捉設備1201可以根據狀態而決定可比例碼化的層的數目。舉例而言,在一般狀態中,影像捕捉設備1201可以產生具有低品質及小量資料的基本層的可比例碼化資料(BL)1222,以及供應產生的可比例碼化資料(BL)1222給可比例碼化資料儲存裝置1202。舉例而言,在注意狀態中,影像捕捉設備1201可以產生具有高品質及大量資料的基本層的可比例碼化資料(BL+EL)1221,以及供應產生的可比例碼化資料(BL+EL)1221給可比例碼化資料儲存裝置1202。
雖然以安全相機為例說明,但是,影像捕捉系統1200可以用於任何應用中,且應用不限於安全相機。
此處說明各型的資訊被多工化成為編碼串及從編碼側傳送至解碼側的實例。但是,傳送此資訊的方法不限於實例中的方法。舉例而言,此資訊可以被傳送或記錄成為與編碼位元串相關連的分開資料而不用多工化成為編碼位元串。此處所使用之「相關連」一詞意指當圖像被解碼時允許包含在位元串中的圖像(或是圖像的一部份,例如片段或區塊)鏈結至對應於圖像的資訊。亦即,資訊可以在與圖像(或是位元串)的傳輸路徑不同的傳輸路徑上傳輸。此外,資訊可以記錄在不同於圖像(或位元串)的記錄媒體上(或是記錄在相同記錄媒體的不同記錄區中)。此外,資訊及圖像(或位元串)可以以例如眾多格、一格、 或是格的一部份等任意單位而彼此相關連。
本技術的實施例可以應用至經由衛星廣播、有線電視、網際網路、或例如行動電話等網路媒介以傳送及接收使用正交轉換壓縮的影像資訊(位元串)之設備、或是用以處理例如光碟、磁碟、及快閃記憶體等記錄媒體上的影像資訊的設備,所述正交轉換可為例如離散餘弦轉換及動作補償壓縮,例如MPEG或是H.26x資料。
本技術的實施例也可應用至例如MEPG DASH等超文件傳輸協定(HTTP)串流,其中,從眾多預先製備的及具有不同的解析度等等之編碼資料件中以區段為單位選取適當的編碼資料件。
在本技術的實施例中,碼化設計可為HEVC設計以外的碼化設計。
本技術的實施例不限於上述實施例,以及,在不悖離本技術的範圍之下,可以作出各式各樣的改變。
本技術的實施例也提供下述配置。
(1)一種編碼設備,包含:預測圖像產生單元,配置成使用參考圖像以產生預測圖像;以及發送單元,配置成發送參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
(2)根據(1)之編碼設備,其中,在參考禁能資訊 標示用於先前圖像的參考圖像規格資訊對於所有圖像是不作為用於圖像的參考圖像規格資訊之情形中,發送單元發送用於所有圖像的參考圖像規格資訊。
(3)根據(1)或(2)之編碼設備,其中,在參考禁能資訊未標示用於先前圖像的參考圖像規格資訊對於所有圖像是不作為用於圖像的參考圖像規格資訊之情形中,發送單元發送指定先前圖像的先前圖像規格資訊。
(4)根據(3)之編碼設備,其中,在參考禁能資訊像未標示用於先前圖像的參考圖像規格資訊對所有圖像不是要作為用於圖像的參考圖像規格資訊的情形中,發送單元發送標示先前圖像規格資訊對於所有圖像相同的相同性資訊。
(5)根據(4)之編碼設備,其中,在相同性資訊標示先前圖像規格資訊對所有圖像相同的情形中,發送單元發送對所有圖像共同的先前圖像規格資訊。
(6)根據(4)或(5)之編碼設備,其中,在相同性資訊標示先前圖像規格資訊對所有圖像不相同的情形中,發送單元發送用於所有圖像的各別件先前圖像規格資訊。
(7)一種編碼方法,包含:使用編碼設備,使用參考圖像以產生預測圖像;以及,使用編碼設備,傳送參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先 前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
(8)一種解碼設備,包含:接收單元,配置成接收參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像的參考圖像的資訊;參考圖像設定單元,配置成根據接收單元收到的參考禁能資訊而產生用於被解碼的圖像之參考圖像規格資訊;以及,預測圖像產生單元,配置成使用參考圖像設定單元產生的用於被解碼圖像的參考圖像規格資訊指定的參考圖像,以產生預測圖像。
(9)根據(8)之解碼設備,其中,在參考禁能資訊標示用於先前圖像的參考圖像規格資訊對於所有圖像是不作為用於圖像的參考圖像規格資訊之情形中,接收單元接收用於所有圖像的參考圖像規格資訊,以及參考圖像設定單元,藉由使用由接收單元接收的被解碼的圖像之參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊以產生用於被解碼的圖像之參考圖像規格資訊。
(10)根據(8)或(9)之解碼設備,其中,在參考禁能資訊未標示用於先前圖像的參考圖像規格資訊對於所 有圖像是不作為用於圖像的參考圖像規格資訊之情形中,接收單元接收指定先前圖像的先前圖像規格資訊,以及參考圖像設定單元,藉由使用由接收單元接收的先前圖像規格資訊所指定的先前圖像之參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的圖像之參考圖像規格資訊。
(11)根據(10)之解碼設備,其中,在參考禁能資訊未標示用於先前圖像的參考圖像規格資訊對於所有圖像是不作為用於圖像的參考圖像規格資訊之情形中,接收單元接收標示先前圖像規格資訊對所有圖像是否相同的相同性資訊。
(12)根據(11)之解碼設備,其中,在相同性資訊標示先前圖像規格資訊對所有圖像相同的情形中,接收單元接收對所有圖像共同的先前圖像規格資訊,以及,參考圖像設定單元,藉由使用由接收單元接收的共同先前圖像規格資訊所指定的先前圖像之參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的圖像之參考圖像規格資訊。
(13)根據(11)或(12)之解碼設備,其中,在相同性資訊標示先前圖像規格資訊對所有圖像不相同的情形中,接收單元傳送用於所有圖像的各別件的先前圖像規格資訊,以及,參考圖像設定單元,藉由使用由接收單元接收的被解碼的圖像之先前圖像規格資訊所指定的先前圖像之參考圖 像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,以產生用於被解碼的參考圖像規格資訊。
(14)一種解碼方法,使用解碼設備,接收參考禁能資訊,參考禁能資訊是標示對所有圖像是否用於在編碼次序上在各圖像之前的先前圖像的參考圖像規格資訊不作為用於圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像的參考圖像的資訊;使用解碼設備,根據收到的參考禁能資訊而產生用於被解碼的圖像之參考圖像規格資訊;以及,使用解碼設備,使用用於被解碼的圖像的產生的參考圖像規格資訊指定的參考圖像,以產生預測圖像。
(15)一種編碼設備,包含:預測圖像產生單元,配置成使用參考圖像以產生預測圖像;以及發送單元,配置成在被編碼的圖像是在圖像組中的初始圖像以外的圖像之情形中,發送參考資訊,參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像規格資訊是否要作為用於被編碼的圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
(16)根據(15)之編碼設備,其中,在參考資訊標示用於先前圖像的參考圖像規格資訊是要作為用於被編碼的圖像的參考圖像規格資訊之情形中,發送單元發送指定先前圖像的先前圖像規格資訊。
(17)根據(16)之編碼設備,其中,在參考資訊標示用於先前圖像的參考圖像規格資訊不作為用於被編碼的圖像的參考圖像規格資訊之情形中,發送單元發送用於被編碼的圖像之參考圖像規格資訊。
(18)根據(17)之編碼設備,又包含參考圖像資訊設定單元,配置成設定包含參考資訊及先前圖像規格資訊或參考圖像規格資訊之眾多件參考圖像資訊,其中,發送單元,發送參考圖像資訊設定單元設定的眾多件參考圖像規格資訊,以及發送單元,在被編碼的圖像是圖像組中的初始圖像以外的圖像之情形中,也發送參考圖像資訊規格資訊,所述參考圖像資訊規格資訊指定眾多件參考圖像資訊之中用於被編碼的圖像之參考圖像資訊。
(19)根據(18)之編碼設備,其中,參考圖像資訊設定單元,設定包含參考圖像規格資訊的初始參考圖像資訊作為參考圖像資訊,以及發送單元,在被編碼的圖像是圖像組中的初始圖像之情形中,發送指定初始參考圖像資訊的參考圖像資訊規格資訊。
(20)一種編碼方法,包含:使用編碼設備,使用參考圖像以產生預測圖像;以及使用編碼設備,在被編碼的圖像是在圖像組中的初始圖像以外的圖像之情形中,傳送參考資訊,所述參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像 的參考圖像規格資訊是否要作為用於被編碼的圖像的參考圖像規格資訊,參考圖像規格資訊是指定參考圖像的資訊。
(21)一種解碼設備,包含:接收單元,配置成接收參考資訊,所述參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像規格資訊是否要作為用於被編碼的圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像的參考圖像的資訊,在被編碼的圖像是在圖像組中的初始圖像以外的圖像之情形中,參考資訊被傳送;參考圖像設定單元,配置成在由接收單元接收參考資訊的情形中,根據參考資訊而產生用於被解碼的圖像參考圖像規格資訊,以及,在參考資訊未由接收單元接收的情形中,根據標示用於先前圖像的參考圖像規格資訊不作為用於被編碼的圖像之參考圖像規格資訊,產生用於被解碼的圖像之參考圖像規格資訊;以及預測圖像產生單元,配置成使用由參考圖像設定單元產生的參考圖像規格資訊指定的參考圖像,以產生預測圖像。
(22)根據(21)之解碼設備,其中,接收單元,在參考資訊標示用於先前圖像的參考圖像規格資訊是要作為用於被編碼的圖像的參考圖像規格資訊之情形中,接收指定先前圖像之先前圖像規格資訊,以及參考圖像設定單元,藉由使用由接收單元接收的先前 圖像規格資訊指定的用於先前圖像的參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,產生用於被解碼的圖像之參考圖像規格資訊。
(23)根據(22)之解碼設備,其中,接收單元,在參考資訊標示用於先前圖像的參考圖像規格資訊不是要作為用於被編碼的圖像的參考圖像規格資訊之情形中,接收用於被編碼的圖像之參考圖像規格資訊,以及參考圖像設定單元,藉由使用由接收單元接收的參考圖像規格資訊作為用於被解碼的圖像之參考圖像規格資訊,產生用於被解碼的圖像之參考圖像規格資訊。
(24)根據(23)之解碼設備,其中,接收單元,接收包含參考資訊及先前圖像規格資訊或參考圖像規格資訊之眾多件參考圖像資訊,也接收指定眾多件參考圖像資訊之中用於被編碼的圖像之參考圖像資訊的參考圖像規格資訊,在被編碼的圖像是圖像組中的初始圖像以外的圖像之情形中,參考圖像資訊規格資訊被發送,以及參考圖像設定單元,根據包含在由接收單元接收的參考圖像資訊規格資訊指定的參考圖像資訊中的參考資訊,產生用於被編碼的參考圖像規格資訊。
(25)根據(24)之解碼設備,其中,接收單元,接收包含參考圖像規格資訊的初始參考圖像資訊作為參考圖像資訊,以及也接收指定初始參考圖像 資訊的參考圖像資訊規格資訊,在被編碼的圖像是圖像組中的初始圖像之情形中,參考圖像資訊規格資訊被發送,以及參考圖像設定單元,根據包含在由接收單元接收的參考圖像資訊規格資訊指定的初始參考圖像資訊中的參考圖像規格資訊,產生用於被解碼的圖像之參考圖像規格資訊。
(26)一種解碼方法,包含:使用解碼設備,接收參考資訊,所述參考資訊是標示用於在編碼次序上在被編碼的圖像之前的先前圖像的參考圖像規格資訊是否要作為用於被編碼的圖像的參考圖像規格資訊,參考圖像規格資訊是指定用以產生預測圖像的參考圖像的資訊,在被編碼的圖像是在圖像組中的初始圖像以外的圖像之情形中,參考資訊被傳送;在接收參考資訊的情形中,使用解碼設備,根據參考資訊而產生用於被解碼的圖像之參考圖像規格資訊,以及,在參考資訊未被接收的情形中,使用解碼設備,根據標示用於先前圖像的參考圖像規格資訊的參考資訊不作為用於被編碼的圖像之參考圖像規格資訊,產生用於被解碼的圖像的參考圖像規格資訊;以及使用解碼設備,使用由產生的參考圖像規格資訊指定的參考圖像,以產生預測圖像。
(27)一種編碼設備,包含:編碼單元,配置成使用參考影像以將影像編碼而產生 編碼資料;設定單元,配置成根據影像中的圖像中片段型式而設定與參考圖像有關的資訊;以及發送單元,配置成傳送由編碼單元產生的編碼資料及設定單元設定的參考圖像有關的資訊。
(28)根據(27)之編碼設備,又包含產生單元,配置成藉由對參考圖像執行加權預測而產生預測圖像,其中,編碼單元,使用產生單元產生的預測圖像而將影像編碼,以及關於參考圖像的資訊是標示加權預測是否要被執行的資訊。
(29)根據(28)之編碼設備,其中,在P片段包含在影像的圖像中的情形中,設定單元將標示是否要對P片段執行加權預測的資訊設定為關於參考圖像的資訊。
(30)根據(28)或(29)之編碼設備,其中,在B片段包含在影像的圖像中的情形中,設定單元將標示是否要對B片段執行加權預測的資訊設定為關於參考圖像的資訊。
(31)根據(27)之編碼設備,其中,在I片段以外的片段是包含在影像的圖像中的情形中,設定單元設定前向預測中關於參考圖像的資訊。
(32)根據(27)或(31)之編碼設備,其中, 在B片段是包含在影像的圖像中的情形中,設定單元設定後向預測中關於參考圖像的資訊。
(33)根據(27)至(32)中任一項的編碼設備,其中,在影像的圖像中所有的片段具有相同型式的情形中,發送單元發送標示圖像中的初始片段的型式之片段型式。
(34)一種編碼方法,包含:使用編碼設備,使用參考影像以將影像編碼而產生編碼資料;使用編碼設備,根據影像中的圖像中片段型式而設定與參考圖像有關的資訊;以及使用編碼設備,傳送產生的編碼資料及設定的參考圖像有關的資訊。
(35)一種解碼設備,包含:接收單元,配置成接收影像的編碼資料及用以將影像編碼之參考圖像有關的資訊,以將影像編碼,資訊是根據影像的圖像中的片段的型式而設定的;以及解碼單元,配置成根據接收單元收到的參考圖像有關的資訊而使用參考圖像以將接收單元接收的編碼資料解碼。
(36)根據(35)之解碼設備,又包含產生單元,配置成根據接收單元收到的參考圖像有關的資訊而對參考圖像執行加權預測,以產生預測圖像,其中,解碼單元,使用產生單元產生的預測圖像而將編碼資 料解碼,以及關於參考圖像的資訊是標示加權預測是否要被執行的資訊。
(37)根據(36)之解碼設備,其中,在P片段包含在影像的圖像中的情形中,接收單元將標示是否要對P片段執行加權預測的資訊設定為關於參考圖像的資訊。
(38)根據(36)或(37)之解碼設備,其中,在B片段包含在影像的圖像中的情形中,接收單元將標示是否要對B片段執行加權預測的資訊設定為關於參考圖像的資訊。
(39)根據(35)之解碼設備,其中,在I片段以外的片段是包含在影像的圖像中的情形中,接收單元接收前向預測中關於參考圖像的資訊。
(40)根據(35)或(39)之解碼設備,其中,在B片段是包含在影像的圖像中的情形中,接收單元接收後向預測中關於參考圖像的資訊。
(41)根據(35)至(40)中任一項的解碼設備,其中,在影像的圖像中所有的片段具有相同型式的情形中,接收單元接收標示圖像中的初始片段的型式之片段型式。
(42)一種解碼方法,包含:使用解碼設備,接收用以將影像編碼的影像的編碼資料及關於參考圖像的資訊,資訊是根據影像的圖像中的片 段型式而設定的;使用解碼設備,根據關於參考圖像之接收資訊,使用參考圖像而將收到的編碼資料解碼。
本揭示含有與2012年6月29日向日本專利局申請的日本優先權專利申請JP 2012-147883中揭示的標的以及與2012年9月28日向日本專利局申請的日本優先權專利申請JP 2012-218097中揭示的標的相關的標的,其整體內容於此一併列入參考。
習於此技藝者應瞭解,可視設計需求及其它因素而產生各種修改、結合、副結合及替代,但是它們是在後附的申請專利範圍的範圍之內或其均等範圍之內。

Claims (28)

  1. 一種資訊處理設備,包含:電路,配置成:判定目前圖像是否為在圖像組中的初始圖像,依據該目前圖像是否為在該圖像組中的該初始圖像之判定以設定參考資訊,該參考資訊係指示其針對該目前圖像前之先前圖像的參考圖像規格資訊是否應被使用為針對該目前圖像的參考圖像規格資訊,其中該參考圖像規格資訊為指明一用以產生預測圖像之參考圖像的資訊,編碼該參考資訊。
  2. 根據申請專利範圍第1項之資訊處理設備,其中該電路配置成:在其中該參考資訊指示其針對該先前圖像之該參考圖像規格資訊應被使用為針對該目前圖像之該參考圖像規格資訊的情況下,設定其指明該先前圖像之先前圖像規格資訊,以及產生針對該目前圖像之該參考圖像規格資訊,藉由將其由所設定的該先前圖像規格資訊所指明的針對該先前圖像之該參考圖像規格資訊使用為針對該目前圖像之該參考圖像規格資訊。
  3. 根據申請專利範圍第2項之資訊處理設備,其中該電路配置成:在其中該參考資訊指示其針對該先前圖像之該參考圖像規格資訊不應被使用為針對該目前圖像之該參考圖像規 格資訊的情況下,設定針對該目前圖像之該參考圖像規格資訊,以及產生針對該目前圖像之該參考圖像規格資訊,藉由將所接收的該參考圖像規格資訊使用為針對該目前圖像之該參考圖像規格資訊。
  4. 根據申請專利範圍第3項之資訊處理設備,其中該先前圖像規格資訊係由第一值所表示,該第一值係藉由從該目前圖像的碼化號數減掉該先前圖像的碼化號數來獲得。
  5. 根據申請專利範圍第4項之資訊處理設備,其中該先前圖像規格資訊係由第二值所表示,該第二值係藉由從該第一值減掉1來獲得。
  6. 根據申請專利範圍第5項之資訊處理設備,其中該電路配置成:設定短期參考圖像集中之該參考資訊及該先前圖像規格資訊。
  7. 根據申請專利範圍第6項之資訊處理設備,其中該設定之語法被包括於順序參數集中。
  8. 根據申請專利範圍第7項之資訊處理設備,其中該設定之該語法被包括於片段標頭中。
  9. 根據申請專利範圍第5項之資訊處理設備,其中該表示之一語法被包括於片段標頭中而該表示之另一語法被包括於順序參數集中。
  10. 根據申請專利範圍第8項之資訊處理設備,其中 該電路配置成:判定該短期參考圖像集之索引i是否等於0以判定該目前圖像是否為該圖像組中的該初始圖像以外的圖像。
  11. 根據申請專利範圍第10項之資訊處理設備,其中該電路配置成:將該索引i增量1並比較該索引i與該短期參考圖像集之數目。
  12. 根據申請專利範圍第1項之資訊處理設備,其中該資訊處理設備進一步包含調諧器,該調諧器配置成選取使用收到的廣播電波訊號之所需頻道並經由解調變而取得編碼位元串。
  13. 根據申請專利範圍第1項之資訊處理設備,其中該資訊處理設備進一步包含解多工器,該解多工器配置成從編碼位元串取出攜帶要觀看的節目之視頻與音頻分封、將電子節目表(EPG)資料之分封供應給控制電路、及將經過擾碼的內容解擾碼。
  14. 根據申請專利範圍第1項之資訊處理設備,其中該資訊處理設備進一步包含視頻訊號處理電路,該視頻訊號處理電路配置成:對視頻資料執行雜訊移除或降低以及根據使用者設定的視頻處理,產生要顯示的節目的視頻資料及用以顯示用於選項選取的選單之視頻資料,及重疊該產生的視頻資料以顯示該選單於該節目的該視 頻資料上。
  15. 根據申請專利範圍第1項之資訊處理設備,其中該資訊處理設備進一步包含顯示電路,該顯示電路配置成根據從視頻訊號處理電路供應的驅動訊號而驅動顯示裝置。
  16. 根據申請專利範圍第1項之資訊處理設備,其中該資訊處理設備進一步包含用以接收廣播電波訊號之天線。
  17. 根據申請專利範圍第1項之資訊處理設備,其中該資訊處理設備進一步包含音頻訊號處理電路,該音頻訊號處理電路配置成對音頻資料執行雜訊移除或降低、對該音頻資料執行D/A轉換處理及放大處理、及將該音頻資料輸出給揚音器。
  18. 一種資訊處理設備之資訊處理方法,包含:由該資訊處理設備之電路判定目前圖像是否為在圖像組中的初始圖像;依據該目前圖像是否為在該圖像組中的該初始圖像之判定以設定參考資訊,該參考資訊係指示其針對該目前圖像前之先前圖像的參考圖像規格資訊是否應被使用為針對該目前圖像的參考圖像規格資訊,其中該參考圖像規格資訊為指明一用以產生預測圖像之參考圖像的資訊;編碼該參考資訊。
  19. 根據申請專利範圍第18項之資訊處理方法,進一步包含: 在其中該參考資訊指示其針對該先前圖像之該參考圖像規格資訊應被使用為針對該目前圖像之該參考圖像規格資訊的情況下,設定其指明該先前圖像之先前圖像規格資訊,以及產生針對該目前圖像之該參考圖像規格資訊,藉由將其由所設定的該先前圖像規格資訊所指明的針對該先前圖像之該參考圖像規格資訊使用為針對該目前圖像之該參考圖像規格資訊。
  20. 根據申請專利範圍第19項之資訊處理方法,進一步包含:在其中該參考資訊指示其針對該先前圖像之該參考圖像規格資訊不應被使用為針對該目前圖像之該參考圖像規格資訊的情況下,設定針對該目前圖像之該參考圖像規格資訊,以及產生針對該目前圖像之該參考圖像規格資訊,藉由將所接收的該參考圖像規格資訊使用為針對該目前圖像之該參考圖像規格資訊。
  21. 根據申請專利範圍第20項之資訊處理方法,其中該先前圖像規格資訊係由第一值所表示,該第一值係藉由從該目前圖像的碼化號數減掉該先前圖像的碼化號數來獲得。
  22. 根據申請專利範圍第21項之資訊處理方法,其中該先前圖像規格資訊係由第二值所表示,該第二值係藉由從該第一值減掉1來獲得。
  23. 根據申請專利範圍第22項之資訊處理方法,進一步包含設定短期參考圖像集中之該參考資訊及該先前圖像規格資訊。
  24. 根據申請專利範圍第23項之資訊處理方法,其中該設定之語法被包括於順序參數集中。
  25. 根據申請專利範圍第24項之資訊處理方法,其中該設定之該語法被包括於片段標頭中。
  26. 根據申請專利範圍第22項之資訊處理方法,其中該表示之一語法被包括於片段標頭中而該表示之另一語法被包括於順序參數集中。
  27. 根據申請專利範圍第25項之資訊處理方法,進一步包含判定該短期參考圖像集之索引i是否等於0以判定該目前圖像是否為該圖像組中的該初始圖像以外的圖像。
  28. 根據申請專利範圍第27項之資訊處理方法,進一步包含將該索引i增量1並比較該索引i與該短期參考圖像集之數目。
TW105141619A 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法 TWI644564B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-147883 2012-06-29
JP2012147883 2012-06-29
JP2012-218097 2012-09-28
JP2012218097 2012-09-28

Publications (2)

Publication Number Publication Date
TW201717642A true TW201717642A (zh) 2017-05-16
TWI644564B TWI644564B (zh) 2018-12-11

Family

ID=49778143

Family Applications (5)

Application Number Title Priority Date Filing Date
TW104131626A TWI574554B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法
TW105141619A TWI644564B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法
TW109113350A TWI749530B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法
TW102122174A TWI513199B (zh) 2012-06-29 2013-06-21 編碼設備、編碼方法、解碼設備、及解碼方法
TW107134460A TWI694715B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104131626A TWI574554B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW109113350A TWI749530B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法
TW102122174A TWI513199B (zh) 2012-06-29 2013-06-21 編碼設備、編碼方法、解碼設備、及解碼方法
TW107134460A TWI694715B (zh) 2012-06-29 2013-06-21 資訊處理設備及資訊處理方法

Country Status (16)

Country Link
US (5) US10623765B2 (zh)
EP (2) EP2869560A4 (zh)
JP (6) JP6182718B2 (zh)
KR (2) KR102179087B1 (zh)
CN (4) CN109040762B (zh)
AR (1) AR091570A1 (zh)
AU (3) AU2013281946B2 (zh)
BR (2) BR112014032227B1 (zh)
CA (2) CA2875213C (zh)
MX (3) MX342497B (zh)
MY (3) MY190544A (zh)
RU (3) RU2643490C2 (zh)
SG (4) SG10201610882XA (zh)
TW (5) TWI574554B (zh)
WO (2) WO2014002899A1 (zh)
ZA (1) ZA201409038B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
MX342691B (es) 2010-06-04 2016-10-10 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
KR101879890B1 (ko) 2010-12-07 2018-07-18 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 기록 매체
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
MX2018013536A (es) 2011-02-10 2021-06-23 Velos Media Int Ltd Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
CN106454381B (zh) 2011-03-11 2019-05-28 索尼公司 图像处理装置和方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MX356762B (es) 2011-06-28 2018-06-12 Sony Corp Dispositivo para procesamiento de imagenes y metodo de procesamiento de imagenes.
WO2013108330A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法および画像符号化方法
BR112014032227B1 (pt) 2012-06-29 2023-01-24 Velos Media International Limited Dispositivo e método de decodificação
DK3079363T3 (en) 2012-06-29 2017-12-04 ERICSSON TELEFON AB L M (publ) ENCODING AND DECODING VIDEO SEQUENCES COMPREHENSIVE REFERENCE IMAGE KITS
US10602188B2 (en) * 2015-06-10 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
CN105681563B (zh) * 2016-01-26 2019-04-09 深圳市美贝壳科技有限公司 智能硬件设备图片分享权限的实现方法
CN106254869A (zh) * 2016-08-25 2016-12-21 腾讯科技(深圳)有限公司 一种视频数据的编解码方法、装置和系统
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
CN109410558B (zh) * 2018-06-20 2023-12-12 深圳市宏芯达科技有限公司 一种红外码智能压缩芯片
US11152992B2 (en) * 2018-12-21 2021-10-19 Qualcomm Incorporated Beam switch related information feedback in wireless communications
CN110365983B (zh) * 2019-09-02 2019-12-13 珠海亿智电子科技有限公司 一种基于人眼视觉系统的宏块级码率控制方法及装置
KR20220074954A (ko) * 2019-11-05 2022-06-03 엘지전자 주식회사 슬라이스 타입 기반 영상/비디오 코딩 방법 및 장치
US11902584B2 (en) * 2019-12-19 2024-02-13 Tencent America LLC Signaling of picture header parameters
KR20220138053A (ko) * 2020-02-19 2022-10-12 바이트댄스 아이엔씨 참조 픽처 리스트의 가중치들의 시그널링

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2660139B1 (fr) * 1990-03-23 1995-08-25 France Etat Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants.
EP2271116B1 (en) * 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
US7505485B2 (en) * 2002-01-22 2009-03-17 Microsoft Corporation Methods and systems for start code emulation prevention and data stuffing
CN101483773B (zh) * 2002-04-12 2010-12-08 松下电器产业株式会社 图像编码方法及图像编码装置
MXPA04001979A (es) * 2002-07-11 2004-08-02 Matsushita Electric Ind Co Ltd Metodo de codificacion de imagenes y metodo de decodificacion de imagenes.
KR100976017B1 (ko) * 2002-08-08 2010-08-17 파나소닉 주식회사 동화상의 부호화 방법 및 복호화 방법
MY135449A (en) * 2003-02-18 2008-04-30 Nokia Corp Picture coding method
PL214807B1 (pl) * 2003-04-14 2013-09-30 Adb Polska Sp Sposób laczenia w ukladzie przetwarzajacym strumienie MPEG pakietów kilku wejsciowych strumieni MPEG w jeden transportowy strumien wyjsciowy z jednoczesna korekcja oznaczen czasowych
EP3787295B1 (en) 2003-07-24 2022-09-21 Nippon Telegraph And Telephone Corporation Image decoding method with hierarchical reference picture selection
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
JP4632049B2 (ja) * 2003-12-25 2011-02-16 日本電気株式会社 動画像符号化方法及び装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
ATE524924T1 (de) * 2004-04-28 2011-09-15 Panasonic Corp Strömungserzeugungsvorrichtung, strömungserzeugungsverfahren, kodierungsvorrichtung, kodierungsvorrichtung, aufzeichnungsmedium und programm dafür
TWI252695B (en) * 2004-07-21 2006-04-01 Realtek Semiconductor Corp Block-based motion estimation method
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
JP4769717B2 (ja) * 2005-01-17 2011-09-07 パナソニック株式会社 画像復号化方法
CN101147399B (zh) * 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
JP2007110348A (ja) * 2005-10-12 2007-04-26 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
WO2007047271A2 (en) 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP4999859B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
DK2123052T3 (da) 2007-01-18 2011-02-28 Fraunhofer Ges Forschung Kvalitetsskalerbar videodatastrøm
CA2676709C (en) * 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP2009055519A (ja) * 2007-08-29 2009-03-12 Sony Corp 符号化処理装置、符号化処理方法、復号処理装置、及び、復号処理方法
US8782379B2 (en) * 2007-09-27 2014-07-15 Qualcomm Incorporated H.264 video decoder CABAC core optimization techniques
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
JP5282692B2 (ja) * 2009-07-27 2013-09-04 ソニー株式会社 画像符号化装置と画像符号化方法
CN101969544A (zh) 2009-07-27 2011-02-09 谢正旭 预收视数据调查方法
TW201121331A (en) * 2009-12-10 2011-06-16 Novatek Microelectronics Corp Picture decoder
US20120276348A1 (en) * 2010-01-07 2012-11-01 Clausi Robert N Resilient flooring compositions
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5241771B2 (ja) * 2010-06-08 2013-07-17 サントリーホールディングス株式会社 グルコース誘導性不活化/分解耐性トランスポーター遺伝子及びその用途
EP2589229A4 (en) 2010-07-02 2016-03-30 Librestream Technologies Inc ADAPTIVE FRAME FREQUENCY CONTROL FOR VIDEO CONTENT IN A SYSTEM WITH LIMITED RESOURCES
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
JP2012147127A (ja) * 2011-01-07 2012-08-02 Sony Corp 画像処理装置および方法
EP2727342B1 (en) * 2011-06-30 2016-06-29 Telefonaktiebolaget LM Ericsson (publ) Reference picture signaling
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8805098B2 (en) 2012-01-19 2014-08-12 Sharp Laboratories Of America, Inc. Inter reference picture set signaling and prediction on an electronic device
US9210430B2 (en) * 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
US8693793B2 (en) * 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
US8867852B2 (en) * 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
CN104160706B (zh) * 2012-01-20 2018-12-28 诺基亚技术有限公司 对图像进行编码的方法和装置以及对图像比特流进行解码的方法和装置
TWI578758B (zh) 2012-01-31 2017-04-11 Vid衡器股份有限公司 視訊資料解碼的裝置及方法
US9369710B2 (en) * 2012-02-06 2016-06-14 Qualcomm Incorporated Reference picture list modification for video coding
EP3442227B1 (en) 2012-02-29 2020-04-22 LG Electronics Inc. Inter-layer prediction method and apparatus
EP3595315B1 (en) * 2012-04-16 2021-01-13 Samsung Electronics Co., Ltd. Method and apparatus for determining reference picture set of image
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
JP5950726B2 (ja) 2012-06-28 2016-07-13 株式会社Nttドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
WO2014002900A1 (ja) 2012-06-29 2014-01-03 ソニー株式会社 画像処理装置および画像処理方法
BR112014032227B1 (pt) 2012-06-29 2023-01-24 Velos Media International Limited Dispositivo e método de decodificação
DK3079363T3 (en) 2012-06-29 2017-12-04 ERICSSON TELEFON AB L M (publ) ENCODING AND DECODING VIDEO SEQUENCES COMPREHENSIVE REFERENCE IMAGE KITS
EP2868092A4 (en) 2012-07-02 2016-05-04 Nokia Technologies Oy METHOD AND DEVICE FOR VIDEO CODING
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US20140092988A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Systems and methods for reference picture set extension
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding

Also Published As

Publication number Publication date
AU2013281947A1 (en) 2014-12-04
TW202032990A (zh) 2020-09-01
US20210160534A1 (en) 2021-05-27
JP2019024273A (ja) 2019-02-14
TW201907726A (zh) 2019-02-16
TWI644564B (zh) 2018-12-11
TW201414313A (zh) 2014-04-01
CA2875243A1 (en) 2014-01-03
US11399197B2 (en) 2022-07-26
JP6182718B2 (ja) 2017-08-23
EP2869559A4 (en) 2016-09-07
JP2017195619A (ja) 2017-10-26
TWI513199B (zh) 2015-12-11
TWI749530B (zh) 2021-12-11
US10623765B2 (en) 2020-04-14
JP6182719B2 (ja) 2017-08-23
KR20150032258A (ko) 2015-03-25
AU2018201321A1 (en) 2018-03-15
US10958930B2 (en) 2021-03-23
CN109040762A (zh) 2018-12-18
AU2018201321B2 (en) 2020-02-27
JPWO2014002899A1 (ja) 2016-05-30
MY170355A (en) 2019-07-23
TW201601520A (zh) 2016-01-01
AU2013281947B2 (en) 2017-12-14
JP2017195620A (ja) 2017-10-26
CA2875213A1 (en) 2014-01-03
TWI694715B (zh) 2020-05-21
RU2752695C2 (ru) 2021-07-30
BR112014032228B1 (pt) 2023-01-17
JP6442566B2 (ja) 2018-12-19
JP6636122B2 (ja) 2020-01-29
CN104396256B (zh) 2018-11-06
CN109068141A (zh) 2018-12-21
RU2018101252A (ru) 2019-02-21
JPWO2014002898A1 (ja) 2016-05-30
MX342499B (es) 2016-10-03
CN104380752A (zh) 2015-02-25
CA2875213C (en) 2020-12-15
US20190149839A1 (en) 2019-05-16
MX342497B (es) 2016-10-03
BR112014032227A2 (pt) 2017-06-27
AU2013281946B2 (en) 2017-03-02
CN104380752B (zh) 2018-10-23
ZA201409038B (en) 2015-08-26
JP6442565B2 (ja) 2018-12-19
EP2869560A1 (en) 2015-05-06
BR112014032227B1 (pt) 2023-01-24
WO2014002898A1 (ja) 2014-01-03
AR091570A1 (es) 2015-02-11
MX2014015993A (es) 2015-03-20
US20150092846A1 (en) 2015-04-02
RU2014152104A (ru) 2016-07-20
US8811480B2 (en) 2014-08-19
RU2643490C2 (ru) 2018-02-01
JP2020039187A (ja) 2020-03-12
BR112014032228A2 (pt) 2017-06-27
KR102165220B1 (ko) 2020-10-14
US20150139324A1 (en) 2015-05-21
SG11201408571RA (en) 2015-01-29
MX352958B (es) 2017-12-15
JP6823151B2 (ja) 2021-01-27
US10595036B2 (en) 2020-03-17
US20140003510A1 (en) 2014-01-02
SG11201408589RA (en) 2015-01-29
RU2642364C2 (ru) 2018-01-24
TWI574554B (zh) 2017-03-11
MY190544A (en) 2022-04-27
AU2013281946A1 (en) 2014-12-04
SG10201909372YA (en) 2019-11-28
MX2014016002A (es) 2015-04-13
KR20150032257A (ko) 2015-03-25
RU2018101252A3 (zh) 2021-06-17
KR102179087B1 (ko) 2020-11-18
CN104396256A (zh) 2015-03-04
CA2875243C (en) 2022-11-22
EP2869559A1 (en) 2015-05-06
MY171975A (en) 2019-11-09
EP2869560A4 (en) 2016-09-07
CN109040762B (zh) 2022-04-15
WO2014002899A1 (ja) 2014-01-03
RU2014152105A (ru) 2016-07-20
SG10201610882XA (en) 2017-02-27

Similar Documents

Publication Publication Date Title
TWI574554B (zh) 資訊處理設備及資訊處理方法
JP6358475B2 (ja) 画像復号装置および方法、並びに、画像符号化装置および方法
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2011089972A1 (ja) 画像処理装置および方法
WO2011018965A1 (ja) 画像処理装置および方法
TW201524194A (zh) 解碼裝置、解碼方法、編碼裝置,以及編碼方法
WO2013047325A1 (ja) 画像処理装置および方法
WO2014002900A1 (ja) 画像処理装置および画像処理方法
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
JP2012244354A (ja) 画像処理装置および方法
WO2014156705A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014097937A1 (ja) 画像処理装置および画像処理方法