TW201834457A - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

編碼裝置、解碼裝置、編碼方法及解碼方法 Download PDF

Info

Publication number
TW201834457A
TW201834457A TW106142777A TW106142777A TW201834457A TW 201834457 A TW201834457 A TW 201834457A TW 106142777 A TW106142777 A TW 106142777A TW 106142777 A TW106142777 A TW 106142777A TW 201834457 A TW201834457 A TW 201834457A
Authority
TW
Taiwan
Prior art keywords
block
motion vector
reference picture
motion vectors
candidate
Prior art date
Application number
TW106142777A
Other languages
English (en)
Inventor
遠間正真
安倍清史
西孝啓
橋本隆
Original Assignee
美商松下電器(美國)知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器(美國)知識產權公司 filed Critical 美商松下電器(美國)知識產權公司
Publication of TW201834457A publication Critical patent/TW201834457A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

編碼裝置包含有:記憶體、及可對記憶體進行存取之電路,其中,可對記憶體進行存取之電路是:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出1個以上的候選移動向量,其中該第1參考圖片是構成第1參考圖片清單;從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出1個以上的候選移動向量,其中該第2參考圖片是構成第2參考圖片清單;從複數個候選移動向量之中選擇預測移動向量;且使用預測移動向量,將編碼對象區塊的資訊進行編碼。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法
發明領域 本揭示是有關於一種將動態圖像之資訊進行編碼之編碼裝置等。
背景技術 迄今,作為用來編碼動態圖像之規格已有H.265。H.265亦被稱為HEVC(High Efficiency Video Coding/高效率視訊編碼)。
先行技術文獻 非專利文獻 非專利文獻1:H.265(ISO/IEC 23008-2 HEVC(High Efficiency Coding))
發明概要 發明欲解決之課題 惟,若動態圖像之編碼量變多,動態圖像之傳送延遲就變大,動態圖像之記憶容量也變大。其結果使資源及能源等之消費量變多。
在此,本揭示是提供一種編碼裝置等,該編碼裝置等可支援有關於動態圖像之編碼量之削減。
用以解決課題之手段 本揭示一態樣之編碼裝置是將動態圖像的資訊進行編碼,包含有記憶體、及可對前述記憶體進行存取之電路,可對前述記憶體進行存取之前述電路是:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用的2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量的1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量包括從前述第1參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量;且使用前述預測移動向量,將前述編碼對象區塊的資訊進行編碼。
另,該等概括性或者是具體性的態樣,可以透過系統、裝置、方法、積體電路、電腦程式、或者、電腦可讀取之CD-ROM等之非暫時性記錄媒體來實現,也可以透過系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
發明之效果 本揭示一態樣之編碼裝置等可支援與動態圖像有關之編碼量之削減。
用以實施發明之形態 (成為本揭示之基礎的見解)   在構成動態圖像之區塊的編碼中,有使用畫面間預測的情形。畫面間預測也被稱為移動補償。
例如,編碼裝置對編碼對象區塊的編碼使用畫面間預測時,檢測(推定)動態圖像的移動,藉此來檢測編碼對象區塊的移動向量。接著,編碼裝置是參考在時間性質上不同於編碼對象區塊的參考圖片之中,藉編碼對象區塊的移動向量所指示的圖像,而產生編碼對象區塊的預測圖像。然後,編碼裝置是將編碼對象區塊的圖像與編碼對象區塊的預測圖像之差分圖像進行編碼。
編碼裝置也可將編碼對象區塊的移動向量進行編碼。此時,解碼裝置是將解碼對象區塊的移動向量及差分圖像進行解碼,並且使用解碼對象區塊的移動向量及差分圖像,將解碼對象區塊進行解碼。
具體來說,解碼裝置參考在時間性質上不同於解碼對象區塊的參考圖片之中,藉解碼對象區塊的移動向量所指示的圖像,而產生解碼對象區塊的預測圖像。然後,解碼裝置將解碼對象區塊的預測圖像與解碼對象區塊的差分圖像相加,藉此再構成解碼對象區塊的圖像。
編碼裝置在編碼對象區塊的移動向量的編碼中,也可將編碼對象區塊的移動向量與編碼對象區塊的預測移動向量間的差分移動向量進行編碼。
此時,編碼裝置從複數個區塊的複數個移動向量,導出相對於預測移動向量之複數個候選移動向量。該等複數個區塊,例如包括在空間性質上不同於編碼對象區塊之複數個區塊、及在時間性質上不同於編碼對象區塊之1個區塊。然後,編碼裝置從複數個候選移動向量之中,將用以特定預測移動向量的預測移動向量索引進行編碼。
接著,解碼裝置將解碼對象區塊的差分移動向量及預測移動向量索引進行解碼。又,解碼裝置從複數個區塊的複數個移動向量,導出相對於預測移動向量之複數個候選移動向量。該等複數個區塊是對應於在編碼時導出複數個候選移動向量時所使用的複數個區塊,例如包括在空間性質上不同於解碼對象區塊之複數個區塊、及在時間性質上不同於解碼對象區塊之1個區塊。
接著,解碼裝置使用解碼對象區塊的預測移動向量索引,從複數個候選移動向量之中,特定解碼對象區塊之預測移動向量。然後,解碼裝置將解碼對象區塊的預測移動向量、與解碼對象區塊的差分移動向量相加,藉此導出解碼對象區塊的移動向量。藉此,編碼裝置與解碼裝置可使用相同的移動向量。
編碼裝置及解碼裝置在被稱為預測移動向量指定模式之動作模式中,也可進行使用如上述之差分移動向量的動作。
又,編碼裝置也可使用編碼對象區塊的預測移動向量作為編碼對象區塊的移動向量,來產生預測圖像。同樣地,解碼裝置也可使用解碼對象區塊的預測移動向量作為解碼對象區塊的移動向量,而產生預測圖像。編碼裝置及解碼裝置也可在被稱為合併模式之動作模式中進行如此的動作。
又,例如編碼裝置在從複數個候選移動向量之中選擇預測移動向量之際,評價複數個候選移動向量之每一個,選擇在複數個候選移動向量之中最高度評價的候選移動向量,來作為預測移動向量亦可。此時,編碼裝置是在2個評價對象區域的適合程度愈高,則對評價對象的候選移動向量予以愈高度評價,其中前述2個評價對象區域是不同於編碼對象區塊之2個區域,且至少其中一者是依照評價對象的候選移動向量而決定的2個區域。
此時,解碼裝置也可在從複數個候選移動向量之中選擇預測移動向量之際,評價複數個候選移動向量之每一個,並且選擇在複數個候選移動向量之中被最高度評價的候選移動向量,來作為預測移動向量。此時,解碼裝置是在2個評價對象區域的適合程度愈高,則對評價對象的候選移動向量予以愈高度評價,其中前述2個評價對象區域是不同於解碼對象區塊之2個區域,且至少其中一者是依照評價對象的候選移動向量而決定的2個區域。
藉此,編碼裝置與解碼裝置是可按照相同的選擇方法,而導出相同的預測移動向量。然後,編碼裝置與解碼裝置是使用所導出之預測移動向量來作為移動向量,藉此,可在不伴隨有移動向量的編碼及解碼的情況下使用相同的移動向量。如此技術也被稱為FRUC(Frame Rate Up-Conversion)。
在上述各態樣中,是從複數個候選移動向量中選擇預測移動向量。此時,若在複數個候選移動向量中不含適合的候選移動向量時,就不能導出適合的預測移動向量。然後,若不能導出適合的預測移動向量時,就不能進行適當的預測處理,會使編碼效率降低,編碼量變多。接著,使動態圖像的傳送延遲變得更大,動態圖像的記憶容量也變得更大。結果就會造成資源及能源等的消耗量變多。
在此,本揭示一態樣的編碼裝置是一種將動態圖像的資訊進行編碼的編碼裝置,包含有記憶體、及可對前述記憶體進行存取的電路,可對前述記憶體進行存取的前述電路是:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用的2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量的1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中,選擇前述預測移動向量,其中前述複數個候選移動向量包括從前述第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量;且使用前述預測移動向量,將前述編碼對象區塊的資訊進行編碼。
藉此,編碼裝置可從第1參考圖片清單中之第1參考區塊導出候選移動向量,且,從第2參考圖片清單中之第2參考區塊導出候選移動向量。因此,編碼裝置可提高如下可能性,即,在用以選擇預測移動向量之複數個候選移動向量之中會包括適合的候選移動向量。然後,藉此,編碼裝置可支援適合的預測移動向量之導出,且可支援有關於動態圖像的編碼量之削減。
例如,前述電路在前述第1參考區塊已透過雙預測進行編碼時,是對於前述第1參考區塊的2個移動向量之中的1個移動向量適用2個定標比值(scaling ratio),藉此從前述第1參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量,且在前述第2參考區塊已透過雙預測進行編碼時,對前述第2參考區塊的2個移動向量之中的1個移動向量適用2個定標比值,藉此從前述第2參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量。
藉此,編碼裝置可從第1參考區塊之1個移動向量、及第2參考區塊之1個移動向量各個,導出以參考2個參考圖片清單之2個候選移動向量所構成之候選移動向量組合(set)。即,編碼裝置可從特性相異之2個移動向量,導出以可利用在雙預測之2個候選移動向量所分別構成之2組候選移動向量組合。
又,例如,前述電路在前述第1參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向之雙預測,來進行編碼時,對前述第1參考區塊之2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第1參考區塊之2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量,且在前述第2參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向之雙預測,來進行編碼時,對前述第2參考區塊之2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第2參考區塊之2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量亦可。
藉此,編碼裝置可只從被假設為特性類似的2個移動向量之中1個移動向量,就能導出候選移動向量組合,其中該候選移動向量組合是由參考2個參考圖片清單之2個候選移動向量所構成。因此,編碼裝置可改善處理效率。
又,例如,前述電路在前述第1參考區塊已透過雙預測進行編碼時,是對前述第1參考區塊之2個移動向量之每一個適用2個定標比值,藉此從前述第1參考區塊之2個移動向量,導出用以參考前述第1參考圖片清單之2個候選移動向量、及用以參考前述第2參考圖片清單之2個候選移動向量,且在前述第2參考區塊已透過雙預測進行編碼時,對前述第2參考區塊之2個移動向量之每一個適用2個定標比值,藉此從前述第2參考區塊之2個移動向量,導出用以參考前述第1參考圖片清單之2個候選移動向量、及用以參考前述第2參考圖片清單之2個候選移動向量亦可。
藉此,編碼裝置可從2個參考區塊的4個移動向量之每一個,導出候選移動向量組合,其中該候選移動向量組合是由參考2個參考圖片清單之2個候選移動向量所構成。即,編碼裝置可從2個參考區塊的4個移動向量,導出4組候選移動向量組合,其中該等4組候選移動向量組合是由可利用在雙預測之2個候選移動向量所分別構成。
又,例如,前述電路在前述第1參考區塊已透過雙預測進行編碼時,是從前述第1參考區塊之2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量,且從前述第1參考區塊之2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單之候選移動向量,且在前述第2參考區塊已透過雙預測進行編碼時,從前述第2參考區塊之2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量,且從前述第2參考圖片清單之2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單之候選移動向量亦可。
藉此,編碼裝置可從2個參考區塊之4個移動向量分別導出4個候補移動向量,且可導出以4個候選移動向量所構成之2組候選移動向量組合。即,編碼裝置可將2個參考區塊的4個移動向量,分別適當地反映至2組候選移動向量組合所含之4個候選移動向量。
又,例如,前述電路在前述第1參考區塊已透過單預測進行編碼時,對前述第1參考區塊之1個移動向量適用2個定標比值,藉此,從前述第1參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量,且在前述第2參考區塊已透過單預測進行編碼時,對前述第2參考區塊之1個移動向量適用2個定標比值,藉此從前述第2參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量亦可。
藉此,編碼裝置可從各參考區塊之僅只1個的移動向量,導出候選移動向量組合,其中該候選移動向量組合是由參考2個參考圖片清單之2個候選移動向量所構成。即,編碼裝置可從各參考區塊之僅只1個的移動向量,導出候選移動向量組合,其中該候選移動向量組合是由可利用在雙預測之2個候選移動向量所構成。
又,例如,前述電路也可在前述編碼對象區塊已透過於顯示順序上前方向及後方向之中僅只一方向之雙預測來進行編碼時,從前述第1參考區塊之1個以上的移動向量,導出2個以上的候選移動向量,其中該候選移動向量是用以參考被使用在前述編碼對象區塊之雙預測之前述一方向,且從前述第2參考區塊之1個以上的移動向量,導出2個以上的候選移動向量,其中該候選移動向量是用以參考被使用在前述編碼對象區塊之雙預測之前述一方向。
藉此,編碼裝置在對編碼對象區塊使用僅只一方向之雙預測時,可從各參考區塊導出參考一方向之2個以上的候選移動向量。因此,編碼裝置可從各參考區塊,導出適合於僅只一方向之雙預測之1組以上的候選移動向量組合。
又,例如,在前述第1參考圖片清單是用來參考顯示順序上前方向之參考圖片清單,前述第2參考圖片清單是用來參考顯示順序上後方向之參考圖片清單,前述第1參考區塊已透過於顯示順序上前方向及後方向之兩方向的雙預測進行編碼,前述第2參考區塊已透過於顯示順序上前方向及後方向之兩方向的雙預測進行編碼,且前述編碼對象區塊透過於顯示順序上前方向及後方向之兩方向的雙預測進行編碼時,前述電路對前述第1參考區塊之2個移動向量之中,用來參考顯示順序上後方向的1個移動向量適用2個定標比值,藉此從前述第1參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量,且對前述第2參考區塊之2個移動向量之中,用來參考顯示順序上前方向的1個移動向量適用2個定標比值,藉此從前述第2參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量亦可。
藉此,編碼裝置可從各參考區塊之2個移動向量之中後述的參考方向之移動向量,導出參考2個參考圖片清單之候選移動向量組合,其中該參考方向為時間性質上自參考區塊朝向編碼對象區塊之方向。即,編碼裝置可於各參考區塊的2個移動向量之中,從相對於編碼對象區塊在時間性質上有高關聯性的移動向量,來適當地導出可利用在雙預測之候選移動向量。
又,本揭示一態樣之解碼裝置是將動態圖像的資訊進行解碼的裝置,包含有記憶體、及可對前述記憶體進行存取的電路,可對前述記憶體進行存取的前述電路是:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含之第2參考區塊之1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量是包括從前述第1參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量;且使用前述預測移動向量,將前述解碼對象區塊的資訊進行解碼。
藉此,解碼裝置可從第1參考圖片清單中之第1參考區塊導出候選移動向量,且,可從第2參考圖片清單中之第2參考區塊導出候選移動向量。因此,解碼裝置能提高如下可能性,即,在用以選擇預測移動向量之複數個候選移動向量中含有適合的候選移動向量。然後,藉此,解碼裝置可支援適合的預測移動向量的導出,且可支援與動態圖像有關聯之編碼量的削減。
例如,前述電路也可在前述第1參考區塊已透過雙預測進行解碼時,對前述第1參考區塊之2個移動向量之中的1個移動向量適用2個定標比值,藉此從前述第1參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量,且在前述第2參考區塊已透過雙預測進行解碼時,對前述第2參考區塊之2個移動向量之中的1個移動向量,適用2個定標比值,藉此從前述第2參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量。
藉此,解碼裝置可分別從第1參考區塊的1個移動向量、及第2參考區塊的1個移動向量,導出由參考2個參考圖片清單之2個候選移動向量所構成之候選移動向量組合。即,解碼裝置可從特性相異的2個移動向量,導出由可利用在雙預測之2個候選移動向量所分別構成的2組候選移動向量組合。
又,例如,前述電路也可在前述第1參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行解碼時,對前述第1參考區塊之2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第1參考區塊之2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量,且在前述第2參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行解碼時,對前述第2參考區塊的2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第2參考區塊之2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量。
藉此,解碼裝置可僅從被推定特性為類似的2個移動向量之中1個移動向量,導出候選移動向量組合,其中該候選移動向量組合是由參考2個參考圖片清單之2個候選移動向量所構成。因此,解碼裝置能改善處理效率。
又,例如,前述電路也可在前述第1參考區塊已透過雙預測進行解碼時,對前述第1參考區塊的2個移動向量之每一個適用2個定標比值,藉此從前述第1參考區塊的2個移動向量,導出用以參考前述第1參考圖片清單之2個候選移動向量、及用以參考前述第2參考圖片清單之2個候選移動向量,且在前述第2參考區塊已透過雙預測進行解碼時,對前述第2參考區塊的2個移動向量之每一個適用2個定標比值,藉此從前述第2參考區塊的2個移動向量,導出用以參考前述第1參考圖片清單之2個候選移動向量、及用以參考前述第2參考圖片清單之2個候選移動向量。
藉此,解碼裝置可從2個參考區塊的4個移動向量之每一個,導出候選移動向量組合,其中該候選移動向量組合是由參考2個參考圖片清單的2個候選移動向量所構成。即,解碼裝置可從2個參考區塊的4個移動向量,導出4組候選移動向量組合,其中該等4組候選移動向量組合是以可利用在雙預測之2個候選移動向量所分別構成。
又,例如,前述電路也可在前述第1參考區塊已透過雙預測進行解碼時,從前述第1參考區塊的2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量,且從前述第1參考區塊的2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單之候選移動向量,在前述第2參考區塊已透過雙預測進行解碼時,從前述第2參考區塊的2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量,且從前述第2參考區塊的2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單之候選移動向量。
藉此,解碼裝置可從2個參考區塊的4個移動向量分別導出4個候選移動向量,可導出以4個候選移動向量所構成之2組候選移動向量組合。即,解碼裝置可將2個參考區塊的4個移動向量分別適當地反映於包含在2組候選移動向量組合的4個候選移動向量。
又,例如,前述電路也可在前述第1參考區塊已透過單預測進行解碼時,對前述第1參考區塊的1個移動向量適用2個定標比值,藉此從前述第1參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量,且在前述第2參考區塊已透過單預測進行解碼時,對前述第2參考區塊的1個移動向量適用2個定標比值,藉此從前述第2參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量。
藉此,解碼裝置從各參考區塊的僅只1個移動向量,就能導出由參考2個參考圖片清單之2個候選移動向量所構成之候選移動向量組合。即,解碼裝置可從各參考區塊的僅只1個移動向量,導出候選移動向量組合,其中該候選移動向量組合是以可利用在雙預測之2個候選移動向量所構成。
又,例如,前述電路也可在前述解碼對象區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行解碼時,從前述第1參考區塊的1個以上的移動向量,導出2個以上的候選移動向量,其中該等2個以上的候選移動向量是用以參考被使用在前述解碼對象區塊的雙預測之前述一方向,且從前述第2參考區塊的1個以上的移動向量,導出2個以上的候選移動向量,其中該等2個以上的候選移動向量是用以參考被使用在前述解碼對象區塊的雙預測之前述一方向。
藉此,解碼裝置在於解碼對象區塊使用僅只一方向的雙預測時,可從各參考區塊,導出參考一方向的2個以上的候選移動向量。因此,解碼裝置可從各參考區塊,導出適合於僅只一方向之雙預測的1組以上的候選移動向量組合。
又,例如,當前述第1參考圖片清單為參考顯示順序上前方向之用的參考圖片清單,前述第2參考圖片清單為參考顯示順序上後方向之用的參考圖片清單,前述第1參考區塊已透過顯示順序上前方向及後方向的兩方向之雙預測進行解碼,前述第2參考區塊已透過顯示順序上前方向及後方向的兩方向之雙預測進行解碼,且前述解碼對象區塊透過於顯示順序上前方向及後方向的兩方向之雙預測進行解碼時,前述電路對前述第1參考區塊的2個移動向量之中,用以參考顯示順序上後方向的1個移動向量,適用2個定標比值,藉此從前述第1參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量,且對前述第2參考區塊的2個移動向量之中,用以參考顯示順序上前方向的1個移動向量,適用2個定標比值,藉此從前述第2參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量亦可。
藉此,解碼裝置可從各參考區塊的2個移動向量之中如下參考方向的移動向量,導出參考2個參考圖片清單的候選移動向量組合,其中該參考方向為時間性質上自參考區塊朝向解碼對象區塊的方向。即,解碼裝置於各參考區塊的2個移動向量之中,可從相對於解碼對象區塊在時間性質上有高關聯性的移動向量,適當地導出可利用在雙預測的候選移動向量組合。
又,本揭示一態樣的編碼方法是一種將動態圖像的資訊進行編碼的編碼方法,進行:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用的2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含之第2參考區塊之1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中,選擇前述預測移動向量,其中前述複數個候選移動向量包括從前述第1參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量;且使用前述預測移動向量,將前述編碼對象區塊的資訊進行編碼。
藉此,使用該編碼方法之裝置等就能從第1參考圖片清單中的第1參考區塊,導出候選移動向量,且從第2參考圖片清單中的第2參考區塊,導出候選移動向量。因此,使用該編碼方法之裝置等是能提高如下之可能性,即,在選擇預測移動向量之用的複數個候選移動向量中會含有適合的候選移動向量的可能性。
然後,藉此,使用該編碼方法之裝置等是可支援適合的預測移動向量的導出,且可支援與動態圖像有關聯之編碼量的削減。
又,本揭示一態樣之解碼方法是一種將動態圖像的資訊進行解碼的解碼方法,進行:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊之預測移動向量之1個以上的候選移動向量,其中前述前述第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量包括從前述第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量;且使用前述預測移動向量,將前述解碼對象區塊的資訊進行解碼。
藉此,使用該解碼方法之裝置等是可從第1參考圖片清單中之第1參考區塊導出候選移動向量,且,可從第2參考圖片清單中之第2參考區塊導出候選移動向量。因此,使用該解碼方法之裝置等是能提高如下之可能性,即,在選擇預測移動向量之用的複數個候選移動向量中含有適合的候選移動向量之可能性。
然後,藉此,使用該解碼方法之裝置等是可支援適合的預測移動向量的導出,且可支援與動態圖像有關聯之編碼量的削減。
進而,該等概括性或者具體性態樣,可透過系統、裝置、方法、積體電路、電腦程式、或者、電腦可讀取的CD-ROM等非暫時性的記錄媒體來實現,也可以系統、裝置、方法、積體電路、電腦程式、及記錄媒體之任意組合來實現。
以下,一邊參考附圖,一邊具體地說明實施形態。
另,在以下所說明的實施形態每一個都是顯示概括性或具體性的例子。在以下的實施形態中所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等都只是例示罷了,其旨趣並非是來限定請求的範圍。又,以下的實施形態中之構成要素之中,針對未記載於顯示最上位概念的獨立請求項之構成要素,是當做為任意的構成要素來說明的。
(實施形態1) 首先針對可適用後述的本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例,說明實施形態1的概要。惟,實施形態1只不過是可適用本揭示之各態樣所說明之處理及/或構成的編碼裝置及解碼裝置之一例罷了,在本揭示所說明的處理及/或構成係也可實施於與實施形態1不同的編碼裝置及解碼裝置中。
對於實施形態1,適用在本揭示之各態樣所說明的處理及/或構成時,例如亦可以進行以下任一種方式。 (1)對於實施形態1之編碼裝置或者解碼裝置,在構成該編碼裝置或者解碼裝置之複數個構成要素之中,將與本揭示的各態樣中所說明的構成要素相對應的構成要素,替換成本揭示的各態樣中所說明的構成要素; (2) 對於實施形態1之編碼裝置或者解碼裝置,針對構成該編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素,先施予功能或者欲實施之處理的追加、替換、刪除等之任意的變更後,再將與本揭示之各態樣中所說明的構成要素相對應的構成要素,替換成本揭示之各態樣中所說明的構成要素; (3) 對於實施形態1之編碼裝置或者解碼裝置所要實施的方法,針對處理的追加、及/或該方法所含的複數個處理之中一部分的處理先施予替換、刪除等之任意的變更後,再將與本揭示的各態樣中所說明的處理相對應的處理,替換成本揭示的各態樣中所說明的處理; (4) 將構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素,和本揭示之各態樣中所說明的構成要素、具有本揭示之各態樣中所說明的構成要素所具備的功能之一部分之構成要素、或者要實施本揭示之各態樣中所說明之構成要素所要實施的處理之一部分的構成要素相組合而實施; (5)將具有構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素所具備的功能之一部分的構成要素、或者實施構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素所實施的處理之一部分的構成要素,和本揭示之各態樣中所說明之構成要素、具有在本揭示之各態樣中所說明之構成要素所具備的功能之一部分之構成要素、或者是實施本揭示之各態樣中所說明之構成要素所實施之處理之一部分的構成要素相組合來實施; (6)對於實施形態1之編碼裝置或者解碼裝置所要實施的方法,在該方法所含的複數個處理之中,將對應於本揭示之各態樣中所說明之處理的處理,替換成本揭示之各態樣中所要說明的處理; (7)將實施形態1之編碼裝置或者解碼裝置所要實施的方法所含之複數個處理之中的一部分處理,和本揭示之各態樣中所說明之處理相組合來實施。
另,本揭示之各態樣中所說明之處理及/或構成的實施方式並不限於上述例子。例如,也可以實施在與實施形態1中所揭示之動態圖像/圖像編碼裝置或者是動態圖像/圖像解碼裝置不同的目的而被利用的裝置中,也可以單獨地實施已在各態樣中所說明之處理及/或構成。又,也可將已在不同的態樣中所說明的處理及/或構成進行組合來實施。
[編碼裝置的概要] 首先,說明實施形態1之編碼裝置之概要。圖1是顯示實施形態1之編碼裝置100之功能構成之方塊圖。編碼裝置100是將動態圖像/圖像,以區塊單位進行編碼之動態圖像/圖像編碼裝置。
如圖1所示,編碼裝置100為將圖像以區塊單位進行編碼之裝置,包含有:分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、訊框記憶體122、內預測部124、間預測部126、及預測控制部128。
編碼裝置100,例如是藉通用處理器及記憶體來實現。此時,當儲存在記憶體的軟體程式藉處理器來執行時,處理器是做為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128而發揮功能。又,編碼裝置100也可做為一種專用的1個以上的電子電路來實現,該專用的1個以上的電子電路是對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128。
以下,針對編碼裝置100所含之各構成要素予以說明。
[分割部] 分割部102是將輸入動態圖像所含之各圖片分割成複數個區塊,將各區塊輸出至減法部104。例如,分割部102,首先將圖片分割成固定尺寸(例如128×128)之區塊。該固定尺寸的區塊有時亦被稱為編碼樹單元(CTU)。接著,分割部102根據遞迴性的四元樹(quadtree)及/或二元樹(binary tree)區塊分割,將固定尺寸的區塊之每一個分割成可變尺寸(例如64×64以下)的區塊。這個可變尺寸的區塊有時亦被稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另,在本實施形態中,CU、PU及TU沒有區別的必要,圖片內的一部分或者全部的區塊也可成為CU、PU、TU的處理單位。
圖2是顯示實施形態1中的區塊分割一例之圖。在圖2中,實線是表示透過四元樹區塊分割所得到的區塊邊界,虛線是表示透過二元樹區塊分割所得到的區塊邊界。
在此,區塊10是128×128像素的正方形區塊(128×128區塊)。該128×128區塊10,首先是被分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊是進一步被垂直分割成2個矩形的32×64區塊,左邊的32×64區塊是進一步被垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果,左上的64×64區塊是被分割成2個16×64區塊11、12、及32×64區塊13。
右上的64×64區塊是被水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊是被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中,左上的區塊及右下的區塊被進一步進行分割。左上的32×32區塊是垂直分割成2個矩形的16×32區塊,右邊的16×32區塊是進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊是被水平分割成2個32×16區塊(二元樹區塊分割)。其結果,左下的64×64區塊是被分割成1個16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。
右下的64×64區塊23不分割。
如上,在圖2中,區塊10是根據遞迴性的四元樹及二元樹區塊分割,而被分割成13個可變尺寸的區塊11至23。如此分割,有時亦被稱為QTBT(quad-tree plus binary tree)分割。
另,在圖2中,1個區塊是被分割成4個或者2個區塊(四元樹或者二元樹區塊分割),而分割並不限於此。例如,1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包括三元樹區塊分割的分割有時亦被稱為MBT(multi type tree)分割。
[減法部] 減法部104是由分割部102所分割的區塊單位,從原訊號(原樣本)減去預測訊號(預測樣本)。即,減法部104是算出編碼對象區塊(以下,稱為目前區塊)的預測誤差(也稱為殘差)。接著,減法部104將所算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號,為表示構成動態圖像之各圖片的圖像之訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在下面內容中,也將表示圖像的訊號稱為樣本。
[轉換部] 轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數,且將轉換係數輸出至量化部108。具體來說,轉換部106,例如對於空間區域的預測誤差,進行已事先決定的離散餘弦轉換(DCT)或者離散正弦轉換(DST)。
另,轉換部106也可從複數個轉換型式之中適應性地選擇轉換型式,使用對應於所選擇的轉換型式之轉換基底函數(transform basis function),將預測誤差轉換成轉換係數。如此轉換有時亦被稱為EMT(explicit multiple core transform)或者AMT(adaptive multiple transform)。
複數個轉換型式,例如包括有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換型式之轉換基底函數之表。在圖3中,N是顯示輸入像素的數量。來自該等複數個轉換型式之中的轉換型式的選擇,例如也可依據在預測的種類(內預測及間預測),也可依據在內預測模式。
顯示是否適用如此的EMT或者AMT之資訊(例如被稱為AMT旗標)以及顯示所被選擇的轉換型式的資訊是以CU等級而被進行訊號處理。另,該等資訊的訊號處理沒有必要限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊(tile)等級或者CTU等級)。
又,轉換部106也可將轉換係數(轉換結果)再轉換。如此再轉換有時亦被稱為AST(adaptive secondary transform)或者NSST(non-separable secondary transform)。例如,轉換部106是依對應於內預測誤差之轉換係數的區塊所含之子區塊(例如4×4子區塊)各個進行再轉換。顯示是否適用NSST之資訊及有關於使用在NSST之轉換矩陣之資訊是以CU等級進行訊號處理。另,該等資訊的訊號處理沒有必要限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級或者CTU等級)。
在此,可分離(Separable)的轉換是指依方向分離輸入的維數,進行數次轉換的方式,不可分離(Non-Separable)的轉換是指在輸入為多維時將2以上的的維匯整,而視為一維,再一起進行轉換的方式。
例如,以不可分離的轉換之1例來說,可舉例有如下者:在輸入為4×4的區塊時,將該區塊視為具有16個要素之一個配列,對該配列,以16×16的轉換矩陣進行轉換處理。
又,同樣,將4×4的輸入區塊視為如同具有16個要素之一整個排列,之後對該排列進行數次吉文斯旋轉(Givens rotation)之構成(Hypercube Givens Transform/超立方體吉文斯轉換),也是不可分離(Non- Separable)性轉換的例子。
[量化部] 量化部108是將從轉換部106所輸出的轉換係數進行量化。具體來說,量化部108是以預定的掃描順序來掃描當前區塊的轉換係數,根據對應於所掃描的轉換係數的量化參數(QP),而將該轉換係數進行量化。然後,量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。
預定的順序是轉換係數的量化/反量化之用的順序。例如,預定的掃描順序是頻率的升冪排序(從低頻到高頻的順序)或者降冪排序(從高頻到低頻的順序)來下定義。
量化參數係指定義量化步階(量化幅寬)的參數。例如,若量化參數的值增加時,量化步階也會增加。即,若量化參數的值增加,量化誤差也會變大。
[熵編碼部] 熵編碼部110是將從量化部108輸入的量化係數進行可變長度編碼,藉此產生編碼訊號(編碼位元串流)。具體來說,熵編碼部110,例如將量化係數進行二值化,且將二值化訊號進行算術編碼。
[反量化部] 反量化部112是將來自量化部108的輸入之量化係數進行反量化。具體來說,反量化部112是以預定的掃描順序而將當前區塊的量化係數進行反量化。然後,反量化部112是將當前區塊的業經反量化的轉換係數輸出至反轉換部114。
[反轉換部] 反轉換部114是將反量化部112的輸入之轉換係數進行反轉換,藉此將預測誤差進行復原。具體來說,反轉換部114是對轉換係數進行與轉換部106所進行的轉換對應之反轉換,藉此將當前區塊的預測誤差進行復原。然後,反轉換部114是將業已復原的預測誤差輸出至加法部116。
另,業已復原的預測誤差是透過量化的進行而失去了資訊,因此和減法部104所算出的預測誤差不一致。即,在業已復原的預測誤差中含有量化誤差。
[加法部] 加法部116是將來自反轉換部114之輸入的預測誤差、與來自預測控制部128之輸入的預測樣本相加,藉此再構成當前區塊。然後,加法部116將業經再構成的區塊輸出至區塊記憶體118及迴路濾波部120。再構成區塊有時也被稱為局部解碼區塊。
[區塊記憶體] 區塊記憶體118是用以儲存區塊的記憶體,其中該區塊為於內預測被參考的區塊,且為編碼對象圖片(以下稱為當前圖片)內的區塊。具體來說,區塊記憶體118是儲存從加法部116所輸出的再構成區塊。
[迴路濾波部] 迴路濾波部120是對經由加法部116而再構成的區塊施加迴路濾波,且將業經濾波的再構成區塊輸出至訊框記憶體122。迴路濾波是指在編碼迴路內所使用的濾波器(迴路內濾波器),例如包括解區塊濾波器(DF)、樣本適應性補償(SAO)及適應性迴路濾波器(ALF)等。
在ALF中,適用用以移除編碼變形的最小平方誤差濾波器,例如按當前區塊內的2×2子區塊之每一個,根據局部性的梯度(gradient)的方向及活性度(activity),適用從複數個濾波器之中所選擇的1個濾波器。
具體來說,首先子區塊(例如2×2子區塊)被分類成複數個類別(例如15或者25類)。子區塊的分類是根據梯度的方向及活性度來進行。例如,使用梯度的方向值D(例如0至2或者0至4)與梯度的活性值A(例如0至4),而算出分類值C(例如C=5D+A)。然後,根據分類值C,使子區塊被分類成複數個類別(例如15或者25類)。
梯度的方向值D,例如是經由比較複數個方向(例如水平、垂直及2個對角方向)的梯度導出。又,梯度的活性值A,例如是將複數個方向的梯度相加,將加法結果進行量化,藉此來導出。
根據如此分類的結果,從複數個濾波器之中,決定子區塊用的濾波器。
以於ALF所使用的濾波器的形狀來說,例如利用圓對稱形狀。如圖4A至圖4C是顯示ALF所使用的濾波器的形狀的數例之圖。圖4A是顯示5×5菱形形狀濾波器,図4B是顯示7×7菱形形狀濾波器,圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的資訊是以圖片等級來被進行訊號化。另,顯示濾波器之形狀之資訊的訊號化並不須限定在圖片等級,也可為其他等級(例如序列等級、切片等級、方塊等級、CTU等級或者是CU等級)。
ALF的開啟/關閉,例如是以圖片等級或者CU等級來決定。例如,針對亮度,是以CU等級來決定是否適用ALF,針對色差,是以圖片等級來決定是否適用ALF。顯示ALF的開啟/關閉的資訊,是以圖片等級或者CU等級來進行訊號化。另,顯示ALF的開啟/關閉的資訊,並無須限定在圖片等級或者CU等級,也可為其他等級(例如序列等級、切片等級、方塊等級、或者CTU等級)。
可選擇的複數個濾波器(例如迄至15或25的濾波器)的係數組合是以圖片等級進行訊號化。另,係數組合的訊號化並無須限定在圖片等級,也可為其他等級(例如序列等級、切片等級、方塊等級、CTU等級、CU等級或者是子區塊等級)。
[訊框記憶體] 訊框記憶體122是一種用以儲存被使用在間預測的參考圖片之記憶部,有時也被稱為訊框緩衝器。具體來說,訊框記憶體122是儲存已經由迴路濾波部120過濾的再構成區塊。
[內預測部] 內預測部124是參考區塊記憶體118所儲存的當前圖片內的區塊,進行當前區塊的內預測(也稱為畫面內預測),以此產生預測訊號(內預測訊號)。具體來說,內預測部124是參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)進行內預測,以此產生內預測訊號,且將內預測訊號輸出至預測控制部128。
例如,內預測部124利用已事先規定的複數個內預測模式之中的1個,來進行內預測。複數個內預測模式是包括1個以上的非方向性預測模式、及複數個方向性預測模式。
1個以上的非方向性預測模式,例如包括以H.265/HEVC(High-Efficiency Video Coding/高效率視訊編碼)規格(非專利文獻1)所規定的平面(Planar)預測模式及直流(DC)預測模式。
複數個方向性預測模式, 例如包括以H.265/ HEVC規格所規定的33種方向的預測模式。另,複數個方向性預測模式,除了33種方向外,也可進一步包括32種方向的預測模式(合計共65種方向性預測模式)。圖5A是顯示內預測中的67種內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭符號是表示以H.265/HEVC規格所規定的33種方向,虛線箭頭符號是表示所追加的32種方向。
另,在色差區塊的內預測中,亮度區塊也可被參考。即,根據當前區塊的亮度成分,當前區塊的色差成分也可被預測。如此之內預測有時也被稱為CCLM (cross- component linear model)預測。像這種參考亮度區塊之色差區塊的內預測模式(例如被稱為CCLM模式),也可作為1種色差區塊的內預測模式而加入。
內預測部124,也可根據水平/垂直方向的參考像素的梯度,來補正內預測後的像素值。像這樣伴隨著補正的內預測有時被稱為PDPC(position dependent intra prediction combination)。顯示有無PDPC的適用之資訊(例如被稱為PDPC旗標),例如是以CU等級而被進行訊號化。另,該資訊的訊號化並無須限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、或者CTU等級)。
[間預測部] 間預測部126是參考參考圖片,來進行當前區塊的間預測(也叫做畫面間預測),以此產生預測訊號(間預測訊號),其中該參考圖片是訊框記憶體122所儲存的參考圖片,且為與當前圖片相異的參考圖片。間預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位來進行。例如,間預測部126是針對當前區塊或者子區塊,在參考圖片內進行移動估測(motion estimation)。接著,間預測部126是利用藉移動估測而得到的移動資訊(例如移動向量)來進行移動補償,以此產生當前區塊或者子區塊的間預測訊號。然後,間預測部126是將所產生的間預測訊號輸出至預測控制部128。
用於移動補償的移動資訊被進行訊號化。對於移動向量的訊號化,預測移動向量(motion vector predictor)也可被使用。即,移動向量與預測移動向量間之差分也可被訊號化。
另,不僅使用透過移動估測所得到的當前區塊的移動資訊,也可使用鄰接區塊的移動資訊,來產生間預測訊號。具體來說,也可將根據透過移動估測所得到的移動資訊之預測訊號、與根據鄰接區塊的移動資訊之預測訊號予以加權加總,藉此以當前區塊內的子區塊單位來產生間預測訊號。如此之間預測(移動補償)有時被稱為OBMC (overlapped block motion compensation)。
在如此之OBMC模式中,顯示OBMC用的子區塊的尺寸之資訊(例如被稱為OBMC區塊尺寸)是以序列等級而被訊號化。又,顯示是否適用OBMC模式之資訊(例如被叫做OBMC旗標)是以CU等級而被訊號化。另,該等資訊的訊號化的等級並無須限定在序列等級及CU等級,也可為其他等級(例如圖片等級、切片等級、方塊等級、CTU等級、或者子區塊等級)。
針對OBMC模式,更具體地來進行說明。圖5B及圖5C是用以說明OBMC處理所進行的預測圖像補正處理的概要之流程及概念圖。
首先,使用被分配到編碼對象區塊之移動向量(MV),取得依通常的移動補償所得到之預測圖像(Pred)。
其次,將已編碼完畢的左鄰接區塊的移動向量(MV_L)適用在編碼對象區塊,取得預測圖像(Pred_L),將前述預測圖像與Pred_L加權、疊合,以此進行預測圖像的第1次補正。
以同樣方式,將已編碼完畢之上鄰接區塊的移動向量(MV_U)適用在編碼對象區塊,取得預測圖像 (Pred_U),將前述已進行第1次補正的預測圖像與Pred_U賦予權重、疊合,以此進行預測圖像的第2次補正,將此做為最後的預測圖像。
另,在此說明了使用左鄰接區塊與上鄰接區塊的2階段補正的方法,但也能作成如下構成,即,使用右鄰接區塊或下鄰接區塊,進行比2階段更多次數的補正之構成。
另,進行疊合的區域,也可為僅只區塊邊界附近之一部分的區域,而非區塊整體的像素區域。
另,在此雖是針對來自1張參考圖片的預測圖像補正處理進行說明,但是在從複數張參考圖片來補正預測圖像的情況也是同樣的方式,從各參考圖片取得已補正的預測圖像後,將所得到的預測圖像進一步疊合,以此作為最後的預測圖像。
另,前述處理對象區塊也可為預測區塊單位,也可為將預測區塊進一步加以分割的子區塊單位。
作為判斷是否適用OBMC處理的方法,例如有一種使用obmc_flag之方法,該obmc_flag是顯示是否適用OBMC處理的訊號。以一具體例來說,在編碼裝置中,判斷編碼對象區塊是否屬於移動為複雜的區域,在屬於移動為複雜的區域時,設定值為1來作為obmc_flag,適用OBMC處理進行編碼,在不屬於移動為複雜的區域時,則設定值為0來作為obmc_flag,不適用OBMC處理來進行編碼。此外,在解碼裝置中,將記述在串流的obmc_flag解碼,以此因應該值,切換是否適用OBMC處理,來進行解碼。
另,移動資訊也可在不被訊號化之狀態下,在解碼裝置側導出。例如也可採用以H.265/HEVC規格所規定的合併模式。又,例如也可於解碼裝置側進行移動估測,藉此導出移動資訊。此時,移動估測能在不使用當前區塊的像素值之狀態下進行。
在此,針對在解碼裝置側進行移動估測之模式來說明。在該解碼裝置側進行移動估測的模式有時被稱為PMMVD(pattern matched motion vector derivation)模式或者FRUC(frame rate up-conversion)模式。
FRUC處理之一例是顯示在圖5D中。首先,參考空間性質上或時間性質上鄰接於當前區塊的編碼完畢區塊之移動向量,產生複數個候選的清單(也可與合併清單為共通),該複數個候選的清單各自具有預測移動向量。其次,從已登錄在候選清單的複數個候選MV之中選擇最佳候選MV。例如,算出候選清單所含之各候選的評價值,根據評價值,而選擇1個候選。
接著,根據所選擇的候選之移動向量,導出當前區塊用的移動向量。具體來說,例如將所選擇的候選之移動向量(最佳候選MV),就這樣被導出來作為當前區塊用的移動向量。又,例如在參考圖片內之位置的周邊區域中進行圖案匹配,藉此也可以導出當前區塊用的移動向量,其中該參考圖片是對應於所選擇之候選的移動向量。即,對於最佳候選MV之周邊的區域,以同樣的方法進行搜索,進而有評價值為好的數字之MV時,將最佳候選MV更新為前述MV,將該MV當做為當前區塊之最後的MV亦可。另,也可做成不實施該處理之構成。
在以子區塊單位進行處理時,也可構成為完全同樣的處理。
另,評價值是可透過對應於移動向量之參考圖片內的區域、與預定區域之間的圖案匹配,求取再構成圖像的差分值來算出。另,除了差分值外,也可使用使用除此以外的資訊,來算出評價值。
對於圖案匹配,是使用第1圖案匹配或者第2圖案匹配。第1圖案匹配及第2圖案匹配,有時分別被稱為雙向匹配(bilateral matching)以及模板匹配(template matching)。
在第1圖案匹配中,是在2個區塊之間進行圖案匹配,該2個區塊是不同的2個參考圖片內的2個區塊,且是沿著當前區塊的移動軌跡(motion trajectory)。因此,在第1圖案匹配中,是使用沿著當前區塊的移動軌跡的其他參考圖片內之區域,來作為算出上述候選的評價值之用的預定區域。
圖6是用以說明在沿著移動軌跡的2個區塊間之圖案匹配(雙向匹配)一例之圖。如圖6所示,在第1圖案匹配下,在沿著當前區塊(Cur block)的移動軌跡之2個區塊,且在不同的2個參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)之中,搜索最為相配的配對,藉此導出2個移動向量(MV0、MV1)。具體來說,對於當前區塊,導出以候選MV所指定的第1編碼完畢參考圖片(Ref0)內的指定位置中之再構成圖像、與已將前述候選MV以顯示時間間隔進行定標的對稱MV所指定的第2編碼完畢參考圖片(Ref1)內的指定位置中之再構成圖像間之差分,使用所得到的差分值來算出評價值。在複數個候選MV之中,選擇評價值為最佳的候選MV,作為最後MV,即可。
在連續的移動軌跡的假設之下,指示2個參考區塊的移動向量(MV0、MV1)相對於當前圖片(Cur Pic)與2個參考圖片(Ref0、Ref1)間之時間上的距離(TD0、TD1)成比例。例如,當前圖片是時間性質上位於2個參考圖片之間,在從當前圖片到2個參考圖片的時間上的距離相等時,在第1圖案匹配上,能導出鏡射對稱的雙向之移動向量。
在第2圖案匹配上,在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間,進行有圖案匹配。因此,在第2圖案匹配上,使用鄰接於當前圖片內的當前區塊的區塊,以作為前述之候選的評價值之算出用的預定區域。
圖7是用以說明在當前圖片內的模板(Template)與參考圖片內的區塊之間的圖案匹配(模板匹配)一例之圖。如圖7所示,在第2圖案匹配中,在參考圖片(Ref0)內搜索在當前圖片(Cur Pic)內和鄰接於當前區塊(Cur block)之區塊最匹配的區塊,藉此導出當前區塊的移動向量。具體來說,對於當前區塊,導出:左鄰接及上鄰接兩邊或者任一邊的編碼完畢區域的再構成圖像、與以候選MV所指定的編碼完畢參考圖片(Ref0)內的同等位置中的再構成圖像間之差分,且使用所得到的差分值,算出評價值,在複數個候選MV之中選擇評價值為最佳之值的候選MV,作為最佳候選MV,即可。
如此之顯示是否適用FRUC模式之資訊(例如被稱為FRUC旗標)是以CU等級而被訊號化。又,在適用FRUC模式時(例如FRUC旗標為真時),顯示圖案匹配之方法(第1圖案匹配或者第2圖案匹配)之資訊(例如被稱為FRUC模式旗標)是以CU等級而被訊號化。另,該等資訊之訊號化並不須限定於CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、CTU等級或者子區塊等級)。
在此,針對根據模型來導出移動向量的模式進行說明,其中該模型為假設為等速直線運動之模型。該模式有時被稱為BIO (bi-directional optical flow,雙向光流)模式。
圖8是用以說明假設為等速直線運動的模型之圖。在圖8中,(vx ,vy )是表示速度向量,τ0 、τ1 各表示為當前圖片 (Cur Pic)與2個參考圖片(Ref0 ,Ref1 )間的時間上的距離。(MVx0 ,MVy0 )是表示對應於參考圖片Ref0 之移動向量,(MVx1 、MVy1 )是表示對應於參考圖片Ref1 之移動向量。
此時,速度向量(vx ,vy )在等速直線運動的假設之下,(MVx0 ,MVy0 )及(MVx1 ,MVy1 )各表示為(vx τ0 ,vy τ0 )及(-vx τ1 ,-vy τ1 ),使以下的光流等式(1)成立。 (數1)
在此,I(k) 是表示移動補償後之參考圖像k(k=0,1)的亮度值。該光流等式是顯示(i)亮度值的時間微分、(ii)水平方向的速度及參考圖像的空間梯度的水平成分的乘積、與(iii)垂直方向的速度及參考圖像的空間梯度的垂直成分的乘積之和等於零者。根據該光流等式與埃爾米特插值(Hermite interpolation)之組合,將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。
另,也可以異於根據假設等速直線運動之模型之移動向量的導出之方法,在解碼裝置側導出移動向量。例如,也可根據複數個鄰接區塊的移動向量,以子區塊單位導出移動向量。
在此,針對根據複數個鄰接區塊的移動向量,以子區塊單位導出移動向量的模式進行說明。該模式有被稱為仿射移動補償預測(affine motion compensation prediction)模式的時候。
圖9A是用以說明子區塊單位的移動向量之導出之圖,該導出是根據複數個鄰接區塊的移動向量來進行。在圖9A中,當前區塊含有16之4×4子區塊。在此,根據鄰接區塊的移動向量,導出當前區塊的左上角控制點的移動向量v0 ,且根據鄰接子區塊的移動向量,導出當前區塊的右上角控制點的移動向量v1 。接著,使用2個移動向量v0 及v1 ,經由以下的式(2),而導出當前區塊內的各子區塊的移動向量(vx ,vy )。 (數2)
在此,x及y各表示子區塊的水平位置及垂直位置,w表示已事先訂定的權重係數。
在如此之仿射移動補償預測模式中,也可包括左上及右上角控制點的移動向量之導出方法相異之幾個模式。顯示如此之仿射移動補償預測模式之資訊(例如被稱為仿射旗標)是以CU等級而被進行訊號化。另,該顯示仿射移動補償預測模式之資訊的訊號化無須限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、CTU等級或者子區塊等級)。
[預測控制部] 預測控制部128是選擇內預測訊號及間預測訊號之任一種,且將所選擇的訊號做為預測訊號,而輸出至減法部104及加法部116。
在此,說明經由合併模式而導出編碼對象圖片的移動向量之例。圖9B是用以說明藉合併模式進行之移動向量導出處理之概要之圖。
首先,產生已登錄預測MV之候選的預測MV清單。以預測MV的候選來說,包括有:空間鄰接預測MV,是編碼對象區塊之空間性質上位於周邊的複數個編碼完畢區塊所具有之MV;時間鄰接預測MV,是投影到編碼完畢參考圖片中的編碼對象區塊之位置的附近區塊所具有的MV;結合預測MV,是組合空間鄰接預測MV及時間鄰接預測MV之MV值而產生的MV;以及零預測MV,其值為零的MV等。
其次,從已登錄在預測MV清單的複數個預測MV之中,選擇1個預測MV,以此將之決定做為編碼對象區塊的MV。
進而,可變長度編碼部中,將merge_idx記述在串流中,並進行編碼,其中該merge_idx是顯示已選擇哪一預測MV之訊號。
另,登錄在圖9B中所說明之預測MV清單之預測MV只是一個例子,也可為和圖中的個數不同的個數,或者不含圖中的預測MV之一部分的種類之構成,或者追加了圖中的預測MV之種類以外的預測MV之構成。
另,也可使用藉合併模式所導出之編碼對象區塊的MV,進行後述的DMVR處理,藉此來決定最後的MV。
在此,針對使用DMVR處理來決定MV之例進行說明。
圖9C是用以說明DMVR處理的概要之概念圖。
首先,以已設定於處理對象區塊的最適合的MVP做為候選MV來說,依照前述候選MV,從L0方向的處理完畢圖片即第1參考圖片、及L1方向之處理完畢圖片即第2參考圖片,分別取得參考像素,取各參考像素的平均,以此產生模板。
其次,使用前述模板,分別搜索第1參考圖片及第2參考圖片的候選MV之周邊區域,將成本成為最小的MV決定做為最後的MV。另,成本值是利用模板的各像素值與搜索區域的各像素值之差分值及MV值等來算出。
另,在編碼裝置及解碼裝置中,在此所說明的處理之概要基本上是共通的。
另,就算不是在此所說明的處理內容,只要是能搜索候選MV的周邊而導出最後的MV之處理,也可使用其他處理。
在此,針對使用LIC處理來產生預測圖像的模式進行說明。
圖9D是用以說明使用依LIC處理之亮度補正處理的預測圖像產生方法之概要之圖。
首先,從參考圖片導出MV,其中該參考圖片是編碼完畢圖片,該MV是用以取得對應於編碼對象區塊之參考圖像。
其次,對於編碼對象區塊,利用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、與位於以MV所指定的參考圖片內之同等位置之亮度像素值,擷取資訊,算出亮度補正參數,其中該資訊是顯示亮度值在參考圖片與編碼對象圖片是如何變化。
對於以MV所指定的參考圖片內之參考圖像,使用前述亮度補正參數,進行亮度補正處理,以此產生相對於編碼對象區塊之預測圖像。
另,圖9D中的前述周邊參考區域的形狀只是其中一例而已也可使用除此以外的形狀。
又,在此已針對從1張參考圖片來產生預測圖像的處理進行說明,但從數張的參考圖片來產生預測圖像的情況也是同樣,先對已從各個參考圖片所取得的參考圖像,以同樣的方法進行亮度補正處理,之後再產生預測圖像。
以判斷是否適用LIC處理之方法來說,例如有使用lic_flag之方法,該lic_flag是顯示是否適用LIC處理的訊號。以具體的一例來說,在編碼裝置中,判斷編碼對象區塊是否為屬於發生亮度變化之區域,若為屬於發生亮度變化的區域時,對lic_flag設定其值為1,適用LIC處理,進行編碼,若不屬於發生亮度變化之區域時,則對lic_flag設定其值為0,不適用LIC處理,進行編碼。另一方面,在解碼裝置中,將記述於串流之lic_flag進行解碼,以此因應該值,切換是否適用LIC處理,來進行解碼。
以判斷是否適用LIC處理之另一方法來說,例如還有如下方法,該方法是依照在周邊區塊是否適用過LIC處理而判斷。以具體的一例來說,編碼對象區塊為合併模式時,判斷在於合併模式處理中的MV之導出時所選擇的周邊的編碼完畢區塊是否適用LIC處理而進行編碼,因應該結果,切換是否適用LIC處理,而進行編碼。另,在該例的情況,解碼中的處理也是完全相同。
[解碼裝置的概要] 其次,針對解碼裝置之概要進行說明,該解碼裝置可將從上述編碼裝置100所輸出的編碼訊號(編碼位元串流)進行解碼。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位而將動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示,解碼裝置200包含有:熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、訊框記憶體214、內預測部216、間預測部218、及預測控制部220。
解碼裝置200,例如可透過通用處理器及記憶體來實現。此時,記憶體所儲存的軟體程式經由處理器來執行時,處理器是做為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218、及預測控制部220而運作。又,解碼裝置200也可做為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218、及預測控制部220之專用的1個以上的電子電路而附諸實現。
以下,針對解碼裝置200所含之各構成要素予以說明。
[熵解碼部] 熵解碼部202是將編碼位元串流進行熵解碼。具體來說,熵解碼部202,例如是從編碼位元串流進行算術解碼而變成二值訊號。接著,熵解碼部202將二值訊號進行多值化(debinarize)。藉此,熵解碼部202是以區塊單位而將量化係數輸出至反量化部204。
[反量化部] 反量化部204是將解碼對象區塊(以下稱為當前區塊)的量化係數進行反量化,其中該解碼對象區塊為來自熵解碼部202的輸入。具體來說,反量化部204是針對當前區塊的量化係數之各個,根據對應於該量化係數之量化參數,而將該量化係數進行反量化。然後,反量化部204是將當前區塊的業經反量化之量化係數(即轉換係數)輸出至反轉換部206。
[反轉換部] 反轉換部206是將轉換係數進行反轉換,藉此將預測誤差復原,其中該轉換係數為來自反量化部204之輸入。
例如從編碼位元串流已解讀的資訊是顯示適用EMT或者AMT的時候(例如AMT旗標為真),反轉換部206是根據顯示所解讀的轉換型式的資訊,將當前區塊的轉換係數進行反轉換。
又,例如從編碼位元串流已解讀的資訊是顯示適用NSST的時候,反轉換部206是對轉換係數適用反再轉換。
[加法部] 加法部208是將預測誤差與預測樣本相加,藉此再構成當前區塊,其中該預測誤差是來自反轉換部206之輸入,該預測樣本是來自預測控制部220之輸入。然後,加法部208是將業經再構成的區塊輸出至區塊記憶體210及迴路濾波部212。
[區塊記憶體] 區塊記憶體210是用以儲存在內預測中被參考的區塊且為解碼對象圖片(以下稱為當前圖片)內的區塊之記憶部。具體來說,區塊記憶體210是儲存從加法部208所輸出的再構成區塊。
[迴路濾波部] 迴路濾波部212是對已經由加法部208而再構成的區塊施行迴路濾波,且將業已濾波的再構成區塊輸出至訊框記憶體214及顯示裝置等。
顯示從編碼位元串流已解讀之ALF之開啟/關閉的資訊是顯示ALF之開啟的時候,根據一部分的梯度的方向及活性度,從複數個濾波器之中,選擇1個濾波器,將所選擇的濾波器適用於再構成區塊。
[訊框記憶體] 訊框記憶體214是用以儲存使用在間預測的參考圖片之記憶部,也有時候被稱為訊框緩衝器。具體來說,訊框記憶體214是儲存經由迴路濾波部212所濾波的再構成區塊。
[內預測部] 內預測部216是根據從編碼位元串流已解讀的內預測模式,參考區塊記憶體210所儲存的當前圖片內的區塊,來進行內預測,以此產生預測訊號(內預測訊號)。具體來說,內預測部216是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值),進行內預測,以此產生內預測訊號,且將內預測訊號輸出至預測控制部220。
另,在色差區塊的內預測中,選擇了參考亮度區塊的內預測模式時,內預測部216也可根據當前區塊的亮度成分,預測當前區塊的色差成分。
又,在從編碼位元串流已解讀的資訊顯示PDPC的適用時,內預測部216是根據水平/垂直方向的參考像素的梯度,來補正內預測後的像素值。
[間預測部] 間預測部218是參考訊框記憶體214所儲存的參考圖片,來預測當前區塊。預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位進行。例如,間預測部218是使用從編碼位元串流已解讀的移動資訊(例如移動向量)來進行移動補償,以此產生當前區塊或者子區塊的間預測訊號,且將間預測訊號輸出至預測控制部220。
另,在從編碼位元串流已解讀的資訊是顯示適用OBMC模式時,間預測部218不只是利用經由移動估測而得到的當前區塊的移動資訊,還利用鄰接區塊的移動資訊,產生間預測訊號。
又,在從編碼位元串流已解讀的資訊是顯示適用FRUC模式時,間預測部218是依照從編碼串流已解讀的圖案匹配的方法(雙向匹配或者模板匹配),進行移動估測,藉此導出移動資訊。然後,間預測部218是使用所導出的移動資訊,來進行移動補償。
又,間預測部218是適用BIO模式時,根據假設等速直線運動之模型,導出移動向量。又,在從編碼位元串流已解讀的資訊顯示適用仿射移動補償預測模式時,間預測部218是根據複數個鄰接區塊的移動向量,而以子區塊單位導出移動向量。
[預測控制部] 預測控制部220是選擇內預測訊號及間預測訊號之任一個,且將所選擇的訊號做為預測訊號,而輸出至加法部208。
[編碼裝置及解碼裝置中之預測移動向量關聯處理] 在H.264及HEVC等之動態圖像編碼方式中,因資訊量壓縮,而使用了被稱為I圖片、P圖片及B圖片之3種圖片型式。I圖片是透過圖片內預測而被進行編碼。圖片內預測又被稱為畫面間預測或者內預測。
P圖片是透過參考於顯示時間順序上較編碼對象圖片更前方或者後方的業經編碼的1個圖片之間預測,而被進行編碼。B圖片是透過參考於顯示時間順序上較編碼對象圖片更前方或者後方的業經編碼的2個圖片之間預測,而被進行編碼。
在間預測中,產生有用以特定參考圖片之參考圖片清單。在參考圖片清單中,對在間預測所參考的編碼完畢之參考圖片分配有參考圖片索引。例如,在B圖片的編碼中,能參考2個圖片。為此,會產生2個參考圖片清單(L0參考圖片清單及L1參考圖片清單)。
有關於將B圖片或者P圖片中的編碼對象區塊之移動向量進行編碼之方法,有預測移動向量指定模式存在。在預測移動向量指定模式中,會使用鄰接區塊及同位(co-located)區塊,其中該鄰接區塊為鄰接於編碼對象區塊的區塊,該同位區塊是在參考圖片中位置與編碼對象區塊相同的區塊。
具體來說,從已使用在鄰接區塊及同位區塊各自的編碼之移動向量,導出預測移動向量候選。預測移動向量候選又被稱為候選移動向量。又,被用在預測移動向量候選之導出之鄰接區塊及同位區塊等之區塊又被稱為候選區塊。
然後,從複數個預測移動向量候選之中選擇預測移動向量,使編碼對象區塊的移動向量被編碼。此時,所選擇的預測移動向量之索引等被附加在位元串流。
另,有關於預測移動向量,使用同位區塊的移動向量之方法被稱為TMVP (Temporal Motion Vector Prediction)。又,有時將同位區塊叫做Col區塊。又,各區塊的移動向量及參考圖片是意指已用於(或用於)區塊的間預測之移動向量及參考圖片。
圖11是顯示鄰接區塊及鄰接區塊的移動向量的概念圖。在圖11的例中,4個鄰接區塊A、B、C及D是鄰接於編碼對象區塊的4個區塊。從4個鄰接區塊A、B、C及D之4個移動向量mvA、mvB、mvC及mvD,也可導出4個預測移動向量候選。
具體來說,也可使鄰接區塊A的移動向量mvA原封不動地做為預測移動向量候選來導出。或者,也可將鄰接區塊A的移動向量mvA進行定標,導出業已定標的移動向量mvA,而做為預測移動向量候選。在此,移動向量的定標,是指將移動向量的大小伸縮,亦包括使用負的比值而將移動向量反轉者。
對於上述的定標,也可使用如下2個時間差的比值,即,從編碼對象圖片迄至編碼對象區塊的參考圖片的時間差之相對於從編碼對象圖片迄至鄰接區塊A之參考圖片的時間差之比值。另,例如從第1圖片迄至第2圖片的時間差是經由第2圖片的顯示順序減去第1圖片的顯示順序而得到的值,且得取負值。
又,與鄰接區塊A的移動向量mvA同樣,從鄰接區塊B、C及D的移動向量mvB、mvC及mvD各個,能導出預測移動向量候選。
圖12是顯示Col區塊及Col區塊的移動向量之概念圖。另,各圖片為二維,但在圖12等中的各圖片,為方便說明,是以一維來呈現。
在圖12之例中,Col區塊是使用移動向量mvCol,且參考第1參考圖片,而被編碼。例如,從Col區塊的移動向量mvCol,導出預測移動向量候選。
具體來說,Col區塊的移動向量mvCol也可原封不動地做為預測移動向量候選來導出。或者,也可將Col區塊的移動向量mvCol進行定標,導出業經定標的移動向量mvCol,來做為預測移動向量候選。對於該定標,也可使用如下2個時間差的比值,從編碼對象圖片迄至編碼對象區塊的參考圖片的時間差之相對於包括Col區塊之第2參考圖片迄至Col區塊的參考圖片的時間差之比值。
進而,現在HEVC的下一世代的動態圖像編碼方式正在被MPEG與ITU-T聯合運作的檢討團隊即JVET(Joint Video Exploration Team)來討論。在這之中,TMVP之改良方式即ATMVP(Advanced Temporal Motion Vector Prediction)已被提出討論。
例如,在ATMVP中,根據鄰接區塊的移動向量,暫時決定了編碼對象區塊的移動向量。接著,藉已被暫時決定的移動向量所指示的區塊就被決定做為ATMVP區塊。接著,ATMVP區塊中的移動向量(ATMV:Advanced Temporal Motion Vector)就被當做為預測移動向量候選來使用。
另,有時將ATMVP區塊稱為Adv區塊。ATMVP區塊是使用在候選移動向量之導出之候選區塊之例。
圖13是顯示Adv區塊、及Adv區塊之移動向量之概念圖。例如,圖11所示之鄰接區塊D之移動向量mvD被暫時地決定做為編碼對象區塊之移動向量。接著,藉移動向量mvD而從編碼對象區塊所指示的區塊被決定做為Adv區塊。
又,例如藉移動向量mvD而在第2參考圖片中所指示的區域是使用在鄰接區塊D的預測圖像之產生時,Adv區塊是包含在第2參考圖片。即,包含Adv區塊之參考圖片是經由顯示鄰接區塊D之參考圖片之參考圖片索引來表示。然後,從Adv區塊的移動向量mvAdv,導出預測移動向量候選。
具體來說,Adv區塊的移動向量mvAdv也可原封不動地做為預測移動向量候選來導出。或者,也可將Adv區塊之移動向量mvAdv進行定標,導出業已定標的移動向量mvAdv,來做為預測移動向量候選。對於該定標,可使用如下2個時間差的比值,即,從編碼對象圖片迄至編碼對象區塊的參考圖片的時間差之相對於包括Adv區塊之第2參考圖片迄至Adv區塊之參考圖片的時間差之比值。
例如,即使是編碼對象區塊為移動物的範圍內的圖像的情形,Adv區塊也能追隨移動物的移動,在移動物的範圍內,被決定在相對於編碼對象區塊相同的位置。如此的Adv區塊的移動向量可以具有與編碼對象區塊的移動向量相同的特性。因此,可以從Adv區塊的移動向量mvAdv,導出適合的預測移動向量候選。
另,在Adv區塊的決定上,也可無須原封不動地使用鄰接區塊D的間預測所使用的移動向量mvD及第2參考圖片。Adv區塊也可在不同於鄰接區塊D的間預測所使用之第2參考圖片的參考圖片之中來決定。例如,Adv區塊也可在編碼對象圖片的正前頭或者正後頭的參考圖片之中來決定。
接著,也可對於鄰接區塊D的間預測所使用的移動向量mvD適用定標,使用業已定標的移動向量mvD來決定Adv區塊。對於該定標,也可使用如下2個時間差的比值,即,從編碼對象圖片迄至Adv區塊所決定的參考圖片的時間差之相對於從編碼對象圖片迄至在鄰接區塊D之間預測所使用的第2參考圖片的時間差之比值。
如上述,在現在正被討論的ATMVP中,根據鄰接區塊的移動向量,暫時地決定編碼對象區塊的移動向量,而將經由被暫時決定的移動向量所指示的區塊決定做為ATMVP區塊。即,單一的ATMVP區塊就被決定。然後,從單一的ATMVP區塊的移動向量,可導出預測移動向量候選。
TMVP也同樣地,決定單一的同位區塊,且從單一同位區塊的移動向量,導出預測移動向量候選。即,不管是ATMVP還是TMVP,都會從單一區塊的移動向量導出預測移動向量候選。因此,在L0參考圖片清單中所含之區塊、及L1參考區塊清單所含之區塊之中,只會從其中一個區塊導出預測移動向量候選。
如上述所導出的預測移動向量候選,未必就一定是適合的預測移動向量候選。編碼對象區塊位於圖像中之移動物之範圍的邊界附近,且移動物的範圍內的移動、與移動物的範圍外的移動不相同時,ATMVP區塊的移動向量與編碼對象區塊的移動向量有可能大相逕庭。
圖14是顯示編碼對象區塊、4個鄰接區塊A、B、C及D、以及移動物的範圍之關係之例的概念圖。在該例中,編碼對象區塊是跨越移動物的範圍的邊界,此外,編碼對象區塊大部分是包含在移動物的範圍內。在該例中,鄰接區塊D是位在移動物的範圍外,具體上是包含在背景中。
圖15是顯示不適合的Adv區塊之例之概念圖。具體來說,圖15是顯示在圖14之例中,依照鄰接區塊D的移動向量mvD而決定的Adv區塊。
在Adv區塊依照鄰接區塊D的移動向量mvD而決定時,Adv區塊位於移動物的範圍外,且包含在背景中的可能性高。因此,此時,Adv區塊的移動向量是顯示著背景的移動,不能正確地顯示大部分包含在移動物的範圍內之編碼對象區塊之移動。因此,從Adv區塊的移動向量,不會導出適合的預測移動向量候選。
本實施形態之編碼裝置100及解碼裝置200是使用L0參考圖片清單所含之參考圖片內之區塊、與L1參考圖片清單所含之參考圖片內之區塊各個,而導出時間性質的預測移動向量候選。藉此,編碼裝置100及解碼裝置200,就算在處理對象區塊位於移動物的範圍之邊界附近時,也能提高與處理對象區塊的移動整合的時間性質的預測移動向量候選被導出的可能性。
另,時間性質的預測移動向量候選是從相對於處理對象區塊使用時間性質的關係而所決定的區塊所導出的預測移動向量候選,也被稱為時間候選移動向量。又,空間性質的預測移動向量候選是從相對於處理對象區塊使用空間性質的關係而所決定的區塊所導出的預測移動向量候選,也被稱為空間候選移動向量。
[編碼裝置及解碼裝置之詳細構成] 圖16是更具體顯示圖1所示之編碼裝置100之功能構成之方塊圖。與圖1相比較,在圖16中更顯示了圖片型式決定部132、候選清單產生部134及候選區塊資訊記憶體136。即,編碼裝置100更包含有圖片型式決定部132、候選清單產生部134及候選區塊資訊記憶體136。
如上述,編碼裝置100,例如是藉通用處理器及記憶體來實現。此時,在記憶體所儲存的軟體程式透過處理器執行時,處理器是進而當做為圖片型式決定部132及候選清單產生部134等來發揮功能。又,編碼裝置100也可當做為對應於包含圖片型式決定部132及候選清單產生部134等之複數個構成要素之專用的1個以上的電子電路來實現。
圖片型式決定部132是針對構成動態圖像的複數個圖片之各個,來決定圖片型式。例如,圖片型式決定部132是從稱為I圖片、P圖片及B圖片之3種圖片型式之中,依每圖片選擇圖片型式,藉此來決定各圖片的圖片型式。圖片型式決定部132也可依照圖片的編碼順序或者顯示順序,來決定圖片型式。
又,圖片型式決定部132是將依每圖片所決定的圖片型式輸出,藉此將圖片型式輸入於預測控制部128。預測控制部128是依照所輸入的圖片型式,選擇內預測訊號及間預測訊號之任一個,且將所選擇的訊號做為預測訊號輸出。
例如,在所輸入的圖片型式為I圖片時,預測控制部128是選擇內預測訊號,且將內預測訊號輸出。另一方面,所輸入的圖片型式是P圖片或者是B圖片時,預測控制部128選擇間預測訊號,且將間預測訊號輸出。或者,在P圖片或者B圖片時,預測控制部128也可依每區塊,選擇內預測訊號及間預測訊號之任一個,且將所選擇的訊號做為預測訊號輸出。
候選清單產生部134是產生候選移動向量的清單。即,候選清單產生部134是產生以1個以上的候選移動向量所構成之清單。該清單也可表述成候選清單、候選移動向量清單或者預測移動向量候選清單。該清單的產生之詳細內容是使用圖18A至圖30等而容後敘述。
又,候選清單產生部134是將已產生的候選清單輸出,藉此將候選清單輸入至間預測部126。間預測部126是從已輸入的候選清單所含之1個以上的候選移動向量之中,選擇預測移動向量。
接著,熵編碼部(可變長度編碼部)110是將預測移動向量索引及差分移動向量進行編碼,其中該預測移動向量索引為已選擇的預測移動向量之索引,該差分移動向量是已選擇的預測移動向量與編碼對象區塊之移動向量的差分移動向量。例如,在預測移動向量指定模式中,熵編碼部110是將預測移動向量索引、及差分移動向量進行編碼。
又,在合併模式中,間預測部126是使用已選擇的預測移動向量,做為編碼對象區塊的移動向量,來產生預測圖像。又,在合併模式中,熵編碼部110不將差分移動向量進行編碼,而將預測移動向量索引進行編碼。
又,間預測部126也可依照FRUC,選擇預測移動向量,且使用所選擇的預測移動向量,做為編碼對象區塊的移動向量,產生預測圖像。此時,熵編碼部110不將預測移動向量索引及差分移動向量等之移動向量資訊進行編碼。
候選區塊資訊記憶體136是用以儲存在候選移動向量之產生所使用的資訊之記憶體。具體來說,在候選區塊資訊記憶體136會儲存編碼對象圖片或者參考圖片中之候選區塊的資訊。候選區塊的資訊,例如是顯示候選區塊的移動向量之資訊。
更具體來說,間預測部126也可將如下資訊儲存在候選區塊資訊記憶體136,其中該資訊為顯示在編碼對象區塊之預測圖像產生上所使用的移動向量之資訊。然後,候選清單產生部134也可將候選區塊資訊記憶體136所儲存的資訊做為候選區塊的資訊,而在產生其他編碼對象區塊之預測圖像時進行參考。
另,間預測部126也可含有候選清單產生部134,也可含有候選區塊資訊記憶體136。即,間預測部126可展現候選清單產生部134的作用,也可展現候選區塊資訊記憶體136的作用。
又,藉減法部104、熵編碼部110、加法部116及間預測部126等來進行間預測編碼。該等構成要素也可構成間預測編碼部。
圖17是更具體地顯示圖10所示之解碼裝置200的功能構成之方塊圖。與圖10相比較,圖17中更顯示了候選清單產生部234及候選區塊資訊記憶體236。即,解碼裝置200更包含有候選清單產生部234及候選區塊資訊記憶體236。
如上述,解碼裝置200,例如是藉通用處理器及記憶體來實現。此時,儲存在記憶體的軟體程式是藉處理器執行時,處理器進一步做為候選清單產生部234等而發揮功能。又,解碼裝置200也可做為對應於含有候選清單產生部234等之複數個構成要素之專用的1個以上的電子電路來實現。
解碼裝置200之候選清單產生部234是和編碼裝置100的候選清單產生部134同樣地作動。即,候選清單產生部234是產生以1個以上的候選移動向量所構成之候選清單。該候選清單之產生乃使用圖18A至圖30等容後詳述。另,在圖18A至圖30等之中,主要是顯示了編碼裝置100的動作,但有關於候選清單的產生,解碼裝置200也和編碼裝置100同樣地作動。該等說明中的編碼,可適當地更換成解碼。
又,候選清單產生部234是輸出所產生的候選清單,藉此將候選清單輸入到間預測部218。間預測部218從已輸入的候選清單所含之1個以上的候選移動向量之中,選擇預測移動向量。
例如,熵解碼部(可變長度解碼部)202是在預測移動向量指定模式中,將預測移動向量索引、及差分移動向量進行解碼。此時,間預測部218是依照預測移動向量索引,而選擇預測移動向量。
接著,間預測部218是將已選擇的預測移動向量與已解碼的差分移動向量相加,藉此導出解碼對象區塊的移動向量。進而,間預測部218是使用解碼對象區塊的移動向量,產生解碼對象區塊的預測圖像。
又,在合併模式中,熵解碼部202不將差分移動向量進行解碼,而是將預測移動向量索引進行解碼。此時,間預測部218也是依照預測移動向量索引,選擇預測移動向量。然後,間預測部218使用已選擇的預測移動向量,做為解碼對象區塊的移動向量,產生解碼對象區塊的預測圖像。
又,間預測部218也可依照FRUC,選擇預測移動向量,且使用所選擇的預測移動向量,做為解碼對象區塊的移動向量,而產生預測圖像。此時,熵解碼部202不將預測移動向量索引及差分移動向量等之移動向量資訊進行解碼。
候選區塊資訊記憶體236是一種記憶體,用以儲存使用在候選移動向量之產生的資訊。即,解碼裝置200的候選區塊資訊記憶體236能達到如同編碼裝置100之候選區塊資訊記憶體136之作用。具體來說,在候選區塊資訊記憶體236會儲存解碼對象圖片或者參考圖片中之候選區塊的資訊。
更具體來說,間預測部218也可將如下資訊儲存在候選區塊資訊記憶體236,其中該資訊為顯示已使用在解碼對象區塊之預測圖像產生之移動向量。然後,候選清單產生部234也可將候選區塊資訊記憶體236所儲存的資訊做為候選區塊之資訊,在產生其他解碼對象區塊之預測圖像時來參考。
又,熵解碼部202是將各圖片的圖片型式進行解碼。接著,熵解碼部202是輸出各圖片的圖片型式,藉此將各圖片的圖片型式輸入至預測控制部220。預測控制部220,和編碼裝置100之預測控制部128同樣,依照已輸入的圖片型式,選擇內預測訊號及間預測訊號之任一個,輸出已選擇的訊號,做為預測訊號。
另,間預測部218也可含有候選清單產生部234,也可含有候選區塊資訊記憶體236。即,間預測部218也可達到候選清單產生部234的作用,也可以達到候選區塊資訊記憶體236的作用。
又,藉熵解碼部202、加法部208及間預測部218等來進行間預測解碼。該等構成要素也可構成間預測解碼部。
[從同位區塊所導出的候選移動向量] 在編碼對象圖片為B圖片時,對於編碼對象圖片,決定L0參考圖片清單及L1參考圖片清單。例如,時間候選移動向量是從L0參考圖片清單所含之參考圖片的同位區塊、與L1參考圖片清單所含之參考圖片的同位區塊之各個被導出。
基本上,L0參考圖片清單是包括較編碼對象圖片於顯示順序上更前面的參考圖片,L1參考圖片清單是包括較編碼對象圖片於顯示順序上更後面的參考圖片。惟,不限於如此態樣,L0參考圖片清單也可包括較編碼對象圖片於顯示順序上更後面的參考圖片,L1參考圖片清單也可包括較編碼對象圖片於顯示順序上更前面的參考圖片。
在此,有時將L0參考圖片清單所含之參考圖片表現為參考圖片L0[n]。又,有時將L1參考圖片清單所含之參考圖片表現為參考圖片L1[n]。參考圖片L0[n]及L1[n]中之n是參考圖片索引,為0以上的整數。
又,有時將L0參考圖片清單所含之參考圖片中的同位區塊稱為Col0區塊。又,有時將L1參考圖片清單所含之參考圖片中的同位區塊稱為Col1區塊。
例如,Col0區塊是在L0參考圖片清單中,包含在參考圖片索引為0之參考圖片L0[0],是與編碼對象區塊相對地相同的位置之區塊。又,例如,Col1區塊是在L1參考圖片清單中,包含在參考圖片索引為0之參考圖片L1[0],是與編碼對象區塊相對地相同的位置之區塊。
然後,時間候選移動向量是從Col0區塊與Col1區塊之各個被導出。首先,利用圖18A及圖18B,說明Col0區塊及Col1區塊之各個是透過雙預測而被進行編碼之情形之例。
圖18A是顯示從雙預測的Col0區塊所導出之候選移動向量之概念圖。在該例中,L0參考圖片清單所含之參考圖片L0[0]及L0[1]是位於較編碼對象圖片更前面,L1參考圖片清單所含之參考圖片L1[0]及L1[1]是位於較編碼對象圖片更後面。
Col0區塊是包含在參考圖片L0[0],且透過雙預測進行編碼。在Col0區塊的雙預測中,前方向的參考圖片L0[1]藉移動向量mvCol0L0而被參考,後方向的參考圖片L1[1]是藉移動向量mvCol0L1而被參考。
在該例中,是以從編碼對象圖片迄至參考圖片L0[0]的時間差之相對於從參考圖片L0[0]迄至參考圖片L1[1]的時間差之比值,來將移動向量mvCol0L1進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvCol0L1L0,做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差之相對於從參考圖片L0[0]迄至參考圖片L1[1]的時間差之比值,來將移動向量mvCol0L1進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvCol0L1L1,做為時間候選移動向量。
即,候選清單產生部134是將Col0區塊的移動向量mvCol0L1進行定標,導出可利用在雙預測之2個移動向量mvCol0L1L0及mvCol0L1L1之各個,來做為時間候選移動向量。
在該例中,於Col0區塊的2個移動向量mvCol0L0及mvCol0L1之中,是使用其參考方向和自包括Col0區塊之參考圖片L0[0]而往編碼對象圖片之方向一致之移動向量mvCol0L1。藉此,於2個移動向量mvCol0L0及mvCol0L1之中,使用假設與編碼對象區塊有高關聯性的移動向量mvCol0L1,導出時間候選移動向量。
惟,也可使用移動向量mvCol0L0,來代替移動向量mvCol0L1。例如,候選清單產生部134也可以依照預定的評價標準,評價2個移動向量mvCol0L0及mvCol0L1之各個,從2個移動向量mvCol0L0及mvCol0L1之中,選擇其中一個。然後,候選清單產生部134也可從已選擇的其中一個的移動向量,導出時間候選移動向量。
具體來說,也可從Col0區塊的2個移動向量mvCol0L0及mvCol0L1之中,依照各移動向量的尺寸或者藉各移動向量所參考的參考圖片為止的時間性距離,選擇1個移動向量。例如,也可選擇尺寸小的移動向量,也可選擇時間性距離短的移動向量。
或者,候選清單產生部134也可算出根據各移動向量之預測殘差或者R-D成本,在2個移動向量mvCol0L0及mvCol0L1之中,選擇所算出的預測殘差或者R-D成本小的移動向量。在此,R-D成本是編碼變形與產生編碼量的加權和。
接著,熵編碼部110也可將已選擇的移動向量的識別資訊進行編碼。又,在解碼裝置200中,熵解碼部202也可將移動向量的識別資訊進行解碼,候選清單產生部234依照已解碼的識別資訊,選擇移動向量。
特別是在Col0區塊透過於前方向及後方向之中僅只1個方向的雙預測進行編碼時,也可藉Col0區塊之2個移動向量之中的其中一個之定標,導出用以參考相反方向的時間候選移動向量。
即,候選清單產生部134,在該情況中,也可依照上述之選擇方法,從2個移動向量之中選擇1個移動向量,且對所選擇的1個移動向量,適用負的比值之定標。藉此,可導出參考方向與所選擇的1個移動向量相反的時間候選移動向量。
又,除了移動向量mvCol0L1外,也可使用移動向量mvCol0L0。例如,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1之各個,導出可利用在雙預測之2個時間候選移動向量。藉此,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1,導出4個時間候選移動向量。
圖18B是顯示從雙預測之Col1區塊所導出之候選移動向量之概念圖。該例中的各圖片及編碼對象區塊等是與圖18A之例相同。
Col1區塊是包含在參考圖片L1[0],且透過雙預測進行編碼。在Col1區塊之雙預測中,前方向之參考圖片L0[1]是藉移動向量mvCol1L0而被參考,後方向之參考圖片L1[1]是藉移動向量mvCol1L1而被參考。
在該例中,以從編碼對象圖片迄至參考圖片L0[0]的時間差之相對於從參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,將移動向量mvCol1L0進行定標。藉此導出參考參考圖片L0[0]之移動向量mvCol1L0L0,來做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差之相對於參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,將移動向量mvCol1L0進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvCol1L0L1,來做為時間候選移動向量。
即,候選清單產生部134是將Col1區塊的移動向量mvCol1L0進行定標,而導出可利用在雙預測之2個移動向量mvCol1L0L0及mvCol1L0L1之各個,來做為時間候選移動向量。
在該例中,於Col1區塊之2個移動向量mvCol1L0及mvCol1L1之中,是使用參考方向是與從包含Col1區塊之參考圖片L1[0]而往編碼對象圖片之方向一致的移動向量mvCol1L0。藉此,於2個移動向量mvCol1L0及mvCol1L1之中,使用被假設與編碼對象區塊有高關聯性之移動向量mvCol1L0,導出時間候選移動向量。
惟,也可使用移動向量mvCol1L1,來代替移動向量mvCol1L0。例如,候選清單產生部134也可依照預定的評價標準,評價2個移動向量mvCol1L0及mvCol1L1之各個,從2個移動向量mvCol1L0及mvCol1L1之中選擇其中一個。然後,候選清單產生部134也可從已選擇的其中一個移動向量,導出時間候選移動向量。
具體來說,候選清單產生部134,和針對Col0區塊選擇1個移動向量的情況同樣,可以從Col1區塊之2個移動向量mvCol1L0及mvCol1L1之中選擇1個移動向量。尤其是與Col0區塊同樣,在Col1區塊透過於前方向及後方向之中僅只1個方向的雙預測進行編碼時,也可藉2個移動向量之中的其中一個的定標,而導出用以參考相反方向的時間候選移動向量。
又,除了移動向量mvCol1L0以外,還可使用移動向量mvCol1L1。例如,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1之各個,導出可利用在雙預測的2個時間候選移動向量。藉此,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1,導出4個時間候選移動向量。
其次,使用圖19A及圖19B,說明Col0區塊及Col1區塊之各個藉單預測進行編碼時之例。
圖19A是顯示從單預測的Col0區塊所導出的候選移動向量之概念圖。在該例中,與圖18A同樣,參考圖片L0[0]及L0[1]是位於較編碼對象圖片更前面,參考圖片L1[0]及L1[1]是位於較編碼對象圖片更後面。Col0區塊是包含在參考圖片L0[0],且以藉單預測進行編碼。在Col0區塊之單預測中,前方向的參考圖片L0[1]是藉移動向量mvCol0L0而被參考。
在該例中,是以從編碼對象圖片迄至參考圖片L0[0]的時間差之相對於從參考圖片L0[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvCol0L0進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvCol0L0L0,來做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差之相對於參考圖片L0[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvCol0L0進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvCol0L0L1,來做為時間候選移動向量。
即,候選清單產生部134是將Col0區塊之移動向量mvCol0L0進行定標,導出可利用在雙預測之2個移動向量mvCol0L0L0及mvCol0L0L1之各個,來做為時間候選移動向量。
圖19B是顯示從單預測之Col1區塊所導出之候選移動向量之概念圖。在該例中的各圖片及編碼對象區塊等是與圖19A之例相同。Col1區塊是包含在參考圖片L1[0],且藉單預測進行編碼。在Col1區塊的單預測中,前方向的參考圖片L0[1]藉移動向量mvCol1L0而被參考。
在該例中,以從編碼對象圖片迄至參考圖片L0[0]的時間差之相對於從參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvCol1L0進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvCol1L0L0,來做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差之相對於從參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvCol1L0進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvCol1L0L1,來做為時間候選移動向量。
即,候選清單產生部134是將Col1區塊之移動向量mvCol1L0進行定標,導出可利用在雙預測之2個移動向量mvCol1L0L0及mvCol1L0L1之各個,來做為時間候選移動向量。
其次,使用圖20A及圖20B,來說明編碼對象區塊是以於前方向及後方向之中僅只一方向的雙預測進行編碼時之例。
圖20A是一概念圖,顯示對僅只一方向的雙預測的編碼對象區塊,從雙預測的Col0區塊所導出的候選移動向量。在該例中,L0參考圖片清單所含之參考圖片L0[0]及L0[1]、以及L1參考圖片清單所含之參考圖片L1[0]是位於較編碼對象圖片更前面。
Col0區塊是包含在參考圖片L0[0],且透過雙預測進行編碼。在Col0區塊之雙預測中,前方向的參考圖片L0[1]藉移動向量mvCol0L0而被參考,後方向的圖片NL則藉移動向量mvCol0L1而被參考。
在該例中,以從編碼對象圖片迄至參考圖片L0[0]的時間差之相對於從參考圖片L0[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvCol0L0進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvCol0L0L0,來做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差之相對於從參考圖片L0[0]迄至圖片NL的時間差之比值,而將移動向量mvCol0L1進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvCol0L1L1,來做為時間候選移動向量。
即,候選清單產生部134是將Col0區塊之移動向量mvCol0L0及mvCol0L1之各個進行定標。藉此,候選清單產生部134是導出可利用在雙預測之2個移動向量mvCol0L0L0及mvCol0L1L1之各個,來做為時間候選移動向量。
在該例中,從Col0區塊之其中一個移動向量mvCol0L0,導出移動向量mvCol0L0L0,來做為時間候選移動向量,其中該移動向量mvCol0L0L0是參考L0參考圖片清單所含之參考圖片L0[0]。接著,從Col0區塊之另一個移動向量mvCol0L1,導出移動向量mvCol0L1L1,來做為時間候選移動向量,其中該移動向量mvCol0L1L1是參考L1參考圖片清單所含之參考圖片L1[0]。
例如,在Col0區塊的雙預測中,Col0區塊之移動向量mvCol0L0所參考的參考圖片L0[1]是已包含在相對於Col0區塊之L0參考圖片清單之參考圖片。然後,在Col0區塊之雙預測中,Col0區塊之移動向量mvCol0L1所參考的參考圖片NL是已包含在相對於Col0區塊之L1參考圖片清單之參考圖片。
即,從參考相對於Col0區塊之L0參考圖片清單之移動向量mvCol0L0,導出參考相對於編碼對象區塊之L0參考圖片清單之移動向量mvCol0L0L0,來做為時間候選移動向量。接著,從參考相對於Col0區塊之L1參考圖片清單之移動向量mvCol0L1,導出參考相對於編碼對象區塊之L1參考圖片清單之移動向量mvCol0L1L1,來做為時間候選移動向量。
藉此,從參考相對於Col0區塊之2個參考圖片清單之2個移動向量mvCol0L0及mvCol0L1,導出參考相對於編碼對象區塊之2個參考圖片清單之2個時間候選移動向量。
另,在導出參考L0參考圖片清單之時間候選移動向量中,也可使用移動向量mvCol0L1,來代替移動向量mvCol0L0。同樣,在導出參考L1參考圖片清單之時間候選移動向量中,也可使用移動向量mvCol0L0,來代替移動向量mvCol0L1。
例如,候選清單產生部134也可針對2個參考圖片清單之各個,評價2個移動向量mvCol0L0及mvCol0L1,從2個移動向量mvCol0L0及mvCol0L1之中選擇其中一個。然後,候選清單產生部134也可針對2個參考圖片清單之各個,從已選擇的其中一個移動向量,導出時間候選移動向量。
又,在參考L0參考圖片清單之時間候選移動向量之導出中,也可除了移動向量mvCol0L0外,還使用移動向量mvCol0L1。同樣,在參考L1參考圖片清單之時間候選移動向量之導出中,也可除了移動向量mvCol0L1之外,還使用移動向量mvCol0L0。
例如,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1,導出2個時間候選移動向量,其中該2個時間候選移動向量是參考L0參考圖片清單所含之參考圖片L0[0]。又,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1,導出2個時間候選移動向量,其中該2個時間候選移動向量是參考L1參考圖片清單所含之參考圖片L1[0]。
藉此,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1,導出4個時間候選移動向量。
又,在編碼對象區塊以單預測進行編碼時,候選清單產生部134是在參考L0參考圖片清單之時間候選移動向量、及參考L1參考圖片清單之時間候選移動向量之中,只導出其中一者。
例如,在上述情況中,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1之中至少1個,導出參考參考圖片L0[0]之至少1個時間候選移動向量。或者,候選清單產生部134也可從2個移動向量mvCol0L0及mvCol0L1之中至少1個,導出參考參考圖片L1[0]之至少1個時間候選移動向量。
圖20B是一概念圖,顯示相對於僅只一方向的雙預測之編碼對象區塊,而從雙預測之Col1區塊所導出之候選移動向量。在該例中之各圖片及編碼對象區塊等是與圖20A之例相同。Col1區塊是包含在參考圖片L1[0],且透過雙預測進行編碼。在Col1區塊之雙預測中,前方向之參考圖片L0[0]藉移動向量mvCol1L0而被參考,後方向之圖片NL藉移動向量mvCol1L1而被參考。
在該例中,以從編碼對象圖片迄至參考圖片L0[0]的時間差之相對於從參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvCol1L0進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvCol1L0L0,來做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差之相對於從參考圖片L1[0]迄至圖片NL的時間差之比值,而將移動向量mvCol1L1進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvCol1L1L1,來做為時間候選移動向量。
即,候選清單產生部134是將Col1區塊的移動向量mvCol1L0及mvCol1L1之各個進行定標。藉此,候選清單產生部134導出可利用在雙預測之2個移動向量mvCol1L0L0及,mvCol1L1L1之各個,來做為時間候選移動向量。
在該例中,從Col1區塊之其中一個移動向量mvCol1L0,導出移動向量mvCol1L0L0,來做為時間候選移動向量,其中該移動向量mvCol1L0L0是參考L0參考圖片清單所含之參考圖片L0[0]。接著,從Col1區塊之另一個移動向量mvCol1L1,導出移動向量mvCol1L1L1,來做為時間候選移動向量,其中該移動向量mvCol1L1L1是參考L1參考圖片清單所含之參考圖片L1[0]。
例如,在Col1區塊之雙預測中,Col1區塊之移動向量mvCol1L0所參考的參考圖片L0[1]是包含在相對於Col1區塊之L0參考圖片清單之參考圖片。且,在Col1區塊之雙預測中,Col1區塊之移動向量mvCol1L1所參考的參考圖片NL是包含在相對於Col1區塊之L1參考圖片清單之參考圖片。
即,從參考相對於Col1區塊之L0參考圖片清單之移動向量mvCol1L0,導出移動向量mvCol1L0L0,來做為時間候選移動向量,其中該移動向量mvCol1L0L0是參考相對於編碼對象區塊之L0參考圖片清單。接著,從參考相對於Col1區塊之L1參考圖片清單之移動向量mvCol1L1,導出移動向量mvCol1L1L1,來做為時間候選移動向量,其中該移動向量mvCol1L1L1是參考相對於編碼對象區塊之L1參考圖片清單。
藉此,從參考相對於Col1區塊之2個參考圖片清單的2個移動向量mvCol1L0及mvCol1L1,導出參考相對於編碼對象區塊之2個參考圖片清單的2個時間候選移動向量。
另,在參考L0參考圖片清單之時間候選移動向量之導出中,也可使用移動向量mvCol1L1來代替移動向量mvCol1L0。同樣,在參考L1參考圖片清單之時間候選移動向量之導出中,也可使用移動向量mvCol1L0來代替移動向量mvCol1L1。
例如,候選清單產生部134也可針對2個參考圖片清單之各個,評價2個移動向量mvCol1L0及mvCol1L1,從2個移動向量mvCol1L0及mvCol1L1之中選擇其中一個。然後,候選清單產生部134也可針對2個參考圖片清單之各個,從所選擇的其中一個移動向量,導出時間候選移動向量。
又,在參考L0參考圖片清單之時間候選移動向量之導出中,也可除了移動向量mvCol1L0,還使用移動向量mvCol1L1。同樣,在參考L1參考圖片清單之時間候選移動向量之導出中,也可除了移動向量mvCol1L1,還使用移動向量mvCol1L0。
例如,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1,導出參考L0參考圖片清單所含之參考圖片L0[0]之2個時間候選移動向量。又,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1,導出參考L1參考圖片清單所含之參考圖片L1[0]的2個時間候選移動向量。
藉此,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1,導出4個時間候選移動向量。
又,在編碼對象區塊以單預測進行編碼時,候選清單產生部134在參考L0參考圖片清單之時間候選移動向量、及參考L1參考圖片清單之時間候選移動向量之中,只導出其中一個。
例如,在上述的情況中,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1之中至少1個,導出參考參考圖片L0[0]之至少1個時間候選移動向量。或者,候選清單產生部134也可從2個移動向量mvCol1L0及mvCol1L1之中至少1個,導出參考參考圖片L1[0]之至少1個時間候選移動向量。
在上述之圖18A至圖20B之數例中,主要是顯示了編碼裝置100的動作,但解碼裝置200也進行與編碼裝置100同樣的動作。即,解碼裝置200的各構成要素也做與編碼裝置100中對應的構成要素同樣的動作。接著,在上述的說明中之編碼可適當地更換成解碼。
在將預測移動向量索引進行編碼時,對複數個候選移動向量之各個分別提供索引,其中該預測移動向量索引為用以特定從複數個候選移動向量之中所選擇的預測移動向量。具體來說,編碼裝置100及解碼裝置200是依照已事先訂定的共通的索引賦與規則,對複數個候選移動向量之各個賦與索引。然後,對於被選擇做為預測移動向量之候選移動向量而賦予之索引就被進行編碼且解碼。
對複數個候選移動向量之各個所賦與的索引也可藉編號來表現。
又,在上述之例中,Col0區塊及Col1區塊之各個是分別透過雙預測或者單預測進行編碼。在於Col0區塊及Col1區塊之中其中一個透過雙預測且另一個藉單預測進行編碼時,可藉上述的例的組合,導出時間候選移動向量。例如,在Col0區塊透過雙預測進行編碼,且,Col1區塊藉單預測進行編碼時,可藉圖18A之例與圖19B之例之組合,導出時間候選移動向量。
又,不限於圖18A之例與圖19B之例之組合,也可組合上述之任意複數例。
又,在上述之複數例中,是使用參考圖片索引為0的參考圖片,來做為含有Col0區塊之參考圖片、或者含有Col1區塊之參考圖片。惟,也可使用參考圖片索引不是0的參考圖片,來做為含有Col0區塊之參考圖片、或者含有Col1區塊之參考圖片。
如上述,會從Col0區塊及Col1區塊之各個,導出候選移動向量。例如,有時Col0區塊與Col1區塊之其中一個是包含在與編碼對象區塊相同的移動物範圍。因此,從Col0區塊及Col1區塊之各個導出候選移動向量,以此可導出具有與編碼對象區塊之移動向量相同的特性之適當的候選移動向量。
另,也可不針對全部的編碼對象區塊,從Col0區塊及Col1區塊之各個導出候選移動向量。例如,也可針對1個編碼對象區塊,從Col0區塊及Col1區塊之各個導出候選移動向量。然後,也可針對其他的編碼對象區塊,不從Col1區塊導出候選移動向量,而從Col0區塊導出候選移動向量。
又,在編碼對象圖片不是B圖片,且沒有決定2個參考圖片清單時,也可從包含在1個參考圖片清單之同位區塊,導出時間候選移動向量。
[從ATMVP區塊所導出的候選移動向量] 在圖18A至圖20B之複數例中,時間候選移動向量會從L0參考圖片清單所含之同位區塊、及L1參考圖片清單所含之同位區塊分別來導出。代替該等例中之同位區塊,也可使用ATMVP區塊。
即,時間候選移動向量也可從L0參考圖片清單所含之參考圖片中之ATMVP區塊、及L1參考圖片清單所含之參考圖片中之ATMVP區塊分別來導出。在此,有將L0參考圖片清單所含之參考圖片中的ATMVP區塊叫做Adv0區塊的情形。又,有將L1參考圖片清單所含之參考圖片中之ATMVP區塊叫做Adv1區塊的情形。
即,代替圖18A至圖20B之複數例中之Col0區塊及Col1區塊,也可使用Adv0區塊及Adv1區塊。
以下,利用圖21A及圖21B,來說明時間候選移動向量從Adv0區塊與Adv1區塊分別來導出之例。具體來說,在圖21A及圖21B之例中,使用Adv0區塊及Adv1區塊,來代替圖18A及圖18B之例中之Col0區塊及Col1區塊。
圖21A是顯示從Adv0區塊所導出之候選移動向量之概念圖。在該例中,Adv0區塊是包含在L0參考圖片清單之參考圖片L0[0]。如此的Adv0區塊是依照編碼對象區塊的暫時性的移動向量而所決定。
例如,候選清單產生部134是依照鄰接於編碼對象區塊之編碼完畢的區塊之移動向量,將參考L0參考圖片清單的參考圖片L0[0]之移動向量,做為編碼對象區塊之暫時性的移動向量而決定。此時,候選清單產生部134也可從鄰接於編碼對象區塊之編碼完畢之複數個區塊之中,依照相對於編碼對象區塊的相對的位置,來決定區塊,其中該區塊是用以決定編碼對象區塊之暫時性的移動向量。
例如,也可事先決定相對於圖11中之編碼對象區塊之鄰接區塊D之相對的位置,做為用以決定編碼對象區塊之暫時性的移動向量之鄰接區塊的位置。又,候選清單產生部134也可以圖11中之鄰接區塊D、A、B及C的順序,檢索間預測的鄰接區塊,將最初找到的間預測的鄰接區塊,用作用以決定暫時性的移動向量之鄰接區塊。
又,也可對鄰接區塊之移動向量適用定標,使用已適用定標之移動向量,做為編碼對象區塊的暫時性的移動向量。對於定標也可使用如下2個時間差之比值,即,從編碼對象圖片迄至L0參考圖片清單所含之參考圖片L0[0]的時間差相對於從編碼對象圖片迄至鄰接區塊之移動向量所參考之參考圖片的時間差之比值。
又,也可對鄰接區塊之移動向量適用負的比值的定標,使鄰接區塊之移動向量反轉。然後,也可使用已反轉的移動向量,做為編碼對象區塊之暫時性的移動向量。藉此,就算是鄰接區塊僅參考前方向及後方向之中之一方向來進行編碼時,也能使用參考適合的參考方向之移動向量,做為編碼對象區塊之暫時性的移動向量。
接著,候選清單產生部134是藉編碼對象區塊之暫時性的移動向量從編碼對象區塊來決定如下區塊做為Adv0區塊,其中該區塊是在L0參考圖片清單所含之參考圖片L0[0]中被指示的區塊。
在圖21A之例中,候選清單產生部134是將移動向量mvCurL0,決定為編碼對象區塊之暫時性的移動向量。然後,候選清單產生部134是藉移動向量mvCurL0從編碼對象區塊決定如下之區塊來做為Adv0區塊,其中該區塊是在L0參考圖片清單所含之參考圖片L0[0]中被指示的區塊。
移動向量mvCurL0,例如,是圖11所示之鄰接區塊D的移動向量,且為參考L0參考圖片清單所含之參考圖片L0[0]的移動向量。又,也可對於鄰接區塊D之移動向量適用定標,使用已適用定標之移動向量,來做為移動向量mvCurL0。例如,為了得到參考參考圖片L0[0]之移動向量mvCurL0,也可對於鄰接區塊D之移動向量適用定標。
在該例中,Adv0區塊是已透過雙預測進行編碼。在Adv0區塊之雙預測中,前方向之參考圖片L0[1]已藉移動向量mvAdv0L0而被參考,後方向之參考圖片L1[1]則已藉移動向量mvAdv0L1而被參考。
然後,在該例中,以從編碼對象圖片迄至參考圖片L0[0]的時間差相對於從參考圖片L0[0]迄至參考圖片L1[1]的時間差之比值,來將移動向量mvAdv0L1進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvAdv0L1L0,來做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差相對於從參考圖片L0[0]迄至參考圖片L1[1]的時間差之比值,來將移動向量mvAdv0L1進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvAdv0L1L1,來做為時間候選移動向量。
即,候選清單產生部134是將Adv0區塊的移動向量mvAdv0L1進行定標,分別導出可利用在雙預測之2個移動向量mvAdv0L1L0及mvAdv0L1L1,來做為時間候選移動向量。
有關其他說明,圖18A之例中之Col0區塊、以及移動向量mvCol0L0及mvCol0L1等,可替代成圖21A之例中之Adv0區塊、以及移動向量mvAdv0L0及mvAdv0L1等。因此,省略具體的說明。
圖21B是顯示從Adv1區塊所導出之候選移動向量之概念圖。在該例中,Adv1區塊是包含在L1參考圖片清單的參考圖片L1[0]中。如此的Adv1區塊是依照編碼對象區塊的暫時性的移動向量而決定。
例如,候選清單產生部134是依照鄰接於編碼對象區塊之編碼完畢的區塊之移動向量,將參考L1參考圖片清單的參考圖片L1[0]之移動向量,決定為編碼對象區塊之暫時性的移動向量。此時,候選清單產生部134也可從鄰接於編碼對象區塊之編碼完畢的複數個區塊之中,依照相對於編碼對象區塊之相對的位置,來決定區塊,其中該區塊是用以決定編碼對象區塊之暫時性的移動向量。
例如,也可事先決定相對於圖11中之編碼對象區塊之鄰接區塊D之相對的位置,來做為鄰接區塊的位置,其中該鄰接區塊是用以決定編碼對象區塊之暫時性的移動向量。又,候選清單產生部134也可以圖11中的鄰接區塊D、A、B及C的順序,檢索間預測的鄰接區塊,將最初找到的間預測之鄰接區塊,用作用以決定暫時性的移動向量之鄰接區塊。
又,也可對於鄰接區塊之移動向量適用定標,使用已適用定標之移動向量,做為編碼對象區塊之暫時性的移動向量。對於定標,也可使用從編碼對象圖片迄至L1參考圖片清單所含之參考圖片L1[0]的時間差相對於從編碼對象圖片迄至鄰接區塊之移動向量所參考之參考圖片的時間差之比值。
又,也可對於鄰接區塊之移動向量適用負的比值的定標,將鄰接區塊之移動向量反轉。然後,也可使用已被反轉的移動向量,來做為編碼對象區塊之暫時性的移動向量。藉此,就算在鄰接區塊只參考前方向及後方向之中之一方向進行編碼時,也會使用參考適合的參考方向之移動向量,來做為編碼對象區塊之暫時性的移動向量。
然後,候選清單產生部134是藉編碼對象區塊的暫時性的移動向量從編碼對象區塊來決定如下之區塊做為Adv1區塊,其中該區塊是在L1參考圖片清單所含之參考圖片L1[0]中被指示的區塊。
在圖21B之例中,候選清單產生部134是將移動向量mvCurL1,決定為編碼對象區塊之暫時性的移動向量。然後,候選清單產生部134是藉移動向量mvCurL1從編碼對象區塊決定如下之區塊做為Adv1區塊,其中該區塊為於L1參考圖片清單所含之參考圖片L1[0]中被指示的區塊。
移動向量mvCurL1,例如為圖11所示之鄰接區塊D的移動向量,且為參考L1參考圖片清單所含之參考圖片L1[0]之移動向量。又,也可對鄰接區塊D之移動向量適用定標,使用已適用定標之移動向量,做為移動向量mvCurL1。例如,為了得到參考參考圖片L1[0]之移動向量mvCurL1,也可對鄰接區塊D之移動向量適用定標。
又,也可從鄰接區塊D之相同1個移動向量,導出2個移動向量mvCurL0及mvCurL1。或者,也可在已透過雙預測進行編碼之鄰接區塊D之2個移動向量之中,從其中一個導出移動向量mvCurL0,且從另一個導出移動向量mvCurL1。或者,也可從鄰接區塊D之移動向量導出移動向量mvCurL0,且從其他鄰接區塊A、B或者C之移動向量導出移動向量mvCurL1。
在該例中,Adv1區塊已透過雙預測進行編碼。在Adv1區塊之雙預測中,前方向的參考圖片L0[1]已藉移動向量mvAdv1L0而被參考,後方向的參考圖片L1[1]已藉移動向量mvAdv1L1而被參考。
接著,在該例中,以從編碼對象圖片迄至參考圖片L0[0]的時間差相對於從參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvAdv1L0進行定標。藉此,導出參考參考圖片L0[0]之移動向量mvAdv1L0L0,做為時間候選移動向量。
又,以從編碼對象圖片迄至參考圖片L1[0]的時間差相對於從參考圖片L1[0]迄至參考圖片L0[1]的時間差之比值,而將移動向量mvAdv1L0進行定標。藉此,導出參考參考圖片L1[0]之移動向量mvAdv1L0L1,做為時間候選移動向量。
即,候選清單產生部134是將Adv1區塊的移動向量mvAdv1L0進行定標,分別導出可利用在雙預測之2個移動向量mvAdv1L0L0及mvAdv1L0L1,做為時間候選移動向量。
有關其他說明,圖18B之例中之Col1區塊、以及移動向量mvCol1L0及mvCol1L1等,可替代成圖21B之例中之Adv1區塊、以及移動向量mvAdv1L0及mvAdv1L1等。因此,省略具體的說明。
又,如上述,在圖21A及圖21B之例中是使用了Adv0區塊及Adv1區塊,來代替圖18A及圖18B之例中之Col0區塊及Col1區塊。但也可使用Adv0區塊及Adv1區塊來替代圖19A至圖20B之例中之Col0區塊及Col1區塊。
因此,圖19A至圖20B之例中之Col0區塊及Col1區塊等也可替代為Adv0區塊及Adv1區塊等。又,除了圖18A至圖20B之例中之Col0區塊及Col1區塊等之外,也可使用Adv0區塊及Adv1區塊等。
如上述,會從L0參考圖片清單所含之參考圖片中的Adv0區塊、及L1參考圖片清單所含之參考圖片中的Adv1區塊分別導出候選移動向量。
例如,編碼對象區塊位於移動物範圍的邊界附近時,有如下可能性,即,透過遮蔽(occlusion),使得在其中一個參考圖片不存在有對應於編碼對象區塊之區域,而在另一個參考圖片則有對應於編碼對象區塊之區域存在。因此,特別是編碼對象區塊位於移動物範圍的邊界附近時,從Adv0區塊及Adv1區塊分別導出候選移動向量,以此可從對應於編碼對象區塊之區域導出適合的候選移動向量。
另,針對全部的編碼對象區塊,也可不從Adv0區塊及Adv1區塊分別導出候選移動向量。例如,也可針對1個編碼對象區塊,從Adv0區塊及Adv1區塊分別導出候選移動向量。然後,也可針對其他編碼對象區塊,從Adv1區塊不導出候選移動向量,且從Adv0區塊導出候選移動向量。
又,在編碼對象圖片不是B圖片,且2個參考圖片清單未被決定時,也可從1個參考圖片清單所含之ATMVP區塊導出時間候選移動向量。
[候選清單] 圖22是顯示有關於複數個候選移動向量之複數個群組之概念圖。用以將編碼對象區塊之資訊進行編碼之預測移動向量是可藉對應於各複數個候選移動向量之索引而被特定。例如,對於最多為N個候選移動向量,分別對應有索引。
複數個候選移動向量是構成候選清單。複數個候選移動向量可含有空間候選移動向量,也可含有時間候選移動向量,也可含有其他候選移動向量。即,最多為N個候選移動向量可包括空間候選移動向量的群組、時間候選移動向量的群組、及其他候選移動向量的群組。
空間候選移動向量,例如是從與編碼對象區塊空間上鄰接的區塊所導出的候選移動向量。空間候選移動向量也可從位於編碼對象區塊的旁邊,且不鄰接於編碼對象區塊之區塊所導出。
時間候選移動向量是從不同於編碼對象圖片之參考圖片所含之區塊所導出的候選移動向量。例如,時間候選移動向量可從Col0區塊、Col1區塊、Adv0區塊或者Adv1區塊等所導出。
對於1個編碼對象區塊,也可從Col0區塊及Col1區塊分別導出時間候選移動向量。然後,對於其他編碼對象區塊,也可從Col0區塊及Col1區塊之其中一個導出時間候選移動向量。
同樣地,對於1個編碼對象區塊,也可從Adv0區塊及Adv1區塊分別導出時間候選移動向量。然後,對其他編碼對象區塊,也可從Adv0區塊及Adv1區塊之其中一個來導出時間候選移動向量。
其他候選移動向量是不同於空間候選移動向量、也不同於時間候選移動向量之候選移動向量。其他候選移動向量也可分別從空間候選移動向量或者時間候選移動向量之複數個候選移動向量所導出。例如,複數個候選移動向量之平均值或者中間值,也可被導出做為其他候選移動向量。
又,已事先決定的移動向量也可被使用做為其他候選移動向量。例如,大小為零之移動向量也可被使用做為其他候選移動向量。
又,也可以序列單位、圖片單位、切片單位、或者含有1個以上的區塊的預定單位決定固定的候選移動向量。
例如,熵編碼部110也可將序列單位的固定的候選移動向量編碼成序列參數組合。又,熵編碼部110也可將圖片單位的固定的候選移動向量編碼成圖片參數組合。又,熵編碼部110也可將切片單位的固定的候選移動向量編碼成切片標頭。
接著,熵解碼部202也可從序列參數組合,而將序列單位的固定的候選移動向量進行解碼。又,熵解碼部202也可從圖片參數組合,而將圖片單位的固定的候選移動向量進行解碼。又,熵解碼部202也可從切片標頭,而將切片單位的固定的候選移動向量進行解碼。
例如,在圖像整體做等速直線移動時,也可將顯示圖像整體的運動之移動向量做為固定的候選移動向量,而包含在序列參數組合、圖片參數組合或者切片標頭等之標頭資訊中。又,圖像整體正在移動,且在圖像中包含具有與圖像整體的運動不同之運動的物體時,也可將顯示圖像整體的運動之候選移動向量、及顯示物體的運動之候選移動向量包含在標頭資訊中。
進而,編碼裝置100在更新圖片單位或切片單位等之候選移動向量時,也可將相對於更新前的候選移動向量之差分進行編碼。
又,候選移動向量的導出方法、索引的分配方法、及候選移動向量之最大個數也可以序列單位、圖片單位、切片單位、或者含有1個以上的區塊之預定單位來決定。例如,候選移動向量的導出方法等也可藉序列參數組合而以序列單位來決定,也可藉圖片參數組合而以圖片單位來決定,也可藉切片標頭而以切片單位來決定。
例如,編碼對象區塊在移動物範圍的邊界附近時,候選清單產生部134也可從Col0區塊及Col1區塊分別導出時間候選移動向量。或者,此時,候選清單產生部134也可從Adv0區塊及Adv1區塊分別導出時間候選移動向量。
接著,編碼對象區塊不在移動物範圍的邊界附近時,候選清單產生部134也可從Col0區塊及Col1區塊之其中一個,導出時間候選移動向量。或者,此時,候選清單產生部134也可從Adv0區塊及Adv1區塊之其中一個,導出時間候選移動向量。
候選清單產生部134也可根據含有邊緣檢測或者機械學習等之物體擷取技術,來判斷編碼對象區塊是否在移動物範圍的邊界附近。或者,候選清單產生部134也可根據每像素的移動、或者預定尺寸的矩形區域每個移動,來判斷編碼對象區塊是否位於移動物範圍的邊界附近。
又,候選清單產生部134也可判斷Col0區塊的移動向量、與Col1區塊的移動向量之差分是否為閾值以上。接著,若差分為閾值以上時,候選清單產生部134也可從Col0區塊與Col1區塊分別導出時間候選移動向量。另一方面,若差分低於閾值時,候選清單產生部134也可從Col0區塊與Col1區塊中之其中一個導出時間候選移動向量。
或者,候選清單產生部134,若Adv0區塊的移動向量、與Adv1區塊的移動向量之差分為閾值以上時,也可從Adv0區塊與Adv1區塊分別來導出時間候選移動向量。另一方面,若差分低於閾值時,候選清單產生部134也可從Adv0區塊與Adv1區塊中之其中一個來導出時間候選移動向量。
空間候選移動向量之導出方法等也是和時間候選移動向量同樣,可依照編碼對象區塊是否在移動物範圍的邊界附近來做變更。
例如,在編碼對象區塊在移動物範圍的邊界附近時,候選清單產生部134也可從複數個鄰接區塊分別來導出空間候選移動向量。然後,編碼對象區塊不在移動物範圍的邊界附近時,候選清單產生部134也可從複數個鄰接區塊之中之1個來導出空間候選移動向量。
又,例如,候選清單產生部134也可判斷2個鄰接區塊之2個移動向量的差分是否為閾值以上。然後,若差分為閾值以上時,候選清單產生部134也可從2個鄰接區塊分別來導出空間候選移動向量。另一方面,若差分低於閾值時,候選清單產生部134也可從2個鄰接區塊之中之1個來導出空間候選移動向量。
又,也可於索引的分配方法反映群組。具體來說,候選清單產生部134也可依照時間候選移動向量數量及空間候選移動向量數量等,將複數個候選移動向量分組為複數個群組。
例如,候選清單產生部134也可根據是否能從L0參考圖片清單所含之區塊、與L1參考圖片清單所含之區塊分別來導出時間候選移動向量,來特定時間候選移動向量數量。又,候選清單產生部134亦可根據是否也能從不鄰接於編碼對象區塊之區塊導出空間候選移動向量,來特定空間候選移動向量數量。
接著,針對各複數個候選移動向量,候選清單產生部134也可使用含有候選移動向量之群組的識別號碼、及群組中之候選移動向量的索引號碼之組合,做為候選移動向量的索引。
針對移動物範圍的邊界附近的編碼對象區塊,從空間上及時間上寬廣之範圍中的各區塊,導出候選移動向量,藉此能選擇更適合的預測移動向量。例如,如上述,從L0參考圖片清單所含之區塊及L1參考圖片清單所含之區塊分別導出時間候選移動向量,藉此從時間上寬廣之範圍中的各區塊來導出時間候選移動向量。藉此,能選擇更適合的預測移動向量。
進而,針對2個參考圖片清單之各個,除了參考圖片索引為0之參考圖片所含的區塊之外,也可從參考圖片索引不是0的參考圖片所含之區塊導出時間候選移動向量。藉此,可從時間上較寬廣的範圍中之各區塊導出時間候選移動向量,能選擇更適合的預測移動向量。
又,也可從同位區塊或者ATMVP區塊的周邊的區塊,導出時間候選移動向量。在此,區塊之周邊的範圍可為離區塊預定距離的範圍,也可為鄰接於區塊之1個以上的區塊的範圍。
又,例如假設移動的差異在前景與背景很大,前述前景為移動物的範圍內,前述背景為移動物的範圍外。因此也可從同位區塊或者ATMVP區塊的周邊之複數個區塊,擷取差異大的2個移動向量。接著,所擷取出的2個移動向量也可被視為前景及背景的2個移動向量。然後,也可從所取出的2個移動向量分別導出時間候選移動向量。
又,候選清單產生部134也可在同位區塊或者ATMVP區塊之周邊的複數個區塊之複數個移動向量中,將相近的複數個區塊之相類似的複數個移動向量群組化。然後,候選清單產生部134也可對每一群組,藉由屬於群組的複數個移動向量之平均值或者中間值,導出時間候選移動向量。
在上述中,各移動向量也可依照時間上的距離進行標準化。即,各移動向量也可定標成從編碼對象圖片參考參考圖片L0[0]或者L1[0]之移動向量。
又,進而,為了得到更適當的預測移動向量,也可從較鄰接於編碼對象區塊的範圍在空間上更大範圍的各區塊,導出空間候選移動向量。例如,除了鄰接區塊,再鄰接區塊也可用以於空間候選移動向量之導出,其中該鄰接區塊是鄰接於編碼對象區塊的區塊,該再鄰接區塊是鄰接於鄰接區塊的區塊。
圖23是顯示用以導出空間候選移動向量之區塊的概念圖。在圖23之例中,除了鄰接區塊A、B、C及D,還會從再鄰接區塊C1、C2及C3之至少1個,導出空間候選移動向量,其中該再鄰接區塊C1、C2及C3為鄰接於鄰接區塊C之區塊。再鄰接區塊C1、C2及C3之中,用於空間候選移動向量之導出的再鄰接區塊可固定,也可適當地進行切換。
又,在圖23之例中,相對於鄰接區塊C,已決定再鄰接區塊C1、C2及C3,但相對於鄰接區塊A、B及D,也可同樣地決定再鄰接區塊。然後,鄰接區塊A、B、C及D之中,已決定有用於空間候選移動向量之導出之再鄰接區塊的鄰接區塊可固定,也可適當地進行切換。
例如,為了能盡可能地涵蓋空間上寬廣的範圍的移動,也可相對於鄰接區塊C及D,決定用於空間候選移動向量之導出之再鄰接區塊。
又,不只是相接於編碼對象區塊之角落的鄰接區塊,例如鄰接區塊B及C之間的區塊也可用在空間候選移動向量之導出。如此的中間的區塊的利用是在例如編碼對象區塊的尺寸為16×16以上般之編碼對象區塊的尺寸大的情況下有效。
編碼裝置100是從包括空間候選移動向量及時間候選移動向量等之複數個候選移動向量之中,選擇預測移動向量,其中該預測移動向量是做為編碼對象區塊之移動向量而被預測之移動向量。編碼裝置100也可算出基於各候選移動向量之預測殘差或者R-D成本,在複數個候選移動向量之中,選擇被算出的預測殘差或者R-D成本為最小的候選移動向量,做為預測移動向量。
然後,編碼裝置100使用預測移動向量,而將編碼對象區塊的資訊進行編碼。
例如,編碼裝置100也可將編碼對象區塊的移動向量與預測移動向量之差分移動向量進行編碼。藉此,編碼裝置100也可使用預測移動向量,而將編碼對象區塊的移動向量進行編碼。或者,編碼裝置100也可將編碼對象區塊的圖像、與依照預測移動向量所預測之圖像之差分圖像進行編碼。藉此,編碼裝置100也可使用預測移動向量,而將編碼對象區塊的圖像進行編碼。
又,編碼裝置100也可將對應於做為預測移動向量而被選擇的候選移動向量之索引,做為用以從複數個候選移動向量之中識別預測移動向量之識別資訊,來進行編碼成位元流。
接著,解碼裝置200也可從位元流而將索引進行解碼。接著,解碼裝置200也可從複數個候選移動向量之中選擇與已解碼的索引對應之候選移動向量,做為預測移動向量,其中該等複數個候選移動向量包括空間候選移動向量及時間候選移動向量等。然後,解碼裝置200是使用預測移動向量,而將解碼對象區塊的資訊進行解碼。
例如,解碼裝置200也可將差分移動向量進行解碼,且將預測移動向量與差分移動向量相加。藉此,解碼裝置200也可使用預測移動向量,而將解碼對象區塊的移動向量進行解碼。或者,解碼裝置200也可將差分圖像進行解碼,且將依照預測移動向量而被預測的圖像、與差分圖像相加。藉此,解碼裝置200也可使用預測移動向量,而將解碼對象區塊的圖像進行解碼。
又,例如,編碼裝置100也可不將預測移動向量的索引進行編碼。接著,解碼裝置200也可不將預測移動向量的索引進行解碼。此時,在編碼裝置100及解碼裝置200中,也可藉FRUC中之模板匹配方式或者雙向匹配方式來選擇預測移動向量。
即,編碼裝置100及解碼裝置200在從複數個候選移動向量之中選擇預測移動向量時,也可分別評價複數個候選移動向量。編碼裝置100及解碼裝置200也可選擇在複數個候選移動向量之中被最高度評價的候選移動向量,做為預測移動向量。
例如,編碼裝置100及解碼裝置200是在各候選移動向量的評價中,決定2個比較對象區域。此時,編碼裝置100及解碼裝置200是依照評價對象的候選移動向量,來決定2個比較對象區域之中至少其中一個。然後,編碼裝置100及解碼裝置200在2個比較對象區域的再構成圖像的適合程度愈高,則愈高度評價評價對象的候選移動向量。
藉此,編碼裝置100及解碼裝置200可對複數個候選移動向量分別以相同的方式進行評價,且可從複數個候選移動向量之中選擇相同的預測移動向量。
例如,隨著候選移動向量數量的增加,用以從複數個候選移動向量之中識別預測移動向量的索引就會變大,而有使索引的編碼量增加的可能性。惟,在FRUC中,由於預測移動向量的索引不被編碼,所以隨著候選移動向量數量的增加所造成的編碼量之增加可被抑制。
因此,在FRUC中,也可導出更多的空間候選移動向量及時間候選移動向量等。藉此,編碼裝置100及解碼裝置200能一邊抑制編碼量的增加,且一邊改善預測精度。
又,候選清單也可劃分成L0參考用候選清單、及L1參考用候選清單,其中該L0參考用候選清單是含有參考L0參考圖片清單之候選移動向量,該L1參考用候選清單是含有參考L1參考圖片清單之候選移動向量。
又,候選清單也可含有參考L0參考圖片清單之候選移動向量與參考L1參考圖片清單之候選移動向量之候選移動向量組合。進而,候選清單也可含有參考L0參考圖片清單的候選移動向量之候選移動向量組合,也可含有參考L1參考圖片清單的候選移動向量之候選移動向量組合。
然後,從候選清單所含之複數個候選移動向量組合之中,選擇1個候選移動向量組合,做為預測移動向量組合,藉此也可從候選清單所含之複數個候選移動向量之中,選擇預測移動向量。
[藉對映而導出之候選移動向量] 候選清單產生部134,取代同位區塊及ATMVP區塊的利用,或者除了同位區塊及ATMVP區塊的利用,也可藉參考區塊的對映,導出時間候選移動向量。
例如,候選清單產生部134是在編碼對象圖片的處理開始時,將複數個參考圖片中之複數個參考區塊對映於編碼對象圖片。具體來說,候選清單產生部134是將各參考區塊對映於編碼對象圖片中之對應區域。各對應區域也可表現為對映區域。
然後,候選清單產生部134是依照對映的結果,針對編碼對象圖片的各區塊,導出候選移動向量。具體來說,候選清單產生部134是從參考區塊的移動向量,導出候選移動向量,其中前述參考區塊是被對映於重疊在編碼對象圖片中的區塊之對應區域。
另,如此之候選移動向量的導出處理也可以圖片單位來進行,也可以藉分割圖片而所得到的切片單位來進行,也可以其他的區域單位來進行。
圖24是一概念圖,顯示L0參考圖片清單所含之參考區塊及L1參考圖片清單所含之參考區塊的對映。例如,候選清單產生部134是將參考圖片L0[0]所含的參考區塊Blk01之移動向量標準化,藉此導出參考編碼對象圖片之移動向量mvBlk01。
即,候選清單產生部134是將參考區塊Blk01的移動向量進行定標,藉此導出參考編碼對象圖片之移動向量mvBlk01。對該定標是使用如下比值,即參考圖片L0[0]迄至編碼對象圖片的時間差相對於從參考圖片L0[0]迄至參考區塊Blk01之移動向量所參考的參考圖片的時間差之比值。
接著,候選清單產生部134是依照移動向量mvBlk01,而將參考區塊Blk01對映至編碼對象圖片中的對應區域Blk01c。即,候選清單產生部134是依照移動向量mvBlk01,將參考區塊Blk01分配到編碼對象圖片中之對應區域Blk01c。進而換言之,候選清單產生部134是依照移動向量mvBlk01,在編碼對象圖片之中特定參考區塊Blk01之對應區域Blk01c。
同樣,候選清單產生部134是將參考圖片L0[0]所含之參考區塊Blk02的移動向量進行標準化,藉此導出參考編碼對象圖片之移動向量mvBlk02。然後,候選清單產生部134是依照移動向量mvBlk02,而將參考區塊Blk02對映到編碼對象圖片中之對應區域Blk02c。
同樣,候選清單產生部134是將參考圖片L0[0]所含之參考區塊Blk03的移動向量進行標準化,藉此導出參考編碼對象圖片之移動向量mvBlk03。然後,候選清單產生部134是依照移動向量mvBlk03,而將參考區塊Blk03對映到編碼對象圖片中之對應區域Blk03c。
然後候選清單產生部134是從被對映到編碼對象圖片之各區塊之參考區塊的移動向量,導出時間候選移動向量。
在僅只參考圖片L0[0]時,如對應區域Blk01c與對應區域Blk02c之間的區域,存在有參考區塊不被對映的區域的情況。為此,候選清單產生部134會使用參考圖片L1[0]。
例如,候選清單產生部134是將參考圖片L1[0]所含之參考區塊Blk11之移動向量進行標準化,藉此導出參考編碼對象圖片之移動向量mvBlk11。
即,候選清單產生部134是將參考區塊Blk11之移動向量進行定標,藉此導出參考編碼對象圖片之移動向量mvBlk11。在該定標,會使用如下比值,即,從參考圖片L1[0]迄至編碼對象圖片的時間差相對於從參考圖片L1[0]迄至參考區塊Blk11之移動向量所參考的參考圖片的時間差之比值。
然後,候選清單產生部134是依照移動向量mvBlk11,而將參考區塊Blk11對映於編碼對象圖片中之對應區域Blk11c。惟,就算參考圖片L0[0]及參考圖片L1[0]兩個都被使用時,還是有空白區域殘留的可能性。
圖25是顯示空白區域的概念圖。候選清單產生部134是針對空白區域的區塊,而從周邊的移動向量導出時間候選移動向量。即,候選清單產生部134是從參考區塊的移動向量導出時間候選移動向量,其中該參考區塊是已對映於空白區域之區塊的周邊之區域。
具體來說,在圖25之例中,候選清單產生部134是針對空白區域的編碼對象區塊,從對應區域Blk11c的移動向量及對應區域Blk02c的移動向量來導出時間候選移動向量。例如,候選清單產生部134針對空白區域的編碼對象區塊,也可藉對應區域Blk11c之移動向量與對應區域Blk02c之移動向量的內插,來導出時間候選移動向量。
或者,候選清單產生部134也可不採用內插,而是藉在對應區域Blk11c的移動向量與對應區域Blk02c的移動向量之中尺寸較小的移動向量,來導出時間候選移動向量。或者,候選清單產生部134也可用其他選擇方法,藉由對應區域Blk11c的移動向量與對應區域Blk02c的移動向量之中所選擇的移動向量,來導出時間候選移動向量。
又,在編碼對象圖片中,不只空白區域,還有存在有重複區域的可能性。即,有複數個參考區塊被對映的複數個對應區域重複(overlap)的可能性。
圖26是顯示重複區域的概念圖。在該例中,參考區塊Blk02是藉移動向量mvBlk02而被對映於對應區域Blk02c,且參考區塊Blk03是藉移動向量mvBlk03而被對映於對應區域Blk03c。然後,對應區域Blk02c與對應區域Blk03c有一部分重複。有關於如此重複區域的時間候選移動向量乃使用圖28於後詳述。
圖27是顯示編碼對象區塊及對應區域之例之概念圖。在該例中,在編碼對象區塊重疊有參考區塊Blk01的對應區域Blk01c。在只有1個參考區塊的對應區域重疊在編碼對象區塊時,候選清單產生部134從那1個參考區塊的移動向量,導出對於編碼對象區塊的預測移動向量之時間候選移動向量。
在圖27之例中,編碼對象區塊包含參考區塊Blk01之對應區域Blk01c的一部分、及空白區域,且不含其他參考區塊之對應區域。因此,候選清單產生部134從參考區塊Blk01之移動向量,導出時間候選移動向量。
例如,候選清單產生部134是將參考區塊Blk01之移動向量進行定標,藉此從編碼對象區塊,導出參考參考圖片L0[0]之時間候選移動向量。對該定標,是使用從編碼對象圖片迄至參考圖片L0[0]的時間差相對於從參考圖片L0[0]迄至參考區塊Blk01之移動向量所參考的參考圖片的時間差之比值。
另,該時間候選移動向量也可透過將參考區塊Blk01之已標準化的移動向量mvBlk01反轉而得到。
圖28是顯示編碼對象區塊及2個對應區域之例之概念圖。在該例中,在編碼對象區塊上重疊有參考區塊Blk02之對應區域Blk02c與參考區塊Blk03之對應區域Blk03c。在複數個區塊之複數個對應區域重疊在編碼對象區塊時,候選清單產生部134從參考區塊的移動向量導出時間候選移動向量,其中該參考區塊是對映於編碼對象區塊中佔據的面積為最大之對應區域。
在圖28之例中,在編碼對象區塊中,參考區塊Blk03的對應區域Blk03c所佔的面積是大於參考區塊Blk02之對應區域Blk02c所佔的面積。因此,候選清單產生部134會從參考區塊Blk03的移動向量,導出時間候選移動向量。
或者,候選清單產生部134透過複數個區塊之複數個移動向量的平均值、中間值、最大值或者最小值,來導出時間候選移動向量,其中該等複數個區塊是對應於重疊在編碼對象區塊之複數個對應區域。又,候選清單產生部134也可依照重疊在編碼對象區塊之各對應區域所佔的面積,將對應於複數個對應區域之複數個移動向量進行加權,且藉複數個移動向量的加權平均值,來導出時間候選移動向量。
例如,使用複數個移動向量的平均值、中間值、最大值、最小值、或者加權平均值時,依照時間上的距離,也可使用已標準化的複數個移動向量的平均值、中間值、最大值、最小值、或者加權平均值。即,也可使用已分別定標成從編碼對象圖片參考參考圖片L0[0]或者L1[0]之移動向量的複數個移動向量的平均值、中間值、最大值、最小值、或者加權平均值。
或者,候選清單產生部134也可從複數個參考區塊之複數個移動向量分別導出時間候選移動向量,其中該等複數個參考區塊為已對映至重疊在編碼對象區塊之複數個對應區域。此時,也可事先決定時間候選移動向量數量的上限。
例如,在FRUC中,如上述,由於預測移動向量的索引不被編碼,所以可抑制隨著候選移動向量數量的增加而所造成的編碼量之增加。因此,就算從複數個參考區塊之複數個移動向量分別導出時間候選移動向量,也能抑制隨著時間候選移動向量數量的增加而所造成的編碼量的增加,其中該等複數個參考區塊為已對映至重疊在編碼對象區塊之複數個對應區域。因此,為了抑制處理負荷的增加,時間候選移動向量數量的上限也可事先決定。
圖29是顯示編碼對象區塊、複數個鄰接區塊及複數個對應區域之例之概念圖。在編碼對象區塊不含參考區塊之對應區域,且以空白區域構成時,候選清單產生部134是透過編碼對象區塊之周邊區塊的移動向量,來導出時間候選移動向量。即,此時,候選清單產生部134會從已對映於編碼對象區塊之周邊的對應區域之參考區塊的移動向量,來導出時間候選移動向量。
例如,候選清單產生部134是從已對映於對應區域Blk01c的參考區塊Blk01之移動向量導出時間候選移動向量,其中該對應區域Blk01c是重疊在鄰接於編碼對象區塊右邊的第1鄰接區塊。
又,候選清單產生部134也可按照已事先決定的順序來判斷複數個鄰接區塊的每一個是否為空白區域,其中該等複數個鄰接區塊是包括第1鄰接區塊、第2鄰接區塊及第3鄰接區塊等。然後,候選清單產生部134是從已對映於對應區域的參考區塊之移動向量導出時間候選移動向量,其中該對應區域是重疊在最初被判斷為不是空白區域的區域。
或者,候選清單產生部134也可依照從編碼對象區塊迄至各對應區域之空間上的距離,而將複數個參考區塊的複數個移動向量進行加權,其中該等複數個參考區塊為已對映於編碼對象區塊周邊的複數個對應區域。然後,候選清單產生部134也可藉複數個移動向量的加權平均值,而導出時間候選移動向量。
例如,在複數個移動向量的加權平均值被使用時,也可依照時間上的距離而使用已標準化的複數個移動向量之加權平均值。即,也可使用已分別定標成從編碼對象圖片參考參考圖片L0[0]或L1[0]之移動向量的複數個移動向量之加權平均值。
圖30是一概念圖,顯示做為編碼單位而被決定的區塊、及以預定尺寸而決定的子區塊。預定的尺寸,是例如決定為M×N像素的尺寸。具體來說,在編碼單位是以16×16像素的尺寸所決定的區塊中,也可以4×4像素的尺寸來決定16個子區塊。
編碼對象區塊可為當做編碼單位而被決定的區塊,也可為在做為編碼單位而被決定的區塊中,以預定的尺寸所決定的子區塊。同樣,參考區塊也可為當做編碼單位而決定的區塊,也可為在做為編碼單位而所決定的區塊中,以預定的尺寸決定的子區塊。
即,候選清單產生部134可對每個以編碼單位而決定的區塊導出候選移動向量,也可對每個以預定尺寸所決定的子區塊導出候選移動向量。然後,間預測部126可對每個以編碼單位而決定的區塊,選擇預測移動向量,來進行預測,也可對每個以預定的尺寸所決定的子區塊,選擇預測移動向量,來進行預測。
例如,有在編碼單位的區塊中混合存在有前景與背景的情況。此時,候選清單產生部134在每個子區塊進行處理,藉此可導出對屬於前景的子區塊、與屬於背景的子區塊的各個的運動適合的候選移動向量。然後,間預測部126在每個子區塊進行處理,藉此可選擇對屬於前景的子區塊、與屬於背景的子區塊的各個的運動適合的預測移動向量,來進行預測。
又,候選清單產生部134在對空白區域的子區塊導出時間候選移動向量時,也可從對應於包含空白區域的子區塊的同一區塊內的其他子區塊的移動向量,導出時間候選移動向量。即,候選清單產生部134也可不使用對映於編碼單位的範圍外之參考區塊,而是使用編碼單位的範圍,做為子區塊的周邊的範圍。藉此,候選清單產生部134可適當地限制參考範圍。
另,在每子區塊導出候選移動向量並選擇預測移動向量的動作,也可適用在使用2個參考圖片清單的每一個中之同位區塊或者ATMVP區塊之方法。
又,在每子區塊導出候選移動向量並選擇預測移動向量的動作,也可做為FRUC的處理來進行。即,也可依照FRUC中之模板匹配方式或者雙向匹配方式,在每子區塊,從複數個候選移動向量之中選擇預測移動向量。
例如,在每區塊已選擇有預測移動向量時,會使每編碼單位的預測移動向量的個數增加。藉此,預測移動向量之索引的個數也會增加,有使編碼量增加的可能性。惟,在FRUC中,由於預測移動向量的索引不被編碼,所以隨著候選移動向量數量的增加所造成的編碼量之增加就能被抑制。
又,候選清單產生部134,在透過參考區塊的對映而導出候選移動向量之際,與使用同位區塊或者ATMVP區塊之方法同樣地,也可從1個參考區塊導出2個以上的候選移動向量。
具體來說,候選清單產生部134也可從參考區塊的1個移動向量導出可利用在雙預測之2個候選移動向量,也可從參考區塊的2個移動向量導出可利用在雙預測之2個候選移動向量。又,候選清單產生部134也可從參考區塊的2個移動向量分別導出可利用在雙預測之2個候選移動向量,藉此可從參考區塊的2個移動向量導出4個候選移動向量。
又,在參考區塊已透過雙預測進行編碼時,候選清單產生部134也可依照參考區塊之2個移動向量,將參考區塊對映至編碼對象圖片中的2個對應區域。
又,候選清單產生部134不限於參考圖片索引為0之參考圖片,也可依照參考區塊的移動向量,而將其他參考圖片的參考區塊對映於編碼對象圖片中的對應區域。
例如,代替參考圖片L0[0]及L1[0]的複數個參考區塊,也可將參考圖片L0[1]及L1[1]的複數個參考區塊用在對映。或者,除了參考圖片L0[0]及L1[0]之複數個參考區塊,也可將參考圖片L0[1]及L1[1]的複數個參考區塊用在對映。
[編碼裝置的安裝例] 圖31是顯示實施形態1之編碼裝置100之安裝例之方塊圖。編碼裝置100包含有電路160及記憶體162。例如,圖1及圖16所示之編碼裝置100之複數個構成要素是透過圖31所示之電路160及記憶體162來安裝。
電路160是進行資訊處理的電路,且為可對記憶體162進行存取的電路。例如,電路160是將動態圖像進行編碼之專用或者通用的電子電路。電路160也可為如CPU般之處理器。又,電路160也可為複數個電子電路的集合體。又,例如電路160也可實現圖1等所示之編碼裝置100之複數個構成要素中除了用以記憶資訊的構成要素之外的複數個構成要素的作用。
記憶體162是通用或者專用的記憶體,記憶用以使電路160將動態圖像進行編碼之資訊。記憶體162可為電子電路,也可連接於電路160。又,記憶體162也可包含在電路160。又,記憶體162也可為複數個電子電路的集合體。又,記憶體162也可為磁碟或者是光碟,也可表現為儲存器(storage)或者是記錄媒體等。又,記憶體162可為非揮發性記憶體,也可為揮發性記憶體。
例如,記憶體162也可記憶進行編碼的動態圖像,也可記憶對應於已進行編碼的動態圖像之位元列。又,在記憶體162也可記憶用以使電路160將動態圖像進行編碼的程式。
又,例如,記憶體162也可展現在圖1等所示之編碼裝置100之複數個構成要素之中用以記憶資訊之構成要素的作用。具體來說,記憶體162也可展現圖16所示之區塊記憶體118、訊框記憶體122及候選區塊資訊記憶體136之作用。更具體來說,在記憶體162也可記憶再構成完畢區塊、再構成完畢圖片、及已被使用於間預測之移動向量等。
另,在編碼裝置100中,也可不用安裝圖1等所示的複數個構成要素全部,也可不用進行上述之複數個處理全部。圖1等所示的複數個構成要素之一部分也可包含在其他裝置,上述之複數個處理之一部分也可透過其他裝置來執行。然後,在編碼裝置100中,安裝圖1等所示的複數個構成要素之中的一部分,且進行上述之複數個處理的一部分,藉此可以較少的編碼量來適當地處理動態圖像。
圖32A是一流程圖,顯示有關於動態圖像編碼時之中之候選移動向量之導出的第1動作例。圖31所示之編碼裝置100在將動態圖像進行編碼時,也可進行圖32A所示的動作。
具體來說,編碼裝置100的電路160是從第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊的預測移動向量之1個以上的候選移動向量(S101)。在此,第1參考區塊是包含在第1參考圖片所含之區塊,其中該第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單。
又,電路160是從第2參考區塊之1個以上的移動向量,導出相對於預測移動向量之1個以上的候選移動向量(S102)。在此,第2參考區塊是包含在第2參考圖片所含之區塊,其中該第2參考圖片是構成雙預測之用之2個參考圖片清單之中的第2參考圖片清單。
接著,電路160是從複數個候選移動向量之中,選擇預測移動向量(S103)。在此,複數個候選移動向量是包括已從第1參考區塊的1個以上的移動向量所導出之1個以上的候選移動向量、及已從第2參考區塊的1個以上的移動向量所導出之1個以上的候選移動向量。然後,電路160是使用預測移動向量,將編碼對象區塊之資訊進行編碼(S104)。
藉此,編碼裝置100可從第1參考圖片清單中之第1參考區塊導出候選移動向量,且,可從第2參考圖片清單中之第2參考區塊導出候選移動向量。因此,編碼裝置100可提高如下之可能性,即,在用以選擇預測移動向量之複數個候選移動向量含有適當的候選移動向量。
然後,藉此,編碼裝置100可支援適合的預測移動向量之導出,且可支援有關於動態圖像的編碼量之削減。
例如,在第1參考區塊已透過雙預測進行編碼時,電路160也可對第1參考區塊的2個移動向量之中的1個移動向量,適用2個定標比值。藉該適用,電路160也可從第1參考區塊之1個移動向量,來導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,第2參考區塊已透過雙預測進行編碼時,電路160也可對於第2參考區塊之2個移動向量之中的1個移動向量,適用2個定標比值。藉該適用,電路160也可從第2參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,編碼裝置100可分別從第1參考區塊之1個移動向量、與第2參考區塊之1個移動向量,來導出候選移動向量組合,其中該候選移動向量組合是包括參考2個參考圖片清單之2個候選移動向量。即,編碼裝置100可從特性不同的2個移動向量,導出2組候選移動向量組合,其中該等候選移動向量組合是各自以2個候選移動向量所構成,該候選移動向量是可利用在雙預測。
又,例如第1參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行編碼時,電路160也可對第1參考區塊的2個移動向量之中1個移動向量適用2個定標比值。藉該適用,電路160也可從第1參考區塊的2個移動向量之中1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,第2參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行編碼時,電路160也可對第2參考區塊的2個移動向量之中1個移動向量適用2個定標比值。藉該適用,電路160也可從第2參考區塊的2個移動向量之中1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,編碼裝置100可從被假設特性為類似的2個移動向量之中僅只1個移動向量,來導出候選移動向量組合,其中該候選移動向量組合是以參考2個參考圖片清單之2個候選移動向量所構成。因此,編碼裝置100可改善處理效率。
又,例如,第1參考區塊已透過雙預測進行編碼時,電路160也可分別對第1參考區塊之2個移動向量適用2個定標比值。藉該適用,電路160也可從第1參考區塊的2個移動向量,導出用以參考第1參考圖片清單之2個候選移動向量、及用以參考第2參考圖片清單之2個候選移動向量。
又,第2參考區塊已透過雙預測進行編碼時,電路160也可分別對第2參考區塊之2個移動向量適用2個定標比值。藉該適用,電路160也可從第2參考區塊的2個移動向量,導出用以參考第1參考圖片清單之2個候選移動向量、及用以參考第2參考圖片清單之2個候選移動向量。
藉此,編碼裝置100可分別從2個參考區塊之4個移動向量,來導出候選移動向量組合,其中該候選移動向量組合是以參考2個參考圖片清單之2個候選移動向量所構成。即,編碼裝置100可從2個參考區塊之4個移動向量,來導出4組候選移動向量組合,其中該等候選移動向量組合是各自以2個候選移動向量所構成,該候選移動向量是可利用在雙預測。
又,例如,在第1參考區塊已透過雙預測進行編碼時,電路160也可從第1參考區塊之2個移動向量之中之其中一個移動向量,來導出用以參考第1參考圖片清單之候選移動向量。接著,此時,電路160也可從第1參考區塊之2個移動向量之中之另外一個移動向量,來導出用以參考第2參考圖片清單之候選移動向量。
又,在第2參考區塊已透過雙預測進行編碼時,電路160也可從第2參考區塊之2個移動向量之中之其中一個移動向量,來導出用以參考第1參考圖片清單之候選移動向量。接著,此時,電路160也可從第2參考區塊之2個移動向量之中之另外一個移動向量,來導出用以參考第2參考圖片清單之候選移動向量。
藉此,編碼裝置100可分別從2個參考區塊之4個移動向量導出4個候選移動向量,而可導出以4個候選移動向量所構成之2組候選移動向量組合。即,編碼裝置100可將2個參考區塊之4個移動向量分別適當地反映在2組候選移動向量組合所含之4個候選移動向量。
又,例如,第1參考區塊已透過單預測進行編碼時,電路160也可對第1參考區塊之1個移動向量適用2個定標比值。藉該適用,電路160也可從第1參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,第2參考區塊已透過單預測進行編碼時,電路160也可對第2參考區塊之1個移動向量適用2個定標比值。藉該適用,電路160也可從第2參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,編碼裝置100可從各參考區塊之僅只1個的移動向量,來導出以參考2個參考圖片清單之2個候選移動向量所構成的候選移動向量組合。即,編碼裝置100可從各參考區塊之僅只1個的移動向量,來導出候選移動向量組合,其中該候選移動向量組合是以可利用在雙預測之2個候選移動向量所構成。
又,例如,編碼對象區塊也可透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行編碼。此時,電路160也可從第1參考區塊的1個以上的移動向量,導出2個以上的候選移動向量,其中該候選移動向量是用以參考被使用在編碼對象區塊之雙預測之一方向。然後,此時,電路160也可從第2參考區塊之1個以上的移動向量,導出2個以上的候選移動向量,其中該候選移動向量是用以參考被使用在編碼對象區塊之雙預測之一方向。
藉此,編碼裝置100在於編碼對象區塊使用僅只一方向之雙預測時,可從各參考區塊導出參考一方向之2個以上的候選移動向量。因此,編碼裝置100可從各參考區塊,導出對僅只一方向的雙預測適合之1組以上的候選移動向量組合。
又,例如,第1參考圖片清單也可為用以參考在顯示順序上前方向的參考圖片清單。第2參考圖片清單也可為用以參考在顯示順序上後方向的參考圖片清單。第1參考區塊也可透過於顯示順序上前方向及後方向之兩方向的雙預測進行編碼。第2參考區塊也可透過於顯示順序上前方向及後方向之兩方向的雙預測進行編碼。編碼對象區塊也可透過於顯示順序上前方向及後方向之兩方向的雙預測進行編碼。
此時,電路160也可對第1參考區塊之2個移動向量之中,用以參考於顯示順序上後方向的1個移動向量,適用2個定標比值。藉該適用,電路160也可從第1參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,此時,電路160也可對第2參考區塊之2個移動向量之中,用以參考於顯示順序上前方向的1個移動向量,適用2個定標比值。藉該適用,電路160也可從第2參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,編碼裝置100可從各參考區塊之2個移動向量之中後述的參考方向之移動向量,導出參考2個參考圖片清單之候選移動向量組合,其中該參考方向為時間性質上自參考區塊而朝向編碼對象區塊之方向。即,編碼裝置100可於各參考區塊之2個移動向量之中,從相對於編碼對象區塊在時間性質上有高關聯性的移動向量,適當地導出可利用在雙預測的候選移動向量組合。
又,例如,第1參考區塊的空間性質之位置也可與編碼對象區塊的空間性質之位置相同,第2參考區塊的空間性質之位置也可與編碼對象區塊的空間性質之位置相同。
圖32B是一流程圖,顯示有關於動態圖像編碼時候選移動向量的導出之第2動作例。圖31所示之編碼裝置100在將動態圖像進行編碼時,也可進行圖32B所示的動作。
具體來說,編碼裝置100之電路160是使用第1鄰接區塊的第1移動向量,來特定第1參考圖片所含之第1參考區塊,其中該第1鄰接區塊是空間性質上鄰接編碼對象區塊之區塊(S201)。在此,第1參考圖片是構成雙預測用之2個參考圖片清單之中之第1參考圖片清單的圖片。然後,電路160就從第1參考區塊的1個以上的移動向量,導出相對於預測移動向量之1個以上的候選移動向量,其中該預測移動向量是編碼對象區塊的預測移動向量(S202)。
又,電路160是使用第1移動向量、第1鄰接區塊的第2移動向量、或者空間性質上鄰接編碼對象區塊的第2鄰接區塊之第3移動向量,來特定第2參考圖片所含之第2參考區塊(S203)。在此,第2參考圖片是構成2個參考圖片清單之中之第2參考圖片清單的圖片。然後,電路160就從第2參考區塊的1個以上的移動向量,導出相對於預測移動向量之1個以上的候選移動向量(S204)。
接著,電路160是從複數個候選移動向量之中選擇預測移動向量(S205)。在此,複數個候選移動向量是包括已從第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及已從第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量。然後,電路160是使用預測移動向量,而將編碼對象區塊的資訊進行編碼(S206)。
藉此,編碼裝置100可使用1個以上的鄰接區塊之1個以上的移動向量,來特定第1參考圖片清單中之第1參考區塊、及第2參考圖片清單中之第2參考區塊。即,編碼裝置100使用1個以上的鄰接區塊之1個以上的移動向量,就可特定被假設相對於編碼對象區塊有高關聯性的第1參考區塊及第2參考區塊。
然後,編碼裝置100可從第1參考區塊導出候選移動向量,且從第2參考區塊導出候選移動向量。因此,編碼裝置100可提高如下可能性,即,在用以選擇預測移動向量之複數個候選移動向量之中會包括適合的候選移動向量。然後,藉此,編碼裝置100可支援適合的預測移動向量之導出,且可支援有關於動態圖像的編碼量之削減。
又,在圖32B所示之第2動作例中,也可適用使用圖32A所說明的變形例或者具體例。
另,圖32B所示的第2動作例是如下形態的例子,即,圖32A所示的動作例中之第1參考區塊及第2參考區塊各個為ATMVP區塊。圖32A所示的第1動作例中之第1參考區塊及第2參考區塊各個,也可不是ATMVP區塊,而是同位區塊。
具體來說,在圖32A所示的第1動作例中之第1參考區塊也可為在第1參考圖片之中其位置與編碼對象區塊相同的區塊。然後,在圖32A所示的第1動作例中之第2參考區塊也可為在第2參考圖片之中其位置與編碼對象區塊相同的區塊。
圖32C是一流程圖,顯示有關於動態圖像編碼時其中候選移動向量之導出之第3動作例。圖31所示之編碼裝置100也可在動態圖像進行編碼時,進行圖32C所示的動作。
具體來說,編碼裝置100的電路160是將複數個參考區塊中的各個參考區塊,依照該參考區塊的移動向量,而對映於編碼對象圖像中之對應區域(S301)。
在此,複數個參考區塊是包括第1參考圖片所含之1個以上的參考區塊、及第2參考圖片所含之1個以上的參考區塊。第1參考圖片是構成雙預測用之2個參考圖片清單之中的第1參考圖片清單之圖片。第2參考圖片是構成2個參考圖片清單之中的第2參考圖片清單之圖片。
接著,在對應區域重疊在編碼對象圖像中之編碼對象區塊時,電路160是從已對映於對應區域之參考區塊的移動向量導出候選移動向量,做為複數個候選移動向量之1個(S302)。該複數個候選移動向量為相對於編碼對象區塊之預測移動向量之複數個候選移動向量。
接著,電路160是從複數個候選移動向量之中選擇預測移動向量(S303)。然後,電路160是使用預測移動向量,而將編碼對象區塊的資訊進行編碼(S304)。
藉此,編碼裝置100可在第1參考圖片清單及第2參考圖片清單中之複數個參考區塊之中,從被假設相對於編碼對象區塊有高關聯性的參考區塊,導出適合的候選移動向量。因此,編碼裝置100可提高如下可能性,即,在用以選擇預測移動向量之複數個候選移動向量之中會包括適合的候選移動向量。
然後,藉此,編碼裝置100可支援適合的預測移動向量之導出,且可支援有關於動態圖像的編碼量之削減。
例如,電路160也可將第1參考圖片中的1個以上的參考區塊各個在編碼對象圖像中進行對映。在那之後,電路160也可將第2參考圖片中的1個以上的參考區塊各個,於編碼對象圖像之中未被第1參考圖片中的1個以上的參考區塊對映的空白區域中進行對映。
藉此,編碼裝置100可較第2參考圖片清單中之1個以上的參考區塊,更優先地將第1參考圖片清單中之1個以上的參考區塊進行對映。有第1參考圖片清單中之參考區塊的移動向量的可靠性是高於第2參考圖片清單中之參考區塊的移動向量之可靠性的情況。在如此情況,編碼裝置100可依照可靠性較高的移動向量,來導出適合的候選移動向量。
又,例如,也可使複數個參考區塊之中的2個以上的參考區塊被對映的2個以上的對應區域重疊在編碼對象區塊。此時,電路160也可從2個以上的參考區塊的2個以上的移動向量之中至少1個移動向量,導出候選移動向量。
藉此,編碼裝置100可從被假設相對於編碼對象區塊有高關聯性之複數個參考區塊之中至少1個參考區塊,可導出適合的候選移動向量。
又,例如,也可沒有重疊在編碼對象區塊之對應區域存在,且有重疊在編碼對象區塊之周邊區域之對應區域存在。此時,電路160也可從被對映到重疊於周邊區域之對應區域的參考區塊之移動向量,導出候選移動向量。
藉此,編碼裝置100就算在編碼對象區塊中沒有參考區塊對映,也可依照在編碼對象區塊的周邊被對映的參考區塊之移動向量,來導出適合的候選移動向量。
又,例如,電路160也可在從複數個候選移動向量之中選擇預測移動向量時,評價複數個候選移動向量各個,選擇複數個候選移動向量之中最被高度評價的候選移動向量,做為預測移動向量。
電路160也可在評價複數個候選移動向量各個時,2個比較對象區域的再構成圖像間之適合程度愈高,則愈高度評價評價對象的候選移動向量。在此,2個比較對象區域為不同於編碼對象區塊的2個區域,且至少其中一個是依照評價對象的候選移動向量而決定的2個區域。
藉此,編碼裝置100可參考不同於編碼對象區塊之區域的再構成圖像,而評價各候選移動向量,從複數個候選移動向量之中選擇預測移動向量。因此,編碼裝置100與解碼裝置200可以相同方法,而從複數個候選移動向量之中選擇預測移動向量。藉此,編碼裝置100可省略用以選擇預測移動向量之資訊的編碼,可支援編碼量的削減。
又,例如,電路160在從被對映於對應區域之參考區塊的移動向量導出候選移動向量時,也可導出已適用定標比值之參考區塊的移動向量,做為候選移動向量。
在此,定標比值是從編碼對象圖片迄至含有參考區塊之參考圖片的時間差之相對於從含有參考區塊之參考圖片迄至含有參考區塊之移動向量所指示的參考區域之參考圖片的時間差之比值。編碼對象圖片是含有編碼對象圖像的圖片。
藉此,編碼裝置100可將參考區塊之移動向量適當地進行定標,且導出已進行定標的移動向量,做為候選移動向量。
又,例如,編碼對象區塊也可為以編碼單位而被決定的區塊,也可為在以編碼單位而被決定的區塊中,以預定尺寸決定的子區塊。藉此,編碼裝置100可針對編碼單位的區塊,或者編碼單位的區塊內之子區塊,導出適合的候選移動向量。
又,例如,電路160也可針對編碼對象圖像中之複數個編碼對象區塊各個,在對應區域重疊在該編碼對象區塊時,從被對映到對應區域之參考區塊之移動向量,導出候選移動向量。該候選移動向量為相對於該編碼對象區塊之預測移動向量的候選移動向量。
藉此,編碼裝置100可針對編碼對象圖像中之各編碼對象區塊,導出適合的候選移動向量。
[解碼裝置之安裝例] 圖33是顯示實施形態1之解碼裝置200之安裝例之方塊圖。解碼裝置200包含有電路260及記憶體262。例如,圖10及圖17所示之解碼裝置200的複數個構成要素是藉圖33所示之電路260及記憶體262來安裝。
電路260為進行資訊處理的電路,且為可對記憶體262進行存取的電路。例如,電路260是將動態圖像進行解碼之專用或者通用的電子電路。電路260也可像CPU之處理器。又,電路260也可為複數個電子電路的集合體。又,例如電路260也可展現複數個構成要素的作用,該等複數個構成要素是圖10等所示之解碼裝置200之複數個構成要素之中除用以記憶資訊的構成要素之外者。
記憶體262是通用或者專用的記憶體,記憶用以使電路260將動態圖像進行解碼之資訊。記憶體262也可為電子電路,也可連接於電路260。又,記憶體262也可包含在電路260。又,記憶體262也可為複數個電子電路的集合體。又,記憶體262也可為磁碟或者是光碟等,也可表現為儲存器(storage)或者是記錄媒體等。又,記憶體262也可為非揮發性記憶體,也可為揮發性記憶體。
例如,記憶體262也可記憶已編碼之動態圖像所對應的位元列,也可記憶已被解碼的位元列所對應之動態圖像。又,在記憶體262也可記憶用以使電路260將動態圖像進行解碼的程式。
又,例如,記憶體262也可展現在圖10等所示之解碼裝置200之複數個構成要素之中用以記憶資訊之構成要素的作用。具體來說,記憶體262也可展現圖17所示之區塊記憶體210、訊框記憶體214及候選區塊資訊記憶體236之作用。更具體來說,在記憶體262也可記憶再構成完畢區塊、再構成完畢圖片、及已被使用在間預測之移動向量等。
另,在解碼裝置200中,也可不用安裝圖10等所示的複數個構成要素全部,也可不用進行上述之複數個處理全部。圖10等所示的複數個構成要素之一部分也可包含在其他裝置,上述之複數個處理之一部分也可透過其他裝置來執行。然後,在解碼裝置200中,安裝圖10等所示的複數個構成要素之中的一部分,且進行上述之複數個處理的一部分,藉此可以較少的編碼量來適當地處理動態圖像。
圖34A是一流程圖,顯示有關於動態圖像解碼時之中之候選移動向量之導出的第1動作例。圖33所示之解碼裝置200在將動態圖像進行解碼時,也可進行圖34A所示的動作。
具體來說,解碼裝置200的電路260是從第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊的預測移動向量之1個以上的候選移動向量(S401)。在此,第1參考區塊是包含在第1參考圖片所含之區塊,其中該第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單。
又,電路260是從第2參考區塊之1個以上的移動向量,導出相對於預測移動向量之1個以上的候選移動向量(S402)。在此,第2參考區塊是包含在第2參考圖片所含之區塊,其中該第2參考圖片是構成雙預測之用之2個參考圖片清單之中的第2參考圖片清單。
接著,電路260是從複數個候選移動向量之中,選擇預測移動向量(S403)。在此,複數個候選移動向量是包括已從第1參考區塊的1個以上的移動向量所導出之1個以上的候選移動向量、及已從第2參考區塊的1個以上的移動向量所導出之1個以上的候選移動向量。然後,電路260是使用預測移動向量,將解碼對象區塊之資訊進行解碼(S404)。
藉此,解碼裝置200可從第1參考圖片清單中之第1參考區塊導出候選移動向量,且,可從第2參考圖片清單中之第2參考區塊導出候選移動向量。因此,解碼裝置200可提高如下之可能性,即,在用以選擇預測移動向量之複數個候選移動向量含有適當的候選移動向量。
然後,藉此,解碼裝置200可支援適合的預測移動向量之導出,且可支援有關於動態圖像的編碼量之削減。
例如,在第1參考區塊已透過雙預測進行解碼時,電路260也可對第1參考區塊的2個移動向量之中的1個移動向量,適用2個定標比值。藉該適用,電路260也可從第1參考區塊之1個移動向量,來導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,第2參考區塊已透過雙預測進行解碼時,電路260也可對於第2參考區塊之2個移動向量之中的1個移動向量,適用2個定標比值。藉該適用,電路260也可從第2參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,解碼裝置200可分別從第1參考區塊之1個移動向量、與第2參考區塊之1個移動向量,來導出候選移動向量組合,其中該候選移動向量組合是包括參考2個參考圖片清單之2個候選移動向量。即,解碼裝置200可從特性不同的2個移動向量,導出2組候選移動向量組合,其中該等候選移動向量組合是各自以2個候選移動向量所構成,該候選移動向量是可利用在雙預測。
又,例如第1參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行解碼時,電路260也可對第1參考區塊的2個移動向量之中1個移動向量適用2個定標比值。藉該適用,電路260也可從第1參考區塊的2個移動向量之中1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,第2參考區塊已透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行解碼時,電路260也可對第2參考區塊的2個移動向量之中1個移動向量適用2個定標比值。藉該適用,電路260也可從第2參考區塊的2個移動向量之中1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,解碼裝置200可從被假設特性為類似的2個移動向量之中僅只1個移動向量,來導出候選移動向量組合,其中該候選移動向量組合是以參考2個參考圖片清單之2個候選移動向量所構成。因此,解碼裝置200可改善處理效率。
又,例如,第1參考區塊已透過雙預測進行解碼時,電路260也可分別對第1參考區塊之2個移動向量適用2個定標比值。藉該適用,電路260也可從第1參考區塊的2個移動向量,導出用以參考第1參考圖片清單之2個候選移動向量、及用以參考第2參考圖片清單之2個候選移動向量。
又,第2參考區塊已透過雙預測進行解碼時,電路260也可分別對第2參考區塊之2個移動向量適用2個定標比值。藉該適用,電路260也可從第2參考區塊的2個移動向量,導出用以參考第1參考圖片清單之2個候選移動向量、及用以參考第2參考圖片清單之2個候選移動向量。
藉此,解碼裝置200可分別從2個參考區塊之4個移動向量,來導出候選移動向量組合,其中該候選移動向量組合是以參考2個參考圖片清單之2個候選移動向量所構成。即,解碼裝置200可從2個參考區塊之4個移動向量,來導出4組候選移動向量組合,其中該等候選移動向量組合是各自以2個候選移動向量所構成,該候選移動向量是可利用在雙預測。
又,例如,在第1參考區塊已透過雙預測進行解碼時,電路260也可從第1參考區塊之2個移動向量之中之其中一個移動向量,來導出用以參考第1參考圖片清單之候選移動向量。接著,此時,電路260也可從第1參考區塊之2個移動向量之中之另外一個移動向量,來導出用以參考第2參考圖片清單之候選移動向量。
又,在第2參考區塊已透過雙預測進行解碼時,電路260也可從第2參考區塊之2個移動向量之中之其中一個移動向量,來導出用以參考第1參考圖片清單之候選移動向量。接著,此時,電路260也可從第2參考區塊之2個移動向量之中之另外一個移動向量,來導出用以參考第2參考圖片清單之候選移動向量。
藉此,解碼裝置200可分別從2個參考區塊之4個移動向量導出4個候選移動向量,而可導出以4個候選移動向量所構成之2組候選移動向量組合。即,解碼裝置200可將2個參考區塊之4個移動向量分別適當地反映在2組候選移動向量組合所含之4個候選移動向量。
又,例如,第1參考區塊已透過單預測進行解碼時,電路260也可對第1參考區塊之1個移動向量適用2個定標比值。藉該適用,電路260也可從第1參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,第2參考區塊已透過單預測進行解碼時,電路260也可對第2參考區塊之1個移動向量適用2個定標比值。藉該適用,電路260也可從第2參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,解碼裝置200可從各參考區塊之僅只1個的移動向量,來導出以參考2個參考圖片清單之2個候選移動向量所構成的候選移動向量組合。即,解碼裝置200可從各參考區塊之僅只1個的移動向量,來導出候選移動向量組合,其中該候選移動向量組合是以可利用在雙預測之2個候選移動向量所構成。
又,例如,解碼對象區塊也可透過於顯示順序上前方向及後方向之中僅只一方向的雙預測進行解碼。此時,電路260也可從第1參考區塊的1個以上的移動向量,導出2個以上的候選移動向量,其中該候選移動向量是用以參考被使用在解碼對象區塊之雙預測之一方向。然後,此時,電路260也可從第2參考區塊之1個以上的移動向量,導出2個以上的候選移動向量,其中該候選移動向量是用以參考被使用在解碼對象區塊之雙預測之一方向。
藉此,解碼裝置200在於解碼對象區塊使用僅只一方向之雙預測時,可從各參考區塊導出參考一方向之2個以上的候選移動向量。因此,解碼裝置200可從各參考區塊,導出對僅只一方向的雙預測適合之1組以上的候選移動向量組合。
又,例如,第1參考圖片清單也可為用以參考在顯示順序上前方向的參考圖片清單。第2參考圖片清單也可為用以參考在顯示順序上後方向的參考圖片清單。第1參考區塊也可透過於顯示順序上前方向及後方向之兩方向的雙預測進行解碼。第2參考區塊也可透過於顯示順序上前方向及後方向之兩方向的雙預測進行解碼。解碼對象區塊也可透過於顯示順序上前方向及後方向之兩方向的雙預測進行解碼。
此時,電路260也可對第1參考區塊之2個移動向量之中,用以參考於顯示順序上後方向的1個移動向量,適用2個定標比值。藉該適用,電路260也可從第1參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
又,此時,電路260也可對第2參考區塊之2個移動向量之中,用以參考於顯示順序上前方向的1個移動向量,適用2個定標比值。藉該適用,電路260也可從第2參考區塊之1個移動向量,導出用以參考第1參考圖片清單之候選移動向量、及用以參考第2參考圖片清單之候選移動向量。
藉此,解碼裝置200可從各參考區塊之2個移動向量之中後述的參考方向之移動向量,導出參考2個參考圖片清單之候選移動向量組合,其中該參考方向為時間性質上自參考區塊而朝向解碼對象區塊之方向。即,解碼裝置200可於各參考區塊之2個移動向量之中,從相對於解碼對象區塊在時間性質上有高關聯性的移動向量,適當地導出可利用在雙預測的候選移動向量組合。
又,例如,第1參考區塊的空間性質之位置也可與解碼對象區塊的空間性質之位置相同,第2參考區塊的空間性質之位置也可與解碼對象區塊的空間性質之位置相同。
圖34B是一流程圖,顯示有關於動態圖像解碼時候選移動向量的導出之第2動作例。圖33所示之解碼裝置200在將動態圖像進行解碼時,也可進行圖34B所示的動作。
具體來說,解碼裝置200之電路260是使用第1鄰接區塊的第1移動向量,來特定第1參考圖片所含之第1參考區塊,其中該第1鄰接區塊為空間性質上鄰接於解碼對象區塊的區塊(S501)。在此,第1參考圖片是構成雙預測之用之2個參考圖片清單之中之第1參考圖片清單的圖片。然後,電路260就從第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊之預測移動向量之1個以上的候選移動向量(S502)。
又,電路260是使用第1移動向量、第1鄰接區塊的第2移動向量、或者空間性質上鄰接解碼對象區塊的第2鄰接區塊之第3移動向量,來特定第2參考圖片所含之第2參考區塊(S503)。在此,第2參考圖片是構成2個參考圖片清單之中之第2參考圖片清單的圖片。然後,電路260就從第2參考區塊的1個以上的移動向量,導出相對於預測移動向量之1個以上的候選移動向量(S504)。
接著,電路260是從複數個候選移動向量之中,選擇預測移動向量(S505)。在此,複數個候選移動向量包括從第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量。然後,電路260是使用預測移動向量,而將解碼對象區塊的資訊進行解碼(S506)。
藉此,解碼裝置200可利用1個以上的鄰接區塊的1個以上的移動向量,特定第1參考圖片清單中之第1參考區塊、及第2參考圖片清單中之第2參考區塊。即,解碼裝置200可使用1個以上的鄰接區塊之1個以上的移動向量,來特定被假設相對於解碼對象區塊有高關聯性的第1參考區塊及第2參考區塊。
接著,解碼裝置200可從第1參考區塊導出候選移動向量,且可從第2參考區塊導出候選移動向量。因此,解碼裝置200可提高如下之可能性,即,在用以選擇預測移動向量之複數個候選移動向量含有適合的候選移動向量。然後,藉此,解碼裝置200就可支援適合的預測移動向量之導出,且可支援有關於動態圖像之編碼量的削減。
又,在圖34B所示之第2動作例中,也能適用利用圖34A所說明的變形例或者具體例。
另,圖34B所示之第2動作例是圖34A所示之動作例中之第1參考區塊及第2參考區塊各個為ATMVP區塊之形態的例子。圖34A所示之第1動作例中之第1參考區塊及第2參考區塊各個,也可不是ATMVP區塊,而是同位區塊。
具體來說,圖34A所示之第1動作例中之第1參考區塊也可為在第1參考圖片中與解碼對象區塊位置相同的區塊。然後,圖34A所示之第1動作例中之第2參考區塊也可為在第2參考圖片中與解碼對象區塊位置相同的區塊。
圖34C是一流程圖,顯示有關於動態圖像解碼時之候選移動向量之導出的第3動作例。圖33所示之解碼裝置200係於將動態圖像進行解碼時,也可進行圖34C所示之動作。
具體來說,解碼裝置200的電路260是將複數個參考區塊中的各個參考區塊,依照該參考區塊的移動向量,而對映到解碼對象圖像中之對應區域(S601)。
在此,複數個參考區塊是包括第1參考圖片所含之1個以上的參考區塊、及第2參考圖片所含之1個以上的參考區塊。第1參考圖片是構成雙予測用之2個參考圖片清單之中之第1參考圖片清單之圖片。第2參考圖片是構成2個參考圖片清單之中之第2參考圖片清單的圖片。
接著,在對應區域重疊於解碼對象圖像中之解碼對象區塊時,電路260就從已對映到對應區域之參考區塊之移動向量,導出候選移動向量,做為複數個候選移動向量之1個(S602)。該複數個候選移動向量為相對於解碼對象區塊之預測移動向量之複數個候選移動向量。
接著,電路260是從複數個候選移動向量之中,選擇預測移動向量(S603)。然後,電路260是使用預測移動向量,將解碼對象區塊之資訊進行解碼(S604)。
藉此,解碼裝置200可在第1參考圖片清單及第2參考圖片清單中之複數個參考區塊之中,從被假設相對於解碼對象區塊有高關聯性之參考區塊,導出適合的候選移動向量。因此,解碼裝置200可提高如下之可能性,即,在用以選擇預測移動向量之複數個候選移動向量含有適合的候選移動向量。
然後,藉此,解碼裝置200就可支援適合的預測移動向量之導出,且可支援有關於動態圖像之編碼量的削減。
例如,電路260也可將第1參考圖片中之1個以上的參考區塊各個,在解碼對象圖像中進行對映。在這之後,電路260也可將第2參考圖片中之1個以上的參考區塊各個,在空白區域中進行對映,其中該空白區域是解碼對象圖像之中第1參考圖片中之1個以上的參考區塊未進行對映之區域。
藉此,解碼裝置200是較第2參考圖片清單中之1個以上的參考區塊,可使第1參考圖片清單中之1個以上的參考區塊優先來進行對映。有第1參考圖片清單中之參考區塊的移動向量之可靠性是較第2參考圖片清單中之參考區塊的移動向量之可靠性更高的情況。在如此情況,解碼裝置200可依照可靠性更高的移動向量,導出適合的候選移動向量。
又,例如,也可將2個以上的對應區域重疊在解碼對象區塊,其中該等2個以上的對應區域為複數個參考區塊之中之2個以上的參考區塊已進行對映的區域。此時,電路260也可從2個以上的參考區塊的2個以上的移動向量之中至少1個移動向量,導出候選移動向量。
藉此,解碼裝置200可從被假設相對於解碼對象區塊有高關聯性的複數個參考區塊之中至少1個參考區塊,導出適合的候選移動向量。
又,例如,沒有重疊在解碼對象區塊之對應區域存在,且有重疊在解碼對象區塊之周邊區域之對應區域存在,也可。此時,電路260也可從被對映到重疊於周邊區域之對應區域的參考區塊之移動向量,導出候選移動向量。
藉此,解碼裝置200就算在解碼對象區塊中沒有參考區塊對映,也可依照在解碼對象區塊的周邊被對映的參考區塊之移動向量,來導出適合的候選移動向量。
又,例如,電路260也可在從複數個候選移動向量之中選擇預測移動向量時,評價複數個候選移動向量各個,選擇在複數個候選移動向量之中被最高度評價的候選移動向量,做為預測移動向量。
電路260也可在評價複數個候選移動向量各個時,2個比較對象區域的再構成圖像間之適合程度愈高,則愈高度評價評價對象的候選移動向量。在此,2個比較對象區域為不同於解碼對象區塊的2個區域,且至少其中一個是依照評價對象的候選移動向量而決定的2個區域。
藉此,解碼裝置200可參考不同於解碼對象區塊之區域的再構成圖像,而評價各候選移動向量,從複數個候選移動向量之中選擇預測移動向量。因此,編碼裝置100與解碼裝置200可以相同方法,而從複數個候選移動向量之中選擇預測移動向量。藉此,解碼裝置200可以省去用以選擇預測移動向量的資訊之解碼,可支援編碼量的削減。
又,例如,電路260在從已對映至對應區域之參考區塊的移動向量導出候選移動向量時,也可導出已適用定標比值的參考區塊之移動向量,來做為候選移動向量。
在此,定標比值是指從解碼對象圖片迄至含有參考區塊之參考圖片的時間差之相對於從含有參考區塊之參考圖片迄至含有參考區塊之移動向量所指示的參考區域之參考圖片的時間差之比值。解碼對象圖片是含有解碼對象圖像之圖片。
藉此,解碼裝置200可將參考區塊的移動向量適當地進行定標,且可導出已進行定標的移動向量,做為候選移動向量。
又,例如,解碼對象區塊也可為以解碼單位而被決定的區塊,也可為在以解碼單位而被決定的區塊中,以預定尺寸決定的子區塊。
藉此,解碼裝置200可針對解碼單位的區塊、或者解碼單位的區塊內的子區塊,導出適合的候選移動向量。
又,例如,電路260也可針對解碼對象圖像中之複數個解碼對象區塊各個,在對應區域重疊在該解碼對象區塊時,從被對映到對應區域之參考區塊之移動向量,導出候選移動向量。在此,候選移動向量為相對於該解碼對象區塊之預測移動向量的候選移動向量。
藉此,解碼裝置200可針對解碼對象圖像中的各解碼對象區塊,導出適當的候選移動向量。
[補充] 上述之第1參考圖片清單為L0參考圖片清單及L1圖片清單之中的其中一個,上述之第2參考圖片清單是L0參考圖片清單及L1圖片清單之中的另一個。例如,第1參考圖片清單為L0參考圖片清單,第2參考圖片清單為L1參考圖片清單,也可。或者,第1參考圖片清單為L1參考圖片清單,第2參考圖片清單為L0參考圖片清單,也可。
又,參考區塊的移動向量也可定標成從處理對象區塊參考其他參考圖片的候選移動向量,前述其他參考圖片是與參考圖片索引為0之參考圖片不同的其他參考圖片。又,參考區塊之移動向量也可不進行定標,以原狀導出來做為候選移動向量。
又,定標比值為1時,在定標比值的適用中,也可略過定標處理。
又,本實施形態中之編碼裝置100及解碼裝置200,各自也可被做為圖像編碼裝置及圖像解碼裝置來利用,也可被做為動態圖像編碼裝置及動態圖像解碼裝置來利用。或者,編碼裝置100及解碼裝置200可各自做為間預測裝置來利用。
即,編碼裝置100及解碼裝置200,各自也可只對應於包含有候選清單產生部134之間預測部126、及包含有候選清單產生部234之間預測部218。然後,熵編碼部110及熵解碼部202等也可包含在其他裝置。
又,在本實施形態中,各構成要素可以專用的硬體所構成,或透過執行適於各構成要素的軟體程式來實現。各構成要素也可讓CPU或者處理器等之程式執行部讀出記錄在硬碟或者半導體記憶體等之記錄媒體的軟體程式來執行,藉此來實現。
具體來說,編碼裝置100及解碼裝置200各自也可具有處理電路(Processing Circuitry)、及記憶裝置(Storage),該記憶裝置是電連接於該處理電路,可由該處理電路進行存取。例如,處理電路是對應於電路160或260、記憶裝置是對應記憶體162或262。
處理電路包含有專用的硬體及程式執行部至少一者,使用記憶裝置來執行處理。又,記憶裝置在處理電路含有程式執行部時,記憶藉該程式執行部所執行之軟體程式。
在此,實現本實施形態之編碼裝置100或者解碼裝置200等之軟體為如下的程式。
即,該程式是讓電腦執行一種編碼方法,該編碼方法是將動態圖像的資訊進行編碼的編碼方法,進行:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊的預測移動向量之1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用的2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含的第2參考區塊之1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中,選擇前述預測移動向量,其中前述複數個候選移動向量包括從前述第1參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量;且使用前述預測移動向量,將前述編碼對象區塊的資訊進行編碼。
或者,該程式也可讓電腦執行一種解碼方法,該解碼方法是將動態圖像的資訊進行解碼的解碼方法,進行:從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊的預測移動向量之1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單;從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單;從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量包括從前述第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量;且使用前述預測移動向量,將前述解碼對象區塊的資訊進行解碼。
又,如上述,各構成要素也可為電路。該等電路也可以整體構成為1個電路,也可分別為個別的電路。又,各構成要素也可以通用式的處理器來實現,也可以專用的處理器來實現。
又,也可讓別的構成要素來執行特定的構成要素所要執行的處理。又,要執行處理的順序也可變更,複數個處理也可並行地執行。又,編碼解碼裝置也可包含有編碼裝置100及解碼裝置200。
在說明中所使用過的第1及第2等序數,也可適當地更替。又,對構成要素等,也可重新附上序數,也可移除之。
以上,針對編碼裝置100及解碼裝置200之態樣,已根據實施形態來說明,但編碼裝置100及解碼裝置200的態樣並不限於該實施形態。只要在不脫離本揭示的旨趣之狀態下,熟悉此項技藝之人士可思及之各種變形實施在本實施形態者、或者將不同實施形態的構成要素組合而所構建的形態,也可包括在編碼裝置100及解碼裝置200之態樣的範圍內。
(實施形態2) 在以上之各實施形態中,功能區塊每一個通常可藉MPU及記憶體等來實現。又,藉功能區塊每一個所進行的處理通常可以經由處理器等之程式執行部讀出ROM等之記錄媒體所記錄的軟體(程式)來執行,而予以實現。該軟體也可藉下載等來發佈,也可記錄在半導體記憶體等之記錄媒體來發佈。另,將各功能區塊透過硬體(專用電路)來實現,當然也可以。
又,在各實施形態中所說明的處理也可以使用單一裝置(系統)進行集中處理來實現,或者也可以使用複數個裝置進行分散處理來實現。又,執行上述程式的處理器也可為單數個,也可為複數個。即,可進行集中處理,或者也可進行分散處理。
本揭示的態樣並不限於以上的實施例,可做各種變更,其等變更也包括在本揭示的態樣之範圍內。
進而在此,說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用該方法之系統。該系統是以具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具有兩者之圖像編碼解碼裝置為特徵所在。針對系統中的其他構成,配合情況的需要,可適當地變更。
[使用例] 第35圖係顯示實現內容分發服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小,在各胞元內分別設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
在該內容供給系統ex100中,經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110,而將電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各種機器連接於網際網路ex101。該內容供給系統ex100可構成為組合上述任意要素連接。也可不經過為固定無線台之基地台ex106至ex110,而是使各機器經由電話線路網或者近距離無線裝置等直接或間接地互相連接。又,串流伺服器ex103是經由網際網路ex101等而與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等之各機器連接。又,串流伺服器ex103是經由衛星ex116而與飛機ex117內之熱點內的終端機等連接。
另,也可利用無線存取點或熱點等,來替代基地台ex106至ex110。又,串流伺服器ex103也可以不經由網際網路ex101或者網際網路服務提供者ex102,而直接與通訊網ex104連接,也可不經由衛星ex116,而直接與飛機ex117連接。
攝像機ex113是數位相機等可進行靜態圖像攝影及動態圖像攝影之機器。又,智慧型手機ex115一般是指對應於2G、3G、3.9G、4G、接著今後是被稱為5G之行動通訊系統的方式之智慧型話機、行動電話機、或者PHS(Personal Handyphone System)等。
家電ex118是包括在冰箱、或者家用燃料電池熱電共生系統之機器等。
在內容供給系統ex100中,讓具有攝影功能的終端機經由基地台ex106等而連接到串流伺服器ex103,以此可進行現場直播等。在現場直播中,終端機(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、及飛機ex117内之終端機等)是將如下所得到的資料發送到串流伺服器ex103,其中該資料是對用戶使用該終端機所攝影的靜態圖像或者動態圖像內容進行在上述各實施形態所說明的編碼處理,且將藉編碼所得到的影像資料、及已將對應於影像的聲音編碼後的聲音資料進行多工而所得到者。即,各終端機是做為本揭示一態樣的圖像編碼裝置而發揮功能。
另一方面,串流伺服器ex103是對於有了請求的客戶端將被發送的內容資料進行串流分發。客戶端是指可將上述經過編碼處理的資料進行解碼之電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或者飛機ex117內的終端機等。已接收到所分發的資料的各機器就將所接收的資料進行解碼處理後進行再現。即,各機器是做為本揭示一態樣之圖像解碼裝置而發揮功能。
[分散處理] 又,串流伺服器ex103也可為複數個伺服器或者是複數個電腦,將資料分散處理或記錄分發者。例如,串流伺服器ex103也可藉CDN(Contents Delivery Network)來實現,透過連接分散在世界各地的多數邊緣伺服器(edge server)彼此之間的網路來實現內容分發。在CDN中,因應客戶端而動態地分配實體性接近的邊緣伺服器。然後,內容被該邊緣伺服器快取及分發,以此可減少延遲的情況。又,在發生有任何錯誤時或者因流量增加等而使通訊狀態改變時,可以複數個邊緣伺服器分散處理,或者將分發主體切換到其他邊緣伺服器,而對已發生障礙的網路部分進行迂迴,來持續進行分發,因此可實現高速且穩定的分發。
又,不只是分發自身的分散處理,也可將所攝影的資料的編碼處理在各終端機進行,也可在伺服器側進行,也可互相分擔來進行。舉一例來說,一般在編碼處理中,進行處理循環2次。第1次的循環,會檢測以訊框或者場景單位的圖像之複雜度,或者編碼量。又,在第2次的循環,會維持畫質,進行使編碼效率提高的處理。例如,終端機進行第1次的編碼處理,已收到內容的伺服器側進行第2次的編碼處理,以此可一邊減少在各終端機的處理負擔,又能一邊提高內容的品質及效率。此時,若有幾乎以實時接收而要解碼的請求時,也可將終端機已進行過第1次的編碼完畢資料在其他終端機接收且進行再現,因此能達到更柔軟的實時分發。
舉另一例來說,攝像機ex113等是從圖像進行特徵量擷取,將有關於特徵量的資料進行壓縮,做為詮釋(meta)資料,而發送到伺服器。伺服器是例如從特徵量來判斷目標的重要性,而切換量化精度等因應圖像的意義來進行壓縮。特徵量資料對於伺服器上之再次壓縮時的移動向量預測之精度及效率提昇特別有效。又,在終端機進行VLC(可變長度編碼)等之簡易性編碼,在伺服器進行CABAC(Context適應型二值算術編碼方式)等處理負荷大的編碼,也可。
進而,以其他例來說,在體育場、購物商場、或者工廠等之中,會有經由複數個終端機而拍攝到幾乎相同的場景的複數個影像資料存在的情況。在該時候,使用進行過拍攝的複數個終端機、及因應需要而使用未拍攝的其他終端機及伺服器,以諸如GOP(Group of Picture)單位、圖片單位、或者將圖片分割之方塊單位等,分別分配編碼處理,來進行分散處理。藉此,減少延遲,能實現更佳的實時性。
又,複數個影像資料為幾乎相同的場景,因此也可在伺服器進行管理及/或指示,將在各終端機所拍攝的影像資料相互參考。或者,也可使伺服器接收來自各終端機的編碼完畢資料,在複數個資料之間變更參考關係,或者將圖片本身進行補正或交換,來重新進行編碼。藉此,可產生將一個一個資料的品質及效率提高的串流。
又,伺服器也可先進行將影像資料的編碼方式變更的轉碼,再分發影像資料。例如,伺服器也可將MPEG系的編碼方式轉換成VP系,也可將H.264轉換成H.265。
如此,編碼處理可透過終端機或者是1個以上的伺服器來進行。藉此,在下文中,作為進行處理的主體是採用「伺服器」或者是「終端機」等的記述,但也可讓以伺服器所進行的處理的一部分或者全部在終端機來進行,也可讓以終端機所進行的處理的一部分或者全部在伺服器來進行。又,有關於該等部分,針對解碼處理也是同樣。
[3D、多視角] 近年來,將幾乎互相同步的複數個攝像機ex113及/或智慧型手機ex115等之終端機所攝影的不同場景、或者是相同場景以不同的視角拍攝的圖像或影像整合來利用的情形也變多了。以各終端機所拍攝的影像是根據另外取得的終端機間之相對的位置關係、或者影像所含的特徵點一致的區域等來整合。
伺服器不只將二維的動態圖像進行編碼,還可根據動態圖像的場景解析等,而自動或者是在用戶所指定的時刻,將靜態圖像進行編碼,再發送到接收終端機。伺服器進而在可取得攝影終端機之間的相對的位置關係時,不只是二維的動態圖像,還可根據從不同視角而對相同場景拍攝的影像,產生該場景的三維形狀。另,伺服器也可另外將透過點雲(point cloud)等所產生的三維的資料進行編碼,也可根據使用三維資料而辨識或者追蹤人物或目標的結果,從以複數個終端機拍攝的影像選擇,或者再構成,而產生要發送到接收終端機的影像,也可。
如此進行後,用戶要任意選擇對應於各攝影終端機的各影像來觀賞場景也可,要觀賞從使用複數個圖像或者影像而再構成的三維資料剪出任意視點的影像的內容也可。進而,與影像同樣,也可從複數個不同視角收取聲音,令伺服器配合影像,與來自特定視角或空間的聲音和影像進行多工,之後再發送。
又,近年來, Virtual Reality(VR/虛擬實境)及Augmented Reality(AR/擴增實境)等對應現實世界及虛擬世界的內容也漸漸普及了。在VR的圖像的情況,也可使伺服器分別作出左眼用及右眼用的視點圖像,透過Multi-View Coding(MVC/多視角編碼)等,進行在各視點影像之間容許參考的編碼,也可不互相參考下做為不同串流來進行編碼。在解碼不同串流時,以因應用戶的視點而將虛擬的三維空間重現的方式,使其互相同步且再現為佳。
在AR的圖像的情況,伺服器會根據三維性質位置或者用戶的視點的移動,而將虛擬空間上的虛擬物體資訊重疊在現實空間的攝像機資訊。解碼裝置也可取得或者保持虛擬物體資訊及三維資料,因應用戶的視點的移動,產生二維圖像,而順利地接續,以此作成重疊資料。或者,解碼裝置也可在虛擬物體資訊的請求指令外,將用戶的視點的移動也發送到伺服器,伺服器配合接收的視點的移動而從保持在伺服器的三維資料來作成重疊資料,且將重疊資料進行編碼,再分發到解碼裝置。另,重疊資料除了RGB以外還具有顯示穿透度的α值,伺服器將從三維資料所作成的目標以外的部分之α值設定為0等,且使該部分為穿透的狀態下進行編碼,也可。或者,伺服器也可如同色鍵(Chroma key)產生資料,該資料為將預定的值之RGB值設定為背景,目標以外的部份則設定為背景色。
同樣,被進行分發的資料的解碼處理也可在客戶的各終端機進行,或是也可在伺服器側進行,或者也可相互分擔進行。以一例來說,某終端機一旦將接收請求送到伺服器,在其他終端機接收因應該請求的內容,進行解碼處理,將已解碼完畢的訊號發送到具有顯示器的裝置,也可。能在不依賴可通訊的終端機本身的性能之狀態下,將處理分散而選擇適合的內容,以此可再現畫質佳的資料。又,以另一例來說,一邊在TV等接收大尺寸的圖像資料,一邊將圖片分割後的方塊等一部分的區域在觀眾的個人終端進行解碼而顯示,也可。藉此,可共享整體圖像,並可在身邊確認本身的負責領域或者想更加詳細確認的區域。
又,今後不管是室內或室外,在可使用近距離、中距離、或者長距離之數種無線通訊的狀況下,利用MPEG-DASH等之分發系統規格,一邊對於連線中的通訊切換適合的資料,一邊無縫地接收內容,這是可預想得到的。藉此,用戶不只是本身的終端機,也可一邊自由地選擇設在室內或室外之顯示器等之解碼裝置或者顯示裝置,一邊實時地進行切換。又,根據本身的位置資訊等,可一邊切換解碼的終端機及顯示的終端機,一邊進行解碼。藉此,使得如下方式也可變得可行,即,在往目的地的移動中,一邊讓埋設有可進行顯示的元件之旁邊的建築物的壁面或者是地面的一部分顯示地圖資訊,一邊移動。又,基於網路上之對編碼資料的存取容易性,諸如有編碼資料會被伺服器快取,該伺服器是從接收終端機在短時間內可進行存取,或者是被複製到內容分發服務(Contents Delivery Service)中的邊緣伺服器等,來切換接收資料的位元率,也是可能。
[可調式編碼] 有關於內容的切換,是利用顯示於圖36之可擴充之串流來說明,該串流是應用在上述各實施形態所示的動態圖像編碼方法而被壓縮編碼的串流。伺服器具有複數個串流,且該等複數個串流是一個個的串流而言內容相同但品質不同,上述具有複數個串流的伺服器雖也無妨,但也可為如下構成,即,靈活運用時間型/空間型可調式的串流之特徵,來切換內容,其中該時間型/空間型可調式的串流是如圖所示分層來進行編碼,以此所實現者。即,解碼側因應例如性能的內在因素及通訊頻帶的狀態等之外在因素,來決定要解碼到哪一層,以此解碼側可自由地切換低影像解析度的內容及高影像解析度的內容,而進行解碼。例如想要把曾在移動中於智慧型手機ex115收看的影像的後續部分放到回家後以網路TV等的機器收看時,該機器只要將相同的串流進行解碼到不同層即可,因此可減輕伺服器側的負擔。
進而,如上述,在每層將圖片進行編碼,且在基本層的上位有加強層存在之實現可擴充性(scalability)之構成以外,也可為加強層含有基於圖像的統計資訊等之詮釋資訊,解碼側根據詮釋資訊,將基本層的圖片進行超影像解析,以此產生已高畫質化的內容。所謂超影像解析也可是同一解析度下的SN比的提昇、以及解析度的擴大之任一者。詮釋資訊是包括用以特定超影像解析處理所使用的線性或者是非線性的濾波係數的資訊、或者、用以特定超影像解析處理所使用的濾波處理、機械學習或者是最小平方運算中的參數值的資訊等。
或者,也可為如下構成,即,因應圖像內的目標(object)等的意涵,將圖片分割成方塊等,解碼側選擇要解碼的方塊,以此只將一部分的區域進行解碼。又,把目標的屬性(人物、車、球等)與影像內的位置(同一圖像中的座標位置等),當做為詮釋資訊來儲存,以此,解碼側可根據詮釋資訊,特定所希望的目標的位置,來決定包含該目標的方塊。例如,如圖37所示,詮釋資訊是使用HEVC中的SEI訊息等與像素資料不同之資料儲存構造來儲存。該詮釋資訊是例如顯示主目標的位置、尺寸、或者色彩等。
又,也可以串流、序列或者隨機存取單位等由複數個圖片所構成的單位來儲存詮釋資訊。藉此,解碼側可取得特定人物出現在影像內的時刻等,配合圖片單位的資訊,以此便可特定目標存在的圖片、及在圖片內之目標的位置。
[網頁的最適化] 圖38是顯示電腦ex111等之中網頁(web page)的顯示畫面例之圖。圖39是顯示智慧型手機ex115等之網頁的顯示畫面例之圖。如圖38及圖39所示,網頁有包括複數個鏈接圖像的情況,其中該等鏈接圖像為朝圖像內容的鏈接,該等鏈接圖像的看到方式會依據閱覽的元件而有所不同。在於畫面上看得到複數個鏈接圖像時,迄至用戶明白表示選擇鏈接圖像為止,或者是迄至鏈接圖像靠近畫面的中央附近或者鏈接圖像整體進入畫面內為止,顯示裝置(解碼裝置)是顯示各內容所具有的靜態圖像或I圖片來作為鏈接圖像,或以複數個靜態圖像或I圖片等顯示像gif動畫般的影像,或只有接收基本層而將影像進行解碼及顯示。
在由用戶選擇了鏈接圖像時,顯示裝置會將基本層視為最優先,來進行解碼。另,若在構成網頁的HTML具有顯示可調式型態的內容的資訊時,顯示裝置也可進行解碼迄至加強層為止。又,為了保證實時性,在被選擇之前或者通訊頻帶極窄時,顯示裝置只對參考前方的圖片(I圖片、P圖片、僅只參考前方的B圖片)進行解碼及顯示,以此可減少前頭圖片的解碼時刻與顯示時刻間的延遲(從內容的解碼開始迄至顯示開始之延遲)。又,顯示裝置也可硬是忽視圖片的參考關係,而使全部的B圖片及P圖片為參考前方,先粗略地進行解碼,然後經過一段時間,隨著所接收的圖片的增加,再進行正常的解碼。
[自動行駛] 又,為了汽車的自動行駛或者支援行駛,而發送及接收二維或者三維的地圖資訊等之靜態圖像或者是影像資料時,接收終端機除了屬於1層以上的層級之圖像資料以外,也可接收天氣或者施工的資訊等來做為詮釋資訊,並使該等資訊對應而進行解碼。另,詮釋資訊也可屬於層,也可只單純地與圖像資料進行多工。
此時,含有接收終端機的汽車、空拍機或者飛機等會移動,因此接收終端機會在請求接收時,將該接收終端機的位置資訊進行發送,以此可一邊切換基地台ex106至ex110,一邊實現無縫的接收及解碼。又,接收終端機可因應用戶的選擇、用戶的狀況或者通訊頻帶的狀態,而動態地切換將詮釋資訊接收到哪一程度,或者是將地圖資訊更新到何種程度。
如上進行,在內容供給系統ex100中,可讓客戶實時接收用戶所發送的已編碼的資訊並將其解碼,且進行再現。
[個人內容的分發] 又,在內容供給系統ex100中,不只以透過影像分發業者所進行的高畫質進行長時間的內容,還能以透過個人所進行的低畫質進行短時間的內容的單點傳播、或者多點播送進行分發。又,像這樣的個人的內容,認為今後也會增加。為了將個人內容做成更優異的內容,伺服器也可進行編輯處理,之後再進行編碼處理。這是例如可以如下的構成來實現。
在攝影時實時或者先儲存後於攝影後,伺服器從原圖或者編碼完畢資料,進行攝影錯誤、場景搜尋、意義的解析、及目標檢測等之辨識處理。接著,伺服器根據辨識結果,而以手動或者自動地進行補正失焦或手震等,或者是刪除明度比其他圖片低或未對到焦距的場景等重要性低的場景,或者是強調目標的邊緣,或者是變化色調等之編輯。伺服器根據編輯結果,而將編輯後的資料進行編碼。又,已知道攝影時間太長時,收視率會下降,伺服器也可根據圖像處理結果,不只是對如上述般重要性低的場景,亦對動作少的場景等自動地進行剪輯,以因應撮影時間而成為特定的時間範圍內的內容。或者,伺服器也可根據場景的意義解析的結果,來產生摘要(digest),且進行編碼。
另,在個人內容中,若保持原狀,也有成為著作權、著作人人格權、或者肖像權等侵害的東西被拍進去的事例,也有共享的範圍超過所意圖的範圍等,對個人來說是不宜的情況。因此,例如,伺服器也可刻意地將畫面的周邊部的人臉或者是家裡等,變更成不對焦的圖像,來進行編碼。又,伺服器也可辨識在編碼對象圖像內是否有拍到人物的臉,其中該人物是與已事先登錄的人物不同,若有拍到時,對臉的部分進行加上馬賽克等之處理。或者,在編碼的前處理或者後處理上,從著作權等的觀點來看,用戶指定想要加工圖像的人物或者背景區域,伺服器將所指定的區域替換成別的影像,或者進行模糊焦點等的處理,也可。若是人物時,在動態圖像中,可一邊追蹤人物,一邊將臉的部分影像替換。
又,由於資料量小的個人內容的收看在實時性的要求高,雖然依頻帶寬度有所差異,但解碼裝置首先是以基本層最優先地接收,然後進行解碼及再現。解碼裝置也可在這其間接收加強層,在有再現循環時等有再現2次以上的時候,連同加強層在內將高畫質的影像再現。若是已進行如此有可擴充性編碼之串流的話,就能提供如下體驗,即,在未選擇時或者剛開始看的階段,是粗糙的動畫,但串流漸漸地變精緻了,圖像就會變好。除了可擴充編碼以外,以在第1次再現的粗糙的串流、及參考第1次動畫來編碼的第2次的串流,當做為1個串流來構成,也可提供同樣的體驗。
[其他使用例] 又,該等編碼或者解碼處理,一般來說是在各終端機所具有的LSIex500中來處理。LSIex500可以是單晶片,也可以是由複數個晶片所構成。另,將動態圖像編碼或者解碼用的軟體也可裝入以電腦ex111等可讀取的某些記錄媒體(CD-ROM、軟碟、或者硬碟等),並使用該軟體來進行編碼或者解碼處理。進而,智慧型手機ex115是附有攝像機時,也可發送以該攝像機取得的動畫資料。此時的動畫資料是已經透過智慧型手機ex115所具有的LSIex500進行編碼處理的資料。
另,LSIex500也可為下載應用軟體程式來起動之構成。此時,首先,終端機要判斷該終端機是否對應內容的編碼方式,或者是否具有特定服務的執行能力。在終端機未對應內容的編碼方式時,或者不具有特定服務的執行能力時,終端機要下載編解碼器或者應用軟體程式,之後進行內容的取得及再現。
又,不限於經由網際網路ex101的內容供給系統ex100,在數位式廣播用系統也可裝入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或者動態圖像解碼裝置(圖像解碼裝置)之任一者。由於是利用衛星等而在廣播用的電波乘載已將影像與聲音進行多工處理的多工資料,來進行傳送接收,所以相對於內容供給系統ex100的易於進行單點傳播的構成,數位式廣播用系統雖有是利於多點播送的差異,但有關於編碼處理及解碼處理,仍可做同樣的應用。
[硬體構成] 圖40是顯示智慧型手機ex115的圖。又,圖41是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115包含有:天線ex450,是用以於與基地台ex110之間收發電波;攝像機部ex465,是可拍攝影像及靜態圖像;以及顯示部ex458,是顯示已將以攝像機部ex465所拍攝的影像、及以天線ex450所接收的影像等進行解碼之資料。智慧型手機ex115更包含有:操作部ex466,為觸控面板等;聲音輸出部ex457,為用以輸出聲音或者音響的揚聲器等;聲音輸入部ex456,為用以輸入聲音之麥克風等;記憶部ex467,可將所拍攝的影像或者靜態圖像、已錄取的聲音、已接收的影像或者靜態圖像、郵件等的已編碼的資料、或者已解碼的資料保存;及插槽部ex464,為與SIMex468之間的介面部,其中SIMex468為用以特定用戶,從網路開始實行對各種資料進行存取的認證。另,替代記憶部ex467,也可使用外接式記憶體。
又,將顯示部ex458及操作部ex466等統合性地控制的主控制部ex460,與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、以及記憶部ex467是經由匯流排ex470來連接。
電源電路部ex461是藉由用戶的操作使電源開關成為開啟狀態時,從電池組對各部供應電力,藉此使智慧型手機ex115起動成可動作的狀態。
智慧型手機ex115是基於具有CPU、ROM及RAM等之主控制部ex460的控制,進行通話及資料通訊等的處理。在通話時是將以聲音輸入部ex456所收音的聲音訊號在聲音訊號處理部ex454轉換成數位式聲音訊號,將該訊號在調變/解調部ex452進行頻譜擴散處理,在發送/接收部ex451實施數位類比轉換處理以及頻率轉換處理,之後再經由天線ex450進行發送。又,將接收資料放大,並實施頻率轉換處理以及類比數位轉換處理,在調變/解調部ex452進行頻譜反擴散處理,在聲音訊號處理部ex454轉換成類比聲音訊號,之後再將該訊號從聲音輸出部ex457進行輸出。在資料通訊模式時,透過本體部的操作部ex466等的操作,將正文、靜態圖像、或者影像資料經由操作輸入控制部ex462而送出至主控制部ex460,同樣被進行收發處理。在資料通訊模式時,於發送影像、靜態圖像、或者影像及聲音的情況,影像訊號處理部ex455是將記憶部ex467所保存的影像訊號、或者從攝像機部ex465所輸入的影像訊號透過上述各實施形態所示的動態圖像編碼方法進行壓縮編碼,且將業經編碼的影像資料送出至多工/分離部ex453。又,聲音訊號處理部ex454是將在以攝像機部ex465將影像或者靜態圖像等攝影中於聲音輸入部ex456所收音的聲音訊號進行編碼,且將業經編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453是將業經編碼完畢的影像資料及業經編碼完畢的聲音資料以預定的方式進行多工,且於調變/解調部(調變/解調電路部)ex452、及發送/接收部ex451實施調變處理及轉換處理,再經由天線ex450來發送。
在接收到電子郵件或者對話(chat)所附的影像、或者聯結到網頁等的影像時,為了將經由天線ex450所接收到的多工資料進行解碼,多工/分離部ex453將多工資料進行分離,藉此把多工資料分成影像資料的位元串流及聲音資料的位元串流,經由同步匯流排ex470,而將業經編碼的影像資料供給至影像訊號處理部ex455,並將業經編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455透過對應上述各實施形態所示的動態圖像編碼方法之動態圖像解碼方法,而將影像訊號進行解碼,且經由顯示器控制部ex459,而從顯示部ex458,顯示被聯結的動態圖像檔所含之影像或者靜態圖像。又,聲音訊號處理部ex454是將聲音訊號進行解碼,且從聲音輸出部ex457輸出聲音。另,由於實時串流傳輸(real-time streaming)已經普及了,依用戶的狀況,聲音的再現也可能會有對社會上不合適的場面發生。為此,作為初始值,聲音訊號不要再現,而只將影像資料再現的構成是較被希望的。也可以是只有在用戶進行了操作,如點選影像資料等的時候,將聲音同步地再現。
又,在此,是以智慧型手機ex115為例進行了說明,以終端機而言也可考慮如下3種安裝形式,除了具有編碼器及解碼器兩者的訊號收發型終端機之外,只具有編碼器的發訊終端機、及只具有解碼器的收訊終端機。進而,在數位廣播用系統中,是以接收或者發送在影像資料上已有聲音資料等進行多工處理之多工資料的情形來說明,但多工資料上除了聲音資料以外,也可有與影像有關聯的文字資料等進行多工處理,也可接收或者發送影像資料本身,而不是多工資料。
另,以含有CPU的主控制部ex460控制編碼處理或者解碼處理的情形來說明,但終端機具備GPU的情況也居多。因此,如後述構成也可,即,透過在CPU與GPU共通化的記憶體、或者有將位址加以管理以形成共通使用之狀態的記憶體,靈活運用GPU的性能,將廣大區域匯整來一起處理者。藉此,可縮短編碼時間,確保實時性,可實現低延遲。尤其,不是利用CPU,而是透過GPU,以圖片等的單位匯整來一起進行移動估測、解區塊濾波器、SAO(Sample Adaptive Offset)、及轉換、量化的處理時,就極具效率。
產業利用性 本揭示是可利用在諸如電視接收機、數位視頻錄影機、車用導航、行動電話機、數位照相機、數位視頻攝影機、視訊會議系統、或者電子鏡等。
100‧‧‧編碼裝置
102‧‧‧分割部
104‧‧‧減法部
106‧‧‧轉換部
108‧‧‧量化部
110‧‧‧熵編碼部
112、204‧‧‧反量化部
114、206‧‧‧反轉換部
116、208‧‧‧加法部
118、210‧‧‧區塊記憶體
120、212‧‧‧迴路濾波部
122、214‧‧‧訊框記憶體
124、216‧‧‧內預測部
126、218‧‧‧間預測部
128、220‧‧‧預測控制部
132‧‧‧圖片型式決定部
134、234‧‧‧候選清單產生部
136、236‧‧‧候選區塊資訊記憶體
160、260‧‧‧電路
162、262‧‧‧記憶體
200‧‧‧解碼裝置
202‧‧‧熵解碼部
ex100‧‧‧內容供給系統
ex101‧‧‧網際網路
ex102‧‧‧網際網路服務提供者
ex103‧‧‧串流伺服器
ex104‧‧‧通訊網
ex106至ex110‧‧‧基地台
ex111‧‧‧電腦
ex112‧‧‧遊戲機
ex113‧‧‧攝像機
ex114‧‧‧家電
ex115‧‧‧智慧型手機
ex116‧‧‧衛星
ex117‧‧‧飛機
ex450‧‧‧天線
ex451‧‧‧發送/接收部
ex452‧‧‧調變/解調部
ex453‧‧‧多工/分離部
ex454‧‧‧聲音訊號處理部
ex455‧‧‧影像訊號處理部
ex456‧‧‧聲音輸入部
ex457‧‧‧聲音輸出部
ex458‧‧‧顯示部
ex459‧‧‧顯示器控制部
ex460‧‧‧主控制部
ex461‧‧‧電源電路部
ex462‧‧‧操作輸入控制部
ex463‧‧‧攝像機介面部
ex464‧‧‧插槽部
ex465‧‧‧攝像機部
ex466‧‧‧操作部
ex467‧‧‧記憶部
ex468‧‧‧SIM
ex470‧‧‧匯流排
圖1是顯示實施形態1之編碼裝置之功能構成的方塊圖。
圖2是顯示實施形態1之區塊分割之一例之圖。
圖3是顯示對應於各轉換型式之轉換基底函數之表。
圖4A是顯示在ALF所使用之濾波器之形狀一例之圖。
圖4B是顯示ALF所使用之濾波器的形狀另一例之圖。
圖4C是顯示ALF所使用之濾波器的形狀另一例之圖。
圖5A是顯示內預測中之67個內預測模式之圖。
圖5B是流程圖,用以說明藉OBMC處理之預測圖像補正處理之概要。
圖5C是概念圖,用以說明藉OBMC處理之預測圖像補正處理之概要。
圖5D是顯示FRUC一例之圖。
圖6是用以說明在沿著移動軌跡的2個區塊之間的圖案匹配(雙向匹配)之圖。
圖7是用以說明當前圖片內的模板與參考圖片內之區塊間的圖片匹配(模板匹配)之圖。
圖8是用以說明假設等速直線移動之模型的圖。
圖9A是用以說明子區塊單位的移動向量之導出之圖,該子區塊單位的移動向量是基於複數個鄰接區塊之移動向量。
圖9B是用以說明合併模式之移動向量導出處理之概要之圖。
圖9C是用以說明DMVR處理之概要之概念圖。
圖9D是用以說明預測圖像產生方法之概要之圖,該預測圖像產生方法是使用了LIC處理的亮度補正處理。
圖10是方塊圖,顯示實施形態1之解碼裝置的功能構成。
圖11是顯示鄰接區塊及鄰接區塊的移動向量之概念圖。
圖12是顯示同位區塊(co-located block)及同位區塊的移動向量之概念圖。
圖13是ATMVP區塊及ATMVP區塊的移動向量之概念圖。
圖14是顯示編碼對象區塊、鄰接區塊及移動物之範圍的關係之例的概念圖。
圖15是顯示不適合的ATMVP區塊之例的概念圖。
圖16是方塊圖,更具體地顯示實施形態1之編碼裝置的功能構成。
圖17是方塊圖,更具體地顯示實施形態1之解碼裝置的功能構成。
圖18A是顯示候選移動向量之概念圖,該候選移動向量是從L0參考圖片清單所含之雙預測的同位區塊所導出。
圖18B是顯示候選移動向量之概念圖,該候選移動向量是從L1參考圖片清單所含之雙預測的同位區塊所導出。
圖19A是顯示候選移動向量之概念圖,該候選移動向量是從L0參考圖片清單所含之單預測的同位區塊所導出。
圖19B是顯示候選移動向量之概念圖,該候選移動向量是從L1參考圖片清單所含之單預測的同位區塊所導出。
圖20A是顯示候選移動向量之概念圖,該候選移動向量是相對於僅只一方向的雙預測之編碼對象區塊而從L0參考圖片清單所含之雙預測的同位區塊所導出。
圖20B是顯示候選移動向量之概念圖,該候選移動向量是相對於僅只一方向的雙預測之編碼對象區塊,而從L1參考圖片清單所含之雙預測的同位區塊所導出。
圖21A是顯示候選移動向量之概念圖,該候選移動向量是從L0參考圖片清單所含之ATMVP區塊所導出。
圖21B是顯示候選移動向量之概念圖,該候選移動向量是從L1參考圖片清單所含之ATMVP區塊所導出。
圖22是概念圖,顯示有關於複數個候選移動向量之複數個群組。
圖23是概念圖,顯示用以導出空間候選移動向量之區塊。
圖24是概念圖,顯示L0參考圖片清單所含之區塊及L1參考圖片清單所含之區塊之匹配。
圖25是顯示空白區域之概念圖。
圖26是顯示重複區域之概念圖。
圖27是顯示編碼對象區塊及對應區域之例之概念圖。
圖28是顯示編碼對象區塊及2個對應區域之例之概念圖。
圖29是概念圖,顯示編碼對象區塊、複數個鄰接區塊及複數個對應區域之例。
圖30是概念圖,顯示作為編碼單位而被決定的區塊、及以預定的尺寸而被決定之子區塊。
圖31是顯示實施形態1之編碼裝置之安裝例之方塊圖。
圖32A是流程圖,顯示有關於動態圖像編碼時的候選移動向量之導出之第1動作例。
圖32B是流程圖,顯示有關於動態圖像編碼時的候選移動向量之導出之第2動作例。
圖32C是流程圖,顯示有關於動態圖像編碼時的候選移動向量之導出之第3動作例。
圖33是方塊圖,顯示實施形態1之解碼裝置的安裝例。
圖34A是流程圖,顯示有關於動態圖像解碼時的候選移動向量之導出之第1動作例。
圖34B是流程圖,顯示有關於動態圖像解碼時的候選移動向量之導出之第2動作例。
圖34C是流程圖,顯示有關於動態圖像解碼時的候選移動向量之導出之第3動作例。
圖35是實現內容分發服務之內容供給系統的整體構成圖。
圖36是顯示可調式編碼時之編碼構造一例之圖。
圖37是顯示可調式編碼時之編碼構成一例之圖。
圖38是顯示網頁的顯示畫面例之圖。
圖39是顯示網頁的顯示畫面例之圖。
圖40是顯示智慧型手機一例之圖。
圖41是顯示智慧型手機的構成例之方塊圖。

Claims (18)

  1. 一種編碼裝置,是將動態圖像的資訊進行編碼,包含有:記憶體、及可對前述記憶體進行存取的電路,其中,可對前述記憶體進行存取的前述電路是: 從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用的2個參考圖片清單之中的第1參考圖片清單; 從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量的1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單; 從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量是包括從前述第1參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出的1個以上的候選移動向量; 且使用前述預測移動向量,將前述編碼對象區塊的資訊進行編碼。
  2. 如請求項1之編碼裝置,其中前述電路是在前述第1參考區塊已透過雙預測進行編碼時,對前述第1參考區塊的2個移動向量之中的1個移動向量適用2個定標比值,藉此從前述第1參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量, 且在前述第2參考區塊已透過雙預測進行編碼時,對前述第2參考區塊的2個移動向量之中的1個移動向量適用2個定標比值,藉此從前述第2參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量。
  3. 如請求項2之編碼裝置,其中前述電路是在前述第1參考區塊已透過顯示順序上前方向及後方向之中僅只一方向之雙預測進行編碼時,對前述第1參考區塊的2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第1參考區塊的2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量, 且在前述第2參考區塊已透過顯示順序上前方向及後方向之中僅只一方向之雙預測進行編碼時,對前述第2參考區塊的2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第2參考區塊的2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量。
  4. 如請求項1之編碼裝置,其中前述電路是在前述第1參考區塊已透過雙預測進行編碼時,對前述第1參考區塊之2個移動向量之每一個適用2個定標比值,藉此從前述第1參考區塊的2個移動向量,導出用以參考前述第1參考圖片清單的2個候選移動向量、及用以參考前述第2參考圖片清單的2個候選移動向量, 且在前述第2參考區塊已透過雙預測進行編碼時,對前述第2參考區塊的2個移動向量之每一個適用2個定標比值,藉此從前述第2參考區塊的2個移動向量,導出用以參考前述第1參考圖片清單的2個候選移動向量、及用以參考前述第2參考圖片清單的2個候選移動向量。
  5. 如請求項1之編碼裝置,其中前述電路是在前述第1參考區塊已透過雙預測進行編碼時,從前述第1參考區塊的2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量,且從前述第1參考區塊的2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單的候選移動向量, 並且在前述第2參考區塊已透過雙預測進行編碼時,從前述第2參考區塊的2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量,且從前述第2參考區塊的2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單的候選移動向量。
  6. 如請求項1至5中任一項之編碼裝置,其中前述電路是在前述第1參考區塊已透過單預測進行編碼時,對前述第1參考區塊的1個移動向量適用2個定標比值,藉此從前述第1參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量, 且在前述第2參考區塊已透過單預測進行編碼時,對前述第2參考區塊的1個移動向量適用2個定標比值,藉此從前述第2參考區塊的1個移動向量,導出用以參考前述第1參考圖片清單的候選移動向量、及用以參考前述第2參考圖片清單的候選移動向量。
  7. 如請求項1至5中任一項之編碼裝置,其中前述電路是在前述編碼對象區塊透過顯示順序上前方向及後方向之中僅只一方向的雙預測進行編碼時, 從前述第1參考區塊的1個以上的移動向量,導出用來參考前述一方向之2個以上的候選移動向量,其中前述一方向是被使用在前述編碼對象區塊之雙預測, 且從前述第2參考區塊的1個以上的移動向量,導出用來參考前述一方向之2個以上的候選移動向量,其中前述一方向是被使用在前述編碼對象區塊之雙預測。
  8. 如請求項1或2之編碼裝置,其中前述電路是在前述第1參考圖片清單為參考顯示順序上前方向之用的參考圖片清單,前述第2參考圖片清單為參考顯示順序上後方向之用的參考圖片清單,前述第1參考區塊已透過顯示順序上前方向及後方向之兩方向的雙預測進行編碼,前述第2參考區塊已透過顯示順序上前方向及後方向之兩方向的雙預測進行編碼,且前述編碼對象區塊透過顯示順序上前方向及後方向之兩方向的雙預測進行編碼時, 對前述第1參考區塊的2個移動向量之中,用來參考顯示順序上後方向之1個移動向量,適用2個定標比值,藉此從前述第1參考區塊的1個移動向量,導出用來參考前述第1參考圖片清單的候選移動向量、及用來參考前述第2參考圖片清單的候選移動向量, 對前述第2參考區塊的2個移動向量之中,用來參考顯示順序上前方向之1個移動向量,適用2個定標比值,藉此從前述第2參考區塊的1個移動向量,導出用來參考前述第1參考圖片清單的候選移動向量、及用來參考前述第2參考圖片清單的候選移動向量。
  9. 一種解碼裝置,是將動態圖像的資訊進行解碼之裝置,包含有記憶體、及可對前述記憶體進行存取之電路, 其中,可對前述記憶體進行存取之前述電路是: 從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單; 從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量的1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單; 從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量是包括從前述第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量; 且使用前述預測移動向量,將前述解碼對象區塊的資訊進行解碼。
  10. 如請求項9之解碼裝置,其中前述電路是在前述第1參考區塊已透過雙預測進行解碼時,對前述第1參考區塊之2個移動向量之中的1個移動量,適用2個定標比值,藉此從前述第1參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量, 且在前述第2參考區塊已透過雙預測進行解碼時,對前述第2參考區塊之2個移動向量之中的1個移動量,適用2個定標比值,藉此從前述第2參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量。
  11. 如請求項10之解碼裝置,其中前述電路是在前述第1參考區塊已透過顯示順序上前方向及後方向之中僅只一方向之雙預測進行解碼時,對前述第1參考區塊之2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第1參考區塊之2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量, 且在前述第2參考區塊已透過顯示順序上前方向及後方向之中僅只一方向之雙預測進行解碼時,對前述第2參考區塊之2個移動向量之中1個移動向量適用2個定標比值,藉此從前述第2參考區塊之2個移動向量之中1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量。
  12. 如請求項9之解碼裝置,其中前述電路是在前述第1參考區塊已透過雙預測進行解碼時,對前述第1參考區塊之2個移動向量之每一個適用2個定標比值,藉此從前述第1參考區塊之2個移動向量,導出用以參考前述第1參考圖片清單之2個候選移動向量、及用以參考前述第2參考圖片清單之2個候選移動向量, 且在前述第2參考區塊已透過雙預測進行解碼時,對前述第2參考區塊之2個移動向量之每一個適用2個定標比值,藉此從前述第2參考區塊之2個移動向量,導出用以參考前述第1參考圖片清單之2個候選移動向量、及用以參考前述第2參考圖片清單之2個候選移動向量。
  13. 如請求項9之解碼裝置,其中前述電路是在前述第1參考區塊已透過雙預測進行解碼時,從前述第1參考區塊之2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量,且從前述第1參考區塊之2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單之候選移動向量, 且在前述第2參考區塊已透過雙預測進行解碼時,從前述第2參考區塊之2個移動向量之中的其中一個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量,且從前述第2參考區塊之2個移動向量之中的另一個移動向量,導出用以參考前述第2參考圖片清單之候選移動向量。
  14. 如請求項9至13中任一項之解碼裝置,其中前述電路是在前述第1參考區塊已透過單預測進行解碼時,對前述第1參考區塊之1個移動向量適用2個定標比值,藉此從前述第1參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量, 且在前述第2參考區塊已透過單預測進行解碼時,對前述第2參考區塊之1個移動向量適用2個定標比值,藉此從前述第2參考區塊之1個移動向量,導出用以參考前述第1參考圖片清單之候選移動向量、及用以參考前述第2參考圖片清單之候選移動向量。
  15. 如請求項9至13中任一項之解碼裝置,其中前述電路是在前述解碼對象區塊透過顯示順序上前方向及後方向之中僅只一方向之雙預測進行解碼時, 從前述第1參考區塊之1個以上的移動向量導出用來參考前述一方向之2個以上的候選移動向量,其中前述一方向是被使用在前述解碼對象區塊的雙預測, 且從前述第2參考區塊之1個以上的移動向量導出用來參考前述一方向之2個以上的候選移動向量,其中前述一方向是被使用在前述解碼對象區塊的雙預測。
  16. 如請求項9或10之解碼裝置,其中前述電路是在前述第1參考圖片清單為參考顯示順序上前方向之用的參考圖片清單,前述第2參考圖片清單是參考顯示順序上後方向之用的參考圖片清單,前述第1參考區塊是已透過顯示順序上前方向及後方向之兩方向的雙預測進行解碼,前述第2參考區塊是已透過顯示順序上前方向及後方向之兩方向的雙預測進行解碼,且前述解碼對象區塊透過顯示順序上前方向及後方向之兩方向的雙預測進行解碼時, 對前述第1參考區塊之2個移動向量之中,用來參考顯示順序上後方向之1個移動向量,適用2個定標比值,藉此從前述第1參考區塊的1個移動向量,導出用來參考前述第1參考圖片清單之候選移動向量、及用來參考前述第2參考圖片清單之候選移動向量, 且對前述第2參考區塊之2個移動向量之中,用來參考顯示順序上前方向之1個移動向量,適用2個定標比值,藉此從前述第2參考區塊之1個移動向量,導出用來參考前述第1參考圖片清單之候選移動向量、及用來參考前述第2參考圖片清單之候選移動向量。
  17. 一種編碼方法,是將動態圖像的資訊進行編碼之編碼方法,進行: 從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於編碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用的2個參考圖片清單之中的第1參考圖片清單; 從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單; 從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量是包括從前述第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量; 且使用前述預測移動向量,將前述編碼對象區塊的資訊進行編碼。
  18. 一種解碼方法,是將動態圖像的資訊進行解碼之解碼方法,進行: 從第1參考圖片所含之第1參考區塊的1個以上的移動向量,導出相對於解碼對象區塊之預測移動向量的1個以上的候選移動向量,其中前述第1參考圖片是構成雙預測之用之2個參考圖片清單之中的第1參考圖片清單; 從第2參考圖片所含之第2參考區塊的1個以上的移動向量,導出相對於前述預測移動向量之1個以上的候選移動向量,其中前述第2參考圖片是構成前述2個參考圖片清單之中的第2參考圖片清單; 從複數個候選移動向量之中選擇前述預測移動向量,其中前述複數個候選移動向量是包括從前述第1參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量、及從前述第2參考區塊之1個以上的移動向量所導出之1個以上的候選移動向量; 且使用前述預測移動向量,將前述解碼對象區塊的資訊進行解碼。
TW106142777A 2016-12-09 2017-12-06 編碼裝置、解碼裝置、編碼方法及解碼方法 TW201834457A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662431995P 2016-12-09 2016-12-09
US62/431,995 2016-12-09

Publications (1)

Publication Number Publication Date
TW201834457A true TW201834457A (zh) 2018-09-16

Family

ID=62491998

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106142777A TW201834457A (zh) 2016-12-09 2017-12-06 編碼裝置、解碼裝置、編碼方法及解碼方法

Country Status (2)

Country Link
TW (1) TW201834457A (zh)
WO (1) WO2018105580A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113348488A (zh) * 2018-12-21 2021-09-03 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505486B (zh) * 2019-08-23 2022-09-02 绍兴文理学院 一种对高概率运动矢量映射的编码及解码方法
CN110602502B (zh) * 2019-08-23 2022-08-16 绍兴文理学院 一种运动矢量编码和解码的方法
CN113453005B (zh) * 2020-03-26 2022-11-01 杭州海康威视数字技术股份有限公司 解码方法、编码方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208259A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113348488A (zh) * 2018-12-21 2021-09-03 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN113348488B (zh) * 2018-12-21 2024-05-10 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Also Published As

Publication number Publication date
WO2018105580A1 (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
TWI820019B (zh) 圖像解碼裝置及解碼方法
JP6946419B2 (ja) 復号装置、復号方法及びプログラム
WO2018199051A1 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP7014881B2 (ja) 符号化装置及び符号化方法
TWI782974B (zh) 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
JP2020198649A (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019151279A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018105582A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2021101576A (ja) 復号装置及び記憶媒体
WO2019151284A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019221103A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP6770192B2 (ja) 符号化装置、符号化方法、復号装置及び復号方法
TWI814726B (zh) 編碼裝置及解碼裝置
WO2018105580A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP6767579B2 (ja) 符号化装置、符号化方法、復号装置及び復号方法
JP6910461B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019151297A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019151280A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2019163794A1 (ja) 符号化装置及び符号化方法
WO2019124191A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
WO2018105581A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201924338A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI827605B (zh) 解碼裝置及解碼方法
WO2019163795A1 (ja) 符号化装置及び符号化方法