TW201635795A - 影像處理裝置及影像處理方法 - Google Patents

影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TW201635795A
TW201635795A TW104142307A TW104142307A TW201635795A TW 201635795 A TW201635795 A TW 201635795A TW 104142307 A TW104142307 A TW 104142307A TW 104142307 A TW104142307 A TW 104142307A TW 201635795 A TW201635795 A TW 201635795A
Authority
TW
Taiwan
Prior art keywords
image
unit
prediction
motion vector
vector
Prior art date
Application number
TW104142307A
Other languages
English (en)
Other versions
TWI682660B (zh
Inventor
Ohji Nakagami
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201635795A publication Critical patent/TW201635795A/zh
Application granted granted Critical
Publication of TWI682660B publication Critical patent/TWI682660B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本揭露係有關於，可以使利用到畫面內之相關性的預測進行之際的編碼效率有所提升的影像處理裝置及影像處理方法。 預測向量生成部，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將候補區塊設定成無法取用，並使用參考運動向量來生成目前運動向量之預測向量。差分向量生成部係生成，目前運動向量與已被預測向量生成部所生成之預測向量的差分向量。本揭露係可適用於例如編碼裝置等。

Description

影像處理裝置及影像處理方法
本揭露係有關於影像處理裝置及影像處理方法，尤其是有關於，可提升利用到畫面內之相關性的預測進行之際的編碼效率的影像處理裝置及影像處理方法。
近年來，將影像資訊以數位方式加以處理，此時，為了高效率的資訊傳輸、積存之目的，利用影像資訊特有的冗長性，採用藉由離散餘弦轉換等之正交轉換和運動補償而進行壓縮的編碼方式，來將影像予以壓縮編碼的裝置，正逐漸普及。在此編碼方式中，係有例如MPEG(Moving Picture Experts Group)或H.264及MPEG-4 Part10(Advanced Video Coding，以下記作AVC)等。
然後，目前，為了比H.264/AVC更加提升編碼效率，由ITU-T、和ISO/IEC之共同標準化團體亦即JCTVC(Joint Collaboration Team-Video Coding)，正在進行一種稱作HEVC(High Efficiency Video Coding)的編碼方式的標準化。
又，於HEVC中，為了支援4：2：2或4： 4：4這類色差訊號格式之影像、或螢幕內容用之設定檔等，例如適合高階的格式，而正在進行範圍擴充(HEVC Range Extension)之研討(例如參照非專利文獻1)。
可是，IntraBlockCopy(Intra BC)係為，利用畫面內之相關性而在畫面內進行運動補償藉此以進行預測的編碼工具。Intra BC係被認為是，對電腦畫面或CG影像這類人工影像，在編碼效率的改善上有所貢獻的工具。
可是，Intra BC，係在上述的HEVC Range Extension擴充中未被技術採用，而是在Screen Content Coding(SCC)擴充的標準化中持續進行技術研討(例如參照非專利文獻2)。
在2014年12月的現在，在HEVC SCC擴充的標準化中，正在研議把Intra BC與畫面間編碼予以共通化。把Intra BC與畫面間編碼予以共通化的情況下，預測向量(MV Predictor)的選擇、參照圖像之索引(RefIdx)的傳輸、目前運動向量與預測向量之差分向量(MVD)的傳輸等，必須要共通化。
[先前技術文獻] [非專利文獻]
[非專利文獻1]Jill Boyce, et al. “Draft high efficiency video coding (HEVC) version 2, combined format range extensions (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions”, JCTVC-R1013_v6, 2014.10.1
[非專利文獻2]Rajan Joshi, et al. “High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 1”, JCTVC-R1005-v3, 2014.9.27
然而，Intra BC中所被使用之運動向量的編碼時，若參照畫面間編碼中所被使用之運動向量而被生成的預測向量被拿來使用，則差分向量會變大，編碼效率會降低。
本揭露係有鑑於此種狀況而研發，目的在於使得利用到畫面內之相關性的預測進行之際的編碼效率可被提升。
本揭露之第1側面的影像處理裝置，係為一種影像處理裝置，其係具備：預測向量生成部，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和差分向量生成部，係生成前記目前運動向量與已被前記預測向量生成 部所生成之前記預測向量的差分向量。
本揭露之第1側面的影像處理方法，係對應於本揭露之第1側面的影像處理裝置。
於本揭露之第1側面中，在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則前記候補區塊會被設定成無法取用，前記目前運動向量之預測向量係會使用前記參考運動向量而被生成，前記目前運動向量與前記預測向量的差分向量會被生成。
本揭露之第2側面的影像處理裝置，係為一種影像處理裝置，其係具備：預測向量生成部，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行解碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和運動向量生成部，係將前記目前運動向量與前記預測向量的差分向量、和已被前記預測向量生成部所生成之前記預測向量，進行加算，以生成前記目前運動向量。
本揭露之第2側面的影像處理方法，係對應於本揭露之第2側面的影像處理裝置。
於本揭露之第2側面中，在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行解碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則前記候補區塊會被設定成無法取用，前記目前運動向量之預測向量係會使用前記參考運動向量而被生成，前記目前運動向量與前記預測向量的差分向量、和前記預測向量會被加算，前記目前運動向量會被生成。
此外，第1及第2側面的影像處理裝置，係可藉由令電腦執行程式而實現。
又，為了實現第1及第2側面的影像處理裝置，而令電腦執行的程式，係可透過傳輸媒體來傳輸，或可記錄在記錄媒體中來提供之。
第1及第2側面的影像處理裝置，係可為獨立的裝置，亦可為構成1個裝置的內部區塊。
若依據本揭露之第1側面，則可將影像予以編碼。又，若依據本揭露的第1側面，則可提升利用到畫面內之相關性的預測進行之際的編碼效率。
若依據本揭露之第2側面，則可將編碼串流予以解碼。又，若依據本揭露的第2側面，則可將利用到畫面內之相關性的預測進行之際的編碼效率已被提升的編 碼串流，予以解碼。
此外，並非一定限定於這裡所記載的效果，亦可為本揭露中所記載之任一效果。
10‧‧‧圖像
11‧‧‧PU
12‧‧‧PU
13‧‧‧向量
21‧‧‧目前區塊
22‧‧‧候補區塊
31‧‧‧目前區塊
32‧‧‧候補區塊
50‧‧‧編碼裝置
51‧‧‧設定部
52‧‧‧編碼部
53‧‧‧傳輸部
71‧‧‧A/D轉換部
72‧‧‧畫面排序緩衝區
73‧‧‧演算部
74‧‧‧正交轉換部
75‧‧‧量化部
76‧‧‧可逆編碼部
77‧‧‧積存緩衝區
78‧‧‧生成部
79‧‧‧逆量化部
80‧‧‧逆正交轉換部
81‧‧‧加算部
82‧‧‧濾波器
85‧‧‧畫格記憶體
86‧‧‧開關
87‧‧‧畫面內預測部
88‧‧‧清單作成部
89‧‧‧運動預測．補償部
90‧‧‧預測向量生成部
91‧‧‧差分向量生成部
92‧‧‧預測影像選擇部
93‧‧‧速率控制部
110‧‧‧解碼裝置
111‧‧‧收取部
112‧‧‧抽出部
113‧‧‧解碼部
131‧‧‧積存緩衝區
132‧‧‧可逆解碼部
133‧‧‧逆量化部
134‧‧‧逆正交轉換部
135‧‧‧加算部
136‧‧‧濾波器
139‧‧‧畫面排序緩衝區
140‧‧‧D/A轉換部
141‧‧‧畫格記憶體
142‧‧‧開關
143‧‧‧畫面內預測部
144‧‧‧預測向量生成部
145‧‧‧運動向量生成部
146‧‧‧清單作成部
147‧‧‧運動補償部
148‧‧‧開關
201‧‧‧CPU
202‧‧‧ROM
203‧‧‧RAM
204‧‧‧匯流排
205‧‧‧輸出入介面
206‧‧‧輸入部
207‧‧‧輸出部
208‧‧‧記憶部
209‧‧‧通訊部
210‧‧‧驅動機
211‧‧‧可移除式媒體
900‧‧‧電視裝置
901‧‧‧天線
902‧‧‧選台器
903‧‧‧解多工器
904‧‧‧解碼器
905‧‧‧映像訊號處理部
906‧‧‧顯示部
907‧‧‧聲音訊號處理部
908‧‧‧揚聲器
909‧‧‧外部介面部
910‧‧‧控制部
911‧‧‧使用者介面部
912‧‧‧匯流排
920‧‧‧行動電話機
921‧‧‧天線
922‧‧‧通訊部
923‧‧‧聲音編解碼器
924‧‧‧揚聲器
925‧‧‧麥克風
926‧‧‧攝影機部
927‧‧‧影像處理部
928‧‧‧多工分離部
929‧‧‧記錄再生部
930‧‧‧顯示部
931‧‧‧控制部
932‧‧‧操作部
933‧‧‧匯流排
940‧‧‧記錄再生裝置
941‧‧‧選台器
942‧‧‧外部介面部
943‧‧‧編碼器
944‧‧‧HDD部
945‧‧‧碟片驅動機
946‧‧‧選擇器
947‧‧‧解碼器
948‧‧‧OSD部
949‧‧‧控制部
950‧‧‧使用者介面部
960‧‧‧攝像裝置
961‧‧‧光學區塊
962‧‧‧攝像部
963‧‧‧攝影機訊號處理部
964‧‧‧影像資料處理部
965‧‧‧顯示部
966‧‧‧外部介面部
967‧‧‧記憶體部
968‧‧‧媒體驅動機
969‧‧‧OSD部
970‧‧‧控制部
971‧‧‧使用者介面部
972‧‧‧匯流排
1300‧‧‧視訊套組
1311‧‧‧視訊模組
1312‧‧‧外部記憶體
1313‧‧‧電力管理模組
1314‧‧‧前端模組
1321‧‧‧連接性構件
1322‧‧‧相機
1323‧‧‧感測器
1331‧‧‧應用程式處理器
1332‧‧‧視訊處理器
1333‧‧‧寬頻數據機
1334‧‧‧RF模組
1341‧‧‧虛線
1351‧‧‧天線部
1352‧‧‧濾波器
1353‧‧‧增幅部
1361‧‧‧視訊單元
1401‧‧‧視訊輸入處理部
1402‧‧‧第1影像放大縮小部
1403‧‧‧第2影像放大縮小部
1404‧‧‧視訊輸出處理部
1405‧‧‧畫格記憶體
1406‧‧‧記憶體控制部
1407‧‧‧編碼．解碼引擎
1408A、1408B‧‧‧視訊ES緩衝區
1409A、1409B‧‧‧音訊ES緩衝區
1410‧‧‧音訊編碼器
1411‧‧‧音訊解碼器
1412‧‧‧多工部(MUX(Multiplexer))
1413‧‧‧逆多工部(DMUX(Demultiplexer))
1414‧‧‧串流緩衝區
1511‧‧‧控制部
1512‧‧‧顯示器介面
1513‧‧‧顯示引擎
1514‧‧‧影像處理引擎
1515‧‧‧內部記憶體
1516‧‧‧編解碼器引擎
1517‧‧‧記憶體介面
1518‧‧‧多工．逆多工部(MUX DMUX)
1519‧‧‧網路介面
1520‧‧‧視訊介面
1531‧‧‧主CPU
1532‧‧‧副CPU
1533‧‧‧系統控制器
1541‧‧‧MPEG-2
1542‧‧‧AVC/H.264
1543‧‧‧HEVC/H.265
1544‧‧‧HEVC/H.265(Scalable)
1545‧‧‧HEVC/H.265(Multi-view)
1551‧‧‧MPEG-DASH
[圖1]Intra BC的說明圖。
[圖2]Intra BC與畫面間編碼之差異的說明圖。
[圖3]HEVC中的參照圖像之類型的說明圖。
[圖4]HEVC中的候補區塊之設定之例子的圖示。
[圖5]HEVC中的候補區塊之設定之例子的圖示。
[圖6]參考運動向量之候補的說明圖。
[圖7]第1實施形態中的候補區塊之設定之例子的圖示。
[圖8]第1實施形態中的候補區塊之設定之例子的圖示。
[圖9]HEVC中的參照圖像之候補之例子的圖示。
[圖10]HEVC中的參照圖像清單之作成處理的說明圖。
[圖11]第1實施形態中的參照圖像之候補之例子的圖示。
[圖12]第1實施形態中的參照圖像清單之作成處理的說明圖。
[圖13]適用了本揭露之編碼裝置的第1實施形態之構 成例的區塊圖。
[圖14]圖13的編碼部之構成例的區塊圖。
[圖15]圖13的編碼裝置的串流生成處理的說明用流程圖。
[圖16]圖15的編碼處理之細節的說明用流程圖。
[圖17]圖15的編碼處理之細節的說明用流程圖。
[圖18]圖16的參照圖像作成處理之細節的說明用流程圖。
[圖19]圖16的預測向量清單生成處理之細節的說明用流程圖。
[圖20]適用了本揭露之解碼裝置的第1實施形態之構成例的區塊圖。
[圖21]圖20的解碼部之構成例的區塊圖。
[圖22]圖20的解碼裝置的影像生成處理的說明用流程圖。
[圖23]圖22的解碼處理之細節的說明用流程圖。
[圖24]第2實施形態中的預測向量清單之生成方法的說明圖。
[圖25]第2實施形態中的預測向量清單之生成方法的說明圖。
[圖26]第2實施形態中的預測向量清單之生成方法的說明圖。
[圖27]第2實施形態中的候補區塊之設定之例子的圖示。
[圖28]第2實施形態中的參照圖像作成處理之細節的說明用流程圖。
[圖29]第2實施形態中的預測向量清單生成處理之細節的說明用流程圖。
[圖30]第3實施形態中的參照圖像清單作成處理的說明圖。
[圖31]第3實施形態中的參照圖像清單作成處理之細節的說明用流程圖。
[圖32]電腦硬體的構成例的區塊圖。
[圖33]適用了本揭露之電視裝置的概略構成例的圖示。
[圖34]適用了本揭露之行動電話機的概略構成例的圖示。
[圖35]適用了本揭露之記錄再生裝置的概略構成例的圖示。
[圖36]適用了本揭露之攝像裝置的概略構成例的圖示。
[圖37]圖示了適用了本揭露之視訊套組的概略構成之一例。
[圖38]圖示了適用了本揭露之視訊處理器的概略構成之一例。
[圖39]圖示了適用了本揭露之視訊處理器的概略構成之另一例。
以下，說明本揭露之前提及用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。
0.本揭露之前提(圖1及圖2)
1.第1實施形態：編碼裝置及解碼裝置(圖3乃至圖23)
2.第2實施形態：編碼裝置及解碼裝置(圖24乃至圖29)
3.第3實施形態：編碼裝置及解碼裝置(圖30及圖31)
4.第4實施形態：電腦(圖32)
5.第5實施形態：電視裝置(圖33)
6.第6實施形態：行動電話機(圖34)
7.第7實施形態：記錄再生裝置(圖35)
8.第8實施形態：攝像裝置(圖36)
9.第9實施形態：視訊套組(圖37乃至圖39)
<本揭露之前提> (Intra BC之說明)
圖1係Intra BC的說明圖。
如圖1所示，在Intra BC中，圖像10內之PU(Prediction Unit)11之預測時所使用的參照圖像，係為圖像10。因此，與PU11被包含在同一圖像10內，與 PU11相關性高的區塊12，係被當作PU11的參照區塊，PU11與PU12之間的向量13會被偵測成為運動向量。
(Intra BC與畫面間編碼之差異的說明)
圖2係Intra BC與畫面間編碼之差異的說明圖。
如圖2所示，Intra BC的運動向量之精度，係為整數像素精度，但畫面間編碼的運動向量之精度，係為1/4像素精度。又，在Intra BC中，同一畫面內的已編碼之區塊會被當成參照區塊，因此運動向量之縱方向與橫方向之至少一方的長度係較長。然而，在畫面間編碼中，係為不同畫面的已編碼之區塊會被當成參照區塊，因此運動向量的長度，係依存於畫面間之運動。
又，在Intra BC中，作為參照圖像是使用濾波器處理前的圖像，但在畫面間編碼中，作為參照圖像是使用濾波器處理後的圖像。一般而言，濾波器處理前的圖像係被記憶在快取，濾波器處理後的圖像係被記憶在DRAM(Dynamic Random Access Memory)。
如以上所述，Intra BC與畫面間編碼的運動向量之精度或長度係不同。因此，Intra BC與畫面間編碼被共通化，在Intra BC之運動向量的編碼時，若參照畫面間編碼之運動向量而被生成的預測向量被拿來使用，則差分向量會變大，編碼效率會降低。此外，以下將預測向量的生成之際所被參照的運動向量，稱為參考運動向量。
又，Intra BC與畫面間編碼中的參照圖像之保 存目的地係為不同。因此，Intra BC與畫面間編碼被共通化的情況下，作為參照圖像之保存目的地，會有快取和DRAM混合存在。然而，解碼裝置係不知道參照圖像之保存目的地為何，因此會無謂地對DRAM進行存取。其結果為，DRAM的存取頻寬會增加。
<第1實施形態> (第1實施形態之概要)
首先，參照圖3乃至圖12，說明第1實施形態之概要。
圖3係HEVC中的參照圖像之類型的說明圖。
如圖3所示，在HEVC中，與現在之處理對象之圖像(以下稱為目前圖像)的POC(Picture Order Count)之差分較小的參照圖像之類型，係被當成STRP(Short-Term Reference Picture)。又，與目前圖像(Current Pic)的POC之差分較大的參照圖像之類型，係被當成LTRP(Long-Term Reference Picture)。
然後，如圖4及圖5所示，若目前圖像內的現在之處理對象之PU(以下稱為目前區塊)之參照圖像、與參考運動向量之候補所對應的PU(以下稱為候補區塊)之參照圖像的類型係為不同，則候補區塊係被設定成無法取用(not available)。
例如，如圖3所示，若目前區塊21的參照圖 像之類型為STRP，目前運動向量(target MV)之參考運動向量之候補(PMV)所對應的候補區塊22的參照圖像之類型為LTRP，則候補區塊22係被設定成無法取用。藉此，候補區塊22的運動向量，係被排除在參考運動向量之候補之外，不被使用於預測向量之生成。
此外，候補區塊係為，與目前區塊相同時刻的左、左上、左下、上、及右上所相鄰之PU，以及不同時刻的與目前區塊同一位置及右下相鄰的PU。以下，若需要特別區分候補區塊之中的與目前區塊同一時刻的候補區塊，則稱之為空間方向候補區塊，若需要特別區分與目前區塊不同時刻的候補區塊，則稱之為時間方向候補區塊。
又，如圖4及圖5所示，若目前區塊的參照圖像與候補區塊的參照圖像之類型係為相同，則候補區塊係被設定成可取用(available)。藉此，候補區塊的運動向量，係被當成參考運動向量之候補。
若目前區塊的參照圖像與候補區塊的參照圖像之類型雙方都是STRP時的候補區塊的運動向量，是被選擇來作為參考運動向量的情況下，則預測向量，係基於目前區塊的參照圖像與候補區塊的參照圖像之POC之差分，藉由將參考運動向量進行比例縮放而被生成。
另一方面，若目前區塊的參照圖像與候補區塊的參照圖像之類型雙方都是LTRP時的候補區塊的運動向量，是被選擇來作為參考運動向量的情況下，則參考運 動向量係原封不動地被當成預測向量(not scaled)。
此外，在現在的HEVC中，由於Intra BC與畫面間編碼並未被共通化，因此參照圖像之類型，係如圖5所示，不會被想定成LTRP與STRP以外。因此，參照圖像之類型是Intra BC中所被使用的參照圖像之類型「Intra BC」時的候補區塊之設定，係為未定。
若當純將Intra BC與畫面間編碼共通化，則Intra BC中所被使用的參照圖像之類型，係與實際的類型不同，會被設定成STRP。因此，如圖6所示，目前區塊31的Intra BC中所被使用之目前運動向量(target MV)的參考運動向量之候補中，會含有參照圖像之實際類型為STRP的候補區塊32的運動向量(PMV)。
然而，如圖2所示，Intra BC與畫面間編碼的運動向量之精度或長度係為不同。因此，作為目前區塊31的目前運動向量之參考運動向量，若選擇了候補區塊32的運動向量，則目前運動向量與預測向量的差分向量會變大。其結果為，編碼效率會降低。
於是，在第1實施形態中，Intra BC中所被使用的參照圖像、亦即實際類型為「Intra BC」的參照圖像之類型，是被設定成LTRP。具體而言，作為參照圖像之候補，新定義了目前圖像(If intra_block_copy_enabled_flag is equal to 1,the following applies.RefPicCurr=CurrPic)。然後，新定義的目前圖像會被追加至，將類型設定成LTRP的參照圖像之候補(All reference pictures that are included in RefPicCurr,RefPicSetLtCurr and RefPicSetLtFoll are marked as“used for long-term reference”)。
藉此，參照圖像之候補的清單也就是參照圖像清單中，會被追加目前圖像，並被標記成“used for long-term reference”。其結果為，對於參照圖像的實際類型為「Intra BC」的目前區塊的候補區塊之設定，是和對於參照圖像的實際類型為LTRP的目前區塊的候補區塊之設定，同樣地進行。
具體而言，如圖7和圖8所示，若目前區塊的參照圖像與候補區塊的參照圖像的實際類型之任一方係為「Intra BC」，另一方係為STRP時，則候補區塊係被設定成無法取用。藉此，候補區塊的運動向量，係被排除在參考運動向量之候補之外，不被使用於預測向量之生成。
又，如圖7及圖8所示，若目前區塊的參照圖像與候補區塊的參照圖像的實際類型雙方都是「Intra BC」或LTRP時，則候補區塊係被設定成可取用。藉此，候補區塊的運動向量，係被當成參考運動向量之候補。
藉由以上，若目前區塊的參照圖像與候補區塊的參照圖像的實際類型之任一方係為「Intra BC」，另一方係為STRP時，則候補區塊的運動向量係不被使用於預測向量之生成，編碼效率會提升。
圖9係HEVC中的參照圖像之候補之例子的圖示。
如圖9所示，在HEVC中，顯示順序比目前圖像(C)還前面，與目前圖像的POC之差分較小的圖像(Short-term before Curr)，係被當成參照圖像之候補。又，顯示順序比目前圖像(C)還後面，與目前圖像的POC之差分較小的圖像(Short-term after Curr)，係被當成參照圖像之候補。
再者，顯示順序比目前圖像(C)還前面，與目前圖像的POC之差分較大的圖像(Long-term)，係被當成參照圖像之候補。又，顯示順序是與目前圖像(C)相同，但視點、位元數、空間解析度、S/N、畫格速率、色差訊號格式等為不同的圖像(Inter-layer)，係被當成參照圖像之候補。
圖10係圖9的將參照圖像之候補予以登錄的參照圖像清單之作成處理的說明圖。
如圖10所示，在參照圖像清單之作成處理中，首先，按照參照圖像之候補的每一種類，將參照圖像之候補之圖像予以特定之資訊(以下稱為圖像特定資訊)所被登錄而成的個別清單，會被作成。亦即，圖像(Short-term before Curr)的圖像特定資訊，是按照與目前圖像的POC之差分由小而大的順序而被登錄的RefPicSetStCurrBefore清單，會被作成。
同樣地，圖像(Short-term after Curr)的RefPicSetStCurrAfter清單、和圖像(Long-term)的RefPicSetLtCurr清單，會被作成。又，圖像(Inter-layer) 的圖像特定資訊是按照所定順序而被登錄的RefPicSetIvCurr清單，會被作成。
RefPicSetStCurrBefore清單、RefPicSetStCurrAfter清單、及RefPicSetLtCurr清單中所被登錄的各圖像特定資訊中係可設定，表示是否可將被該圖像特定資訊所特定之圖像，當作目前圖像的參照圖像之候補來使用的used_by_curr。used_by_curr，係若表示要當作目前圖像的參照圖像之候補來使用時則為1，若表示不使用時則為0。
在圖10的例子中，RefPicSetStCurrBefore清單及RefPicSetStCurrAfter清單之開頭和從開頭起算第2個圖像特定資訊，以及RefPicSetLtCurr清單之開頭的圖像特定資訊的used_by_curr，是被設定成1。
接著，基於個別清單，將顯示順序比目前圖像還前面的參照圖像之候補予以優先登錄的RefPicListTemp0清單、和將顯示順序比目前圖像還後面的參照圖像之候補予以優先登錄的RefPicListTemp1清單這2個時間性清單，會被作成。
具體而言，used_by_curr被設定成1的RefPicSetStCurrBefore清單的圖像特定資訊、RefPicSetIvCurr清單中所被登錄的圖像特定資訊、used_by_curr被設定成1的RefPicSetStCurrAfter清單的圖像特定資訊、used_by_curr被設定成1的RefPicSetLtCurr清單的圖像特定資訊是被依序登錄而成的RefPicListTemp0清單，係 被作成。
又，used_by_curr被設定成1的RefPicSetStCurrAfter清單的圖像特定資訊、used_by_curr被設定成1的RefPicSetStCurrBefore清單的圖像特定資訊、used_by_curr被設定成1的RefPicSetLtCurr清單的圖像特定資訊、RefPicSetIvCurr清單中所被登錄的圖像特定資訊是被依序登錄而成的RefPicListTemp1清單，係被作成。
接著，RefPicListTemp0清單與RefPicListTemp1清單中所被登錄之圖像特定資訊的順序，會因應需要而被變更(Reference reordering)。
最後，RefpicListTemp0清單中所被登錄之、從開頭起算所定數(在圖10的例子中係為5個)的圖像特定資訊，是從開頭起依序被登錄而成的參照圖像清單RefPicList0，會被作成。
又，RefpicListTemp1清單中所被登錄之、從開頭起算所定數(在圖10的例子中係為4個)的圖像特定資訊，是從開頭起依序被登錄而成的參照圖像清單RefPicList1，會被作成。
此外，參照圖像清單RefPicList0(RefPicList1)中所被登錄的圖像特定資訊之數量減去1而成的值，係被當成num_ref_idx_l0_active_minus1(num_ref_idx_l1_active_minus1)而配置在切片標頭等中。
把Intra BC與畫面間編碼予以共通化的情況 下，如圖11所示，作為參照圖像之候補，必須要追加Intra BC的參照圖像也就是目前圖像(CurrPic)。
在第1實施形態中，如上述，由於作為參照圖像之候補是定義有目前圖像，因此在參照圖像清單之作成處理中，可作成由目前圖像的圖像特定資訊所被登錄而成的目前圖像清單(RefPicCurr)。其結果為，在參照圖像清單中會被登錄有目前圖像的圖像特定資訊。
然而，單純將Intra BC與畫面間編碼予以共通化的時候，不知道目前圖像的圖像特定資訊，係被登錄在參照圖像清單的哪個位置。
另一方面，如圖2所示，Intra BC與畫面間編碼中的參照圖像之保存目的地係為不同。因此，為了不要無謂地對DRAM進行存取，解碼裝置，係在從編碼裝置取得參照圖像清單內的參照圖像的圖像特定資訊之索引之際，必須要認知到，參照圖像是Intra BC與畫面間編碼之哪一者的參照圖像。亦即，解碼裝置係必須要認知到，參照圖像是目前圖像、還是與目前圖像不同之圖像之何者。
於是，在第1實施形態中，如圖12所示，在RefPicList0清單及RefPicList1清單的2個參照圖像清單之開頭會被登錄有，目前圖像清單中所被登錄的目前圖像的圖像特定資訊。
藉此，解碼裝置，係在從編碼裝置取得參照圖像清單之開頭的索引時，可以認知到參照圖像係為目前圖像，亦即是Intra BC中的參照圖像。其結果為，解碼裝 置，係不會存取DRAM，而可從快取將目前圖像當作參照圖像予以讀出。
此外，目前圖像的圖像特定資訊，係亦可只被登錄在RefPicList0清單中。又，目前圖像的圖像特定資訊所被登錄的位置，係除了開頭以外，還可為最後尾等之預先決定的任意之位置。
(編碼裝置的第1實施形態的構成例)
圖13係作為適用了本揭露之影像處理裝置的編碼裝置的第1實施形態之構成例的區塊圖。
圖13的編碼裝置50係由設定部51、編碼部52、及傳輸部53所構成，將圖像以符合HEVC的方式進行編碼。
編碼單位，係為具有遞迴之階層構造的Coding UNIT(CU)。具體而言，CU，係將圖像分割成固定尺寸的CTU(Coding Tree Unit)，將該CTU在水平方向及垂直方向上以任意之次數做2分割，藉此而被設定。CU的最大尺寸係為LCU(Largest Coding Unit)，最小尺寸係為SCU(Smallest Coding Unit)。又，CU係被分割成PU或TU(transform unit)。
編碼裝置50的設定部51，係將SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、VUI(Video Usability Information)、SEI(Supplemental Enhancement Information)等之參數集。在SPS中係含有，將LCU與 SCU之尺寸加以指定的資訊、用來作成參照圖像清單所需之參照圖像清單資訊等。
參照圖像清單資訊係由例如：將個別清單及目前圖像清單中所被登錄的圖像特定資訊加以指定的資訊、used_by_curr等所成。設定部51係將已被設定之參數集，供給至編碼部52。
對編碼部52係輸入畫格單位的圖像。編碼部52係將所被輸入之圖像，以符合HEVC的方式進行編碼。此時，因應需要，而可使用從設定部51所供給的參數集。編碼部52係根據編碼結果所得之編碼資料和從設定部51所供給之參數集而生成編碼串流，供給至傳輸部53。
傳輸部53，係將從編碼部52所供給之編碼串流，傳輸至後述的解碼裝置。
(編碼部的構成例)
圖14係圖13的編碼部52之構成例的區塊圖。
圖14的編碼部52係具有：A/D轉換部71、畫面排序緩衝區72、演算部73、正交轉換部74、量化部75、可逆編碼部76、積存緩衝區77、生成部78、逆量化部79、逆正交轉換部80、及加算部81。又，編碼部52係具有：濾波器82、畫格記憶體85、開關86、畫面內預測部87、清單作成部88、運動預測．補償部89、預測向量生成部90、差分向量生成部91、預測影像選擇部92、 及速率控制部93。
編碼部52的A/D轉換部71，係將作為編碼對象而被輸入的畫格單位之圖像，進行A/D轉換。A/D轉換部71，係將轉換後的數位訊號也就是圖像，輸出至畫面排序緩衝區72並記憶之。
畫面排序緩衝區72，係將已記憶之顯示順序的畫格單位之圖像，隨應於GOP(Group of Picture)構造，排序成編碼所需的順序。畫面排序緩衝區72，係將排序後的圖像，當作目前圖像，輸出至演算部73、畫面內預測部87、及運動預測．補償部89。
演算部73，係藉由將從畫面排序緩衝區72所供給的目前圖像，減去從預測影像選擇部92所供給的預測影像，以進行編碼。演算部73係將其結果所得之圖像，當作殘差資訊而輸出至正交轉換部74。此外，若沒有從預測影像選擇部92供給預測影像時，演算部73係將從畫面排序緩衝區72所讀出之目前圖像，直接當作殘差資訊而輸出至正交轉換部74。
正交轉換部74，係將來自演算部73的殘差資訊，以TU單位進行正交轉換。正交轉換部74，係將正交轉換之結果所得的正交轉換係數，供給至量化部75。
量化部75，係對從正交轉換部74所供給的正交轉換係數，進行量化。量化部75係將已被量化之正交轉換係數，供給至可逆編碼部76。
可逆編碼部76，係將表示最佳畫面內預測模 式的畫面內預測模式資訊，從畫面內預測部87加以取得。又，可逆編碼部76，係將表示最佳畫面間預測模式的畫面間預測模式資訊與參照圖像之索引等，從運動預測．補償部89加以取得，將運動向量資訊從差分向量生成部91加以取得。再者，可逆編碼部76，係從濾波器82取得有關於適應偏置濾波器處理的偏置濾波器資訊。
可逆編碼部76，係對從量化部75所供給之已被量化之正交轉換係數，進行可變長度編碼(例如CAVLC(Context-Adaptive Variable Length Coding)等)、算術編碼(例如CABAC(Context-Adaptive Binary Arithmetic Coding)等)等之可逆編碼。
又，可逆編碼部76，係將畫面內預測模式資訊、或畫面間預測模式資訊、運動向量資訊、及參照圖像之索引、以及偏置濾波器資訊等，當作有關於編碼的編碼資訊而進行可逆編碼。可逆編碼部76，係將已被可逆編碼之編碼資訊、參照圖像清單之登錄數減去1而成的所定數(num_ref_idx_lo_minus1,num_ref_idx_lo_minus1)等，配置在切片標頭等。
可逆編碼部76，係對從量化部75所供給的正交轉換係數，附加切片標頭，當作編碼資料而供給至積存緩衝區77。
積存緩衝區77，係將從可逆編碼部76所供給之編碼資料，予以暫時記憶。又，積存緩衝區77，係將所記憶的編碼資料，供給至生成部78。
生成部78，係根據從圖13的設定部51所供給的參數集與從積存緩衝區77所供給的編碼資料，來生成編碼串流，供給至圖13的傳輸部53。
又，已被量化部75所輸出、量化的正交轉換係數，係也被輸入至逆量化部79。逆量化部79，係對已被量化部75所量化之正交轉換係數，以量化部75中的量化方法所對應的方法，進行逆量化。逆量化部79，係將逆量化之結果所得的正交轉換係數，供給至逆正交轉換部80。
逆正交轉換部80，係以TU單位，對從逆量化部79所供給的正交轉換係數，以正交轉換部74中的正交轉換方法所對應的方法，進行逆正交轉換。逆正交轉換部80，係將其結果所得之殘差資訊，供給至加算部81。
加算部81，係將從逆正交轉換部80所供給的殘差資訊、和從預測影像選擇部92所供給的預測影像，進行加算，以將目前圖像予以局部解碼。此外，當沒有從預測影像選擇部92供給預測影像時，則加算部81係將從逆正交轉換部80所供給之殘差資訊，當作解碼結果。加算部81，係將已被局部解碼的目前圖像，供給至畫格記憶體85。又，加算部81，係將全部領域都已被解碼的目前圖像，當作已編碼之圖像而供給至濾波器82。
濾波器82，係對從加算部81所供給的已編碼之圖像，進行濾波器處理。具體而言，濾波器82，係依序進行去區塊濾波器處理與適應偏置濾波器(SAO(Sample adaptive offset))處理。濾波器82，係將濾波器處理後的已編碼之圖像，供給至畫格記憶體85。又，濾波器82，係將表示已被進行之適應偏置濾波器處理之種類與偏置的資訊，當作偏置濾波器資訊而供給至可逆編碼部76。
畫格記憶體85，係由例如快取和DRAM所構成。畫格記憶體85，係將從加算部81所供給的目前圖像，記憶在快取，將從濾波器82所供給的已編碼之圖像，記憶在DRAM。被記憶在快取的目前圖像之中的目前區塊所相鄰之像素，係被當成週邊像素而透過開關86供給至畫面內預測部87。
又，被記憶在快取的目前圖像、及被記憶在DRAM的已編碼之圖像，被當成係參照圖像而透過開關86供給至運動預測．補償部89。
畫面內預測部87，係對目前區塊，使用從畫格記憶體85透過開關86而被讀出的週邊像素，進行候補之所有畫面內預測模式的畫面內預測處理。
又，畫面內預測部87係基於從畫面排序緩衝區72所讀出之目前圖像、和畫面內預測處理之結果所生成之預測影像，而對候補之所有畫面內預測模式，算出成本函數值(細節將於後述)。然後，畫面內預測部87係將成本函數值最小的畫面內預測模式，決定成最佳畫面內預測模式。
畫面內預測部87係將以最佳畫面內預測模式所生成之預測影像、及對應之成本函數值，供給至預測影 像選擇部92。畫面內預測部87，係當從預測影像選擇部92通知了在最佳畫面內預測模式下所生成之預測影像之選擇時，則將畫面內預測模式資訊，供給至可逆編碼部76。
此外，成本函數值係亦稱作RD(Rate Distortion)成本，例如，基於如H.264/AVC方式中的參照軟體亦即JM(Joint Model)所制定的High Complexity模式或Low Complexity模式之手法而被算出。此外，H.264/AVC方式的參照軟體，係被公開於http：//iphome.hhi.de/suehring/tml/index.htm。
具體而言，作為成本函數值的算出手法是採用High Complexity模式時，對於候補的所有預測模式，會嘗試進行到解碼為止，對各預測模式算出下式(1)所表示的成本函數值。
[數1]Cost(Mode)=D+λ．R．．．(1)
D係為原影像與解碼影像之差分(失真)，R係為計算到正交轉換之係數為止的發生編碼量，λ係為作為量化參數QP之函數而被給予的拉格朗日未定乘數。
另一方面，當作為成本函數值之算出手法是採用Low Complexity模式時，對於候補的所有預測模式，進行預測影像之生成、及編碼資訊的編碼量之算出，對各預測模式算出下式(2)所表示之成本函數Cost(Mode)。
[數2]Cost(Mode)=D+QPtoQuant(QP)．Header_Bit．．．(2)
D係為原影像與預測影像之差分(失真)，Header_Bit係為編碼資訊的編碼量，QPtoQuant係為作為量化參數QP之函數而被給予之函數。
在Low Complexity模式下，對所有的預測模式，只需生成預測影像即可，不需要生成解碼影像，因此演算量可以減少。
清單作成部88，係基於被圖13的設定部51所設定的SPS中所含之參照圖像清單資訊、切片標頭中所被配置的資訊等，例如以切片單位，進行上述的參照圖像清單作成處理。
亦即，清單作成部88，係基於參照圖像清單資訊、切片標頭中所被配置的資訊等，依序進行個別清單之作成、時間性清單之作成、及時間性清單中所被登錄之圖像特定資訊的順序之替換，作成參照圖像清單。其後，清單作成部88，係在參照圖像清單之開頭，登錄目前圖像的圖像特定資訊。
又，清單作成部88，係對參照圖像清單中所被登錄之各圖像特定資訊，作為被該圖像特定資訊所特定之圖像的參照圖像之類型，而設定SRTP或LTRP。例如，清單作成部88(設定部)，係對目前圖像的圖像特定資訊，設定LTRP(used for long-term reference)來作為目前圖像之類型。清單作成部88，係將參照圖像清單加以保 持，並且供給至運動預測．補償部89。
運動預測．補償部89，係對目前區塊，進行候補之所有畫面間預測模式的運動預測．補償處理。具體而言，運動預測．補償部89，係基於從清單作成部88所供給的參照圖像清單，將該參照圖像清單中所被登錄之圖像特定資訊所特定的圖像，當作參照圖像之候補，從畫格記憶體85透過開關86而予以讀出。
運動預測．補償部89，係基於來自畫面排序緩衝區72的目前圖像、和作為參照圖像之候補而被讀出的目前圖像，將候補之所有的畫面間預測模式之目前區塊的Intra BC之運動向量，以整數像素精度加以偵測。又，運動預測．補償部89，係基於來自畫面排序緩衝區72的目前圖像、和作為參照圖像之候補而被讀出的目前圖像以外之圖像，將候補之所有的畫面間預測模式之目前區塊的畫面間編碼之運動向量，以分數像素精度加以偵測。
然後，運動預測．補償部89，係基於已被偵測到的運動向量而對參照圖像之候補實施補償處理，生成預測影像。此外，所謂畫面間預測模式，係為表示目前區塊之尺寸等的模式。
又，運動預測．補償部89，係基於從畫面排序緩衝區72所供給的目前圖像與預測影像，而對候補之所有的畫面間預測模式及參照圖像之候補，算出成本關數值。運動預測．補償部89，係將成本函數值最小之畫面間預測模式，決定成最佳畫面間預測模式。然後，運動預 測．補償部89，係將成本函數值的最小值、和對應之預測影像，供給至預測影像選擇部92。
運動預測．補償部89，係在從預測影像選擇部92被通知了已被最佳畫面間預測模式所生成之預測影像之選擇時，則將該預測影像所對應的目前區塊之運動向量決定成目前運動向量，供給至差分向量生成部91。又，運動預測．補償部89，係將該預測影像所對應的參照圖像之候補決定成參照圖像，將該參照圖像的圖像特定資訊之參照圖像清單內的位置所對應的索引，供給至預測向量生成部90與可逆編碼部76。然後，運動預測．補償部89，係將畫面間預測模式資訊，供給至可逆編碼部76。
預測向量生成部90，係基於從運動預測．補償部89所供給的索引，而按照被登錄有參照圖像的每一參照圖像清單，生成目前運動向量的預測向量清單。
具體而言，預測向量生成部90，係基於索引，而將該索引所對應的參照圖像之類型，從被保持在清單作成部88中的參照圖像清單予以讀出，並予以保持。預測向量生成部90，係將空間方向候補區塊按照所定之順序而設定成處理對象之候補區塊，將時間方向候補區塊按照所定之順序而設定成處理對象之候補區塊。
預測向量生成部90，係將自己本身所保持的處理對象之候補區塊的參照圖像之類型、與從清單作成部88所讀出的目前區塊的參照圖像之類型，進行比較。預 測向量生成部90，係若這些為一致，則將處理對象之候補區塊設定成可取用，若不一致，則將處理對象之候補區塊設定成無法取用。
預測向量生成部90，係若處理對象之候補區塊是被設定成可取用，則使用處理對象之候補區塊的運動向量也就是參考運動向量之候補，來生成目前運動向量之預測向量。然後，預測向量生成部90係生成，登錄了已被生成之所定數之空間方向候補區塊與時間方向候補區塊之預測向量的預測向量清單。此外，若已被生成之預測向量之數量未達所定數，則將0向量等登錄在預測向量清單中。預測向量生成部90，係將預測向量清單，供給至差分向量生成部91。
差分向量生成部91，係生成從預測向量生成部90所供給的預測向量清單中所被登錄之所定數量之預測向量之每一者、與目前運動向量的差分向量，藉此以將目前運動向量進行預測編碼。差分向量生成部91，係將差分向量之最小值、與對應之預測向量在預測向量清單內的位置所對應的索引，當作運動向量資訊，供給至可逆編碼部76。
預測影像選擇部92，係基於從畫面內預測部87及運動預測．補償部89所供給之成本函數值，來將最佳畫面內預測模式和最佳畫面間預測模式當中、對應之成本函數值為較小者，決定成最佳預測模式。然後，預測影像選擇部92係將最佳預測模式的預測影像，供給至演算 部73及加算部81。又，預測影像選擇部92係將最佳預測模式之預測影像的選擇，通知給畫面內預測部87或運動預測．補償部89。
速率控制部93，係基於積存緩衝區77中所積存之編碼資料，以不會發生溢位或下溢之方式，控制量化部75的量化動作之速率。
(編碼裝置之處理的說明)
圖15係圖13的編碼裝置50之串流生成處理的說明用流程圖。
於圖15的步驟S11中，編碼裝置50的設定部51係設定參數集。設定部51係將已被設定之參數集，供給至編碼部52。
於步驟S12中，編碼部52係進行，將從外部所被輸入之畫格單位的圖像，以符合HEVC的方式進行編碼的編碼處理。該編碼處理的細節，將參照後述的圖16及圖17來說明。
於步驟S13中，編碼部52的生成部78(圖14)，係根據從設定部51所供給的參數集和所積存的編碼資料而生成編碼串流，供給至傳輸部53。
於步驟S14中，傳輸部53係將從設定部51所供給之編碼串流，傳輸至後述的解碼裝置，結束處理。
圖16及圖17係為圖15的步驟S12的編碼處理之細節的說明用流程圖。
於圖16的步驟S31中，編碼部52的A/D轉換部71，係將作為編碼對象而被輸入的畫格單位的圖像進行A/D轉換，將轉換後的數位訊號也就是圖像，輸出至畫面排序緩衝區72而記憶之。
於步驟S32中，畫面排序緩衝區72係將已記憶之顯示順序的畫格之圖像，隨應於GOP構造，排序成編碼所需的順序。畫面排序緩衝區72，係將排序後的畫格單位之圖像，當作目前圖像，供給至演算部73、畫面內預測部87、及運動預測．補償部89。
於步驟S33中，清單作成部88，係將SPS中所含之參照圖像清單資訊、切片標頭中所被配置的資訊等，例如以切片單位，進行參照圖像清單作成處理。參照圖像清單作成處理的細節，係參照圖18而後述。
於步驟S34中，畫面內預測部87，係對目前區塊，使用從畫格記憶體85透過開關86而被讀出的週邊像素，進行候補之所有畫面內預測模式的畫面內預測處理。又，畫面內預測部87係基於來自畫面排序緩衝區72的目前圖像、和畫面內預測處理之結果所生成之預測影像，而對候補之所有畫面內預測模式，算出成本函數值。然後，畫面內預測部87係將成本函數值最小的畫面內預測模式，決定成最佳畫面內預測模式。畫面內預測部87係將以最佳畫面內預測模式所生成之預測影像、及對應之成本函數值，供給至預測影像選擇部92。
又，運動預測．補償部89，係基於從清單作 成部88所供給的參照圖像清單，而對目前區塊，進行候補之所有畫面間預測模式的運動預測．補償處理。又，運動預測．補償部89，係基於來自畫面排序緩衝區72的目前圖像與運動預測．補償處理之結果所生成的預測影像，而對候補之所有的畫面間預測模式及參照圖像，算出成本關數值。運動預測．補償部89，係將成本函數值最小之畫面間預測模式，決定成最佳畫面間預測模式。然後，運動預測．補償部89，係將成本函數值的最小值、和對應之預測影像，供給至預測影像選擇部92。
於步驟S35中，預測影像選擇部92，係基於從畫面內預測部87及運動預測．補償部89所供給之成本函數值，而將最佳畫面內預測模式與最佳畫面間預測模式之中的成本函數值呈最小者，決定成最佳預測模式。然後，預測影像選擇部92係將最佳預測模式的預測影像，供給至演算部73及加算部81。
於步驟S36中，預測影像選擇部92係判定最佳預測模式是否為最佳畫面間預測模式。若步驟S36中判定為最佳預測模式是最佳畫面間預測模式，則預測影像選擇部92係將以最佳畫面間預測模式所生成之預測影像之選擇，通知給運動預測．補償部89。
運動預測．補償部89，係隨應於此通知，將預測影像所對應的目前區塊之運動向量決定成目前運動向量，供給至差分向量生成部91。又，運動預測．補償部89，係將預測影像所對應的參照圖像之候補決定成參照圖 像，將該參照圖像的圖像特定資訊之參照圖像清單內的位置所對應的索引，供給至預測向量生成部90。
然後，於步驟S37中，預測向量生成部90，係基於從運動預測．補償部89所供給的索引，進行將目前運動向量的預測向量清單予以生成的預測向量清單生成處理。預測向量清單生成處理的細節，係參照圖19而後述。
於步驟S38中，差分向量生成部91，係生成從預測向量生成部90所供給的預測向量清單中所被登錄之所定數量之預測向量之每一者、與目前運動向量的差分向量，藉此以將目前運動向量進行預測編碼。然後，差分向量生成部91，係將差分向量之最小值、與對應之預測向量在預測向量清單內的位置所對應的索引，當作運動向量資訊而加以生成。
於步驟S39中，運動預測．補償部89，係將畫面間預測模式資訊與參照圖像之索引供給至可逆編碼部76，差分向量生成部91係將運動向量資訊供給至可逆編碼部76。然後，處理係往步驟S41前進。
另一方面，若步驟S36中判定為最佳預測模式不是最佳畫面間預測模式，亦即最佳預測模式是最佳畫面內預測模式時，則預測影像選擇部92係將以最佳畫面內預測模式所生成之預測影像之選擇，通知給畫面內預測部87。然後，於步驟S40中，畫面內預測部87係將畫面內預測模式資訊供給至可逆編碼部76，使處理前進至步 驟S41。
於步驟S41中，演算部73，係藉由將從畫面排序緩衝區72所供給的目前圖像，減去從預測影像選擇部92所供給的預測影像，以進行編碼。演算部73係將其結果所得之圖像，當作殘差資訊而輸出至正交轉換部74。
於步驟S42中，正交轉換部74係對來自演算部73的殘差資訊，以TU單位實施正交轉換，將其結果所得之正交轉換係數，供給至量化部75。
於步驟S43中，量化部75，係將從正交轉換部74所供給的正交轉換係數予以量化，將已被量化之正交轉換係數，供給至可逆編碼部76與逆量化部79。
於圖17的步驟S44中，逆量化部79，係將從量化部75所供給的已被量化之係數進行逆量化，將其結果所得之正交轉換係數，供給至逆正交轉換部80。
於步驟S45中，逆正交轉換部80係對從逆量化部79所供給之正交轉換係數，以TU單位實施逆正交轉換，將其結果所得之殘差資訊，供給至加算部81。
於步驟S46中，加算部81，係將從逆正交轉換部80所供給的殘差資訊、和從預測影像選擇部92所供給的預測影像，進行加算，以將目前圖像予以局部解碼。加算部81，係將已被局部解碼的目前圖像，供給至畫格記憶體85。又，加算部81，係將全部領域都已被解碼的目前圖像，當作已編碼之圖像而供給至濾波器82。
於步驟S47中，濾波器82，係對從加算部81所供給的已編碼之圖像，進行去區塊濾波器處理。
於步驟S48中，濾波器82，係對去區塊濾波器處理後的已編碼之圖像，每一LCU地進行適應偏置濾波器處理。濾波器82，係將其結果所得之已編碼之圖像，供給至畫格記憶體85。又，濾波器82，係每一LCU地，將偏置濾波器資訊供給至可逆編碼部76。
於步驟S49中，畫格記憶體85，係將從加算部81所供給的目前圖像，記憶在快取，將從濾波器82所供給的已編碼之圖像，記憶在DRAM。被記憶在快取的目前圖像之中的目前區塊所相鄰之像素，係被當成週邊像素而透過開關86供給至畫面內預測部87。又，被記憶在快取的目前圖像、及被記憶在DRAM的已編碼之圖像，被當成係參照圖像而透過開關86供給至運動預測．補償部89。
於步驟S50中，可逆編碼部76，係將畫面內預測模式資訊、或畫面間預測模式資訊、運動向量資訊、及參照圖像之索引、以及偏置濾波器資訊，當作編碼資訊而進行可逆編碼。
於步驟S51中，可逆編碼部76係將從量化部75所供給之已被量化的正交轉換係數，進行可逆編碼。然後，可逆編碼部76，係根據在步驟S50之處理中已被可逆編碼的編碼資訊和已被可逆編碼的正交轉換係數，生成編碼資料，供給至積存緩衝區77。
於步驟S52中，積存緩衝區77，係將從可逆編碼部76所供給之編碼資料，予以暫時積存。
於步驟S53中，速率控制部93，係基於積存緩衝區77中所積存之編碼資料，以不會發生溢位或下溢之方式，控制量化部75的量化動作之速率。
於步驟S54中，積存緩衝區77，係將所記憶的編碼資料，輸出至生成部78。然後，處理係返回至圖15的步驟S12，前進至步驟S13。
此外，在圖16及圖17的編碼處理中，為了簡化說明，而假設總是進行畫面內預測處理與運動預測．補償處理，但實際上會隨著圖像類型等而有時候僅會進行其中一方。
圖18係圖16的步驟S33的參照圖像清單作成處理之細節的說明用流程圖。
於圖18的步驟S71中，清單作成部88，係按照參照圖像之候補的每一種類，作成RefPicSetStCurrBefore清單、RefPicSetStCurrAfter清單、RefPicSetLtCurr清單、及RefPicSetIvCurr清單的4個個別清單。對各個別清單的圖像特定資訊係被設定有，作為被該圖像特定資訊所特定的圖像之參照圖像的類型。又，對RefPicSetStCurrBefore清單、RefPicSetStCurrAfter清單、及RefPicSetLtCurr清單的圖像特定資訊，係被設定有used_by_curr。
於步驟S72中，清單作成部88係作成，作為 參照圖像之類型是被設定成LTRP的、目前圖像的圖像特定資訊所被登錄的目前圖像清單。
於步驟S73中，清單作成部88，係基於個別清單的圖像特定資訊和used_by_curr，而作成RefpicListTemp0清單與RefpicListTemp1清單的2個時間性清單。
於步驟S74中，清單作成部88，係基於切片標頭中所被配置的，將時間性清單內的圖像特定資訊的順序加以指定的ref_pic_list_modification，而將時間性清單內的圖像特定資訊的順序，予以替換。
於步驟S75中，清單作成部88係基於時間性清單，而作成將時間性清單中所被登錄之從開頭起算所定數的圖像特定資訊，從開頭起依序登錄而成的參照圖像清單。
於步驟S76中，清單作成部88，係在參照圖像清單之開頭，將目前圖像清單中所被登錄之目前圖像的圖像特定資訊，予以登錄。然後，處理係返回至圖16的步驟S33，前進至步驟S34。
圖19係圖16的步驟S37的預測向量清單生成處理之細節的說明用流程圖。此預測向量清單生成處理，係針對參照圖像所被登錄的每一參照圖像清單，而被進行。
於圖19的步驟S91中，預測向量生成部90，係將所定之候補區塊，決定成處理對象之候補區塊。在最初的步驟S91之處理中，所定之空間方向候補區塊，係被 決定成處理對象之候補區塊。
於步驟S92中，預測向量生成部90，係基於從運動預測．補償部89所供給的索引，而從參照圖像清單，將該索引所對應的目前區塊的參照圖像之類型予以讀出、保持。然後，預測向量生成部90係判定，已被讀出之目前區塊的參照圖像之類型，是否為STRP。
若在步驟S92中判定目前區塊的參照圖像之類型是STRP，則處理係前進至步驟S93。於步驟S93中，預測向量生成部90係判定，所保持的處理對象之候補區塊的參照圖像之類型，是否為STRP。
若在步驟S93中判定處理對象之候補區塊的參照圖像之類型是STRP，亦即，若目前區塊與候補區塊的參照圖像之類型雙方都是STRP，則處理係前進至步驟S94。
於步驟S94中，預測向量生成部90，係將處理對象之候補區塊，設定成可取用。於步驟S95中，預測向量生成部90，係基於目前區塊的參照圖像與候補區塊的參照圖像的POC的差分，將處理對象之候補區塊的運動向量也就是參考運動向量之候補進行比例縮放，以生成預測向量。然後，預測向量生成部90，係將該預測向量，登錄至預測向量清單，使處理往步驟S100前進。
另一方面，若在步驟S92中判定目前區塊的參照圖像之類型不是STRP，亦即目前區塊的參照圖像之類型是LTRP時，則處理係前進至步驟S96。
於步驟S96中，預測向量生成部90，係和步驟S93之處理同樣地，判定所保持的處理對象之候補區塊的參照圖像之類型，是否為STRP。若在步驟S96中判定處理對象之候補區塊的參照圖像之類型是STRP，亦即目前區塊的參照圖像之類型是LTRP，且候補區塊的參照圖像之類型是STRP時，則處理係前進至步驟S97。
於步驟S97中，預測向量生成部90係將處理對象之候補區塊設定成無法取用，使處理前進至步驟S100。
另一方面，若在步驟S93中判定處理對象之候補區塊的參照圖像之類型不是STRP，亦即，目前區塊的參照圖像之類型是STRP，且候補區塊的參照圖像之類型是LTRP時，則處理係前進至步驟S97。藉此，處理對象之候補區塊係被設定成無法取用。
又，若在步驟S96中判定處理對象之候補區塊的參照圖像之類型不是STRP，亦即，若目前區塊與候補區塊的參照圖像之類型雙方都是LTRP，則處理係前進至步驟S98。
於步驟S98中，預測向量生成部90，係將處理對象之候補區塊，設定成可取用。於步驟S99中，預測向量生成部90，係將處理對象之候補區塊的運動向量也就是參考運動向量之候補，直接當成預測向量而加以生成。然後，預測向量生成部90，係將該預測向量，登錄至預測向量清單，使處理往步驟S100前進。
於步驟S100中，預測向量生成部90，係判定是否已經將所定數之預測向量登錄至預測向量清單。若在步驟S100中判定為尚未登錄所定數之預測向量，則處理係返回步驟S91，把尚未被決定成處理對象之候補區塊的所定之空間方向候補區塊或時間方向候補區塊，決定成處理對象之候補區塊，進行以後的處理。
另一方面，若在步驟S100中判定為已經登錄了所定數之預測向量，則預測向量生成部90，係將預測向量清單，供給至差分向量生成部91。然後，處理係返回至圖16的步驟S37，前進至步驟S38。
如以上，編碼裝置50係在將Intra BC中所被使用的目前運動向量進行編碼之際，若目前區塊的參照圖像的實際類型、與候補區塊的參照圖像的實際類型為不同，則將候補區塊設定成無法取用。藉此，在預測向量之生成時，參照圖像的實際類型是與目前區塊的參照圖像的實際類型為不同的候補區塊的運動向量，就不會被使用。因此，差分向量會變小，編碼效率會提升。
又，編碼裝置50，係將實際類型為「Intra BC」的目前區塊的參照圖像之類型設定成為LTRP，藉此，若候補區塊的參照圖像的實際類型為STRP，則候補區塊會被設定成無法取用。因此，對Intra BC與畫面間編碼未被共通化時的HEVC不必進行太大的變更，就可提升把Intra BC與畫面間編碼予以共通化時的編碼效率。
甚至，編碼裝置50，係在目前區塊的參照圖 像清單的所定之位置，登錄目前圖像的圖像特定資訊。因此，後述的解碼裝置，係基於參照圖像的圖像特定資訊之參照圖像清單內的位置所對應的索引，就可認知參照圖像是否為目前圖像。其結果為，若參照圖像為目前圖像時，可防止對DRAM無謂地存取。
(解碼裝置的第1實施形態的構成例)
圖20係將從圖13之編碼裝置50所傳輸之編碼串流予以解碼，適用了本揭露的作為影像處理裝置之解碼裝置的第1實施形態之構成例的區塊圖。
圖20的解碼裝置110，係由收取部111、抽出部112、及解碼部113所構成。
解碼裝置110的收取部111，係將從圖13的編碼裝置50所傳輸過來的編碼串流予以收取，供給至抽出部112。
抽出部112係從收取部111所供給之編碼串流中，抽出參數集和編碼資料，供給至解碼部113。
解碼部113係將從抽出部112所供給之編碼資料，以符合HEVC的方式予以解碼。此時，解碼部113係因應需要，而也會參照從抽出部112所供給之參數集。解碼部113係將解碼結果所得之圖像，予以輸出。
(解碼部的構成例)
圖21係圖20的解碼部113之構成例的區塊圖。
圖21的解碼部113係具有：積存緩衝區131、可逆解碼部132、逆量化部133、逆正交轉換部134、加算部135、濾波器136、及畫面排序緩衝區139。又，解碼部113係具有：D/A轉換部140、畫格記憶體141、開關142、畫面內預測部143、預測向量生成部144、運動向量生成部145、清單作成部146、運動補償部147、及開關148。
解碼部113的積存緩衝區131，係從圖20的抽出部112接受編碼資料，並予以積存。積存緩衝區131，係將所積存的編碼資料，當作目前圖像的編碼資料而供給至可逆解碼部132。
可逆解碼部132，係對來自積存緩衝區131的編碼資料，實施對應於圖14的可逆編碼部76的可逆編碼的可變長度解碼或算術解碼等之可逆解碼，以獲得已被量化之正交轉換係數和編碼資訊。可逆解碼部132，係將已被量化之正交轉換係數，供給至逆量化部133。又，可逆解碼部132係將作為編碼資訊的畫面內預測模式資訊等，供給至畫面內預測部143。可逆解碼部132，係將參照圖像之索引供給至預測向量生成部144，將運動向量資訊供給至運動向量生成部145，將畫面間預測模式資訊和參照圖像之索引供給至運動補償部147。
然後，可逆解碼部132係將作為編碼資訊的畫面內預測模式資訊或畫面間預測模式資訊，供給至開關148。可逆解碼部132，係將作為編碼資訊的偏置濾波器 資訊，供給至濾波器136。
逆量化部133、逆正交轉換部134、加算部135、濾波器136、畫格記憶體141、開關142、畫面內預測部143、預測向量生成部144、清單作成部146、運動補償部147，係分別進行和圖14的逆量化部79、逆正交轉換部80、加算部81、濾波器82、畫格記憶體85、開關86、畫面內預測部87、預測向量生成部90、清單作成部88、運動預測．補償部89同樣的處理，藉此，圖像就被解碼。
具體而言，逆量化部133，係將來自可逆解碼部132的已被量化之正交轉換係數予以逆量化，將其結果所得之正交轉換係數，供給至逆正交轉換部134。
逆正交轉換部134，係對來自逆量化部133的正交轉換係數，以TU單位進行逆正交轉換。逆正交轉換部134，係將逆正交轉換之結果所得之殘差資訊，供給至加算部135。
加算部135，係將從逆正交轉換部134所供給的殘差資訊、和從開關148所供給的預測影像，進行加算，以將目前圖像予以局部解碼。此外，當沒有從開關148供給預測影像時，則加算部135係將從逆正交轉換部134所供給之殘差資訊，當作解碼結果。加算部135，係將解碼結果所得之已被局部解碼的目前圖像，供給至畫格記憶體141。又，加算部135，係將全部領域都已被解碼的目前圖像，當作已解碼之圖像而供給至濾波器136。
濾波器136，係對從加算部135所供給的已解碼之圖像，進行濾波器處理。具體而言，濾波器136係首先對已解碼之圖像，進行去區塊濾波器處理。接著，濾波器136係每一LCU地，使用來自可逆解碼部132的偏置濾波器資訊所表示的偏置，對去區塊濾波器處理後的已解碼之圖像，進行偏置濾波器資訊所表示之種類的適應偏置濾波器處理。濾波器136係將適應偏置濾波器處理後的已解碼之圖像，供給至畫格記憶體141及畫面排序緩衝區139。
畫面排序緩衝區139，係將從濾波器136所供給的已解碼之圖像，以畫格單位加以記憶。畫面排序緩衝區139，係將記憶之編碼所需順序的畫格單位之已解碼之圖像，排序成原本的顯示順序，供給至D/A轉換部140。
D/A轉換部140，係將從畫面排序緩衝區139所供給之畫格單位的已解碼之圖像，進行D/A轉換，並予以輸出。
畫格記憶體141，係由例如快取和DRAM所構成。畫格記憶體141，係將從加算部135所供給的目前圖像，記憶在快取，將從濾波器136所供給的已解碼之圖像，記憶在DRAM。被記憶在快取的目前圖像之中的目前區塊所相鄰之像素，係被當成週邊像素而透過開關142供給至畫面內預測部143。
又，被記憶在快取的目前圖像、或被記憶在DRAM的已解碼之圖像，被當成係參照圖像而透過開關 142供給至運動補償部147。
畫面內預測部143，係對目前區塊，使用從畫格記憶體141透過開關142而被讀出之周邊影像，進行從可逆解碼部132所供給之畫面內預測模式資訊所示的最佳畫面內預測模式的畫面內預測處理。畫面內預測部143，係將其結果所生成的預測影像，供給至開關148。
預測向量生成部144，係基於從可逆解碼部132所供給的索引、和清單作成部146中所保持的參照圖像清單，而與圖14的預測向量生成部90同樣地，生成目前運動向量的預測向量清單。預測向量生成部144，係將預測向量清單，供給至運動向量生成部145。
運動向量生成部145，係基於從可逆解碼部132所供給之運動向量資訊之中的索引，而從預測向量生成部144所供給之預測向量清單中，讀出該索引所對應的預測向量。運動向量生成部145，係藉由將該預測向量、與運動向量資訊之中的差分向量進行加算，以將目前運動向量予以預測解碼。運動向量生成部145，係將其結果所生成的目前運動向量，供給至運動補償部147。
清單作成部146，係基於被圖20的抽出部112所抽出的SPS中所含之參照圖像清單資訊、切片標頭中所被配置的資訊等，而與圖14的清單作成部88同樣地，進行參照圖像清單作成處理。清單作成部146，係將其結果所被作成的參照圖像清單，加以保持，並且供給至運動補償部147。
運動補償部147，係基於來自可逆解碼部132的畫面間預測模式資訊及參照圖像之索引、以及來自運動向量生成部145的目前運動向量，而對目前區塊進行運動補償處理。
具體而言，運動補償部147，係將清單作成部146中所被保持的圖像清單中所被登錄的圖像特定資訊之中的，參照圖像之索引的圖像特定資訊，予以讀出。運動補償部147，係從畫格記憶體141透過開關142，將藉由已被讀出之圖像特定資訊而被特定的參照圖像，予以讀出。運動補償部147，係使用參照圖像和目前運動向量，進行畫面間預測模式資訊所示之最佳畫面間預測模式的目前區塊之運動補償處理。運動補償部147，係將其結果所生成的預測影像，供給至開關148。
開關148，係從可逆解碼部132供給了畫面內預測模式資訊時，將從畫面內預測部143所供給之預測影像，供給至加算部135。另一方面，從可逆解碼部132供給了畫面間預測模式資訊時，開關148，係將從運動補償部147所供給之預測影像，供給至加算部135。
(解碼裝置之處理的說明)
圖22係圖20的解碼裝置110的影像生成處理的說明用流程圖。
於圖22的步驟S111中，解碼裝置110的收取部111，係將從圖13的編碼裝置50所傳輸過來的編碼 串流予以收取，供給至抽出部112。
於步驟S112中，抽出部112係從收取部111所供給之編碼串流中，抽出編碼資料和參數集，供給至解碼部113。
於步驟S113中，解碼部113係因應需要而使用從抽出部112所供給之參數集，而進行將從抽出部112所供給之編碼資料，以符合HEVC的方式進行解碼的解碼處理。此解碼處理的細節，將參照後述的圖23來說明。然後，結束處理。
圖23係圖22的步驟S113的解碼處理之細節的說明用流程圖。
於圖23的步驟S131中，解碼部113的積存緩衝區131(圖21)，係從抽出部112將畫格單位之編碼資料予以收取，並積存之。積存緩衝區131，係將所積存的編碼資料，當作目前圖像的編碼資料，而供給至可逆解碼部132。
於步驟S132中，可逆解碼部132，係將來自積存緩衝區131的編碼資料進行可逆解碼，獲得已被量化之正交轉換係數和編碼資訊。可逆解碼部132，係將已被量化之正交轉換係數，供給至逆量化部133。
又，可逆解碼部132係將作為編碼資訊的畫面內預測模式資訊等，供給至畫面內預測部143。可逆解碼部132，係將參照圖像之索引供給至預測向量生成部144，將運動向量資訊供給至運動向量生成部145，將畫 面間預測模式資訊和參照圖像之索引供給至運動補償部147。
然後，可逆解碼部132係將作為編碼資訊的畫面內預測模式資訊或畫面間預測模式資訊，供給至開關148。可逆解碼部132，係將作為編碼資訊的偏置濾波器資訊，供給至濾波器136。
於步驟S133中，清單作成部146，係基於被抽出部112所抽出的SPS中所含之參照圖像清單資訊、切片標頭中所被配置的資訊等，而進行與圖18的參照圖像作成處理同樣的參照圖像清單作成處理。
於步驟S134中，逆量化部133，係將來自可逆解碼部132的已被量化之正交轉換係數予以逆量化，將其結果所得之正交轉換係數，供給至逆正交轉換部134。
於步驟S135中，逆正交轉換部134係對來自逆量化部133的正交轉換係數，實施逆正交轉換，將其結果所得之殘差資訊，供給至加算部135。
於步驟S136中，運動補償部147係判定，是否有從可逆解碼部132供給畫面間預測模式資訊。若步驟S136中判定為有畫面間預測模式資訊被供給時，則處理係前進至步驟S137。
於步驟S137中，預測向量生成部144，係基於從可逆解碼部132所供給的索引、和清單作成部146中所保持的參照圖像清單，而進行與圖19的預測向量清單生成處理同樣的預測向量清單生成處理。
於步驟S138中，運動向量生成部145，係基於運動向量資訊之中的索引，而從預測向量清單中，讀出該索引所對應的預測向量。運動向量生成部145，係藉由將該預測向量、與運動向量資訊之中的差分向量進行加算，以將目前運動向量予以預測解碼。運動向量生成部145，係將其結果所生成的目前運動向量，供給至運動補償部147。
於步驟S139中，運動補償部147，係基於來自可逆解碼部132的畫面間預測模式資訊及參照圖像之索引、以及來自運動向量生成部145的目前運動向量，而對目前區塊進行運動補償處理。運動補償部147，係將其結果所生成的預測影像，供給至開關148，使處理前進至步驟S141。
另一方面，若步驟S136中判定為沒有畫面間預測模式資訊被供給時，亦即畫面內預測模式資訊是被供給至畫面內預測部143時，則處理係前進至步驟S140。
於步驟S140中，畫面內預測部143，係對目前區塊，使用從畫格記憶體141透過開關142而被讀出之周邊影像，進行畫面內預測模式資訊所示的最佳畫面內預測模式的畫面內預測處理。畫面內預測部143，係將畫面內預測處理之結果所生成之預測影像，透過開關148而供給至加算部135，使處理前進至步驟S141。
於步驟S141中，加算部135，係將從逆正交轉換部134所供給的殘差資訊、和從開關148所供給的預 測影像，進行加算，以將目前圖像予以局部解碼。加算部135，係將解碼結果所得之已被局部解碼的目前圖像，供給至畫格記憶體141。又，加算部135，係將全部領域都已被解碼的目前圖像，當作已解碼之圖像而供給至濾波器136。
於步驟S142中，濾波器136，係對從加算部135所供給的已解碼之圖像進行去區塊濾波器處理，以去除區塊失真。
於步驟S143中，濾波器136係基於從可逆解碼部132所供給之偏置濾波器資訊，而對去區塊濾波器處理後的已解碼之圖像，每一LCU地進行適應偏置濾波器處理。濾波器136，係將適應偏置濾波器處理後的影像，供給至畫面排序緩衝區139和畫格記憶體141。
於步驟S144中，畫格記憶體141，係將從加算部81所供給的目前圖像，記憶在快取，將從濾波器136所供給的已解碼之圖像，記憶在DRAM。被記憶在快取的目前圖像之中的目前區塊所相鄰之像素，係被當成週邊像素而透過開關142供給至畫面內預測部143。又，被記憶在快取的目前圖像、或被記憶在DRAM的已解碼之圖像，被當成係參照圖像而透過開關142供給至運動補償部147。
於步驟S145中，畫面排序緩衝區139係將從濾波器136所供給的已解碼之圖像，以畫格單位加以記憶，將已記憶之編碼所需順序的畫格單位之圖像，排序成 原本的顯示順序，供給至D/A轉換部140。
於步驟S146中，D/A轉換部140，係將從畫面排序緩衝區139所供給之畫格單位的圖像，進行D/A轉換，並予以輸出。然後，處理係返回至圖22的步驟S113，而結束。
如以上，解碼裝置110係在將Intra BC中所被使用的目前運動向量進行解碼之際，若目前區塊的參照圖像的實際類型、與候補區塊的參照圖像的實際類型為不同，則將候補區塊設定成無法取用。藉此，在預測向量之生成時，參照圖像的實際類型是與目前區塊的參照圖像的實際類型為不同的候補區塊的運動向量，就不會被使用。
因此，在預測向量之生成時，參照圖像的實際類型是與目前區塊的參照圖像的實際類型為不同的候補區塊的運動向量之參考運動向量不被使用而藉此提高了編碼效率的編碼串流，就可被解碼。
又，解碼裝置110，係將實際類型為「Intra BC」的目前區塊的參照圖像之類型設定成為LTRP，藉此，若候補區塊的參照圖像的實際類型為STRP，則候補區塊會被設定成無法取用。因此，對Intra BC與畫面間編碼未被共通化時的HEVC不必進行太大的變更，就可把Intra BC與畫面間編碼予以共通化時提升了編碼效率的編碼串流，加以解碼。
甚至，解碼裝置110，係在目前區塊的參照圖像清單的所定之位置，登錄目前圖像的圖像特定資訊。因 此，解碼裝置110，係基於參照圖像的圖像特定資訊之參照圖像清單內的位置所對應的索引，就可認知參照圖像是否為目前圖像。其結果為，若參照圖像為目前圖像時，可防止對DRAM無謂地存取。
<第2實施形態> (第2實施形態之概要)
首先，參照圖24乃至圖27，說明第2實施形態之概要。
在第2實施形態中，並不是把Intra BC中的參照圖像也就是目前圖像之類型設定成LTRP，而是藉由變更參照圖像之實際類型為「Intra BC」時的預測向量清單之生成方法，以提升Intra BC與畫面間編碼共通化時的編碼效率。
圖24乃至圖26，係第2實施形態中的參照圖像的實際類型為「Intra BC」時的預測向量清單之生成方法的說明圖。
此外，DiffPicOrderCnt(X,Y)，係表示圖像X與圖像Y的POC的差分(X-Y)。又，RefPicListX[refIdxLX]及LX[refIdxLX](X=0或X=1)係表示，藉由含有目前區塊的切片之編碼時所被使用之參照圖像清單RefPicListX中所被登錄之圖像特定資訊之中的，目前區塊的參照圖像之索引refIdxLX的圖像特定資訊而被特定的參照圖像。
又，CurrPic係表示目前圖像，ColPic係表示 時間方向候補區塊之圖像。再者，xNbAK,yNbAK係分別表示，目前區塊的左、左上、或左下所相鄰之空間方向候補區塊(以下稱為左候補區塊)的x方向之位置與y方向之位置。xNbBK,yNbBK係分別表示，目前區塊的上或右上所相鄰之空間方向候補區塊(以下稱為上候補區塊)的x方向之位置與y方向之位置。
listCol[refIdxCol]係表示，藉由含有時間方向候補區塊的切片之編碼時所被使用之參照圖像清單RefPicListX中所被登錄之圖像特定資訊之中的，時間方向候補區塊的參照圖像之索引refIdxCol的圖像特定資訊而被特定的參照圖像。
如圖24所示，在第2實施形態中，處理對象之候補區塊是左候補區塊的情況下，DiffPicOrderCnt(RefPicListX[refIdxLX],CurrPic)=0、且DiffPicOrderCnt(RefPicListX[refIdxLX],CurrPic)與DiffPicOrderCnt(RefPicListX[RefIdxLX[xNbAK][yNbAK]],CurrPic)是相等時，則處理對象之候補區塊係被設定成可取用。
亦即，若目前圖像的參照圖像和左候補區塊的參照圖像是目前圖像，亦即，目前圖像的參照圖像與左候補區塊的參照圖像的實際類型為「Intra BC」，則左候補區塊係被設定成可取用。然後，左候補區塊的運動向量也就是參考運動向量之候補，係直接被當成預測向量而被生成。
同樣地，在第2實施形態中，如圖25所示， 處理對象之候補區塊是上候補區塊的情況下，DiffPicOrderCnt(RefPicListX[refIdxLX],CurrPic)=0、且DiffPicOrderCnt(RefPicListX[refIdxLX],CurrPic)與DiffPicOrderCnt(RefPicListX[RefIdxLX[xNbBK][yNbBK]],CurrPic)是相等時，則處理對象之候補區塊係被設定成可取用。
亦即，若目前圖像的參照圖像與上候補區塊的參照圖像的實際類型為「Intra BC」，則上候補區塊係被設定成可取用。然後，上候補區塊的運動向量也就是參考運動向量之候補，係直接被當成預測向量而被生成。此預測向量之生成，係針對參照圖像所被登錄的每一參照圖像清單，而被進行。
又，在第2實施形態中，如圖26所示，處理對象之候補區塊是時間方向候補區塊的情況下，DiffPicOrderCnt(LX[refIdxLX],CurrPic)=0、且DiffPicOrderCnt(LX[refIdxLX],CurrPic)與DiffPicOrderCnt(listCol[refIdxCol],ColPic)for colPb是相等時，則處理對象之候補區塊係被設定成可取用。
亦即，若目前圖像的參照圖像與時間方向候補區塊的參照圖像的實際類型為「Intra BC」，則時間方向候補區塊係被設定成可取用。然後，時間方向候補區塊的運動向量也就是參考運動向量之候補，係直接被當成預測向量而被生成。
其結果為，如圖27所示，只有在目前圖像的 參照圖像的實際類型為「Intra BC」時、候補區塊的參照圖像的實際類型為「Intra BC」時，候補區塊的運動向量，會被直接當成預測向量而被生成。另一方面，除此以外的情況下，候補區塊係被設定成無法取用。此外，實際類型為「Intra BC」的參照圖像之候補之類型，係被設定成STRP。
第2實施形態的編碼裝置及解碼裝置之構成，係除了清單作成部88及清單作成部146中所進行的參照圖像清單作成處理、和預測向量生成部90及預測向量生成部144中所進行的預測向量清單生成處理以外，其餘是與圖13的編碼裝置50及圖20的解碼裝置110的構成相同。因此，以下將圖13的編碼裝置50及圖20之解碼裝置110之各部，當作第2實施形態之編碼裝置及解碼裝置之各部來使用，僅說明參照圖像清單作成處理與預測向量生成處理。
(編碼裝置之處理的說明)
圖28係第2實施形態的編碼裝置50的清單作成部88的參照圖像清單作成處理的說明用流程圖。
於圖28的步驟S161中，清單作成部88，係和圖18的步驟S71之處理同樣地，作成4個個別清單。對各個別清單的圖像特定資訊，係設定有STRP或LTRP。
於步驟S162中，清單作成部88係作成，作 為參照圖像之類型是被設定成STRP的、目前圖像的圖像特定資訊所被登錄的目前圖像清單。
步驟S163乃至S166之處理，係和圖18的步驟S73乃至S76之處理相同，因此省略說明。
此外，雖然省略圖示，但第2實施形態的解碼裝置110的清單作成部146的參照圖像清單作成處理，也是和圖28的參照圖像清單作成處理同樣地被進行。
圖29係第2實施形態的編碼裝置50的預測向量生成部90的預測向量清單生成處理之細節的說明用流程圖。此預測向量清單生成處理，係針對參照圖像所被登錄的每一參照圖像清單，而被進行。
圖29的步驟S181乃至S183之處理，係和圖19的步驟S91乃至S93之處理相同，因此省略說明。若在步驟S183中判定處理對象之候補區塊的參照圖像之類型是STRP，則處理係前進至步驟S184。
於步驟S184中，預測向量生成部90係判定，目前區塊與候補區塊的參照圖像的實際類型，雙方是否皆為STRP。具體而言，例如，預測向量生成部90係判定，目前區塊的參照圖像與目前圖像的POC的差分、及候補區塊的參照圖像與候補區塊之圖像的POC的差分，雙方是否皆為1以上。
然後，預測向量生成部90，係在判定目前區塊的參照圖像與目前圖像的POC的差分、及候補區塊的參照圖像與候補區塊的圖像的POC的差分，雙方皆為1 以上時，則判定目前區塊與候補區塊的參照圖像的實際類型，雙方皆為STRP，使處理前進至步驟S185。
步驟S185及S186之處理，係和圖19的步驟S94及S95之處理相同，因此省略說明。
另一方面，預測向量生成部90，係若目前區塊的參照圖像與目前圖像的POC的差分、及候補區塊的參照圖像與候補區塊的圖像的POC的差分之至少一方為0，則在步驟S184中，判定為目前區塊與候補區塊的參照圖像的實際類型之至少一方並非STRP。
然後，於步驟S187中，預測向量生成部90係判定，目前區塊與候補區塊的參照圖像的實際類型，雙方是否皆為「Intra BC」。具體而言，預測向量生成部90係判定，目前區塊的參照圖像與目前圖像的POC的差分、及候補區塊的參照圖像與候補區塊之圖像的POC，是否皆為0。
然後，預測向量生成部90，係在判定為目前區塊的參照圖像與目前圖像的POC的差分、或者，候補區塊的參照圖像與候補區塊的圖像的POC並非為0，則判定為目前區塊與候補區塊的參照圖像的實際類型之至少一方並非「Intra BC」，使處理前進至步驟S188。
亦即，目前區塊的參照圖像是目前圖像，但候補區塊的圖像與候補區塊的參照圖像為不同的時候，以及，候補區塊的圖像與候補區塊的參照圖像是相同，但目前區塊的參照圖像不是目前圖像的時候，預測向量生成部 90，係判定目前區塊的參照圖像的實際類型、與候補區塊的參照圖像的實際類型係為不同，使處理前進至步驟S188。
於步驟S188中，預測向量生成部90，係將處理對象之候補區塊，設定成無法取用。
又，若在步驟S182中判定目前區塊的參照圖像之類型不是STRP，亦即目前區塊的參照圖像之類型是LTRP時，則處理係前進至步驟S189。
於步驟S189中，預測向量生成部90，係和步驟S183之處理同樣地，判定所保持的處理對象之候補區塊的參照圖像之類型，是否為STRP。若在步驟S189中判定處理對象之候補區塊的參照圖像之類型是STRP，亦即目前區塊的參照圖像之類型是LTRP，且候補區塊的參照圖像之類型是STRP時，則處理係前進至步驟S188。藉此，處理對象之候補區塊係被設定成無法取用。
另一方面，若在步驟S189中判定處理對象之候補區塊的參照圖像之類型不是STRP，亦即，若目前區塊與候補區塊的參照圖像之類型雙方都是LTRP，則處理係前進至步驟S190。步驟S190及S191之處理，係和圖19的步驟S98及S99之處理相同，因此省略說明。
另一方面，預測向量生成部90，係若判定為，目前區塊的參照圖像與目前圖像的POC的差分、及候補區塊的參照圖像與候補區塊的圖像的POC的差分為0，則在步驟S187中，判定為目前區塊與候補區塊的參照 圖像的實際類型，係雙方皆為「Intra BC」。
然後，預測向量生成部90係令處理前進至步驟S190。藉此，處理對象之候補區塊係被設定成可取用，處理對象之候補區塊的參考運動向量之候補，係被當作預測向量而被生成。
步驟S186、S188、或S191之處理後，處理係前進至步驟S192。步驟S192之處理，係和圖19的步驟S100之處理相同，因此省略其說明。
此外，雖然省略圖示，但第2實施形態的解碼裝置110的預測向量生成部144的預測向量清單生成處理，也是和圖29的預測向量清單生成處理同樣地被進行。
<第3實施形態> (第3實施形態之概要)
在第3實施形態中，並非在參照圖像清單，而是在時間性清單之開頭，登錄目前圖像的圖像特定資訊。
亦即，在第3實施形態中，如圖30所示，基於圖10的個別清單，作成了RefpicListTemp0清單與RefpicListTemp1清單的2個時間性清單後，在時間性清單之開頭，登錄目前圖像的圖像特定資訊。
接著，RefpicListTemp0清單與RefpicListTemp1清單中所被登錄之圖像特定資訊的順序，會因應需要而被 變更(Reference reordering)。但是，目前圖像的圖像特定資訊的順序之變更係被禁止。
最後，RefpicListTemp0清單中所被登錄之，開頭的圖像特定資訊、和對num_ref_idx_l0_active_minus1加算1而成之數量(圖30的例子中係為5個)的圖像特定資訊，是從開頭起依序被登錄而成的參照圖像清單RefpicList0，會被作成。
又，RefpicListTemp1清單中所被登錄之，開頭的圖像特定資訊、和對num_ref_idx_l1_active_minus1加算1而成之數量(圖30的例子中係為4個)的圖像特定資訊，是從開頭起依序被登錄而成的參照圖像清單RefpicList1，會被作成。
第3實施形態的編碼裝置及解碼裝置之構成，係除了清單作成部88及清單作成部146中所進行的參照圖像清單作成處理以外，其餘是與圖13的編碼裝置50及圖20的解碼裝置110的構成相同。因此，以下將圖13的編碼裝置50及圖20之解碼裝置110之各部，當作第3實施形態之編碼裝置及解碼裝置之各部來使用，僅說明參照圖像清單作成處理。
(編碼裝置之處理的說明)
圖31係第3實施形態的編碼裝置50的清單作成部88的參照圖像清單作成處理的說明用流程圖。
圖31的步驟S201乃至S203之處理，係和圖 18的步驟S71乃至S73之處理相同，因此省略說明。
於步驟S204中，清單作成部88，係在時間性清單之開頭，將目前圖像清單中所被登錄之目前圖像的圖像特定資訊，予以登錄。
於步驟S205中，清單作成部88，係基於切片標頭中所被配置的ref_pic_list_modification，而將目前圖像的圖像特定資訊以外的時間性清單內的圖像特定資訊之順序，予以替換。
於步驟S206中，清單作成部88，係基於時間性清單而作成參照圖像清單。亦即，清單作成部88係作成，將時間性清單中所被登錄的開頭之圖像特定資訊、和切片標頭中所被配置的num_ref_idx_l0_active_minus1(num_ref_idx_l1_active_minus1)加算1而成之數量的圖像特定資訊，從開頭起依序登錄而成的參照圖像清單。
此外，雖然省略圖示，但第3實施形態的解碼裝置110的清單作成部146的參照圖像清單作成處理，也是和圖31的參照圖像清單作成處理同樣地被進行。
<第4實施形態> (適用了本揭露之電腦的說明)
上述一連串處理，係可藉由硬體來執行，也可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機 能的例如通用之個人電腦等。
圖32係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於電腦中，CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203，係藉由匯流排204而被彼此連接。
在匯流排204上係還連接有輸出入介面205。輸出入介面205上係連接有：輸入部206、輸出部207、記憶部208、通訊部209、及驅動機210。
輸入部206，係由鍵盤、滑鼠、麥克風等所成。輸出部207係由顯示器、揚聲器等所成。記憶部208，係由硬碟或非揮發性記憶體等所成。通訊部209係由網路介面等所成。驅動機210係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體211。
在如以上構成的電腦中，藉由CPU201而例如將記憶部208中所記憶之程式透過輸出入介面205及匯流排204，而載入至RAM203裡並加以執行，就可進行上述一連串處理。
電腦(CPU201)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體211中而提供。又，程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。
在電腦中，程式係藉由將可移除式媒體211裝著至驅動機210，就可透過輸出入介面205，安裝至記 憶部208。又，程式係可透過有線或無線之傳輸媒體，以通訊部209接收之，安裝至記憶部208。除此以外，程式係可事前安裝在ROM202或記憶部208中。
此外，電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可平行地，或呼叫進行時等必要之時序上進行處理的程式。
<第5實施形態> (電視裝置之構成例)
圖33係例示了適用了本揭露的電視裝置的概略構成。電視裝置900係具有：天線901、選台器902、解多工器903、解碼器904、映像訊號處理部905、顯示部906、聲音訊號處理部907、揚聲器908、外部介面部909。再者，電視裝置900係還具有控制部910、使用者介面部911等。
選台器902，係從天線901所接收到的播送波訊號中將所望之頻道加以選台然後進行解調，將所得到之編碼位元串流，輸出至解多工器903。
解多工器903係從編碼位元串流中抽出視聽對象之節目的映像或聲音的封包，將所抽出之封包的資料，輸出至解碼器904。又，解多工器903，係將EPG(Electronic Program Guide)等之資料的封包，供給至控制部910。此外，當有被進行擾頻時，則在解多工器等中進行擾頻之解除。
解碼器904，係進行封包的解碼處理，將解碼處理所生成之映像資料輸出至映像訊號處理部905，將聲音資料輸出至聲音訊號處理部907。
映像訊號處理部905，係對映像資料，進行雜訊去除或相應於使用者設定之映像處理等。映像訊號處理部905，係基於顯示部906中所被顯示之節目的映像資料、或透過網路所供給之應用程式，進行處理，而生成影像資料等。又，映像訊號處理部905，係生成項目選擇等的用來顯示選單畫面等所需的映像資料，將其重疊於節目的映像資料上。映像訊號處理部905，係基於如此所生成之映像資料，而生成驅動訊號，驅動顯示部906。
顯示部906，係根據來自映像訊號處理部905的驅動訊號，來驅動顯示裝置(例如液晶顯示元件等)，而使節目的映像等被顯示出來。
聲音訊號處理部907，係對聲音資料實施雜訊去除等之所定處理，進行處理後的聲音資料的D/A轉換處理或增幅處理，供給至揚聲器908而進行聲音輸出。
外部介面部909，係為用來與外部機器或網路做連接所需的介面，進行映像資料或聲音資料等之資料收送訊。
控制部910上係連接有使用者介面部911。使用者介面部911，係由操作開關或遙控訊號收訊部等所構成，會將相應於使用者操作之操作訊號，供給至控制部910。
控制部910係使用CPU(Central Processing Unit)或記憶體等所構成。記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料、EPG資料、透過網路所取得之資料等。記憶體中所記憶的程式，係在電視裝置900之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著電視裝置900相應於使用者操作而動作的各部。
此外，在電視裝置900中係設有，用來將選台器902、解多工器903、映像訊號處理部905、聲音訊號處理部907、外部介面部909等與控制部910做連接所需的匯流排912。
在如此構成的電視裝置中，係在解碼器904裡設有本案之解碼裝置(解碼方法)的機能。因此，可將提升了利用到畫面內之相關性的預測進行之際之編碼效率的編碼串流，予以解碼。
<第6實施形態> (行動電話機的構成例)
圖34係例示了適用了本揭露的行動電話機的概略構成。行動電話機920係具有：通訊部922、聲音編解碼器923、攝影機部926、影像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931。這些係透過匯流排933而被彼此連接。
又，通訊部922上係連接有天線921，聲音編 解碼器923上係連接有揚聲器924和麥克風925。然後，控制部931上係還連接有操作部932。
行動電話機920，係在語音通話模式或資料通訊模式等之各種模式下，進行聲音訊號之收送訊、電子郵件或影像資料之收送訊、影像攝影或資料記錄等之各種動作。
於語音通話模式中，由麥克風925所生成的聲音訊號，係以聲音編解碼器923進行往聲音資料之轉換或資料壓縮然後供給至通訊部922。通訊部922，係進行聲音資料的調變處理或頻率轉換處理等，生成送訊訊號。又，通訊部922係將送訊訊號供給至天線921然後發送至未圖示的基地台。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將所獲得之聲音資料，供給至聲音編解碼器923。聲音編解碼器923，係進行聲音資料的資料解壓縮或往類比聲音訊號之轉換，對揚聲器924進行輸出。
又，於資料通訊模式中，當進行郵件送訊時，控制部931係受理藉由操作部932之操作而被輸入的文字資料，將所被輸入的文字，顯示在顯示部930。又，控制部931係基於操作部932的使用者指示等而生成郵件資料，然後供給至通訊部922。通訊部922，係進行郵件資料的調變處理或頻率轉換處理等，將所得到之送訊訊號，從天線921進行送訊。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理 等，將郵件資料予以復原。將該郵件資料供給至顯示部930，進行郵件內容之顯示。
此外，行動電話機920係亦可將所收到之郵件資料，以記錄再生部929而記憶至記憶媒體。記憶媒體係為可任意改寫的記憶媒體。例如，記憶媒體係為RAM或內建式快閃記憶體等之半導體記憶體、硬碟、磁碟、光磁碟、光碟、USB(Universal Serial Bus)記憶體、或記憶卡等之可移除式媒體。
於資料通訊模式中，當要發送影像資料時，是將攝影機部926所生成的影像資料，供給至影像處理部927。影像處理部927係進行影像資料的編碼處理，生成編碼資料。
多工分離部928係將影像處理部927所生成之編碼資料、和從聲音編解碼器923所供給之聲音資料，以所定方式進行多工化然後供給至通訊部922。通訊部922，係進行多工化資料的調變處理或頻率轉換處理等，將所得到之送訊訊號，從天線921進行送訊。又，通訊部922係進行天線921所接收之收訊訊號的增幅或頻率轉換處理及解調處理等，將多工化資料予以復原。將該多工化資料供給至多工分離部928。多工分離部928，係進行多工化資料的分離，將編碼資料供給至影像處理部927，將聲音資料供給至聲音編解碼器923。影像處理部927係進行編碼資料的解碼處理，生成影像資料。將該影像資料供給至顯示部930，進行所收到之影像的顯示。聲音編解碼 器923，係將聲音資料轉換成類比聲音訊號而供給至揚聲器924，將所收到的聲音予以輸出。
在如此構成的行動電話裝置中，係在影像處理部927裡設有本案之編碼裝置及解碼裝置(編碼方法及解碼方法)的機能。因此，可提升利用到畫面內之相關性的預測進行之際的編碼效率。又，可將提升了利用到畫面內之相關性的預測進行之際之編碼效率的編碼串流，予以解碼。
<第7實施形態> (記錄再生裝置的構成例)
圖35係例示了適用了本揭露的記錄再生裝置的概略構成。記錄再生裝置940，係將例如所收到之播送節目的音訊資料與視訊資料，記錄在記錄媒體中，將該已被記錄之資料，以相應於使用者之指示的時序，提供給使用者。又，記錄再生裝置940係亦可從例如其他裝置取得音訊資料或視訊資料，將它們記錄至記錄媒體。再者，記錄再生裝置940係將記錄媒體中所記錄之音訊資料或視訊資料加以解碼並輸出，就可在監視器裝置等上，進行影像顯示或聲音輸出。
記錄再生裝置940係具有：選台器941、外部介面部942、編碼器943、HDD(Hard Disk Drive)部944、碟片驅動機945、選擇器946、解碼器947、OSD(On-Screen Display)部948、控制部949、使用者介面部950。
選台器941，係從未圖示之天線所接收到的播送訊號中，將所望之頻道予以選台。選台器941，係將所望之頻道的收訊訊號加以解調所得之編碼位元串流，輸出至選擇器946。
外部介面部942，係由IEEE1394介面、網路介面部、USB介面、快閃記憶體介面等之至少一者所構成。外部介面部942，係為用來與外部機器或網路、記憶卡等做連接所需的介面，進行所記錄之映像資料或聲音資料等之資料收訊。
編碼器943係從外部介面部942所供給之映像資料或聲音資料未被編碼時係以所定方式進行編碼，將編碼位元串流輸出至選擇器946。
HDD部944係將映像或聲音等之內容資料、各種程式或其他資料等，記錄在內建的硬碟裡，或是再生時等從該當硬碟中加以讀出。
碟片驅動機945，係對所裝著之光碟，進行訊號的記錄及再生。光碟係為例如DVD碟片(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)碟片等。
選擇器946，係在映像或聲音之記錄時，選擇來自選台器941或編碼器943之任一者的編碼位元串流，供給至HDD部944或碟片驅動機945之任一者。又，選擇器946，係在映像或聲音之再生時，將從HDD部944或碟片驅動機945所輸出之編碼位元串流，供給至解碼器 947。
解碼器947，係進行編碼位元串流之解碼處理。解碼器947，係將藉由進行解碼處理所生成之映像資料，供給至OSD部948。又，解碼器947，係將藉由進行解碼處理所生成之聲音資料，予以輸出。
OSD部948，係生成項目選擇等的用來顯示選單畫面等所需的映像資料，將其重疊至從解碼器947所輸出的映像資料而輸出。
控制部949上係連接有使用者介面部950。使用者介面部950，係由操作開關或遙控訊號收訊部等所構成，會將相應於使用者操作之操作訊號，供給至控制部949。
控制部949係使用CPU或記憶體等所構成。記憶體係記憶著，被CPU所執行之程式或CPU進行處理上所必需的各種資料。記憶體中所記憶的程式，係在記錄再生裝置940之啟動時等的所定時序上被CPU所讀出而執行。CPU係藉由執行程式，而控制著記錄再生裝置940相應於使用者操作而動作的各部。
在如此構成的記錄再生裝置中，係在編碼器943中設置本案的編碼裝置(編碼方法)之機能，在解碼器947中設置本案的解碼裝置(解碼方法)之機能。因此，可提升利用到畫面內之相關性的預測進行之際的編碼效率。又，可將提升了利用到畫面內之相關性的預測進行之際之編碼效率的編碼串流，予以解碼。
<第8實施形態> (攝像裝置的構成例)
圖36係例示了適用了本揭露的攝像裝置的概略構成。攝像裝置960，係拍攝被攝體，將被攝體的影像顯示在顯示部上，或是將其當作影像資料而記錄在記錄媒體中。
攝像裝置960係具有：光學區塊961、攝像部962、攝影機訊號處理部963、影像資料處理部964、顯示部965、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970。又，控制部970上係連接有使用者介面部971。再者，影像資料處理部964、外部介面部966、記憶體部967、媒體驅動機968、OSD部969、控制部970等，係透過匯流排972而被連接。
光學區塊961，係使用對焦透鏡或光圈機構等所構成。光學區塊961，係使被攝體的光學像，成像在攝像部962的攝像面。攝像部962，係使用CCD或CMOS影像感測器所構成，藉由光電轉換而生成相應於光學像的電氣訊號然後供給至攝影機訊號處理部963。
攝影機訊號處理部963，係對從攝像部962所供給之電氣訊號，進行KNEE補正或γ補正、色彩補正等各種相機訊號處理。攝影機訊號處理部963，係將攝影機訊號處理後的影像資料，供給至影像資料處理部964。
影像資料處理部964，係進行從攝影機訊號處 理部963所供給之影像資料的編碼處理。影像資料處理部964，係將藉由進行編碼處理所生成之編碼資料，供給至外部介面部966或媒體驅動機968。又，影像資料處理部964，係進行從外部介面部966或媒體驅動機968所供給之編碼資料的解碼處理。影像資料處理部964，係將藉由進行解碼處理所生成之影像資料，供給至顯示部965。又，影像資料處理部964，係將從攝影機訊號處理部963所供給之影像資料供給至顯示部965，或將從OSD部969所取得之顯示用資料，重疊至影像資料而供給至顯示部965。
OSD部969，係生成由記號、文字或圖形所成之選單畫面或小圖示等之顯示用資料而輸出至影像資料處理部964。
外部介面部966，係例如由USB輸出入端子等所構成，在進行影像之印刷時，與印表機連接。又，外部介面部966上係因應需要而連接有驅動機，磁碟、光碟等之可移除式媒體會被適宜裝著，從其中所讀出之電腦程式，係因應需要而被安裝。再者，外部介面部966係還具有被連接至LAN或網際網路等之所定網路的網路介面。控制部970係例如，依照來自使用者介面部971之指示，從媒體驅動機968中讀出編碼資料，將其從外部介面部966透過網路而提供至所連接的其他裝置。又，控制部970係可將透過網路而從其他裝置所供給之編碼資料或影像資料，透過外部介面部966而加以取得，將其供給至影 像資料處理部964等等。
作為被媒體驅動機968所驅動的記錄媒體，係可使用例如磁碟、光磁碟、光碟、或半導體記憶體等之可讀寫之任意可移除式媒體。又，記錄媒體係為，身為可移除式媒體之種類亦可為任意，可以是磁帶裝置、也可以是碟片、也可以是記憶卡。當然，亦可以是非接觸IC(Integrated Circuit)卡等。
又，亦可將媒體驅動機968與記錄媒體一體化，例如，由內建式硬碟機或SSD(Solid State Drive)等這類非可移除性之記憶媒體所構成。
控制部970係使用CPU所構成。記憶體部967係記憶著，被控制部970所執行之程式或控制部970進行處理上所必需的各種資料等。記憶體部967中所記憶的程式，係在攝像裝置960之啟動時等的所定時序上被控制部970所讀出而執行。控制部970係藉由執行程式，而控制著攝像裝置960相應於使用者操作而動作的各部。
在如此構成的攝像裝置中，係在影像資料處理部964裡設有本案之編碼裝置及解碼裝置(編碼方法及解碼方法)的機能。因此，可提升利用到畫面內之相關性的預測進行之際的編碼效率。又，可將提升了利用到畫面內之相關性的預測進行之際之編碼效率的編碼串流，予以解碼。
<第9實施形態> (其他實施例)
以上雖然說明了適用本揭露的裝置或系統等之例子，但本揭露係不限於此，亦可成為構成這類裝置或系統之裝置中所搭載的任意構成，例如，作為系統LSI(Large Scale Integration)等的處理器、使用複數處理器等的模組、使用複數模組等的單元、對單元再附加其他機能而成的套組等(亦即裝置之部分構成)而實施之。
(視訊套組之構成例)
將本揭露以套組來實施之情形的例子，參照圖37來說明。圖37係圖示了適用了本揭露之視訊套組的概略構成之一例。
近年來，隨著電子機器的多機能化的進展，在其開發或製造時，將其部分構成予以販售或提供等而實施的情況下，不只有以具有單一機能之構成來做實施的情況，還可將具有相關連之機能的複數構成加以組合，成為具有複數機能的1套組的方式來進行實施的情形，也是很常看到的。
圖37所示的視訊套組1300，係為此種被多機能化之構成，是對具有影像編碼或解碼(可為其中一方，亦可為雙方)之相關機能的裝置，組合具有與該機能相關連之其他機能的裝置而成者。
如圖37所示，視訊套組1300係具有：視訊模組1311、外部記憶體1312、電力管理模組1313、及前 端模組1314等之模組群，和具有連接性構件1321、相機1322、及感測器1323等之關連機能的裝置。
模組係為，將彼此具有關連之數個零件性機能予以整合，成為具有整合性機能之零件而成者。具體的實體構成係為任意，但可想成例如，分別具有機能的複數處理器、電阻或電容器等之電子電路元件、將其他裝置等配置在配線基板等而一體化所成者。又，亦可考慮對模組組合其他模組或處理器等而變成新的模組。
圖37的例子中，視訊模組1311係為具有影像處理相關機能之構成加以組合而成，具有應用程式處理器、視訊處理器、寬頻數據機1333、及RF模組1334。
處理器係將具有所定機能之構成，藉由SoC(System On a Chip)而集縮在半導體晶片而成，有時也會被稱作例如系統LSI(Large Scale Integration)等。此具有所定機能之構成，係可為邏輯電路(硬體構成)，也可為CPU、ROM、RAM等、和使用這些而被執行的程式(軟體構成)，亦可為這兩者之組合。例如，亦可為，處理器係具有邏輯電路和CPU、ROM、RAM等，機能之一部分是藉由邏輯電路(硬體構成)來實現，其他機能則是藉由CPU中所執行之程式(軟體構成)來實現。
圖37的應用程式處理器1331，係為執行影像處理相關應用程式的處理器。此應用程式處理器1331中所被執行的應用程式，係為了實現所定之機能，而不只進行演算處理，還可因應需要而控制例如視訊處理器1332 等、視訊模組1311內外之構成。
視訊處理器1332係為，具有影像編碼或解碼(其中一方或雙方)之相關機能的處理器。
寬頻數據機1333係為，透過網際網路或公眾電話線路網等寬頻線路所進行的有線或無線(或其兩者)之進行關於寬頻通訊之處理的處理器(或是模組)。例如，寬頻數據機1333，係將送訊之資料(數位訊號)進行數位調變等而轉換成類比訊號，或將所接收到之類比訊號予以解調而轉換成資料(數位訊號)等。例如，寬頻數據機1333，係將視訊處理器1332所處理的影像資料或影像資料被編碼而成之串流、應用程式、設定資料等任意之資訊，進行數位調變、解調。
RF模組1334係為，對透過天線而收送之RF(Radio Frequency)訊號，進行頻率轉換、調變解調、增幅、濾波器處理等之模組。例如，RF模組1334係對寬頻數據機1333所生成之基頻訊號，進行頻率轉換等，以生成RF訊號。又，例如，RF模組1334，係對透過前端模組1314而接收到的RF訊號，進行頻率轉換等，以生成基頻訊號。
此外，圖37中如虛線1341所示，亦可將應用程式處理器1331和視訊處理器1332一體化，構成為1個處理器。
外部記憶體1312，係被設置在視訊模組1311的外部，係為具有被視訊模組1311所利用之記憶裝置的 模組。此外部記憶體1312的記憶裝置，係無論藉由何種實體構成來實現均可，但一般而言會被利用於畫格單位之影像資料這類大容量資料之儲存，因此以例如DRAM(Dynamic Random Access Memory)這類比較廉價且大容量的半導體記憶體來實現，較為理想。
電力管理模組1313，係管理、控制著對視訊模組1311(視訊模組1311內之各構成)的電力供給。
前端模組1314係為，對RF模組1334提供前端機能(天線側之收送訊端的電路)的模組。如圖37所示，前端模組1314係具有，例如：天線部1351、濾波器1352、及增幅部1353。
天線部1351，係具有收送無線訊號的天線及其周邊之構成。天線部1351，係將從增幅部1353所供給之訊號，以無線訊號方式加以發送，並將所收到之無線訊號變成電氣訊號(RF訊號)而供給至濾波器1352。濾波器1352，係對透過天線部1351所接收到的RF訊號，進行濾波器處理等，將處理後之RF訊號，供給至RF模組1334。增幅部1353，係將從RF模組1334所供給之RF訊號予以增幅，供給至天線部1351。
連接性構件1321係為，具有與外部連接之相關機能的模組。連接性構件1321的實體構成係為任意。例如連接性構件1321係具有，寬頻數據機1333所對應之通訊規格以外之通訊機能的構成、或外部輸出入端子等。
例如，連接性構件1321係可具有，依據 Bluetooth(註冊商標)、IEEE 802.11(例如Wi-Fi(Wireless Fidelity、註冊商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association)等之無線通訊規格的通訊機能之模組、或用來收送依據該規格之訊號的天線等。又，例如，連接性構件1321係可具有，依據USB(Universal Serial Bus)、HDMI(註冊商標)(High-Definition Multimedia Interface)等之有線通訊規格的通訊機能之模組、或依據該規格之端子。甚至，例如，連接性構件1321還可具有類比輸出入端子等其他資料(訊號)傳輸機能等。
此外，連接性構件1321亦可包含資料(訊號)之傳輸目標裝置。例如，連接性構件1321係亦可具有，對磁碟、光碟、光磁碟、或半導體記憶體等之記錄媒體進行資料讀出或寫入的驅動機(不只是可移除式媒體的驅動機，還包含有硬碟、SSD(Solid State Drive)、NAS(Network Attached Storage)等)。又，連接性構件1321係亦可具有影像或聲音之輸出裝置(監視器或揚聲器等)。
攝影機1322係為，具有拍攝被攝體、獲得被攝體之影像資料之機能的模組。攝影機1322拍攝所得到的影像資料，係例如被供給至視訊處理器1332而被編碼。
感測器1323係為具有，例如：聲音感測器、超音波感測器、光感測器、照度感測器、紅外線感測器、影像感測器、旋轉感測器、角度感測器、角速度感測 器、速度感測器、加速度感測器、傾斜感測器、磁性識別感測器、衝擊感測器、溫度感測器等，任意之感測器機能的模組。被感測器1323所測出的資料，係例如被供給至應用程式處理器1331而被應用程式等所利用。
以上以模組方式來說明之構成，可以處理器方式來實現，反之，以處理器來說明之構成，可以模組方式來實現。
在如上構成的視訊套組1300中，如後述，可對視訊處理器1332適用本揭露。因此，視訊套組1300係可成為適用了本揭露之套組而實施之。
(視訊處理器之構成例)
圖38係圖示了適用了本揭露之視訊處理器1332(圖37)的概略構成之一例。
在圖38的例子中，視訊處理器1332係具有：接受視訊訊號及音訊訊號之輸入而將它們以所定方式進行編碼之機能、和將已被編碼之視訊資料及音訊資料予以解碼，將視訊訊號及音訊訊號予以再生輸出之機能。
如圖38所示，視訊處理器1332係具有：視訊輸入處理部1401、第1影像放大縮小部1402、第2影像放大縮小部1403、視訊輸出處理部1404、畫格記憶體1405、及記憶體控制部1406。又，視訊處理器1332係具有：編碼．解碼引擎1407、視訊ES(Elementary Stream)緩衝區1408A及1408B、以及音訊ES緩衝區1409A及 1409B。再者，視訊處理器1332係還具有：音訊編碼器1410、音訊解碼器1411、多工化部(MUX(Multiplexer))1412、逆多工部(DMUX(Demultiplexer))1413、及串流緩衝區1414。
視訊輸入處理部1401，係取得從例如連接性構件1321(圖37)等所輸入之視訊訊號，轉換成數位影像資料。第1影像放大縮小部1402，係對影像資料進行格式轉換或影像之放大縮小處理等。第2影像放大縮小部1403，係對影像資料，隨應於透過視訊輸出處理部1404而輸出之目標的格式而進行影像的放大縮小處理，或進行和第1影像放大縮小部1402相同的格式轉換或影像之放大縮小處理等。視訊輸出處理部1404，係對影像資料，進行格式轉換或往類比訊號之轉換等，成為已被再生之視訊訊號而輸出至例如連接性構件1321(圖37)等。
畫格記憶體1405係為被視訊輸入處理部1401、第1影像放大縮小部1402、第2影像放大縮小部1403、視訊輸出處理部1404、及編碼．解碼引擎1407所共用的影像資料用之記憶體。畫格記憶體1405，係以例如DRAM等之半導體記憶體而實現。
記憶體控制部1406係接受來自編碼．解碼引擎1407的同步訊號，依照存取管理表1406A中所被寫入之對畫格記憶體1405之存取排程，來控制對畫格記憶體1405的寫入、讀出之存取。存取管理表1406A，係隨著編碼．解碼引擎1407、第1影像放大縮小部1402、第2影 像放大縮小部1403等中所被執行的處理，而被記憶體控制部1406所更新。
編碼．解碼引擎1407，係進行影像資料的編碼處理、以及影像資料所被編碼而成之資料亦即視訊串流的解碼處理。例如，編碼．解碼引擎1407係將從畫格記憶體1405所讀出的影像資料予以編碼，成為視訊串流而依序寫入視訊ES緩衝區1408A。又，例如，從視訊ES緩衝區1408B依序讀出視訊串流並解碼之，成為影像資料而依序寫入至畫格記憶體1405。編碼．解碼引擎1407，係於這些編碼或解碼中，把畫格記憶體1405當成作業領域來使用。又，編碼．解碼引擎1407，係例如在每一巨集區塊的處理開始的時序上，對記憶體控制部1406輸出同步訊號。
視訊ES緩衝區1408A，係將編碼．解碼引擎1407所生成之視訊串流予以緩衝，供給至多工化部(MUX)1412。視訊ES緩衝區1408B，係將從逆多工部(DMUX)1413所供給之視訊串流予以緩衝，供給至編碼．解碼引擎1407。
音訊ES緩衝區1409A，係將音訊編碼器1410所生成之音訊串流予以緩衝，供給至多工化部(MUX)1412。音訊ES緩衝區1409B，係將從逆多工部(DMUX)1413所供給之音訊串流予以緩衝，供給至音訊解碼器1411。
音訊編碼器1410，係例如將從連接性構件 1321(圖37)所輸入之音訊訊號予以例如數位轉換，以例如MPEG音訊方式或AC3(AudioCode number 3)方式等所定方式進行編碼。音訊編碼器1410，係將音訊訊號所被編碼而成之資料亦即音訊串流，依序寫入至音訊ES緩衝區1409A。音訊解碼器1411，係將從音訊ES緩衝區1409B所供給之音訊串流予以解碼，進行例如往類比訊號之轉換等，成為已被再生之音訊訊號而供給至例如連接性構件1321(圖37)等。
多工化部(MUX)1412，係將視訊串流和音訊串流予以多工化。此多工化之方法(亦即藉由多工化而所生成之位元串流的格式)，係為任意。又，此多工化之際，多工化部(MUX)1412係亦可將所定之標頭資訊等，附加至位元串流。亦即，多工化部(MUX)1412係可藉由多工化而將串流的格式進行轉換。例如，多工化部(MUX)1412係藉由將視訊串流和音訊串流進行多工化，以轉換成傳輸用之格式的位元串流亦即傳輸串流。又，例如，多工化部(MUX)1412係藉由將視訊串流和音訊串流進行多工化，以轉換成記錄用之檔案格式的資料(檔案資料)。
逆多工部(DMUX)1413係以對應於多工化部(MUX)1412所做之多工化的方法，將視訊串流和音訊串流所被多工化而成的位元串流，進行逆多工化。亦即，逆多工部(DMUX)1413係從串流緩衝區1414所讀出之位元串流，抽出視訊串流和音訊串流(將視訊串流和音訊串流予以分離)。亦即，逆多工部(DMUX)1413，係可藉由逆多工 化而將串流的格式進行轉換(多工化部(MUX)1412所致之轉換的逆轉換)。例如，逆多工部(DMUX)1413係可將從例如連接性構件1321或寬頻數據機1333等(均示於圖37)所供給之傳輸串流，透過串流緩衝區1414而加以取得，藉由逆多工化，轉換成視訊串流和音訊串流。又，例如，逆多工部(DMUX)1413係可將藉由例如連接性構件1321(圖37)而從各種記錄媒體所讀出之檔案資料，透過串流緩衝區1414而加以取得，藉由逆多工化，轉換成視訊串流和音訊串流。
串流緩衝區1414，係將位元串流予以緩衝。例如，串流緩衝區1414，係將從多工化部(MUX)1412所供給之傳輸串流予以緩衝，於所定之時序上，或是基於來自外部的要求等，而供給至例如連接性構件1321或寬頻數據機1333(均示於圖37)等。
又，例如，串流緩衝區1414，係將從多工化部(MUX)1412所供給之檔案資料予以緩衝，於所定之時序上，或是基於來自外部的要求等，而供給至例如連接性構件1321(圖37)等，令其被記錄至各種記錄媒體。
然後，串流緩衝區1414，係將透過例如連接性構件1321或寬頻數據機1333等(均示於圖37)所取得之傳輸串流予以緩衝，於所定之時序上，或是基於來自外部的要求等，而供給至逆多工部(DMUX)1413。
又，串流緩衝區1414，係將藉由例如連接性構件1321(圖37)等中從各種記錄媒體所讀出之檔案資料 予以緩衝，於所定之時序上，或是基於來自外部的要求等，而供給至逆多工部(DMUX)1413。
其次，說明如此構成之視訊處理器1332的動作例。例如，從連接性構件1321(圖37)等輸入至視訊處理器1332的視訊訊號，係於視訊輸入處理部1401中被轉換成4：2：2Y/Cb/Cr方式等之所定方式的數位影像資料，依序被寫入至畫格記憶體1405。此數位影像資料係被讀出至第1影像放大縮小部1402或第2影像放大縮小部1403，進行往4：2：0Y/Cb/Cr方式等所定方式的格式轉換及放大縮小處理，再次被寫入至畫格記憶體1405。此影像資料，係被編碼．解碼引擎1407所編碼，成為視訊串流而被寫入至視訊ES緩衝區1408A。
又，從連接性構件1321(圖37)等輸入至視訊處理器1332的音訊訊號，係被音訊編碼器1410所編碼，成為音訊串流，而被寫入至音訊ES緩衝區1409A。
視訊ES緩衝區1408A的視訊串流、和音訊ES緩衝區1409A的音訊串流，係被多工化部(MUX)1412讀出而多工化，被轉換成傳輸串流或是檔案資料等。多工化部(MUX)1412所生成之傳輸串流，係被串流緩衝區1414緩衝後，透過例如連接性構件1321或寬頻數據機1333(均示於圖37)等而被輸出至外部網路。又，多工化部(MUX)1412所生成之檔案資料，係被串流緩衝區1414緩衝後，被輸出至例如連接性構件1321(圖37)等，被記錄至各種記錄媒體。
又，透過例如連接性構件1321或寬頻數據機1333(均示於圖37)等而從外部網路被輸入至視訊處理器1332的傳輸串流，係被串流緩衝區1414緩衝後，被逆多工部(DMUX)1413逆多工化。又，例如在連接性構件1321(圖37)等中從各種記錄媒體所讀出、被輸入至視訊處理器1332的檔案資料，係在被串流緩衝區1414緩衝後，被逆多工部(DMUX)1413逆多工化。亦即，被輸入至視訊處理器1332的傳輸串流或檔案資料，係被逆多工部(DMUX)1413分離成視訊串流和音訊串流。
音訊串流，係透過音訊ES緩衝區1409B而被供給至音訊解碼器1411，被解碼而再生出音訊訊號。又，視訊串流係被寫入至視訊ES緩衝區1408B後，被編碼．解碼引擎1407依序讀出而解碼，然後被寫入至畫格記憶體1405。已被解碼之影像資料，係藉由第2影像放大縮小部1403而被放大縮小處理，然後被寫入至畫格記憶體1405。然後，已被解碼之影像資料，係被讀出至視訊輸出處理部1404，被格式轉換成4：2：2Y/Cb/Cr方式等之所定方式，然後被轉換成類比訊號，視訊訊號就被再生輸出。
對如此所被構成的視訊處理器1332中適用本揭露的時候，係只要對編碼．解碼引擎1407，適用上述各實施形態所述之本揭露即可。亦即，例如，只要讓編碼．解碼引擎1407具有第1至第3實施形態所述之編碼裝置或解碼裝置之機能即可。藉由如此設計，視訊處理器 1332係可獲得和參照圖1乃至圖31而上述過之效果同樣的效果。
此外，於編碼．解碼引擎1407中，本揭露(亦即上述各實施形態所述之編碼裝置或解碼裝置之機能)，係可藉由邏輯電路等之硬體來實現，亦可藉由內嵌程式等之軟體來實現，亦可藉由其雙方來實現。
(視訊處理器之另一構成例)
圖39係圖示了適用了本揭露之視訊處理器1332(圖37)的概略構成之另一例。在圖39的例子的情況下，視訊處理器1332係具有，將視訊資料以所定方式進行編碼．解碼之機能。
更具體而言，如圖39所示，視訊處理器1332係具有：控制部1511、顯示器介面1512、顯示引擎1513、影像處理引擎1514、及內部記憶體1515。又，視訊處理器1332係具有：編解碼器引擎1516、記憶體介面1517、多工．逆多工部(MUX DMUX)1518、網路介面1519、及視訊介面1520。
控制部1511係控制，顯示器介面1512、顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516等，視訊處理器1332內的各處理部之動作。
如圖39所示，控制部1511係具有例如：主CPU1531、副CPU1532、及系統控制器1533。主CPU1531係執行用來控制視訊處理器1332內之各處理部 之動作所需的程式等。主CPU1531，係依照該程式等而生成控制訊號，供給至各處理部(亦即控制各處理部之動作)。副CPU1532，係擔任主CPU1531的輔助性角色。例如，副CPU1532係執行主CPU1531所執行之程式等的子處理程序或副常式等。系統控制器1533係指定主CPU1531及副CPU1532所執行的程式等，控制主CPU1531及副CPU1532的動作。
顯示器介面1512，係在控制部1511的控制之下，將影像資料輸出至例如連接性構件1321(圖37)等。例如，顯示器介面1512，係將數位資料的影像資料轉換成類比訊號，當作已被再生之視訊訊號，或直接以數位資料之影像資料的方式，輸出至連接性構件1321(圖37)的監視器裝置等。
顯示引擎1513，係在控制部1511的控制之下，對影像資料，以符合顯示該影像之監視器裝置等的硬體規格的方式，進行格式轉換、尺寸轉換、色域轉換等各種轉換處理。
影像處理引擎1514，係在控制部1511的控制之下，對影像資料，實施例如畫質改善所需的濾波器處理等所定之影像處理。
內部記憶體1515，係被顯示引擎1513、影像處理引擎1514、及編解碼器引擎1516所共用，是被設在視訊處理器1332內部的記憶體。內部記憶體1515係被利用於，例如，顯示引擎1513、影像處理引擎1514、及編 解碼器引擎1516之間所進行的資料收授。例如，內部記憶體1515，係將從顯示引擎1513、影像處理引擎1514、或編解碼器引擎1516所供給之資料予以儲存，因應需要(例如隨應於要求)，而將該資料，供給至顯示引擎1513、影像處理引擎1514、或編解碼器引擎1516。此內部記憶體1515，係無論藉由何種記憶裝置來實現均可，但一般而言多會利用於區塊單位之影像資料或參數等這類小容量之資料的儲存，因此以例如SRAM(Static Random Access Memory)這類比較小容量(例如相較於外部記憶體1312)但反應速度較為高速的半導體記憶體來實現，較為理想。
編解碼器引擎1516，係進行影像資料之編碼或解碼相關之處理。此編解碼器引擎1516所對應的編碼．解碼方式係為任意，其數目可以是1個，也可為複數。例如，編解碼器引擎1516係可具備複數編碼．解碼方式的編解碼器機能，以從其中所選擇出來者，進行影像資料的編碼或是編碼資料的解碼。
於圖39所示的例子中，編解碼器引擎1516係作為關於編解碼器之處理的機能區塊，具有例如：MPEG-2 Video1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(Scalable)1544、HEVC/H.265(Multi-view)1545、及MPEG-DASH1551。
MPEG-2 Video1541係為，將影像資料以MPEG-2方式進行編碼或解碼等之機能區塊。AVC/H.2641542係為，將影像資料以AVC方式進行編碼或解碼等之機能 區塊。HEVC/H.2651543係為，將影像資料以HEVC進行編碼或解碼等之機能區塊。HEVC/H.265(Scalable)1544係為，將影像資料以HEVC進行可調式編碼或可調式解碼等之機能區塊。HEVC/H.265(Multi-view)1545係為，將影像資料以HEVC進行多視點編碼或多視點解碼等之機能區塊。
MPEG-DASH1551，係將影像資料以MPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)方式進行收送訊的機能區塊。MPEG-DASH係為，使用HTTP(HyperText Transfer Protocol)來進行視訊串流化之技術，從事先準備的解析度等彼此不同之複數編碼資料之中以區段單位選擇出適切者，並加以傳輸，為其特徵之1。MPEG-DASH1551，係進行依據規格之串流的生成或該串流的傳輸控制等，關於影像資料的編碼．解碼，係利用上述的MPEG-2 Video1541至HEVC/H.265(Multi-view)1545。
記憶體介面1517，係為外部記憶體1312用的介面。從影像處理引擎1514或編解碼器引擎1516所供給之資料，係透過記憶體介面1517而被供給至外部記憶體1312。又，從外部記憶體1312所讀出之資料，係透過記憶體介面1517而被供給至視訊處理器1332(影像處理引擎1514或是編解碼器引擎1516)。
多工．逆多工部(MUX DMUX)1518，係進行編碼資料的位元串流、影像資料、視訊訊號等，關於影像之各種資料的多工化或逆多工化。此多工．逆多工部之方 法係為任意。例如，在多工化之際，多工．逆多工部(MUX DMUX)1518係不只是將複數資料整合成1個，還可將所定的標頭資訊等，附加至該資料。又，在逆多工化之際，多工．逆多工部(MUX DMUX)1518係不只是將1個資料分割成複數，還可對已分割之各資料，附加所定的標頭資訊等。亦即，多工．逆多工部(MUX DMUX)1518，係可藉由多工．逆多工化，而將資料的格式做轉換。例如，多工．逆多工部(MUX DMUX)1518係藉由將位元串流進行多工化，以轉換成傳輸用之格式的位元串流亦即傳輸串流、或是記錄用之檔案格式的資料(檔案資料)。當然，藉由逆多工化，其逆轉換亦為可能。
網路介面1519，係為給例如寬頻數據機1333或連接性構件1321(均示於圖37)等使用的介面。視訊介面1520，係為給例如連接性構件1321或攝影機1322(均示於圖37)等使用的介面。
其次，說明如此之視訊處理器1332的動作例。例如，一旦透過例如連接性構件1321或寬頻數據機1333(均示於圖37)而從外部網路接收了傳輸串流，則該傳輸串流係透過網路介面1519而被供給至多工．逆多工部(MUX DMUX)1518而被逆多工化，被編解碼器引擎1516所解碼。藉由編解碼器引擎1516之解碼所得到的影像資料，係例如，被影像處理引擎1514實施所定之影像處理，被顯示引擎1513進行所定之轉換，透過顯示器介面1512而被供給至例如連接性構件1321(圖37)等，其影像 就被顯示在監視器上。又，例如，藉由編解碼器引擎1516之解碼所得到的影像資料，係被編解碼器引擎1516再次編碼，被多工．逆多工部(MUX DMUX)1518進行多工化而轉換成檔案資料，透過視訊介面1520而被輸出至例如連接性構件1321(圖37)等，被記錄至各種記錄媒體。
甚至例如，藉由連接性構件1321(圖37)等而從未圖示之記錄媒體所讀出、由影像資料所被編碼而成之編碼資料的檔案資料，係透過視訊介面1520而被供給至多工．逆多工部(MUX DMUX)1518而被逆多工化，被編解碼器引擎1516所解碼。藉由編解碼器引擎1516之解碼所得到的影像資料，係被影像處理引擎1514實施所定之影像處理，被顯示引擎1513進行所定之轉換，透過顯示器介面1512而被供給至例如連接性構件1321(圖37)等，其影像就被顯示在監視器上。又，例如，藉由編解碼器引擎1516之解碼所得到的影像資料，係被編解碼器引擎1516再次編碼，被多工．逆多工部(MUX DMUX)1518進行多工化而轉換成傳輸串流，透過網路介面1519而被供給至例如連接性構件1321或寬頻數據機1333(均示於圖37)等而傳輸至未圖示的其他裝置。
此外，在視訊處理器1332內的各處理部之間的影像資料或其他資料之收授，係例如，利用內部記憶體1515或外部記憶體1312而進行。又，電力管理模組1313係控制例如對控制部1511之電力供給。
對如此所被構成的視訊處理器1332中適用本揭露的時候，係只要對編解碼器引擎1516，適用上述各實施形態所述之本揭露即可。亦即，例如，只要讓編解碼引擎1516具有實現第1至第3實施形態所述之編碼裝置或解碼裝置的機能區塊即可。編解碼器引擎1516係藉由如此設計，視訊處理器1332係可獲得和參照圖1乃至圖31而上述過之效果同樣的效果。
此外，於編解碼器引擎1516中，本揭露(亦即上述各實施形態所述之編碼裝置或解碼裝置之機能)，係可藉由邏輯電路等之硬體來實現，亦可藉由內嵌程式等之軟體來實現，亦可藉由其雙方來實現。
以上雖然例示了2個視訊處理器1332之構成，但視訊處理器1332之構成係為任意，亦可為上述2個例子以外的情形。又，此視訊處理器1332係亦可以1個半導體晶片的方式來構成，亦可以複數半導體晶片的方式來構成。例如，亦可為將複數半導體層積起來的3維層積LSI。又，亦可藉由複數LSI來實現。
(對裝置之適用例)
視訊套組1300，係可被組裝在處理影像資料的各種裝置中。例如，視訊套組1300係可被組裝在電視裝置900(圖33)、行動電話機920(圖34)、記錄再生裝置940(圖35)、攝像裝置960(圖36)等中。藉由組裝視訊套組1300，該裝置就可獲得和參照圖1乃至圖31而上述過 之效果同樣的效果。
此外，即使是上述視訊套組1300之各構成的一部分，只要是含有視訊處理器1332者，都可成為適用了本揭露之構成而實施之。例如，亦可僅將視訊處理器1332當作適用了本揭露之視訊處理器來實施之。又，例如，亦可將上述虛線1341所示的處理器或視訊模組1311等，當作適用了本揭露之處理器或模組等來實施之。甚至例如，亦可將視訊模組1311、外部記憶體1312、電力管理模組1313、及前端模組1314加以組合，成為適用了本揭露之視訊單元1361來實施之。無論哪種構成，都可獲得和參照圖1乃至圖31而上述過之效果同樣的效果。
亦即，只要是含有視訊處理器1332者，無論哪種構成，都可和視訊套組1300同樣地，被組裝在處理影像資料的各種裝置中。例如，可將視訊處理器1332、虛線1341所示的處理器、視訊模組1311、或、視訊單元1361，組裝在電視裝置900(圖33)、行動電話機920(圖34)、記錄再生裝置940(圖35)、攝像裝置960(圖36)等中。然後，藉由組裝適用了本揭露之任一構成，該裝置就可和視訊套組1300同樣地，獲得和參照圖1乃至圖31而上述過之效果同樣的效果。
此外，在本說明書中係說明了，各種資訊，係被多工化至編碼資料，從編碼側被傳輸至解碼側的例子。然而，這些資訊的傳輸手法係不限定於所述例子。例如，這些資訊係亦可不被多工化至編碼資料，而是以與編 碼資料建立關連之個別資料的方式而被傳輸或記錄。此處，「建立關連」之用語係意味著，位元串流中所含之影像(切片或區塊等，亦可為影像之一部分)和該當影像所對應之資訊進行解碼時使其能夠彼此連結的意思。亦即，資訊係可有別於編碼資料而在另外的傳輸路上進行傳輸。又，資訊係亦可有別於編碼資料而被記錄在另外的記錄媒體(或是同一記錄媒體的其他記錄區域)。甚至，資訊和編碼資料，係亦可以例如複數畫格、1畫格、或畫格內之一部分等之任意單位，而彼此關連。
本揭露係可適用於，像是MPEG、H.26x等、將藉由離散餘弦轉換等之正交轉換與運動補償而被壓縮的位元串流，透過衛星播送、有線TV、網際網路、行動電話等之網路媒體而進行收訊之際，或是在光碟、磁碟、及快閃記憶體這類記憶媒體上進行處理之際所使用的編碼裝置或解碼裝置。
又，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
甚至，本說明書中所記載之效果僅為例示並非限定，亦可還有其他的效果。
又，本揭露的實施形態係不限定於上述實施形態，在不脫離本揭露主旨的範圍內可做各種變更。
例如，於第1及第2實施形態中，參照圖像清單中所被登錄的目前圖像的圖像特定資訊之位置係亦可不被固定。又，於第1及第3實施形態中，參照圖像清單中所被設定的目前圖像的圖像類型係亦可為STRP。
又，於第2實施形態中，亦可如第3實施形態，不是在參照圖像清單，而是在時間性清單中，登錄目前圖像的圖像特定資訊。
甚至，於第3實施形態中，亦可如第2實施形態，藉由變更目前圖像的參照圖像之類型為Intra BC時的預測向量清單之生成方法，以提升Intra BC與畫面間編碼共通化時的編碼效率。
又，例如，本揭露係亦可將1個機能透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。
又，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。
甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。
本揭露係亦可視為如下之構成。
(1)
一種影像處理裝置，係具備：預測向量生成部，係在將利用到畫面內之相關性的預 測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和差分向量生成部，係生成前記目前運動向量與已被前記預測向量生成部所生成之前記預測向量的差分向量。
(2)
如前記(1)所記載之影像處理裝置，其中，還具備有：設定部，係將前記目前區塊的參照圖像之類型，設定成long-term參照圖像。
(3)
如前記(1)所記載之影像處理裝置，其中，前記預測向量生成部，係若前記候補區塊之圖像與前記候補區塊的參照圖像為不同，則判定前記目前區塊的參照圖像之類型、與前記候補區塊的參照圖像之類型係為不同。
(4)
如前記(1)乃至(3)之任一項所記載之影像處理裝置，其中，還具備有：清單作成部，係在前記目前區塊的參照圖像之候補之 清單的所定之位置，登錄前記目前區塊之圖像。
(5)
如前記(4)所記載之影像處理裝置，其中，前記所定之位置係為開頭。
(6)
如前記(4)或(5)所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄前，進行前記清單內的前記參照圖像之候補之順序的替換。
(7)
如前記(4)或(5)所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄後，進行前記清單內的前記目前區塊之圖像以外之前記參照圖像之候補之順序的替換。
(8)
一種影像處理方法，係含有：由影像處理裝置進行：預測向量生成步驟，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和 差分向量生成步驟，係生成前記目前運動向量與已被前記預測向量生成步驟之處理所生成之前記預測向量的差分向量。
(9)
一種影像處理裝置，係具備：預測向量生成部，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行解碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和運動向量生成部，係將前記目前運動向量與前記預測向量的差分向量、和已被前記預測向量生成部所生成之前記預測向量，進行加算，以生成前記目前運動向量。
(10)
如前記(9)所記載之影像處理裝置，其中，還具備有：設定部，係將前記目前區塊的參照圖像之類型，設定成long-term參照圖像。
(11)
如前記(9)所記載之影像處理裝置，其中，前記預測向量生成部，係若前記候補區塊之圖像與前記候補區塊的參照圖像為不同，則判定前記目前區塊的參 照圖像之類型、與前記候補區塊的參照圖像之類型係為不同。
(12)
如前記(9)乃至(11)之任一項所記載之影像處理裝置，其中，還具備有：清單作成部，係在前記目前區塊的參照圖像之候補之清單的所定之位置，登錄前記目前區塊之圖像。
(13)
如前記(12)所記載之影像處理裝置，其中，前記所定之位置係為開頭。
(14)
如前記(12)或(13)所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄前，進行前記清單內的前記參照圖像之候補之順序的替換。
(15)
如前記(12)或(13)所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄後，進行前記清單內的前記目前區塊之圖像以外之前記參照圖像之候補之順序的替換。
(16)
一種影像處理方法，係含有：由影像處理裝置進行： 預測向量生成步驟，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行解碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和運動向量生成步驟，係將前記目前運動向量與前記預測向量的差分向量、和已被前記預測向量生成步驟之處理所生成之前記預測向量，進行加算，以生成前記目前運動向量。
52‧‧‧編碼部
71‧‧‧A/D轉換部
72‧‧‧畫面排序緩衝區
73‧‧‧演算部
74‧‧‧正交轉換部
75‧‧‧量化部
76‧‧‧可逆編碼部
77‧‧‧積存緩衝區
78‧‧‧生成部
79‧‧‧逆量化部
80‧‧‧逆正交轉換部
81‧‧‧加算部
82‧‧‧濾波器
85‧‧‧畫格記憶體
86‧‧‧開關
87‧‧‧畫面內預測部
88‧‧‧清單作成部
89‧‧‧運動預測．補償部
90‧‧‧預測向量生成部
91‧‧‧差分向量生成部
92‧‧‧預測影像選擇部
93‧‧‧速率控制部

Claims (16)

  1. 一種影像處理裝置，係具備：預測向量生成部，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和差分向量生成部，係生成前記目前運動向量與已被前記預測向量生成部所生成之前記預測向量的差分向量。
  2. 如請求項1所記載之影像處理裝置，其中，還具備有：設定部，係將前記目前區塊的參照圖像之類型，設定成long-term參照圖像。
  3. 如請求項1所記載之影像處理裝置，其中，前記預測向量生成部，係若前記候補區塊之圖像與前記候補區塊的參照圖像為不同，則判定前記目前區塊的參照圖像之類型、與前記候補區塊的參照圖像之類型係為不同。
  4. 如請求項1所記載之影像處理裝置，其中，還具備有：清單作成部，係在前記目前區塊的參照圖像之候補之清單的所定之位置，登錄前記目前區塊之圖像。
  5. 如請求項4所記載之影像處理裝置，其中，前記所定之位置係為開頭。
  6. 如請求項4所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄前，進行前記清單內的前記參照圖像之候補之順序的替換。
  7. 如請求項4所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄後，進行前記清單內的前記目前區塊之圖像以外之前記參照圖像之候補之順序的替換。
  8. 一種影像處理方法，係含有：由影像處理裝置進行：預測向量生成步驟，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行編碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和差分向量生成步驟，係生成前記目前運動向量與已被前記預測向量生成步驟之處理所生成之前記預測向量的差分向量。
  9. 一種影像處理裝置，係具備：預測向量生成部，係在將利用到畫面內之相關性的預 測中所被使用的目前區塊之目前運動向量進行解碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和運動向量生成部，係將前記目前運動向量與前記預測向量的差分向量、和已被前記預測向量生成部所生成之前記預測向量，進行加算，以生成前記目前運動向量。
  10. 如請求項9所記載之影像處理裝置，其中，還具備有：設定部，係將前記目前區塊的參照圖像之類型，設定成long-term參照圖像。
  11. 如請求項9所記載之影像處理裝置，其中，前記預測向量生成部，係若前記候補區塊之圖像與前記候補區塊的參照圖像為不同，則判定前記目前區塊的參照圖像之類型、與前記候補區塊的參照圖像之類型係為不同。
  12. 如請求項9所記載之影像處理裝置，其中，還具備有：清單作成部，係在前記目前區塊的參照圖像之候補之清單的所定之位置，登錄前記目前區塊之圖像。
  13. 如請求項12所記載之影像處理裝置，其中，前記所定之位置係為開頭。
  14. 如請求項12所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄前，進行前記清單內的前記參照圖像之候補之順序的替換。
  15. 如請求項12所記載之影像處理裝置，其中，前記清單作成部，係在前記目前區塊之圖像的登錄後，進行前記清單內的前記目前區塊之圖像以外之前記參照圖像之候補之順序的替換。
  16. 一種影像處理方法，係含有：由影像處理裝置進行：預測向量生成步驟，係在將利用到畫面內之相關性的預測中所被使用的目前區塊之目前運動向量進行解碼之際，若目前區塊的參照圖像之類型、與目前運動向量之預測向量的生成之際所參照的參考運動向量之候補所對應的候補區塊的參照圖像之類型為不同，則將前記候補區塊設定成無法取用，並使用前記參考運動向量來生成前記目前運動向量之預測向量；和運動向量生成步驟，係將前記目前運動向量與前記預測向量的差分向量、和已被前記預測向量生成步驟之處理所生成之前記預測向量，進行加算，以生成前記目前運動向量。
TW104142307A 2014-12-26 2015-12-16 影像處理裝置及影像處理方法 TWI682660B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014265786 2014-12-26
JP2014-265786 2014-12-26

Publications (2)

Publication Number Publication Date
TW201635795A true TW201635795A (zh) 2016-10-01
TWI682660B TWI682660B (zh) 2020-01-11

Family

ID=56150209

Family Applications (3)

Application Number Title Priority Date Filing Date
TW109120086A TWI734525B (zh) 2014-12-26 2015-12-16 影像處理裝置及影像處理方法
TW108138090A TWI701944B (zh) 2014-12-26 2015-12-16 影像處理裝置及影像處理方法
TW104142307A TWI682660B (zh) 2014-12-26 2015-12-16 影像處理裝置及影像處理方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW109120086A TWI734525B (zh) 2014-12-26 2015-12-16 影像處理裝置及影像處理方法
TW108138090A TWI701944B (zh) 2014-12-26 2015-12-16 影像處理裝置及影像處理方法

Country Status (7)

Country Link
US (3) US10735762B2 (zh)
EP (2) EP4020991A1 (zh)
JP (2) JPWO2016104179A1 (zh)
KR (1) KR20170098827A (zh)
CN (3) CN107113443B (zh)
TW (3) TWI734525B (zh)
WO (1) WO2016104179A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640957B (zh) * 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904559B2 (en) * 2018-07-13 2021-01-26 Tencent America LLC Block vector prediction in intra block copy mode
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
WO2021134631A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 视频处理的方法与装置
CN115668934A (zh) * 2020-05-21 2023-01-31 Lg电子株式会社 具有基于层间预测确定的运动信息的图像编码/解码方法和设备及发送比特流的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4978575B2 (ja) * 2008-06-25 2012-07-18 富士通株式会社 シンクライアントシステムにおける画像符号化方法及び画像符号化プログラム
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
WO2012128540A2 (ko) * 2011-03-21 2012-09-27 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
US9485518B2 (en) * 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
WO2013024588A1 (ja) * 2011-08-12 2013-02-21 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
JP2013059023A (ja) * 2011-08-12 2013-03-28 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
TWI505696B (zh) * 2011-11-08 2015-10-21 Samsung Electronics Co Ltd 解碼影像的方法
WO2013168407A1 (en) 2012-05-09 2013-11-14 Panasonic Corporation Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
AU2013285749B2 (en) * 2012-07-02 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for predicting motion vector for coding video or decoding video
US9854234B2 (en) * 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
GB201409634D0 (en) * 2014-05-30 2014-07-16 Canon Kk Intra block copy mode encoding choice
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
KR102358276B1 (ko) * 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
GB2531003A (en) * 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI640957B (zh) * 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統
US10489879B2 (en) 2017-07-26 2019-11-26 Altek Semiconductor Corp. Image processing chip and image processing system

Also Published As

Publication number Publication date
CN111491165B (zh) 2024-03-15
EP3240290B1 (en) 2022-03-23
TWI734525B (zh) 2021-07-21
TW202005395A (zh) 2020-01-16
TWI701944B (zh) 2020-08-11
US20180270498A1 (en) 2018-09-20
CN111491164A (zh) 2020-08-04
WO2016104179A1 (ja) 2016-06-30
US20210218983A1 (en) 2021-07-15
JPWO2016104179A1 (ja) 2017-10-05
CN111491164B (zh) 2024-04-30
JP2020123984A (ja) 2020-08-13
TWI682660B (zh) 2020-01-11
EP4020991A1 (en) 2022-06-29
US20200260109A1 (en) 2020-08-13
TW202041028A (zh) 2020-11-01
KR20170098827A (ko) 2017-08-30
CN107113443B (zh) 2020-04-28
EP3240290A4 (en) 2018-06-27
CN107113443A (zh) 2017-08-29
CN111491165A (zh) 2020-08-04
EP3240290A1 (en) 2017-11-01
US10735762B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US11812042B2 (en) Image decoding device and method for setting information for controlling decoding of coded data
CA2875243C (en) Encoding device and encoding method
TWI734525B (zh) 影像處理裝置及影像處理方法
KR102407030B1 (ko) 화상 부호화 장치 및 방법 및 화상 복호 장치 및 방법
KR20190045904A (ko) 화상 처리 장치 및 화상 처리 방법
KR102242722B1 (ko) 디코딩 디바이스, 디코딩 방법, 인코딩 디바이스, 및 인코딩 방법
EP3570547A1 (en) Image processing device and image processing method
JP6711353B2 (ja) 画像処理装置および画像処理方法
WO2015098559A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法