TWI838914B - 編碼裝置、解碼裝置及非暫時性電腦可讀取媒體 - Google Patents
編碼裝置、解碼裝置及非暫時性電腦可讀取媒體 Download PDFInfo
- Publication number
- TWI838914B TWI838914B TW111139226A TW111139226A TWI838914B TW I838914 B TWI838914 B TW I838914B TW 111139226 A TW111139226 A TW 111139226A TW 111139226 A TW111139226 A TW 111139226A TW I838914 B TWI838914 B TW I838914B
- Authority
- TW
- Taiwan
- Prior art keywords
- motion estimation
- unit
- motion
- motion vector
- candidate
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 731
- 239000013598 vector Substances 0.000 claims abstract description 295
- 238000000034 method Methods 0.000 claims description 80
- 230000002093 peripheral effect Effects 0.000 claims description 67
- 238000011156 evaluation Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 description 154
- 238000010586 diagram Methods 0.000 description 63
- 238000013139 quantization Methods 0.000 description 48
- 238000006243 chemical reaction Methods 0.000 description 37
- 238000012986 modification Methods 0.000 description 31
- 230000004048 modification Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 28
- 230000002829 reductive effect Effects 0.000 description 17
- 238000009795 derivation Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000011664 signaling Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 101150095908 apex1 gene Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Abstract
編碼裝置是使用移動向量而對編碼對象區塊進行編碼,該編碼裝置包含有處理器及記憶體,處理器是使用記憶體,導出各自具有至少1個移動向量之複數個候選,決定參考圖片中的移動估測範圍,根據複數個候選,在參考圖片的移動估測範圍內進行移動估測,將有關於已決定的移動估測範圍的資訊進行編碼。
Description
發明領域
本揭示是有關於編碼裝置、解碼裝置、編碼方法及解碼方法。
發明背景
被稱為HEVC(High Efficiency Video Coding/高效率視訊編碼)之影像編碼標準規格已藉由JCT-VC(Joint Collaborative Team on Video Coding)而被標準化。
先行技術文獻
非專利文獻
非專利文獻1:H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding)
發明概要
發明欲解決之課題
在如此的編碼及解碼技術中,尋求更進一步的改善。
在此,本揭示之目的在於提供能實現更進一步的改善之編碼裝置、解碼裝置、編碼方法或者解碼方法。
為解決課題的手段
本揭示一態樣之編碼裝置,是使用移動向量而將編碼對象區塊進行編碼,該編碼裝置包含有處理器及記憶體,前述處理器是使用前述記憶體,導出各自具有至少1個移動向量之複數個候選,決定參考圖片中的移動估測範圍,根據前述複數個候選,在前述參考圖片的前述移動估測範圍內進行移動估測,並將有關於已決定的前述移動估測範圍的資訊進行編碼。
本揭示一態樣之解碼裝置是使用移動向量而將解碼對象區塊進行解碼,該解碼裝置包含有處理器及記憶體,前述處理器是使用前述記憶體,從位元流中解讀有關於移動估測範圍的資訊,導出各自具有至少1個移動向量之複數個候選,根據有關於前述移動估測範圍的資訊,決定參考圖片中的移動估測範圍,並根據前述複數個候選而在前述參考圖片的前述移動估測範圍內進行移動估測。
另,該等概括性或者是具體性的態樣,可以透過系統、方法、積體電路、電腦程式、或者、電腦可讀取之CD-ROM等之記錄媒體來實現,也可以透過系統、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
發明的效果
本揭示可提供能實現更進一步的改善之編碼裝置、解碼裝置、編碼方法或者解碼方法。
(本揭示之基礎的見解)
用以實施發明之形態
在下一世代的動態影像壓縮規格中,為了減少移動補償之用之移動資訊的編碼量,正檢討著在解碼裝置側進行移動估測的模式。在如此的模式中,解碼裝置估測參考圖片內的區域(移動估測),藉此來導出解碼對象區塊之用的移動向量,其中該參考圖片類似於與解碼對象區塊不同的解碼完畢區塊。此時,因為能預想到因移動估測所造成的解碼裝置的處理負擔、及因參考圖片之資料轉送之對解碼裝置要求的記憶體帶寬的增加,所以需要抑制處理負擔及記憶體帶寬的增加之技術。
在此,本揭示一態樣之編碼裝置是使用移動區塊而將編碼對象區塊進行編碼的裝置,其包含有:處理器、及記憶體,前述處理器是使用前述記憶體,導出各自具有至少1個移動向量之複數個候選,決定參考圖片中的移動估測範圍,根據前述複數個候選而在前述參考圖片的前述移動估測範圍內進行移動估測,並將有關於已決定的前述移動估測範圍的資訊進行編碼。
依此,可在已決定的移動估測範圍內進行移動估測。因此,無須在移動估測範圍外進行移動估測,故可減輕移動估測之用的處理負擔。進而,也可不從訊框記憶體讀取移動估測範圍外的再構成圖像,因此可減少移動估測之用的記憶體帶寬的需求量。
又,在本揭示一態樣之編碼裝置中,例如,也可在前述移動估測中,從前述複數個候選排除下述候選,即具有對應於前述移動估測範圍外的位置之移動向量的候選,從前述複數個候選之剩餘的候選之中選擇候選,並根據已選擇的前述候選,決定前述編碼對象區塊之用之移動向量。
依此,可先將具有對應於移動估測範圍外的位置之移動向量的候選排除之後,再進行候選的選擇。因此,可減少選擇候選之用之處理負擔。
又,在本揭示一態樣之編碼裝置中,例如有關於前述移動估測範圍的資訊也可含有顯示前述移動估測範圍的尺寸之資訊。
依此,在位元流可含有顯示移動估測範圍的尺寸之資訊。因此,具有與在編碼裝置所使用的移動估測範圍的尺寸相同的尺寸的移動估測範圍也可使用在解碼裝置。進而,可減少決定解碼裝置中之移動估測範圍的尺寸之用的處理負擔。
又,在本揭示一態樣之編碼裝置中,例如,也可在導出前述複數個候選中,從複數個編碼完畢區塊導出前述複數個候選,其中前述複數個編碼完畢區塊為空間上或時間上鄰接於前述編碼對象區塊,前述移動估測範圍的位置是根據前述複數個候選所含的複數個移動向量的平均移動向量。又,在本揭示一態樣之編碼裝置中,例如,在導出前述複數個候選中,從複數個區塊導出前述複數個候選,其中前述複數個區塊為空間上或者時間上鄰接於前述編碼對象區塊,前述移動估測範圍的位置是根據前述複數個候選所含的複數個移動向量之中央移動向量來決定。
依此,可根據複數個候選來決定移動估測範圍的位置,其中前述複數個候選是從鄰接於編碼對象區塊的複數個編碼完畢區塊所導出。因此,可決定適於估測編碼對象區塊之用的移動向量之區域,作為移動估測範圍,可提高移動向量的精度。
又,在本揭示一態樣之編碼裝置中,例如,前述移動估測範圍的位置也可根據在編碼完畢區塊之編碼所使用的複數個移動向量的平均移動向量來決定。
依此,可根據編碼完畢圖片的移動向量,來決定移動估測範圍的位置。就算編碼對象圖片內的編碼對象區塊有改變,編碼完畢圖片的移動向量也不會改變,因此每次編碼對象區塊有改變時,便無須從鄰接區塊的移動向量決定為移動估測範圍。即,可減輕決定移動估測範圍之用的處理負擔。
又,在本揭示一態樣之編碼裝置中,例如,也可在決定前述編碼對象區塊之用的移動向量中,在前述參考圖片內的周邊區域中進行圖案匹配,其中前述周邊區域為對應於已選擇的前述候選的移動向量的位置,在前述周邊區域內找出最相配的區域,根據該最相配的區域,決定前述編碼對象區塊之用的移動向量。
依此,除了候選的移動向量外,根據周邊區域中的圖案匹配,可決定編碼對象區塊之用的移動向量。因此,可進一步提高移動向量的精度。
又,在本揭示一態樣之編碼裝置中,例如,也可在決定前述編碼對象區塊之用的移動向量中,判定前述周邊區域是否包含在前述移動估測範圍,在前述周邊區域包含在前述移動估測範圍時,在前述周邊區域中進行前述圖案匹配,在前述周邊區域不包含在前述移動估測範圍時,在前述周邊區域之中的前述移動估測範圍所含的一部分區域中,進行前述圖案匹配。
依此,在周邊區域不包含在移動估測範圍時,可在周邊區域之中的移動估測範圍內的一部分區域中進行圖案匹配。因此,可迴避在移動估測範圍外的移動估測,可減輕處理負擔及記憶體帶寬的需求量。
又,在本揭示一態樣之編碼裝置中,例如,在決定前述編碼對象區塊之用的移動向量中,判定前述周邊區域是否包含在前述移動估測範圍,在前述周邊區域包含在前述移動估測範圍時,在前述周邊區域中進行前述圖案匹配,在前述周邊區域不包含在前述移動估測範圍時,決定已選擇的前述候選所含的移動向量,作為前述編碼對象區塊之用的移動向量。
依此,在周邊區域不包含在移動估測範圍時,也可不進行周邊區域中的圖案匹配。因此,可迴避移動估測範圍外的移動估測,可減輕處理負擔及記憶體帶寬的需求量。
本揭示一態樣之編碼方法是使用移動向量而將編碼對象區塊進行編碼的方法,導出各自具有至少1個移動向量之複數個候選,決定參考圖片中之移動估測範圍,根據前述複數個候選,在前述參考圖片之前述移動估測範圍內進行移動估測,將有關於已決定的前述移動估測範圍的資訊進行編碼。
依此,可展現與上述編碼裝置同樣的效果。
本揭示一態樣之解碼裝置是使用移動向量而將解碼對象區塊進行解碼之解碼裝置,包含有處理器、及記憶體,前述處理器使用前述記憶體,從位元流解讀有關於移動估測範圍的資訊,導出各自具有至少1個移動向量之複數個候選,根據前述有關於移動估測範圍的資訊,決定參考圖片中之移動估測範圍,根據前述複數個候選,在前述參考圖片之前述移動估測範圍內進行移動估測。
依此,可在已決定的移動估測範圍內進行移動估測。因此,無須在移動估測範圍外進行移動估測,因此可減輕移動估測之用之處理負擔。進而,也可不從訊框記憶體讀取移動估測範圍外的再構成圖像,因此可減少移動估測之用的記憶體帶寬的需求量。
又,在本揭示一態樣之解碼裝置中,例如,也可在前述移動估測中,從前述複數個候選排除下述候選,即具有對應於前述移動估測範圍外之位置的移動向量之候選,從前述複數個候選的剩餘的候選之中選擇候選,根據已選擇的前述候選,決定前述解碼對象區塊之用的移動向量。
依此,可先排除具有對應於移動估測範圍外之位置的移動向量的候選之後,再進行候選的選擇。因此,可減輕選擇候選之用的處理負擔。
又,在本揭示一態樣之解碼裝置中,例如,前述有關於移動估測範圍的資訊也可含有顯示前述移動估測範圍之尺寸的資訊。
依此,可在位元流含有顯示移動估測範圍之尺寸的資訊。因此,具有與已在編碼裝置使用的移動估測範圍的尺寸相同的尺寸的移動估測範圍也可在解碼裝置使用。進而,可減輕決定解碼裝置中之移動估測範圍的尺寸之用的處理負擔。
又,在本揭示一態樣之解碼裝置中,例如也可在導出前述複數個候選中,從複數個解碼完畢區塊導出前述複數個候選,其中前述複數個解碼完畢區塊為空間上或時間上鄰接於前述解碼對象區塊,前述移動估測範圍的位置是根據前述複數個候選所含的複數個移動向量的平均移動向量來決定。又,在本揭示一態樣之解碼裝置中,例如,也可在導出前述複數個候選中,從複數個區塊導出前述複數個候選,其中前述複數個區塊為空間上或者時間上鄰接於前述解碼對象區塊,前述移動估測範圍的位置為根據前述複數個候選所含的複數個移動向量之中央移動向量來決定。
依此等,可根據從鄰接於解碼對象區塊的複數個解碼完畢區塊所導出的複數個候選,決定移動估測範圍的位置。因此,可決定適於估測解碼對象區塊之用的移動向量之區域,作為移動估測範圍,可提高移動向量的精度。
又,在本揭示一態樣的解碼裝置中,例如,前述移動估測範圍的位置也可根據在解碼完畢圖片的解碼所使用的複數個移動向量的平均移動向量來決定移動向量。
依此,可根據解碼完畢圖片來決定移動估測範圍的位置。就算解碼對象圖片內的解碼對象區塊有改變,解碼完畢圖片的移動向量也不會改變,因此每次解碼對象區塊有改變時,便無須從鄰接區塊的移動向量決定為移動估測範圍。即,可減輕決定移動估測範圍之用的處理負擔。
又,在本揭示一態樣之解碼裝置中,例如,也可在決定前述解碼對象區塊之用的移動向量中,在前述參考圖片內的周邊區域中進行圖案匹配,其中前述周邊區域為對應於已選擇的前述候選的移動向量的位置,在前述周邊區域內找出最相配的區域,根據該最相配的區域,決定前述解碼對象區塊之用的移動向量。
依此,除了候選的移動向量外,也可根據周邊區域中之圖案匹配,決定解碼對象區塊之用的移動向量。因此,可進一步提高移動向量的精度。
又,在本揭示一態樣之解碼裝置中,例如,也可在決定前述解碼對象區塊之用的移動向量中,判定前述周邊區域是否包含在前述移動估測範圍,在前述周邊區域包含在前述移動估測範圍時,在前述周邊區域中進行前述圖案匹配,在前述周邊區域不包含在前述移動估測範圍時,在前述周邊區域之中之前述移動估測範圍所含的一部分區域中進行前述圖案匹配。
依此,在周邊區域不包含在移動估測範圍時,可在周邊區域之中的移動估測範圍內的一部分區域中進行圖案匹配。因此,可迴避在移動估測範圍外的移動估測,可減輕處理負擔及記憶體帶寬的需求量。
又,在本揭示一態樣之解碼裝置中,例如,也可在決定前述解碼對象區塊之用的移動向量中,判定前述周邊區域是否包含在前述移動估測範圍,在前述周邊區域包含在前述移動估測範圍時,在前述周邊區域中進行前述圖案匹配,在前述周邊區域不包含在前述移動估測範圍時,決定已選擇的前述候選所含之移動向量,作為前述解碼對象區塊之用的移動向量。
依此,在周邊區域不包含在移動估測範圍時,也可不進行周邊區域中之圖案匹配。因此,可迴避移動估測範圍外之移動估測,可減輕處理負擔及記憶體帶寬的需求量。
本揭示一態樣之解碼方法是一種使用移動向量而將解碼對象區塊進行解碼的方法,從位元流解讀有關於移動估測範圍的資訊,導出各自具有至少1個移動向量之複數個候選,根據前述有關於移動估測範圍的資訊,決定參考圖片中之移動估測範圍,根據前述複數個候選,在前述參考圖片的前述移動估測範圍內進行移動估測。
依此,可展現與上述解碼裝置同樣的效果。
另,該等概括性或者是具體性的態樣,可以透過系統、積體電路、電腦程式或者電腦可讀取之CD-ROM等之記錄媒體來實現,也可以透過系統、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
以下,一邊參考圖式,一邊具體地說明實施形態。
另,在以下所說明的實施形態每一個都是顯示概括性或具體性的例子。在以下的實施形態中所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等都只是例示罷了,其旨趣並非是來限定請求的範圍。又,以下的實施形態中之構成要素之中,針對未記載於顯示最上位概念的獨立請求項之構成要素,是當做為任意的構成要素來說明的。
(實施形態1)
首先針對可適用後述的本揭示之各態樣中所說明的處理及/或構成之編碼裝置及解碼裝置的一例,說明實施形態1的概要。惟,實施形態1只不過是可適用本揭示之各態樣所說明之處理及/或構成的編碼裝置及解碼裝置之一例罷了,在本揭示所說明的處理及/或構成也可實施於與實施形態1不同的編碼裝置及解碼裝置中。
對於實施形態1,適用在本揭示之各態樣所說明的處理及/或構成時,例如亦可以進行以下任一種方式。
(1)對於實施形態1之編碼裝置或者解碼裝置,在構成該編碼裝置或者解碼裝置之複數個構成要素之中,將與本揭示的各態樣中所說明的構成要素對應的構成要素,替換成本揭示的各態樣中所說明的構成要素;
(2) 對於實施形態1之編碼裝置或者解碼裝置,針對構成該編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素,先施予功能或者欲實施之處理的追加、替換、刪除等之任意的變更後,再將與本揭示之各態樣中所說明的構成要素對應的構成要素,替換成本揭示之各態樣中所說明的構成要素;
(3) 對於實施形態1之編碼裝置或者解碼裝置所要實施的方法,針對處理的追加、及/或該方法所含的複數個處理之中一部分的處理,先施予替換、刪除等之任意的變更後,再將與本揭示的各態樣中所說明的處理相對應的處理,替換成本揭示的各態樣中所說明的處理;
(4) 將構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素,和本揭示之各態樣中所說明的構成要素、具有本揭示之各態樣中所說明的構成要素所具備的功能之一部分之構成要素、或者要實施本揭示之各態樣中所說明之構成要素所要實施的處理之一部分的構成要素組合而實施;
(5)將具備構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素所具備的功能之一部分的構成要素、或者實施構成實施形態1之編碼裝置或者解碼裝置之複數個構成要素之中一部分的構成要素所實施的處理之一部分的構成要素,和本揭示之各態樣中所說明之構成要素、具備在本揭示之各態樣中所說明之構成要素所具備的功能之一部分之構成要素、或者是實施本揭示之各態樣中所說明之構成要素所實施之處理之一部分的構成要素組合來實施;
(6)對於實施形態1之編碼裝置或者解碼裝置所要實施的方法,在該方法所含的複數個處理之中,將對應於本揭示之各態樣中所說明之處理的處理,替換成本揭示之各態樣中所要說明的處理;
(7)將實施形態1之編碼裝置或者解碼裝置所要實施的方法所含之複數個處理之中的一部分處理,和本揭示之各態樣中所說明之處理組合來實施。
另,本揭示之各態樣中所說明之處理及/或構成的實施方式並不限於上述例子。例如,也可以實施在與實施形態1中所揭示之動態圖像/圖像編碼裝置或者是動態圖像/圖像解碼裝置不同的目的而被利用的裝置中,也可以單獨地實施已在各態樣中所說明之處理及/或構成。又,也可將已在不同的態樣中所說明的處理及/或構成組合來實施。
[編碼裝置的概要]
首先,說明實施形態1之編碼裝置之概要。圖1是顯示實施形態1之編碼裝置100之功能構成之方塊圖。編碼裝置100是將動態圖像/圖像,以區塊單位進行編碼之動態圖像/圖像編碼裝置。
如圖1所示,編碼裝置100為將圖像以區塊單位進行編碼之裝置,包含有:分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、區塊記憶體118、迴路濾波部120、訊框記憶體122、內預測部124、間預測部126、及預測控制部128。
編碼裝置100是例如藉由通用處理器及記憶體來實現。此時,當儲存在記憶體的軟體程式藉由處理器來執行時,處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128而發揮功能。又,編碼裝置100也可作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、反量化部112、反轉換部114、加法部116、迴路濾波部120、內預測部124、間預測部126、及預測控制部128之專用的1個以上的電子電路來實現。
以下,針對編碼裝置100所含之各構成要素予以說明。
[分割部]
分割部102是將輸入動態圖像所含之各圖片分割成複數個區塊,並將各區塊輸出至減法部104。例如,分割部102,首先將圖片分割成固定尺寸(例如128×128)之區塊。該固定尺寸的區塊有時被稱為編碼樹單元(CTU)。接著,分割部102根據遞迴性的四元樹(quadtree)及/或二元樹(binary tree)區塊分割,將固定尺寸的區塊之每一個分割成可變尺寸(例如64×64以下)的區塊。這個可變尺寸的區塊有時被稱為編碼單元(CU)、預測單元(PU)或者轉換單元(TU)。另,在本實施形態中,沒有區別CU、PU及TU的必要,也可以是圖片內的一部分或者全部的區塊成為CU、PU、TU的處理單位。
圖2是顯示實施形態1中的區塊分割一例之圖。在圖2中,實線是表示透過四元樹區塊分割所得到的區塊邊界,虛線是表示透過二元樹區塊分割所得到的區塊邊界。
在此,區塊10是128×128像素的正方形區塊(128×128區塊)。該128×128區塊10,首先是被分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊是進一步被垂直分割成2個矩形的32×64區塊,左邊的32×64區塊是進一步被垂直分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果,左上的64×64區塊是被分割成2個16×64區塊11、12、及32×64區塊13。
右上的64×64區塊是被水平分割成2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊是被分割成4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊之中,左上的區塊及右下的區塊被進一步分割。左上的32×32區塊是被垂直分割成2個矩形的16×32區塊,右邊的16×32區塊是進一步被水平分割成2個16×16區塊(二元樹區塊分割)。右下的32×32區塊是被水平分割成2個32×16區塊(二元樹區塊分割)。其結果,左下的64×64區塊是被分割成1個16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、及2個32×16區塊21、22。
右下的64×64區塊23不分割。
如上,在圖2中,區塊10是根據遞迴性的四元樹及二元樹區塊分割,而被分割成13個可變尺寸的區塊11至23。如此分割,有時被稱為QTBT(quad-tree plus binary tree)分割。
另,在圖2中,1個區塊是被分割成4個或者2個區塊(四元樹或者二元樹區塊分割),而分割並不限於此。例如,1個區塊也可被分割成3個區塊(三元樹區塊分割)。如此包括三元樹區塊分割的分割有時被稱為MBT(multi type tree)分割。
[減法部]
減法部104是以分割部102所分割的區塊單位,從原訊號(原樣本)減去預測訊號(預測樣本)。即,減法部104是算出編碼對象區塊(以下,稱為目前區塊)的預測誤差(也稱為殘差)。接著,減法部104將所算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號,為表示構成動態圖像之各圖片的圖像之訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在下面內容中,也將表示圖像的訊號稱為樣本。
[轉換部]
轉換部106是將空間區域的預測誤差轉換成頻率區域的轉換係數,且將轉換係數輸出至量化部108。具體來說,轉換部106,例如對於空間區域的預測誤差,進行已事先決定的離散餘弦轉換(DCT)或者離散正弦轉換(DST)。
另,轉換部106也可從複數個轉換型式之中適應性地選擇轉換型式,使用對應於所選擇的轉換型式之轉換基底函數(transform basis function),將預測誤差轉換成轉換係數。如此轉換有時被稱為EMT(explicit multiple core transform)或者AMT(adaptive multiple transform)。
複數個轉換型式,例如包括有DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換型式之轉換基底函數之表。在圖3中,N是顯示輸入像素的數量。從該等複數個轉換型式之中的轉換型式的選擇,例如也可依據預測的種類(內預測及間預測),也可依據內預測模式。
顯示是否適用如此的EMT或者AMT之資訊(例如被稱為AMT旗標)以及顯示所被選擇的轉換型式的資訊是以CU等級而被進行訊號化。另,該等資訊的訊號化沒有必要限定在CU等級,也可為其他等級(例如序列等級(sequence level)、圖片等級(picture level)、切片等級(slice level)、方塊(tile)等級或者CTU等級)。
又,轉換部106也可將轉換係數(轉換結果)再轉換。如此再轉換有時被稱為AST(adaptive secondary transform)或者NSST(non-separable secondary transform)。例如,轉換部106是依對應於內預測誤差之轉換係數的區塊所含之各個子區塊(例如4×4子區塊)進行再轉換。顯示是否適用NSST之資訊及有關於使用在NSST之轉換矩陣之資訊是以CU等級進行訊號化。另,該等資訊的訊號化沒有必要限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級或者CTU等級)。
在此,可分離(Separable)的轉換是指依方向分離輸入的維數,來進行數次轉換的方式,不可分離(Non-Separable)的轉換是指在輸入為多維時,將2以上的維度匯整,而視為1維,再一起進行轉換的方式。
例如,以不可分離的轉換之1例來說,可舉例有如下者:在輸入為4×4的區塊時,將該區塊視為具有16個要素之一個陣列,並對該陣列,以16×16的轉換矩陣進行轉換處理。
又,同樣地,將4×4的輸入區塊視為如同具有16個要素之一整個排列,之後對該排列進行數次吉文斯旋轉(Givens rotation)之構成(Hypercube Givens Transform/超立方體吉文斯轉換),也是不可分離(Non- Separable)性轉換的例子。
[量化部]
量化部108是將從轉換部106所輸出的轉換係數進行量化。具體來說,量化部108是以預定的掃描順序來掃描當前區塊的轉換係數,根據對應於所掃描的轉換係數的量化參數(QP),而將該轉換係數進行量化。然後,量化部108將當前區塊之業經量化的轉換係數(以下稱為量化係數)輸出至熵編碼部110及反量化部112。
預定的順序是轉換係數的量化/反量化之用的順序。例如,預定的掃描順序是以頻率的升冪排序(從低頻到高頻的順序)或者降冪排序(從高頻到低頻的順序)來定義。
量化參數是指定義量化步階(量化幅寬)的參數。例如,若量化參數的值增加時,量化步階也會增加。即,若量化參數的值增加,量化誤差也會變大。
[熵編碼部]
熵編碼部110是將從量化部108輸入的量化係數進行可變長度編碼,藉此產生編碼訊號(編碼位元流)。具體來說,熵編碼部110是例如將量化係數進行二值化,且將二值化訊號進行算術編碼。
[反量化部]
反量化部112是將來自量化部108的輸入之量化係數進行反量化。具體來說,反量化部112是以預定的掃描順序而將當前區塊的量化係數進行反量化。然後,反量化部112是將當前區塊的業經反量化的轉換係數輸出至反轉換部114。
[反轉換部]
反轉換部114是將來自反量化部112之輸入地轉換係數進行反轉換,藉此將預測誤差復原。具體來說,反轉換部114是對轉換係數進行與轉換部106所進行的轉換對應之反轉換,藉此將當前區塊的預測誤差進行復原。然後,反轉換部114是將已復原的預測誤差輸出至加法部116。
另,已復原的預測誤差是因為量化的進行而失去了資訊,因此和減法部104所算出的預測誤差不一致。即,在已復原的預測誤差中含有量化誤差。
[加法部]
加法部116是將來自反轉換部114之輸入的預測誤差、與來自預測控制部128之輸入的預測樣本相加,藉此再構成當前區塊。然後,加法部116將已再構成的區塊輸出至區塊記憶體118及迴路濾波部120。再構成區塊有時也被稱為局部解碼區塊。
[區塊記憶體]
區塊記憶體118是用以儲存區塊的記憶體,其中該區塊為於內預測被參考的區塊,且為編碼對象圖片(以下稱為當前圖片)內的區塊。具體來說,區塊記憶體118是儲存從加法部116所輸出的再構成區塊。
[迴路濾波部]
迴路濾波部120是對透過加法部116而再構成的區塊施加迴路濾波,且將已濾波的再構成區塊輸出至訊框記憶體122。迴路濾波是指在編碼迴路內所使用的濾波器(迴路內濾波器),例如包括解區塊濾波器(DF)、樣本適應性偏移(SAO)及適應性迴路濾波器(ALF)等。
在ALF中,適用用以移除編碼變形的最小平方誤差濾波器,例如按當前區塊內的各個2×2子區塊,根據局部性的梯度(gradient)的方向及活性度(activity),適用從複數個濾波器之中所選擇的1個濾波器。
具體來說,首先子區塊(例如2×2子區塊)被分類成複數個類別(例如15或者25類)。子區塊的分類是根據梯度的方向及活性度來進行。例如,使用梯度的方向值D(例如0至2或者0至4)與梯度的活性值A(例如0至4),而算出分類值C(例如C=5D+A)。然後,根據分類值C,使子區塊被分類成複數個類別(例如15或者25類)。
梯度的方向值D,例如是藉由比較複數個方向(例如水平、垂直及2個對角方向)的梯度導出。又,梯度的活性值A,例如是藉由將複數個方向的梯度相加,將加法結果進行量化來導出。
根據如此分類的結果,從複數個濾波器之中,決定子區塊用的濾波器。
以於ALF所使用的濾波器的形狀來說,例如利用圓對稱形狀。如圖4A至圖4C是顯示ALF所使用的濾波器的形狀的複數例之圖。圖4A顯示5×5菱形形狀濾波器,圖4B顯示7×7菱形形狀濾波器,圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的形狀之資訊是以圖片等級來被進行訊號化。另,顯示濾波器的形狀之資訊的訊號化並不須限定在圖片等級,也可為其他等級(例如序列等級、切片等級、方塊等級、CTU等級或者是CU等級)。
ALF的開啟/關閉,例如是以圖片等級或者CU等級來決定。例如,針對亮度,是以CU等級來決定是否適用ALF,針對色差,是以圖片等級來決定是否適用ALF。顯示ALF的開啟/關閉的資訊,是以圖片等級或者CU等級來進行訊號化。另,顯示ALF的開啟/關閉的資訊,並無須限定在圖片等級或者CU等級,也可為其他等級(例如序列等級、切片等級、方塊等級、或者CTU等級)。
可選擇的複數個濾波器(例如迄至15或25的濾波器)的係數集是以圖片等級進行訊號化。另,係數集的訊號化並無須限定在圖片等級,也可為其他等級(例如序列等級、切片等級、方塊等級、CTU等級、CU等級或者是子區塊等級)。
[訊框記憶體]
訊框記憶體122是一種用以儲存被使用在間預測的參考圖片之記憶部,有時也被稱為訊框緩衝器。具體來說,訊框記憶體122是儲存已經由迴路濾波部120過濾的再構成區塊。
[內預測部]
內預測部124是藉由參考區塊記憶體118所儲存的當前圖片內的區塊,進行當前區塊的內預測(也稱為畫面內預測),以產生預測訊號(內預測訊號)。具體來說,內預測部124是藉由參考鄰接於當前區塊之區塊的樣本(例如亮度值、色差值)進行內預測,以產生內預測訊號,且將內預測訊號輸出至預測控制部128。
例如,內預測部124利用已事先規定的複數個內預測模式之中的1個,來進行內預測。複數個內預測模式是包括1個以上的非方向性預測模式、及複數個方向性預測模式。
1個以上的非方向性預測模式,例如包括以H.265/HEVC(High-Efficiency Video Coding/高效率視訊編碼)規格(非專利文獻1)所規定的平面(Planar)預測模式及直流(DC)預測模式。
複數個方向性預測模式,例如包括以H.265/ HEVC規格所規定的33種方向的預測模式。另,複數個方向性預測模式,除了33種方向外,也可進一步包括32種方向的預測模式(合計共65種方向性預測模式)。圖5A是顯示內預測中的67種內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭符號是表示以H.265/HEVC規格所規定的33種方向,虛線箭頭符號是表示所追加的32種方向。
另,在色差區塊的內預測中,亮度區塊也可被參考。即,根據當前區塊的亮度成分,當前區塊的色差成分也可被預測。如此之內預測有時被稱為CCLM (cross- component linear model)預測。像這種參考亮度區塊之色差區塊的內預測模式(例如被稱為CCLM模式),也可作為1種色差區塊的內預測模式而加入。
內預測部124,也可根據水平/垂直方向的參考像素的梯度,來補正內預測後的像素值。像這樣伴隨著補正的內預測有時被稱為PDPC(position dependent intra prediction combination)。顯示有無PDPC的適用之資訊(例如被稱為PDPC旗標),例如是以CU等級而被進行訊號化。另,該資訊的訊號化並無須限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、或者CTU等級)。
[間預測部]
間預測部126是參考參考圖片,來進行當前區塊的間預測(也叫做畫面間預測),以此產生預測訊號(間預測訊號),其中該參考圖片是訊框記憶體122所儲存的參考圖片,且為與當前圖片相異的參考圖片。間預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位來進行。例如,間預測部126是針對當前區塊或者子區塊,在參考圖片內進行移動估測(motion estimation)。接著,間預測部126是利用藉由移動估測而得到的移動資訊(例如移動向量)來進行移動補償,以此產生當前區塊或者子區塊的間預測訊號。然後,間預測部126是將所產生的間預測訊號輸出至預測控制部128。
用於移動補償的移動資訊被進行訊號化。對於移動向量的訊號化,移動向量預測子(motion vector predictor)也可被使用。即,移動向量與移動向量預測子之間的差分也可被訊號化。
另,不僅使用透過移動估測所得到的當前區塊的移動資訊,也可使用鄰接區塊的移動資訊,來產生間預測訊號。具體來說,也可將根據透過移動估測所得到的移動資訊之預測訊號、與根據鄰接區塊的移動資訊之預測訊號予以加權加總,藉此以當前區塊內的子區塊單位來產生間預測訊號。如此的間預測(移動補償)有時被稱為OBMC (overlapped block motion compensation)。
在如此之OBMC模式中,顯示OBMC用的子區塊的尺寸之資訊(例如被稱為OBMC區塊尺寸)是以序列等級而被訊號化。又,顯示是否適用OBMC模式之資訊(例如被叫做OBMC旗標)是以CU等級而被訊號化。另,該等資訊的訊號化的等級並無須限定在序列等級及CU等級,也可為其他等級(例如圖片等級、切片等級、方塊等級、CTU等級、或者子區塊等級)。
針對OBMC模式,更具體地來進行說明。圖5B及圖5C是用以說明OBMC處理所進行的預測圖像補正處理的概要之流程圖及概念圖。
首先,使用被分配到編碼對象區塊之移動向量(MV),取得依通常的移動補償所得到之預測圖像(Pred)。
其次,將已編碼完畢的左鄰接區塊的移動向量(MV_L)適用在編碼對象區塊,取得預測圖像(Pred_L),將前述預測圖像與Pred_L加權、疊合,以此進行預測圖像的第1次補正。
以同樣方式,將已編碼完畢之上鄰接區塊的移動向量(MV_U)適用在編碼對象區塊,取得預測圖像 (Pred_U),將前述已進行第1次補正的預測圖像與Pred_U賦予權重、疊合,以此進行預測圖像的第2次補正,將此作為最後的預測圖像。
另,在此說明了使用左鄰接區塊與上鄰接區塊的2階段補正的方法,但也能作成如下構成,即,使用右鄰接區塊或下鄰接區塊,進行比2階段更多次數的補正之構成。
另,進行疊合的區域,也可為僅只區塊邊界附近之一部分的區域,而非區塊整體的像素區域。
另,在此雖是針對來自1張參考圖片的預測圖像補正處理進行說明,但是在從複數張參考圖片來補正預測圖像的情況也是同樣的方式,從各參考圖片取得已補正的預測圖像後,將所得到的預測圖像進一步疊合,以此作為最後的預測圖像。
另,前述處理對象區塊也可為預測區塊單位,也可為將預測區塊進一步加以分割的子區塊單位。
作為判定是否適用OBMC處理的方法,例如有一種使用obmc_flag之方法,該obmc_flag是顯示是否適用OBMC處理的訊號。以一具體例來說,在編碼裝置中,判定編碼對象區塊是否屬於移動為複雜的區域,在屬於移動為複雜的區域時,設定值為1來作為obmc_flag,適用OBMC處理進行編碼,在不屬於移動為複雜的區域時,則設定值為0來作為obmc_flag,不適用OBMC處理來進行編碼。另一方面,在解碼裝置中,將記述在串流的obmc_flag解碼,以此因應該值,切換是否適用OBMC處理,來進行解碼。
另,移動資訊可在不被訊號化,而在解碼裝置側導出。例如也可採用以H.265/HEVC規格所規定的合併(merge)模式。又,例如也可於解碼裝置側進行移動估測,藉此導出移動資訊。此時,不使用當前區塊的像素值而進行移動估測。
在此,針對在解碼裝置側進行移動估測之模式來說明。在該解碼裝置側進行移動估測的模式有時被稱為PMMVD(pattern matched motion vector derivation)模式或者FRUC(frame rate up-conversion)模式。
FRUC處理之一例是顯示在圖5D中。首先,參考空間上或時間上鄰接於當前區塊的編碼完畢區塊之移動向量,產生複數個候選的清單(也可與合併清單為共通),該複數個候選的清單各自具有移動向量預測子。其次,從已登錄在候選清單的複數個候選MV之中選擇最佳候選MV。例如,算出候選清單所含之各候選的評價值,根據評價值,而選擇1個候選。
接著,根據所選擇的候選之移動向量,導出當前區塊用的移動向量。具體來說,例如將所選擇的候選之移動向量(最佳候選MV),就這樣導出來作為當前區塊用的移動向量。又,例如在參考圖片內之位置的周邊區域中進行圖案匹配,藉此也可以導出當前區塊用的移動向量,其中該參考圖片是對應於所選擇之候選的移動向量。即,對於最佳候選MV之周邊的區域,以同樣的方法進行搜索,進而有評價值為好的數字之MV時,將最佳候選MV更新為前述MV,將該MV作為當前區塊之最後的MV亦可。另,也可做成不實施該處理之構成。
在以子區塊單位進行處理時,也可構成為完全同樣的處理。
另,評價值是可透過對應於移動向量之參考圖片內的區域、與預定區域之間的圖案匹配,來求取再構成圖像的差分值,藉此而算出。另,除了差分值外,也可使用除此以外的資訊,來算出評價值。
對於圖案匹配,是使用第1圖案匹配或者第2圖案匹配。第1圖案匹配及第2圖案匹配,有時分別被稱為雙向匹配(bilateral matching)以及模板匹配(template matching)。
在第1圖案匹配中,是在2個區塊之間進行圖案匹配,該2個區塊是不同的2個參考圖片內的2個區塊,且是沿著當前區塊的移動軌跡(motion trajectory)。因此,在第1圖案匹配中,是使用沿著當前區塊的移動軌跡的其他參考圖片內之區域,來作為算出上述候選的評價值之用的預定區域。
圖6是用以說明在沿著移動軌跡的2個區塊間之圖案匹配(雙向匹配)一例之圖。如圖6所示,在第1圖案匹配下,在沿著當前區塊(Cur block)的移動軌跡之2個區塊,且為不同的2個參考圖片(Ref0、Ref1)內的2個區塊之配對(pair)之中,搜索最為相配的配對,藉此導出2個移動向量(MV0、MV1)。具體來說,對於當前區塊,導出以候選MV所指定的第1編碼完畢參考圖片(Ref0)內的指定位置中之再構成圖像、與已將前述候選MV以顯示時間間隔進行定標(scaling)的對稱MV所指定的第2編碼完畢參考圖片(Ref1)內的指定位置中之再構成圖像間之差分,使用所得到的差分值來算出評價值。在複數個候選MV之中,選擇評價值為最佳值的候選MV,作為最後MV,即可。
在連續的移動軌跡的假設之下,指示2個參考區塊的移動向量(MV0、MV1)相對於當前圖片(Cur Pic)與2個參考圖片(Ref0、Ref1)間之時間上的距離(TD0、TD1)成比例。例如,當前圖片是時間上位於2個參考圖片之間,在從當前圖片到2個參考圖片的時間上的距離相等時,在第1圖案匹配上,能導出鏡射對稱的雙向之移動向量。
在第2圖案匹配上,在當前圖片內的模板(在當前圖片內鄰接於當前區塊的區塊(例如上及/或左鄰接區塊))與參考圖片內的區塊之間,進行圖案匹配。因此,在第2圖案匹配上,使用鄰接於當前圖片內的當前區塊的區塊,以作為上述之候選的評價值之算出用的預定區域。
圖7是用以說明在當前圖片內的模板(Template)與參考圖片內的區塊之間的圖案匹配(模板匹配)一例之圖。如圖7所示,在第2圖案匹配中,在參考圖片(Ref0)內搜索在當前圖片(Cur Pic)內和鄰接於當前區塊(Cur block)之區塊最匹配的區塊,藉此導出當前區塊的移動向量。具體來說,對於當前區塊,導出:左鄰接及上鄰接兩邊或者任一邊的編碼完畢區域的再構成圖像、與以候選MV所指定的編碼完畢參考圖片(Ref0)內的同等位置中的再構成圖像間之差分,且使用所得到的差分值,算出評價值,在複數個候選MV之中選擇評價值為最佳之值的候選MV,作為最佳候選MV,即可。
如此之顯示是否適用FRUC模式之資訊(例如被稱為FRUC旗標)是以CU等級而被訊號化。又,在適用FRUC模式時(例如FRUC旗標為真時),顯示圖案匹配之方法(第1圖案匹配或者第2圖案匹配)之資訊(例如被稱為FRUC模式旗標)是以CU等級而被訊號化。另,該等資訊之訊號化並不須限定於CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、CTU等級或者子區塊等級)。
在此,針對根據模型來導出移動向量的模式進行說明,其中該模型為假設為等速直線運動之模型。該模式有時被稱為BIO (bi-directional optical flow,雙向光流)模式。
圖8是用以說明假設為等速直線運動的模型之圖。在圖8中,(v
x,v
y)是表示速度向量,τ
0、τ
1各表示為當前圖片 (Cur Pic)與2個參考圖片(Ref
0,Ref
1)間的時間上的距離。(MVx
0,MVy
0)是表示對應於參考圖片Ref
0之移動向量,(MVx
1、MVy
1)是表示對應於參考圖片Ref
1之移動向量。
此時,速度向量(v
x,v
y)在等速直線運動的假設之下,(MVx
0,MVy
0)及(MVx
1,MVy
1)各表示為(v
xτ
0,v
yτ
0)及(-v
xτ
1,-v
yτ
1),使以下的光流等式(1)成立。
(數1)
在此,I
(k)是表示移動補償後之參考圖像k(k=0,1)的亮度值。該光流等式是顯示(i)亮度值的時間微分、(ii)水平方向的速度及參考圖像的空間梯度的水平成分的乘積、與(iii)垂直方向的速度及參考圖像的空間梯度的垂直成分的乘積之和等於零者。根據該光流等式與埃爾米特插值(Hermite interpolation)之組合,將從合併清單等所得到的區塊單位之移動向量以像素單位進行補正。
另,也能以異於根據假設等速直線運動之模型之移動向量的導出之方法,在解碼裝置側導出移動向量。例如,也可根據複數個鄰接區塊的移動向量,以子區塊單位導出移動向量。
在此,針對根據複數個鄰接區塊的移動向量,以子區塊單位導出移動向量的模式進行說明。該模式有時被稱為仿射移動補償預測(affine motion compensation prediction)模式。
圖9A是用以說明子區塊單位的移動向量之導出之圖,該導出是根據複數個鄰接區塊的移動向量來進行。在圖9A中,當前區塊含有16個4×4子區塊。在此,根據鄰接區塊的移動向量,導出當前區塊的左上角控制點的移動向量v
0,且根據鄰接子區塊的移動向量,導出當前區塊的右上角控制點的移動向量v
1。接著,使用2個移動向量v
0及v
1,經由以下的式(2),而導出當前區塊內的各子區塊的移動向量(v
x,v
y)。
(數2)
在此,x及y各表示子區塊的水平位置及垂直位置,w表示已事先訂定的權重係數。
在如此之仿射移動補償預測模式中,也可包括左上及右上角控制點的移動向量之導出方法相異之幾個模式。顯示如此之仿射移動補償預測模式之資訊(例如被稱為仿射旗標)是以CU等級而被進行訊號化。另,該顯示仿射移動補償預測模式之資訊的訊號化無須限定在CU等級,也可為其他等級(例如序列等級、圖片等級、切片等級、方塊等級、CTU等級或者子區塊等級)。
[預測控制部]
預測控制部128是選擇內預測訊號及間預測訊號之任一種,且將所選擇的訊號作為預測訊號,而輸出至減法部104及加法部116。
在此,說明經由合併模式而導出編碼對象圖片的移動向量之例。圖9B是用以說明藉合併模式進行之移動向量導出處理之概要之圖。
首先,產生已登錄預測MV之候選的預測MV清單。以預測MV的候選來說,包括有:空間鄰接預測MV,是編碼對象區塊之空間上位於周邊的複數個編碼完畢區塊所具有之MV;時間鄰接預測MV,是投影到編碼完畢參考圖片中的編碼對象區塊之位置的附近區塊所具有的MV;結合預測MV,是組合空間鄰接預測MV及時間鄰接預測MV之MV值而產生的MV;以及零預測MV,其值為零的MV等。
其次,從已登錄在預測MV清單的複數個預測MV之中,選擇1個預測MV,以此將之決定作為編碼對象區塊的MV。
進而,在可變長度編碼部中,將merge_idx記述在串流中,並進行編碼,其中該merge_idx是顯示已選擇哪一預測MV之訊號。
另,登錄在圖9B中所說明之預測MV清單之預測MV只是一個例子,也可為和圖中的個數不同的個數,或者不含圖中的預測MV之一部分的種類之構成,或者追加了圖中的預測MV之種類以外的預測MV之構成。
另,也可使用藉合併模式所導出之編碼對象區塊的MV,進行後述的DMVR處理,藉此來決定最後的MV。
在此,針對使用DMVR處理來決定MV之例進行說明。
圖9C是用以說明DMVR處理的概要之概念圖。
首先,以已設定於處理對象區塊的最適合的MVP作為候選MV來說,依照前述候選MV,從L0方向的處理完畢圖片即第1參考圖片、及L1方向之處理完畢圖片即第2參考圖片,分別取得參考像素,取各參考像素的平均,以此產生模板。
其次,使用前述模板,分別搜索第1參考圖片及第2參考圖片的候選MV之周邊區域,將成本為最小的MV決定作為最後的MV。另,成本值是利用模板的各像素值與搜索區域的各像素值之差分值及MV值等來算出。
另,在編碼裝置及解碼裝置中,在此所說明的處理之概要基本上是共通的。
另,就算不是在此所說明的處理內容,只要是能搜索候選MV的周邊而導出最後的MV之處理,也可使用其他處理。
在此,針對使用LIC處理來產生預測圖像的模式進行說明。
圖9D是用以說明使用依LIC處理之亮度補正處理的預測圖像產生方法之概要之圖。
首先,從參考圖片導出MV,其中該參考圖片是編碼完畢圖片,該MV是用以取得對應於編碼對象區塊之參考圖像。
其次,對於編碼對象區塊,利用左鄰接及上鄰接之編碼完畢周邊參考區域的亮度像素值、與位於以MV所指定的參考圖片內之同等位置之亮度像素值,擷取顯示亮度值在參考圖片與編碼對象圖片是如何變化的資訊,而算出亮度補正參數。
對於以MV所指定的參考圖片內之參考圖像,使用前述亮度補正參數,進行亮度補正處理,以此產生相對於編碼對象區塊之預測圖像。
另,圖9D中的前述周邊參考區域的形狀只是其中一例而已也可使用除此以外的形狀。
又,在此已針對從1張參考圖片來產生預測圖像的處理進行說明,但從複數張的參考圖片來產生預測圖像的情況也是同樣,先對已從各個參考圖片取得的參考圖像,以同樣的方法進行亮度補正處理,之後再產生預測圖像。
以判定是否適用LIC處理之方法來說,例如有使用lic_flag之方法,該lic_flag是顯示是否適用LIC處理的訊號。以具體的一例來說,在編碼裝置中,判定編碼對象區塊是否為屬於發生亮度變化之區域,若為屬於發生亮度變化的區域時,對lic_flag設定其值為1,適用LIC處理而進行編碼,若不屬於發生亮度變化之區域時,則對lic_flag設定其值為0,不適用LIC處理而進行編碼。另一方面,在解碼裝置中,將記述於串流之lic_flag進行解碼,以此因應該值來切換是否適用LIC處理,而進行解碼。
以判定是否適用LIC處理之另一方法來說,例如還有如下方法,該方法是依照在周邊區塊是否適用過LIC處理而判定。以具體的一例來說,編碼對象區塊為合併模式時,判定在於合併模式處理中的MV之導出時所選擇的周邊的編碼完畢區塊是否適用LIC處理而進行編碼,因應該結果,切換是否適用LIC處理,而進行編碼。另,在該例的情況,解碼中的處理也是完全相同。
[解碼裝置的概要]
其次,針對解碼裝置之概要進行說明,該解碼裝置可將從上述編碼裝置100所輸出的編碼訊號(編碼位元流)進行解碼。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位而將動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示,解碼裝置200包含有:熵解碼部202、反量化部204、反轉換部206、加法部208、區塊記憶體210、迴路濾波部212、訊框記憶體214、內預測部216、間預測部218、及預測控制部220。
解碼裝置200,例如可透過通用處理器及記憶體來實現。此時,記憶體所儲存的軟體程式經由處理器來執行時,處理器是作為熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218、及預測控制部220而運作。又,解碼裝置200也可作為對應於熵解碼部202、反量化部204、反轉換部206、加法部208、迴路濾波部212、內預測部216、間預測部218、及預測控制部220之專用的1個以上的電子電路而附諸實現。
以下,針對解碼裝置200所含之各構成要素予以說明。
[熵解碼部]
熵解碼部202是將編碼位元流進行熵解碼。具體來說,熵解碼部202是例如進行從編碼位元流變成二值訊號的算術解碼。接著,熵解碼部202將二值訊號進行多值化(debinarize)。藉此,熵解碼部202是以區塊單位而將量化係數輸出至反量化部204。
[反量化部]
反量化部204是將解碼對象區塊(以下稱為當前區塊)的量化係數進行反量化,其中該解碼對象區塊為來自熵解碼部202的輸入。具體來說,反量化部204是針對當前區塊的量化係數之各個,根據對應於該量化係數之量化參數,而將該量化係數進行反量化。然後,反量化部204是將當前區塊的業經反量化之量化係數(即轉換係數)輸出至反轉換部206。
[反轉換部]
反轉換部206是將轉換係數進行反轉換,藉此將預測誤差復原,其中該轉換係數為來自反量化部204之輸入。
例如已從編碼位元流解讀的資訊是顯示適用EMT或者AMT的時候(例如AMT旗標為真),反轉換部206是根據顯示所解讀的轉換型式的資訊,將當前區塊的轉換係數進行反轉換。
又,例如已從編碼位元流解讀的資訊是顯示適用NSST的時候,反轉換部206是對轉換係數適用反再轉換。
[加法部]
加法部208是將預測誤差與預測樣本相加,藉此再構成當前區塊,其中該預測誤差是來自反轉換部206之輸入,該預測樣本是來自預測控制部220之輸入。然後,加法部208是將業經再構成的區塊輸出至區塊記憶體210及迴路濾波部212。
[區塊記憶體]
區塊記憶體210是用以儲存在內預測中被參考的區塊且為解碼對象圖片(以下稱為當前圖片)內的區塊之記憶部。具體來說,區塊記憶體210是儲存從加法部208所輸出的再構成區塊。
[迴路濾波部]
迴路濾波部212是對已經由加法部208而再構成的區塊施行迴路濾波,且將業已濾波的再構成區塊輸出至訊框記憶體214及顯示裝置等。
顯示已從編碼位元流解讀之ALF之開啟/關閉的資訊是顯示ALF之開啟的時候,根據一部分的梯度的方向及活性度,從複數個濾波器之中,選擇1個濾波器,將所選擇的濾波器適用於再構成區塊。
[訊框記憶體]
訊框記憶體214是用以儲存使用在間預測的參考圖片之記憶部,有時候也被稱為訊框緩衝器。具體來說,訊框記憶體214是儲存經由迴路濾波部212所濾波的再構成區塊。
[內預測部]
內預測部216是根據已從編碼位元流解讀的內預測模式,參考區塊記憶體210所儲存的當前圖片內的區塊,來進行內預測,以此產生預測訊號(內預測訊號)。具體來說,內預測部216是參考鄰接於當前區塊的區塊之樣本(例如亮度值、色差值)來進行內預測,以此產生內預測訊號,且將內預測訊號輸出至預測控制部220。
另,在色差區塊的內預測中,選擇了參考亮度區塊的內預測模式時,內預測部216也可根據當前區塊的亮度成分,預測當前區塊的色差成分。
又,在已從編碼位元流解讀的資訊顯示PDPC的適用時,內預測部216是根據水平/垂直方向的參考像素的梯度,來補正內預測後的像素值。
[間預測部]
間預測部218是參考訊框記憶體214所儲存的參考圖片,來預測當前區塊。預測是以當前區塊或者當前區塊內的子區塊(例如4×4區塊)的單位進行。例如,間預測部218是使用已從編碼位元流解讀的移動資訊(例如移動向量)來進行移動補償,以此產生當前區塊或者子區塊的間預測訊號,且將間預測訊號輸出至預測控制部220。
另,在已從編碼位元流解讀的資訊是顯示適用OBMC模式時,間預測部218不只是利用經由移動估測而得到的當前區塊的移動資訊,還利用鄰接區塊的移動資訊,產生間預測訊號。
又,在已從編碼位元流解讀的資訊是顯示適用FRUC模式時,間預測部218是依照已從編碼流解讀的圖案匹配的方法(雙向匹配或者模板匹配)來進行移動估測,藉此導出移動資訊。然後,間預測部218是使用所導出的移動資訊,來進行移動補償。
又,間預測部218是適用BIO模式時,根據假設等速直線運動之模型,導出移動向量。又,在已從編碼位元流解讀的資訊顯示適用仿射移動補償預測模式時,間預測部218是根據複數個鄰接區塊的移動向量,而以子區塊單位導出移動向量。
[預測控制部]
預測控制部220是選擇內預測訊號及間預測訊號之任一個,且將所選擇的訊號作為預測訊號,而輸出至加法部208。
[編碼裝置的間預測部的內部構成]
其次,針對編碼裝置100的間預測部126的內部構成進行說明。具體來說,是針對編碼裝置100的間預測部126之功能構成進行說明,其中該編碼裝置100的間預測部126是用於實現在解碼裝置側進行移動估測的模式(FRUC模式)。
圖11是顯示實施形態1之編碼裝置100的間預測部126之內部構成的方塊圖。間預測部126包含有:候選導出部1261、範圍決定部1262、移動估測部1263、及移動補償部1264。
候選導出部1261是導出複數個候選,該等複數個候選各自具有至少1個移動向量。該候選有時被稱為預測移動向量候選。又,候選所含的移動向量有時被稱為移動向量預測子。
具體來說,候選導出部1261是根據編碼完畢區塊的移動向量來導出複數個候選,其中該編碼完畢區塊是空間上或者時間上鄰接於當前區塊的區塊(以下稱為鄰接區塊)。鄰接區塊的移動向量是指在鄰接區塊的移動補償所使用的移動向量。
例如,在1個鄰接區塊的間預測上已參考了2個參考圖片時,候選導出部1261根據對應於該等2個參考圖片的2個移動向量,導出1個候選,該1個候選含有2個參考圖片索引及2個移動向量。又例如,在1個鄰接區塊的間預測上已參考了1個參考圖片時,候選導出部1261根據對應於該1個參考圖片之1個移動向量,導出1個候選,該1個候選含有1個參考圖片索引及1個移動向量。
已從複數個鄰接區塊所導出的複數個候選被登錄在候選清單。此時,也可從候選清單刪除重複候選。又,在於候選清單中有空白時,也可登錄具有固定值之移動向量(例如零移動向量)的候選。另,該候選清單也可與在合併模式所使用的合併清單共通。
空間上鄰接的區塊意指當前圖片所含的區塊,且鄰接於當前區塊的區塊。空間上鄰接的區塊,例如為當前區塊的左邊、左上方、上方或者右上方的區塊。從空間上鄰接的區塊所導出的移動向量有時被稱為空間移動向量。
時間上鄰接的區塊意指與當前圖片不同的編碼/解碼完畢圖片所含的區塊。時間上鄰接的區塊的編碼/解碼完畢圖片內的位置是對應於當前區塊的當前圖片內的位置。時間上鄰接的區塊有時也被稱為同位(co-located)區塊。又,從時間上鄰接的區塊所導出的移動向量有時被稱為時間移動向量。
範圍決定部1262是決定參考圖片中的移動估測範圍。移動估測範圍意指容許移動估測的參考圖片內的一部分區域。
移動估測範圍的尺寸,例如是根據記憶體帶寬及處理能力等來決定。記憶體帶寬及處理能力,例如可由以標準規格所定義的等級來取得。又,記憶體帶寬及處理能力也可從解碼裝置取得。移動估測範圍的尺寸意指圖片內的一部分區域的大小,例如可藉由水平像素數及垂直像素數來表示,其中水平像素數及垂直像素數是顯示從移動估測範圍的中心迄至垂直邊及水平邊的距離。
移動估測範圍的位置,例如是根據候選清單內的複數個候選所含的複數個移動向量的統計性代表向量來決定。在本實施形態中,使用平均移動向量,作為統計性代表向量。平均移動向量是由複數個移動向量的水平值的平均值及垂直值的平均值所構成的移動向量。
有關於已決定的移動估測範圍的資訊(以下稱為移動估測範圍資訊)是在位元流內進行編碼。移動估測範圍資訊含有顯示移動估測範圍的尺寸之資訊及顯示移動估測範圍的位置之資訊之至少其中一者,在本實施形態中,是只含有顯示移動估測範圍的尺寸之資訊。移動估測範圍資訊的位元流內的位置並無特別限制。例如,移動估測範圍資訊,如圖12所示,也可寫入(i)視訊參數集(VPS)、(ii)序列參數集(SPS)、(iii)圖片參數集(PPS)、(iv)切片標頭、或者(v)視訊系統設定參數。另,移動估測範圍資訊也可不被進行熵編碼。
移動估測部1263是在參考圖片的移動估測範圍內進行移動估測。即,移動估測部1263是在參考圖片之中限定在移動估測範圍,來進行移動估測。具體來說,移動估測部1263如下進行移動估測。
首先,移動估測部1263是從訊框記憶體122,讀出參考圖片內的移動估測範圍的再構成圖像。例如,移動估測部1263是在參考圖片之中,只讀出移動估測的再構成圖像。接著,移動估測部1263是從已藉候選導出部1261所導出的複數個候選排除具有對應於參考圖片的移動估測範圍外的位置之移動向量的候選。即,移動估測部1263是從候選清單刪除具有指示移動估測範圍外的位置的移動向量的候選。
其次,移動估測部1263是從剩餘的候選之中選擇候選。即,移動估測部1263是從候選清單選擇候選,該候選清單為已排除具有對應於移動估測範圍外的位置之移動向量之候選的清單。
該候選的選擇是根據各候選的評價值來進行。例如在適用上述的第1圖案匹配(雙向匹配)的時候,各候選的評價值是根據差分值來算出,其中該差分值是對應於該候選的移動向量之參考圖片內的區域的再構成圖像、與沿當前區塊之移動軌跡(motion trajectory)之其他參考圖片內的區域之再構成圖像之差分值。又,例如在適用第2圖案匹配(模板匹配)時,各候選的評價值是根據差分值來算出,其中該差分值為對應於各候選的移動向量之參考圖片內的區域之再構成圖像、與鄰接於當前圖片內的當前區塊的編碼完畢區塊之再構成圖像之差分值。
最後,移動估測部1263是根據已選擇的候選,來決定當前區塊之用的移動向量。具體來說,移動估測部1263,例如在參考圖片內的位置的周邊區域中進行圖案匹配,而在周邊區域內找出最相配的區域,其中該參考圖片是對應於已選擇的候選所含的移動向量。接著,移動估測部1263根據周邊區域內之最相配的區域,決定當前區塊之用的移動向量。又例如,移動估測部1263也可決定已選擇的候選所含的移動向量,來作為當前區塊之用的移動向量。
移動補償部1264是使用已藉移動估測部1263所決定的移動向量進行移動補償,藉此來產生當前區塊的間預測訊號。
[編碼裝置的間預測部的動作]
其次,一邊參考圖13至圖17,一邊具體地說明如上構成的間預測部126的動作。以下針對參考單一的參考圖片進行間預測的形態予以說明。
圖13是顯示實施形態1之編碼/解碼裝置的間預測部的處理之流程圖。在圖13中,括弧中的符號是表示解碼裝置的間預測部的處理。
首先,候選導出部1261從鄰接區塊導出複數個候選,產生候選清單(S101)。圖14是顯示實施形態1中之候選清單一例之圖。在此,各候選具有候選索引、參考圖片索引及移動向量。
其次,範圍決定部1262從參考圖片清單選擇參考圖片(S102)。例如範圍決定部1262是以參考圖片索引的昇羃來選擇參考圖片。例如,在圖15的參考圖片清單中,範圍決定部1262最初是選擇參考圖片索引為「0」的參考圖片。
範圍決定部1262在參考圖片中決定移動估測範圍(S103)。在此,一邊參考圖16,一邊就移動估測範圍的決定予以說明。
圖16是顯示實施形態1中之移動估測範圍1022一例之圖。在圖16之中,在參考圖片內的對應的位置上表示有當前圖片內的當前區塊1000及鄰接區塊1001至1004。
首先,範圍決定部1262從候選清單取得複數個鄰接區塊1001至1004的移動向量1011至1014。接著,範圍決定部1262因應必要,將移動向量1011至1014定標(scaling),算出移動向量1011至1014的平均移動向量1020。
例如,範圍決定部1262參考圖14的候選清單,算出複數個移動向量的水平值的平均值「-25(=((-48)+(-32)+0+(-20))/4)」、及垂直值的平均值「6(=(0+9+12+3)/4)」,藉此算出平均移動向量(-26,6)。
接著,範圍決定部1262根據平均移動向量1020,決定移動估測範圍的代表位置1021。以代表位置1021來說,在此是採用了中心位置。另,代表位置1021並不限於中心位置,也可以使用移動估測範圍的頂點位置之任一者(例如左上頂點位置)。
進而,範圍決定部1262根據記憶體帶寬及處理能力等,來決定移動估測範圍的尺寸。例如,範圍決定部1262決定表示移動估測範圍的尺寸的水平像素數及垂直像素數。
根據如此所決定的移動估測範圍的代表位置1021及尺寸,範圍決定部1262決定移動估測範圍1022。
在此,再回到圖13的流程圖的說明。移動估測部1263從候選清單排除具有對應於移動估測範圍外的位置的移動向量的候選(S104)。例如,在圖16中,移動估測部1263將具有指示移動估測範圍外的位置的移動向量1012、1013之候選從候選清單排除。
移動估測部1263算出在候選清單剩下的候選的評價值(S105)。例如,移動估測部1263算出當前圖片內的鄰接區塊的再構成圖像(模板)、與對應於候選的移動向量的參考圖片內的區域的再構成圖像之間的差分值,作為評價值(模板匹配)。此時,對應於候選的移動向量的參考圖片內的區域是在參考圖片內之中,使用候選的移動向量來進行移動補償的鄰接區塊的區域。在如此所算出的評價值之中,意指值愈減少,評價愈高。另,評價值也可為差分值的倒數。此時,評價值愈增加,評價就愈高。
移動估測部1263根據評價值,從候選清單之中選擇候選(S106)。例如,移動估測部1263選擇具有最小的評價值之候選。
移動估測部1263決定周邊區域,該周邊區域為對應於已選擇的候選所具有的移動向量之區域的周邊區域(S107)。例如,在已選擇了圖16的移動向量1014時,移動估測部1263,如圖17所示,在參考圖片中決定使用移動向量1014來進行移動補償的當前區塊的區域之周邊區域1023。
周邊區域1023的尺寸,例如也可事先以標準規格來定義。具體來說,以周邊區域1023的尺寸來說,例如也可事先定義8x8像素、16x16像素或者32x32像素等的固定尺寸。又,周邊區域1023的尺寸也可根據處理能力來決定。此時,有關於周邊區域1023的尺寸之資訊也可寫入位元流。考慮到周邊區域1023的尺寸,也可決定表示移動估測範圍的尺寸的水平像素數及垂直像素數,再寫入位元流。
移動估測部1263判定已決定的周邊區域是否已包含在移動估測範圍(S108)。即,移動估測部1263判定周邊區域整體是否已包含在移動估測範圍。
在此,在周邊區域已包含在移動估測範圍時(S108之是(Yes)),移動估測部1263在周邊區域內進行圖案匹配(S109)。其結果,移動估測部1263在周邊區域內,取得與鄰接區塊的再構成圖像最相配的參考圖片內的區域的評價值。
另一方面,在周邊區域不包含在移動估測範圍時(S108之否(No)),移動估測部1263在周邊區域之中包含在移動估測範圍的部分區域中進行圖案匹配(S110)。即,移動估測部1263在周邊區域之中不包含在移動估測範圍之部分區域中不進行圖案匹配。
範圍決定部1262判定在參考圖片內是否有未選擇的參考圖片(S111)。在此,有未選擇的參考圖片時(S111之是),再回到參考圖片的選擇(S102)。
另一方面,沒有未選擇的參考圖片時(S111之否),移動估測部1263根據評價值,決定當前圖片之用的移動向量(S112)。即,移動估測部1263決定在複數個參考圖片中評價最高的候選的移動向量,作為當前圖片之用之移動向量。
[解碼裝置的間預測部的內部構成]
其次,針對解碼裝置200的間預測部218的內部構成予以說明。具體來說,是針對解碼裝置200的間預測部218之功能構成進行說明,其中該解碼裝置200的間預測部218是用於實現在解碼裝置側進行移動估測的模式(FRUC模式)。
圖18是顯示實施形態1之解碼裝置200的間預測部218之內部構成的方塊圖。間預測部218包含有:候選導出部2181、範圍決定部2182、移動估測部2183、及移動補償部2184。
候選導出部2181,與編碼裝置100的候選導出部1261同樣,導出各自具有至少1個移動向量的複數個候選。具體來說,候選導出部2181根據空間上及/或時間上的鄰接區塊的移動向量,導出複數個候選。
範圍決定部2182決定參考圖片中的移動估測範圍。具體來說,範圍決定部2182,首先取得已從位元流解讀的移動估測範圍資訊。然後,範圍決定部2182根據移動估測範圍資訊,來決定移動估測範圍的尺寸。進而,範圍決定部2182,與編碼裝置100的範圍決定部1262同樣,決定移動估測範圍的位置。藉此,就能決定參考圖片中之移動估測範圍。
移動估測部2183在參考圖片的移動估測範圍內進行移動估測。具體來說,移動估測部2183,首先,從訊框記憶體214讀出參考圖片內的移動估測範圍的再構成圖像。例如,移動估測部2183在參考圖片之中只讀出移動估測範圍的再構成圖像。然後,移動估測部2183,與編碼裝置100的移動估測部1263同樣,在移動估測範圍內進行移動估測,決定當前區塊之用的移動向量。
移動補償部2184使用藉移動估測部2183所決定的移動向量進行移動補償,藉此產生當前區塊的間預測訊號。
[解碼裝置的間預測部的動作]
其次,一邊參考圖13,一邊具體地說明如上構成的間預測部218的動作。間預測部218的處理,除了步驟S103代替步驟S203之點外,與編碼裝置100的間預測部126的處理相同。以下針對步驟S203予以說明。
範圍決定部2182在參考圖片中決定移動估測範圍(S203)。此時,範圍決定部2182根據已從位元流解讀的移動估測範圍資訊,決定移動估測範圍的尺寸。又,範圍決定部2182,與編碼裝置100的範圍決定部1262同樣,根據候選清單所含的複數個候選,決定移動估測範圍的位置。
[效果等]
如上,依本實施形態之編碼裝置100的間預測部126及解碼裝置200的間預測部218,可將具有對應於移動估測範圍外的位置之移動向量之候選排除,再進行候選的選擇。因此,可減輕候選之選擇之用的處理負擔。進而,也可無須從訊框記憶體讀取移動估測範圍外的再構成圖像,因此可減少移動估測之用的記憶體帶寬。
又,依本實施形態之編碼裝置100及解碼裝置200,可在位元流寫入有關於移動估測範圍之資訊,且從位元流解讀有關於移動估測範圍之資訊。因此,也可在解碼裝置200使用與已在編碼裝置100使用的移動估測範圍相同的移動估測範圍。進而,可減輕解碼裝置200中之決定移動估測範圍之用的處理負擔。
又,依本實施形態之編碼裝置100及解碼裝置200,在位元流可包含顯示移動估測範圍的尺寸的資訊。因此,也可在解碼裝置200使用具有與已在編碼裝置100使用的移動估測範圍之尺寸相同的尺寸之移動估測範圍。進而,可減輕解碼裝置200中之決定移動估測範圍之尺寸之用的處理負擔。
又,依本實施形態之編碼裝置100的間預測部126及解碼裝置200的間預測部218,可根據平均移動向量來決定移動估測範圍的位置,其中該平均移動向量是從複數個候選所取得,該等候選是從鄰接於當前區塊的複數個區塊所導出。因此,可將適於當前區塊之用的移動向量之估測之區域,決定為移動估測範圍,可提高移動向量的精度。
又,依本實施形態之編碼裝置100的間預測部126及解碼裝置200的間預測部218,除了候選的移動向量,還可根據周邊區域中的圖案匹配,決定當前區塊之用的移動向量。因此,可更進一步提高移動向量的精度。
又,依本實施形態之編碼裝置100的間預測部126及解碼裝置200的間預測部218,在周邊區域不包含在移動估測範圍時,可在周邊區域之中的移動估測範圍內的部分區域中進行圖案匹配。因此,可迴避移動估測範圍外的移動估測,且可減輕處理負擔及記憶體帶寬的需求量。
(實施形態1之變形例1)
在上述實施形態1中,移動估測範圍的位置是根據候選清單內的複數個候選所含的複數個移動向量的平均移動向量來決定,但在本變形例中,是根據候選清單內的複數個候選所含的複數個移動向量的中央移動向量來決定。
本變形例之範圍決定部1262、2182是參考候選清單,取得複數個候選所含的複數個移動向量。然後,範圍決定部1262、2182算出已取得的複數個移動向量之中央移動向量。中央移動向量是由複數個移動向量的水平值的中央值及垂直值的中央值所構成的移動向量。
範圍決定部1262、2182,例如參考圖14的候選清單,算出複數個移動向量的水平值的中央值「-26(=((-32)+(-20))/2)」、及垂直值的中央值「6(=(9+3)/2)」,藉此算出中央移動向量(-26,6)。
接著,範圍決定部1262、2182根據所算出的中央移動向量,決定移動估測範圍的代表位置。
如上,依本變形例之範圍決定部1262、2182,可根據中央移動向量,決定移動估測範圍的位置,其中該中央移動向量是從鄰接於當前區塊的複數個區塊所導出之複數個候選所得到的移動向量。因此,可將適於當前區塊之用的移動向量之估測之區域,決定為移動估測範圍,可提高移動向量的精度。
也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又,也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。
(實施形態1的變形例2)
其次,針對實施形態1之變形例2予以說明。在本變形例中,不是平均移動向量,而是根據最小移動向量來決定移動估測範圍的位置。以下,就與上述實施形態1不同的點為中心來說明本變形例。
本變形例之範圍決定部1262、2182參考候選清單,取得複數個候選所含之複數個移動向量。然後,範圍決定部1262、2182從已取得的複數個移動向量之中,選擇具有最小尺寸的移動向量(即,最小移動向量)。
範圍決定部1262、2182,例如參考圖14的候選清單,從複數個移動向量之中,選擇具有最小尺寸的移動向量(0,8),該移動向量是包含在具有候選索引「2」之候選。
接著,範圍決定部1262、2182根據已選擇的最小移動向量,來決定移動估測範圍的代表位置。
圖19是顯示實施形態1之變形例2中的移動估測範圍一例之圖。在圖19中,範圍決定部1262、2182在鄰接區塊之移動向量1011至1014之中,選擇具有最小尺寸的移動向量1013,作為最小移動向量1030。接著,範圍決定部1262、2182根據最小移動向量1030,決定移動估測範圍的代表位置1031。然後,範圍決定部1262、2182根據已決定的代表位置1031,來決定移動估測範圍1032。
如上,依本變形例之範圍決定部1262、2182,可根據最小移動向量,來決定移動估測範圍的位置,其中該最小移動向量是從複數個候選所得到,該等候選是從鄰接於當前區塊之複數個區塊所導出。因此,可將靠近當前區塊之區域,決定為移動估測範圍,可提高移動向量的精度。
也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又,也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。
(實施形態1的變形例3)
其次,針對實施形態1之變形例3予以說明。在本變形例中,不是平均移動向量,而是根據與當前圖片不同的編碼/解碼完畢圖片之移動向量來決定移動估測範圍的位置。以下,就與上述實施形態1不同的點為中心來說明本變形例。
本變形例之範圍決定部1262、2182參考圖片清單來選擇參考圖片,該參考圖片為與當前圖片不同的編碼/解碼完畢圖片。例如,範圍決定部1262、2182選擇具有最小值的參考圖片索引的參考圖片。又例如,範圍決定部1262、2182也可選擇在輸出順序上最接近當前圖片的參考圖片。
接著,範圍決定部1262、2182取得複數個移動向量,該等複數個移動向量為在已選擇的參考圖片所含之複數個區塊之編碼/解碼所使用。然後,範圍決定部1262、2182算出已取得的複數個移動向量的平均移動向量。
接著,範圍決定部1262、2182根據已算出的平均移動向量,決定移動估測範圍的代表位置。
如上,依本變形例之範圍決定部1262、2182,就算當前圖片內之當前區塊有改變,編碼/解碼完畢圖片的移動向量也不會改變,因此每次當前區塊有改變時,無須從鄰接區塊的移動向量決定為移動估測範圍。即,可減輕決定移動估測範圍之用的處理負擔。
另,在此,根據已選擇的參考圖片的平均移動向量,來決定移動估測範圍的代表位置,但不限於此。例如,也可使用中央移動向量代替平均移動向量。又例如,也可使用同位(co-located)區塊的移動向量代替平均移動向量。
也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又,也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。
(實施形態1的變形例4)
其次,針對實施形態1之變形例4予以說明。在本變形例中,將參考圖片分割成複數個區域,根據所分割的區域,將複數個候選所含的複數個移動向量分組(grouping)。此時,根據含有最多的移動向量的群組,來決定移動估測範圍的位置。
以下,一邊參考圖20,一邊就本變形例,對與上述實施形態1不同的點為中心予以說明。圖20是顯示實施形態1之變形例4中之移動估測範圍一例之圖。
本變形例之範圍決定部1262、2182對參考圖片進行區域分割。例如圖20所示,範圍決定部1262、2182根據當前圖片的位置,而將參考圖片分割為4個區域(第1至第4區域)。
範圍決定部1262、2182根據複數個區域,來將鄰接區塊的複數個移動向量分組。例如在圖20中,範圍決定部1262、2182將複數個移動向量1011至1014分組成第1群及第2群,其中該第1群含有對應於第1區域的移動向量1013,該第2群含有對應於第2區域的移動向量1011、1012、1014。
範圍決定部1262、2182根據含有最多的移動向量之群組,來決定移動估測範圍的位置。例如在圖20中,範圍決定部1262、2182根據包含在第2群的移動向量1011、1012、1014的平均移動向量1040,來決定移動估測範圍的代表位置1041。另,也可使用中央移動向量或者最小移動向量來代替平均移動向量。
如上,依本實施例之範圍決定部1262、2182,可將適於當前區塊之用之移動向量之估測之區域決定為移動估測範圍,可提高移動向量的精度。
也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又,也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。
(實施形態1的變形例5)
其次,針對實施形態1之變形例5予以說明。在本變形例中,進行移動估測範圍的位置之補正之點是和上述實施形態1不同。以下,一邊參考圖21,一邊就與上述實施形態1不同的點為中心來說明本變形例。圖21是顯示實施形態1之變形例5中之移動估測範圍一例之圖。
本變形例之範圍決定部1262、2182,例如根據平均移動向量來補正已決定的移動估測範圍的位置。具體來說,範圍決定部1262、2182,首先,根據複數個候選所含的複數個移動向量之平均移動向量,暫時決定移動估測範圍。例如,範圍決定部1262、2182,如圖21所示,暫時決定移動估測範圍1050。
在此,範圍決定部1262、2182判定對應於零移動向量的位置是否包含在已暫時決定的移動估測範圍。即,範圍決定部1262、2182判定參考圖片中的當前區塊之基準位置(例如左上角)是否包含在已暫時決定的移動估測範圍1050。例如,在圖21中,範圍決定部1262、2182判定已暫時決定的移動估測範圍1050是否包含對應於零移動向量的位置1051。
在此,在對應零移動向量的位置不包含在已暫時決定的移動估測範圍時,範圍決定部1262、2182是為了使移動估測範圍包含對應於零移動向量的位置,而補正已暫時決定的移動估測範圍的位置。例如,在圖21中,因為已暫時決定的移動估測範圍1050不包含對應於零移動向量的位置1051,所以範圍決定部1262、2182將移動估測範圍1050補正為移動估測範圍1052。其結果,在已補正的移動估測範圍1052包含有對應於零移動向量的位置1051。
另一方面,在對應於零移動向量的位置包含在已暫時決定的移動估測範圍時,範圍決定部1262、2182將已暫時決定的移動估測範圍,原封不動地決定為移動估測範圍。即,範圍決定部1262、2182不補正移動估測範圍的位置。
如上,依本變形例之範圍決定部1262、2182,可決定估測適於當前區塊之用之移動向量的估測之區域,作為移動估測範圍,可提高移動向量的精度。
也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又,也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。
(實施形態1的變形例6)
其次,針對實施形態1的變形例6予以說明。在上述變形例5中,補正了移動估測範圍的位置,以含有對應於零移動向量的位置,但在本變形例中,補正移動估測範圍的位置,以含有對應於複數個鄰接區塊之中之1個鄰接區塊的移動向量的位置。
以下,一邊參考圖22,一邊說明本變形例。圖22是顯示實施形態1的變形例6中的移動估測範圍一例之圖。
首先,範圍決定部1262、2182,與變形例5同樣,例如根據平均移動向量,暫時決定移動估測範圍。例如,範圍決定部1262、2182,如圖22所示,暫時決定移動估測範圍1050。
在此,範圍決定部1262、2182判定移動向量的位置是否包含在已暫時決定的移動估測範圍,其中該移動向量為對應於複數個鄰接區塊之中的1個鄰接區塊的移動向量。例如,在圖22中,範圍決定部1262、2182判定已暫時決定的移動估測範圍1050是否包含對應於鄰接區塊1001的移動向量1011的位置1053。以複數個鄰接區塊之中的1個鄰接區塊來說,使用已事先訂定的鄰接區塊即可,例如使用左鄰接區塊或者上鄰接區塊即可。
在此,在對應於複數個鄰接區塊之中的1個鄰接區塊的移動向量的位置不包含在已暫時決定的移動估測範圍時,範圍決定部1262、2182補正已暫時決定的移動估測範圍的位置,以使移動估測範圍含有對應於該移動向量的位置。例如,在圖22中,因為已暫時決定的移動估測範圍1050不包含對應於鄰接區塊1001的移動向量1011的位置1053,所以範圍決定部1262、2182將移動估測範圍1050補正為移動估測範圍1054。其結果,在已補正的移動估測範圍1054包含有位置1053。
另一方面,在對應於複數個鄰接區塊之中的1個鄰接區塊的移動向量之位置包含在已暫時決定的移動估測範圍時,範圍決定部1262、2182將已暫時決定的移動估測範圍原封不動地決定為移動估測範圍。即,範圍決定部1262、2182不補正移動估測範圍的位置。
如上,依本變形例之範圍決定部1262、2182,可決定適於估測當前區塊之用的移動向量的區域,作為移動估測範圍,可提高移動向量的精度。
也可以將本態樣與本揭示中的其他態樣之至少一部分組合來實施。又,也可以將本態樣的流程圖所記載的一部分處理、裝置的一部分構成、語法(syntax)的一部分等與其他態樣組合來實施。
(實施形態1的變形例7)
其次,針對實施形態1的變形例7予以說明。在本變形例中,在位元流不含有關於移動估測範圍的資訊之點是與上述實施形態1不同。以下,針對本變形例,一邊參考圖23,一邊以與上述實施形態1不同之點為中心進行說明。
圖23是方塊圖,顯示實施形態1的變形例7之編碼解碼系統300的功能構成。如圖23所示,編碼解碼系統300包含有編碼系統310、及解碼系統320。
編碼系統310是將輸入動態圖像進行編碼,且輸出位元流。編碼系統310包含有:通訊裝置311、編碼裝置312、及輸出緩衝器313。
通訊裝置311是透過通訊網路(未示於圖中)等,而和解碼系統320交換能力資訊,根據該能力資訊,來產生移動估測範圍資訊。具體來說,通訊裝置311將編碼能力資訊發送到解碼系統320,且從解碼系統320接收解碼能力資訊。編碼能力資訊含有編碼系統310中的移動估測之用的處理能力及記憶體帶寬等之資訊。解碼能力資訊含有在解碼系統320中之移動估測之用的處理能力及記憶體帶寬等之資訊。
編碼裝置312將輸入動態圖像進行編碼,且將位元流輸出至輸出緩衝器313。此時,編碼裝置312,除了根據從通訊裝置311所取得的移動估測範圍資訊,來決定移動估測範圍的尺寸的點之外,進行與實施形態1之編碼裝置100大致相同的處理。
輸出緩衝器313即所謂緩衝記憶體,暫時儲存從編碼裝置312所輸入的位元流,將所儲存的位元流透過通訊網路等而輸出至解碼系統320。
解碼系統320將從編碼系統310所輸入的位元流進行解碼,且將輸出動態圖像輸出至顯示器(未示於圖中)等。解碼系統320包含有:通訊裝置321、解碼裝置322、及輸入緩衝器323。
通訊裝置321,與編碼系統310的通訊裝置311同樣,透過通訊網路等,和編碼系統310交換能力資訊,根據該能力資訊,產生移動估測範圍資訊。具體來說,通訊裝置311將解碼能力資訊發送到編碼系統310,從編碼系統310接收編碼能力資訊。
解碼裝置322將從輸入緩衝器323所輸入的位元流進行解碼,將輸入動態圖像輸出至顯示器等。此時,解碼裝置322除了根據從通訊裝置321所取得的移動估測範圍資訊,來決定移動估測範圍的點之外,進行與實施形態1之解碼裝置200大致相同的處理。另,也可在根據從通訊裝置321所取得的移動估測範圍資訊所決定的移動估測範圍超過解碼裝置322可處理的移動估測範圍時,將顯示不能解碼的訊息發送到通訊裝置321。
輸入緩衝器323即所謂的緩衝記憶體,暫時儲存從編碼系統310所輸入的位元流,且將所儲存的位元流輸出到解碼裝置322。
如上,依本變形例之編碼解碼系統300,就算在位元流不含有關於移動估測範圍的資訊,也可在編碼裝置312及解碼裝置322使用相同的移動估測範圍進行移動估測。因此,可減少移動估測範圍之用的編碼量。又,無須進行決定水平像素數及垂直像素數的處理,因此可減少處理量,其中前述水平像素數及垂直像素數是表示在範圍決定部1262之移動估測範圍的尺寸。
(實施形態1的變形例8)
另,在上述實施形態1中,按順序選擇了參考圖片清單所含的複數個參考圖片的全部,但也可不必選擇全部的參考圖片清單所含的複數個參考圖片的全部。在本變形例中,說明限制所選擇的參考圖片的數量之例。
本變形例之編碼裝置100的範圍決定部1262,與移動估測範圍的尺寸同樣,根據記憶體帶寬及處理能力等,決定FRUC模式中的移動估測容許使用的參考圖片的數量(以下稱為參考圖片容許數)。有關於已決定的參考圖片容許數的資訊(以下稱為參考圖片容許數資訊)被寫入位元流。
又,本變形例之解碼裝置200的範圍決定部2182是根據已從位元流解讀的參考圖片容許數資訊,決定參考圖片容許數。
另,參考圖片容許數資訊被寫入的位元流內的位置並無特別限制。例如,參考圖片容許數資訊,與圖12所示的移動估測範圍資訊同樣,VPS、SPS、PPS、切片標頭或者視訊系統設定參數也可被寫入。
根據如此決定的參考圖片容許數,在FRUC模式所使用的參考圖片的數量就會被限制。具體來說,範圍決定部1262、2182,例如在圖13的步驟S111中,有未選擇的參考圖片,且,判定已選擇的參考圖片的數量是否低於參考圖片容許數。在此,在沒有未選擇的參考圖片時,或者,在已選擇的參考圖片的數量為參考圖片容許數以上時(S111之是),前進到步驟S112。藉此,禁止從參考圖片清單選擇超過參考圖片容許數的數量的參考圖片。
此時,在圖13的步驟S111中,範圍決定部1262、2182,例如也可以參考圖片索引值的昇冪或者以時間上接近當前圖片的順序來選擇參考圖片。此時,也可從參考圖片清單,優先選擇參考圖片索引值小的參考圖片或者時間上接近當前圖片的參考圖片。另,當前圖片與參考圖片之時間上的距離,根據POC(Picture Order Count)決定即可。
如上,依本變形例的範圍決定部1262、2182,可將在移動估測所使用的參考圖片的數量限定為參考圖片容許數以下。因此,可減輕移動估測之用的處理負擔。
另,例如進行時間可調式編碼/解碼時,範圍決定部1262、2182也可根據參考圖片容許數來限制參考圖片的數量,該參考圖片是包含在低於以時間識別符所顯示的當前圖片的階層的階層。
(實施形態1的變形例9)
其次,針對實施形態1之變形例9予以說明。在本變形例中,說明在間預測中參考複數個參考圖片時之移動估測範圍的尺寸的決定方法。
在於間預測中參考複數個參考圖片時,移動估測範圍的尺寸,除了記憶體帶寬及處理能力外,亦可依賴在間預測所參考的參考圖片的數量。具體來說,範圍決定部1262、2182,首先根據記憶體帶寬及處理能力,決定在間預測所參考的複數個參考圖片中的複數個移動估測範圍的合計尺寸。然後,範圍決定部1262、2182根據複數個參考圖片的數量及已決定的合計尺寸,決定各參考圖片的移動估測範圍的尺寸。即,範圍決定部1262決定各參考圖片中的移動估測範圍的尺寸,以使複數個參考圖片內的複數個移動估測範圍的尺寸的合計與根據記憶體帶寬及處理能力所決定的複數個移動估測範圍的合計尺寸一致。
一邊參考圖24,一邊具體說明如此決定的各參考圖片中之移動估測範圍。圖24是顯示實施形態1之變形例9中的移動估測範圍之圖。圖24之(a)是顯示2個參考圖片所參考的預測(雙預測)中之移動估測範圍之例,圖24之(b)是顯示4個參考圖片所參考的預測中之移動估測範圍之例。
在圖24(a)中,對於前方參考圖片0及後方參考圖片0,分別決定有移動估測範圍F20、B20。在該移動估測範圍F20及移動估測範圍B20中,進行圖案匹配(模板匹配或者雙向匹配)。
在圖24之(b)中,對於前方參考圖片0、前方參考圖片1、後方參考圖片0、及後方參考圖片1,分別決定移動估測範圍F40、F41、B40、B41。因此,在該移動估測範圍F40、F41、B40、B41中進行圖案匹配。
在此,移動估測範圍F20、B20之尺寸的合計是與移動估測範圍F40、F41、B40、B41的尺寸的合計略為一致。即,各參考圖片中的移動估測範圍的尺寸是根據在間預測所參考的參考圖片的數量來決定。
如上,依本變形例之範圍決定部1262、2182,可根據在間預測所參考的參考圖片的數量,來決定各參考圖片中之移動估測範圍的尺寸。因此,可控制進行移動估測之區域的總尺寸,能更有效率地謀求減輕處理負擔及記憶體帶寬的需求量。
(實施形態1的其他變形例)
以上,針對本揭示之1個或複數個態樣之編碼裝置及解碼裝置,已根據實施形態及變形例來說明,但本揭示不是限定在該實施形態及變形例。只要在不脫離本揭示的旨趣之狀態下,熟悉此項技藝之人士可思及之各種變形實施在本實施形態或者本變形例者、或者將不同變形例中的構成要素組合而所構建的形態,也可包括在本揭示之1個或者複數個態樣的範圍內。
例如,在上述實施形態及各變形例中,FRUC模式中的移動估測是以編碼單元(CU)、預測單元(PU)或者被稱為轉換單元(TU)之可變尺寸的區塊單位來進行,但不限於此。FRUC模式中之移動估測也可以子區塊單位進行,其中該子區塊是將可變尺寸的區塊進一步分割而得到。此時,用於決定移動估測範圍的位置之向量(例如平均向量、中央向量等)也可以區塊單位或者子區塊單位來進行。
又例如,在上述實施形態及各變形例中,移動估測範圍的尺寸是根據處理能力及記憶體帶寬等來決定,但並不限於此。例如,移動估測範圍的尺寸也可根據參考圖片的種類來決定。例如,範圍決定部1262也可在參考圖片為B圖片時,將移動估測範圍的尺寸決定成第1尺寸,在參考圖片為P圖片時,將移動估測範圍的尺寸決定成大於第1尺寸的第2尺寸。
又例如,在上述實施形態及各變形例中,在對應於候選所含的移動向量之位置不包含在移動估測範圍時,該候選是從候選清單排除,但並不限於此。例如,在對應於候選所含的移動向量的位置之周邊區域之一部分或者全部不包含在移動估測範圍時,也可從候選清單排除該候選。
又例如,在上述實施形態及各變形例中,在對應於已選擇的候選所含的移動向量的位置的周邊區域進行了圖案匹配,但並不限於此。例如,也可不進行周邊區域的圖案匹配。此時,候選所含的移動向量也可原封不變地被決定為當前區塊之用的移動向量。
又例如,在上述實施形態及各變形例中,從候選清單排除的候選具有對應於移動估測範圍外的位置的移動向量,但並不限於此。例如,使用候選所含的移動向量,以小數像素精度進行移動補償時,在插值所使用的像素不包含在移動估測範圍時,也可從候選清單排除該候選。即,也可根據使用在小數像素之用的插值的像素的位置,判定候選是否被排除。又例如,在適用BIO或OBMC時,也可從候選清單,排除在BIO或者OBMC利用移動估測範圍外的像素的候選。又例如,也可在複數個候選之中留下具有最小的參考圖片索引的候選,排除其他的候選。
又例如,在上述實施形態及各變形例中,始終針對適用在參考圖片中限定移動估測範圍的模式的情況進行了說明,但並不限於此。例如,視頻、序列、圖片、切片或者以區塊單位也可在該模式的適用/非適用所選擇。此時,顯示是否適用該模式的旗標資訊也可包含在位元流。該旗標資訊的位元流內的位置並無須限定。例如,旗標資訊也可包含在與圖12所示的移動估測範圍資訊相同的位置。
又例如,在上述實施形態及各變形例中,雖然沒有詳細說明移動向量的定標,但也可例如根據成為基準的參考圖片,將各候選的移動向量進行定標。具體來說,也可以與編碼、解碼結果的參考圖片索引不同的參考圖片為基準,將各候選的移動向量進行定標。以成為基準的參考圖片來說,例如,使用參考圖片索引為「0」的參考圖片即可。又例如,以成為基準的參考圖片來說,也可對當前圖片使用輸出順序上最近的參考圖片。
另,不同於如同上述實施形態及各變形例之畫面間預測的時候,在參考在當前圖片內位於離開當前區塊的上方或左邊的位置的區域,估測與當前區塊相同的區塊時(例如內區塊複製時),也可與上述實施形態及各變形例同樣,限定移動估測範圍。
另,在上述實施形態及各變形例中,也可事先訂定好資訊,該資訊定義有當前區塊或者當前圖片的特徵量或種類與複數個移動估測範圍的尺寸的對應關係,參考該資訊,決定對應於當前區塊或者當前圖片的特徵量或種類之移動估測範圍的尺寸。以特徵量來說,例如使用尺寸(像素數)等即可,以種類來說,例如使用預測模式(例如單預測、雙預測等)即可。
(實施形態2)
在以上之各實施形態中,功能區塊每一個通常可藉MPU及記憶體等來實現。又,藉功能區塊每一個所進行的處理通常可以經由處理器等之程式執行部讀出ROM等之記錄媒體所記錄的軟體(程式)來執行,而予以實現。該軟體也可藉下載等來分發,也可記錄在半導體記憶體等之記錄媒體來分發。另,當然也可以將各功能區塊透過硬體(專用電路)來實現。
又,在各實施形態中所說明的處理也可以使用單一裝置(系統)進行集中處理來實現,或者也可以使用複數個裝置進行分散處理來實現。又,執行上述程式的處理器也可為單數個,也可為複數個。即,可進行集中處理,或者也可進行分散處理。
本揭示的態樣並不限於以上的實施例,可做各種變更,其等變更也包括在本揭示的態樣之範圍內。
進而在此,說明在上述各實施形態中所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之應用例及使用該方法之系統。該系統是以具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具有兩者之圖像編碼解碼裝置為特徵所在。針對系統中的其他構成,配合情況的需要,可適當地變更。
[使用例]
圖25是顯示實現內容分發服務之內容供給系統ex100之整體構成圖。將通訊服務之提供領域分割成所期望之大小,在各胞元內分別設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。
在該內容供給系統ex100中,經由網際網路服務提供者ex102或通訊網ex104、及基地台ex106至ex110,而將電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等各機器連接於網際網路ex101。該內容供給系統ex100可構成為組合上述任意要素而連接。也可不經過為固定無線台之基地台ex106至ex110,而是使各機器經由電話網路或者近距離無線等直接或間接地互相連接。又,串流伺服器ex103是經由網際網路ex101等而與電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、及智慧型手機ex115等之各機器連接。又,串流伺服器ex103是經由衛星ex116而與飛機ex117內之熱點內的終端機等連接。
另,也可利用無線存取點或熱點等,來替代基地台ex106至ex110。又,串流伺服器ex103也可以不經由網際網路ex101或者網際網路服務提供者ex102,而直接與通訊網ex104連接,也可不經由衛星ex116,而直接與飛機ex117連接。
攝像機ex113是數位相機等可進行靜態圖像攝影及動態圖像攝影之機器。又,智慧型手機ex115一般是指對應於2G、3G、3.9G、4G、以及今後被稱為5G之行動通訊系統的方式之智慧型話機、行動電話機、或者PHS(Personal Handyphone System)等。
家電ex118是包括在冰箱、或者家用燃料電池熱電共生系統之機器等。
在內容供給系統ex100中,讓具有攝影功能的終端機經由基地台ex106等而連接到串流伺服器ex103,以此可進行現場直播等。在現場直播中,終端機(電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、及飛機ex117内之終端機等)是將如下所得到的資料發送到串流伺服器ex103,該資料是對使用者使用該終端機所攝影的靜態圖像或者動態圖像內容進行在上述各實施形態所說明的編碼處理,且對藉編碼所得到的影像資料、及已將對應於影像的聲音編碼後的聲音資料進行多工而所得到者。即,各終端機是作為本揭示一態樣的圖像編碼裝置而發揮功能。
另一方面,串流伺服器ex103是對於有了請求的客戶端將被發送的內容資料進行串流分發。客戶端是指可將上述經過編碼處理的資料進行解碼之電腦ex111、遊戲機ex112、攝像機ex113、家電ex114、智慧型手機ex115、或者飛機ex117內的終端機等。已接收到所分發的資料的各機器將所接收的資料進行解碼處理後進行播放。即,各機器是作為本揭示一態樣之圖像解碼裝置而發揮功能。
[分散處理]
又,串流伺服器ex103也可為複數個伺服器或者是複數個電腦,將資料分散處理或記錄分發者。例如,串流伺服器ex103也可藉由CDN(Contents Delivery Network)來實現,透過連接分散在世界各地的多數邊緣伺服器(edge server)與邊緣伺服器間的網路來實現內容分發。在CDN中,因應客戶端而動態地分配實體上接近的邊緣伺服器。然後,內容被該邊緣伺服器快取及分發,以此可減少延遲的情況。又,在發生有任何錯誤時或者因流量增加等而使通訊狀態改變時,可以複數個邊緣伺服器分散處理,或者將分發主體切換到其他邊緣伺服器,而對已發生障礙的網路部分進行迂迴,來繼續進行分發,因此可實現高速且穩定的分發。
又,不只是分發自身的分散處理,也可將所攝影的資料的編碼處理在各終端機進行,也可在伺服器側進行,也可互相分擔來進行。舉一例來說,一般在編碼處理中,進行處理循環2次。第1次的循環,會檢測以訊框或者場景單位的圖像之複雜度、或者編碼量。又,在第2次的循環,會進行維持畫質,並使編碼效率提高的處理。例如,終端機進行第1次的編碼處理,已收到內容的伺服器側進行第2次的編碼處理,以此可一邊減輕在各終端機的處理負擔,又能一邊提高內容的品質及效率。此時,若有幾乎以實時接收而要解碼的請求時,也可將終端機已進行過第1次的編碼完畢資料在其他終端機接收且進行播放,因此能達到更柔軟的實時分發。
舉另一例來說,攝像機ex113等是從圖像進行特徵量擷取,將有關於特徵量的資料作為詮釋(meta)資料進行壓縮,而發送到伺服器。伺服器是例如從特徵量來判斷物件的重要性,而切換量化精度等因應圖像的意義來進行壓縮。特徵量資料對於伺服器上之再次壓縮時的移動向量預測之精度及效率提昇特別有效。又,也可在終端機進行VLC(可變長度編碼)等之簡易性編碼,在伺服器進行CABAC(Context適應型二值算術編碼方式)等處理負荷大的編碼。
進而,以其他例來說,在體育場、購物商場、或者工廠等之中,會有經由複數個終端機而拍攝到幾乎相同的場景的複數個影像資料存在的情況。在該情況下,使用進行過拍攝的複數個終端機、及因應需要而未進行拍攝的其他終端機及伺服器,以例如GOP(Group of Picture)單位、圖片單位、或者將圖片分割之方塊單位等,分別分配編碼處理,來進行分散處理。藉此,可減少延遲,並實現更佳的實時性。
又,由於複數個影像資料為幾乎相同的場景,因此也可在伺服器進行管理及/或指示,將在各終端機所拍攝的影像資料相互參考。或者,也可使伺服器接收來自各終端機的編碼完畢資料,在複數個資料之間變更參考關係,或者將圖片本身進行補正或更換,來重新進行編碼。藉此,可產生將一個一個資料的品質及效率提高的串流。
又,伺服器也可先進行將影像資料的編碼方式變更的轉碼,再分發影像資料。例如,伺服器也可將MPEG系的編碼方式轉換成VP系,也可將H.264轉換成H.265。
如此,編碼處理可透過終端機或者是1個以上的伺服器來進行。藉此,在下文中,作為進行處理的主體是採用「伺服器」或者是「終端機」等的記述,但也可讓以伺服器所進行的處理的一部分或者全部在終端機來進行,也可讓以終端機所進行的處理的一部分或者全部在伺服器來進行。又,有關於該等部分,針對解碼處理也是同樣。
[3D、多視角]
近年來,將幾乎互相同步的複數個攝像機ex113及/或智慧型手機ex115等之終端機所攝影的不同場景、或者是相同場景以不同的視角拍攝的圖像或影像整合來利用的情形也變多了。以各終端機所拍攝的影像是根據另外取得的終端機間之相對的位置關係、或者影像所含的特徵點一致的區域等來整合。
伺服器不只將2維的動態圖像進行編碼,還可根據動態圖像的場景解析等,而自動或者是在使用者所指定的時刻,將靜態圖像進行編碼,再發送到接收終端機。伺服器進而在可取得攝影終端機之間的相對的位置關係時,不只是2維的動態圖像,還可根據從不同視角對相同場景拍攝的影像,來產生該場景的3維形狀。另,伺服器也可另外將透過點雲(point cloud)等所產生的3維的資料進行編碼,也可根據使用3維資料來辨識或者追蹤人物或物件的結果,從以複數個終端機拍攝的影像中選擇、或再構成,以產生要發送到接收終端機的影像。
如此進行後,使用者要任意選擇對應於各攝影終端機的各影像來觀賞場景也可,要觀賞從使用複數個圖像或者影像而再構成的3維資料剪出任意視點的影像的內容也可。進而,與影像同樣,也可從複數個不同視角收取聲音,令伺服器配合影像,與來自特定視角或空間的聲音和影像進行多工而發送。
又,近年來,Virtual Reality(VR/虛擬實境)及Augmented Reality(AR/擴增實境)等對現實世界與虛擬世界建立對應關係的內容也漸漸普及了。在VR的圖像的情況,也可使伺服器分別作出右眼用及左眼用的視點圖像,透過Multi-View Coding(MVC/多視角編碼)等,進行在各視點影像之間容許參考的編碼,也可不互相參考而作為不同串流來進行編碼。在解碼不同串流時,宜以因應使用者的視點而將虛擬的3維空間重現的方式,使其互相同步且播放。
在AR的圖像的情況,伺服器會根據3維上的位置或者使用者的視點的移動,而將虛擬空間上的虛擬物體資訊重疊在現實空間的攝像機資訊。解碼裝置也可取得或者保持虛擬物體資訊及3維資料,並因應使用者的視點的移動來產生2維圖像,而順利地接續,以此作成重疊資料。或者,解碼裝置也可除了虛擬物體資訊的請求指令外,將使用者的視點的移動也發送到伺服器,伺服器配合接收的視點的移動而從保持在伺服器的3維資料來作成重疊資料,且將重疊資料進行編碼,再分發到解碼裝置。另,也可以是:重疊資料除了RGB以外還具有顯示穿透度的α值,伺服器將從3維資料所作成的物件以外的部分之α值設定為0等,且使該部分為穿透的狀態下進行編碼。或者,伺服器也可如同色鍵(Chroma key)產生資料,該資料為將預定的值之RGB值設定為背景,物件以外的部份則設定為背景色。
同樣,被進行分發的資料的解碼處理也可在客戶端的各終端機進行,或是也可在伺服器側進行,或者也可相互分擔進行。以一例來說,某終端機也可先將接收請求送到伺服器,以其他終端機接收因應該請求的內容,進行解碼處理,並將已解碼完畢的訊號發送到具有顯示器的裝置。能在不依賴可通訊的終端機本身的性能之狀態下,將處理分散而選擇適合的內容,以此可播放畫質佳的資料。又,以另一例來說,也可一邊在TV等接收大尺寸的圖像資料,一邊將圖片分割後的方塊等一部分的區域在觀眾的個人終端進行解碼而顯示。藉此,可共享整體圖像,並可在身邊確認本身的負責領域或者想更加詳細確認的區域。
又,今後不管是室內或室外,在可使用近距離、中距離、或者長距離之數種無線通訊的狀況下,利用MPEG-DASH等之分發系統規格,一邊對於連線中的通訊切換適合的資料,一邊無縫地接收內容,這是可預想得到的。藉此,使用者不只是本身的終端機,也可一邊自由地選擇設在室內或室外之顯示器等之解碼裝置或者顯示裝置,一邊實時地進行切換。又,根據本身的位置資訊等,可一邊切換解碼的終端機及顯示的終端機,一邊進行解碼。藉此,使得如下方式也可變得可行,即:在往目的地的移動中,一邊讓埋設有可進行顯示的設備之旁邊的建築物的壁面或者是地面的一部分顯示地圖資訊,一邊移動。又,也可以基於網路上之對編碼資料的存取容易性,諸如有編碼資料會被可在短時間內從接收終端機進行存取的伺服器快取、或者是被複製到內容分發服務(Contents Delivery Service)中的邊緣伺服器等,來切換接收資料的位元率。
[可調式編碼]
有關於內容的切換,是利用顯示於圖26之可調式之串流來說明,該串流是應用在上述各實施形態所示的動態圖像編碼方法而被壓縮編碼的串流。伺服器雖然具有作為個別的串流,為內容相同但品質不同的複數個串流也無妨,但也可為如下構成,即:靈活運用時間型/空間型可調式的串流之特徵,來切換內容,其中該時間型/空間型可調式的串流是如圖所示藉由分層來進行編碼而實現。即,解碼側因應例如性能的內在因素及通訊頻帶的狀態等之外在因素,來決定要解碼到哪一層,以此解碼側可自由地切換低影像解析度的內容及高影像解析度的內容,而進行解碼。例如想要把曾在移動中於智慧型手機ex115收看的影像的後續部分放到回家後以網路TV等的機器收看時,該機器只要將相同的串流進行解碼到不同層即可,因此可減輕伺服器側的負擔。
進而,如上述,在每層將圖片進行編碼,且在基本層的上位有加強層存在之實現可調性(scalability)之構成以外,也可為加強層含有基於圖像的統計資訊等之詮釋資訊,解碼側根據詮釋資訊,將基本層的圖片進行超影像解析,以此產生已高畫質化的內容。所謂超影像解析也可是同一解析度下的SN比的提昇、以及解析度的擴大之任一者。詮釋資訊是包括用以特定超影像解析處理所使用的線性或者是非線性的濾波係數的資訊、或者、用以特定超影像解析處理所使用的濾波處理、機械學習或者是最小平方運算中的參數值的資訊等。
或者,也可為如下構成,即:因應圖像內的物件(object)等的意涵,將圖片分割成方塊等,解碼側選擇要解碼的方塊,以此只將一部分的區域進行解碼。又,把物件的屬性(人物、車、球等)與影像內的位置(同一圖像中的座標位置等),當做為詮釋資訊來儲存,以此,解碼側可根據詮釋資訊來特定所希望的物件的位置,並決定包含該物件的方塊。例如,如圖27所示,詮釋資訊是使用HEVC中的SEI訊息等與像素資料不同之資料儲存構造來儲存。該詮釋資訊是例如顯示主物件的位置、尺寸、或者色彩等。
又,也可以串流、序列或者隨機存取單位等由複數個圖片所構成的單位來儲存詮釋資訊。藉此,解碼側可取得特定人物出現在影像內的時刻等,配合圖片單位的資訊,以此便可特定物件存在的圖片、及在圖片內之物件的位置。
[網頁的最適化]
圖28是顯示電腦ex111等之中網頁(web page)的顯示畫面例之圖。圖29是顯示智慧型手機ex115等之網頁的顯示畫面例之圖。如圖28及圖29所示,網頁有包括複數個鏈接圖像的情況,其中該等鏈接圖像為朝圖像內容的鏈接,該等鏈接圖像的看到方式會依據閱覽的設備而有所不同。在於畫面上看得到複數個鏈接圖像時,迄至使用者明白表示選擇鏈接圖像為止,或者是迄至鏈接圖像靠近畫面的中央附近或者鏈接圖像整體進入畫面內為止,顯示裝置(解碼裝置)是顯示各內容所具有的靜態圖像或I圖片來作為鏈接圖像,或以複數個靜態圖像或I圖片等顯示像gif動畫般的影像,或只有接收基本層而將影像進行解碼及顯示。
在由使用者選擇了鏈接圖像時,顯示裝置會將基本層視為最優先,來進行解碼。另,若在構成網頁的HTML中,有顯示可調式的內容的資訊時,顯示裝置也可進行解碼迄至加強層為止。又,為了保證實時性,在被選擇之前或者通訊頻帶極窄時,顯示裝置只對參考前方的圖片(I圖片、P圖片、僅只參考前方的B圖片)進行解碼及顯示,以此可減少前頭圖片的解碼時刻與顯示時刻間的延遲(從內容的解碼開始迄至顯示開始之延遲)。又,顯示裝置也可硬是忽視圖片的參考關係,而使全部的B圖片及P圖片為參考前方,先粗略地進行解碼,然後經過一段時間,隨著所接收的圖片的增加,再進行正常的解碼。
[自動行駛]
又,為了汽車的自動行駛或者支援行駛,而發送及接收2維或者3維的地圖資訊等之靜態圖像或者是影像資料時,接收終端機除了屬於1層以上的層級之圖像資料以外,也可接收天氣或者施工的資訊等來作為詮釋資訊,並對該等資訊建立對應關係而進行解碼。另,詮釋資訊也可屬於層,也可只單純地與圖像資料進行多工。
此時,由於含有接收終端機的汽車、空拍機或者飛機等會移動,因此接收終端機會在請求接收時,發送該接收終端機的位置資訊,以此可一邊切換基地台ex106至ex110,一邊實現無縫的接收及解碼。又,接收終端機可因應使用者的選擇、使用者的狀況或者通訊頻帶的狀態,而動態地切換將詮釋資訊接收到哪一程度,或者將地圖資訊更新到何種程度。
如上進行,在內容供給系統ex100中,可讓客戶端實時接收使用者所發送的已編碼的資訊並將其解碼,且進行播放。
[個人內容的分發]
又,在內容供給系統ex100中,不只以透過影像分發業者所進行的高畫質進行長時間的內容,還能以透過個人所進行的低畫質進行短時間的內容的單點傳播(unicast)、或者多點傳播(multicast)進行分發。又,像這樣的個人的內容,認為今後也會增加。為了將個人內容做成更優異的內容,伺服器也可進行編輯處理,之後再進行編碼處理。這是例如可以如下的構成來實現。
在攝影時實時或者先儲存後於攝影後,伺服器從原圖或者編碼完畢資料,進行攝影錯誤、場景搜尋、意義的解析、及物件檢測等之辨識處理。接著,伺服器根據辨識結果,而以手動或者自動地進行補正失焦或手震等、或者是刪除亮度比其他圖片低或未對焦的場景等重要性低的場景、或者是強調物件的邊緣、或者是變化色調等之編輯。伺服器根據編輯結果,而將編輯後的資料進行編碼。又,已知道攝影時間太長時,收視率會下降,伺服器也可根據圖像處理結果,不只是對如上述般重要性低的場景,亦對動作少的場景等自動地進行剪輯,以因應撮影時間而成為特定的時間範圍內的內容。或者,伺服器也可根據場景的意義解析的結果,來產生摘要(digest),且進行編碼。
另,在個人內容中,若保持原狀,也有成為著作權、著作人格權、或者肖像權等侵害的東西被拍進去的事例,也有共享的範圍超過所意圖的範圍等,對個人來說是不宜的情況。因此,例如,伺服器也可刻意地將畫面的周邊部的人臉或者是家裡等,變更成不對焦的圖像,來進行編碼。又,伺服器也可辨識在編碼對象圖像內是否有拍到與事先登錄的人物不同之人物的臉,若有拍到時,對臉的部分進行加上馬賽克等之處理。或者,在編碼的前處理或者後處理上,從著作權等的觀點來看,使用者對圖像指定想要加工的人物或者背景區域,伺服器將所指定的區域替換成別的影像,或者進行模糊焦點等的處理也可。若是人物時,在動態圖像中,可一邊追蹤人物,一邊將臉的部分影像替換。
又,由於資料量小的個人內容的收看在實時性的要求高,因此雖然依頻帶寬度有所差異,但解碼裝置首先是以基本層最優先地接收,並進行解碼及播放。解碼裝置也可在這期間接收加強層,在有循環播放的情況等有播放2次以上的時候,連同加強層在內將高畫質的影像播放。若是已如此地進行有可調的編碼之串流的話,就能提供如下體驗,即,雖然在未選擇時或者剛開始看的階段,是粗糙的動畫,但會漸漸地串流變精緻了,圖像變好。除了可調式編碼以外,以在第1次播放的粗糙的串流、及參考第1次動畫來編碼的第2次的串流,作為1個串流來構成,也可提供同樣的體驗。
[其他使用例]
又,該等編碼或者解碼處理,一般來說是在各終端機所具有的LSIex500中來處理。LSIex500可以是單晶片,也可以是由複數個晶片所構成。另,也可將動態圖像編碼或者解碼用的軟體裝入能以電腦ex111等讀取的某些記錄媒體(CD-ROM、軟碟、或者硬碟等),並使用該軟體來進行編碼或者解碼處理。進而,智慧型手機ex115是附有攝像機時,也可發送以該攝像機取得的動畫資料。此時的動畫資料是已經透過智慧型手機ex115所具有的LSIex500進行編碼處理的資料。
另,LSIex500也可為下載應用軟體程式來啟動之構成。此時,首先,終端機要判定該終端機是否支援內容的編碼方式,或者是否具有特定服務的執行能力。在終端機未支援內容的編碼方式時,或者不具有特定服務的執行能力時,終端機要下載編解碼器或者應用軟體程式,之後進行內容的取得及播放。
又,不限於經由網際網路ex101的內容供給系統ex100,在數位式廣播用系統也可裝入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或者動態圖像解碼裝置(圖像解碼裝置)之任一者。由於是利用衛星等而在廣播用的電波乘載已將影像與聲音進行多工處理的多工資料,來進行傳送接收,所以相對於內容供給系統ex100的易於進行單點傳播的構成,數位式廣播用系統雖有利於多點播送的差異,但有關於編碼處理及解碼處理,仍可做同樣的應用。
[硬體構成]
圖30是顯示智慧型手機ex115的圖。又,圖31是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115包含有:天線ex450,是用以於與基地台ex110之間收發電波;攝像機部ex465,是可拍攝影像及靜態圖像;以及顯示部ex458,是顯示已將以攝像機部ex465所拍攝的影像、及以天線ex450所接收的影像等進行解碼之資料。智慧型手機ex115更包含有:操作部ex466,為觸控面板等;聲音輸出部ex457,為用以輸出聲音或者音響的揚聲器等;聲音輸入部ex456,為用以輸入聲音之麥克風等;記憶部ex467,可保存所拍攝的影像或者靜態圖像、已錄取的聲音、已接收的影像或者靜態圖像、郵件等的已編碼的資料、或者已解碼的資料;及插槽部ex464,為與SIMex468之間的介面部,其中SIMex468為用以特定使用者,並以網路為首,實行對各種資料進行存取的認證。另,也可使用外接式記憶體代替記憶部ex467。
又,將顯示部ex458及操作部ex466等統合性地控制的主控制部ex460,與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、攝像機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、以及記憶部ex467是經由匯流排ex470來連接。
電源電路部ex461是藉由使用者的操作使電源開關成為開啟狀態時,從電池組對各部供應電力,藉此使智慧型手機ex115啟動成可動作的狀態。
智慧型手機ex115是基於具有CPU、ROM及RAM等之主控制部ex460的控制,進行通話及資料通訊等的處理。在通話時是將以聲音輸入部ex456所收音的聲音訊號在聲音訊號處理部ex454轉換成數位式聲音訊號,將該訊號在調變/解調部ex452進行頻譜擴散處理,在發送/接收部ex451實施數位類比轉換處理以及頻率轉換處理,之後再經由天線ex450進行發送。又,將接收資料放大,並實施頻率轉換處理以及類比數位轉換處理,在調變/解調部ex452進行頻譜反擴散處理,在聲音訊號處理部ex454轉換成類比聲音訊號,之後再將該訊號從聲音輸出部ex457進行輸出。在資料通訊模式時,透過本體部的操作部ex466等的操作,將正文、靜態圖像、或者影像資料經由操作輸入控制部ex462而送出至主控制部ex460,並同樣地被進行收發處理。在資料通訊模式時,於發送影像、靜態圖像、或者影像及聲音的情況,影像訊號處理部ex455是將記憶部ex467所保存的影像訊號、或者從攝像機部ex465所輸入的影像訊號透過上述各實施形態所示的動態圖像編碼方法進行壓縮編碼,且將業經編碼的影像資料送出至多工/分離部ex453。又,聲音訊號處理部ex454是將在以攝像機部ex465將影像或者靜態圖像等攝影中於聲音輸入部ex456所收音的聲音訊號進行編碼,且將業經編碼的聲音資料送出至多工/分離部ex453。多工/分離部ex453是將業經編碼完畢的影像資料及業經編碼完畢的聲音資料以預定的方式進行多工,且於調變/解調部(調變/解調電路部)ex452、及發送/接收部ex451實施調變處理及轉換處理,並經由天線ex450來發送。
在接收到電子郵件或者對話(chat)所附的影像、或者連結到網頁等的影像時,為了將經由天線ex450所接收到的多工資料進行解碼,多工/分離部ex453將多工資料進行分離,藉此把多工資料分成影像資料的位元串流及聲音資料的位元串流,經由同步匯流排ex470,而將業經編碼的影像資料供給至影像訊號處理部ex455,並將業經編碼的聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455透過對應於上述各實施形態所示的動態圖像編碼方法之動態圖像解碼方法,而將影像訊號進行解碼,且透過顯示器控制部ex459,而從顯示部ex458,顯示被連結的動態圖像檔所含之影像或者靜態圖像。又,聲音訊號處理部ex454是將聲音訊號進行解碼,且從聲音輸出部ex457輸出聲音。另,由於實時串流傳輸(real-time streaming)已經普及了,依使用者的狀況,聲音的播放也可能會有對社會上不合適的場面發生。為此,作為初始值,聲音訊號不要播放,而只將影像資料播放的構成是較被希望的。也可以是只有在使用者進行了操作,如點選影像資料等的時候,將聲音同步地播放。
又,在此,是以智慧型手機ex115為例進行了說明,以終端機而言也可考慮如下3種安裝形式,除了具有編碼器及解碼器兩者的訊號收發型終端機之外,只具有編碼器的發訊終端機、及只具有解碼器的收訊終端機。進而,在數位廣播用系統中,是以接收或者發送在影像資料上已有聲音資料等進行多工處理之多工資料的情形來說明,但多工資料上除了聲音資料以外,也可有與影像有關聯的文字資料等進行多工處理,也可接收或者發送影像資料本身,而不是多工資料。
另,以含有CPU的主控制部ex460控制編碼處理或者解碼處理的情形來說明,但終端機具備GPU的情況也居多。因此,如後述構成也可,即,透過在CPU與GPU共通化的記憶體、或者有將位址加以管理以形成可以共通使用之狀態的記憶體,來靈活運用GPU的性能,並將廣大區域匯整來一起處理者。藉此,可縮短編碼時間,確保實時性,可實現低延遲。尤其,不是利用CPU,而是透過GPU,以圖片等的單位匯整來一起進行移動估測、解區塊濾波器、SAO(Sample Adaptive Offset)、及轉換、量化的處理時,是有效率的。
(產業利用性)
本揭示是可利用在諸如電視接收機、數位視頻錄影機、車用導航、行動電話機、數位照相機、或數位視頻攝影機等。
100、312:編碼裝置
102:分割部
104:減法部
106:轉換部
108:量化部
110:熵編碼部
112、204:反量化部
114、206:反轉換部
116、208:加法部
118、210:區塊記憶體
120、212:迴路濾波部
122、214:訊框記憶體
124、216:內預測部
126、218:間預測部
128、220:預測控制部
200、322:解碼裝置
202:熵解碼部
300:編碼解碼系統
310:編碼系統
311、321:通訊裝置
313:輸出緩衝器
320:解碼系統
323:輸入緩衝器
1261、2181:候選導出部
1262、2182:範圍決定部
1263、2183:移動估測部
1264、2184:移動補償部
ex100:內容供給系統
ex101:網際網路
ex102:網際網路服務提供者
ex103:串流伺服器
ex104:通訊網
ex106至ex110:基地台
ex111:電腦
ex112:遊戲機
ex113:攝像機
ex114:家電
ex115:智慧型手機
ex116:衛星
ex117:飛機
ex450:天線
ex451:發送/接收部
ex452:調變/解調部
ex453:多工/分離部
ex454:聲音訊號處理部
ex455:影像訊號處理部
ex456:聲音輸入部
ex457:聲音輸出部
ex458:顯示部
ex459:顯示器控制部
ex460:主控制部
ex461:電源電路部
ex462:操作輸入控制部
ex463:攝像機介面部
ex464:插槽部
ex465:攝像機部
ex466:操作部
ex467:記憶部
ex468:SIM
ex470:匯流排
圖1是顯示實施形態1之編碼裝置之功能構成的方塊圖。
圖2是顯示實施形態1之區塊分割之一例之圖。
圖3是顯示對應於各轉換型式之轉換基底函數之表格。
圖4A是顯示ALF所使用之濾波器之形狀一例之圖。
圖4B是顯示ALF所使用之濾波器的形狀另一例之圖。
圖4C是顯示ALF所使用之濾波器的形狀另一例之圖。
圖5A是顯示內預測中之67個內預測模式之圖。
圖5B是用以說明藉OBMC處理之預測圖像補正處理之概要的流程圖。
圖5C是用以說明藉OBMC處理之預測圖像補正處理之概要的概念圖。
圖5D是顯示FRUC一例之圖。
圖6是用以說明在沿著移動軌跡的2個區塊之間的圖案匹配(雙向匹配)之圖。
圖7是用以說明當前圖片內的模板與參考圖片內的區塊之間的圖案匹配(模板匹配)之圖。
圖8是用以說明假設等速直線運動之模型的圖。
圖9A是用以說明子區塊單位的移動向量之導出之圖,該子區塊單位的移動向量是基於複數個鄰接區塊的移動向量。
圖9B是用以說明合併模式之移動向量導出處理之概要之圖。
圖9C是用以說明DMVR處理之概要之概念圖。
圖9D是用以說明預測圖像產生方法之概要之圖,該預測圖像產生方法是使用了LIC處理的亮度補正處理。
圖10是顯示實施形態1之解碼裝置的功能構成的方塊圖。
圖11是顯示實施形態1之編碼裝置之間預測部之內部構成的方塊圖。
圖12是顯示實施形態1之位元流內的移動估測範圍資訊的位置之例的圖。
圖13是顯示實施形態1之編碼/解碼裝置的間預測部的處理的流程圖。
圖14是實施形態1中的候選清單之一例之圖。
圖15是實施形態1中的參考圖片清單之一例之圖。
圖16是顯示實施形態1中的移動估測範圍之一例之圖。
圖17是顯示實施形態1中之周邊區域之一例之圖。
圖18是實施形態1之解碼裝置的間預測部的內部構成之方塊圖。
圖19是顯示實施形態1之變形例2中的移動估測範圍之一例之圖。
圖20是顯示實施形態1之變形例4中的移動估測範圍之一例之圖。
圖21是顯示實施形態1之變形例5中的移動估測範圍之一例之圖。
圖22是顯示實施形態1之變形例6中的移動估測範圍之一例之圖。
圖23是顯示實施形態1之變形例7的編碼解碼系統的功能構成之方塊圖。
圖24是顯示實施形態1之變形例9中的移動估測範圍之圖。
圖25是實現內容分發服務之內容供給系統的整體構成圖。
圖26是顯示可調式編碼時之編碼構造一例之圖。
圖27是顯示可調式編碼時之編碼構造一例之圖。
圖28是顯示網頁的顯示畫面例之圖。
圖29是顯示網頁的顯示畫面例之圖。
圖30是顯示智慧型手機一例之圖。
圖31是顯示智慧型手機的構成例之方塊圖
S101至S113、S203:步驟
Claims (3)
- 一種編碼裝置,使用一移動向量對一當前區塊進行編碼,前述編碼裝置包括:一處理器;及記憶體,其中,前述處理器使用前述記憶體,導出一代表移動向量,前述代表移動向量顯示一代表位置,決定用於前述當前區塊之一第1參考圖片中之一第1移動估測區域,前述第1移動估測區域包含藉由前述代表移動向量顯示的前述代表位置,計算包含於前述第1移動估測區域之複數個候選區域的第1評價值,每個前述第1評價值是下述之差分:(i)前述複數個候選區域中的對應候選區域與(ii)一第2參考圖片中的一區域,決定包含於前述第1移動估測區域的一第1周邊區域,前述第1周邊區域包含一第1候選區域及前述第1候選區域的附近,前述第1候選區域是前述複數個候選區域之一,且是前述第1移動估測區域所包含的前述複數個候選區域當中,具有一最小的第1評價值之候選區域,使用前述第1周邊區域所包含之複數個區域中的一最小的第2評價值來決定前述當前區塊的前述移動向量。
- 一種解碼裝置,使用一移動向量對一當前區塊進行解碼,前述解碼裝置包括: 一處理器;及記憶體,其中,前述處理器使用前述記憶體,導出一代表移動向量,前述代表移動向量顯示來自一位元流的一代表位置,決定用於前述當前區塊之一第1參考圖片中之一第1移動估測區域,前述第1移動估測區域包含藉由前述代表移動向量顯示的前述代表位置,計算包含於前述第1移動估測區域之複數個候選區域的第1評價值,每個前述第1評價值是下述之差分:(i)前述複數個候選區域中的對應候選區域與(ii)一第2參考圖片中的一區域,決定包含於前述第1移動估測區域的一第1周邊區域,前述第1周邊區域包含一第1候選區域及前述第1候選區域的附近,前述第1候選區域是前述複數個候選區域之一,且是前述第1移動估測區域所包含的前述複數個候選區域當中,具有一最小的第1評價值之候選區域,使用前述第1周邊區域所包含之複數個區域中的一最小的第2評價值來決定前述當前區塊的前述移動向量。
- 一種用於電腦的非暫時性電腦可讀取媒體,前述非暫時性電腦可讀取媒體儲存有一程式,前述程式用於使前述電腦執行用以使用一移動向量來對一當前區塊進行解碼的解碼處理,前述解碼處理包含:導出一代表移動向量,前述代表移動向量顯示來自一 位元流的一代表位置,決定用於前述當前區塊之一第1參考圖片中之一第1移動估測區域,前述第1移動估測區域包含藉由前述代表移動向量顯示的前述代表位置,計算包含於前述第1移動估測區域之複數個候選區域的第1評價值,每個前述第1評價值是下述之差分:(i)前述複數個候選區域中的對應候選區域與(ii)一第2參考圖片中的一區域,決定包含於前述第1移動估測區域的一第1周邊區域,前述第1周邊區域包含一第1候選區域及前述第1候選區域的附近,前述第1候選區域是前述複數個候選區域之一,且是前述第1移動估測區域所包含的前述複數個候選區域當中,具有一最小的第1評價值之候選區域,使用前述第1周邊區域所包含之複數個區域中的一最小的第2評價值來決定前述當前區塊的前述移動向量。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762485072P | 2017-04-13 | 2017-04-13 | |
US62/485,072 | 2017-04-13 | ||
JP2017-090685 | 2017-04-28 | ||
JP2017090685 | 2017-04-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202308382A TW202308382A (zh) | 2023-02-16 |
TWI838914B true TWI838914B (zh) | 2024-04-11 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160286229A1 (en) | 2015-03-27 | 2016-09-29 | Qualcomm Incorporated | Motion vector derivation in video coding |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160286229A1 (en) | 2015-03-27 | 2016-09-29 | Qualcomm Incorporated | Motion vector derivation in video coding |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI820019B (zh) | 圖像解碼裝置及解碼方法 | |
KR102577599B1 (ko) | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 | |
WO2019208677A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
KR102620087B1 (ko) | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 | |
TWI774795B (zh) | 編碼裝置、解碼裝置、編碼方法及解碼方法 | |
TWI761551B (zh) | 編碼裝置、編碼方法、解碼裝置及解碼方法 | |
TWI812414B (zh) | 編碼裝置、解碼裝置及記錄媒體 | |
JP7026747B2 (ja) | 復号装置及び復号方法 | |
JP2023071815A (ja) | 符号化装置及び復号装置 | |
TW201909631A (zh) | 編碼裝置、解碼裝置、編碼方法及解碼方法 | |
TWI827605B (zh) | 解碼裝置及解碼方法 | |
TWI838914B (zh) | 編碼裝置、解碼裝置及非暫時性電腦可讀取媒體 | |
TWI841500B (zh) | 圖像編碼裝置、圖像編碼方法及非暫時性記憶媒體 | |
TWI838995B (zh) | 圖像解碼裝置及解碼方法 | |
TWI838351B (zh) | 圖像解碼裝置及解碼方法 | |
TWI827394B (zh) | 非暫時性記憶媒體 | |
WO2019146718A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
TW202415065A (zh) | 編碼裝置及解碼裝置 | |
TW202418802A (zh) | 編碼裝置、解碼裝置及非暫時性記憶媒體 | |
TW202420825A (zh) | 編碼裝置、解碼裝置、編碼方法、解碼方法及非暫時性記憶媒體 | |
TW202420826A (zh) | 編碼方法、解碼方法、及處理包含模式資訊與移動資訊的位元串流的方法 | |
TW202415073A (zh) | 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體 | |
TW202418804A (zh) | 編碼裝置及解碼裝置 | |
TW202415063A (zh) | 非暫時性電腦可讀取媒體 |