TWI718084B - 畫像編碼裝置、動畫像解碼裝置及動畫像編碼資料 - Google Patents
畫像編碼裝置、動畫像解碼裝置及動畫像編碼資料 Download PDFInfo
- Publication number
- TWI718084B TWI718084B TW109129541A TW109129541A TWI718084B TW I718084 B TWI718084 B TW I718084B TW 109129541 A TW109129541 A TW 109129541A TW 109129541 A TW109129541 A TW 109129541A TW I718084 B TWI718084 B TW I718084B
- Authority
- TW
- Taiwan
- Prior art keywords
- prediction
- interval
- intra
- aforementioned
- coding
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 60
- 238000013139 quantization Methods 0.000 claims description 47
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 16
- 230000009466 transformation Effects 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明提供一種有關動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法,動畫像編碼裝置的內部預測部4於編碼控制部1所選擇之編碼模式為內部預測模式時,係實施使用與區塊分割部2所分割之區間Pi n鄰接之畫素,或與該區間Pi n之上位階層的區間Pi n-1鄰接之畫素之框內預測處理藉以產生預測畫像(Pi n)。
Description
本發明係關於一種以高效率進行動畫像編碼之動畫像編碼裝置及動畫像編碼方法、與以高效率對編碼過之動畫像解碼之動畫像解碼裝置及動畫像解碼方法。
例如,就屬於國際標準方式之AVC/H.264(ISO/IEC 14496-10|ITU-T H.264)之編碼方式中之亮度的內部(intra)預測模式(mode)而言,係可自複數個預測模式中以區塊(block)為單位選擇一個預測模式(例如參照非專利文獻1)。
第14圖係顯示亮度之區塊大小(block size)為4×4畫素之情形的內部預測模式的說明圖。
於亮度之區塊大小為4×4畫素之情形,係規定有九個內部預測模式(模式0,模式1,…,模式8)。
第14圖中,白圓圈係編碼對象區塊內之畫素。黑圓圈係用於預測之畫素,且為已編碼過之鄰接區塊內之畫素。
模式2為平均值預測,係藉由上與左區塊的鄰接畫素
之平均值預測編碼對象區塊內的畫素之模式。模式2以外之模式為方向性預測。
尤其,模式0係垂直方向預測,且以將上區塊之鄰接畫素朝垂直方向重複來產生預測畫像。例如,於縱條紋狀時係選擇模式0。
模式1係水平方向預測,且以左區塊之鄰接畫素朝水平方向重複來產生預測畫像。
再者,模式3至模式8係運用上或左區塊之鄰接畫素朝預定之方向(圖中箭號所示方向)產生內插畫素從而產生預測畫像。
應用內部預測之亮度之區塊大小係可自4×4畫素、8×8畫素、16×16畫素中選擇,且於區塊大小為8×8畫素之情形係與4×4畫素之情形相同,規定有九個內部預測模式。
相對於此,於區塊大小為16×16畫素之情形,係除平均值預測、垂直方向預測及水平方向預測外另規定有稱為平面預測之四個內部預測模式。
平面預測係為將上區塊之鄰接畫素與左區塊之鄰接畫素朝斜方向內插而產生之畫素作為預測值之模式。
區塊大小為4×4畫素或8×8畫素之情形的方向性預測模式係因依據模式而以預定之方向(例如45度)產生預測值,故若區塊內之物件(object)的邊界(edge)之方向與預測模式所示方向為一致,則預測效率提升而可刪減編碼量,惟邊界之方向與預測模式所示方向不一致之情形,預測效率係下降。
對此,若增加可選擇之方向性預測之模式數量則可提高邊界方向與預測模式所示方向一致之機率,因此可推想預測效率提升。
(先前技術文獻)
(非專利文獻)
非專利文獻1:MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
以往之動畫像編碼裝置係構成為如以上所述,因此若增加可選擇的方向性預測之模式數量,則可提高邊界方向與預測模式所示方向一致之機率,且可提高預測效率。然而,即便增加可選擇之方向性預測之模式數量,亦因類似之預測畫像之選項增加,而有伴隨可選擇之方向性預測之模式數量增加而來之與演算量增加相符程度之編碼效率未見改善,且對於編碼效率改善之貢獻為有限的之課題。
本發明為用以解決前述之問題所開發者,目的係為獲致以較少之演算量與編碼量可提高因方向性預測之模式數量增加而來之編碼效率之改善程度之動畫像編碼裝置以及動畫像編碼方法。
再者,此發明之目的係為獲致可自編碼效率已圖改善之編碼資料(data)正確的解碼為動畫像之動畫像解碼裝置與動畫像解碼方法。
此發明之動畫像編碼裝置,係預測畫像產生手段於編碼控制手段所選擇之編碼模式為內部預測模式之情形,實施使用鄰接於由區塊分割手段分割之編碼區塊之畫素,或鄰接於該編碼區塊之上位階層之編碼區塊之畫素之框(frame)內預測處理而藉此產生預測畫像者。
再者,於由編碼控制手段所選擇之編碼模式為內部預測模式之情形,可變長編碼手段係為對顯示鄰接於由區塊分割手段所分割之編碼區塊之編碼區塊的內部預測方向與該處理對象編碼區塊的內部預測方向是否一致之旗標(flag)進行編碼,並於方向顯示為一致之情形亦進一步對顯示鄰接之任意的編碼區塊與內部預測方向是否一致之資訊進行編碼者。
依據本發明,預測畫像產生手段係以於編碼控制手段所選擇之編碼模式為內部預測模式之情形,實施使用鄰接於區塊分割手段所分割之編碼區塊之畫素,或鄰接於該編碼區塊之上位階層之編碼區塊之畫素之框內預測處理,而藉此產生預測畫像之方式所構成,因此具有藉較少之演算量與編碼量可提升由方向性預測之模式數量增加而來之編碼效率的改善程度。
1:編碼控制部(編碼控制手段)
2:區塊分割部(區塊分割手段)
3:切換開關(預測畫像產生手段)
4:內部預測部(預測畫像產生手段)
5:動作補償預測部(預測畫像產生手段)
6:減算部(差分畫像產生手段)
7:變換/量化部(畫像壓縮手段)
8:逆量化/逆變換部
9:加算部
10:內部預測用記憶體
11:迴路濾波器部
12:動作補償預測框記憶體
13:可變長度編碼部(可變長度編碼手段)
21:可變長度解碼部(可變長度解碼手段)
22:切換開關(預測畫像產生手段)
23:內部預測部(預測畫像產生手段)
24:動作補償部(預測畫像產生手段)
25:逆量化/逆變換部(差分畫像產生手段)
26:加算部(解碼畫像產生手段)
27:內部預測用記憶體
28:迴路濾波器
29:動作補償預測框記憶體
ST1至ST13、ST21至ST31:步驟
第1圖係為顯示本發明實施形態1之動畫像編碼裝置之構成圖。
第2圖係為顯示本發明實施形態1之動畫像編碼裝置
之處理內容之流程圖。
第3圖係為顯示最大大小之編碼區塊階層性地被分割為複數個編碼區塊之態樣之說明圖。
第4圖(a)係為顯示分割後的區間(partition)之分布,(b)係為以四分樹狀圖顯示將編碼模式m(Bn)分配至階層分割後的區間之狀況之說明圖。
第5圖係為顯示分屬於編碼區塊Bn之各區間Pi n所可選擇之內部預測參數(parameter)(內部預測模式)之一例之說明圖。
第6圖係為顯示li n=mi n=4之情形中於產生區間Pi n內畫素之預測值時所用之畫素之一例之說明圖。
第7圖係為顯示區間Pi n與上位區間Pi n-1之關係之說明圖。
第8圖係為顯示分屬於編碼區塊Bn之區間Pi n之說明圖。
第9圖係為顯示分屬於編碼區塊Bn之各區間Pi n所可選擇之內部預測參數(內部預測模式)之一例之說明圖。
第10圖係為顯示本發明實施形態1之動畫像解碼裝置之構成圖。
第11圖係為顯示本發明實施形態1之動畫像解碼裝置之處理內容之流程圖。
第12圖(A)至(D)係為顯示區間的編碼資料之說明圖。
第13圖(A)及(B)係為顯示鄰接區間之說明圖。
第14圖係為顯示亮度的區塊大小為4×4畫素之情形之
內部預測模式之說明圖。
以下為更加詳細說明本發明,係依據附加之圖式說明有關用以實施本發明之形態。
(實施形態1)
第1圖係顯示本發明實施形態1之動畫像編碼裝置之構成圖。
於第1圖中,編碼控制部1於內部預測處理(框內預測處理)或動作補償預測處理(框間預測處理)實施時決定成為處理單位之編碼區塊的最大大小,並實施於最大大小之編碼區塊階層性地被分割時之決定上限階層數之處理。
再者,編碼控制部1係實施自可利用之一個以上的編碼模式(一個以上的內部編碼模式,一個以上的幀間編碼模式)中選擇適於階層性地被分割之各個編碼區塊之編碼模式之處理。
再者,編碼控制部1係對各個編碼區塊逐一實施決定於壓縮差分畫像時所用之量化參數以及變換區塊大小,並決定於預測處理實施時所用之內部預測參數亦或幀間預測參數。量化參數以及變換區塊大小係包含於預測差分編碼參數並輸出至變換/量化部7、逆量化/逆變換部8以及可變長度編碼部13等。
並且,編碼控制部1係構成編碼控制手段。
於區塊分割部2輸入顯示輸入畫像(目前畫像(current picture))之影像訊號時,係分割該輸入畫像為由編碼控制
部1所決定之最大大小之編碼區塊,並至達到由編碼控制部1所決定之上限階層數為止,實施階層性地分割該編碼區塊之處理。並且,區塊分割部2係構成區塊分割手段。
切換開關(switch)3係實施於由編碼控制部1所選擇之編碼模式若為內部編碼模式時,將由區塊分割部2所分割之編碼區塊輸出至內部預測部4,而由編碼控制部1所選擇編碼模式若為幀間編碼模式時,將由區塊分割部2所分割之編碼區塊輸出至動作補償預測部5之處理。
內部預測部4接收來自切換開關3之由區塊分割部2所分割之編碼區塊時,係對該編碼區塊使用由內部預測記憶體(memory)10所儲存之鄰接於編碼化區塊之已編碼過之畫像,或鄰接於該編碼區塊之上位階層的編碼區塊之已編碼過之畫像,來實施依據由編碼控制部1所輸出之內部預測參數的框內預測處理藉以實施產生預測畫像之處理。
動作補償預測部5係作為對應於由區塊分割部2所分割的編碼區塊之編碼模式,於幀間編碼模式為編碼控制部1所選擇之情形,係使用由動作補償預測框記憶體12所儲存之一個框以上之參照畫像,且根據從編碼控制部1所輸出之幀間預測參數,對於該編碼區塊實施動作補償預測處理藉以實施產生預測畫像之處理。
並且,係由切換開關3、內側預測部4以及動作補償預測部5來構成預測畫像產生手段。
減算部6係從由區塊分割部2所分割之編碼區塊減算由內部預測部4或動作補償預測部5所產生之預測畫像,
來實施產生差分畫像(=編碼區塊-預測畫像)之處理。並且,減算部6係構成差分畫像產生手段。
變換/量化部7係以自編碼控制部1輸出之預測差分編碼參數所包含之變換區塊大小為單位,實施由減算部6產生的差分畫像之變換處理(例如DCT(Discrete Cosine Transform離散餘弦變換)、對於預先特別指定的學習系列實行基底設計之KL變換等之直交變換處理),並使用包含於該預測差分編碼參數之量化參數對該差分畫像之變換係數進行量化,藉以實施將量化後的變換係數作為差分畫像之壓縮資料並輸出之處理。並且,變換/量化部7係構成畫像壓縮手段。
逆量化/逆變換部8係使用自編碼控制部1輸出之包含於預測差分編碼參數之量化參數,對自變換/量化部7輸出之壓縮資料進行逆量化,且以包含於該預測差分編碼參數之變換區塊大小為單位,來實施逆量化的壓縮資料之逆變換處理(例如,逆DCT(逆離散餘弦變換),與逆KL變換等之逆變換處理),藉以實施將逆變換處理後之壓縮資料作為局部解碼預測差分訊號並輸出之處理。
加算部9係將自逆量化/逆變換部8輸出之局部解碼預測差分訊號與由內部預測部4或動作補償預測部5所產生之顯示預測畫像之預測訊號加算,藉以實施產生顯示局部解碼畫像之局部解碼畫像訊號之處理。
內部預測用記憶體10係為用以儲存顯示由加算部9所產生的局部解碼畫像訊號之局部解碼畫像之RAM(隨機
存取記憶體,Random Access Memory)等記錄媒體,而該畫像將作為由內部預測部4在下次內部預測處理所用之畫像。
迴路濾波器(loop filter)部11係補償包含於由加算部9產生的局部解碼畫像訊號之編碼誤差,且實施將編碼誤差補償後的局部解碼畫像訊號顯示之局部解碼畫像作為參照畫像而輸出至動作補償預測框記憶體12之處理。
動作補償預測框記憶體12係為儲存由迴路濾波器部11進行濾波處理後的局部解碼畫像之RAM等記錄媒體,而該畫像將作為由動作補償預測部5在下次動作補償預測處理所用之參照畫像。
可變長度編碼部13係將自變換/量化部7輸出之壓縮資料、自編碼控制部1輸出之編碼模式與預測差分編碼參數、以及自內部預測部4輸出之內部預測參數或自動作補償預測部5輸出之幀間預測參數進行可變長度編碼,且實施產生多重化該壓縮資料、編碼模式、預測差分編碼參數、以及內部預測參數/幀間預測參數之編碼資料之位元串流(bit stream)之處理。並且,可變長度編碼部13係構成可變長度編碼手段。
於第1圖,屬於動畫像編碼裝置構成要素之編碼控制部1、區塊分割部2、切換開關3、內部預測部4、動作補償預測部5、減算部6、變換/量化部7、逆量化/逆變換部8、加算部9、迴路濾波器部11以及可變長度編碼部13係假定為各自以專用之硬體(例如,實裝中央處理單元CPU
(Central Processing Unit)之半導體積體電路,或單晶片微電腦(one chip microcomputer)等)構成者,惟以電腦(computer)等構成動畫像編碼裝置之情形,亦可將記載有編碼控制部1、區塊分割部2、切換開關3、內部預側部4、動作補償預測部5、減算部6、變換/量化部7、逆量化/逆變換部8、加算部9、迴路濾波器部11以及可變長度編碼部13之處理內容之程式的全部亦或一部份儲存於該電腦之記憶體,且使該電腦之CPU執行該記憶體所儲存之程式。
第2圖係顯示本發明實施形態1之動畫像編碼裝置之處理內容之流程圖(flow chart)。
第10圖係顯示本發明實施形態1之動畫像解碼裝置之構成圖。
於第10圖中,可變長度解碼部21藉由確定實施內部預測處理或動作補償預測處理時成為處理單位之編碼區塊最大大小以及從最大大小之編碼區塊階層分割而來之編碼區塊階層數,而自多重化為位元串流之編碼資料之中確定與最大大小編碼區塊以及被階層性地分割之編碼區塊有關之編碼資料,且自各編碼資料中將與編碼區塊有關之壓縮資料、編碼模式、預測差分編碼參數以及內部預測參數/幀間預測參數予以可變長度解碼,將該壓縮資料以及預測差分編碼參數輸出至逆量化/逆變換部25,並實施輸出該編碼模式以及內部預測參數/幀間預測參數至切換開關22之處理。並且,可變長度解碼部21係構成可變長度解碼手段。
切換開關22係於與自可變長度解碼部所輸出之編碼區塊有關之編碼模式為內部編碼模式之情形,實施將從可變長度解碼部21所輸出之內部預測參數輸出至內部預測部23;而於該編碼模式為幀間編碼模式之情形,將從可變長度編碼部所輸出之幀間預測參數輸出至動作補償部24之處理。
內部預測部23係使用由內部預測用記憶體27儲存之鄰接於編碼區塊之已解碼畫素或鄰接於該編碼區塊之上位階層編碼區塊之已解碼畫素,且依據自切換開關22所輸出之內部預測參數而實施藉由實施對於編碼區塊之框內預測處理來產生預測畫像之處理。
動作補償部24係使用由動作補償預測框記憶體29儲存之一框以上之參照畫像,且依據自切換開關22所輸出之幀間預測參數,而實施藉由實施對於編碼區塊之動作補償預測處理來產生預測畫像之處理。
並且,係由切換開關22、內部預測部23以及動作補償部24構成預測畫像產生手段。
逆量化/逆變換部25係使用自可變長度解碼部21所輸出之包含於預測差分編碼參數之量化參數,將自可變長度解碼部21所輸出之與編碼區塊有關之壓縮資料逆量化,且藉由以包含於該預測差分編碼參數之變換區塊大小為單位實施逆量化的壓縮資料之逆變換處理(例如,逆DCT(逆離散餘弦變換),以及逆KL變換等逆變換處理),從而實施使逆變換處理後之壓縮資料作為解碼預測差分訊號(顯示壓
縮前差分畫像之訊號)輸出之處理。並且,逆量化/逆變換部25係構成差分畫像產生手段。
加算部26係藉由自加算逆量化/逆變換部25所輸出之解碼預測差分訊號與由內部預測部23或動作補償部24產生之顯示預測畫像之預測訊號,從而實施產生顯示解碼畫像之解碼畫像訊號之處理。並且,加算部26係構成解碼畫像產生手段。
內部預測用記憶體27係儲存顯示由加算部26產生之解碼畫像訊號之解碼畫像之RAM等記錄媒體,而該畫像將作為由內部預測部23在下次內部預測處理所用畫像。
迴路濾波器部28係補償加算部26所產生之包含於解碼畫像訊號之編碼誤差,且將顯示編碼誤差補償後之解碼畫像訊號的解碼畫像作為參照畫像輸出至動作補償預測框記憶體29,且實施將該解碼畫像作為播放畫像輸出至外部之處理。
動作補償預測框記憶體29係儲存由迴路濾波器部28進行濾波處理後之解碼畫像之RAM等記錄媒體,而該畫像將作為由動作補償部24在下次動作補償預測處理所用之參照畫像。
於第10圖中,雖將屬於動畫像解碼裝置之構成要素之可變長度解碼部21、切換開關22、內部預測部23、動作補償部24、逆量化/逆變換部25、加算部26以及迴路濾波器部28設想為各自以專用之硬體(hard ware)(例如,實裝CPU之半導體積體電路,或是,單晶片微電腦等)構成,惟
於藉由電腦等構成動畫像編碼裝置之情形,亦可將記述有可變長度解碼部21、切換開關22、內部預測部23、動作補償部24、逆量化/逆變換部25、加算部26以及迴路濾波器部28之處理內容之程式全部或一部分儲存於該電腦之記憶體,且由該電腦的CPU執行儲存於該記憶體之程式。
第11圖係顯示本發明實施形態1之動畫像解碼裝置之處理內容之流程圖。
此實施形態1之動畫像編碼裝置之特徵在於,係適應影像訊號之空間/時間方向之局部性變化,且分割影像訊號為多種大小之區域並進行框內/框間適應編碼。
一般而言影像訊號的空間性/時間性之訊號的複雜度係有局部性的變化之特性,且就空間性來看,於某特定影像框上,既有例如天空與牆壁等於較寬廣之畫像區域中具有相等訊號特性之構圖,亦有於包含人物以及細微紋理(texture)之繪畫等於小畫像區域內具有複雜紋理圖案(pattern)之構圖混和存在之情形。
就時間性來看,雖天空與牆壁之局部性的時間方向之構圖變化較小,惟移動之人與物體因其輪廓係進行時間性的剛體/非剛體之運動,故時間性的變化較大。
編碼處理係藉由時間性/空間性預測產生訊號電力及熵值(entropy)較小之預測差分差訊號,且進行削減全體編碼量之處理,惟若可儘可能將用於預測處理之預測參數對於較大之畫像訊號區域均等地套用,則可縮小預測參數之編碼量。
另一方面,對於時間性的/空間性變化較大之畫像訊號圖案若套用相同之預測參數於較大之畫像區域,因預測錯誤增加,而無法削減預測差分訊號之編碼量。
因此,於時間性/空間性變化較大之區域,即便減小預測對象區域而增加用於預測處理之預測參數資料量,亦以減低預測差分訊號之電力/熵值者為佳。
因進行如此之適應於影像訊號的一般性性質之編碼處理,於本實施形態1之動畫像編碼裝置係採用可依預定之最大區塊大小階層性地分割影像訊號區域,對各分割區域將預測處理與預測差分之編碼處理適應化之構成。
作為本實施形態1之動畫像編碼裝置的處理對象之影像訊號係除由亮度訊號與二個色差訊號構成之YUV訊號、以及自數位(digital)攝影元件輸出之RGB訊號等之任意色空間之彩色(color)影像訊號外,還有單色(monochrome)畫像訊號及紅外線畫像訊號等影像框為由水平、垂直二次元之數位樣本(sample)(畫素)列構成之任意影像訊號。
各畫素之階調可為8位元(bit),亦可為10位元、12位元等的階調。
然而,於以下之說明若無特別聲明,係以YUV訊號作為輸入影像訊號。再者,二個色差成分U、V對於亮度成分Y係使之為子樣本(subsample)之4:2:0格式(format)之訊號者。
再者,係稱對應影像之各框之處理資料單位為「圖像(picture)」,且於此實施形態1係使「圖像」作為被逐行掃
描(progressive scan)之影像框訊號進行說明。然而,影像訊號為交錯(interlace)訊號之情形,「圖像」係可為屬於構成影像框之單位之圖場(field)畫像訊號。
接著說明有關動作。
開始係說明第1圖之動畫像編碼裝置之處理內容。
首先,編碼控制部1係決定實施內部預測處理(框內預測處理)或動作補償預測處理(框間預測處理)時成為處理單位之編碼區塊最大大小,並決定階層性地分割最大大小的編碼區塊時之上限階層數(第2圖之步驟(step)ST1)。
作為編碼對象區塊最大大小之決定方式,係可想到有例如對於所有圖像決定為對應於輸入畫像解析度之大小之方法。
再者,可想到有將輸入畫像之局部性的動作複雜度之不同作為參數而先定量化,再於動作較激烈之圖像將最大大小決定為較小之值,而於動作較少之圖像將最大大小決定為較大之值等方法。
關於上限階層數可想到有,例如,輸入畫像之動作愈激烈,係使階層數愈深,設定為使之可偵測出更加細微之動作,若輸入畫像之動作較少則以抑制階層數之方式設定之方法。
再者,編碼控制部1係自可利用之一個以上之編碼模式(M種類之內部編碼模式,N種類之幀間編碼模式)中,選擇對應依階層性地分割之各個編碼區塊之編碼模式(步驟ST2)。關於預先準備之M種類之內部編碼模式係於後
述。
然而,於將由後述區塊分割部2階層性地分割之各個編碼區塊更進一步以區間為單位分割之情形,係可選擇對應各個區間之編碼模式。
以下,於此實施形態1中,係以各個編碼區塊更進一步以區間為單位分割來說明。
由編碼控制部1所為之編碼模式的選擇方法係為習知技術因此省略詳細說明,惟係有例如使用可利用之任意編碼模式且實施對於編碼區塊之編碼處理並驗證編碼效率,且於可利用之複數個編碼模式中選擇編碼效率最佳之編碼模式之方法。
再者,編碼控制部1係對包含於各個編碼區塊之各區間決定於壓縮差分畫像時所用之量化參數以及變換區塊大小,並決定於實施預測處理時所用之內部預測參數或幀間預測參數。
編碼控制部1係將包含量化參數以及變換區塊大小之預測差分編碼參數輸出至變換/量化部7、逆量化/逆變換部8以及可變長度編碼部13。再者,因應需要將預測差分編碼參數輸出至內部預測部4。
於輸入顯示輸入畫像之影像訊號時,區塊分割部2係將該輸入畫像分割為由編碼控制部1所決定之最大大小之編碼區塊,並至由編碼控制部1所決定之上限階層數為止階層性地分割該編碼區塊。再者,將該編碼區塊分割為區間單位(步驟ST3)。
於此,第3圖係為顯示將最大大小的編碼區塊階層性地分割為複數個編碼區塊之態樣之說明圖。
於第3圖之例子,最大大小之編碼區塊係為第0階層之編碼區塊B0,且具有大小為(L0,M0)之亮度成分。
再者,於第3圖之例子中,係以最大大小之編碼區塊B0作為出發點,且於四分樹狀圖藉由至另行決定之預定深度為止進行階層的分割,藉此獲得編碼區塊Bn。
於深度n中,編碼區塊Bn係大小(Ln,Mn)之畫像區域。
然而Ln與Mn雖可相同亦可不同,惟於第3圖之例子中顯示為Ln=Mn之情形(case)。
以下係將編碼區塊Bn之大小定義為編碼區塊Bn之亮度成分之大小(Ln,Mn)。
於區塊分割部2中,為進行4分樹狀分割,(Ln+1,Mn+1)=(Ln/2,Mn/2)係恆常成立。
然而,如RGB訊號等所有色成分具有相同樣本數之彩色訊號(4:4:4格式)中,所有色成分之大小雖成為(Ln,Mn),惟於處理4:2:0格式時,對應之色差成分之編碼區塊之大小係為(Ln/2,Mn/2)。
以下,係將第n層之編碼區塊Bn所可選擇之編碼模式以m(Bn)顯示。
由複數個色成分構成彩色影像訊號之情形,編碼模式m(Bn)係可以於每個色成分各自使用個別的模式之方式構成,惟於以下,若非特別聲明,係指為YUV訊號、對於4:2:0格式之編碼區塊的亮度成分之編碼模式者作說明。
於編碼模式m(Bn)中係具有一個至複數個內部編碼模式(總稱為「INTRA」)、及一個至複數個幀間編碼模式(總稱為「INTER」),編碼控制部1係如上述,自該圖像可利用之所有的編碼模式或該子集(subset)中選擇對於編碼區塊Bn具有最佳編碼效率之編碼模式。
如第3圖所示,編碼區塊Bn係復被分割為一個至複數個預測處理單位(區間partition)。
以下,屬於編碼區塊Bn之區間係標示為Pi n(i:第n階層之區間號碼)。第8圖係為顯示屬於編碼區塊Bn之區間Pi n之說明圖。
有關屬於編碼區塊Bn之區間Pi n之分割以何種方式實行係作為資料包含於編碼模式m(Bn)之中。
區間Pi n係全部依據編碼模式m(Bn)進行預測處理,惟每個區間Pi n可選擇個別的預測參數。
編碼控制部1對於最大大小之編碼區塊係產生例如第4所示之區塊分割狀態,且確定編碼區塊Bn。
第4(a)圖之斜線部分係顯示分割後之區間分布,再者,第4(b)圖係以4分樹狀圖顯示編碼模式m(Bn)分配於階層分割後之區間之狀況。
於第4(b)圖中以□圍繞之節點(node)係顯示為編碼模式m(Bn)分配到之節點(編碼區塊Bn)。
切換開關3於編碼控制部1選擇內部編碼模式時(m(Bn)INTRA),將屬於由區塊分割部2所分割之編碼區塊Bn之區間Pi n輸出至內部預測部4,而於編碼控制部1選擇
幀間編碼模式時(m(Bn)INTER),將屬於該編碼區塊Bn之區間Pi n輸出至動作補償預測部5。
內部預測部4係自切換開關3接收屬於編碼區塊Bn之區間Pi n時(步驟ST4),具體之處理內容係後述,惟係根據由編碼控制部1所決定之內部預測參數來實施對於各區間Pi n之內部預測處理,藉以產生內部預測畫像(Pi n)(步驟ST5)。
以下,於本說明書中係以Pi n顯示區間,而以(Pi n)顯示區間Pi n之預測畫像。
用於產生內部預測畫像(Pi n)之內部預測參數於動畫像解碼裝置側亦有產生完全相同內部預測畫像(Pi n)之必要,因此係藉由可變長度編碼部13多工化為位元串流。
並且,可作為內部預測參數選擇之內部預測方向數係可因應成為處理對象之區塊的大小而以不同方式構成。
於較大大小之區間中,因內部預測之效率下降,係可藉由減少可選擇之內部預測方向數,且於較小大小之區間增多可選擇之內部預測方向數之方式構成。
例如,係可構成為於4×4畫素區間與8×8畫素區間為34方向,於16×16畫素區間為17方向,而於32×32畫素區間為9方向等。
動作補償預測部5於自切換開關3接收屬於編碼區塊Bn之區間Pi n時(步驟ST4),係根據由編碼控制部1所決定之幀間預測參數來實施對各區間Pi n之幀間預測處理,藉以產生幀間預測畫像(Pi n)(步驟ST6)。
亦即,動作補償預測部5係使用由動作補償預測框記憶體12所儲存之1框以上之參照畫像,並根據自編碼控制部1所輸出之幀間預測參數來實施對於該編碼區塊之動作補償預測處理,藉以產生預測畫像(Pi n)。
產生幀間預測畫像(Pi n)所用之幀間預測參數於動畫像解碼裝置側亦有產生完全相同幀間預測畫像(Pi n)之必要,因此係藉由可變長度編碼部13多工化為位元串流。
減算部6於接收來自內部預測部4或動作補償預測部5之預測畫像(Pi n)時,藉由自屬於由區塊分割部2分割之編碼區塊Bn之區間Pi n中減算該預測畫像(Pi n),來產生顯示該差分畫像之預測差分訊號ei n(步驟ST7)。
變換/量化部7於減算部6產生預測差分訊號ei n時,係以包含於自編碼控制部1輸出的預測差分編碼參數之變換區塊大小為單位,來實施對該預測差分訊號ei n之變換處理(例如,DCT(離散餘弦變換),或預先對特定之學習系列施加基底設計之KL變換等之直交變換處理),並使用包含於該預測差分編碼參數之量化參數來將該預測差分訊號ei n之變換係數量化,而藉以將屬於量化後的變換係數之差分畫像之壓縮資料輸出至逆量化/逆變換部8以及可變長度編碼部13(步驟ST8)。
逆量化/逆變換部8於接收來自變換/量化部7之壓縮資料時,係使用包含於自編碼控制部1輸出的預測差分編碼參數之量化參數來對該壓縮資料逆量化,且以包含於該預測差分編碼參數之變換區塊大小為單位來實施逆量化壓
縮資料之逆變換處理(例如,逆DCT(逆離散餘弦變換),或逆KL變換等之逆變換處理),而藉以將逆變換處理後之壓縮資料作為局部解碼預測差分訊號輸出至加算部9(步驟ST9)。
加算部9於接收來自逆量化/逆變換部8之局部解碼預測差分訊號時,係將該局部解碼預測差分訊號、以及由內部預測部4或動作補償預測部5所產生之顯示預測畫像(Pi n)之預測訊號進行加算,藉以產生顯示局部解碼區間畫像或作為該集合之局部解碼編碼區塊畫像(以下,係稱為「局部解碼畫像」)之局部解碼畫像訊號,且將該局部解碼畫像訊號輸出至迴路濾波器部11(步驟ST10)。
再者,為用以內部預測,內部預測用記憶體10係儲存有該局部解碼畫像。
迴路濾波器部11於接收來自加算部9之局部解碼畫像訊號時,係補償包含於該局部解碼畫像訊號之解碼誤差,且將編碼誤差補償後之局部解碼畫像訊號所示之局部解碼畫像作為參照畫像儲存於動作補償預測框記憶體12(步驟ST11)。
並且,由迴路濾波器而來之濾波處理係可以所輸入之局部解碼畫像訊號之最大編碼區塊或各個解碼區塊為單位進行,亦可於輸入相當於一整個畫面之微區塊(micro block)之局部解碼畫像訊號之後一整個畫面一起進行。
步驟ST4至ST10之處理係重複實施至對於屬於由區塊分割部2分割之所有的編碼區塊Bn之區間Pi n之處理結
束為止(步驟ST12)。
可變長度編碼部13係對自變換/量化部7輸出之壓縮資料、自編碼控制部1輸出之編碼模式以及預測差分編碼參數、以及自內部預測部4輸出之內部預測參數或自動作補償預測部5輸出之幀間預測參數進行可變長度編碼,而產生將該壓縮資料、編碼模式、預測差分編碼參數、內部預測參數/幀間預測參數之編碼資料多工化之位元串流(步驟ST13)。
接著,具體說明內部預測部4之處理內容。
第5圖係為顯示屬於編碼區塊Bn之各區間Pi n所可選擇之內部預測參數(內部預測模式)之一例之說明圖。
於第5圖顯示有對應內部預測模式之預測方向向量(vector),係設計成伴隨可選擇之內部預測模式個數之增加而預測方向向量彼此之相對角度變小。
於此,說明有關內部預測部4係根據對於區間Pi n之亮度訊號之內部預測參數(內部預測模式),而產生該亮度訊號之內部預測訊號之內部處理。
茲將區間Pi n之大小設為li n×mi n畫素。
第6圖係為顯示於li n=mi n=4之情形,產生區間Pi n內之畫素之預測值時所用之畫素之一例之說明圖。
於第6圖中係將鄰接於區間Pi n之已編碼之上區間畫素((2×li n+1)個畫素)以及左區間畫素((2×mi n)個畫素)作為預測所用畫素,惟預測所用畫素係可較第6圖所示畫素更多或更少。
再者,於第6圖中,係將鄰接之一整行或一整列之畫素為預測所用,惟亦可將二行份或二列份之畫素或以該者為多之畫素為預測所用。
內部預測部4於對於區間Pi n之內部預測模式之索引(index)值為2(平均值預測)之情形,係將上區間之鄰接畫素與左區間之鄰接畫素之平均值作為區間Pi n內畫素之預測值來產生預測畫像。
內部預測模式之索引值為2(平均預測值)以外之情形,係依據索引值所示之預測方向向量vp=(dx,dy)來產生區間Pi n內畫素之預測值。
當將產生預測值的畫素(預測對象畫素)之區間Pi n內相對座標(以區間之左上畫素為原點)設為(x,y)時,則預測所用之參照畫素之位置係成為下述所示之L,及鄰接畫素之交點。
其中,k係為正之純量(scalar)值。
參照畫素位於整數畫素位置之情形,係使該整數畫素為預測對象之預測值。參照畫素非位於整數畫素位置之情形,係使自鄰接於參照畫素之整數畫素產生之內插畫素為預測值。
於第6圖之例子,因參照畫素並不位於整數畫素位置,故以鄰接於參照畫素之二個畫素之平均值為預測值。
並且,非僅鄰接之二個畫素,亦可自鄰接之二個畫素
以上之畫素產生內插畫素來作為預測值。
內部預測部4係以同樣手續產生相對於區間Pi n內亮度訊號之所有的畫素之預測畫素,且輸出該產生出之內部預測畫像(Pi n)。為產生內部預測畫像(Pi n)所用之內部預測參數係如上述輸出至可變長度編碼部13用以多工化為位元串流。
相對於區間Pi n內之亮度訊號之內部預測訊號(Pi n)係如上所述地產生,惟如第7圖所示,關於區間Pj n-1(j:區間Pi n之第n-1階層之上位區間之區間號碼)內之亮度訊號係同樣地產生內部預測畫像(Pj n-1)。
於此,係如第6圖所示,作為相對於區間Pi n內亮度訊號之內部預測畫像(Pi n)係以除自鄰接於區間Pi n之參照畫素之鄰接畫素產生者以外,亦可選擇將相對於上位區間Pj n-1之內部預測畫像(Pj n-1)中僅切出相當於區間Pi n者來作為內部預測畫像(Pi n)之候補之方式構成。
亦即,如第9圖所示,作為內部預測模式,於具備亦包含平均值預測之九方向之內部預測模式之情形,若存在有上位區間則更進一步追加九個預測模式。
就內部預測而言,係為自已知區域預測畫面內之未知區域之手段,惟畫像訊號係因關於空間方向之局部性之變化較大,故藉由自不同性質之預測畫像中選擇係可提高預測效率。
因此,以上述之方式構成且於增加內部預測模式之方向數之情形,與增加內部預測模式之情形相比所產生之預
測畫像之相互類似度係下降,且可自具有豐富變化之預測畫像中選擇,因此可藉由增加內部預測模式數來增加編碼效率之改善程度。
再者,於本發明之手法,藉由切取上位區間預測畫像之一部份係可產生下位區間之預測畫像,因此與藉由增加預測方向來增加預測模式之情形相比亦具有削減運算量之效果。
對於區間Pi n之色差訊號亦以與亮度訊號相同之手續實施根據內部預測參數(內部預測模式)之內部預測處理,且將產生預測畫像所用之內部預測參數輸出至可變長度編碼部13。
可變長度編碼部13係如上述將自內部預測部4輸出之內部預測參數可變長度編碼,且將該內部預測參數之編碼字元多工化為字元串流,惟亦可構成為於編碼內部預測參數時,係自複數個方向性預測之預測方向向量中選擇代表性的預測方向向量(預測方向代表向量),且將內部預測參數藉由顯示來自預測方向代表向量之索引(預測方向代表索引)與預測方向代表向量之差分之索引(預測方向差分索引)來顯示,且藉由對每個索引各自進行因應機率模型(model)之算術編碼等之霍夫曼(Huffman)編碼來削減編碼量而進行編碼。
接著,說明第10圖之動畫像解碼裝置之處理內容。
可變長度解碼部21於輸入由第1圖之動畫像編碼裝置所產生之位元串流時,係實施對於該位元串流之可變長度
解碼處理(第11圖步驟ST21),且將框大小解碼為自一個框以上之圖像所構成之程序(sequence)單位或圖像單位。
可變長度解碼部21對框大小解碼時,係以與動畫像編碼裝置相同之手續決定由第1圖之動畫像編碼裝置所決定之最大編碼區塊大小(於實施內部預測處理或動作補償預測處理時成為處理單位之編碼區塊之最大大小)、及分割階層數之上限(自最大大小之編碼區塊階層性地分割之編碼區塊階層數)(步驟ST22)。
例如,在對於所有的圖像將編碼區塊最大大小決定為因應輸入畫像之解析度之大小之情形,係根據先解碼之框大小,以與第1圖之動畫像編碼裝置相同之手續來決定編碼區塊最大大小。
於藉由動畫像編碼裝置將編碼區塊最大大小以及編碼區塊階層數多工化為位元串流之情形,係自該位元串流解碼編碼區塊最大大小以及編碼區塊階層數。
可變長度解碼部21決定編碼區塊最大大小以及編碼區塊階層數時,係以最大編碼區塊為出發點來掌握各編碼區塊之階層性的分割狀態,藉以於多工化為位元串流之編碼資料中確定與各編碼區塊有關之編碼資料,且自該編碼資料中將分配於各編碼區塊之編碼模式解碼。
並且,可變長度解碼部21係參照屬於包含在該編碼模式中之編碼區塊Bn之區間Pi n之分割資訊,於多工化為位元串流之編碼資料中確定與各區間Pi n有關之編碼資料(步驟ST23)。
可變長度解碼部21係自與各區間Pi n有關之編碼資料將壓縮資料、預測差分編碼參數、以及內部預測參數/幀間預測參數可變長度解碼,且將該壓縮資料以及預測差分編碼參數輸出至逆量化/逆變換部25,並將編碼模式以及內部預測參數/幀間預測參數輸出至切換開關22(步驟ST24)。
例如,於預測方向代表索引與預測方向差分索引係多工化為位元串流之情形,將該預測方向代表索引與預測方向差分索引藉由對應各自機率模型之算數解碼等進行熵值解碼,且使其為由該預測方向代表索引與預測方向差分索引確定內部預測參數。
藉此,即便於動畫像編碼裝置側有削減內部預測參數之情形,亦可正確地解碼內部預測參數。
切換開關22於自可變長度解碼部21輸出之屬於編碼區塊Bn之區間Pi n之編碼模式為內部編碼模式之情形,將自可變長度解碼部21輸出之內部預測參數輸出至內部預測部23,且於該編碼模式為幀間編碼模式之情形將自可變長度解碼部21輸出之幀間預測參數輸出之動作補償部24。
內部預測部23於自切換開關22接收內部預測參數時(步驟ST25),係與第1圖之內部預測部4相同,根據該內部預測參數實施對於各區間Pi n之內部預測處理,藉以產生內部預測畫像(Pi n)(步驟ST26)。
亦即,內部預測部23係使用與由內部預測用記憶體27所儲存之區間Pi n鄰接之已解碼畫素,或與該區間Pi n之
上位階層之區間Pj n-1鄰接之已解碼畫素,來實施對於根據該內部預測參數的區間Pi n之框內預測處理,而藉以產生預測畫像(Pi n)。
動作補償部24於自接換開關22接收幀間預測參數時(步驟ST25),係與第1圖的動作補償預測部5相同,根據該幀間預測參數來實施對於各區間Pi n之幀間預測處理,而藉以產生幀間預測畫像(Pi n)(步驟ST27)。
亦即,動作補償部24係使用由動作補償預測框記憶體29所儲存之一個框以上之參照畫像,且來實施對於根據該幀間預測參數的區間Pi n之動作補償預測處理,而藉以產生幀間預測畫像(Pi n)。
逆量化/逆變換部25於接收來自可變長度解碼部21之預測差分編碼參數時,係使用包含於該預測差分編碼參數之量化參數將關於自可變長度解碼部21輸出之編碼區塊之壓縮資料逆量化,且以包含於該預測差分編碼參數之變換區塊大小為單位實施逆量化壓縮資料之逆變換處理(例如,逆DCT(逆離散餘弦變換)變換及逆KL變換等逆變換處理),藉以將逆變換處理後之壓縮資料作為解碼預測差分訊號(顯示壓縮前差分畫像之訊號)輸出至加算部26(步驟ST28)。
加算部26係將自逆量化/逆變換部25輸出之解碼預測差分訊號,以及由內部預測部23或動作補償部24產生之顯示預測畫像(Pi n)之預測訊號加算,藉以產生顯示解碼區間畫像或屬於該集合之解碼畫像之解碼畫像訊號,且將該
解碼畫像訊號輸出至迴路濾波器部28(步驟ST29)。
再者,為用於內部預測,於內部預測用記憶體27儲存有該解碼畫像。
迴路濾波器部28於自加算部26接收解碼畫像訊號時,係補償包含於該解碼畫像訊號之編碼誤差,且將編碼誤差補償後之解碼畫像訊號所示之解碼畫像作為參照畫像儲存於動作補償預測框記憶體29,並將該解碼畫像作為播放畫像輸出(步驟ST30)。
並且,來自迴路濾波器部28之濾波處理係可以所輸入之解碼畫像訊號之最大編碼區塊或以各個編碼區塊為單位進行,亦可在相當於一整個畫面的巨集區塊之解碼畫像訊號被輸入後一整個畫面一起進行。
步驟ST23至ST29之處理係重複實施至對於所有屬於編碼區塊Bn之區間Pi n之處理結束為止(步驟ST31)。
由上述可知,若依據本實施形態1,動畫像編碼裝置之內部預測部4係以於編碼控制部1所選擇之編碼模式為內部預測模式之情形,係實施使用鄰接於由區塊分割部2分割之區間Pi n之畫素、或鄰接於該區間Pi n之上位階層之區間Pj n-1之畫素之框內預測處理藉以產生預測畫像(Pi n)之方式構成,因此以較少運算量可發揮提高編碼效率改善程度之效果。
再者,依據本實施形態1,動畫像解碼裝置之內部預測部23係以於可變長度解碼部21所可變長度解碼之編碼模式為內部預測模式之情形,實施使用鄰接於由內部預測
用記憶體27儲存之區間Pi n之已解碼畫素、或鄰接於該區間Pi n之上位階層的區間Pj n-1之已解碼畫素之框內預測處理,而產生預測畫像(Pi n)之方式構成,所以可達到由編碼效率已獲改善之編碼資料正確地將動畫像解碼之效果。
(實施形態2)
於上述實施形態1中,動畫像編碼裝置之可變長度編碼部13係顯示為將編碼對象之區間之內部預測參數可變長度編碼者,惟亦可使其為將顯示編碼對象之區間之內部預測參數與鄰接於該區間的區間之內部預測參數是否相同之內部合併旗標(intra merge flag)可變長度編碼,同時,若該內部預測參數為相同則將確定該鄰接區間之內部合併方向(intra merge direction)可變長度編碼,且若該內部預測參數非相同時,則將編碼對象之區間之內部預測參數可變長度編碼。
再者,於上述實施形態1中,動畫像解碼裝置之可變長度解碼部21係顯示為自與解碼對象之區間有關之解碼資料中將該區間之內部預測參數可變長度解碼者,惟亦可使其為自與解碼對象之區間有關之編碼資料中,將顯示與該區間鄰接之區間之內部預測參數相同與否之內部合併旗標可變長度解碼,同時,於該內部合併旗標係顯示該區間與鄰接區間之內部預測參數為相同意旨之情形,係自該編碼資料中將確定鄰接區間之內部合併方向可變長度解碼,且於該內部合併旗標顯示該區間與鄰接區間之內部預測參數為不同意旨之情形,係自該編碼資料中將該區間之內部
預測參數可變長度解碼。
因於動畫像編碼裝置與動畫像解碼裝置中內部預測參數之編碼與解碼以外的部分係與上述實施形態1相同,故於本實施形態2係僅說明有關內部預測參數之編碼及解碼。
於本實施形態2之動畫像編碼裝置之可變長度編碼部13係如第12圖(A)所示,在將編碼對象(處理對象)之區間Pi n之內部預測參數可變長度編碼時,係將顯示該內部預測參數與鄰接於區間Pi n之區間之內部預測參數是否相同之內部合併旗標可變長度編碼。
再者,可變長度編碼部13於該內部合併旗標係顯示內部預測參數為相同意旨之情形,係於鄰接區間中將顯示與哪個區間之內部預測參數相同之內部合併方向可變長度編碼。
另一方面,於該內部合併旗標顯示為並非相同內部預測參數之意旨的情形,係如第12圖(B)所示,將編碼對象區間Pi n之內部預測參數可變長度編碼(此情形,係成為與上述實施形態1相同之編碼)。
例如,如第13圖(A)所示於舉出左側區間與上側區間為鄰接區間之候補之情形,就內部合併方向而言,係成為顯示與左側區間相同或是與上側區間相同之旗標。
如第13圖(B)所示,亦可以舉出左側區間、左上側區間、及上側區間作為鄰接區間候補,且顯示係與三個候補中之何者相同之旗標之方式構成。
當然的,於成為對象之鄰接區間彼此的內部預測參數皆相同之情形係無將內部合併方向編碼之必要。因此,於如此之情形,係如第12圖(D)所示,可以不將內部合併方向編碼之方式構成。
再者,在鄰接於上側或左側之區間係有複數個之情形,例如,係可構成為朝自左上方向遠離之方向將區間掃描(scan),且將由內部預測模式編碼之最初的區間各自作為上側或左側之鄰接區間。
再者,於鄰接區間中,於可選擇之內部預測方向數NumN與編碼對象之區間中,於可選擇之內部預測方向數NumC不相等之情形,係可以下述之方式構成。
亦即,NumN<NumC之情形,係自編碼對象區間Pi n之複數個方向性預測的預測方向向量中,藉由使代表性的預測方向向量與鄰接區間中可選擇之內部預測方向之一者對應,來判斷內部預測參數是否一致。
此時,係如第12圖(C)所示,於判斷內部預測參數為一致之情形,係更進一步對顯示自所對應之複數個內部預測方向中之何者為編碼對象區間Pi n所選擇之內部預測方向殘差參數進行編碼。
另一方面,NumN>NumC之情形,係自鄰接區間之複數個方向性預測之預測方向向量中,藉由使代表性的預測方向向量與編碼對象區間Pi n之可選擇之內部預測方向之一者對應,來判斷內部預測參數是否一致。
此時,係無將內部預測方向殘差參數編碼之必要。
內部預測模式係考慮到具有依存於編碼對象畫像紋理之方向性,因此局部性地易出現類似預測模式。因此,藉由使用內部合併旗標與內部合併方向來對內部預測參數編碼,係可以較少之資訊量對內部預測參數編碼。
本實施形態2之動畫像解碼裝置之可變長度解碼部21係如第12圖(A)所示,於將解碼對象(處理對象)之區間Pi n之內部預測參數予以可變長度解碼時,將顯示該內部預測參數是否為與和區間Pi n鄰接之區間之內部預測參數相同之內部合併旗標可變長度解碼。
再者,可變長度解碼部21於該內部合併旗標顯示係為相同內部預測參數之意旨時,係將於鄰接區間中顯示與哪個區間之內部預測參數相同之內部合併方向可變長度解碼。
另一方面,於該內部合併旗標顯示係為不同之內部預測參數之意旨時,係如第12圖(B)所示,將解碼對象區間Pi n之內部預測參數予以可變長度解碼(此時,係成為與上述實施形態1相同之解碼)。
例如,如第13圖(A)所示,作為鄰接區間係舉出有左側區間與上側區間為候補的情形,作為內部合併方向,係成為顯示與左側區間相同或與上側區間相同之旗標。
或如第13圖(B)所示,作為鄰接區間係舉出有左側區間、左上側區間以及上側區間為候補的情形,係成為顯示與三個候補中之何者相同之旗標。
當然的,於成為對象之鄰接區間彼此之內部預測參數
皆為相同之情形,係無將內部合併方向解碼之必要。因此,於如此之情形,係如第12圖(D)所示可不將內部合併方向解碼。
再者,於鄰接於上側或左側之區間係有複數個之情形,例如,係可朝自左上方向遠離之方向掃描區間,且將由內部預測模式編碼之最初的區間各自作為上側或左側之鄰接區間。
再者,在鄰接區間中,可選擇之內部預測方向數NumN與解碼對象區間中可選擇之內部預測方向數NumC為不相等之情形,係可如下述之方式構成。
亦即,NumN<NumC之情形,係自解碼對象區間Pi n之複數個方向性預測之預測方向向量中,藉由使代表性的預測方向向量與鄰接區間之可選擇的內部預測方向之一者對應,來判斷內部預測參數是否一致。
此情形時,係如第12圖(C)所示,於判斷為內部預測參數係一致之情形,係更進一步的自所對應之複數個內部預測方向中,將顯示何者為解碼對象區間Pi n所選擇之內部預測方向殘差參數編碼。
另一方面,NumN>NumC之情形,係自鄰接區間之複數個方向性預測之預測方向向量中,藉由使代表性的預測方向向量與解碼對象區間Pi n之可選擇之內部預測方向之一者對應,來判斷內部預測參數是否一致。
於此情形係無將內部預測方向殘差參數解碼之必要。
藉由如此之構成,係可將由本實施形態2之動畫像編
碼裝置所編碼之內部預測參數適切地解碼。
當然,本實施形態2之可變長度編碼/解碼手段係於該處理對象區間及該鄰接之區間並非於本實施形態1中說明之將上位階層內部預測畫像的一部份切出之預測模式時亦可套用。
並且,本案所請發明於該發明之範圍內,係可對各實施形態自由地組合、或將各實施形態之任意構成要素變形,亦可將各實施形態之任意構成要素省略。
(產業上之利用可能性)
如上述,本發明之動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法以及動畫像解碼方法係以少量之演算量以及編碼量而可提升來自方向性預測模式數增加之編碼效率的改善程度,因此適於用在將動畫像以高效率進行編碼之動畫像編碼裝置以及動畫像編碼方法,以及將經高效率編碼之動畫像解碼之動畫像解碼裝置以及動畫像解碼方法等。
1:編碼控制部(編碼控制手段)
2:區塊分割部(區塊分割手段)
3:切換開關(預測畫像產生手段)
4:內部預測部(預測畫像產生手段)
5:動作補償預測部(預測畫像產生手段)
6:減算部(差分畫像產生手段)
7:變換/量化部(畫像壓縮手段)
8:逆量化/逆變換部
9:加算部
10:內部預測用記憶體
11:迴路濾波器部
12:動作補償預測框記憶體
13:可變長度編碼部(可變長度編碼手段)
Claims (3)
- 一種畫像編碼裝置,係包括:編碼控制部,係選擇要應用於各個編碼區塊之編碼模式,其中,前述編碼區塊係將作為編碼處理的處理單位之最大大小之編碼區塊予以階層性地分割而得者;內部預測部,係在依據前述編碼模式而選擇了內部預測模式時,對前述編碼區塊之區間進行內部預測,從而產生內部預測畫像;動作補償預測部,係在依據前述編碼模式而選擇了幀間預測模式時,對前述編碼區塊之區間實施動作補償預測處理,從而產生幀間預測畫像;以及可變長度編碼部,係將前述編碼區塊的編碼模式、內部預測參數及壓縮資料予以可變長度編碼而產生編碼資料,該內部預測參數係為了藉由對前述編碼區塊的區間進行內部預測而產生預測畫像所使用者,該壓縮資料係依據原畫像與前述內部預測畫像或前述幀間預測畫像之差分而產生者;其中,前述可變長度編碼部係將顯示用於前述區間的內部預測參數與用於鄰接於該區間的上側或左側之區間之內部預測參數相同與否之內部合併旗標予以可變長度編碼,在鄰接於要進行內部預測之前述區間的上側或左側之區間存在複數個之情形,選擇自前述區間的左上起朝遠離之方向之最初的區間分別作為鄰接於上側及左 側之區間,於用於前述區間之內部預測參數與用於鄰接於該區間的上側或左側之區間之內部預測參數相同時,前述可變長度編碼部係將具體指定與鄰接於前述上側及左側之哪一者之區間之內部預測參數相同之內部合併方向予以可變長度編碼,於用於前述區間之內部預測參數與用於鄰接於該區間的上側或左側之區間之內部預測參數不相同時,前述可變長度編碼部係將用於前述區間之內部預測參數予以可變長度編碼。
- 一種動畫像解碼裝置,係包括:可變長度解碼部,係將經分割至上限階層數為止之編碼區塊的編碼資料予以可變長度解碼,取得前述編碼區塊之各者的編碼模式、壓縮資料;內部預測部,係在依據前述編碼模式而選擇了內部預測模式時,對前述編碼區塊之區間進行內部預測,從而產生內部預測畫像;動作補償部,係在依據前述編碼模式而選擇了幀間預測模式時,對前述編碼區塊之區間實施動作補償預測處理,從而產生幀間預測畫像;以及解碼畫像產生手段,係將解碼前述壓縮資料而得之差分畫像加上由前述預測畫像產生部所產生之前述內部預測畫像或前述幀間預測畫像,而產生解碼畫像;其中,在鄰接於要進行內部預測之前述編碼區塊的區間的上側或左側之區間存在複數個之情形,將自前述編碼區塊的區間的左上起朝遠離之方向之最初的區間分別作為鄰接於上側及左側之區間,前述可變長度解碼部係將顯示前述區間的內部預測參數與鄰接於前述編碼區塊的區間的上側或左側之區間之內部預測參數相同與否之內部合併旗標予以解碼,於前述區間之內部預測參數與鄰接於上側或左側之區間之內部預測參數相同時,前述可變長度解碼部係將具體指定與鄰接於上側及左側之哪一者之區間之內部預測參數相同之內部合併方向予以解碼,於前述區間之內部預測參數與鄰接於該區間的上側或左側之區間之內部預測參數不相同時,前述可變長度解碼部係將前述區間之內部預測參數予以解碼。
- 一種動畫像編碼資料,其為電腦可讀取之記錄媒體,而記錄有位元串流,該位元串流包含具體指定經階層性地分割至上限階層數為止之編碼區塊的編碼模式且為電腦可執行之編碼資料,其中,前述記錄媒體所記錄之位元串流中,前述編碼區塊的編碼資料與前述編碼區塊的前述最大大小及前述階層數係被多工化;前述編碼資料係具備前述編碼區塊的前述編碼模式,並包含與前述編碼區塊的區間相關的編碼資料;前述編碼資料包括:內部合併旗標,係顯示前述編碼區塊的區間的內部預測參數與鄰接於該區間的上側或左側之區間的內部預測參數相同與否;內部合併方向,係於前述內部合併旗標顯示前述區間的內部預測參數與鄰接於該區間的上側或左側之區間的內部預測參數相同之情形,具體指定前述區間的內部預測參數與鄰接於上側及左側之哪一者之區間之內部預測參數相同,且為針對內部預測參數與鄰接的區間的內部預測參數相同之前述區間所設定者;內部預測參數,係於前述內部合併旗標顯示前述區間之內部預測參數與鄰接於該區間的上側或左側之區間之內部預測參數不相同之情形所用者,且為針對內部預測參數與鄰接的區間的內部預測參數不同之前述區間所設定者;壓縮資料,係由實施前述編碼模式所示之預測處理而得之預測畫像與原畫像之差分所產生者;以及預測差分編碼參數,係包括量化參數及變換區塊大小,該量化參數係將前述壓縮資料予以逆量化時所用之參數;將前述記錄媒體所記錄之位元串流解碼之動畫像解碼裝置,係使用前述量化參數將前述壓縮資料予以逆量化,並以前述變換區塊大小為單位進行逆變換處理從而生成解碼預測差分訊號;且在包含處理對象之區間之編碼區塊的編碼模式為內部預測時,將前述編碼區塊中之前述處理對象之區間的內部合併旗標予以解碼,在前述動畫像解碼裝置依據該內部合併旗標而辨識出對處理對象之區間進行內部預測時所用之內部預測參數與對鄰接於該處理對象之區間的上側或左側之鄰接區間進行內部預測時所用之內部預測參數相同時,前述動畫像解碼裝置係將前述內部合併方向解碼,且在鄰接於前述處理對象之區間的上側或左側之區間存在複數個之情形,將自左上起朝遠離之方向之最初的區間分別作為鄰接於上側及左側之區間,前述動畫像解碼裝置係依據前述內部合併方向,具體指定與鄰接於前述上側及左側之哪一者之鄰接區間之內部預測參數相同,在前述動畫像解碼裝置依據該內部合併旗標而辨識出前述處理對象之區間中之內部預測參數與鄰接於該處理對象之區間的上側或左側之鄰接區間中之內部預測參數不相同時,前述動畫像解碼裝置係將前述處理對象之區間之內部預測參數予以解碼,前述動畫像解碼裝置為在將解碼前述壓縮資料而得之差分畫像加上由依據前述編碼模式而實施之預測處理所得之預測畫像來產生解碼畫像之處理中所使用者。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-281743 | 2010-12-17 | ||
JP2010281743 | 2010-12-17 | ||
WOPCT/JP2011/006116 | 2011-11-01 | ||
PCT/JP2011/006116 WO2012081162A1 (ja) | 2010-12-17 | 2011-11-01 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202046737A TW202046737A (zh) | 2020-12-16 |
TWI718084B true TWI718084B (zh) | 2021-02-01 |
Family
ID=46244282
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105138645A TWI647952B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體 |
TW104141491A TWI566590B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體 |
TW108121752A TWI706671B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體動畫像編碼資料 |
TW110114542A TWI740801B (zh) | 2010-12-17 | 2011-11-17 | 畫像編碼裝置、動畫像解碼裝置及記錄媒體 |
TW107117976A TWI666925B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體 |
TW109145509A TWI728944B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置及記錄媒體 |
TW100141983A TWI519141B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法 |
TW109129541A TWI718084B (zh) | 2010-12-17 | 2011-11-17 | 畫像編碼裝置、動畫像解碼裝置及動畫像編碼資料 |
Family Applications Before (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105138645A TWI647952B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體 |
TW104141491A TWI566590B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體 |
TW108121752A TWI706671B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體動畫像編碼資料 |
TW110114542A TWI740801B (zh) | 2010-12-17 | 2011-11-17 | 畫像編碼裝置、動畫像解碼裝置及記錄媒體 |
TW107117976A TWI666925B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記錄媒體 |
TW109145509A TWI728944B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置及記錄媒體 |
TW100141983A TWI519141B (zh) | 2010-12-17 | 2011-11-17 | 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法 |
Country Status (14)
Country | Link |
---|---|
US (8) | US10432956B2 (zh) |
EP (4) | EP3493545B1 (zh) |
JP (6) | JP5711266B2 (zh) |
KR (1) | KR101538248B1 (zh) |
CN (1) | CN103262539A (zh) |
BR (1) | BR112013014258B1 (zh) |
CA (5) | CA2937202C (zh) |
ES (1) | ES2718426T3 (zh) |
MX (2) | MX337875B (zh) |
RU (5) | RU2602365C2 (zh) |
SG (3) | SG10202101292WA (zh) |
TR (1) | TR201904717T4 (zh) |
TW (8) | TWI647952B (zh) |
WO (1) | WO2012081162A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10202101292WA (en) * | 2010-12-17 | 2021-03-30 | Mitsubishi Electric Corp | Image coding device, image decoding device, image coding method, and image decoding method |
AU2012270960B2 (en) * | 2011-06-13 | 2017-02-16 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
KR101897378B1 (ko) | 2013-12-10 | 2018-09-10 | 캐논 가부시끼가이샤 | 팔레트 코딩 모드에서 팔레트를 인코딩 또는 디코딩하기 위한 방법 및 장치 |
US10419774B2 (en) | 2013-12-10 | 2019-09-17 | Canon Kabushiki Kaisha | Palette mode in HEVC |
JP6886825B2 (ja) * | 2017-01-27 | 2021-06-16 | 日本放送協会 | 予測装置、符号化装置、復号装置、及びプログラム |
US20180332312A1 (en) * | 2017-05-09 | 2018-11-15 | Futurewei Technologies, Inc. | Devices And Methods For Video Processing |
CN108846874A (zh) * | 2018-06-27 | 2018-11-20 | 广州视源电子科技股份有限公司 | 信号发生器的图像生成方法和装置 |
WO2020059616A1 (ja) * | 2018-09-21 | 2020-03-26 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
CN112514378A (zh) * | 2018-09-28 | 2021-03-16 | Jvc建伍株式会社 | 图像解码装置、图像解码方法以及图像解码程序 |
CN113905240A (zh) * | 2020-06-22 | 2022-01-07 | 中兴通讯股份有限公司 | 视频编码方法及装置、服务器、存储介质 |
CN111950587B (zh) * | 2020-07-02 | 2024-04-16 | 北京大学深圳研究生院 | 帧内编码块划分处理方法和硬件装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200609902A (en) * | 2004-05-17 | 2006-03-16 | Nokia Corp | Audio encoding with different coding frame lengths |
US20080165849A1 (en) * | 2005-07-22 | 2008-07-10 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
CN101682770A (zh) * | 2007-06-15 | 2010-03-24 | 高通股份有限公司 | 视频块预测模式的自适应译码 |
US20100208802A1 (en) * | 2007-06-29 | 2010-08-19 | Sharp Kabushiki Kaisha | Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3263807B2 (ja) * | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
JP4359773B2 (ja) | 2004-06-22 | 2009-11-04 | ソニー株式会社 | 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム |
KR100679035B1 (ko) | 2005-01-04 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
JP4191729B2 (ja) * | 2005-01-04 | 2008-12-03 | 三星電子株式会社 | イントラblモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ/デコーダ |
EP2001239B1 (en) | 2006-03-27 | 2017-09-13 | Sun Patent Trust | Picture coding apparatus and picture decoding apparatus |
US8345968B2 (en) | 2007-06-28 | 2013-01-01 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
JP4650461B2 (ja) * | 2007-07-13 | 2011-03-16 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、及び記録媒体 |
JP2009055542A (ja) * | 2007-08-29 | 2009-03-12 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
WO2009051719A2 (en) * | 2007-10-16 | 2009-04-23 | Thomson Licensing | Methods and apparatus for video encoding and decoding geometically partitioned super blocks |
JP5137687B2 (ja) | 2008-05-23 | 2013-02-06 | キヤノン株式会社 | 復号装置及び復号方法、プログラム |
CN101779469A (zh) | 2008-06-27 | 2010-07-14 | 索尼公司 | 图像处理装置和图像处理方法 |
KR101517768B1 (ko) * | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
US20110170793A1 (en) | 2008-09-24 | 2011-07-14 | Kazushi Sato | Image processing apparatus and method |
JP2010116869A (ja) * | 2008-11-13 | 2010-05-27 | Yamaha Motor Co Ltd | 車両用内燃機関 |
US20100166073A1 (en) * | 2008-12-31 | 2010-07-01 | Advanced Micro Devices, Inc. | Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors |
EA024522B1 (ru) | 2009-04-08 | 2016-09-30 | Шарп Кабусики Кайся | Устройство и способ кодирования видеокадров и устройство и способ декодирования видеокадров |
JP5169978B2 (ja) | 2009-04-24 | 2013-03-27 | ソニー株式会社 | 画像処理装置および方法 |
US8588303B2 (en) * | 2010-03-31 | 2013-11-19 | Futurewei Technologies, Inc. | Multiple predictor sets for intra-frame coding |
SG10202101292WA (en) * | 2010-12-17 | 2021-03-30 | Mitsubishi Electric Corp | Image coding device, image decoding device, image coding method, and image decoding method |
-
2011
- 2011-11-01 SG SG10202101292WA patent/SG10202101292WA/en unknown
- 2011-11-01 ES ES11848087T patent/ES2718426T3/es active Active
- 2011-11-01 RU RU2015107004/08A patent/RU2602365C2/ru active
- 2011-11-01 RU RU2013132933/08A patent/RU2547617C2/ru active
- 2011-11-01 EP EP19152902.3A patent/EP3493545B1/en active Active
- 2011-11-01 WO PCT/JP2011/006116 patent/WO2012081162A1/ja active Application Filing
- 2011-11-01 CN CN2011800605992A patent/CN103262539A/zh active Pending
- 2011-11-01 CA CA2937202A patent/CA2937202C/en active Active
- 2011-11-01 US US13/991,041 patent/US10432956B2/en active Active
- 2011-11-01 MX MX2013006878A patent/MX337875B/es active IP Right Grant
- 2011-11-01 EP EP19152900.7A patent/EP3493543B1/en active Active
- 2011-11-01 SG SG10201706999WA patent/SG10201706999WA/en unknown
- 2011-11-01 SG SG10201509231QA patent/SG10201509231QA/en unknown
- 2011-11-01 BR BR112013014258-8A patent/BR112013014258B1/pt active IP Right Grant
- 2011-11-01 CA CA3207722A patent/CA3207722A1/en active Pending
- 2011-11-01 EP EP11848087.0A patent/EP2654300B1/en active Active
- 2011-11-01 CA CA2820014A patent/CA2820014C/en active Active
- 2011-11-01 JP JP2012548618A patent/JP5711266B2/ja active Active
- 2011-11-01 KR KR1020137018737A patent/KR101538248B1/ko active IP Right Grant
- 2011-11-01 CA CA3052608A patent/CA3052608C/en active Active
- 2011-11-01 TR TR2019/04717T patent/TR201904717T4/tr unknown
- 2011-11-01 EP EP19152901.5A patent/EP3493544B1/en active Active
- 2011-11-01 MX MX2016003712A patent/MX351072B/es unknown
- 2011-11-01 CA CA3123520A patent/CA3123520C/en active Active
- 2011-11-17 TW TW105138645A patent/TWI647952B/zh active
- 2011-11-17 TW TW104141491A patent/TWI566590B/zh active
- 2011-11-17 TW TW108121752A patent/TWI706671B/zh active
- 2011-11-17 TW TW110114542A patent/TWI740801B/zh active
- 2011-11-17 TW TW107117976A patent/TWI666925B/zh active
- 2011-11-17 TW TW109145509A patent/TWI728944B/zh active
- 2011-11-17 TW TW100141983A patent/TWI519141B/zh active
- 2011-11-17 TW TW109129541A patent/TWI718084B/zh active
-
2015
- 2015-03-05 JP JP2015043049A patent/JP5984984B2/ja active Active
-
2016
- 2016-08-02 JP JP2016151875A patent/JP6469048B2/ja active Active
- 2016-10-05 RU RU2016139117A patent/RU2628259C1/ru active
-
2017
- 2017-07-28 RU RU2017127113A patent/RU2649775C1/ru active
-
2018
- 2018-02-21 JP JP2018029028A patent/JP6789256B2/ja active Active
- 2018-03-23 RU RU2018110268A patent/RU2680194C1/ru active
-
2019
- 2019-06-19 JP JP2019113549A patent/JP6807987B2/ja active Active
- 2019-08-20 US US16/545,817 patent/US10827193B2/en active Active
- 2019-08-20 US US16/545,740 patent/US10820000B2/en active Active
- 2019-08-20 US US16/545,806 patent/US10820001B2/en active Active
-
2020
- 2020-09-24 US US17/031,275 patent/US11350120B2/en active Active
- 2020-12-08 JP JP2020203791A patent/JP7012809B2/ja active Active
-
2022
- 2022-05-16 US US17/745,062 patent/US11831893B2/en active Active
- 2022-05-16 US US17/745,040 patent/US11831892B2/en active Active
-
2023
- 2023-02-09 US US18/107,764 patent/US11831896B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200609902A (en) * | 2004-05-17 | 2006-03-16 | Nokia Corp | Audio encoding with different coding frame lengths |
US20080165849A1 (en) * | 2005-07-22 | 2008-07-10 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
CN101682770A (zh) * | 2007-06-15 | 2010-03-24 | 高通股份有限公司 | 视频块预测模式的自适应译码 |
US20100208802A1 (en) * | 2007-06-29 | 2010-08-19 | Sharp Kabushiki Kaisha | Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI718084B (zh) | 畫像編碼裝置、動畫像解碼裝置及動畫像編碼資料 | |
JP6851429B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
JP5782169B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
TWI711296B (zh) | 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體 | |
TWI508566B (zh) | Animation coding apparatus, moving picture decoding apparatus, moving picture coding method, and moving picture decoding method | |
JP2012023609A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |