TWI450592B - 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式 - Google Patents

動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式 Download PDF

Info

Publication number
TWI450592B
TWI450592B TW100104093A TW100104093A TWI450592B TW I450592 B TWI450592 B TW I450592B TW 100104093 A TW100104093 A TW 100104093A TW 100104093 A TW100104093 A TW 100104093A TW I450592 B TWI450592 B TW I450592B
Authority
TW
Taiwan
Prior art keywords
motion vector
block
candidate
candidate reference
decoding
Prior art date
Application number
TW100104093A
Other languages
English (en)
Other versions
TW201210349A (en
Inventor
Masaki Kitahara
Atsushi Shimizu
Mayuko Watanabe
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201210349A publication Critical patent/TW201210349A/zh
Application granted granted Critical
Publication of TWI450592B publication Critical patent/TWI450592B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式
本發明係關於一種預測編碼動向量的動畫像編碼技術。尤其本發明係關於一種用以提高動向量之預測效率，且提高動畫像之編碼效率的動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式。
本案係根據2010年2月9日向日本提出申請的日本特願2010-026130號而主張優先權，並將該內容援用於此。
在如以H.264為代表之使用動補償的動畫像編碼方式中，係為了有效率地編碼動向量，而進行動向量之預測編碼。
第11圖係顯示習知動畫像編碼裝置中的動補償部之構成例。習知動畫像編碼裝置中的動補償部100，係具備動搜尋部101、動向量記憶體102、動向量預測部103及預測殘差(residual)算出部104。
動搜尋部101，係當輸入有編碼對象區塊之影像信號時，藉由與已編碼之參照畫像的解碼信號對照而進行動搜尋，且算出動向量並儲存於動向量記憶體102。動向量預測部103，係將供位於編碼對象區塊近鄰的已編碼區塊之編碼用的動向量從動向量記憶體102讀出，且使用此等動向量作為參照動向量而算出預測動向量。預測殘差算出部104，係算出動搜尋部101所算出的動向量、與動向量預測部103所算出的預測動向量之殘差，且輸出動向量預測殘差。該動向量預測殘差被編碼，並輸出作為動向量之編碼資訊。
第12圖係習知動畫像解碼裝置中的動補償部之構成例。習知動畫像解碼裝置中的動補償部200，係具備動向量算出部201、預測信號製作部202、動向量記憶體203及動向量預測部204。
動向量算出部201，係將從編碼串(code stream)解碼後的動向量預測殘差、與動向量預測部204所預測的預測動向量予以相加而生成動向量，且將該動向量儲存於動向量記憶體203，並且輸出至預測信號製作部202。預測信號製作部202，係按照動向量從已解碼之參照畫像中讀出解碼信號，且輸出作為解碼對象區塊之預測信號。動向量預測部204，係將供位於解碼對象區塊近鄰的已解碼區塊之解碼用的動向量從動向量記憶體203讀出，且使用此等動向量作為參照動向量而算出預測動向量。
作為有關如以上的動向量預測編碼之技術，習知有如下的技術。
(a)　中值(median)預測編碼(H.264等)[以下，稱為習知技術a]
(b)　依參照動向量指定之預測編碼[以下，稱為習知技術b]
第13圖係說明習知動向量之預測編碼方式之例的示意圖。在習知技術a及習知技術b中，當編碼(解碼亦同)動向量時，係將如第13圖所示之位於編碼對象區塊近鄰的已編碼區塊之動向量(已編碼動向量)，使用作為參照動向量而進行預測，並進行動向量之編碼。
具體而言，在習知技術a中，係使用參照動向量之中值作為預測動向量，而對編碼對象區塊之動向量、與預測動向量之誤差(稱為動向量預測殘差)進行編碼(參照非專利文獻1)。
又，在習知技術b中，編碼裝置(編碼器)係選擇參照動向量之中利用於預測的動向量，且將與動向量預測殘差一同利用於預測的參照動向量之識別符(identifier)進行編碼(參照非專利文獻2)。
又，習知有一種依樣式匹配(template matching)之動向量預測的技術(以下，稱為習知技術c)，作為預測編碼對象區塊之動向量本身的技術，而非是求出動向量預測殘差並對動向量進行編碼者。該習知技術c，係在編碼側不對動向量進行編碼而是進行動補償用的動向量預測方法(參照非專利文獻3)。
第14圖係說明習知依樣式匹配之動向量預測的示意圖。在習知技術c中，係當預測編碼對象區塊之動向量時，利用如第14圖以倒L字型之區域顯示的編碼對象區塊之近鄰、且已編碼之畫素的集合(將此稱為樣式)，在參照畫像上針對預定的搜尋範圍進行動搜尋(將該處理稱為樣式匹配)。具體而言，有關預定的搜尋範圍內之各動向量，係在以動向量部分將參照畫像上位於與樣式相同之位置的區域予以錯開後的區域(稱為匹配區域)、與樣式之間，求出SAD(Sum of Absolute Differences：絕對誤差和)等的相似度並進行搜尋。利用藉此而得的動向量進行動補償。由於在解碼側也可以已解碼畫素之集合的樣式進行相同的處理，所以具有不編碼動向量就可進行動補償的優點。
(非專利文獻1)　角野、菊池、鈴木、”改定三版H.264/AVC教科書”原地(in-place)R&D發行，2009,pp.123-125.
(非專利文獻2) T. Yamamoto,”A new scheme for motion vector predictor encoding”,ITU-T SG16/Q6,32nd VCEG Meeting,San Jose,April 2007.
(非專利文獻3)　小林、鈴木、文()、堀越、”伴隨使用樣式匹配之移動預測方法的預測資訊量削減”、圖像編碼論文集資料、2005,pp.17-18.
在前述的習知技術a、b中，係在近鄰的區塊中沒有對預測有效的參照動向量之情況時，動向量的預測效率會降低。亦被認為不只是將編碼對象區塊之近鄰、也包含更寬範圍的多數個區塊之參照動向量，利用於預測中。但是，在以習知技術之方法進行時，將招致預測效率或編碼效率之惡化。
第15圖係說明習知技術的問題之示意圖。如第15圖所示，在編碼對象區塊之近鄰區塊為物件(object)Obj之境界的情況與有遮蔽(occlusion)的情況(在參照畫像中近鄰區塊之對應點被某個物件隱藏的情況)，又，在物件非為剛體的情況時，該近鄰區塊的參照動向量，有時並不適於編碼對象區塊之動向量預測，或因進行畫面內編碼(intra coding)而不存在參照動向量本身。在此種情況，無論是在習知技術a及習知技術b中之任一個，預測效率皆變差。
另一方面，如第15圖之虛線所示的區塊，有未含於候補中的區塊之動向量對預測變得有效的情況。為了將此種動向量利用於預測中，並非只將最近鄰的區塊當作候補，而是增多成為候補的區塊，此是可以容易類推的。但是，在增多了成為候補的區塊之情況，在習知技術a中恐有非適當的參照動向量含於候補中使得預測效率反而惡化之虞。又，在習知技術b中，由於會招致利用於預測中的參照動向量之識別符之編碼量增加，所以有編碼效率反而惡化之虞。
相對於此，習知技術c，是一種在編碼側不編碼動向量而進行動補償用的動向量預測方法。因此，考慮將之應用於前述習知技術之課題中。亦即，考慮：使用習知技術c之樣式匹配而製作預測動向量，且從此預測動向量與藉由通常的動搜尋而求得的編碼對象區塊之動向量中求出動向量預測殘差並予以編碼。該情況，會有如下問題。
在依習知技術c的動向量預測中，係與習知技術a或習知技術b不同，可不利用編碼對象區塊之近鄰區塊的已編碼動向量而進行搜尋。因此，即使在已編碼動向量並非對預測有效的情況時，亦有可製作有效的預測動向量之可能性。然而，由於只是根據樣式決定預測動向量，所以會有將指向與編碼對象區塊無關的區域之動向量當作預測動向量，使預測效率惡化的情況。
本發明係謀求上述課題之解決，其目的在於提高動向量之預測效率，且提高動畫像之編碼效率。在此，所謂動向量之預測效率，係指成為預測對象的動向量與預測動向量之相似程度之意。具體而言，在此等二個向量之差分向量的長度較小時預測效率會較高。
本發明之概要，係如下所述。本發明，係針對編碼側及解碼側之各區塊，以如下方法進行動向量預測。
(1)將在編碼對象畫像及已編碼畫像之至少一方中，依編碼對象區塊之位置而決定的已編碼之多數個(N個)1次候補區塊之動向量，利用作為1次候補參照動向量。
(2)在解碼側對編碼(解碼)對象區塊開始解碼的時點只利用已解碼的資訊，並求出顯示各1次候補參照動向量只有哪一個適於預測的評估值(以下，稱為可靠度)。
(3)按照可靠度，將1次候補參照動向量調整成M(＜N)個2次候補參照動向量。
(4)利用M個2次候補參照動向量製作預測動向量。
詳言之，在本發明中，係進行以下的處理1至處理3，作為與習知同樣的動向量預測編碼(以下的處理4)之前處理。
[處理1]　將相對於編碼對象畫像中的編碼對象區塊之位置，位於預定的相對位置，且由編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的N個(N為2以上之整數)區塊，設定作為1次候補區塊，且從用於1次候補區塊之編碼的動向量中決定N個1次候補參照動向量。
[處理2]　其次，針對N個1次候補參照動向量之各個，使用已編碼或已解碼之畫像資訊，算出定量表示編碼對象區塊之動向量預測中的有效性之可靠度。
[處理3]　將N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之整數)1次候補參照動向量，選出作為2次候補參照動向量。
[處理4]　使用2次候補參照動向量算出編碼對象區塊之預測動向量，且將以編碼對象區塊之動搜尋求出的動向量、與預測動向量之殘差，編碼作為動向量之編碼資訊。作為使用2次候補參照動向量算出編碼對象區塊之預測動向量的處理，例如可採用如下習知方法：選擇M個2次候補參照動向量之中央值、或選擇M個2次候補參照動向量之中預測殘差最小的2次候補參照動向量，且將該動向量之識別符與預測殘差一起編碼等。
如以上所述，本發明，係不只從編碼對象區塊之近鄰的區塊、而是也從編碼對象畫像及已編碼畫像之至少一方的預定範圍的多數個1次候補區塊之動向量中，決定1次候補參照動向量。然後，針對各個1次候補參照動向量，利用已編碼之資訊、或已解碼之資訊進行可靠度之計算。按照可靠度調整1次候補參照動向量，且將調整後的結果當作2次候補參照動向量。以後的處理，係將2次候補參照動向量當作輸入，並使用例如與習知動向量預測編碼相同的方法求出預測動向量，且對預測動向量與動向量之預測殘差進行編碼。
即使在本發明的動向量預測解碼之情況，也是將預定的多數個1次候補區塊之動向量當作1次候補參照動向量。然後，針對各個1次候補參照動向量，利用已解碼之資訊進行可靠度之計算。按照可靠度調整1次候補參照動向量，且將調整後的結果當作2次候補參照動向量。以後的處理，係將2次候補參照動向量當作輸入，並使用與習知動向量預測解碼相同的方法求出預測動向量，且在解碼後的預測殘差中加上預測動向量而算出動向量。
作為可靠度之算出方法，係有如下的方法：使用例如鄰接於編碼對象區塊的已編碼畫素之集合作為樣式，且算出在參照畫像上以1次候補參照動向量部分將空間上與樣式相同之區域予以錯開後的區域之匹配對象區域與樣式之相似度，且將該相似度當作可靠度。又，亦可將成為算出各1次候補參照動向量之基礎的1次候補區塊之動補償中的解碼預測殘差信號之大小，使用作為可靠度之指標，並算出可靠度。
本發明中，係藉由進行上述處理1至3，而進行參照動向量之調整。該調整，係連在解碼側亦可以沒有來自編碼側之附加資訊來實現，且在2次候補參照動向量中，包含有對預測有效的動向量。因此，可比前述的習知技術a、b及c更提高預測效率。
又，一般而言，當提高動向量之預測效率時，動向量預測殘差之熵(entropy)會減少，且動向量之編碼量會變小。由於動畫像之編碼資料係包含動向量之編碼量，所以可比利用習知技術a、b及c的方式還更可提高動畫像之編碼效率。
又，由於可從多數個1次候補區塊中設定具有多樣性的1次候補參照動向量，且此等的1次候補參照動向量為被利用於編碼的動向量，所以對應動畫像之物件的移動，包含有對動向量預測有效的動向量之可能性較高。本發明中，由於只是針對此等的1次候補參照動向量求出可靠度，所以可實現比習知技術c還更少的演算量且較高的預測效率。
以下，使用圖式詳細說明本發明的實施形態。
第1圖係顯示本發明之實施形態的動畫像編碼裝置之構成例的示意圖。在本實施形態的動畫像編碼裝置1中，尤以動補償部18之部分為與習知技術不同的部分，其他部分，則與H.264及其他使用作為編碼器的習知一般的動畫像編碼裝置相同。
動畫像編碼裝置1，係輸入編碼對象之影像信號，且將輸入影像信號之圖框(frame)分割成區塊(block)並針對每一區塊編碼，然後將該編碼資料輸出作為位元串(bit Stream)。
為了進行該編碼，預測殘差信號算出部10，係求出輸入影像信號與作為動補償部18之輸出的預測信號之差分，且將該差分輸出作為預測殘差信號。正交轉換部11，係對預測殘差信號進行離散餘弦轉換(DCT)等之正交轉換，且輸出轉換係數。量化部12，係將轉換係數予以量化，且輸出該量化後的轉換係數。資訊源編碼部13，係將量化後的轉換係數進行熵編碼，且輸出作為位元串。
另一方面，量化後的轉換係數，亦被輸入至逆量化部14，且在此被逆量化。逆正交轉換部15，係將作為逆量化部14之輸出的轉換係數進行逆正交轉換，且輸出預測殘差解碼信號。在解碼信號算出部16中，係將該預測殘差解碼信號與作為動補償部18之輸出的預測信號予以相加，且生成編碼後的編碼對象區塊之解碼信號。該解碼信號，係為了使用作為動補償部18中的動補償之參照畫像，而被儲存於圖框記憶體17。
動補償部18，係針對編碼對象區塊之影像信號，參照被儲存於圖框記憶體17的參照畫像而進行動搜尋，且輸出編碼對象區塊之預測信號。又，動補償部18，係為了亦針對動搜尋結果之動向量進行預測編碼，而使用已編碼之資訊進行動向量之預測，且算出動搜尋結果之動向量、與預測動向量之差分，並將結果當作動向量預測殘差而輸出至資訊源編碼部13。
在此，動補償部18，在進行動向量之預測時，並非只使用位於編碼對象區塊之近鄰的已編碼區塊之動向量，而是對編碼對象區塊之位置，設定位於預定之相對位置的多數個已編碼之1次候補區塊；且從用於該1次候補區塊之編碼的動向量中設定1次候補參照動向量；且從已編碼之資訊中算出該1次候補參照動向量之可靠度；且在按照可靠度調整成少數個2次候補參照動向量之後，使用2次候補參照動向量算出預測動向量。使用2次候補參照動向量算出預測動向量的處理，係可使用與習知技術相同的動向量之預測手法來進行。
第2圖係顯示第1圖所示的動補償部18之詳細構成例的示意圖。如第2圖所示，動補償部18，係具備動搜尋部181、動向量記憶體182、1次候補區塊之動向量讀出部183、可靠度計算部184、參照動向量決定部185、動向量預測部186及動向量預測殘差算出部187。
在編碼對象區塊之編碼中的動補償中，首先，動補償部181，係針對輸入影像信號之編碼對象區塊，進行與已編碼之參照對象的解碼信號對照的動搜尋，且生成預測信號並予以輸出，並且輸出顯示匹配位置的動向量。該動向量係儲存於動向量記憶體182，又輸出至動向量預測殘差算出部187。
1次候補區塊之動向量讀出部183，係讀出過去被編碼並儲存於動向量記憶體182之位於預定位置的N個(N為2以上之整數)1次候補區塊之動向量，且將此等動向量設定作為1次候補參照動向量，且通知可靠度計算部184。
可靠度計算部184，係針對N個1次候補參照動向量之各個，使用已編碼之畫像資訊(解碼信號)，算出定量表示編碼對象區塊之動向量預測中之有效性的可靠度。
參照動向量決定部185，係將依可靠度計算部184所算出的可靠度較大之順序從高階起M個(M為1以上且未滿N之整數)1次候補參照動向量，選出作為2次候補參照動向量。
動向量預測部186，係使用參照動向量決定部185所選出的2次候補參照動向量，算出編碼對象區塊之預測動向量。在該動向量預測部186的預測動向量之算出方法係可與習知技術相同，例如將2次候補參照動向量之中的中央值(中值)當作預測動向量。又，將具有2次候補參照動向量之中與動搜尋部181所求出的動向量最接近之值者當作預測動向量，且將顯示該動向量的識別符除了通知編碼對象外還可通知解碼側。
動向量預測殘差算出部187，係算出動搜尋部181所算出的動向量、與動向量預測部186所算出的預測動向量之殘差，且將所算出的殘差輸出作為動向量預測殘差。
第3圖係顯示本發明之實施形態的動畫像解碼裝置之構成例的示意圖。在本實施形態的動畫像解碼裝置2中，尤以動補償部25之部分為與習知技術不同的部分，其他部分，則與H.264及其他使用作為解碼器的習知一般的動畫像解碼裝置相同。
動畫像解碼裝置2，係藉由輸入依第1圖所示的動畫像編碼裝置1而編碼後的位元串並予以解碼而輸出解碼畫像之解碼信號。
為了進行該解碼，資訊源解碼部20，係根據所輸入的位元串，對解碼對象區塊之量化轉換係數進行熵解碼，並且解碼動向量預測殘差。逆量化部21，係輸入量化轉換係數，且將此逆量化而輸出解碼轉換係數。逆正交轉換部22，係對解碼轉換係數施予逆正交轉換，且輸出解碼預測殘差信號。在解碼信號算出部23中，係藉由將在動補償部25生成的預測信號與解碼預測殘差信號予以相加，而生成解碼對象區塊之解碼信號。該解碼信號，係輸出至顯示裝置等之外部裝置，並且為了使用作為動補償部25中的動補償之參照畫像，而被儲存於圖框記憶體24。
動補償部25，係使用被儲存於圖框記憶體24的已解碼之資訊進行動向量之預測，且將該預測動向量與資訊源解碼部20所解碼的動向量預測殘差予以相加而算出動向量，且以該動向量為基礎而參照圖框記憶體24之參照畫像，生成解碼對象區塊之預測信號。
在此，動補償部25，在進行動向量之預測時，並非只使用位於解碼對象區塊之近鄰的已解碼區塊之動向量，而是對解碼對象區塊之位置，設定位於預定之相對位置的多數個已解碼之1次候補區塊；且從用於該1次候補區塊之解碼的動向量中設定1次候補參照動向量。又，動補償部25，係從已解碼之資訊中算出該1次候補參照動向量之可靠度，且在按照可靠度而調整成少數個2次候補參照動向量之後，使用2次候補參照動向量算出預測動向量。使用2次候補參照動向量算出預測動向量的處理，係可使用與習知技術相同的動向量之預測手法來進行。
第4圖係顯示第3圖所示的動補償部25之詳細構成例的示意圖。如第4圖所示，動補償部25，係具備動向量算出部251、預測信號製作部252、動向量記憶體253、1次候補區塊之動向量讀出部254、可靠度計算部255、參照動向量決定部256及動向量預測部257。
在解碼對象區塊之解碼中的動補償中，首先，動向量算出部251，係將對編碼位元串解碼所得的動向量預測殘差、與動向量預測部257使用已解碼之資訊預測到的預測動向量予以相加，且輸出用於解碼的動向量。該動向量係儲存於動向量記憶體253，又輸出至預測信號製作部252。預測信號製作部252，係讀出所輸入之動向量顯示的參照畫像位置之解碼信號，且輸出作為解碼對象區塊之預測信號。
1次候補區塊之動向量讀出部254，係讀出過去被解碼並儲存於動向量記憶體253之位於預定位置的N個(N為2以上之整數)1次候補區塊之動向量，且將此等動向量設定作為1次候補參照動向量，且通知可靠度計算部255。
可靠度計算部255，係針對N個1次候補參照動向量之各個，使用已解碼之畫像資訊(解碼信號)，算出定量表示解碼對象區塊之動向量預測中之有效性的可靠度。
參照動向量決定部256，係將依可靠度計算部255所算出的可靠度較大之順序從高階起M個(M為1以上且未滿N之整數)1次候補參照動向量，選出作為2次候補參照動向量。
動向量預測部257，係使用參照動向量決定部256所選出的2次候補參照動向量，算出解碼對象區塊之預測動向量。在該動向量預測部257的預測動向量之算出方法係可與習知技術相同，例如將2次候補參照動向量之中的中央值(中值)當作預測動向量。或是，在編碼側指定用於預測的動向量之識別符的情況時，將該識別符顯示的動向量當作預測動向量。
其次，按照第5圖至第10B圖說明動畫像編碼裝置1中的動補償部18及動畫像解碼裝置2中的動補償部25所進行的處理之中、與本發明關聯的動向量預測之處理。以下，雖然主要是以編碼側的動向量預測之處理為中心加以說明，但是解碼側的動向量預測之處理也是完全相同。
第5圖係顯示動向量預測處理的流程圖。
[步驟S1之處理]
最初，1次候補區塊之動向量讀出部183(或254)，係將N個1次候補區塊之動向量，從動向量記憶體182(或253)讀出。
在此，按照第6A圖及第6B圖說明1次候補區塊之設定例。1次候補區塊，係可從編碼(解碼)對象圖像(picture)中選擇並設定，亦可從已編碼圖像中選擇並設定。
第6A圖係顯示將編碼對象圖像3內之已編碼區塊設定作為1次候補區塊之例。在該情況下，位於編碼對象區塊31之近鄰的多數個(此例中為10個)已編碼區塊B1至B10係被設定作為1次候補區塊。即使在解碼側，亦可將位於與在編碼側所用的1次候補區塊相同之位置的已解碼區塊，設定作為1次候補區塊。
第6B圖係顯示將已編碼圖像30內之已編碼區塊設定作為1次候補區塊之例。例如，當位於已編碼圖像30內的區塊B11(對應位置區塊)之位置，為與編碼對象圖像3中的編碼對象區塊31之位置相同時，就將該區塊B11與其周圍之幾個區塊B12至B19設定作為1次候補區塊。
為了從1次候補區塊群組中，設定儘量具有多樣性的1次候補參照動向量，而較佳為組合如第6A圖從編碼對象圖像3中選擇1次候補區塊的方法、及如第6B圖從已編碼圖像30中選擇1次候補區塊的方法。例如，從編碼對象圖像3中選擇N1 個已編碼區塊，且從已編碼圖像30中選擇N2 個已編碼區塊，並設定合計N個(N=N1 +N2 )1次候補區塊。
另外，不僅是將1張已編碼圖像之區塊設定作為1次候補區塊，亦可將複數張已編碼圖像之區塊設定作為1次候補區塊。
[步驟S2之處理]
1次候補區塊之動向量讀出部183，係針對N個1次候補區塊之各個，判定是否為已編碼圖像(或是已解碼圖像)之區塊。在1次候補區塊為已編碼圖像之區塊時，1次候補區塊之動向量讀出部183，就會執行下一個步驟S3。
[步驟S3之處理]
若1次候補區塊為已編碼圖像之區塊，則並非是將利用於該編碼的動向量本身當作1次候補參照動向量，而是以對應編碼對象圖像之參照畫像的方式加工動向量。
動向量之加工，例如是進行如下。當將編碼對象區塊的圖像之時刻設為Ts 、將包含1次候補區塊(利用於編碼的動向量為Vc )的已編碼圖像之時刻設為Tc 、將編碼對象區塊所參照的圖像之時刻設為Tr 、將1次候補區塊所參照的圖像之時刻設為Tr2 時，可藉由以下之數式算出1次候補參照動向量V。
V=Vc ×(Tr -Ts )/(Tr2 -Tc )
上述的圖像之「時刻」，只要是圖像之顯示時刻資訊、或以H.264之規格定義的POC(Picture Order Count：圖像序列號)等顯示圖像之相對的時間關係者，則可為任何形式。
第7圖係係顯示1次候補參照動向量對已編碼圖像之1次候補區塊的設定例。已編碼圖像，若為畫面間圖像(inter picture)(進行動補償並編碼的圖像)，則可為任何的圖像。例如，有在H.264中的B圖像之情況、可利用前後的P圖像之情況。
在第7圖之例中，P2為編碼對象圖像3，P4為存在1次候補區塊的已編碼圖像30。又，P1至P4之中，P1與P4為P圖像，P2與P3為B圖像。P2之編碼對象圖像3係將P4之已編碼圖像30當作參照畫像，而P4之已編碼圖像30係將P1當作參照畫像。
P4之已編碼圖像30中的1次候補區塊之動向量VP4 (圖中，虛線的箭頭)，係相對於P1之已編碼圖像者。因而，從P1與P4間的時間距離L1及P2與P4間的時間距離L2以及參照之方向性中，1次候補參照動向量V(圖中，實線的箭頭)，可藉由下式算出。
V=-VP4 ×L2/L1
亦即，當適用於算出前述的1次候補參照動向量V之數式「V=Vc ×(Tr -Ts )/(Tr2 -Tc )」時，成為VP4 =Vc ，而圖像P2之時刻成為Ts ，圖像P4之時刻成為Tc =Tr ，圖像P1之時刻成為Tr2 。藉由此數式，可加工1次候補區塊之動向量VP4 ，並使用作為1次候補參照動向量V。
[步驟S4之處理]
1次候補區塊之動向量讀出部183(或254)，係將藉由以上之處理從N個1次候補區塊中所得的動向量，設定作為1次候補參照動向量，且通知可靠度計算部184(或255)。
[步驟S5之處理]
可靠度計算部184(或255)，係針對設定後之N個1次候補參照動向量之各個，使用已編碼之資訊算出可靠度。在此，可靠度，係指定量表現編碼(解碼)對象區塊之動向量預測中的1次候補參照動向量之有效性者。該可靠度，係針對N個1次候補參照動向量，在解碼側開始編碼對象區塊之解碼的時點只利用已解碼之資訊來計算。
第8圖係顯示可靠度算出處理之一例的流程圖。又，第9圖係說明使用樣式匹配的可靠度之求出方法的示意圖。
作為可靠度之求出方法的一例，係針對應用樣式匹配的方法加以說明。在第9圖之編碼對象圖像3中，求出編碼對象區塊31之預測動向量。樣式32，係鄰接於編碼對象區塊31之已編碼畫素的集合(此例中為由編碼對象區塊31之左與上的畫素群所構成的倒L字型之區域)。另外，倒L字型之區域的寬度(厚度)，例如雖然為2畫素左右，但是亦可為1畫素或可為3畫素以上。參照畫像4，係已編碼或已解碼之圖像。參照畫像4中的對應位置區塊41，係位於與編碼對象圖像3內的編碼對象區塊31之位置相同的位置之區塊。
在第8圖之可靠度算出處理中，在步驟S51，係在參照畫像4上，求出以欲計算可靠度的1次候補參照動向量Vi部分，將空間上與樣式32相同的區域(鄰接於對應位置區塊41的倒L字型之區域)予以錯開後的區域，且將此區域取得作為匹配對象區域42。
其次，在步驟S52中，係算出編碼對象區塊31之樣式32、與參照畫像4中的匹配對象區域42之相似度，且將此相似度設定作為1次候補參照動向量Vi之可靠度。
作為相似度指標之一例，係有SAD(Sum of Absolute Differences：絕對誤差和)。由於SAD越小，該1次候補參照動向量Vi，接近編碼對象區塊31之移動的可能性就越高，所以可獲得可靠度較高的參照動向量。作為可靠度計算部184所利用的可靠度之指標，只要顯示樣式32與匹配對象區域42之相似度者，亦可為其他。除了前述的SAD以外亦可使用SSD(Sum of Squared Differences：平方誤差和)、SATD(Sum of Absolute Transformed Differences：絕對轉換誤差和)等。此等均成為表示值越小可靠度越高的尺度。
樣式32，由於與編碼對象區塊31之畫像信號的關聯較高，所以當使用依此的相似度時，就可指定對動向量預測有效的2次候補參照區塊。
又，作為算出可靠度的其他方法，亦可使用例用1次候補區塊之動補償中的解碼預測殘差信號之大小的方法。在解碼預測殘差信號較大時，該1次候補區塊為被攝體境界之可能性較高，因而成為對動向量預測非為有效的動向量之可能性較高。因此，解碼預測殘差信號越小可靠度就越高。作為解碼預測殘差信號之大小的指標，係可採用解碼預測殘差信號之絕對值和、自乘和(平方和)等。
[步驟S6之處理]
其次，在參照動向量決定部185(或256)中，根據各1次候補參照動向量之可靠度資訊，將N個1次候補參照動向量調整成M個(1≦M＜N)2次候補參照動向量。
第10A圖係參照動向量決定處理之流程圖。在步驟S61中，參照動向量決定部185，係依下降順序地排列以可靠度計算部184計算所得的1次候補參照動向量之可靠度，且將可靠度為高階M個1次候補參照動向量設定作為2次候補參照動向量。
第10B圖係其他的參照動向量決定處理之流程圖，且顯示考慮到1次候補參照動向量之數未滿M個情況時之參照動向量決定處理之例。
例如，在1次候補參照動向量中包含有多數個畫面內區塊(intra block)的情況等，有可能1次候補參照動向量之數未滿預定數之M個情況。在該情況下，係以如下決定2次候補參照動向量作為參照動向量。
首先，在步驟S62中，判定1次候補參照動向量之數N是否比M大。在N大於M時，處理會前進至步驟S63，且與前述的步驟S61同樣，針對可靠度將高階M個1次候補參照動向量設定作為2次候補參照動向量。在可實際使用的1次候補參照動向量之數N並未比M還大時，處理就會前進至步驟S64，且將N個1次候補參照動向量設定作為2次候補參照動向量。
[步驟S7之處理]
動向量預測部186(或257)，係利用參照動向量決定部185所選出的2次候補參照動向量，並製作編碼對象區塊之預測動向量。本實施形態中重要之點，係在於藉由可靠度來調整多數個1次候補參照動向量，藉此使用可靠度較高的2次候補參照動向量，求出用以算出動向量預測殘差的預測動向量。因而，從2次候補參照動向量求出預測動向量的處理，係可與第11圖或第12圖中說明的習知技術之動向量預測部103(或204)之處理相同。但是，並非是一定要為與習知技術相同的處理，亦可藉由不同的處理求出預測動向量，並實施本實施形態。
在以上之例中，業已說明從N個1次候補區塊中設定N個1次候補參照動向量之例。但是，更可以如下設定1次候補參照動向量。當將已編碼區塊之動向量當作候補時，有關此等的動向量即使針對預定範圍內的動向量，亦可當作1次候補參照動向量。例如，在將某個已編碼區塊之動向量設為(10,20)，且將預定範圍，於X、Y方向分別設為±1之範圍的情況，除了(10,20)之動向量以外，(9,20)、(11,20)、(10,19)、(10,21)、(9,19)、(9,21)、(11,19)及(11,21)之動向量也可當作候補。換句話說，相對於1個已編碼區塊之動向量，合計9個1次候補參照動向量會成為候補。將最初納入候補的已編碼區塊之動向量設為K個，當K個全部之周邊也納入候補時，就利用9×K個1次候補參照動向量。但是，只要與解碼側共通，則並非是將全部的已編碼區塊之動向量的周邊納入候補，亦可為一部分。
作為此種的設定效果，可列舉將已編碼區塊之動向量的周邊也納入考慮，藉此更提高動向量之預測效率。
以上說明的動向量預測編碼之處理及動向量預測解碼之處理，即使藉由電腦與軟體程式亦可實現。又，將該程式記錄於電腦可讀取之記錄媒體，亦可透過網路來提供。
以上，雖然已參照圖式詳述本發明之實施形態，但是具體的構成並非被限於此等實施形態，亦可包含未脫離本發明之要旨的範圍之設計等(構成之附加、省略、置換、及其他的變更)。本發明並未依前述的說明而被限定，只受所檢附的申請專利範圍所限定。
(產業上之可利用性)
本發明係例如可用於預測編碼動向量的動畫像編碼。依據本發明，可提高動向量之預測效率，且可提高動畫像之編碼效率。
1．．．動畫像編碼裝置
2．．．動畫像解碼裝置
3．．．編碼對象圖像
4．．．參照畫像
10．．．預測殘差信號算出部
11．．．正交轉換部
12．．．量化部
13．．．資訊源編碼部
14、21．．．逆量化部
15、22．．．逆正交轉換部
16．．．解碼信號算出部
17、24．．．圖框記憶體
18、25、100．．．動補償部
20．．．資訊源解碼部
23．．．解碼信號算出部
31．．．編碼對象區塊
32．．．樣式
41．．．對應位置區塊
42．．．匹配對象區域
101、181．．．動搜尋部
102、182、253．．．動向量記憶體
103、186、257．．．動向量預測部
104．．．預測殘差算出部
183、254．．．1次候補區塊之動向量讀出部
184、255．．．可靠度計算部
185、256．．．參照動向量決定部
187．．．動向量預測殘差算出部
251．．．動向量算出部
252．．．預測信號製作部
B1至B10．．．已編碼區塊
Vi．．．動向量(1次候補參照動向量)
第1圖係顯示本發明之實施形態的動畫像編碼裝置之構成例的示意圖。
第2圖係顯示第1圖之動補償部的詳細構成例之示意圖。
第3圖係顯示本發明之實施形態的動畫像解碼裝置之構成例的示意圖。
第4圖係顯示第3圖之動補償部的詳細構成例之示意圖。
第5圖係動向量預測處理的流程圖。
第6A圖係說明1次候補區塊之設定例的示意圖。
第6B圖係說明1次候補區塊之設定例的示意圖。
第7圖係說明1次候補參照動向量之設定例的示意圖。
第8圖係顯示可靠度算出處理之一例的流程圖。
第9圖係說明使用樣式匹配的可靠度求出方法之示意圖。
第10A圖係參照動向量決定處理的流程圖。
第10B圖係其他的參照動向量決定處理之流程圖。
第11圖係顯示習知動畫像編碼裝置中之動補償部之構成例的方塊圖。
第12圖係顯示習知動畫像解碼裝置中之動補償部之構成例的方塊圖。
第13圖係說明習知動向量的預測編碼方式之例的示意圖。
第14圖係說明依習知樣式匹配之動向量預測的示意圖。
第15圖係說明習知技術之問題的示意圖。
18．．．動補償部
181．．．動搜尋部
182．．．動向量記憶體
183．．．1次候補區塊之動向量讀出部
184．．．可靠度計算部
185．．．參照動向量決定部
186．．．動向量預測部
187．．．動向量預測殘差算出部

Claims (18)

  1. 一種動向量預測編碼方法，係將編碼對象畫像分割成區塊，且針對每一區塊使用動補償予以編碼的動畫像編碼方式中之動向量預測編碼方法，其具有：使用已編碼之參照畫像，進行前述編碼對象畫像中的編碼對象區塊之動搜尋，而算出動向量的步驟；將相對於前述編碼對象畫像中的前述編碼對象區塊之位置，位於預定的相對位置，且由前述編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之編碼的動向量中決定N個(N為2以上之整數)1次候補參照動向量的步驟；針對前述1次候補參照動向量之各個使用已編碼之畫像資訊，算出定量表示前述1次候補參照動向量之前述編碼對象區塊之動向量預測中的有效性之可靠度的步驟；將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量的步驟；以及使用前述2次候補參照動向量算出前述編碼對象區塊之預測動向量，且將以前述編碼對象區塊之動搜尋所求出的前述動向量、與前述預測動向量之殘差，編碼作為前述動向量之編碼資訊的步驟；並且 在從前述N個1次候補參照動向量之中選出前述2次候補參照動向量之步驟中，係將前述可靠度較大之高階複數個1次候補參動照向量選出作為前述2次候補參照動向量。
  2. 一種動向量預測編碼方法，係將編碼對象畫像分割成區塊，且針對每一區塊使用動補償予以編碼的動畫像編碼方式中之動向量預測編碼方法，其具有：使用已編碼之參照畫像，進行前述編碼對象畫像中的編碼對象區塊之動搜尋，而算出動向量的步驟；將相對於前述編碼對象畫像中的前述編碼對象區塊之位置，位於預定的相對位置，且由前述編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之編碼的動向量中決定N個(N為2以上之整數)1次候補參照動向量的步驟；針對前述1次候補參照動向量之各個使用已編碼之畫像資訊，算出定量表示前述1次候補參照動向量之前述編碼對象區塊之動向量預測中的有效性之可靠度的步驟；將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量的步驟；以及使用前述2次候補參照動向量算出前述編碼對象 區塊之預測動向量，且將以前述編碼對象區塊之動搜尋所求出的前述動向量、與前述預測動向量之殘差，編碼作為前述動向量之編碼資訊的步驟；並且在算出前述1次候補參照動向量之可靠度的步驟中，使用鄰接於前述編碼對象區塊的已編碼畫素之集合作為樣式，且將在前述參照畫像上以前述1次候補參照動向量之部分錯開前述樣式之區域後的區域，設定作為匹配對象區域；且將前述樣式之前述已編碼畫素之集合與前述匹配對象區域中的畫素之集合的相似度，算出作為前述可靠度。
  3. 一種動向量預測編碼方法，係將編碼對象畫像分割成區塊，且針對每一區塊使用動補償予以編碼的動畫像編碼方式中之動向量預測編碼方法，其具有：使用已編碼之參照畫像，進行前述編碼對象畫像中的編碼對象區塊之動搜尋，而算出動向量的步驟；將相對於前述編碼對象畫像中的前述編碼對象區塊之位置，位於預定的相對位置，且由前述編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之編碼的動向量中決定N個(N為2以上之整數)1次候補參照動向量的步驟；針對前述1次候補參照動向量之各個使用已編碼之畫像資訊，算出定量表示前述1次候補參照動向量之前述編碼對象區塊之動向量預測中的有效性之可靠度 的步驟；將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量的步驟；以及使用前述2次候補參照動向量算出前述編碼對象區塊之預測動向量，且將以前述編碼對象區塊之動搜尋所求出的前述動向量、與前述預測動向量之殘差，編碼作為前述動向量之編碼資訊的步驟；並且在算出前述1次候補參照動向量之可靠度的步驟中，係將有關前述1次候補參照動向量的1次候補區塊之動補償中的解碼預測殘差信號之大小當作可靠度之指標，而算出前述可靠度。
  4. 如申請專利範圍第1項至第3項中任一項所述之動向量預測編碼方法，其中，在應設定N個前述1次候補參照動向量只能設定比前述M個還小的M’個之情況時，將M’個1次候補參照動向量，選出作為前述2次候補參照動向量。
  5. 如申請專利範圍第1項至第3項中任一項所述之動向量預測編碼方法，其中，在決定前述1次候補參照動向量的步驟中，係從用於前述1次候補區塊之編碼的前述動向量、與以該動向量之各個為基準的預定範圍內之動向量中，決定前述1次候補參照動向量。
  6. 一種動向量預測解碼方法，係將被分割成區塊並編碼後 的動畫像之解碼對象畫像，針對每一區塊使用動補償予以解碼的動畫像解碼方式中之動向量預測解碼方法，其具有：將解碼對象區塊之動向量預測殘差予以解碼的步驟；將相對於前述解碼對象畫像中的前述解碼對象區塊之位置，位於預定的相對位置，且由前述解碼對象畫像中的已解碼區塊及已解碼畫像中的已解碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之解碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量的步驟；針對前述1次候補參照動向量之各個使用已解碼之畫像資訊，算出前述1次候補參照動向量之定量表示前述解碼對象區塊之動向量預測中的有效性之可靠度的步驟；將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量的步驟；以及使用前述2次候補參照動向量算出前述解碼對象區塊之預測動向量，且對前述解碼後的動向量預測殘差加上前述預測動向量，而算出前述解碼對象區塊之動向量的步驟；並且在從前述N個1次候補參照動向量之中選出前述2次候補參照動向量之步驟中，係將前述可靠度較大之高 階複數個1次候補參動照向量選出作為前述2次候補參照動向量。
  7. 一種動向量預測解碼方法，係將被分割成區塊並編碼後的動畫像之解碼對象畫像，針對每一區塊使用動補償予以解碼的動畫像解碼方式中之動向量預測解碼方法，其具有：將解碼對象區塊之動向量預測殘差予以解碼的步驟；將相對於前述解碼對象畫像中的前述解碼對象區塊之位置，位於預定的相對位置，且由前述解碼對象畫像中的已解碼區塊及已解碼畫像中的已解碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之解碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量的步驟；針對前述1次候補參照動向量之各個使用已解碼之畫像資訊，算出前述1次候補參照動向量之定量表示前述解碼對象區塊之動向量預測中的有效性之可靠度的步驟；將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量的步驟；以及使用前述2次候補參照動向量算出前述解碼對象區塊之預測動向量，且對前述解碼後的動向量預測殘差加上前述預測動向量，而算出前述解碼對象區塊之動向 量的步驟；並且在算出前述1次候補參照動向量之可靠度的步驟中，係使用鄰接於前述解碼對象區塊的已解碼畫素之集合作為樣式，且將在已解碼之參照畫像上以前述1次候補參照動向量部分錯開前述樣式之區域後的區域，設定作為匹配對象區域；且將前述樣式之前述已解碼畫素之集合與前述匹配對象區域中的畫素之集合的相似度，算出作為前述可靠度。
  8. 一種動向量預測解碼方法，係將被分割成區塊並編碼後的動畫像之解碼對象畫像，針對每一區塊使用動補償予以解碼的動畫像解碼方式中之動向量預測解碼方法，其具有：將解碼對象區塊之動向量預測殘差予以解碼的步驟；將相對於前述解碼對象畫像中的前述解碼對象區塊之位置，位於預定的相對位置，且由前述解碼對象畫像中的已解碼區塊及已解碼畫像中的已解碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之解碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量的步驟；針對前述1次候補參照動向量之各個使用已解碼之畫像資訊，算出前述1次候補參照動向量之定量表示前述解碼對象區塊之動向量預測中的有效性之可靠度的步驟；將前述N個1次候補參照動向量之中可靠度較大 之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量的步驟；以及使用前述2次候補參照動向量算出前述解碼對象區塊之預測動向量，且對前述解碼後的動向量預測殘差加上前述預測動向量，而算出前述解碼對象區塊之動向量的步驟；並且在算出前述1次候補參照動向量之可靠度的步驟中，係將有關前述1次候補參照動向量的1次候補區塊之動補償中的解碼預測殘差信號之大小(小的程度)當作可靠度之指標，而算出前述可靠度。
  9. 如申請專利範圍第6項至第8項中任一項所述之動向量預測解碼方法，其中，在應設定N個1次候補參照動向量只能設定比前述M個還小的M’個之情況時，將M’個1次候補參照動向量，選出作為前述2次候補參照動向量。
  10. 如申請專利範圍第6項至第8項中任一項所述之動向量預測解碼方法，其中，在決定前述1次候補參照動向量的步驟中，係從用於前述1次候補區塊之解碼的動向量、與以該動向量之各個為基準的預定範圍內之動向量中，決定前述1次候補參照動向量。
  11. 一種動畫像編碼裝置，係將編碼對象畫像分割成區塊，且針對每一區塊使用動補償來編碼動畫像者，其具備：動搜尋部，使用已編碼之參照畫像，進行前述編碼 對象畫像中的編碼對象區塊之動搜尋，且算出動向量；1次候補參照動向量決定部，將相對於前述編碼對象畫像中的前述編碼對象區塊之位置，位於預定的相對位置，且由前述編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之編碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量；可靠度計算部，針對前述1次候補參照動向量之各個使用已編碼之畫像資訊，算出定量表示前述1次候補參照動向量之前述編碼對象區塊之動向量預測中的有效性之可靠度；參照動向量決定部，將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量；以及動向量編碼部，使用前述2次候補參照動向量算出前述編碼對象區塊之預測動向量，且將以前述編碼對象區塊之動搜尋所求出的前述動向量、與前述預測動向量之殘差，編碼作為前述動向量之編碼資訊；其中前述參照動向量決定部係從前述N個1次候補參照動向量之中，將前述可靠度較大之高階複數個1次候補參動照向量選出作為前述2次候補參照動向量。
  12. 一種動畫像編碼裝置，係將編碼對象畫像分割成區塊， 且針對每一區塊使用動補償來編碼動畫像者，其具備：動搜尋部，使用已編碼之參照畫像，進行前述編碼對象畫像中的編碼對象區塊之動搜尋，且算出動向量；1次候補參照動向量決定部，將相對於前述編碼對象畫像中的前述編碼對象區塊之位置，位於預定的相對位置，且由前述編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之編碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量；可靠度計算部，針對前述1次候補參照動向量之各個使用已編碼之畫像資訊，算出定量表示前述1次候補參照動向量之前述編碼對象區塊之動向量預測中的有效性之可靠度；參照動向量決定部，將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量；以及動向量編碼部，使用前述2次候補參照動向量算出前述編碼對象區塊之預測動向量，且將以前述編碼對象區塊之動搜尋所求出的前述動向量、與前述預測動向量之殘差，編碼作為前述動向量之編碼資訊；其中在前述可靠度計算部中，係使用鄰接於前述編碼對象區塊的已編碼畫素之集合作為樣式，且將在前述參照 畫像上以前述1次候補參照動向量之部分錯開前述樣式之區域後的區域，設定作為匹配對象區域；且將前述樣式之前述已編碼畫素之集合與前述匹配對象區域中的畫素之集合的相似度，算出作為前述可靠度。
  13. 一種動畫像編碼裝置，係將編碼對象畫像分割成區塊，且針對每一區塊使用動補償來編碼動畫像者，其具備：動搜尋部，使用已編碼之參照畫像，進行前述編碼對象畫像中的編碼對象區塊之動搜尋，且算出動向量；1次候補參照動向量決定部，將相對於前述編碼對象畫像中的前述編碼對象區塊之位置，位於預定的相對位置，且由前述編碼對象畫像中的已編碼區塊及已編碼畫像中的已編碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之編碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量；可靠度計算部，針對前述1次候補參照動向量之各個使用已編碼之畫像資訊，算出定量表示前述1次候補參照動向量之前述編碼對象區塊之動向量預測中的有效性之可靠度；參照動向量決定部，將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量；以及動向量編碼部，使用前述2次候補參照動向量算出 前述編碼對象區塊之預測動向量，且將以前述編碼對象區塊之動搜尋所求出的前述動向量、與前述預測動向量之殘差，編碼作為前述動向量之編碼資訊；其中在前述可靠度計算部中，係將有關前述1次候補參照動向量的1次候補區塊之動補償中的解碼預測殘差信號之大小當作可靠度之指標，而算出前述可靠度。
  14. 一種動畫像解碼裝置，係將被分割成區塊並編碼後的動畫像之解碼對象畫像，針對每一區塊使用動補償予以解碼者，其具備：資訊源解碼部，將解碼對象區塊之動向量預測殘差予以解碼；1次候補參照動向量決定部，將相對於前述解碼對象畫像中的前述解碼對象區塊之位置，位於預定的相對位置，且由前述解碼對象畫像中的已解碼區塊及已解碼畫像中的已解碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之解碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量；可靠度計算部，針對前述1次候補參照動向量之各個使用已解碼之畫像資訊，算出前述1次候補參照動向量之定量表示前述解碼對象區塊之動向量預測中的有效性之可靠度；參照動向量決定部，將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N 之預定整數)1次候補參照動向量，選出作為2次候補參照動向量；以及動向量算出部，使用前述2次候補參照動向量算出前述解碼對象區塊之預測動向量，且對前述解碼後的動向量預測殘差加上前述預測動向量，而算出前述解碼對象區塊之動向量；其中前述參照動向量決定部係從前述N個1次候補參照動向量之中，將前述可靠度較大之高階複數個1次候補參動照向量選出作為前述2次候補參照動向量。
  15. 一種動畫像解碼裝置，係將被分割成區塊並編碼後的動畫像之解碼對象畫像，針對每一區塊使用動補償予以解碼者，其具備：資訊源解碼部，將解碼對象區塊之動向量預測殘差予以解碼；1次候補參照動向量決定部，將相對於前述解碼對象畫像中的前述解碼對象區塊之位置，位於預定的相對位置，且由前述解碼對象畫像中的已解碼區塊及已解碼畫像中的已解碼區塊之至少一方所構成的複數個區塊，設定作為1次候補區塊，且從用於前述1次候補區塊之解碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量；可靠度計算部，針對前述1次候補參照動向量之各個使用已解碼之畫像資訊，算出前述1次候補參照動向量之定量表示前述解碼對象區塊之動向量預測中的有 效性之可靠度；參照動向量決定部，將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量；以及動向量算出部，使用前述2次候補參照動向量算出前述解碼對象區塊之預測動向量，且對前述解碼後的動向量預測殘差加上前述預測動向量，而算出前述解碼對象區塊之動向量；其中在前述可靠度計算部中，係使用鄰接於前述編碼對象區塊的已編碼畫素之集合作為樣式，且將在前述參照畫像上以前述1次候補參照動向量之部分錯開前述樣式之區域後的區域，設定作為匹配對象區域；且將前述樣式之前述已編碼畫素之集合與前述匹配對象區域中的畫素之集合的相似度，算出作為前述可靠度。
  16. 一種動畫像解碼裝置，係將被分割成區塊並編碼後的動畫像之解碼對象畫像，針對每一區塊使用動補償予以解碼者，其具備：資訊源解碼部，將解碼對象區塊之動向量預測殘差予以解碼；1次候補參照動向量決定部，將相對於前述解碼對象畫像中的前述解碼對象區塊之位置，位於預定的相對位置，且由前述解碼對象畫像中的已解碼區塊及已解碼畫像中的已解碼區塊之至少一方所構成的複數個區 塊，設定作為1次候補區塊，且從用於前述1次候補區塊之解碼的動向量中，決定N個(N為2以上之整數)1次候補參照動向量；可靠度計算部，針對前述1次候補參照動向量之各個使用已解碼之畫像資訊，算出前述1次候補參照動向量之定量表示前述解碼對象區塊之動向量預測中的有效性之可靠度；參照動向量決定部，將前述N個1次候補參照動向量之中可靠度較大之高階M個(M為1以上且未滿N之預定整數)1次候補參照動向量，選出作為2次候補參照動向量；以及動向量算出部，使用前述2次候補參照動向量算出前述解碼對象區塊之預測動向量，且對前述解碼後的動向量預測殘差加上前述預測動向量，而算出前述解碼對象區塊之動向量；其中在前述可靠度計算部中，係將有關前述1次候補參照動向量的1次候補區塊之動補償中的解碼預測殘差信號之大小當作可靠度之指標，而算出前述可靠度。
  17. 一種動向量預測編碼程式，係供電腦執行申請專利範圍第1項至第5項中任一項所述的動向量預測編碼方法。
  18. 一種動向量預測解碼程式，係供電腦執行申請專利範圍第6項至第10項中任一項所述的動向量預測解碼方法。
TW100104093A 2010-02-09 2011-02-08 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式 TWI450592B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010026130 2010-02-09

Publications (2)

Publication Number Publication Date
TW201210349A TW201210349A (en) 2012-03-01
TWI450592B true TWI450592B (zh) 2014-08-21

Family

ID=44367741

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100104093A TWI450592B (zh) 2010-02-09 2011-02-08 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式

Country Status (11)

Country Link
US (1) US9497481B2 (zh)
EP (1) EP2536150B1 (zh)
JP (1) JP5367098B2 (zh)
KR (2) KR20120112724A (zh)
CN (1) CN102823249B (zh)
BR (1) BR112012019676A2 (zh)
CA (1) CA2788954A1 (zh)
ES (1) ES2652337T3 (zh)
RU (1) RU2519526C2 (zh)
TW (1) TWI450592B (zh)
WO (1) WO2011099468A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
EP2536149A4 (en) * 2010-02-09 2015-06-24 Nippon Telegraph & Telephone PREDICTIVE CODING METHOD FOR MOTION VECTORS, PREDICTIVE DECODING METHOD FOR MOTION VECTORS, VIDEO CODING DEVICE, VIDEO CODING DEVICE AND PROGRAMS THEREFOR
CA2788946A1 (en) 2010-02-09 2011-08-18 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
KR20140077988A (ko) * 2010-02-09 2014-06-24 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US9083983B2 (en) 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
CN103445152A (zh) * 2013-01-05 2013-12-18 胡素芳 一种萝卜汁加工方法
CN103248899B (zh) * 2013-05-21 2016-02-24 清华大学 多视点视频skip模式的运动矢量预测方法
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
EP4387222A3 (en) 2017-10-09 2024-08-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2019187096A1 (ja) 2018-03-30 2019-10-03 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
CN117135346A (zh) 2018-04-02 2023-11-28 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019234673A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Chroma dmvr
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
CN118337962B (zh) * 2024-06-12 2024-09-03 湖南中泓汇智智能科技有限公司 一种用于超视距远程驾驶平台的5g网络数据传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200402662A (en) * 2002-07-15 2004-02-16 Mitsubishi Electric Corp Image encoder, image encoding method, image decoder, image decoding method and communication device
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
TW200948093A (en) * 2008-03-09 2009-11-16 Lg Electronics Inc A method and an apparatus for encoding or decoding a video signal

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
WO1998042134A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
JP4573366B2 (ja) 1997-09-25 2010-11-04 株式会社大宇エレクトロニクス 動きベクトル符号化方法及び符号化装置
JP3540142B2 (ja) 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
TR201802383T4 (tr) 2001-11-06 2018-03-21 Panasonic Ip Corp America Hareketli resim kodlama usulü ve hareketli resim kod çözme usulü.
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
RU2338332C2 (ru) 2002-11-21 2008-11-10 Эл Джи Электроникс Инк. Способ предсказания блока изображения с использованием усовершенствованного режима прямого предсказания
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US7336707B2 (en) 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
KR20050078706A (ko) 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
EP1835747B1 (en) 2005-01-07 2019-05-08 Nippon Telegraph And Telephone Corporation Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
US20060153300A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
JP4903195B2 (ja) 2005-04-13 2012-03-28 ノキア コーポレイション ビデオデータを効果的に符号化及び復号する方法，デバイス及びシステム
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
CA2678574C (en) 2007-03-14 2015-06-16 Nippon Telegraph And Telephone Corporation Motion vector search method and apparatus, program therefor, and storage medium which stores the program
CN101702963A (zh) 2007-03-15 2010-05-05 诺基亚公司 用于为视频编码中的空间可伸缩性提供改进的残差预测的系统和方法
WO2008126059A2 (en) 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding
TW200905030A (en) 2007-07-31 2009-02-01 Chinese Professional Fabric Industry Co Ltd A manufacturing method of optical-excitation fabric
TW200910971A (en) 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
US8165210B2 (en) 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
KR20090094595A (ko) 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
JP2010016454A (ja) 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2010026130A (ja) 2008-07-17 2010-02-04 Ricoh Co Ltd 画像形成装置、画像形成方法およびプリント媒体
CN102210152A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
EP2536149A4 (en) * 2010-02-09 2015-06-24 Nippon Telegraph & Telephone PREDICTIVE CODING METHOD FOR MOTION VECTORS, PREDICTIVE DECODING METHOD FOR MOTION VECTORS, VIDEO CODING DEVICE, VIDEO CODING DEVICE AND PROGRAMS THEREFOR
CA2788946A1 (en) * 2010-02-09 2011-08-18 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
KR20140077988A (ko) * 2010-02-09 2014-06-24 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200402662A (en) * 2002-07-15 2004-02-16 Mitsubishi Electric Corp Image encoder, image encoding method, image decoder, image decoding method and communication device
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
TW200948093A (en) * 2008-03-09 2009-11-16 Lg Electronics Inc A method and an apparatus for encoding or decoding a video signal

Also Published As

Publication number Publication date
WO2011099468A1 (ja) 2011-08-18
US20120294371A1 (en) 2012-11-22
KR101528361B1 (ko) 2015-06-12
KR20140092904A (ko) 2014-07-24
JPWO2011099468A1 (ja) 2013-06-13
RU2012133449A (ru) 2014-03-27
ES2652337T3 (es) 2018-02-01
BR112012019676A2 (pt) 2016-05-03
CN102823249A (zh) 2012-12-12
JP5367098B2 (ja) 2013-12-11
CN102823249B (zh) 2016-07-06
EP2536150B1 (en) 2017-09-13
EP2536150A4 (en) 2014-06-04
US9497481B2 (en) 2016-11-15
CA2788954A1 (en) 2011-08-18
TW201210349A (en) 2012-03-01
KR20120112724A (ko) 2012-10-11
RU2519526C2 (ru) 2014-06-10
EP2536150A1 (en) 2012-12-19

Similar Documents

Publication Publication Date Title
TWI450592B (zh) 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式
TWI478586B (zh) 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式
TWI458356B (zh) 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式
TWI442776B (zh) 動向量預測編碼方法、動向量預測解碼方法、動畫像編碼裝置、動畫像解碼裝置及其程式
JP5216710B2 (ja) 復号化処理方法
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP5281596B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム