TWI489876B - A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space - Google Patents

A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space Download PDF

Info

Publication number
TWI489876B
TWI489876B TW100108096A TW100108096A TWI489876B TW I489876 B TWI489876 B TW I489876B TW 100108096 A TW100108096 A TW 100108096A TW 100108096 A TW100108096 A TW 100108096A TW I489876 B TWI489876 B TW I489876B
Authority
TW
Taiwan
Prior art keywords
frame
target
block
view image
giant
Prior art date
Application number
TW100108096A
Other languages
English (en)
Other versions
TW201238353A (en
Original Assignee
Univ Nat Chi Nan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chi Nan filed Critical Univ Nat Chi Nan
Priority to TW100108096A priority Critical patent/TWI489876B/zh
Priority to US13/226,892 priority patent/US8923402B2/en
Publication of TW201238353A publication Critical patent/TW201238353A/zh
Application granted granted Critical
Publication of TWI489876B publication Critical patent/TWI489876B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

可節省解碼圖片記憶空間的多視角視訊編碼方法
本發明是有關於一種多視角視訊編碼方法，特別是指一種可節省解碼圖片記憶空間的多視角視訊編碼方法。
近年來隨著科技的進步，人們對於視訊也越來重視，也因此造就了多視角3D影像系統的蓬勃發展。然而在資料傳輸上，3D影像的資料量相對於傳統2D影像更為龐大，與傳統的2D影像壓縮比較，為了即時性的考量，多視角影像的壓縮技術更必須具備提升壓縮速度與減少運算複雜度的效果。
因此多視角影像壓縮系統(multi-view video coding system,MVC)被提出來解決這個問題，目前MVC是採用HBP(hierarchical B picture)預測結構來進行編碼。
參閱文獻「“Efficient Prediction Structure for Multi-view Video Coding,”IEEE Trans. on Circuit and Systems for Video Technology,vol. 17,no.11,pp. 1461-1473,Nov. 2007」，圖1為HBP預測結構的例子，橫軸為一時間軸，T0~T8表示不同時間點上的圖框，縱軸為一空間軸，視角0~視角8表示不同視角，可由不同時間點與不同視角對應出一圖框，其中，該視角0、視角2與視角4被定義為主要視角影像序列，其餘為輔助視角影像序列，且不同視角中的時間點T0圖框與時間點T8圖框均表示固定圖框，時間點T1~T7表示非固定圖框。
值得注意的是，MVC是以該等主要視角的固定圖框為基準，將其他部分的圖框依照參考方向進行編碼。例如：(視角0、T4)的非固定圖框是參考(視角0、T0)的固定圖框與(視角0、T8)的固定圖框等二個方向的圖框進行編碼，而(視角1、T2)的非固定圖框是參考(視角0、T2)的非固定圖框、(視角2、T2)的非固定圖框、(視角1、T0)的固定圖框與(視角1、T4)的非固定圖框等四個方向的圖框進行編碼。
由於視角1的輔助視角影像序列的圖框在編碼時，會參考到視角0的主要視角影像序列與視角2的主要影像序列的圖框，因此在編碼的順序上需先編碼視角0與視角2，接著編碼視角1。
然而此方法也產生了幾個問題，首先、有些圖框的編碼的參考方向過多造成編碼時間的拉長，例如：(視角1、T2)非固定圖框的編碼，同時需要參考四個方向的圖框，四張圖框的比對造成計算量及編碼時間的拉長。其次，在編碼時被參考到的圖框，在還原編碼的解碼過程中，均需要儲存在暫存記憶空間中，因此有著大量的圖框被暫存，造成記憶空間的浪費。
因此，本發明之目的，即在提供一種可節省解碼圖片記憶空間的多視角視訊編碼方法。
於是，本發明可節省解碼圖片記憶空間的多視角視訊編碼方法，適用於在一空間軸上排列的多視角影像序列，每一視角影像序列沿一時間軸上具有複數圖框，該編碼方法包含四個步驟：
步驟A：將該多視角影像序列區分成多數主要視角影像序列及多數輔助視角影像序列，該等輔助視角影像序列在該空間軸上均不相鄰。
步驟B：依空間軸順序對尚未編碼的一主要視角影像序列的每一圖框，區分成複數個由像素矩陣組成的巨方塊，選定一第一目標圖框並將該第一目標圖框內未編碼的巨方塊，設定為一第一目標巨方塊，依一第一快速決策規則，參考至少一比較巨方塊來進行編碼，直到該第一目標圖框內的該等巨方塊均編碼完畢，再選定另外一未編碼圖框為新的第一目標圖框進行編碼，直到該主要視角影像序列的每一圖框均編碼完畢，其中，該比較巨方塊是位於該主要視角影像序列中該第一目標圖框以外的圖框。
步驟C：依空間軸順序對尚未編碼的一輔助視角影像序列的每一圖框，區分成複數個由像素矩陣組成的巨方塊；選定一第二目標圖框並將該第二目標圖框內未編碼的巨方塊，設定為一第二目標巨方塊，依一第二快速決策規則，參考至少一比較巨方塊來進行編碼，直到該第二目標圖框內的該等巨方塊均編碼完畢，再選定另外一未編碼圖框為新的第二目標圖框進行編碼，直到該輔助視角影像序列的每一圖框均編碼完畢，其中，該比較巨方塊是位於該輔助視角影像序列中該第二目標圖框以外的圖框，或者相鄰的主要視角影像序列的圖框。
步驟D：重覆步驟B或步驟C，直到每一主要、輔助視角影像序列中的該等圖框均以編碼完成。
本發明之功效在於：藉由該第一快速決策規則與該第二快速決策規則，選擇參考的比較巨方塊並避免參考到過多圖框，縮短編碼的時間。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。
參閱圖2，本發明可節省解碼圖片記憶空間的多視角視訊編碼方法之較佳實施例，適用於一利用HBP(hierarchical B picture)預測結構的多視角影像序列，橫軸為一時間軸表示不同時間點，縱軸為一空間軸表示不同視角影像序列，每一視角影像序列具有不同時間點的一圖框，同樣時間點上也有不同視角的的圖框，其中，該等索引(index)為偶數的視角影像序列為主要視角影像序列31，其餘為輔助視角影像序列32，且該等主要視角影像序列31與該等輔助視角影像序列32是彼此交互穿插，所以該等輔助視角影像序列32在該空間軸上均不相鄰；每一視角影像序列的時間點T0圖框與時間點T8圖框各代表一固定圖框33，每一視角影像序列的時間點T1~T7圖框各代表一非固定圖框34，值得一提的是，該多視角影像序列中的視角排列在空間中是由左向右排列，即視角0位於視角1的左側，視角2位於視角1的右側，以此類推其它視角的關係。
參閱圖3，該較佳實施例是依HBP預測結構進行編碼，該較佳實施的編碼方法說明如下：步驟21：將該多視角影像序列區分成多數主要視角影像序列31及多數輔助視角影像序列32，該等輔助視角影像序列32在該空間軸上均不相鄰；步驟22：配合參閱圖4、圖5，依空間軸順序對尚未編碼的一主要視角影像序列31的每一圖框，包含固定圖框33及非固定圖框34，區分成複數個由像素矩陣組成的巨方塊(macroblock)，在本實施例中每一巨方塊大小由16x16的像素矩陣組成，由該等圖框中選定一圖框為第一目標圖框35，並將該第一目標圖框35內未編碼的巨方塊，設定為一第一目標巨方塊351，在本實施例中該第一目標巨方塊351是的選定順序是由左到右，由上到下的順序；接著，依一第一快速決策規則，參考至少一比較巨方塊36來進行編碼，直到該第一目標圖框35內的該等巨方塊均編碼完畢，再選定另外一未編碼圖框為新的第一目標圖框35進行編碼，直到該主要視角影像序列31的每一圖框均編碼完畢，其中，該比較巨方塊36是位於該主要視角影像序列中該第一目標圖框以外的圖框；。
其中，該第一快速決策規則是選取三鄰近該第一目標巨方塊351且已編碼完成的巨方塊為第一基準巨方塊352，藉由該等第一基準巨方塊352計算出一移動向量值(motion vector,MV)，在本例中，該第一目標圖框35為視角0、T4的圖框，該等第一基準巨方塊352是位於該第一目標巨方塊351的左方、上方及左上方，該移動向量值的計算方式如下列公式(1)、公式(2)所述：
MV =(Veci ,Vecj )=(i ,j )|min MAE ( i , j ) 　(2)
公式(1)中x t (k ,l )代表每一第一基準巨方塊352內之像數值，x t - 1 (k +i ,l +j )代表時間點領先該第一目標圖框35的圖框中與該第一基準巨方塊352同一位置的巨方塊之像數值，MV表示移動向量值。
接著判斷該移動向量值是否為零，若該移動向量值為零，則該第一目標巨方塊351是參考時間點領先該第一目標圖框35的圖框中，同一位置的比較巨方塊36進行編碼，若不為零，則該第一目標巨方塊351是共同參考在時間點領先該第一目標圖框35的圖框中，同一位置的比較巨方塊36，及落後該第一目標圖框35的圖框中，同一位置的比較巨方塊36進行編碼。
步驟23：參閱圖6~圖9，依空間軸順序對尚未編碼的一輔助視角影像序列32的每一圖框，包含固定圖框33及非固定圖框34，區分成複數個由像素矩陣組成的巨方塊，在本實施例中每一巨方塊大小為16x16的像素矩陣；由該等圖框中選定一圖框為第二目標圖框41，並將該第二目標圖框內未編碼的巨方塊設定為一第二目標巨方塊411，在本實施例中該第二目標巨方塊411是的選定順序是由左到右，由上到下的順序；接著，依一第二快速決策規則，參考至少一比較巨方塊42來進行編碼，直到該第二目標圖框41內的該等巨方塊均編碼完畢，再選定另外一未編碼圖框為新的第二目標圖框41進行編碼，直到該輔助視角影像序列32的每一圖框均編碼完畢，其中，該等比較巨方塊42是位於該輔助視角影像序列32中該第二目標圖框41以外的圖框，或者相鄰的主要視角影像序列31的圖框。
其中，該第二快速決策規則是先判斷該第二目標圖框41是否為固定圖框33，若是，如圖6所示，則該第二目標巨方塊411是參考位於相鄰的主要視角影像序列31中，相同時間點的圖框中，同一位置的比較巨方塊42進行編碼。若否，如圖8所示，則在該第二目標圖框41中選取三鄰近該第二目標巨方塊411且已編碼完成的巨方塊為第二基準巨方塊412，透過一估計公式與該第二目標巨方塊計算出一估計值，由該估計值與一門檻值比較，其中，該估計公式如下：
公式(3)~(5)中mvx代表第一基準巨方塊352中以4X4像素矩陣為單位之移動向量值在x座標的分量值，mvy代表352中以4X4像素矩陣為單位之移動向量值在y座標的分量值。
在本實施例中，估計值為計算後的MD (m ,n )及MV average ，再各與一數值為3的門檻值做比較。
若該估計值大於該門檻值，則該第二目標巨方塊411是參考位於相鄰的主要視角影像序列31中，相同時間點的圖框中，同一位置的比較巨方塊42進行編碼，在本實施例中，如圖8所示，即是與該輔助視角影像序列32左右兩邊之主要視角影像序列31的圖框(在此為視角0、T3及視角2、T3)，所對應的比較巨方塊42進行編碼。而且該第二目標圖框41最左邊六倍巨方塊寬度範圍內的第二目標巨方塊411’是只參考位於左邊視角之該主要視角影像序列31中，相同時間點的圖框中同一位置的比較巨方塊42’進行編碼，如圖7所示，在本實施例中，即是位於視角0、T3之圖框的比較巨方塊42’；而該第二目標圖框41最右邊複數倍巨方塊寬度範圍內的第二目標巨方塊411”，是只參考位於右邊視角之該主要視角影像序列31中，相同時間點的圖框中同一位置的比較巨方塊42”進行編碼，在本實施例中，即是位於視角2、T3之圖框的比較巨方塊42”。
若估計值MD (m ,n )及MV average 均小於該門檻值，則該第二目標巨方塊是參考位於該輔助視角影像序列32中該第二目標圖框41以外圖框中同一位置的比較巨方塊42進行編碼。藉由該等第二基準巨方塊412計算出一移動向量值(MV)，如上述公式(1)及公式(2)，若該移動向量值(MV)為零，則該第二目標巨方塊411是參考時間點領先該第二目標圖框41之圖框中同一位置的比較巨方塊42進行編碼，所對應的比較巨方塊42進行編碼；在本實施例中，即是位於視角1、T2之圖框的比較巨方塊42。若該移動向量值(MV)不為零，則該第二目標巨方塊411是共同參考時間點領先該第二目標圖框41之圖框中同一位置的比較巨方塊42，及落後該第二目標圖框41之圖框中同一位置的比較巨方塊42進行編碼；在本實施例中，領先的圖框即是位於視角1、T2之圖框的比較巨方塊42，落後的圖框即是位於視角1、T4的圖框的比較巨方塊42。
步驟24：重覆步驟B或步驟C，直到每一主要、輔助視角影像序列中的該等圖框均以編碼完成。
從上述流程得知：在對該第一目標圖框35的第一目標巨方塊351進行編碼時，會針對某些特定條件選擇參考的比較巨方塊36，又因為參考的比較巨方塊36越多，編碼的複雜度與計算量越大，因此透過事先判斷來降低參考比較巨方塊36的數量，可進一步使編碼的計算量與處理時間得到降低，同理在對該第二目標圖框41的第二目標巨方塊411進行編碼時，也可降低編碼的計算量與處理時間。
另外，在編碼的流程中是透過一編碼器完成，該編碼器具有一暫存記憶空間，以對第一目標圖框35的第一目標巨方塊351進行編碼為例，該編碼器將編碼時所會參考到的該等比較巨方塊36儲存於該暫存記憶空間內，待該第一目標巨方塊351編碼完畢後，判斷該暫存記憶空間內所儲存的每一比較巨方塊36是否還會被參考到，若有不會被參考的比較巨方塊36則將自該暫存記憶空間內被移除。
以下說明，本發明編碼方法與其它方法的效果比較，以選自The Middlebury computer vision pages(http://vision.middlebury.edu/)所提供的多視角影像序列：ballroom、Break dancer、exit，每一個多視角影像序列的代表圖片如圖10所示，以主要視角影像序列31而言，利用本發明的編碼方法與習知利用MVC架構下之編碼方法JMVC的比較其結果如表一、表二、表三所示，其中，畫面品質以PSNR(peak signal to noise ratio)做為基準，搜尋範圍(Search Range)各為32及96，QP(Quantization Parameter)各為22、27、32、37，位元率(bit-rate)表示畫面中每一個像素須用幾個位元來表示。
由上述三個表格得知，利用本發明的編碼方法在PSNR的表現上，與使用該JMVC編碼方法的差別很小，但本發明的編碼方法所需要的運算時間相較於JMVC編碼方法卻均少很多，故在一定的顯示品質下節省了許多運算時間。
以輔助視角影像序列32而言，與JMVC編碼方法及論文「”Selective Disparity Estimation and Variable Size Motion Estimation Based on Motion Homogeneity for Multi-View Coding”,IEEE Transactions on Broadcasting,pp. 1-766,Dec. 2009」所述的Shen編碼方法比較，其結果如表四、表五、表六。
雖然在輔助視角影像序列32中，在PSNR的表現上，本發明的編碼方法與Shen、JMVC的編碼方法在PSNR的差別很小，但在位元率、及運算時間的表現上，本發明的編碼方法與Shen編碼方法則相較於JMVC編碼方法少很多，故在一定的顯示品質下節省了許多運算時間。但本發明的編碼方法與Shen編碼方法相較雖然運算時間上相似，然而利用本發明之編碼方法可達到的解碼時節省圖片的暫存記憶空間(Picture Buffer)的效果較Shen編碼方法更佳，說明如下為：
由於對多視角影像編碼時，是將圖框再區分成多數巨方塊，再以巨方塊作為編碼的最小單位，依照第一快速決策規則、第二快速決策規則，快速決定參考四個方向中的哪一些比較巨方塊，如此在編碼完成後將編碼資料傳輸至解碼端時，該編碼資料內，儲存有每個巨方塊參考哪哪一些比較巨方塊的相關資訊。
舉一範例如下：如圖2所示，在對該編碼資料進行解碼還原時，依解碼順序，(視角0、T1)的圖框可能會被其它圖框參考到，且最後一個會被參考到的圖框的是(視角1、T1)的圖框，習知的做法是將(視角0、T1)的圖框儲存於一解碼器的暫存記憶空間，直到(視角1、T1)的圖框被解碼完後才會將整張圖框移除。而利用本發明之編碼方法，在解碼(視角0、T1)的圖框後，由於該編碼資料儲存有(視角0、T1)圖框中每個巨方塊被參考的相關資訊，因此不需儲存完整(視角0、T1)的圖框，只需要儲存(視角0、T1)之圖框會被參考到的複數巨方塊於該暫存空間，在最後一個會被參考到的圖框(視角1、T1)的圖框解碼前，不會被(視角1、T1)的圖框參考到的巨方塊，可提前自該暫存記憶空間中移除，如此便可有效降低該暫存記憶空間被使用到的空間。
因此對一輔助視角影像序列32進行解碼時，若編碼時每一輔助視角影像序列32的圖框均不參考到空間軸的鄰近主要視角影像序列31時，則解碼端之暫存器所需要的暫存記憶空間若以圖框為單位為：
Picture buffer min =view number +3
Picture buffer max =view number +2×GOP +3
其中，view number 表示視角影像序列的個數，而GOP 為兩個相鄰之固定圖框33間，相鄰的圖框個數，在本實施例中為8。
改變成本發明編碼方法以巨方塊做為單位所得到的暫存空間的範圍為：
與JMVC編碼方法及Shen編碼方法的比較結果如表七、表八、表九所述：
由上述表格可知，利用本發明之編碼方法可達到的解碼時，使解碼器的暫存記憶空間得到有效率的節省，並降低系統資源的浪費。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
21~24．．．流程
31．．．主要視角影像序列
32．．．輔助視角影像序列
33．．．固定圖框
34．．．非固定圖框
35．．．第一目標圖框
351．．．第一目標巨方塊
352．．．第一基準巨方塊
36．．．比較巨方塊
41．．．第二目標圖框
411．．．第二目標巨方塊
411’．．．第二目標巨方塊
411”．．．第二目標巨方塊
412．．．第二基準巨方塊
42．．．比較巨方塊
42’．．．比較巨方塊
42”．．．比較巨方塊
圖1是一示意圖，說明習知HBP的架構；
圖2是一示意圖，說明本發明的較佳實施例；
圖3是一流程圖，說明本發明的編碼流程；
圖4是一示意圖，說明本發明之一主要視角影像序列對一時間軸進行參考：
圖5是一流程圖，說明本發明之該主要視角影像序列參考方向的決策；
圖6是一示意圖，說明本發明一輔助視角影像序列對一空間軸進行參考；
圖7是一示意圖，說明本發明之該輔助視角影像序列的圖框，左右兩邊之巨方塊的參考關係；
圖8是一示意圖，說明本發明之該輔助視角影像序列對該空間軸及該時間軸進行參考；
圖9是一流程圖，說明本發明之該輔助視角影像序列參考方向的決策；及
圖10是一使用影像的說明圖。
21~24．．．流程

Claims (6)

  1. 一種可節省解碼圖片記憶空間的多視角視訊編碼方法，適用於在一空間軸上排列的多視角影像序列，每一視角影像序列沿一時間軸上具有複數圖框，該編碼方法包含：步驟A：將該多視角影像序列區分成多數主要視角影像序列及多數輔助視角影像序列，該等輔助視角影像序列在該空間軸上均不相鄰；步驟B：依空間軸順序對尚未編碼的一主要視角影像序列的每一圖框，區分成複數個由像素矩陣組成的巨方塊，選定一第一目標圖框並將該第一目標圖框內未編碼的巨方塊，設定為一第一目標巨方塊，依一第一快速決策規則，參考至少一比較巨方塊來進行編碼，直到該第一目標圖框內的該等巨方塊均編碼完畢，再選定另外一未編碼圖框為新的第一目標圖框進行編碼，直到該主要視角影像序列的每一圖框均編碼完畢，其中，該比較巨方塊是位於該主要視角影像序列中該第一目標圖框以外的圖框；步驟C：依空間軸順序對尚未編碼的一輔助視角影像序列的每一圖框，區分成複數個由像素矩陣組成的巨方塊；選定一第二目標圖框並將該第二目標圖框內未編碼的巨方塊，設定為一第二目標巨方塊，依一第二快速決策規則，參考至少一比較巨方塊來進行編碼，直到該第二目標圖框內的該等巨方塊均編碼完畢，再選定另外一未編碼圖框為新的第二目標圖框進行編碼，直到該輔助視角影像序列的每一圖框均編碼完畢，其中，該比較巨方塊是位於該輔助視角影像序列中該第二目標圖框以外的圖框，或者相鄰的主要視角影像序列的圖框，其中每一輔助視角影像序列的複數圖框可區分為固定圖框與非固定圖框，該第二快速決策規則是進行判斷該第二目標圖框是否為固定圖框，若是，則該第二目標巨方塊是參考位於相鄰的主要視角影像序列中，相同時間點的圖框中同一位置的比較巨方塊進行編碼，若否，則在該第二目標圖框中選取三鄰近該第二目標巨方塊且已編碼完成的巨方塊為第二基準巨方塊，透過一估計公式與該第二目標巨方塊計算出一估計值，由該估計值與一門檻值比較，若大於該門檻值，則該第二目標巨方塊是參考位於相鄰的主要視角影像序列中，相同時間點的圖框中同一位置的比較巨方塊進行編碼，若小於該門檻值，則該第二目標巨方塊是參考位於該輔助視角影像序列中該第二目標圖框以外圖框中同一位置的比較巨方塊進行編碼；及步驟D：重覆步驟B或步驟C，直到每一主要、輔助視角影像序列中的該等圖框均以編碼完成。
  2. 依據申請專利範圍第1項所述之可節省解碼圖片記憶空間的多視角視訊編碼方法，其中，在步驟C中該估計值若小於該門檻值，則藉由該等第二基準巨方塊計算出一移動向量值，若該移動向量值為零，則該第二目標巨方 塊是參考時間點領先該第二目標圖框的圖框中同一位置的比較巨方塊進行編碼，若不為零，則該第二目標巨方塊是共同參考時間點領先該第二目標圖框的圖框中同一位置的比較巨方塊，及落後該第二目標圖框的圖框中同一位置的比較巨方塊進行編碼。
  3. 依據申請專利範圍第1項所述之可節省解碼圖片記憶空間的多視角視訊編碼方法，該多視角影像序列中的視角排列在空間中是由左向右排列，步驟C中，依該第二快速決策規則判斷該第二目標圖框不是固定圖框，且該估計值大於該門檻值，則該第二目標圖框最左邊複數倍巨方塊寬度範圍內的第二目標巨方塊，是只與位於左邊視角之該主要視角影像序列中，相同時間點的圖框中同一位置的比較巨方塊進行編碼，而該第二目標圖框最右邊複數倍巨方塊寬度範圍內的第二目標巨方塊，是只與位於右邊視角之該主要視角影像序列中，相同時間點的圖框中同一位置的比較巨方塊進行編碼。
  4. 依據申請專利範圍第2項所述之可節省解碼圖片記憶空間的多視角視訊編碼方法，其中，在該步驟B中的該第一快速決策規則是選取三鄰近該第一目標巨方塊且已編碼完完成的巨方塊為第一基準巨方塊，藉由該等第一基準巨方塊計算出該移動向量值，判斷該移動向量值是否為零，若該移動向量值為零，則該第一目標巨方塊是參考時間點領先該第一目標圖的框圖中同一位置的比較巨方塊進行編碼，若不為零，則該第一目標巨方塊是共同 參考在時間點領先該第一目標圖框的框圖中同一位置的比較巨方塊，及落後該第一目標圖框的框圖中同一位置的比較巨方塊進行編碼。
  5. 依據申請專利範圍第4項所述之可節省解碼圖片記憶空間的多視角視訊編碼方法，還包括一該步驟E，該步驟E為：將編碼該輔助視角影像序列時，所會參考到的該等比較巨方塊儲存於一暫存記憶空間內。
  6. 依據申請專利範圍第5項所述之可節省解碼圖片記憶空間的多視角視訊編碼方法，還包含一步驟G，該步驟G為：檢查儲存於該暫存記憶空間內的該等比較巨方塊是否還會被該第一目標巨方塊依該第一快速決策規則所參考，或被該第二目標巨方塊依該第二快速決策規則所參考，若均不會被參考到，則將該等比較巨方塊自該暫存記憶空間移除。
TW100108096A 2011-03-10 2011-03-10 A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space TWI489876B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100108096A TWI489876B (zh) 2011-03-10 2011-03-10 A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space
US13/226,892 US8923402B2 (en) 2011-03-10 2011-09-07 Multi-view video coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100108096A TWI489876B (zh) 2011-03-10 2011-03-10 A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space

Publications (2)

Publication Number Publication Date
TW201238353A TW201238353A (en) 2012-09-16
TWI489876B true TWI489876B (zh) 2015-06-21

Family

ID=46795577

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100108096A TWI489876B (zh) 2011-03-10 2011-03-10 A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space

Country Status (2)

Country Link
US (1) US8923402B2 (zh)
TW (1) TWI489876B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9503702B2 (en) 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US9571827B2 (en) * 2012-06-08 2017-02-14 Apple Inc. Techniques for adaptive video streaming
WO2014053085A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of motion information management in video coding
EP2936816B1 (en) 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US10110925B2 (en) 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding
CN114567775B (zh) * 2022-04-29 2022-09-09 中国科学技术大学 图像划分方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
US20100091841A1 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J.C. Chiang, L.M. Liu, and W.N. Lie, 'A hierarchical two-stage neural-classifier for mode decision of H.264/AVC stereo video encoding," Proc. Of 2nd IEEE 3D TV Conference (3D-TV CONF), Istanbul, Turkey, May 2008.^&rn^ *

Also Published As

Publication number Publication date
US8923402B2 (en) 2014-12-30
TW201238353A (en) 2012-09-16
US20120230412A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
JP5234587B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
TWI489876B (zh) A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space
US20110317766A1 (en) Apparatus and method of depth coding using prediction mode
WO2016050051A1 (zh) 图像预测方法及相关装置
Ma et al. Edge-directed error concealment
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
KR100846512B1 (ko) 영상의 부호화, 복호화 방법 및 장치
CN102905150B (zh) 一种新的多视点视频分形编码压缩与解压缩方法
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
WO2015010319A1 (zh) 一种基于p帧的多假设运动补偿编码方法
CN103327327B (zh) 用于高性能视频编码hevc的帧间预测编码单元选择方法
WO2016155070A1 (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN110062239B (zh) 一种用于视频编码的参考帧选择方法及装置
Gu et al. Fast bi-partition mode selection for 3D HEVC depth intra coding
WO2012142934A1 (zh) 使用空间缩放预测的视频编解码方法
CN1568015A (zh) 多视角视频编解码预测补偿方法及装置
CN101242530B (zh) 运动估计方法、基于运动估计的多视编解码方法及装置
WO2014156648A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN108449599A (zh) 一种基于面透射变换的视频编码与解码方法
US20160037172A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
WO2021031225A1 (zh) 一种运动矢量导出方法、装置及电子设备
CN112385232B (zh) 用于双向帧内预测的参考像素插值方法和装置
CN1263309C (zh) 用于视频编码的运动矢量预测方法
CN102263952B (zh) 一种基于对象的快速双目立体视频分形压缩与解压缩方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees