TWI461066B - 彈性調整估算搜尋範圍的移動估算方法及視差估算方法 - Google Patents
彈性調整估算搜尋範圍的移動估算方法及視差估算方法 Download PDFInfo
- Publication number
- TWI461066B TWI461066B TW100140173A TW100140173A TWI461066B TW I461066 B TWI461066 B TW I461066B TW 100140173 A TW100140173 A TW 100140173A TW 100140173 A TW100140173 A TW 100140173A TW I461066 B TWI461066 B TW I461066B
- Authority
- TW
- Taiwan
- Prior art keywords
- search range
- initial
- candidate
- estimation
- block
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
本發明是有關於一種多視點視訊編碼(MVC)技術中，動態彈性調整移動估算及/或視差估算的搜尋範圍的方法。
多視點(Multiview)視訊是以複數台攝影機對相同拍攝的目標物與背景進行攝影而得的複數個影像。多視點(Multiview)視訊可提供使用者同時捕捉目標物不同角度的影像，而能讓其感受現場真實的場景。藉由同時傳送兩個圖幀到使用者的雙眼，也能讓其產生三維(3-D)立體的效果。多視點視訊已經被廣泛地運用在多種產品，例如3-D藍光播放器(Blu-ray Disc Player)、3-D攝影機(Camcorder)、網路協定電視(Internet Protocol Television，IPTV)等等。
由於多視點視訊是以複數台攝影機對相同拍攝的目標物與背景進行攝影，因此，目標物在不同的移動狀態下，從多台攝影機所產生的大量視訊資料，如何有效率的編碼與傳送，將是重要的課題。因此，多視點視訊編碼(Multiview video coding，底下稱為MVC)技術，已逐漸發展並且也被廣泛的使用，並且制定為業界的標轉，例如國際編碼標準之H.264/AVC(“Advanced Video Coding for Generic Audiovisual Services,”Joint Video Team of ISO/IEC MPEG and ITU-T VCEG,March 2010)，並且已經被廣泛地運用在多種產品。
多視點視訊與時間方向有著很大的相關性，而藉由利用此相關性來提升編碼效率。另一方面，在多視點視訊的動態影像中，當各攝影機為同步時，由於對應於相同時間的各攝影機的影像為從不同位置對狀態完全相同的目標物與背影進行攝影而得的影像，所以在攝影機間有著很大的相關性。在多視點視訊的編碼中，可藉由此相關性而能夠提升編碼效率。
本揭露內容提出一種多視點視訊編碼(MVC)技術中，動態彈性調整移動估算及/或視差估算的搜尋範圍的方法。
在多個實施例其中之一，提出一種彈性調整估算搜尋範圍的移動估算方法，適用於多視點視訊編碼(MVC)。此移動估算方法包括以一初始搜尋範圍做為第一搜尋範圍，對從第一視點取得的第一圖幀的多個第一區塊進行移動估算流程，取得一移動向量分佈，根據移動向量分佈取得第一候選搜尋範圍。選擇第一候選搜尋範圍或初始搜尋範圍，作為第二圖幀的第二搜尋視窗內的多個第二區塊進行移動估算流程的第二搜尋範圍，得到這些第二區塊的移動向量，提供給第二圖幀進行視訊編碼，其中第二圖幀是來自第二視點。
上述彈性調整估算搜尋範圍的移動估算方法，在一實施例中，此第一候選搜尋範圍的取得的方法包括對初始搜尋範圍區分為多個區域，每一該區域對應的一計數值。對所述第一區塊的每一第一區塊的移動向量判斷落在哪一該區域，則增加此區域對應的計數值。完成所有第一區塊的移動向量落入區域判斷後，根據移動向量分佈中，以最大的計數值對應的區域取得一最佳搜尋範圍(SRbest
)。依據最佳搜尋範圍(SRbest
)、初始搜尋範圍與該些區域的數量，計算該第一候選搜尋範圍。例如，在實施例中是以最佳搜尋範圍(SRbest
)加上初始搜尋範圍除以該些區域的數量的和，作為第一候選搜尋範圍。
上述彈性調整估算搜尋範圍的移動估算方法，在一實施例中，第二搜尋範圍從第一候選搜尋範圍與初始搜尋範圍兩者其中之一進行選擇，其中選擇初始搜尋範圍作為第二搜尋範圍的方法，包括根據第二區塊的多個鄰近區塊取得一鄰近區塊資訊。根據鄰近區塊資訊判斷第二區塊是否符合一移動特性判斷方法，若是，則第二搜尋範圍選擇初始搜尋範圍作為第二搜尋範圍，若不是，則第二搜尋範圍選擇第一候選搜尋範圍。
在多個實施例其中之一，提出一種彈性調整估算搜尋範圍的視差估算方法，適用於多視點視訊編碼(MVC)。此視差估算方法包括以一初始搜尋範圍做為第一搜尋範圍，對第一圖幀的第一搜尋視窗內的多個第一區塊進行視差估算流程，取得一視差向量分佈。根據此視差向量分佈，取得第一候選搜尋範圍及第二候選搜尋範圍，其中第一圖幀是在一第一時間取得。從第一候選搜尋範圍或第二候選搜尋範圍其中之一，作為對第二圖幀的第二搜尋視窗內的多個第二區塊進行視差估算流程的第二搜尋範圍，得到視差估算流程對應的視差向量，提供做為視訊編碼，其中第二圖幀是在第二時間取得，而第一時間早於該第二時間。
上述的彈性調整估算搜尋範圍的視差估算方法，在一實施例中，第二搜尋範圍從第一候選搜尋範圍、第二候選搜尋範圍與初始搜尋範圍三者其中之一進行選擇，其中選擇方法包括根據第二區塊的多個鄰近區塊取得一鄰近區塊資訊。根據此鄰近區塊資訊判斷第二區塊是否符合一視差特性判斷方法，若是，則第二搜尋範圍選擇該初始搜尋範圍作為該第二搜尋範圍，若不是，則該第二搜尋範圍選擇第一候選搜尋範圍或第二候選搜尋範圍其中之一。
上述的彈性調整估算搜尋範圍的視差估算方法，在一實施例中，鄰近區塊資訊判斷第二區塊是否符合視差特性判斷方法包括判斷所有鄰近區塊的視差向量是否都沒有被選擇，若是，則第二搜尋範圍選擇第二候選搜尋範圍。判斷鄰近區塊的視差向量是否落在最佳搜尋範圍(SRbest
)之外，而且所有鄰近區塊的視差向量是否都沒有被選擇，若兩者皆是，則第二搜尋範圍選擇初始搜尋範圍，若兩者任一條件為否，則第二搜尋範圍選擇第一候選搜尋範圍。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本揭露內容提出一種多視點視訊編碼(MVC)技術中，動態彈性調整移動估算(Motion Estimation)及/或視差估算(Disparity Estimation)的搜尋範圍(Search Range)的方法。
首先，在此以H.264/AVC標準的架構說明多視點視訊編碼(MVC)技術的編碼流程。
H.264標準的編碼流程，是針對輸入的影像資料，係利用所謂移動補償(Motion Compensation)、轉換(Transform)、量化(Quantization)、熵編碼(Entropy Coding)的技術來進行高效率編碼。
在H.264的移動補償中，係將編碼對象圖幀分割成各種大小的巨區塊(Macroblock)，例如16×16(像素)、16×8、8×16、8×8、8×4、4×8、4×4的7種，而能夠以細小單位對應被攝影的目標物的動作的方向與程度的差異來預測估算影像，以達成高編碼效率。
上述的預測估算影像技術，Intra-Picture預測(Intra-Picture Estimation，在同一畫像內)與Inter-Picture預測(Inter-Picture，在多個畫像之間)。Intra-Picture預測是考慮到空間的因素，也就是與同一畫像(Picture)內的鄰近區塊的關聯性來進行預測。Inter-Picture預測以時間軸為準，根據前後的畫像作為參考畫像。以Inter-Picture預測為例，對每一巨區塊挑選一稱為參考圖幀的已編碼完成的圖幀，使用稱為移動向量(Motion Vector)或是之表示對應點的向量資訊來預測影像。
但對於多視點視訊的編碼而言，除了考慮攝影機間的相關性，還同時存在有時間方向的相關性。因此可採用藉由將移動補償應用於相同時刻的相異攝影機所攝得的畫像之視差補償(Disparity Compensation)而高效率地將多視點動態影像進行編碼之方式。此處，視差(Disparity)係指被攝體上的相同位置，在配置於相異位置之攝影機的畫像平面上所投影之位置的差。視差補償係根據該對應關係，從參考圖幀來預測編碼對象圖幀的各像素值，將該預測殘值與表示對應關係的視差資訊進行編碼。
請參照圖1，是說明符合H.264/AVC標準的多視點視訊編碼(MVC)技術的架構與編碼流程示意圖。在此示意圖中，標號100A是指對第一視點(View)取得的視訊影像資料進行編碼的流程，而標號100B是指對第二視點(View)取得的視訊影像資料進行編碼的流程。
先以針對第一視點進行編碼的流程100A進行說明。對於第一視點取得的影像資料，將欲編碼的圖幀分割成各種大小的巨區塊(Macroblock)的圖幀資料102輸入。而後針對此圖幀資料102利用移動補償(Motion Compensation)得到的殘值進行轉換(Transform)/量化(Quantization)程序104，得到量化轉換係數(Quantized Transform Coefficients)後，經由熵編碼(Entropy Coding)程序106進行高效率編碼。
底下將說明上述移動補償的計算流程。
上述量化轉換係數同時也進行反轉換(Inverse Transform)/反量化(Inverse Quantization)程序108後，進行Intra-Picture預測程序110。另外，量化轉換係數進行反轉換/反量化程序108後，得到的結果經由去區塊效應過濾器(Deblocking Filter)116的去區塊效應程序後，以減緩區塊效應的影響，並傳送到圖幀緩衝器(Frame Buffer)118暫存。移動估算(Motion Estimation)程序120是根據圖幀緩衝器118所儲存的之前經過編碼的參考圖幀，以及輸入的圖幀資料102進行移動估算。而根據移動估算程序120估算得到的結果，進行Inter-Picture預測程序112。從Intra-Picture預測程序110與Inter-Picture預測程序112中，經由多工器114進行選擇，而做為輸入的圖幀資料102中，後續的巨區塊進行移動補償的依據。同時，移動估算程序120產生的移動向量121，也提供給熵編碼程序106進行編碼。
對於第二視點進行編碼的流程100B，與第一視點進行編碼的流程類似，差異點在於程序130是根據輸入的圖幀資料122以及圖幀緩衝器128所儲存的前一個經過編碼的參考圖幀外，進一步從第一視點的圖幀緩衝器118取得所儲存的參考圖幀，從這些取得的資料進行移動估算。而Inter-Picture預測程序132，進行採用同一視點取得的圖幀之間，更進一步取得其他視點的圖幀資訊進行預測。
上述符合H.264/AVC標準的多視點視訊編碼(MVC)基本技術，不僅能利用單一的視點取得並降低圖幀之間的累贅或多餘(Temporal Redundancy)資訊以增加編碼的效率，更能利用其他視點取得的圖幀類似的特性(Similarities)來改善編碼。藉由這樣的技術，相較於各個視點之間獨立進行編碼的程序，此架構可以大約降低20%~30%的位元率(Bit rate)，而沒有犧牲重建時的視訊品質。
一般而言，移動估算(Motion Estimation，底下稱為ME)是用以發現在連續的圖幀之間最符合條件的區塊(Best Matching block)資訊，以降低畫面間累贅或多餘(Temporal Redundancy)資訊。而視差估算(Disparity Estimation，底下稱為DE)可用以發現在連續的視點(View)之間最符合條件的巨區塊，以降低視點間的累贅或多餘資訊。請參照圖2，是說明在連續的時間對於不同圖幀進行移動估算(ME)，以及在連續的視點之間連續的視點進行視差估算(DE)的示意圖。在時間t-1、t、t+1時，第n-1、n、n+1視點分別取得的圖幀之間，可以進行移動估算(ME)程序，以降低畫面間累贅或多餘資訊。而在時間t時，分別根據第n-1個視點、第n個視點、第n+1個視點同時取得的圖幀之間，進行視差估算(DE)程序，以降低畫面間累贅或多餘資訊。
但相對於單一視點的編碼程序，此引用的視差估算(DE)程序，將使多視點視訊編碼(MVC)裝置耗費更多的運算資源。底下將以圖3A與3B進行說明。首先，如圖3A所示，分別根據先前的參考圖幀或是其它視點的圖幀310的檢索視窗(Search Window)312中，以搜尋範圍(Search Range，以下稱為SR)進行估算的一實施例。而圖幀320則是包括多個巨區塊(Macroblock，底下稱為MB)，並且以巨區塊，例如標號322，進行移動估算(ME)與視差估算(DE)。
此移動估算(ME)與視差估算(DE)是對每一個區塊進行，以分別找出最佳的移動向量(Best Motion Vector)與最佳的視差向量(Best Disparity Vector)。而上述區塊的大小，在一實施例中，如圖3B所示的巨區塊切割模式的16×16、16×8、8×16、8×8，或是子巨區塊(Sub-Macroblock)切割模式的8×8、8×4、4×8、4×4。
在對於每一個切割的區塊執行完移動估算(ME)與視差估算(DE)程序後，根據速率-失真(Rate-Distortion)成本法則選擇移動向量(Motion Vector)或是視差向量(Disparity Vector)兩者其中之一。此速率-失真(Rate-Distortion)成本法則為
λ×Rate(mvd)+SAD (式1)或
λ×Rate(mvd)+SATD (式2)
其中，λ為Lagrange參數，SAD代表絕對差值合(Sum of Absolute Differences，SAD)，SATD代表絕對轉換差值和(Sum of Absolute Transformed Difference)，而Rate(mvd)代表移動向量差值(Motion Vector Difference，mvd)的位元率(Bit rate)。
在進行移動估算(ME)與視差估算(DE)程序時，並非搜尋在參考畫面的所有點，而是僅搜尋在一限制的搜尋視窗(Search Window)內的搜尋點(Search points)。而搜尋視窗的大小是決定於(2×SR+1)2
，如圖3A所示，在此SR代表搜尋範圍(Search Range)。從上述的內容可知，執行移動估算(ME)與視差估算(DE)程序，若採用全範圍搜尋法則(Full-search algorithm)所需要的時間，由搜尋範圍(SR)所主宰，並且與搜尋範圍(SR)的平方大小成正比。
但今日，高解析度視訊(High-resolution Video，HD Video)已經越來越普遍，也越來越受歡迎，例如HD1080p。此高解析度視訊需要更大的搜尋範圍(SR)來執行移動估算(ME)與視差估算(DE)程序，以取得更好的編碼品質。然而，更大的搜尋範圍(SR)也就代表需要更多的執行的時間。因此，例如若是將搜尋範圍(SR)設定為例如64，則執行移動估算(ME)與視差估算(DE)占據編碼的時間將近60%~80%。因此，本實施例提出一種有效降低移動估算(ME)與視差估算(DE)時間的複雜因素，來達到多視點視訊資料的即時(Real-time)編碼需求。
本揭露內容提出一種多視點視訊編碼(MVC)技術中，動態彈性調整移動估算(ME)及/或視差估算(DE)的搜尋範圍的方法，以及使用該方法的視訊編碼裝置。
在多個實施例其中之一，提出一種彈性調整移動估算(ME)的搜尋範圍大小的方法，是採用在所選擇的基礎視點(Base View)得到的移動向量分佈(MV Distribution)，據以判斷動態彈性調整的搜尋範圍大小。此移動向量分佈在一實施例中，是採用多級距範圍計算MV數量的方法。除此之外，在多個實施例其中之又一實施例，提出一種彈性調整視差估算(DE)的搜尋範圍大小的方法，是採用之前的數個圖幀(previous frames)的視差向量分佈(DV Distribution)，據以判斷動態彈性調整的搜尋範圍大小。
上述動態彈性調整移動估算(ME)及視差估算(DE)的搜尋範圍大小的方法，可有效地節省移動估算(ME)與視差估算(DE)的時間。以符合H.264/AVC Multiview High Profile的多視點視訊編碼(MVC)為例，若對兩個視點的HD1080p每秒30個圖幀(Frames per second，fps)視訊，在操作頻率為250百萬赫茲(MHz)條件下進行無犧牲編碼品質的編碼操作，將可達到即時(Real-time)編碼的要求。
圖4A~4D，為本揭露內容多個實施例其中之一，動態彈性調整移動估算(ME)的搜尋範圍方法的詳細說明。
請參照圖4A，在此實施例中，先對基礎視點(Base View)，例如選擇第一視點為基礎視點，對每一個巨區塊(Macroblock，底下簡稱MB)，以初始搜尋範圍(SRinitial
)進行移動估算(ME)。當每完成一個巨區塊的移動估算(ME)後，就將得到的移動向量(MV)的絕對值落入做為移動向量分佈的級距範圍做一記錄，在此實施例中，採用四個區域做分佈的紀錄，但並非以數量此為限制，可根據例如速率-失真(Rate-Distortion)成本法則調整區域的數量。
在完成對基礎視點所有巨區塊(MB)的移動估算(ME)後，找出分佈最多移動向量(MV)的搜尋範圍(SR)做為最佳搜尋範圍(SRbest
)。此最佳搜尋範圍(SRbest
)將會被選擇非基礎視點(non-Base View)的開始進行移動估算(ME)的搜尋範圍，也就是候選的搜尋範圍。
對於非基礎視點(non-Base View)的圖幀而言，例如圖示的第二視點的圖幀P而言，將依據最佳搜尋範圍SRbest
、初始搜尋範圍SRintial
與該些區域的數量，計算候選搜尋範圍SR。例如，採用最佳搜尋範圍(SRbest
)加上級距SRintial
/4做為候選搜尋範圍，也就是SR=SRbest
+SRintial
/4。但在特定條件下，非基礎視點(non-Base View)的圖幀也會選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)。上述條件是根據例如鄰近的巨區塊(Neighbor Macroblock，以下簡稱NMB)的資訊進行判斷。當根據NMB的資訊判斷得知若處理中的巨區塊(MB)是屬於高移動(High-Motion)特性，則此搜尋範圍將擴大到初始搜尋範圍(SRinitial
)。
如圖4B右上方顯示，對移動向量分佈的紀錄與統計，必須分為垂直移動向量與水平移動向量的分佈，也就是垂直方向與水平方向必須分開處理，而且兩者可以互相獨立進行調整垂直移動向量或水平移動向量的搜尋範圍。
在此實施例中，採用四個區域做分佈的紀錄分為水平方向的水平移動向量(MV_X)分佈與垂直方向的垂直移動向量(MV_Y)分佈，而四個區域分別為區域(1)、區域(2)、區域(3)、區域(4)。而根據此四個區域，作為選擇對應的搜尋範圍(SR)的值，例如每個級距為SR/4，並根據分佈而調整SR/4。
若以初始搜尋範圍(SRinitial
)為32為例進行說明。區域(1)、區域(2)、區域(3)、區域(4)來統計移動向量分佈，則對水平移動向量(MV_X)絕對值或是對垂直移動向量(MV_Y)絕對值的落點分佈級距，分別為0~7、8~15、16~23、24~31。而對於分佈的數量計算，則是分別為計數值1、計數值2、計數值3、計數值4。
請參照圖4C，為說明本實施例對基礎視點的所有巨區塊(MB)經過估算取得的移動向量(MV)進行分佈計算的流程示意圖。首先，在步驟S410中，對基礎視點以初始搜尋範圍(SRinitial
)進行所有巨區塊的移動向量估算，而得到所有巨區塊的移動向量。而後，根據步驟S412，若是移動向量小於初始搜尋範圍(SRinitial
)的四分之一，則如步驟S414，直接將此計數值1加一，並且結束此分佈計算流程。若不是，則進行下一步驟。步驟S416，若是移動向量小於初始搜尋範圍(SRinitial
)的四分之二，則如步驟S418，直接將此計數值2加一，並且結束此分佈計算流程，若不是，則進行下一步驟。步驟S420，若是移動向量小於初始搜尋範圍(SRinitial
)的四分之三，則直接將此計數值3加一，並且結束此分佈計算流程，若不是，則直接將此計數值4加一，並且結束此分佈計算流程。
請參照圖4D與4E，為說明在一實施例中，對非基礎視點(non-Base View)的巨區塊(MB)進行移動估算(ME)時所採用的搜尋範圍判斷流程示意圖。
對非基礎視點的巨區塊進行移動估算(ME)時，採用的搜尋範圍例如可以包括兩個候選搜尋範圍，包括根據前述實施例中提出的最佳搜尋範圍(SRbest
)加上級距SRinitial
/4做為搜尋範圍，或是選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)，其判斷流程請參照圖4D的實施例示意圖說明。
基本上，一般採用的搜尋範圍是以最佳搜尋範圍(SRbest
)加上級距SRinitial
/4，也就是(SR=SRbest
+SRinitial
/4)。但是，若是根據NMB的資訊判斷得知若處理中的巨區塊(MB)是屬於高移動(High-Motion)特性，則在高移動特性下，為避免因為錯過正確的移動向量而使位元率(bit rate)增加，則此搜尋範圍的選擇必須加上根據鄰近的巨區塊(NMB)資訊判斷處理中的巨區塊是否具有高移動特性。
本揭露內容多個實施例其中之一，提出底下三種規則下，對非基礎視點的巨區塊進行移動估算(ME)時，選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)，但並非以此為限制。
請參照圖4D，步驟S430，先以分佈區域中最多移動向量(MV)的對應的搜尋範圍做為最佳搜尋範圍(SRbest
)。
第一規則：步驟S432，判斷在目前正在進行移動估算(ME)的巨區塊(MB)的任一鄰近巨區塊(NMB)的速率-失真成本值(底下以rd_costbest
表示)是否比基礎視點的每一巨區塊(MB)的平均速率-失真成本值(底下以rd_costbase-view
表示)高α倍，也就是如下式：
rd_costbest
>α×rd_costbase-view
(式3)
在一些實施例中，α建議值為1.75。
第二規則：步驟S434，判斷任一鄰近巨區塊(NMB)的最大移動向量是否落在SRbest
與(SRbest
+SRinitial
/4)之間，且無任一鄰近巨區塊(NMB)選擇視差向量(Disparity Vector，DV)。
第三規則：步驟S436，判斷任一鄰近巨區塊(NMB)的最大移動向量是否超出(SRbest
+SRinitial
/4)。
在步驟S432~S436的任一條件符合，則如步驟S438，對非基礎視點的巨區塊進行移動估算(ME)時，選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)。但若步驟S432~S436的所有條件都不符合，則維持以最佳搜尋範圍(SRbest
)加上級距SRinitial
/4，也就是(SR=SRbest
+SRinitial
/4)做搜尋範圍。
而對於目前處理中的巨區塊(MB)的鄰近巨區塊(NMB)，在一實施例中，請參照圖4E，標示“Cur”為目前處理中的巨區塊，而標示“A”、“B”、“C”、“D”的巨區塊則可定義為鄰近巨區塊。
請參照圖5，為本揭露內容實施例所提出動態彈性調整移動估算(ME)的搜尋範圍方法的範例說明示意圖。在此以初始搜尋範圍(SRinitial
)為32進行說明。
根據基礎視點(Base View)取得的圖幀，例如選擇第一視點為基礎視點取得的圖幀P(502)，對在搜尋視窗內的巨區塊(MB)，以初始搜尋範圍(SRinitial
)進行移動估算(ME)。因此，所有的巨區塊(MB)都採用SR=32進行，而取得水平移動向量(MV_X)分佈與垂直方向的垂直移動向量(MV_Y)分佈。
對每一個巨區塊，以初始搜尋範圍(SRinitial
)進行移動估算。當每完成一個巨區塊的移動估算後，就將得到的移動向量(MV)的絕對值落入做為移動向量分佈的級距範圍做一記錄。例如對巨區塊512完成移動估算後取得的(MV_X,MV_Y)=(9,3)，則由於MV_X=9是大於7但小於15，因此落在第二區域，則將對應的計數值加一。從圖示中可知，經由第一視點(基礎視點)取得的圖幀P(502)以初始搜尋範圍(SR=32)進行移動估算後，取得SRbest
(MV_X)在8~15之間，而SRbest
(MV_Y)在0~7之間。
對於非基礎視點(non-Base View)的圖幀而言，例如圖示的第二視點的圖幀P(504)而言，將採用經由第一視點(基礎視點)取得的圖幀P(502)的最佳搜尋範圍(SRbest
)加上級距SRinitial
/4做為搜尋範圍(SR)，也就是SR=SRbest
+SRinitial
/4。
但在特定條件下，也會選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)，例如標號522、524、526的巨區塊，因為符合例如圖4D的三個規則其中之一，這些巨區塊522、524、526屬於高移動特性，則此搜尋範圍將擴大到初始搜尋範圍(SR=32)。
請參照圖6A~6D，是說明本揭露內容所提出多視點視訊編碼(MVC)技術中，在一實施例中，動態彈性調整視差估算(DE)搜尋範圍的方法。在此彈性動態調整視差估算(DE)的搜尋範圍大小的方法，是採用之前的數個圖幀(previous frames)的視差向量分佈(DV Distribution)，據以判斷動態彈性調整的搜尋範圍大小。
請參照圖6A，在此實施例中，例如在時間軸上，先對第一個圖幀P(例如圖6A中圖幀602)在搜尋視窗內的每一個巨區塊(MB)，以初始搜尋範圍(SRinitial
)進行視差估算(DE)。當每完成一個巨區塊的視差估算(DE)後，就將得到的視差向量(DV)的絕對值落入做為視差向量分佈的級距範圍做一記錄，在此實施例中，採用四個區域做分佈的紀錄，但並非以數量此為限制，可根據例如速率-失真(Rate-Distortion)成本法則調整區域的數量。
在完成對第一個圖幀P在搜尋視窗內的所有巨區塊(MB)完成視差估算(DE)後，找出分佈最多的視差向量(DV)的搜尋範圍(SR)做為最佳搜尋範圍(SRbest
)。此最佳搜尋範圍(SRbest
)將會被選擇做為下一個圖幀的開始進行視差估算(DE)的搜尋範圍，例如圖示中的第二個圖幀P(例如圖6A中圖幀604)。
對於第二個圖幀P(圖6A中圖幀604)而言，將採用最佳搜尋範圍(SRbest
)加或減級距SRinitial
/4做為搜尋範圍(SR)，也就是SR=SRbest
+SRinitial
/4或SR=SRbest
-SRinitial
/4。但在特定條件下，第二個圖幀P(圖6A中圖幀604)也會選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)。上述擴大搜尋範圍的條件是根據例如鄰近的巨區塊(NMB)的資訊進行判斷。
如圖6B右上方顯示，對視差向量分佈的紀錄與統計，必須分為垂直視差向量與水平視差向量的分佈，也就是垂直方向與水平方向必須分開處理，而且兩者可以互相獨立進行調整垂直視差向量或水平視差向量的搜尋範圍。
在此實施例中，採用四個區域做分佈的紀錄分為水平方向的水平視差向量(DV_X)分佈與垂直方向的視差向量向量(DV_Y)分佈，而四個區域分別為區域(1)、區域(2)、區域(3)、區域(4)。而根據此四個區域，作為選擇對應的搜尋範圍(SR)的值，例如每個級距為SR/4，並根據分佈而調整SR/4。
若以初始搜尋範圍(SRinitial
)為32為例進行說明。區域(1)、區域(2)、區域(3)、區域(4)來統計視差向量分佈，則對水平視差向量(DV_X)絕對值或是對垂直視差向量(DV_Y)絕對值的落點分佈級距，分別為0~7、8~15、16~23、24~31。而對於分佈的數量計算，則是分別為計數值1、計數值2、計數值3、計數值4。
請參照圖6C，為說明本實施例對第一個圖幀P(圖6A中圖幀602)在搜尋視窗內的所有巨區塊(MB)完成視差估算(DE)後進行分佈計算的流程示意圖。首先，在步驟S610中，對基礎視點以初始搜尋範圍(SRinitial
)進行所有巨區塊的視差估算程序，而得到所有巨區塊的視差向量。而後，根據步驟S612，若是視差向量小於初始搜尋範圍(SRinitial
)的四分之一，則如步驟S614，直接將此計數值1加一，並且結束此分佈計算流程。若不是，則進行下一步驟。步驟S616，若是視差向量小於初始搜尋範圍(SRinitial
)的四分之二，則如步驟S618，直接將此計數值2加一，並且結束此分佈計算流程，若不是，則進行下一步驟。步驟S620，若是視差向量小於初始搜尋範圍(SRinitial
)的四分之三，則直接將此計數值3加一，並且結束此分佈計算流程，若不是，則直接將此計數值4加一，並且結束此分佈計算流程。
請參照圖6D，為說明在一實施例中，對非第一個圖幀的巨區塊(MB)進行視差估算(DE)時所採用的搜尋範圍判斷流程示意圖。底下對於目前處理中的巨區塊(MB)的鄰近巨區塊(NMB)，在一實施例中，請參照圖6D右上方的一實施例的示意圖，標示“Cur”為目前處理中的巨區塊，而標示“A”、“B”、“C”、“D”的巨區塊則可定義為鄰近巨區塊。
對非第一個圖幀的巨區塊進行視差估算(DE)時，採用的搜尋範圍例如可以包括三個候選搜尋範圍，包括根據前述實施例中提出的最佳搜尋範圍(SRbest
)加或減SRinitial
/4做為搜尋範圍，或是選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)，其判斷流程請參照圖6D的實施例示意圖說明。
基本上，一般採用的搜尋範圍是以最佳搜尋範圍(SRbest
)加上級距SRinitial
/4，也就是(SR=SRbest
+SRinitial
/4)。
但是，若是根據NMB的資訊判斷得知若處理中的巨區塊(MB)是屬於高視差(High-Disparity)特性，則在高視差特性下，為避免因為錯過正確的視差向量而使位元率(bit rate)增加，則此搜尋範圍的選擇必須加上根據鄰近的巨區塊(NMB)資訊判斷處理中的巨區塊是否具有高視差特性。除此之外，一般選擇DV的巨區塊數量，根據實驗得知，占所有圖幀的巨區塊數量約小於10%，因此，在選擇搜尋範圍時也列入考慮。
本揭露內容多個實施例其中之一，提出底下兩個判斷式，用以選擇(SR=SRbest
+SRinitial
/4)、(SR=SRbest
-SRinitial
/4)或初始搜尋範圍(SRinitial
)對巨區塊進行視差估算(DE)的搜尋範圍，但並非以此為限制。
請參照圖6D，步驟S630，判斷所有鄰近的巨區塊(NMB)的視差向量(DV)是否都沒有被選擇，若是，則如步驟S636，選擇(SR=SRbest
-SRinitial
/4)對巨區塊進行視差估算(DE)的搜尋範圍，若否，則進行步驟S632。
步驟S632，最大的視差向量(DV)落在(SR=SRbest
)之外，而且是否所有鄰近的巨區塊(NMB)都未挑選移動向量(MV)，若是，則如步驟S638，選擇初始搜尋範圍(SRinitial
)對巨區塊進行視差估算(DE)的搜尋範圍，若否，則進行步驟S634，選擇(SR=SRbest
+SRinitial
/4)對巨區塊進行視差估算(DE)的搜尋範圍
請參照圖7，為本揭露內容實施例所提出動態彈性調整視差估算(DE)的搜尋範圍方法的範例說明示意圖。在此以初始搜尋範圍(SRinitial
)為32進行說明。
根據第一個圖幀P(702)為參考，對在搜尋視窗內的巨區塊(MB)，以初始搜尋範圍(SRinitial
)進行視差估算(DE)。因此，所有的巨區塊(MB)都採用SR=32進行，而取得水平視差向量(DV_X)分佈與垂直方向的垂直視差向量(DV_Y)分佈。
對每一個巨區塊，以初始搜尋範圍(SRinitial
)進行視差估算。當每完成一個巨區塊的視差估算後，就將得到的視差向量的絕對值落入做為視差向量分佈的級距範圍做一記錄。例如對巨區塊712完成視差估算後取得的(DV_X,DV_Y)=(9,3)，則由於DV_X=9是大於7但小於15，因此落在第二區域，則將對應的計數值加一。從圖示中可知，經由第一個圖幀以初始搜尋範圍(SR=32)進行視差估算後，取得SRbest
(DV_X)在8~15之間，而SRbest
(DV_Y)在0~7之間。
對於後續的圖幀而言，例如圖示的第二個圖幀P(704)而言，將採用經由第一個圖幀P(702)的最佳搜尋範圍(SRbest
)加上級距SRinitial
/4做為搜尋範圍(SR)，也就是SR=SRbest
+SRinitial
/4。
但在特定條件下，也會選擇SR=SRbest
-SRinitial
/4，例如標號722、724的巨區塊，或選擇擴大搜尋範圍到初始搜尋範圍(SRinitial
)，例如標號726、728的巨區塊，這些巨區塊726、728屬於高視差，則此搜尋範圍將擴大到初始搜尋範圍(SR=32)。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100A．．．對第一視點取得的視訊影像資料進行編碼的流程
100B．．．對第二視點取得的視訊影像資料進行編碼的流程
102．．．圖幀資料
104．．．轉換(Transform)/量化(Quantization)程序
106．．．熵編碼(Entropy Coding)程序
108．．．反轉換(Inverse Transform)/反量化(Inverse Quantization)程序
110．．．Intra-Picture預測程序
112．．．Inter-Picture預測程序
114．．．多工器
116．．．去區塊效應過濾器(Deblocking Filter)
118．．．圖幀緩衝器
120．．．移動估算(Motion Estimation)程序
121．．．移動向量
130．．．移動估算程序
132．．．Inter-Picture預測程序
310、320．．．圖幀
312．．．檢索視窗(Search Window)
322．．．巨區塊
MV_X．．．水平移動向量
MV_Y．．．垂直移動向量
502、504．．．圖幀
512、522、524、526．．．巨區塊
Cur．．．目前處理中的巨區塊
A、B、C、D．．．鄰近巨區塊
702、704．．．圖幀
712、722、724、726、728．．．巨區塊
圖1是說明符合H.264/AVC標準的多視點視訊編碼(MVC)技術的架構與編碼流程示意圖。
圖2是說明在連續的時間對於不同圖幀進行移動估算(ME)，以及在連續的視點之間連續的視點進行視差估算(DE)的示意圖。
圖3A是說明根據先前的參考圖幀或是其它視點的圖幀的檢索視窗中，以搜尋範圍(SR)進行估算的示意圖。
圖3B是說明巨區塊切割模式與子巨區塊(Sub-Macroblock)的切割模式。
圖4A～4E是說明本揭露內容多個實施例其中之一，動態彈性調整移動估算(ME)的搜尋範圍方法的詳細說明示意圖。
圖5是說明本揭露內容實施例所提出動態彈性調整移動估算(ME)的搜尋範圍方法的範例說明示意圖。
圖6A～6D是說明本揭露內容所提出多視點視訊編碼(MVC)技術中，在一實施例中，動態彈性調整視差估算(DE)搜尋範圍的方法。
圖7是說明本揭露內容實施例所提出動態彈性調整視差估算(DE)的搜尋範圍方法的範例說明示意圖。
Claims (10)
- 一種彈性調整估算搜尋範圍的移動估算方法，適用於多視點視訊編碼，其中該移動估算方法包括：以一初始搜尋範圍做為第一搜尋範圍，對從第一視點取得的第一圖幀的多個第一區塊進行移動估算流程，取得一移動向量分佈，根據該移動向量分佈取得第一候選搜尋範圍；以及選擇該第一候選搜尋範圍或該初始搜尋範圍，作為第二圖幀的第二搜尋視窗內的多個第二區塊進行該移動估算流程的第二搜尋範圍，得到該些第二區塊的一移動向量，提供給該第二圖幀進行視訊編碼，其中該第二圖幀是來自第二視點，其中該第一候選搜尋範圍的取得的方法包括：對該初始搜尋範圍區分為多個區域，每一該區域對應的一計數值：對該些第一區塊的每一該第一區塊的移動向量判斷落在該些區域的哪一該區域，則增加該區域對應的該計數值；完成所有該些第一區塊的該些移動向量落入該些區域判斷後，根據該移動向量分佈中，以最大的該計數值對應的該區域取得一最佳搜尋範圍；以及依據該最佳搜尋範圍、該初始搜尋範圍與該些區域的數量，計算該第一候選搜尋範圍。
- 如申請專利範圍第1項所述的彈性調整估算搜尋範 圍的移動估算方法，其中計算該第一候選搜尋範圍之步驟包括：以該最佳搜尋範圍加上該初始搜尋範圍除以該些區域的數量的和，作為該第一候選搜尋範圍。
- 如申請專利範圍第1項所述的彈性調整估算搜尋範圍的移動估算方法，其中該第二搜尋範圍從該第一候選搜尋範圍與該初始搜尋範圍兩者其中之一進行選擇，其中選擇該初始搜尋範圍作為該第二搜尋範圍的方法，包括：根據該第二區塊的多個鄰近區塊取得一鄰近區塊資訊；根據該鄰近區塊資訊判斷該第二區塊是否符合一移動特性判斷方法，若是，則該第二搜尋範圍選擇該初始搜尋範圍作為該第二搜尋範圍，若不是，則該第二搜尋範圍選擇該第一候選搜尋範圍。
- 如申請專利範圍第3項所述的彈性調整估算搜尋範圍的移動估算方法，其中該鄰近區塊資訊判斷該第二區塊是否符合該移動特性判斷方法包括判斷該第二區塊的該些鄰近區塊的每一該鄰近區塊的速率-失真成本值是否比該第一圖幀該些第一區塊的速率-失真成本值的平均值高過一倍數，其中該倍數大於1，若是，則該第二搜尋範圍選擇該初始搜尋範圍作為該第二搜尋範圍，若不是，則該第二搜尋範圍選擇該第一候選搜尋範圍。
- 如申請專利範圍第3項所述的彈性調整估算搜尋範 圍的移動估算方法，其中該鄰近區塊資訊判斷該第二區塊是否符合移動特性判斷方法包括判斷該些鄰近區塊的該些移動向量的最大值是否落在該最佳搜尋範圍與該第一候選搜尋範圍之間，而無任一該鄰近區塊選擇視差向量，若是，則該第二搜尋範圍選擇該初始搜尋範圍作為該第二搜尋範圍，若不是，則該第二搜尋範圍選擇該第一候選搜尋範圍。
- 如申請專利範圍第3項所述的彈性調整估算搜尋範圍的移動估算方法，其中該鄰近區塊資訊判斷該第二區塊是否符合移動特性判斷方法包括判斷該些鄰近區塊的該些移動向量的最大值是否超出該該第一候選搜尋範圍，若是，則該第二搜尋範圍選擇該初始搜尋範圍作為該第二搜尋範圍，若不是，則該第二搜尋範圍選擇該第一候選搜尋範圍。
- 一種彈性調整估算搜尋範圍的視差估算方法，適用於多視點視訊編碼，其中該視差估算方法包括：以一初始搜尋範圍做為第一搜尋範圍，對第一圖幀的第一搜尋視窗內的多個第一區塊進行視差估算流程，取得一視差向量分佈，根據該視差向量分佈，取得第一候選搜尋範圍及第二候選搜尋範圍，其中該第一圖幀是在一第一時間取得；以及從該第一候選搜尋範圍或該第二候選搜尋範圍其中之一，作為對第二圖幀的第二搜尋視窗內的多個第二區塊進行該視差估算流程的第二搜尋範圍，得到該視差估算流 程對應的一視差向量，提供做為視訊編碼，其中該第二圖幀是在第二時間取得，而該第一時間早於該第二時間，其中取得該第一候選搜尋範圍與該第二候選搜尋範圍的方法包括：對該初始搜尋範圍區分為多個區域，每一該區域對應的一計數值：對該些第一區塊的每一該第一區塊的該視差向量判斷落在該些區域的哪一該區域，則增加該區域對應的該計數值；完成所有該些第一區塊的該些視差向量落入該些區域判斷後，根據該視差向量分佈中，以最大的該計數值對應的該區域取得一最佳搜尋範圍；以及依據該最佳搜尋範圍、該初始搜尋範圍與該些區域的數量的和，計算該第一候選搜尋範圍，以及依據該最佳搜尋範圍、該初始搜尋範圍與該些區域的數量的差，計算該第二候選搜尋範圍。
- 如申請專利範圍第7項所述的彈性調整估算搜尋範圍的視差估算方法，其中計算該第一候選搜尋範圍以及該第二候選搜尋範圍之步驟包括：以該最佳搜尋範圍加上該初始搜尋範圍除以該些區域的數量的和，作為該第一候選搜尋範圍；以及以該最佳搜尋範圍減去該初始搜尋範圍除以該些區域的數量的差，作為該第二候選搜尋範圍。
- 如申請專利範圍第7項所述的彈性調整估算搜尋範 圍的視差估算方法，其中該第二搜尋範圍從該第一候選搜尋範圍、該第二候選搜尋範圍與該初始搜尋範圍三者其中之一進行選擇，其中選擇方法包括：根據該第二區塊的多個鄰近區塊取得一鄰近區塊資訊；以及根據該鄰近區塊資訊判斷該第二區塊是否符合一視差特性判斷方法，若是，則該第二搜尋範圍選擇該初始搜尋範圍作為該第二搜尋範圍，若不是，則該第二搜尋範圍選擇該第一候選搜尋範圍或該第二候選搜尋範圍其中之一。
- 如申請專利範圍第9項所述的彈性調整估算搜尋範圍的視差估算方法，其中該鄰近區塊資訊判斷該第二區塊是否符合該視差特性判斷方法包括：判斷所有該些鄰近區塊的該些視差向量是否都沒有被選擇，若是，則該第二搜尋範圍選擇該第二候選搜尋範圍；以及判斷該些鄰近區塊的該些視差向量是否落在一最佳搜尋範圍之外，而且所有該些鄰近區塊的該些視差向量是否都沒有被選擇，若兩者皆是，則該第二搜尋範圍選擇該初始搜尋範圍，若為否，則該第二搜尋範圍選擇該第一候選搜尋範圍。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100140173A TWI461066B (zh) | 2011-11-03 | 2011-11-03 | 彈性調整估算搜尋範圍的移動估算方法及視差估算方法 |
| CN201110414184.2A CN103096063B (zh) | 2011-11-03 | 2011-12-13 | 适应性调整估计搜寻范围的运动估计方法及视差估计方法 |
| US13/350,811 US8817871B2 (en) | 2011-11-03 | 2012-01-15 | Adaptive search range method for motion estimation and disparity estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100140173A TWI461066B (zh) | 2011-11-03 | 2011-11-03 | 彈性調整估算搜尋範圍的移動估算方法及視差估算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201320768A TW201320768A (zh) | 2013-05-16 |
| TWI461066B true TWI461066B (zh) | 2014-11-11 |
Family
ID=48208138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100140173A TWI461066B (zh) | 2011-11-03 | 2011-11-03 | 彈性調整估算搜尋範圍的移動估算方法及視差估算方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8817871B2 (zh) |
| CN (1) | CN103096063B (zh) |
| TW (1) | TWI461066B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012257198A (ja) * | 2011-05-17 | 2012-12-27 | Canon Inc | 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置 |
| KR101347062B1 (ko) * | 2012-06-27 | 2014-01-10 | 숭실대학교산학협력단 | 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법 |
| US10230956B2 (en) | 2012-09-26 | 2019-03-12 | Integrated Device Technology, Inc. | Apparatuses and methods for optimizing rate-distortion of syntax elements |
| SG10201601308UA (en) * | 2012-09-28 | 2016-03-30 | Sony Corp | Image processing device and method |
| KR20140048783A (ko) | 2012-10-09 | 2014-04-24 | 한국전자통신연구원 | 깊이정보값을 공유하여 움직임 정보를 유도하는 방법 및 장치 |
| US20140219331A1 (en) * | 2013-02-06 | 2014-08-07 | Magnum Semiconductor, Inc. | Apparatuses and methods for performing joint rate-distortion optimization of prediction mode |
| US10491916B2 (en) | 2013-10-01 | 2019-11-26 | Advanced Micro Devices, Inc. | Exploiting camera depth information for video encoding |
| TWI472231B (zh) * | 2013-11-27 | 2015-02-01 | Ind Tech Res Inst | 用於移動估計的視訊前處理方法與裝置 |
| CN104768001B (zh) * | 2014-01-02 | 2018-12-07 | 浙江大学 | 一种视差矢量导出方法及装置 |
| JP2019530299A (ja) * | 2016-10-13 | 2019-10-17 | 富士通株式会社 | 画像コーディング／デコーディング方法、装置及び画像処理機器 |
| CN109874017A (zh) * | 2017-12-04 | 2019-06-11 | 晨星半导体股份有限公司 | 与移动补偿相关的影像处理装置及影像处理方法 |
| US10554953B2 (en) * | 2017-12-17 | 2020-02-04 | Google Llc | Distortion of video for seek in 360 degree video |
| CN110060283B (zh) * | 2019-04-17 | 2020-10-30 | 武汉大学 | 一种多测度半全局密集匹配方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050031035A1 (en) * | 2003-08-07 | 2005-02-10 | Sundar Vedula | Semantics-based motion estimation for multi-view video coding |
| US20050238102A1 (en) * | 2004-04-23 | 2005-10-27 | Samsung Electronics Co., Ltd. | Hierarchical motion estimation apparatus and method |
| US20080198924A1 (en) * | 2007-02-06 | 2008-08-21 | Gwangju Institute Of Science And Technology | Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same |
| US20090225834A1 (en) * | 2008-03-05 | 2009-09-10 | Samsung Electronics Co., Ltd. | Method and apparatus for image intra prediction |
| TW201007393A (en) * | 2008-07-21 | 2010-02-16 | Seereal Technologies Sa | Light modulating device |
| TW201134193A (en) * | 2009-09-25 | 2011-10-01 | Panasonic Corp | Recording medium, reproduction device and integrated circuit |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6043838A (en) * | 1997-11-07 | 2000-03-28 | General Instrument Corporation | View offset estimation for stereoscopic video coding |
| KR100455119B1 (ko) * | 2002-01-26 | 2004-11-06 | 엘지전자 주식회사 | 움직임 벡터 영역의 적응적 결정 방법 |
| KR100492127B1 (ko) * | 2002-02-23 | 2005-06-01 | 삼성전자주식회사 | 적응형 움직임 추정장치 및 추정 방법 |
| US7609765B2 (en) * | 2004-12-02 | 2009-10-27 | Intel Corporation | Fast multi-frame motion estimation with adaptive search strategies |
| TW200633539A (en) | 2005-03-09 | 2006-09-16 | Pixart Imaging Inc | Estimation method of motion vector based on distance weighted searching sequence |
| US7852940B2 (en) | 2005-10-20 | 2010-12-14 | Qualcomm Incorporated | Scalable motion estimation for video encoding |
| CN1791224A (zh) | 2005-12-19 | 2006-06-21 | 宁波大学 | 一种基于h.264的自适应块搜索范围快速运动估计方法 |
| US8494052B2 (en) | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| US8467448B2 (en) * | 2006-11-15 | 2013-06-18 | Motorola Mobility Llc | Apparatus and method for fast intra/inter macro-block mode decision for video encoding |
| EP2422521B1 (en) * | 2009-04-20 | 2013-07-03 | Dolby Laboratories Licensing Corporation | Filter selection for video pre-processing in video applications |
| US8509309B2 (en) * | 2009-05-14 | 2013-08-13 | Massachusetts Institute Of Technology | Selecting transforms for compressing visual data |
| US8462852B2 (en) * | 2009-10-20 | 2013-06-11 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
| CN103609119A (zh) * | 2010-02-23 | 2014-02-26 | 日本电信电话株式会社 | 运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序 |
-
2011
- 2011-11-03 TW TW100140173A patent/TWI461066B/zh active
- 2011-12-13 CN CN201110414184.2A patent/CN103096063B/zh active Active
-
2012
- 2012-01-15 US US13/350,811 patent/US8817871B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050031035A1 (en) * | 2003-08-07 | 2005-02-10 | Sundar Vedula | Semantics-based motion estimation for multi-view video coding |
| US20050238102A1 (en) * | 2004-04-23 | 2005-10-27 | Samsung Electronics Co., Ltd. | Hierarchical motion estimation apparatus and method |
| US20080198924A1 (en) * | 2007-02-06 | 2008-08-21 | Gwangju Institute Of Science And Technology | Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same |
| US20090225834A1 (en) * | 2008-03-05 | 2009-09-10 | Samsung Electronics Co., Ltd. | Method and apparatus for image intra prediction |
| TW201007393A (en) * | 2008-07-21 | 2010-02-16 | Seereal Technologies Sa | Light modulating device |
| TW201134193A (en) * | 2009-09-25 | 2011-10-01 | Panasonic Corp | Recording medium, reproduction device and integrated circuit |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130114689A1 (en) | 2013-05-09 |
| TW201320768A (zh) | 2013-05-16 |
| CN103096063A (zh) | 2013-05-08 |
| CN103096063B (zh) | 2015-09-30 |
| US8817871B2 (en) | 2014-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI461066B (zh) | 彈性調整估算搜尋範圍的移動估算方法及視差估算方法 | |
| JP5234586B2 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
| CN101600108B (zh) | 一种多视点视频编码中的运动和视差联合估计方法 | |
| TWI440364B (zh) | 使用預測導引減數搜尋之移動估計 | |
| AU2013284038B2 (en) | Method and apparatus of disparity vector derivation in 3D video coding | |
| JP5970609B2 (ja) | ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
| US20150172714A1 (en) | METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING | |
| US20120114036A1 (en) | Method and Apparatus for Multiview Video Coding | |
| JP2015525997A (ja) | ３ｄビデオ符号化におけるビュー間候補導出の方法と装置 | |
| CN102045571B (zh) | 一种立体视频编码快速迭代搜索方法 | |
| KR20150084767A (ko) | 이미지들의 시퀀스에서의 조명 변동들을 보상하기 위한 방법 및 장치 | |
| WO2012060156A1 (ja) | 多視点画像符号化装置及び多視点画像復号装置 | |
| JP2012151576A (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
| JPH07240944A (ja) | ステレオ画像符号化装置 | |
| US20190356912A1 (en) | Information processing apparatus, information processing method and computer-readable recording medium having stored program therein | |
| KR101078525B1 (ko) | 다중시점 영상의 부호화 방법 | |
| JP6181242B2 (ja) | 画像復号化方法 | |
| JP5951915B2 (ja) | 画像復号化方法 | |
| JP5946980B1 (ja) | 画像復号化方法 | |
| JP5750191B2 (ja) | 画像復号化方法 | |
| JP5911982B2 (ja) | 画像復号化方法 | |
| JP5794668B2 (ja) | 画像符号化装置 | |
| KR101021538B1 (ko) | Ｈ．264 인코딩 시 고속 인트라 모드 결정 방법 | |
| Feng et al. | Understanding the impact of inter-lens and temporal stereoscopic video compression | |
| Qiao et al. | Fast disparity estimation utilizing depth information for multiview video coding |