TWI543591B - 寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體 - Google Patents

寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI543591B
TWI543591B TW101114266A TW101114266A TWI543591B TW I543591 B TWI543591 B TW I543591B TW 101114266 A TW101114266 A TW 101114266A TW 101114266 A TW101114266 A TW 101114266A TW I543591 B TWI543591 B TW I543591B
Authority
TW
Taiwan
Prior art keywords
motion vector
block
video
video data
aberration
Prior art date
Application number
TW101114266A
Other languages
English (en)
Other versions
TW201249214A (en
Inventor
陳盈
陳培松
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201249214A publication Critical patent/TW201249214A/zh
Application granted granted Critical
Publication of TWI543591B publication Critical patent/TWI543591B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體
本發明係關於視訊寫碼。
本發明主張2011年4月20申請之美國臨時申請案第61/477,561號及2011年7月28日申請之美國臨時申請案第61/512,765號之優先權，該兩個申請案之全部內容以引用的方式併入本文中。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如以下各者中描述之彼等技術：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))定義之標準、目前在開發中的高效率視訊寫碼(HEVC)標準，及此等標準之擴展。視訊器件可藉由實施此等視訊壓縮技術而較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測，以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將一視訊切片(亦即，圖像或圖像之 一部分)分割成多個視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之框內編碼(I)切片中的視訊區塊。圖像之框間編碼(P或B)切片中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。
空間或時間預測產生待編碼之區塊之預測性區塊。殘餘資料表示待編碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經編碼區塊與預測性區塊之間的差之殘餘資料來編碼框間編碼區塊。根據框內寫碼模式及殘餘資料來編碼框內編碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生接著可量化之殘餘變換係數。可掃描最初配置成二維陣列之經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述用於寫碼視訊資料之技術。本發明描述用於在多視角視訊寫碼(Multiview Video Coding(MVC))中進行框間模式寫碼(亦即，相對於其他圖像之區塊寫碼當前區塊)時執行運動向量預測、運動估計及運動補償之技術。一般而言，MVC為用於囊封多個視角之視訊資料之視訊編碼標準。每一視角可對應於常見場景之對應視訊資料被俘獲所處的不同觀點或角度。本發明之技術一 般包括在多視角視訊寫碼之內容脈絡中預測運動預測資料。亦即，例如，根據本發明之技術，來自處於與當前正經編碼之區塊相同或不同的視角中之區塊之像差運動向量可用以預測當前區塊之運動向量。在另一實例中，根據本發明之技術，來自處於與當前正經編碼之區塊相同或不同的視角中之區塊之時間運動向量可用以預測當前區塊之運動向量。
在一實例中，本發明之態樣係關於一種寫碼視訊資料之方法，該方法包含：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中該第一區塊係與一第一像差運動向量相關聯；判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，判定該運動向量預測子包含按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及使用該按比例調整之運動向量預測子寫碼該第二區塊之預測資料。
在另一實例中，本發明之態樣係關於一種用於寫碼視訊資料之裝置，該裝置包含一或多個處理器，該一或多個處理器經組態以執行以下操作：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中該第一區塊係與 一第一像差運動向量相關聯；判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，該一或多個處理器經組態以藉由按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子而判定該運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及基於該按比例調整之運動向量預測子寫碼該第二區塊之預測資料。
在另一實例中，本發明之態樣係關於一種用於寫碼視訊資料之裝置，該裝置包含：用於自一第一視角識別一第一時間位置中之視訊資料之一第一區塊的構件，其中該第一區塊係與一第一像差運動向量相關聯；用於判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子的構件，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，用於判定該運動向量預測子之該等構件經組態以藉由按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子而判定該運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及用於基於該按比例 調整之運動向量預測子寫碼該第二區塊之預測資料的構件。
在另一實例中，本發明之態樣係關於一種儲存有指令之電腦可讀儲存媒體，該等指令在執行時使一或多個處理器執行以下操作：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中該第一區塊係與一第一像差運動向量相關聯；判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，該等指令使該一或多個處理器藉由按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子而判定該運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及基於該按比例調整之運動向量預測子寫碼該第二區塊之預測資料。
在另一實例中，本發明之態樣係關於一種寫碼視訊資料之方法，該方法包含：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中視訊資料之該第一區塊係與一第一時間運動向量相關聯；當與視訊資料之一第二區塊相關聯的一第二運動向量包含一時間運動向量且該第二區塊係來自一第二視角時，基於該第一時間運動向量判定該第二運動向量之一運動向量預測子；及使用該運動向量預測子寫碼該第二區塊之預測資料。
在另一實例中，本發明之態樣係關於一種用於寫碼視訊資料之裝置，該裝置包含一或多個處理器，該一或多個處理器經組態以執行以下操作：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中視訊資料之該第一區塊係與一第一時間運動向量相關聯；當與視訊資料之一第二區塊相關聯的一第二運動向量包含一時間運動向量且該第二區塊係來自一第二視角時，基於該第一時間運動向量判定該第二運動向量之一運動向量預測子；及使用該運動向量預測子編碼該第二區塊之預測資料。
在另一實例中，本發明之態樣係關於一種寫碼視訊資料之裝置，該裝置包含：用於自一第一視角識別一第一時間位置中之視訊資料之一第一區塊的構件，其中視訊資料之該第一區塊係與一第一時間運動向量相關聯；用於在與視訊資料之一第二區塊相關聯的一第二運動向量包含一時間運動向量且該第二區塊係來自一第二視角時，基於該第一時間運動向量判定該第二運動向量之一運動向量預測子的構件；及用於使用該運動向量預測子寫碼該第二區塊之預測資料的構件。
在一實例中，本發明之態樣係關於一種儲存有指令之電腦可讀儲存媒體，該等指令在執行時使一或多個處理器執行以下操作：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中視訊資料之該第一區塊係與一第一時間運動向量相關聯；當與視訊資料之一第二區塊相關聯的一第二運動向量包含一時間運動向量且該第二區塊係 來自一第二視角時，基於該第一時間運動向量判定該第二運動向量之一運動向量預測子；及使用該運動向量預測子編碼該第二區塊之預測資料。
在隨附圖式及下文之描述中闡述本發明之一或多個態樣之細節。本發明中所描述之技術的其他特徵、目標及優點將自描述及圖式以及自申請專利範圍顯而易見。
根據某些視訊寫碼系統，運動估計及運動補償可用以減少視訊序列中之時間冗餘，以便達成資料壓縮。在此狀況下，可產生識別視訊資料之預測性區塊(例如，來自另一視訊圖像或切片之區塊)之運動向量，其可用以預測正經編碼之當前視訊區塊之值。自當前視訊區塊之值減去預測性視訊區塊之值以產生殘餘資料之區塊。將運動資訊(例如，運動向量、運動向量索引、預測方向或其他資訊)連同殘餘資料自視訊編碼器傳達至視訊解碼器。解碼器可定位相同預測性區塊(基於運動向量)，且藉由組合殘餘資料與預測性區塊之資料而重建構經編碼之視訊區塊。
在一些狀況下，亦應用運動向量之預測性寫碼以進一步減少傳達運動向量所需的資料量。當建立運動向量時，自目標圖像至參考圖像來建立運動向量。可在空間上或時間上預測運動向量。空間上預測之運動向量係與可用空間區塊(相同時間瞬時之區塊)相關聯。時間上預測之運動向量係與可用時間區塊(不同時間瞬時之區塊)相關聯。在運動向量預測之狀況下，編碼器編碼及傳達相對於已知(或可 知)運動向量之運動向量差(MVD)，而非編碼及傳達運動向量自身。在H.264/AVC中，可藉由所謂的運動向量預測子(MVP)來定義可供MVD使用以定義當前運動向量的已知運動向量。作為有效的MVP，運動向量必須指向與當前藉由MVP及MVD編碼之運動向量相同的圖像。
視訊編碼器可建置運動向量預測子候選者清單，該清單包括在空間及時間方向上之若干相鄰區塊作為MVP之候選者。在此狀況下，視訊編碼器可基於編碼速率及失真之分析(例如，使用速率-失真成本分析或其他寫碼效率分析)而自候選者集合選擇最準確的預測子。可將運動向量預測子索引(mvp_idx)傳輸至視訊解碼器以告知解碼器在何處定位MVP。亦傳達MVD。解碼器可組合MVD與MVP(其係由運動向量預測子索引而定義)以便重建構運動向量。
所謂的「合併模式」亦可為可用的，其中正經編碼之當前視訊區塊繼承相鄰視訊區塊之運動資訊(諸如，運動向量、參考圖像索引、預測方向或其他資訊)。索引值可用以識別相鄰者，當前視訊區塊自相鄰者繼承其運動資訊。
多視角視訊寫碼(MVC)為用於密封/封裝(encapsulating)多個視角之視訊資料之視訊寫碼標準。一般而言，每一視角對應於常見場景之對應視訊資料被俘獲所處的不同觀點或角度。MVC提供後設資料集合，亦即，視角之描述性資料(共同地及個別地)。
經編碼視角可用於視訊資料之三維(3D)顯示。舉例而言，可使用光之不同偏振而同時或接近同時顯示兩個視角 (例如，人類檢視者之左眼視角及右眼視角)，且檢視者可佩戴被動型偏光眼鏡以使得檢視者之眼睛中每一者接收到該等視角中之一各別視角。或者，檢視者可佩戴為每一眼睛獨立地裝設快門(shutter)之主動型眼鏡，且顯示器可與眼鏡同步而在每一眼睛之影像之間迅速交替。
在MVC中，特定視角之特定圖像被稱作視角分量。亦即，視角之視角分量對應於視角之特定時間瞬時。通常，不共置兩個視角之相同或對應物件。術語「像差向量」可用以指代指示一視角之圖像中之物件相對於不同視角中之對應物件的移位之向量。此向量亦可被稱作「移位向量」。像差向量亦可適用於圖像之視訊資料之像素或區塊。舉例而言，第一視角之圖像中之像素可相對於第二視角之圖像中之對應像素而移位與不同攝影機位置有關之特定像差，自該等攝影機位置俘獲第一視角及第二視角。在一些實例中，像差可用以預測自一視角至另一視角之運動向量。
在MVC之內容脈絡中，一視角之圖像可自另一視角之圖像予以預測。舉例而言，視訊資料之區塊可相對於相同時間瞬時但不同視角之參考圖像中之視訊資料的區塊予以預測。在一實例中，當前正經編碼之區塊可被稱作「當前區塊」。自處於不同視角但處於相同時間瞬時之區塊預測當前區塊之運動向量稱為「像差運動向量」。像差運動向量通常適用於一個以上視角可用的多視角視訊寫碼之內容脈絡中。根據本發明，像差運動向量之「視角距離」可指代 參考圖像之視角與目標圖像之視角之間的平移差。亦即，可將視角距離表示為參考圖像之視角識別符與目標圖像之視角識別符之間的視角識別符差。
另一類型之運動向量為「時間運動向量」。在多視角視訊寫碼之內容脈絡中，時間運動向量指代自處於不同時間瞬時中但在相同視角內之區塊預測當前區塊之運動向量。根據本發明，時間運動向量之「時間距離」可指代自參考圖像至目標圖像之圖像次序計數(picture order count,POC)距離。
本發明之某些技術係針對使用與多視角設定中之視訊資料之區塊相關聯的運動資訊(例如，運動向量、運動向量索引、預測方向或其他資訊)以預測當前正經編碼之區塊之運動資訊。舉例而言，根據本發明之態樣，可添加自不同視角預測之運動向量作為用於當前區塊之運動向量預測的一或多個運動向量清單之候選者。在一些實例中，視訊編碼器可使用與處於與當前正經編碼之區塊不同的視角中之區塊相關聯的像差運動向量，以預測當前區塊之運動向量，且可將經預測之像差運動向量添加至候選運動向量清單。在其他實例中，視訊編碼器可使用與處於與當前正經編碼之區塊不同的視角中之區塊相關聯的時間運動向量，以預測當前區塊之運動向量，且可將經預測之時間運動向量添加至候選運動向量清單。
根據本發明之態樣，可在像差運動向量用作當前正經編碼之區塊的運動向量預測子之前按比例調整該像差運動向 量。舉例而言，若像差運動向量識別具有與正經預測之當前運動向量相同的視角識別符之參考圖像，且像差運動向量具有具與正經預測之當前運動向量相同的視角識別符之目標圖像，則在像差運動向量用以預測當前區塊之運動向量之前可能不按比例調整該像差運動向量。在其他例子中，可在像差運動向量用以預測當前區塊之運動向量之前按比例調整該像差運動向量。
在另一實例中，可自與空間上相鄰之區塊相關聯的像差運動向量預測像差運動向量。在此實例中，若像差運動向量之參考圖像之視角識別符與待預測之運動向量(例如，與當前正經預測之區塊相關聯之運動向量)的參考圖像之視角識別符相同，則可能不需要按比例調整。否則，可基於用以俘獲視訊資料之攝影機之攝影機位置而按比例調整像差運動向量。亦即，例如，可根據像差運動向量之參考圖像之視角識別符與該運動向量之目標圖像之視角識別符之間的差而按比例調整用於預測之像差運動向量。在一些實例中，可基於視角之平移而按比例調整像差運動向量之按比例調整。
在另一實例中，可自與時間上相鄰之區塊相關聯之像差運動向量預測像差運動向量。在此實例中，若像差運動向量之參考圖像之視角識別符與待預測之運動向量之參考圖像之視角識別符相同，且像差運動向量之目標圖像之視角識別符與待預測之運動向量之參考圖像之視角識別符相同，則可能不需要按比例調整。否則，可基於視角識別符 之差而按比例調整像差運動向量，如關於先前實例所描述。
關於時間運動向量預測，根據本發明之態樣，目標圖像在第一視角中之時間運動向量可用以預測目標圖像在第二不同視角中之時間運動向量。在一些實例中，可將用於預測之時間運動向量之目標圖像中的區塊與不同視角中之當前正經預測之區塊共置。在其他實例中，歸因於兩個視角之間的像差，用於預測之時間運動向量之目標圖像中的區塊可自當前區塊偏移。
在一些實例中，當自不同視角預測之運動向量為時間運動向量時，可基於圖像次序計數(POC)距離之差而按比例調整該運動向量。舉例而言，根據本發明之態樣，若用於預測之時間運動向量之參考圖像具有與正經預測之當前運動向量之參考圖像相同的POC值，且用於預測之時間運動向量之目標圖像具有與正經預測之當前運動向量之目標圖像相同的POC值，則可能不按比例調整用於預測之運動向量。否則，仍可基於用於預測之運動向量之參考圖像與當前正經預測之運動向量之參考圖像之間POC值之差而按比例調整用於預測之運動向量。
根據本發明之一些態樣，可將來自不同視角之時間及/或像差運動向量用作MVP候選者。舉例而言，時間及/或像差運動向量可用以計算當前區塊之MVD。根據本發明之其他態樣，可將來自不同視角之時間及/或像差運動向量用作合併候選者。舉例而言，當前區塊可繼承時間及/或 像差運動向量。在此等實例中，索引值可用以識別相鄰者，當前視訊區塊自相鄰者繼承其運動資訊。在任何情況下，可在來自不同視角的用作MVP或合併候選者之像差及/或時間運動向量用作MVP或合併候選者之前按比例調整該像差及/或時間運動向量。
圖1為說明可利用用於多視角寫碼中之運動向量預測之技術的實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，源器件12提供稍後待由目的地器件14解碼之經編碼之視訊資料。詳言之，源器件12經由電腦可讀媒體16而將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板型電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」平板裝置(smart pad)、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件，或其類似者。在一些狀況下，源器件12及目的地器件14可為無線通信而裝備。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼之視訊資料。電腦可讀媒體16可包含能夠將經編碼之視訊資料自源器件12移至目的地器件14的任何類型之媒體或器件。在一實例中，電腦可讀媒體16可包含用以使源器件12能夠將經編碼之視訊資料直接即時傳輸至目的地器件14之通信媒體。
可根據通信標準(諸如，無線通信協定)調變經編碼之視 訊資料，且將經編碼之視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的任何其他設備。
在一些實例中，可將經編碼資料自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼之視訊資料之任何其他合適的數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊之另一中間儲存器件。
目的地器件14可經由串流傳輸或下載而自儲存器件存取經儲存之視訊資料。檔案伺服器可為能夠儲存經編碼之視訊資料且將該經編碼之視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括web伺服器(例如，針對網站)、FTP伺服器、網路附接儲存(NAS)器件，或區域磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、 纜線數據機等)，或兩者之組合。經編碼之視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援諸如以下應用的多種多媒體應用中之任一者的視訊寫碼：無線電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流(dynamic adaptive streaming over HTTP(DASH))之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以應用用於多視角寫碼中之運動向量預測之技術。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
圖1之所說明之系統10僅為一實例。可藉由任何數位視訊編碼及/或解碼器件來執行多視角寫碼中之運動向量預測之技術。儘管本發明之技術一般係藉由視訊編碼器件來執行，但該等技術亦可藉由視訊編碼器/解碼器(通常被稱作「編碼解碼器(CODEC)」)來執行。此外，亦可藉由視 訊預處理器來執行本發明之技術。源器件12及目的地器件14僅為此等寫碼器件之實例，其中源器件12產生用於傳輸至目的地器件14之經編碼之視訊資料。在一些實例中，器件12、14可以實質上對稱之方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸(例如)以用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊封存檔，及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或產生實況視訊、封存視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明中所描述之技術可一般適用於視訊寫碼，且可應用於無線及/或有線應用。在每一狀況下，可藉由視訊編碼器20編碼經俘獲之視訊、經預先俘獲之視訊或電腦產生之視訊。可接著藉由輸出介面22將經編碼之視訊資訊輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時性媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如，硬碟、隨身碟、光碟(compact disc)、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未展示)可自源器件12接收經編碼之視訊資 料，且(例如)經由網路傳輸將該經編碼之視訊資料提供至目的地器件14。類似地，媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼之視訊資料且產生含有該經編碼之視訊資料之光碟。因此，在各種實例中，可將電腦可讀媒體16理解成包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦由視訊解碼器30使用且包括描述區塊及其他經編碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼之視訊資料，且可包含多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如目前在開發中的高效率視訊寫碼(HEVC)標準之視訊寫碼標準而操作，且可符合HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準或者被稱作MPEG-4第10部分(進階視訊寫碼(AVC)之其他專屬或工業標準或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管未在圖1中展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當多工器-解多工器(MUX- DEMUX)單元或其他硬體及軟體，以處置一共同資料串流或若干單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者/用戶(user)資料報協定(UDP)之其他協定。
ITU-T H.264/MPEG-4(AVC)標準係作為被稱為聯合視訊小組(JVT)之集體合作之產物而由ITU-T視訊寫碼專家群組(VCEG)與ISO/IEC動畫專家群組(MPEG)一起制定。在一些態樣中，可將本發明中所描述之技術應用於大體上符合H.264標準之器件。H.264標準係由ITU-T研究群組在2005年3月描述於ITU-T國際標準H.264「Advanced Video Coding for generic audiovisual services」中，該標準可在本文中被稱作H.264標準或H.264規範，或H.264/AVC標準或規範。聯合視訊小組(JVT)仍舊致力於對H.264/MPEG-4AVC之擴展。
JCT-VC致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM假設視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測寫碼模式，而HM可提供多達三十三個框內預測寫碼模式。
一般而言，HM之工作模型描述視訊圖像(或「圖框」)可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大編碼單元(LCU)之序列。位元串流內之語法資料可定義LCU之大小，LCU為就像素數目而言之最大編碼單元。切 片包括按編碼次序之數個連續樹型區塊。圖像可分割成一或多個切片。每一樹型區塊可根據四分樹而分裂成若干編碼單元(CU)。一般而言，四分樹資料結構中每CU包括一個節點，其中根節點對應於樹型區塊。若CU分裂成四個子CU，則對應於CU之節點包括四個葉節點，其中每一者對應於子CU中之一者。
四分樹資料結構之每一節點可提供對應CU之語法資料。舉例而言，四分樹中之節點可包括分裂旗標，其指示對應於節點之CU是否分裂成子CU。CU之語法元素可被遞歸式地定義，且可取決於CU是否分裂成子CU。若CU不進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明確分裂，葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU不進一步分裂，則儘管16×16 CU永不分裂，但四個8×8子CU亦將被稱作葉CU。
除了CU不具有大小區別之外，CU之意義類似於H.264標準之巨集區塊之意義。舉例而言，樹型區塊可分裂成四個子代節點(亦被稱作子CU)，且每一子代節點可又為父代節點並分裂成另外四個子代節點。最後未分裂之子代節點(被稱作四分樹之葉節點)包含一寫碼節點(亦被稱作葉CU)。與經編碼之位元串流相關聯的語法資料可定義樹型區塊可分裂之最大次數(被稱作最大CU深度)，且亦可定義寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之內容脈絡中之CU、PU或TU中的任一者，或在其他標準之內容 脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及子區塊)。
CU包括一寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，但可能並非總是如此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用稱為「殘餘四分樹」(residual quad tree(RQT))之四分樹結構將對應於CU之殘餘樣本再分成若干較小單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之全部或一部分之空間區域，且可包括用於擷取PU之參考樣本之資料。此外，PU包括與預測有 關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定變換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成其他子TU。當TU不進一步分裂時，其可被稱作葉TU。一般而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，一般應用相同框內預測模式以計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器20可使用框內預測模式計算每一葉TU之殘餘值，作為對應於TU之CU之部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，PU可配置有相同CU之對應葉TU。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示葉CU如 何分割成TU之四分樹。TU四分樹之根節點一般對應於葉CU，而CU四分樹之根節點一般對應於樹型區塊(或LCU)。RQT之不分裂的TU被稱作葉TU。一般而言，除非另外註釋，否則本發明使用術語CU及TU以分別指代葉CU及葉TU。
視訊序列通常包括一系列圖像。如本文中所描述，「圖像」及「圖框」可互換地使用。亦即，含有視訊資料之圖像可被稱作視訊圖框，或僅稱作「圖框」。圖像群組(GOP)一般包含一系列視訊圖像中之一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括描述包括於GOP中之圖像數目的語法資料。圖像之每一切片可包括描述該各別切片之編碼模式的切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而具有不同大小。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例 如，「2N×nU」指代在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)，且在水平方向上具有16個像素(x=16)。同樣地，N×N區塊一般在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可以列及行配置區塊中之像素。此外，區塊未必需要在水平方向上具有與垂直方向上相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU之殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法元素，且TU可包含在將(例如)離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換的變換應用於殘餘視訊資料之後變換域中之係數。殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在應用任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化一般指代如下程序：將變換係數量化以可能地減少用以表示該等係數之資料之量，從而提供進一步壓縮。量化程序可減小與該等係數中之一些或 全部相關聯的位元深度。舉例而言，n位元值在量化期間可降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼的串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將內容脈絡模型內之內容脈絡指派給待傳輸之符號。該內容脈絡可能係關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相較於(例如)針對待傳輸之每一符號使用相等長度之碼字，使用VLC可達成位元節省。機率判定可基於指派給符號之內容 脈絡而進行。
視訊編碼器20可進一步在(例如)圖像標頭、區塊標頭、切片標頭或GOP標頭中將語法資料(諸如，基於區塊之語法資料、基於圖像之語法資料及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之圖像數目，且圖像語法資料可指示用以編碼對應圖像之編碼/預測模式。
視訊編碼器20及視訊解碼器30各自可在適用時實施為諸如以下各者之多種合適編碼器或解碼器電路中之任一者：一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為組合式視訊編碼器/解碼器(CODEC)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
圖2為說明可實施本發明中所描述之用於在多視角寫碼中預測運動向量之技術的實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊之框內寫碼及框間編碼。框內寫碼依賴於空間預測以減少或移除給定圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖像或諸圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一 者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指代若干基於時間之壓縮模式中之任一者。
如圖2中所展示，視訊編碼器20接收待編碼之視訊資料。在圖2之實例中，視訊編碼器20包括模式選擇單元40、相加器(summer)50、變換單元52、量化單元54、熵編碼單元56，及參考圖像記憶體64。模式選擇單元40又包括運動估計單元42、運動補償單元44、框內預測單元46，及分割單元48。對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60，及相加器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界進行濾波，從而自經重建構之視訊移除方塊效應假影。必要時，解區塊濾波器將通常對相加器62之輸出進行濾波。除瞭解區塊濾波器以外，亦可使用額外迴路濾波器(迴路內或迴路後)。為簡潔起見未展示此等濾波器，但此等濾波器必要時可對相加器50之輸出進行濾波(作為迴路內濾波器)。
在編碼程序期間，視訊編碼器20接收待編碼之圖像或切片。可將圖像或切片劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收之視訊區塊相對於一或多個參考圖像中之一或多個區塊的框間預測性寫碼，以提供時間壓縮。或者，框內預測單元46可執行所接收之視訊區塊相對於處於與待編碼之區塊相同的圖像或切片中之一或多個相鄰區塊的框內預測性寫碼，以提供空間壓縮。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案之評估而將視訊資料之區塊分割成若干子區塊。舉例而言，分割單元48可最初基於速率-失真分析(例如，速率-失真最佳化)將一圖像或切片分割成若干LCU，且將該等LCU中之每一者分割成若干子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者，且將所得框內或框間編碼之區塊提供至相加器50以產生殘餘區塊資料及提供至相加器62以重建構經編碼之區塊來用作參考圖像。模式選擇單元40亦將諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊之語法元素提供至熵寫碼單元56。
可高度整合運動估計單元42、運動向量預測單元43與運動補償單元44，但出於概念性目的而對該等單元單獨加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊(或其他經編碼單元)的移位。
預測性區塊為依據像素差被發現與待編碼之區塊緊密匹配的區塊，可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度來判定像素差。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64(其亦可被稱作參考圖像緩衝器)中之參考圖像之分段整數(sub-integer)像素位置的值。 舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且以分率像素精度輸出運動向量。
運動估計單元42藉由比較框間編碼切片中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU之運動向量。因此，一般而言，運動向量之資料可包括參考圖像清單、至參考圖像清單中之索引(ref_idx)、水平分量，及垂直分量。參考圖像可選自第一參考圖像清單(清單0)、第二參考圖像清單(清單1)或組合之參考圖像清單(清單c)，其中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。
運動估計單元42可產生識別參考圖像之預測性區塊之運動向量且將該運動向量發送至熵編碼單元56及運動補償單元44。亦即，運動估計單元42可產生並發送識別以下各者之運動向量資料以在經識別之圖像內定位預測性區塊：含有預測性區塊之參考圖像清單、至識別預測性區塊之圖像之參考圖像清單中的索引，以及水平及垂直分量。
在一些實例中，運動向量預測單元43可預測運動向量以進一步減少傳達運動向量所需的資料量，而非發送當前PU之實際運動向量。在此狀況下，運動向量預測單元43可產生相對於已知(或可知)運動向量之運動向量差(MVD)，而非編碼及傳達運動向量自身。可藉由所謂的運動向量預測子(MVP)來定義可供MVD使用以定義當前運動向量的已知 運動向量。一般而言，作為有效的MVP，用於預測之運動向量必須指向與當前正經編碼之運動向量相同的參考圖像。
在一些實例中，如下文關於圖5更詳細描述，運動向量預測單元43可建置運動向量預測子候選者清單，該清單包括在空間及/或時間方向上之若干相鄰區塊作為MVP之候選者。根據本發明之態樣，如下文更詳細描述，亦可在不同視角之圖像中(例如，在多視角寫碼中)識別運動向量預測子候選者。當多個運動向量預測子候選者可用(來自多個候選區塊)時，運動向量預測單元43可根據預定選擇準則而判定當前區塊之運動向量預測子。舉例而言，運動向量預測單元43可基於編碼速率及失真之分析(例如，使用速率-失真成本分析或其他寫碼效率分析)而自候選者集合選擇最準確的預測子。在其他實例中，運動向量預測單元43可產生運動向量預測子候選者之平均值。選擇運動向量預測子之其他方法亦係可能的。
在選擇運動向量預測子時，運動向量預測單元43可判定運動向量預測子索引(mvp_flag)，該索引可用以告知視訊解碼器(例如，視訊解碼器30)在含有MVP候選區塊之參考圖像清單中何處定位MVP。運動向量預測單元43亦可判定當前區塊與選定MVP之間的MVD。MVP索引及MVD可用以重建構運動向量。
在一些實例中，運動向量預測單元43可替代地實施所謂的「合併」模式，其中運動向量預測單元43可「合併」預 測性視訊區塊與當前視訊區塊之運動資訊(諸如，運動向量、參考圖像索引、預測方向或其他資訊)。因此，關於合併模式，當前視訊區塊自另一已知(或可知)視訊區塊繼承運動資訊。運動向量預測單元43可建置合併模式候選者清單，該清單包括在空間及/或時間方向上之若干相鄰區塊作為合併模式之候選者。運動向量預測單元43可判定索引值(例如，merge_idx)，該索引值可用以告知視訊解碼器(例如，視訊解碼器30)在含有合併候選區塊之參考圖像清單中何處定位合併視訊區塊。
根據本發明之態樣，運動向量預測單元43可在多視角寫碼中識別(例如)用於產生MVD或合併之運動向量預測子。舉例而言，運動向量預測單元43可自處於與當前區塊不同的視角分量中之區塊識別像差運動向量以預測當前區塊之運動向量。在其他實例中，運動向量預測單元43可自處於與當前區塊不同的視角分量中之區塊識別時間運動向量以預測當前區塊之運動向量。
關於像差運動向量預測，運動向量預測單元43可自候選區塊識別像差運動向量候選者，以預測當前正經編碼之視訊區塊(被稱作「當前區塊」)之運動向量。當前區塊可位於與候選區塊相同的圖像中(例如，空間上與候選區塊相鄰)，或可位於與候選區塊相同的視角內之另一圖像中。在一些實例中，運動向量預測單元43可識別指代處於與當前區塊之運動向量不同的視角中之參考圖像之運動向量預測子。在此等例子中，根據本發明之技術，運動向量預測 單元43可基於兩個視角(例如，由運動向量預測子參考之視角，及由當前運動向量參考之視角)之間的攝影機位置差而按比例調整運動向量預測子。舉例而言，運動向量預測單元43可根據兩個視角之間的差而按比例調整像差運動向量預測子。在一些實例中，兩個視角之間的差可藉由與該等視角相關聯之視角識別符(view_id)之間的差來表示。
關於時間運動向量預測，運動向量預測單元43可自處於與當前區塊不同的視角中之候選區塊識別時間運動向量候選者，以預測當前區塊之運動向量。舉例而言，運動向量預測單元43可識別第一視角中之時間運動向量預測子候選者，其指代該第一視角之另一時間位置處之圖像中的區塊。根據本發明之態樣，運動向量預測單元43可使用經識別之時間運動向量預測子候選者以預測與第二不同視角中之當前區塊相關聯的運動向量。可共置候選區塊(其包括運動向量預測子候選者)與當前區塊。然而，歸因於兩個視角之間的像差，候選區塊之相對位置可自當前區塊偏移。
根據本發明之態樣，運動向量預測單元43可產生MVP索引(mvp_flag)及MVD，或可產生合併索引(merge_idx)。舉例而言，運動向量預測單元43可產生MVP或合併候選者之清單。根據本發明之態樣，MVP及/或合併候選者包括位於與當前正經解碼之視訊區塊不同的視角中之一或多個視訊區塊。
由運動補償單元44執行之運動補償可涉及基於藉由運動 估計單元42所判定之運動向量及/或來自運動向量預測單元43之資訊而取得或產生預測性區塊。此外，在一些實例中，運動估計單元42、運動向量預測單元43及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU之運動向量時，運動補償單元44可將運動向量所指向的預測性區塊定位於參考圖像清單中之一者中。
相加器50藉由自正經編碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊，如下文所論述。一般而言，運動估計單元42執行相對於明度分量之運動估計，且運動補償單元44針對色度分量及明度分量兩者使用基於明度分量而計算之運動向量。模式選擇單元40亦可產生與視訊區塊及視訊切片相關聯的語法元素以供視訊解碼器30用於解碼視訊切片之視訊區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測(如上文所描述)之替代，框內預測單元46可框內預測當前區塊。詳言之，框內預測單元46可判定使用框內預測模式以編碼當前區塊。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自經測試模式選擇將使用的適當框內預測模式。
舉例而言，框內預測單元46可使用對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值，且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模 式。速率-失真分析一般判定經編碼區塊與原始未經編碼區塊之間的失真(或誤差)之量以及用以產生經編碼區塊之位元率(亦即，位元數目)，該原始未經編碼區塊經編碼以產生該經編碼區塊。框內預測單元46可自失真及速率計算各種經編碼區塊之比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在選擇區塊之框內預測模式之後，框內預測單元46可將指示區塊之選定框內預測模式之資訊提供至熵寫碼單元56。熵寫碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流組態資料中包括各種區塊之編碼內容脈絡之定義及將用於該等內容脈絡中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示，該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)。
視訊編碼器20藉由自正經編碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。相加器50表示執行此減法運算之(多個)組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、次頻帶變換或其他類型之變換。在任何狀況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊 自像素值域轉換至變換域(諸如，頻域)。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減小位元率。量化程序可減小與該等係數中之一些或全部相關聯之位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。或者，熵寫碼單元56可執行該掃描。
在量化之後，熵寫碼單元56熵編碼經量化之變換係數。舉例而言，熵寫碼單元56可執行內容脈絡自適應性可變長度寫碼(CAVLC)、內容脈絡自適應性二進位算術寫碼(CABAC)、基於語法之內容脈絡自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼，或另一熵寫碼技術。在基於內容脈絡之熵寫碼之狀況下，內容脈絡可基於相鄰區塊。在藉由熵寫碼單元56進行之熵寫碼之後，可將經編碼之位元串流傳輸至另一器件(例如，視訊解碼器30)或經封存以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換，以在像素域中重建構殘餘區塊(例如)供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖像記憶體64之圖像中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算分段整數像素值以供用於運動估計中。相加器62將經重建構之殘餘區塊加至由運動補償單元44產生之運動補償預測區塊，以產生經重建構之視訊區塊以供 儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間編碼後續圖像中之區塊。
圖3為說明可實施本發明中所描述之用於在多視角寫碼中預測運動向量之技術的實例視訊解碼器30的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元80、預測單元81、反量化單元86、反變換單元88、求和器90，及參考圖像記憶體92。預測單元81包括運動補償單元82及框內預測單元84。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收經編碼之視訊位元串流，該串流表示經編碼之視訊切片之視訊區塊及相關聯之語法元素。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測單元81。視訊解碼器30可在視訊切片層級及/或視訊區塊層級處接收語法元素。
舉例而言，藉由背景技術，視訊解碼器30可接收為了經由網路傳輸而已壓縮成所謂的「網路抽象層單元」或NAL單元的經壓縮之視訊資料。每一NAL單元可包括識別儲存至該NAL單元之資料之類型的標頭。存在通常儲存至NAL單元之兩種類型之資料。儲存至NAL單元之第一類型之資料為視訊寫碼層(VCL)資料，其包括經壓縮之視訊資料。儲存至NAL單元之第二類型之資料被稱作非VCL資料，其包括諸如定義為大量NAL單元所共有之標頭資料之參數集 及補充增強資訊(SEI)的額外資訊。
舉例而言，參數集可含有序列層級標頭資訊(例如，在序列參數集(SPS))中及不頻繁改變之圖像層級標頭資訊(例如，在圖像參數集(PPS))中。不需要針對每一序列或圖像重複含於參數集中之不頻繁改變之資訊，藉此改良寫碼效率。另外，參數集之使用實現標頭資訊之頻帶外傳輸，藉此避免為達成誤差恢復之冗餘傳輸之需要。
當視訊切片經編碼為框內編碼(I)切片時，預測單元81之框內預測單元84可基於用信號發送之框內預測模式及來自當前圖像之先前經解碼區塊之資料而產生當前視訊切片之視訊區塊之預測資料。當圖像經編碼為框間編碼(亦即，B、P或GPB)切片時，預測單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生當前視訊切片之視訊區塊之預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖像清單：清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素而判定當前視訊切片之視訊區塊之預測資訊，且使用該預測資訊以產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用一些所接收之語法元素以判定用以編碼視訊切片之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、切片之參考圖像清單中之一或多者的建構資 訊、切片之每一框間編碼視訊區塊之運動向量、切片之每一框間編碼視訊區塊之框間預測狀態，及用以解碼當前視訊切片中之視訊區塊之其他資訊。在一些實例中，運動補償單元82可自運動向量預測單元83接收某些運動資訊。
根據本發明之態樣，運動向量預測單元83可接收指示在何處擷取當前區塊之運動資訊之預測資料。舉例而言，運動向量預測單元83可接收諸如MVP索引(mvp_flag)、MVD、合併旗標(merge_flag)及/或合併索引(merge_idx)之運動向量預測資訊，且使用此資訊以識別用以預測當前區塊之運動資訊。亦即，如上文關於視訊編碼器20所提及，根據本發明之態樣，運動向量預測單元83可接收MVP索引(mvp_flag)及MVD，且使用此資訊以判定用以預測當前區塊之運動向量。運動向量預測單元83可產生MVP或合併候選者之清單。根據本發明之態樣，MVP及/或合併候選者可包括位於與當前正經解碼之視訊區塊不同的視角中之一或多個視訊區塊。
運動向量預測單元83可使用MVP或合併索引以識別用以預測當前區塊之運動向量之運動資訊。亦即，例如，運動向量預測單元83可使用MVP索引(mvp_flag)自參考圖像之清單識別MVP。運動向量預測單元83可組合經識別之MVP與所接收之MVD以判定當前區塊之運動向量。在其他實例中，運動向量預測單元83可使用合併索引(merge_idx)自參考圖像之清單識別合併候選者以判定當前區塊之運動資訊。在任何情況下，在判定當前區塊之運動資訊之後，運 動向量預測單元83可產生當前區塊之預測性區塊。
根據本發明之態樣，運動向量預測單元83可判定多視角寫碼中之運動向量預測子。舉例而言，運動向量預測單元83可接收特定資訊，該資訊指定來自處於與當前區塊不同的視角分量中之區塊的像差運動向量，該像差運動向量用以預測當前區塊之運動向量。在其他實例中，運動向量預測單元83可接收特定資訊，該資訊識別來自處於與當前區塊不同的視角分量中之區塊的時間運動向量，該時間運動向量用以預測當前區塊之運動向量。
關於像差運動向量預測，運動向量預測單元83可自候選區塊預測當前區塊之像差運動向量。候選區塊可位於與當前區塊相同(例如，空間上與候選區塊相鄰)的圖像中，或可位於與當前區塊相同的視角內之另一圖像中。候選區塊亦可位於不同視角之圖像中，但處於與當前區塊相同的時間瞬時。
舉例而言，關於MVP或合併模式，待預測之當前區塊之像差運動向量「A」的目標圖像及參考圖像為已知的(先前經判定)。出於解釋之目的，假定來自候選區塊之運動向量為「B」。根據本發明之態樣，若運動向量B不為像差運動向量，則運動向量預測單元83可認為候選區塊不可用(例如，不可用於預測運動向量A)。亦即，運動向量預測單元83可停用使用候選區塊以達成運動向量預測目的之能力。
若運動向量B為像差運動向量且運動向量B之參考圖像 屬於與像差運動向量A之參考圖像之視角相同的視角，且運動向量B之目標圖像屬於與像差運動向量A之目標圖像相同的視角，則運動向量預測單元83可使用運動向量B直接作為運動向量A之候選預測子。否則，在像差運動向量B可用作運動向量A之候選預測子之前，運動向量預測單元83可按比例調整像差運動向量B。在此等例子中，根據本發明之技術，運動向量預測單元83可基於運動向量A之視角距離及運動向量B之視角距離而按比例調整像差運動向量。舉例而言，運動向量預測單元83可按特定比例因子來按比例調整像差運動向量B，該比例因子等於運動向量A之視角距離除以運動向量B之視角距離。在一些實例中，運動向量預測單元83可使用參考圖像及目標圖像之視角識別符來執行此按比例調整。
關於時間運動向量預測，運動向量預測單元83可自處於與當前區塊之視角不同的視角中之候選區塊預測當前區塊之時間運動向量。舉例而言，運動向量預測單元83可識別時間運動向量預測子候選者，其目標圖像在第一視角中且指代該第一視角之另一時間位置處之參考圖像中的區塊。根據本發明之態樣，運動向量預測單元43可使用經識別之時間運動向量預測子候選者以預測與第二不同視角中之當前區塊相關聯的運動向量。
舉例而言，關於MVP或合併模式，待預測之當前區塊之時間運動向量「A」的目標圖像及參考圖像為已知的(先前經判定)。出於解釋之目的，假定來自候選區塊之運動向 量為「B」。根據本發明之態樣，若來自候選區塊之運動向量B不為時間運動向量，則運動向量預測單元83可認為候選區塊不可用(例如，不可用於預測運動向量A)。亦即，在一些實例中，運動向量預測單元83可停用使用候選區塊以達成運動向量預測目的之能力。
若運動向量B為時間運動向量，且運動向量B之參考圖像之POC與運動向量A之參考圖像相同，且運動向量B之目標圖像之POC與運動向量A之目標圖像相同，則運動向量預測單元83可使用運動向量B直接作為運動向量A之候選預測子。否則，運動向量預測單元83可基於時間距離按比例調整時間運動向量B。可共置不同視角中之候選區塊(其包括運動向量預測子候選者)與當前區塊。然而，歸因於兩個視角之間的像差，候選區塊之相對位置可自當前區塊偏移。
反量化單元86將位元串流中所提供且由熵解碼單元80解碼的經量化之變換係數反量化(亦即，解量化)。反量化程序可包括使用由視訊編碼器20針對視訊切片中之每一視訊區塊計算之量化參數，以判定量化程度及(同樣)應應用之反量化的程度。
反變換單元88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。根據本發明之態樣，反變換單元88可判定將變換應用於殘餘資料之方式。亦即，例如，反變換單元88可判定表示將變換(例如，DCT、整數變換、小波 變換或一或多個其他變換)應用於與所接收之視訊資料之區塊相關聯的殘餘明度樣本及殘餘色度樣本之方式的RQT。
在運動補償單元82基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此求和運算之(多個)組件。必要時，亦可應用解區塊濾波器來對經解碼之區塊進行濾波，以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖像中之經解碼之視訊區塊儲存於參考圖像記憶體92中，參考圖像記憶體92儲存用於後續運動補償之參考圖像。參考圖像記憶體92亦儲存經解碼之視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。
圖4為說明實例MVC預測型樣的概念圖。在圖4之實例中，說明八個視角，且針對每一視角說明十二個時間位置。一般而言，圖4中之每一列對應於一視角，而每一行指示一時間位置。可使用視角識別符(「view_id」)來識別視角中之每一者，該識別符可用以指示相對於其他視角之相對攝影機位置。在圖4中所展示之實例中，將視角ID指示為「S0」至「S7」，但亦可使用數字視角ID。另外，可使用指示圖像之顯示次序之圖像次序計數(POC)值來識別時間位置中之每一者。在圖4中所展示之實例中，將POC 值指示為「T0」至「T11」。
儘管MVC具有可藉由H.264/AVC解碼器解碼之所謂的基本視角且MVC可支援立體視角對，但MVC可支援兩個以上視角作為3D視訊輸入。因此，具有MVC解碼器之用戶端之呈現器可預期具有多個視角之3D視訊內容。
在圖4中使用包括字母之著色區塊來指示圖像，該字母指定對應圖像是經框內編碼(亦即，I圖框)或是在一個方向上經框間編碼(亦即，作為P圖框)或在多個方向上經框間編碼(亦即，作為B圖框)。一般而言，用箭頭指示預測，其中所指入(pointed-to)之圖像將所指出(point-from)之物件用於預測參考。舉例而言，自視角S0之處於時間位置T0之I圖框來預測視角S2之處於時間位置T0之P圖框。
如同單視角視訊編碼，可關於處於不同時間位置之圖像預測性地編碼多視角視訊序列之圖像。舉例而言，視角S0之處於時間位置T1之b圖框具有自視角S0之處於時間位置T0之I圖框指入其之箭頭，從而指示自I圖框預測該b圖框。然而，另外，在多視角視訊編碼之內容脈絡中，可以視角間之方式預測圖像。亦即，視角分量可將其他視角中之視角分量用於參考。舉例而言，在MVC中，實現視角間預測，就好像另一視角中之視角分量為框間預測參考一樣。在序列參數集(SPS)MVC擴展中用信號發送可能之視角間參考，且可藉由參考圖像清單建構程序來修改可能之視角間參考，此舉實現框間預測或視角間預測參考之靈活排序。
圖4提供視角間預測之各種實例。在圖4之實例中，將視角S1之圖像說明為自視角S1之處於不同時間位置處之圖像而預測，以及自視角S0與S2之處於相同時間位置之圖像而視角間預測。舉例而言，自視角S1之處於時間位置T0與T2的B圖框中之每一者以及視角S0與S2之處於時間位置T1之b圖框預測視角S1之處於時間位置T1之b圖框。
在圖4之實例中，大寫字母「B」及小寫字母「b」意欲指示圖像之間的不同階層關係而非不同編碼方法。一般而言，相比於小寫字母「b」圖框，大寫字母「B」圖框在預測階層中相對較高。圖4亦使用不同程度之著色來說明預測階層之變化，其中相比於具有較少著色(亦即，相對較淺)之彼等圖像，較大量之著色(亦即，相對較深)圖像在預測階層中較高。舉例而言，以完全著色來說明圖4中之所有I圖框，而P圖框具有稍微較淺之著色，且B圖框(及小寫字母b圖框)具有相對於彼此之各種程度之著色，但始終淺於P圖框及I圖框之著色。
一般而言，預測階層係與視角次序索引有關，此係因為應在解碼在預測階層中相對較低之圖像之前解碼在該階層中相對較高之圖像，以使得在該階層中相對較高之彼等圖像可在解碼在該階層中相對較低之圖像期間用作參考圖像。視角次序索引為指示存取單元中之視角分量之解碼次序的索引。可在參數集(諸如，SPS)中暗示視角次序索引。
以此方式，用作參考圖像之圖像可在解碼參考該等參考 圖像而編碼之圖像之前予以解碼。視角次序索引為指示存取單元中之視角分量之解碼次序的索引。對於每一視角次序索引i，用信號發送對應view_id。視角分量之解碼遵循視角次序索引之升序。若呈現所有視角，則視角次序索引之集合包含自零至比視角之總數小一的經連續排序之集合。
在MVC中，可提取整個位元串流之子集以形成仍符合MVC之子位元串流。存在特定應用基於(例如)以下各項而可能需要的許多可能的子位元串流：由伺服器提供之服務、一或多個用戶端之解碼器之容量、支援及能力，及/或一或多個用戶端之偏好。舉例而言，用戶端可能僅需要三個視角，且可能存在兩種情況。在一實例中，一個用戶端可能需要平滑檢視體驗且可偏好具有view_id值S0、S1及S2的視角，而另一其他用戶端可能需要視角可按比例調整性且偏好具有view_id值S0、S2及S4的視角。注意，可將此等兩個子位元串流解碼為獨立MVC位元串流，且可同時支援此等兩個子位元串流。
圖5為說明當執行運動向量預測(包括合併模式)時之可能的運動向量預測子候選者之方塊圖。亦即，對於當前正經編碼之區塊100，來自相鄰區塊A0、A1、B0、B1及B2之運動資訊(例如，包含水平分量及垂直分量之運動向量、運動向量索引、預測方向或其他資訊)可用以預測區塊100之運動資訊。另外，與共置區塊COL相關聯之運動資訊亦可用以預測區塊100之運動資訊。在運動向量預測之內容 脈絡中，相鄰區塊A0、A1、B0、B1及B2以及共置區塊COL可大體上在下文被稱作運動向量預測子候選者。
在一些實例中，可在執行運動向量預測(例如，不管是產生MVD抑或執行合併模式)時識別圖5中所展示之運動向量預測子候選者。在其他實例中，可在執行合併模式及運動向量預測時識別不同候選者。亦即，視訊編碼器可識別用於執行合併模式之運動向量預測子候選者之集合，該集合與用於執行運動向量預測之運動向量預測子候選者之集合不同。
為了執行合併模式，在一實例中，視訊編碼器(諸如，視訊編碼器20)可最初判定來自運動向量預測子候選者之哪些運動向量可用於與區塊100合併。亦即，在一些例子中，歸因於(例如)運動向量預測子候選者中之一或多者正經框內編碼、尚未經編碼或不存在(例如，運動向量預測子候選者中之一或多者位於另一圖像或切片中)，可使運動向量預測子候選者之運動資訊不可用。視訊編碼器20可建構包括可用運動向量預測子候選區塊中之每一者的運動向量預測子候選者清單。
在建構候選者清單之後，視訊編碼器20可自該候選者清單選擇運動向量以用作當前區塊100之運動向量。在一些實例中，視訊編碼器20可自候選者清單選擇與區塊100之運動向量最佳匹配之運動向量。亦即，視訊編碼器20可根據速率失真分析自候選者清單選擇運動向量。
視訊編碼器20可提供區塊100係使用合併模式予以編碼 之指示。舉例而言，視訊編碼器20可設定指示區塊100之運動向量係使用合併模式予以預測之旗標或其他語法元素。在一實例中，視訊編碼器20可指示：區塊100之框間預測參數係藉由設定merge_flag[x0][y0]而自運動向量預測子候選者推斷出。在此實例中，陣列索引x0、y0可指定預測區塊之左上方明度樣本相對於圖像(或切片)之左上方明度樣本之位置(x0,y0)。
另外，在一些實例中，視訊編碼器20可提供識別特定合併候選者之索引，區塊100自該合併候選者繼承其運動向量。舉例而言，merge_idx[x0][y0]可指定合併候選者索引，合併候選者索引識別合併候選者清單中之圖像，且其中x0、y0指定預測區塊之左上方明度樣本相對於圖像(或切片)之左上方明度樣本之位置(x0,y0)。
視訊解碼器(諸如，視訊解碼器30)可在解碼區塊100時執行類似步驟以識別適當合併候選者。舉例而言，視訊解碼器30可接收區塊100係使用合併模式予以預測之指示。在一實例中，視訊解碼器30可接收merge_flag[x0][y0]，其中(x0,y0)指定預測區塊之左上方明度樣本相對於圖像(或切片)之左上方明度樣本之位置。
另外，視訊解碼器30可建構合併候選者清單。舉例而言，視訊解碼器30可接收指示可用於運動向量預測之視訊區塊之一或多個語法元素(例如，旗標)。視訊解碼器30可基於所接收之旗標而建構合併候選者清單。根據一些實例，視訊解碼器30可根據以下序列建構合併候選者清單 (例如，mergeCandList)：
1. A1，若availableFlagA1等於1
2. B1，若availableFlagB1等於1
3. B0，若availableFlagB0等於1
4. A0，若availableFlagA0等於1
5. B2，若availableFlagB2等於1
6. Col，若availableFlagCol等於1 若若干合併候選者具有相同運動向量及相同參考索引，則可自清單移除該等合併候選者。
視訊解碼器30可根據所接收之索引識別適當合併候選者。舉例而言，視訊解碼器30可接收識別特定合併候選者之索引，區塊100自該合併候選者繼承其運動向量。在一實例中，merge_idx[x0][y0]可指定合併候選者索引，合併候選者索引識別合併候選者清單中之圖像，且其中x0、y0指定預測區塊之左上方明度樣本相對於圖像(或切片)之左上方明度樣本之位置(x0,y0)。
在一些實例中，視訊解碼器30可在使候選區塊之運動資訊與區塊100合併之前按比例調整運動向量預測子。舉例而言，關於時間運動向量預測子，若該運動向量預測子指代參考圖像中之特定預測性區塊，則視訊解碼器30可按比例調整該運動向量預測子，該預測性區塊位於與由區塊100(例如，區塊100之實際運動向量)所指代之預測性區塊不同的時間位置中。舉例而言，視訊解碼器30可按比例調整運動向量預測子，使得其指代與區塊100之參考圖像相 同的參考圖像。在一些實例中，視訊解碼器30可根據圖像次序計數(POC)值之差而按比例調整運動向量預測子。亦即，視訊解碼器30可基於以下兩者之差而按比例調整運動向量預測子：候選區塊與由運動向量預測子所指代之預測性區塊之間的POC距離，及區塊100與當前參考圖像(例如，由區塊100之實際運動向量所指代)之間的POC距離。在選擇適當運動向量預測子之後，視訊解碼器30可將與運動向量預測子相關聯之運動資訊與區塊100之運動資訊合併。
可藉由視訊編碼器20及視訊解碼器30實施類似程序以執行視訊資料之當前區塊之運動向量預測。舉例而言，視訊編碼器20可最初判定來自運動向量預測子候選者之哪些運動向量可用作MVP。歸因於(例如)運動向量預測子候選者中之一或多者正經框內編碼、尚未經編碼或不存在，來自該運動向量預測子候選者之運動資訊可能不可用。
為了判定哪些運動向量預測子候選者可用，視訊編碼器20可又根據基於優先權之預定方案而分析運動向量預測子候選者中之每一者。舉例而言，對於每一運動向量預測子候選者，視訊編碼器20可判定運動向量預測子是否指代與區塊100之實際運動向量相同的參考圖像。若運動向量預測子指代相同參考圖像，則視訊編碼器20可將該運動向量預測子候選者添加至MVP候選者清單。若運動向量預測子不指代相同參考圖像，則可在將運動向量預測子添加至MVP候選者清單之前按比例調整該運動向量預測子(例 如，基於POC距離而按比例調整，如上文所論述)。
關於共置區塊COL，若該共置區塊包括一個以上運動向量預測子(例如，COL經預測為B圖框)，則視訊編碼器20可根據當前清單及當前參考圖像(針對區塊100)選擇時間運動向量預測子中之一者。視訊編碼器20可接著將選定時間運動向量預測子添加至運動向量預測子候選者清單。
視訊編碼器20可用信號發送如下資訊：藉由設定enable_temporal_mvp_flag而使一或多個運動向量預測子可用。在建置候選者清單之後，視訊編碼器20可自候選者選擇待用作區塊100之運動向量預測子的運動向量。在一些實例中，視訊編碼器20可根據速率失真分析選擇候選運動向量。
視訊編碼器20可使用識別候選者清單中之MVP之MVP索引(mvp_flag)而用信號發送選定運動向量預測子。舉例而言，視訊編碼器20可設定mvp_10_flag[x0][y0]以指定清單0之運動向量預測子索引，其中x0、y0指定候選區塊之左上方明度樣本相對於圖像之左上方明度樣本之位置(x0,y0)。在另一實例中，視訊編碼器20可設定mvp_11_flag[x0][y0]以指定清單1之運動向量預測子索引，其中x0、y0指定候選區塊之左上方明度樣本相對於圖像之左上方明度樣本之位置(x0,y0)。在又一實例中，視訊編碼器20可設定mvp_lc_flag[x0][y0]以指定清單c之運動向量預測子索引，其中x0、y0指定候選區塊之左上方明度樣本相對於圖像之左上方明度樣本之位置(x0,y0)。
視訊編碼器20亦可產生運動向量差值(MVD)。MVD可構成選定運動向量預測子與區塊100之實際運動向量之間的差。視訊編碼器20可用信號發送MVD與MVP索引。
視訊解碼器30可使用運動向量預測子執行類似操作以判定當前區塊之運動向量。舉例而言，視訊解碼器30可在參數集(例如，圖像參數集(PPS))中接收指示針對一或多個圖像啟用運動向量預測之指示。亦即，在一實例中，視訊解碼器30可在PPS中接收enable_temporal_mvp_flag。當特定圖像參考具有等於零之enable_temporal_mvp_flag之PPS時，參考圖像記憶體中之參考圖像可被標記為「不用於時間運動向量預測」。
若實施運動向量預測，則在接收區塊100後，視訊解碼器30即可建構MVP候選者清單。視訊解碼器30可使用上文關於視訊編碼器20所論述之相同方案以建構MVP候選者清單。在一些例子中，視訊解碼器30可執行類似於上文關於視訊編碼器20所描述之運動向量按比例調整的運動向量按比例調整。舉例而言，若運動向量預測子不指代與區塊100相同的參考圖像，則可在將運動向量預測子添加至MVP候選者清單之前按比例調整該運動向量預測子(例如，基於POC距離而按比例調整，如上文所論述)。視訊解碼器30可使用識別候選者清單中之MVP的所接收之MVP索引(mvp_flag)而識別區塊100之適當運動向量預測子。視訊解碼器30可接著使用MVP及所接收之MVD產生區塊100之運動向量。
圖5大體上說明單視角中之合併模式及運動向量預測。應理解，圖5中所展示之運動向量預測子候選區塊係僅出於實例之目的而提供，為達成預測運動資訊之目的，可使用更多、更少或不同區塊。根據本發明之態樣，如下文所描述，當編碼一個以上視角時(諸如，在MVC中)，亦可應用合併模式及運動向量預測。在此等例子中，運動向量預測子及預測性區塊可位於與區塊100不同的視角中。
圖6為說明在多視角寫碼中產生及按比例調整運動向量預測子之概念圖。舉例而言，根據本發明之態樣，視訊編碼器(諸如，視訊編碼器20或視訊解碼器30)可按比例調整來自像差運動向量預測子候選區塊122(「候選區塊」)之像差運動向量120(mv)，以產生當前區塊126之運動向量預測子124(mv')。雖然圖6係關於視訊解碼器30予以描述，但應理解，可藉由多種其他視訊編碼器進行本發明之技術，其他視訊編碼器包括其他處理器、處理單元、諸如編碼器/解碼器(CODEC)之基於硬體之寫碼單元，及其類似者。
在圖6之實例中，在視角分量2(view_id 2)中，候選區塊122在空間上與當前區塊126相鄰。候選區塊122經框間預測，且包括指代(或「指向」)視角分量0(view_id 0)中之預測性區塊之運動向量120。舉例而言，運動向量120之目標圖像在視角2(view_id 2)中且其參考圖像在視角0(view_id 0)中。當前區塊126亦經框間預測，且包括指代視角分量1(view_id 1)中之預測性區塊之實際運動向量(圖中未展示)。亦即，例如，當前區塊126之實際運動向量之目標圖 像在視角2(view_id 2)中且其參考區塊在視角1(view_id 1)中。
根據本發明之態樣，視訊解碼器30可使用運動向量120之按比例調整之版本來產生當前區塊126之運動向量預測子124。舉例而言，視訊解碼器30可基於運動向量120與當前區塊126之實際運動向量之間的視角距離差而按比例調整運動向量120。亦即，視訊解碼器30可基於以下兩者之間的差而按比例調整運動向量120：用以俘獲候選區塊122之預測性區塊(在參考圖像中)的攝影機之攝影機位置，及用以俘獲當前區塊126之預測性區塊(在參考圖像中)的攝影機之攝影機位置。因此，視訊解碼器30可根據以下兩者之間的差而按比例調整像差運動向量120(例如，用於預測之運動向量)：由候選區塊122之運動向量120所指代之視角分量，及由當前區塊126之實際運動向量所指代之視角分量。
在一實例中，視訊解碼器30可根據以下所展示之方程式(1)來產生當前區塊之按比例調整之運動向量預測子： 其中ViewDistance(mv)等於運動向量120之參考圖像之視角ID(例如，ViewId(RefPic(mv))與運動向量120之目標圖像之視角ID(例如，ViewId(TargetPic(mv))之間的差，且ViewDistance(mv')等於運動向量預測子124之參考圖像之視角ID(例如，ViewId(RefPic(mv'))與運動向量預測子124之 目標圖像之視角ID(例如，ViewId(TargetPic(mv'))之間的差。因此，在此實例中，運動向量預測子124之參考圖像RefPic(mv')屬於新目標視角，且運動向量預測子124之目標圖像TargetPic(mv')屬於當前視角。類似地，運動向量120之參考圖像RefPic(mv)屬於候選運動向量所指向之視角，且運動向量120之目標圖像TargetPic(mv)屬於當前視角。因此，視訊解碼器30可根據以下方程式(2)來產生按比例調整之運動向量預測子： 其中mv'表示當前區塊之按比例調整之運動向量預測子，mv表示候選區塊之運動向量，ViewID(新目標)為由當前區塊之實際運動向量所指代之視角分量，ViewID(當前)為當前區塊之視角分量，且ViewID(候選)為候選區塊之視角分量。
在將方程式(2)應用於圖6中之實例的情況下，mv'表示當前區塊126之按比例調整之運動向量預測子，mv表示運動向量120，ViewID(新目標)為由運動向量124所指代之視角分量，ViewID(當前)為當前區塊126之視角分量，且ViewID(候選)為候選區塊122之視角分量。因此，在圖6中所展示之實例中，運動向量預測子124為按比例調整至一半的運動向量120(例如，)。亦即，視訊解碼器30可將運動向量120之水平移位分量及垂直移位分量兩者按比例調整至一半，從而產生當前區塊126之運動向量預 測子124。
可執行關於圖6所描述之運動向量按比例調整以用於合併及運動向量預測兩者。亦即，例如，視訊解碼器30可在使運動向量120與當前區塊126之運動資訊合併之前按比例調整運動向量120。在另一實例中，視訊解碼器30可在根據運動向量預測子124與當前區塊126之實際運動向量之間的差來計算運動向量差值(MVD)之前按比例調整運動向量120。
如圖6之實例中所展示，候選區塊122及當前區塊126可位於同一視角分量中。然而，在其他實例中，如關於圖7及圖8更詳細描述，候選區塊可位於與當前區塊不同的視角分量中。
圖7為說明產生及按比例調整運動向量預測子之另一概念圖。舉例而言，根據本發明之態樣，視訊編碼器(諸如，視訊編碼器20或視訊解碼器30)可按比例調整來自像差運動向量預測子候選區塊132(x',y')之像差運動向量130(mv)，以產生當前區塊136(x,y)之運動向量預測子134(mv')，其中候選區塊132屬於與當前區塊136不同的視角分量。因此，關於圖7所展示並描述之程序可一般被稱作視角間像差運動向量預測。雖然圖7係關於視訊解碼器30予以描述，但應理解，可藉由多種其他視訊編碼器進行本發明之技術，其他視訊編碼器包括其他處理器、處理單元、諸如編碼器/解碼器(CODEC)之基於硬體之寫碼單元，及其類似者。
在圖7中所展示之實例中，候選區塊132位於視角分量1(view_id 1)中。候選區塊132經框間預測，且包括指代視角分量0(view_id 0)中之預測性區塊之運動向量130(mv)。舉例而言，運動向量130之目標圖像在視角1(view_id 1)中且其參考圖像在視角0(view_id 0)中。當前區塊136係與候選區塊132共置，且位於視角分量2(view_id 2)中。如下文更詳細描述，在一些實例中，當前區塊136可包括識別第一參考視角(view_id 1)中之區塊之實際運動向量(圖中未展示)。亦即，例如，當前區塊136之實際運動向量之目標圖像在視角2(view_id 2)中且其參考區塊可在視角1(view_id 1)中。在其他實例中，當前區塊可包括識別第二參考視角(view_id 0)中之區塊之實際運動向量。亦即，例如，當前區塊136之實際運動向量之目標圖像在視角2(view_id 2)中且其參考區塊可在視角0(view_id 0)中。因此，運動向量預測子134(mv')可指代第一參考視角(view_id 1)中之區塊。在另一實例中，第二運動向量預測子138(mv")可指代第二參考視角(view_id 0)中之區塊。
在一些實例中，第二運動向量預測子138可能不可用於達成運動向量預測之目的。舉例而言，若第二參考視角中之預測性區塊可用於直接視角間預測，則可僅產生第二運動向量預測子138。可(例如)在與當前區塊136相關聯之參數集(諸如，序列參數集(SPS)或圖像參數集(PPS))或切片標頭中指定第二參考視角中之預測性區塊之可用性。
根據本發明之態樣，視訊解碼器可使用合併模式或使用 運動向量預測來執行視角間像差運動向量預測。關於合併模式，視訊解碼器30可最初選擇當前區塊136之「目標視角」。一般而言，目標視角包括當前區塊136之預測性區塊。在一些實例中，目標視角可為第一參考視角(在圖7中被展示為view_id 1)。在其他實例中，目標視角可為第二參考視角(在圖7中被展示為view_id 0)。然而，如上文所提及，在一些實例中，若第二參考視角中之預測性區塊可用於達成視角間預測之目的，則第二參考視角可僅用作目標視角。
在一些實例中，視訊解碼器30可選擇第一參考視角作為目標視角。在其他實例中，視訊解碼器30可選擇第二參考視角(在可用時)作為目標視角。可(例如)基於預測性區塊之可用性及/或預定選擇演算法來判定目標視角之選擇。當前區塊136之參考索引(ref_idx)對應於目標視角之含有預測性區塊的圖像之索引，將該圖像添加至當前區塊136之參考圖像清單。
在選擇目標視角之後，視訊解碼器30可定位候選區塊132。在一實例中，出於說明之目的，假定當前區塊136之左上方明度樣本在圖像(或切片)中位於座標(x,y)處。視訊解碼器30可判定在視角分量1中候選區塊132之共置座標。另外，在一些實例中，視訊解碼器30可基於當前區塊136之視角分量(視角分量2)與候選區塊132之視角分量(視角分量1)之間的像差而調整座標。因此，視訊解碼器30可將候選區塊132之座標判定為(x',y')，其中(x',y',)=(x,y)+像 差。在一些實例中，像差可包括於SPS、PPS、切片標頭、CU語法及/或PU語法中，及/或在SPS、PPS、切片標頭、CU語法及/或PU語法中予以計算。
在定位候選區塊132之後，視訊解碼器30可基於運動向量130與當前區塊136之實際運動向量之間的視角距離差而按比例調整候選區塊132之運動向量130。亦即，視訊解碼器30可基於以下兩者之間的差而按比例調整運動向量130：用以俘獲候選區塊132之預測性區塊的攝影機之攝影機位置，及用以俘獲當前區塊136之預測性區塊(例如，目標視角中之預測性區塊)的攝影機之攝影機位置。亦即，視訊解碼器30可根據以下兩者之間的差而按比例調整像差運動向量130(例如，用於預測之運動向量)：藉由候選區塊132之運動向量130所指代之視角分量，及目標視角之視角分量。
在一實例中，視訊解碼器30可根據以下所展示之方程式(3)來產生當前區塊之按比例調整之運動向量預測子： 其中mv'表示當前區塊之按比例調整之運動向量預測子，mv表示候選區塊之運動向量，ViewID(目標)為選定目標視角之視角分量，ViewID(當前)為當前區塊之視角分量，且ViewID(第二參考)為第二參考視角(若可用)之視角分量，且ViewID(參考)為第一參考視角之視角分量。在一些實例中，ViewID(目標)減去ViewID(當前)可被稱作運動向量預 測子134之視角距離，而ViewID(第二參考)減去ViewID(參考)可被稱作運動向量130之視角距離。亦即，運動向量預測子134之視角距離為運動向量預測子134之目標圖像(view_id 1)與參考圖像(view_id 2)之間的差，而運動向量130之視角距離為運動向量130之目標圖像(view_id 0)與參考圖像(view_id 1)之間的差。
在將方程式(3)應用於圖7中之實例的情況下，mv'表示按比例調整之運動向量預測子134或按比例調整之運動向量預測子138，此取決於選擇哪一視角分量用於目標視角。舉例而言，若選擇第一參考視角(view_id 1)作為目標視角，則mv'表示按比例調整之運動向量預測子134，mv表示運動向量130，ViewID(目標)為由運動向量預測子134所指代之視角分量，ViewID(當前)為當前區塊136之視角分量，ViewID(第二參考)為第二參考視角(view_id 0)之視角分量，且ViewID(參考)為第一參考視角(view_id 1)之視角分量。因此，在圖7中所展示之實例中，運動向量預測子134 為按比例調整至一倍的運動向量130(例如，)。亦即，運動向量130之水平移位分量及垂直移位分量可與運動向量預測子134之水平移位分量及垂直移位分量相同。
或者，若選擇第二參考視角(view_id 0)用於目標視角，則mv'表示按比例調整之運動向量預測子138，mv表示運動向量130，ViewID(目標)為由運動向量預測子138所指代之視角分量，ViewID(當前)為當前區塊136之視角分量， ViewID(第二參考)為第二參考視角(view_id 0)之視角分量，且ViewID(參考)為第一參考視角(view_id 1)之視角分量。因此，在圖7中所展示之實例中，運動向量預測子138為按比例調整至兩倍的運動向量130(例如，)。亦即，視訊解碼器30可將運動向量130之水平移位分量及垂直移位分量兩者按比例調整至兩倍，從而產生當前區塊136之運動向量預測子138。
根據本發明之態樣，視訊解碼器30可在執行運動向量預測(例如，產生MVP)時執行類似步驟。舉例而言，視訊解碼器30可選擇目標視角，該目標視角可為第一參考視角(view_id 1)或第二參考視角(view_id 0)。然而，若含有當前區塊之預測性區塊的視角分量之參考圖像不可用於達成視角間預測之目，則不可使用對應預測子。因此，可(例如)基於預測性區塊之可用性及/或預定選擇演算法來判定目標視角之選擇。
若當前區塊136之預測性區塊在第一參考視角(view_id 1)或第二參考視角(view_id 0)中不可用於直接視角間預測，則視訊解碼器30不可執行運動向量預測。若至少一預測性區塊可用，則視訊解碼器30可選擇包括與當前區塊136之實際運動向量相關聯的預測性區塊之參考視角。
在選擇目標視角之後，視訊解碼器30可接著重複上文關於合併模式所描述之步驟。舉例而言，視訊解碼器30可定位候選區塊132。亦即，視訊解碼器30可判定在視角分量1中候選區塊132之共置座標。另外，在一些實例中，視訊 解碼器30可基於當前區塊136之視角分量(視角分量2)與候選區塊132之視角分量(視角分量1)之間的像差而調整座標。
另外，在定位候選區塊132之後，視訊解碼器30可基於以下兩者之間的差而按比例調整候選區塊132之運動向量130：用以俘獲候選區塊132之預測性區塊的攝影機之攝影機位置，及用以俘獲當前區塊136之預測性區塊(例如，目標視角中之預測性區塊)的攝影機之攝影機位置。亦即，視訊解碼器30可根據以下兩者之間的差而按比例調整像差運動向量130(例如，用於預測之運動向量)：藉由候選區塊132之運動向量130所指代之視角分量，及目標視角之視角分量。在一些實例中，視訊解碼器30可使用上文之方程式(2)執行運動向量預測子按比例調整。在其他實例中，如下文關於圖8所描述，運動向量預測子按比例調整可擴展至其他視角。
視訊解碼器30可在執行合併模式及/或運動向量預測(例如，關於上文之圖5所描述)時將候選區塊132添加至候選者清單。根據本發明之態樣，可以多種方式將候選區塊添加至運動向量預測子候選者清單(例如，對於合併模式或藉由MVP之運動向量預測)。舉例而言，視訊解碼器30可藉由根據以下方案定位合併模式候選者來建構候選者清單：
1. A1，若availableFlagA1等於1
2. V，若availableFlagV等於1
3. B1，若availableFlagB1等於1
4. B0，若availableFlagB0等於1
5. A0，若availableFlagA0等於1
6. B2，若availableFlagB2等於1
7. Col，若availableFlagCol等於1 其中V表示候選區塊132。在其他實例中，可定位候選區塊132且將該候選區塊132添加至候選者清單處於候選者清單之任何其他位置中。
圖8為說明根據本發明之態樣的產生及按比例調整運動向量預測子之另一概念圖。舉例而言，根據本發明之態樣，視訊編碼器(諸如，視訊編碼器20或視訊解碼器30)可按比例調整來自像差運動向量預測子候選區塊142之像差運動向量140(mv)，以產生當前區塊146之運動向量預測子144(mv')，其中候選區塊142屬於與當前區塊146不同的視角分量。雖然圖8係關於視訊解碼器30予以描述，但應理解，可藉由多種其他視訊編碼器進行本發明之技術，其他視訊編碼器包括其他處理器、處理單元、諸如編碼器/解碼器(CODEC)之基於硬體之寫碼單元，及其類似者。
圖8中所展示之實例將關於圖7所展示並描述之運動向量預測擴展至包括三個以上視角之環境。舉例而言，如圖8中所展示，候選區塊142位於視角分量2(view_id 2)中。候選區塊142經框間預測，且包括指代視角分量1(view_id 1)中之預測性區塊之運動向量140(mv)。舉例而言，運動向量140之目標圖像在視角2(view_id 2)中且其參考圖像在視 角1(view_id 1)中。當前區塊146係與候選區塊142共置，且位於視角分量3(view_id 3)中。
根據本發明之態樣，視訊解碼器30可將當前區塊146之目標視角選擇為視角分量0(view_id 0)。舉例而言，目標視角一般包括當前區塊之預測性區塊。若含有預測性區塊之圖像為視角間參考圖像，且當前區塊146之預測性區塊位於第三參考視角(view_id 0)中，則視訊解碼器30可選擇第三參考視角作為目標視角。
在選擇目標視角之後，視訊解碼器30可定位候選區塊142。舉例而言，在假定當前區塊146之左上方明度樣本在視角分量3中位於圖像(或切片)中座標(x,y)處的情況下，視訊解碼器30可判定視角分量2中候選區塊142之共置座標。另外，如上文所提及，視訊解碼器30可基於當前區塊146之視角分量(視角分量3)與候選區塊142之視角分量(視角分量2)之間的像差而調整座標。
在定位候選區塊142之後，視訊解碼器30可基於運動向量140與當前區塊146之實際運動向量之間的視角距離差而按比例調整候選區塊142之運動向量140。亦即，視訊解碼器30可基於以下兩者之間的差而按比例調整運動向量130：用以俘獲候選區塊142之預測性區塊的攝影機之攝影機位置，及用以俘獲當前區塊146之預測性區塊(例如，目標視角中之預測性區塊)的攝影機之攝影機位置。亦即，視訊解碼器30可根據以下兩者之間的差而按比例調整像差運動向量140(例如，用於預測之運動向量)：藉由候選區塊 142之運動向量140所指代之視角分量，及目標視角(view_id 0)之視角分量。
在一實例中，視訊解碼器30可根據以下所展示之方程式(4)來產生當前區塊之按比例調整之運動向量預測子： 其中mv'表示當前區塊之按比例調整之運動向量預測子，mv表示候選區塊之運動向量，ViewID(第三)為第三參考視角之視角分量，ViewID(當前)為當前區塊之視角分量，且ViewID(第二參考)為第二參考視角(若可用)之視角分量，且ViewID(參考)為第一參考視角之視角分量。在一些實例中，ViewID(第三)減去ViewID(當前)可被稱作運動向量預測子144之視角距離，而ViewID(第二參考)減去ViewID(參考)可被稱作運動向量140之視角距離。亦即，運動向量預測子144之視角距離為運動向量預測子144之目標圖像(view_id 0)與參考圖像(view_id 3)之間的差，而運動向量140之視角距離為運動向量140之目標圖像(view_id 1)與參考圖像(view_id 2)之間的差。
在將方程式(3)應用於圖8中之實例的情況下，mv'表示按比例調整之運動向量預測子144。舉例而言，ViewID(第三)為第三參考視角(view_id 0)，mv'表示按比例調整之運動向量預測子144，mv表示運動向量140，ViewID(當前)為當前區塊146之視角分量，ViewID(第二參考)為第二參考視角(view_id 1)之視角分量，且ViewID(參考)為第一參考視角 (view_id 2)之視角分量。因此，在圖8中所展示之實例中，運動向量預測子144為按比例調整至三倍的運動向量140(例如，)。亦即，視訊解碼器30可將運動向量140之水平移位分量及垂直移位分量按比例調整至三倍，從而形成運動向量預測子144。
雖然圖7至圖8提供視角間像差運動向量預測之實例，但應理解，此等實例係僅出於說明之目的而提供。亦即，用於像差運動向量預測之技術可應用於比所展示之視角多或少的視角。或者或另外，可在諸視角具有不同視角識別符之情形中應用用於像差運動向量預測之技術。
圖9為說明寫碼視訊資料之區塊之預測資訊的實例方法之流程圖。圖9中所展示之實例一般被描述為藉由視訊編碼器執行。應理解，在一些實例中，圖9之方法可藉由上文所描述之視訊編碼器20(圖1及圖2)或視訊解碼器30(圖1及圖3)進行。在其他實例中，圖9之方法可藉由多種其他處理器、處理單元、諸如編碼器/解碼器(CODEC)之基於硬體之寫碼單元及其類似者執行。
根據圖9中所展示之實例方法，視訊編碼器可識別第一視角中之視訊資料之第一區塊，其中視訊資料之第一區塊係與第一像差運動向量相關聯(160)。舉例而言，視訊資料之第一區塊之運動向量可為識別另一視角分量中之參考區塊之像差運動向量。視訊編碼器可接著判定與視訊資料之第二區塊相關聯之第二運動向量是否為像差運動向量(162)。
若第二運動向量不為像差運動向量(步驟162之「否」分支)，則視訊編碼器可識別不同的運動向量預測子候選者(164)。亦即，根據本發明之一些態樣，可停用使用像差運動向量(例如，第一運動向量)以預測時間運動向量(例如，當第二運動向量為時間運動向量時預測第二運動向量)之能力。在此等例子中，視訊編碼器可將第一運動向量識別為不可用於達成運動向量預測之目的。
若第二運動向量為像差運動向量(步驟162之「是」分支)，則視訊編碼器可按比例調整第一運動向量以產生第二運動向量之運動向量預測子(166)。舉例而言，根據本發明之態樣，視訊編碼器可基於以下兩者之差而按比例調整第一運動向量以產生像差運動向量預測子：與第一像差運動向量相關聯之視角距離，及與第二運動向量相關聯之視角距離。亦即，在一些實例中，視訊編碼器可基於攝影機位置而按比例調整第二區塊之運動向量預測子。舉例而言，視訊編碼器可根據如關於圖6至圖8所展示並描述之視角識別符之差而按比例調整第二運動向量。
視訊編碼器可接著使用按比例調整之運動向量預測子來編碼第二區塊之預測資料(168)。舉例而言，視訊編碼器可使用合併模式或使用運動向量預測來編碼第二區塊之預測資料。對於合併模式，視訊編碼器可使用按比例調整之第二運動向量預測子直接編碼第二區塊之預測資料。對於運動向量預測，視訊編碼器可藉由產生MVD而編碼第二區塊之預測資料。MVD可包括第一運動向量與按比例調整之第 二運動向量之間的差。
亦應理解，關於圖9所展示並描述之步驟係僅作為一實例而提供。亦即，圖9之方法之步驟未必需要以圖9中所展示之次序來執行，且可執行更少、額外或替代步驟。
圖10為說明自處於與當前區塊不同的視角中之區塊產生運動向量預測子的概念圖。舉例而言，根據本發明之態樣，視訊編碼器(諸如，視訊編碼器20或視訊解碼器30)可使用來自時間運動向量預測子候選區塊182之時間運動向量180(mv)以產生當前區塊186之運動向量預測子184(mv')，其中候選區塊182屬於與當前區塊186不同的視角分量。雖然圖10係關於視訊解碼器30予以描述，但應理解，可藉由多種其他視訊編碼器進行本發明之技術，其他視訊編碼器包括其他處理器、處理單元、諸如編碼器/解碼器(CODEC)之基於硬體之寫碼單元，及其類似者。
如圖10中所展示，當前區塊186位於視角分量1(view_id 1)中。候選區塊182位於視角分量0(view_id 0)中。候選區塊182經時間預測，且包括指代同一視角分量內之處於不同時間位置中之預測性區塊的運動向量180(mv)。亦即，在圖10中所展示之實例中，運動向量180識別具有等於變數i之參考索引(ref_idx=i)之圖像中之預測性區塊。
假定當前區塊186之左上方明度樣本在圖像(或切片)中位於座標(x,y)處。視訊解碼器30可藉由判定在視角分量0中候選區塊182之共置座標而定位候選區塊182。在一些實例中，視訊解碼器30可基於當前區塊186之視角分量 (view_id 1)與候選區塊182之視角分量(view_id 0)之間的像差而調整候選區塊182之座標。因此，視訊解碼器30可將候選區塊182之座標判定為(x',y')，其中(x',y',)=(x,y)+像差。在一些實例中，像差可包括於SPS、PPS、切片標頭、CU語法及/或PU語法中，及/或在SPS、PPS、切片標頭、CU語法及/或PU語法中予以計算。
根據本發明之態樣，視訊解碼器30可接著再映射運動向量180之參考索引以用於達成預測之目的。一般而言，如上文所提及，運動向量之資料包括參考圖像清單、至參考圖像清單中之索引(被稱作ref_idx)、水平分量，及垂直分量。在HEVC中，可存在兩個常規的參考圖像清單(例如，清單0及清單1)及一組合之參考圖像清單(例如，清單c)。不失一般性，假定當前參考圖像清單為清單t(其可對應於清單0、清單1或清單c中之任一者)。根據圖10中所展示之實例，候選區塊182之運動向量180可識別位於視角分量0(view_id 0)中之特定圖像中之預測性區塊，該圖像之POC值為2且其ref_idx等於i。根據本發明之態樣，視訊解碼器30可識別處於與當前區塊186相同的時間瞬時之當前區塊186之共置預測性區塊。亦即，候選區塊182之預測性區塊與當前區塊186之預測性區塊具有相同時間位置，但位於兩個不同視角之圖像中。
在一實例中，若當前區塊186之經識別之預測性區塊對應於當前圖像之參考圖像清單t中之第j個參考圖像，則視訊解碼器30可將當前區塊186之參考索引(ref_idx)預測為 j，且視訊解碼器30可將運動向量預測子184設定成與運動向量180相同的值。因此，視訊解碼器30將當前區塊186之參考索引自ref_idx i有效地再映射至ref_idx j。亦即，視訊解碼器30判定出當前區塊186之運動向量預測子184具有與候選區塊182相同的參考圖像清單、水平分量及垂直分量，然而，運動向量預測子184指代參考圖像清單中之第j個參考圖像，而非參考圖像清單中之第i個參考圖像。
根據本發明之態樣，在一些實例中，視訊解碼器亦可按比例調整運動向量預測子184。舉例而言，若含有當前區塊186之經識別之預測性區塊的圖像不包括於參考圖像清單t中，則視訊解碼器30可識別參考圖像清單t中最接近的第二圖像。在一些實例中，若兩個圖像具有距含有當前區塊186之經識別之預測性區塊的圖像相等的距離，則視訊解碼器30可選擇更接近含有當前區塊186之圖像的圖像作為第二圖像。出於解釋之目的，假定經識別之圖像具有參考索引k。在此實例中，視訊解碼器30可接著將運動向量預測子184之參考索引預測為k，且視訊解碼器30可基於圖像次序計數(POC)之差而按比例調整運動向量預測子184。亦即，視訊解碼器30可基於以下兩者之間的差而按比例調整運動向量預測子184：當前區塊186與參考索引j處之圖像之間的距離，及當前區塊186與參考索引k處之圖像之間的距離。
根據一些實例，視訊解碼器30可在執行運動向量預測時執行相同程序。然而，在判定運動向量預測子184之後， 視訊解碼器30可使用MVD產生當前區塊186之運動向量。運動向量預測可使用相同程序。在另一實例中，關於運動向量預測，若當前區塊186之預測性區塊不能被定位(經識別為位於上文之參考索引j處)，則視訊解碼器30不可執行當前區塊186之合併模式或運動向量預測。亦即，視訊解碼器30可認為運動向量預測子184不可用，而非按比例調整運動向量預測子184。
視訊解碼器30可將候選區塊182添加至候選者清單以用於執行合併模式及/或運動向量預測(例如，關於上文之圖5所描述)。根據本發明之態樣，可以多種方式將候選區塊182添加至運動向量預測子候選者清單(例如，用於合併模式或藉由MVP之運動向量預測)。舉例而言，視訊解碼器30可藉由根據以下方案定位候選者來建構候選者清單：
1. A1，若availableFlagA1等於1
2. V，若availableFlagV等於1
3. B1，若availableFlagB1等於1
4. B0，若availableFlagB0等於1
5. A0，若availableFlagA0等於1
6. B2，若availableFlagB2等於1
7. Col，若availableFlagCol等於1 其中V表示候選區塊182。在其他實例中，可定位候選區塊182且將該候選區塊132添加至候選者清單處於候選者清單之任何其他位置中。
圖11為說明產生運動向量預測子之實例方法的流程圖。 圖11中所展示之實例一般被描述為藉由視訊編碼器執行。應理解，在一些實例中，圖11之方法可藉由上文所描述之視訊編碼器20(圖1及圖2)或視訊解碼器30(圖1及圖3)進行。在其他實例中，圖11之方法可藉由多種其他處理器、處理單元、諸如編碼器/解碼器(CODEC)之基於硬體之寫碼單元及其類似者執行。
根據圖11中所展示之實例，視訊編碼器可識別第一視角之第一時間位置中之視訊資料的第一區塊，其中該第一區塊係與第一時間運動向量相關聯(202)。根據本發明之態樣，當與視訊資料之第二區塊相關聯之第二運動向量為時間運動向量且該第二區塊係來自與第一區塊不同的第二視角(步驟204之「是」分支)時，視訊編碼器可基於第一運動向量判定運動向量預測子(206)。亦即，例如，視訊編碼器可自第一運動向量判定用於預測第二運動向量之運動向量預測子。視訊編碼器亦可使用運動向量預測子編碼第二區塊之預測資料(208)。舉例而言，視訊編碼器可將運動向量預測子用於合併模式中或使用運動向量預測子以產生MVD值。
若第二運動向量不為時間運動向量及/或視訊資料之第二區塊並非來自與視訊資料之第一區塊不同的視角(步驟204之「否」分支)，則視訊編碼器可判定第二運動向量是否為像差運動向量(210)。根據本發明之態樣，若第二運動向量不為像差運動向量(步驟210之「否」分支)，則視訊編碼器可識別不同的運動向量預測子候選者(212)。亦即，在 一些實例中，視訊編碼器可不使用第一運動向量來預測第二運動向量。
若第二運動向量為像差運動向量(步驟210之「是」分支)，則視訊編碼器可判定是否停用像差運動向量預測(214)。亦即，根據本發明之一些態樣，可停用使用時間運動向量(例如，第一運動向量)以預測像差運動向量(例如，當第二運動向量為像差運動向量時預測第二運動向量)之能力。在此等例子中，視訊編碼器可識別不同的運動向量預測子候選者(212)(步驟214之「否」分支)。
若視訊編碼器判定啟用像差運動向量預測(例如，或啟用/停用此功能之能力不存在)，則視訊編碼器可基於第一運動向量判定第二運動向量之運動向量預測子(206)(步驟214之「是」分支)。另外，視訊編碼器亦可使用運動向量預測子編碼第二區塊之預測資料(208)。舉例而言，視訊編碼器可將運動向量預測子用於合併模式中或使用運動向量預測子以產生MVD值。
亦應理解，關於圖11所展示並描述之步驟係僅作為一實例而提供。亦即，圖11之方法之步驟未必需要以圖11中所展示之次序來執行，且可執行更少、額外或替代步驟。
應理解，取決於實例，可以不同序列執行本文所描述之方法中之任一者的某些動作或事件，可添加、合併或全部省去該等動作或事件(例如，並非所有所描述之動作或事件對於實踐該方法為必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而 非順序地執行動作或事件。另外，雖然本發明之某些態樣出於清楚之目的而描述為係藉由單一模組或單元來執行，但應理解，本發明之技術可藉由與視訊編碼器相關聯之單元或模組之組合來執行。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括對應於有形媒體(諸如，資料儲存媒體)之電腦可讀儲存媒體或包括促進(例如)根據通信協定將電腦程式自一處傳送至另一處之任何媒體的通信媒體。
以此方式，電腦可讀媒體一可對應於(1)非暫時性有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構來用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術 而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。
然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是替代地針對非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。上述各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如以下各者之一或多個處理器執行指令：一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。因此，如本文所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術之任何其他結構中的任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼的專用硬體及/或軟體模組內，或併入組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
可在包括無線手機、積體電路(IC)或IC集合(例如，晶片組)之廣泛多種器件或裝置中實施本發明之技術。各種組件、模組或單元描述於本發明中以強調經組態以執行所揭示之技術之器件的功能態樣，但未必需要藉由不同硬體單元實現。更確切而言，如上文所描述，各種單元可組合於 編碼解碼器硬體單元中或由交互操作之硬體單元的集合(包括如上文所描述之一或多個處理器)結合合適軟體及/或韌體來提供。
已描述本發明之各種態樣。此等及其他態樣係在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧相加器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵寫碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧相加器
64‧‧‧參考圖像記憶體
80‧‧‧熵解碼單元
81‧‧‧預測單元
82‧‧‧運動補償單元
84‧‧‧框內預測單元
86‧‧‧反量化單元
88‧‧‧反變換單元
90‧‧‧求和器
92‧‧‧參考圖像記憶體
100‧‧‧當前區塊
120‧‧‧像差運動向量
122‧‧‧像差運動向量預測子候選區塊
124‧‧‧運動向量預測子
126‧‧‧當前區塊
130‧‧‧像差運動向量
132‧‧‧像差運動向量預測子候選區塊
134‧‧‧運動向量預測子
136‧‧‧當前區塊
138‧‧‧第二運動向量預測子
140‧‧‧像差運動向量
142‧‧‧像差運動向量預測子候選區塊
144‧‧‧運動向量預測子
146‧‧‧當前區塊
180‧‧‧時間運動向量
182‧‧‧時間運動向量預測子候選區塊
184‧‧‧運動向量預測子
186‧‧‧當前區塊
A0‧‧‧相鄰區塊
A1‧‧‧相鄰區塊
B0‧‧‧相鄰區塊
B1‧‧‧相鄰區塊
B2‧‧‧相鄰區塊
COL‧‧‧共置區塊
S0‧‧‧視角
S1‧‧‧視角
S2‧‧‧視角
S3‧‧‧視角
S4‧‧‧視角
S5‧‧‧視角
S6‧‧‧視角
S7‧‧‧視角
T0‧‧‧時間位置/POC值
T1‧‧‧時間位置/POC值
T2‧‧‧時間位置/POC值
T3‧‧‧時間位置/POC值
T4‧‧‧時間位置/POC值
T5‧‧‧時間位置/POC值
T6‧‧‧時間位置/POC值
T7‧‧‧時間位置/POC值
T8‧‧‧時間位置/POC值
T9‧‧‧時間位置/POC值
T10‧‧‧時間位置/POC值
T11‧‧‧時間位置/POC值
圖1為說明可利用本發明中所描述之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可實施本發明中所描述之技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明中所描述之技術之實例視訊解碼器的方塊圖。
圖4為說明實例多視角視訊寫碼(MVC)預測型樣的概念圖。
圖5為說明運動向量預測子候選者之實例位置的方塊圖。
圖6為說明根據本發明之態樣之產生及按比例調整運動向量預測子的概念圖。
圖7為說明根據本發明之態樣之產生及按比例調整運動向量預測子的另一概念圖。
圖8為說明根據本發明之態樣之產生及按比例調整運動向量預測子的另一概念圖。
圖9為說明寫碼視訊資料之區塊之預測資訊的實例方法的流程圖。
圖10為說明自處於與當前區塊不同的視角中之區塊產生運動向量預測子的概念圖。
圖11為說明自處於與當前區塊不同的視角中之區塊產生運動向量預測子之實例方法的流程圖。
120‧‧‧像差運動向量
122‧‧‧像差運動向量預測子候選區塊
124‧‧‧運動向量預測子
126‧‧‧當前區塊

Claims (64)

  1. 一種寫碼視訊資料之方法，該方法包含：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中該第一區塊係與一第一像差運動向量相關聯；判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，判定該運動向量預測子包含按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及使用該按比例調整之運動向量預測子寫碼該第二區塊之預測資料。
  2. 如請求項1之方法，其中當該第二運動向量不為一像差運動向量時，停用自該第一像差運動向量判定該運動向量預測子之一能力。
  3. 如請求項1之方法，其中視訊資料之該第二區塊係來自該第一視角。
  4. 如請求項3之方法，其中視訊資料之該第二區塊與視訊資料之該第一區塊在時間上相鄰。
  5. 如請求項1之方法，其中視訊資料之該第二區塊位於該 第一時間位置中。
  6. 如請求項5之方法，其中視訊資料之該第二區塊係來自一第二不同視角，且該方法進一步包含使用該第二視角之該第二區塊與該第一視角之該第一區塊之間的一像差值來識別該第一區塊。
  7. 如請求項1之方法，其中視訊資料之該第二區塊位於與該第一時間位置不同的一第二時間位置中。
  8. 如請求項1之方法，其中視訊資料之該第二區塊係來自該第一視角及來自該第一時間位置。
  9. 如請求項8之方法，其中視訊資料之該第二區塊與來自該第一視角之該第一時間位置中的視訊資料之該第一區塊在空間上相鄰。
  10. 如請求項1之方法，其進一步包含將該運動向量預測子添加至一候選者清單以用於預測該第二運動向量之步驟。
  11. 如請求項10之方法，其進一步包含在將該運動向量預測子添加至該候選者清單之前，按比例調整該運動向量預測子之步驟。
  12. 如請求項1之方法，其中一像差運動向量之一視角距離包含以下兩者之間的一差：一參考圖像之一視角識別符，及與該像差運動向量相關聯之一目標圖像之一視角識別符。
  13. 如請求項1之方法，其中一像差運動向量之一視角距離包含以下兩者之間的一幾何距離：含有一參考圖像之一 視角的一攝影機位置，及含有與該像差運動向量相關聯之一目標圖像之一視角的一攝影機位置。
  14. 如請求項1之方法，其中寫碼視訊資料之該第二區塊之該預測資料包含編碼該預測資料。
  15. 如請求項1之方法，其中寫碼視訊資料之該第二區塊之該預測資料包含解碼該預測資料。
  16. 如請求項1之方法，其進一步包含使用視訊資料之該第二區塊之該預測資料以寫碼視訊資料之該第二區塊之步驟。
  17. 一種用於寫碼視訊資料之裝置，其包含經組態以執行以下操作之一或多個處理器：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中該第一區塊係與一第一像差運動向量相關聯；判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，該一或多個處理器經組態以藉由按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子而判定該運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及 基於該按比例調整之運動向量預測子寫碼該第二區塊之預測資料。
  18. 如請求項17之裝置，其中當該第二運動向量不為一像差運動向量時，該一或多個處理器經組態以停用自該第一像差運動向量判定該運動向量預測子之一能力。
  19. 如請求項17之裝置，其中視訊資料之該第二區塊係來自該第一視角。
  20. 如請求項19之裝置，其中視訊資料之該第二區塊與視訊資料之該第一區塊在時間上相鄰。
  21. 如請求項17之裝置，其中視訊資料之該第二區塊位於該第一時間位置中。
  22. 如請求項21之裝置，其中視訊資料之該第二區塊係來自一第二不同視角，且其中該一或多個處理器經進一步組態以使用該第二視角之該第二區塊與該第一視角之該第一區塊之間的一像差值來識別該第一區塊。
  23. 如請求項17之裝置，其中視訊資料之該第二區塊位於與該第一時間位置不同的一第二時間位置中。
  24. 如請求項17之裝置，其中視訊資料之該第二區塊係來自該第一視角及來自該第一時間位置。
  25. 如請求項24之裝置，其中視訊資料之該第二區塊與來自該第一視角之該第一時間位置中的視訊資料之該第一區塊在空間上相鄰。
  26. 如請求項17之裝置，其中該一或多個處理器經進一步組態以將該運動向量預測子添加至一候選者清單以用於預 測該第二運動向量。
  27. 如請求項26之裝置，其中該一或多個處理器經進一步組態以在將該運動向量預測子添加至該候選者清單之前按比例調整該運動向量預測子。
  28. 如請求項17之裝置，其中一像差運動向量之一視角距離包含以下兩者之間的一差：一參考圖像之一視角識別符，及與該像差運動向量相關聯之一目標圖像之一視角識別符。
  29. 如請求項17之裝置，其中一像差運動向量之一視角距離包含以下兩者之間的一幾何距離：含有一參考圖像之一視角的一攝影機位置，及含有與該像差運動向量相關聯之一目標圖像之一視角的一攝影機位置。
  30. 如請求項17之裝置，其中為了寫碼視訊資料之該第二區塊之該預測資料，該一或多個處理器經組態以編碼該預測資料。
  31. 如請求項17之裝置，其中為了寫碼視訊資料之該第二區塊之該預測資料，該一或多個處理器經組態以解碼該預測資料。
  32. 如請求項17之裝置，其中該一或多個處理器經進一步組態以使用視訊資料之該第二區塊之該預測資料寫碼視訊資料之該第二區塊。
  33. 一種用於寫碼視訊資料之裝置，該裝置包含：用於自一第一視角識別一第一時間位置中之視訊資料之一第一區塊的構件，其中該第一區塊係與一第一像差 運動向量相關聯；用於判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子的構件，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，用於判定該運動向量預測子之該等構件經組態以藉由按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子而判定該運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及用於基於該按比例調整之運動向量預測子寫碼該第二區塊之預測資料的構件。
  34. 如請求項33之裝置，其進一步包含在該第二運動向量不為一像差運動向量時，用於停用自該第一像差運動向量判定該運動向量預測子之一能力的構件。
  35. 如請求項33之裝置，其中視訊資料之該第二區塊係來自該第一視角。
  36. 如請求項35之裝置，其中視訊資料之該第二區塊與視訊資料之該第一區塊在時間上相鄰。
  37. 如請求項33之裝置，其中視訊資料之該第二區塊位於該第一時間位置中。
  38. 如請求項37之裝置，其中視訊資料之該第二區塊係來自一第二不同視角，且該裝置進一步包含用於使用該第二 視角之該第二區塊與該第一視角之該第一區塊之間的一像差值來識別該第一區塊的構件。
  39. 如請求項33之裝置，其中視訊資料之該第二區塊位於與該第一時間位置不同的一第二時間位置中。
  40. 如請求項33之裝置，其中視訊資料之該第二區塊係來自該第一視角及來自該第一時間位置。
  41. 如請求項33之裝置，其中視訊資料之該第二區塊與來自該第一視角之該第一時間位置中的視訊資料之該第一區塊在空間上相鄰。
  42. 如請求項33之裝置，其進一步包含用於將該運動向量預測子添加至一候選者清單以用於預測該第二運動向量的構件。
  43. 如請求項33之裝置，其進一步包含用於在將該運動向量預測子添加至該候選者清單之前按比例調整該運動向量預測子的構件。
  44. 如請求項33之裝置，其中一像差運動向量之一視角距離包含以下兩者之間的一差：一參考圖像之一視角識別符，及與該像差運動向量相關聯之一目標圖像之一視角識別符。
  45. 如請求項33之裝置，其中一像差運動向量之一視角距離包含以下兩者之間的一幾何距離：含有一參考圖像之一視角的一攝影機位置，及含有與該像差運動向量相關聯之一目標圖像之一視角的一攝影機位置。
  46. 如請求項33之裝置，其中用於寫碼視訊資料之該第二區 塊之預測資料的構件包含用於編碼該預測資料的構件。
  47. 如請求項33之裝置，其中用於寫碼視訊資料之該第二區塊之預測資料的構件包含用於解碼該預測資料的構件。
  48. 如請求項33之裝置，其進一步包含用於使用視訊資料之該第二區塊之該預測資料寫碼視訊資料之該第二區塊的構件。
  49. 一種在其上儲存有指令之電腦可讀儲存媒體，該等指令在執行時使一或多個處理器執行以下步驟：自一第一視角識別一第一時間位置中之視訊資料之一第一區塊，其中該第一區塊係與一第一像差運動向量相關聯；判定與視訊資料之一第二區塊相關聯的一第二運動向量之一運動向量預測子，其中該運動向量預測子係基於該第一像差運動向量；其中當該第二運動向量包含一像差運動向量時，該等指令使該一或多個處理器藉由按比例調整該第一像差運動向量以產生一按比例調整之運動向量預測子而判定該運動向量預測子，其中按比例調整該第一像差運動向量包含將一比例因子應用於該第一像差運動向量，該比例因子包含該第二像差運動向量之一視角距離除以該第一運動向量之一視角距離；及基於該按比例調整之運動向量預測子寫碼該第二區塊之預測資料。
  50. 如請求項49之電腦可讀儲存媒體，其進一步包含在該第 二運動向量不為一像差運動向量時，使該一或多個處理器停用自該第一像差運動向量判定該運動向量預測子之一能力的指令。
  51. 如請求項49之電腦可讀儲存媒體，其中視訊資料之該第二區塊係來自該第一視角。
  52. 如請求項51之電腦可讀儲存媒體，其中視訊資料之該第二區塊與視訊資料之該第一區塊在時間上相鄰。
  53. 如請求項49之電腦可讀儲存媒體，其中視訊資料之該第二區塊位於該第一時間位置中。
  54. 如請求項53之電腦可讀儲存媒體，其中視訊資料之該第二區塊係來自一第二不同視角，且該電腦可讀儲存媒體進一步包含使該一或多個處理器使用該第二視角之該第二區塊與該第一視角之該第一區塊之間的一像差值來識別該第一區塊的指令。
  55. 如請求項49之電腦可讀儲存媒體，其中視訊資料之該第二區塊位於與該第一時間位置不同的一第二時間位置中。
  56. 如請求項49之電腦可讀儲存媒體，其中視訊資料之該第二區塊係來自該第一視角及來自該第一時間位置。
  57. 如請求項56之電腦可讀儲存媒體，其中視訊資料之該第二區塊與來自該第一視角之該第一時間位置中的視訊資料之該第一區塊在空間上相鄰。
  58. 如請求項49之電腦可讀儲存媒體，其進一步包含使該一或多個處理器將該運動向量預測子添加至一候選者清單 以用於預測該第二運動向量的指令。
  59. 如請求項58之電腦可讀儲存媒體，其進一步包含使該一或多個處理器在將該運動向量預測子添加至該候選者清單之前按比例調整該運動向量預測子的指令。
  60. 如請求項49之電腦可讀儲存媒體，其中一像差運動向量之一視角距離包含以下兩者之間的一差：一參考圖像之一視角識別符，及與該像差運動向量相關聯之一目標圖像之一視角識別符。
  61. 如請求項49之電腦可讀儲存媒體，其中一像差運動向量之一視角距離包含以下兩者之間的一幾何距離：含有一參考圖像之一視角的一攝影機位置，及含有與該像差運動向量相關聯之一目標圖像之一視角的一攝影機位置。
  62. 如請求項49之電腦可讀儲存媒體，其中使該一或多個處理器寫碼視訊資料之該第二區塊之預測資料的該等指令包含使該一或多個處理器編碼該預測資料的指令。
  63. 如請求項49之電腦可讀儲存媒體，其中使該一或多個處理器寫碼視訊資料之該第二區塊之預測資料的該等指令包含使該一或多個處理器解碼該預測資料的指令。
  64. 如請求項49之電腦可讀儲存媒體，其進一步包含使該一或多個處理器使用視訊資料之該第二區塊之該預測資料寫碼視訊資料之該第二區塊的指令。
TW101114266A 2011-04-20 2012-04-20 寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體 TWI543591B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161477561P 2011-04-20 2011-04-20
US201161512765P 2011-07-28 2011-07-28
US13/451,161 US9485517B2 (en) 2011-04-20 2012-04-19 Motion vector prediction with motion vectors from multiple views in multi-view video coding

Publications (2)

Publication Number Publication Date
TW201249214A TW201249214A (en) 2012-12-01
TWI543591B true TWI543591B (zh) 2016-07-21

Family

ID=47021330

Family Applications (2)

Application Number Title Priority Date Filing Date
TW101114266A TWI543591B (zh) 2011-04-20 2012-04-20 寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體
TW101114268A TWI526055B (zh) 2011-04-20 2012-04-20 視訊編碼中之運動向量預測

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW101114268A TWI526055B (zh) 2011-04-20 2012-04-20 視訊編碼中之運動向量預測

Country Status (15)

Country Link
US (3) US9247249B2 (zh)
EP (2) EP2700227A1 (zh)
JP (3) JP5805850B2 (zh)
KR (2) KR101658694B1 (zh)
CN (2) CN103650505B (zh)
AU (1) AU2012245299B2 (zh)
BR (1) BR112013026961A2 (zh)
CA (1) CA2833302C (zh)
ES (1) ES2633150T3 (zh)
HU (1) HUE034333T2 (zh)
IL (1) IL228804A (zh)
MY (1) MY185037A (zh)
SG (2) SG194058A1 (zh)
TW (2) TWI543591B (zh)
WO (2) WO2012145670A1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
EP2687015A4 (en) * 2011-03-14 2014-12-17 Mediatek Inc METHOD AND DEVICE FOR OBTAINING PREDICTIONS FOR TEMPORARY MOTION VECTORS
JP5664762B2 (ja) * 2011-03-17 2015-02-04 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
WO2012167711A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
KR20120140592A (ko) * 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
WO2012177052A2 (ko) 2011-06-21 2012-12-27 한국전자통신연구원 인터 예측 방법 및 그 장치
EP3849192B1 (en) * 2011-06-28 2023-01-11 LG Electronics, Inc. Method for deriving a motion vector for video decoding and video encoding
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US11245912B2 (en) 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US9516349B2 (en) * 2011-07-12 2016-12-06 Futurewei Technologies, Inc. Pixel-based intra prediction for coding in HEVC
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
WO2013032073A1 (ko) * 2011-08-29 2013-03-07 주식회사 아이벡스피티홀딩스 Ａｍｖｐ 모드에서의 예측 블록 생성 방법
KR101626683B1 (ko) * 2011-08-30 2016-06-01 인텔 코포레이션 멀티뷰 비디오 코딩 방안
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
US9712819B2 (en) * 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
KR102641723B1 (ko) 2011-11-11 2024-02-29 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP2781091B1 (en) * 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
MX2013014733A (es) * 2011-12-16 2014-02-19 Panasonic Corp Metodo de codificacion de imagenes de video, dispositivo de codificacion de imagenes de video, metodo de decodificacion de imagenes de video, dispositivo de decodificacion de imagenes de video y dispositivo de codificacion/decodificacion de imagenes de video.
BR112014017895B1 (pt) * 2012-01-19 2022-11-22 Electronics And Telecommunications Research Institute Método de decodificação de imagem
US9729873B2 (en) 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US9445076B2 (en) 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
JP6361847B2 (ja) * 2012-05-02 2018-07-25 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US9860555B2 (en) * 2012-05-22 2018-01-02 Lg Electronics Inc. Method and apparatus for processing video signal
US9961369B2 (en) * 2012-06-28 2018-05-01 Hfi Innovation Inc. Method and apparatus of disparity vector derivation in 3D video coding
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
PL400344A1 (pl) * 2012-08-13 2014-02-17 Politechnika Poznanska Sposób wyznaczania predyktora wektora ruchu
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
KR102238567B1 (ko) 2012-09-19 2021-04-08 퀄컴 인코포레이티드 디스패리티 벡터 유도를 위한 화상들의 선택
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
EP2903286A4 (en) 2012-09-28 2016-05-25 Sony Corp IMAGE PROCESSING DEVICE AND METHOD
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos
KR102257542B1 (ko) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
US9854268B2 (en) * 2012-10-03 2017-12-26 Hfi Innovation Inc. Method and apparatus of motion data buffer reduction for three-dimensional video coding
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
AU2013330031B2 (en) * 2012-10-09 2016-06-30 Hfi Innovation Inc. Method and apparatus for motion information prediction and inheritance in video coding
KR101721345B1 (ko) * 2012-11-06 2017-03-29 닛본 덴끼 가부시끼가이샤 영상 부호화 방법, 영상 부호화 장치 및 영상 부호화 프로그램
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US9674542B2 (en) * 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
WO2014120369A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US10616607B2 (en) * 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US9800857B2 (en) 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
EP3024242A4 (en) * 2013-07-18 2017-01-11 LG Electronics Inc. Method and apparatus for processing video signal
US9426465B2 (en) * 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
US9832479B2 (en) * 2013-10-04 2017-11-28 Ati Technologies Ulc Motion estimation apparatus and method for multiview video
WO2015085449A1 (en) * 2013-12-13 2015-06-18 Qualcomm Incorporated Signaling of simplified depth coding (sdc) for depth intra-and inter – prediction modes in 3d video coding
US9967592B2 (en) * 2014-01-11 2018-05-08 Qualcomm Incorporated Block-based advanced residual prediction for 3D video coding
EP3122050A4 (en) * 2014-03-20 2017-12-13 LG Electronics Inc. 3d video encoding/decoding method and device
US10178397B2 (en) 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
CN105208396B (zh) * 2014-06-20 2019-01-15 联想(北京)有限公司 一种视频帧的编码及解码方法和装置
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10085028B2 (en) * 2014-06-26 2018-09-25 Futurewei Technologies, Inc. Method and device for reducing a computational load in high efficiency video coding
JP2017532885A (ja) * 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
CN107079164B (zh) * 2014-09-30 2020-07-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
CN111741311B (zh) * 2014-10-31 2024-04-02 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US10602176B2 (en) * 2016-04-15 2020-03-24 Google Llc Coding interpolation filter type
CN116708784A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
CN109089119B (zh) * 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
US10687077B2 (en) * 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
WO2019009498A1 (ko) * 2017-07-03 2019-01-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN116233417A (zh) 2017-09-12 2023-06-06 三星电子株式会社 用于对运动信息进行编码和解码的方法以及装置
KR102471076B1 (ko) * 2017-09-19 2022-11-25 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
US10856003B2 (en) * 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
CN112106369B (zh) * 2018-04-06 2024-08-13 艾锐势有限责任公司 减少双向时间预测中的运动矢量信息传输
US10587885B2 (en) * 2018-06-04 2020-03-10 Tencent America LLC Method and apparatus for merge mode with additional middle candidates in video coding
US10638145B2 (en) * 2018-06-19 2020-04-28 Novatek Microelectronics Corp. Video encoding apparatus and operating method thereof
CN111107354A (zh) 2018-10-29 2020-05-05 华为技术有限公司 一种视频图像预测方法及装置
WO2020125755A1 (en) * 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector range based on motion vector precision
CN113905239A (zh) 2018-12-29 2022-01-07 深圳市大疆创新科技有限公司 视频处理方法和设备
MX2021015524A (es) 2019-06-14 2022-02-03 Lg Electronics Inc Metodo y dispositivo de codificacion de imagenes usando diferencias de vectores de movimiento.
CN113411609B (zh) 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN115174906B (zh) * 2019-10-03 2023-04-04 华为技术有限公司 几何分割模式的译码过程
KR20220123715A (ko) * 2020-01-14 2022-09-08 후아웨이 테크놀러지 컴퍼니 리미티드 병합 모드에 대한 후보의 수를 시그널링하는 방법 및 장치
CN115715467A (zh) * 2020-04-03 2023-02-24 北京达佳互联信息技术有限公司 用于视频编解码中的高级语法的方法和设备

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4344924A1 (de) 1993-12-30 1995-08-10 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bewegungsschätzung
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
KR100584603B1 (ko) 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
US20070014346A1 (en) 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
EP1905244A4 (en) 2005-07-18 2010-12-01 Korea Electronics Telecomm PREDICTIVE ENCODING / DECODING DEVICE THROUGH SPATIO-TEMPORAL DIMENSIONAL REFERENCE IMAGE PADS AND METHOD OF USE
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
WO2007037645A1 (en) * 2005-09-29 2007-04-05 Samsung Electronics Co., Ltd. Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100947234B1 (ko) 2006-01-12 2010-03-12 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
CN101945277B (zh) 2006-01-12 2013-08-14 Lg电子株式会社 处理多视图视频
ES2533765T3 (es) 2006-03-30 2015-04-15 Lg Electronics Inc. Un método y un aparato para descodificar/codificar una señal de video
US9641842B2 (en) 2006-07-06 2017-05-02 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
TWI344791B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
US8179969B2 (en) * 2006-08-18 2012-05-15 Gwangju Institute Of Science And Technology Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
RU2406257C2 (ru) 2006-09-20 2010-12-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования изображений, устройство для этого, программы для него и носитель информации для хранения программ
KR101351935B1 (ko) 2006-10-13 2014-01-17 톰슨 라이센싱 멀티뷰 비디오 코딩을 수반하는 참조 화상 관리를 위한 방법
KR20110123291A (ko) 2006-10-16 2011-11-14 노키아 코포레이션 멀티뷰 비디오 코딩에서 효율적인 디코딩된 버퍼 관리를 구현하기 위한 시스템 및 방법
EP2080380A2 (en) 2006-10-24 2009-07-22 Thomson Licensing Picture identification for multi-view video coding
EP2079242A4 (en) 2006-10-30 2010-11-03 Nippon Telegraph & Telephone METHOD FOR GENERATING PREDICTIVE REFERENCE INFORMATION, DYNAMIC IMAGE ENCODING AND DECODING METHOD, DEVICE THEREOF, PROGRAM THEREOF, AND STORAGE MEDIUM CONTAINING THE PROGRAM
BRPI0718272A2 (pt) 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de codificação e decodificação de vídeo, aparelho para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas,
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
EP2135454A4 (en) 2007-03-02 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
WO2009020542A1 (en) * 2007-08-06 2009-02-12 Thomson Licensing Methods and apparatus for motion skip mode with multiple inter-view reference pictures
JP5646994B2 (ja) * 2007-08-15 2014-12-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置
JP2011501555A (ja) 2007-10-16 2011-01-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
KR101385884B1 (ko) 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
CN102017627B (zh) * 2008-04-25 2013-05-01 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
US20100086063A1 (en) 2008-10-02 2010-04-08 Apple Inc. Quality metrics for coded video using just noticeable difference models
CN102257818B (zh) 2008-10-17 2014-10-29 诺基亚公司 3d视频编码中运动向量的共享
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US20100246683A1 (en) 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
JP5429034B2 (ja) * 2009-06-29 2014-02-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US9060176B2 (en) 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
WO2012096164A1 (ja) 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
US9749657B2 (en) 2011-01-21 2017-08-29 Sharp Kabushiki Kaisha Buffer compression for motion vector competition
KR20120095610A (ko) 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5664762B2 (ja) 2011-03-17 2015-02-04 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
KR20120118780A (ko) 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
EP2745513B1 (en) 2011-08-19 2020-03-11 Telefonaktiebolaget LM Ericsson (publ) Motion vector processing
EP2752001A4 (en) 2011-08-30 2015-04-15 Nokia Corp APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions

Also Published As

Publication number Publication date
US9485517B2 (en) 2016-11-01
SG10201602588RA (en) 2016-05-30
WO2012145663A1 (en) 2012-10-26
BR112013026961A2 (pt) 2017-01-10
US20120269270A1 (en) 2012-10-25
JP5805849B2 (ja) 2015-11-10
KR20140018967A (ko) 2014-02-13
JP2016026435A (ja) 2016-02-12
JP2014514861A (ja) 2014-06-19
EP2700227A1 (en) 2014-02-26
CN103503460B (zh) 2017-08-25
AU2012245299B2 (en) 2015-12-24
WO2012145670A1 (en) 2012-10-26
CN103650505B (zh) 2018-01-23
KR101600154B1 (ko) 2016-03-14
TW201249214A (en) 2012-12-01
SG194058A1 (en) 2013-11-29
CN103503460A (zh) 2014-01-08
KR101658694B1 (ko) 2016-09-21
US9247249B2 (en) 2016-01-26
MY185037A (en) 2021-04-30
EP2700228B1 (en) 2017-04-12
IL228804A (en) 2016-11-30
EP2700228A1 (en) 2014-02-26
JP6552923B2 (ja) 2019-07-31
US20120269271A1 (en) 2012-10-25
JP5805850B2 (ja) 2015-11-10
RU2013151612A (ru) 2015-05-27
AU2012245299A1 (en) 2013-10-24
HUE034333T2 (en) 2018-02-28
ES2633150T3 (es) 2017-09-19
CA2833302C (en) 2018-07-03
IL228804A0 (en) 2013-12-31
US9584823B2 (en) 2017-02-28
CA2833302A1 (en) 2012-10-26
KR20140018968A (ko) 2014-02-13
JP2014514862A (ja) 2014-06-19
CN103650505A (zh) 2014-03-19
TW201249215A (en) 2012-12-01
TWI526055B (zh) 2016-03-11
US20130272408A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
TWI543591B (zh) 寫碼視訊資料之方法、用於寫碼視訊資料之裝置及電腦可讀儲存媒體
TWI520573B (zh) 用於寫碼視訊資料之方法、器件及電腦可讀儲存媒體
TWI501611B (zh) 用於３ｄ視訊之視圖間預測之運動向量
TWI558178B (zh) 用於寫碼視訊資料之方法及器件及電腦可讀儲存媒體
JP2019068448A (ja) ３ｄビデオコーディングにおける視差ベクトル導出および動きベクトル予測の簡略化
JP6337025B2 (ja) ３ｄビデオコード化における隣接ブロック視差ベクトル導出
US20130258052A1 (en) Inter-view residual prediction in 3d video coding
TWI536812B (zh) 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束
TW201340724A (zh) 視訊寫碼中之像差向量預測
KR20150132505A (ko) 스킵 및 직접 모드들에 대한 3ｄ 비디오 코딩에서의 디스패리티 벡터 유도
TW201342883A (zh) 在使用深度之３ｄ視訊寫碼中的多重假設差異向量建立
KR101861906B1 (ko) 고 효율 비디오 코딩에 기초한 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
TW201322735A (zh) 用於三維視訊編碼之發信深度範圍
AU2015272007A1 (en) Motion vector prediction in video coding
KR20230017238A (ko) 인터 레이어 예측 여부에 기반하여 움직임 정보를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법