TW201320754A - 支援內側景觀運動預測模式之以多重景觀寫碼為基礎的三維視訊寫碼的編解碼器 - Google Patents

支援內側景觀運動預測模式之以多重景觀寫碼為基礎的三維視訊寫碼的編解碼器 Download PDF

Info

Publication number
TW201320754A
TW201320754A TW101126394A TW101126394A TW201320754A TW 201320754 A TW201320754 A TW 201320754A TW 101126394 A TW101126394 A TW 101126394A TW 101126394 A TW101126394 A TW 101126394A TW 201320754 A TW201320754 A TW 201320754A
Authority
TW
Taiwan
Prior art keywords
landscape
video block
depth
motion information
texture
Prior art date
Application number
TW101126394A
Other languages
English (en)
Inventor
Ying Chen
Li Zhang
Marta Karczewicz
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201320754A publication Critical patent/TW201320754A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本發明描述可應用於三維(3D)視訊寫碼之特徵及技術。在一實例中，一技術可包括寫碼一紋理景觀視訊區塊及寫碼一深度景觀視訊區塊，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯。寫碼該深度景觀視訊區塊可包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。

Description

支援內側景觀運動預測模式之以多重景觀寫碼為基礎的三維視訊寫碼的編解碼器
本發明係關於三維(3D)視訊寫碼。
本申請案主張以下各者之權利：2011年11月18日申請之美國臨時專利申請案61/561,800；2011年11月26日申請之美國臨時專利申請案61/563,771；2011年8月11日申請之美國臨時專利申請案61/522,559；及2011年7月22日申請之美國臨時專利申請案61/510,738；2011年8月11日申請之美國臨時專利申請案61/522,584；2011年11月26日申請之美國臨時專利申請案61/563,772；及2012年4月12日申請之美國臨時專利申請案61/624,031，該等申請案中之每一者之全部內容係以全文引用方式併入。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧電話」、視訊電傳會議器件、視訊串流傳輸器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第十部分(進階視訊寫碼(AVC))界定之標準、目前在開發中之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所 描述之視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(畫面內)預測及/或時間(畫面間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，視訊片段(亦即，視訊圖框或視訊圖框之一部分)可被分割成多個視訊區塊，視訊區塊亦可稱為樹區塊、寫碼單元(CU)及/或寫碼節點。畫面之框內寫碼(I)片段之視訊區塊係使用相對於同一畫面中之相鄰區塊中之參考樣本的空間預測來編碼。畫面之框間寫碼(P或B)片段中之視訊區塊可使用相對於同一畫面中之相鄰區塊中之參考樣本的空間預測或相對於其他畫面中之參考樣本的時間預測。畫面可稱為圖框，且參考畫面可稱為參考圖框。
空間或時間預測產生用於待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼之區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼。經框內寫碼之區塊係根據框內寫碼模式及殘餘資料來編碼。為了進一步壓縮，殘餘資料可自像素域變換至變換域，從而產生接著可被量化之殘餘變換係數。最初配置成二維陣列的經量化之變換係數可經掃描以便產生變換係數之一維向量，且可應用熵寫碼以達成更大壓縮。
三維(3D)視訊係多種應用非常需要的，但3D視訊寫碼提 出許多挑戰。
本發明描述可適用於三維(3D)視訊寫碼之特徵及技術。在一實例中，一技術可包括寫碼一紋理景觀視訊區塊及寫碼一深度景觀視訊區塊，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯。寫碼該深度景觀視訊區塊可包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。
所描述之技術可對應於本文中被稱為內側景觀運動預測(IMVP)模式之寫碼模式。在此情況下，一深度景觀分量(例如，深度景觀視訊區塊)可不包括相對於其運動資訊之任何額外差量值，且可改為採用一紋理景觀分量之運動資訊作為深度景觀分量之運動資訊。藉由定義完全採用紋理景觀之運動資訊作為深度景觀之運動資訊的模式，由於無相對於此運動資訊之差量值之任何傳信，故可達成改良之壓縮。
在另一實例中，本發明描述一種寫碼3D視訊資料之器件，其中該器件包含經組態以寫碼一紋理景觀視訊區塊且寫碼一深度景觀視訊區塊之一或多個處理器，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯。寫碼該深度景觀視訊區塊包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。
在另一實例中，本發明描述一種包含儲存於上之指令之電腦可讀儲存媒體，其中該等指令在執行時使一或多個處理器寫碼一紋理景觀視訊區塊且寫碼一深度景觀視訊區塊，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯。寫碼該深度景觀視訊區塊包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。
在另一實例中，本發明描述一種經組態以寫碼3D視訊資料之器件，該器件包含用於寫碼一紋理景觀視訊區塊之構件及用於寫碼一深度景觀視訊區塊之構件，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯，其中該用於寫碼該深度景觀視訊區塊之構件包括用於寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊之構件。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
本發明之技術係關於基於ITU-T H.264/AVC標準及支援多景觀寫碼(MVC)之一或多個擴展(諸如，ITU-T H.264/AVC標準之Annex H)之三維(3D)視訊寫碼。然而，該等技術亦可適用於其他視訊寫碼標準或技術，諸如，目前正在開發之新興HEVC標準、ITU-T H.264/AVC標準之擴展或新興HEVC標準或諸如On2 VP6/VP7/VP8之專屬視 訊寫碼技術。
在3D視訊寫碼中，經常存在共同用以定義3D視訊呈現之多個不同景觀。此外，該等不同景觀中之每一者可包括紋理景觀分量及深度景觀分量兩者。紋理景觀分量可寫碼成視訊資料之區塊，其被稱為「視訊區塊」且在H.264上下文(context)中通常被稱作「巨集區塊」。類似地，深度景觀分量亦經寫碼為「視訊區塊」，且在H.264標準中通常被稱作「巨集區塊」。每一紋理視訊區塊可具有對應之深度視訊區塊。然而，不同視訊區塊(紋理及深度)通常係單獨地寫碼。其他視訊寫碼標準可將視訊區塊稱為樹區塊或寫碼單元(CU)。
關於框間寫碼，運動向量(或相對於運動向量預測子之運動向量差值)可用以界定預測性區塊，該等預測性區塊接著被用以預測經寫碼視訊區塊之值。在此情況下，所謂的「殘餘值」或「差值」係與識別對應預測性區塊之運動向量(或相對於運動向量預測子之運動向量差值)一起包括於經編碼位元串流中。解碼器接收運動向量及殘餘值，且使用運動向量來自先前經解碼之視訊資料識別預測性區塊。為了重建經編碼視訊區塊，解碼器組合殘餘值與由運動向量識別之對應預測性區塊。
3D視訊寫碼存在許多潛在問題。舉例而言，當寫碼多景觀視訊資料時，可能需要解決以下問題以形成有效率之編解碼器：1.提供用於聯合寫碼一或多個景觀之紋理分量及深度分 量之能力；2.提供利用紋理與深度之間的運動冗餘之能力；3.提供以簡單且有效率之方式傳輸攝影機參數之能力；4.在景觀調適中，inter_view_flag可用以在景觀分量不屬於正在用於輸出之景觀之情況下廢棄該景觀分量。然而，在不對稱3DV情況下，即使此旗標等於0，亦仍可能需要網路抽象層(NAL)單元以用於預測具有不同解析度之景觀。
為了解決以上問題，可使用包括以下各者之若干技術：
1.用以支援深度景觀及紋理景觀之聯合寫碼之架構。
2.新的內側景觀運動預測(IVMP)模式可在巨集區塊(或其他視訊區塊或CU)層級使用以允許運動向量在深度景觀與紋理景觀之間的重新使用。將在本發明中詳細描述IVMP模式之態樣。
3.可將攝影機參數及深度範圍添加至序列參數集合(SPS)中或作為新的補充增強資訊(SEI)訊息，且若此等參數基於畫面而改變，則可添加VPS(景觀參數集合)或SEI訊息。
4.可修改inter_view_flag之語意，或可在網路抽象層(NAL)單元標頭中定義新的語法元素以指示對具有不同解析度之景觀而言不可廢棄的景觀分量對具有相同解析度之景觀而言是否亦為可廢棄的。
5.除了將由深度景觀分量使用之nal_unit_type(例如，21)之外，一個實例進一步包括用於不相容於H.264/MVC 之紋理景觀分量的新nal_unit_type(例如，22)。
本發明可使用以下定義：景觀分量：景觀在單一存取單元中之經寫碼表示。當景觀包括經寫碼之紋理表示及深度表示兩者時，景觀分量由紋理景觀分量及深度景觀分量組成。
紋理景觀分量：景觀之紋理在單一存取單元中之經寫碼表示。
深度景觀分量：景觀之深度在單一存取單元中之經寫碼表示。
深度景觀分量中之經寫碼視訊寫碼層(VCL)網路抽象層(NAL)單元可被指派nal_unit_type 21，作為專門用於深度景觀分量之經寫碼片段擴展之新類型。紋理景觀分量及深度景觀分量在本文中亦可被稱為紋理景觀視訊區塊及深度景觀視訊區塊。
現將描述例示性位元串流次序。在一些實例中，在每一景觀分量中，深度景觀分量之任何經寫碼片段NAL單元(具nal_unit_type 21)必須跟在紋理景觀分量之所有經寫碼片段NAL單元之後。為簡單起見，本發明可將深度景觀分量之經寫碼片段NAL單元命名為深度NAL單元。
深度NAL單元可具有與具有等於20之nal_unit_type之NAL單元相同之NAL單元標頭結構。圖4為說明一個存取單元內之景觀分量之VCL NAL單元的位元串流次序之概念圖。
如圖4所示，根據本發明，一存取單元含有具有多個景 觀分量之多個NAL單元。每一景觀分量可由一個紋理景觀分量及一個深度景觀分量組成。基礎景觀(具有等於0之景觀次序索引(VOIdx))之紋理景觀分量含有一個首碼NAL單元(具有等於14之NAL單元類型)及一或多個AVC VCL NAL單元(具有等於例如1或5之NAL單元類型)。其他景觀中之紋理景觀分量僅含有MVC VCL NAL單元(具有等於20之NAL單元類型)。在基礎景觀及非基礎景觀兩者中，深度景觀分量含有具有等於21之NAL單元類型之深度NAL單元。在任何景觀分量中，深度NAL單元按解碼/位元串流次序跟在紋理景觀分量之NAL單元之後。
由於紋理景觀分量及其相關聯深度景觀分量具有類似的物件廓形，故該兩者通常具有類似的物件邊界及移動。因此，其運動場中存在冗餘。若紋理景觀區塊及深度景觀區塊存在於同一NAL單元中及/或其對應於3D視訊資料之相同(或重疊)空間及/或時間例項，則紋理景觀區塊及深度景觀區塊可為「相關聯的」。本發明之技術可藉由允許深度景觀分量以類似於所謂「合併」模式之方式完全採用相關聯紋理景觀分量之運動資訊的模式而在很大程度上利用此冗餘。在此情況下，深度景觀分量可不包括相對於其運動資訊之任何額外差量值，且可改為採用紋理景觀分量之運動資訊作為深度景觀分量之運動資訊。藉由定義完全採用紋理景觀之運動資訊作為深度景觀之運動資訊的模式，由於無相對於此運動資訊之差量值之任何傳信，故可達成改良之壓縮。
詳言之，可根據合併紋理景觀之運動資訊以作為深度景觀之運動資訊的新模式來啟用自紋理景觀分量至相關聯深度景觀分量之運動預測。在一些實例中，可僅針對具有深度景觀分量之經框間寫碼MB啟用此所謂的內側景觀運動預測(IVMP)模式。在IVMP模式中，包括紋理景觀分量中之共置(co-located)的MB之mb_type、sub_mb_type、參考索引及運動向量之運動資訊被同一景觀之深度景觀分量重新使用。旗標可在每一MB中用信號發出以指示MB是否使用IVMP模式。換言之，旗標可在視訊區塊層級(例如，巨集區塊層級)定義。旗標可與深度視訊區塊(例如，深度巨集區塊)一起包括進來。如圖5所示，旗標對深度景觀之第四畫面中之經識別MB而言可為真，且紋理景觀之第四畫面(經識別為第四畫面)中之共置的MB之運動向量被重新用於深度景觀分量中之醒目提示的MB。注意，在一些實例中，IVMP模式僅適用於非錨定畫面(non-anchor picture)。
再次，相對於基於另一景觀之運動來預測一個景觀之運動向量之技術，本發明之技術可達成進一步壓縮。舉例而言，一些可縮放視訊寫碼(SVC)技術可允許基於基礎景觀之運動資訊對增強景觀之運動預測，且在一些情況下，基礎景觀可為紋理景觀，且增強景觀可為深度景觀。然而，在此等情況下，除指示基礎景觀被用以預測增強景觀之預測資訊(或旗標)之外，運動向量差異資料(例如，差量)亦始終被寫碼。與之相比，本發明之技術可利用IVMP模式，其中無差量資訊(例如，無運動向量差值)被寫碼或被 允許。實情為，對於IVMP模式，採用紋理景觀之運動資訊作為深度景觀之運動資訊。
當採用紋理景觀之運動資訊作為深度景觀之運動資訊時，則在不接收或解碼用於深度景觀之任何其他運動資訊之情況下，解碼器可使用紋理景觀(例如，紋理區塊)之運動資訊來解碼深度景觀(例如，對應深度區塊)。詳言之，解碼器可經組態而以此方式解譯IVMP旗標。因此，當啟用IVMP旗標時，可自深度視訊區塊排除運動資訊，且解碼器可經組態以知曉：啟用之IVMP旗標意謂用於深度視訊區塊之運動資訊可自對應紋理視訊區塊獲得。
符合本發明之編碼器通常遵照聯合多景觀視訊寫碼(JMVC)編碼器方案，其中景觀係逐個進行編碼。在每一景觀內，首先編碼紋理序列，且接著編碼深度序列。
當啟用IVMP模式時，在紋理景觀分量編碼期間，每一紋理景觀分量之運動場被寫入至運動檔案中，運動檔案之名稱可在組態檔案中指定。當編碼同一景觀之相關聯深度序列時，可讀取運動檔案以供參考。
在一些態樣中，解碼器可類似於JMVC解碼器，修改之處為亦解碼及輸出每一景觀之深度序列。當啟用IVMP模式時，每一紋理景觀分量之運動被儲存且被採用為每一對應深度景觀之運動。對於其中IVMP模式被停用之任何區塊，深度景觀可包括其自身的運動資訊，或可包括一些其他語法元素以識別自何處獲得、預測及/或採用其各別運動資訊。然而，若啟用IVMP模式，則深度景觀不包括其 自身的運動資訊，且運動資訊係由解碼器自對應紋理景觀分量獲得。因此，當啟用IVMP模式時，深度景觀視訊區塊採用對應紋理景觀視訊區塊之運動資訊，使得深度景觀視訊區塊不包括其自身的運動資訊。
圖1、圖2及圖3之以下論述描述一些例示性情形，本發明之基於MVC之3DVC技術可在該等情形下使用。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1所示，系統10包括產生將在稍後時間由目的地器件14解碼之經編碼視訊資料之源器件12。源器件12及目的地器件14可包含包括下列各者之廣泛範圍之器件中之任一者：桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧」電話、所謂「智慧」板之電話手機、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸器件，或其類似者。在一些情況下，源器件12及目的地器件14可經配備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠使經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，鏈路16可包含一通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料可根據諸如無線通信協定之通信標準來調變且傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形 成基於封包之網路(諸如，區域網路、廣域網路，或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信之任何其他設備。
或者，經編碼資料可自輸出介面22輸出至儲存器件32。類似地，經編碼資料可由輸入介面自儲存器件32存取。儲存器件32可包括多種分散式或本端存取之資料儲存媒體(諸如，硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體)中之任一者。在另一實例中，儲存器件32可對應於檔案伺服器或可保留由源器件12產生之經編碼視訊之另一中間儲存器件。目的地器件14可經由串流傳輸或下載而自儲存器件32存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端硬碟。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件32之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應 用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中(over-the-air)電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊擷取器件(例如，視訊攝影機)、含有先前擷取之視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋送介面及/或用於產生作為源視訊之電腦圖形資料之電腦圖形系統或此等源之組合之源。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術通常可適用於視訊寫碼，且可應用於無線及/或有線應用。
所擷取、預先擷取或電腦產生之視訊可由視訊編碼器12來編碼。經編碼視訊資料可經由源器件20之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代地)儲存於儲存器件32上以便由目的地器件14或其他器件稍後存取以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件31。在一些情況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或提供於儲存器件32上之經編碼視訊資料可包括由視訊編碼器20產生之供視訊解碼器(諸如，視訊解碼器30)在解碼視訊資料時使用之多種語法元素。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上的經編碼視訊資料一起包括進來。
顯示器件31可與目的地器件14整合或在目的地器件14外。在一些實例中，目的地器件14可包括整合式顯示器件，且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件31向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，目前在開發中之高效率視訊寫碼(HEVC)標準)而操作，且可遵照HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，替代地稱為MPEG-4第十部分(進階視訊寫碼(AVC))之ITU-T H.264標準)或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。專屬寫碼技術(諸如，被稱為 On2 VP6/VP7/VP8之寫碼技術)亦可實施本文中所描述之技術中之一或多者。
雖然圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或不同資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在使用一或多個處理器之硬體中執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其任一者可整合為各別器件中的組合式編碼器/解碼器(編解碼器)之部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之被稱為HEVC測試模型(HM)之演進模型。HM根據(例如)ITU-T H.264/AVC假定視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，儘管H.264提供九個框內預測編碼模式，但HM可提供多達33個框內 預測編碼模式。
一般而言，HM之工作模型描述：視訊圖框或畫面可劃分成包括明度樣本及色度樣本兩者之樹區塊或最大寫碼單元(LCU)之一序列。樹區塊具有與H.264標準之巨集區塊類似之用途。片段以寫碼次序包括數個連續樹區塊。視訊圖框或畫面可分割成一或多個片段。每一樹區塊可根據四分樹分裂成多個寫碼單元(CU)。舉例而言，作為四分樹之根節點的樹區塊可分裂成四個子節點，且每一子節點又可為父節點且可分裂成另外四個子節點。作為四分樹之葉節點的最後未分裂之子節點包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹區塊可分裂之最大次數，且亦可定義寫碼節點之最小大小。樹區塊在一些實例中可被稱為LCU。
CU包括寫碼節點及與寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且其形狀必須為正方形。CU之大小可在8×8個像素至高達最大為64×64個像素或更多像素的樹區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式在CU以跳躍或直接模式編碼、以框內預測模式編碼或是以框間預測模式編碼之間可能不同。PU在形狀上可被分割為非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個PU之分割。TU在形狀上可為正方形或非正方形。
HEVC標準允許根據TU之變換，該等變換對於不同CU可能不同。TU通常基於針對經分割LCU界定之給定CU內的PU之大小來設定大小，但情況可能並非始終如此。TU通常與PU大小相同或小於PU。在一些實例中，對應於CU之殘餘樣本可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而再分為較小單元。RQT之葉節點可被稱為變換單元(TU)。與TU相關聯之像素差值可經變換以產生可量化之變換係數。
一般而言，PU包括與預測程序有關之資料。舉例而言，當PU係以框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，當PU係以框間模式編碼時，PU可包括描述定義用於PU之運動向量之資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考畫面及/或運動向量之參考畫面清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含像素差值，該等值可變換為變換係數，經量化並使用TU掃描以產生用於熵寫碼之串行化變換係數。本發明通常使用術語「視訊區塊」來指代CU之寫碼節點。在一些特定情況下，本發明亦可使用術語「視訊區塊」來指代包括寫 碼節點及PU及TU之樹區塊(亦即，LCU或CU)。
視訊序列通常包括一系列視訊圖框或畫面。畫面群組(GOP)一般包括一系列一或多個視訊畫面。GOP可包括在GOP之標頭、畫面中之一或多者之標頭中或別處的描述包括於GOP中之畫面之數目的語法資料。畫面之每一片段可包括描述用於各別片段之編碼模式之片段語法資料。視訊編碼器20通常對個別視訊片段內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定之寫碼標準而在大小上不同。
作為實例，HM支援各種PU大小之預測。假設特定CU之大小為2N×2N，HM支援2N×2N或N×N之PU大小之框內預測，及2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援用於2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測之不對稱分割。在不對稱分割中，CU的一個方向未被分割，而另一方向經分割成25%及75%。CU之對應於25%分割之部分係由「n」繼之以「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，舉例而言，「2N×nU」指代經水平分割而在頂部具2N×0.5N PU且在底部具有2N×1.5N PU之2N×2N CU。
在本發明中，「N×N」及「N乘N」可互換地使用以指代視訊區塊在垂直維度及水平維度上之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方 向上將具有16個像素(y=16)，且在水平方向上將具有16個像素(x=16)。同樣，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M不必等於N。
在使用CU之PU的框內預測性寫碼或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含空間域(亦被稱為像素域)中之像素資料，且TU可在對殘餘視訊資料應用變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)之後包含變換域中之係數。殘餘資料可對應於未經編碼之畫面之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料之TU，且接著變換TU以產生CU之變換係數。
在用以產生變換係數之任何變換之後，視訊編碼器20可執行變換係數之量化。量化通常指代量化變換係數以可能減少用以表示該等係數之資料之量，從而提供進一步壓縮的程序。量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。舉例而言，可在量化期間將n位元值捨去至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可進行熵編碼之串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描該等經量化之變換係數以形成一維向量之後，視訊 編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對該一維向量進行熵編碼。視訊編碼器20亦可對與經編碼視訊資料相關聯之語法元素進行熵編碼以供視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可與(例如)符號之相鄰值是否係非零有關。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸符號之可變長度碼。可構造VLC中之碼字，以使得相對較短之碼對應於機率較大之符號，而較長碼對應於機率較低之符號。以此方式，使用VLC可較之於(例如)將相等長度碼字用於待傳輸之每一符號達成位元節省。機率判定可基於指派給符號之上下文。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊片段內之視訊區塊之框內及框間寫碼。框內寫碼依靠空間預測以減少或移除給定視訊圖框或畫面內之視訊中的空間冗餘。框間寫碼依靠時間預測以減少或移除視訊序列之鄰近圖框或畫面內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單一方向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中之任一者。
在圖2之實例中，視訊編碼器20包括分割單元35、預測模組41、參考畫面記憶體64、求和器50、變換模組52、量化單元54及熵編碼單元56。預測模組41包括運動估計單元42、運動補償單元44及框內預測模組46。為了視訊區塊重建，視訊編碼器20亦包括反量化單元58、反變換模組60及求和器62。亦可包括一解區塊濾波器(圖2中未圖示)以對區塊邊界進行濾波以自重建之視訊移除方塊效應假影。若需要，解區塊濾波器通常可對求和器62之輸出進行濾波。除解區塊濾波器外，亦可使用額外迴圈濾波器(迴圈內或迴圈後)。
如圖2所示，視訊編碼器20接收視訊資料，且分割單元35將該資料分割成多個視訊區塊。此分割亦可包括(例如)根據LCU及CU之四分樹結構分割成片段、圖塊或其他較大單元，以及視訊區塊分割。視訊編碼器20通常說明編碼待編碼之視訊片段內之視訊區塊之組件。片段可劃分成多個視訊區塊(且可能劃分成被稱為圖塊之視訊區塊之集合)。預測模組41可基於錯誤結果(例如，寫碼速率及失真程度)為當前視訊區塊選擇複數個可能寫碼模式中之一者(諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)。預測模組41可將所得之經框內或框間寫碼之區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建經編碼區塊以用作參考畫面。
預測模組41內之框內預測模組46可相對於與待寫碼之當前區塊相同之圖框或片段中一或多個相鄰區塊執行當前視 訊區塊之框內預測性寫碼以提供空間壓縮。預測模組41內之運動估計單元42及運動補償單元44相對於一或多個參考畫面中之一或多個預測性區塊執行當前視訊區塊之框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣判定用於視訊片段之框間預測模式。預定型樣可將序列中之視訊片段指明為P片段、B片段或GPB片段。運動估計單元42及運動補償單元44可高度整合，但為概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或畫面內之視訊區塊之PU相對於參考畫面內之預測性區塊之移位。
預測性區塊為經發現在像素差方面緊密匹配待寫碼之視訊區塊之PU的區塊，其可藉由絕對差之和(SAD)、平方差之和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考畫面記憶體64中之參考畫面之次整數像素(sub-integer pixel)位置之值。舉例而言，視訊編碼器20可內插參考畫面之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可對於完整像素位置及分率像素位置執行運動搜尋，且輸出具有分率像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考畫面之預測性區塊之位置來計算用於經框間寫碼之片段中的視訊區塊之PU的運動向量。參考畫面可選自第一參考畫面清單(清 單0)或第二參考畫面清單(清單1)，該等清單中之每一者識別儲存於參考畫面記憶體64中之一或多個參考畫面。運動估計單元42將所計算出之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於藉由運動估計判定之運動向量來提取或產生預測性區塊，從而可能執行至子像素精度之內插。在接收到用於當前視訊區塊之PU的運動向量時，運動補償單元44可在參考畫面清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊片段相關聯之語法元素以供視訊解碼器30在解碼視訊片段之視訊區塊時使用。
框內預測模組46可框內預測當前區塊，以作為如上所述的由運動估計單元42及運動補償單元44執行之框間預測之替代。詳言之，框內預測模組46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測模組46可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測模組46(或在一些實例中，模式選擇單元40)可自經測試模式選擇適當框內預測模式來使用。舉例而言，框內預測模組46可使用各種經測試框內預測模式 之速率失真分析計算速率失真值，且在經測試模式中選擇具有最佳速率失真特性之框內預測模式。速率失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測模組46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現區塊之最佳速率失真值。
在一些情況下，預測模組41可選擇IVMP模式用於寫碼一或多個深度視訊區塊。在此情況下，對應紋理視訊區塊之運動資訊可被用於深度區塊，如本文中所描述。深度區塊及紋理區塊可寫碼至同一NAL單元中，且IVMP旗標可經編碼以使得解碼器可藉由重新使用對應紋理景觀視訊區塊之運動資訊來正確解碼深度視訊區塊。
在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測模組46可將指示用於區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦稱為碼字映射表)、各種區塊之編碼上下文之定義及最大機率框內預測模式之指示、框內預測模式索引表及經修改框內預測模式索引表以用於上下文中之每一者。
在預測模組41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊 減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且應用於變換模組52。變換模組52使用一變換(諸如，離散餘弦變換(DCT)或一概念上類似之變換)將殘餘視訊資料變換成殘餘變換係數。變換模組52可將殘餘視訊資料自像素域轉換至諸如頻域之變換域。
變換模組52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減小位元速率。量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣之掃描。或者，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在熵編碼單元56進行之熵編碼之後，經編碼位元串流可傳輸至視訊解碼器30，或經存檔以供稍後傳輸或由視訊解碼器30擷取。熵編碼單元56亦可熵編碼用於正在寫碼之當前視訊片段之運動向量及其他語法元素。
反量化單元58及反變換模組60分別應用反量化及反變換，以重建像素域中之殘餘區塊以供稍後用作參考畫面之參考區塊。運動補償單元44可藉由將殘餘區塊加至參考畫 面清單中之一者內的參考畫面中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於重建之殘餘區塊以計算次整數像素值以供在運動估計中使用。求和器62將重建之殘餘區塊加至由運動補償單元44產生的運動經補償之預測區塊以產生參考區塊以儲存於參考畫面記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊來框間預測後續視訊圖框或畫面中之區塊。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元80、預測模組81、反量化單元86、反變換單元88、求和器90及參考畫面記憶體92。預測模組81包括運動補償單元82及框內預測模組84。視訊解碼器30在一些實例中可執行與關於來自圖2之視訊編碼器20描述之編碼遍次大體上互反之解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊片段之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測模組81。視訊解碼器30可在視訊片段層級及/或視訊區塊層級接收語法元素。
當視訊片段經寫碼為框內寫碼(I)片段時，預測模組81之框內預測模組84可基於傳信之框內預測模式及來自當前圖 框或畫面之先前經解碼區塊之資料來產生用於當前視訊片段之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B、P或GPB)片段時，預測模組81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素來產生用於當前視訊片段之視訊區塊的預測性區塊。該等預測性區塊可根據參考畫面清單中之一者內的參考畫面中之一者產生。視訊解碼器30可基於儲存於參考畫面記憶體92中之參考畫面使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊片段之視訊區塊之預測資訊，且使用該預測資訊產生用於正解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中之一些判定用以寫碼視訊片段之視訊區塊之預測模式(例如，框內或框間預測)、框間預測片段類型(例如，B片段、P片段或GPB片段)、用於片段之參考畫面清單中之一或多者之構造資訊、用於片段之每一經框間編碼視訊區塊之運動向量、用於片段之每一經框間寫碼視訊區塊之框間預測狀態及用以解碼當前視訊片段中之視訊區塊的其他資訊。
在一些情況下，預測模組81可解譯NAL單元中之旗標，且選擇用於解碼NAL單元之一或多個深度視訊區塊之IVMP模式。在此情況下，對應紋理視訊區塊之運動資訊可用於深度區塊，如本文中所描述。深度區塊及紋理區塊可寫碼至同一NAL單元中，且IVMP旗標可根據位元串流 加以解碼以使得視訊解碼器30可藉由重新使用對應紋理景觀視訊區塊之運動資訊來正確解碼深度視訊區塊。
運動補償單元82亦可基於內插濾波器執行內插。運動補償單元82可使用由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算用於參考區塊之次整數像素之內插值。在此情況下，運動補償單元82可根據所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化單元86反量化(亦即，去量化)提供於位元串流中且由熵解碼單元80解碼之經量化之變換係數。反量化程序可包括將由視訊編碼器20計算之量化參數用於視訊片段中之每一視訊區塊以判定量化之程度及(同樣地)應應用的反量化之程度。反變換模組88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便產生像素域中之殘餘區塊。
在預測模組81基於框間或框內預測產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換模組88之殘餘區塊與由預測模組81產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除方塊效應假影。其他迴圈濾波器(在寫碼迴圈中或在寫碼迴圈之後)亦可用以平滑化像素轉變或以其他方式改良視訊品質。給定圖框或畫面中之經解碼視訊區塊接著被儲存於儲存用於後續運動補償之參考 畫面之參考畫面記憶體92中。參考畫面記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如圖1之顯示器件31)上。
為進行3D視訊寫碼，紋理景觀分量及其相關聯深度景觀分量可具有類似的物件廓形，且此等不同景觀分量可具有類似的物件邊界及移動。因此，相關聯紋理景觀分量及深度景觀分量之運動場中存在冗餘。本發明之技術可藉由允許深度景觀分量以類似於所謂「合併」模式之方式完全採用紋理景觀分量之運動資訊的模式而在比習知技術更大之範圍上利用此冗餘。在此情況下，深度景觀分量可不包括相對於其運動資訊之任何額外差量值(亦即，可不包括任何運動向量差值)，且改為可採用紋理景觀分量之運動資訊作為其運動資訊。
詳言之，可根據合併紋理景觀之運動資訊以作為深度景觀之運動資訊的新模式來啟用自紋理景觀分量至相關聯深度景觀分量之運動預測。在一些實例中，可僅針對具有深度景觀分量之經框間寫碼MB啟用此所謂IVMP模式。在IVMP模式中，包括紋理景觀分量中之共置MB之mb_type、sub_mb_type、參考索引及運動向量之運動資訊被同一景觀之深度景觀分量重新使用。旗標可在每一MB中用信號發出以指示MB是否使用IVMP模式。如圖5所示，旗標對深度景觀之第四畫面中之經識別MB而言可為真，且紋理景觀之第四畫面(經識別為第四畫面)中之共置MR之運動向量被重新用於深度景觀分量中之醒目提示的 MB。注意，在一些實例中，IVMP模式僅適用於非錨定畫面。術語「錨定畫面」可定義為不同於瞬間解碼再新(IDR)畫面之任何隨機存取點(RAP)。
如上文所提及，相對於基於另一景觀之運動來預測用於一個景觀之運動向量之習知技術，本發明之技術可達成進一步壓縮。舉例而言，一些習知可縮放技術可允許基於基礎景觀之運動資訊對增強景觀之運動預測，且在一些情況下，基礎景觀可為紋理景觀，且增強景觀可為深度景觀。然而，在此等情況下，除指示基礎景觀被用以預測增強景觀之預測資訊(或旗標)之外，運動向量差值(例如，差量)亦始終被寫碼。與之相比，本發明之技術可利用IVMP模式，其中無差量資訊被寫碼或被允許。實情為，對於IVMP模式，採用紋理景觀之運動資訊作為深度景觀之運動資訊。
現將描述用於用信號發出經壓縮視訊資料之各種傳信技術之額外細節。景觀參數集合(VPS)可作為「頻帶內」用信號發出，此意謂參數集合與經寫碼畫面相關聯且在一個頻道或作業階段中一起傳輸。VPS(若存在於為位元串流之時間例項之經寫碼表示的存取單元(AU)中)可能需要在任何VCL NAL單元之前。多個圖框可具有複製之相同VPS以引入容錯性。
在一些實例中，本發明之技術可定址inter_view_flag，且可擴展inter_view_flag之語意。在一個實例中，等於0之inter_view_flag指定當前景觀分量未被當前存取單元中之 具相同或不同空間解析度之任何其他景觀分量用於框間景觀預測。在此實例中，等於1之inter_view_flag可指定當前景觀分量可被當前存取單元中之其他景觀分量用於框間景觀預測。
inter_view_flag之值對景觀分量之所有VCL NAL單元可相同。
在一個實例中，左景觀及右景觀為半解析度，且中心景觀為全解析度。在不對稱3DV規範中，例如，對於右景觀，此旗標可設定為1。然而，若抽選一MVC子位元串流，則此旗標不必為1。
定義被稱作inter_asy_view_flag之旗標：
在一些實例中，等於0之inter_asy_view_flag指定當前景觀分量未被當前存取單元中之具不同空間解析度之任何其他景觀分量用於框間景觀預測。等於1之inter_asy_view_flag指定當前景觀分量可被當前存取單元中之具不同空間解析度之其他景觀分量用於框間景觀預測。
在以上實例中，對於左景觀，NAL單元可具有等於1之 inter_view_flag及等於1之inter_asy_view_flag。對於右景觀，NAL單元可具有等於0之inter_view_flag及等於1之inter_asy_view_flag，且對於中心景觀，所有NAL單元可具有等於0的此等兩個旗標。
本發明可提供對關於由MPEG頒佈之3D視訊寫碼之建議徵求(CfP)的回應。建議係基於具有若干增強及添加之H.264/MVC參考軟體JMVC，其可併有多個景觀之紋理及深度之聯合寫碼。本發明之建議可含有紋理及深度之聯合寫碼、景觀內之自紋理至深度之預測及具有不同解析度之景觀分量之不對稱寫碼。在建議中，MPEG景觀合成軟體可用於無任何修改之景觀產生。
與JMVC 8.3.1錨點相比，對於兩景觀情況，當位元速率為兩個景觀之紋理及深度兩者之總位元速率且峰值信號對雜訊比(PSNR)值為兩個經解碼紋理景觀之平均PSNR值時，本發明之建議可達成高達22.6%(平均11.7%)之速率減小，且對於三景觀情況，可達成高達15.8%(平均7.3%)之速率減小。
對於兩景觀情況，若使用綜合景觀之總位元速率對PSNR值，則BD速率減小高達24.7%(且平均13.9%)，且對於三景觀情況，若使用兩個綜合景觀之總位元速率對平均PSNR值，則BD速率減小高達19.0%(且平均15.0%)。
本發明可提供下列各者：˙與H.264/AVC高規範及H.264/MVC立體高規範兩者且可能多景觀高規範之相容性； ˙多景觀序列之紋理及深度之聯合寫碼；˙用於每一景觀之紋理景觀分量及深度景觀分量之對稱空間解析度及時間解析度；˙用於不同景觀之不對稱空間解析度。
H.264/MVC編解碼器之上的額外編解碼器修改亦可包括：˙用以支援紋理景觀分量及深度景觀分量之聯合寫碼之高層級語法；˙紋理景觀分量與深度景觀分量之間的運動向量預測及採用來自相關聯紋理景觀運動之深度景觀運動的模式。
本發明亦描述其他工具，諸如允許具有不同解析度之景觀分量之間的預測及自紋理景觀分量至對應深度景觀分量之片段標頭之預測的工具。紋理景觀分量及深度景觀分量可形成為存取單元中的一個景觀之經寫碼畫面之景觀分量。因此，諸技術可允許對與紋理景觀有關之深度景觀採用根據所描述IVMP模式之運動資訊或運動資訊之預測(其包括差量)。兩種工具皆可允許寫碼靈活性，但最佳壓縮可藉由將工具限於某一範圍來達成。舉例而言，本文中所描述之IVMP模式可限於非錨定畫面。
貫穿本文件，AVC參考H.264/AVC高規範。若任何其他H.264/AVC規範或修正正在被參考，則修正或規範名稱將予以明確指定。舉例而言，H.264/MVC或MVC指代H264/AVC之多景觀擴展。然而，H.264/AVC之任何修正或規範屬於AVC家族，因此所提議編解碼器在其與MVC立 體高規範相容之情況下亦可與AVC立體高規範相容。
現將提供編解碼器描述。在此部分中，自兩個方面(高層級架構及低層級寫碼技術)來描述所提議之3DVC編解碼器。若需要定義可具有對應於潛在不同應用之兩景觀組態及三景觀組態之3DV格式，則三景觀情況下之技術可形成兩景觀情況下之技術之超集合。因此，在此部分中，首先說明可適用於兩個情況之高層級架構，隨後描述可適用於三景觀情況的兩景觀情況中之技術之編解碼器描述，且接著描述僅在三景觀情況下使用之技術。
高層級架構可使用以下定義：景觀分量：景觀在單一存取單元中之經寫碼表示。當景觀包括經寫碼之紋理表示及深度表示兩者時，景觀分量由紋理景觀分量及深度景觀分量組成。
紋理景觀分量：景觀之紋理在單一存取單元中之經寫碼表示。
深度景觀分量：景觀之深度在單一存取單元中之經寫碼表示。
深度景觀分量中之經寫碼VCL NAL單元可經指派有nal_unit_type 21，作為專門用於深度景觀分量之經寫碼片段擴展之新類型。
現將描述位元串流次序。在每一景觀分量中，深度景觀分量之任何經寫碼片段NAL單元(具有nal_unit_type 21)可能需要跟在紋理景觀分量之所有經寫碼片段NAL單元之後。為簡單起見，本發明將深度景觀分量之經寫碼片段 NAL單元命名為深度NAL單元。
深度NAL單元具有與具有等於20之nal_unit_type之NAL單元相同之NAL單元標頭結構。圖4展示一個存取單元內之景觀分量之VCL NAL單元的例示性位元串流次序。
如圖4所示，在一個例示性3D視訊編解碼器中，一存取單元含有多個景觀分量，該多個景觀分量中之每一者由一個紋理景觀分量及一個深度景觀分量組成。基礎景觀(具有等於0之景觀次序索引(VOIdx))之紋理景觀分量含有一個首碼NAL單元(具有等於14之NAL單元類型)及一或多個AVC VCL NAL單元(具有等於例如1或5之NAL單元類型)。其他景觀中之紋理景觀分量僅含有MVC VCL NAL單元(具有等於20之NAL單元類型)。在基礎景觀及非基礎景觀兩者中，深度景觀分量皆含有具有等於21之NAL單元類型之深度NAL單元。在任何景觀分量中，深度NAL單元按解碼/位元串流次序跟在紋理景觀分量之NAL單元之後。
在兩景觀情況下，本發明可將半解析度編碼用於左景觀及右景觀。所提議編解碼器之特性可包括：˙半水平或半垂直空間解析度；˙每一景觀之紋理景觀分量及深度景觀分量之相同解析度；˙與AVC高規範相容之半解析度基礎景觀(僅紋理)；˙與AVC立體高規範相容之半解析度立體景觀(僅紋理)；˙自基礎景觀之深度景觀分量至非基礎景觀之深度景觀 分量之景觀間預測；˙景觀分量內之紋理至深度預測。
半空間解析度MVC在下文被引用且在下表1中提及。所有序列可用半空間解析度來寫碼。與H.264/AVC圖框相容寫碼相比，半空間解析度MVC更有效，且其更便於滿足以下要求：
˙正向相容性：此兩景觀3DVC位元串流含有進一步含有AVC子位元串流之MVC子位元串流。因此，所提議編解碼器滿足此要求，尤其是：「符合此模式之所有經壓縮位元串流應使現有AVC解碼器能夠重建來自位元串流之單景觀及立體景觀之樣本。」
˙立體/單相容性：VCL NAL單元可簡單地藉由檢查NAL單元類型來抽選以得到MVC或AVC子位元串流。因此，所提議編解碼器滿足此要求，尤其是：「經壓縮資料格式應包括實現用於立體及單輸出的位元串流之簡單抽選之模式，且支援來自立體視訊之左景觀及右景觀之樣本的高保真度重建。」
半空間解析度序列可藉由用於紋理序列及深度序列兩者之MPEG 13抽頭降頻取樣濾波器([2、0、-4、-3、5、19、26、19、5、-3、-4、0、2]/64)獲得。為了達成較佳品質，可以水平方式或垂直方式應用降頻取樣。對於具有主要水平高頻分量之序列，可使用半垂直解析度。在一些實例中，僅一個序列被視為屬於此類別：“Poznan_Hall2”。其他序列被視為具有主要垂直高頻分量，且水平降頻取樣 經應用以獲得半水平解析度序列。
可使用紋理及深度之對稱解析度。深度景觀分量可經寫碼為具有與同一景觀之紋理景觀分量相同之解析度的8位元單序列(mono sequence)。在此設定中，可在無縮放之情況下執行自紋理景觀分量至深度景觀分量(例如，巨集區塊(MB)中之像素或運動向量)之預測。
可支援深度景觀分量之景觀間預測。深度景觀分量可藉由同一存取單元中之其他深度景觀分量來預測，其方式與MVC中之景觀間預測相同。深度景觀分量參考子集序列參數集合(SPS)，其具有在SPS MVC擴展中用信號發出之景觀相依性。
通常，深度景觀分量之預測相依性與紋理景觀分量共用相同景觀相依性，如圖6所示。亦注意，若干序列不能自深度景觀之間的景觀間預測獲益。因此，對於此等情況可簡單地停用用於深度景觀之景觀間預測。圖6展示3DVC編解碼器之預測結構。深度景觀分量(以交叉影線展示)具有與紋理景觀分量(展示為無陰影)相同之預測結構。
因此，旗標(disable_depth_inter_view_flag)可在SPS中用信號發出以停用或啟用用於深度景觀之景觀間預測。將在下文較詳細地描述用於兩景觀情況及三景觀情況之更詳細SPS設計。對於可自景觀間預測獲益之深度圖序列，深度景觀分量具有與紋理景觀分量相同之框間預測及景觀間預測結構，如圖6所示。
圖7展示不允許將景觀間預測用於深度景觀分量之3DVC 編解碼器之預測結構。圖7中所說明之不具有陰影之分量指示紋理景觀，且交叉影線陰影指示深度景觀。如圖7所示，景觀間預測可針對紋理景觀分量啟用，但針對深度景觀分量完全停用。在此情況下，深度景觀分量可具有不同於對應紋理景觀分量之片段類型。
現將描述自紋理至深度之運動預測。由於紋理景觀分量及其相關聯深度景觀分量具有類似的物件廓形，故紋理景觀分量及其相關聯深度景觀分量具有類似的物體邊界及移動，因而紋理景觀分量及其相關聯深度景觀分量之運動場中存在冗餘。
根據本發明，自紋理景觀分量至相關聯深度景觀分量之運動預測可在所提議編解碼器中作為新模式實現。在一些實例中，僅針對深度景觀分量中之經框間寫碼MB啟用內側景觀運動預測(IVMP)模式。在IVMP模式中，包括紋理景觀分量中之共置MB之mb_type、sub_mb_type、參考索引及運動向量之運動資訊被同一景觀之深度景觀分量重新使用。旗標可在每一MB中用信號發出以指示MB是否使用IVMP模式。根據圖5，旗標對深度景觀之第四畫面而言可為真，且紋理景觀之第四畫面(標記為第四畫面)中之共置MB之運動向量被重新用於深度景觀分量中之MB。在一些實例中，IVMP模式僅適用於非錨定畫面。
現將描述片段標頭預測。對於每一景觀分量，深度景觀分量及紋理景觀分量之片段標頭之間可存在冗餘。因此，若給定紋理景觀分量之片段標頭，同一存取單元之同一景 觀內的深度景觀分量之片段標頭資訊之大部分已經決定。
根據本發明，深度景觀分量共用對應紋理景觀分量之片段標頭語法元素之大部分。不同之語法元素可包括pic_parameter_set_id、slice_qp_delta，及與參考畫面清單建構有關的潛在語法元素(包括num_ref_idx_10_active_minus1、num_ref_idx_11_active_minus1及參考畫面清單修改語法表)。
深度景觀分量之片段標頭可在片段標頭深度擴展中用信號發出。注意，pred_slice_header_depth_idc可在序列參數集合中用信號發出。在一些實例中，編碼器可將pred_slice_header_depth_idc始終設定為1。
例示性片段標頭深度擴展可遵照下表1之實例。
現將描述三景觀情況。本發明之技術可將半解析度編碼用於左景觀及右景觀兩者，且將全解析度用於中心景觀。對於三景觀情況中之編解碼器，亦可支援2景觀情況中所啟用之寫碼方法。對於三景觀情況下，編解碼器可含有以下特性：
˙不同景觀中之不對稱空間解析度；
˙自低解析度景觀至高解析度景觀之景觀間預測；
˙含有低解析度景觀之紋理景觀分量之子位元串流與H.264/MVC立體高規範相容。
˙高解析度景觀之景觀間預測相依性之傳信。
現將描述不對稱3DVC編解碼器中之景觀間預測。在紋理景觀分量之間及在深度景觀分量之間，可啟用自經重建低解析度景觀至高解析度景觀之預測。
更具體言之，在三景觀情況下，左景觀及右景觀可用半解析度寫碼，且中心景觀可用全解析度寫碼。當自半解析度景觀分量至全解析度(紋理或深度)景觀分量之景觀間預測發生時，用AVC 6抽頭濾波器[1、-5、20、20、-5、1]/32對半解析度景觀分量之經解碼畫面(若將被用於景觀間預測)進行升頻取樣。在此情況下，低解析度畫面(輸出所需)以及升頻取樣畫面兩者可能需要暫時共存於緩衝器中。來自左景觀及右景觀之升頻取樣畫面可接著被置入同一存取單元中的中心景觀之景觀分量的參考畫面清單中。
在圖8中展示不對稱景觀間預測，其中左景觀(VL)及右景觀(VR)均具有半寬度。由於景觀相依性允許左景觀及右 景觀被用作為中心景觀(VC)之景觀間參考，故左景觀及右景觀均經升頻取樣為中間畫面。
為簡單起見，將MVC相容(若僅考慮紋理)之低解析度景觀稱作MVC景觀，而不管「MVC景觀」是指代僅紋理部分抑或紋理部分及深度部分兩者。將具有全解析度之其他景觀稱為額外景觀。因此，在三景觀情況下，其為兩個MVC景觀及一個額外景觀。每一MVC景觀以為額外景觀之解析度之一半的相同解析度含有紋理及深度。
現將描述序列參數集合設計。在本發明之一些態樣中，可引入新SPS擴展。若seq_parameter_set_data( )中指示之規範與3DV有關，則將新SPS擴展添加至子集SPS中。根據本發明，對於兩個不同情況，考慮兩個潛在規範，「3DV規範」及「不對稱3DV規範」。換言之，3DV規範適用於兩景觀情況，且不對稱3DV規範適用於三景觀情況。
在MVC中，新序列層級參數集合(亦即，SPS MVC擴展)可被引入且在子集SPS中用信號發出。由於MVC被視為基礎規格，故在新添加之規範中之任一者中，子集SPS被進一步擴展以用信號發出序列參數集合3DVC擴展(在SPS MVC擴展之上)。
在一個所提議編解碼器中，新SPS擴展(即序列參數集合3DVC擴展)含有語法以進一步用信號發出用於不對稱3DV規範之高解析度景觀的景觀間相依性，以及用於深度景觀分量之景觀間相依性(其可適用於3DV規範及不對稱3DV規範兩者)。
在3DV相關應用中，其他語法元素(例如，與攝影機參數及深度範圍及/或深度量化有關的語法元素)亦可在SPS中用信號發出。然而，在一個所提議編解碼器中，此資訊可被視為變數，且因此未在經寫碼位元串流中傳輸。
表2展示子集序列參數集合原始位元組序列有效負載(RBSP)語法之實例。
表3展示序列參數集合3DVC擴展語法之實例。
在一個所提議3DVC編解碼器中，攝影機參數以及深度範圍可不包括於位元串流中，因為該兩者對經解碼景觀無基準影響。然而，該兩者可對景觀合成有幫助，且為(例如)使用景觀合成作為特定模式之潛在寫碼工具。若攝影機參數或深度範圍係特定寫碼工具所需要的，則若此資訊可逐圖框地改變，該兩者可在諸如SPS、畫面參數集合(PPS)或甚至新類型之參數集合(即景觀參數集合(VPS))的參數集合內以基準且強制之方式傳輸。若攝影機參數及深 度範圍並非任何所傳輸紋理或深度之解碼所必需的，則該兩者可在SEI訊息(序列層級或畫面層級)中用信號發出。
此部分給出對以上資訊可在位元串流中用信號發出之方式的認識。攝影機參數及深度範圍之傳信可以軟體實施，但不能用於位元串流之產生。
表4展示SPS 3DVC擴展中之攝影機參數及深度範圍之實例。
在攝影機參數語法表中，浮點值V可用其精度P(其為小數點之前或之後的數位之數目)及整數值I表示，以使得：V=I ＊ 10 P 。V之正負號可與I之正負號相同。此所提議表示法對於攝影機參數及深度範圍足夠準確，且剖析及建構浮點值可相對較容易。
給定如CfP中所說明的「源視訊資料應被修正以避免攝影機之幾何形狀及色彩之不對準」之要求，在本發明中，可假設：除水平轉譯外，多個景觀共用相同固有參數及大部分非固有參數。
表5及其後之段落展示例示性攝影機參數語法及語意。
在表5中，cam_param_present_flag等於1可指示攝影機參數係在SPS中用信號發出。cam_param_present_flag等於0可指示攝影機參數並未在SPS中用信號發出。
在表5中，focal_length_precision指定為所有攝影機之x座標焦距及y座標焦距的focal_length_x及focal_length_y之值之精度。
在表5中，focal_length_x_I指定focal_length_x之值之整數部分。
focal_length_x=focal_length_x_I ＊ 10 focal_length_precision
在表5中，focal_length_y_I_diff_x加上focal_length_x_I指定focal_length_y之值之整數部分。
focal_length_y=(focal_length_x_I+focal_length_y_I_diff_x) ＊ 10 focal_length_precision
在表5中，principal_precision指定為所有攝影機之x座標主點及y座標主點的principal_point_x及principal_point_y之值之精度。
在表5中，principal_point_x_I指定principal_point_x之值之整數部分。
principal_point_x=principal_point_x_I ＊ 10 principal_precision
在表5中，principal_point_y_I_diff_x加上principal_point_x指定principal_point_y之值之整數部分。
principal_point_y=(principal_point_x_I+principal_point_y_I_diff_x) ＊ 10 principal_precision
用於每一攝影機之旋轉矩陣R可表示如下：
在表5中，rotation_kl_half_pi指示旋轉矩陣R之對角線元素，其中kl等於xy、yz或xz，其中R kl =(-1) rotation_kl_half_pi 。等於0之此旗標指示R kl=1；等於1之此旗標指示R kl =-1。
在表5中，translation_precision指定所有景觀之轉譯值之精度。轉譯值之精度適用於參考此SPS之景觀之所有轉譯值。
在表5中，numViewsMinus1經導出為num_views_minus1+num_add_views_minus1+1。
在表5中，anchor_view_id指定景觀之view_id，將景觀之轉譯用作錨點以計算其他景觀之轉譯。
在表5中，zero_translation_present_flag等於1指示：具有等於anchor_view_id之view_id的景觀之轉譯為0；此值等於0指示：具有等於anchor_view_id之view_id的景觀之轉譯用信號發出。
在表5中，translation_anchor_view_I指定錨定景觀之轉譯之整數部分。將錨定景觀之轉譯指定為translation_anchor_view。Translation_anchor_view在zero_translation_present_flag等於0時等於0，否則如下所述地計算轉譯。
在表5中，translation_anchor_view=translation_anchor_view_I ＊ 10 translation_precision
在表5中，translation_diff_anchor_view_I[i]加上translation_anchor_view_I指定具有等於view_id[i]之view_id之景觀之轉譯的整數部分，指定為translation_view_I[i]。
將具有等於view_id[i]之view_id之景觀之轉譯指定為translation_view[i]。
translation_view[i]=(translation_diff_anchor_view_I[i]+translation_anchor_view_I)＊ 10 translation_precision
表6及其後之段落展示例示性深度範圍語法及語意。
在表6中，depth_range_present_flag等於1指示：所有景觀之深度範圍係在此SPS中用信號發出，depth_range_present_flag等於0指示：深度範圍未在此SPS中用信號發出。
在表6中，z_near_precision指定z_near值之精度。如此SPS中所指定的z_near之精度適用於參考此SPS之景觀之所有z_near值。
在表6中，z_far_precision指定z_far值之精度。如此SPS中所指定的z_far之精度適用於參考此SPS之景觀之所有z_far值。
在表6中，different_depth_range_flag等於0指示：所有景觀之深度範係相同的，且在z_near及z_far之範圍中(包括 z_near及z_far)。different_depth_range_flag等於1指示：所有景觀之深度範圍可能不同：z_near及z_far為錨定景觀之深度範圍，且z_near[i]及z_far[i]將在此SPS中被進一步指定為具有等於view_id[i]之view_id的景觀之深度範圍。
在表6中，z_near_integer指定z_near之值之整數部分。
z_near=z_near_integer ＊ 10 z_near_precision
在表6中，z_far_integer指定z_far之值之整數部分。
z_far=z_far_integer ＊ 10 z_far_precision
在表6中，z_near_diff_anchor_view_I加上z_near_integer指定具有等於view_id[i]之view_id的景觀之最近深度值的整數部分，指定為z_near_I[i]。
將具有等於view_id[i]之view_id的景觀之z_near指定為z_near[i]。
z_near[i]=(z_near_diff_anchor_view_I[i]+z_near_integer)＊ 10 z_near_precision
在表6中，z_far_diff_anchor_view_I加上z_far_integer指定具有等於view_id[i]之view_id的景觀之最遠深度值的整數部分，指定為z_far_I[i]。
z_far[i]=(z_far_diff_anchor_view_I[i]+z_far_integer)＊ 10 z_far_precision
表7展示例示性景觀參數集合RBSP語法。
含有此景觀參數集合RBSP之NAL單元可被指派一新NAL單元類型，例如，16。
表8及其後之段落展示例示性景觀參數集合語法及語意。
深度範圍及攝影機之轉譯可基於畫面而變化。經更新之深度範圍或攝影機參數可適用於當前存取單元之景觀分量及位元串流中之隨後景觀分量，直至當前VPS之後的新VPS更新相關景觀之彼等值為止。
為簡單起見，並未給出語法元素之語意。對於每一景觀之轉譯或深度範圍，新值與在SPS中用信號發出之值(具有等於seq_para_set_id之識別符)之間的差的整數部分可在此SPS中用信號發出。轉譯及深度範圍之經更新值可如下所述地計算：translation_view[i]=(translation_view_integer[i]+translation_update_view_I[i])＊ 10 translation_precision
z_near[i]=(z_near_integer[i]+z_near_update_view_I[i])＊ 10 z_near_precision
z_far[i]=(z_far_integer[i]+z_far_update_view_I[i])＊ 10 z_far_precision 其中translation_view_integer[i]、z_near_integer[i]及 z_far_integer[i]為基於SPS中之傳信而計算的trauslation_view[i]、z_near[i]及z_far[i]之值的整數部分。
本發明之技術中之一或多者可用以提供壓縮及/或品質方面的寫碼改良。編碼時間及複雜性亦可使用本發明之技術中之一或多者來改良。解碼時間及複雜性亦可得到改良。另外，編碼器及解碼器處之記憶體使用之量可相對於其他技術得到改良或減小。
在一些實例中，編碼器及解碼器兩者可具有與JMVC編碼器及解碼器相同位準之記憶體消耗。因此，記憶體使用可被認為與(例如)存取單元中之景觀分量之數目成比例。若深度景觀分量始終儲存為4：0：0，則對於相同數目個景觀，所提議解決方案可消耗由JMVC用於編碼器或解碼器之記憶體的約5/3(約67%增加)。注意，為了簡化操作(例如，查看深度圖，且將該等圖用於景觀合成)，編碼器及解碼器仍可以4：2：0色度取樣格式選取及輸出深度檔案。
現將描述解碼器之複雜性特性。在一些實例中，符合本發明之技術的編碼器及解碼器兩者可具有與JMVC編碼器及解碼器相同位準之複雜性。與JMVC相比時，符合本發明之編解碼器之計算複雜性可與景觀之數目及每一景觀之空間解析度有關。換言之，符合本發明之編碼器可能需要與JMVC編解碼器相同之計算量，只要其均選取具有相同數目個像素之相同視訊即可。
在解碼器側，基準畫面層級升頻取樣可為不對稱3DV規範所需的。然而，此解碼程序可被視為複雜度小於用於高 解析度景觀分量之解碼的其他解碼程序，因此，複雜性特性仍可(例如)由每秒有多少個MB待處理來指示。
符合本文中所描述之技術之編碼器可遵守當前JMVC編碼器方案，其中景觀經逐個編碼。在每一景觀內，首先編碼紋理序列，且接著編碼深度序列。
當啟用IVMP模式時，在紋理景觀分量編碼期間，每一紋理景觀分量之運動場被寫入至運動檔案中，運動檔案之名稱可在組態檔案中指定。當編碼同一景觀之相關聯深度序列時，讀取運動檔案以供參考。
編碼器可使用與具有以下額外項目之JMVC相同之組態。
MotionFile
字串，預設值：「運動」
指定待產生之運動序列之檔案名稱(不具有.dat)。此序列係為IVMP模式而提供。將由編碼器自動地產生motion_0.dat、motion_1.dat等。
HalfSizeDimension
無符號整數，預設值：0
指示是否使用不對稱空間解析度，且若使用不對稱空間解析度，則為子取樣維度。支援以下值：
0-所有景觀係用相同空間解析度編碼。
1-使用不對稱空間解析度，且半解析度景觀具有其他景觀之一半寬度。
2-使用不對稱空間解析度，且半解析度景觀具有其 他景觀之一半高度。
BasisQP_texture
雙精準數，預設值：26
指定具有半空間解析度之紋理景觀分量之基本量化參數。
BasisQP_depth
雙精準數，預設值：26
指定具有半空間解析度之深度景觀分量之基本量化參數。
BasisQP_texture_delta
無符號整數，預設值：0
與具有半空間解析度之紋理景觀分量之基本量化參數相比，指定用於具有全空間解析度之紋理景觀分量之基本量化參數之基本量化參數偏移。具有全空間解析度之紋理景觀分量之基本量化參數係藉由BasisQP_texture(full spatial resolution)=BasisQP_texture+BasisQP_texture_delta計算。
BasisQP_depth_delta
無符號整數，預設值：0
與具有半空間解析度之深度景觀分量之基本量化參數相比，指定用於具有全空間解析度之深度景觀分量之基本量化參數之基本量化參數偏移。具有全空間解析度之深度景觀分量之基本量化參數係藉由BasisQP_depth(full spatial resolution)=BasisQP_depth+BasisQP_depth_delta 計算。
NoDepthInterViewFlag
旗標(0或1)，預設值：0
指定景觀間預測是否能夠用於任何深度景觀分量。當NoDepthInterViewFlag等於0時，啟用景觀間預測。當NoDepthInterViewFlag等於1時，停用景觀間預測。
HalfRes
旗標(0或1)，預設值：0
此值與作為在景觀相依性部分中用信號發出之每一參考景觀之性質之部分的View_ID值相關聯。
指定由View_ID識別之景觀是否為半空間解析度。當HalfRes等於0時，景觀為全空間解析度景觀。當HalfRes等於1時，景觀為半空間解析度景觀。
編碼器可用於產生位元串流。在以下實例中說明例示性編碼器呼叫。
此處，mcfg表示組態檔案之檔案名稱。可針對每一編碼器呼叫指定組態檔案。元素view_id表示待編碼之景觀。元素component_idx指示：待編碼之當前序列為特定景觀之紋理(當component_idx等於1時)抑或深度(當component_idx等於0時)。編碼器可針對待編碼之每一景觀之每一景觀分量而執行。
解碼器亦可類似於JMVC解碼器，主要修改為解碼且亦 輸出每一景觀之深度序列。在不對稱3DV規範中，需要升頻取樣以將MVC景觀(左或右)轉換成高解析度以用於額外景觀(中心)之預測。
編譯器可具有極微小修改以廢棄複製之參數集合NAL單元，複雜性與JMVC編譯器相同。
關於景觀合成器，可能不需要相對於JMVC之修改。
已描述基於H.264/MVC之3DVC編解碼器之若干特徵，該編解碼器可滿足建議之所有「應有(shall)」要求，且可以相對較小量之額外寫碼方法提供良好寫碼效能。該等方法包括用於紋理及深度之聯合寫碼之高層級架構、景觀分量內之自紋理至深度之預測，及具有不對稱空間解析度之紋理或深度景觀分量之間的景觀間預測。
基於MVC之3DV編解碼器可針對短期市場需求而標準化，且本發明之所提議特徵可為此3DV編解碼器之參考軟體及工作草案(working draft)之基礎。
圖9為說明可由符合本發明之視訊編碼器執行之技術之流程圖。將自圖2之視訊編碼器20之角度描述圖9，但亦可使用其他視訊編碼器。如圖9所示，預測模組41接收3D視訊(例如，表示3D再現之視訊區塊)(901)。3D視訊包括一紋理景觀視訊區塊及一相關聯深度景觀視訊區塊(901)。預測模組41編碼紋理景觀視訊區塊(902)。另外，預測模組41編碼深度景觀視訊區塊(903)。
根據本發明，預測模組41支援IVMP模式。詳言之，預測模組41產生一語法元素以指示深度景觀之運動資訊是否 係採用自紋理景觀(903)。以此方式，若IMVP模式被啟用，則深度景觀分量可不包括相對於其運動資訊之任何額外差量值，且可改為採用紋理景觀分量之運動資訊作為深度景觀分量之運動資訊。詳言之，對於IMVP模式，深度景觀分量可不包括任何運動向量差值，但可完全採用對應紋理景觀分量之運動向量。藉由定義完全採用紋理景觀之運動資訊作為深度景觀之運動資訊的模式，由於無相對於此運動資訊之運動向量差量值之任何傳信，故可達成改良之壓縮。
紋理景觀視訊區塊及深度景觀視訊區塊可在網路抽象層(NAL)單元中一起寫碼，且語法元素可包含NAL單元中之旗標以指示與紋理景觀視訊區塊相關聯之運動資訊是否被採用為與深度景觀視訊區塊相關聯之運動資訊。在此情況下，若語法元素指示與紋理景觀視訊區塊相關聯之運動資訊被採用為與深度景觀視訊區塊相關聯之運動資訊，則深度景觀視訊區塊不包括相對於與深度景觀視訊區塊相關聯之運動資訊之任何額外差量。NAL單元為用於寫碼視訊資料的一種特定類型之存取單元，且該等技術亦可用於其他類型之視訊單元。
更具體言之，語法元素可包含指示IVMP模式是否被啟用的一或多個位元。若IVMP模式被停用，則與紋理景觀視訊區塊相關聯之運動資訊包括於NAL單元中，且與深度景觀視訊區塊相關聯之運動資訊單獨地包括於NAL單元中。或者，若IVMP模式被啟用，則與紋理景觀視訊區塊 相關聯之運動資訊包括於NAL單元中，且與紋理景觀視訊區塊相關聯之運動資訊被採用為與深度景觀視訊區塊相關聯之運動資訊。因此，若IVMP模式被啟用，則深度景觀視訊區塊不包括相對於與深度景觀視訊區塊相關聯之運動資訊之任何額外差量。在一些實例中，IVMP模式僅適用於非錨定畫面，而不適用於錨定畫面。
圖10為說明可由符合本發明之視訊解碼器執行之技術之流程圖。將自圖3之視訊解碼器30之角度描述圖10，但亦可使用其他視訊解碼器。如圖10所示，預測模組81接收3D視訊(例如，表示3D視訊資料之視訊區塊)(1001)。3D視訊包括一紋理景觀視訊區塊及一相關聯深度景觀視訊區塊(1001)。預測模組41解碼紋理景觀視訊區塊(1002)。另外，預測模組41解碼深度景觀視訊區塊(1003)。
根據本發明，預測模組81支援IVMP模式。詳言之，預測模組81解碼一語法元素以指示深度景觀之運動資訊是否係採用自紋理景觀(1003)。語法元素可由解碼器解譯為指示深度景觀之運動資訊是否係採用自紋理景觀。若IMVP模式被啟用，則深度景觀分量可不包括相對於其運動資訊之任何額外差量值，且可改為採用紋理景觀分量之運動資訊作為深度景觀分量之運動資訊。再次，藉由定義完全採用紋理景觀之運動資訊作為深度景觀之運動資訊的模式，由於無相對於此運動資訊之差量值之任何傳信，故可達成改良之壓縮。
在一或多個實例中，所描述功能可以硬體、軟體、韌體 或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他傳輸媒體，而是針對非暫時性有形儲存媒 體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合式或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼的專用硬體及/或軟體模組內或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以廣泛多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必需要藉由不同硬體單元予以實現。相反地，如上所述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上所述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。
在其他實例中，本發明可係針對上面儲存資料結構之電腦可讀儲存媒體。資料結構可包括以本文中所描述之方式 壓縮(諸如，藉由使用IVMP模式相對於紋理景觀寫碼深度景觀)的3D視訊資料。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧顯示器件
32‧‧‧儲存器件
35‧‧‧分割單元
41‧‧‧預測模組
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測模組
50‧‧‧求和器
52‧‧‧變換模組
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換模組
62‧‧‧求和器
64‧‧‧參考畫面記憶體
80‧‧‧熵解碼單元
81‧‧‧預測模組
82‧‧‧運動補償單元
84‧‧‧框內預測模組
86‧‧‧反量化單元
88‧‧‧反變換單元
90‧‧‧求和器
92‧‧‧參考畫面記憶體
DVC‧‧‧深度景觀分量
TVC‧‧‧紋理景觀分量
VL‧‧‧左景觀
VR‧‧‧右景觀
VC‧‧‧中心景觀
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖4為說明一個存取單元內之景觀分量之視訊寫碼層(VCL)網路抽象層(NAL)單元之位元串流次序之概念圖。
圖5為形成視訊序列之畫面序列之概念說明，其中深度景觀之第四畫面中之經識別巨集區塊及紋理景觀之第四畫面中之共置的MB之運動向量將在深度景觀分量中重新使用。
圖6為展示可由三維視訊寫碼(3DVC)編解碼器使用的預測結構之概念圖。
圖7為展示不允許將景觀間預測用於深度景觀分量之3DVC編解碼器之預測結構的概念圖。
圖8為說明不對稱景觀間預測之實例之概念圖，其中左景觀(VL)及右景觀(VR)均具有半寬度。
圖9為說明可由符合本發明之視訊編碼器執行的技術之 流程圖。
圖10為說明可由符合本發明之視訊解碼器執行的技術之流程圖。

Claims (34)

  1. 一種用於寫碼三維(3D)視訊資料之方法，其包含：寫碼一紋理景觀視訊區塊；及寫碼一深度景觀視訊區塊，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯，其中寫碼該深度景觀視訊區塊包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。
  2. 如請求項1之方法，其中該紋理景觀視訊區塊及該深度景觀視訊區塊係在一存取單元中一起寫碼，且該語法元素包含在一視訊區塊層級定義之一旗標以指示與紋理景觀視訊區塊相關聯之該運動資訊是否被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  3. 如請求項2之方法，其中若該語法元素指示與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與深度景觀視訊區塊相關聯之該運動資訊，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊的任何差量。
  4. 如請求項2之方法，其中該語法元素定義一內側景觀運動預測(IVMP)模式是否被啟用。
  5. 如請求項4之方法，其中：若該IVMP模式被停用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該深度景觀視訊區塊相關聯之該運動資訊係分開地包括於該存取 單元中；且若該IVMP模式被啟用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  6. 如請求項5之方法，其中若該IVMP模式被啟用，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊之任何差量。
  7. 如請求項1之方法，其中寫碼包含編碼，且其中寫碼該語法元素包含產生該語法元素。
  8. 如請求項1之方法，其中寫碼包含解碼，其中寫碼該語法元素包含解碼來自一經編碼位元串流之該語法元素，且其中該語法元素係包括於該經編碼位元串流中。
  9. 一種寫碼三維(3D)視訊資料之器件，其中該器件包含經組態以進行以下操作之一或多個處理器：寫碼一紋理景觀視訊區塊；及寫碼一深度景觀視訊區塊，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯，其中寫碼該深度景觀視訊區塊包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。
  10. 如請求項9之器件，其中該紋理景觀視訊區塊及該深度景觀視訊區塊係在一存取單元中一起寫碼，且該語法元素包含在一視訊區塊層級定義之一旗標以指示與紋理景 觀視訊區塊相關聯之該運動資訊是否被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  11. 如請求項10之器件，其中若該語法元素指示與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與深度景觀視訊區塊相關聯之該運動資訊，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊的任何差量。
  12. 如請求項10之器件，其中該語法元素定義一內側景觀運動預測(IVMP)模式是否被啟用。
  13. 如請求項12之器件，其中：若該IVMP模式被停用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該深度景觀視訊區塊相關聯之該運動資訊係分開地包括於該存取單元中；且若該IVMP模式被啟用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  14. 如請求項13之器件，其中若該IVMP模式被啟用，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊之任何差量。
  15. 如請求項9之器件，其中寫碼包含編碼，且其中寫碼該語法元素包含產生該語法元素。
  16. 如請求項9之器件，其中寫碼包含解碼，其中寫碼該語 法元素包含解碼來自一經編碼位元串流之該語法元素，且其中該語法元素係包括於該經編碼位元串流中。
  17. 如請求項9之器件，其中該器件包含一無線手機。
  18. 如請求項9之器件，其中該器件包含下列各者中之一或多者：一數位電視，數位直播系統中之一器件，無線廣播系統中之一器件，一個人數位助理(PDA)，一膝上型電腦；一桌上型電腦；一平板電腦，一電子書閱讀器，一數位相機，一數位記錄器件，一數位媒體播放器，一視訊遊戲器件，一視訊遊戲控制台，一蜂巢式無線電電話，一衛星無線電電話，一智慧電話，一視訊電傳會議器件，及一視訊串流傳輸器件。
  19. 一種包含儲存於上之指令之電腦可讀儲存媒體，其中該 等指令在執行時使一或多個處理器進行以下操作：寫碼一紋理景觀視訊區塊；及寫碼一深度景觀視訊區塊，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯，其中寫碼該深度景觀視訊區塊包括寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊。
  20. 如請求項19之電腦可讀儲存媒體，其中該紋理景觀視訊區塊及該深度景觀視訊區塊係在一存取單元中一起寫碼，且該語法元素包含在一視訊區塊層級定義之一旗標以指示與該紋理景觀視訊區塊相關聯之該運動資訊是否被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  21. 如請求項20之電腦可讀儲存媒體，其中若該語法元素指示與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與該深度景觀視訊區塊相關聯之該運動資訊，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊的任何差量。
  22. 如請求項20之電腦可讀儲存媒體，其中該語法元素定義一內側景觀運動預測(IVMP)模式是否被啟用。
  23. 如請求項22之電腦可讀儲存媒體，其中：若該IVMP模式被停用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該深度景觀視訊區塊相關聯之該運動資訊係分開地包括於該存取單元中；且 若該IVMP模式被啟用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  24. 如請求項23之電腦可讀儲存媒體，其中若該IVMP模式被啟用，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊之任何差量。
  25. 如請求項19之電腦可讀儲存媒體，其中寫碼包含編碼，且其中寫碼該語法元素包含產生該語法元素。
  26. 如請求項19之電腦可讀儲存媒體，其中寫碼包含解碼，其中寫碼該語法元素包含解碼來自一經編碼位元串流之該語法元素，且其中該語法元素係包括於該經編碼位元串流中。
  27. 一種經組態以寫碼三維(3D)視訊資料之器件，該器件包含：用於寫碼一紋理景觀視訊區塊之構件；及用於寫碼一深度景觀視訊區塊之構件，其中該深度景觀視訊區塊與該紋理景觀視訊區塊相關聯，其中該用於寫碼該深度景觀視訊區塊之構件包括用於寫碼一語法元素以指示與該紋理景觀視訊區塊相關聯之運動資訊是否被採用為與該深度景觀視訊區塊相關聯之運動資訊之構件。
  28. 如請求項27之器件，其中該紋理景觀視訊區塊及該深度景觀視訊區塊係在一存取單元中一起寫碼，且該語法元 素包含在一視訊區塊層級定義之一旗標以指示與該紋理景觀視訊區塊相關聯之該運動資訊是否被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  29. 如請求項28之器件，其中若該語法元素指示與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與該深度景觀視訊區塊相關聯之該運動資訊，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊的任何差量。
  30. 如請求項28之器件，其中該語法元素定義一內側景觀運動預測(IVMP)模式是否被啟用。
  31. 如請求項30之器件，其中：若該IVMP模式被停用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該深度景觀視訊區塊相關聯之該運動資訊係分開地包括於該存取單元中；且若該IVMP模式被啟用，則與該紋理景觀視訊區塊相關聯之該運動資訊係包括於該存取單元中，且與該紋理景觀視訊區塊相關聯之該運動資訊被採用為與該深度景觀視訊區塊相關聯之該運動資訊。
  32. 如請求項31之器件，其中若該IVMP模式被啟用，則該深度景觀視訊區塊不包括相對於與該深度景觀視訊區塊相關聯之該運動資訊之任何差量。
  33. 如請求項27之器件，其中該用於寫碼之構件包含用於編碼之構件，且其中該用於寫碼該語法元素之構件包含用 於產生該語法元素之構件。
  34. 如請求項27之器件，其中該用於寫碼之構件包含用於解碼之構件，其中該用於寫碼該語法元素之構件包含用於解碼來自一經編碼位元串流之該語法元素之構件，且其中該語法元素係包括於該經編碼位元串流中。
TW101126394A 2011-07-22 2012-07-20 支援內側景觀運動預測模式之以多重景觀寫碼為基礎的三維視訊寫碼的編解碼器 TW201320754A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201161510738P 2011-07-22 2011-07-22
US201161522584P 2011-08-11 2011-08-11
US201161522559P 2011-08-11 2011-08-11
US201161561800P 2011-11-18 2011-11-18
US201161563772P 2011-11-26 2011-11-26
US201161563771P 2011-11-26 2011-11-26
US201261624031P 2012-04-13 2012-04-13
US13/553,315 US20130188013A1 (en) 2011-07-22 2012-07-19 Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode

Publications (1)

Publication Number Publication Date
TW201320754A true TW201320754A (zh) 2013-05-16

Family

ID=46582085

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101126394A TW201320754A (zh) 2011-07-22 2012-07-20 支援內側景觀運動預測模式之以多重景觀寫碼為基礎的三維視訊寫碼的編解碼器

Country Status (12)

Country Link
US (2) US20130188013A1 (zh)
EP (1) EP2735152B1 (zh)
JP (2) JP2014526193A (zh)
KR (1) KR101628582B1 (zh)
CN (1) CN103748882A (zh)
BR (1) BR112014001247A2 (zh)
CA (1) CA2842569A1 (zh)
ES (1) ES2686936T3 (zh)
HU (1) HUE040195T2 (zh)
RU (1) RU2014106666A (zh)
TW (1) TW201320754A (zh)
WO (1) WO2013016231A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9017670B2 (en) * 2011-08-19 2015-04-28 Regeneron Pharmaceuticals, Inc. Anti-Tie2 antibodies and uses thereof
EP2645724A4 (en) * 2011-11-11 2014-08-06 Sony Corp SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
SG11201404509QA (en) 2012-02-01 2014-08-28 Nokia Corp Method and apparatus for video coding
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2013129822A1 (ko) 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
US10085024B2 (en) * 2012-04-13 2018-09-25 Qualcomm Incorporated Lookup table for rate distortion optimized quantization
US9451256B2 (en) 2012-07-20 2016-09-20 Qualcomm Incorporated Reusing parameter sets for video coding
US9380289B2 (en) 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
KR102122620B1 (ko) 2012-09-03 2020-06-12 소니 주식회사 화상 처리 장치 및 방법
CN104704835B (zh) * 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
WO2014107029A1 (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US10271034B2 (en) 2013-03-05 2019-04-23 Qualcomm Incorporated Simplified depth coding
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US9948915B2 (en) 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
CN105393538B (zh) * 2013-07-24 2018-12-04 高通股份有限公司 用于视频编解码的方法、装置及计算机可读存储介质
GB201313292D0 (en) * 2013-07-25 2013-09-11 Bifold Fluidpower Ltd Graphical data representation
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec
WO2015056566A1 (ja) * 2013-10-15 2015-04-23 ソニー株式会社 画像処理装置および方法
EP3114839A4 (en) 2014-03-07 2018-02-14 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
WO2015135175A1 (en) * 2014-03-13 2015-09-17 Mediatek Singapore Pte. Ltd. Simplified depth based block partitioning method
CN105519120B (zh) * 2014-06-20 2019-03-22 寰发股份有限公司 用于视频数据的三维或多视图视频编码的分区模式编码方法
CN104079943B (zh) 2014-06-26 2017-11-28 华为技术有限公司 一种帧内深度图像块编码、解码的方法及装置
CN106105218B (zh) * 2014-10-08 2019-04-09 Lg电子株式会社 在3维视频编码中处理相机参数的方法
WO2016124701A1 (en) * 2015-02-05 2016-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d video data stream comprising a value table associating reference views and camera parameter in temporal unit scope and beyond temporal unit scope parameter sets and an encoder for encoding and a decoder for decoding the 3d video data stream
JP6667342B2 (ja) 2016-03-30 2020-03-18 日本碍子株式会社 ハニカム構造体
US20200344462A1 (en) * 2018-01-12 2020-10-29 Sharp Kabushiki Kaisha Systems and methods for signaling sub-picture composition information for virtual reality applications
CN108600759B (zh) * 2018-04-16 2021-11-12 北京工业大学 基于非均衡四叉树的3d-hevc快速转码方法
BR112020026618A2 (pt) 2018-06-26 2021-03-30 Huawei Technologies Co., Ltd. Projetos de sintaxe de alto nível para codificação de nuvem de pontos
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
US11509879B2 (en) 2018-10-02 2022-11-22 Lg Electronics Inc. Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN111447428A (zh) * 2020-03-12 2020-07-24 黄胜海 平面至立体图像的转换方法、装置、计算机可读存储介质及设备
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4758972A (en) * 1986-06-02 1988-07-19 Raytheon Company Precision rounding in a floating point arithmetic unit
US6618628B1 (en) * 2000-10-05 2003-09-09 Karl A. Davlin Distributed input/output control systems and methods
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
TWI348730B (en) * 2007-07-17 2011-09-11 Ind Tech Res Inst Method of fabricating polysilicon film
EP2177036A2 (en) 2007-08-15 2010-04-21 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
JP2011509631A (ja) * 2008-01-11 2011-03-24 トムソン ライセンシング ビデオおよび奥行きの符号化
CN102257818B (zh) * 2008-10-17 2014-10-29 诺基亚公司 3d视频编码中运动向量的共享
KR101158491B1 (ko) * 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101619450B1 (ko) * 2009-01-12 2016-05-10 엘지전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
CN101521829B (zh) * 2009-01-23 2014-01-08 浙江大学 一种深度图像序列处理的方法及装置
JP5877065B2 (ja) * 2009-01-26 2016-03-02 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化のためのフレーム・パッキング
EP2425626A2 (en) * 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
KR101636539B1 (ko) * 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치
US9288490B2 (en) * 2010-09-30 2016-03-15 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
CN102055982B (zh) * 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
JP5872676B2 (ja) * 2011-06-15 2016-03-01 メディアテック インコーポレイテッド ３ｄビデオコーディングにおけるテクスチャーイメージ圧縮方法および装置

Also Published As

Publication number Publication date
JP6141386B2 (ja) 2017-06-07
BR112014001247A2 (pt) 2017-02-21
KR20140043483A (ko) 2014-04-09
ES2686936T3 (es) 2018-10-22
CA2842569A1 (en) 2013-01-31
KR101628582B1 (ko) 2016-06-08
WO2013016231A1 (en) 2013-01-31
CN103748882A (zh) 2014-04-23
JP2014526193A (ja) 2014-10-02
EP2735152B1 (en) 2018-06-20
JP2016067009A (ja) 2016-04-28
US20160301936A1 (en) 2016-10-13
US20130188013A1 (en) 2013-07-25
RU2014106666A (ru) 2015-08-27
HUE040195T2 (hu) 2019-02-28
EP2735152A1 (en) 2014-05-28

Similar Documents

Publication Publication Date Title
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
CN107409209B (zh) 用于线性模型预测模式的降取样处理
TWI569633B (zh) 補充增強資訊訊息寫碼
TWI645716B (zh) 用於視訊資訊之可擴展寫碼之裝置及方法
TWI558178B (zh) 用於寫碼視訊資料之方法及器件及電腦可讀儲存媒體
TWI495273B (zh) 於視訊寫碼中自清晰隨機存取圖像之全面隨機存取
TWI654875B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信色彩值
TWI520575B (zh) 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
TWI517692B (zh) 用於視訊寫碼之寫碼參數組及網路抽象層單元標頭
RU2665891C2 (ru) Улучшенный логический вывод в видеокодировании
JP6342402B2 (ja) スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
TW202037163A (zh) 改善的子劃分內預測
TWI520591B (zh) 視訊寫碼中之參數集合更新
TW201830965A (zh) 用於時間延展性支持之修改適應性迴路濾波器時間預測
TWI650004B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之３ｄ查找表之發信分割區資訊
EP3090551B1 (en) Support of base layer of a different codec in multi-layer video coding
TW201711461A (zh) 片級內部區塊複製及其他視訊寫碼改善
TW201515443A (zh) 用於視訊寫碼之跨層平行處理與偏移延遲參數
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
TW202110178A (zh) 具有可切換濾波器之參考圖像重新取樣
TW201414315A (zh) 用於高效率視訊寫碼（ｈｅｖｃ）及延伸之視訊參數集
KR20160031499A (ko) 고효율 비디오 코딩 확장물들에서 타겟 출력 계층들의 선택
JP6608374B2 (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體
JP2016539545A (ja) ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法