TW201419874A - 用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置 - Google Patents

用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置 Download PDF

Info

Publication number
TW201419874A
TW201419874A TW102137192A TW102137192A TW201419874A TW 201419874 A TW201419874 A TW 201419874A TW 102137192 A TW102137192 A TW 102137192A TW 102137192 A TW102137192 A TW 102137192A TW 201419874 A TW201419874 A TW 201419874A
Authority
TW
Taiwan
Prior art keywords
regions
video
decoding
video stream
independently decodable
Prior art date
Application number
TW102137192A
Other languages
English (en)
Other versions
TWI555383B (zh
Inventor
Marco Arena
Giovanni Ballocca
Paola Sunna
Original Assignee
Rai Radiotelevisione Italiana
Sisvel Societa Italiana Per Lo Sviluppo Dell Elettronica Spa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rai Radiotelevisione Italiana, Sisvel Societa Italiana Per Lo Sviluppo Dell Elettronica Spa filed Critical Rai Radiotelevisione Italiana
Publication of TW201419874A publication Critical patent/TW201419874A/zh
Application granted granted Critical
Publication of TWI555383B publication Critical patent/TWI555383B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明描述一種用於藉由開始於複數個序列2D及/或3D視訊圖框而產生一視訊串流之方法，其中一視訊串流產生器將來自N個不同源(S1、S2、S3、SN)之視訊圖框組合成一容器視訊圖框且產生容器視訊圖框之藉由一編碼器編碼之一單一輸出視訊串流，其中該編碼器將經調適以指示該等容器視訊圖框之結構之一發信號輸入至該輸出視訊串流中。本發明亦描述一種用於重新產生該視訊串流之一對應方法。

Description

用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置
本發明係關於一種用於編碼及解碼一數位視訊之方法，特定言之一種用於將一視訊串流編碼成獨立分割區之方法，且係關於一種用於獨立解碼組成該視訊串流之一或多個分割區之對應方法。
本發明亦係關於一種用於將一視訊串流編碼成獨立分割區之裝置及關於一種用於獨立解碼該等分割區之一或多者之裝置。
表示相同事件之或馬賽克式多媒體服務(多視點視訊-免費觀看視訊)之不同視圖之獨立視訊串流之編碼及分配早已為人所知。對使用者分配此等多視點視訊通常需要編碼匹配經產生視圖之數目之許多獨立視訊串流。
此類之一編碼及解碼方法係描述於(例如)文件「ISO/IEC 13818-1：2000(E)-Information technology-Generic coding of moving pictures and associated audio information：Systems」中或文件「ISO/IEC 14496-10 Information technology-Coding of audio-visual objects Part 10：Advanced Video Coding」中及對應文件「ITU-T H.264-Advanced video coding for generic audiovisual services」(下文稱為H.264/AVC規格)中。
當前使用中之編碼方法具有若干缺點，諸如：需要使用等於待 分配之視訊分量之數目之許多視訊編碼器；經分配之視訊串流中及視訊串流與對應音訊串流之間難以相互同步化；歸因於對複製解碼各獨立串流所需之類似發信號元件之需要，傳輸視訊串流所需之經增加頻帶。
另一方面，對應解碼方法需要使用用於解碼及顯示經傳送之兩個或兩個以上視圖之多個解碼器，導致使用者終端機之架構之較高複雜性及成本。
亦已知一單一視訊串流可用於分配多個獨立視圖，如(例如)所謂「馬賽克」服務之情況，其中該單一圖框係由自獨立視訊提取且組合成一影像之n個圖框構成，或由組合成一單一圖框(所謂「圖框壓縮配置」或「圖框相容格式」)之一3D立體對之兩個分量視訊構成。此等合成視訊通常係藉由使用可用壓縮技術(諸如，例如，MPEG-2、H.264/AVC、HEVC)之任一者進行壓縮。此等壓縮技術不提供允許一順應規格之解碼器獨立解碼分量視訊串流之一或多者之工具。已開發出允許一2D解碼器自經解碼視訊僅提取立體對之兩個分量視圖之一者之方法，但此等方法依靠使用一合適發信號(一旦解碼整個容器圖框，該合適發信號即允許解碼器切割及顯示僅含有該兩個視圖之一者之一圖框區域)。
當前不可能以使得一解碼器(在使用者選擇之後或歸因於有限計算或儲存資源)能夠僅解碼整個圖框之一選定子集之一方式編碼視訊。例如，不可能以使得並非對組成立體對之兩個影像皆感興趣之一2D解碼器可解碼及顯示僅對應於兩個視圖(例如，左視圖)之一者之區域之一方式編碼含有以上所提及之圖框壓縮配置之一者之一視訊。
此意謂浪費計算及能量資源。應注意，在行動終端機之領域(其中對計算資源之任何過度利用可大幅縮短電池壽命)尤其感受到此問題。
而且，一解碼器可用於一裝置(諸如一機上盒或一智慧型閘道器)中，不必然具有均勻特性之一或多個顯示器可連接至該裝置。讓吾人來考慮(例如)自一分配網路(例如，一IP網路或一廣播網路)接收一經編碼視訊串流或自一儲存裝置讀取該串流之一智慧型閘道器之情況。可具有不同特性之複數個顯示器(例如，HD顯示器或輸入板)可透過電纜及/或無線連接連接至該智慧型閘道器。在此一情況中，解碼器應能使經解碼視訊適應伺服之(若干)顯示器之特性：若僅具有低於經解碼視訊之解析度之一顯示器連接至該解碼器，則該解碼器應能僅解碼視訊之與所涉及之終端機最相關之該部分。
此外，當前技術僅允許自動識別(如在上文立體對實例中之)分量視訊串流之一者使得不可能對解碼器明確指示額外一或多個分量視訊串流之存在。一「預設」選擇因此施加於具有較少資源之解碼器上且不能指示替代內容之存在。
此外，編碼一單一視訊串流之可能性除了允許在解碼程序期間按比例調整計算資源之利用之外，亦允許編碼一單一視訊串流以根據不同服務模型服務終端機(該等終端機之特徵在於在儲存及計算資源方面之不同可用性)。例如，可想像將4個HD視訊(1920x1080像素)之組合編碼為一單一4k(3840x2160像素)視訊串流：對此一視訊，具有有限計算資源之一解碼器可解碼僅含有HD分量之一者之一子集；或者，一更強大解碼器可解碼整個4k視訊且(例如)顯示內容之整個馬賽克。
本發明之一目的係定義允許將一或多個不同分量視訊串流編碼成一單一容器視訊串流使得可獨立於其他分量視訊串流而解碼該等不同分量視訊串流之至少一者之一編碼方法。
本發明之另一目的係指定允許透過使用一單一解碼器獨立於一 單一容器視訊串流而解碼一或多個分量視訊串流之一解碼方法。
本發明之一進一步目的係提供編碼由多個分量視訊串流組成之一容器視訊串流以便允許獨立解碼一或多個分量視訊串流之一編碼器。
本發明之又另一目的係提供獨立解碼經編碼為一單一容器視訊串流之複數個分量視訊串流之至少一者之一解碼器。
S1、S2、S3、SN‧‧‧N個不同源
自以下描述將更加明白本發明之此等及進一步態樣，以下描述將參考附圖繪示該等態樣之一些實施例，其中：圖1展示根據H.264/AVC規格經編碼分割成巨集區塊(「圖塊」)群組之一影像；圖2展示根據HEVC規格經編碼分割成「影像塊」之一影像；圖3展示四個獨立2D視訊串流組合成一單一視訊串流之一實例；圖4展示呈2D視訊對形式之兩個獨立立體視訊串流組合成一單一視訊串流；圖5展示用於選擇性地解碼構成立體對之經編碼為一單一視訊串流之兩個影像之一者之一程序；圖6展示一立體視訊串流及相關聯深度圖組合成一單一容器視訊串流；圖7展示一2D視訊串流及一立體視訊串流組合成一單一容器視訊串流；圖8係用於組合及編碼藉由n個獨立視訊串流之組合產生之視訊串流之程序之一方塊圖；圖9展示用於解碼藉由圖8中所描述之編碼設備產生之一視訊串流之一方法之一實例；圖10展示用於解碼藉由根據圖8之一編碼設備產生之一視訊串流 之另一方法；圖11及圖11bis展示一立體視訊串流之兩個視圖組合成一單一容器視訊串流；圖12係描述待輸入至一經編碼視訊串流中之一發信號之一結構之一表；圖13係含有圖12之結構之一參數之可能值之一表；圖14a至圖14d展示具有輸入圖12之發信號所需之對HEVC標準之PPS之語法之修改之一表；圖15a至圖15f展示具有輸入圖12之發信號所需之對HEVC標準之SPS之語法之修改之一表。
現有視訊編碼標準以及當前在定義下之該等標準提供分割構成數位視訊串流之影像之可能性用於最佳化編碼及解碼程序之目的。如圖1中所展示，H.264/AVC規格允許產生巨集區塊群組，其中將待編碼之影像再劃分成稱為圖塊(slice)之不同類型之群組(其等接著獨立於彼此而經編碼)。例如，如圖1中所展示關於稱為「類型2」之再劃分，巨集區塊可分組成具有一任意形狀之圖塊以便允許隨著任何「受關注區域」之位置之一函數而選擇性地改變經編碼視訊之品質。
代替性地，圖2展示已引入至新ITU/ISO/IEC HEVC(高效率視訊編碼)標準之規格中之稱為「影像塊(tile)」之一新類型之影像再劃分。已引入基於已存在於H.264/AVC規格中之圖塊結構之此類型之再劃分以允許視訊串流編碼及解碼程序之平行化：現在甚至在行動終端機(諸如電話及PC輸入板)上可用之平行圖形處理器(所謂GPU，圖形處理單元)之增加擴展及較低成本，已促進引入允許使影像格式甚至在通常具有有限計算資源之終端機上具有非常高解析度之平行化支援工具。
HEVC規格已以使得允許將構成視訊串流之影像分段成若干區域且使其等之解碼相互獨立之一方式定義影像塊。然而，解碼程序即使在經平行化時亦仍僅針對整個影像進行且該等分段不能獨立於彼此使用。
如在上文段落所提及，能以不同終端機可自動或在自使用者接收指令之後決定應將視訊之哪些部分解碼且發送至用於視覺化之顯示器之一方式分割視訊串流將有用的。
圖3、圖4、圖6及圖7繪示其中此類之分割可證明為有用之不同利用方案。
圖3展示(例如)可呈4K(3840x2160像素)格式且可含有四個獨立HD(1920x1080像素)視訊之一容器視訊串流。配備有一4K解碼器之一使用者可解碼及顯示整個視訊，而配備有一較不強大之解碼器之一使用者可每次將解碼限於一單一HD串流。
圖4展示(例如)表示相同事件之兩個不同立體視圖之兩個立體視訊串流(呈兩個獨立左視訊及右視訊對之形式)作為一單一容器視訊串流之傳輸，使用者可自該兩個立體視訊串流選擇較佳視圖而不必然解碼整個圖框(在能量消耗方面具有明顯含義)。
圖5展示一立體視訊及相關聯深度圖組合成一單一視訊串流。在此情況中，一立體電視機之一解碼器可僅解碼與該立體對之兩個影像相關之定位於影像之上半部之部分；將因此不解碼下部分。代替性地，使用熟知的2D+Z技術(來自一單一影像之合成視圖加相關聯深度圖之構造)之一自動立體電視機之一解碼器可(例如)僅解碼影像之左半部，而一更精密的自動立體解碼器之解碼器可使用兩個視圖及兩個深度圖以合成中間視圖。
圖7展示定位於影像之上半部之一雙重解析度2D視訊(例如，用於呈21：9格式之一顯示器)及下部區域中之呈並排格式之對應立體視 圖之組合。
描述於HEVC規格中之影像塊結構並不足以允許一解碼器適當辨識及解碼藉由容器視訊傳輸之內容。可藉由輸入描述在可獨立解碼區域之各者中傳輸哪一內容及如何進行以適當解碼及顯示該內容之一合適位準之發信號而解決此問題。
可預見至少兩個不同方案。在第一方案中，需要指示介於單一內容與影像塊之至少一者之間之關聯，影像分解成該等影像塊且其可能重新組裝成一同調視訊串流(例如，如圖11中所展示，一立體視訊串流可再劃分成兩個影像塊且必須通知一2D解碼器關於解碼一單一影像塊之可能性，而一3D解碼器可不採取任何特定策略及解碼整個串流)。在第二方案中，代替性地，指示介於單一內容與影像塊之各者之間之關聯，影像分解成該等影像塊且其可能重新組裝成一同調視訊串流(例如，一立體視訊串流可再劃分成兩個影像塊且必須通知一2D解碼器關於解碼一單一影像塊之可能性，而必須通知一3D解碼器關於解碼整個串流之必要性)。
經提出之解決方案提供輸入一描述符，該描述符針對影像塊之至少一者指示一或多個特定特性：例如，若內容係一2D內容或在一立體內容之情況中則影像塊必須可能發信號該內容之圖框壓縮配置之類型。而且，期望指示影像塊之間之任何「關係」(接合解碼及/或顯示)；視圖識別符(例如，在多視點內容之情況中使用)及陳述討論中之視圖是否為一立體對之右視圖或左視圖或一深度圖之一訊息。
藉由實例，解決方案係繪示為圖12之表中之偽碼，該偽碼藉由使用已經在H.264/AVC及HEVC規格中採用之資料結構描述待輸入至經編碼視訊串流中之發信號之結構。儘管如此，仍可能採取允許以使得允許一解碼器適當地解碼其等之一方式描述一或多個影像塊之內容之類似發信號結構。
Frame_packing_arrangement_type係可對應於(例如)通常在MPEG2、H.264/AVC或SMPTE規格(該等規格將當前已知且使用之立體視訊格式編入目錄)中使用之值之一指數。
Tile_content_relationship_bitmask係針對各影像塊單意地描述其與經編碼視訊串流再劃分成之其他影像塊之關聯之一位元遮罩。
Content_interpretation_type提供解釋各影像塊之內容所需之資訊。圖13之表中指定一實例。
參考上文情況，其中一立體視訊係經編碼為兩個影像塊以確保藉由一2D解碼器僅解碼一視圖，以下資訊將與影像塊0相關聯：○ frame_packing_arrangement_type[0]=3
○ tile_content_relationship_bitmask[0]=11
○ view_id[0]=0
○ content_interpretation_type[0]=2
應注意，此類型之發信號可與其他工具(諸如，例如，剪裁矩形)一起使用或代替其他工具而使用。該剪裁矩形技術(根據該剪裁矩形技術強制剪裁在一矩形內部藉由合適後設資料發信號之經解碼圖框之部分)係已通常用於使呈圖框壓縮配置(該等圖框壓縮配置需要將立體對輸入至一單一圖框中)之一者之形式之一立體視訊串流「3D相容」。圖11bis繪示(例如)含有所謂「並排」圖框壓縮配置之一圖框，其中僅左視圖(圖中之灰色部分)係含在剪裁矩形中。無影像塊分割之情況下，一2D解碼器應解碼整個圖框，接著應用剪裁及摒棄右視圖(圖11bis中之白色部分)。藉由使用本發明之方法，代替性地，可編碼及發信號作為分離影像塊之兩個視圖，藉此允許一2D解碼器僅解碼含在剪裁矩形中之區域。
假定(例如)如圖4中所展示已將視訊串流劃分成四個影像塊，將藉由以下值描述該等影像塊中之關係： ○ frame_packing_arrangement_type[0]=3
○ frame_packing_arrangement_type[1]=3
○ frame_packing_arrangement_type[2]=3
○ frame_packing_arrangement_type[3]=3
○ tile_content_relationship_bitmask[0]=1100
○ tile_content_relationship_bitmask[1]=1100
○ tile_content_relationship_bitmask[2]=0011
○ tile_content_relationship_bitmask[3]=0011
○ view_id[0]=0
○ view_id[1]=0
○ view_id[2]=1
○ view_id[3]=1
○ content_interpretation_type[0]=2
○ content_interpretation_type[1]=1
○ content_interpretation_type[2]=2
○ content_interpretation_type[3]=1
此發信號對解碼器指示影像塊0及影像塊1屬於呈並排(frame_packing_arrangement_type=3)之相同3D視訊內容(tile_content_relationship_bitmask=1100)。Tile_content_relationship_bitmask之值允許解碼器知道兩個視圖(其等屬於相同立體對，此係因為對於兩個影像塊tile view_id=0)係含在不同影像塊中(且因此，在此情況中，處於全解析度)。Content_interpretation_type允許理解影像塊0對應於左視圖，而影像塊1對應於右視圖。
相同考量適用於影像塊1及影像塊2。
代替性地，圖6之配置係藉由以下發信號描述： ○ frame_packing_arrangement_type[0]=3
○ frame_packing_arrangement_type[1]=3
○ frame_packing_arrangement_type[2]=6
○ frame_packing_arrangement_type[3]=6
○ tile_content_relationship_bitmask[0]=1111
○ tile_content_relationship_bitmask[1]=1111
○ tile_content_relationship_bitmask[2]=1010
○ tile_content_relationship_bitmask[3]=0101
○ view_id[0]=1
○ view_id[1]=1
○ content_interpretation_type[0]=2
○ content_interpretation_type[1]=1
○ content_interpretation_type[2]=5
○ content_interpretation_type[3]=5
不同於圖4，tile_content_relationship_bitmask針對影像塊0及影像塊1為1111。此意謂在全部影像塊中存在一關係。特定言之，影像塊2及影像塊3係分別與影像塊0(tile_content_relationship_bitmask=1010)及影像塊1(tile_content_relationship_bitmask=0101)相關聯之含有一深度圖(content_interpretation_type=5)之2D內容(frame_packing_arrangement_type=6)。
在HEVC規格之語法中，此類型之發信號可易於編碼為一SEI(增補增強資訊)訊息：應用資訊，在不變更基本編碼及解碼機構之情況下，其允許不僅關於解碼亦關於下一視覺化程序之額外功能之構造。作為一替代，可將相同發信號輸入至圖像參數集(PPS)中，圖像參數集(PPS)係含有解碼對應於一圖框之一資料集所需之資訊之一語法元素。圖14a至圖14d之表包含以粗體醒目提示之呈偽碼形式之修改(需 要對HEVC標準之PPS之語法作出該等修改以輸入以上所提及之發信號)。
一進一步普通化可提供將發信號輸入至序列參數集(SPS)中：含有解碼對應於一連續序列圖框之一資料集所需之資訊之一語法元素。
圖15a至圖15f之表包含以粗體醒目提示之呈偽碼形式之修改(需要對HEVC之SPS之語法作出該等修改以輸入以上所提及之發信號)，其中multiservice_flag係通知關於在各影像塊內多個服務之存在之一變數且num_tile係一圖框內之影像塊之數目。
圖5繪示選擇性影像塊解碼程序。視訊串流含有經編碼成兩個分離影像塊之一對立體視圖。
該兩個分離影像塊係藉由用於表示圖4之內容之相同發信號描述(然而，在此情況中，影像塊之總數目為2)。
圖8係可實施本發明之編碼技術之一設備或一群組設備之一方塊圖。N個視訊內容S1至SN輸入至一「源組合器」。該「源組合器」可為一分離組件或可整合為一合適編碼器之一輸入級。該源組合器組合傳輸該等N個分量視訊串流之容器視訊串流且接著朝向一編碼器將其輸出。該源組合器可視需要添加對編碼器描述該等分量視訊串流之格式及其等在容器視訊串流內之位置所需之發信號。
一編碼器接收容器視訊串流，以使得將影像塊映射至單一分量視訊串流之結構上之一方式建構影像塊，產生描述影像塊、分量視訊串流之結構及其等之關係之發信號，且壓縮容器視訊串流。若「源組合器」並不自動產生描述分量視訊串流之發信號，則可由操作者手動程式化編碼器。接著可以不同方式(即，藉由取決於解碼器及/或其連接至之顯示器之功能特性及/或計算資源選擇獨立部分)解碼藉由編碼器輸出之經壓縮之視訊串流。可根據傳輸所採取之系統層(System Layer)部分之規格傳輸各分量視訊串流之音訊。
一2D解碼器分析位元流，找出含有兩個視圖之兩個影像塊之發信號且決定解碼顯示僅一影像與一2D顯示器相容之一單一影像塊。代替性地，一3D解碼器將解碼兩個影像塊且將在一3D顯示器上進行立體視覺化。
類似地，圖9展示一解碼器，該解碼器在連接至顯示器時協商待顯示之視訊之特性(例如，解析度)且以一自動方式相應地決定將解碼視訊串流之哪一部分。此決定亦可藉由一使用者之手動介入支配：例如，在經傳送之視訊係經編碼成兩個影像塊之一立體視訊之事件中及假定使用者儘管配備有一3D電視機然仍想要觀看呈2D格式之該內容(可藉由按壓一特定遠端控制鍵顯現此一決定)，解碼器可採取與其在與電視機協商最佳顯示格式時自動採取之解碼策略不同之一解碼策略。
代替性地，圖10展示其中解碼器定位於一閘道器內部之情況，該閘道器接收經編碼串流且必須服務特徵在於支援不同格式之視訊內容之可能性之異質終端機(例如，一些裝置可具有顯示立體內容之能力，而同時其他裝置僅可具有一2D顯示器)。該閘道器自動與各裝置協商或自各裝置接收組態指令且接著以使得輸入內容適應各請求裝置之特性之一方式解碼該輸入內容之一或多個部分。
因此，本發明係關於一種用於藉由開始於複數個序列2D及/或3D視訊圖框而產生一視訊串流之方法，其中一視訊串流產生器將來自N個不同源S1、S2、S3、SN之視訊圖框組合成一容器視訊圖框。隨後，一編碼器藉由將經調適以指示容器視訊圖框之結構之一發信號輸入至容器視訊圖框之單一輸出視訊串流中而編碼該單一輸出視訊串流。
本發明亦係關於一種用於重新產生包括一序列容器圖框之一視訊串流之方法，各容器圖框包括來自N個不同源S1、S2、S3、SN之複數個2D及/或3D視訊圖框。一解碼器讀取經調適以指示容器視訊圖框 之結構之一發信號且藉由提取該複數個視訊圖框之至少一者或一子集(藉由僅解碼容器視訊圖框中包括經選擇用於顯示器之視訊串流之複數個2D及/或3D視訊圖框之該等視訊圖框之該等部分而進行此提取)而重新產生複數個視訊串流。

Claims (22)

  1. 一種用於編碼由一或多個獨立分量區域組成之一數位視訊串流之方法，其包括輸入指示一或多個可獨立解碼區域之存在之一發信號之步驟，特徵在於該編碼方法包括輸入指示介於該一或多個分量區域與該一或多個可獨立解碼區域之間之關聯之一發信號之另一步驟。
  2. 如請求項1之用於編碼一數位視訊串流之方法，其進一步包括輸入指示該一或多個分量區域之內容之類型之一描述符之步驟。
  3. 如請求項1或2之編碼方法，其中該等可獨立解碼區域之各者係編碼為一影像塊。
  4. 如請求項1及2中之一項之編碼方法，其中所採用之該編碼技術係H.264/AVC或HEVC(高效率視訊編碼)。
  5. 如請求項1或2之編碼方法，其中指示介於該一或多個分量區域與該一或多個可獨立解碼區域之間之該關聯之該發信號及指示該一或多個分量區域之內容之該類型之該描述符係一SEI(增補增強資訊)訊息。
  6. 如請求項1或2之編碼方法，其中指示介於該一或多個分量區域與該一或多個可獨立解碼區域之間之該關聯之該信號及指示該一或多個分量區域之內容之該類型之該描述符輸入至序列參數集(SPS)發信號中或至圖像參數集(PPS)發信號中。
  7. 如請求項1或2之編碼方法，其中指示介於該一或多個分量區域與該一或多個可獨立解碼區域之間之該關聯之該信號由一位元遮罩組成。
  8. 如請求項1或2之編碼方法，其中該數位視訊串流之該一或多個分量區域表示一或多個獨立視訊串流。
  9. 如請求項8之編碼方法，其中該等獨立視訊串流包含以下格式之一或多者：一或多個立體視訊對；視訊串流及深度圖；呈該圖框壓縮配置格式之一或多個視訊串流；馬賽克式獨立視訊。
  10. 如請求項2之編碼方法，其中該描述符包括描述以下各者之一或多個後設資料：圖框壓縮配置；內容解釋類型；視圖ID。
  11. 一種用於解碼由一或多個獨立分量區域組成之一數位視訊串流之方法，其包括讀取指示一或多個可獨立解碼區域之存在之一信號之步驟且進一步包括以下步驟之至少一者：讀取指示介於該一或多個分量區域與該一或多個可獨立解碼區域之間之關聯之一發信號讀取指示該一或多個可獨立解碼區域之各者之內容之類型之一描述符且包括以下之另一步驟選擇用於解碼藉由該發信號或藉由該描述符指示之該等可獨立解碼區域之一或多者。
  12. 如請求項11之解碼方法，其中該解碼器基於對其自身計算資源之一估計選擇該等可獨立解碼區域之一或多者。
  13. 如請求項11之解碼方法，其中使該一或多個經解碼區域對一單一顯示器上之顯示可用。
  14. 如請求項11之解碼方法，其中使該一或多個經解碼區域可用於在 多個異質裝置上之顯示。
  15. 如請求項11至14中任一項之解碼方法，其中藉由一外部控制信號決定待解碼之該一或多個可獨立解碼區域之選擇。
  16. 如請求項15之解碼方法，其中由於與一或多個顯示器協商該顯示格式之該程序而自動產生該控制信號。
  17. 如請求項15之解碼方法，其中由於由一使用者手動選擇該顯示格式之該程序而產生該控制信號。
  18. 一種用於產生由一或多個獨立分量區域組成之一數位視訊串流之裝置，包括用於將多個分量視訊串流組合成一單一視訊串流之一源組合器及實施如請求項1至10中任一項之編碼方法之一視訊編碼器。
  19. 如請求項18之產生裝置，其中該源組合器及/或該視訊編碼器係實施為程式化組件。
  20. 一種解碼裝置，其包括經調適以進行一如請求項11至14中任一項之解碼方法之讀取及選擇構件。
  21. 一種視訊串流處理裝置，其包括一如請求項20之解碼裝置，特徵在於其包括經調適以自動或手動選擇用於顯示器之該等可獨立解碼區域之一或多者之另一構件。
  22. 一種智慧型閘道器，其包括一如請求項20之解碼裝置，特徵在於其包括經調適以藉由一合適協商程序選擇該等可獨立解碼區域之一或多者之該顯示格式之另一選擇構件。
TW102137192A 2012-10-15 2013-10-15 用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置 TWI555383B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT000901A ITTO20120901A1 (it) 2012-10-15 2012-10-15 Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica

Publications (2)

Publication Number Publication Date
TW201419874A true TW201419874A (zh) 2014-05-16
TWI555383B TWI555383B (zh) 2016-10-21

Family

ID=47471945

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102137192A TWI555383B (zh) 2012-10-15 2013-10-15 用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置

Country Status (14)

Country Link
US (2) USRE49786E1 (zh)
EP (1) EP2907306B1 (zh)
JP (2) JP2015535148A (zh)
KR (1) KR102126813B1 (zh)
CN (1) CN104813657B (zh)
AR (1) AR093026A1 (zh)
DK (1) DK2907306T3 (zh)
ES (1) ES2856077T3 (zh)
HU (1) HUE052945T2 (zh)
IT (1) ITTO20120901A1 (zh)
PL (1) PL2907306T3 (zh)
SI (1) SI2907306T1 (zh)
TW (1) TWI555383B (zh)
WO (1) WO2014060937A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907350B (zh) 2012-09-29 2018-02-23 华为技术有限公司 视频编码及解码方法、装置及系统
US10567765B2 (en) * 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
US20210195254A1 (en) * 2016-02-01 2021-06-24 Lg Electronics Inc. Device for transmitting broadcast signal, device for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal
CN112601121B (zh) * 2016-08-16 2022-06-10 上海交通大学 一种面向多媒体内容组件个性化呈现的方法及系统
US10623635B2 (en) * 2016-09-23 2020-04-14 Mediatek Inc. System and method for specifying, signaling and using coding-independent code points in processing media contents from multiple media sources
CN111459441B (zh) * 2020-04-25 2020-11-10 薪得付信息技术(山东)有限公司 一种信息显示方法、装置及电子设备
EP4017001A1 (en) * 2020-12-17 2022-06-22 Axis AB Method and digital video camera for forming a combined image frame of a combined video stream
CN115706808A (zh) * 2021-08-06 2023-02-17 北京猿力未来科技有限公司 视频处理方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346370A (ja) 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
JP2004007266A (ja) 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US20100027618A1 (en) * 2006-12-11 2010-02-04 Kazunori Ozawa Media transmitting/receiving method, media transmitting method, media receiving method, media transmitting/receiving apparatus, media transmitting apparatus, media receiving apparatus, gateway apparatus, and media server
BRPI0810213A8 (pt) 2007-05-16 2018-12-11 Thomson Licensing métodos e aparelho para uso de grupos de fatia na decodificação de informações de codificação de vídeo de múltiplas vistas (mvc).
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
US8274551B2 (en) * 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
JP2009100071A (ja) * 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
WO2009136681A1 (en) * 2008-05-08 2009-11-12 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for displaying image
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
CN101404765B (zh) * 2008-10-24 2010-12-08 宁波大学 一种交互式多视点视频编码方法
JP2011109397A (ja) 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
IT1397591B1 (it) * 2009-12-21 2013-01-16 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
US8908774B2 (en) * 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
IT1401731B1 (it) * 2010-06-28 2013-08-02 Sisvel Technology Srl Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
JP5336666B2 (ja) 2010-10-25 2013-11-06 パナソニック株式会社 符号化方法、表示装置、復号方法
IT1402995B1 (it) * 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato

Also Published As

Publication number Publication date
JP2018050327A (ja) 2018-03-29
KR102126813B1 (ko) 2020-06-26
US20150281669A1 (en) 2015-10-01
EP2907306A1 (en) 2015-08-19
HUE052945T2 (hu) 2021-05-28
ES2856077T3 (es) 2021-09-27
ITTO20120901A1 (it) 2014-04-16
AR093026A1 (es) 2015-05-13
EP2907306B1 (en) 2020-12-02
JP7028398B2 (ja) 2022-03-02
KR20150074040A (ko) 2015-07-01
JP2015535148A (ja) 2015-12-07
SI2907306T1 (sl) 2021-04-30
PL2907306T3 (pl) 2021-06-14
USRE49786E1 (en) 2024-01-02
CN104813657A (zh) 2015-07-29
TWI555383B (zh) 2016-10-21
US9961324B2 (en) 2018-05-01
WO2014060937A1 (en) 2014-04-24
CN104813657B (zh) 2018-12-21
DK2907306T3 (da) 2021-03-01

Similar Documents

Publication Publication Date Title
TWI555383B (zh) 用於編碼及解碼數位視訊之方法及其相關編碼及解碼裝置
US8457155B2 (en) Encoding and decoding a multi-view video signal
Chen et al. Overview of the MVC+ D 3D video coding standard
CA2758903C (en) Broadcast receiver and 3d video data processing method thereof
KR101342294B1 (ko) 3ｄ ｔｖ를 위한 스테레오뷰들의 사이멀캐스트
US20120212579A1 (en) Method and Arrangement for Multi-View Video Compression
JP6040932B2 (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
WO2012070500A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
KR101797506B1 (ko) 방송 신호 송신 장치 및 방송 신호 수신 장치
KR20160123216A (ko) 3d 방송 신호를 처리하는 방법 및 장치
KR20130105638A (ko) 3dtv에서 3d 비디오 데이터를 제공하는 방법
KR20130044266A (ko) 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
TWI643491B (zh) 用於載送視訊寫碼延伸之傳輸串流
JPWO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
KR20140057242A (ko) 부호화 장치 및 부호화 방법과 복호 장치 및 복호 방법
WO2013069608A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9143757B2 (en) Method and apparatus for transmitting and receiving stereoscopic video
TW201223249A (en) Coding stereo video data
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
GB2613015A (en) Decoding a multi-layer video stream using a joint packet stream
KR20120121831A (ko) 스테레오스코픽 비디오 송수신 방법 및 그 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees