TWI571113B - 視訊位元流中之隨機存取 - Google Patents

視訊位元流中之隨機存取 Download PDF

Info

Publication number
TWI571113B
TWI571113B TW104116308A TW104116308A TWI571113B TW I571113 B TWI571113 B TW I571113B TW 104116308 A TW104116308 A TW 104116308A TW 104116308 A TW104116308 A TW 104116308A TW I571113 B TWI571113 B TW I571113B
Authority
TW
Taiwan
Prior art keywords
picture
drap
irap
video
pictures
Prior art date
Application number
TW104116308A
Other languages
English (en)
Other versions
TW201618549A (zh
Inventor
馬丁 派特森
喬納頓 山繆森
瑞卡德 史卓柏格
賈可伯 史東
余若洋
Original Assignee
Ｌｍ艾瑞克生（Ｐｕｂｌ）電話公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｌｍ艾瑞克生（Ｐｕｂｌ）電話公司 filed Critical Ｌｍ艾瑞克生（Ｐｕｂｌ）電話公司
Publication of TW201618549A publication Critical patent/TW201618549A/zh
Application granted granted Critical
Publication of TWI571113B publication Critical patent/TWI571113B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

視訊位元流中之隨機存取
本發明實施例一般而言係關於視訊處理，且特定而言係關於一視訊位元流中之隨機存取操作。
經由網際網路、廣播網路及行動網路發送之視訊資料量每年都在增加。藉由如Netflix、Hulu及YouTube之頂級(OTT)服務之經增加使用以及對高品質視訊及觀看TV及其他視訊服務之一更靈活方式之一經增加需求推動此趨勢。
為跟上視訊之漸增之位元率需求，具有良好視訊壓縮係重要的。最近，JCT-VC與MPEG合作開發了高效率視訊寫碼(HEVC)版本1視訊編碼解碼器，其高效地將位元率切分成兩半以達成與其前身AVC/H.264相比較相同之品質。
亦稱為H.265之HEVC係利用時間及空間預測兩者之一基於區塊之視訊編碼解碼器。使用當前圖片內之圖框內(I)預測達成空間預測。僅由圖框內寫碼區塊組成之一圖片稱為一I圖片。使用亦稱為單預測性預測之圖框間預測(P)或亦稱為雙預測性預測之雙向圖框間預測(B)在區塊位準上達成時間預測。在圖框間預測中，依據一單個先前經解碼圖片進行一預測。在雙向圖框間預測中，依據可參考相同先前經解碼圖片或兩個不同先前經解碼圖片之兩個預測之一組合進行預測。先前經解碼圖片在當前圖片之前經解碼且依顯示時間(輸出次序)可在當 前圖片之前或之後。含有至少一個圖框間寫碼區塊但不含有雙向寫碼圖框間區塊之一圖片稱為一P圖片。含有至少一個雙向圖框間區塊之一圖片稱為一B圖片。P圖片及B圖片兩者亦可含有圖框內寫碼區塊。針對一典型區塊，圖框內寫碼之位元成本與圖框間寫碼相比較通常貴得多，圖框間寫碼通常比雙預測性寫碼貴。
一瞬時解碼再新(IDR)圖片係一I圖片，針對其一接下來圖片可不參考在IDR圖片之前之一圖片。一清潔隨機存取(CRA)圖片係一I圖片，該I圖片允許一隨機存取跳略前導(RASL)圖片參考依解碼次序在CRA圖片後面且依顯示或輸出次序在CRA圖片前面之一圖片。假如解碼在CRA圖片處開始，必須放棄RASL圖片，此乃因允許RASL圖片在CRA圖片用於隨機存取時依據在不可用於預測之CRA圖片前面之圖片進行預測。中斷連結存取(BLA)圖片係用於指示位元流中之拼接點之I圖片。可藉由將一第一位元流中之一CRA圖片之圖片類型改變為一BLA圖片且將該串流串連於其他位元流中之一適當位置處而執行位元流拼接操作。
一圖框內隨機存取點(IRAP)圖片可係IDR、CRA或BLA圖片中之任何一者。所有IRAP圖片保證依解碼及輸出次序兩者在IRAP後面之圖片不參考依解碼次序在IRAP圖片之前之任何圖片。一位元流之第一圖片必須係一IRAP圖片，但貫穿位元流可存在許多其他IRAP圖片。IRAP圖片提供(舉例而言)在開始觀看TV或自一個TV頻道切換至另一TV頻道時調諧成一視訊位元流之可能性。IRAP圖片亦可用於在一視訊剪輯中搜尋(舉例而言，藉由使用一視訊播放器之控制條移動播放位置)及動態串流服務。此外，假如視訊位元流中存在錯誤或遺失，則一IRAP圖片提供視訊之一再新，且藉此改良一視訊位元流之抗錯穩健性。
數位TV以通常稱為廣播服務之地面、衛星及電纜之三種形式及 通常稱為多播服務之網際網路協定電視(IPTV)之一種形式存在。在此等服務中之所有服務中，一接收器接收一個TV頻道之視訊位元流，然後解碼該視訊位元流且將該經解碼視訊顯示給終端使用者。接收器另外能夠接收一或多個額外頻道之視訊位元流(其經接收以便使使用者能夠稍後觀看彼頻道/節目)係常見的。
在適應性串流服務中，由接收器接收之位元率經調整以匹配網路之能力。在經由超文件傳送協定(HTTP)之動態適應性串流(DASH)、HTTP即時串流(HLS)及平滑串流中，使用者用戶端經由一組塊或分段(通常表示由一伺服器提供之一組不同表示當中之10秒之視訊)選擇位元率。
在視訊會議及視訊電話服務中，使用者用戶端之間存在一雙向通信。可能使用回饋訊息來指示經解碼圖片中之封包遺失或損毀。參考圖片選擇指示(RPSI)係使一接收器指示一舊圖片應用於參考(此乃因一或多個最近傳輸之圖片可能尚未能夠經解碼)成為可能之一回饋訊息。藉由將正確地接收及解碼之一舊圖片(諸如先前IRAP圖片)用於參考，編碼器不必發送一新圖框內圖片。然而，在已發送諸如RPSI之一回饋訊息之後，接收器將不會精確地知曉發送者何時確認訊息且僅將選定參考圖片用於參考。
在廣播及多播服務中，期望使頻道切換時間儘可能地短。然而，為了切換至另一頻道，另一頻道之視訊位元流中需要存在一隨機存取點(RAP)。然而，使用IRAP圖片作為RAP使視訊位元流編碼起來更貴且因此與不具有圖框內圖片之一視訊位元流相比較將實質上增加位元率。
在適應性串流中，為了自一個表示切換至另一表示，使用者用戶端選擇切換至其之表示中需要存在一存取點。現今通常藉助IRAP圖片實現此。當一使用者選擇跳至視訊位元流中之一不同位置時亦使 用IRAP圖片。此等IRAP圖片與不具有IRAP圖片之一視訊位元流相比較實質上增加位元率。
提供一高效視訊處理係一總目標。
實現一視訊位元流中之高效隨機存取操作係一特定目標。
藉由本文中所揭示之實施例滿足此等及其他目標。
該等實施例之一態樣係關於用於執行一視訊位元流中之一隨機存取操作之一方法。該方法包括獲得一相依隨機存取點(DRAP)圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該方法亦包括獲得該視訊位元流之一圖框內隨機存取點(IRAP)圖片。該方法進一步包括解碼該IRAP圖片且使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼該DRAP圖片。該方法另外包括在該經解碼DRAP圖片處執行一隨機存取操作。
該等實施例之一相關態樣定義經組態以獲得一DRAP圖片之一使用者用戶端。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該使用者用戶端亦經組態以獲得該視訊位元流之一IRAP圖片。該使用者用戶端進一步經組態以解碼該IRAP圖片且使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼該DRAP圖片。該使用者用戶端另外經組態以在該經解碼DRAP圖片處執行一隨機存取操作。
該等實施例之另一相關態樣定義一使用者用戶端，該使用者用戶端包括用於獲得一DRAP圖片及一IRAP圖片之一圖片提供器。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該使用者用戶端亦包括用於解碼該IRAP圖片且使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼該DRAP圖片之一解碼器。該使用者用戶端進一步包括用於在該經解碼DRAP圖片 處執行一隨機存取操作之一隨機存取單元。
該等實施例之另一態樣定義一視訊通信方法，該視訊通信方法包括在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端。該方法亦包括在一回饋頻道上接收來自該使用者用戶端之一回饋訊息。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。該方法進一步包括：基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該方法另外包括將該DRAP圖片傳輸至該使用者用戶端。
該等實施例之一相關態樣定義一視訊通信伺服器，該視訊通信伺服器經組態以在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端。該視訊通信伺服器亦經組態以在一回饋頻道上接收來自該使用者用戶端之一回饋訊息。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。該視訊通信伺服器進一步經組態以基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該視訊通信伺服器另外經組態以將該DRAP圖片傳輸至該使用者用戶端。
該等實施例之另一相關態樣定義一視訊通信系統，該視訊通信系統包括用於在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端之一傳輸器。該視訊通信伺服器亦包括用於在一回饋頻道上接收來自該使用者用戶端之一回饋訊息之一接收器。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。該視訊通信伺服器進一步包括用於基 於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片之一編碼器。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該傳輸器亦用於將該DRAP圖片傳輸至該使用者用戶端。
該等實施例之又一態樣係關於用於將圖片之一視訊串流編碼成一視訊位元流之一方法。該方法包括將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。每第n個圖片之該編碼包括藉由以下操作編碼該每第n個圖片：將每第m個RAP圖片編碼為一IRAP圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片。每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
該等實施例之再一態樣係關於用於將圖片之一視訊串流編碼成一視訊位元流之一方法。該方法包括將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。每第n個圖片之該編碼包括藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一IRAP圖片或編碼為一DRAP圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片。使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
該等實施例之一相關態樣定義用於將圖片之一視訊串流編碼為一視訊位元流之一編碼器。該編碼器經組態以將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。該編碼器亦經組態以藉由以下操作編碼該每第n個圖片： 將每第m個RAP圖片編碼為一IRAP圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片。每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
該等實施例之另一相關態樣定義用於將圖片之一視訊串流編碼成一視訊位元流之一編碼器。該編碼器經組態以將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。該編碼器亦經組態以藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一IRAP圖片或編碼為一DRAP圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片。由該編碼器使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
該等實施例之再一態樣係關於包括指令之一電腦程式，該等指令在由一處理器執行時致使該處理器獲得經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點之一DRAP圖片。亦致使該處理器獲得該視訊位元流之一IRAP圖片。進一步致使該處理器解碼該IRAP圖片，且使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼該DRAP圖片。另外致使該處理器在該經解碼DRAP圖片處執行一隨機存取操作。
該等實施例之又一態樣係關於包括指令之一電腦程式，該等指令在由一處理器執行時致使該處理器在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端。亦致使該處理器在一回饋頻道上接收來自該使用者用戶端之一回饋訊息。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元 流內之一位置。進一步致使該處理器基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。另外致使該處理器將該DRAP圖片傳輸至該使用者用戶端。
該等實施例之再一態樣係關於包括指令之一電腦程式，該等指令在由一處理器執行時致使該處理器將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。亦致使該處理器藉由以下操作編碼該每第n個圖片：將每第m個RAP圖片編碼為一IRAP圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片。每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
該等實施例之又一態樣係關於包括指令之一電腦程式，該等指令在由一處理器執行時致使該處理器將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。亦致使該處理器藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一IRAP圖片或編碼為一DRAP圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片。由該編碼器使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
該等實施例之一相關態樣定義包括根據上文實施例之一電腦程式之一載體。該載體係一電子信號、一光學信號、一電磁信號、一磁信號、一電信號、一無線電信號、一微波信號或一電腦可讀儲存媒體 中之一者。
本發明實施例在一視訊位元流中提供可用於執行一隨機存取操作之一新類型之RAP圖片。此一RAP圖片係一DRAP圖片，此隱含其使用一先前IRAP圖片作為唯一參考圖片來編碼及解碼。因此，該DRAP圖片與IRAP圖片相比可以一顯著較低位元成本表示，但仍構成一視訊位元流中之一RAP且因此可用於執行視訊位元流內之隨機存取操作。
10‧‧‧解碼器
30‧‧‧編碼器
100‧‧‧使用者用戶端
110‧‧‧使用者用戶端
111‧‧‧圖片提供器
112‧‧‧解碼器
113‧‧‧隨機存取單元
120‧‧‧使用者用戶端
121‧‧‧處理器
122‧‧‧記憶體
123‧‧‧輸入/輸出單元
130‧‧‧使用者用戶端
131‧‧‧圖片提供器
132‧‧‧解碼器
133‧‧‧隨機存取單元
200‧‧‧伺服器/視訊通信伺服器
210‧‧‧視訊通信伺服器
211‧‧‧傳輸器
212‧‧‧編碼器
213‧‧‧接收器
220‧‧‧視訊通信伺服器
221‧‧‧處理器
222‧‧‧記憶體
223‧‧‧輸入/輸出單元
230‧‧‧視訊通信伺服器
231‧‧‧傳輸器
232‧‧‧編碼器
233‧‧‧接收器
300‧‧‧編碼器
301‧‧‧處理器
302‧‧‧記憶體
303‧‧‧輸入/輸出單元
400‧‧‧使用者設備/視訊通信伺服器/編碼器
410‧‧‧處理器
420‧‧‧記憶體
430‧‧‧通信電路
440‧‧‧電腦程式/軟體
450‧‧‧載體/電腦可讀儲存媒體/非揮發性電腦可讀儲存媒體/電腦可讀媒體
藉由參考與附圖一起進行之以下闡述可最佳地理解實施例以及其進一步目標及優點，在附圖中：圖1係圖解說明根據一實施例之用於執行一隨機存取操作之一方法之一流程圖；圖2係圖解說明圖1中之獲得步驟之一實施例之一流程圖；圖3係圖解說明圖1中之獲得步驟之另一實施例之一流程圖；圖4係圖解說明圖1中所展示之方法之額外選用步驟之一流程圖；圖5係圖解說明圖1中之獲得步驟之又一實施例之一流程圖；圖6係圖解說明圖1中之獲得步驟之再一實施例之一流程圖；圖7係圖解說明根據一實施例之一視訊通信方法之一流程圖；圖8係圖解說明圖7中所展示之方法之一額外選用步驟之一流程圖；圖9係圖解說明根據一實施例之用於編碼一視訊串流之一方法之一流程圖；圖10係圖解說明圖9中之編碼步驟之一實施例之一流程圖；圖11係圖解說明圖9中之編碼步驟之另一實施例之一流程圖；圖12示意性地圖解說明具有使用當前HEVC規格之隨機存取組態 之一視訊位元流；圖13示意性地圖解說明具有使用DRAP圖片之隨機存取組態之一視訊位元流；圖14圖解說明使用傳統IRAP方法之螢幕內容寫碼之一實例；圖15圖解說明使用DRAP圖片之頻道切換之一實例；圖16係描述適應性串流之一可能情景之一發信號圖；圖17係描述即時串流及交談式服務之一可能情景之一發信號圖；圖18係根據一實施例之一編碼器及一解碼器之一示意性概觀；圖19係根據一實施例之一使用者用戶端之一示意性方塊圖；圖20係根據另一實施例之一使用者用戶端之一示意性方塊圖；圖21係根據又一實施例之一使用者用戶端之一示意性方塊圖；圖22係根據一實施例之一視訊通信伺服器之一示意性方塊圖；圖23係根據另一實施例之一視訊通信伺服器之一示意性方塊圖；圖24係根據又一實施例之一視訊通信伺服器之一示意性方塊圖；圖25係根據一實施例之一編碼器之一示意性方塊圖；及圖26示意性地圖解說明根據一實施例之一電腦程式實施方案。
貫穿圖式，相同參考編號用於類似或對應元件。
本發明實施例一般而言係關於視訊處理，且特定而言係關於一視訊位元流中之隨機存取操作。
實施例介紹關於視訊寫碼及解碼內之隨機存取點(RAP)之一新概念。實施例之RAP圖片不同於傳統上用作一視訊位元流中之RAP點之IRAP圖片。一IRAP圖片可獨立地解碼，亦即不使用任何參考圖片。實施例之RAP係呈相依隨機存取點(DRAP)圖片之形式之相依RAP。因此，實施例之一DRAP圖片不可獨立地解碼，亦即一DRAP圖片使用至少一個參考圖片，但仍構成一視訊位元流內之一RAP。一DRAP圖 片可使用與一IRAP圖片相比較顯著較少位元來編碼及表示。因此，實施例之DRAP圖片可用於減少一視訊位元流之總體位元成本或可用於在不增加總體位元成本之情況下增加一視訊位元流中之RAP之總數。
一DRAP圖片與其他非IRAP圖片之不同之處在於：一DRAP圖片在其可使用之參考圖片方面受限制得多。此等限制使得DRAP圖片能夠用於隨機存取操作。一隨機存取操作係當並非自視訊位元流之起點開始解碼時。替代地，在視訊位元流內之某一位置處(在經識別為一隨機存取點之一點處)開始解碼。隨機存取操作之實例包含(亦即)在開始觀看TV或自一個TV頻道切換至另一TV頻道時調諧成廣播TV串流。
因此，實施例之DRAP圖片可經引入至一視訊位元流中且用於執行隨機存取操作，但與使用IRAP圖片來達成隨機存取相比較就位元數而言以一較低成本。
圖1係圖解說明根據一實施例之用於執行一視訊位元流中之一隨機存取操作之一方法之一流程圖。該方法在步驟S1中開始，步驟S1包括獲得一DRAP圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。下一步驟S2包括獲得視訊位元流之一IRAP圖片。在步驟S3中解碼IRAP圖片，且在步驟S4中使用IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片。下一步驟S5包括在經解碼DRAP圖片處執行一隨機存取操作。
可依任何次序執行步驟S1至S3，只要在步驟S3之前執行步驟S2。舉例而言，可依任何次序連續地(步驟S1在步驟S2之前或步驟S2在步驟S1之前)或至少部分地並行地執行步驟S1及S2。相應地，可在步驟S3之前或之後或至少部分地與步驟S3並行地執行步驟S1。
在步驟S3中解碼之IRAP圖片可在於步驟S4中解碼DRAP圖片時用 作參考圖片且因此根據解碼次序係視訊位元流中之一前面IRAP圖片。獨立地(亦即在不具有任何參考圖片之情況下)解碼IRAP圖片。
在步驟S4中解碼之DRAP圖片(與IRAP圖片形成鮮明對比)具有至少一個參考圖片。此至少一個參考圖片較佳地係如在步驟S3中解碼之IRAP圖片。
在一實施例中，步驟S4包括僅使用視訊位元流中之根據解碼次序之一最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片。在此實施例中，DRAP圖片可僅參考視訊位元流中之根據解碼次序之最近的前面IRAP圖片且在於步驟S4中解碼DRAP圖片之區塊時僅使用此特定IRAP圖片作為參考圖片。
DRAP圖片可經編碼為具有對最近的前面IRAP圖片之一單個參考指示之一時間預測性圖片。此意味DRAP圖片可被視為一P圖片，但具有DRAP圖片構成視訊位元流中之一RAP而一P圖片無法構成此一RAP之重要差異。在另一實例中，DRAP圖片可被視為一B圖片。在此一情形中，DRAP圖片可含有使用對相同最近的前面IRAP圖片之兩個參考而非對最近的前面IRAP圖片之僅一個參考之區塊。
DRAP圖片係可僅參考一先前RAP圖片之一時間預測性圖片，諸如P圖片。在一實施例中，該先前RAP圖片可係對應於視訊位元流中較早之一圖片之一經編碼表示之一圖片。另一選擇係，該先前RAP圖片可係未輸出之一圖片但僅構成視訊位元流中之圖片之一良好參考，例如表示一場景之背景。
DRAP圖片經編碼為可用於參考之一尾隨圖片。一尾隨圖片係依輸出次序在一相關聯之RAP圖片後面之一圖片。相關聯之RAP圖片依解碼次序係最近的前面RAP圖片。在HEVC中，DRAP圖片係一所謂的TRAIL_R圖片。TRAIL_R經定義為可用於參考之一尾隨圖片。因此，視訊位元流中之依解碼次序在DRAP圖片後面之圖片可參考DRAP圖 片且在解碼期間使用DRAP圖片作為參考圖片。
因此，一尾隨圖片係未標記為一IRAP圖片且並非一IRAP圖片之一前導圖片之一圖片。尾隨圖片依解碼次序在IRAP圖片後面且因此係一IRAP圖片之一尾隨圖片。在HEVC標準中，一尾隨圖片依輸出次序亦在IRAP圖片後面。
一TRAIL_R圖片在HEVC中由一網路抽象層(NAL)類型值1指示。因此，在一實施例中，DRAP圖片包括在NAL單元(包括DRAP圖片之經編碼視訊資料)之一NAL單元標頭中之一NAL類型值1。
在一特定實施例中，DRAP圖片經編碼為可用於參考之一尾隨圖片且屬於視訊位元流之一最低層。因此，在此實施例中，DRAP圖片具有等於0之時間識別符參數(時間id或TemporalId)之一值。0之時間id意味DRAP圖片屬於最低層且可由視訊位元流中之其他圖片用作參考而不管其他圖片之時間id。
根據各種實施例，可用信號發送DRAP圖片作為視訊位元流中之一DRAP圖片。
在一實施例中，基於與DRAP圖片相關聯且包含於視訊位元流之一NAL單元標頭中之一圖片類型識別符而將DRAP圖片識別為一DRAP圖片。
因此，在此實施例中，NAL單元類型之至少一個值專用於用信號發送DRAP圖片。此意味攜載一DRAP圖片之經編碼視訊資料之NAL單元將其NAL單元標頭中之NAL單元類型參數之值設定為專用於DRAP圖片之值。作為一非限制性實例，一NAL單元類型=24可用於用信號發送DRAP圖片。
在另一實施例中，圖1之步驟S1包括：基於與DRAP圖片相關聯之一補充增強資訊(SEI)訊息而將DRAP圖片識別為一DRAP圖片。該方法然後繼續至圖1中之步驟S2。
在一實例中，SEI訊息與相關聯之圖片一起經發送，從而指示該圖片係一DRAP圖片且因此可用作視訊位元流中之RAP。因此，SEI訊息在視訊位元流中之放置指示SEI訊息屬於哪一圖片。
若使用一SEI訊息用信號發送DRAP圖片，則不必要用信號發送DRAP圖片作為視訊位元流中之一特定圖片類型，如上文實施例中所闡述。
因此，指示為dependent_rap_indication之一新類型之SEI訊息(在下文為一說明性但非限制性實例)用於用信號發送視訊位元流中之哪些圖片係DRAP圖片。
在一實施例中，SEI訊息可係空的且用於向一解碼器、一網路元件或對視訊位元流進行操作之任何實體指示與SEI訊息相關聯之圖片係一DRAP圖片。
SEI訊息然後可呈以下形式：
在其他實施例中，SEI訊息並非空的，而是可包括下文進一步闡述之額外資訊。
SEI訊息之另一版本可如此經結構化：
相依RAP指示SEI訊息輔助一解碼器判定需要解碼一視訊位元流之什麼部分以便實現與相依RAP指示SEI訊息相關聯之圖片及依輸出次序在其後面之圖片之正確解碼。
與相依RAP指示SEI訊息相關聯之圖片稱為DRAP圖片。DRAP圖 片可將其相關聯之IRAP圖片用於參考但不會將任何其他圖片用於參考。
當在DRAP圖片處執行隨機存取時，應推斷pic_output_flag之值針對依輸出次序在DRAP圖片前面之所有圖片等於0。依輸出次序在DRAP圖片前面之經解碼圖片可含有對經解碼圖片緩衝器中不可用之圖片之參考。
依輸出次序在DRAP圖片後面之圖片不會將依輸出次序或解碼次序在DRAP圖片前面之任何圖片用於參考，惟其他後續DRAP圖片亦可將相關聯之IRAP圖片用於參考例外。
broken_link_flag指示NAL單元串流中之一中斷連結在相依rap指示SEI訊息之位置處之存在或不存在且被指派如下之進一步語意：
- 若broken_link_flag等於1，則藉由在一先前IRAP存取單元之位置處開始解碼程序而產生之圖片就不應顯示在與相依RAP指示相關聯之存取單元前面之經解碼圖片而言可含有不合意之視覺假影。
- 否則(broken_link_flag等於0)，未給出關於視覺假影之任何可能存在之指示。
SEI訊息之其他版本可如此經結構化：
在此實例中，圖1之步驟S1包括至少部分地基於與視訊位元流中之DRAP圖片相關聯之一SEI訊息而識別該DRAP圖片。該方法亦包括 自SEI訊息擷取一參考圖片差量識別符。該方法進一步包括：若參考圖片差量識別符大於零，則基於DRAP圖片之一圖片次序計數(POC)值及參考圖片差量識別符而計算IRAP圖片之一POC值。在此實施例中，圖1之步驟S2包括：若參考圖片差量識別符大於零，則基於所計算之POC值而識別IRAP圖片；及若參考圖片差量識別符等於零，則將IRAP圖片識別為視訊位元流中之一最近的前面IRAP圖片。
在一特定實施例中，該方法亦包括調查參考圖片差量識別符之一值。若該值不同於零，則計算用作DRAP圖片之參考圖片之IRAP圖片之POC值，較佳地等於POC(IRAP)=POC(DRAP)-(reference_irap_picture_poc_delta_idc_minus1+1)。然後基於所計算之POC值而識別IRAP圖片。
然而，若調查得出結論：參考圖片差量識別符之值等於零，則將IRAP圖片識別為視訊位元流中之最近的前面IRAP圖片。因此，在此情形中不需要POC值之計算。
在此等實例中，IRAP圖片之POC值將總是低於DRAP圖片之POC值，此乃因IRAP依解碼及輸出次序在DRAP圖片前面。此意味參考圖片差量識別符將係零或一正整數。
SEI訊息可包含僅參數參考圖片差量識別符或與如上文所指示之中斷連結旗標一起之參考圖片差量識別符。
相依RAP指示SEI訊息輔助一解碼器判定需要解碼一視訊位元流之什麼部分以便實現與相依RAP指示SEI訊息相關聯之圖片及依輸出次序在其後面之圖片之正確解碼。
與相依RAP指示SEI訊息相關聯之圖片稱為DRAP圖片。DRAP圖片可將其相關聯之IRAP圖片用於參考但不會將任何其他圖片用於參考。
當在DRAP圖片處執行隨機存取時，應推斷pic_output_flag之值 針對依輸出次序在DRAP圖片前面之所有圖片等於0。依輸出次序在DRAP圖片前面之經解碼圖片可含有對經解碼圖片緩衝器中不可用之圖片之參考。
依輸出次序在DRAP圖片後面之圖片不會將依輸出次序或解碼次序在DRAP圖片前面之任何圖片用於參考，惟其他後續DRAP圖片亦可將相關聯之IRAP圖片用於參考例外。
broken_link_flag在存在之情況下如在以上SEI實例中經定義。
referenced_irap_picture_poc_delta_idc_minus1規定DRAP圖片之POC與由DRAP圖片參考之IRAP圖片之POC之間的差減1。
在實施例之進一步版本中，SEI訊息可如此經結構化：
此等版本類似於上文，但在此情形中，若referenced_irap_picture_poc_delta_idc之值大於零，則IRAP圖片之POC值經計算為POC(IRAP)=POC(DRAP)-reference_irap_picture_poc_delta_idc。
相依RAP指示SEI訊息輔助一解碼器判定需要解碼一視訊位元流之什麼部分以便實現與相依RAP指示SEI訊息相關聯之圖片及依輸出次序在其後面之圖片之正確解碼。
與相依RAP指示SEI訊息相關聯之圖片稱為DRAP圖片。DRAP圖片可將其相關聯之IRAP圖片用於參考但不會將任何其他圖片用於參考。
當在DRAP圖片處執行隨機存取時，應推斷pic_output_flag之值針對依輸出次序在DRAP圖片前面之所有圖片等於0。依輸出次序在DRAP圖片前面之經解碼圖片可含有對經解碼圖片緩衝器中不可用之圖片之參考。
依輸出次序在DRAP圖片後面之圖片不會將依輸出次序或解碼次序在DRAP圖片前面之任何圖片用於參考，惟其他後續DRAP圖片亦可將相關聯之IRAP圖片用於參考例外。
broken_link_flag在存在之情況下如在以上SEI實例中經定義。
referenced_irap_picture_poc_delta_idc在大於零時規定DRAP圖片之POC與由DRAP圖片參考之IRAP圖片之POC之間的差。當referenced_irap_picture_poc_delta_idc等於0時，DRAP將先前IRAP圖片用於參考。
如所見，可以兩種不同方式規定對IRAP圖片之參考，藉由使用差量idc之明確參考或例如先前IRAP圖片用於參考。不總是使用明確參考之原因係：針對其中在系統層處以任何方式用信號發送IRAP及可能DRAP之某些系統應用，獲得POC值可有點兒麻煩。此外，藉由不明確地用信號發送參考而節省一些位元。
SEI訊息之再一版本可如此經結構化：
相依RAP指示SEI訊息輔助一解碼器判定需要解碼一視訊位元流 之什麼部分以便實現與相依RAP指示SEI訊息相關聯之圖片及依輸出次序在其後面之圖片之正確解碼。
與相依RAP指示SEI訊息相關聯之圖片稱為DRAP圖片。DRAP圖片可將其相關聯之IRAP圖片用於參考但不會將任何其他圖片用於參考。
當在DRAP圖片處執行隨機存取時，應推斷pic_output_flag之值針對依輸出次序在DRAP圖片前面之所有圖片等於0。依輸出次序在DRAP圖片前面之經解碼圖片可含有對經解碼圖片緩衝器中不可用之圖片之參考。
依輸出次序在DRAP圖片後面之圖片不會將依輸出次序或解碼次序在DRAP圖片前面之任何圖片用於參考，惟其他後續DRAP圖片亦可將相關聯之IRAP圖片用於參考例外。
broken_link_flag在存在之情況下如在以上SEI實例中經定義。
referenced_irap_picture_poc_lsb規定由DRAP圖片參考之IRAP圖片之POC最低有效位(lsb)。
然後基於參數referenced_rap_picture_poc_lsb而計算IRAP圖片之POC值，因此允許用作DRAP圖片之參考圖片之IRAP圖片之識別。
可在ITU-T H.265系列H之章節8.3.2.-參考圖片集之解碼程序(視聽及多媒體系統、視聽服務基礎結構-移動視訊寫碼、高效率視訊寫碼)中找到如何基於參數referenced_rap_picture_poc_lsb而計算IRAP圖片之POC值之更多資訊。
SEI訊息之再一版本可如此經結構化：
相依RAP指示SEI訊息輔助一解碼器判定需要解碼一視訊位元流之什麼部分以便實現與相依RAP指示SEI訊息相關聯之圖片及依輸出次序在其後面之圖片之正確解碼。
與相依RAP指示SEI訊息相關聯之圖片稱為DRAP圖片。DRAP圖片可將其相關聯之IRAP圖片用於參考但不會將任何其他圖片用於參考。
當在DRAP圖片處執行隨機存取時，應推斷pic_output_flag之值針對依輸出次序在DRAP圖片前面之所有圖片等於0。依輸出次序在DRAP圖片前面之經解碼圖片可含有對經解碼圖片緩衝器中不可用之圖片之參考。
依輸出次序在DRAP圖片後面之圖片不會將依輸出次序或解碼次序在DRAP圖片前面之任何圖片用於參考，惟其他後續DRAP圖片亦可將相關聯之IRAP圖片用於參考例外。
broken_link_flag在存在之情況下如在以上SEI實例中經定義。
implicitly_reference_previous_irap_picture_flag根據如下內容指示先前IRAP圖片是否由與相依RAP指示SEI訊息相關聯之DRAP圖片參考：
- 若implicitly_reference_previous_irap_picture_flag等於1，則DRAP圖片參考先前IRAP圖片而不在相依RAP指示SEI訊息中明確地 參考此IRAP圖片。
- 否則，若implicitly_reference_previous_irap_picture_flag等於0，則在相依RAP指示SEI訊息中明確地用信號發送針對由DRAP圖片參考之IRAP圖片之一參考指示符。
referenced_irap_picture_poc_delta_idc如在以上SEI實例中經定義。
另一選擇係，使用明確地參考之先前IRAP圖片旗標之此實例性實施例可與參數referenced_irap_picture_poc_delta_idc_minus1或referenced_irap_picture_poc_lsb而非referenced_irap_picture_poc_delta_idc一起使用。
在一實施例中，圖1之步驟S2包括：基於存在於DRAP圖片之一參考圖片集(RPS)中的一經解碼圖片緩衝器(DPB)中之IRAP圖片之一識別符而識別該IRAP圖片。
因此，在此實施例中，較佳地自DRAP圖片之RPS擷取IRAP圖片之一識別符。DRAP圖片之RPS可用信號發送IRAP圖片作為一短期參考圖片或一長期參考圖片。
該方法然後繼續至步驟S3，其中解碼由自RPS擷取之識別符識別之IRAP圖片以因此將該IRAP圖片用作DRAP圖片之參考圖片。然後在步驟S4中在於步驟S3中解碼之IRAP圖片作為唯一參考圖片之情況下解碼DRAP圖片。
在一替代實施例中，IRAP圖片經解碼且儲存於DPB中。然後，剖析DRAP圖片之RPS以便擷取IRAP圖片之識別符。此識別符因此用信號發送如下內容：已經解碼之IRAP圖片應作為一短期參考圖片或一長期參考圖片保持儲存於DPB中且在解碼DRAP圖片之區塊時用作參考圖片。因此，在此情形中，在步驟S1及S4之前執行步驟S2及S3。
因此，在此實施例中，IRAP圖片係唯一參考圖片且因此在DRAP圖片之RPS中用信號發送IRAP圖片。可取決於經解碼IRAP圖片應保持儲存於DPB中之時間而用信號發送IRAP圖片作為一所謂的短期參考圖片或一長期參考圖片。
在使用RPS之HEVC及其他視訊寫碼標準中，使用一圖片作為一參考圖片對應於在RPS之所謂的Curr清單中(亦即RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中)具有一識別符。此意味：DRAP圖片在其RPS之Curr清單中較佳地僅具有IRAP圖片之識別符。在解碼DRAP圖片時無法用作參考圖片之其他先前圖片之識別符仍可存在於RPS中、DRAP圖片之RPS之Foll清單中，亦即PocStFoll或PocLtFoll中。
如上文所提及，在步驟S4中解碼之DRAP圖片構成視訊位元流中之一RAP。因此，DRAP圖片可用作視訊位元流中之一RAP且可用於執行視訊位元流中之一隨機存取操作，亦即可能在DRAP圖片處執行一隨機存取操作。請注意：在步驟S3中解碼之IRAP圖片亦係視訊位元流中之一RAP。然而，由IRAP圖片提供之RAP係一獨立RAP，此隱含可在不參考視訊位元流中之任何其他圖片之情況下解碼IRAP圖片。此與由DRAP圖片提供之RAP形成鮮明對比，由DRAP圖片提供之RAP係一相依RAP，此隱含DRAP圖片參考視訊位元流中之一先前IRAP圖片且因此使用此先前IRAP圖片作為唯一參考圖片來解碼。
DRAP圖片構成視訊位元流中之一隨機存取點。此意味可在視訊位元流中之對應於DRAP圖片之位置處發生一隨機存取操作。然而，DRAP圖片係一相依RAP圖片。在IRAP圖片作為DRAP圖片之唯一參考圖片之情況下解碼DRAP圖片。此意味：為了執行隨機存取操作，亦需要解碼IRAP圖片。然而，不需要解碼IRAP圖片與當前DRAP圖片之間的任何其他圖片以便執行隨機存取操作。因此，在一特定實施例 中，與IRAP圖片一起之DRAP圖片構成視訊位元流中之一隨機存取點。
圖4係圖解說明根據各種實施例之方法之額外選用步驟之一流程圖。在一實施例中，該方法自圖1中之步驟S5繼續。下一步驟S30包括解碼視訊依輸出次序及解碼次序在DRAP圖片後面的視訊位元流之至少一個非RAP圖片。該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
因此，在DRAP圖片後面之非RAP圖片不參考依解碼次序在DRAP圖片前面之任何圖片，惟可能參考用作DRAP圖片之參考之IRAP圖片例外。此意味：依解碼次序在DRAP圖片前面之非RAP圖片不用作依輸出次序及解碼次序在DRAP圖片後面之任何非RAP圖片之參考圖片。
因此，禁止跨越一DRAP圖片之預測。在DRAP圖片後面之非RAP圖片必須不使用在DRAP圖片前面之任何非RAP圖片或在與DRAP圖片相關聯之IRAP圖片前面之任何圖片進行預測。與DRAP圖片相關聯之IRAP圖片依解碼次序係最近的前面IRAP圖片。
在一特定實施例中，依輸出次序及解碼次序在DRAP圖片後面之圖片可不使用依解碼次序在DRAP圖片前面之任何圖片作為參考圖片，惟依輸出及解碼次序在DRAP圖片後面之圖片可使用與DRAP圖片相關聯之IRAP圖片作為參考圖片例外。
在另一特定實施例中，依輸出次序及解碼次序在DRAP圖片後面之圖片可不使用依解碼次序在DRAP圖片前面之任何圖片作為參考圖片，惟一接下來DRAP圖片可使用IRAP圖片作為參考圖片例外。
在又一特定實施例中，依輸出及解碼次序在DRAP圖片後面之圖片另外可不使用依解碼次序在與DRAP圖片相關聯(亦即在解碼DRAP圖片時用作參考圖片)之IRAP圖片前面之任何RAP圖片。
跨越DRAP圖片之預測之此限制實現高效地使用DRAP圖片作為視訊位元流中之RAP。若將允許跨越DRAP圖片之預測，則依解碼及輸出次序在DRAP圖片後面之非RAP圖片可能未經正確地解碼(假如DRAP圖片在一隨機存取操作中用作RAP)，此乃因依解碼次序在DRAP圖片前面之任何參考圖片在DPB中可能不可用。
以下兩個步驟S32及S33係關於輸出實施例。步驟S32包括輸出經解碼DRAP圖片。以下步驟S33包括輸出非RAP圖片。
在步驟S32及S33中輸出之圖片根據可不同於解碼次序之輸出次序經輸出。在隨機存取操作中，解碼以IRAP圖片開始(S3)且然後以構成用於隨機存取操作之RAP之DRAP圖片繼續(S4)。解碼然後以接下來非RAP圖片繼續(S30)。在隨機存取操作之後輸出之第一圖片較佳地係DRAP圖片(S32)且然後依輸出次序輸出非RAP圖片(S33)。
因此，在一較佳實施例中，較佳地不輸出用作DRAP圖片之參考圖片之IRAP圖片。在HEVC中，可藉由將IRAP圖片之一輸出旗標設定為0以指示不應輸出IRAP圖片而用信號發送此。另一選擇係，解碼器可推斷在DRAP圖片前面之圖片之輸出旗標之值為0以因此在於DRAP圖片處進行一隨機存取操作時防止此等前面圖片經輸出。抑制圖片輸出之其他構件可用於非HEVC視訊。
因此，在一特定實施例中，該方法自圖1中之步驟S1繼續且下一步驟S31包括接收與IRAP圖片相關聯之一輸出旗標。該輸出旗標指示不應輸出IRAP圖片。
步驟S32及S33中之圖片輸出通常涉及用於顯示之輸出。然而，另一選擇係，輸出可意味用於除顯示以外之目的之輸出。非限制性實例包含用於轉碼之輸出、用於儲存之輸出、例如監督應用中之用於視訊分析之輸出等。
下文中，將呈現隨機存取操作之各種實例及實施例之DRAP圖片 之使用。
一第一實例適合用於但不限於適應性串流，此項技術中亦稱為適應性位元率串流。適應性串流幾乎完全基於HTTP且經設計以經由大量分佈式HTTP網路(諸如網際網路)高效地工作。一般而言，適應性串流涉及即時偵測一使用者用戶端之頻寬及中央處理單元(CPU)能力且因此調整一視訊位元流之品質。更具體而言，適應性串流可係指經由HTTP之視訊串流之一方法，其中可以多個位元率編碼視訊內容，然後將不同位元率視訊位元流中之每一者分段成小的多秒部分，此項技術中通常為所表示分段或組塊。當開始串流階段時，使用者用戶端通常向最低位元率視訊位元流請求分段。若使用者用戶端發現下載速度大於所下載之分段之位元率，則其將請求下一較高位元率分段。稍後，若用戶端發現一分段之下載速度低於分段之位元率，且因此網路通量已劣化，則其將請求一較低位元率分段。分段大小可取決於特定實施方案而變化，但其通常介於兩秒與十秒之間。
適應性串流以如下形式當前可用：DASH(亦稱為MPEG-DASH)、HLS、微軟平滑串流、Adobe Flash動態串流、AuayStreams適應性串流及藉由上行鏈路之高清晰度(HD)適應性串流，作為說明性但非限制性實例。
圖2係圖解說明圖1中之步驟S1及S2之一實施例之一流程圖。方法在步驟S10中開始，步驟S10包括下載視訊位元流之經編碼視訊資料之一分段。該分段以IRAP圖片開始且包括至少一個DRAP圖片。一接下來步驟S11包括基於一向前跳越(jump forward)或快轉請求而識別該分段中之DRAP圖片。該方法然後繼續至圖1中之步驟S3。
作為隨機存取操作之一實例，圖2中所圖解說明之實施例因此適合用於經編碼視訊資料之一分段內之技巧播放操作(向前跳越或快轉)。
在此實施例中，視訊位元流之經編碼視訊資料較佳地分割或分段成可(舉例而言)含有介於兩秒與十秒之間的視訊資料之若干分段或組塊。每一此類分段然後較佳地以一RAP(通常呈一各別IRAP圖片之形式)開始。該分段較佳地亦包括通常呈DRAP圖片之形式之至少一個額外RAP。舉例而言，若該分段具有十秒之一總長度，則DRAP圖片可以每0.5s、每一秒或每2s存在。
分段中之至少一個DRAP圖片構成在其處可發生一向前跳越或快轉操作之一RAP。向前跳越通常涉及自視訊位元流內之一當前播放或播出位置移動至繼當前播放位置之後之另一播放位置。在此情形中，播放在不播放或播出任何中間視訊資料之情況下「跳」至新位置。快轉係以快於其通常將播放或播出之速度之一速度向前移動穿過一視訊串流。
在向前跳越情景中，使用者通常使用一遠端控件、滑鼠、鍵盤、觸敏螢幕或使用者用戶端之其他輸入裝置或連接至使用者用戶端之其他輸入裝置選擇視訊串流內之一所要前進位置。產生指示或表示所要前進位置之一向前跳越請求。識別分段內之與所要前進位置相關聯之一RAP。若相關聯之RAP係一IRAP圖片，則此IRAP圖片經解碼且輸出以用於顯示，後續接著解碼且輸出視訊位元流中之依解碼次序及輸出次序在IRAP圖片後面之圖片。若相關聯之RAP係一DRAP圖片，則解碼係DRAP圖片之唯一參考圖片之IRAP圖片，除非已以經解碼形式提供IRAP圖片。使用IRAP圖片作為唯一參考圖片來解碼DRAP圖片。然後可輸出經解碼DRAP圖片，後續接著解碼且輸出視訊位元流中之依解碼次序及輸出次序在DRAP圖片後面之圖片。在一特定實施例中，用作DRAP圖片之參考圖片之IRAP圖片較佳地未經輸出以用於顯示。因此，在向前跳越請求之後輸出DRAP圖片作為第一圖片，然而IRAP圖片僅用作參考圖片且因此在接收到向前跳越請求之後未 經輸出以用於顯示。
與所要前進位置相關聯之RAP較佳地係在時間上最靠近於所要前進位置之RAP圖片。在一特定實施例中，相關聯之RAP較佳地係在時間上最靠近但在所要前進位置前面或在所要前進位置處發生之RAP圖片。在此特定實施例中，使用者將不會自使用者之所要向前跳越位置錯過任何視訊內容之顯示。
在快轉情景中，使用者通常使用使用者用戶端之輸入裝置或連接至使用者用戶端之輸入裝置選擇一快轉操作。一快轉請求經產生且引起視訊位元流之視訊資料之一快轉輸出。可藉由僅解碼及輸出分段之RAP圖片而實施此一快轉操作。舉例而言，解碼且輸出存在於分段之開始處之IRAP圖片，後續接著解碼且輸出分段之使用IRAP圖片作為參考圖片來解碼之第一DRAP圖片，繼而後續接著解碼且輸出分段之使用IRAP圖片作為參考圖片來解碼之第二DRAP圖片等等，直到到達分段之結尾且程序在視訊位元流之接下來分段中繼續。
在快轉之此說明性實例中，僅RAP圖片(亦即IRAP及DRAP圖片)經解碼且輸出以用於顯示，然而存在於視訊位元流之分段中之非RAP圖片未經解碼或輸出。
與將圖片編碼為IRAP圖片相比較，將一圖片編碼為DRAP圖片通常需要顯著較少位元。因此，此等實施例實現高效向前跳越及快轉操作作為技巧播放及隨機存取操作之說明性實例，但具有視訊位元流之一較低位元成本。另一選擇係，更多RAP可包含於視訊位元流中，亦即可藉由使用DRAP圖片作為分段內之全部或至少大多數RAP而減少圖框間RAP距離。在此一情形中，僅分段之開始處之RAP需要係一IRAP圖片。
圖3係圖解說明圖1中之步驟S1及S2之另一實施例之一流程圖。方法在步驟S20中開始，步驟S20包括下載視訊位元流之經編碼視訊資 料之一分段之一第一部分。分段之第一部分包括IRAP圖片且該分段係基於一向前跳越請求或一表示切換請求而識別。一接下來步驟S21包括下載以基於向前跳越請求或表示切換請求而識別之DRAP圖片開始的該分段之一第二部分該分段。方法然後繼續至圖1中之步驟S3。
在此情形中，含有由向前跳越請求表示之所要向前跳越位置之分段並非當前分段且因此需要經下載。然而，替代下載完整分段，此實施例較佳地僅下載對應於IRAP圖片的分段之第一部分及以DRAP圖片開始的該分段之一第二部分，該分段與向前跳越請求相關聯，亦即基於向前跳越請求而經識別。
分段之第一部分中之IRAP圖片然後經解碼且在解碼分段之第二部分之開始處之DRAP圖片時用作參考圖片。DRAP圖片較佳地經輸出以用於顯示且用於顯示之解碼及輸出以分段之第二部分之接下來圖片繼續。在一較佳實施例中，分段之第一部分中之IRAP圖片未經輸出以用於顯示，而是僅在解碼DRAP圖片時用作參考圖片且在解碼分段之第二部分中之接下來圖片時視情況用作參考圖片。
在另一實施例中，第一分段之IRAP圖片及第二分段中之自DRAP圖片一直至由向前跳越請求表示之所要前進位置之圖片經解碼但未經輸出以用於顯示。經輸出以用於顯示之第一圖片係所要前進位置處之圖片(依輸出次序後續接著後續圖片)。
DRAP圖片及因此第二分段之開始較佳地基於如本文中先前所闡述之向前跳越請求而經識別，亦即作為最近DRAP圖片或在所要前進位置前面之最近DRAP圖片。
DRAP圖片之使用減少在執行一向前跳越操作時下載一完整分段之需要且此外構成RAP，但與使用IRAP圖片相比以較低位元成本。因此，DRAP圖片可減少執行一向前跳越操作花費之時間。
前文中已闡述之適應性串流實現視訊資料之不同表示之間的切 換，其中不同表示攜載以不同位元率編碼之視訊資料。一表示切換因此涉及自一當前表示之一當前分段(亦即處於一當前位元率之視訊位元流)至一新表示之一新分段(亦即一新位元率之視訊位元流)之切換。
因此，在接收到指示目標表示或視訊位元流之一表示切換請求後，即刻在步驟S20中下載新表示之一分段之一第一部分後續接著在步驟S21中下載分段之一第二部分。分段之第一部分包括一IRAP圖片，然而第二部分以較佳地與請求表示切換之時間點相關聯之一DRAP圖片開始。因此，DRAP圖片較佳地係關於表示切換之時間點之最近的(諸如最近的前面或最近的後面)DRAP圖片。
實例性實施例1
一第一實例性實施例涉及適應性串流，舉例而言透過經由HTTP之動態適應性串流(DASH)。
現今，DASH分段通常具有大約10秒之長度，其中每秒具有IRAP圖片以實現技巧播放。
可透過DRAP圖片之使用增加此等分段之品質，此乃因DRAP圖片通常需要低於IRAP圖片之位元率以達成相同品質。關於此實施例，並非分段中之第一圖片之IRAP圖片由DRAP圖片替換。
在實施例之一第一使用情形中，用戶端已下載整個分段且執行分段內之技巧播放，例如快轉或向前跳越。藉由解碼開始分段之IRAP圖片而不顯示其且然後解碼對應於由使用者選擇之位置之DRAP圖片而容易地實現向前跳越。藉由解碼IRAP圖片且然後解碼分段中之DRAP圖片而實現快轉。
在一第二使用情形中，使用者跳至未經下載之一分段。為了在選定點處開始播放，用戶端需要僅下載對應於IRAP圖片的分段之第一部分及自DRAP圖片向前之部分。
在一第三使用情形中，在一分段內(亦即並非在分段邊界處)執行 表示之切換。為了執行切換，用戶端需要僅下載其正切換至之表示中之分段之第一部分(對應於IRAP圖片)及自DRAP圖片向前之部分。
圖16中之發信號圖中圖解說明下文之步驟。
一使用者用戶端100可藉由以下有序步驟而使用第二或第三使用情形：
1)藉由使用者請求或藉由其他手段起始隨機存取。
2)使用者用戶端100將對一視訊位元流中之一位置之一請求發送至一伺服器200。使用者用戶端100可知曉可用隨機存取點且選擇彼等可用隨機存取點中之一者。
3)使用者用戶端100接收一IRAP圖片、一DRAP圖片及依解碼次序在DRAP圖片後面之經寫碼圖片，及可能諸如參數集(例如視訊參數集(VPS)、序列參數集(SPS)、圖片參數集(PPS))之其他資料。使用者用戶端100解碼資料且輸出經解碼圖片。IRAP圖片可未經輸出。
一伺服器200可藉由以下有序步驟而使用第二或第三使用情形：
1)伺服器200接收對一視訊位元流中之一位置之一請求。該位置可係使用DRAP圖片之一隨機存取點。
2)伺服器200發送與DRAP圖片相關聯之IRAP圖片、DRAP圖片及在DRAP圖片後面之圖片資料，及可能諸如參數集(例如VPS、SPS、PPS)之其他資料。伺服器200可用信號發送如下內容給接收器：IRAP圖片不應輸出或由使用者用戶端100顯示。伺服器200可藉由將IRAP資料之output_flag設定為0而針對一HEVC位元流實現此。
一第二實例適合用於但不限於廣播服務，諸如地面、衛星及電纜服務。在此一廣播服務中，一接收器接收一個頻道(諸如TV頻道)之一視訊位元流，解碼該視訊位元流且將經解碼視訊資料顯示給使用者。接收器另外接收一或多個額外頻道之視訊位元流亦係常見的。
圖5係圖解說明適合用於廣播服務之一實施例之一流程圖。方法 在步驟S40中開始，步驟S40包括接收且解碼表示一當前頻道之一當前視訊位元流。在步驟S41中接收表示另一頻道之一視訊位元流。在步驟S42中將在步驟S41中接收之視訊位元流之一最新IRAP圖片或最新IRAP圖片之一經解碼版本儲存於一記憶體中。
以下兩個步驟S43及S44表示圖1中之步驟S1及S2之一實施例。步驟S43包括：基於識別另一頻道之一頻道切換請求而自記憶體擷取最新IRAP圖片之經解碼版本之最新IRAP圖片。下一步驟S44包括在頻道切換請求之後接收DRAP圖片作為視訊位元流內之下一DRAP圖片。
方法然後繼續至圖3之步驟S3，其中解碼最新IRAP圖片。若以經解碼版本儲存最新IRAP圖片，則可省略此步驟S3，此乃因已連同將最新IRAP圖片儲存於記憶體中而執行此步驟S3。然後使用最新IRAP圖片之經解碼版本作為唯一參考圖片來解碼DRAP圖片。
較佳地，只要使用者正觀看當前頻道(亦即，取決於頻道切換)，即執行步驟S40至S42，由圖5中之線L1示意性圖解說明。此意味除接收當前視訊位元流之外使用者用戶端亦接收攜載至少一個其他頻道之經編碼視訊資料之至少一個其他視訊位元流。步驟S42然後較佳地包括暫時儲存每一此類其他視訊位元流之最新IRAP圖片或其經解碼版本。此意味需要針對每一其他視訊位元流儲存僅一單個IRAP圖片，儘管可能保持每視訊位元流儲存一個以上IRAP圖片。一旦自至少一個其他視訊位元流接收一新IRAP圖片，新IRAP圖片便可替換針對至少一個其他視訊位元流儲存於記憶體中之IRAP圖片。
當使用者想要觀看另一頻道而非當前頻道時，其使用使用者用戶端之一輸入裝置或連接至使用者用戶端之一輸入裝置來產生指示所要頻道之一頻道切換請求。然後自記憶體擷取由頻道切換請求指示之頻道及視訊位元流之最新IRAP圖片或其經解碼版本。然後可在針對所要視訊位元流接收之第一或下一DRAP圖片處實現頻道切換。自記 憶體擷取之IRAP圖片經解碼，除非以經解碼形式經儲存，且然後在解碼所接收DRAP圖片時用作參考圖片。DRAP圖片然後可經輸出以用於顯示，後續接著輸出視訊位元流中之根據解碼及輸出次序在DRAP圖片後面之經解碼圖片。在一特定實施例中，IRAP圖片僅在解碼DRAP圖片時且視情況在解碼視訊位元流中之接下來圖片時用作參考圖片。因此，IRAP圖片較佳地未經輸出以用於顯示。
實施例之DRAP圖片實現一高效頻道切換，此乃因其他視訊位元流及頻道之僅IRAP圖片需要儲存於記憶體中。頻道切換然後可在頻道切換請求之後發生在對應於視訊位元流中之第一DRAP圖片之時間點處。保證視訊位元流之DRAP圖片及接下來圖片經解碼，此乃因用作DRAP圖片之唯一參考之最新IRAP圖片已係可用的。
在一些情景中，接收器可不能夠一次接收及儲存所有可用頻道之最新IRAP圖片，此歸因於頻寬限制或歸因於接收器之不足通量或處理能力。除當前觀看之頻道之外，一可能解決方案然後將係接收且儲存使用者最可能切換至之頻道之最新IRAP圖片。此可包含使用者具有一通常觀看歷史之頻道及/或頻道清單中之直接在當前觀看之頻道後面及前面之頻道。舉例而言，若一使用者正觀看頻道清單中之頻道5，則可同時接收頻道4、6、7及8且可儲存此等圖片之最新IRAP圖片。
此外，由於DRAP圖片構成有效RAP但與IRAP圖片相比以一較低成本，因此更多RAP可在不增加位元成本或僅具有位元成本之低增加之情況下提供於視訊位元流中。此意味可藉由使用DRAP圖片作為IRAP圖片之一補充而顯著減少自一使用者請求一頻道切換直至可在下一RAP處實現頻道切換之時間。
實例性實施例2
一第二實例性實施例係關於廣播服務。在廣播服務中，通常以 頻繁間隔(例如，每秒一次)發送IRAP圖片以實現合理頻道切換時間。具有甚至更頻繁IRAP圖片將係合意的以更進一步減少頻道切換時間，但其係不可行的，此乃因IRAP圖片然後將消耗可用位元率之一大部分且降低總體品質。
假定一終端使用者正觀看一頻道。解決頻道切換延遲之問題之一種方式係具有自除當前頻道以外之頻道接收資料且儲存資料之額外調諧器。然而，緩衝來自數個其他頻道之所有資料可能由於接收器及/或緩衝器能力之限制而不可行。
可透過DRAP圖片之使用解決該問題。然後需要緩衝來自其他頻道之僅IRAP圖片且可在使用者已選擇切換頻道之後出現之第一DRAP圖片處執行頻道切換。可比IRAP圖片更加頻繁地發送DRAP圖片，例如每160ms，而不顯著影響總體品質。
在一項實施例中，僅儲存每一頻道之依解碼次序之最新IRAP圖片。在一項實施例中，儲存經壓縮IRAP圖片且在由使用者或由其他構件觸發一頻道切換或隨機存取時進行IRAP圖片及DRAP圖片之解碼。在另一實施例中，在觸發頻道切換或隨機存取之前解碼IRAP圖片使得需要在隨機存取後即刻解碼僅DRAP圖片資料。
圖15中展示使用DRAP圖片進行頻道切換之一實例。圖15中之暗灰圖片係IRAP圖片，中灰圖片係DRAP圖片且白色圖片係其他時間預測性圖片，亦即非RAP P圖片及/或B圖片。一使用者正觀看頻道A。額外調諧器接收且緩衝頻道B、C及D之最新IRAP圖片。在圖片位置45處，使用者正切換至頻道B，參見箭頭B。在解碼器可開始藉助來自經緩衝IRAP圖片之幫助解碼頻道B之前，頻道B調諧器為了下一DRAP圖片等待4個圖片。在圖片位置67處，使用者正切換至頻道C，參見箭頭C。在解碼器可開始解碼頻道C之前，解碼器為了下一DRAP圖片等待6個圖片。最新IRAP圖片用於解碼DRAP圖片。若視訊位元 流將不含有任何DRAP圖片，則解碼器將需要在一頻道切換之後在解碼之前為了下一IRAP圖片而等待。在下文之實例中，解碼器將需要在於頻道A與頻道B之間切換時等待20個圖片且在於頻道B與頻道C之間切換時等待30個圖片。
一第三實例適合用於但不限於即時串流、伺服器控制之串流及交談式服務。在此等類型之服務中，使用者用戶端與伺服器之間存在提供視訊位元流之一回饋頻道。作為一非限制性實例，此可基於關於一即時傳送協定(RTP)控制協定(RTCP)回饋頻道之RTP。RTP係用於經由IP網路遞送音訊及視訊之一網路協定。RTP專門用於涉及串流媒體之通信及娛樂系統(諸如電話、視訊電話會議應用、電視服務及基於web之隨壓即說特徵)中。RTP連同RTCP一起使用。當RTP攜載媒體串流時，RTCP用於監視傳輸統計資料及服務品質(QoS)且輔助多個串流之同步。
交談式服務包含視訊電話會議應用，包含大型視訊會議。
圖6係圖解說明一實施例之一流程圖，該流程圖圖解說明適合用於即時串流、伺服器控制之串流及交談式服務之方法之額外步驟。該方法在步驟S50中開始，步驟S50係圖1中之步驟S1之一實施例。步驟S50包括在一通信頻道上接收包括IRAP圖片之一視訊位元流。然後在圖1之步驟S3中解碼IRAP圖片。以下步驟S51及S52表示圖1中之步驟S2之一實施例。步驟S51包括在偵測到視訊位元流中之一損毀或遺失圖片之後在一回饋頻道上傳輸一回饋訊息。該回饋訊息指示視訊對應於損毀或遺失圖片的該視訊位元流內之一位置。下一步驟S52包括接收基於回饋訊息而產生之DRAP圖片。該方法然後繼續至圖1之步驟S4，其中使用在步驟S3中解碼之IRAP圖片作為唯一參考圖片來解碼DRAP圖片。
在此實施例中，經由通信頻道發送視訊位元流之經編碼視訊資 料。使用者用戶端然後偵測視訊位元流中之一損毀或遺失圖片且在回饋頻道上編譯並發送一回饋訊息。作為一實例，通信頻道可使用RTP，然而回饋頻道使用RTCP。一DRAP圖片因此經產生且使用一IRAP圖片作為唯一參考圖片來編碼。此IRAP圖片較佳地係在視訊位元流中之損毀或遺失圖片之位置之前的視訊位元流中之最新IRAP圖片。在回饋訊息中指示此位置，因此允許一伺服器經由回饋頻道產生且傳輸DRAP圖片。
使用者用戶端因此可重新開始視訊位元流中之視訊資料之正確解碼及輸出，自使用先前所接收且經解碼IRAP圖片來解碼之所接收DRAP圖片之位置開始。較佳地經由通信頻道接收在DRAP圖片後面之經編碼圖片且解碼並輸出此等圖片以重新開始視訊顯示。
因此，實施例之DRAP圖片可用作處置一視訊位元流中之損毀或遺失圖片以因此在此一損毀或遺失圖片之後實現一隨機存取操作之一高效工具。
實例性實施例3
一第三實例性實施例涉及其中存在一回饋頻道之即時串流及交談式服務。舉例而言，此可基於關於一RTCP回饋頻道之RTP。回饋頻道可用於報告解碼程序中之圖片遺失或任何類型之問題，且通常用於一對一應用中但亦可用於一對多情景中。一項特定實例係雙向視訊電話或視訊會議。
來自一編碼器之對自用戶端解碼器發送且指示經解碼視訊係損毀之一回饋訊息的一典型先前技術回應係用以發送一IRAP圖片以再新視訊。
在此實施例中，一編碼器可替代地藉由使用一先前接收之較舊圖片進行預測而非使用在解碼器中可係損毀或遺失之較新圖片來對一回饋訊息做出回應。一編碼器可藉由指示一特定圖片係一長期圖片而 用信號發送如下內容給解碼器：該圖片應保持於經解碼圖片緩衝器(DPB)中。若較舊圖片係一IRAP圖片，則編碼器可在其已接收一回饋訊息之後將下一圖片編碼為一DRAP圖片。解碼器在回饋訊息中向編碼器指示視訊自何時起係損毀的。編碼器然後知曉IRAP是否可用於編碼一DRAP圖片。
請求一DRAP圖片與請求一IRAP圖片相比較之優點係：DRAP圖片具有較佳壓縮效率。
在大型視訊會議(亦即一對多視訊會議)中，每當一新參與者加入會議時會議伺服器需要根據先前技術技巧向發送者請求一昂貴IRAP圖片。然而，使用實施例之DRAP圖片解決此等問題。當一新參與者加入視訊會議時，會議伺服器藉由單點傳播(諸如使用回饋頻道)將先前IRAP發送至彼參與者。會議伺服器然後可向發送者請求一相應地便宜之DRAP圖片。一旦視訊位元流中出現下一DRAP圖片，新參與者便可加入視訊會議。在此情形中，參與者在解碼DRAP圖片時使用藉由單點傳播接收自會議伺服器接收之IRAP圖片作為參考圖片。
另一使用情形係伺服器控制之串流。在此實例中，使用者用戶端請求一視訊位元流中之一特定位置自伺服器經遞送，例如藉由使用具有即時串流協定(RTSP)中之範圍值之一PLAY請求。伺服器可動態地將視訊位元流構建為藉由將一先前IRAP圖片與對應於所請求範圍之開始之DRAP圖片串連而經遞送。
舉例而言，使用者用戶端可請求在視訊位元流中之37s處之一位置處開始。伺服器識別與所要開始位置相關聯之一DRAP圖片。伺服器然後可藉由將最先前IRAP圖片(諸如對應於視訊位元流之開始(位置0s))與經識別DRAP圖片串連而編譯一視訊位元流。
圖17圖解說明展示一伺服器200之一發信號圖，伺服器200將一IRAP圖片後續接著非RAP圖片發送至一使用者用戶端100。一非RAP 圖片在傳輸中遺失。使用者用戶端100偵測到在其繼而接收下一圖片時已遺失一圖片。使用者用戶端100然後發送向伺服器200請求一DRAP圖片之一回饋訊息且指示應取決於哪一所接收IRAP圖片。伺服器200編碼DRAP圖片且將其發送至使用者用戶端100，後續接著視訊位元流之非RAP圖片。
接收一DRAP圖片之一解碼器可忽略在DRAP圖片前面之資料(例如，可存在於解碼器之預解碼緩衝器中)，此乃因彼資料將可能導致損毀的經解碼圖片。
若使用上文所闡述之SEI訊息中之一者指示DRAP圖片，則編碼器可將中斷連結旗標設定為等於1以強調提示可存在關於依解碼次序在DRAP圖片前面之圖片之問題。
圖7係圖解說明根據一實施例之一視訊通信方法之一流程圖。該方法包括：在步驟S60中，在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端。下一步驟S61包括在一回饋頻道上接收來自使用者用戶端之一回饋訊息。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。以下步驟S62包括：基於回饋訊息而使用視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。在步驟S62中將DRAP圖片編碼為可用於參考之一尾隨圖片且該DRAP圖片構成視訊位元流中之一隨機存取點。然後在步驟S63中將DRAP圖片傳輸至使用者用戶端。
上文所闡述且圖7中所圖解說明之視訊通信方法較佳地對應於由與一或多個使用者用戶端通信之一伺服器執行之操作，諸如圖17中所展示及上文所闡述。因此，視訊通信方法尤其適合用於即時串流、伺服器控制器串流及交談式服務，諸如雙向視訊電話及視訊會議。通信頻道較佳地使用RTP作為網路協定以傳輸視訊位元流，然而RTCP可 用於支援回饋訊息之回饋頻道及傳輸。
在一特定實施例中，在步驟S63中使用通信頻道將DRAP圖片傳輸至使用者用戶端。在另一特定實施例中，在步驟S63中使用回饋頻道將DRAP圖片傳輸至使用者用戶端。
在一實施例中，回饋訊息(舉例而言)藉由指示損毀或遺失圖片之POC值而指示損毀或遺失圖片。步驟S62然後包括將基於POC值而識別或選擇之一圖片編碼為一DRAP圖片。
在一實施例中，伺服器使用含納於回饋訊息中之資訊以便回應於回饋訊息而選擇編碼哪一類型之RAP圖片且將其傳輸至使用者用戶端。因此，伺服器在使用一IRAP圖片與使用一DRAP圖片之間進行選擇。RAP圖片類型之決策較佳地基於含納於回饋訊息中之資訊及DPB在對應於損毀或遺失圖片之時間點處之緩衝器狀態。又基於含納於回饋訊息中之資訊而判定此時間點。因此，伺服器使用資訊以便判定使用者用戶端是否將具有在其DPB中之至少一個經解碼IRAP圖片且此一經解碼IRAP圖片是否可用作一DRAP圖片之參考圖片。因此，若使用者用戶端之DPB儲存至少一個經解碼IRAP圖片，則伺服器較佳地選擇最新IRAP圖片(在DPB中存在一個以上IRAP圖片之情況下)，且在於步驟S62中編碼一DRAP圖片時將其用作參考圖片。
然而，若伺服器得出結論：使用者用戶端之DPB不具有可用作參考圖片之一所儲存IRAP圖片，則伺服器需要編碼一IRAP圖片且將其發送至使用者用戶端。因此，在此情形中，位元成本與其中圖片可替代地經編碼為一DRAP圖片之情形相比較將較大。
在一特定實施例中，伺服器可在視訊位元流中用信號發送所有或至少某些IRAP圖片作為長期圖片，以便增加使一IRAP圖片儲存於使用者用戶端之DPB中之機會(一旦偵測到一損毀或遺失圖片)。
伺服器處之編碼器存取類似於使用者用戶端處之解碼器之一 DPB。因此，編碼器完全知曉解碼器處之DPB在每一時間點處之緩衝器狀態，此乃因解碼器處之DPB之緩衝狀態模仿或反映編碼器處之DPB之對應緩衝器狀態。
圖8係圖解說明圖7之視訊通信方法之一額外選用步驟之一流程圖。該方法自圖7中之步驟S63繼續。下一步驟S70包括將依輸出次序及解碼次序在DRAP圖片後面之至少一個非RAP圖片傳輸至使用者用戶端。該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
圖9係圖解說明用於將圖片之一視訊串流編碼成一視訊位元流之一方法之一流程圖。該方法包括：在步驟S80中，將視訊位元流中之每第n個圖片編碼為一RAP圖片且將視訊串流中之其他圖片編碼為非RAP圖片。
圖10係圖解說明圖9中之步驟S80之一實施例之一流程圖。此實施例包括步驟S81，步驟S81包括將每第m個RAP圖片編碼為一IRAP圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片。在步驟S81中將每一DRAP圖片編碼為一尾隨圖片且構成視訊位元流中之一隨機存取點。
因此，在此實施例中，視訊位元流內之RAP之頻率由參數n定義且DRAP圖片相對於IRAP圖片之頻率及比率由參數m定義。在步驟S81中編碼之結果因此係其中每第n個圖片為一RAP圖片且每第m個RAP圖片係一IRAP圖片之一視訊位元流，然而剩餘RAP圖片係DRAP圖片。視訊位元流中之剩餘圖片係非RAP圖片，亦即非RAP P圖片或B圖片。
圖11係圖解說明圖9中之步驟S80之另一實施例之一流程圖。此實施例在步驟S82中開始，步驟S82包括：基於將RAP圖片編碼為一 IRAP圖片或編碼為一DRAP圖片之間的一位元成本差而針對RAP圖片之至少一子集判定RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片。使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
在一實施例中，該方法包括：在步驟S83中若用於將RAP圖片編碼為一DRAP圖片之一經估計位元成本低於用於將RAP圖片編碼為一IRAP圖片之一經估計位元成本減去一臨限值，則將RAP圖片編碼為一DRAP圖片，且否則，在步驟S84中將RAP圖片編碼為一IRAP圖片。
因此，在一實施例中，在步驟S82中比較用於將RAP圖片編碼為一DRAP圖片之估計位元成本(位元成本(DRAP))與用於將RAP圖片編碼為一IRAP圖片(位元成本(IRAP)之經估計位元成本與臨限值(T)之一差。若位元成本(DRAP)<(位元成本(IRAP)-T)，則方法繼續至步驟S83，其中將RAP圖片編碼為一DRAP圖片。然而，若位元成本(DRAP)(位元成本(IRAP)-T)，則方法替代地繼續至步驟S84，其中將RAP圖片編碼為一IRAP圖片。
此意味：若將RAP編碼為一IRAP圖片之位元成本與將RAP編碼為一DRAP圖片之位元成本實質上相同或不多於T加上將RAP編碼為一DRAP圖片之位元成本，則將RAP經編碼為一IRAP圖片，且否則，編碼為一DRAP圖片。
臨限值T較佳地係一正數，使得IRAP圖片比DRAP圖片有利，此乃因IRAP圖片獨立於其他圖片提供隨機存取。T可基於視訊位元流之一想要或所量測位元率而係一常數。T亦可基於位元成本(DRAP)及/或位元成本(IRAP)。舉例而言，T可等於c×位元成本(IRAP)，使得在位元成本(DRAP)/位元成本(IRAP)<1-c之情況下選擇DRAP圖片， 否則選擇IRAP圖片。介於0與1之間的c之一值(例如0.25)將利於選擇IRAP圖片。
在一特定實施例中，該方法亦包括：僅若將RAP圖片編碼為一DRAP圖片將不導致視訊位元流中之連續IRAP圖片之間的一距離大於一最大距離，則執行在步驟S82中RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片之判定，且否則，將RAP圖片編碼為一IRAP圖片。
在此實施例中，存在視訊位元流中之兩個連續IRAP圖片(諸如作為說明性但非限制性實例之每10s或每60s)之間的一最大距離。若將一RAP圖片編碼為一DRAP圖片將致使一圖框間IRAP距離大於此最大距離，則RAP圖片經編碼為一IRAP圖片而不具有任何位元成本比較。
實例性實施例4
一第四實例性實施例係關於較早實例性實施例中所闡述之服務中之任何服務。
一編碼器編碼一視訊序列或串流且在將IRAP或DRAP圖片用於隨機存取點之間選擇性地做出選擇。在一個使用情形中，隨機存取點之頻率係固定的且DRAP圖片相對於IRAP圖片之頻率亦係固定的。編碼器將每第n個圖片編碼為一隨機存取點圖片。將其他圖片編碼為非隨機存取點圖片。在隨機存取點圖片當中，編碼器將每第m個圖片編碼為一IRAP圖片。將其他隨機存取點圖片編碼為視情況參考大多數先前經編碼IRAP圖片之DRAP圖片。
在一第二使用情形中，藉由估計將一特定候選者隨機存取點圖片編碼為一IRAP圖片或DRAP圖片之間的位元成本差而做出對一隨機存取點圖片應經編碼為一IRAP圖片或是一DRAP圖片之決策。一臨限值T用於做出決策，使得若DRAP圖片之經估計位元成本低於用於將圖片編碼為一IRAP圖片之經估計位元成本減去T，則將圖片編碼為一 DRAP圖片。否則，將圖片編碼為一IRAP圖片。
在偽碼中：
T在此處可係一正數，使得IRAP圖片係有利的。
此第二使用情形可與第一使用情形組合，使得輸出位元流中之IRAP圖片之間存在一最大距離。僅若將當前圖片編碼為DRAP之選擇將不導致一IRAP距離大於最大距離，則可藉由調用偽碼而實現此。若情況如此，則將當前圖片編碼為一IRAP而不考量將圖片編碼為一DRAP圖片。
實施例之所提議解決方案旨在減少在螢幕內容寫碼以及一般內容寫碼中之IRAP圖片上花費之大量位元同時維持IRAP圖片之幾乎相同隨機存取及抗錯穩健性性質。藉由引入一新圖片類型(此處稱為一相依隨機存取點(DRAP)圖片)而完成此。DRAP圖片係可僅參考一先前RAP圖片(且在某些實施例中亦參考其他DRAP圖片)之一時間預測性圖片(諸如P圖片)。先前RAP圖片可係對應於視訊序列中較早之一圖片之一經編碼表示之一圖片。另一選擇係，先前RAP圖片可係未經輸出之一圖片但僅構成視訊序列中之圖片之一良好參考，例如表示一場景之背景。
在具有在解碼DRAP圖片之前必須解碼所參考IRAP圖片(及假如相關之所參考DRAP圖片)之限制之情況下提供對DRAP圖片之隨機存取。舉例而言，DRAP圖片對於透過視訊快速轉發係非常有用的，同時將用於隨機存取之位元率額外開銷保持至一最小值。
另一限制係：必須禁止跨越DRAP圖片之預測。在DRAP圖片後面之非RAP圖片必須不使用在DRAP圖片前面之任何非RAP圖片進行預測。此限制之一個替代構想係：依解碼及輸出次序兩者在一DRAP圖片後面之非RAP圖片不可將依解碼次序在DRAP圖片前面之任何非RAP圖片用於參考。
在HEVC以及AVC/H.264中，存在稱作恢複點補充增強資訊(SEI)之一SEI訊息。恢複點SEI訊息輔助一解碼器在解碼器起始隨機存取之後或在編碼器指示視訊位元流中之一中斷連結之後判定解碼程序何時將產生可接受圖片以用於顯示。當以依解碼次序與恢複點SEI訊息相關聯之圖片開始解碼程序時，指示依此SEI訊息中規定之輸出次序在恢複點處或繼恢複點之後之所有經解碼圖片之內容為正確的或大致正確的。恢複點SEI訊息無法用於實現DRAP圖片之功能性。若一恢複點SEI訊息與IRAP圖片一起經發送，則必須向上直至DRAP圖片地解碼依解碼次序在其後面之所有圖片，此並非合意的。且恢複點SEI訊息無法與DRAP圖片一起經發送，此乃因指示對依解碼次序在恢複點SEI訊息前面之任何事物之相依性係不可能的。
DRAP圖片指示可與關於在DRAP圖片之前之經編碼視訊中之已知問題之一指示組合。遇到具有此指示集之一DRAP圖片之一接收器可丟棄在DRAP前面之任何事物，此乃因已指示彼資料為錯誤的。
IRAP圖片通常用於以一週期性方式提供經編碼視訊之隨機存取及抗錯穩健性。針對普通視訊內容，就位元率而言，IRAP圖片通常比編碼為P圖片貴大約3至5倍且比編碼為B圖片貴大約5至10倍。每0.5秒至1.0秒插入一IRAP圖片花費相當多位元。
通常具有非常靜態內容之視訊服務包含螢幕共享及監督視訊。舉例而言，螢幕共享可用作個體之間的一即時通信工具或可經設置以監視其他電腦，諸如伺服器。針對所有此等服務，記錄且儲存視訊材 料通常係受關注的。然後使用隨機存取操作搜尋所儲存視訊材料較佳地應係容易的。同時，以一最小值保持視訊位元率以限制頻寬使用及節省儲存空間兩者係受關注的。
諸如螢幕共享及螢幕監視之特定螢幕內容服務變得越來越受歡迎。除普通視訊寫碼之編碼以外，螢幕內容對視訊寫碼提出其他要求。螢幕內容通常包含具有銳邊、圖形與文字、不同顏色及趨勢之視窗以具有視訊圖片之長時間週期未經更新之區域。
在HEVC版本1之發展期間，未明確論述螢幕內容寫碼之特殊特性。JCT-VC因此現在致力於明確地以螢幕內容寫碼為目標之HEVC之一擴展。
實施例之DRAP圖片可替換某些IRAP圖片以減少一位元流之總體位元成本。另一選擇係，給定相同位元率，可更頻繁地放置隨機存取點。藉由以下操作完成對一DRAP圖片之隨機存取：首先解碼前面IRAP圖片且然後解碼DRAP圖片。
在本發明之一項實施例中，僅允許圖框內或跳略區塊用於DRAP圖片以提供經改良抗錯穩健性。
在一特定實施例中，藉由使用IRAP圖片作為DRAP圖片之唯一參考圖片來將DRAP圖片之區塊解碼為跳略區塊或解碼為圖框內區塊而解碼DRAP圖片。
一跳略區塊隱含該區塊係根據跳略模式使用IRAP圖片作為唯一參考圖片來編碼。此意味自參考圖片中之並列區塊複製跳略區塊之樣本或像素值而不具有任何運動補償。DRAP圖片之區塊之跳略模式與圖框內模式之一組合因此係編碼及解碼DRAP圖片之一高效方式。
因此，較佳地將DRAP圖片之相對於最近的前面IRAP圖片尚未改變或未改變多於某一經定義最小差之彼等區塊編碼及解碼為跳略區塊，然而將DRAP圖片之相對於參考圖片已改變或改變多於經定義最 小差之區塊編碼及解碼為圖框內區塊。
在一另一實施例中，若IRAP圖片中之一並列區塊與另一IRAP圖片中之一並列區塊完全相同或相差不超過一經定義臨限值，則使用IRAP圖片作為DRAP圖片之唯一參考圖片來將DRAP圖片之一區塊編碼為一跳略區塊，且否則，編碼為一圖框內區塊。另一IRAP圖片根據解碼次序在視訊串流中之IRAP圖片前面，且較佳地係在編碼IRAP圖片之前編碼之最近的前面IRAP圖片。在一特定實施例中，若IRAP圖片中之一並列區塊與另一IRAP圖片中及根據解碼次序存在於另一IRAP圖片與該IRAP圖片之間的中間圖片中之一各別並列區塊完全相同或相差不超過一經定義臨限值，則使用視訊串流之IRAP圖片作為DRAP圖片之唯一參考圖片來將DRAP圖片之一區塊編碼為一跳略區塊，且否則，編碼為一圖框內區塊。
較佳地執行根據一圖框內模式解碼一區塊(亦即解碼一圖框內區塊)，如ITU-T H.265系列H之章節8.4-以圖框內預測模式寫碼之寫碼單元之解碼程序(視聽及多媒體系統、視聽服務基礎結構-移動視訊寫碼、高效率視訊寫碼)中規定。較佳地執行根據一圖框間模式解碼一區塊(亦即解碼一圖框間區塊，諸如一跳略區塊)，如ITU-T H.265系列H之章節8.5-以圖框間預測模式寫碼之寫碼單元之解碼程序(視聽及多媒體服務、視聽服務基礎結構-移動視訊寫碼、高效率視訊寫碼)中規定。ITU-T H.265系列H之章節8.5.4.1-綜述(視聽及多媒體系統、視聽服務基礎結構-移動視訊寫碼、高效率視訊寫碼)中尤其闡述解碼跳略區塊(亦即，具有等於1之跳略旗標之一值之區塊)。
在HEVC中，跳略模式類似於新合併模式，惟跳過殘留資料例外。合併模式自四個空間候選者中之一者、一個時間候選者及一零運動候選者選擇運動參數。因此，較佳地在選擇零運動候選者之情況下根據HEVC中之跳略模式解碼一跳略區塊。
根據一第一態樣，提供用於編碼一視訊位元流之一方法。在該方法中，編碼一IRAP圖片，且編碼僅取決於IRAP圖片之一圖框間圖片，其中該圖框間圖片稱為一相依隨機存取點(DRAP)圖片。
根據一第二態樣，提供用於解碼一視訊位元流之一方法。在該方法中，解碼一圖框內隨機存取點(IRAP)圖片，解碼僅取決於IRAP圖片之一圖框間圖片，其中該圖框間圖片稱為相依隨機存取點(DRAP)圖片，且該DRAP圖片用於執行一隨機存取操作。
根據如圖18中所展示之一第三態樣，提供用於編碼一視訊位元流之一編碼器30。編碼器30包括經調適以進行以下各項之處理構件：編碼一IRAP圖片，及編碼僅取決於該IRAP圖片之一圖框間圖片，其中該圖框間圖片稱為一相依隨機存取點(DRAP)圖片。
根據一第四態樣，提供用於解碼一視訊位元流之一解碼器10。解碼器10包括經調適以進行以下各項之處理構件：解碼一圖框內隨機存取點(IRAP)圖片，及解碼僅取決於該IRAP圖片之一圖框間圖片，其中該圖框間圖片稱為相依隨機存取點(DRAP)圖片，且該DRAP圖片用於執行一隨機存取操作。
分別在編碼器30及解碼器10中，該處理構件包括一處理器及一記憶體，其中該記憶體包括在由該處理器執行時經組態以執行本文中所闡述之方法之指令。
編碼器30可包括用於發送具有由(例如)SEI訊息例示之控制資訊之經編碼位元流之一輸出單元，且解碼器10包括用於接收視訊位元流及控制資訊之一輸入單元。
編碼器30及解碼器10分別可位於諸如一使用者終端之一裝置或一網路節點中。該使用者終端可係(例如)一視訊攝影機、一行動電話 或一平板電腦。
應瞭解，實例性實施例可提供將以若干種方式給出之指令。
關於實施例之一優點係：可藉由在一隨機存取組態位元流中將某些隨機存取點(RAP)編碼為DRAP圖片而非將所有RAP編碼為IRAP圖片而節省許多頻寬，或換得較高總體品質。
DRAP圖片使在一多調諧器情景中提供短頻道切換時間而不實質上增加位元率且完全不必儲存多個不同串流成為可能。
DRAP圖片使在一適應性串流情景中減小視訊位元流之大小而不降低切換表示且跳至一視訊中之不同位置之能力成為可能。
當DRAP圖片與關於在DRAP圖片之前之經編碼視訊中之已知問題之一指示組合時，一接收器可能識別視訊自哪些圖片向前將沒有問題。
圖12展示在每第8個圖片具有週期性IDR圖片之情況下HEVC之一隨機存取組態。通常，大約每0.5秒至2秒插入IRAP以用於所廣播之內容。針對一30Hz序列，此意味大約每第15至60個圖片係一IRAP圖片。暗灰圖片係IDR圖片且白色圖片係P圖片或B圖片。
針對螢幕內容或其他一般內容使用傳統隨機存取方法(其中視訊未隨時間更新許多)，可如圖14看到某物。在經簡化實例中，已每第3個圖片插入一IRAP。出於說明性目的，區塊亦比其針對藉助HEVC在一更正常解析度下編碼之視訊將成為之大小大得多。在此實例中，P圖片參考先前圖片。針對每一IDR圖片，藉由圖框內寫碼圖片中之每一區塊而瞬間再新視訊。以暗灰標記圖框內區塊，以灰色標記圖框間區塊(此等區塊中之某些區塊亦可係圖框內區塊)且白色區塊係跳略區塊。
在本發明中，引入一新RAP圖片類型且將其稱為DRAP。DRAP圖片中之區塊可僅參考一先前IRAP圖片。不允許對其他圖片之參 考。在本發明之一項態樣中，RAP中之某些RAP經編碼為DRAP圖片而非IRAP圖片。圖13中圖解說明預測圖案。暗灰圖片係一IDR圖片，中灰圖片係DRAP圖片且白色圖片係P圖片或B圖片。DRAP圖片可僅參考IDR圖片。
為解碼一DRAP圖片，需要解碼先前所參考IRAP圖片。藉由不必須使用圖框內寫碼來編碼DRAP圖片中之所有區塊，可節省許多位元率。但是，可藉由僅必須參考先前IRAP(IDR、CRA及BLA)圖片而實現某一位準之隨機存取。在本發明中，可使用一SEI訊息用信號發送DRAP圖片之限制。若使用一SEI訊息用信號發送DRAP圖片，則不必要用信號發送DRAP作為位元流中之一特定圖片類型。
本發明實施例尤其適合用於連同HEVC解碼及編碼使用，亦即，根據HEVC規格或標準解碼視訊資料及符合HEVC規格或標準將視訊資料編碼成視訊位元流。HEVC規格或標準包含HEVC規格之任何版本(包含HEVC版本1及後續版本)及HEVC規格之任何擴展(諸如與螢幕內容擴展、多視擴展及可擴縮擴展相關)。
熟習此項技術者將理解，即使HEVC已用作闡述本文中之實施例之基礎，實施例針對使用時間預測性寫碼之其他視訊寫碼標準(包含AVC/H.264、H.263、MPEG-4、VP8及VP9)亦將同樣良好地工作。
如本文中所闡述之一IRAP圖片構成一圖框內隨機存取點圖片，亦即構成且因此可用作一隨機存取點且使用空間(亦即圖框內)預測來編碼及解碼且因此僅包括圖框內寫碼區塊之一圖片。如前文中所提及，根據HEVC規格，一IRAP圖片可呈一IDR圖片、一CRA圖片或一BLA圖片之形式。在其他視訊寫碼標準(諸如上文所提及)中，可使用其他特定圖片類型名稱以便定義一圖框內隨機存取點圖片，諸如關鍵圖片或關鍵圖框。然而，針對此等其他視訊寫碼標準，此等其他特定圖片類型亦被視為由如本文中所使用之表達IRAP圖片囊括，只要其 構成且因此可用作隨機存取點且僅使用空間或圖框內預測來編碼及解碼。在視訊寫碼中，一視訊串流之一圖片有時稱為一圖框。
實施例之另一態樣係關於一使用者用戶端。使用者用戶端經組態以獲得經編碼為可用於參考之一尾隨圖片且構成視訊位元流中之一隨機存取點之一DRAP圖片。使用者用戶端亦經組態以獲得視訊位元流之一IRAP圖片。使用者用戶端進一步經組態以解碼IRAP圖片。使用者用戶端另外經組態以使用IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片。使用者用戶端亦經組態以在經解碼DRAP圖片處執行一隨機存取操作。
在一實施例中，使用者用戶端經組態以使用視訊位元流中之根據解碼次序之一最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片。
在一實施例中，使用者用戶端經組態以解碼視訊依輸出次序及解碼次序在DRAP圖片後面的視訊位元流之至少一個非RAP圖片。該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
在一實施例中，使用者用戶端經組態以輸出經解碼DRAP圖片。使用者用戶端較佳地亦經組態以輸出至少一個經解碼之非RAP圖片。
在一特定實施例中，使用者用戶端經組態以接收與IRAP圖片相關聯之指示不應輸出IRAP圖片之一輸出旗標。因此，在此特定實施例中，DRAP圖片及接下來非RAP圖片而非IRAP圖片經輸出，諸如經輸出以用於顯示。
在一實施例中，使用者用戶端經組態以至少部分地基於與視訊位元流中之DRAP圖片相關聯之一SEI訊息而識別該DRAP圖片。
在一實施例中，使用者用戶端經組態以基於存在於DRAP圖片之一RPS中的IRAP圖片之一識別符而識別一DPB中之IRAP圖片。
在一實施例中，使用者用戶端經組態以下載視訊位元流之經編碼視訊資料之一分段。該分段以IRAP圖片開始且包括至少一個DRAP圖片。使用者用戶端亦經組態以基於一向前跳越或快轉請求而識別分段中之DRAP圖片。
在一實施例中，使用者用戶端經組態以下載視訊位元流之經編碼視訊資料之一分段之一第一部分。分段之第一部分包括IRAP圖片且該分段係基於一向前跳越請求或一表示切換請求而識別分段。使用者用戶端亦經組態以下載以基於向前跳越請求或表示切換請求而識別之DRAP圖片開始的該分段之一第二部分分段。
在一實施例中，使用者用戶端經組態以接收且解碼表示一當前頻道之一當前視訊位元流。使用者用戶端亦經組態以接收表示另一頻道之視訊位元流。使用者用戶端進一步經配置以將視訊位元流之一最新IRAP圖片或最新IRAP圖片之一經解碼版本暫時儲存於一記憶體中。使用者用戶端另外經組態以基於識別另一頻道之一頻道切換請求而自記憶體擷取最新IRAP圖片之經解碼版本之最新IRAP圖片。使用者用戶端亦經組態以在頻道切換請求之後接收DRAP圖片作為視訊位元流內之下一DRAP圖片。
在一實施例中，使用者用戶端經組態以在一通信頻道上接收包括IRAP圖片之一視訊位元流。使用者用戶端亦經組態以在偵測到視訊位元流中之一損毀或遺失圖片之後在一回饋頻道上傳輸一回饋訊息。該回饋訊息指示視訊對應於損毀或遺失圖片的該視訊位元流內之一位置。使用者用戶端進一步經組態以接收基於回饋訊息而產生之DRAP圖片。
將瞭解，本文中所闡述之方法及裝置可以各種方式經組合及重新配置。
舉例而言，可以硬體或供由適合處理電路執行之軟體或其一組 合實施實施例。
可使用諸如離散電路或積體電路技術(包含一般用途電子電路及特殊應用電路兩者)之任何習用技術以硬體實施本文中所闡述之步驟、功能、程序、模組及/或區塊。
特定實例包含一或多個以適合方式組態之數位信號處理器及其他已知電子電路，例如經互連以執行一專門功能之離散邏輯閘或特殊應用積體電路(ASIC)。
圖19圖解說明根據一實施例之一使用者用戶端110之一特定硬體實施方案。使用者用戶端110包括經組態以獲得DRAP圖片及IRAP圖片之一圖片提供器111。使用者用戶端110亦包括經組態以解碼IRAP圖片且使用IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片之一解碼器112。使用者用戶端110進一步包括經組態以在DRAP圖片處執行隨機存取操作之一隨機存取單元113。
解碼器112較佳地包括或連接至經組態以暫時儲存由解碼器112產生之經解碼圖片之一經解碼圖片緩衝器(DPB)。經解碼圖片較佳地儲存於DPB中以在解碼視訊位元流中之後續圖片時用作參考圖片及/或經儲存直至圖片應根據輸出次序經輸出。
圖片提供器111較佳地連接至解碼器112以將待解碼之圖片轉發至解碼器112。解碼器112相應地連接至隨機存取單元以便將DRAP圖片轉發至隨機存取單元113，其中使用DRAP圖片以便執行隨機存取操作。
另一選擇係，可以軟體(諸如，供由諸如一或多個處理器或處理單元之適合處理電路執行之一電腦程式)實施本文中所闡述之步驟、功能、程序、模組及/或區塊中之至少某些。
處理電路之實例包含但不限於一或多個微處理器、一或多個數位信號處理器(DSP)、一或多個中央處理單元(CPU)、視訊加速硬體及 /或任何適合可程式化邏輯電路，諸如一或多個場可程式化閘極陣列(FPGA)或一或多個可程式化邏輯控制器(PLC)。
亦應理解，重新使用其中實施所提議之技術之任何習用裝置或單元之一般處理能力可係可能的。例如藉由重新程式化現有軟體或藉由添加新軟體組件而重新使用現有軟體亦可係可能的。
在一特定實例中，使用者用戶端120(參見圖20)包括一處理器121及包括可由處理器121執行之指令之一記憶體122。處理器121操作以獲得DRAP圖片及IRAP圖片。處理器121亦操作以解碼IRAP圖片且使用IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片。處理器121進一步操作以在DRAP圖片處執行隨機存取操作。
在一實施例中，使用者用戶端120亦包括經組態以接收視訊位元流且輸出經解碼圖片之一輸入/輸出(I/O)單元123。I/O單元123可實施為一收發器、一接收器及一傳輸器或實施為一輸入埠及一輸出埠。
使用者用戶端120之記憶體122較佳地包括由處理器121使用以便儲存且存取經解碼圖片之DPB。
在一特定實施例中，處理器121在執行儲存於記憶體122中之指令以執行上文所闡述之操作時可操作。處理器121因此互連至記憶體122以實現正常軟體執行。
圖26係圖解說明包括一處理器410、一相關聯之記憶體420及一通信電路430之一使用者設備(UE)400之一實例之一示意性方塊圖。
在此特定實例中，以一電腦程式440實施本文中所闡述之步驟、功能、程序、模組及/或區塊中之至少某些，電腦程式440經加載至記憶體420中以供由包含一或多個處理器410之處理電路執行。處理器410及記憶體420彼此互連以實現正常軟體執行。一通信電路430亦互連至處理器410及/或記憶體420以實現一視訊位元流及經解碼圖片之輸入及/或輸出。
使用者設備400可係可接收及處理一視訊位元流之任何裝置或裝備。舉例而言，使用者設備400可係一電腦(固定的或便攜的)，諸如膝上型電腦、一智慧型電話、一平板電腦、一機上盒等。
術語「處理器」應以一普通意義經解釋為能夠執行程式碼或電腦程式指令以執行一特定處理、判定或計算任務之任何系統或裝置。
包含一或多個處理器之處理電路因此經組態以在執行電腦程式時執行定義良好之處理任務(諸如本文中所闡述之彼等處理任務)。
處理電路不必須專用於僅執行上文所闡述之步驟、功能、程序及/或區塊，而是亦可執行其他任務。
在一實施例中，電腦程式440包括指令，該等指令在由處理器410執行時致使處理器410獲得經編碼為可用於參考之一尾隨圖片且構成視訊位元流中之一隨機存取點之一DRAP圖片。亦致使處理器410獲得視訊位元流之一IRAP圖片。進一步致使處理器410解碼IRAP圖片，且使用IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片。另外致使處理器410在經解碼DRAP圖片處執行一隨機存取操作。
所提議技術亦提供包括電腦程式440之一載體450。載體450係一電子信號、一光學信號、一電磁信號、一磁信號、一電信號、一無線電信號、一微波信號或一電腦可讀儲存媒體450中之一者。
藉由實例方式，軟體或電腦程式440可實現為通常攜載或儲存於一電腦可讀媒體450(較佳地非揮發性電腦可讀儲存媒體450)上之一電腦程式產品。電腦可讀媒體450可包含一或多個可抽換式或非可抽換式記憶體裝置，包含但不限於一唯讀記憶體(ROM)、一隨機存取記憶體(RAM)、一光碟(CD)、一數位多功能光碟(DVD)、一藍光碟片、一通用串列匯流排(USB)記憶體、一硬碟機(HDD)儲存裝置、一快閃記憶體、一磁帶或任何其他習用記憶體裝置。電腦程式440因此可經加載至由圖26中之使用者設備400表示之一電腦或等效處理裝置之操作 記憶體中以供由其處理器410執行。
在由一或多個處理器執行時，本文中呈現之(若干)流程圖因此可被視為一(若干)電腦流程圖。一對應使用者用戶端可經定義為功能模組之一群組，其中由處理器執行之每一步驟對應於一功能模組。在此情形中，功能模組經實施為在處理器上運行之一電腦程式。因此，另一選擇係，使用者用戶端可經定義為功能模組之一群組，其中該等功能模組經實施為在至少一個處理器上運行之一電腦程式。
駐留於記憶體中之電腦程式因此可經組織為經組態以在由處理器執行時執行本文中所闡述之步驟及/或任務之至少一部分之適當功能模組。圖21中圖解說明此等功能模組之一實例。
圖21係具有功能模組之一使用者用戶端130之一示意性方塊圖。使用者用戶端130包括用於獲得一DRAP圖片及一IRAP圖片之一圖片提供器131。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。使用者用戶端130亦包括用於解碼IRAP圖片且使用IRAP圖片作為DRAP圖片之唯一參考圖片來解碼該DRAP圖片之一解碼器132。使用者用戶端130進一步包括用於在經解碼DRAP圖片處執行一隨機存取操作之一隨機存取單元。
實施例之又一態樣係關於一視訊通信伺服器。該視訊通信伺服器經組態以在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端。該視訊通信伺服器亦經組態以在一回饋頻道上接收來自該使用者用戶端之一回饋訊息。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。該視訊通信伺服器進一步經組態以基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。該視訊通信伺服器另外經組態以 將該DRAP圖片傳輸至該使用者用戶端。
在一實施例中，該視訊通信伺服器經組態以將依輸出次序及解碼次序在DRAP圖片後面之至少一個非RAP圖片傳輸至使用者用戶端。該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
圖22係根據一實施例之一視訊通信伺服器210之一硬體實施方案之一圖解說明。視訊通信伺服器210包括經組態以將視訊位元流及DRAP圖片傳輸至使用者用戶端之一傳輸器211。視訊通信伺服器210亦包括經組態以在回饋頻道上接收來自使用者用戶端之回饋訊息之一接收器213。視訊通信伺服器210進一步包括經組態以基於回饋訊息而編碼DRAP圖片之一編碼器212。
接收器213較佳地連接至編碼器212以便將含納於其中之所接收回饋訊息或資訊轉發至編碼器212。編碼器212較佳地連接至傳輸器211以便將包含經編碼DRAP圖片之經編碼圖片轉發至傳輸器211以用於傳輸至使用者用戶端。
圖22已將視訊通信伺服器210圖解說明為包括單獨傳輸器211及接收器213。在一替代實施方案中，一經組合收發器可存在於視訊通信伺服器210中以管理資料之接收及傳輸兩者。傳輸器211及接收器213或收發器可經實施以用於無線傳輸及接收。另一選擇係，其等可經實施以用於有線傳輸及接收。
圖23係視訊通信伺服器220之軟體中之一實施方案之一圖解說明。在一特定實例中，視訊通信伺服器220包括一處理器221及包括可由處理器221執行之指令之一記憶體222。處理器221操作以輸出視訊位元流及DRAP圖片以用於傳輸至使用者用戶端。處理器121亦操作以基於所接收回饋訊息而編碼DRAP圖片。
在一實施例中，視訊通信伺服器220亦包括經組態以將視訊位元 流及DRAP圖片傳輸至使用者用戶端且自使用者用戶端接收回饋訊息之一I/O單元223。I/O單元223可實施為一收發器、一接收器及一傳輸器或實施為一輸入埠及一輸出埠。
視訊通信伺服器220之記憶體222較佳地包括由處理器221使用以便在編碼程序期間儲存且存取經重建圖片之DPB。
在一特定實施例中，處理器221在執行儲存於記憶體222中之指令以執行上文所闡述之操作時可操作。處理器221因此互連至記憶體222以實現正常軟體執行。
圖24係具有功能模組之一視訊通信伺服器230之一示意性方塊圖。視訊通信伺服器230包括用於在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端之一傳輸器231。視訊通信伺服器230亦包括用於在一回饋頻道上接收來自使用者用戶端之一回饋訊息之一接收器233。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。該視訊通信伺服器進一步包括用於基於該回饋訊息而使用視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片之一編碼器232。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。視訊通信伺服器230之傳輸器231進一步用於將DRAP圖片傳輸至使用者用戶端。
在一實施例中，圖26表示圖解說明包括一處理器410、一相關聯之記憶體420及一通信電路430之一視訊通信伺服器400之一實例之一示意性方塊圖。在此特定實例中，以一電腦程式440實施本文中所闡述之步驟、功能、程序、模組及/或區塊中之至少某些，電腦程式440經加載至記憶體420中以供由包含一或多個處理器410之處理電路執行。
在一實施例中，電腦程式440包括指令，該等指令在由處理器 410執行時致使處理器410在一通信頻道上將包括至少一個IRAP圖片之一視訊位元流傳輸至一使用者用戶端。亦致使處理器410在一回饋頻道上接收來自該使用者用戶端之一回饋訊息。該回饋訊息指示視訊對應於該使用者用戶端處之一損毀或遺失圖片的該視訊位元流內之一位置。進一步致使處理器410基於該回饋訊息而使用視訊位元流中之一先前IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點。另外致使處理器410將DRAP圖片傳輸至使用者用戶端。
實施例之又一態樣係關於用於將圖片之一視訊串流編碼成一視訊位元流之一編碼器。該編碼器經組態以將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。該編碼器亦經組態以藉由以下操作編碼該每第n個圖片：將每第m個RAP圖片編碼為一IRAP圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片。每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
實施例之另一態樣係關於用於將圖片之一視訊串流編碼成一視訊位元流之一編碼器。該編碼器經組態以將該視訊串流中之每第n個圖片編碼為一RAP圖片且將該視訊串流中之其他圖片編碼為非RAP圖片。該編碼器亦經組態以藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一IRAP圖片或編碼為一DRAP圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片。由該編碼器使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流 中之一隨機存取點。
在一實施例中，該編碼器經組態以：若用於將RAP圖片編碼為一DRAP圖片之一經估計位元成本低於用於將RAP圖片編碼為一IRAP圖片之一經估計位元成本減去一臨限值，則將RAP圖片編碼為一DRAP圖片，且否則，將RAP圖片編碼為一IRAP圖片。
在一實施例中，該編碼器經組態以：僅若將RAP圖片編碼為一DRAP圖片將不導致視訊位元流中之兩個連續IRAP圖片之間的一距離大於一最大距離，則執行RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片之該判定，且否則，將RAP圖片編碼為一IRAP圖片。
可以硬體或以軟體或其一組合(包含作為功能模組)實施編碼器。圖25係編碼器300之軟體中之一實施方案之一圖解說明。在一特定實例中，編碼器300包括一處理器301及包括可由處理器301執行之指令之一記憶體302。處理器301操作以將視訊串流中之每第n個圖片編碼為一RAP圖片且將視訊串流中之其他圖片編碼為非RAP圖片，如上文所闡述。
在一實施例中，編碼器300亦包括經組態以輸出視訊位元流之經編碼圖片之一I/O單元303。I/O單元303較佳地亦經組態以接收待編碼之圖片。I/O單元303可實施為一收發器、一接收器及一傳輸器或實施為一輸入埠及一輸出埠。
編碼器300之記憶體302較佳地包括由處理器301使用以便在編碼程序期間儲存且存取經重建圖片之DPB。
在一特定實施例中，處理器301在執行儲存於記憶體302中之指令以執行上文所闡述之操作時可操作。處理器301因此互連至記憶體302以實現正常軟體執行。
在一實施例中，圖26表示圖解說明包括一處理器410、一相關聯之記憶體420及一通信電路430之一編碼器400之一實例之一示意性方 塊圖。在此特定實例中，以一電腦程式440實施本文中所闡述之步驟、功能、程序、模組及/或區塊中之至少某些，電腦程式440經加載至記憶體420中以供由包含一或多個處理器410之處理電路執行。
在一實施例中，電腦程式440包括指令，該等指令在由處理器410執行時致使處理器410將視訊串流中之每第n個圖片編碼為一RAP圖片且將視訊串流中之其他圖片編碼為非RAP圖片。亦致使該處理器藉由以下操作編碼該每第n個圖片：將每第m個RAP圖片編碼為一IRAP圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為DRAP圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片。每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
在另一實施例中，電腦程式440包括指令，該等指令在由處理器410執行時致使處理器410將視訊串流中之每第n個圖片編碼為一RAP圖片且將視訊串流中之其他圖片編碼為非RAP圖片。亦致使該處理器藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一IRAP圖片或編碼為一DRAP圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片。由該編碼器使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片。該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點。
上文所闡述之實施例應被理解為本發明之一些說明性實例。熟習此項技術者將理解：可在不背離本發明之範疇之情況下對實施例進行各種修改、組合及改變。特定而言，不同實施例中之不同部分解決方案可在技術可行之情況下以其他組態經組合。然而，本發明之範疇由隨附申請專利範圍定義。
100‧‧‧使用者用戶端
200‧‧‧伺服器/視訊通信伺服器

Claims (43)

  1. 一種用於執行一視訊位元流中之一隨機存取操作之方法，其包括：獲得(S1)一相依隨機存取點(DRAP)圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；獲得(S2)該視訊位元流之一圖框內隨機存取點(IRAP)圖片；解碼(S3)該IRAP圖片；使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼(S4)該DRAP圖片；及在該經解碼DRAP圖片處執行(S5)一隨機存取操作，其中該尾隨圖片係根據一解碼次序之一最近的前面IRAP圖片後面之一圖片。
  2. 如請求項1之方法，其中獲得(S1)該DRAP圖片包括：至少部分地基於與該視訊位元流中之該DRAP圖片相關聯之一補充增強資訊SEI訊息而識別(S1)視訊該DRAP圖片。
  3. 如請求項1或2之方法，其中獲得(S2)該IRAP圖片包括：基於存在於該DRAP圖片之一參考圖片集中的一經解碼圖片緩衝器中之該IRAP圖片之一識別符而識別(S2)該IRAP圖片。
  4. 如請求項1或2之方法，其中獲得(S1)該DRAP圖片及獲得(S2)該IRAP圖片包括：下載(S10)該視訊位元流之經編碼視訊資料之一分段，該分段以該IRAP圖片開始且包括至少一個DRAP圖片；及基於一向前跳越或快轉請求而識別(S11)該分段中之該DRAP圖片。
  5. 如請求項1或2之方法，其中獲得(S1)該DRAP圖片及獲得(S2)該IRAP圖片包括：下載(S20)該視訊位元流之經編碼視訊資料之一分段之一第一部分，該分段之該第一部分包括該IRAP圖片且該分段係基於一向前跳越請求或一表示切換請求而識別；及下載(S21)以基於該向前跳越請求或該表示切換請求而識別之該DRAP圖片開始的該分段之一第二部分。
  6. 如請求項1或2之方法，其中解碼(S4)該DRAP圖片包括：使用該視訊位元流中之根據該解碼次序之一最近的前面IRAP圖片作為該DRAP圖片之該唯一參考圖片來解碼(S4)該DRAP圖片。
  7. 如請求項1或2之方法，其進一步包括解碼(S30)視訊依輸出次序及解碼次序在該DRAP圖片後面的該視訊位元流之至少一個非隨機存取點-非RAP圖片，該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
  8. 如請求項7之方法，其進一步包括：輸出(S32)該經解碼DRAP圖片；及輸出(S33)該至少一個經解碼之非RAP圖片。
  9. 如請求項8之方法，其進一步包括接收(S31)與該IRAP圖片相關聯之指示不應輸出該IRAP圖片之一輸出旗標。
  10. 如請求項1或2之方法，其進一步包括：接收且解碼(S40)表示一當前頻道之一當前視訊位元流；接收(S41)表示另一頻道之該視訊位元流；及將該視訊位元流之一最新IRAP圖片或該最新IRAP圖片之一經解碼版本暫時儲存(S42)於一記憶體中，其中獲得(S1)該DRAP圖片及獲得(S2)該IRAP圖片包括： 基於識別該另一頻道之一頻道切換請求而自該記憶體擷取(S43)該最新IRAP圖片或該最新IRAP圖片之該經解碼版本；及在該頻道切換請求之後接收(S44)該DRAP圖片作為該視訊位元流內之下一DRAP圖片。
  11. 如請求項1或2之方法，其中獲得(S1)該IRAP圖片包括：在一通信頻道上接收(S50)包括該IRAP圖片之一視訊位元流視訊；且獲得(S2)該DRAP圖片包括：在偵測到該視訊位元流中之一損毀或遺失圖片之後，在一回饋頻道上傳輸(S51)一回饋訊息，該回饋訊息指示視訊對應於該損毀或遺失圖片的該視訊位元流內之一位置；及接收(S52)基於該回饋訊息而產生之該DRAP圖片。
  12. 一種視訊通信方法，其包括：在一通信頻道上將包括至少一個圖框內隨機存取點(IRAP)圖片之一視訊位元流傳輸(S60)至一使用者用戶端(100)；在一回饋頻道上接收(S61)來自該使用者用戶端(100)之一回饋訊息，該回饋訊息指示視訊對應於該使用者用戶端(100)處之一損毀或遺失圖片的該視訊位元流內之一位置；基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一相依隨機存取點(DRAP)圖片之唯一參考圖片來編碼(S62)該DRAP圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；及將該DRAP圖片傳輸(S63)至該使用者用戶端(100)，其中該尾隨圖片係在該視訊位元流中之該先前IRAP圖片後面之一圖片。
  13. 如請求項12之方法，其進一步包括將依輸出次序及解碼次序在 該DRAP圖片後面之至少一個非隨機存取點-非RAP圖片傳輸(S70)至該使用者用戶端(100)，該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
  14. 一種用於將圖片之一視訊串流編碼成一視訊位元流之方法，其包括：將該視訊串流中之每第n個圖片編碼(S80)為一隨機存取點(RAP)圖片且將該視訊串流中之其他圖片編碼為非RAP圖片，其中編碼(S80)該每第n個圖片包括：將每第m個RAP圖片編碼(S81)為一圖框內隨機存取點(IRAP)圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為相依隨機存取點(DRAP)圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片，每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中每一尾隨圖片係在根據該解碼次序之一各別最近的前面IRAP圖片後面之一圖片。
  15. 一種用於將圖片之一視訊串流編碼成一視訊位元流之方法，其包括：將該視訊串流中之每第n個圖片編碼(S80)為一隨機存取點(RAP)圖片且將該視訊串流中之其他圖片編碼為非RAP圖片，其中編碼(S80)該每第n個圖片包括：基於將該RAP圖片編碼為一圖框內隨機存取點(IRAP)圖片或編碼為一相依隨機存取點(DRAP)圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定(S82)該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片，其中使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該 DRAP圖片，該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中該尾隨圖片係在根據該解碼次序之一各別最近的前面IRAP圖片後面之一圖片。
  16. 如請求項15之方法，其中判定(S82)該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片包括：若用於將該RAP圖片編碼為一DRAP圖片之一經估計位元成本低於用於將該RAP圖片編碼為一IRAP圖片之一經估計位元成本減去一臨限值，則將該RAP圖片編碼(S83)為一DRAP圖片，且否則，將該RAP圖片編碼(S84)為一IRAP圖片。
  17. 如請求項15或16之方法，其中判定(S82)該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片包括：僅若將該RAP圖片編碼為一DRAP圖片將不導致該視訊位元流中之兩個連續IRAP圖片之間的一距離大於一最大距離，則執行該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片之該判定(S82)，且否則，將該RAP圖片編碼為一IRAP圖片。
  18. 一種使用者用戶端(100、110、120)，其包括：一處理器(121)；及一記憶體(122)，其包括可由該處理器(121)執行之指令，其中該處理器(121)經組態以獲得一相依隨機存取點(DRAP)圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；該處理器(121)經組態以獲得該視訊位元流之一圖框內隨機存取點(IRAP)圖片；該處理器(121)經組態以解碼該IRAP圖片；該處理器(121)經組態以使用該IRAP圖片作為該DRAP圖片之 唯一參考圖片來解碼該DRAP圖片；且該處理器(121)經組態以在該經解碼DRAP圖片處執行一隨機存取操作，其中該尾隨圖片係根據一解碼次序之一最近的前面IRAP圖片後面之一圖片。
  19. 如請求項18之使用者用戶端，其中該處理器(121)經組態以至少部分地基於與該視訊位元流中之該DRAP圖片相關聯之一補充增強資訊SEI訊息而識別視訊該DRAP圖片。
  20. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以基於存在於該DRAP圖片之一參考圖片集中的一經解碼圖片緩衝器中之該IRAP圖片之一識別符而識別該IRAP圖片。
  21. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以下載該視訊位元流之經編碼視訊資料之一分段，該分段以該IRAP圖片開始且包括至少一個DRAP圖片；且該處理器(121)經組態以基於一向前跳越或快轉請求而識別該分段中之該DRAP圖片。
  22. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以下載該視訊位元流之經編碼視訊資料之一分段之一第一部分，該分段之該第一部分包括該IRAP圖片且該分段係基於一向前跳越請求或一表示切換請求而識別；且該處理器(121)經組態以下載以基於該向前跳越請求或該表示切換請求而識別之該DRAP圖片開始的該分段之一第二部分。
  23. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以使用該視訊位元流中之根據該解碼次序之一最近的前面IRAP圖片作為該DRAP圖片之該唯一參考圖片來解碼該DRAP圖片。
  24. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以解碼視訊依輸出次序及解碼次序在該DRAP圖片後面的該視訊位元流之至少一個非隨機存取點-非RAP圖片，該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
  25. 如請求項24之使用者用戶端，其中該處理器(121)經組態以輸出該經解碼DRAP圖片；且該處理器(121)經組態以輸出該至少一個經解碼之非RAP圖片。
  26. 如請求項25之使用者用戶端，其中該處理器(121)經組態以接收與該IRAP圖片相關聯之指示不應輸出該IRAP圖片之一輸出旗標。
  27. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以接收且解碼表示一當前頻道之一當前視訊位元流；該處理器(121)經組態以接收表示另一頻道之該視訊位元流；該處理器(121)經組態以將該視訊位元流之一最新IRAP圖片或該最新IRAP圖片之一經解碼版本暫時儲存於一記憶體中；該處理器(121)經組態以基於識別該另一頻道之一頻道切換請求而自該記憶體擷取該最新IRAP圖片或該最新IRAP圖片之該經解碼版本；且該處理器(121)經組態以在該頻道切換請求之後接收該DRAP圖片作為該視訊位元流內之下一DRAP圖片。
  28. 如請求項18或19之使用者用戶端，其中該處理器(121)經組態以在一通信頻道上接收包括該IRAP圖片之一視訊位元流； 該處理器(121)經組態以在偵測到該視訊位元流中之一損毀或遺失圖片之後在一回饋頻道上傳輸一回饋訊息，該回饋訊息指示視訊對應於該損毀或遺失圖片的該視訊位元流內之一位置；且該處理器(121)經組態以接收基於該回饋訊息而產生之該DRAP圖片。
  29. 如請求項18或19之使用者用戶端，其包括：一圖片提供器(111)，其經組態以獲得該DRAP圖片及該IRAP圖片；一解碼器(112)，其經組態以解碼該IRAP圖片且使用該IRAP圖片作為該DRAP圖片之該唯一參考圖片來解碼該DRAP圖片；及一隨機存取單元(113)，其經組態以在該DRAP圖片處執行該隨機存取操作。
  30. 一種使用者用戶端(130)，其包括：一圖片提供器(131)，其用於獲得一視訊位元流之一相依隨機存取點(DRAP)圖片及一圖框內隨機存取點(IRAP)圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；一解碼器(132)，其用於解碼該IRAP圖片且使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼該DRAP圖片；及一隨機存取單元(133)，其用於在該經解碼DRAP圖片處執行一隨機存取操作，其中該尾隨圖片係在根據該解碼次序之一最近的前面IRAP圖片後面之一圖片。
  31. 一種視訊通信伺服器(200、210、220)，其包括：一處理器(221)；及 一記憶體(222)，其包括可由該處理器(221)執行之指令，其中：該處理器(221)經組態以在一通信頻道上將包括至少一個圖框內隨機存取點(IRAP)圖片之一視訊位元流傳輸至一使用者用戶端(100)；該處理器(221)經組態以在一回饋頻道上接收來自該使用者用戶端(100)之一回饋訊息，該回饋訊息指示視訊對應於該使用者用戶端(100)處之一損毀或遺失圖片的該視訊位元流內之一位置；該處理器(221)經組態以基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一相依隨機存取點(DRAP)圖片之唯一參考圖片來編碼該DRAP圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；且該處理器(221)經組態以將該DRAP圖片傳輸至該使用者用戶端(100)，其中該尾隨圖片係在該視訊位元流中之該先前IRAP圖片後面之一圖片。
  32. 如請求項31之視訊通信伺服器，其中該處理器(221)經組態以將依輸出次序及解碼次序在該DRAP圖片後面之至少一個非隨機存取點-非RAP圖片傳輸至該使用者用戶端(100)，該至少一個非RAP圖片不使用該視訊位元流中之依解碼次序在該DRAP圖片前面之任何非RAP圖片作為參考圖片。
  33. 如請求項31或32之視訊通信伺服器，其包括：一傳輸器(211)，其經組態將該視訊位元流及該DRAP圖片傳輸至該使用者用戶端(100)；一接收器(213)，其經組態以在該回饋頻道上接收來自該使用 者用戶端(100)之該回饋訊息；及一編碼器(212)，其經組態以基於該回饋訊息而編碼該DRAP圖片。
  34. 一種視訊通信伺服器(230)，其包括：一傳輸器(231)，其用於在一通信頻道上將包括至少一個圖框內隨機存取點(IRAP)圖片之一視訊位元流傳輸至一使用者用戶端(100)；一接收器(233)，其用於在一回饋頻道上接收來自該使用者用戶端(100)之一回饋訊息，該回饋訊息指示視訊對應於該使用者用戶端(100)處之一損毀或遺失圖片的該視訊位元流內之一位置；及一編碼器(232)，其用於基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一相依隨機存取點(DRAP)圖片之唯一參考圖片來編碼該DRAP圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中該傳輸器(231)亦用於將該DRAP圖片傳輸至該使用者用戶端(100)，其中該尾隨圖片係在該視訊位元流中之該先前IRAP圖片後面之一圖片。
  35. 一種用於將圖片之一視訊串流編碼成一視訊位元流之編碼器(30、300)，其包括：一處理器(301)；及一記憶體(302)，其包括可由該處理器(301)執行之指令，其中該處理器(301)經組態以將該視訊串流中之每第n個圖片編碼為一隨機存取點(RAP)圖片且將該視訊串流中之其他圖片編碼為非RAP圖片，其中該處理器(301)經組態以藉由以下操作編碼該每第n個圖片：將每第m個RAP圖片編碼為一圖框內隨機存取點(IRAP)圖片且使用根據一解 碼次序之一各別最近的前面IRAP圖片作為相依隨機存取點(DRAP)圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片，每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中該尾隨圖片係在根據該解碼次序之一最近的前面IRAP圖片後面之一圖片。
  36. 一種用於將圖片之一視訊串流編碼成一視訊位元流之編碼器(30、300)，其包括：一處理器(301)；及一記憶體(302)，其包括可由該處理器(301)執行之指令，其中該處理器(301)經組態以將該視訊串流中之每第n個圖片編碼為一隨機存取點(RAP)圖片且將該視訊串流中之其他圖片編碼為非RAP圖片，其中該處理器(301)經組態以藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一圖框內隨機存取點(IRAP)圖片或編碼為一相依隨機存取點(DRAP)圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片，其中使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片，該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中該尾隨圖片係在根據該解碼次序之一各別最近的前面IRAP圖片後面之一圖片。
  37. 如請求項36之編碼器，其中該處理器(301)經組態以：若用於將該RAP圖片編碼為一DRAP圖片之一經估計位元成本低於用於將該RAP圖片編碼為一IRAP圖片之一經估計位元成本減去一臨限值，則將該RAP圖片編碼為一DRAP圖片，且否則，將該RAP圖片編碼為一IRAP圖片。
  38. 如請求項36或37之編碼器，其中該處理器(301)經組態以：僅若將該RAP圖片編碼為一DRAP圖片將不導致該視訊位元流中之兩 個連續IRAP圖片之間的一距離大於一最大距離，則執行該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片之該判定，且否則，將該RAP圖片編碼為一IRAP圖片。
  39. 一種包括指令之電腦程式(440)，該等指令在由一處理器(410)執行時致使該處理器(410)獲得一相依隨機存取點(DRAP)圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；獲得該視訊位元流之一圖框內隨機存取點(IRAP)圖片；解碼該IRAP圖片；使用該IRAP圖片作為該DRAP圖片之唯一參考圖片來解碼該DRAP圖片；及在該經解碼DRAP圖片處執行一隨機存取操作，其中該尾隨圖片係根據一解碼次序之一最近的前面IRAP圖片後面之一圖片。
  40. 一種包括指令之電腦程式(440)，該等指令在由一處理器(410)執行時致使該處理器(410)在一通信頻道上將包括至少一個圖框內隨機存取點(IRAP)圖片之一視訊位元流傳輸至一使用者用戶端(100)；在一回饋頻道上接收來自該使用者用戶端(100)之一回饋訊息，該回饋訊息指示視訊對應於該使用者用戶端(100)處之一損毀或遺失圖片的該視訊位元流內之一位置；基於該回饋訊息而使用該視訊位元流中之一先前IRAP圖片作為一相依隨機存取點(DRAP)圖片之唯一參考圖片來編碼該DRAP圖片，該DRAP圖片經編碼為可用於參考之一尾隨圖片且構成該視訊位元流中之一隨機存取點；且 將該DRAP圖片傳輸至該使用者用戶端(100)，其中該尾隨圖片係在該視訊位元流中之該先前IRAP圖片後面之一圖片。
  41. 一種包括指令之電腦程式(440)，該等指令在由一處理器(410)執行時致使該處理器(410)將該視訊串流中之每第n個圖片編碼為一隨機存取點(RAP)圖片且將該視訊串流中之其他圖片編碼為非RAP圖片，其中致使該處理器(410)藉由以下操作編碼該每第n個圖片：將每第m個RAP圖片編碼為一圖框內隨機存取點(IRAP)圖片且使用根據一解碼次序之一各別最近的前面IRAP圖片作為相依隨機存取點(DRAP)圖片之唯一參考圖片來將其他RAP圖片編碼為該等DRAP圖片，每一DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中該尾隨圖片係在根據該解碼次序之一最近的前面IRAP圖片後面之一圖片。
  42. 一種包括指令之電腦程式(440)，該等指令在由一處理器(410)執行時致使該處理器(410)將該視訊串流中之每第n個圖片編碼為一隨機存取點(RAP)圖片且將該視訊串流中之其他圖片編碼為非RAP圖片，其中致使該處理器(410)藉由以下操作編碼每第n個圖片：基於將該RAP圖片編碼為一圖框內隨機存取點(IRAP)圖片或編碼為一相依隨機存取點(DRAP)圖片之間的一位元成本差而針對該等RAP圖片之至少一子集判定該RAP圖片將經編碼為一IRAP圖片或是一DRAP圖片，其中使用根據一解碼次序之一各別最近的前面IRAP圖片作為一DRAP圖片之唯一參考圖片來編碼該DRAP圖片，該DRAP圖片經編碼為一尾隨圖片且構成該視訊位元流中之一隨機存取點，其中該尾隨圖片係在根據該解碼次序之一最近的前面IRAP圖片後面之一圖片。
  43. 一種包括如請求項39至41中任一項之電腦程式(440)之電腦可讀儲存媒體(450)。
TW104116308A 2014-06-18 2015-05-21 視訊位元流中之隨機存取 TWI571113B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462013630P 2014-06-18 2014-06-18
PCT/EP2015/057975 WO2015192991A1 (en) 2014-06-18 2015-04-13 Random access in a video bitstream

Publications (2)

Publication Number Publication Date
TW201618549A TW201618549A (zh) 2016-05-16
TWI571113B true TWI571113B (zh) 2017-02-11

Family

ID=53008459

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104116308A TWI571113B (zh) 2014-06-18 2015-05-21 視訊位元流中之隨機存取

Country Status (5)

Country Link
US (2) US10542288B2 (zh)
JP (1) JP2017522767A (zh)
AR (1) AR100737A1 (zh)
TW (1) TWI571113B (zh)
WO (1) WO2015192991A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368510B1 (en) * 2021-04-30 2022-06-21 Zoom Video Communications, Inc. Video frame generation

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2714756T3 (es) * 2011-06-30 2019-05-29 Ericsson Telefon Ab L M Señalización de imágenes de referencia
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
US10136153B2 (en) * 2015-02-04 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) DRAP identification and decoding
US9942552B2 (en) * 2015-06-12 2018-04-10 Intel Corporation Low bitrate video coding
CN106470341B (zh) * 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
CN106791870B (zh) * 2016-11-30 2019-11-05 华为技术有限公司 一种视频编码方法、视频解码方法以及相关设备
CN108076377B (zh) * 2017-12-26 2020-12-08 浙江大华技术股份有限公司 一种视频的存储、播放方法、装置、电子设备及存储介质
MX2020010474A (es) 2018-04-05 2021-01-08 Ericsson Telefon Ab L M Informacion de control de enlace lateral de varias etapas.
US10972656B2 (en) 2018-06-22 2021-04-06 International Business Machines Corporation Cognitively coaching a subject of a photograph
US11048745B2 (en) * 2018-06-22 2021-06-29 International Business Machines Corporation Cognitively identifying favorable photograph qualities
KR20210107121A (ko) * 2019-01-04 2021-08-31 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 방법
CN113647114B (zh) 2019-03-14 2023-10-10 诺基亚技术有限公司 用于视频编码和解码的设备、方法和计算机程序
JP7359873B2 (ja) 2019-05-15 2023-10-11 華為技術有限公司 エンコーダ、デコーダ、及び対応する方法
CN114073073B (zh) * 2019-07-08 2023-06-06 华为技术有限公司 一种支持混合nal单元的编解码方法和编解码器
US11323730B2 (en) * 2019-09-05 2022-05-03 Apple Inc. Temporally-overlapped video encoding, video decoding and video rendering techniques therefor
EP4117291A4 (en) 2020-03-05 2024-03-27 LG Electronics, Inc. METHOD AND DEVICE FOR CODING/DECODING VIDEOS WITH MIXED UNITS AND METHOD FOR TRANSMITTING BIT STREAMS
US11184675B1 (en) 2020-06-10 2021-11-23 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
US11276433B2 (en) 2020-06-10 2022-03-15 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
US11277666B2 (en) * 2020-06-10 2022-03-15 Rovi Guides, Inc. Systems and methods to improve skip forward functionality
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams
EP4252425A4 (en) * 2020-12-28 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. CROSS DIRECT ACCESS POINT SIGNALIZATION IN VIDEO CODING
KR20240024827A (ko) * 2021-06-28 2024-02-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 확장된 종속 랜덤 액세스 포인트(edrap) 추가 향상 정보(sei)의 향상된 시그널링

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177776A1 (en) * 2009-01-09 2010-07-15 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over ip networks
US20100232520A1 (en) * 2007-11-05 2010-09-16 Zhenyu Wu Scalable video coding method for fast channel change and increased error relilience

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
AU2002228884A1 (en) * 2000-11-03 2002-05-15 Compression Science Video data compression system
CA2437892C (en) * 2001-02-12 2010-12-14 The Morgan Crucible Company Plc Flow field plate geometries
US6993078B2 (en) * 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
KR100492567B1 (ko) * 2003-05-13 2005-06-03 엘지전자 주식회사 이동통신 시스템의 ｈｔｔｐ 기반 비디오 스트리밍 장치및 방법
EP2348710B1 (en) * 2004-07-01 2015-07-29 Mitsubishi Electric Corporation Random access video information recording method and apparatus
US8291448B2 (en) * 2004-09-15 2012-10-16 Nokia Corporation Providing zapping streams to broadcast receivers
KR100718351B1 (ko) * 2005-09-28 2007-05-14 주식회사 팬택 동영상 파일의 요약 재생 시스템 및 이를 탑재한 이동통신단말기
JP4795211B2 (ja) * 2005-12-05 2011-10-19 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
WO2007126381A2 (en) * 2006-05-03 2007-11-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for re-constructing media from a media representation
JP4810298B2 (ja) * 2006-05-09 2011-11-09 キヤノン株式会社 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
CN101938456B (zh) * 2009-06-30 2014-03-12 华为技术有限公司 一种减小媒体延迟的方法、设备及系统
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US9210430B2 (en) * 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
EP2665259A1 (en) * 2012-05-17 2013-11-20 Samsung Electronics Co., Ltd Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
EP2866440B1 (en) * 2012-06-24 2018-08-08 Lg Electronics Inc. Image decoding method and apparatus using same
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
US20150215632A1 (en) * 2012-07-06 2015-07-30 Samsung Electronics Co., Ltd. Method and apparatus for multilayer video encoding for random access, and method and apparatus for multilayer video decoding for random access
US20150288970A1 (en) * 2012-09-28 2015-10-08 Samsung Electronics Co., Ltd. Video encoding method and apparatus for parallel processing using reference picture information, and video decoding method and apparatus for parallel processing using reference picture information
CN105075261B (zh) * 2013-01-10 2018-07-24 三星电子株式会社 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备
US9674533B2 (en) * 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US9819944B2 (en) * 2013-04-12 2017-11-14 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US10284862B2 (en) * 2013-07-14 2019-05-07 Sharp Kabushiki Kaisha Signaling indications and constraints
RU2678149C2 (ru) * 2013-08-22 2019-01-23 Сони Корпорейшн Устройство кодирования, способ кодирования, передающее устройство, устройство декодирования, способ декодирования и приёмное устройство
WO2015053598A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015052943A1 (en) * 2013-10-13 2015-04-16 Sharp Kabushiki Kaisha Signaling parameters in vps extension and dpb operation
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100232520A1 (en) * 2007-11-05 2010-09-16 Zhenyu Wu Scalable video coding method for fast channel change and increased error relilience
US20100177776A1 (en) * 2009-01-09 2010-07-15 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over ip networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKIRA FUJIBAYASHI ET AL. "Random access support for HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING, 20 January 2011 (2011-01-20), DAEGU,KOREA, pages 1 – 8. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368510B1 (en) * 2021-04-30 2022-06-21 Zoom Video Communications, Inc. Video frame generation
US11606405B2 (en) 2021-04-30 2023-03-14 Zoom Video Communications, Inc. Receiving compressed video frames in a video conference
US12021912B2 (en) 2021-04-30 2024-06-25 Zoom Video Communications, Inc. Distributing compressed video frames in a video conference

Also Published As

Publication number Publication date
JP2017522767A (ja) 2017-08-10
US20200128276A1 (en) 2020-04-23
WO2015192991A1 (en) 2015-12-23
US10542288B2 (en) 2020-01-21
AR100737A1 (es) 2016-10-26
US11032575B2 (en) 2021-06-08
TW201618549A (zh) 2016-05-16
US20160219306A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
TWI571113B (zh) 視訊位元流中之隨機存取
US11997313B2 (en) Dependent random access point pictures
KR102218385B1 (ko) 고속 전환을 위한 코덱 기법
US8918533B2 (en) Video switching for streaming video data
JP5788101B2 (ja) メディアデータのネットワークストリーミング
JP6049728B2 (ja) コード化ビデオデータのネットワークストリーミング
US11025952B2 (en) Video encoding/decoding method and device
JP6348188B2 (ja) ビデオにおけるピクチャのロバストな符号化および復号化
US20100118938A1 (en) Encoder and method for generating a stream of data
EP2664157B1 (en) Fast channel switching
US20230027374A1 (en) Decoder, encoder and methods for mixing nal units of different nal unit types in video streams