TWI423679B - 可縮放視訊編碼與解碼技術 - Google Patents

可縮放視訊編碼與解碼技術 Download PDF

Info

Publication number
TWI423679B
TWI423679B TW096125043A TW96125043A TWI423679B TW I423679 B TWI423679 B TW I423679B TW 096125043 A TW096125043 A TW 096125043A TW 96125043 A TW96125043 A TW 96125043A TW I423679 B TWI423679 B TW I423679B
Authority
TW
Taiwan
Prior art keywords
indication
message
access unit
video
bit stream
Prior art date
Application number
TW096125043A
Other languages
English (en)
Other versions
TW200822758A (en
Inventor
Miska Hannuksela
Ye-Kui Wang
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW200822758A publication Critical patent/TW200822758A/zh
Application granted granted Critical
Publication of TWI423679B publication Critical patent/TWI423679B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

可縮放視訊編碼與解碼技術 與相關申請案之交互參照
本申請案主張申請於2006年7月11日的美國臨時專利申請案No.60/830,358的優先權。
發明領域
本發明，一般地，關於可縮放視訊編碼與解碼技術。更詳細地說，本發明關於可縮放視訊編碼與解碼技術中的補充增強資訊訊息之用途。
 發明背景
本節目的在於提供詳述於申請專利範圍中該發明之背景(background)或脈絡(context)。這裡的説明可能包含可被執行的概念，但不需要是已經被事先設想或執行的概念。因此，除非另有註明外，本節之所描述並非本申請案中説明以及申請專利範圍的先前技術，並且也不被承認是本節所包含的先前技術。
多媒體應用程式包含本地播放、串流或隨選、交談式以及廣播/多播服務。涉及多媒體應用程式的技術包含，尤其，媒體編碼，儲存，以及傳輸。不同標準已被指定用於不同的技術。
視訊編碼標準包含ITU－T H.261、ISO/IEC MPEG－1 Visual、ITU－T H.262或ISO/IEC MPEG－2 Visual、ITU－T H.263,ISO/IEC MPEG－4 Visual以及ITU－T H.264(又稱為ISO/IEC MPEG－4 AVC)。此外，目前關於開發新的視訊編碼標準的努力正在進行中。發展中的一個這樣的標準是可縮放視訊編碼(SVC)標準，該標準將成為H.264/AVC標準(H.264/AVC)之可縮放升級版。另一個這樣的努力涉及中國視訊編碼標準的發展。另一個發展中的這樣的標準是多視點視訊編碼(MVC)標準，該標準將成為H.264/AVC的另一升級版。
SVC可提供可縮放視訊位元流。在SVC中，一視訊序列可被編碼於多個層，且每一層為該視訊序列在某一空間解析度(resolution)或時間解析度或在某一品質水準或三者之某種結合的一表示。可縮放視訊位元流的一部分可被提取和解碼於一所欲的空間解析度、時間解析度、某一品質水準或這些解析度的某種結合。一可縮放視訊位流包含一不可縮放的基層以及一個或多個增強層。一增強層可增強由較低層或其部分表示的視訊內容的時間解析度(例如，圖框速率)、空間解析度，或僅是品質。在某些情況下，一增強層之資料可在某一位置，甚至在任意位置之後被截斷，並且每一截斷位置可包括一些表示逐漸增強的視覺品質的額外的資料。這樣的可縮放性被稱為細微－粒(fine－grained)(細緻粒)可縮放性(FGS)。與FGS相對的，藉由一質量增強層提供的可縮放性不提供細微－粒的可縮放性，被稱為粗略－粒可縮放性(CGS)。基層也可以被設計為FGS可縮放。SVC是視訊可縮放編碼的一個實施例。SVC標準之草案被描述於JVT(Joint Video Team視訊聯合工作組)－S202，“Joint Scalable Video Model JSVM－6：Joint Draft 6 with proposed changes,”第19屆JVT會議，日內瓦，瑞士，2006年四月。
在多描述編碼(MDC)中，一輸入媒體序列被編碼成一個以上分流(sub－stream)，每一分流被稱為一描述。每一描述是獨立可解碼的且表示某一媒體品質。然而，基於一個或多個描述的該解碼，另一描述的額外解碼可產生以改良的媒體品質。MDC被詳細討論於Y.Wang,A.Reibman及S.Lin，“Multiple description coding for video delivery,”Proceedings of the IEEE,vol.93,no.1，2005年1月。
在多視點視訊編碼中，來自不同相機的視訊序列輸出(每一個反映一視點)被編碼成一位元流。解碼之後，為顯示某一視點，屬於那個視點的該等解碼圖像被顯示。MVC標準之草案被描述於JVT－T208，“Joint multiview video model (JMVM 1.0),”20th JVT meeting，Klagenfurt，奧地利，2006年7月。
H.264/AVC標準以及其升級版包括對透過補充增強資訊(SEI)訊息對SEI發信號的支援。SEI訊息並不是解碼過程在輸出圖像中產生正確的取樣值所必需的。而是它們有利於其他目的，例如，誤差彈性以及顯示。H.264/AVC包含語法和語意用於該等指定的SEI訊息，但是沒有定義用於處理接收器中該等訊息的程序。因此，在編碼器產生SEI訊息時，其需要遵循H.264/AVC標準，且符合H.264/AVC標準的解碼器不需處理SEI訊息用於輸出順序的一致性。在H.264/AVC中包括SEI訊息的語法和語意的原因之一是用以使得系統規格(例如，3GPP多媒體規格，以及DVB規格)同一地解釋該補充資訊，從而互相操作(interoperate)。其目的在於系統規格可要求包括在編碼端以及解碼端都使用特別的SEI訊息，且用於處理接收器中SEI訊息的程序可被指定用於一系統規格中的應用程式。
在最新SVC規格中，一種用於提供時間可縮放性的機制被稱為“階層式的B圖像(hierarchical Bpictures)”編碼結構。該特徵被H.264/AVC完全支持，且發信號部分(signaling portion)可藉由使用子序列相關(sub－sequence－related)SEI訊息被執行。
H.264/AVC中的SEI訊息在沒有任何參考該可縮放升級版附件的情況下被描述。因此H.264/AVC編碼器產生以及H.264/AVC解碼器解釋該等訊息，分別是如H.264/AVC標準中該等訊息之語意所描述和建議的，並且該等訊息不能像這樣被使用於一SVC位元流中在基層上的圖像特徵。有關H.264/AVC SEI訊息的存取單元以及圖像，被指定於每一SEI訊息之語意中。例如，一子序列層資訊SEI訊息中的資訊從包含該SEI訊息的存取單元是有效的，直到包含一子序列層資訊SEI訊息的下一個存取單元出現，除此之外，或若無後續子序列層資訊SEI訊息時，該位元流的末尾出現。光景比掃描(pan－scan)矩形SEI訊息包含一語法元素(pan_scan_rect_repetition_period)，該語法元素指定對哪些圖像來説，該訊息是有效的。該子序列資訊SEI訊息包含的資料僅對包含它的存取單元來説是有效的。
依據H.264/AVC編碼標準，一存取單元包含零個或多於零個SEI訊息，一主編碼圖像、零個或多於零個冗餘編碼圖像，以及零個或多於零個輔助編碼圖像。在一些系統中，藉由插入一存取單元定界符在該位元流中，偵測存取單元邊界可被簡化。依據SVC，一存取單元包含至少一個編碼圖像，該編碼圖像為非冗餘或輔助編碼圖像。例如，一SVC存取單元可能包含一主編碼圖像用於該基層，以及多個增強編碼圖像。這裡所描述的一編碼圖像是指擁有dependency_id以及quality_level之特定值的一存取單元內部的所有網路提取層(NAL)單元。
SEI訊息之範圍有許多不同的可能性。當一SEI訊息包含有關多於一個存取單元的資料時(例如，當該SEI訊息擁有一編碼視訊序列作為其範圍時)，它被包含於它所應用的第一存取單元。包含有關一單一存取單元(例如，背景資訊、立體視訊等)的資料之SEI訊息同樣應用於該存取單元中的所有圖像。SEI訊息可能與填充資料、用戶資料等有關，且不與任何特定的存取單元發生關係。
在可縮放視訊編碼、多描述編碼、多視點視訊編碼，以及其他視訊編碼中，存取單元可包含多個編碼圖像，其中每一圖像是該視訊序列或該等視訊序列在某一空間解析度、時間解析度、某一品質水準、視點、描述或其某種組合的一表現。在某些應用程式中，例如，可能想要僅對相同圖像尺寸的圖像採用光景比掃描(pan and scan)的方法，藉此它們可被顯示於一種類型的顯示器，而不同圖像尺寸需要不同類型的光景比掃描。在這種情況下，就希望有一種機制用於指定一特定SEI訊息應用於存取單元內的哪些圖像。例如，它將有助於擁有一種機制，該機制用於為每一出現在存取單元的圖像尺寸指定一光景比掃描矩形，並且有助於擁有與需用以代表記憶管理控制操作之每一可能性一樣多的，標示重復SEI訊息的參考圖像，用於。
最後，依據H.264/AVC標準，SEI訊息之語意可能僅應用於存取單元中的AVC圖像(如，SVC中基層圖像)。在這種情況下，可能希望將SEI訊息的範圍以及語意擴展到該存取單元的其他任一圖像。這種情況是，SEI訊息指示例如備用圖像、子序列層特徵、子序列特徵、運動－限制片組集、影片粒特徵、解塊濾波器顯示喜好等項目。例如，子序列層特徵以及子序列特徵中的統計資料之目前的語意僅用於H.264/AVC基層，但是相似的統計也可能會對擁有dependency_id以及quality_level的圖像有意義。另擧一例，該指示備用圖像對基層來講足夠了，但是當該圖像品質在增強層改進了，在一增強層中該相對應的圖像可能不足於作為一備用圖像。
 發明概要
本發明的各種實施例提供用於傳送有關一個存取單元中的編碼圖像的補充增強資訊的系統及方法。特別是，一個存取單元中的該等編碼圖像可能是一可縮放視訊的每一層的圖像、一多視點視訊的每一視點的圖像，或一多描述編碼(MDC)視訊的每一描述的圖像。各種實施例的系統和方法涉及該編碼位元流中的一指示，該指示指示與該補充增強資訊相關的圖像。依據使用H.264/AVC SEI訊息的各種實施例作為範例，這裡的描述加入了被特別用於此目的語法和語意，提供在編碼過程期間加入的適當的語法。在一後續解碼過程中，執行解碼的裝置識別出此資訊，且適當地使用它。該系統及方法透過對H.264/AVC SEI訊息的語意做較小的添加，使得H.264/AVC SEI訊息可再用於可縮放性層、視點及/或MDC描述。
本發明之各種實施例還提供用於傳送有關該編碼位元流中的一可縮放視訊的每一層圖像、冗餘編碼圖像或輔助編碼圖像的補充增強資訊的系統及方法。該系統及方法涉及該編碼位元流中的一指示，該指示指示與該補充增強資訊相關的可縮放視訊的圖像。
本發明之各種實施例包含一用於將視訊編碼成一編碼視訊位元流的方法、電腦程式產品。數個圖像被編碼到一存取單元之後，與該存取單元相關的一第一指示被編碼。至少一個與該第一指示有關的訊息隨後被編碼。該第一指示指示該至少一個訊息應用於該存取單元中的哪些編碼圖像。
本發明之其他實施例包含一用於由一編碼視訊位元流解碼視訊的方法、電腦程式成果，以及裝置。在編碼之前、編碼過程中，或編碼之後，與存取單元相關的一第一指示被解碼，至少一個與該第一指示相關的訊息被解碼。該第一指示指示該至少一個訊息應用於該存取單元中的哪些被編碼的數個圖像。
依照該已解碼的第一指示，來自該存取單元的該等圖像隨後自該位元流被處理。
本發明的此等以及其他優勢及特徵與其操作的系統及方式將變得容易理解，透過以下詳細的描述，當結合附圖時，其中在以下描述的數張圖式中，相同的元件具有相同的數字。
圖式簡單說明
第1圖顯示與本發明一起使用的一一般多媒體通訊系統；第2圖是一可被使用於本發明之實施例(implementation)中的一行動電話的一透視圖；第3圖是第2圖中行動電話的電路系統的一示意性的代表；第4圖是根據H.264/AVC的存取單元的結構及元素順序的説明；及第5圖是依據本發明之一實施例建立的一可縮放巢套SEI訊息的一代表。
 較佳實施例之詳細說明
本發明的各種實施例提供用於傳送有關一個存取單元中的編碼圖像的補充增強資訊的系統及方法。特別是，一個存取單元中的該等編碼圖像可能是一可縮放視訊的每一層的圖像、一多視點視訊的每一視點的圖像，或一多描述編碼(MDC)視訊的每一描述的圖像。各種實施例的系統和方法涉及該編碼位元流中的一指示，其指示與該補充增強資訊有關的圖像。依據使用H.264/AVC SEI訊息的各種實施例作為範例，這裡的描述加入了被特別用於此目的語法和語意，提供在編碼過程期間加入的適當的語法。在一後續解碼過程中，執行解碼的裝置識別出此資訊，且適當地使用它。該系統及方法透過對H.264/AVC SEI訊息的語意做較小的添加，使得H.264/AVC SEI訊息可再用於可縮放性層、視點及/或MDC描述。
本發明之各種實施例還提供用於傳送有關該編碼位元流中的一可縮放視訊的每一層圖像、冗餘編碼圖像或輔助編碼圖像的補充增強資訊的系統及方法。該系統及方法涉及該編碼位元流中的一指示，其指示與該補充增強資訊相關的可縮放視訊的圖像。
第1圖顯示一與本發明一起使用的一般多媒體通訊系統。如第1圖所顯示，一資料源100提供一源信號，該源信號為類比、未壓縮的數位，或被壓縮的數位格式，或這些格式的任意組合。一編碼器110將該源信號編碼成一編碼媒體位元流。該編碼器110可能有能力對一種以上媒體形式進行編碼，例如音訊及視訊，或可能需要多於一個的編碼器110用以對該源信號的不同媒體形式進行編碼。該編碼器110也可能得到合成產生的輸入，例如圖形及文字，或該編碼器110可能可以產生合成媒體的編碼位元流。以下，只考慮一種媒體類型的一編碼媒體位元流的處理，以簡化説明。然而需要注意的是，典型的實時廣播服務包含多個串流(典型的至少一音訊、視訊以及文字字幕串流)。仍需要注意的是，該系統可能包括許多編碼器，但是在下文中只考慮一個編碼器110以簡化説明，並不失一般性。
一些系統還包括一編輯器(沒有顯示於第1圖)，該編輯器從儲存器120接收編碼位元流作為輸入，且將該編輯操作的結果寫回到該儲存器120。該編輯器藉由去除及/或插入資料元素，修正該編碼媒體位元流。例如，該編輯器可去除時間＿位準(temporal_level)高於一決定的臨限值的存取單元。
補充資訊可生成於該編碼器110(在視訊序列之編碼過程期間)或該編輯器(在編碼視訊之一“編輯”過程期間)。例如，光景比掃描資訊就可能生成於該編碼過程之後。
該編碼媒體位元流被傳送到一儲存器120。該儲存器120可包含任意類型大容量記憶體用以儲存該編碼媒體位元流。該儲存器120中的編碼媒體位元流的格式可能是基本自足位元流格式，或者一個或多個編碼媒體位元流可能被封裝成一容器(container)檔案。有些系統執行“實況傳送(live)”，亦即，省略儲存且直接將編碼器110輸出的編碼媒體位元流傳送到發送器130。然後編碼媒體位元流被傳送到該發送器130(也被稱為伺服器)，在需要的基礎上(on a need basis)。該傳輸中的格式可能是一基本自足位元流格式、封包流格式，或一個或多個編碼媒體位元流可能被封裝成一容器(container)檔案。編碼器110、儲存器120，及發送器130可能位於相同的實體裝置或被置於分開的裝置中。該編碼器110及發送器130可能對實況實時內容進行操作，在此種情況下，編碼媒體位元流典型地沒有被永久儲存，而是在內容編碼器110及/或該發送器130中為了平滑處理延遲、傳輸延遲，以及編碼媒體位元率中的變化而進行小時段的緩衝。也可能使用不同的通訊協定於該編碼媒體位元流的不同部分。例如，參數集NAL單元可能使用對話描述協定(session description protocol，SDP)被傳送，而該資料的剩餘部分使用RTP被傳送。
該發送器130使用一通訊協定堆疊發送編碼媒體位元流。該堆疊可能包括但不僅限於實時傳輸協定(Real－Time Transport Protocol，RTP)、用戶資料報協定(User Datagram Protocol，UDP)，以及網際網路協定(Internet Protocol，IP)。當該協定堆疊是封包導向(packet－oriented)時，該發送器130將該編碼媒體位元流封裝成封包。例如，當使用RTP時，該發送器130根據一RTP酬載(payload)格式將該編碼媒體位元流封裝成RTP封包。典型地，每一媒體形式都有一專用的RTP酬載格式。應該重申的是，一系統可能包含多於一個發送器130，但為簡化起見，以下描述只考慮一個發送器130。
發送器130可能透過一通訊網路與一閘道器140連接，也可能不與閘道器140連接。該閘道器140可能執行不同類型的功能，例如對一封包流從依據一種通訊協定堆疊到依據另一種通訊協定堆疊的解譯、資料流的合併及拆分(forking)，以及依據下行及/或接收器的能力操控資料流，例如，依據主要下行網路情況來控制發送流的位元率。閘道器140的例子包括多點協商控制單元(MCU)、電路交換及封包交換視訊電話之間的閘道器、透過手機按鈕通話(Push－to－talk over Cellular，PoC)伺服器、數位視訊廣播－手持(DVB－H)系統中的IP封裝器，或本地發送廣播傳輸到家庭無線網路的機上盒。當使用RTP時，該閘道器140被稱為一RTP混和器並且作為一RTP連接的終點。
另一可選擇的方式是，編碼媒體位元流可能藉由其他方式從發送器130被傳送到接收器150，例如在一可攜式大容量記憶體磁碟或裝置連接到發送器130時，將該編碼媒體位元流儲存到該磁碟或裝置中，然後再連接該磁碟或裝置到接收器150。
該系統包括一個或多個接收器150，其典型的性能是接收、解調以及解封傳輸信號成為一編碼媒體位元流。解封過程可能包括去除接收器無法解碼的或不希望被解碼的資料。進一步藉由一解碼器160，該編解碼媒體位元流典型地被處理，該解碼器160的輸出是一個或多個未壓縮媒體流。最終，一呈現器(renderer)170藉由例如一揚聲器或一顯示器可將該未壓縮媒體流重現。該接收器150、解碼器160以及該呈現器170可能位於相同的實體裝置或被置於分開的裝置中。
依據位元率、解碼複雜度，以及圖像尺寸的可縮放性，在異質的以及易於出錯的環境中是被希望的特性。此特性是為了抵消一接收裝置中的限制，例如限制位元率、顯示解析度、網路流通量，以及計算能力。
在H.264/AVC以及SVC標準中，用於傳輸的基本編碼單元被稱作一網路提取層(NAL)單元。在封包導向的通訊系統以及儲存格式中，NAL單元分別地被封裝到傳輸封包及儲存單元中。在串流導向通訊系統及儲存格式中，透過在每一NAL單元前加上一起始碼，編碼視訊序列的NAL單元形成一自足位元組流。每一NAL單元包含一NAL單元標頭以及NAL單元酬載。該NAL單元標頭指示該NAL單元的類型以及其他資訊。該NAL單元酬載包括一未加工的位元組序列酬載(RBSP)，其被修改成不包含任何起始碼之模仿。該RBSP的結構取決於包含該RBSP的NAL單元的類型。一SEI RBSP包含一個或多個SEI訊息。每一SEI訊息包含三欄位：一SEI酬載類型、一SEI酬載大小，以及一SEI酬載。該SEI酬載類型指示該SEI酬載的語法及語意。該SEI酬載大小指示該SEI酬載的大小(以位元組為單位)。該SEI酬載包含用於該SEI酬載的語法元素。
第4圖説明瞭依據H.264/AVC，存取單元的結構及元素順序。正如第4圖中可以看出，一存取單元定界符400，其後面是一SEI 410、一主要編碼圖像420以及一編碼圖像(非主要的)430，再後面分別是序列的結尾440以及串流的結尾450。方塊編碼圖像(非主要的)430是指冗餘編碼圖像、輔助編碼圖像，或增強編碼圖像的任何組合。用於SVC存取單元的結構與第4圖中所説明的結構一致，除了可能不會出現主要編碼圖像(用於基層)以外。
一可縮放視訊編碼中，一存取單元可能包含多個編碼圖像，其中每一圖像為該視訊序列在某一空間解析度、時間解析度、在某一品質水準或三者某種結合的一表示法。依據該SVC標準，一存取單元包含一個用於基層的主要編碼圖像，且可能包含多個增強編碼圖像，但對於dependency_id、temporal_level，及quality_level的每一唯一的組合，最多只有一個非冗餘編碼圖像的增強編碼圖像。換句話說，dependency_id、temporal_level及quality_level的一組合唯一地決定可縮放視訊位元流中的一層。與依據SVC標準的可縮放視訊位元流中的一存取單元關聯的dependency_id及quality_level的唯一的組合，唯一地決定該存取單元的編碼圖像。該等圖像的其他唯一識別符也可能被使用。這些唯一識別符可能是多個值的一組合，且這些值可能是在該編碼位元流中明確地傳送的，或是使用在該位元流中傳送的任何其他的資訊隱含地決定的。
本發明的各種實施例涉及一新SEI訊息形式的信號，這裡指的是一可縮放巢套SEI訊息。然而應該明白，本發明目的不僅限於用來描述巢套SEI訊息的術語，且一不同的術語也可能被使用。一可縮放巢套SEI訊息的一代表在第5圖中被描述。在一實施例中，該可縮放巢套SEI訊息包含任何類型的一被巢套SEI訊息，該被巢套訊息包括一進一步被巢套訊息。在另一實施例中，可能限制該被巢套SEI訊息是除了另一可縮放巢套SEI訊息以外的任何類型的一SEI訊息。該被包含訊息的大小與該可縮放巢套SEI訊息的指示酬載大小相匹配(考慮該可縮放巢套SEI訊息酬載的“標頭”)。該可縮放巢套SEI訊息可能包括一指示，舉例來説，一旗標，如all_pictures_in_au_flag，其指示該被巢套SEI訊息是否應用於討論中的存取單元中的所有編碼圖像。如果該訊息僅應用於該存取單元中的一些圖像，那麽該可縮放巢套SEI訊息包含與該被巢套SEI訊息有關的該存取單元中的該等圖像的指示，例如該等圖像的dependency_id及quality_level的值。該圖等像的其他唯一識別符也可能被使用。這些唯一識別符可能是多個值的一組合，且這些值可能是在該編碼位元流中明確地傳送的，或是使用在該位元流中傳送的任何其他的資訊隱含地決定的。由第1圖中的編碼器110編碼的此資訊是由解碼器160解碼，且使用於協助有關解碼、顯示或其他目的的過程，取決於該被巢套SEI訊息的語意。
依據一特定的實施例，本發明的相對應的語法結構如下。
除上述之外，如果希望將SEI訊息與冗餘圖像及輔助圖像的指示結合起來的話，該可縮放巢套SEI訊息可能也包含一redundant_pic_cnt。
在本發明的另一實施例中，該巢套SEI訊息可能包含多個被巢套SEI訊息，每一被巢套SEI訊息擁有相同的範圍，亦即，所有的該等多個被巢套SEI訊息是關於相同圖像的。此實施例中該scalable_nesting語法結構的語法在下表中説明。more_sei_message_data( )是返回TURE之一函數，如果該SEI訊息中還有更多的資料要被解析，此為對該函數之一呼叫(即，在此情況下為可縮放巢套SEI訊息)，則該函數。否則，more_sei_message_data返回FALSE。
除可縮放巢套SEI訊息之外，當在該可縮放巢套SEI訊息內部使用時，H.264/AVC中的每一SEI訊息的語意可能被重新定義為包括該訊息的語意。一些訊息的語意，例如，光景比掃描矩形SEI訊息，也可被推廣使與某些增強編碼圖結合。一般而言，任何H.264/AVC SEI訊息的語意可能被重新定義，以處理可縮放巢套SEI訊息所識別的範圍內的所有圖像。這與H.264/AVC所指定的，典型地僅處理與該訊息有關的主要編碼圖像的語意形成對比。例如，當一可縮放巢套SEI訊息包含一SEI訊息(如運動－限制片組集SEI訊息)時，雖然與一編碼視訊序列中的所有存取單元有關，但僅與擁有相同唯一指示(舉例來説，dependency_id及quality_level)的此等存取單元中的某些圖像有關(例如，它可能典型地被包含於第一存取單元，該第一存取單元包含它所應用的圖像)。如果希望一特定的SEI訊息與擁有某一temporal_level值的圖像有關，該SEI訊息可能典型地包含於應用該訊息的，且包含擁有該希望的temporal_level之圖像的該第一存取單元。依據SVC規格，存取單元中的該主要編碼圖像以及該等增強編碼圖像擁有相同的temporal_level值。如果希望一特定的SEI訊息與擁有temporal_level某範圍值的圖像有關，該SEI訊息語法可能包含一機制，該機制用以指示temporal_level值的範圍，或該範圍可以從包含於相同存取單元的圖像的該temporal_level取得作為SEI訊息。
本發明的一個實施例中，H.264/AVC中一特定SEI訊息的語意，也就是備用圖像SEI訊息，當在該可縮放巢套SEI訊息內部使用時定義如下：在備用圖像SEI訊息被包括於一可縮放巢套SEI訊息時，當目標圖像及備用圖像(定義於下文)被解碼於具有範圍從1到5的nal_unit_type的NAL單元(包括1和5)以及具有等於20或21的nal_unit_type的NAL單元時，該訊息是可用的，且對於該訊息而言，dependency_id是在dependency_id[i]之中，且quality_level是在quality_level[i]之中。此SEI訊息指示在一個或多個解碼參考圖像中的某些片組映射單元，被稱為備用片組映射單元，類似於在被稱為目標圖像的一指定解碼圖像中的協同定位片組映射單元。一備用片組映射單元可被用於代替目標圖像中的一協同定位、不正確解碼片組映射單元。包含備用片組映射單元的一解碼圖像被稱作備用圖像。
依據本發明之涉及MVC的另一實施例，相關的語法結構如下：
在此語法中，view_id[i]指示第i個圖像所屬視點的識別符。其他語法元素擁有與前面討論的該等實施例相同的語意。屬於一視點的該等圖像的其他唯一識別符也可能被使用。
依據本發明之涉及MDC的又一實施例，相關的語法結構如下：
在上面的語法中，description_id[i]指示第i個圖像所屬MDC描述的識別符。其他語法元素擁有與前面描述的第一實施例相同的語意。屬於一MDC描述的該等圖像的其他唯一識別符也可能被使用。
依據本發明之涉及SVC及MVC的組合的又一實施例，相關的語法結構如下：
在上面的語法中，view_id[i]指示第i個圖像所屬視點的識別符。其他語法元素擁有與前面描述的該第一實施例相同的語意。屬於一可縮放層及視點的該等圖像的其他唯一識別符也可能被使用。
依據本發明之涉及SVC、MVC及MDC的組合的又一實施例，相關的語法結構如下：
在上面的語法中，view_id[i]指示第i個圖像所屬視點的識別符，description_id[i]指示第i個圖像所屬MDC描述的識別符。其他語法元素擁有與前面描述的該第一實施例相同的語意。屬於一可縮放層、視點及MDC描述的該等圖像的其他唯一識別符也可能被使用。
第2圖及第3圖顯示一個具有代表性的行動電話12，在其內部本發明可能被實現。然而應該明白，本發明目的不僅限於行動電話12之一特定類型或其他電子裝置。第2圖及第3圖中所描述的一些或全部特性可被併入第1圖中出現的任意或全部裝置中。
第2圖及第3圖中的行動電話12包括一外殼30、一液晶顯示器形式的顯示器32、一小鍵盤34、一麥克風36、一耳機38、一電池40、一紅外綫埠42、一天線44，根據本發明之一實施例的UICC形式的一智慧卡46、一讀卡機48、無綫介面電路系統52、編解碼電路系統54、一控制器56以及一記憶體58。個別的電路及元件是所有該技術領域所熟知的類型，例如行動電話中的諾基亞(Nokia)系列。
本發明之通訊裝置可能使用多種傳輸技術進行通訊，包括，但不僅限於分碼多重存取(CDMA)、全球行動通訊系統(GSM)、通用行動通訊系統(UMTS)、分時多重存取(TDMA)、分頻多重存取(FDMA)、傳輸控制協定/網際網路協定(TCP/IP)、短訊息服務(SMS)、多媒體訊息服務(MMS)、電子郵件、即時訊息服務(IMS)、藍芽、IEEE 802.11等。一通訊裝置可能使用多種媒體通訊，包括，但不僅限於無線電波、紅外綫、鐳射、電纜連接之類。
本發明被描述於方法步驟地一般背景，該等方法步驟可能透過包括電腦可執行指令的一程式產品被實現於一個實施例中，例如在被網路環境中的電腦執行的程式碼。一般來説，程式模組包括常用程式、程式、物件、組件、資料結構等，它們執行特定任務或實現特定抽象資料類型。電腦可執行指令、相關資料結構以及程式模組代表了用於執行這裡揭露的方法的步驟的程式碼的範例。這樣的可執行指令的特定序列或相關資料結構代表了用於實現這樣的步驟所描述的功能的相對應動作的範例。
本發明之軟體及網路的技術實現可透過基於規則的邏輯以及其他邏輯的標準程式技術實現，以實現不同資料庫檢索步驟、相關性步驟、比較步驟以及決定步驟。還應該注意的是，詞“組件(component)”以及“模組(module)”(即這裡以及申請專利範圍中使用的)意指包含使用一或多行軟體碼，及/或硬體實施，及/或用於接收人工輸入的設備的實施。
前文對本發明實施例的描述被呈現以達到解釋及說明的目的。並不意指詳盡描述或將本發明限制在揭露的明確形式裏，且依據上述教示之修改和變化是可能的，或可從本發明之實施中獲得。該等實施例的選取及描述是為瞭解釋本發明的原理及它的實際應用，使此技藝中具有通常知識者能夠利用各種實施例及各種修改以適用於特定使用之考量。
12．．．行動電話
30．．．外殼
32．．．顯示器
34．．．小鍵盤
36．．．麥克風
38．．．耳機
40．．．電池
42．．．紅外線埠
44．．．天線
46．．．智慧卡
48．．．讀卡機
52．．．無線介面電路系統
54．．．編解碼電路系統
56．．．控制器
58．．．記憶體
100．．．資料源
110．．．編碼器
120．．．儲存器
130．．．發送器
140．．．閘道器
150．．．接收器
160．．．解碼器
170．．．呈現器
400．．．存取單元定界符
410．．．補充增強資訊(SEI)
420．．．主要編碼圖像
430．．．編碼圖像(非主要的)
440．．．序列的結尾
450．．．串流的結尾
第1圖顯示與本發明一起使用的一一般多媒體通訊系統；第2圖是一可被使用於本發明之實施例(implementation)中的一行動電話的一透視圖；第3圖是第2圖中行動電話的電路系統的一示意性的代表；第4圖是根據H.264/AVC的存取單元的結構及元素順序的説明；及第5圖是依據本發明之一實施例建立的一可縮放巢套SEI訊息的一代表。
100．．．資料源
110．．．編碼器
120．．．儲存器
130．．．發送器
140．．．閘道器
150．．．接收器
160．．．解碼器
170．．．呈現器

Claims (38)

  1. 一種用於編碼之方法，該方法包含下列步驟：編碼複數個圖像成一存取單元；及編碼一與該存取單元相關的第一指示；及編碼與該第一指示相關的至少一個訊息，該第一指示指示該至少一個訊息應用於該存取單元中的哪些編碼圖像。
  2. 如申請專利範圍第1項所述之方法，其中該等多個圖像包含一可縮放視訊位元流。
  3. 如申請專利範圍第2項所述之方法，其中該第一指示包括dependency_id及quality_level值。
  4. 如申請專利範圍第1項所述之方法，其中該第一指示包含一巢套補充增強資訊(SEI)訊息，並且其中該至少一個訊息包含除一巢套SEI訊息之外的任何SEI訊息。
  5. 如申請專利範圍第4項所述之方法，其中該巢套SEI訊息進一步包括一第三指示，該第三指示將該被巢套SEI訊息與至少一個冗餘編碼圖像結合。
  6. 如申請專利範圍第1項所述之方法，其中該第一指示包含一第二指示，該第二指示指示該至少一個訊息應用於該存取單元中的所有該等編碼圖像。
  7. 如申請專利範圍第1項所述之方法，其中該第一指示指出該至少一個訊息應用於該存取單元中的僅一些編碼圖像，還是該存取單元中的所有編碼圖像。
  8. 如申請專利範圍第1項所述之方法，其中該等多個圖像 包含一多視點視訊位元流。
  9. 如申請專利範圍第8項所述之方法，其中該第一指示包括一view_id值。
  10. 如申請專利範圍第1項所述之方法，其中該等多個圖像包含一多描述位元流。
  11. 如申請專利範圍第10項所述之方法，其中該第一指示包括一description_id值。
  12. 如申請專利範圍第1項所述之方法，其中該視訊位元流包含一組合可縮放視訊及多視點視訊位元流或一組合可縮放視訊、多視點視訊及多描述位元流。
  13. 一種電腦程式產品，實施於一電腦可讀媒體，用於編碼視訊成一可縮放視訊位元流，該電腦程式產品包含為執行申請專利範圍第1項所述之方法而配置的電腦程式碼。
  14. 一種用於處理來自一視訊位元流之視訊之裝置，其包含：一處理器；及一記憶單元，與該處理器連接用於通訊，並且包括：用於編碼複數個圖像成一存取單元的電腦程式碼；及用於編碼與該存取單元相關的一第一指示的電腦程式碼；及用於編碼與該第一指示相關的至少一個訊息之電腦程式碼，該第一指示指示該至少一個訊息應用於 該存取單元中的哪些編碼圖像。
  15. 如申請專利範圍第14項所述之裝置，其中該等多個圖像包含一可縮放位元流。
  16. 如申請專利範圍第14項所述之裝置，其中該第一指示包含一巢套補充增強資訊(SEI)訊息，並且其中該至少一個訊息包含除一巢套SEI訊息之外的任何SEI訊息。
  17. 如申請專利範圍第14項所述之裝置，其中該第一指示包含一第二指示，該第二指示指示該至少一個訊息應用於該存取單元中的僅一些編碼圖像，還是該存取單元中的所有編碼圖像。
  18. 如申請專利範圍第14項所述之裝置，其中該第一指示指出是否該至少一個訊息應用該存取單元中的僅一些編碼圖像，還是該存取單元中的所有編碼圖像。
  19. 如申請專利範圍第14項所述之裝置，其中該等多個圖像包含一多描述位元流、一組合可縮放視訊及多視點視訊位元流、一多視點視訊位元流、或一組合可縮放視訊、多視點視訊及多描述位元流。
  20. 一種用於處理視訊之方法，該方法包含下列步驟：處理與一存取單元相關的一第一指示；處理與該第一指示相關的至少一個訊息，該第一指示指示該至少一個訊息應用於該存取單元中的哪些編碼圖像；及依據該第一指示之指示，由一位元流處理來自該存取單元的該等圖像。
  21. 如申請專利範圍第20項所述之方法，其中該位元流是一可縮放視訊位元流。
  22. 如申請專利範圍第20項所述之方法，其中該第一指示包含一巢套補充增強資訊(SEI)訊息，並且其中該至少一個訊息包含除一巢套SEI訊息之外的任何SEI訊息。
  23. 如申請專利範圍第22項所述之方法，其中該巢套SEI訊息進一步包括一第三指示，該第三指示將該被巢套SEI訊息與至少一個冗餘編碼圖像結合。
  24. 如申請專利範圍第20項所述之方法，其中該第一指示指出該至少一個訊息應用於該存取單元中的僅一些編碼圖像，還是該存取單元中的所有該等編碼圖像。
  25. 如申請專利範圍第20項所述之方法，其中該第一指示進一步指示該至少一個訊息與該存取單元中的哪些編碼圖像相關。
  26. 如申請專利範圍第20項所述之方法，其中該第一指示包含dependency_id及quality_level值。
  27. 如申請專利範圍第20項所述之方法，其中該位元流包含一多視點視訊位元流。
  28. 如申請專利範圍第27項所述之方法，其中該第一指示包括一view_id值。
  29. 如申請專利範圍第20項所述之方法，其中該位元流包含一多描述視訊位元流。
  30. 如申請專利範圍第29項所述之方法，其中該第一指示包括一description_id值。
  31. 如申請專利範圍第20項所述之方法，其中該視訊位元流包含一組合可縮放視訊及多視點視訊位元流或一組合可縮放視訊、多視點視訊及多描述位元流。
  32. 一種電腦程式產品，實施於一電腦可讀媒體，用於處理來自一可縮放視訊位元流之視訊，該電腦程式產品包含為執行申請專利範圍第20項所述之方法而配置的電腦程式碼。
  33. 一種用來處理來自一視訊位元流之視訊的裝置，包含：一處理器；及一記憶單元，與該處理器連接用於通訊，並且包括：用於解碼與一存取單元相關的一第一指示的電腦程式碼；及用於處理與該第一指示相關的至少一個訊息之電腦程式碼，該第一指示指示該至少一個訊息應用於該存取單元中的哪些編碼圖像；及用於依據該第一指示之指示自一位元流處理來自該存取單元的該等圖像之電腦程式碼。
  34. 如申請專利範圍第33項所述之裝置，其中該位元流是一可縮放位元流。
  35. 如申請專利範圍第33項所述之裝置，其中該第一指示包含一巢套補充增強資訊(SEI)訊息，並且其中該至少一個訊息包含除一巢套SEI訊息之外的任何SEI訊息。
  36. 如申請專利範圍第33項所述之裝置，其中該第一指示指示該至少一個訊息應用於該存取單元中的僅一些編碼 圖像，還是該存取單元中的所有該等編碼圖像。
  37. 如申請專利範圍第33項所述之裝置，其中該第一指示進一步指示該至少一個訊息與該存取單元中的哪些編碼圖像相關。
  38. 如申請專利範圍第33項所述之裝置，其中該視訊位元流包含一多視點視訊位元流、一多描述視訊位元流、一組合可縮放視訊及多視點視訊位元流、或一組合可縮放視訊、多視點視訊及多描述位元流。
TW096125043A 2006-07-11 2007-07-10 可縮放視訊編碼與解碼技術 TWI423679B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US83035806P 2006-07-11 2006-07-11
US11/736,492 US8699583B2 (en) 2006-07-11 2007-04-17 Scalable video coding and decoding

Publications (2)

Publication Number Publication Date
TW200822758A TW200822758A (en) 2008-05-16
TWI423679B true TWI423679B (zh) 2014-01-11

Family

ID=38923653

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096125043A TWI423679B (zh) 2006-07-11 2007-07-10 可縮放視訊編碼與解碼技術

Country Status (9)

Country Link
US (1) US8699583B2 (zh)
EP (1) EP2041978B1 (zh)
KR (1) KR101037338B1 (zh)
CN (1) CN101536527B (zh)
AT (1) ATE556541T1 (zh)
ES (1) ES2383831T3 (zh)
HK (1) HK1136126A1 (zh)
TW (1) TWI423679B (zh)
WO (1) WO2008007337A2 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101573883B (zh) 2006-10-16 2017-03-01 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
EP2137973B1 (en) 2007-04-12 2019-05-01 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
AU2008242129B2 (en) 2007-04-24 2011-11-17 Nokia Technologies Oy Signaling of multiple decoding times in media files
WO2008143747A2 (en) * 2007-05-16 2008-11-27 Thomson Licensing Methods and apparatus for the use of slice groups in decoding multi-view video coding (mvc) information
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
US20100135388A1 (en) * 2007-06-28 2010-06-03 Thomson Licensing A Corporation SINGLE LOOP DECODING OF MULTI-VIEW CODED VIDEO ( amended
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
WO2009152450A1 (en) * 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
KR101012760B1 (ko) * 2008-09-05 2011-02-08 에스케이 텔레콤주식회사 다시점 비디오의 송수신 시스템 및 방법
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
WO2011159617A1 (en) 2010-06-15 2011-12-22 Dolby Laboratories Licensing Corporation Encoding, distributing and displaying video data containing customized video content versions
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
ES2958967T3 (es) 2011-06-30 2024-02-16 Microsoft Technology Licensing Llc Reducción de latencia en codificación y descodificación de vídeo
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
EP2783475B1 (en) * 2011-11-21 2017-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interleaving for layer-aware forward error correction
US10154276B2 (en) * 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
KR20130071353A (ko) 2011-12-20 2013-06-28 한국전자통신연구원 멀티미디어 서비스 제공 장치 및 그 방법
US9094179B2 (en) 2011-12-20 2015-07-28 Electronics And Telecommunications Research Institute Apparatus for providing multimedia services and method thereof
CN103200399B (zh) * 2012-01-04 2016-08-31 北京大学 基于可伸缩视频编码的控制视频质量波动的方法及装置
JP6167906B2 (ja) 2012-07-19 2017-07-26 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP6258206B2 (ja) 2012-09-07 2018-01-10 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 送信装置、送信方法、受信装置および受信方法
US9491494B2 (en) 2012-09-20 2016-11-08 Google Technology Holdings LLC Distribution and use of video statistics for cloud-based video encoding
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9521393B2 (en) * 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
CN105284114A (zh) * 2013-07-07 2016-01-27 韦勒斯标准与技术协会公司 视频信号处理方法及装置
EP3989585A1 (en) * 2013-10-11 2022-04-27 VID SCALE, Inc. High level syntax for hevc extensions
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
CN103747259A (zh) * 2013-12-27 2014-04-23 华为技术有限公司 视频处理方法及装置
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US10645404B2 (en) * 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10593019B2 (en) * 2014-10-17 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for storing, processing and reconstructing full resolution image out of sub band encoded images
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
TWI635740B (zh) * 2017-06-12 2018-09-11 元智大學 平行化階層式無失真壓縮方法及其架構
US10370810B1 (en) * 2018-10-01 2019-08-06 Edward Times Feces collection assembly
AU2020319901A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Scalable nesting SEI messages for all layers
CA3152345A1 (en) * 2019-09-24 2021-04-01 Ye-Kui Wang Scalable nesting sei message management
CN117478898A (zh) * 2019-09-24 2024-01-30 华为技术有限公司 用于实现时间可适性的图像时序和解码单元信息
CN115668942A (zh) 2020-05-22 2023-01-31 Ge视频压缩有限责任公司 用于实现高级视频编码概念的视频编码器、视频解码器、编码和解码方法以及视频数据流
EP4205397A4 (en) * 2020-09-29 2024-02-28 Beijing Bytedance Network Tech Co Ltd MULTI-VIEW INFORMATION SIGNAGE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179598A1 (en) * 2003-02-21 2004-09-16 Jian Zhou Multi-path transmission of fine-granular scalability video streams
CN1656480A (zh) * 2002-05-20 2005-08-17 诺基亚有限公司 允许同步具备不同能力的不同设备中的数据的方法和设备
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
US20060026646A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation Multi-view video format
US20060088107A1 (en) * 2004-09-16 2006-04-27 Stmicroelectronics S.R.L. Method and system for multiple description coding and computer program product therefor

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001072052A2 (en) * 2000-03-24 2001-09-27 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
CN1636394A (zh) * 2000-10-11 2005-07-06 皇家菲利浦电子有限公司 细粒视频编码的空间可缩放性
CN1253009C (zh) * 2001-10-26 2006-04-19 皇家飞利浦电子股份有限公司 一种空间可缩放压缩的视频编、译码器和方法
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20040006575A1 (en) 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
AU2003281127B2 (en) * 2002-07-15 2009-04-02 Nokia Technologies Oy Method for error concealment in video sequences
JP4411045B2 (ja) * 2003-09-26 2010-02-10 京セラミタ株式会社 画像濃度制御方法
EP1704720A1 (en) 2004-01-16 2006-09-27 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
EP1615441A1 (en) * 2004-07-06 2006-01-11 STMicroelectronics S.r.l. Multiple description coding combined with channel encoding
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
JP4950206B2 (ja) 2005-10-11 2012-06-13 ノキア コーポレイション 効率的なスケーラブルストリーム適応のためのシステム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656480A (zh) * 2002-05-20 2005-08-17 诺基亚有限公司 允许同步具备不同能力的不同设备中的数据的方法和设备
US20040179598A1 (en) * 2003-02-21 2004-09-16 Jian Zhou Multi-path transmission of fine-granular scalability video streams
WO2005106875A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co., Ltd. Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
US20060026646A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation Multi-view video format
US20060088107A1 (en) * 2004-09-16 2006-04-27 Stmicroelectronics S.R.L. Method and system for multiple description coding and computer program product therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Joint Video Team (JVT), " Joint Draft 6: Scalable Video Coding", Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), JVT-S201, 1-7 April *

Also Published As

Publication number Publication date
CN101536527B (zh) 2012-03-21
ES2383831T3 (es) 2012-06-26
WO2008007337A3 (en) 2008-04-10
HK1136126A1 (en) 2010-06-18
EP2041978A2 (en) 2009-04-01
KR101037338B1 (ko) 2011-05-26
US8699583B2 (en) 2014-04-15
EP2041978A4 (en) 2010-04-21
CN101536527A (zh) 2009-09-16
ATE556541T1 (de) 2012-05-15
EP2041978B1 (en) 2012-05-02
KR20090037920A (ko) 2009-04-16
TW200822758A (en) 2008-05-16
WO2008007337A2 (en) 2008-01-17
US20080013620A1 (en) 2008-01-17

Similar Documents

Publication Publication Date Title
TWI423679B (zh) 可縮放視訊編碼與解碼技術
US9161032B2 (en) Picture delimiter in scalable video coding
JP4903877B2 (ja) ビデオの符号化においてピクチャ出力インジケータを提供するためのシステムおよび方法
EP2100459B1 (en) System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
TWI435607B (zh) 以媒體檔案發信號通知感興趣區域可縮放性資訊之技術
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
CN101627634B (zh) 用于将可并行解码片用于多视点视频编码的系统和方法
JP5462259B2 (ja) トラックおよびトラックサブセットグループ化の方法および装置
RU2409006C1 (ru) Маркировка виртуальных декодированных опорных изображений и список опорных изображений
RU2430483C2 (ru) Передача сообщений дополнительной расширенной информации в формате полезной нагрузки транспортного протокола реального времени
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
TW200850008A (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding