TWI528733B - 用於提供及使用供轉碼媒體串流用之交互操作性點的預定發訊的系統及方法 - Google Patents

用於提供及使用供轉碼媒體串流用之交互操作性點的預定發訊的系統及方法 Download PDF

Info

Publication number
TWI528733B
TWI528733B TW097100559A TW97100559A TWI528733B TW I528733 B TWI528733 B TW I528733B TW 097100559 A TW097100559 A TW 097100559A TW 97100559 A TW97100559 A TW 97100559A TW I528733 B TWI528733 B TW I528733B
Authority
TW
Taiwan
Prior art keywords
scalable
network abstraction
abstraction layer
stream
transcoding
Prior art date
Application number
TW097100559A
Other languages
English (en)
Other versions
TW200840239A (en
Inventor
麥斯卡 漢努克賽拉
王燁奎
Original Assignee
諾基亞股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 諾基亞股份有限公司 filed Critical 諾基亞股份有限公司
Publication of TW200840239A publication Critical patent/TW200840239A/zh
Application granted granted Critical
Publication of TWI528733B publication Critical patent/TWI528733B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用於提供及使用供轉碼媒體串流用之交互操作性點的預定發訊的系統及方法 發明領域
本發明一般係有關資料自一種格式至另一種格式之轉碼。更明確地說，本發明係有關一個目標轉碼格式之識別和該目標轉碼位元流之對應交互操作性點(互通作業點)(interoperability point)的指示，藉以容許一個轉換裝置來判定該想要之轉碼是否會產生一個有用之媒體串流。
 發明背景
此章節預計係提供申請專利範圍中所列舉本發明之背景或背景環境。本說明書之說明內容，可能包括一些可被追求之觀念，但非必然為先前已被構思或追求者。所以，除非本說明書另有指示，此章節中所描述者，對此申請案中之說明內容和申請專利範圍，並非屬習知技術，以及係不因納入此章節內而被視為屬習知技術。
多媒體應用係包括：本地播放、串流或隨選、對話和廣播/多點廣播服務。此等服務中之交互操作性(IOP)，對每個多媒體應用之快速配置和大規模市場形成而言係屬重要。為達成高IOP，所指定係不同之標準。
典型之聲頻和視訊編碼標準，係明列特性資料和等級。一個特性資料係該標準之演算法特徵的子集。一個等級係一組對解碼器資源消費中強加之一系列限制條件編碼參數的限制。該等特性資料和等級，係可被用來傳訊一個 媒體串流之性質，加上傳訊一個媒體解碼器之能力。每一對特性資料和等級，形成了一個"交互操作性點"。
透過一個特性資料和一個等級之組合，一個解碼器便可不必實際嘗試完成解碼法程序，而宣告其是否有能力解碼一個串流。若該解碼器無能力解碼該串流，其便可能使得該解碼器崩潰，在運作上比即時為慢，以及/或者捨棄因緩衝器超值所致之資料。
多媒體應用中所涉及之技術姑不論其他係包括：媒體編碼、儲存、和傳輸。媒體類型係包括：語音、聲頻、影像、視訊、圖形、實時字幕(time text)、等等。雖然被本說明書所包含之說明內容，係可應用至所有之媒體類型，但本說明書所說明係以視訊作為一個範例。
不同之科技已明訂有不同之標準。視訊編碼標準係包括：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(亦知名為ISO/IEC MPEG-4 Advanced Video Coding (AVC)或簡稱H.264/AVC)。除外，目前仍在努力進行開發新的視訊編碼標準。有一個發展中之標準，為可縮放性視訊編碼標準(SVC)，其將會變為H.264/AVC標準之可縮放性擴增(scalable extension)。另一個發展中之標準，為多視角視頻編碼(MVC)，其將會變為H.264/AVC標準的另一個擴增。該SVC之最新草案，聯合草案(Joint Draft)8.0，係可得自JVT-U201，"SVC修正案之聯合草案8.0"(Joint Draft 8 of SVC Amendment)，中國杭州第21次JVT會議，2006 年十月(可見自ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U201.zip)。該MVC標準之最新聯合草案，可得自JVT-U209，"多視角視頻編碼方面之聯合草案1.0"(Joint Draft 1.0 on Multiview Video Coding)，中國杭州第21次JVT會議，2006年十月(可見自http://ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U209.zip)。該MVC標準之影像模型的最新草案，係說明在JVT-U207中，"聯合多視角視訊模型(JMVM)2.0)"(Joint Multiview Video Model)(可見自http://ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U207.zip)。所有此等文件之內容，係藉由參照彼等之全文，合併進本說明書內。
可縮放性媒體，通常係被安排成階層式資料層次。一個基層係包含一個個別表示之編碼式媒體串流，諸如視訊序列。一些強化層係包含一些相對於該層次階層中之先前層次的細調資料。隨著強化層之加至該基層，上述解碼之媒體串流的品質，係可漸進地被提昇。一個強化層可提高時間解析度(亦即，畫格率)、空間解析度、或者單單是另一層次或其部分所代表之視訊內容的品質。每一層次連同其所有從屬層次，係某一空間解析度、時間解析度、和品質等級下之視訊信號的一種表示。所以，該術語"可縮放性層表示"，本說明書係用來說明一個可縮放性層，連同其之所有從屬層。一個可縮放性位元流對應於一個可縮放性層表示的部分，係可被擷取及解碼，藉以產生該原始信號某一定逼真度下之表示。
一個依據H.264/AVC或其之擴增的編碼式位元流，舉例而言，SVC和MVC，或為一個NAL單元串流，或為一個在一個NAL單元串流中的每個NAL單元前綴一個起始碼所成之位元組串流。一個NAL單元串流，僅僅是許多NAL單元之串接。一個NAL單元係由一個NAL單元標頭和一個NAL單元酬載所組成。該NAL單元標頭姑不論其他係包括：用以指明該NAL單元是否包含有一個編碼式切片之NAL單元類型、一個編碼式切片資料分割、一個序列或圖像參數組、等等。該視訊編碼層(VCL)，係包含編碼解碼器之信號處理功能性；一些類似變換、量化、移動補償預測、環路濾波、層間預測等機構。一個基層或強化層之編碼式圖像，係由一個或多個切片所組成。該NAL可將該視訊編碼層(VCL)所產生的每個切片，封裝成一個或多個NAL單元。
彼等編碼式視訊位元流，可能包含有額外之資訊，藉以提高種類繁多之視訊用途。舉例而言，補充增強信息(SEI)和視訊可用信息(VUI)，如H264/AVC中所界定，可提供此種功能性。該H.264/AVC標準和其之擴增，係包括支援透過SEI訊息之補充增強信息(SEI)發訊。該解碼程序要在輸出圖像中產生正確之樣本值，並不需要SEI訊息。更確切地說，彼等係有助於其他目的，舉例而言，錯誤復原(error resilience)和顯示。H.264/AVC係包含該等指定之SEI訊息有關的語法和語意，但該接收端中並無處置該等訊息之程序被界定。結果，彼等編碼器在建立SEI訊息時，係需要遵循該H.264/AVC標準，以及一些符合該H.264/AVC標準之解碼 器，並不需要就輸出順序順應性來處理SEI訊息。在H.264/AVC中納入SEI訊息之語法和語意的理由之一是，為容許類似3GPP多媒體規格和DVB規格等系統規格，可絲毫不差地理解該補充信息，以及因而可交互操作。可預計的是，彼等系統規格在編碼端和解碼端兩者中，可需要使用特定之SEI訊息，以及該接收端中用以處置SEI訊息之程序，係可能在一個系統規格中就一個應用加以指定。
現有之媒體檔案格式標準係包括：ISO檔案格式(ISO/IEC 14496-12)、MPEG-4檔案格式(ISO/IEC 14496-14)、AVC檔案格式(ISO/IEC 14496-15)、和3GPP檔案格式(3GPP TS 26.244)。該SVC檔案格式，SVC視訊之儲存有關的檔案格式標準，當前係正在發展，而作為該AVC檔案格式之擴增。該最新SVC檔案格式草案，在MPEG文件N8663中係可供利用。
3GPP TS 26.140，係明訂該3GPP系統內之多媒體訊息服務(MMS)有關的媒體類型、格式、和編碼解碼。3GPP TS 26.234，係明訂該3GPP系統內之封包交換式串流服務(PSS)有關的通訊協定和編碼解碼。該進行中之3GPP TS 26.346，係明訂該3GPP系統內之多媒體廣播/多點廣播服務(MBMS)。
現有之視訊編碼標準，係明訂該位元流有關之緩衝模型和緩衝參數。此等緩衝模型係被稱為假想參考解碼器(HRD)或視訊緩衝驗證器(VBV)。一個標準相符合性位元流，勢必要遵循上述具有一組在對應之標準中所指明的緩 衝參數之緩衝模型。一個位元流有關之此種緩衝參數，可能係顯含地或隱含地使發訊。"隱含地發訊"係意謂，所應用係上述依據該等特性資料和等級之內定緩衝參數值。該等HRD/VBV參數，主要地係用來針對相符合性位元流之位元率變動強加一些限制條件。
美國專利申請公報第2005/0254575號，2004年五月12日該提交及藉由參照使其全文合併進本說明書，說明了可縮放性媒體串流有關之多重運作點的發訊之程序。依據此公報中所說明之程序，一個運作點，諸如任何特性資料、等級、和HRD/VBV參數之子集，可與該可縮放性媒體串流之層次的任何有效子集相關聯。可縮放性層有關姑不論其他之特性資料和等級資訊，係包含在該SVC規格(JVT-U201，可見自ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U201.zip，以及其內容係藉由參照使其全文合併進本說明書)之可縮放性資訊補充增強信息(SEI)訊息中。
就一個可縮放性位元流而言，每個可縮放性層，連同該可縮放性層所取決之層次，可被擷取為該可縮放性位元流的一個子集。如下文所界定，擷取一個可縮放性層和其從屬層，並不需要轉碼。至少有部份來自上述轉碼程序所成之編碼式媒體串流，非屬輸入至該轉碼程序之原有編碼式媒體串流的一個子集。一個可縮放性媒體串流之擷取，不被歸類為轉碼，因為來自該截取程序之成就串流，係該原有串流的一個子集。
下文係討論許多代表性轉碼使用之情況。媒體感知網路元件(MANE)的一項功能是，可確保該媒體內容之接收端，能夠解碼及展示該媒體內容。MANE舉例而言，係包括一些類似閘道器、多點視訊會議控制伺服器(MCU)、即時傳輸協定(RTP)、轉換器、RTP混合器、多媒體訊息中心(MMSC)、即按即說蜂巢式網路(PoC)伺服器、手持式數位視訊廣播(DVB-H)系統中之網際網路協定(IP)封裝器、或一些可本地轉發廣播傳輸給家用無線網路之數位視訊轉換器等裝置。為保證成功解碼和展示，一個MANE可能必須將輸入媒體串流轉換成一個遵照該接收端之能力的格式。使該媒體串流轉碼，是一種轉換該媒體串流之方式。在另一種情形中，由於一個裝置可能無能力即時地解碼一個輸入媒體串流，該輸入媒體串流，在轉碼上係比即時為慢，舉例而言，作為一個背景運作。該轉碼之串流，接著可即時被解碼及播放。
一個媒體串流有關之編碼格式(編碼格式A，舉例而言，一個可縮放性位元流)，可能被轉碼至另一種編碼格式(編碼格式B，舉例而言，一個非可縮放性位元流)，在某些環境中可能係屬較佳，此乃由於用以支援編碼格式B之裝置的數目比起用以支援編碼格式A之裝置的數目係較大所致。因此，編碼格式A至編碼格式B之轉碼，可能在編碼格式A之媒體串流的發信方或發送器中完成。舉例而言，一個以SVC編碼之位元流，係可被轉碼成一個無格式H.264/AVC位元流。H.264/AVC裝置之數目，係超過SVC裝置之數目。 所以，在某些應用例中，SVC串流對H.264/AVC之轉碼，對支援數目較大之接收器裝置而言可能係屬較佳。
一種直截且亦呈高度計算密集性轉碼方法，係涉及完全解碼位元流，以及接著重新編碼該解碼之序列。取而代之大部份直截方法為在像素域中，亦有許多轉碼技術係在變換域中運作。視訊轉碼技術係詳細討論在A. Vetro, C. Christopoulos和H. Sun之"Video Transcoding Architectures and Techniques:An Overview,"(視訊轉碼架構和技術：概論)，IEEE信號處理雜誌，第20冊第2號，第18-29頁，2003年三月，其內容藉由參照使其全文合併進本說明書。
除了更傳統之轉碼技術外，SVC或MVC位元流對H.264/AVC位元流之某些輕量型轉碼，係屬可能，此乃由於SVC和MVC為H.264/AVC之擴增且許多編碼工具係相類似的事實所致。一個SVC位元流在某一定之限制條件下至一個H.264/AVC位元流之輕量型轉碼的一個範例，係已顯示在JVT-U043中，可見自ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U043.zip，彼等之內容係藉由參照使合併進本說明書。此方法係被稱為第一輕量型轉碼方法。
另一個輕量型轉碼之範例係說明如下。當該等強化層亦被饋送至一些H.264/AVC解碼器時，該SVC串流之基層，便可被該等H.264/AVC解碼器解碼。此係藉由使用此種網路提取層(NAL)單元類型來達成，後者係被保留在該H.264/AVC標準中，以及因而就SVC強化層資料而言，會被H.264/AVC解碼器忽略。彼等SVC串流有時可包含超過一個 l獨立編碼式層，亦即，一個不被任何其他層做層間預測之層。然而，此等層中僅有一個可被編碼為一個H.264/AVC相符合性基層，藉以維持該SVC標準與該H.264/AVC標準和解碼器的回溯相符合性。最新之SVC設計，可容許一個獨立之SVC層，被轉換成一個僅對該NAL單元標頭做修飾之H.264/AVC位元流。該等修飾係包括：移除該SVC NAL單元標頭延伸位元組，以及依下文改變該語法元素nal_unit_type之值。若該原有之nal_unit_type值等於20，則其便被改變成1。若該原有之nal_unit_type值等於21，則其便被改變成5。此方法係被稱為第二輕量型轉碼方法。
就以上兩個輕量級轉碼方法而言，該等不被目標層和已被轉碼之必需的較低層參照之參數組(序列參數組(SPS)和圖像參數組(PSS)兩者)應被捨棄，而該等被目標層和必需的較低層參照之SPS，因而勢必要被改變。舉例而言，該等特性資料和等級資訊(亦即，該SPS的開始第三個位元組)，勢必要被改變來包含該轉碼之位元流的對應資訊，以及該SPS SVC延伸(seq_parameter_set_svc_extension())若存在，便勢必要加以移除。此外，若該原有SVC位元流中之可縮放性巢式SEI訊息中所包含有該目標層有關之SEI訊息，該等SEI訊息接著勢必要以彼等原有之形式出現在該轉碼之位元流中，亦即，不包含在可縮放性巢式SEI訊息中。就該第一輕量型轉碼而言，亦需要對該NAL單元標頭(就該第二輕量型轉碼方法而言亦然)和該切片標頭做修飾。
如同在SVC之情況中，任何MVC串流之基本視界，係 與該H.264/AVC標準相符合，以及可以H.264/AVC解碼器來解碼，因為MVC NAL單元僅使用該H.264/AVC標準中所保留NAL單元類型。然而，在一個單一MVC串流中，可能有多重之獨立視界，亦即，一些不被任何其他視界做視界間預測之視界。此等獨立之視界，係被轉換成一個僅對該NAL單元標頭做修飾之H.264/AVC位元流。值得注意的是，該等獨立之MVC視界，除與H.264/AVC而外，亦可能與SVC相符合。
當前，無法判定的是，一個媒體串流在被一個特定之轉碼程序轉碼時，其編碼之方式是，所成就之位元流，是否遵照一個特定之交互操作性點。當前，唯一用以判定一個轉碼串流有關之交互操作性點的系統，一直是使該轉碼串流運行經過一個串流驗證器，諸如HRD/VBV，而回報該串流之交互操作性點。此在計算上係成本很高，以及需要有一個驗證器存在，而使與一個轉碼器相耦合。就一些輕量型轉碼方法和某些其他低複雜性轉碼方法而言，舉例而言，某些變換域之方法，該轉碼器本身之複雜性，將會甚低於該驗證器。此外，當一個接收端已請求一個遵照一個特定之交互操作性點的串流時，該轉碼之串流的轉碼和傳輸，若同一時刻有額外之串流驗證器在運行，便可能不會同時地被執行。
聯合視訊小組文件JVT-U044(可見自ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT_U044.zip，以及係藉由參照使其全文合併進本說明書)，提議加入上述發訊一 個轉碼運作所成之平均和最大位元率的可縮放性資訊SEI訊息。然而，此等資訊案件就一個用來判定其是否能即時解碼該轉碼之串流的解碼器實現體而言並不充份。
所以，在此需要的是有一種低複雜性轉碼方法有關之轉碼的位元流之IOP資訊的發訊之改良式系統和方法。
 發明概要
本發明之各種實施例，提供了一種系統及方法，其可用以識別一個指定的或預定的媒體轉碼程序可產生一個與類似就該媒體編碼格式所指定之特性資料和等級等交互操作性點相符合的媒體串流之情況。該等各種實施例可容許編碼、儲存、轉碼、及傳輸一個媒體串流，而就其會有一個轉碼程序被識別，以及該轉碼程序所成就之媒體串流，係使與至少一個性質相關聯。該(等)性質舉例而言，可能包括特性資料、等級、和一組至少一個HRD/VBV參數。該(等)性質加上該轉碼程序之標識碼的發訊，可能包含在該媒體位元流中、在一個包含該媒體位元流之檔案格式容器中、或在一個用以傳輸或控制該媒體位元流之傳輸或控制通訊協定中。此資訊可能被一個轉換器用來判定該希望之轉碼是否會產生一個有用之媒體串流。以本發明之各種實施例，一個伺服器或閘道器，並不需要藉由驗證該成就之串流，來分析來自該轉碼程序所成就之串流的編碼格式、特性資料、等級、和HRD/VBV參數。此可因而降低其計算上之複雜性，以及可避免該伺服器或閘道器中對一個 HRD/VBV驗證器之需要。
各種實施例一般提供了一種用以提供一個具有轉碼資訊之編碼式媒體串流的方法、電腦程式產品、和裝置，其包含之步驟有：將一個視訊序列，編碼成一個媒體串流；識別一個在編碼後應用至該媒體串流時可產生一個希望之轉碼的媒體串流之轉碼程序；以及發訊一個特徵化該轉碼之媒體串流的編碼性質。各種實施例一般亦提供了一種用以使一個輸入媒體串流轉換成一個希望之輸出媒體串流的方法、電腦程式產品、和裝置，其包含之步驟有：識別一個用以特徵化一個希望之轉碼媒體串流的第一編碼性質；識別一個用以特徵化一個希望之輸出媒體串流的第二編碼性質；識別一個用以建立該轉碼之媒體串流的轉碼程序；若該第一編碼性質與該第二編碼性質相一致，便依據該識別之轉碼程序，來轉換該輸入媒體串流；以及輸出該轉碼之媒體串流。
各種實施例提供了一種用以提供一個具有轉碼資訊之編碼式媒體串流的方法、電腦程式產品、和裝置。在此等實施例中，一個視訊序列係被編碼成一個包含有多數層之可縮放性編碼式位元流。亦提供有的是一種對應於該等多數層中的一層之發訊。該發訊係包含有一個用以識別一個轉碼程序之資訊，該程序在編碼後應用至該層時，可產生一個希望之轉碼的媒體串流和一個用以特徵化該轉碼之媒體串流的編碼性質。
各種實施例亦提供了一種用以使一個輸入媒體串流轉 換成一個希望之輸出媒體串流的方法、電腦程式產品、和裝置。該等用以特徵化一個希望之轉碼的媒體串流之第一和第二編碼性質會被識別。所提供對應於一個可縮放性編碼式位元流之多數層中的一個之發訊，係被用來識別一個在建立該轉碼之媒體串流中使用的轉碼程序。若該第一編碼性質與該第二編碼性質相一致，該輸入媒體串流，便會依據該識別之轉碼程序來加以轉換，以及該轉碼之媒體串流接著會被輸出。
各種實施例亦提供了一種與一個媒體串流相關聯且被體現在一個電腦可讀取式媒體中之資料結構。此種資料結構係包含有：至少一個與一個轉碼程序相關聯之語法元素；和一個在應用該轉碼程序至一個可縮放性編碼式位元流之多數層中的一個時所成就而被用來特徵化一個轉碼之媒體串流的編碼性質。亦提供有的是一種用以儲存一個媒體串流之方法，其包含之步驟有：分析該媒體串流，來識別一個依據一個希望之轉碼程序用以特徵化一個轉碼之媒體串流的編碼性質；以及依據一個檔案格式規格，將該編碼性質儲存進一個檔案格式容器中。各種實施例亦提供了一種用以建立一個在其中包含有轉碼資訊之位元流的方法。此種方法包含之步驟有：分析一個第一位元流；就該第一位元流，識別一個希望之轉碼程序，和此希望之轉碼程序的編碼性質；以及使該編碼性質之發訊，納入該第一位元流內，藉此產生一個第二位元流。
雖然本發明之各種實施例，本說明書在說明上係就視 訊編碼及根據H.264/AVC標準和其之擴增，本發明同樣可應用至任何其他之媒體類型和編碼格式。本發明亦可應用至一些涉及超過一種之媒體類型或編碼格式的多媒體展示。
本發明之此等和其他優點和特徵，連同其之組織和運作方式，將可由下文配合所附諸圖之詳細說明而臻明確，其中，相似之元件遍及以下所說明之諸圖，係具有相似之數字。
 圖式簡單說明
第1圖係一個供本發明使用之一般性多媒體通訊系統的表示圖；第2圖係一個可例示本發明的一個範例性實施例中的一個編碼裝置之簡圖；第3圖係一個可例示本發明的一個範例性實施例的一個轉換器裝置之簡圖；第4圖係一個可被使用在本發明之實現體中的電子裝置之透視圖；而第5圖則係第4圖之電子裝置的電路之示意圖。
較佳實施例之詳細說明
第1圖係顯示一個供本發明使用之一般性多媒體通訊系統。一個資料源100提供了一個類比格式、未經壓縮之數位格式、或經壓縮之數位格式、或此等格式之任何組合中的來源信號。一個編碼器110可將該來源信號編碼成一個編碼式媒體位元流。該編碼器110可能有能力編碼超過一種的 媒體類型，諸如聲頻和視訊，或者可能需要超過一個的編碼器110，來編碼不同媒體類型之來源信號。該編碼器110亦可能接收合成產生之輸入，諸如圖形和本文，或者其可能有能力產生合成媒體之編碼式位元流。在下文中，所考慮的是僅處理一種媒體類型之編碼式媒體位元流，藉以簡化此說明內容。然而，理應注意的是，即時廣播服務通常係包括幾種串流(通常是至少一個聲頻、視訊、和字幕串流)。亦應注意的是，該系統可能包含有許多編碼器，但在下文中僅有一個編碼器110被考慮，藉以簡化說明而不失一般性。
該編碼式媒體位元流，係使轉移至一個儲存器120。該儲存器120可能包括任何類型可儲存該編碼式媒體位元流之大容量記憶體。該儲存器120中之編碼式媒體位元流的格式，可能是一個基本完備式位元流格式，或者一個或多個編碼式媒體位元流，可能被封裝成一個容器檔案。某些系統之運作係屬"直播式"，亦即，省略儲存器以及將來自該編碼器110之編碼盞媒體位元流直接轉移至該發送器130。該編碼式媒體位元流，接著係依需要使轉移至上述亦被稱作伺服器之發送器130。上述傳輸中所使用之格式，可能是一個基本完備式位元流格式、一個對包串流格式，或者一個或多個編碼式媒體位元流，可能使封裝成一個容器檔案。該等編碼器110、儲存器120、和伺服器130，可能存在於同一實體裝置內，或者彼等可能使包含在一些分開之裝置中。該等編碼器110和伺服器130，可能以直播即時內容 運作，在該情況中，該編碼式媒體位元流，通常係不會被永久儲存，而是有一小段時間緩衝儲存在該內容編碼器110和/或伺服器130中，藉以平順化處理延遲、移動延遲、和編碼式媒體位元率中之變動。
該伺服器130，可使用一個通訊協定堆疊器，來傳送該編碼式媒體位元流。該堆疊器可能包括但不受限之即時傳輸協定(RTP)、使用者資料流協定(UDP)、和網際網路協定(IP)。當該通訊協定堆疊器為封包取向式時，該伺服器130便會將該編碼式媒體位元流封裝成一些封包。舉例而言，當使用的是RTP時，該伺服器130便會依據一個RTP酬載格式，將該編碼式媒體位元流，封裝成一些RTP封包。通常，每個媒體類型係具有一個專屬性RTP酬載格式。再次應注意的是，一個系統可能包含超過一個的伺服器130，但為單純計，以下之說明僅考慮一個伺服器130。
該伺服器130可能或可能不透過一個通訊網路，而使連接至一個閘道器140。該閘道器140可能執行不同類型之功能，諸如依據一個通訊協定堆疊器，使一個封包串流，轉移至另一個通訊協定堆疊器；使資料串流合併及岔分；以及依據下行鏈路和/或接收器能力，諸如依據盛行之下行鏈路網路條件，來控制該轉發之串流的位元率，而操控資料串流。該等閘道器140之範例係包括：多點視訊會議控制伺服器(MCU)、電路交換式與封包交換式視訊多媒體電話間之閘道器，即按即說蜂巢式網路(PoC)伺服器、數位視訊廣播手機(DVB-H)系統中之IP封裝器、或一些可局域地轉發 廣播傳輸至家用無線網路之數位視訊轉換器。當所使用為RTP時，該閘道器140係稱作一個RTP混合器或RTP轉換器，以及通常係作用為一個RTP連線的一個端點。
該系統係包含有一個或多個接收器150，其通常係有能力接收、解調、及解封裝該傳輸之信號，而使其成為一個編碼式媒體位元流。該編碼解碼式媒體位元流，通常會受到一個解碼器160的進一步處理，後者之輸出係一個或多個未經壓縮之媒體串流。理應注意的是，上述要被解碼之位元流，係可接收自一個事實上位於任何類型之網路內的遠程裝置。此外，該位元流係可接收自本地硬體或軟體。最後，一個播放器170舉例而言，係可能以一個擴音器或顯示器，來重現上述未經壓縮之媒體串流。該等接收器150、解碼器160、和播放器170，可能存在於同一實體裝置中，或者彼等可能包含在一些分開之裝置中。
本發明之各種實施例，提供了一種系統及方法，其可用以識別一個指定的或預定的媒體轉碼程序可產生一個與類似就該媒體編碼格式所指定之特性資料和等級等交互操作性點相符合的媒體串流之情況。該等各種實施例可容許編碼、儲存、轉碼、及傳輸一個媒體串流，而就其會有一個轉碼程序被識別，以及該轉碼程序所成就之媒體串流，係使與至少一個性質相關聯。該(等)性質舉例而言，可能包括特性資料、位準、和一組至少一個HRD/VBV參數。該(等)性質加上該轉碼程序之標識碼的發訊，可能包含在該媒體位元流中、在一個包含該媒體位元流之檔案格式容器中、 或在一個用以傳輸或控制該媒體位元流之傳輸或控制通訊協定中。此資訊可能被一個轉換器用來判定該希望之轉碼是否會產生一個有用之媒體串流。以本發明之各種實施例，一個伺服器或閘道器，並不需要藉由驗證該成就之串流，來分析來自該轉碼程序所成就之串流的編碼格式、特性資料、等級、和HRD/VBV參數。此可因而降低其計算上之複雜性，以及可避免該伺服器或閘道器中對一個HRD/VBV驗證器之需要。
理應瞭解的是，雖然本說明書所包含之本文和範例，可能係特別說明一個編碼程序，本技藝之專業人員將可輕易瞭解的是，該等相同之觀念和原理，亦可適用於對應之解碼程序，以及反之亦然。下文係本發明之各種實施例的一個範例性實現體，而特別係與多媒體訊息相關。
一個多媒體訊息在建立上，係使該位元流舉例而言與SVC等級1.1相符合。該SVC位元流之基層，係與該H.264/AVC基線特性資料等級1.1相符合。該位元流可以一個與JVT-U043中所說明之方法相類似的轉碼方法，使轉碼成一個H.264/AVC位元流。在該建立時刻，該原發終端機並不知道該接收終端機之能力。相形之下，一個多媒體訊息服務中心(MMSC)，係知道該接收終端機之能力，以及係據以在有需要時負責調適該訊息。在此範例中，一個第一接收終端機，係有能力解碼H.264/AVC基線特性資料等級1.1位元流，而一個第二接收終端機係有能力解碼H.264/AVC基線特性資料等級1.0位元流。結果，該第一接收終端機係 需要被調適，而該第二裝置係可直接擷取該基層。
上述使用本發明的一個實施例之調適程序，係需要上述指定之輕量型轉碼程序，來將該SVC串流轉碼成一個H.264/AVC基線特性資料等級1.1之H.264/AVC位元流。在無本發明的實施例之下，一個MMSC係無法確實知道該SVC位元流是否可以該輕量型轉碼程序使轉碼成H.264/AVC格式，以及該轉碼之位元流是否與該目標特性資料和等級相符合。該MMSC因而將勢必要執行一個分析程序，舉例而言，一個假想參考解碼器，以使該轉碼之串流做出判定。因此，本發明之實施例省卻了該MMSC中之計算，以及可避免該分析功能之體現。在無本發明之下，以及若該MMSC並不體現該分析功能，上述有關第一接收裝置之服務便屬不可能。在此種情況中，該基層可能已被編碼，使與H.264/AVC基線特性資料-位準1-相符合，而提供了一個比起該轉碼之串流更差的品質。因此，相較於H.264/AVC相符合之基層按原樣被傳輸時的情形，該實現體可提昇其可達成之品質。
一個第二範例性實現體，係與上文所述之第一範例相類似。然而，此範例係根據多方視訊會議，來示範本發明的一個實施例之使用。在此範例中，所假定的是，一個第一參與端(第一發送器)，可將SVC等級1.1位元流傳送給該MCU，以及兩個其他參與端(第一接收器和第二接收器)，或將想要觀看來自該第一參與端之視界。該第一接收器係有能力解碼H.264/AVC基線特性資料，等級1.1位元流，而 一個第二接收終端機係有能力解碼H.264/AVC基線特性資料，等級1.0位元流。所以，依據本發明之此一實施例，該MCU可利用上述被識別之輕量型轉碼程序，來將該SVC位元流轉碼成一個發訊之IOP點的H.264/AVC位元流，亦即，就該第一接收裝置而言之H.264/AVC基線特性資料，等級1.1，而不必定要體現或執行一個分析程序。
第2圖係一個可例示本發明的一個範例性實施例之編碼裝置204的簡圖。誠如第2圖中所示，一個編碼裝置204，可接收一個原資料串流202。一個可縮放性資料編碼器206，可識別一個轉碼程序，使其在應用至該編碼式媒體串流時，可產生一個轉碼之媒體串流。該原資料串流202會被編碼，以及該編碼器204之可縮放性資料編碼器206，可產生一片或多片薄層。上述可縮放性資料編碼器206所產生之層，接著係由該發訊組件208來發訊，其可發訊一個用以特徵化該轉碼之媒體串流的編碼性質，和該轉碼程序的一個標識碼，倘若有一片薄層和該等需要之較低薄層，係依據一個被識別之轉碼程序來轉碼時。上述有關該轉碼之位元流的編碼性質和轉碼程序標識碼兩者的發訊，在執行上係可在該媒體串流內，可在一個包含該媒體串流之檔案內，或者可藉由一個傳輪或控制通訊協定。上述表明在該資料串流210中之編碼性質，係由該編碼裝置204輸出，因而可容許一個接收裝置(MMSC或解碼器)，來讀取該等訊號，而判定該適當之轉碼是否係屬可能。該編碼性質可包含有：一個編碼格式、特性資料、等級、和/或至少一個HRD/VBV 參數。
第3圖係一個可例示本發明的一個範例性實施例中的一個轉換器裝置304之簡圖。該轉換器裝置304，係被用來轉換一個輸入媒體串流302，使成一個希望之輸出媒體串流(顯示為一個被修飾之媒體串流316)，諸如一個依據一個可被後繼之解碼器解碼的格式之媒體串流。該轉換器裝置304舉例而言可能包含有：一個閘道器、一個MCU、一個RTP轉換器、一個RTP混合器、一個MANE、或一個串流伺服器。此外，該轉換器裝置304，可能包含有一個整合在其中之解碼器。
該輸入媒體串流302，係在一個接收器306處被接收。該輸入媒體串流302，係與一個用以識別一個希望之轉碼的媒體串流(一旦該輸入媒體串流302已被轉換)之編碼性質的發訊相關聯。該編碼性質可包含有一個編碼格式、特性資料、等級、和/或HRD/VBV的至少一個參數。除了該輸入媒體串流302和該希望之轉碼的媒體串流有關的編碼性質而外，該希望之轉碼程序的標識碼亦會被接收到。所有此等資訊可加以儲存，以備稍後之轉碼和/或若有如此需要時之使用。
在該轉換器裝置304內，就該希望之輸出媒體串流，至少有一個編碼性質會被判定。在一個編碼性質比較器310處，上述用以特徵化該轉碼之媒體串流的編碼性質，是否與上述用以特徵化該希望之輸出媒體串流的編碼性質相符合，係可被判定出。舉例而言，此項判定涉及到的是，若 依據隨該輸入媒體串流302接收到之發訊而有轉碼發生，判定該解碼器是否會有能力解碼該成就之串流。若上述用以特徵化該轉碼之媒體串流的編碼性質，與上述用以特徵化該希望之輸出媒體串流的編碼性質相符合(例如，若該編碼性質係包括特性資料和等級資訊，以及所有之特性資料和等級資訊，就該轉碼之媒體串流和所希望之輸出媒體串流而言係屬相同)，則該可縮放性輸入媒體串流302，會依據上述被識別之轉碼程序，受到該媒體串流修飾器312之修飾。該修飾之資料串流，接著係由發射器314來傳輸。該修飾之資料串流316，係自該轉換器304輸出，而使朝往一個接收裝置(MMSC或解碼器)。該被修飾之資料串流316，係可在上述傳統之方式中被處理及/或解碼。
下文係描述一個範例性語法和語意，其可被使用在本發明的一個成功之實現體中。就一個位元流中之SVC發訊而言，該可縮放性資訊SEI訊息之語法可如下文。當存在時，該SEI訊息係出現在一個IDR存取單元中。
在上述之語法中，transcoding_info_present_flag[i]等於1係表示，上述具有等於layer_id[i]之層標識碼的層有關之轉碼資訊會被發訊。一個0之值係表示，無有關上述具有等於layer_id[i]之層標識碼的層之轉碼資訊會被發訊。
num-transcoding_processes_minusl[i]加1，係指明有關所發訊之轉碼程序標識碼和該轉碼之位元流的特性資料和等級之對應資訊的轉碼程序之數目。就每個轉碼程序而言，該轉碼之位元流，係依據該轉碼程序，藉由上述具有等於layer_id[i]之層標識碼的可縮放性層之表示的轉碼之 位元流來獲得。
trans_process_id[i][j]係指明就上述具有等於layer_id[i]之層標識碼的可縮放性層所發訊第j個轉碼程序之轉碼程序標識碼。該等轉碼程序係明訂如下，不過，亦可能有一些額外之轉碼程序加進。
trans_profile_idc[i][j]、trans_constraint_set0_flag[i][j]、trans_constraint_setl_flag[i][j]、trans_constraint_set2_flag[i][j]、trans_constraint_set3_flag[i][j]、和trans_level_idc[i][j]，係指明當上述等於layer_id[i]之層標識碼的可縮放性層之表示的位元流為依據上述具有等於trans_process_id[i][j]之轉碼程序標識碼的轉碼程序被轉碼時所成之位元流的特性資料和等級相符合性。trans_profile_idc[i]、trans_constraint_set0_flag[i]、trans_constraint_setl_flag[i]、trans_constraint_set2_flag[i]、trans_constraint_set3_flag[i]、和trans_level_idc[i]之語意，係分別與問題中之位元流為轉碼之位元流的profile_idc、constraint_set0_flag、constraint_setl_flag、constraint_set2_flag、constraint_set3_flag和level_idc之語意相同。
除了以上所發訊之特性資料和等級而外，其他之性質亦可能同樣使包含在該可縮放性資訊SEI訊息中。此等性質係包括但不受限之HRD/VBV參數、位元率資訊、畫格率資訊、起始參數組，一個SVC檔案格式有關之範例性發訊係如下。在此範例中，一個新的盒框(box)，transcodingInfoBox()，係界定如下，以及係可選擇地使包含在ScalableTierEntry()中。
在上述之語法中，transcoding_process_id_count可給定下表之進入點的數目。transcoding_process_id，係指明有關所發訊之轉碼程序標識碼和該轉碼之位元流的特性資料和等級之對應資訊的轉碼程序之數目。就每個轉碼程序而言，該轉碼之位元流，係依據該轉碼程序，藉由轉碼當前可縮放性階層之表示的位元流來獲得。該等轉碼程序係明訂如下，不過，亦可能有一些額外之轉碼程序加進。
trans_profileIndication係包含上述轉碼之位元流的特性資料碼。trans_profile_compatibility係一個在界定上與一個序列參數組中之profile_idc和level_idc之間發生的位元組完全相同之位元組。trans_levelIndication係包含上述轉碼之位元流的等級碼。
理應注意的是，除了以上所發訊之特性資料和等級而外，其他之性質，包括HRD/VBV參數、位元率資訊、畫格率資訊、起始參數組，可能同樣使包含在該 TrancodingInfoBox()中。
下文係討論會話描述協定(SDP)之背景環境中的SVC。一個媒體類型係連同一個RTP酬載格式一起被明訂，通常係在同一規格中。一個媒體類型可與各種通訊協定一起使用，諸如HTTP和RTP，藉以識別該通訊協定內所攜帶之內容。一個媒體類型之名稱，係包含一個以一條斜線分開之內容類型和子類型，舉例而言，"video/H.264-SVC"。任何數目之必需和選用參數，可就每個媒體類型加以明訂，藉以指明一個較明細之等級中的媒體之特性。依據SVC RTP酬載格式有關之網際網路草案(其最新版本可見自www.ietf.org/internet-drafts/draft-ietf-avt-rtp-svc-00.txt，以及係藉由參照使其全文合併進本說明書)，該選用媒體參數sprop-scalability-info，可能被用來傳達一個可縮放性資訊SEI訊息。一個RTP式會期有關之可用媒體串流，通常係以其對應之媒體類型和其包含在一個依據該SDP被格式化之會期敘述中的參數來加以說明。在單點廣播串流應用中，該會期敘述通常係由該即時串流通訊協定(RTSP)來攜帶，後者係被用來建立及控制該串流會期。在廣播和多點廣播串流應用中，該會期敘述可能被攜帶為該服務有關之電子服務指南(ESG)的一部分。在視訊會議應用中，上述被使用之編碼解碼和彼等之模態，在該會期建立期間會被協商，舉例而言，以會話起始通訊協定(SIP)協商，後者可傳達一些依據該SDP主叫方/回應方(offer/answer)模式所格式化之訊息。
在一個多方視訊會議之應用範例中，該第一發送器，係使一個內含如上文所說明之轉碼資訊的可縮放性資訊SEI訊息包含在一個會話敘述通訊協定(SDP)檔案內，以及舉例而言係使用SIP，將該SDP檔案遞送給該MCU。該MCU接著可得到何者IOP點係屬可能，或藉由位元流擷取，或藉由位元流轉碼。所以，該MCU可就所有之接收器，適當地適配來自該第一發送器之SVC位元流。或者，一些對應之SDP欄位，係可被界定來傳達該轉碼標識碼和該轉碼之位元流的性質。
第4和5圖係顯示本發明可在其中被體現的一個代表性電子裝置12。然而，理應瞭解的是，本發明並非意使受限於一個特定類型之電子裝置12或其他之電子裝置。第4和5圖之電子裝置12係包含有：一個殼架30、一個成液晶顯示器之形式的顯示器32、一個按鍵區34、一個麥克風36、一個耳機38、一個電池40、一個紅外線接口42、一個天線44、一個為依據本發明之實施例的UICC之形式的智慧卡46、一個讀卡機48、一個無線電界面電路52、一個編碼解碼電路54、一個控制器56、一個記憶體58、和一個電池80。一些個別之電路和元件，全係本技藝中所習見之類型，舉例而言，在行動電話之諾基亞系列中。此等電路和組件，係可使合併進事實上為本說明書所討論之所有裝置內，其中包括一個編碼器、一個轉換器、和一個解碼器。
本發明之通訊裝置，在通訊上可能使用各種傳輸技術，其中包括但不受限：碼分多址系統(CDMA)、全球行動 通訊系統(GSM)、全球行動電話系統(UMTS)、時分多址系統(TDMA)、頻分多址系統(FDMA)、傳輸控制協定/網際網路協定(TCP/IP)、簡訊服務(SMS)、多媒體訊息服務(MMS)、電子郵件服務、即時訊息服務(IMS)、籃芽服務、IEEE 802.11、等等。一個通訊裝置可能使用各種媒體來通訊，其中包括但不受限：無線電、紅外線、雷射、電纜連接、等等。
本發明係在一般性方法步驟之背景環境中加以說明，其在一個實施例中之體現，可能係藉由一個程式產品，其係包含有一些類似程式碼等可被網路化環境中之電腦所執行的電腦可執行式指令。通常，一些程式模組，係包含有一些可執行特定任務或可實現特定之抽象資料類型的公用常式、程式、物件、組件、資料結構、等等。彼等電腦可執行式指令、相關聯之資料結構、和程式模組，係代表一些用以執行本說明書所揭示之方法步驟的程式碼之範例。
此等可執行式指令或相關聯之資料結構的特定順序，係代表一些用以體現此等步驟中所說明之功能的對應動作之範例。
本發明之軟體和聯網實現體，係可以標準程式規劃技術來完成，彼等係具有一個規則式邏輯和其他邏輯，可完成各種資料庫搜索步驟、關聯化步驟、比較步驟、和判定步驟。亦應注意的是，本說明書和申請專利範圍中所用之語詞"組件"和"模組"，係意使涵蓋一些使用一行或多行軟體程式碼之實現體、和/或一些硬體實現體、和/或一些用 以接收人工輸入之設備。
本發明之實施例的前文說明在呈現上，係為例示和說明之目的。其並非意使詳盡無遺或限制本發明至所揭示之精確形式，以及依據上文之揭示說明，係可能有修飾體和變更形式，或者可能由本發明之實務而獲致。該等實施例在選擇及說明上，係為解釋本發明之原理和其實際應用，而使本技藝之專業人員，能夠利用本發明至各種實施例中，以及具有各種適用於所預期之特定用途的修飾體。本說明書所說明之實施例的特徵，係可結合在所有可能組合之方法、裝置、模組、系統、電腦程式產品、和資料結構中。
12‧‧‧通訊裝置
30‧‧‧殼架
32‧‧‧顯示器
34‧‧‧按鍵區
36‧‧‧麥克風
38‧‧‧耳機
40‧‧‧電池
42‧‧‧紅外線接口
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡機
52‧‧‧無線電界面電路
54‧‧‧編碼解碼器(codec)電路
56‧‧‧控制器
58‧‧‧記憶體
80‧‧‧電池
100‧‧‧來源
110‧‧‧編碼器
312‧‧‧媒體串流修飾器
120‧‧‧儲存器
130‧‧‧發送器
140‧‧‧閘道器
150‧‧‧接收器
160‧‧‧解碼器
170‧‧‧播放器
202‧‧‧原資料串流
204‧‧‧編碼裝置
206‧‧‧可縮放性資料編碼器
308‧‧‧發訊組件
210‧‧‧資料串流
302‧‧‧輸入媒體串流
304‧‧‧轉換器裝置
306‧‧‧接收器
310‧‧‧編碼性質比較器
314‧‧‧發射器
316‧‧‧媒體串流
第1圖係一個供本發明使用之一般性多媒體通訊系統的表示圖；第2圖係一個可例示本發明的一個範例性實施例中的一個編碼裝置之簡圖；第3圖係一個可例示本發明的一個範例性實施例的一個轉換器裝置之簡圖；第4圖係一個可被使用在本發明之實現體中的電子裝置之透視圖；而第5圖則係第4圖之電子裝置的電路之示意圖。
32‧‧‧顯示器
34‧‧‧按鍵區
36‧‧‧麥克風
38‧‧‧耳機
42‧‧‧紅外線接口
44‧‧‧天線
46‧‧‧智慧卡
48‧‧‧讀卡機
52‧‧‧無線電界面電路
54‧‧‧編碼解碼器(codec)電路
56‧‧‧控制器
58‧‧‧記憶體

Claims (20)

  1. 一種用以提供具有轉碼資訊之編碼式媒體串流的方法，其包含之步驟有：將一個視訊序列編碼成一個包含有多數層之可縮放編碼位元串流，該可縮放編碼位元串流包含網路提取層(NAL)單元，各網路提取層單元包含一網路提取層單元標頭及一網路提取層單元酬載；以及提供一個對應於該等多數層中的一可縮放層之發訊，該發訊係包含用以識別一個轉碼程序及編碼性質之資訊，其中該轉碼程序在編碼後應用於該可縮放層時，修改與該可縮放層相關聯之該等網路提取層單元的網路提取層單元標頭、捨棄與其他可縮放層相關聯之該等網路提取層單元、並產生一個不可縮放之轉碼的媒體串流，及其中該編碼性質特徵化界定該轉碼之媒體串流且包含下列至少一者：一編碼格式、一標準之特性資料、一標準之等級、一假想參考解碼器參數及一視訊緩衝驗證參數。
  2. 如申請專利範圍第1項之方法，其進一步包含在該可縮放編碼位元串流內提供該發訊。
  3. 如申請專利範圍第1項之方法，其進一步包含在補充增強資訊內提供該發訊。
  4. 如申請專利範圍第1項之方法，其進一步包含在一個內含該可縮放編碼位元串流之檔案內提供該發訊。
  5. 如申請專利範圍第1項之方法，其進一步包含經由一個 傳輸協定提供該發訊。
  6. 如申請專利範圍第1項之方法，其進一步包含經由一個控制協定提供該發訊。
  7. 一種儲存有電腦程式碼之非暫時性電腦可讀媒體，該程式碼在執行時，致使一裝置進行下列動作：將一視訊序列編碼成一包含多數層之可縮放編碼位元串流，該可縮放編碼位元串流包含網路提取層(NAL)單元，各網路提取層單元包含一網路提取層單元標頭及一網路提取層單元酬載；以及提供一對應於該等多數層中的一可縮放層之發訊，該發訊係包括用以識別一轉碼程序及一編碼性質之資訊，其中該轉碼程序在編碼後應用於該可縮放層時，修改與該可縮放層相關聯之該等網路提取層單元的網路提取層單元標頭、捨棄與其他可縮放層相關聯之該等網路提取層單元、並產生一不可縮放之轉碼的媒體串流，及其中該編碼性質特徵化界定該轉碼之媒體串流且包含下列至少一者：一編碼格式、一標準之特性資料、一標準之等級、一假想參考解碼器參數及一視訊緩衝驗證參數。
  8. 如申請專利範圍第7項之非暫時性電腦可讀媒體，其中該電腦程式碼在執行時，致使該裝置進行下列動作：在該可縮放編碼位元串流內提供該發訊。
  9. 如申請專利範圍第7項之非暫時性電腦可讀媒體，其中該電腦程式碼在執行時，致使該裝置進行下列動作： 在補充增強資訊內提供該發訊。
  10. 如申請專利範圍第7項之非暫時性電腦可讀媒體，其中該電腦程式碼在執行時，致使該裝置進行下列動作：在一個內含該可縮放編碼位元串流之檔案內提供該發訊。
  11. 如申請專利範圍第7項之非暫時性電腦可讀媒體，其中該電腦程式碼在執行時，致使該裝置進行下列動作：經由一個傳輸協定提供該發訊。
  12. 如申請專利範圍第7項之非暫時性電腦可讀媒體，其中該電腦程式碼在執行時，致使該裝置進行下列動作：經由一個控制協定提供該發訊。
  13. 一種編碼裝置，其係包含有：一個處理器；和一個記憶體，其係以通訊方式連接至該處理器且儲存有電腦程式碼，該程式碼在執行時，致使該裝置進行下列動作：將一個視訊序列編碼成一個包含有多數層之可縮放編碼位元串流，該可縮放編碼位元串流包含網路提取層(NAL)單元，各網路提取層單元包含一網路提取層單元標頭及一網路提取層單元酬載；和提供一個對應於該等多數層中的一可縮放層之發訊，該發訊係包含有一個用以識別一個轉碼程序及一編碼性質之資訊，其中該轉碼程序在編碼後應用於該可縮放層時，修改與該可縮放層相關聯之該等網路 提取層單元的網路提取層單元標頭、捨棄與其他可縮放層相關聯之該等網路提取層單元、並產生一個不可縮放之轉碼的媒體串流，及其中該編碼性質特徵化界定該轉碼之媒體串流且包含下列至少一者：一編碼格式、一標準之特性資料、一標準之等級、一假想參考解碼器參數及一視訊緩衝驗證參數。
  14. 如申請專利範圍第13項之裝置，其中該電腦程式碼在執行時，致使該裝置進行下列動作：在該可縮放編碼位元串流內提供該發訊。
  15. 如申請專利範圍第13項之裝置，其中該電腦程式碼在執行時，致使該裝置進行下列動作：在補充增強資訊內提供該發訊。
  16. 如申請專利範圍第13項之裝置，其中該電腦程式碼在執行時，致使該裝置進行下列動作：在一個內含該可縮放編碼位元串流之檔案內提供該發訊。
  17. 如申請專利範圍第13項之裝置，其中該電腦程式碼在執行時，致使該裝置進行下列動作：經由一個傳輸協定提供該發訊。
  18. 如申請專利範圍第13項之裝置，其中該電腦程式碼在執行時，致使該裝置進行下列動作：經由一個控制協定提供該發訊。
  19. 一種儲存有與可縮放編碼位元串流相關聯之資料結構的非暫時性電腦可讀媒體，該資料結構包含有： 至少一個與一個轉碼程序及一編碼性質相關聯之語法元素，該編碼性質係特徵化界定一個轉碼之媒體串流，該轉碼之媒體串流係在應用該轉碼程序於該可縮放編碼位元串流之多數層中的一個層時產生，該可縮放編碼位元串流包含網路提取層(NAL)單元，各網路提取層單元包含一網路提取層單元標頭及一網路提取層單元酬載，其中該轉碼程序修改與該等多數層中之該一個層相關聯之該等網路提取層單元的網路提取層單元標頭、捨棄與該等多數層中之其他可縮放層相關聯之該等網路提取層單元、並產生一個不可縮放之轉碼的媒體串流，及其中該編碼性質包含下列至少一者：一編碼格式、一標準之特性資料、一標準之等級、一假想參考解碼器參數及一視訊緩衝驗證參數。
  20. 如申請專利範圍第19項之非暫時性電腦可讀媒體，其中該資料結構進一步包含該可縮放編碼位元串流。
TW097100559A 2007-01-08 2008-01-07 用於提供及使用供轉碼媒體串流用之交互操作性點的預定發訊的系統及方法 TWI528733B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US88398907P 2007-01-08 2007-01-08

Publications (2)

Publication Number Publication Date
TW200840239A TW200840239A (en) 2008-10-01
TWI528733B true TWI528733B (zh) 2016-04-01

Family

ID=39608407

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097100559A TWI528733B (zh) 2007-01-08 2008-01-07 用於提供及使用供轉碼媒體串流用之交互操作性點的預定發訊的系統及方法

Country Status (9)

Country Link
US (1) US9319717B2 (zh)
EP (1) EP2100459B1 (zh)
KR (1) KR101100413B1 (zh)
CN (1) CN101578884B (zh)
AR (1) AR064783A1 (zh)
HK (1) HK1137602A1 (zh)
MX (1) MX2009007240A (zh)
TW (1) TWI528733B (zh)
WO (1) WO2008084424A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296295B2 (en) * 2002-12-11 2007-11-13 Broadcom Corporation Media processing system supporting different media formats via server-based transcoding
KR100800690B1 (ko) * 2006-02-10 2008-02-01 삼성전자주식회사 디지털 방송 서비스 시스템에서 방송 데이터 전송 장치 및방법
CN101578884B (zh) * 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
JP5686594B2 (ja) 2007-04-12 2015-03-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報（ｖｕｉ）用の方法及び装置
BRPI0817420A2 (pt) * 2007-10-05 2013-06-18 Thomson Licensing mÉtodos e aparelho para incorporar informaÇço de usabilidade de vÍdeo (vui) em um sistema de codificaÇço de vÍdeo de méltiplas visualizaÇÕes (mvc)
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
KR101144539B1 (ko) * 2008-06-05 2012-05-14 한국전자통신연구원 스케일러블 비디오 코딩 비트스트림의 적응 변환 장치 및 그 방법
CN102160375B (zh) * 2008-09-16 2015-04-22 汤姆逊许可证公司 使用可扩展视频编码的数字线性tv节目的递送方法
US8270495B2 (en) * 2009-02-13 2012-09-18 Cisco Technology, Inc. Reduced bandwidth off-loading of entropy coding/decoding
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
US8948247B2 (en) * 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2011030811A1 (ja) * 2009-09-14 2011-03-17 日本電気株式会社 配信システム、ゲートウェイ、配信方法及びプログラム
CN102075766B (zh) * 2009-11-23 2013-01-09 华为技术有限公司 视频编码、解码方法、装置及视频编解码系统
CA2786812C (en) 2010-01-18 2018-03-20 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for supporting playout of content
CN102447673A (zh) * 2010-09-30 2012-05-09 突触计算机系统（上海）有限公司 一种用于解封装携有封装格式的多媒体文件的方法与设备
US9215471B2 (en) 2010-11-12 2015-12-15 Microsoft Technology Licensing, Llc Bitstream manipulation and verification of encoded digital media data
US20130271571A1 (en) * 2010-12-27 2013-10-17 Telefonaktiebolaget L M Ericsson (Publ) Method and Arrangement for Processing of Encoded Video
WO2012088649A1 (zh) * 2010-12-31 2012-07-05 北京世纪高蓝科技有限公司 复用码流信息的h264转码方法
US10045089B2 (en) * 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
WO2013030852A2 (en) * 2011-08-29 2013-03-07 Sling Media Pvt Ltd. Systems and methods for controlling the encoding of a segmented media stream using segment transmit times
US9204156B2 (en) 2011-11-03 2015-12-01 Microsoft Technology Licensing, Llc Adding temporal scalability to a non-scalable bitstream
JP6079174B2 (ja) 2011-12-27 2017-02-15 株式会社リコー 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
KR20140001477A (ko) * 2012-06-27 2014-01-07 삼성전자주식회사 영상통화의 효율적 세션 교섭을 위한 장치 및 방법
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
US9591355B2 (en) * 2012-10-19 2017-03-07 Broadcom Corporation Decoding video streams using decoders supporting a different encoding profile
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
US9262419B2 (en) * 2013-04-05 2016-02-16 Microsoft Technology Licensing, Llc Syntax-aware manipulation of media files in a container format
CA2916892A1 (en) * 2013-07-22 2015-01-29 Sony Corporation Information processing apparatus and method
KR101584111B1 (ko) * 2013-08-19 2016-01-11 경희대학교 산학협력단 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
WO2015102271A1 (ko) * 2014-01-02 2015-07-09 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
KR102294092B1 (ko) 2014-01-02 2021-08-27 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
JP5836424B2 (ja) 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9912985B2 (en) * 2014-09-26 2018-03-06 Intel Corporation Content distribution
US9979983B2 (en) 2015-03-16 2018-05-22 Microsoft Technology Licensing, Llc Application- or context-guided video decoding performance enhancements
US10129566B2 (en) * 2015-03-16 2018-11-13 Microsoft Technology Licensing, Llc Standard-guided video decoding performance enhancements
US9538137B2 (en) 2015-04-09 2017-01-03 Microsoft Technology Licensing, Llc Mitigating loss in inter-operability scenarios for digital video
KR101770070B1 (ko) 2016-08-16 2017-08-21 라인 가부시키가이샤 비디오 컨퍼런스를 위한 비디오 스트림 제공 방법 및 시스템
CN110198474B (zh) * 2018-02-27 2022-03-15 中兴通讯股份有限公司 一种码流处理方法及装置
KR102495915B1 (ko) 2018-04-30 2023-02-03 삼성전자 주식회사 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버
WO2021012051A1 (en) * 2019-07-23 2021-01-28 Lazar Entertainment Inc. Live media content delivery systems and methods
WO2021117813A1 (ja) * 2019-12-13 2021-06-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11824915B2 (en) * 2021-11-04 2023-11-21 Pexip AS Method, computer program and system for streaming a video conference in a multi-point videoconferencing system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
US7020196B2 (en) * 2000-03-13 2006-03-28 Sony Corporation Content supplying apparatus and method, and recording medium
AU2002216644A1 (en) * 2000-10-23 2002-05-06 Radisys Corporation Method and apparatus for common channel communication using a packet switched network
EP1309181A1 (en) * 2001-11-06 2003-05-07 Thomson Licensing S.A. Device, method and system for multimedia content adaption
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
CN101073265B (zh) * 2004-12-03 2012-08-22 汤姆森许可贸易公司 可缩放视频编码方法
CN101120593A (zh) 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
CN101578884B (zh) * 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法

Also Published As

Publication number Publication date
EP2100459A1 (en) 2009-09-16
MX2009007240A (es) 2009-08-07
HK1137602A1 (zh) 2010-07-30
KR20090097907A (ko) 2009-09-16
CN101578884A (zh) 2009-11-11
TW200840239A (en) 2008-10-01
US20080175325A1 (en) 2008-07-24
WO2008084424A1 (en) 2008-07-17
AR064783A1 (es) 2009-04-22
EP2100459B1 (en) 2019-04-03
US9319717B2 (en) 2016-04-19
CN101578884B (zh) 2015-03-04
KR101100413B1 (ko) 2011-12-30
EP2100459A4 (en) 2012-09-26

Similar Documents

Publication Publication Date Title
TWI528733B (zh) 用於提供及使用供轉碼媒體串流用之交互操作性點的預定發訊的系統及方法
US8699583B2 (en) Scalable video coding and decoding
US9537902B2 (en) Enabling devices without native broadcast capability to access and/or receive broadcast data in an efficient manner
Schierl et al. System layer integration of high efficiency video coding
Wenger et al. Transport and signaling of SVC in IP networks
TWI753928B (zh) 用於在多媒體通訊中使用壓縮並行轉碼器的方法和裝置
TWI432035B (zh) 可縮放視訊編碼之圖像反向相容聚合技術
RU2510908C2 (ru) Описание характеристик агрегированных блоков медиаданных с обратной совместимостью
US20160337424A1 (en) Transferring media data using a websocket subprotocol
CN101518087A (zh) 用于指示媒体文件中轨道关系的系统和方法
TW200850008A (en) System and method for using redundant pictures for inter-layer prediction in scalable video coding
US20220407899A1 (en) Real-time augmented reality communication session
Le et al. End-to-end transmission of scalable video contents: performance evaluation over EvalSVC—a new open-source evaluation platform
Li et al. Real-time streaming and robust streaming h. 264/avc video
US20240357141A1 (en) Rate adaptation for video coding for machines
Basso Beyond 3G video mobile video telephony: The role of 3G-324M in mobile video services
KR20240133976A (ko) 적응형 스트리밍을 위한 동적 해상도 변경 힌트들