JP6247286B2 - ビデオコンテンツの符号化及び配信のための分散アーキテクチャ - Google Patents
ビデオコンテンツの符号化及び配信のための分散アーキテクチャ Download PDFInfo
- Publication number
- JP6247286B2 JP6247286B2 JP2015517368A JP2015517368A JP6247286B2 JP 6247286 B2 JP6247286 B2 JP 6247286B2 JP 2015517368 A JP2015517368 A JP 2015517368A JP 2015517368 A JP2015517368 A JP 2015517368A JP 6247286 B2 JP6247286 B2 JP 6247286B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video stream
- stream
- information
- encoded video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims description 33
- 230000006870 function Effects 0.000 claims description 174
- 238000000034 method Methods 0.000 claims description 136
- 230000033001 locomotion Effects 0.000 claims description 127
- 238000013139 quantization Methods 0.000 claims description 103
- 238000004458 analytical method Methods 0.000 claims description 98
- 239000013598 vector Substances 0.000 claims description 61
- 238000006243 chemical reaction Methods 0.000 claims description 60
- 230000005540 biological transmission Effects 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 27
- 238000012384 transportation and delivery Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 4
- 239000000872 buffer Substances 0.000 description 90
- 230000008569 process Effects 0.000 description 62
- 230000007246 mechanism Effects 0.000 description 27
- 238000005457 optimization Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000013459 approach Methods 0.000 description 10
- 241000023320 Luma <angiosperm> Species 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009365 direct transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Computer Security & Cryptography (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
以下の参考文献は、その全体を参照することにより、本明細書においてその全体が完全に論述されているかのように、本明細書に援用されるものとする:
米国仮特許出願第61/658761号(2012年6月12日出願、発明の名称「Rate Control for Video Compression」);
米国特許第7415594号(2008年8月19日公表、発明の名称「Processing System With Interspersed Stall Propagating Processors and Communication Elements」);
米国特許第8151305号(2012年4月3日公表、発明の名称「Mobile Television Broadcast System」);
Gary J.Sullivan及びThomas Wiegand「Rate−distortion optimization for video compression」IEEE Signal Processing Magazine、1998年11月、74〜90ページ;
Xiang Liら「Laplace distribution−based Lagrangian rate distortion optimization for Hybrid Video Coding」IEEE Trans.Circuits and Systems for Video Technology、vol.19、no.2、193〜205ページ。
J.Choi及びD.Park「A stable feedback control of the buffer state using the controlled Lagrange multiplier method」IEEE Trans.Image Processing、vol.3、no.5、546−558ページ、1994年9月;
K.−P.Lim、G.Sullivan、T.Wiegand「Text description of joint model reference encoding methods and decoding concealment methods」Joint Video Team of ISO/IEC MPEG and ITU−T VCEG Document、JVT−X101、ジュネーブ、2007年6月;
Loren Merritt及びRahul Vanam「Improved rate control and Motion Estimation for H.264 Encoder」Image Processing、2007年、ICIP2007、Vol.5、V−309〜V−312ページ;
Thomas Wiegand、Michael Lightstone、Debargha Mukherjee、T.George Campbell、Sanjit K.Mitra「Rate−Distortion Optimized Mode Selection for Very Low Bit Rate Video Coding and the Emerging H.263 Standard」Circuits and Systems for Video Technology、IEEE Transactions on(Volume:6、Issue:2)、1996年4月、182〜190ページ;
Liang−jin Lin、Antonio Ortega「Bit−Rate Control Using Piecewise Approximated Rate−Distortion Characteristics」Circuits and Systems for Video Technology、IEEE Transactions on(Volume:8、Issue:4)、1996年8月、446〜459ページ;
L−J Lin、A Ortega、C−C J Kuo「A gradient−based rate control algorithm with applications to MPEG video」Image Processing、1995年、Proceedings.、International Conference on(Volume:3)、ワシントンDC、1995年10月23〜26日、392〜395ページ。
以下は、本出願で使用する用語の解説である。
ある一連の実施形態では、システム100は図1に示すように構成できる。システム100は、幅広い文脈及び用途において使用できる。ある1つの応用例では、システム100を、コンテンツ配信ネットワーク(content delivery network:CDN)の一部として使用できる。システム100は、メモリ110、1つ又は複数のビデオトランスコーダデバイスVTD1、VTD2、…VTDNdの集合120、及びコントローラ130を含む。Ndは、上記1つ又は複数のビデオトランスコーダデバイスの個数を表す。(システム100は、上述の、及び図2〜17に関連して以下に述べる特徴、要素及び実施形態のいずれのサブセットも含んでよい。)上記1つ又は複数のビデオトランスコーダデバイスは、以下で様々に説明されるように構成できる。
ある一連の実施形態では、コンテンツ配信ネットワーク300は図3に示すように構成できる。コンテンツ配信ネットワーク300は、メモリ310、複数のビデオトランスコーダデバイスVTD1、VTD2、…VTDNd(まとめて符号320で表す)、及びコントローラ330を含む。(コンテンツ配信ネットワークは、図1〜2、図4〜17に関連して既に述べた又は以下に述べる特徴、要素及び実施形態のいずれのサブセットも含んでよい。)
図4は、ネットワークエッジトランスコーダを用いて顧客にコンテンツを配信するための方法の一実施形態を示す。410において、コンテンツプロバイダは、コンテンツタイトル毎に単一のメザニン符号化を実施してよい。メザニン符号化により、コンテンツタイトル毎に符号化メザニンストリームファイル及び副次的情報ストリームが生成される。
ある一連の実施形態では、ビデオコンテンツを配信するためのシステム500は、図5に示すように、メザニンエンコーダ510、ネットワークエッジトランスコーダ520、(無線ネットワーク、又は有線ネットワーク、又は無線及び有線ネットワークの併用等の)通信媒体525、ユーザデバイス530を含んでよい。システム500はコンテンツ配信ネットワークの一部として、又は広範なその他の用途のいずれにおいて利用できる。
ある一連の実施形態では、ビデオエンコーダ700(ここでは「メザニンエンコーダ」とも呼ばれる)は、図7に示すように構成してよい。ビデオエンコーダは、入力ビデオストリーム705に作用して副次的情報ストリーム730を生成するよう構成してよい。ビデオエンコーダはまた、符号化ビデオストリーム725も生成してよい。ビデオエンコーダ700は、デジタル回路構成710及び伝送回路構成720を含んでよい。(ビデオエンコーダ700は、図1〜6、図8〜17に関連して既に述べた又は以下に述べる特徴、要素及び実施形態のいずれのサブセットも含んでよい。)
TBk←Transform(PRk)
ここでk=1、2、…、Nである。いくつかの実施形態では、上記変換は離散コサイン変換である(DCT)。しかしながら他の変換も同様に使用してよい。
Rk(q)=α+βlog(1/q) [Lin、1998年];
Rk(q)=α+β/q’ [Lin、1998年];
Rk(q)=変換残差のラプラス分散に基づく表現式 [Li、2009年]
これらの例示的な連続関数モデルでは、α及びβはフィッティングパラメータである。フィッティングパラメータの計算は、連続関数モデルと、変換ブロックに対応する量子化ステップ幅の計算された全ての状態との間の誤差を最小化するために、フィッティングパラメータに値、例えば:
(Rmax,qmin=1)、
(Rmid,qmid)、
(Rmin=0,qmax)
を割り当てるための数値法を使用することからなってよい。
Dk(q)=αq2 [Sullivan、1998年]
この例示的な連続関数モデルでは、αはフィッティングパラメータである。フィッティングパラメータの計算は、連続関数モデルと、変換ブロックに対応する量子化ステップ幅の計算された全ての状態との間の誤差を最小化するために、フィッティングパラメータに値、例えば(D,q)を割り当てるための数値法を使用することからなってよい。
ある一連の実施形態では、ビデオ信号変換システム1000は図10に示すように構成してよい。(更にビデオ信号変換システム1000は、図1〜9、図11〜17に関連して既に述べた又は以下に述べる特徴、要素及び実施形態のいずれのサブセットを含んでよい。)
Rk(q)=α+βlog(1/q) [Lin、1998年]
を有し、ここでα及びβはフィッティングパラメータである。
Dk(q)=αq2 [Sullivan、1998年]
を有し、ここでαはフィッティングパラメータである。
RA(q)←ratefit*RA(q)
に基づいて、補正1140を適用してよい。ここでratefitは、予測サイズと、ビデオシーケンス内の順序が前のピクチャから得られた実際のサイズとを比較することによって計算される値である。
λ(q)=−(dDA(q)/dq)/(dRA(q)/dq)
に従って、qstepの現在の値に関してピクチャ関連ラムダ関数λ(q)の値を計算してよい。ここでdDA(q)/dqはピクチャ関連歪み導関数である。
dDA(q)/dq=定数
であり、定数の値は例えば、一連の例示的なビデオクリップのオフライン分析によって経験的に決定できる。
本特許は特に、ビデオ圧縮エンコーダのためのビットレート制御方法を開示する。本ビットレート制御方法は、例えばハイブリッドエンコーダを含むいずれのビデオ圧縮方法に適用できる。(ハイブリッドエンコーダは運動補償を使用し、ピクチャ毎にビット割り当てが大きく変動するという特性を有する。)本ビットレート制御方法は、極めて多数の相互依存性の符号化選択に関する最適な解決法が望まれているH.264符号化規格に応用できるものとして説明される。しかしながら必要に応じてその他の規格を用いることもできる。
一実施形態では、ビットレート制御システムは、バッファモデル、速度−歪み最適化、マクロブロックモデル、イントラ複雑性分析、運動分析、ピクチャタイプ選択及び速度制御機構を伴うものであってよい。
図12は、一実施形態によるH.264エンコーダの後半、又はネットワークエッジトランスコーダの後半を示す。上記後半は、変換ステージ1210、エントロピーコード化ステージ1215及びビットストリーム形成ステージ1220を含んでよい。統合型速度制御構成要素は、イントラ複雑性及び運動分析情報のフレームバッファA、スケーラ値λのための入力、ピクチャサイズ出力、並びに(変換ステージ内での)qstep選択に関するマクロブロックモデルの実装を含んでよい。ピクチャサイズ出力は、変換段階からの暫定ピクチャサイズ(provisional picture size:PPS)及び実際のピクチャサイズ(actual picture size:APS)を含んでよい。所定のピクチャに関する実際のピクチャサイズの伝送は、上述の実施形態における処理のパイプライン型の性質により、上記ピクチャに関する暫定ピクチャサイズの伝送に対して遅れてよい。
現在のピクチャのルマ(輝度)及びクロマ(彩度)サンプルに関するバッファA;運動ベクトル及び予測サンプルに関するバッファB;イントラ複雑性及びマクロブロック毎の運動分析に関するバッファCの;運動推定精密化のための再構成サンプルに関するバッファD;コード化マクロブロック情報に関するバッファE;並びにスライスデータに関するバッファFを含んでよい。
ある一連の実施形態による速度制御システムの構成要素又は特徴に関する更なる詳細を以下に提供する。
可能な符号化選択のN次元空間におけるいずれの所定の点に関して、以下の値を計算できる:
R=速度=符号化選択から得られるビットストリーム中のビット数
D=歪み=上記選択による非可逆符号化アルゴリズムによって生じる歪み
J=D+λR
qstep=A*2^(QP/6)
によってQPと関連し、ここでAは固定された定数であり、「^」は冪乗を表す。
dD/dR=−λ
である。従ってλは、図15に示すようにカーブD(R)の負の傾きであり、λとqstepの間には写像が存在する。
λ(qstep)=−(dD/dqstep)/(dR/dqstep)
に従ってqstepからλを計算できる。
qstepの値は、離散コサイン変換(discrete cosine transform:DCT)計算から得られる係数を量子化するために必要となり得る。写像関数qstep(λ)は存在するが、これはマクロブロックの全てのコード化ブロック及びコード化モード(例えばインタ対イントラ)に固有のものである。
1+2*log(|coeff|)
に略等しいか又はこれと同一であってよい。
いくつかの実施形態では、速度制御システムの複数の構成要素は、運動推定に関連してよい。
いくつかの実施形態では、粗い解像度の運動推定を、現在の画像及び基準画像の間引きされたコピーに対して実施してよい。粗い解像度の運動推定プロセス(又はモジュール)は、極めて大きな検索範囲に亘る完全検索アルゴリズムを効果的に支援でき、これにより、粗い運動ベクトル及び潜在的な推測変数の性能指数又はメトリックが得られる。粗い運動推定プロセスの2つの側面、即ち:再構成サンプルではなく、基準ピクチャに関するソースサンプルを使用し得ること;完全な解像度の運動推定を開始する前に全フレームに亘ってプロセスの機能(例えば処理)を完了し得ることが、特に重要となり得る。
上述のように、いくつかの実施形態では、速度制御システムはデコーダのコード化ピクチャバッファのモデル(即ちバッファモデル)を含んでよく、これにより、符号化ビットストリームがプレイバック時にバッファに対してオーバフロー又はアンダフローしないことを保証する。このバッファモデルを速度制御機構が使用して、現在のピクチャ及び将来のピクチャを符号化した後の更なる占有量を予測してよい。
いくつかの実施形態では、出力ビットストリーム中のピクチャ毎のビット数は、そのピクチャに関するコード化決定の大半が行われる前に選択されるラムダの値の結果であり得る。上記ラムダ値は、画像内で、ピクチャ間で及びシーン毎に変動する画像複雑性による、ビデオシーケンスの動的な性質を原因として、符号化中に調整してよい。
1.調整前のラムダの値、ラムダ値の履歴;
2.バッファモデルが提供する現在のデコーダバッファ占有量;
3.先読みウィンドウ内における現在のピクチャ及び将来のピクチャに関するピクチャレベルイントラ複雑性及び運動分析情報;
4.ピクチャタイプ選択;並びに
5.ピクチャタイプに応じた、ピクチャのコード化サイズに関する履歴情報。
ネットワークエッジトランスコーダの概念は、計算フットプリントが低減されたエンコーダのバージョンである。その目標は、高品質の圧縮ビデオ出力を、最小の電力消費及び自立型エンコーダよりも高いチャネル密度で、リアルタイムで生成することである。ネットワークエッジトランスコーダは一般にこれを、標的出力と同一の解像度及びフレームレートを既に有するもののビットレートが標的出力より高い圧縮ビデオ基本ストリームを入力として使用することにより達成する。いくつかの実施形態では、これにより、ネットワークエッジトランスコーダは粗い運動推定ステージを省略できる。
更なる実施形態では、本明細書に記載の速度制御アルゴリズム又は技術を分割エンコーダ構成に適用してもよい。分割エンコーダ構成では、符号化及び速度制御のための処理及び分析の殆どを、エンコーダの第1の部分において実施してよい。そして、運動分析、粗い運動ベクトル及び/又はイントラ複雑性分析を含むがこれらに限定されない、上記第1の部分からの結果を、コンテンツに関する分析データの中間ストリームに記憶してよい。データの中間ストリームは、適合性圧縮ビデオ基本ストリーム及び追加の分析データを含んでよいか、又はビデオコンテンツの符号化を完了するために必要な全ての情報を含有する非標準データフォーマットであってよい。続いてエンコーダの第2の部分は、上記中間ストリームを入力として使用して、符号化プロセスを完了してよい。
1つ又は複数のビデオトランスコーダデバイス;並びに
コントローラ
を備える、システムであって、
前記コントローラは、複数のユーザデバイスのそれぞれからの、前記ビデオコンテンツ項目のうちの所定の1つに対する複数のコンテンツ要求それぞれに応答して、前記1つ又は複数のビデオトランスコーダデバイスのうち利用可能な1つを、各前記ユーザデバイスへの配信を行うために割り当てるよう構成され、
前記ユーザデバイスは、それぞれ異なる構成のビデオ処理能力(VPC)を有し、
前記割り当てられた各ビデオトランスコーダデバイスは:
前記所定のコンテンツ項目の前記符号化ビデオストリーム及び前記副次的情報ストリームを受信し;
前記副次的情報ストリームを用い、各前記ユーザデバイスの前記VPC構成に応じて前記符号化ビデオストリームを信号変換し、各前記標的符号化ビデオストリームを得て;
各前記標的符号化ビデオストリームを、通信媒体を介して各前記ユーザデバイスに伝送する
よう構成される、システム。
前記副次的情報ストリームは、前記所定のソースビデオストリームの特性を決定するメタデータを含む、請求項1に記載のシステム。
前記1つ又は複数のビデオトランスコーダデバイスはそれぞれ、前記ソースエンコーダよりも電力効率が高く、及び/又は前記ソースエンコーダよりも空間効率が高い、請求項1に記載のシステム。
前記1つ又は複数の速度情報ストリームの各前記速度情報ストリームRISkは、各前記コード化モードに基づいてブロック予測を推測する、前記対応する符号化ビデオストリームのブロック毎の、対応する速度推定関数Rk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項1に記載のシステム。
前記1つ又は複数の歪み情報ストリームの各前記歪み情報ストリームDISkは、各前記コード化モードに基づいてブロック予測を推測する、前記ビデオコンテンツ項目の前記符号化ビデオストリームのブロック毎の、対応する歪み関数Dk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項1に記載のシステム。
前記符号化ビデオストリームを復号化することにより、復号化ビデオストリームを得て;
前記復号化ビデオストリームを各前記ユーザデバイスの標的ピクチャ解像度にスケーリングして、スケーリング済みビデオストリームを得て;
前記副次的情報ストリームを用い、各前記ユーザデバイスの前記VPC構成に応じて前記スケーリング済みビデオストリームを符号化して、各前記標的符号化ビデオストリームを得る
ことにより、前記信号変換を実施するよう構成される、請求項1に記載のシステム。
前記第1のビデオトランスコーダデバイスから配信を受けている前記ユーザデバイスから報告を受信し(ここで各前記報告は、前記ユーザデバイスからの分析情報を含む);
各前記報告に応答して、前記第1のビデオトランスコーダデバイスが前記スケーリング済みビデオストリームを符号化するために使用する標的ビットレート及び/又は標的ピクチャ解像度を更新する
よう構成される、請求項12に記載のシステム。
前記第1のビデオトランスコーダデバイスから配信を受けている前記ユーザデバイスから報告を受信し(ここで各前記報告は、前記ユーザデバイスの前記VPC構成に対する対応する更新を含む);並びに
各前記報告に応答して、前記第1のビデオトランスコーダデバイスが前記スケーリング済みビデオストリームを符号化するために使用する前記標的ピクチャ解像度を更新する
よう、構成される、請求項12に記載のシステム。
前記ユーザデバイスが要求するビデオコード化フォーマット:及び
前記ユーザデバイスが要求する標的ピクチャ解像度
のうち1つ又は複数の識別を含む、請求項1に記載のシステム。
Mは少なくとも2であり、
前記M次元構成空間は、ビデオフォーマットの選択に対応する少なくとも第1の次元、及びピクチャ解像度の選択に対応する第2の次元を有する、請求項1に記載のシステム。
前記複数のユーザデバイスのうち第1のものへの配信を行うよう割り当てられた前記1つ又は複数のビデオトランスコーダデバイスのうちの所定の1つによって生成された前記標的符号化ビデオストリームを記憶し;
第2のユーザデバイスが前記第1のユーザデバイスと同一又は同様の前記VPC構成を有することを検出すると、これに反応して、前記第2のユーザデバイスへの前記記憶した標的符号化ビデオストリームの伝送を指示する
よう、構成される、請求項1に記載のシステム。
複数の遠隔ユーザデバイスのそれぞれからの、前記ビデオコンテンツ項目のうちの所定の1つに対する複数のコンテンツ要求それぞれに応答して、1つ又は複数のビデオトランスコーダデバイスのうち利用可能な1つを、各前記ユーザデバイスへの配信を行うために割り当てること(ここで前記ユーザデバイスは、それぞれ異なる構成のビデオ処理能力(VPC)を有する);
前記割り当てられた各ビデオトランスコーダデバイスを利用して:
前記所定のコンテンツ項目の前記符号化ビデオストリーム及び前記副次的情報ストリームを受信し;
前記副次的情報ストリームを用い、各前記ユーザデバイスの前記VPC構成に応じて前記符号化ビデオストリームを信号変換し、各前記標的符号化ビデオストリームを得て;
各前記標的符号化ビデオストリームを、通信媒体を介して各前記ユーザデバイスに伝送する
ことを含む、ビデオコンテンツをユーザデバイスに配信するための方法。
前記副次的情報ストリームは、前記所定のソースビデオストリームの特性を決定するメタデータを含む、請求項22に記載の方法。
前記1つ又は複数の速度情報ストリームの各前記速度情報ストリームRISkは、各前記コード化モードに基づいてブロック予測を推測する、前記ビデオコンテンツ項目の前記対応する符号化ビデオストリームのブロック毎の、対応する速度推定関数Rk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項22に記載の方法。
前記1つ又は複数の歪み情報ストリームの各前記歪み情報ストリームDISkは、各前記コード化モードに基づいてブロック予測を推測する、前記所定のビデオコンテンツ項目の前記符号化ビデオストリームのブロック毎の、対応する歪み推定関数Dk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項22に記載の方法。
各前記ビデオトランスコーダデバイスは、前記ソースエンコーダよりも電力効率が高く、及び前記ソースエンコーダよりも空間効率が高い、請求項22に記載の方法。
各前記報告に応答して、前記第1のビデオトランスコーダデバイスが前記符号化ビデオストリームの前記信号変換を実施するために使用する標的ビットレート及び/又は標的ピクチャ解像度を更新すること
を更に含む、請求項22に記載の方法。
各前記報告に応答して、前記第1のビデオトランスコーダデバイスが前記スケーリング済みビデオストリームを符号化するために使用する前記標的ピクチャ解像度を更新すること
を更に含む、請求項22に記載の方法。
各前記標的符号化ビデオストリームが、前記要求されたビデオコード化フォーマットに適合するように、前記符号化ビデオストリームの前記信号変換を実施する、請求項22に記載の方法。
各前記標的符号化ビデオストリームが、前記要求された標的ピクチャ解像度を有するように、前記符号化ビデオストリームの前記信号変換を実施する、請求項22に記載の方法。
各前記標的符号化ビデオストリームが、前記要求された標的ビットレートに略等しい平均出力ビットレートを有するように、前記符号化ビデオストリームの前記信号変換を実施する、請求項22に記載の方法。
第2のユーザデバイスが前記第1のユーザデバイスと同一又は同様の前記VPC構成を有することを検出すると、これに反応して、前記第2のユーザデバイスへの前記記憶した標的符号化ビデオストリームの伝送を指示すること
を更に含む、請求項22に記載の方法。
1つ又は複数のコード化モードそれぞれに対応する複数の予測残差を変換して、前記1つ又は複数のコード化モードそれぞれに関する1つ又は複数の変換ブロックを得ること;並びに
各コード化モードMkに関して、各前記予測残差及び/又は前記コード化モードMkに関する各前記変換ブロックを処理して、前記コード化モードMkに関する速度モデル化データを得ること
を含む操作を実施するよう構成された、デジタル回路構成と、
副次的情報ストリームを通信媒体へと伝送するよう構成された、伝送回路構成と
を含む、ビデオエンコーダであって、
前記副次的情報ストリームは、各前記コード化モード及び各前記ブロックに関する前記速度モデル化データを含む、ビデオエンコーダ。
qは量子化ステップ幅を表す、請求項40に記載のビデオエンコーダ。
各前記コード化モードMkに関して、前記コード化モードに関する前記変換ブロックの1つ又は複数の量子化バージョンにそれぞれ基づいて、1つ又は複数の再構成残差を生成すること;及び
前記1つ又は複数の再構成残差に基づいて、前記コード化モードに関する歪みモデル化データを生成すること
も含み、
前記副次的情報ストリームは、各前記コード化モード及び各前記ブロックに関する前記歪みモデル化データも含む、請求項40に記載のビデオエンコーダ。
qは量子化ステップ幅を表す、請求項42に記載のビデオエンコーダ。
前記伝送回路構成は、前記符号化ビデオストリームを前記通信媒体へと伝送するよう構成される、請求項40に記載のビデオエンコーダ。
前記符号化ビデオストリーム及び前記副次的情報ストリームを伝送するよう構成された、伝送回路構成
を備える、ビデオエンコーダ。
前記復号化ビデオストリームを標的ピクチャ解像度にスケーリングして、スケーリング済みビデオストリームを得るよう構成された、スケーリング部;並びに
前記第1の符号化ビデオストリームに関連する副次的情報ストリームを受信し、前記副次的情報ストリームを用いて前記スケーリング済みビデオストリームを符号化して、第2の符号化ビデオストリームを得るよう構成された、出力エンコーダ
を備える、ビデオ信号変換システム。
前記副次的情報ストリームは、前記ソースビデオストリームの特性を決定するメタデータを含む、請求項49に記載のビデオ信号変換システム。
Nは1以上であり、
前記N個の速度情報ストリームの各前記速度情報ストリームRISkは、各前記コード化モードに基づいてブロック予測を推測する、前記第1の符号化ビデオストリームのブロック毎の対応する速度推定関数Rk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項49に記載のビデオ信号変換システム。
速度情報ストリームRIS1はイントラコード化モードに対応し、
速度情報ストリームRIS2はインタコード化モードに対応する、請求項52に記載のビデオ信号変換システム。
Nは1以上であり、
前記N個の歪み情報ストリームの各前記歪み情報ストリームDISkは、各前記コード化モードに基づいてブロック予測を推測する、前記第1の符号化ビデオストリームのブロック毎の対応する歪み推定関数Dk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項49に記載のビデオ信号変換システム。
歪み情報ストリームDIS1はイントラコード化モードに対応し、
歪み情報ストリームDIS2はインタコード化モードに対応する、請求項55に記載のビデオ信号変換システム。
qは量子化ステップ幅を表す、請求項49に記載のビデオ信号変換システム。
前記出力エンコーダは、前記1つ又は複数の候補運動ベクトルに基づいて、運動ベクトル空間内の1つ又は複数の領域に限定された各前記ブロックに関する高解像度運動ベクトル精密化を実施するよう構成される、請求項49に記載のビデオ信号変換システム。
前記出力エンコーダは、前記ブロックに関する前記運動ベクトルに基づいて、運動ベクトル空間内の1つ又は複数の領域に限定された各前記ブロックに関する運動ベクトル精密化を実施するよう構成される、請求項49に記載のビデオ信号変換システム。
前記符号化選択は、前記1つ又は複数の候補運動ベクトルを含む一連のベクトルからの1つの運動ベクトルの選択を含む、請求項49に記載のビデオ信号変換システム。
前記補助情報は:
事業体のブランド設定情報;
広告情報;
デジタル著作権管理(DRM)情報;
ウォーターマーク機能を提供するデジタル情報;及び
コンテンツプロバイダ、コンテンツ配信サービスプロバイダ、顧客又はユーザが要求する1つ又は複数のカスタマイズ用特徴
のうちの1つ又は複数を含む、請求項49に記載のビデオ信号変換システム。
Claims (24)
- ビデオコンテンツ項目の集合を記憶したメモリであって、各前記ビデオコンテンツ項目は、対応する符号化ビデオストリーム及び、対応する所定のソースビデオストリームの特性を決定するメタデータを含み;
1つ又は複数のビデオトランスコーダデバイス;並びに
コントローラ
を備える、システムであって、
前記コントローラは、複数のユーザデバイスのそれぞれからの、前記ビデオコンテンツ項目のうちの所定の1つに対する複数のコンテンツ要求それぞれに応答して、前記1つ又は複数のビデオトランスコーダデバイスのうち利用可能な1つを、各前記ユーザデバイスへの配信を行うために割り当てるよう構成され、
前記ユーザデバイスは、それぞれ異なる構成のビデオ処理能力(VPC)を有し、
前記割り当てられた各ビデオトランスコーダデバイスは:
前記所定のコンテンツ項目の前記符号化ビデオストリーム及び前記所定のビデオコンテンツ項目のメタデータを受信し;
前記メタデータを用いて、及び、各前記ユーザデバイスの前記VPC構成に応じて、各標的符号化ビデオストリームを得るために、前記符号化ビデオストリームを信号変換し、前記メタデータは、前記符号化ビデオストリームの複数のブロックに関する1つ又は複数のコード化モードに関する速度推定情報を示し、前記速度推定情報は、1つ又は複数の量子化ステップ幅及び前記コード化モードを使用して符号化することによって生成される推定ビット数を特定し、
各前記標的符号化ビデオストリームを、通信媒体を介して各前記ユーザデバイスに伝送する
よう構成される、システム。 - 前記速度推定情報は、1つ又は複数の速度情報ストリームを含み、前記速度情報ストリームのそれぞれは各前記コード化モードに基づいてブロック予測を推測する、前記対応する符号化ビデオストリームのブロック毎の、対応する速度推定関数Rk(q)の特徴を決定し、qは量子化ステップ幅である、請求項1に記載のシステム。
- 前記メタデータは、前記所定のコンテンツ項目の前記符号化ビデオストリームのブロック毎に1つ又は複数の候補運動ベクトルを含む、請求項1に記載のシステム。
- 前記メタデータは、前記所定のコンテンツ項目の前記符号化ビデオストリームの前記ブロック毎に歪みモデル化データを含む、請求項1に記載のシステム。
- 前記通信媒体は無線伝送媒体である、請求項1に記載のシステム。
- 前記1つ又は複数のビデオトランスコーダデバイスのうち少なくとも1つは、無線通信ネットワークの基地局に連結されるか、又はその一部として組み込まれる、請求項5に記載のシステム。
- 前記コントローラは、前記1つ又は複数のビデオトランスコーダデバイスのうち第1のものを、複数の前記ユーザデバイスのうち異なる複数に対して、異なる時点において割り当てるよう構成される、請求項1に記載のシステム。
- 前記ソースビデオストリームを符号化して各前記コンテンツ項目を生成するよう構成された、ソースエンコーダを更に備える、請求項1に記載のシステム。
- 各前記ビデオコンテンツ項目の前記メタデータは、1つ又は複数の前記コード化モードそれぞれに対応する1つ又は複数の歪み情報ストリームを含み、
前記1つ又は複数の歪み情報ストリームの各前記歪み情報ストリームDISkは、各前記コード化モードに基づいてブロック予測を推測する、前記ビデオコンテンツ項目の前記符号化ビデオストリームのブロック毎の、対応する歪み関数Dk(q)の特徴を決定し、 qは量子化ステップ幅である、請求項1に記載のシステム。 - 前記1つ又は複数のビデオトランスコーダデバイスのうち第1のビデオトランスコーダデバイスは:
復号化ビデオストリームを得るために、前記符号化ビデオストリームを復号化すること;
スケーリング済みビデオストリームを得るために、前記復号化ビデオストリームを各前記ユーザデバイスの標的ピクチャ解像度にスケーリングすること;
各前記標的符号化ビデオストリームを得るために、前記メタデータを用い、各前記ユーザデバイスの前記VPC構成に応じて前記スケーリング済みビデオストリームを符号化すること、
によって前記信号変換を実施するよう構成される、請求項1に記載のシステム。 - 前記コントローラは:
前記第1のビデオトランスコーダデバイスから配信を受けている前記ユーザデバイスから報告を受信し、各前記報告は、前記ユーザデバイスからの分析情報を含み;
各前記報告に応答して、前記第1のビデオトランスコーダデバイスが前記スケーリング済みビデオストリームを符号化するために使用する標的ビットレート及び/又は標的ピクチャ解像度を更新するよう構成される、請求項10に記載のシステム。 - 前記分析情報は、前記第1のビデオトランスコーダデバイスと前記ユーザデバイスとの間のリンクの品質に関する情報を含む、請求項11に記載のシステム。
- 前記コントローラは、リンク品質に関する前記情報が前記リンク品質の低下又は上昇を示した場合それぞれにおいて、前記第1のビデオトランスコーダデバイスが使用する前記標的ビットレート及び/又は前記標的ピクチャ解像度を低下又は上昇させるよう構成される、請求項12に記載のシステム。
- 前記分析情報は、前記第1のビデオトランスコーダデバイスが伝送する前記標的符号化ビデオストリームそれぞれから再生したビデオの品質に関する情報を含む、請求項13に記載のシステム。
- 前記コントローラは、ビデオ品質に関する前記情報が前記ビデオ品質の低下又は上昇を示した場合それぞれにおいて、前記第1のビデオトランスコーダデバイスが使用する前記標的ビットレート及び/又は前記標的ピクチャ解像度を低下又は上昇させるよう構成される、請求項14に記載のシステム。
- ビデオコンテンツをユーザデバイスに配信するための方法であって、前記方法は、
ビデオコンテンツ項目の集合をメモリに記憶し、各前記ビデオコンテンツ項目は、対応する符号化ビデオストリーム及び対応する所定のソースビデオストリームの特性を決定する対応するメタデータを含み、前記メタデータは、前記符号化ビデオストリームの複数のブロックに関する1つ又は複数のコード化モードに関する速度推定情報を示し、前記速度推定情報は、1つ又は複数の量子化ステップ幅および前記コード化モードを使用して符号化することによって生成される推定ビット数を特定し、
複数の遠隔ユーザデバイスのそれぞれからの、前記ビデオコンテンツ項目のうちの所定の1つに対する複数のコンテンツ要求それぞれに応答して、1つ又は複数のビデオトランスコーダデバイスのうち利用可能な1つを、各前記ユーザデバイスへの配信を行うために割り当て、前記ユーザデバイスは、ビデオ処理能力(VPC)のそれぞれ異なる構成を有し;
前記割り当てられた各ビデオトランスコーダデバイスを利用して:
前記所定のコンテンツ項目の前記符号化ビデオストリーム及び前記メタデータを受信し;
前記メタデータを用い、各前記ユーザデバイスの前記VPC構成に応じて前記符号化ビデオストリームを信号変換し、各前記標的符号化ビデオストリームを得て; 各前記標的符号化ビデオストリームを、通信媒体を介して各前記ユーザデバイスに伝送する
ことを含む方法。 - 前記速度推定情報は、1つ又は複数の速度情報ストリームを含み、各前記速度情報ストリームは、各前記コード化モードに基づいてブロック予測を推測する、前記対応する符号化ビデオストリームのブロック毎の、対応する速度推定関数Rk(q)の特徴を決定し、qは量子化ステップ幅である、請求項16に記載の方法。
- 前記メタデータは、前記所定のビデオコンテンツ項目の前記符号化ビデオストリームのブロック毎に1つ又は複数の候補運動ベクトルを含む、請求項17に記載の方法。
- 前記メタデータは、前記所定のコンテンツ項目の前記符号化ビデオストリームの前記ブロック毎に歪みモデル化データを含む、請求項16に記載の方法。
- 各前記ビデオコンテンツ項目の前記メタデータは、1つ又は複数の前記コード化モードそれぞれに対応する1つ又は複数の歪み情報ストリームを含み、
前記1つ又は複数の歪み情報ストリームの各前記歪み情報ストリームDISkは、各前記コード化モードに基づいてブロック予測を推測する、前記所定のビデオコンテンツ項目の前記符号化ビデオストリームのブロック毎の、対応する歪み推定関数Dk(q)の特徴を決定し、
qは量子化ステップ幅である、請求項16に記載の方法。 - ソースビデオストリームを符号化して、各前記コンテンツ項目を生成することを更に含む、請求項16に記載の方法。
- 前記1つ又は複数のビデオトランスコーダデバイスの第1のビデオトランスコーダデバイスから配信を受けている前記ユーザデバイスから報告を受信し、各前記報告は、前記ユーザデバイスからの分析情報を含み;並びに
各前記報告に応答して、前記第1のビデオトランスコーダデバイスが前記符号化ビデオストリームの前記信号変換を実施するために使用する標的ビットレート及び/又は標的ピクチャ解像度を更新することを更に含む、請求項16に記載の方法。 - 前記分析情報は、前記第1のビデオトランスコーダデバイスと前記ユーザデバイスとの間のリンクの品質に関する情報を含む、請求項22に記載の方法。
- リンク品質に関する前記情報が前記リンク品質の低下又は上昇を示した場合それぞれにおいて、前記第1のビデオトランスコーダデバイスが使用する前記標的ビットレート及び/又は前記標的ピクチャ解像度を低下又は上昇させることを更に含む、請求項23に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261658761P | 2012-06-12 | 2012-06-12 | |
US61/658,761 | 2012-06-12 | ||
PCT/US2013/045256 WO2013188457A2 (en) | 2012-06-12 | 2013-06-11 | A distributed architecture for encoding and delivering video content |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017220753A Division JP6473213B2 (ja) | 2012-06-12 | 2017-11-16 | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015523805A JP2015523805A (ja) | 2015-08-13 |
JP2015523805A5 JP2015523805A5 (ja) | 2016-05-19 |
JP6247286B2 true JP6247286B2 (ja) | 2017-12-13 |
Family
ID=48699957
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015517368A Active JP6247286B2 (ja) | 2012-06-12 | 2013-06-11 | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ |
JP2017220753A Active JP6473213B2 (ja) | 2012-06-12 | 2017-11-16 | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ |
JP2019010054A Active JP6703150B2 (ja) | 2012-06-12 | 2019-01-24 | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017220753A Active JP6473213B2 (ja) | 2012-06-12 | 2017-11-16 | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ |
JP2019010054A Active JP6703150B2 (ja) | 2012-06-12 | 2019-01-24 | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ |
Country Status (5)
Country | Link |
---|---|
US (1) | US11483580B2 (ja) |
EP (2) | EP3767961B1 (ja) |
JP (3) | JP6247286B2 (ja) |
CN (2) | CN111405315B (ja) |
WO (1) | WO2013188457A2 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9276989B2 (en) * | 2012-03-30 | 2016-03-01 | Adobe Systems Incorporated | Buffering in HTTP streaming client |
US8806558B1 (en) | 2013-09-20 | 2014-08-12 | Limelight Networks, Inc. | Unique watermarking of content objects according to end user identity |
US8775648B1 (en) | 2013-12-30 | 2014-07-08 | Limelight Networks, Inc. | Control systems and methods for cloud resource management |
US9137285B2 (en) * | 2013-10-21 | 2015-09-15 | Broadcom Corporation | Adaptive audio video (AV) stream processing |
US20150118959A1 (en) * | 2013-10-28 | 2015-04-30 | Nicolas Jean Petit | Platform framework for wireless media device simulation and design |
US9979796B1 (en) | 2014-07-16 | 2018-05-22 | Tensera Networks Ltd. | Efficient pre-fetching notifications |
US11095743B2 (en) | 2014-07-16 | 2021-08-17 | Tensera Networks Ltd. | Optimized content-delivery network (CDN) for the wireless last mile |
CN106664592B (zh) | 2014-07-16 | 2020-08-18 | 腾赛拉网络有限公司 | 用于内容分发的方法和系统及相应的计算机可读介质 |
US20160037176A1 (en) * | 2014-07-30 | 2016-02-04 | Arris Enterprises, Inc. | Automatic and adaptive selection of profiles for adaptive bit rate streaming |
US10506027B2 (en) | 2014-08-27 | 2019-12-10 | Tensera Networks Ltd. | Selecting a content delivery network |
US9479720B1 (en) * | 2014-09-16 | 2016-10-25 | Amazon Technologies, Inc. | Method and/or apparatus for frame accurate hot failover |
US9814987B1 (en) * | 2014-12-22 | 2017-11-14 | Amazon Technologies, Inc. | Spectator feedback and adaptation |
US9827500B1 (en) | 2014-12-22 | 2017-11-28 | Amazon Technologies, Inc. | Associated content item instances |
WO2016134343A1 (en) * | 2015-02-20 | 2016-08-25 | Harmonic, Inc. | Encoding/transcoding based on subjective video quality preferences |
US9800903B2 (en) * | 2015-04-09 | 2017-10-24 | Dejero Labs Inc. | Systems, devices and methods for distributing data with multi-tiered encoding |
US9838725B2 (en) * | 2015-04-27 | 2017-12-05 | Century Link Intellectual Property LLC | Intelligent video streaming system |
US9723470B1 (en) | 2015-04-30 | 2017-08-01 | Tensera Networks Ltd. | Selective enabling of data services to roaming wireless terminals |
US10841601B2 (en) * | 2015-06-23 | 2020-11-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and arrangements for transcoding |
JP7061567B2 (ja) | 2015-09-15 | 2022-04-28 | インターデジタル マディソン パテント ホールディングス, エスアーエス | 節電メディア・コンテンツを提供する方法および装置 |
KR101780782B1 (ko) * | 2016-07-08 | 2017-09-21 | 엔트릭스 주식회사 | 클라우드 스트리밍 서비스 제공 방법 및 이를 위한 장치 |
CN107819543A (zh) * | 2016-09-12 | 2018-03-20 | 北京百度网讯科技有限公司 | 数据传输方法及装置 |
EP3322189B1 (en) * | 2016-11-10 | 2019-12-25 | Alcatel Lucent | Method and system for controlling video transcoding |
EP3322187B1 (en) * | 2016-11-10 | 2020-01-29 | Alcatel Lucent | Method and transcoder for video transcoding |
KR102302643B1 (ko) | 2017-04-21 | 2021-09-14 | 제니맥스 미디어 인크. | 모션 벡터들 예측에 의한 플레이어 입력 모션 보상을 위한 시스템들 및 방법들 |
BR112019021627A2 (pt) | 2017-04-21 | 2020-05-12 | Zenimax Media Inc. | Sistemas e métodos para pós-processos diferidos de codificação em vídeo |
US10462203B2 (en) * | 2017-06-13 | 2019-10-29 | Wowza Media Systems, LLC | Hardware encoder |
WO2019023488A1 (en) * | 2017-07-28 | 2019-01-31 | Dolby Laboratories Licensing Corporation | METHOD AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER |
US10531134B2 (en) | 2017-11-10 | 2020-01-07 | Akamai Technologies, Inc. | Determining a time budget for transcoding of video |
US10397518B1 (en) | 2018-01-16 | 2019-08-27 | Amazon Technologies, Inc. | Combining encoded video streams |
CN110198474B (zh) | 2018-02-27 | 2022-03-15 | 中兴通讯股份有限公司 | 一种码流处理方法及装置 |
US10834475B1 (en) * | 2018-03-15 | 2020-11-10 | Amazon Technologies, Inc. | Managing encoding parameters |
WO2019211237A1 (en) * | 2018-04-30 | 2019-11-07 | Dolby International Ab | Methods and systems for streaming media data over a content delivery network |
US11234034B2 (en) * | 2018-11-02 | 2022-01-25 | Netflix, Inc. | Techniques for encoding a media title via multiple encoders |
CN111225277A (zh) * | 2018-11-27 | 2020-06-02 | 北京达佳互联信息技术有限公司 | 转码方法、转码装置和计算机可读存储介质 |
CN109581382A (zh) * | 2018-12-11 | 2019-04-05 | 南京信息工程大学 | 一种基于C#与Fortran混编技术的球形云及降水粒子群散射仿真方法 |
US11259035B2 (en) * | 2019-03-15 | 2022-02-22 | Ati Technologies Ulc | Macroblock coding type prediction |
US11132122B2 (en) | 2019-04-11 | 2021-09-28 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, and non-transitory recording medium |
CN114073097A (zh) * | 2019-07-17 | 2022-02-18 | 皇家Kpn公司 | 通过边缘计算促进视频流式传输和处理 |
US20230011528A1 (en) | 2019-12-11 | 2023-01-12 | Google Llc | Methods, systems, and media for selecting formats for streaming media content items |
CN113473147B (zh) * | 2021-05-17 | 2022-08-09 | 浙江大华技术股份有限公司 | 一种视频码流的后处理方法、装置和计算机可读存储介质 |
US11743478B2 (en) * | 2021-06-15 | 2023-08-29 | International Business Machines Corporation | Video stream transcoding with reduced latency and memory transfer |
CN113691813B (zh) * | 2021-10-25 | 2022-02-22 | 苏州浪潮智能科技有限公司 | 一种转码卡使用方法、系统、存储介质及设备 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2333657B (en) * | 1998-01-22 | 2002-08-21 | Snell & Wilcox Ltd | Video signal compression |
US6542546B1 (en) * | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
US6490320B1 (en) * | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
EP1177691B1 (en) * | 2000-03-13 | 2011-01-26 | Sony Corporation | Method and apparatus for generating compact transcoding hints metadata |
US6407680B1 (en) * | 2000-12-22 | 2002-06-18 | Generic Media, Inc. | Distributed on-demand media transcoding system and method |
GB2387287B (en) * | 2002-04-05 | 2006-03-15 | Snell & Wilcox Limited | Video compression transcoding |
US7415594B2 (en) | 2002-06-26 | 2008-08-19 | Coherent Logix, Incorporated | Processing system with interspersed stall propagating processors and communication elements |
KR100950525B1 (ko) | 2002-12-02 | 2010-03-30 | 삼성전자주식회사 | 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법 |
US7860161B2 (en) * | 2003-12-15 | 2010-12-28 | Microsoft Corporation | Enhancement layer transcoding of fine-granular scalable video bitstreams |
US8832434B2 (en) * | 2004-02-13 | 2014-09-09 | Hewlett-Packard Development Company, L.P. | Methods for generating data for describing scalable media |
JP4108640B2 (ja) * | 2004-04-27 | 2008-06-25 | 三菱電機株式会社 | 映像伝送システム |
US8031774B2 (en) * | 2005-01-31 | 2011-10-04 | Mediatek Incoropration | Video encoding methods and systems with frame-layer rate control |
US8879856B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US8761248B2 (en) * | 2006-11-28 | 2014-06-24 | Motorola Mobility Llc | Method and system for intelligent video adaptation |
US20080181298A1 (en) | 2007-01-26 | 2008-07-31 | Apple Computer, Inc. | Hybrid scalable coding |
JP2008306273A (ja) * | 2007-06-05 | 2008-12-18 | Nec Corp | 動画像提供システム、方法、装置、プログラム |
CN101904149B (zh) | 2007-07-05 | 2015-09-09 | 相干逻辑公司 | 用于在移动设备上接收和呈现视听流的方法、设备和系统 |
CN101098483A (zh) * | 2007-07-19 | 2008-01-02 | 上海交通大学 | 以图像组结构为并行处理单元的视频集群转码系统 |
US8866971B2 (en) * | 2007-12-17 | 2014-10-21 | Ati Technologies Ulc | Method, apparatus and machine-readable medium for apportioning video processing between a video source device and a video sink device |
CN101198035A (zh) | 2008-01-10 | 2008-06-11 | 杭州华三通信技术有限公司 | 视频监控方法、视频转移分发方法、装置及视频监控系统 |
US8798137B2 (en) * | 2008-02-29 | 2014-08-05 | City University Of Hong Kong | Bit rate estimation in data or video compression |
JP2009260818A (ja) | 2008-04-18 | 2009-11-05 | Nec Corp | サーバ装置とコンテンツ配信方法とプログラム |
KR101350723B1 (ko) * | 2008-06-16 | 2014-01-16 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법 |
US20100017516A1 (en) * | 2008-07-16 | 2010-01-21 | General Instrument Corporation | Demand-driven optimization and balancing of transcoding resources |
US8654835B2 (en) * | 2008-09-16 | 2014-02-18 | Dolby Laboratories Licensing Corporation | Adaptive video encoder control |
FR2933837A1 (fr) * | 2008-12-10 | 2010-01-15 | Thomson Licensing | Procede de codage, procede et dispositif de transcodage et flux de donnees image codees. |
US8654849B2 (en) * | 2008-12-22 | 2014-02-18 | Arris Enterprises, Inc. | Integrated transcoding |
US20120017249A1 (en) * | 2009-04-03 | 2012-01-19 | Kazunori Ozawa | Delivery system, delivery method, conversion apparatus, and program |
CA2821454A1 (en) * | 2009-09-26 | 2011-03-31 | Disternet Technology Inc. | System and method for micro-cloud computing |
US8751677B2 (en) | 2009-10-08 | 2014-06-10 | Futurewei Technologies, Inc. | System and method to support different ingest and delivery schemes for a content delivery network |
US20110145859A1 (en) * | 2009-12-15 | 2011-06-16 | At&T Intellectual Property I, L.P. | System and method for detachable media devices and content |
US20120047535A1 (en) * | 2009-12-31 | 2012-02-23 | Broadcom Corporation | Streaming transcoder with adaptive upstream & downstream transcode coordination |
JP5389747B2 (ja) * | 2010-06-17 | 2014-01-15 | 株式会社日立製作所 | コンテンツ変換システム、およびコンテンツ変換方法 |
US9185439B2 (en) * | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
JP2012099890A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 画像処理装置、画像処理方法、および画像処理システム |
US8887207B2 (en) * | 2012-01-12 | 2014-11-11 | The Directv Group, Inc. | Method and system for remotely transcoding content |
-
2013
- 2013-06-11 CN CN201911002072.9A patent/CN111405315B/zh active Active
- 2013-06-11 EP EP20195696.8A patent/EP3767961B1/en active Active
- 2013-06-11 WO PCT/US2013/045256 patent/WO2013188457A2/en active Application Filing
- 2013-06-11 US US13/915,499 patent/US11483580B2/en active Active
- 2013-06-11 CN CN201380038883.9A patent/CN104641651B/zh active Active
- 2013-06-11 JP JP2015517368A patent/JP6247286B2/ja active Active
- 2013-06-11 EP EP13732021.4A patent/EP2859729B1/en active Active
-
2017
- 2017-11-16 JP JP2017220753A patent/JP6473213B2/ja active Active
-
2019
- 2019-01-24 JP JP2019010054A patent/JP6703150B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6703150B2 (ja) | 2020-06-03 |
EP2859729A2 (en) | 2015-04-15 |
EP3767961A1 (en) | 2021-01-20 |
JP6473213B2 (ja) | 2019-02-20 |
US20130343450A1 (en) | 2013-12-26 |
JP2015523805A (ja) | 2015-08-13 |
US11483580B2 (en) | 2022-10-25 |
CN104641651B (zh) | 2019-11-19 |
EP2859729B1 (en) | 2020-09-16 |
EP3767961B1 (en) | 2023-03-29 |
WO2013188457A3 (en) | 2014-04-17 |
CN111405315A (zh) | 2020-07-10 |
WO2013188457A2 (en) | 2013-12-19 |
CN104641651A (zh) | 2015-05-20 |
CN111405315B (zh) | 2022-04-12 |
JP2018057022A (ja) | 2018-04-05 |
JP2019075825A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6473213B2 (ja) | ビデオコンテンツの符号化及び配信のための分散アーキテクチャ | |
US7391809B2 (en) | Scalable video transcoding | |
KR101643790B1 (ko) | 적응적 비디오 스트리밍용의 가변 비트 레이트 및 동적 해상도를 이용한 다중 비트 레이트 비디오 인코딩 | |
Chen et al. | Recent advances in rate control for video coding | |
JP5180294B2 (ja) | ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 | |
KR101644208B1 (ko) | 이전에 계산된 모션 정보를 이용하는 비디오 인코딩 | |
EP1430727A1 (en) | Method for generating a scalable encoded video bitstream with a constant quality | |
KR20010080644A (ko) | 기저층 양자화 데이터를 이용하여 향상층 데이터를 엔코딩및 디코딩하는 시스템 및 방법 | |
KR20090024134A (ko) | 비디오 인코더용 스케일러블 레이트 제어 시스템 | |
US20090074075A1 (en) | Efficient real-time rate control for video compression processes | |
Lim et al. | A perceptual rate control algorithm based on luminance adaptation for HEVC encoders | |
Cai et al. | Real-time constant objective quality video coding strategy in high efficiency video coding | |
US20220103832A1 (en) | Method and systems for optimized content encoding | |
KR101285654B1 (ko) | 메타 데이터와 미디어 데이터가 분리되어 있는 파일 형식의 멀티미디어 컨텐츠를 프로그래시브 다운로드하기 위한 실시간 트랜스코딩 장치 | |
Eleftheriadis et al. | Dynamic rate shaping of compressed digital video | |
Kim et al. | An optimal framework of video adaptation and its application to rate adaptation transcoding | |
Wu et al. | Rate control in video coding | |
KR101099261B1 (ko) | 인코더와 인코딩 방법 및 이를 수록한 저장매체 | |
Kuo et al. | Distributed video coding with limited feedback requests | |
US20230283825A1 (en) | Method for dynamic computational resource management and apparatus for implementing the same | |
Ortega et al. | Mechanisms for adapting compressed multimedia to varying bandwidth conditions | |
Al-khrayshah et al. | A real-time SNR scalable transcoder for MPEG-2 video streams | |
Basavaraju et al. | Rate quality factor optimization for vp8 video codec for mobile communication applications | |
Vizzotto et al. | Neighbor-based Fast Rate Control Scheme for Basic Unit Layer for H. 264/AVC Standard | |
Changuel | Quality-oriented control of video delivery over wireless channels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6247286 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |