JP5143871B2 - メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信 - Google Patents

メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信 Download PDF

Info

Publication number
JP5143871B2
JP5143871B2 JP2010163027A JP2010163027A JP5143871B2 JP 5143871 B2 JP5143871 B2 JP 5143871B2 JP 2010163027 A JP2010163027 A JP 2010163027A JP 2010163027 A JP2010163027 A JP 2010163027A JP 5143871 B2 JP5143871 B2 JP 5143871B2
Authority
JP
Japan
Prior art keywords
media
encoding
tools
decoding
loyalty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010163027A
Other languages
English (en)
Other versions
JP2011030222A (ja
Inventor
オヌール, ジー. ゲラーユツ,
エム., レハ シヴァンラー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of JP2011030222A publication Critical patent/JP2011030222A/ja
Application granted granted Critical
Publication of JP5143871B2 publication Critical patent/JP5143871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

優先権
[0001]本特許出願は、“Optimized Content−based and Royalty−Based Encoding and Distribution of Media Data”と題して2007年1月29日に出願された対応の米国仮特許出願第60/898,324号の優先権を主張し、同仮特許出願を参照することにより援用するものである。
[0002]本発明は、メディアデータの符号化及び配信の分野に関するものであり、より詳細には、本発明は、メディアデータのコンテンツベース及びロイヤルティベースの符号化に関するものである。
[0003]近年、メディアの符号化及び配信が著しい発展を遂げている。メディア規格を規定する圧縮及び搬送ツールを融合させることで、今日では、エンドツーエンド配信における多種多様な効率に対応する多種多様なツールを用いて、種々のネットワークを介してメディアを搬送できる。最高効率のメディア配信に関心がある場合には、典型的には、高いロイヤルティ/ライセンスコストを有する最新の先端技術のツールに限られる場合が多い。一方で、ある程度の非効率性を許容できれば、ロイヤルティコストを削減し、又はロイヤルティコストを無料化して配信を達成することが可能な場合もある。
[0004]メディア規格では、規格内で規定されたプロファイルにより、このようなトレードオフの利用は非常に限定されたものでしかない。このようなトレードオフを実現するために、様々な規格の中から選択を行うこともできる。しかしながら、プロファイルによる利用可能な代替物や異なる規格の数は少なく、多くの場合、あらゆる用途にとってあまり意味のあるものではない。汎用コンピューティングデバイスの普及に伴い、このようなトレードオフを最適に実現させる一連の選択から利益を得るという状況が多くあることも明らかである。
従来の解決策において、メディアの配信に際しエンコーダが使用可能なオプションセットは、非常に限定的で粗いものである。エンコーダが、所与の規格の所与のプロファイルを使用すれば、メディア配信は、そのプロファイルにおいて全てのツールの使用をカバーする固定ライセンスコストで達成され得る。エンコーダは、例えば、配信されるメディアのコンテンツ、デコーダでの所望のメディア品質、及び搬送媒体の有効帯域幅に基づいて、ライセンスコストを最適化することができない。エンコーダが、異なるメディア符号化規格の中から選択するだけでよい場合、この状況は同様である。
メディア規格に含まれるツールは、規格化プロセスの段階で選択され公表された標準的なものである。このプロセスは、メディア符号化の全ての所望の使用に粗くしか対応できない方法で起こる。最終的な選択に多くの優れたツールが含まれておらず、その理由として、これらのツールが、想定される全てのシナリオに適用できないこと、想定される全てのハードウェアプラットフォームでの有効な実装に適していないこと、符号化の効率が低いことなどが挙げられる。
現在では、メディア符号化規格内の標準として選択されたツールの中には、他の標準的なツールよりもかなり高頻度で利用されているものもある。しかしながら、標準的なライセンス供与から得られる収益プールのうち、これらのツールが占める割合は、他のツールと同じか、又はそれ以下であり得る。
現在の技術を用いたメディア符号化の場合、規格をライセンス供与し、規格のパテントプール及び/又は個々のIP所有者を管理する組織にロイヤルティを支払う必要があることが多い。これが行われると、メディアは、コンテンツオーナーからライセンスを得ることによって符号化される。
[0005]コンテンツベース及びロイヤルティベースの符号化を実行するための方法及び装置を、本明細書に開示する。一実施形態では、この方法は、メディアを復号するための一つ以上の符号化ツールを、当該一つ以上の符号化ツールのうちの少なくとも一つ及び当該一つ以上符号化ツールの各々に対する復号ツールに関連付けられたロイヤルティコスト、各対応の復号ツールが生成する復号メディア品質、並びに、一つ以上の伝送帯域幅の制約に基づいて、選択するステップと、一つ以上の符号化ツールを用いて、メディアコンテンツに応じてメディアを符号化するステップと、一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送するステップと、を含む。
[0006]本発明は、以下の詳細な説明及び本発明の種々の実施形態の添付の図面から、更に深く理解されるであろうが、これらは、本発明を特定の実施形態に限定するものではなく、説明と理解を目的としたものである。
メディアを符号化し搬送するためのプロセスの一実施形態の流れ図である。 異なるデバイス及びアプリケーションを対象とした異なるメディア符号化の例を示すブロック図である。 各符号化を発生するのに必要な、組み合わされたロイヤルティコストを示す図である。 メディアを符号化し搬送するためのプロセスの別の実施形態の流れ図である。 メディアの復号において使用されるツールの依存関係の連鎖の一例を示す図である。 同等の機能を備えた例示的なツールセットを示す図である。 時間単位でメディアデータをセグメントに分解する例を示す図である。 セグメントに証明書を発生する例を示す図である。 符号化されたメディアから
Figure 0005143871

を得るための例示的な技術を示す図である。
セグメントの達成可能な面の例を示す図である。 ペア依存関係を示す達成可能な面からの切り取りの例を示す図である。 コンピュータシステムの一実施形態のブロック図である。 コンテンツ配信システムの別の実施形態を示す図である。
[0020]メディアデータを符号化及び配信する方法及びシステムについて説明する。一実施形態では、本明細書に記載する技術は、メディアを符号化及び/又は復号するために使用されるツールのロイヤルティコストを、復号されるメディアの品質及び伝送帯域幅の制約とともに、考慮して、メディアを符号化するように設計されている。一実施形態においては、同じ復号メディア品質で、高い帯域幅環境用に符号化されたメディアが、効率は低いがロイヤルティコストが低いツールを用いて復号可能であるのに対して、低い帯域幅環境用に符号化されたメディアが、効率は高いがロイヤルティコストも高いツールを用いて復号可能であるように符号化が行われる。このような符号化は、復号メディア品質、有効伝送帯域幅、及びロイヤルティコストによって形成される三つの値の許容範囲に対して最適なメディア符号化点を表す関数で性能を最適化することによって行なうことができる。Ωは候補ツールのセットを決定し、Q(ω,ρ)、B(ω,ρ)、C(ω,ρ)は、値ρのベクトルに対するツールパラメータセットを有するツールの所与のサブセットωの品質、帯域幅、ロイヤルティコストをそれぞれ表す。次いで、一実施形態では、帯域幅及びロイヤルティコストの目標とする各ペア(B,C)について、最適なメディア符号化点(Q,B,C)を得るために、このような関数が、以下の式、すなわち、
Figure 0005143871

を解く。
[0021]最適化は、例えば、要求バッファサイズを決定する変数bを、対応するラグランジェ乗数γとともに上記式に導入することによって、すなわち、
Figure 0005143871

により、バッファ制約を組み入れるようにして行うことができる。不等式に基づく制約を許容する他の公知の最適化の公式も使用可能である。同様の方法で、他の符号化/復号制約(例えば、メモリ制約、計算複雑性制約、復号遅延制約など)を、最適化に導入することも可能である。これらの技術は、知的財産権(IP)の所有者を十分に補償するようにメディア配信が実行されて、復号メディア品質及び伝送帯域幅の制約が緩いユーザが、削減されたIPコストからの利益を享受し得ることを、保証する。
[0022]以下の説明において、本発明を更に完全に説明するために、数多くの詳細を示す。しかしながら、当業者であれば、本発明が、これらの特定の詳細無しに実施されてもよいことは明らかであろう。他の例においては、本発明を明確にするために、周知の構造及びデバイスを、詳細ではないが、ブロック図の形式で示す。
[0023]以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関する演算のアルゴリズム及び記号表現として与えてある。これらのアルゴリズム表記及び表現は、データ処理分野の当業者により使用されている手段であり、他の業界の人々に作業の実体を最も効率的に伝えるためのものである。アルゴリズムは、この場合、一般に、所望の結果へと導く自己矛盾のないステップシーケンスであると考えられる。ステップは、物理量の物理的操作を要するものである。通常、必須ではないが、これらの量は、格納、転送、組み合わせ、比較、及び他の操作が可能な電気信号又は磁気信号の形態をとる。主として、一般的な用法であるという理由から、これらの信号をビット、値、要素、記号、文字、用語、数などとして言及することが利便性が良いことが多いことが分かっている。
[0024]しかしながら、これらの用語及び同様の用語の全てが、適切な物理量に関連付けられるわけではなく、これらの量に適用可能な利便性の良いラベルにすぎないことも留意されたい。以下の記述から明らかなように、特別な説明がない限り、本明細書を通して、「処理」、「計算」、「算出」、「決定」、又は「表示」などの用語を利用した説明が、コンピュータシステムのレジスタ及びメモリ内の物理(電子)量として表されるデータを操作し、コンピュータシステムのメモリ又はレジスタ内又は他のこのような情報の格納、伝送、又は表示デバイス内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子計算デバイスのアクション又はプロセスについて言及していることを認識されたい。
[0025]本発明はまた、本明細書におけるオペレーションを実行するための装置に関するものでもある。この装置は、要求される目的に合わせて特別に構築されてもよく、又は、コンピュータに格納されたコンピュータプログラムによって選択的に作動又は再構成される汎用コンピュータを備えていてもよい。このようなコンピュータプログラムは、フロッピーディスク、光ディスク、CD−ROM、及び光磁気ディスクなどの任意のタイプのディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード、又は電子命令を格納するのに適し、各々がコンピュータシステムバスに連結された任意のタイプのメディアなどを含むが、これらに限定されるものではないコンピュータ読み出し可能記憶媒体に格納されてもよい。
[0026]本明細書に提示するアルゴリズム及びディスプレイは、本質的に、任意の特定のコンピュータ又は他の装置に関係するものではない。本発明の教示によるプログラムとともに、さまざまな汎用システムが使用されてもよく、又は要求された方法ステップを実行するために、より特化された装置を構築することが利便性が良い場合もある。種々のこれらのシステムの要求された構造は、以下の記載から明らかである。さらに、本発明は、任意の特定のプログラミング言語を参照しながら記載されるわけではない。本明細書に記載するように、本発明の教示を実施するために、種々のプログラミング言語が使用されてもよいことを認識されたい。
[0027]機械読み出し可能メディアが、機械(例えば、コンピュータ)によって読み出し可能な形態で情報を格納又は伝送するための任意の機構を含む。例えば、機械読み出し可能メディアが、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気、光学、音響、又は他の形態の伝播信号(例えば、搬送波、赤外線信号、ディジタル信号など)などである。
<概要>
[0028]メディアデータを符号化及び配信するための方法及びシステムについて説明する。この方法は、復号されるメディアの品質及び伝送帯域幅の制約とともに、メディアを符号化及び/又は復号するために使用されるツールのロイヤルティコストを考慮して、メディアコンテンツに従ってメディアを符号化するよう設計されている。同じ復号メディア品質で、高い帯域幅環境用に符号化されたメディアが、効率は低いがロイヤルティコストが低いツールを用いて復号可能である一方で、低い帯域幅環境用に符号化されたメディアが、効率は高いがロイヤルティコストは高いツールを用いて復号可能であるように符号化が行われる。このような符号化は、復号メディア品質、有効伝送帯域幅、及びロイヤルティコストによって形成される三つの値の許容範囲に対して最適なメディア符号化点を表す関数で性能を最適化することによって行うことができる。最適化は、バッファ及び他の符号化/復号制約を組み込むように行うことができる。このシステムは、知的財産権(IP)の所有者を十分に補償するようにメディア配信が行われて、復号メディア品質及び伝送帯域幅の制約が緩いユーザは削減されたIPコストからの利益を享受し得ることを保証する。
[0029]一実施形態では、システムが、メディア符号化のツールボックスを有し、搬送ツールが、重複する機能をもつ多くのツールとともに利用可能である。このシステムは、符号化アルゴリズムによって選択されるように、利用可能なツールのサブセットを用いてメディアを符号化する。サブセット内のツールの正確なリストが、同じツールボックスにアクセスできるデコーダに送られる。次いで、符号化されたメディアを表すビットストリームが、符号化されたメディアを既知のツールを用いて復号し、ある品質でメディアを再構築するデコーダに送られる。
[0030]一実施形態では、メディア符号化において使用される各ツールは、その使用を管理するあるロイヤルティコストを有する。メディア自体も、コンテンツライセンスコストを有し得る。一実施形態では、システムは、所望のメディア品質レベル及び搬送メディアの有効帯域幅を前提とした組み合わされたロイヤルティコストを最小限に抑えるようにメディアを符号化することによって、最適なトレードオフを見い出す。一実施形態では、システムにより、コンテンツ及びIPの所有者が十分に補償されることが保証される。
[0031]図1は、メディアを符号化し搬送するためのプロセスの一実施形態の流れ図である。このプロセスは、処理ロジックにより実行される。処理ロジックは、ハードウェア(回路、専用ロジックなど)、ソフトウェア(汎用コンピュータシステム又は専用マシンで実行されるものなど)、又はこれら双方の組み合わせを備えるものであってもよい。
[0032]以下、図1を参照する。本プロセスは、処理ロジックが個別に符号化される複数のセグメントにメディアを分解することから開始される(処理ブロック101)。これは必要条件ではなく、メディアは単一のセグメントで符号化されてもよいことに留意されたい。
[0033]次に、処理ロジックは、メディアを符号化する一つ以上の符号化ツールを、1)当該一つ以上の符号化ツールのうち少なくとも一つ及び/若しくは一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、2)各対応する復号ツールが生じる復号メディア品質、並びに/又は、3)一つ以上の伝送帯域幅制約、に基づいて、選択する(処理ブロック102)。一実施形態では、異なる符号化ツールが各セグメントに対して選択される。別の実施形態では、セグメントを異なる符号化ツールを用いて複数回符号化して、所望の品質及び/又は有効帯域幅に応じて、メディアのセグメントを異なる符号化で搬送可能としてもよい。
[0034]一実施形態では、符号化ツールの選択は、有効帯域幅及びロイヤルティコストの一方又は双方の許容範囲に対して品質を最大限にし、品質及び有効帯域幅の一方又は双方の許容範囲に対してロイヤルティコストを最小限にし、又は、品質及びロイヤルティコストの一方又は双方の許容範囲に対して帯域幅コストを最小限にするよう、最適なツールサブセットを選ぶことを含む。
[0035]一実施形態では、符号化ツールの選択は、復号メディア品質、有効伝送帯域幅、並びに、一つ以上の符号化ツールのうち少なくとも一つ及び当該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコストによって形成される三つの値の許容範囲に対してメディア符号化点を表す関数に基づいて実行される。一実施形態では、処理ロジックは、関数を表す三次元グラフを構成する。このグラフは、各セグメントに対する品質、帯域幅、及びロイヤルティコストの達成可能な三つの値を規定する面を含む。メディアのセグメントを符号化するための符号化ツールは、達成可能な三つの値から選択される。以下、これについて更に詳細に説明する。一実施形態では、関数は、バッファ及び他の符号化/復号制約を組み込む。これは、当業者に周知のように、[0019]及び[0020]の段落で上述したラグランジェ乗数を基にしたフレームワーク、又は他の制約された最適化法フレームワークを用いて行われてもよい。例えば、H.Everettの“Generalized Lagrange multiplier method for solving problems of optimum allocation of resources”(Op er.Res.,vol.11,pp.399−417,1963)を参照されたい。
[0036]一実施形態では、選択された符号化ツールのうち一つが、略同様の復号メディア品質で、高帯域幅環境用に符号化されたメディアが、効率は低いがロイヤルティコストも低いツールを用いて復号可能である一方で、低帯域幅環境用に符号化されたメディアが、効率は高いがロイヤルティコストも高いツールを用いて復号可能であるように、メディアを符号化する。
[0037]選択された符号化ツールを用いて、処理ロジックは、メディアコンテンツに応じてメディアを、一つ以上の符号化ツールを用いて、符号化する(処理ブロック102)。
[0038]符号化されたデータが生成されると、処理ロジックは、一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送する(処理ブロック103)。
<メディア、セグメント、及びツールセット>
[0039]一実施形態においては、メディアは、音声、映像、グラフィック、及び/又は補助データを含む。一実施形態においては、映像は、一般的なハイブリッドDPCM方式を用いて符号化され、音声は、周知の映像音声圧縮規格、例えば、h.264/MPEG−AVC及びMPEG−AACなどで行われているように、一般的な変換符号化フレームワークで符号化され、符号化されたメディアデータは、パケット網、例えば、インターネットなどを介して伝送される。
[0040]一実施形態においては、メディアデータは、セグメント単位で考慮される。i番目のメディアセグメントは、時間間隔[Ti−1,T)内のメディアデータを表す。したがって、セグメントがS個あれば、T−Tがメディアの持続時間を指す。一実施形態においては、時間以外の変数や時間の他にも追加した変数に基づいたセグメント化が用いられる(例えば、階層化メディア符号化アプリケーションの時間及びメディア品質に基づいて)。一実施形態においては、エンコーダ及びデコーダの双方に対して、メディア符号化及び搬送アルゴリズムのツールセットΩが知られている。
[0041]一実施形態においては、Ωの各ツールは、メディアを符号化する際に使用するためのツールのライセンスコストを決定するロイヤルティコストを有する。一実施形態においては、ロイヤルティコストには柔軟性がある。例えば、コストは、特定のメディアデータの符号化中にツールが何度使用されても一定であってよく、特定のメディアデータの符号化中のツールの使用回数に基づいたものであってもよく、特定のメディアデータを符号化する際に使用される他のツールに依存させてもよく(例えば、特定のメディアデータを符号化する際に、ロイヤルティフリーのツールと一緒に使えば、他のロイヤルティ保有ツールのロイヤルティが無料になることもある)、復号されたメディアの予想品質に基づいていてもよく(例えば、ビデオが、高解像度ディスプレイとは対照的な低解像度ディスプレイを有するデバイスに送られる場合、映像圧縮関連のツールが、異なるロイヤルティコストを有してもよい)、メディアデータを搬送するのに必要とされる同等の帯域幅に基づいていてもよく、アプリケーションのシナリオに基づいていてもよく(例えば、メディアが、HDTVセットとは対照的な携帯電話に送られる場合は、より安いロイヤルティコストを課金できたり、非営利環境での使用であれば、ツールのロイヤルティを無料にすることもできる)、メディアコンテンツのライセンス条項に基づいたものであってもよい(例えば、ロイヤルティフリーのコンテンツを符号化するために使用されれば、ツールのロイヤルティを無料にできる)。一実施形態においては、ロイヤルティコスト及びライセンス条項は、これらの条件の組み合わせ関数であり、したがって、異なるシナリオでツール又はメディアデータ自体が異なるロイヤルティコストを有し得る。
[0042]コンテンツ所有者のライセンス条項及びロイヤルティコストは、異なる復号メディア品質レベル、利用される有効帯域幅、メディアが送られるアプリケーションに対して、変動し得る。図2は、異なるデバイス及びアプリケーションを対象とした異なるメディア符号化の例を示すブロック図である。図2を参照すると、メディア201は、符号化1〜Kを生成するよう、K通りの異なる方法で符号化されている。符号化1及び2は、携帯電話によって復号されることを目的としたものであってもよく、他の符号化3〜Kは、PDA、HDTVなどによって復号されることを目的としたものであってもよい。符号化1〜Kの各々は異なる品質を生じ、異なる有効帯域幅要件を有する。これにより、コテンツ所有者により決定されるロイヤルティコストが潜在的に異なるものになる。
[0043]複雑なロイヤルティ条項の場合、システム全体を、異なるロイヤルティコストを発生するメディアの異なる符号化として考えることもできる(例えば、コンテンツライセンスコスト及びツールライセンスコストが組み合わせられてもよい)。図3は、図2の各符号化を生成するのに必要な組み合わせられたロイヤルティコストを示している。図3を参照すると、各符号化は、異なるロイヤルティコストを有する潜在的に異なる符号化ツールセットを使用する。
[0044]一実施形態においては、各ツールのロイヤルティコスト及び条件は、レジストリに格納され、レジストリは、メディア符号化条件を得て、i番目のセグメントに対する証明書Φを決定する。本明細書での説明のために、これら条件を、セグメントiに対してベクトルΓでパラメータ化する。一実施形態においては、ベクトルΓは、ターゲットメディア品質Q、有効帯域幅B、利用ツールΩ⊂Ω、フレームレート、フレーム解像度、予想復号遅延、予想メモリ使用量、予想デコーダ計算複雑性、予想エンコーダ/デコーダバッファ充満度などの様々な他の符号化/復号パラメータなどの関連する条件を含む。他のパラメータは、セグメントにおけるフレーム数、アプリケーションのタイプ(特に、ツールのライセンス供与に影響を与える場合)、映像の種類(例えば、ニュース、映画、ビデオ会議など)、ビデオカラー/サンプリング空間(例えば、YUV4:2:0)、ピクセル当たりのビット数などを含む。
[0045]図4は、メディアを符号化し搬送するためのプロセスの別の実施形態の流れ図である。このプロセスは、処理ロジックにより実行される。処理ロジックは、ハードウェア(回路、専用ロジックなど)、ソフトウェア(汎用コンピュータシステム又は専用マシンで実行されるものなど)、又はこれらの双方の組み合わせを備えるものであってもよい。
[0046]以下、図4を参照する。処理ロジックがメディアデータをセグメント化することからプロセスが開始される(処理ブロック401)。メディアデータのセグメントiについて、エンコーダの処理ロジックは、メディア符号化用の所望の条件を決定し、所望の条件下でセグメントのロイヤルティコストを削減し又は潜在的に最小限に抑えるツールセットΩ⊂Ωを選択する(処理ブロック402)。次いで、条件及びツールセットが、ベクトルΓ内にまとめられる。
[0047]次に、エンコーダの処理ロジックは、Γを用いてレジストリに問い合わせることによって、i番目のセグメントの証明書Φを得る(処理ブロック403)。以下、レジストリについて更に詳細に記載する。一実施形態においては、メディアは、例えば、メディアストリーミングのような非リアルタイムアプリケーションの場合、一つのセグメントに分解され、リアルタイムアプリケーションでは、均一な長さΔT秒のセグメントに分解される。ΔTは、1,2,3,...10,...60,..300などとすることができる。図7は、時間単位でセグメントに分解されたメディアを示している。図7を参照すると、メディアセグメント1は、時間T〜T、メディアセグメント2は、T〜T、時間の経過とともに以下同様である。各メディアセグメントは、関連する条件を含むベクトルΓを有し、この条件は、一実施形態においては、目標メディア品質Q、有効帯域幅B、及び利用ツールΩ⊂Ωである(しかし、例えば、メディアセグメントに関する上述した様々なエンコーダ/デコーダパラメータなどの他の条件を含み得る)。このように、メディアセグメント1は、メディアセグメント1に関連付けられたベクトルΓ、メディアセグメント2は、メディアセグメント2に関連付けられたベクトルΓ、以下同様、を有する。同様に、各ベクトルは、各ベクトルに関連付けられた証明書を有する。すなわち、ベクトルΓは、ベクトルΓに関連付けられた証明書Φ、ベクトルΓは、ベクトルΓに関連付けられた証明書Φなどを有する。
[0048]図4を再度参照する。証明書を受けた後、エンコーダの処理ロジックは、メディアデータを符号化し(処理ブロック404)、証明書Φ、利用ツールのリスト、符号化パラメータとともに、符号化されたメディアをデコーダに送信する(処理ブロック404)。
[0049]デコーダでは、当該デコーダの処理ロジックが、符号化されたメディアを復号する(処理ブロック405)。一実施形態においては、デコーダは、任意に、利用するツールセット及び条件を決定し、本明細書の目的に合わせて、本明細書では
Figure 0005143871

と呼ぶΓの変形を構築する(処理ブロック406)。ベクトル
Figure 0005143871

を用いて、処理ロジックは、符号化されたメディア、及び符号化されたメディアを復号する際に使用されるツールセットの合法性を確認する(処理ブロック407)。一実施形態においては、デコーダは、ベクトル
Figure 0005143871

をレジストリに伝送し、レジストリは、メディア及びツールセットが合法であることを確認する。
[0050]i番目のセグメントが搬送されると、エンコーダは、残りのセグメントの符号化を進め、図4のプロセスが繰り返される。一実施形態においては、残りのセグメントに関連付けられた証明書の供与(処理ブロック403)は、レジストリによる前のセグメントの一つ以上の確認が条件となる(処理ブロック407)。
[0051]一実施形態においては、セグメントごとにロイヤルティコストの最適化を行うのではなく、エンコーダは、全てのセグメントのロイヤルティコストを一緒に最適化する。
[0052]一実施形態においては、ツールセットΩは、適用可能な圧縮及び搬送ツールのIP所有者によって寄与された符号化及び搬送アルゴリズムとして決定され、Ω⊂Ωのツールは、依存性グラフ内でのツールの詳述を可能にするXML及びRDLなどの周知のフォーマットを用いて、デコーダに通知される。図5は、依存性グラフの一例を示す。図5を参照すると、メディアデコーダ501は、符号化されたデータを受け取り、ツールセット1〜T又はアルゴリズムを用いて復号して、復号されたメディア502を生成する。ツール1〜Tとラベル付けされたツールは、相互接続されており、一つのツールの出力が、周知のメディア復号の可能性を構築するために別のツールの入力として利用可能となっている。
[0053]現在開発されているMPEG−RVC規格のツール仕様部は、どの符号化ツールを使用して符号化データを生成させたかをデコーダが識別できる情報をパッケージ化するように使用され得るものである。一実施形態においては、依存性グラフ内で、特定のツールの代わりに、又は多数のツールの代わりに、同等の機能のツールが使用される。図6は、同等の機能のツールの例示的なセットを示す。図6を参照すると、圧縮ビデオの復号の際に使用可能であるツール/アルゴリズムのセット及び動き補償アルゴリズムが示されている。ツールは、補償可能な動き補償の精度が高くなるほど、徐々に高度化される(整数ピクセル精度から1/8ピクセル精度)。より高度なツールの場合、より良好な品質が得られる。
<メディア符号化及び配信システムの一例>
[0054]図8は、証明書の生成を担うレジストリを含むメディア符号化及び配信システムのブロック図である。図8を参照すると、メディアサーバ801が、レジストリ802及び一つ以上のユーザ端末803に通信可能に結合されている。この結合は、直接的な接続であってもよく、又は一つ以上の介在要素との結合であってもよい。例えば、一実施形態においては、メディアサーバ801が、レジストリ802及び一つ以上のユーザ端末803にネットワーク(例えば、パケットベースのネットワーク、インターネットなど)上で通信可能に結合される。
[0055]上述したように、一実施形態においては、メディアサーバ801は、処理ユニット813を備えており、当該処理ユニット813は、本明細書に記載するメディア処理オペレーションを実行する。当該オペレーションには、メディアの分解、セグメント化、ベクトル発生及び処理、及びメディアサーバ801の他の機能ユニットによって実行されない他のオペレーションがある。一実施形態においては、メディアサーバ801はまた、一つ以上の符号化ツールを用いてメディアのセグメントを符号化するための符号化ユニット820を備えている。一実施形態においては、メディアサーバ801は、ユーザと通信するための通信インタフェース811を備えている。通信インタフェース811は、異なる配信オプションをユーザに与えるものであってもよい。異なる配信オプションは、復号メディア品質の違い及び/又は伝送帯域幅制約の違いに関連付けられるものであってもよく、異なる配信オプションは、一つ以上の符号化パラメータに基づいて提示するために選択されてもよい。一実施形態においては、このような場合、メディアサーバ801のツール選択ユニット812が、インタフェースによって受信されるユーザによる配信オプションの一つの選択に基づいて、及び/又は、一つ以上の符号化パラメータに基づいて、一つ以上の符号化ツールを選択する。例えば、品質と帯域幅の面において、以下のオプションが与えられてもよい。
Figure 0005143871
[0056]一実施形態においては、インタフェースは、オプションの顧客要求に基づいて、提示されたオプションの価格を動的に調節してもよい。顧客要求は、最後のT秒で測定されてもよく、この場合、Tは、1、2、51、600、1000000、又は任意の時間間隔であってもよい。
[0057]処理ユニット813を用いて、メディアサーバ801は、メディアをセグメントに分解し、レジストリ802に該当する条件を含むベクトルΓを与える。一実施形態においては、セグメントiのベクトルΓは、目標メディア品質Q、有効帯域幅B、利用ツールΩ⊂Ωを含む。一実施形態においては、レジストリ802は、ロイヤルティコストを格納し、証明書を与える信頼サーバである。このように、i番目のセグメントに関してメディアサーバ801からの関連する条件を含むベクトルΓに応答して、レジストリ802は、i番目のセグメントに証明書Φを与える。一実施形態においては、リアルタイムアプリケーションでは、レジストリ802が、証明書が得られるように、各セグメントに対して照会される。
[0058]一実施形態においては、レジストリ証明書は、符号化ツールのライセンス供与と、メディアコンテンツ所有者からのメディアのライセンス供与をカバーする。一実施形態においては、レジストリ802は、IP及びコンテンツ所有者によって問い合わされてもよい。このようにして、IP及びコンテンツ所有者は、メディアのライセンス供与及び合法的な使用を監視することができる。このように、ライセンス所有者及び規格のパテントプール及び/又は個々のIP所有者に有益となるように、利用ツール及び輸送されたメディアのライセンス供与を可能にする組み合わせ証明書が、単一の本体から得られる。非常に広範囲のライセンス条項が許容されてもよい。すなわち、システムコンテンツの所有者及び技術的なIP所有者が、法外に高いライセンスコストにより依然は不可能であった新しい応用を可能にするライセンス条項の連続体を規定し得る。このようにして、ライセンスの容易且つ動的なセキュリティ保護及び配信が可能となって、IP及びコンテンツが合法的に公正に使用され得るようになる。
[0059]一実施形態においては、IP及びコンテンツ所有者が公正に補償されるように、異種のデバイス及びアプリケーションにメディアを配信するために、十分な可能性のセットが規定される。さらに、一実施形態においては、標準的な規格化用に選択されていないツールが、これらのツールから利益を得るニッチ用途に貢献することが可能である。このようにして、メディア符号化規格内の標準的なツールの所有者だけでなく、標準的な規格化用に選択されていないツールの所有者も公正に補償され得る。
[0060]メディアサーバ801のエンコーダユニット810は、通信インタフェース811を介してレジストリ802と通信する役割を担うものであってもよい。一実施形態においては、非リアルタイムアプリケーションの場合、エンコーダは、レジストリ802がメディア配信中に照会されないように、全てのメディア伝送より前に証明書を得てもよい。
[0061]証明書を得た後、メディアサーバ801は、符号化されたメディア及び関連する証明書をユーザ端末803に与える。一実施形態においては、ユーザ端末803は、符号化されたメディアを復号するためのデコーダを備えている。ユーザ端末803はまた、符号化されたメディアデータからロイヤルティコスト関連のパラメータを検出するための検出器を備えている。検出器は、デコーダの一部であってもよい。図9は、符号化されたメディアからのロイヤルティコストの決定に関連するパラメータを検出する検出器の一実施形態のブロック図である。図9を参照すると、検出器900は、符号化されたデータ900を受信し、二つのタイプの検出を実行する二つの検出ユニットを備えている。検出ユニット910は、目標メディア品質Q及び有効帯域幅Bを検出し、一方、検出ユニット911は、復号に必要な利用ツールΩ⊂Ωを検出する。検出器900は、セグメントiのベクトル
Figure 0005143871


を出力する。
[0062]一実施形態においては、セグメントのある一定の割合が報告時に使用されるように、検出器は、ランダムに選択されたセグメントで、レジストリ(例えば、レジストリ802)又は別の報告サーバに
Figure 0005143871


を報告する。この割合は、例えば、1%、7%、10%、43%などの多数の異なる割合であってもよい。ユーザ端末の検出器(又はデコーダ)はまた、最新のk個のセグメント(k=1,2,7,49など)に関する
Figure 0005143871


を報告するよう、レジストリ又は報告サーバによってポーリングされる。
[0063]別の実施形態においては、ユーザ端末803によって証明書が得られる。このような場合、ユーザ端末803は、レジストリ802などのレジストリと通信する(点線で図示)。
[0064]図13は、コンテンツ配信システムの別の実施形態を示している。図13を参照すると、このシステムは、符号化した形で一以上の顧客にコンテンツを供するための少なくとも一つのサービスプロバイダサーバ1301を含んでいる。このシステムはまた、サーバ1301にコンテンツを与えるための一つ以上のコンテンツプロバイダサーバ1306〜1306を含んでいる。コンテンツプロバイダは、サーバ1301の一部であってもよい。符号化サービス1302は、コンテンツを符号化するために含まれている。符号化サービス1302は、ロイヤルティコストに基づいて選択されたエンコーダを用いて、コンテンツを符号化する。符号化サービスは、サーバ1301の一部であってもよい。レジストリ1303は、コンテンツの少なくとも一部分に関連付けられた証明書の記録を維持するために、サーバ1301に通信可能に結合される。上述したように、証明書は、符号化データの確認のために使用される。これらのユニットは、互いに直接結合されてもよく、又はネットワーク1305のようなネットワークを介して通信可能に結合されてもよい。
<達成可能な復号メディア品質>
[0065]一実施形態においては、エンコーダは、各メディアセグメントに対して達成可能な面を用いて、ツールセットΩに対する符号化ツールを選択する。エンコーダ又は他のデバイスは、所与の有効帯域幅及びロイヤルティコストに対して特定のメディア品質を提供するツールを容易に選択するために、各メディアセグメントに対する達成可能な面を構築する。この面は、所与の有効帯域幅及びロイヤルティコストに対して最高の品質を発生するツールのサブセットが、その帯域幅及びロイヤルティコストで面の切片を決定するよう、Ωのツールによって許容されるあらゆる可能な方法でメディアセグメントを符号化することによって発生され得る。図10は、達成可能な[品質、帯域幅、ロイヤルティコスト]三つの値によって画成される例示的な面を示す。図10を参照すると、面の下方にある全ての三つの値は、「達成可能」であると見なされる。
[0066]また、図10に示すような面上のペア依存関係、即ち、三つのパラメータである品質、有効帯域幅、ロイヤルティコストのうちの二つが変動し、三つ目のパラメータが一定のままである状態の作用を示す関係が、得られる。図11は、ペア依存関係を示す面からの切り取りの一例を示している。
[0067]グラフは、多くの他の方法で表されてもよい。例えば、一実施形態においては、グラフは表として表される。他の実施形態においては、グラフは、より単純な関数と、それに関連するパラメータを用いて表される。別の実施形態においては、プログラムが、関数への入力を行い、関数の出力を生成する。これらは、例にすぎず、多くの他の実施形態が利用可能である。
[0068]一実施形態においては、エンコーダは、パラメータ化されたモデルベースの近似を用いて、達成可能な面を発生する。一実施形態においては、これらの近似用のパラメータは、符号化されているメディアから決定される(例えば、ビデオには、フレームレベル標準偏差又はピクセル強度の他の統計及びモーションアクティビティを定量化する統計が使用可能であり、オーディオには、周波数の高さを定量化する統計が使用可能である)。モデルは、許容されるツールのサブセットを用いて、周知の速度ひずみ又は速度知覚品質モデルを用いて形成され得る。一つのこのようなモデルは、Yinらの“Rate−Distortion Models for Video transcoding”(SPIE Conference on Image and Video Communications and Processing、Vol.5022、pp.467−488、January 2003)に記載されている。
[0069]一実施形態において、着目する[品質、有効帯域幅、ロイヤルティコスト]の三つの値の所望の範囲で面が発生されると、エンコーダは、[有効帯域幅、ロイヤルティコスト]の許容範囲で品質を最大限にするか、又は[品質、有効帯域幅]の許容範囲でロイヤルティコストを最小限にするか、又は[品質、ロイヤルティコスト]の許容範囲で帯域幅コストを最小限にするツールサブセットを選択する。
[0070]全ての考えられ得るシナリオには適用不可能である、又は全ての考えられ得るハードウェアプラットフォーム上での効率的な実装には適していない、符号化効率を低下させてしまうなどの理由から、メディア規格の最終選択に含まれていないツールが、実行可能であってもよく(利用されるツールのサブセットが適応的に決定されるため)、効率が選択プロセスのほぼ一つの態様であることに留意されたい。
<コンピュータシステムの一例>
[0071]図12は、本明細書に説明した一つ以上のオペレーションを実行し得る例示的なコンピュータシステムのブロック図である。図12を参照すると、コンピュータシステム1200は、例示的なクライアント又はサーバコンピュータシステムを備えていてもよい。コンピュータシステム1200は、情報を通信するための通信機構又はバス1211と、情報処理用のバス1211に結合されたプロセッサ1212とを備えている。プロセッサ1212は、マイクロプロセッサを含むが、例えば、Pentium(商標)プロセッサ、PowerPC(商標)プロセッサなどのマイクロプロセッサに限定されるものではない。
[0072]システム1200は、情報及びプロセッサ1212によって実行される命令を格納するためにバス1211に結合されたランダムアクセスメモリ(RAM)又は他の動的記憶デバイス1204(メインメモリと呼ぶ)を更に備えている。メインメモリ1204はまた、プロセッサ1212による命令の実行中に一時的な変数又は他の中間情報を格納するために使用されてもよい。
[0073]コンピュータシステム1200はまた、プロセッサ1212の静的情報及び命令を格納するためにバス1211に結合された読み出し専用メモリ(ROM)及び/又は他の静的記憶デバイス1206と、磁気ディスクや光ディスク及びそれに対応するディスクドライブなどのデータ記憶デバイス1207とを備えている。データ記憶デバイス1207は、情報及び命令を格納するためにバス1211に結合されている。
[0074]コンピュータシステム1200は、更に、コンピュータユーザに情報を表示するためにバス1211に結合された、陰極線管(CRT)又は液晶ディスプレイ(LCD)などのディスプレイデバイス1221に結合されていてもよい。英数字及び他のキーを含む英数字入力デバイス1222が、プロセッサ1212に情報及びコマンド選択を通信するためにバス1211に結合されていてもよい。追加のユーザ入力デバイスは、プロセッサ1212に方向情報及びコマンド選択を通信し、ディスプレイ1221上でカーソルの動きを制御するためにバス1211に結合された、マウス、トラックボール、トラックパッド、スタイラス、又はカーソル方向キーなどのカーソル制御1223である。
[0075]バス1211に結合され得る別のデバイスは、紙、フィルム、又は同様のタイプの媒体などの媒体上に情報をマーキングするために使用されてもよいハードコピーデバイス1224である。バス1211に結合され得る別のデバイスは、電話やハンドヘルド式のパームデバイスと通信を行うためのワイヤード/ワイヤレス通信機能1225である。
[0076]システム1200及び関連するハードウェアのコンポーネントの何れか又は全てが、本発明に使用し得ることに留意されたい。しかしながら、コンピュータシステムの他の構成は、これらデバイスの一部又は全てを含み得ることを理解されたい。
[0077]前述した説明を読み終わった当業者であれば、本発明の多くの変更例及び修正例が明らかであるが、例示的に図示し記載した任意の特定の実施形態は、限定的なものとして見なされることを意図したものではないことを理解されたい。したがって、様々な実施形態の詳細に対する言及は、本発明に必須であるものと見なされる特徴のみを列挙した特許請求の範囲を限定するように意図されたものではない。
501…メディアデコーダ、502…メディア、801…メディアサーバ、802…レジストリ、803…ユーザ端末、810…エンコーダユニット、811…通信インタフェース、812…ツール選択ユニット、813…処理ユニット、820…符号化ユニット。

Claims (24)

  1. メディアを複数のセグメントに分解するステップと、
    所与の帯域幅及びロイヤルティコストに対して最高の復号メディア品質を生じる符号化ツールのサブセットを特定するために、各セグメントの復号メディア品質、帯域幅、及びロイヤルティコストの達成可能な三つの値を規定する面を有する三次元グラフを構築するステップと、
    メディアを符号化するための一つ以上の符号化ツールを、該一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、各対応する復号ツールが生成する復号メディア品質、並びに一つ以上の帯域幅の制約に基づいて、選択するステップであって、各セグメントを符号化する該一つ以上の符号化ツールを選択することが、前記達成可能な三つの値から行われる、該ステップと、
    前記一つ以上の符号化ツールを用いて前記メディアを符号化するステップであって、該メデアを符号化することが、前記複数のセグメントの各々を符号化することを含む、該ステップと、
    前記一つ以上の符号化ツールのうち少なくとも一つによって生成された符号化データを伝送するステップと、
    を含む方法。
  2. 各セグメントに対して少なくとも一つの証明書をレジストリから得るステップと、
    前記伝送される符号化データ、及び該符号化データに関連する証明書を、前記伝送される符号化データを符号化するために使用された任意の符号化ツールのリスト、及び一以上の符号化パラメータとともに、デコーダに送信するステップと、
    前記符号化データを復号するステップと、
    前記符号化ツールのリストと、前記リスト内の符号化ツールが選択された条件とを決定するステップと、
    前記メディア及び前記符号化ツールリストの合法性を確認するために、前記符号化ツールのリスト及び前記条件を、該条件に関連付けて証明書を有する前記レジストリに送信するステップと、
    を更に含む、請求項1に記載の方法。
  3. 前記符号化データから一つ以上のロイヤルティコスト関連のパラメータを検出するステップを更に含む、請求項1に記載の方法。
  4. 一つ以上の符号化ツールを選択するステップが、
    帯域幅及びロイヤルティコストの一方又は双方の許容範囲で復号メディア品質を最大限にし、
    復号メディア品質及び帯域幅の一方又は双方の許容範囲でロイヤルティコストを最小限にし、又は、
    復号メディア品質及びロイヤルティコストの一方又は双方の許容範囲で帯域幅コストを最小限にするよう、
    最適なツールサブセットを選ぶことを含む、請求項1に記載の方法。
  5. 前記一つ以上の符号化ツールを選択するステップが、復号メディア品質、帯域幅、並びに、前記一つ以上の符号化ツールの前記少なくとも一つ及び前記一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコストによって形成される三つの値の許容範囲でメディア符号化点を表す関数に基づいて実行される、請求項1に記載の方法。
  6. 前記関数が、バッファ制約を組み込む、請求項5に記載の方法。
  7. 前記符号化データを伝送するメディアサーバが、前記符号化データを伝送する前に符号化された前記メディアの各セグメントの証明書を得るステップを更に含む、請求項1に記載の方法。
  8. 複数の異なる配信オプションの指示をユーザに送るステップを更に含み、
    各配信オプションが、前記復号メディア品質及び帯域幅の制約の少なくとも一つに関連付けられており、
    前記一つ以上の符号化ツールを選択するステップが、前記異なる配信オプションのうちの一つのユーザ選択に基づいている、
    請求項1に記載の方法。
  9. ユーザ要求に基づいて前記異なる配信オプションのうち一つ以上を動的に調節するステップを更に含む、請求項8に記載の方法。
  10. ビデオセグメントを符号化するための符号化ツールを、一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、各対応する復号ツールが生成する復号メディア品質、並びに一つ以上の帯域幅の制約に基づいて選択するツールセット選択ユニットであって、各セグメントを符号化する一つ以上の符号化ツールを選択することを、所与の帯域幅及びロイヤルティコストに対して最高の復号メディア品質を生じる符号化ツールのサブセットを特定するよう、各セグメントの復号メディア品質、帯域幅、及びロイヤルティコストの達成可能な三つの値から行う、該ツールセット選択ユニットと、
    前記ツールセット選択ユニットに結合されたエンコーダであって、ビデオを複数のセグメントにセグメント化し、前記ツールセット選択ユニットにより選択されたツールを用いて、前記複数のセグメントの各々を符号化する該エンコーダと、
    を備えるメディアサーバ。
  11. 符号化データを伝送する前に符号化された前記メディアの各セグメントの証明書を得るためのインタフェースを更に備える、請求項10に記載のメディアサーバ。
  12. 複数の異なる配信オプションの指示をユーザに送るためのインタフェースを更に備え、
    各配信オプションが、前記復号メディア品質及び帯域幅の制約の少なくとも一つに関連付けられており、
    前記ツールセット選択ユニットが、前記異なる配信オプションのうち一つのユーザ選択に基づいて、前記一つ以上の符号化ツールを選択する、
    請求項10に記載のメディアサーバ。
  13. 前記インタフェースが、ユーザ要求に基づいて前記異なる配信オプションのうち一つ以上を調節する、請求項12に記載のメディアサーバ。
  14. 前記エンコーダが、MPEG RVCを用いて、前記符号化されたビデオセグメントをパッケージ化する、請求項10に記載のメディアサーバ。
  15. メディア配信トランザクションを可能にするシステムであって、
    メディアのセグメントを符号化するための符号化ツールを、一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、各対応する復号ツールが生成する復号メディア品質、並びに一つ以上の帯域幅の制約に基づいて、選択するツールセット選択ユニットであって、各セグメントを符号化する一つ以上の符号化ツールを選択することを、所与の帯域幅及びロイヤルティコストに対して最高の復号メディア品質を生じる符号化ツールのサブセットを特定するよう、各セグメントの復号メディア品質、帯域幅、及びロイヤルティコストの達成可能な三つの値から行う、該ツールセット選択ユニットと、
    前記ツールセット選択ユニットに結合されたエンコーダであって、メディアを複数のセグメントにセグメント化し、前記ツールセット選択ユニットにより選択されたツールを用いて、前記複数のセグメントの各々を符号化し、該システムの別のロケーションに符号化されたメディアのビットストリームを配信する該エンコーダと、
    を備えるメディアサーバと、
    前記メディアサーバに通信可能に結合されており、前記メディアを符号化するために前記メディアサーバによって使用されたツールの指示を維持するレジストリと、
    を備えるシステム。
  16. 前記レジストリが、前記エンコーダによって符号化される各セグメントの証明書を発生し、
    前記証明書が、前記各セグメントに対応する符号化データであって、前記エンコーダによって前記ビットストリームの一部として伝送される該符号化データの合法性を確認する、
    請求項15に記載のシステム。
  17. 前記証明書が、前記各セグメントに対応する前記符号化データを発生するために、前記エンコーダによって使用される符号化ツールを指定する、請求項16に記載のシステム。
  18. 前記レジストリが、コンテンツ及びロイヤルティコスト、前記エンコーダによって使用されたツールの指示、並びに、前記メディアが配信された復号メディア品質及び帯域幅の記録をとる、請求項15に記載のシステム。
  19. 前記レジストリが、前記複数のツールの各々に関連付けられたロイヤルティコスト及び条件を格納し、メディア符号化条件に応答して各セグメントの証明書を決定する、請求項15に記載のシステム。
  20. 前記メディア符号化条件が、前記セグメントの最初に、帯域幅、目標復号メディア品質、並びに、前記エンコーダ及びデコーダのいずれか又は双方に関連付けられた一つ以上のパラメータからなる群の少なくとも一つを含む、請求項19に記載のシステム。
  21. 前記ツールセット選択ユニットは、異なる価格付けを各々が有し、且つ、同じ帯域幅で異なる復号メディア品質の復号データを生じる複数の異なる符号化ツールから選択する、請求項20に記載のシステム。
  22. 命令を格納したコンピュータ読取り可能記憶媒体であって、前記命令が、システムによる実行時に、該システムに、
    メディアを複数のセグメントに分解するステップと、
    所与の帯域幅及びロイヤルティコストに対して最高の復号メディア品質を生じる符号化ツールのサブセットを特定するために、各セグメントの復号メディア品質、帯域幅、及びロイヤルティコストの達成可能な三つの値を規定する面を有する三次元グラフを構築するステップと、
    メディアを符号化するための一つ以上の符号化ツールを、一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコストと、各対応する復号ツールが生成する復号メディア品質、並びに、一つ以上の帯域幅の制約に基づいて、選択するステップであって、各セグメントを符号化する該一つ以上の符号化ツールを選択することが、前記達成可能な三つの値から行われる、該ステップと、
    前記一つ以上の符号化ツールを用いて前記メディアを符号化するステップであって、該メデアを符号化することが、前記複数のセグメントの各々を符号化することを含む、該ステップと、
    前記一つ以上の符号化ツールの少なくとも一つによって生成される符号化データを伝送するステップと、
    を含む方法を実行させる、コンピュータ読取り可能記憶媒体。
  23. 前記方法が、
    各セグメントに対して少なくとも一つの証明書をレジストリから得るステップと、
    前記伝送された符号化データ及び前記データに関連する証明書を、前記伝送された符号化データ符号化するために使用される任意の符号化ツールのリスト及び一つ以上の符号化パラメータとともに、デコーダに送信するステップと、
    前記符号化データを復号するステップと、
    前記符号化ツールのリストと、前記リスト内の符号化ツールが選択された条件とを決定するステップと、
    前記メディア及び前記符号化ツールリストの合法性を確認するために、前記符号化ツールのリスト及び前記条件を、該条件に関連付けて証明書を有する前記レジストリに送信するステップと、
    を更に含む、請求項22に記載のコンピュータ読取り可能記憶媒体。
  24. 一以上の顧客にコンテンツを符号化された形式で供するためのサービスプロバイダのサーバと、
    前記サーバに前記コンテンツを提供するための一つ以上のコンテンツプロバイダサーバと、
    一つ以上の符号化ツールのうち少なくとも一つ及び該一つ以上の符号化ツールの各々に対応する復号ツールに関連付けられたロイヤルティコスト、各対応する復号ツールが生成する復号メディア品質、並びに一つ以上の帯域幅の制約に基づいて、前記コンテンツの複数のセグメントを符号化する複数の符号化ツールを選択し、選択された該複数の符号化ツールを用いて該複数のセグメントを符号化するための符号化サービスであって、各セグメントを符号化する一つ以上の符号化ツールを選択することを、所与の帯域幅及びロイヤルティコストに対して最高の復号メディア品質を生じる符号化ツールのサブセットを特定するよう、各セグメントの復号メディア品質、帯域幅、及びロイヤルティコストの達成可能な三つの値から行う、該符号化サービスと、
    前記サーバに通信可能に結合されたレジストリであって、前記コンテンツの少なくとも一部分に関連付けられ、前記コンテンツの前記少なくとも一部分の符号化されたデータの確認用に使用される証明書の記録を維持する該レジストリと、
    を備えるシステム。
JP2010163027A 2007-01-29 2010-07-20 メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信 Active JP5143871B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US89832407P 2007-01-29 2007-01-29
US60/898,324 2007-01-29
US12/020,792 2008-01-28
US12/020,792 US7656318B2 (en) 2007-01-29 2008-01-28 Optimized content-based and royalty-based encoding and distribution of media data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009548289A Division JP2010517476A (ja) 2007-01-29 2008-01-29 メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信

Publications (2)

Publication Number Publication Date
JP2011030222A JP2011030222A (ja) 2011-02-10
JP5143871B2 true JP5143871B2 (ja) 2013-02-13

Family

ID=39668000

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009548289A Pending JP2010517476A (ja) 2007-01-29 2008-01-29 メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信
JP2010163027A Active JP5143871B2 (ja) 2007-01-29 2010-07-20 メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009548289A Pending JP2010517476A (ja) 2007-01-29 2008-01-29 メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信

Country Status (6)

Country Link
US (1) US7656318B2 (ja)
EP (1) EP2130375A2 (ja)
JP (2) JP2010517476A (ja)
KR (1) KR101007173B1 (ja)
CN (1) CN101658033B (ja)
WO (1) WO2008094595A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US8712825B1 (en) 2007-07-03 2014-04-29 Royaltyshare, Inc. Web-based royalty system and user interface
US20100030607A1 (en) * 2008-08-02 2010-02-04 Royaltyshare, Inc. Digital Content Management System with Methodologies for Lifecycle Management of Digital Content
US20100042627A1 (en) * 2008-08-13 2010-02-18 Hanses Philip C Flexible Integrated Access to Published Material
US20100039510A1 (en) * 2008-08-13 2010-02-18 Apollo Systems, Llc Method and DEVICE for PRINT INSPECTION
US8385666B2 (en) * 2010-03-31 2013-02-26 Microsoft Corporation Classification and encoder selection based on content
CN103003821B (zh) * 2010-07-19 2016-05-18 三星电子株式会社 用于提供drm服务的方法和装置
US8995534B2 (en) * 2010-09-20 2015-03-31 Bevara Technologies, Llc Systems and methods for encoding and decoding
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
WO2013112758A1 (en) * 2012-01-25 2013-08-01 Onecodec, Limited Systems and methods for encoding, sharing, and decoding of multimedia
US9426476B2 (en) * 2012-07-09 2016-08-23 Hewlett-Packard Development Company, L.P. Video stream
CN103297519B (zh) * 2013-05-21 2017-02-08 广东威创视讯科技股份有限公司 编解码集群传输视频流的方法和系统
US8850055B1 (en) * 2013-09-17 2014-09-30 Google Inc. Intelligently streaming portions of media at higher quality over a limited bandwidth connection
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
CN109711117B (zh) * 2017-10-26 2022-07-19 美国科视数字系统有限公司 用于分发数字内容的装置和方法
US10965780B2 (en) 2018-01-18 2021-03-30 Bevara Technologies, Llc Browser navigation for facilitating data access

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407680B1 (en) * 2000-12-22 2002-06-18 Generic Media, Inc. Distributed on-demand media transcoding system and method
US7242324B2 (en) 2000-12-22 2007-07-10 Sony Corporation Distributed on-demand media transcoding system and method
WO2002097584A2 (en) * 2001-05-31 2002-12-05 Hyperspace Communications, Inc. Adaptive video server
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US7599434B2 (en) * 2001-09-26 2009-10-06 Reynolds Jodie L System and method for compressing portions of a media signal using different codecs
US20030135863A1 (en) * 2002-01-17 2003-07-17 Koninklijke Philips Electronics N.V. Targeted scalable multicast based on client bandwidth or capability
JP4366571B2 (ja) * 2003-09-18 2009-11-18 日本電気株式会社 動画像符号化装置及び方法
CN1860786A (zh) * 2003-10-23 2006-11-08 交互设备有限公司 使用不同的编解码器压缩媒体信号各部分的系统和方法
KR100736080B1 (ko) * 2005-10-27 2007-07-06 삼성전자주식회사 다 계층으로 구성된 멀티미디어 스트림의 저작권을 계층별로 관리하는 방법 및 장치
US8125931B2 (en) * 2006-01-10 2012-02-28 Utbk, Inc. Systems and methods to provide availability indication

Also Published As

Publication number Publication date
CN101658033A (zh) 2010-02-24
WO2008094595A3 (en) 2008-10-02
EP2130375A2 (en) 2009-12-09
KR101007173B1 (ko) 2011-01-12
JP2010517476A (ja) 2010-05-20
CN101658033B (zh) 2016-08-03
US7656318B2 (en) 2010-02-02
WO2008094595A2 (en) 2008-08-07
US20080181400A1 (en) 2008-07-31
KR20090084904A (ko) 2009-08-05
JP2011030222A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
JP5143871B2 (ja) メディアデータの最適化されたコンテンツベース及びロイヤルティベースの符号化及び配信
US7506071B2 (en) Methods for managing an interactive streaming image system
US8218886B2 (en) Transitioning compression levels in a streaming image system
US11475539B2 (en) Electronic apparatus, system and controlling method thereof
JP4917740B2 (ja) スケーラブルメディアのための、スケーラブルで誤り復元性があるデジタル権利管理
US7856227B2 (en) Data processing system and method, communication system and method, and charging apparatus and method
EP2700241B1 (en) Method and system for load balancing between a video server and client
US8902967B2 (en) Systems and methods for distributed media stream transcoding and sharing
WO2012116342A1 (en) Controlling access to media for an electronic device
Ramamoorthy et al. QoE-Sensitive economic pricing model for wireless multimedia communications using Stackelberg game
CN101390392A (zh) 视频监控应用、设备结构、及系统结构
Xie et al. Perceptually optimized quality adaptation of viewport-dependent omnidirectional video streaming
JP2008516566A (ja) ビデオモニタリングアプリケーション、装置アーキテクチャ及びシステムアーキテクチャ
US8520678B2 (en) Network bandwidth measurement
WO2009117924A1 (zh) 流媒体转码的处理方法和装置
Paravati et al. A Novel Approach to Support Quality of Experience in Remote Visualization on Mobile Devices.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250