JP4967228B2 - コンテンツ通信システム、通信装置および方法、並びにプログラム - Google Patents

コンテンツ通信システム、通信装置および方法、並びにプログラム Download PDF

Info

Publication number
JP4967228B2
JP4967228B2 JP2004344078A JP2004344078A JP4967228B2 JP 4967228 B2 JP4967228 B2 JP 4967228B2 JP 2004344078 A JP2004344078 A JP 2004344078A JP 2004344078 A JP2004344078 A JP 2004344078A JP 4967228 B2 JP4967228 B2 JP 4967228B2
Authority
JP
Japan
Prior art keywords
encoded data
frame rate
content
time limit
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004344078A
Other languages
English (en)
Other versions
JP2006155178A (ja
Inventor
健治 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004344078A priority Critical patent/JP4967228B2/ja
Priority to US11/287,636 priority patent/US8176199B2/en
Priority to CNB2005101242935A priority patent/CN100542275C/zh
Publication of JP2006155178A publication Critical patent/JP2006155178A/ja
Application granted granted Critical
Publication of JP4967228B2 publication Critical patent/JP4967228B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Description

本発明は、コンテンツ配信システム、通信装置および方法、並びにプログラムに関し、ユーザが設定した制限時間内にコンテンツを配信することができるようにしたコンテンツ配信システム、通信装置および方法、並びにプログラムに関する。
近年、例えばMPEG(Moving Pictures Experts Group )圧縮により生成されるMPEGストリームを、IP(Internet Protocol)に従ってインターネット上を転送させて、PC(Personal Computer)やPDA(Personal Digital Assistant)、携帯電話等の各通信端末に画像データを含んで構成されるコンテンツを配信することが盛んに行なわれている。
ところでデータ配信の方法としては、通信端末がコンテンツを一旦記憶してから再生するダウンロード配信、ビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議やテレビ電話などのリアルタイム通信があるが、それらの配信を受ける受信側の能力が、それぞれ異なる場合がある。
例えば、解像度の低いディスプレイと処理能力の低いCPU(Central Processing Unit)を有する携帯電話や、高解像度のモニターと高い処理能力のCPUを有するデスクトップパソコンが、1つの情報送信ソースについて受信端末となる場合がある。
このように様々な受信端末において処理能力等に応じた受信処理や表示処理を実行させる1つの手法として、送受信するデータの符号化を階層化させて実行する方法、すなわち、階層符号化された符号化データを利用した通信システムが考えられている。
階層符号化によるデータ配信は、例えば、高解像度のディスプレイを有する受信端末においてのみ処理可能な符号化データ、および高解像度のディスプレイを有する受信端末と低解像度のディスプレイを有する受信端末の双方において処理可能な符号化データが、それぞれ区別可能な態様でパケット化されて行われる。受信側では、自分の処理能力に応じてデータを選別して処理を行う。
すなわちこの通信システムによれば、例えば、伝送状況が悪い地域にある受信端末が、解像度が落とされデータ量が削減されたデータを利用し、一方、伝送状況が良好な地域にある受信端末が、解像度が向上されデータ量の多いデータを利用することができるようなデータ配信を、1つのファイルデータから行うことができる(特許文献1参照)。
なお階層符号化が可能な圧縮伸張方式としては、例えばMPEG4とJPEG2000によるビデオストリームをある。MPEG4ではFine Granuarity Scalability技術を規格に取り込みプロファイル化され、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能となる。また、ウェーブレット(Wavelet)変換をベースとするJPEG2000は、ウェーブレット(Wavelet)変換の特徴を生かし、空間解像度をベースにパケット化することや、あるいは画質をベースに階層的にパケット化することが可能である。またJPEG2000は静止画だけでなく動画を扱えるMotion JPEG2000(Part 3)規格により、階層化したデータをファイルフォーマットで保存することが可能である。
しかしながら、従来には、特許文献1の発明のように、受信端末の解像度や回線容量に基づいて最適なレートでデータを配信する技術は存在するが、ユーザが設定した制限時間内にコンテンツを配信する技術は存在しない。
複数の通信サービスと接続してコンテンツの配信を受けることができる場合、どの通信サービスを利用するかを決定する際の情報として、予想通信料金やダウンロード時間等をユーザに提示する方法も存在するが(特許文献2参照)、結局この場合もユーザがその提示情報を参照して利用する通信サービスを決定する必要があり、ユーザが設定した制限時間内にコンテンツを配信するものではない。
特開平14−262288号公報 特開2004−88501号公報
すなわち従来の技術では、ユーザが設定した制限時間内にコンテンツを配信することはできなかった。
本発明はこのような状況に鑑みてなされたものであり、設定された制限時間内にコンテンツを配信することができるようにするものである。
本発明の第1の通信装置は、クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得手段と、画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得手段と、制限時間、通信装置自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段と、決定手段により決定されたフレームレートで、決定手段により決定された階層までの符号化データをクライアントに送信する送信手段とを備え、決定手段は、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定することを特徴とする
信手段は、所定の階層までの符号化データを、決定手段により決定されたフレームレートで送信することができる。
優先情報取得手段は、動画像コンテンツの輝度変化量を算出する算出手段と、算出手段により算出された輝度変化量と、所定の閾値とを比較し、輝度変化量が所定の閾値以上である場合、フレームレートを優先する旨の優先情報を生成し、輝度変化量が所定の閾値以上でない場合、画質を優先する旨の優先情報を生成する生成手段とを備える優先情報生成装置から、優先情報を取得することができる。
クライアントから制限時間を伴うコンテンツ配信が要求された場合に、帯域を計測する計測手段をさらに設けることができる。
送信手段には、決定手段により決定されたフレームレートで、制限時間内にクライアントに符号化データを送信できるか否かを判定し、送信できないと判定した場合、クライアントに符号化データを送信できない旨を送信させることができる。
本発明の第1の通信方法は、クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得ステップと、画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得ステップと、制限時間、通信装置自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定ステップと、決定ステップの処理で決定されたフレームレートで、決定ステップの処理で決定された階層までの符号化データをクライアントに送信する送信ステップとを含み、決定ステップの処理は、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定することを特徴とする。
本発明の第1の通信装置および方法においては、クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間が取得され、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、制限時間、通信装置自身とクライアントとの帯域、および送信され得るコンテンツの階層符号化された符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかが決定され、決定されたフレームレートで、決定された階層までの符号化データがクライアントに送信される。優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信されるかが決定される。
本発明の第2の通信装置は、コンテンツの配信の制限時間を入力する入力手段と、制限時間内でのコンテンツの配信を、サーバに要求する要求手段と、求手段により要求されサーバにおいて、制限時間、通信装置自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信手段とを備え、サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定されることを特徴とする。
本発明の第2の通信方法は、コンテンツの配信の制限時間を入力する入力ステップと、制限時間内でのコンテンツの配信を、サーバに要求する要求ステップと、求ステップの処理により要求されサーバにおいて、制限時間、通信装置自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信ステップとを含み、サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定されることを特徴とする。
本発明の第2の通信装置および方法においては、コンテンツの配信の制限時間が入力され、制限時間内でのコンテンツの配信が、サーバに要求され、求されサーバにおいて、制限時間、通信装置自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データが受信される。サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定される。
本発明のコンテンツ配信システムは、クライアントが、コンテンツの配信の制限時間を入力する入力手段と、制限時間内でのコンテンツの配信を、サーバに要求する要求手段と、求手段により要求されサーバにおいて、制限時間、クライアント自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信手段とを備え、サーバが、クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得手段と、画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得手段と、制限時間、サーバ自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段と、決定手段により決定されたフレームレートで、決定手段により決定された階層までの符号化データをクライアントに送信する送信手段とを備え、決定手段は、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定することを特徴とする。
本発明のコンテンツ配信方法は、コンテンツの配信の制限時間を入力する入力ステップと、制限時間内でのコンテンツの配信を、サーバに要求する要求ステップと、クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得ステップと、優先情報取得手段が、画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得ステップと、制限時間、サーバ自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定ステップと、決定ステップの処理で決定されたフレームレートで、決定ステップの処理で決定された階層までの符号化データをクライアントに送信する送信ステップと、求ステップの処理により要求されサーバにおいて、制限時間、クライアント自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信ステップとを含み、決定ステップの処理は、優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定することを特徴とする。
本発明のコンテンツ配信システムおよび方法においては、コンテンツの配信の制限時間が入力され、制限時間内でのコンテンツの配信が、サーバに要求され、求されサーバにおいて、制限時間、クライアント自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データが受信される。また、クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間が取得され、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、制限時間、サーバ自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データが、どのフレームレートで送信するかが決定され、決定されたフレームレートで、決定された階層までの符号化データがクライアントに送信される。優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定される。
本発明によれば、制限時間内にコンテンツを配信することができる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
請求項1の通信装置は、
前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得手段(例えば、図13の決定部61)と、
画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得手段(例えば、図13の決定部61)と、
前記制限時間、前記通信装置自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段(例えば、図13の決定部61)と、
前記決定手段により決定された前記フレームレートで、前記決定手段により決定された前記階層までの前記符号化データを前記クライアントに送信する送信手段(例えば、図13のトランスコーダ62)と
を備え、
前記決定手段は、
前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
ことを特徴とする。
請求項2の通信装置は、
優先情報取得手段は、
動画像コンテンツの輝度変化量を算出する算出手段(例えば、図18のエンコード部81)と、
算出手段により算出された輝度変化量と、所定の閾値とを比較し、輝度変化量が所定の閾値以上である場合、フレームレートを優先する旨の優先情報を生成し、輝度変化量が所定の閾値以上でない場合、画質を優先する旨の優先情報を生成する生成手段(例えば、図18の優先情報生成部82)と
を備える優先情報生成装置(例えば、図18のエンコーダ71)から、優先情報を取得する
ことを特徴とする。
請求項3の通信装置は、
クライアントから制限時間を伴うコンテンツ配信が要求された場合に、帯域を計測する計測手段(例えば、図13の決定部61)をさらに備える
ことを特徴とする。
請求項4の通信装置は、
送信手段(例えば、図13のトランスコーダ62)は、決定手段により決定されたフレームレートで、制限時間内にクライアントに符号化データを送信できるか否かを判定し、送信できないと判定した場合、クライアントに符号化データを送信できない旨を送信する
ことを特徴とする。
請求項5の通信方法は、
クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得ステップ(例えば、図14のステップS93)と、
画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得ステップ(例えば、図14のステップS94)と、
決定手段が、制限時間、通信装置自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定ステップ(例えば、図14のステップS95,S96)と、
送信手段が、決定ステップの処理で決定されたフレームレートで、決定ステップの処理で決定された階層までの符号化データをクライアントに送信する送信ステップ(例えば、図14のステップS97)と
を含み、
決定ステップの処理は、
優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
ことを特徴とする。
請求項6の通信装置は、
コンテンツの配信の制限時間を入力する入力手段(例えば、図2の入力部11)と、
制限時間内でのコンテンツの配信を、サーバに要求する要求手段(例えば、図2の制御部12)と、
求手段により要求されサーバにおいて、制限時間、通信装置自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信手段(例えば、図2の通信部14)と
を備え、
サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、
優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、
優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定される
ことを特徴とする。
請求項7の通信方法は、
コンテンツの配信の制限時間を入力する入力ステップ(例えば、図2の入力部11の処理)と、
制限時間内でのコンテンツの配信を、サーバに要求する要求ステップ(例えば、図2の制御部12の処理)と、
求手段により要求されサーバにおいて、制限時間、通信装置自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信ステップ(例えば、図2の通信部14の処理)と
を含み、
サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、動画像コンテンツ毎に取得され、
優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、
優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定される
ことを特徴とする。
請求項8のコンテンツ配信システムは、
クライアントは、
コンテンツの配信の制限時間を入力する入力手段(例えば、図2の入力部11)と、
制限時間内でのコンテンツの配信を、サーバに要求する要求手段(例えば、図2の制御部12)と、
求手段により要求されサーバにおいて、制限時間、クライアント自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信手段(例えば、図2の通信部14)と
を備え、
サーバは、
クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得手段(例えば、図13の決定部61)と、
画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得手段(例えば、図13の決定部61)と、
制限時間、サーバ自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段(例えば、図13の決定部61)と、
決定手段により決定されたフレームレートで、決定手段により決定された階層までの符号化データをクライアントに送信する送信手段(例えば、図13のトランスコーダ62)と
を備え、
決定手段は、
優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
ことを特徴とする。
請求項9のコンテンツ配信方法は、
コンテンツの配信の制限時間を入力する入力ステップ(例えば、図2の入力部11の処理)と、
制限時間内でのコンテンツの配信を、サーバに要求する要求ステップ(例えば、図2の制御部12の処理)と、
クライアントから制限時間を伴うコンテンツ配信が要求された場合に、制限時間を取得する取得ステップ(例えば、図14のステップS93)と、
画質を優先するかまたはフレームレートを優先するかを示す優先情報を、動画像コンテンツ毎に取得する優先情報取得ステップ(例えば、図14のステップS94)と、
制限時間、サーバ自身とクライアントとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内にクライアントにコンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定ステップ(例えば、図14のステップS95,S96)と、
決定ステップの処理で決定されたフレームレートで、決定ステップの処理で決定された階層までの符号化データをクライアントに送信する送信ステップ(例えば、図14のステップS97)と、
求手段により要求されサーバにおいて、制限時間、クライアント自身とサーバとの帯域、および送信され得る符号化データのサイズ情報に基づいて、制限時間内に、コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、サーバから送信された符号化データを受信する受信ステップ(例えば、図2の通信部14の処理)と
を含み、
決定ステップの処理は、
優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
ことを特徴とする。
図1は、本発明を適用したコンテンツ配信システムの構成例を示している。
クライアント1およびサーバ2は、インターネット等のパケット通信網3を介してコンテンツ(この例の場合、動画像データを含んで構成されているコンテンツ)の授受を行う。
ユーザは、クライアント1を操作して、配信を受けたいコンテンツを指定するとともに、例えば何分間以内若しくは何秒間以内で配信を受けたいこと、または所定の時刻までに配信を受けたいこと、すなわち配信の制限時間を設定することができる。
クライアント1は、配信するコンテンツが指定されるとともに、制限時間が設定されると、そのコンテンツのその制限時間内での配信を、パケット通信網3を介してサーバ2に対して要求する。
クライアント1は、その要求に応じてサーバ2から送信されてきたコンテンツの符号化データを受信し、例えばそれを再生して、図示せぬ表示部やスピーカから出力する。
サーバ2は、クライアント1に配信する1個以上のコンテンツの符号化データを保持している。このコンテンツは、MPEG4またはJPEG2000規格に準拠して階層符号化されている。
この例の場合、クライアント1に配信されるコンテンツは、画質レベルに応じて4段階に符号化されており、サーバ2は、各コンテンツについて、4階層の符号化データを保持している。
なお以下において、画質が最も粗い画像の符号化データを、第1番目の階層の符号化データと、第1番目の階層の符号化データの次に画質が粗い画像の符号化データを、第2番目の階層の符号化データと、第2番目の階層の符号化データの次に画質が粗い画像の符号化データを、第3番目の階層の符号化データと、そして第3番目の階層の符号化データの次に画質が粗い画像の符号化データ(最も画質が良い画像の符号化データ)を、第4番目の階層の符号化データとそれぞれ称する。
サーバ2は、クライアント1から、制限時間を伴うコンテンツ配信の要求を受けると、そのコンテンツの、その制限時間内に送信を完了することができる分の符号化データを、クライアント1に送信する。
詳細は後述するが、その制限時間等に基づいて、コンテンツのどの階層までの符号化データ(第1番目の階層の符号化データ、第2番目の階層までの符号化データ(第1番目および第2番目の階層の符号化データ)、第3番目の階層までの符号化データ(第1番目乃至3番目の階層の符号化データ)、または第4番目の階層までの符号化データ(第1番目乃至第4番目の階層の符号化データ))を送信するかが決定され、決定された階層までの符号化データが、クライアント1に送信される。なおこの例の場合、フレームレートは、30fpsで一定である。
図2は、クライアント1の構成例を示している。
入力部11は、図示せぬ操作部から、ユーザのその操作部に対する操作により指定された配信を受けるコンテンツやその制限時間を入力し、制御部12に供給する。
制御部12は、入力部11から、配信を受けるコンテンツおよびその制限時間が供給されると、その制限時間を制限時間保持部13に記憶するとともに、通信部14を介して、指定されたコンテンツのその制限時間内での配信をサーバ2に要求する。
制御部12はまた、デコーダ15を制御して、通信部14により受信された、サーバ2から送信されてきたコンテンツ(配信を要求したコンテンツ)をデコードさせ、例えば図示せぬ表示部やスピーカ等から出力させる。
通信部14は、パケット通信網3と接続し、サーバ2との通信を制御する。
図3は、サーバ2の構成例を示している。
通信部21は、パケット通信網3を介してクライアント1と通信し、例えば制限時間を伴うコンテンツ配信の要求を受け付け、決定部22に通知する。
通信部21はまた、記憶部28に記憶された、クライアント1からの要求に応じたコンテンツのファイルを、クライアント1に転送する。
決定部22は、制限時間を伴うコンテンツ配信の要求が受信されると、その制限時間を取得して制限時間保持部23に記憶するとともに、その制限時間、帯域保持部24に記憶されているクライアント1との帯域、および階層サイズ情報保持部25に記憶されている配信が要求されたコンテンツの階層サイズ情報に基づいて、そのコンテンツのどの階層までの符号化データを送信するかを決定し、その決定結果を、トランスコーダ27に通知する。
帯域保持部24は、クライアント1とサーバ2の帯域を記憶している。なおこの帯域は、例えば決定部22およびクライアント1が協働して計測する。
階層サイズ情報保持部25は、クライアント1に配信可能なコンテンツ(コンテンツ保持部26に保持されているコンテンツ)について、送信され得る符号化データ毎のサイズ情報(階層サイズ情報)を保持している。
この例の場合、コンテンツ毎に、第1番目の階層の符号化データ、第2番目の階層までの符号化データ(第1番目および第2番目の階層の符号化データ)、第3番目の階層までの符号化データ(第1番目乃至3番目の階層の符号化データ)、または第4番目の階層までの符号化データ(第1番目乃至第4番目の階層の符号化データ)が、30fpsのフレームレートで送信される場合のデータ量が、階層サイズ情報として、保持されている。
図4は、所定のコンテンツの階層サイズ情報を示している。この階層サイズ情報は、そのコンテンツの、フレームレートが30fpsである場合の、第1番目の階層の符号化データのデータ量、第2番目の階層までの符号化データのデータ量、第3番目の階層までの符号化データのデータ量、および第4番目の階層までの符号化データのデータ量は、10Mbit、20Mbit、30Mbit、および40Mbitであることを示している。
図3に戻りコンテンツ保持部26は、クライアント1に配信する1個以上のコンテンツそれぞれの、第1乃至第4の番目の階層の符号化データを、それぞれ1つのファイルとして保持している。
トランスコーダ27は、決定部22からの決定結果に基づいて、配信するコンテンツの符号化データを、コンテンツ保持部26から読み出すとともに、それを1つのファイルとして記憶部28に記憶する。
次に、サーバ2の動作を、図5のフローチャートを参照して説明する。
ステップS1において、サーバ2の通信部21により、クライアント1から送信されてきた、制限時間を伴うコンテンツ配信の要求が受信されると、ステップS2において、決定部22は、クライアント1との帯域を計測する。この処理は、クライアント1(例えば制御部12)と協働して行われる。
具体的にはサーバ2の決定部22は、通信部21を介して、サイズが等しい2個のパケットをback-to-backでクライアント1に転送する。クライアント1は、それらを受信する。
図6は、クライアント1とサーバ2間の2個のパケットの伝送時間を表しており、時間は、図下向き方向に進んでいる。すなわちサーバ2は、時刻taに最初のパケットの送信を開始し、時刻bにその送信を完了する。そしてサーバ2は、その直後(時刻tc)から次のパケットの送信を開始し、時刻tdにその送信を完了する。クライアント1は、時刻t0に最初のパケットの受信を開始し、時刻t1にその受信を完了する。そしてクライアント1は、その直後(時刻t2)から次のパケットの受信を開始し、時刻t3にその受信を完了する。
クライアント1は、2個のパケットの受信を完了した時刻t1とt3、およびパケットのサイズSから、式(1)に従って帯域を算出し、サーバ2に送信する。
帯域=S/(t3−t1)・・・(1)
サーバ2の決定部22は、クライアント1から送信されてきた帯域を、帯域保持部24に保持する。
図5に戻りステップS3において、サーバ2の決定部22は、配信の制限時間を、クライアント1から取得する。具体的には、決定部22は、通信部21を介してクライアント1と通信し、クライアント1の制限時間保持部13に記憶されている要求されたコンテンツ配信の制限時間を取得し、制限時間保持部23に記憶する。
ステップS4において、サーバ2の決定部22は、配信が要求されたコンテンツについて、どの階層までの符号化データを送信するかを決定する。この処理の詳細は、図7のフローチャートに示されている。
ステップS11において、サーバ2の決定部22は、制限時間内に送信できる最大のデータ量を、ステップS2で計測したクライアント1とサーバ2との帯域、およびステップS3で取得した制限時間を、式(2)に示すように乗算して算出する。
最大データ量=帯域(Mbps)×制限時間(s)・・・(2)
ステップS12において、決定部22は、送信され得る符号化データの最上位の階層を下位階層から順に示すカウンタiの値を1に初期設定する。すなわちカウンタiの値1は、第1番目の階層に、値2は、第2番目の階層に、値3は、第3番目の階層に、そして値4は、第4番目の階層にそれぞれ対応する。
ステップS13において、決定部22は、カウンタiの値1に対応する第1番目の階層の符号化データのデータ量を、階層サイズ情報(図4)から読み取る。
ステップS14において、決定部22は、ステップS13で読み取った第1番目の階層の符号化データのデータ量が、ステップS11で算出した最大データ量以下であるか否かを判定する。
すなわちステップS12乃至ステップS14の処理で、送信され得る符号化データの中で最もデータ量が少ない第1番目の階層の符号化データを、制限時間内にクライアント1に送信できるか否かが判定される。
ステップS14で、第1番目の階層の符号化データのデータ量が最大データ量以下であると判定された場合(第1番目の階層の符号化データを、制限時間内にクライアント1に送信できる場合)、ステップS15に進む。
ステップS15において、決定部22は、カウンタiの値を1だけインクリメントし、ステップS16に進み、カウンタiの値に対応する階層までの符号化データのデータ量を、階層サイズ情報から読み取る。
ステップS17において、決定部22は、ステップS16で読み取ったデータ量が、ステップS11で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS18に進む。
ステップS18において、決定部22は、カウンタiの値が、符号化データの階層の最上位の階層に対応する値(この例の場合、値4)であるか否かを判定し、カウンタi=4ではないと判定した場合、ステップS15に戻り、カウンタiの値を1だけインクリメントして、それ以降の処理を実行する。
ステップS17で、カウンタiの値に対応する階層までの符号化データのデータ量が、ステップS11で算出した最大データ量より大きいと判定された場合、またはステップS18で、カウンタi=4であると判定された場合、ステップS19に進む。
すなわちステップS15乃至ステップS18の処理で、第2番目の階層までの符号化データ、第3番目の階層までの符号化データ、または第4番目の階層までの符号化データを、制限時間内にクライアント1に送信できるか否かが判定される。
ステップS19において、決定部22は、ステップS14およびステップS17で、ステップS11で算出された最大データ量以下であると判定された符号化データの中で(制限時間内にクライアント1に送信できる符号化データの中で)、データ量が最も大きい符号化データを構成する最上位の階層(ステップS17でNOと判定された場合は、そのときのカウンタiの値から1を減算した値に対応する階層、またはステップS18でYESと判定された場合は、値4に対応する階層)をトランスコーダ27に通知する。
このようにしてどの階層まで送信するかが決定される。
ステップS14で、第1番目の階層の符号化データのデータ量が、ステップS11で算出された最大データ量より大きいと判定された場合、このとき、符号化データの送信を、制限時間内に行うことができない場合、ステップS20に進み、決定部22は、制限時間内にコンテンツを配信することができない旨を、クライアント1に送信する。
ステップS19またはステップS20の処理の後、図5のステップS5に進み、ステップS4で決定された階層までの符号化データが、クライアント1に送信される。この処理の詳細は、図8のフローチャートに示されている。
ステップS31において、サーバ2のトランスコーダ27は、決定部22からの通知された階層までの符号化データを、コンテンツ保持部26から読み取り、ステップS32において、読み取ったデータから1つのファイルを生成し、記憶部28に記憶する。
ステップS33において、通信部21は、記憶部28に記憶されたファイルを、クライアント1に転送する。
このようにしてコンテンツがクライアント1に送信される。
以上のようにして、設定された制限時間等に応じたデータ量の符号化データをクライアント1に送信するようにしたので、制限時間内にコンテンツの配信を行うことができる。
なお以上においては、クライアント1とサーバ2との帯域は、クライアント1とサーバ2が協働して計測するようにしたが(図5のステップS2)、クライアント1とサーバ2とが専用回線で接続されており一定の帯域が確保されている場合には、その帯域を帯域保持部24に記憶しておいてそれを利用することができる。またユーザ自身が帯域を設定することができるようにし(例えばユーザがクライアント1を操作してマニュアルで帯域を設定することができるようにし)、設定されたその帯域をサーバ2が取得して利用することもできる。
図9は、サーバ2の他の構成例を示している。このサーバには、図3のサーバ2の決定部22に代えて、決定部51が、トランスコーダ27に代えて、トランスコーダ52が設けられ、そして記憶部28が取り除かれている。他の部分は、図3における場合と同様であるので、その説明は適宜省略する。
上述した図3のサーバ2は、フレームレートを固定し(30fpsに固定し)、送信される階層を調整することによって、制限時間内にコンテンツがクライアント1に配信されるようにしたが、図9のサーバ2は、送信される符号化データの階層を固定し(この例の場合、第4番目の階層までの符号化データを送信するものとし)、フレームレートを調整することによって、制限時間内にコンテンツがクライアント1に配信されるようにする。なおこの例の場合、10fps、15fps、または30fpsのいずれかのフレームレートで送信されるものとする。
このサーバ2の動作を、図10のフローチャートを参照して説明する。
ステップS41乃至S43においては、図5のステップS1乃至ステップS3における場合と同様の処理が行われるので、その処理の説明は省略する。
ステップS44において、サーバ2の決定部51は、配信が要求されたコンテンツの第4番目の階層までの符号化データ(第1番目乃至第4番目の階層の符号化データ)を、どのフレームレートで送信するかを決定する。この処理の詳細は、図11のフローチャートに示されている。
ステップS61において、サーバ2の決定部51は、図7のステップS11における場合と同様にして、帯域および制限時間の下で送信し得る最大のデータ量を算出する(式(2))。
ステップS62において、決定部22は、フレームレートを小さい方から順に示すカウンタjの値を1に初期設定する。すなわち、カウンタjの値1は、10fps(最小のフレームレート)に、値2は、15fpsに、そして値3は、30fpsにそれぞれ対応する。
ステップS63において、決定部22は、第4番目の階層までの符号化データを、カウンタjの値1に対応する10fpsのフレームレートで送信する場合のデータ量を検出する。
図4に示す例によれば、30fpsのフレームレートで送信する場合の第4番目の階層までの符号化データのデータ量は、40Mbitであるので、30fpsの1/3の10fpsで送信する場合のデータ量は、40Mbitの1/3となる。
すなわちこの例の場合、決定部22は、階層サイズ情報保持部25に保持されている階層サイズ情報を参照して、データ量を算出する。
ステップS64において、決定部51は、ステップS63で算出したデータ量が、ステップS61で算出した最大データ量以下であるか否かを判定する。
すなわちステップS62乃至ステップS64の処理で、第4番目の階層までの符号化データを最も小さいフレームレート(10fps)で送信した場合に、制限時間内にクライアント1に送信できるか否かが判定される。
ステップS64で、第4番目の階層までの符号化データを、10fpsのフレームレートで送信する場合のデータ量が、最大データ量以下であると判定された場合(10fpsのフレームレートで、第4番目の階層までの符号化データを送信した場合、制限時間内にクライアント1に送信できるとき)、ステップS65に進む。
ステップS65において、決定部51は、カウンタjの値を1だけインクリメントし、ステップS66に進み、カウンタjの値に対応するフレームレートで、第4番目の階層までの符号化データを送信する場合のデータ量を算出する。
ステップS67において、決定部51は、ステップS66で算出したデータ量が、ステップS61で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS68に進む。
ステップS68において、決定部51は、カウンタjの値が、最大のフレームレートに対応する値(いまの例の場合、3)であるか否かを判定し、カウンタj=3ではないと判定した場合、ステップS65に戻り、カウンタjの値を1だけインクリメントして、ステップS66以降の処理を実行する。
ステップS67で、ステップS66で算出したデータ量が、ステップS61で算出した最大データ量より大きいと判定された場合、またはステップS68で、カウンタi=3であると判定された場合、ステップS69に進む。
すなわちステップS65乃至ステップS68の処理で、第4番目の階層までの符号化データを、15fpsまたは30fpsのフレームレートと送信した場合に、制限時間内にクライアント1に送信できるか否かが判定される。
ステップS69において、決定部51は、ステップS64およびステップS67で、ステップS61で算出された最大データ量以下であると判定されたデータ量の中で、最も大きいデータ量となる場合のフレームレート(ステップS67でNOと判定された場合は、そのときのカウンタjの値から1を減算した値に対応するフレームレート、または、またはステップS68でYESと判定された場合は、値3に対応するフレームレート)をトランスコーダ52に通知する。
このようにしてどのフレームレートで送信されるかが決定される。
ステップS64で、10fpsのフレームレートで送信する場合のデータ量が、ステップS61で算出された最大データ量より大きいと判定された場合、すなわちその符号化データの送信は、制限時間内に行うことできない場合、ステップS70に進み、決定部51は、制限時間内にコンテンツを配信することができない旨を、クライアント1に送信する。
ステップS69またはステップS70の処理の後は、図10のステップS45に進み、ステップS44で決定されたフレームレートで、第4番目の階層までの符号化データが、クライアント1に送信される。この処理の詳細は、図12のフローチャートに示されている。
ステップS81において、サーバ2のトランスコーダ52は、コンテンツ保持部26から、配信が要求されたコンテンツの各第1番目乃至第4番目の階層の符号化データの1フレーム分の符号化データをそれぞれ読み取り、ステップS82において、それを送信するか否かを判定する。
具体的には、フレームレートが30fpsである場合は、すべてのフレームが、フレームレートが15fpsである場合は、1/2のフレームが、そしてフレームレートが10fpsである場合は、1/3のフレームがそれぞれ送信されるように、フレームの送信の可否が判定される。
ステップS82で、送信すべきフレームであると判定された場合、ステップS83に進み、トランスコーダ52は、それを、通信部21を介して、クライアント1に送信する。ステップS82で、送信すべきではないと判定され場合、ステップS83の処理はスキップされるので、そのフレームは送信されない。
ステップS83で所定のフレームが送信されたとき、またはステップS82で、送信すべきでないと判定されたとき、ステップS84に進み、トランスコーダ52は、すべてのフレームについて送信可否の判定が行われたか(コンテンツの送信が完了したか)否かを判定し、完了していないと判定した場合、ステップS81に戻り、次のフレームが読み取られ、そのフレームについて、ステップS82以降の処理を同様に行う。
ステップS84で、コンテンツの送信が完了したと判定された場合、処理は終了する。
このようにしてコンテンツがクライアント1に送信される。
以上のようにして、フレームレートを選択し、設定された制限時間等に応じたデータ量の符号化データをクライアント1に送信するようにしたので、制限時間内にコンテンツの配信を行うことができる。
図13は、サーバ2の他の構成例を示している。このサーバには、図3のサーバ2の決定部22に代えて、サーバ61が、トランスコーダ27に代えて、トランスコーダ62が、そして記憶部28に代えて、記憶部63がそれぞれ設けられている。
上述した図3のサーバ2は、フレームレートを固定して送信される階層を調整し、また図9のサーバ2は、送信される階層を固定してフレームレートを調整することによって、コンテンツが制限時間内にクライアント1に配信されるようにしたが、図13のサーバ2は、フレームレートおよび階層の両方を調整して、コンテンツが制限時間内に配信されるようにする。
このサーバ2の動作を、図14のフローチャートを参照して説明する。
ステップS91乃至ステップS93において、図5のステップS1乃至ステップS3における場合と同様の処理が行われるので、その処理の説明は省略する。
ステップS94において、サーバ2の決定部61は、後述するように、配信が要求されたコンテンツをどのフレームレートで、どの階層まで送信するかを決定する際に、画質を優先するか(より上位の階層までを送信することを優先するか)、フレームレートを優先するか(より高いフレームレートで送信することを優先するか)を決定する。
この例の場合、コンテンツ保持部26には、コンテンツの符号化データとともに、そのコンテンツのメタデータとして、いずれを優先するかを示す優先情報が記憶されているので、決定部61は、その優先情報を参照して、画質を優先するかフレームレートを優先するかを決定する。
ステップS94で、画質優先であると判定された場合、ステップS95に進み、画質を優先して、どのフレームレートで、どの階層までの符号化データを送信するかが決定される。この処理の詳細は、図15のフローチャートに示されている。
ステップS101において、決定部61は、図7のステップS11における場合と同様にして、帯域および制限時間の下で送信し得る最大のデータ量を算出する(式(2))。
ステップS102において、決定部61は、カウンタiおよびカウンタjの値を1に初期設定し、ステップS103において、カウンタiの値1に対応する階層までの符号化データを、カウンタjの値1に対応するフレームレートで送信する場合のデータ量を算出する。
図7における場合と同様に、カウンタiの値1は、第1番目の階層に、値2は、第2番目の階層に、値3は、第3番目の階層に、そして値4は、第4番目の階層にそれぞれ対応するものとする。また図11における場合と同様に、10fps、15fps、および30fpsの3通りのフレームレートで送信するものとし、カウンタjの値1は、10fps(最小のフレームレート)に、値2は、15fpsに、そして値3は、30fpsにそれぞれ対応するものとする。
すなわちいまの場合、10fpsで、第1番目の階層の符号化データが送信される場合のデータ量が算出される。
ステップS104において、決定部61は、ステップS103で算出したデータ量が、ステップS101で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS105に進む。
ステップS105において、決定部61は、カウンタiの値を1だけインクリメントして、ステップS106に進む。
ステップS106において、決定部61は、カウンタiの値に対応する階層までの符号化データを、カウンタjの値に対応するフレームレートで送信する場合のデータ量を算出する。
次にステップS107において、決定部61は、ステップS106で算出したデータ量が、ステップS101で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS108に進む。
ステップS108において、決定部61は、カウンタiの値が、最上位の階層に対応する値(この例の場合、値4)であるか否かを判定し、カウンタi=4ではないと判定した場合、ステップS105に戻り、カウンタiの値をさらに1だけインクリメントして、ステップS106以降の処理を実行する。
ステップS108で、カウンタi=4であると判定された場合、ステップS109に進み、決定部61は、今度はカウンタjの値を1だけインクリメントする。
次にステップS110において、決定部61は、カウンタjの値に対応するフレームレートで、カウンタiの値4に対応する第4番目の階層(最上位の階層)までの符号化データを送信する場合のデータ量を算出する。
ステップS111において、決定部61は、ステップS110で算出したデータ量が、ステップS101で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS112に進む。
ステップS112において、決定部61は、カウンタjの値が、最大のフレームレートに対応する値(いまの例の場合、値3)であるか否かを判定し、カウンタj=3ではないと判定した場合、ステップS109に戻り、カウンタjの値を1だけインクリメントして、ステップS110以降の処理を実行する。
ステップS107またはステップS111で、ステップS106またはステップS110で算出したデータ量がステップS101で算出した最大データ量より大きいと判定された場合、またはステップS112で、カウンタj=3であると判定された場合、ステップS113に進む。
ステップS113において、決定部61は、ステップS104、ステップS107、またはステップS111で、ステップS101で算出された最大データ量以下であると判定されたデータ量の中で、最も大きいデータ量となる場合の階層とフレームレート(ステップS107またはステップS111でNOと判定された場合は、そのときのカウンタiの値から1を減算した値に対応する階層およびカウンタjの値から1を減算した値に対応するフレームレート、またはステップS112でYESの判定がされた場合は、値4に対応する階層および値3に対応するフレームレート)を、トランスコーダ62に通知する。
このようにして、どのフレームレートで、どの階層までの符号化データを送信するかが決定される。すなわちいまの場合、画質優先であるので、はじめに送信される階層を上げていき(画質を上げていき)(ステップS105乃至ステップS108の処理が繰り返し実行され)、最大の階層まで送信可能である場合(ステップS108で、YESの判定がなされた場合)に、今度はフレームレートを上げるようにして(ステップS109乃至ステップS112の処理が繰り返し実行されて)、送信される符号化データの階層およびフレームレートが決定される。
図14に戻り、ステップS94で、フレームレート優先であると判定された場合、ステップS96に進み、決定部61は、フレームレートを優先して、どのフレームレートで、どの階層までの符号化データを送信するかを決定する。この処理の詳細は、図16のフローチャートに示されている。
ステップS121において、決定部61は、図7のステップS11における場合と同様にして、帯域および制限時間の下で送信し得る最大のデータ量を算出する(式(2))。
ステップS122において、決定部61は、カウンタiおよびカウンタjの値を1に初期設定し、ステップS123において、カウンタiの値1に対応する階層までの符号化データを、カウンタjの値1に対応するフレームレートで送信する場合のデータ量を算出する。
すなわち10fpsで、第1番目の階層の符号化データが送信される場合のデータ量が算出される。
ステップS124において、決定部61は、ステップS123で算出したデータ量が、ステップS121で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS125に進む。
ステップS125において、決定部61は、カウンタjの値を1だけインクリメントする。
次にステップS126において、決定部61は、カウンタjの値に対応するフレームレートで、カウンタiの値に対応する階層までの符号化データを送信する場合のデータ量を算出する。
次にステップS127において、決定部61は、ステップS126で算出したデータ量が、ステップS121で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS128に進む。
ステップS128において、決定部61は、カウンタjの値が、最大のフレームレートに対応する値(いまの例の場合、値3)であるか否かを判定し、カウンタj=3ではないと判定した場合、ステップS125に戻り、カウンタjの値をさらに1だけインクリメントして、ステップS126以降の処理を実行する。
ステップS128で、カウンタj=3であると判定された場合、ステップS129に進み、決定部61は、今度はカウンタiの値を1だけインクリメントする。
次にステップS130において、決定部61は、カウンタiの値に対応する階層までの符号化データを、カウンタjの値3に対応するフレームレート(30fps)で送信する場合のデータ量を算出する。
ステップS131において、決定部61は、ステップS130で算出したデータ量が、ステップS121で算出した最大データ量以下であるか否かを判定し、それ以下であると判定した場合、ステップS132に進む。
ステップS132において、決定部61は、カウンタiの値が、最上位の階層に対応する値(この例の場合、値4)であるか否かを判定し、カウンタi=4ではないと判定した場合、ステップS129に戻り、カウンタiの値を1だけインクリメントして、ステップS130以降の処理を実行する。
ステップS127またはステップS131で、ステップS126またはステップS130で算出したデータ量がステップS121で算出した最大データ量より大きいと判定された場合、またはステップS132で、カウンタi=4であると判定された場合、ステップS133に進む。
ステップS133において、決定部61は、ステップS124、ステップS127、またはステップS131で、ステップS121で算出された最大データ量以下であると判定されたデータ量の中で、最も大きいデータ量となる場合のフレームレートと階層(ステップS127またはステップS131でNOの判定がされた場合は、そのときのカウンタiの値から1を減算した値に対応する階層およびカウンタjの値から1を減算した値に対応するフレームレート、またはステップS132でYESの判定がされた場合は、値4に対応する階層および値3に対応するフレームレート)を、トランスコーダ62に通知する。
このようにして、どのフレームレートで、どの階層までの符号化データを送信するかが決定される。すなわちいま場合、フレームレート優先であるので、はじめに送信されるフレームレートを上げていき(ステップS125乃至ステップS128の処理が繰り返し実行され)、最大のフレームレートで送信可能である場合(ステップS128で、YESの判定がなされた場合)に、今度は階層を上げるようにして(ステップS129乃至ステップS132の処理が繰り返し実行されて)、送信される符号化データの階層およびフレームレートが決定される。
図14に戻り、ステップS97において、ステップS95又はステップS96で決定されたフレームレートで、同様に決定された階層までの符号化データがクライアント1に送信される。この処理の詳細は、図17のフローチャートに示されている。
ステップS141において、サーバ2のトランスコーダ62は、決定部61から通知された階層までの符号化データを、コンテンツ保持部26から読み取って、ステップS142において、それを記憶部63に記憶する。
次にステップS143において、トランスコーダ62は、記憶部63から、1フレーム分の符号化データを、フレーム順に読み取り、ステップS144において、それを送信するか否かを判定する。
具体的には、図12のステップS82における場合と同様に、フレームレートが30fpsである場合は、すべてのフレームが、フレームレートが15fpsである場合は、1/2のフレームが、そしてフレームレートが10fpsである場合は、1/3のフレームがそれぞれ送信されるように、フレームの送信の可否が判定される。
ステップS144で、送信すべきフレームであると判定された場合、ステップS145に進み、トランスコーダ62は、それを、通信部21を介して、クライアント1に送信する。
ステップS145でフレームが送信されたとき、またはステップS144で、送信すべきでないと判定されたとき、ステップS146に進み、トランスコーダ62は、すべてのフレームについて送信可否の判定が行われたか(コンテンツの送信が完了したか)否かを判定し、完了していないと判定した場合、ステップS143に戻り、次のフレームが読み取られ、そのフレームについて、ステップS144以降の処理が行われる。ステップS144で、送信すべきではないと判定され場合、ステップS145の処理はスキップされるので、そのフレームは送信されない。
このようにしてコンテンツがクライアント1に送信される。
次に、図13の例において利用した優先情報の生成処理について説明する。優先情報は、例えば、図18に示す、コンテンツ保持部26に記憶されるコンテンツの符号化データを生成するエンコーダ71によって生成される。このエンコーダ71は、サーバ2内に設けられ、生成された優先情報が、コンテンツ保持部26に供給されて、そこにコンテンツのメタデータとして記憶されるようにしてもよいし、外部の装置として、ここで生成された優先情報をコンテンツの符号化データとともにサーバ2に供給し、サーバ2が、それを入力して、コンテンツ保持部26に記憶するようにしてもよい。
エンコーダ71のエンコード部81は、符号化するコンテンツの各フレームを、画質のレベルに応じて4段階に符号化する。この符号化処理で得られた4階層分の符号化データ(第1番目乃至第4番目の階層の符号化データ)は、コンテンツ保持部26に記憶される。
エンコード部81は、その際、1フレーム毎に、コンテンツ全体としての輝度変化量を算出するとともに、コンテンツ全体としての輝度変化量の平均値を算出し、優先情報生成部82に供給する。
優先情報生成部82は、エンコード部81から供給された輝度変化量の平均値と、所定の閾値と比較し、平均値がそれ以上であれば、フレームレートを優先とする優先情報を生成する。すなわち、スポーツ映像など動き激しい画像からなるコンテンツは、高いフレームレートで表示した方が、スムーズな映像を表示することができるので、フレームレートを優先する優先情報が生成される。一方、ニュース番組など動き少ない画像からなるコンテンツは、高いフレームレートである必要ないので、画質を優先する優先情報が生成される。
次に、エンコーダ71の動作を、図19のフローチャートを参照して説明する。
ステップS151において、エンコーダ71のエンコード部81は、所定のコンテンツの1フレーム分をエンコードする。
ステップS152において、エンコード部81は、ステップS151でエンコードしたフレームの輝度と、それより1フレーム前のフレーム(先にエンコードされたフレーム)の輝度との差分値(各画素の輝度の差分値)を算出する。
ステップS153において、エンコード部81は、ステップS152で算出した差分値を画素毎に累積加算する。
次にステップS154において、エンコード部81は、すべてのフレームをエンコードしたか否かを判定し、まだ残っているフレームが存在すると判定した場合、ステップS151に戻り、次のフレームをエンコードし、ステップS152以降の処理を実行する。
ステップS154ですべてのフレームをエンコードしたと判定された場合、ステップS155に進み、エンコード部81は、式(3)に従って、ステップS153で累積加算した輝度の差分値(輝度の変化量)の平均値を算出する。エンコード部81は、算出した平均値を、優先情報生成部82に供給する。
輝度変化量の平均値=累積差分値/フレーム数・・・(3)
ステップS156において、優先情報生成部82は、エンコード部81から供給された輝度変化量の平均値を、所定の閾値と比較し、それ以上であるか否かを判定する。
ステップS156で、閾値以上であると判定した場合(動きが激しい画像の場合)、ステップS157に進み、優先情報生成部82は、フレームレートを優先する優先情報を生成する。一方、ステップS156で、閾値より小さいと判定された場合、ステップS158に進み、優先情報生成部82は、画質を優先する旨を示す優先情報を生成する。
以上のようにして優先情報が生成される。
以上においては、コンテンツが画質をベースに符号化されている場合を例として説明したが、画サイズをベースに階層符号化されたコンテンツについても適用することができる。
すなわちサーバ2は、配信するコンテンツについて、例えば5つの異なる解像度R0乃至R4に符号化された符号化データを保持しており、その中から、指定された制限時間に応じた符号化データを選択して、クライアント1に送信するようにすることもできる。
またJPEG2000規格では、画質と画サイズの両方についてスケラビリティを持たせることができるので、サーバ2は、例えば図20に示すように、5つの異なる解像度R0乃至R4のそれぞれについて、4つの異なる画質L1乃至L4の画像(フレーム)の符号化データを保持し、その中から、指定された制限時間等に応じた符号化データを選択して、クライアント1に送信するようにすることもできる。
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述したクライアント1およびサーバ2が機能的に実現される。
図21は、コンピュータ501の構成例を示している。CPU(Central Processing Unit)511にはバス515を介して入出力インタフェース516が接続されており、CPU511は、入出力インタフェース516を介して、ユーザから、キーボード、マウスなどよりなる入力部518から指令が入力されると、例えば、ROM(Read Only Memory)512、ハードディスク514、またはドライブ520に装着される磁気ディスク531、光ディスク532、光磁気ディスク533、若しくは半導体メモリ534などの記録媒体に格納されているプログラムを、RAM(Random Access Memory)513にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU511は、その処理結果を、例えば、入出力インタフェース516を介して、LCD(Liquid Crystal Display)などよりなる出力部517に必要に応じて出力する。なお、プログラムは、ハードディスク514やROM512に予め記憶しておき、コンピュータ501と一体的にユーザに提供したり、磁気ディスク531、光ディスク532、光磁気ディスク533、半導体メモリ534等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部519を介してハードディスク514に提供することができる。
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本発明を適用したコンテンツ配信システムの構成例を示す図である。 図1のクライアント1の構成例を示すブロック図である。 図1のサーバ2の構成例を示すブロック図である。 階層サイズ情報の例を示す図である。 図1のサーバ2の動作を説明するフローチャートである。 図5のステップS2の処理を説明する図である。 図5のステップS4の処理を説明するフローチャートである。 図5のステップS5の処理を説明するフローチャートである。 図1のサーバ2の他の構成例を示すブロック図である。 図9のサーバ2の動作を説明するフローチャートである。 図10のステップS44の処理を説明するフローチャートである。 図10のステップS45の処理を説明するフローチャートである。 図1のサーバ2の他の構成例を示すブロック図である。 図13のサーバ2の動作を説明するフローチャートである。 図14のステップS95の処理を説明するフローチャートである。 図14のステップS96の処理を説明するフローチャートである。 図14のステップS97の処理を説明するフローチャートである。 優先情報を生成するエンコーダ71の構成例を示すブロック図である。 図18のエンコーダ71の動作を説明するフローチャートである。 コンテンツの符号化データの例を示す図である。 コンピュータ501構成例を示すブロック図である。
符号の説明
1 クライアント, 2 サーバ, 3 パケット通信網, 11 入力部, 12 制御部, 13 制限時間保持部, 14 通信部, 15 デコーダ, 21 通信部, 22 決定部, 23 制限時間保持部, 24 帯域保持部, 25 階層サイズ情報保持部, 26 コンテンツ保持部, 27 トランスコーダ, 28 記憶部, 51 決定部, 52 トランスコーダ, 61 決定部, 62 トランスコーダ, 63 記憶部, 71 エンコーダ, 81 エンコード部, 82 優先情報生成部

Claims (9)

  1. 動画像コンテンツが階層符号化された符号化データを、ネットワークを介してクライアントに送信する通信装置において、
    前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得手段と、
    画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得手段と、
    前記制限時間、前記通信装置自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段と、
    前記決定手段により決定された前記フレームレートで、前記決定手段により決定された前記階層までの前記符号化データを前記クライアントに送信する送信手段と
    を備え、
    前記決定手段は、
    前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
    前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
    ことを特徴とする通信装置。
  2. 前記優先情報取得手段は、
    前記動画像コンテンツの輝度変化量を算出する算出手段と、
    前記算出手段により算出された前記輝度変化量と、所定の閾値とを比較し、前記輝度変化量が前記所定の閾値以上である場合、フレームレートを優先する旨の前記優先情報を生成し、前記輝度変化量が前記所定の閾値以上でない場合、画質を優先する旨の前記優先情報を生成する生成手段と
    を備える優先情報生成装置から、前記優先情報を取得する
    ことを特徴とする請求項1に記載の通信装置。
  3. 前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記帯域を計測する計測手段をさらに備える
    ことを特徴とする請求項1に記載の通信装置。
  4. 前記送信手段は、前記決定手段により決定された前記フレームレートで、前記制限時間内に前記クライアントに前記符号化データを送信できるか否かを判定し、送信できないと判定した場合、前記クライアントに前記符号化データを送信できない旨を送信する
    ことを特徴とする請求項1に記載の通信装置。
  5. 動画像コンテンツが階層符号化された符号化データを、ネットワークを介してクライアントに送信する通信装置であって、
    前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得手段と、
    画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得手段と、
    前記制限時間、前記通信装置自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段と、
    前記決定手段により決定された前記フレームレートで、前記決定手段により決定された前記階層までの前記符号化データを前記クライアントに送信する送信手段とを備えることを特徴とする通信装置の通信方法において、
    前記取得手段が、前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得ステップと、
    前記優先情報取得手段が、画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得ステップと、
    前記決定手段が、前記制限時間、前記通信装置自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定ステップと、
    前記送信手段が、前記決定ステップの処理で決定された前記フレームレートで、前記決定ステップの処理で決定された前記階層までの前記符号化データを前記クライアントに送信する送信ステップと
    を含み、
    前記決定ステップの処理は、
    前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
    前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
    ことを特徴とする通信方法。
  6. 動画像コンテンツが階層符号化された符号化データをネットワークを介して送信するサーバに対して、前記コンテンツの配信を要求する通信装置において、
    前記コンテンツの配信の制限時間を入力する入力手段と、
    前記制限時間内での前記コンテンツの配信を、前記サーバに要求する要求手段と、
    記要求手段により要求され前記サーバにおいて、前記制限時間、前記通信装置自身と前記サーバとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に、前記コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、前記サーバから送信された前記符号化データを受信する受信手段と
    を備え、
    前記サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、前記動画像コンテンツ毎に取得され、
    前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、
    前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定される
    ことを特徴とする通信装置。
  7. 動画像コンテンツが階層符号化された符号化データをネットワークを介して送信するサーバに対して、前記コンテンツの配信を要求する通信装置であって、
    前記コンテンツの配信の制限時間を入力する入力手段と、
    前記制限時間内での前記コンテンツの配信を、前記サーバに要求する要求手段と、
    記要求手段により要求され前記サーバにおいて、前記制限時間、前記通信装置自身と前記サーバとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に、前記コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、前記サーバから送信された前記符号化データを受信する受信手段と
    を備えることを特徴とする通信装置の通信方法において、
    前記入力手段が、前記コンテンツの配信の制限時間を入力する入力ステップと、
    前記要求手段が、前記制限時間内での前記コンテンツの配信を、前記サーバに要求する要求ステップと、
    前記受信手段が、記要求ステップの処理により要求され前記サーバにおいて、前記制限時間、前記通信装置自身と前記サーバとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に、前記コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、前記サーバから送信された前記符号化データを受信する受信ステップと
    を含み、
    前記サーバにおいては、画質を優先するかまたはフレームレートを優先するかを示す優先情報が、前記動画像コンテンツ毎に取得され、
    前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定され、
    前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかが決定される
    ことを特徴とする通信方法。
  8. サーバに対して動画像コンテンツの配信を要求するクライアント、および前記動画像コンテンツが階層符号化された符号化データを、ネットワークを介して前記クライアントに送信する前記サーバからなるコンテンツ配信システムにおいて、
    前記クライアントは、
    前記コンテンツの配信の制限時間を入力する入力手段と、
    前記制限時間内での前記コンテンツの配信を、前記サーバに要求する要求手段と、
    記要求手段により要求され前記サーバにおいて、前記制限時間、前記クライアント自身と前記サーバとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に、前記コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、前記サーバから送信された前記符号化データを受信する受信手段と
    を備え、
    前記サーバは、
    前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得手段と、
    画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得手段と、
    前記制限時間、前記サーバ自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段と、
    前記決定手段により決定された前記フレームレートで、前記決定手段により決定された前記階層までの前記符号化データを前記クライアントに送信する送信手段と
    を備え、
    前記決定手段は、
    前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
    前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
    ことを特徴とするコンテンツ配信システム。
  9. サーバに対して動画像コンテンツの配信を要求するクライアント、および前記動画像コンテンツが階層符号化された符号化データを、ネットワークを介して前記クライアントに送信する前記サーバからなるコンテンツ配信システムであって、
    前記クライアントが、
    前記コンテンツの配信の制限時間を入力する入力手段と、
    前記制限時間内での前記コンテンツの配信を、前記サーバに要求する要求手段と、
    記要求手段により要求され前記サーバにおいて、前記制限時間、前記クライアント自身と前記サーバとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に、前記コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、前記サーバから送信された前記符号化データを受信する受信手段と
    を備え、
    前記サーバが、
    前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得手段と、
    画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得手段と、
    前記制限時間、前記サーバ自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定手段と、
    前記決定手段により決定された前記フレームレートで、前記決定手段により決定された前記階層までの前記符号化データを前記クライアントに送信する送信手段と
    を備えることを特徴とするコンテンツ配信システムのコンテンツ配信方法において、
    前記入力手段が、前記コンテンツの配信の制限時間を入力する入力ステップと、
    前記要求手段が、前記制限時間内での前記コンテンツの配信を、前記サーバに要求する要求ステップと、
    前記取得手段が、前記クライアントから制限時間を伴うコンテンツ配信が要求された場合に、前記制限時間を取得する取得ステップと、
    前記優先情報取得手段が、画質を優先するかまたはフレームレートを優先するかを示す優先情報を、前記動画像コンテンツ毎に取得する優先情報取得ステップと、
    前記決定手段が、前記制限時間、前記サーバ自身と前記クライアントとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に前記クライアントに前記コンテンツのどの階層までの符号化データを、どのフレームレートで送信するかを決定する決定ステップと、
    前記送信手段が、前記決定ステップの処理で決定された前記フレームレートで、前記決定ステップの処理で決定された前記階層までの前記符号化データを前記クライアントに送信する送信ステップと、
    前記受信手段が、記要求ステップの処理により要求され前記サーバにおいて、前記制限時間、前記クライアント自身と前記サーバとの帯域、および送信され得る前記符号化データのサイズ情報に基づいて、前記制限時間内に、前記コンテンツのどの階層まで、どのフレームレートで送信されるかが決定され、前記サーバから送信された前記符号化データを受信する受信ステップと
    を含み、
    前記決定ステップの処理は、
    前記優先情報が画質を優先する旨を示している場合、上位の階層までの符号化データが送信されることを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定し、
    前記優先情報がフレームレートを優先する旨を示している場合、高いフレームレートで符号化データを送信することを優先して、どの階層までの符号化データを、どのフレームレートで送信するかを決定する
    ことを特徴とするコンテンツ配信方法。
JP2004344078A 2004-11-29 2004-11-29 コンテンツ通信システム、通信装置および方法、並びにプログラム Expired - Fee Related JP4967228B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004344078A JP4967228B2 (ja) 2004-11-29 2004-11-29 コンテンツ通信システム、通信装置および方法、並びにプログラム
US11/287,636 US8176199B2 (en) 2004-11-29 2005-11-28 Content delivery system, communicating apparatus, communicating method, and program
CNB2005101242935A CN100542275C (zh) 2004-11-29 2005-11-29 内容递送系统、通信装置和通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004344078A JP4967228B2 (ja) 2004-11-29 2004-11-29 コンテンツ通信システム、通信装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006155178A JP2006155178A (ja) 2006-06-15
JP4967228B2 true JP4967228B2 (ja) 2012-07-04

Family

ID=36633414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004344078A Expired - Fee Related JP4967228B2 (ja) 2004-11-29 2004-11-29 コンテンツ通信システム、通信装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8176199B2 (ja)
JP (1) JP4967228B2 (ja)
CN (1) CN100542275C (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007002974A1 (en) * 2005-06-30 2007-01-11 Promim Pty Ltd A system and method for controlling transmission and display of video
US20070274496A1 (en) * 2006-04-20 2007-11-29 Ujjwal Singh Method and system for multimodal communication using a phone number
KR101486318B1 (ko) * 2006-06-16 2015-01-28 삼성전자주식회사 전송 스트림 생성 장치와 이를 이용하는 디지털 방송 송신기, 및 그 방법 들
JP4915208B2 (ja) * 2006-10-26 2012-04-11 三菱電機株式会社 ストリームデータ再生システム
JP4275167B2 (ja) * 2006-11-24 2009-06-10 株式会社エヌ・ティ・ティ・ドコモ 送信機
WO2008069032A1 (ja) * 2006-11-28 2008-06-12 Nec Corporation 動画像配信システム、動画像配信装置および動画像配信方法
JP4970912B2 (ja) * 2006-11-29 2012-07-11 富士フイルム株式会社 動画分割サーバおよびその制御方法
JP5774817B2 (ja) 2006-12-21 2015-09-09 トムソン ライセンシングThomson Licensing ディスプレイのカラー・グレーディングを提供する方法、装置及びシステム
JP4992417B2 (ja) * 2006-12-27 2012-08-08 ソニー株式会社 ネットワークシステム、サーバ装置、端末装置、コンテンツガイドの表示方法、サーバ装置用プログラム、及び端末装置用プログラム
US20080259796A1 (en) * 2008-04-17 2008-10-23 Glen Patrick Abousleman Method and apparatus for network-adaptive video coding
CN102246533A (zh) * 2008-10-14 2011-11-16 Rgb网络有限公司 用于代码转换后的媒体内容的渐进递送的系统和方法
CN107260231A (zh) * 2008-10-20 2017-10-20 脊柱诊察公司 用于进入和察看脊柱的牵开器套管系统
US8831090B2 (en) 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
CN102055966B (zh) * 2009-11-04 2013-03-20 腾讯科技(深圳)有限公司 一种媒体文件的压缩方法和系统
US9043468B2 (en) * 2009-11-05 2015-05-26 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for network resource management
KR20110114957A (ko) * 2010-04-14 2011-10-20 삼성전기주식회사 데이터 송신 장치와 방법, 이를 이용한 네트워크 데이터 전송 시스템 및 방법
JP2012029219A (ja) * 2010-07-27 2012-02-09 Kddi Corp 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法
JP5767456B2 (ja) * 2010-10-18 2015-08-19 キヤノン株式会社 映像処理装置及びその制御方法、及びプログラム
JP5740969B2 (ja) * 2010-12-22 2015-07-01 株式会社リコー Tv会議システム
JP5891654B2 (ja) * 2011-08-29 2016-03-23 株式会社リコー Tv会議システム、映像配信装置、及びデータ処理方法
JP5861712B2 (ja) * 2011-09-01 2016-02-16 日本電気株式会社 撮影画像圧縮伝送方法及び撮影画像圧縮伝送システム
JP5824164B2 (ja) * 2012-10-25 2015-11-25 株式会社日立製作所 解析結果データ配信装置、解析結果データ配信システム、および解析結果提示端末
KR20140103569A (ko) * 2013-02-18 2014-08-27 한국전자통신연구원 적응적 계층 선택을 위한 장치 및 방법, 이를 구비한 서버
CN107124571B (zh) * 2017-04-14 2020-01-14 浙江宇视科技有限公司 录像存储方法及装置
JP7256491B2 (ja) 2018-09-13 2023-04-12 凸版印刷株式会社 映像伝送システム、映像伝送装置、および、映像伝送プログラム
CN111447445B (zh) * 2020-03-16 2022-09-09 西安万像电子科技有限公司 数据传输方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5030984A (en) * 1990-07-19 1991-07-09 Eastman Kodak Company Method and associated apparatus for minimizing the effects of motion in the recording of an image
US5666161A (en) * 1993-04-26 1997-09-09 Hitachi, Ltd. Method and apparatus for creating less amount of compressd image data from compressed still image data and system for transmitting compressed image data through transmission line
JPH08317387A (ja) * 1995-05-17 1996-11-29 Nippon Columbia Co Ltd 動画像圧縮符号化方式
US6185625B1 (en) * 1996-12-20 2001-02-06 Intel Corporation Scaling proxy server sending to the client a graphical user interface for establishing object encoding preferences after receiving the client's request for the object
US6035339A (en) * 1997-03-13 2000-03-07 At&T Corporation Network information delivery system for delivering information based on end user terminal requirements
JP3873405B2 (ja) * 1997-10-21 2007-01-24 ソニー株式会社 データ配信システム及びデータ配信装置
US6850564B1 (en) * 1998-06-26 2005-02-01 Sarnoff Corporation Apparatus and method for dynamically controlling the frame rate of video streams
JP3847481B2 (ja) * 1998-08-17 2006-11-22 富士写真フイルム株式会社 データ転送方法および装置並びに記録媒体
JP3851016B2 (ja) * 1999-04-02 2006-11-29 株式会社リコー データ配信装置
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
JP2001175793A (ja) * 1999-12-21 2001-06-29 Toshiba Corp 医用画像配信装置
US7150017B1 (en) * 2000-08-29 2006-12-12 International Business Machines Corporation System and method for scheduling digital information transmission and retransmission on a network during time slots
JP4190157B2 (ja) * 2001-02-26 2008-12-03 三洋電機株式会社 画像データ送信装置および画像データ受信装置
US7151749B2 (en) * 2001-06-14 2006-12-19 Microsoft Corporation Method and System for providing adaptive bandwidth control for real-time communication
US7558198B2 (en) * 2002-08-19 2009-07-07 Motorola, Inc. Method and apparatus for data transfer
JP2004180290A (ja) * 2002-11-15 2004-06-24 Sony Corp 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
US7596285B2 (en) * 2004-02-26 2009-09-29 International Business Machines Corporation Providing a portion of an electronic mail message at a reduced resolution

Also Published As

Publication number Publication date
US8176199B2 (en) 2012-05-08
JP2006155178A (ja) 2006-06-15
CN100542275C (zh) 2009-09-16
CN1784003A (zh) 2006-06-07
US20060167987A1 (en) 2006-07-27

Similar Documents

Publication Publication Date Title
JP4967228B2 (ja) コンテンツ通信システム、通信装置および方法、並びにプログラム
US6981045B1 (en) System for redirecting requests for data to servers having sufficient processing power to transcast streams of data in a desired format
KR102525577B1 (ko) 데이터 스트리밍 방법 및 장치
JP7314234B2 (ja) ビデオに関するプロファイルラダーの適応トランスコーディング
EP2785068B1 (en) Video image data delivery device, method and system
EP2129126A1 (en) Transmission apparatus, transmission method, and reception apparatus
CN116389433A (zh) 用于减少360度视区自适应流媒体延迟的方法和装置
US20020131496A1 (en) System and method for adjusting bit rate and cost of delivery of digital data
KR20040069360A (ko) 클라이언트 대역폭 또는 성능에 기초한 타겟된 스케일가능한 비디오 멀티캐스트
CN114449353B (zh) 用于视频流的基于会话的自适应回放配置文件决策
JP2006174045A (ja) 画像配信装置、プログラム及び方法
US10708667B1 (en) Combining fragments with different encodings
JP7255116B2 (ja) 情報処理システム、端末装置およびプログラム
KR20050013619A (ko) 디코더에서 예측된 품질에 근거한 fgs 디코더
WO2013001426A1 (en) Distributing audio video content
JP2001204001A (ja) 動画像配信システム,再生端末装置,及び配信装置
JP4408811B2 (ja) ストリーム・サーバ
JP4108640B2 (ja) 映像伝送システム
JP4567646B2 (ja) 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
Baik et al. VSync: Cloud based video streaming service for mobile devices
GB2540571A (en) Digital home network multimedia share system and share method thereof
Krasic et al. QoS scalability for streamed media delivery
JP4361430B2 (ja) 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
TW202143740A (zh) 可調適視訊串流系統與方法
JP2005333358A (ja) 画像通信装置、その処理方法及びクライアント装置並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees