JP6589526B2 - ビットレート決定装置、サーバ装置、ビットレート決定方法、及びプログラム - Google Patents

Description

本発明は、動画データをエンコードするときの適切なビットレートを決定するシステム等の技術分野に関する。

従来、例えば特許文献１に開示されるように、撮影範囲全体を表示する動画を複数の表示領域に分割し、分割された分割動画それぞれを所定の時間単位で区切ることで生成された複数の動画ブロックを所定の固定ビットレートでエンコードして端末へ配信するシステムが知られている。

特開２０１５−５０５７２号公報

ところで、可変ビットレートでエンコードされた動画ブロックをネットワークを通じて配信した場合、配信するときのビットレート（単位時間あたりに配信される動画ブロックのデータ量）が安定しないため、サービス品質を担保できない。そのため、ストリーミング配信サービスでは、動画ブロックをエンコードするために固定ビットレートが採用されている。しかしながら、固定ビットレートで動画ブロックをエンコードしたときの品質（画質）は、可変ビットレートで動画ブロックをエンコードしたときの品質よりも劣る。特に、分割動画の元になる全体の動画の複数の表示領域には、圧縮の効き易い表示領域（動きがあまりない領域）と、圧縮の効き難い表示領域（動きのある領域）とがあるが、圧縮の効き難い表示領域においては、顕著に品質が落ちてしまうという問題がある。また、全体の動画に、視聴者にとって重要な表示領域とそうでない表示領域とが含まれている場合、重要な表示領域の品質をそうでない表示領域の品質よりも向上させることができなかった。

本発明は、以上の問題等に鑑みてなされたものであり、動画ブロックを配信するときのビットレートを安定化させつつ、特定の動画ブロックの品質を向上させることが可能なビットレート決定装置、サーバ装置、ビットレート決定方法、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、を備え、１つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、前記第２決定手段は、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とする。

請求項２に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、前記第１決定手段により決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、を備え、前記第２決定手段は、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載のビットレート決定装置において、前記第１決定手段は、前記動画ブロック毎の情報量を算出し、算出した情報量を前記重要度として決定することを特徴とする。

請求項４に記載の発明は、請求項１または２に記載のビットレート決定装置において、前記第１決定手段は、前記動画において操作者により指定された位置を含む前記動画ブロックの重要度を相対的に高く決定することを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載のビットレート決定装置において、前記動画を、面積が均等となる複数の表示領域に分割することで前記複数の分割動画を生成する生成手段を更に備えることを特徴とする。

請求項６に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化手段と、前記正規化手段により正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、を備えることを特徴とする。

請求項７に記載の発明は、端末装置からネットワークを介してアクセス可能なサーバ装置であって、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、前記端末装置からリクエストされた動画ブロックであって、前記第２決定手段により決定されたビットレートでエンコードされた前記動画ブロックを前記端末装置へ配信する配信手段と、を備え、１つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、前記第２決定手段は、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とする。請求項８に記載の発明は、端末装置からネットワークを介してアクセス可能なサーバ装置であって、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、前記第１決定手段により決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、前記端末装置からリクエストされた動画ブロックであって、前記第２決定手段により決定されたビットレートでエンコードされた前記動画ブロックを前記端末装置へ配信する配信手段と、を備え、前記第２決定手段は、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とする。

請求項９に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化手段と、前記正規化手段により正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、前記端末装置からリクエストされた動画ブロックであって、前記第２決定手段により決定されたビットレートでエンコードされた前記動画ブロックを前記端末装置へ配信する配信手段と、を備えることを特徴とする。

請求項１０に記載の発明は、１つ以上のコンピュータにより実行されるビットレート決定方法であって、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成された複数の動画ブロックを特定する特定ステップと、前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、を含み、１つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、前記第２決定ステップにおいては、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とする。請求項１１に記載の発明は、１つ以上のコンピュータにより実行されるビットレート決定方法であって、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成された複数の動画ブロックを特定する特定ステップと、前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、前記第１決定ステップにより決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、を含み、前記第２決定ステップにおいては、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とする。

請求項１２に記載の発明は、１つ以上のコンピュータにより実行されるビットレート決定方法であって、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化ステップと、前記正規化ステップにより正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、を含むことを特徴とする。

請求項１３に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、をコンピュータに実行させるプログラムであって、１つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、前記第２決定ステップにおいては、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とする。請求項１４に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、前記第１決定ステップにより決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、をコンピュータに実行させるプログラムであって、前記第２決定ステップにおいては、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とする。

請求項１５に記載の発明は、動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化ステップと、前記正規化ステップにより正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、をコンピュータに実行させることを特徴とする。

請求項１、７、１０、１３に記載の発明によれば、各動画ブロックにおいて、どのようなビットレートのパターンであっても、より柔軟に決定することができる。請求項２、８、１１、１４に記載の発明によれば、各動画ブロックをエンコードするときのビットレートを迅速に決定することができる。

請求項３に記載の発明によれば、迅速かつ定量的に、全ての動画ブロックの重要度を決定することができる。

請求項４に記載の発明によれば、ユーザの嗜好が、より反映された重要度を決定することができる。

請求項５に記載の発明によれば、表示領域の取り方を簡単にすることができ、迅速にグループ化することができる。

請求項６、９、１２、１５に記載の発明によれば、動画ブロックを配信するときのビットレートを安定化させつつ、特定の動画ブロックの品質を向上させることができる。

本実施形態に係る配信システムＳの概要構成例を示す図である。 （Ａ）は、全体動画M、分割動画DMn、及び動画ブロックBn-mを示す概念図であり、（Ｂ）は、動画ブロックBn-1の重要度に基づいて決定された変換ビットレートの一例を示す概念図である。 実施例１におけるエンコード処理の一例を示すフローチャートである。 １つのグループにおける表示領域が「２×２」の場合の一例を示す概念図である。 （Ａ）は、動画ブロックBn-1の重要度の一例を示す概念図であり、図５（Ｂ）は、５番目のグループG5-1に属する動画ブロックB6-1,B7-1,B10-1,B11-1のそれぞれの重要度に基づいて決定された変換ビットレートの一例を示す概念図である。 実施例２におけるエンコード処理の一例を示すフローチャートである。 正規化された変換ビットレートが各対応領域に割り当てられたテンプレート例を示す図である。 （Ａ）は、動画ブロックBn-1の重要度の一例を示す概念図であり、（Ｂ）は、動画ブロックBn-1の重要度の平均値が０.５Ｍｂｐｓになるように正規化されたときの例を示す概念図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、配信システムに対して本発明を適用した場合の実施形態である。

［１．配信システムＳの構成及び動作概要］
初めに、図１を参照して、本実施形態に係る配信システムＳの構成及び動作概要について説明する。図１は、本実施形態に係る配信システムＳの概要構成例を示す図である。図１に示すように、配信システムＳは、エンコードサーバ１、配信サーバ２、及びクライアント端末３を含んで構成される。エンコードサーバ１は、本発明のビットレート決定装置の一例である。エンコードサーバ１、配信サーバ２、及びクライアント端末３は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、インターネット等により構成される。

エンコードサーバ１は、ビデオカメラ（図示せず）により撮影された動画のデータと、動画の撮影に同期してマイクロフォン（図示せず）により集音された音声のデータとを含むコンテンツを外部機器から取得する。例えば、エンコードサーバ１には、有線または無線を介して、ビデオカメラ及びマイクロフォンが接続されており、ビデオカメラから動画のデータを、マイクロフォンから音声のデータをそれぞれ取得する。本実施形態では、ビデオカメラにより撮影された動画を例にとり、撮影範囲全体を表示する動画を、以下、「全体動画」というものとする。なお、ビデオカメラにより撮影された動画以外の、例えばＣＧやアニメーション等、動作作成ソフトウェアにより作成された動画を全体動画としてもよい。また、複数のビデオカメラのそれぞれにより撮影された動画を合成した動画を全体動画としてもよい。

エンコードサーバ１は、全体動画Mを複数の表示領域に分割した複数の分割動画DMn（n＝1,2,3・・・）を所定の時間単位Ｔで区切ることで複数の動画ブロックBn-m（m＝1,2,3・・・）を生成する。図２は、エンコードサーバ１により生成された動画ブロックの一例を示す図である。図２の例では、全体動画Mが４×４の分割動画DMn（この例では、n＝1〜16）に分割され、且つ再生時間軸ｔにおいて時間単位Ｔで区切られることで複数の動画ブロックBn-mが分割動画DMn毎に生成されている。エンコードサーバ１は、生成された動画ブロックBn-mを、後述するように決定したビットレートでエンコードする。動画ブロックBn-mをエンコードするときのビットレートを、以下「変換ビットレート」という。また、動画ブロックBn-mを配信するときのビットレートを、以下「配信ビットレート」という。なお、エンコードサーバ１は、分割動画DMnを所定の時間単位Ｔで区切りつつ上記変換ビットレートでエンコードすることで複数の動画ブロックBn-mを生成してもよい。ここで、変換ビットレートは、単位時間あたりにエンコードされる動画ブロックのデータ量（サイズ）である。言い換えれば、変換ビットレートは、単位時間あたり何ビットくらいのサイズでエンコードするかを示すパラメータである。また、エンコードとは、一般に、予め定められた規則に従って、データを符号に変換（符号化）することをいい、さらに、例えばＭＰＥＧ等の圧縮方式でデータを圧縮することを含む場合もある。

配信サーバ２は、クライアント端末３からリクエストされた動画ブロックBn-mであってエンコードサーバ１によりエンコードされた動画ブロックBn-mを含むコンテンツをクライアント端末３へ送信する。コンテンツの送信は、例えば、ネットワークＮＷを介してストリーミング配信により行われる。クライアント端末３は、ユーザ操作に応じて、全体動画Mにおいて表示画面における表示範囲に表示される表示領域（少なくとも一部の表示領域）を含む分割動画DMnに対応する動画ブロックBn-mだけを配信サーバ２へリクエストする。つまり、全体動画Mにおいて表示画面に表示される表示領域を含まない分割動画DMnに対応する動画ブロックBn-mはリクエストされない。クライアント端末３は、配信サーバ２から送信されたコンテンツを受信し、受信されたコンテンツに含まれる動画ブロックBn-mをデコードして分割動画DMnを再生する。

［２．各装置の構成及び機能］
次に、図１を参照して、本実施形態の配信システムＳに含まれる各装置の構成について説明する。エンコードサーバ１は、図１に示すように、制御部１１、記憶部１２、通信部１３、及びインターフェース部１４等を備えて構成される。これらの構成要素は、バス１５に接続されている。インターフェース部１４は、例えばビデオカメラ及びマイクロフォンが接続される。通信部１３は、ネットワークＮＷに接続される。記憶部１２は、例えばハードディスクドライブ等からなり、ＯＳ（オペレーティングシステム）、及びエンコード処理プログラム（本発明のプログラムの一例）等を記憶する。エンコード処理プログラムは、コンピュータとしての制御部１１に、エンコード処理等を実行させるプログラムである。エンコード処理プログラムは、所定のサーバからダウンロードされてもよいし、ＣＤ、ＤＶＤ等の記録媒体に記憶されて提供されてもよい。また、記憶部１２には、外部機器から取得された全体動画Mのデータと、音声のデータとを含むコンテンツが記憶される。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部１１は、エンコード処理プログラムにしたがって、エンコード処理を実行する。このエンコード処理において、制御部１１は、本発明の特定手段、指定手段、第１決定手段、第２決定手段、取得手段、正規化手段として機能する。具体的には、先ず、制御部１１は、上記全体動画Mを複数の表示領域に分割して複数の分割動画DMnを生成する。図２（Ａ）は、全体動画M、分割動画DMn、及び動画ブロックBn-mを示す概念図である。例えば、制御部１１は、図２（Ａ）に示すように、全体動画Mを面積が均等となる複数の表示領域に分割することで複数の分割動画DMnを生成する。そして、制御部１１は、分割された分割動画DMnのそれぞれを所定の時間単位Ｔ（例えば、１０秒）で区切ることで、分割動画DMn毎に複数の動画ブロックBn-mを生成する。なお、制御部１１は、エンコードサーバ１とは異なる装置により生成された分割動画DMn毎の複数の動画ブロックBn-mを取得してもよい。

また、制御部１１は、分割された分割動画DMnのそれぞれに対応する動画ブロックBn-mを特定し、特定した動画ブロックBn-mの重要度を動画ブロックBn-m毎に決定する。ここで、動画ブロックBn-mの重要度は、全体動画の一部領域を見る視聴者、全体動画Mの撮影者、または全体動画Mの編集者等から見た重要性（言い換えれば、注目度や興味度）などを考慮して定義される相対的な数値である。例えば、制御部１１は、動画ブロックBn-mの情報量を動画ブロックBn-m毎に算出し、算出した情報量を動画ブロックBn-mの重要度として動画ブロックBn-m毎に決定する。情報量は、データの複雑さを定量的に表す。例えば、動画を構成する画素色が多いほど情報量が大きい。また、動きが激しい動画ほど情報量が大きく、視聴者等に注目される。これは、動きが激しい動画ほど、その動画を構成する画素の色情報（色調や階調）の単位時間あたりの変化が大きいからである。動きが激しい動画は、そうでない動画に比べて圧縮され難い（言い換えれば、エンコード後のデータのサイズが小さくなり難い）。この例では、情報量が大きい動画ブロックBn-mを、重要度が高い動画ブロックBn-mと見做すのである。情報量の一例として、動画ブロックBn-mをエンコードしたデータのサイズ（ファイルサイズ）が挙げられる。この場合、制御部１１は、動画ブロックBn-mを所定のパラメータ（変換ビットレート）でエンコードし、そのファイルサイズを、動画ブロックBn-mの情報量として用いる。これにより、迅速かつ定量的に、全ての動画ブロックの重要度を決定することができる。

別の例として、制御部１１は、全体動画においてユーザ（操作者）により指定された位置を含む動画ブロックBn-mの重要度を相対的に高く決定してもよい。ここで、ユーザの例として、上述した視聴者（つまり、クライアント端末３のユーザ）、撮影者、編集者等が挙げられる。例えば、制御部１１は、全体動画Mの少なくとも一部領域が端末の表示画面に表示された状態でユーザにより指定された位置（例えば、全体動画の画像フレーム上の座標位置）を示す位置情報を取得する。そして、制御部１１は、取得した位置情報が示す位置を含む動画ブロックBn-mを特定し、特定した動画ブロックBn-mの重要度を他の動画ブロックBn-m（この位置を含まない分割動画に対応する動画ブロックBn-m）よりも高く決定する。これにより、ユーザの嗜好が、より反映された上記重要度を決定することができる。なお、例えば撮影者が撮影前に判断して適当な数値を動画ブロック毎に割り振り、制御部１１は、割り振られた各数値を各動画ブロックの重要度として決定してもよい。

また、制御部１１は、決定された重要度に基づいて、全体動画Mから分割された分割動画DMn（例えば、DM1〜DM16）のうちの一部の分割動画DMn（例えば、DM6及びDM10）のそれぞれに対応する１つあたりの動画ブロックBn-m（例えば、B6-1及びB10-1）をエンコードするときの変換ビットレートを互いに異ならせ、且つ、全体動画Ｍから分割された分割動画DMnのうちの一部の分割動画DMn（例えば、DM6,DM7,DM10及びDM11）のそれぞれに対応する１つあたりの動画ブロックBn-m（例えば、B6-1,B7-1,B10-1及びB11-1）エンコードするときの変換ビットレートの合計が、上限値（所定値の一例）以下になるように、動画ブロックBn-m毎に変換ビットレートを決定する。ここで、上限値とは、例えばネットワークＮＷの帯域幅等のネットワーク環境に応じて決定される許容値であり、例えば、２Ｍｂｐｓ程度に設定される。

図２（Ｂ）は、動画ブロックBn-1の重要度に基づいて決定された変換ビットレートの一例を示す概念図である。図２（Ｂ）の例では、重要度が相対的に大きい動画ブロックB9-1,B10-1,B11-1及びB12-1の変換ビットレートが上げられ、その代わりに、重要度が相対的に大きい動画ブロックB9-1,B10-1,B11-1,B12-1の周りに位置する動画ブロックB5-1,B6-1,B7-1,B8-1,B13-1,B14-1,B15-1及びB16-1の変換ビットレートが下げられている。これにより、隣り合う動画ブロック同士で合計ビットレートが、上限値以下となるように、変換ビットレートを融通し合うことができる。つまり、重要度が相対的に大きい動画ブロックは、隣り合うブロックの中で重要度が小さい動画ブロックから変換ビットレートを融通してもらうことができる。そして、制御部１１は、決定された変換ビットレートで動画ブロックBn-mをエンコードする。エンコードされた動画ブロックBn-mは、コンテンツの一部として、元になった全体動画Mのデータに代えて、または元になった全体動画Mのデータに対応付けられて記憶部１２に記憶される。

次に、配信サーバ２は、図１に示すように、制御部２１、記憶部２２、及び通信部２３等を備えて構成される。これらの構成要素は、バス２４に接続されている。通信部２３は、ネットワークＮＷに接続される。記憶部２２は、例えばハードディスクドライブ等からなり、ＯＳ、及びコンテンツ配信処理プログラム等を記憶する。コンテンツ配信処理プログラムは、制御部２１に、コンテンツ配信処理等を実行させるプログラムである。また、記憶部２２には、例えば、エンコードサーバ１によりエンコードされた動画ブロックBn-mと、音声のデータとを含むコンテンツが記憶される。制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部２１は、コンテンツ配信処理プログラムにしたがって、コンテンツ配信処理を実行する。このコンテンツ配信処理において、制御部２１は、上述したように、クライアント端末３からのリクエストに応じて、エンコードされた動画ブロックBn-mと音声のデータとを含むコンテンツをクライアント端末３へ送信する。

次に、クライアント端末３は、図１に示すように、制御部３１、記憶部３２、ビデオＲＡＭ３３、映像処理部３４、音声処理部３５、操作処理部３６、及び通信部３７等を備えて構成される。これらの構成要素は、バス３８に接続されている。映像処理部３４には、表示部３４ａが接続される。表示部３４ａには表示画面が表示される。音声処理部３５には、スピーカ３５ａが接続される。操作処理部３６には、操作部３６ａが接続される。操作部３６ａには、例えば、マウス、キーボード、リモコン等がある。なお、表示部３４ａと操作部３６ａとを兼ねるタッチパネルが適用されてもよい。通信部３７は、ネットワークＮＷに接続される。記憶部３２は、例えばハードディスクドライブ等からなり、ＯＳ、及びコンテンツ再生処理プログラム等を記憶する。コンテンツ再生処理プログラムは、コンテンツ再生処理等を制御部３１に実行させるプログラムである。制御部３１は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部３１は、コンテンツ再生処理プログラムにしたがって、コンテンツ再生処理を実行する。このコンテンツ再生処理において、制御部３１は、ユーザ操作に応じて全体動画M内で表示される表示範囲（つまり、表示画面における表示範囲）を特定し、特定した表示範囲を含む分割動画DMnに対応する動画ブロックBn-mを配信サーバ２へリクエストする。これにより、配信サーバ２から送信された動画ブロックBn-mを含むコンテンツが受信され、受信されたコンテンツは、例えばＲＡＭに設けられたバッファメモリに一時的に保持される。そして、制御部３１は、バッファメモリに保持されている動画ブロックBn-mをデコードして分割動画DMnを再生し、ビデオＲＡＭ３３へ出力する。映像処理部３４は、制御部３１からの制御信号に従って、ビデオＲＡＭ３３に書き込まれた分割動画DMnのうち表示画面に収まる表示範囲の動画を表示画面に表示させる。なお、バッファメモリに保持されているコンテンツに音声のデータが含まれる場合、音声処理部３５は、制御部３１からの制御信号に従って、音声のデータからアナログ音声信号を生成し、生成したアナログ音声信号をスピーカ３５ａへ出力する。

なお、全体動画M内で表示される表示範囲は、疑似的なカメラワークの操作（ユーザ操作の一例）により動作する仮想カメラの撮影範囲として特定される。疑似的なカメラワークの操作により、特定される表示範囲が変化し、この変化に追従して動画ブロックBn-mが配信サーバ２へリクエストされることになる。疑似的なカメラワークの操作には、例えば、仮想カメラを左右振りさせるパン操作、仮想カメラを上下振りさせるチルト操作、及び仮想カメラの画角を変化させるズーム操作がある。ここで、仮想カメラとは、二次元平面または三次元仮想空間における仮想スクリーンに投影される動画に対して仮想的に設定された視点をいう。パン及びチルト操作は、例えば、ユーザによるマウスのドラッグ操作や、ユーザによる指やペン等によるフリック操作により実現される。ズーム操作は、例えば、ユーザがマウス等の操作部に設けられたボタン、或いはユーザの指２本で表示画面をピンチするピンチ操作により実現される。

［２．エンコードサーバ１によるエンコード処理］
次に、エンコードサーバ１によるエンコード処理の詳細について、実施例１と実施例２に分けて説明する。

（実施例１）
先ず、図３等を参照して、実施例１におけるエンコード処理について説明する。図３は、実施例１におけるエンコード処理の一例を示すフローチャートである。実施例１は、上述した各分割動画DMnに対応する動画ブロックBn-mのうち、ズーム操作によりズームインした時に同時に表示画面に表示される複数の動画ブロックBn-mを含むグループを複数生成（つまり、グループ化）し、生成された各グループにおいて各動画ブロックBn-mの変換ビットレートを決定する例である。ズーム操作によりズームインした時に同時に表示画面に表示される複数の動画ブロックBn-mは、全ての分割動画DMnのうちの一部の分割動画DMnのそれぞれに対応する１つあたりの動画ブロックの一例である。

図３に示す処理は、例えば、ビデオカメラにより撮影された、エンコード対象の全体動画Mのデータを受信した場合、或いは、既にエンコードサーバ１に記憶されている全体動画Mのうちエンコード対象の全体動画Mのエンコード指令があった場合に開始される。エンコード対象の全体動画Mの例として、例えばクライアント端末３においてユーザにより再生対象として選択されたコンテンツに対応する全体動画Mが挙げられる。

図３に示す処理が開始されると、制御部１１は、エンコード対象の全体動画Mを分割する各表示領域（言い換えれば、全体動画Mを分割した分割動画DMn）を決定する（ステップＳ１）。図２（Ａ）の例では、全体動画Mが４×４の表示領域に分割されるようになっているが、分割数については任意であり、特に限定されるものではない。なお、制御部１１は、ステップＳ１の処理前に、全体動画Mを複数の表示領域に分割し、分割された分割動画DMnのそれぞれを所定の時間単位Ｔで区切ることで、分割動画DMn毎に複数の動画ブロックBn-mを生成しておいてもよい。

次いで、制御部１１は、ステップＳ１で決定された各表示領域の情報（例えば全体動画Mを構成する画像フレームにおける座標）と、グループ化のためのパラメータとから、ズームインした時に同時に表示画面に表示される分割動画DMnを指定し、指定された分割動画DMn同士でグループを複数生成する（ステップＳ２）。ここで指定される分割動画DMnは、全体動画Mから分割された全ての分割動画DMnのうちの一部の分割動画DMnである。つまり、全ての分割動画DMnの中から分割動画DMnの組み合わせが指定される。グループ化のためのパラメータには、例えば１つのグループにおける表示領域の取り方（例えば、２×２、１×３、２×３、３×３、１×２、２×１など）が規定される。表示領域の取り方は、例えば予め想定したクライアント端末のズーム機能により動画がズームインされたときの表示範囲に基づき決定される。なお、図２（Ａ）に示すように、全体動画Mを面積が均等となる複数の表示領域に分割するように構成すれば、表示領域の取り方を簡単にすることができ、迅速にグループ化することができる。

図４は、１つのグループにおける表示領域が「２×２」の場合の一例を示す概念図である。この場合、図４（Ａ）〜（Ｃ）に示すように、グループG1〜G9が生成されることになる。また、１つのグループに属する一部の分割動画DMnは、他の１つのグループにも属する。例えば、分割動画DM2は、図４（Ａ），（Ｂ）に示すように、グループG1及びG2に属する。また、分割動画DM6は、図４（Ａ），（Ｂ）に示すように、グループG1,G2,G4,及びG5に属する。なお、ステップＳ３以降の処理で分割動画DMnが時間単位Ｔで区切られることで、分割動画DMn毎に複数の動画ブロックBn-mが生成される（ここで、mは、全体動画Mの再生開始位置からの順番に相当する）。このため、１つのグループGk（この例では、k＝1〜9）は、更に複数のグループGk-mに分割され、ズームインした時に同時に表示画面に表示される複数（この例では、４つ）の動画ブロックBn-m同士でグループ化されることになる。例えば、グループG1-1には、動画ブロックB1-1,B2-1,B5-1及びB6-1が属することになる。

次いで、制御部１１は、エンコード開始位置s（変数）に“０”を代入する（ステップＳ３）。エンコード開始位置sは、全体動画Mの再生時間軸ｔ方向における時間的な位置（例えば秒で表される）であり、全体動画Mの再生開始位置から再生終了位置までの間の位置である。最初のエンコード開始位置sは、例えば全体動画Mの再生開始位置である。次いで、制御部１１は、エンコード開始位置sが、全体動画Mの再生終了位置より小さいか否かを判定する（ステップＳ４）。つまり、エンコード開始位置sが、全体動画Mの再生終了位置を時間的に超えたか否かが判定される。制御部１１は、エンコード開始位置sが全体動画Mの再生終了位置より小さいと判定した場合（ステップＳ４：ＹＥＳ）、ステップＳ５へ処理を進める。一方、制御部１１は、エンコード開始位置sが全体動画Mの再生終了位置より小さくないと判定した場合（ステップＳ４：ＮＯ）、図３に示す処理を終了する。

ステップＳ５では、制御部１１は、エンコード開始位置s＋Ｔ（時間単位）が、全体動画Mの再生終了位置より大きいか否かを判定する。制御部１１は、エンコード開始位置s＋Ｔが全体動画Mの再生終了位置より大きくないと判定した場合（ステップＳ５：ＮＯ）、エンコード終了位置e（変数）に“s＋Ｔ”を代入する（ステップＳ６）。一方、制御部１１は、エンコード開始位置s＋Ｔが全体動画Mの再生終了位置より大きいと判定した場合（ステップＳ５：ＹＥＳ）、エンコード終了位置e（変数）に全体動画Mの再生終了位置を代入する（ステップＳ７）。

次いで、制御部１１は、全体動画Mの[s,e］の範囲（つまり、エンコード開始位置sからエンコード終了位置eまでの範囲）で、各分割動画DMnを区切ることで生成された複数の動画ブロックBn-mを特定し、特定した各動画ブロックBn-mの重要度を決定する（ステップＳ８）。例えば、上述したように、制御部１１は、特定した各動画ブロックBn-mを所定のパラメータでエンコードし、そのファイルサイズを、特定した各動画ブロックBn-mの情報量として算出する。或いは、制御部１１は、特定した各動画ブロックBn-mの重要度をデフォルト値で設定する。そして、制御部１１は、エンコード対象の全体動画Mをリクエストしたクライアント端末３から、上述したようにユーザにより指定された位置を示す位置情報を取得し、その位置を含む動画ブロックBn-mを特定し、特定した動画ブロックBn-mの重要度をデフォルト値よりも高く決定する。

次いで、制御部１１は、１グループあたりの変換ビットレートの上限値として、上限ビットレートBR1（例えば、２Ｍｂｐｓ）を設定する（ステップＳ９）。次いで、制御部１１は、ループカウンタi（変数）に“１”を代入する（ステップＳ１０）。次いで、制御部１１は、ループカウンタiが、グループ数以下であるか否かを判定する（ステップＳ１１）。ここで、グループ数は、全体動画Mの[s,e］の範囲における動画ブロックBn-mのグループGk-mの数であり、図４の場合、グループ数は９つとなる。制御部１１は、ループカウンタiがグループ数以下であると判定した場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２へ処理を進める。一方、制御部１１は、ループカウンタiがグループ数以下でないと判定した場合（ステップＳ１１：ＮＯ）、ステップＳ１７へ処理を進める。

ステップＳ１２では、制御部１１は、i番目のグループGi-mに属する複数の動画ブロックBn-mの変換ビットレートが、ステップＳ８で決定されたそれぞれの重要度に比例し、且つ、i番目のグループGi-mに属する複数の動画ブロックBn-mの変換ビットレートの合計が上限ビットレートBR1になるように、i番目のグループGi-mに属する動画ブロックBn-mの変換ビットレートを仮決定する。

図５（Ａ）は、動画ブロックBn-1の重要度の一例を示す概念図であり、図５（Ｂ）は、５番目のグループG5-1に属する動画ブロックB6-1,B7-1,B10-1,B11-1のそれぞれの重要度に基づいて決定された変換ビットレートの一例を示す概念図である。図５（Ｂ）では、４つの動画ブロックB6-1,B7-1,B10-1,B11-1の変換ビットレートの合計が、上限ビットレートBR1である２Ｍｂｐｓとなるように重要度が正規化されている。

次いで、制御部１１は、直近のステップＳ１２で変換ビットレートが仮決定された各動画ブロックBn-mについて、既に変換ビットレートが割り当てられているか否かを判定する（ステップＳ１３）。制御部１１は、既に変換ビットレートが割り当てられていると判定した場合（ステップＳ１３：ＹＥＳ）、直近のステップＳ１２で仮決定された変換ビットレートと、既に割り当てられている変換ビットレートとのうちで小さい方の変換ビットレートを動画ブロックBn-mに割り当てる（ステップＳ１４）。一方、制御部１１は、既に変換ビットレートが割り当てられていないと判定した場合（ステップＳ１３：ＮＯ）、直近のステップＳ１２で仮決定された変換ビットレートを動画ブロックBn-mに割り当てる（ステップＳ１５）。ステップＳ１４またＳ１５の割り当てがi番目のグループGi-m（[s,e］の範囲に限る）に属する全ての動画ブロックBn-mについて行われると、制御部１１は、ループカウンタiを１インクリメントし（ステップＳ１６）、ステップＳ１１に戻る。こうして、[s,e］の範囲における全てのグループGi-mについてステップＳ１２以降の処理が行われると、ステップＳ１７へ処理が進むことになる。

ステップＳ１７では、制御部１１は、[s,e］の範囲における各動画ブロックBn-mに最終的に割り当てられている変換ビットレートを、最終的な変換ビットレートとして決定（最終決定）する。なお、[s,e］の範囲において複数のグループGk-mに属する一部の動画ブロックBn-mについては、相対的に小さい（この例では、最小の）変換ビットレートが、上記一部の動画ブロックBn-mの変換ビットレートとして最終決定される。すなわち、制御部１１は、上記処理により、１つのグループGk-mにおいて仮決定した、上記一部の動画ブロックBn-mの変換ビットレートと、他の１つのグループにおいて仮決定した、上記一部の動画ブロックBn-mの変換ビットレートのうち、相対的に小さい（この例では、最小の）変換ビットレートを、上記一部の動画ブロックBn-mの変換ビットレートとして最終決定する。これにより、隣り合う動画ブロックBn-m間で変換ビットレートを融通し合って、より適切な変換ビットレートを決定することができる。

次いで、制御部１１は、[s,e］の範囲における各動画ブロックBn-mを、ステップＳ１７で決定されたそれぞれの変換ビットレートでエンコードする（ステップＳ１８）。なお、エンコードされた各動画ブロックBn-mは、コンテンツの一部として、元になった全体動画Mのデータに対応付けられて記憶部１２に記憶される。次いで、制御部１１は、エンコード開始位置sに、最新のエンコード終了位置eを代入し（ステップＳ１９）、ステップＳ４に戻る。ステップＳ４でエンコード開始位置sが全体動画Mの再生終了位置より小さくないと判定されるまで、順次、全体動画Mの再生時間軸ｔ方向における[s,e］の範囲が時系列で後に移動しつつ、各[s,e］の範囲毎に上述したステップＳ５以降の処理が行われる。こうして、全体動画Mから分割された分割動画DMnのそれぞれに対応する全ての動画ブロックBn-mがエンコードされると、制御部１１は、図３に示す処理を終了する。

以上説明したように、実施例１によれば、エンコードサーバ１は、各分割動画DMnに対応する動画ブロックBn-mのうち、ズーム操作によりズームインした時に同時に表示画面に表示される複数の動画ブロックBn-mでグループ化し、グループ化された各グループにおいて各動画ブロックBn-mのそれぞれをエンコードするときの変換ビットレートがそれぞれの重要度に比例し、且つ、各動画ブロックBn-mをエンコードするときの変換ビットレートの合計が上限ビットレートBR1になるように、各動画ブロックBn-mの変換ビットレートをグループ毎に決定するように構成したので、各動画ブロックBn-mにおいて、どのような変換ビットレートのパターンであっても、より柔軟に決定することができる。このように決定された変換ビットレートで動画ブロックBn-mをエンコードすることで、各動画ブロックBn-mの配信ビットレートを安定化させつつ、特定の各動画ブロックBn-mの品質を向上させることができる。例えば、全体動画Mの複数の表示領域に、圧縮の効き易い表示領域と、圧縮の効き難い表示領域とがあった場合でも、品質を向上させることができる。また、全体動画Mの複数の表示領域に、視聴者にとって重要な表示領域とそうでない表示領域とが含まれている場合に、重要な表示領域の品質を向上させることができる。

（実施例２）
次に、図６等を参照して、実施例２におけるエンコード処理について説明する。図６は、実施例２におけるエンコード処理の一例を示すフローチャートである。実施例２は、予め作成された複数のテンプレートを用いて、各動画ブロックBn-mの変換ビットレートを決定する例である。ここで、テンプレートは、全体動画Mにおいて分割される表示領域（分割動画DMn）と同数の対応領域を有し、各対応領域に所定の変換ビットレートが割り当てられたテーブルである。

図６に示す処理は、図３に示す処理と同じように開始される。図６に示す処理が開始されると、制御部１１は、エンコード対象の全体動画Mを分割する各表示領域（言い換えれば、全体動画Mを分割した分割動画DMn）を決定する（ステップＳ２１）。ステップＳ２１の処理は、上述した実施例１におけるステップＳ１と同様である。次いで、制御部１１は、各対応領域に所定の変換ビットレートが割り当てられたテンプレートであって、割り当てパターンが互いに異なる複数のテンプレートを例えば記憶部１２から取得する（ステップＳ２２）。次いで、制御部１１は、ステップＳ２２で取得した全てのテンプレートについて、対応領域に割り当てられた所定の変換ビットレートの平均値が、基準となる変換ビットレートBR2（例えば、０．５Ｍｂｐｓ）になるように、割り当てられた変換ビットレートを正規化する（ステップＳ２３）。

図７は、正規化された変換ビットレートが各対応領域に割り当てられたテンプレート例を示す図である。図７（Ａ）〜（Ｃ）に示す３つのテンプレート（例１〜例３）は、変換ビットレートの割り当てパターンが互いに異なっている。なお、図７には、３つのテンプレート例を示しているが、テンプレートはいくつであってもよい。また、図７（Ａ）〜（Ｃ）に示すテンプレートは、それぞれ、「２×２」の対応領域が属するグループをどのように採っても、そのグループに属する対応領域に割り当てられた所定の変換ビットレートの合計が上限値（例えば、２Ｍｂｐｓ）以下となるように作成されている。

次いで、制御部１１は、エンコード開始位置s（変数）に“０”を代入する（ステップＳ２４）。次いで、制御部１１は、エンコード開始位置sが、全体動画Mの再生終了位置より小さいか否かを判定する（ステップＳ２５）。制御部１１は、エンコード開始位置sが全体動画Mの再生終了位置より小さいと判定した場合（ステップＳ２５：ＹＥＳ）、ステップＳ２６へ処理を進める。一方、制御部１１は、エンコード開始位置sが全体動画Mの再生終了位置より小さくないと判定した場合（ステップＳ２５：ＮＯ）、図６に示す処理を終了する。

ステップＳ２６では、制御部１１は、エンコード開始位置s＋Ｔが、全体動画Mの再生終了位置より大きいか否かを判定する。制御部１１は、エンコード開始位置s＋Ｔが全体動画Mの再生終了位置より大きくないと判定した場合（ステップＳ２６：ＮＯ）、エンコード終了位置e（変数）に“s＋Ｔ”を代入する（ステップＳ２７）。一方、制御部１１は、エンコード開始位置s＋Ｔが全体動画Mの再生終了位置より大きいと判定した場合（ステップＳ２６：ＹＥＳ）、エンコード終了位置e（変数）に全体動画Mの再生終了位置を代入する（ステップＳ２８）。

次いで、制御部１１は、全体動画Mの[s,e］の範囲で、各分割動画DMnを区切ることで生成された複数の動画ブロックBn-mを特定し、特定した各動画ブロックBn-mの重要度を決定する（ステップＳ２９）。次いで、制御部１１は、全体動画Mの[s,e］の範囲で特定された各動画ブロックBn-mの重要度の平均値が、基準となる変換ビットレートBM2（例えば、０．５Ｍｂｐｓ）になるように、全体動画Mの[s,e］の範囲で特定された各動画ブロックBn-mの重要度を正規化する（ステップＳ３０）。

図８（Ａ）は、動画ブロックBn-1の重要度の一例を示す概念図であり、図８（Ｂ）は、動画ブロックBn-1の重要度の平均値が０.５Ｍｂｐｓになるように正規化されたときの例を示す概念図である。

次いで、制御部１１は、ステップＳ３０で正規化された各重要度（各動画ブロックBn-mの重要度）と、ステップＳ２３で正規化されたテンプレートの各対応領域に割り当てられた所定の変換ビットレートとの誤差Ｖを、ステップＳ２３で正規化されたテンプレート毎に算出する（ステップＳ３１）。ここで、誤差Ｖは、下記（１）式により算出される。

上記（１）式では、誤差Ｖは、テンプレート内の数値（対応領域に割り当てられた所定の変換ビットレート）と、正規化した重要度との間の差の二乗和（つまり、誤差の自乗和）を、ブロック数（特定された各動画ブロックBn-mの数）で割った値（平均二乗誤差）として算出される。なお、誤差Ｖは、上記（１）式とは異なる式により算出されてもよい。

次いで、制御部１１は、ステップＳ３１で算出された誤差Ｖが相対的に小さい（例えば、最小の）テンプレートを特定する（ステップＳ３２）。次いで、制御部１１は、ステップＳ３２で特定されたテンプレートの各対応領域に割り当てられた所定の変換ビットレートを、[s,e］の範囲における各動画ブロックBn-mの変換ビットレートとして決定する（ステップＳ３３）。つまり、制御部１１は、ステップＳ３２で特定されたテンプレートの各対応領域に割り当てられた所定の変換ビットレートを用いて、[s,e］の範囲における各動画ブロックBn-mの変換ビットレートを決定する。

次いで、制御部１１は、[s,e］の範囲における各動画ブロックBn-mを、ステップＳ３３で決定されたそれぞれの変換ビットレートでエンコードする（ステップＳ３４）。次いで、制御部１１は、エンコード開始位置sに、最新のエンコード終了位置eを代入し（ステップＳ３５）、ステップＳ２５に戻る。そして、全体動画Mから分割された分割動画DMnのそれぞれに対応する全ての動画ブロックBn-mがエンコードされると、制御部１１は、図６に示す処理を終了する。

以上説明したように、実施例２によれば、エンコードサーバ１は、各動画ブロックBn-mの正規化された重要度と、テンプレートの各対応領域に割り当てられた正規化された変換ビットレートとの誤差Ｖを、割り当てパターンが互いに異なる複数のテンプレート毎に算出し、算出した誤差Ｖが相対的に小さいテンプレートを用いて、各動画ブロックBn-mの変換ビットレートを決定するように構成したので、各動画ブロックBn-mの変換ビットレートに迅速に決定することができる。このように決定された変換ビットレートで動画ブロックBn-mをエンコードすることで、各動画ブロックBn-mの配信ビットレートを安定化させつつ、特定の各動画ブロックBn-mの品質を向上させることができる。例えば、全体動画Mの複数の表示領域に、圧縮の効き易い表示領域と、圧縮の効き難い表示領域とがあった場合でも、品質を向上させることができる。また、全体動画Mの複数の表示領域に、視聴者にとって重要な表示領域とそうでない表示領域とが含まれている場合に、重要な表示領域の品質を向上させることができる。

なお、上記実施形態においては、本発明のビットレート決定装置としてエンコードサーバ１を例にとって説明したが、エンコードサーバ１の機能を配信サーバ２が有している場合、配信サーバ２に対して本発明を適用できる。この場合、配信サーバ２は本発明のサーバ装置を構成する。この場合、配信サーバ２の制御部２１は、本発明の特定手段、指定手段、第１決定手段、第２決定手段、取得手段、正規化手段として機能する。すなわち、制御部２１は、クライアント端末３のユーザにより再生対象として選択されたコンテンツまたは選択候補となるコンテンツに対応する全体動画Mを複数の表示領域に分割して複数の分割動画DMnを生成する。制御部２１は、分割動画DMnのそれぞれを所定の時間単位Ｔで区切ることで、分割動画DMn毎に複数の動画ブロックBn-mを生成する。また、制御部２１は、分割動画DMnのそれぞれに対応する動画ブロックBn-mを特定し、特定した動画ブロックBn-mの重要度を動画ブロックBn-m毎に決定する。制御部２１は、動画ブロックBn-m毎の重要度に基づいて、上述した処理と同様に、動画ブロックBn-m毎に変換ビットレートを決定し、動画ブロックBn-m毎に決定した変換ビットレートで、それぞれの動画ブロックBn-mをエンコードする。そして、制御部２１は、クライアント端末３からリクエストされた動画ブロックBn-mであって、上記変換ビットレートでエンコードされた動画ブロックBn-mを含むコンテンツをクライアント端末３へ送信する。より詳細には、制御部２１は、制御部１１に代えて、図３に示す処理または図６に示す処理を実行することになる。

１ エンコードサーバ
２ 配信サーバ
３ クライアント端末
１１ 制御部
１２ 記憶部
Ｓ 配信システム

Claims (15)

1. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、
   前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、
   前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、
   を備え、
   １つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、
   前記第２決定手段は、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とするビットレート決定装置。
2. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、
   前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、
   前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、
   前記第１決定手段により決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、
   を備え、
   前記第２決定手段は、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とするビットレート決定装置。
3. 前記第１決定手段は、前記動画ブロック毎の情報量を算出し、算出した情報量を前記重要度として決定することを特徴とする請求項１または２に記載のビットレート決定装置。
4. 前記第１決定手段は、前記動画において操作者により指定された位置を含む前記動画ブロックの重要度を相対的に高く決定することを特徴とする請求項１または２に記載のビットレート決定装置。
5. 前記動画を、面積が均等となる複数の表示領域に分割することで前記複数の分割動画を生成する生成手段を更に備えることを特徴とする請求項１乃至４の何れか一項に記載のビットレート決定装置。
6. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、
   前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、
   前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、
   前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化手段と、
   前記正規化手段により正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、
   を備えることを特徴とするビットレート決定装置。
7. 端末装置からネットワークを介してアクセス可能なサーバ装置であって、
   動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、
   前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、
   前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、
   前記端末装置からリクエストされた動画ブロックであって、前記第２決定手段により決定されたビットレートでエンコードされた前記動画ブロックを前記端末装置へ配信する配信手段と、
   を備え、
   １つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、
   前記第２決定手段は、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とするサーバ装置。
8. 端末装置からネットワークを介してアクセス可能なサーバ装置であって、
   動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、
   前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、
   前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、
   前記第１決定手段により決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、
   前記端末装置からリクエストされた動画ブロックであって、前記第２決定手段により決定されたビットレートでエンコードされた前記動画ブロックを前記端末装置へ配信する配信手段と、
   を備え、
   前記第２決定手段は、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とするサーバ装置。
9. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定手段と、
   前記特定手段により特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定手段と、
   前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得手段であって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得手段と、
   前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化手段と、
   前記正規化手段により正規化された各前記重要度と、前記取得手段により取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定手段と、
   端末装置からリクエストされた動画ブロックであって、前記第２決定手段により決定されたビットレートでエンコードされた前記動画ブロックを前記端末装置へ配信する配信手段と、
   を備えることを特徴とするサーバ装置。
10. １つ以上のコンピュータにより実行されるビットレート決定方法であって、
    動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成された複数の動画ブロックを特定する特定ステップと、
    前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、
    前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、
    を含み、
    １つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、
    前記第２決定ステップにおいては、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とするビットレート決定方法。
11. １つ以上のコンピュータにより実行されるビットレート決定方法であって、
    動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成された複数の動画ブロックを特定する特定ステップと、
    前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、
    前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、
    前記第１決定ステップにより決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、
    を含み、
    前記第２決定ステップにおいては、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とするビットレート決定方法。
12. １つ以上のコンピュータにより実行されるビットレート決定方法であって、
    動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、
    前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、
    前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、
    前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化ステップと、
    前記正規化ステップにより正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、
    を含むことを特徴とするビットレート決定方法。
13. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、
    前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、
    前記分割された前記分割動画のうちの複数の分割動画のそれぞれに対応する１つあたりの前記動画ブロックを含むグループを複数生成し、前記生成された各前記グループにおいて、複数の前記動画ブロックのそれぞれをエンコードするときのビットレートがそれぞれの前記重要度に比例し、且つ、複数の前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、
    をコンピュータに実行させるプログラムであって、
    １つの前記グループに含まれる一部の前記動画ブロックは、他の１つの前記グループにも含まれ、
    前記第２決定ステップにおいては、１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートと、他の１つの前記グループにおいて決定した前記一部の前記動画ブロックの前記ビットレートのうち、相対的に小さいビットレートを、前記一部の前記動画ブロックの前記ビットレートとして最終決定することを特徴とするプログラム。
14. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、
    前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、
    前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、
    前記第１決定ステップにより決定された前記重要度に基づいて、前記複数の動画ブロックのうち少なくとも２つの前記動画ブロックのそれぞれをエンコードするときのビットレートを互いに異ならせ、且つ、前記分割された前記分割動画のうちの一部の分割動画のそれぞれに対応する１つあたりの前記動画ブロックの前記ビットレートの合計が所定値以下になるように、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、
    をコンピュータに実行させるプログラムであって、
    前記第２決定ステップにおいては、前記複数の動画ブロックの前記重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの前記重要度を正規化し、前記正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定することを特徴とするプログラム。
15. 動画を複数の表示領域に分割した複数の分割動画を所定の時間単位で区切ることで生成される複数の動画ブロックを特定する特定ステップと、
    前記特定ステップにより特定された動画ブロックの重要度を前記動画ブロック毎に決定する第１決定ステップと、
    前記分割動画と同数の対応領域を有し、各前記対応領域には所定のビットレートが割り当てられたテンプレートを取得する取得ステップであって、各前記対応領域への前記所定のビットレートの割り当てパターンが互いに異なる複数の前記テンプレートを取得する取得ステップと、
    前記複数の動画ブロックの重要度の平均値が、基準となるビットレートになるように前記複数の動画ブロックの重要度を正規化する正規化ステップと、
    前記正規化ステップにより正規化された各前記重要度と、前記取得ステップにより取得された前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートとの誤差を、前記取得されたテンプレート毎に算出し、算出した誤差が相対的に小さい前記テンプレートの各前記対応領域に割り当てられた前記所定のビットレートを用いて、前記動画ブロック毎に前記ビットレートを決定する第２決定ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images