JP4355668B2 - コンテンツ再生システム、サーバ、コンテンツ再生方法 - Google Patents

Description

本発明は、コンテンツ再生システム、サーバ、コンテンツ再生方法に関する。

最近、宅内において、ホームサーバおよびクライアント端末を設置して、コンテンツ再生システムを構築するケースが増えている。このコンテンツ再生システムにおいては、ホームサーバは、クライアント端末からコンテンツ（リアルタイムに放送されるテレビ放送やホームサーバに蓄積されたコンテンツ）の再生指示を受けると、そのコンテンツをネットワーク（ホームネットワーク）経由でクライアント端末に送信する。

ところで、コンテンツ再生システムにおいては、コンテンツの通常再生だけでなく、特殊再生（コンテンツを再生しながら早送りや巻き戻しを行う早送り再生や巻戻し再生など）も行われる。特殊再生を行う場合の構成は、例えば特許文献１に開示されている。

特許文献１に開示された情報配信システムにおいては、例えば、特殊再生として早送り再生が行われる場合、配信サーバは、受信端末からコンテンツの配信指示を受けると、通常再生用の通常コンテンツと早送り再生用の早送りコンテンツとを送信し、受信端末では、通常コンテンツを用いて通常再生を行いつつ早送りコンテンツを保存し、早送り再生時には早送りコンテンツを用いて早送り再生を行う。
特開２００３−１９９０７３号公報

上述のように特許文献１に開示された情報配信システムは、通常再生だけでなく、特殊再生にも対応可能であるものの、クライアント側の受信端末の画面に表示されるのは、１つのコンテンツだけである。すなわち、クライアント側の受信端末には、通常再生または特殊再生の対象となるコンテンツのみが表示され、他のコンテンツについては何ら表示されない。そのため、例えば、あるコンテンツの通常再生中に、他のコンテンツを検索したり他のコンテンツの特殊再生をしたりするなどの操作を行うことはできない。

そこで本発明の目的は、クライアントが複数のコンテンツを複数の画面で操作することができるコンテンツ再生システム、サーバ、コンテンツ再生方法を提供することにある。

上記目的を達成するために本発明は、
コンテンツを再生するクライアント端末と、コンテンツを符号化された状態で取得し、当該コンテンツを前記クライアント端末にネットワークを介して送信するサーバとを有してなるコンテンツ再生システムにおいて、前記サーバは、コンテンツの符号化された映像を復号する複数の映像作成処理部と、前記複数の映像作成処理部のそれぞれにて復号されたコンテンツのいずれか１つの映像を主画面に配置し、その他のコンテンツの映像を各コンテンツごとに副画面に配置するフレーム合成を行うフレーム合成部と、前記フレーム合成部にて複数のコンテンツがフレーム合成された映像を再符号化し、主画面に配置するコンテンツの符号化された音声とともに、前記ネットワークを介して前記クライアント端末に送信する符号化部とを有することを特徴とする。

この構成によれば、主画面と副画面の映像を１つの画面に合成しているため、クライアントは、複数のコンテンツを複数の画面に同時に表示することが可能となり、また、主画面の映像と副画面の映像とを別個独立に作成しているため、クライアントは、複数のコンテンツを同時に操作することが可能となる。

また、前記サーバは、コンテンツと、当該コンテンツの表示の優先度を示す表示重みとを前記クライアント端末から操作情報として受信する操作情報管理部と、前記操作情報管理部にて前記操作情報として受信された各コンテンツの表示重みの設定を行う重み制御部とをさらに有し、前記フレーム合成部は、前記重み制御部にて設定された表示重みが最大値であるコンテンツの映像を主画面に配置することとしても良い。また、前記フレーム合成部は、副画面に配置するコンテンツの映像については、当該コンテンツの表示重みが大きいほど表示サイズを大きくしても良い。

この構成によれば、クライアントは、自身で表示重みを指定することにより、主画面に配置するコンテンツや、副画面に配置するコンテンツの表示サイズを選択することが可能となり、また、自身で表示重みを変更することにより、主画面および副画面に配置するコンテンツを入れ替える等も可能となる。

また、前記操作情報管理部は、前記クライアント端末から前記操作情報として、主画面と副画面との画面配置パターンをさらに受信し、
前記フレーム合成部は、前記操作情報管理部にて前記操作情報として受信された画面配置パターンに応じた画面配置で、主画面と副画面とを配置しても良い。

この構成によれば、クライアントは、自身で画面配置パターンを指定することにより、主画面と副画面の画面配置を選択することが可能となる。

また、前記重み制御部は、主画面および副画面に配置されたコンテンツの表示重みの総数が基準最大総数に満たず、表示重みに残数がある場合、一定の条件下で、表示重みの残数を副画面に配置されるコンテンツのいずれかに設定した表示重みに割り当てても良い。詳細には、前記サーバは、表示重みに残数がある場合、コンテンツの符号化された映像および音声がＭＰＥＧデータであれば、副画面に配置されるコンテンツごとに、各時刻のＭＰＥＧフレームの映像を分割した特定のブロックにおける移動方向と移動量とを示すベクトルをサンプルとして抽出し、抽出したベクトルの総和をサンプル数で除算した画面移動量スカラー値を算出するとともに、各時刻のＭＰＥＧフレームの音声レベルを算出するＭＰＥＧ解析部をさらに有し、前記重み制御部は、表示重みに残数がある場合、前記ＭＰＥＧ解析部にて算出された前記画面移動量スカラー値が一定期間基準値を超えるか、および／または前記音声レベルが一定期間基準値を超えた場合に、該当するコンテンツの表示重みに表示重みの残数を割り当てても良い。

この構成によれば、表示重みに残数がある場合に、画面の動きが多いコンテンツや、歓声が上がっているなどで音量の大きなコンテンツに表示重みの残数を割り当て、そのコンテンツの表示サイズを自動で大きくすることなどが可能となる。

また、前記重み制御部は、主画面および副画面に配置されたコンテンツの表示重みの総数が基準最大総数に満たず、表示重みに残数がある場合、一定の条件下で、表示重みの残数を主画面に配置されるコンテンツに類似する類似コンテンツに割り当て、当該類似コンテンツの表示重みを設定しても良い。詳細には、前記サーバは、前記類似コンテンツを検索するためのキーワードを取得するキーワード管理部と、前記キーワード管理部にて取得されたキーワードに基づいてコンテンツを検索するコンテンツ管理部とをさらに有し、前記重み制御部は、表示重みに残数がある場合、前記キーワードの取得および当該キーワードに基づくコンテンツの検索を前記キーワード管理部および前記コンテンツ管理部のそれぞれに指示し、その結果、前記コンテンツ管理部にてコンテンツが検索された場合、検索されたコンテンツを前記類似コンテンツとして表示重みの残数を割り当て、当該類似コンテンツの表示重みを設定しても良い。なお、前記操作情報管理部は、前記クライアント端末から前記操作情報として、前記キーワードをさらに受信し、前記キーワード取得部は、前記操作情報管理部にて前記操作情報として受信された前記キーワードを取得するとともに、主画面に配置されるコンテンツのタイトル名の全部もしくは一部またはジャンル名を前記キーワードとして取得することとしても良い。

この構成によれば、表示重みに残数がある場合に、主画面に配置されるコンテンツに類似する類似コンテンツに表示重みの残数を割り当て、そのコンテンツを自動で表示することが可能となる。

また、前記操作情報管理部は、前記クライアント端末から前記操作情報として、コンテンツの処理の優先度を示す処理重みをさらに受信し、前記重み制御部は、前記操作情報管理部にて前記操作情報として受信された各コンテンツの処理重みの設定を行い、前記フレーム合成部は、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みが小さいほどコンテンツの映像のフレーム数を少なくし、また、副画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みが小さいほどコンテンツの映像のフレーム数を少なくし、前記符号化部は、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みが小さいほど前記映像を再符号化する際の映像ビットレートを下げることとしても良い。また、前記サーバは、前記重み制御部にて設定された表示重みが最大値であり、主画面に配置されるコンテンツの符号化された音声を復号する音声作成処理部をさらに有し、前記符号化部は、前記フレーム合成部にてフレーム合成された映像とともに前記音声作成処理部にて復号された音声を再符号化することを行い、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みが小さいほど前記映像および前記音声を再符号化する際の映像ビットレートおよび音声ビットレートを下げても良い。

この構成によれば、クライアントは、表示品質を確保したいコンテンツ（多くの場合、主画面に配置するコンテンツと考えられる）については、自身で処理重みを大きく指定することにより、表示品質を確保することが可能となる。

また、前記サーバは、前記ネットワークの転送容量を測定するネットワーク転送容量測定部をさらに有し、前記重み制御部は、主画面に配置するコンテンツの処理重みに応じて決定される、前記符号化部による映像ビットレートおよび音声ビットレートの合計値が、前記ネットワーク転送容量測定部にて測定された前記ネットワークの転送容量を超えている場合、主画面に配置するコンテンツに設定した処理重みを小さくしても良い。詳細には、前記重み制御部は、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量を超えている場合、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量以下になるまでは、主画面に配置するコンテンツに設定した処理重みを基準最低値まで段階的に小さくしても良い。

この構成によれば、サーバからクライアント端末に対しては、ネットワークの転送容量以下の状態で、コンテンツが送信されるため、ネットワーク全体に対する負荷を低減することができる。

また、前記サーバは、ＣＰＵと、前記ＣＰＵの負荷率を測定するＣＰＵ負荷率測定部とをさらに有し、前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値を超えている場合、副画面に配置するコンテンツに設定した処理重みを小さくしても良い。詳細には、前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値以下になるまでは、副画面に配置するコンテンツに設定した処理重みを基準最低値まで段階的に小さくしても良い。また、前記重み制御部は、副画面に配置する全てのコンテンツの処理重みを基準最低値にしても、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値を超えている場合、主画面に配置するコンテンツに設定した処理重みを小さくしても良い。詳細には、前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値以下になるまでは、主画面に配置するコンテンツに設定した処理重みを基準最低値まで段階的に小さくしても良い。

この構成によれば、副画面に配置されるコンテンツを優先して表示品質を下げる処理を行うため、サーバ上の全体の処理負荷が高まった場合でも副画面の表示品質が下がるだけで、主画面の表示品質は確保することができる。

また、前記操作情報管理部にて前記操作情報として受信されたコンテンツの処理重みの処理重みが０である場合、当該コンテンツの表示重みを０に設定しても良い。

この構成によれば、コンテンツの処理重みと表示重みとの調整に際して、処理重みを優先することとして、ＣＰＵのリソースを有効利用することが可能となる。

以上説明したように本発明によれば、サーバにおいて、コンテンツの符号化された映像を復号する複数の映像作成処理部と、複数のコンテンツのいずれか１つの映像を主画面に配置し、その他のコンテンツの映像を各コンテンツごとに副画面に配置するフレーム合成を行うフレーム合成部とを設けた構成としている。

このように、主画面と副画面の映像を１つの画面に合成しているため、クライアントは、複数のコンテンツを複数の画面に同時に表示することができ、また、主画面の映像と副画面の映像とを別個独立に作成しているため、クライアントは、複数のコンテンツを同時に操作することができるという効果が得られる。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態のコンテンツ再生システムの構成を示す図である。

図１を参照すると、本実施形態のコンテンツ再生システムは、クライアント端末２００と、クライアント端末２００にネットワーク３００を介して接続され、クライアント端末２００からの指示に応じたコンテンツをクライアント端末２００にネットワーク３００を介して送信するホームサーバ１００とを有している。なお、図１においては、説明の便宜のためにクライアント端末２００を１つだけ図示しているが、クライアント端末の数は複数であっても良い。

ホームサーバ１００は、通信制御部１０１と、操作情報管理部１０２と、画面配置制御部１０３と、重み制御部１０４とキーワード管理部１０５と、コンテンツ管理部１０６と、アンテナ１０７と、チューナ１０８と、コンテンツ格納部１０９と、映像作成処理部１１０₁〜１１０_nと、フレーム合成部１１１と、音声作成処理部１１２と、符号化部１１３と、ＭＰＥＧ解析部１１４とを有している。

通信制御部１０１は、ネットワーク３００を介してクライアント端末２００との通信を行う。

操作情報管理部１０２は、クライアントがコンテンツの再生操作時に指示した操作情報をクライアント端末２００から通信制御部１０１を介して受信する。なお、操作情報には、１以上のコンテンツ、コンテンツが配置される主画面および副画面の画面配置パターン、各コンテンツの表示位置・表示サイズなどの表示の優先度を示す表示重み、主画面に配置されるコンテンツと類似する類似コンテンツを検索するためのキーワードなどが含まれる。

画面配置制御部１０３は、操作情報管理部１０２にて操作情報として受信された画面配置パターンの設定を行い、設定した画面配置パターンをフレーム合成部１１１に通知する。

ＭＰＥＧ解析部１１４は、チューナ１０８にてデジタル放送波として受信されたコンテンツや、コンテンツ格納部１０９に格納されたコンテンツがＭＰＥＧデータであれば、そのＭＰＥＧデータの解析を行う。

重み制御部１０４は、操作情報管理部１０２にて操作情報として受信された各コンテンツの表示重みの設定を行い、設定した各コンテンツの表示重みをフレーム合成部１１１に通知する。また、主画面および副画面に配置されるコンテンツの表示重みの総数が基準最大総数に満たず、表示重みに残数がある場合、一定条件下で、表示重みの残数を副画面に配置されたコンテンツに割り当てたり、表示重みの残数を主画面に配置されるコンテンツと類似する類似コンテンツに割り当て、該類似コンテンツの表示重みを設定したりすることも行う。

キーワード管理部１０５は、重み制御部１０４の指示を受けて、主画面に配置されるコンテンツと類似する類似コンテンツを検索するためのキーワードを取得し、取得したキーワードをコンテンツ管理部１０６に通知する。例えば、操作情報管理部１０２にて操作情報として受信されたキーワードを取得したり、チューナ１０８にて受信された放送波に含まれるＥＰＧ（電子番組表）データから、主画面に配置されるコンテンツのタイトル名の全部もしくは一部またはジャンル名を取得したりする。

チューナ１０８は、アンテナ１０７を介して受信されたアナログ放送波や、ＭＰＥＧデータ形式で放送されるデジタル放送波、およびＥＰＧデータ等を受信する。

コンテンツ管理部１０６は、重み制御部１０４の指示を受けて、キーワード管理部１０５から通知されたキーワードに基づき、ＥＰＧデータやコンテンツ格納部１０９からコンテンツを検索することを行う。その他にも、操作情報管理部１０２にて操作情報として受信されたコンテンツを１０８にて受信された放送波やコンテンツ格納部１０９から検索したり、重み制御部１０４から通知された表示重みに基づき、上記で検索したコンテンツの映像および音声の復号を映像作成処理部１１０₁〜１１０_nおよび音声作成処理部１１２に指示したりする。

映像作成処理部１１０₁〜１１０_nは、コンテンツ管理部１０６からの指示を受けて、該当するコンテンツを映像と音声とに分離する不図示のＡＶ分離器を備えており、そのうちの映像を復号する処理を行う。

フレーム合成部１１１は、映像作成処理部１１０₁〜１１０_nのそれぞれにて復号されたコンテンツのいずれか１つの映像を主画面に配置し、その他のコンテンツの映像を各コンテンツごとに副画面に配置するフレーム合成を行う。詳細には、重み制御部１０４から通知された表示重みが最大値であるコンテンツの映像を主画面に配置し、副画面に配置するコンテンツの映像については、そのコンテンツの表示重みが大きいほど表示サイズを大きくする。すなわち、ある副画面のコンテンツの映像を表示重みに応じた表示サイズで表示している状態で、そのコンテンツの表示重みが重み制御部１０４にて大きくされた場合は、表示サイズを大きくし、その状態で、そのコンテンツの表示重みが重み制御部１０４にて小さくされた場合は、表示サイズを小さくして元に戻す。また、画面配置制御部１０３から通知された画面配置パターンに応じた画面配置で主画面および副画面を配置する。

音声作成処理部１１２は、コンテンツ管理部１０６からの指示を受けて、該当するコンテンツを映像と音声とに分離する不図示のＡＶ分離器を備えており、そのうちの音声を復号する処理を行う。音声の復号処理においては、ビットレート変換や音声種別の変換が行われる。音声種別の変換としては、例えば、ＭＰＥＧ Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ１１１７２−３（レイヤ２）に準拠したオーディオストリーム）を、ＤＶＤ−Ｖｉｄｅｏに準拠した非圧縮ＬｉｎｅＡｒ ＰＣＭ オーディオやＤＶＤ−Ｖｉｄｅｏに準拠したＤｏｌｂｙ ＡＣ３ オーディオに変換すること、その逆の変換をすることなどが挙げられる。なお、音声作成処理部１１２にて復号されるコンテンツは、主画面に配置されるコンテンツとしてコンテンツ管理部１０６から指示されたものである。

符号化部１１３は、フレーム合成部１１１にてフレーム合成された映像と、音声作成処理部１１２にて復号された音声とを再度符号化し、この符号化された映像と音声とを、通信制御部１０１からネットワーク３００を介してクライアント端末２００に送信する。なお、音声作成処理部１１２および符号化部１１３の構成は、上記構成に限定されず、音声作成処理部１１２において、音声を復号せずに符号化部１１３に出力し、符号化部１１３において、フレーム合成部１１１にてフレーム合成された映像を符号化したものを、音声作成処理部１１２から出力された復号されていない音声と多重化して、クライアント端末２００に送信する構成であっても良い。

クライアント端末２００は、通信制御部２０１と、操作入力部２０２と、表示部２０３と、音声出力部２０４とを有している。

通信制御部２０１は、ネットワーク３００を介してホームサーバ１００との通信を行う。

操作入力部２０２は、クライアントによるコンテンツの再生操作が行われ、この再生操作内容を操作情報として通信制御部２０１からネットワーク３００を介してホームサーバ１００に送信する。なお、操作入力部２０２は、クライアント端末２００へ遠隔操作で指示を行うリモコンであっても良い。

表示部２０３は、ホームサーバ１００からネットワーク３００を介して通信制御部２０１に送信されてきた映像を表示する。この映像画面は、１つのコンテンツが主画面に配置され、それ以外のコンテンツは副画面にそれぞれ配置されたものになっている。

音声出力部２０４は、ホームサーバ１００からネットワーク３００を介して通信制御部２０１に送信されてきた音声を出力する。

以下、本実施形態のコンテンツ再生システムの動作について説明する。
（全体動作の概要）
本実施形態のコンテンツ再生システムの動作概要について、図２を参照して説明する。

図２を参照すると、まず、クライアントが、コンテンツの再生操作時に、クライアント端末２００の操作入力部２０２において、コンテンツＡ〜Ｃ、画面配置パターン、および各コンテンツＡ〜Ｃの表示重みを指定する（ステップ２０１）。クライアントに指定された内容は、通信制御部２０１からネットワーク３００を介してホームサーバ１００に操作情報として送信され、ホームサーバ１００の通信制御部１０１を介して操作情報管理部１０２に受信されることになる。

次に、重み制御部１０４は、クライアントに指定されたコンテンツＡ〜Ｃの表示重みの設定を行い、コンテンツＡ〜Ｃの表示重みをコンテンツ管理部１０６およびフレーム合成部１１１に指示する（ステップ２０２）。なお、重み制御部１０４は、主画面および副画面に配置されるコンテンツの表示重みの総数が基準最大総数に満たず、表示重みに残数がある場合、一定条件下で、表示重みの残数を副画面に配置されたコンテンツに割り当てたり、表示重みの残数を主画面に配置されるコンテンツと類似する類似コンテンツに割り当て、該類似コンテンツの表示重みを設定したりすることも行うが（詳細は後述する）、ここではクライアントから指示されたコンテンツＡ〜Ｃの表示重みをそのまま通知するものとする。

次に、コンテンツ管理部１０６は、重み制御部１０４から表示重みが通知されたコンテンツＡ〜Ｃの映像を復号するよう、映像作成処理部１１０₁〜１１０₃に対してそれぞれ指示する。また、コンテンツＡ〜Ｃのうち表示重みが最大値であるコンテンツ（コンテンツＡとする）を音声付きで表示する主画面と判断し、主画面のコンテンツＡの音声を復号するよう、音声作成処理部１１２に対して指示する（ステップ２０３）。

これを受けて、映像作成処理部１１０₁〜１１０₃は、それぞれコンテンツＡ〜Ｃの映像を復号し（ステップ２０４〜２０６）、音声作成処理部１１２は、コンテンツＡの音声を復号する（ステップ２０７）。その一方で、画面配置制御部１０３は、クライアントに指定された画面配置パターンの設定を行い、画面配置パターンをフレーム合成部１１１に指示する（ステップ２０８）。

続いて、フレーム合成部１１１は、まず、画面配置制御部１０３から通知された画面配置パターンに応じて主画面および副画面の画面配置を決定する。ここでの画面配置は、主画面を画面全体に配置し、主画面の一部に副画面を重ねて配置する画面配置とする。次に、映像作成処理部１１０₁〜１１０_nのそれぞれにて復号されたコンテンツのうち重み制御部１０４から通知された表示重みが最大であるコンテンツＡを主画面に配置するコンテンツと決定し、さらに、その他のコンテンツＢ，Ｃの映像についてはコンテンツＢ，Ｃの表示重みに応じて表示サイズを決定する。そして、上記で決定した通りに、コンテンツＡの映像を主画面に配置し、コンテンツＢ，Ｃの映像を各コンテンツごとに副画面に配置するフレーム合成を行う（ステップ２０９）。

次に、符号化部１１３は、フレーム合成部１１１にてフレーム合成された映像と、音声作成処理部１１２にて復号された音声とを再度符号化（ビットレート変換）する（ステップ２１０）。なお、このときの映像ビットレートおよび音声ビットレートは、主画面に配置されたコンテンツＡの映像ビットレートおよび音声ビットレートとする。

その後、符号化部１１３は、上記で符号化された映像および音声を、通信制御部１０１からネットワーク３００を介してクライアント端末２００に送信する（ステップ２１１）。この映像および音声は、表示部２０３および音声出力部２０４にて出力される。
（クライアントによる画面配置パターンの指定）
ホームサーバ１００からクライアント端末２００に送信される画面は、図３に示すように、予めｍ×ｎ（個）の矩形領域単位で分割されており、主画面または副画面として表示される画面は、１つもしくは複数の矩形領域から構成される。この画面のうち、表示重みの値が最大で、音声付きで表示されるコンテンツが配置される画面を主画面、それ以外の映像のみ表示するコンテンツが配置される画面を副画面として定義する。

画面配置パターンは、図４に示すように、予め設定されており、その中からクライアントが所望とする画面配置パターンを指定することになる。図４において、（ｉ）パターンは、主画面を画面全体に配置し、主画面の一部に副画面を重ねて配置するパターンであり、（ｉｉ）パターンは、主画面を画面の一部に配置し、主画面と重ならない位置に副画面を配置するパターンである。

また、主画面および副画面には、図３に示すように、それぞれ画面番号が設定されており、番号ごとに表示位置および表示サイズが管理されている。
（クライアントによる表示重みの指定）
表示重みは、各コンテンツの表示位置や表示サイズなどの表示の優先度を示すものであり、ホームサーバ１００では、この表示重みを指標として、そのコンテンツを主画面または副画面のどちらに配置するか、副画面に配置するコンテンツの表示サイズをどうするかなどを決定する。クライアントは、各コンテンツについて表示重み（例えば、０〜１０の値）を指定する。このうち、表示重みが最大であるコンテンツが、フレーム合成部１１１により主画面に配置される。また、クライアントは、再生途中に各コンテンツの表示重みを変更し、表示重みが最大となるコンテンツを切り替えることができる。その場合、フレーム合成部１１１は、副画面に配置されていたコンテンツを主画面に配置するよう切り替える動作を行う。クライアントは、１つのコンテンツについて表示重みを最大値（例えば、１０）に指定することもでき、その場合、フレーム合成部１１１は、そのコンテンツのみを主画面に配置し、副画面には何もコンテンツも配置しない。クライアントは、１つのコンテンツの通常再生を行っている状態から、他のコンテンツも同時に再生する場合には、主画面に配置されていたコンテンツの表示重みを小さくし、その分を他のコンテンツの表示重みに割り当てる。その場合、フレーム合成部１１１は、表示重みが最大であるコンテンツを主画面に配置し、それ以外のコンテンツを副画面に配置する。
（フレーム合成）
クライアントが１つのコンテンツの通常再生を行うために、そのコンテンツの表示重みを最大値にした場合には、フレーム合成部１１１は、そのコンテンツのみを主画面に配置し、主画面において通常再生を行う（図５（ｉ）参照）。

図５（ｉ）の状態において、クライアントが他のコンテンツの通常再生や特殊再生（早送り再生や巻戻し再生）を行うために、主画面に配置されていたコンテンツの表示重みを小さくし、その分を他のコンテンツの表示重みに割り当てた場合には、フレーム合成部１１１は、副画面に他のコンテンツを配置し、副画面において特殊再生操作の結果を反映させる。このとき、主画面に配置されていたコンテンツはそのまま継続して配置しておくものとし、主画面において通常再生を行う（図５（ｉｉ）参照）。

図５（ｉｉ）の状態において、クライアントが副画面に配置されていたコンテンツの特殊再生を終了し、そのコンテンツの通常再生を主画面にて行うために、副画面に配置されていたコンテンツの表示重みを最大値にした場合には、フレーム合成部１１１は、副画面に配置されていたコンテンツを主画面に配置して主画面のみを表示し、主画面において通常再生を行う（図５（ｉｉｉ）参照）。

なお、図５（ｉｉ）の状態において、クライアントが副画面に配置されていたコンテンツの通常再生や特殊再生をキャンセルし、主画面に配置されていたコンテンツの通常再生のみを行う状態に戻すために、主画面に配置されていたコンテンツの表示重みを最大値に戻した場合には、フレーム合成部１１１は、そのコンテンツのみを主画面に配置し、主画面において通常再生を行う（図５（ｉ）参照）。
（副画面コンテンツに対する表示重みの残数の割り当て）
本実施形態においては、クライアントに指定された各コンテンツの表示重みの総数が基準最大総数に満たず、表示重みに残数がある場合に、表示重みの残数を副画面のコンテンツのいずれかに割り当てることもできる。ここで、表示重みの基準最大総量が１０である場合に、表示重みの残数を割り当てる動作について図６を参照して説明する。なお、表示重みの基準最大総量が１０である場合は、仮に、コンテンツＡの表示重みが１０であれば、副画面の表示は認めないことを意味する。

図６の例では、クライアントが、コンテンツをコンテンツＡ（サッカー試合ａ ｖｓ ｂ），Ｂ（サッカー試合ｃ ｖｓ ｄ），Ｃ（サッカー試合ｅ ｖｓ ｆ）、コンテンツＡ，Ｂ，Ｃの表示重みをそれぞれ７，１，１、画面配置パターンを（ｉ）パターン（図４参照）と指定している。

重み制御部１０４は、コンテンツＡ，Ｂ，Ｃの表示重みの設定を行った上で、副画面の数を確認する（ステップ６０１）。ここでは、クライアントに３つのコンテンツＡ〜Ｃが指定されているため、１つが主画面で、残りの２つが副画面となる。次に、現時点の表示重みの総数と表示重みの基準最大総数との差分である表示重みの残数を確認する（ステップ６０２）。ここでは、表示重みの基準最大総数が１０であり、コンテンツＡ〜Ｃの表示重みの総数が９であるため、表示重みの残数は１０−９＝１となる。続いて、副画面に配置されるコンテンツＢ，Ｃのいずれかに対して表示重みの残数を割り当てるか判断し、割り当てると判断した場合には該当するコンテンツに表示重みの残数を割り当てる（ステップ６０３）。そして、上記のように設定したコンテンツＡ，Ｂ，Ｃの表示重みをコンテンツ管理部１０６およびフレーム合成部１１１に通知する（ステップ６０４）。ここでは、コンテンツＢの画面移動量スカラー量および／または音声レベル（詳細は後述）が一定期間基準値を超えたものとし、表示重みの残数である１をコンテンツＢに設定した表示重みに割り当てたこととする。

次に、コンテンツ管理部１０６は、重み制御部１０４から表示重みが通知されたコンテンツＡ〜Ｃの映像を復号するよう、映像作成処理部１１０₁〜１１０₃に対してそれぞれ指示し、主画面に配置されるコンテンツＡの音声を復号するよう、音声作成処理部１１２に対して指示する（ステップ６０５）。これを受けて、映像作成処理部１１０₁〜１１０₃は、それぞれコンテンツＡ〜Ｃの映像を復号し（ステップ６０６〜７０８）、音声作成処理部１１２は、コンテンツＡの音声を復号する（ステップ６０９）。また、画面配置制御部１０３は、クライアントに指示された画面配置パターン（ｉ）の設定を行い、画面配置パターン（ｉ）をフレーム合成部１１１に通知する（ステップ６１０）。

その後、フレーム合成部１１１は、重み制御部１０４および画面配置制御部１０３からの通知に基づき、コンテンツＡ〜Ｃの映像のフレーム合成を行い（ステップ６１１）、符号化部１１３は、コンテンツＡ〜Ｃがフレーム合成された映像とコンテンツＡの音声とを再度符号化する（ステップ６１２）。
（副画面コンテンツに表示重みの残数を割り当てる判断）
重み制御部１０４は、副画面のコンテンツの表示重みについて、表示重みの残数を割り当てるか否かを判断するに際し、ＭＰＥＧ解析部１１４が解析するＭＰＥＧ形式のＭＰＥＧフレームの特徴部分となる画面移動量および／または音量を利用する。
・画面移動量を利用する場合
ＭＰＥＧフレームの時刻（ｔ）の映像データは、その前の時刻（ｔ−１）の映像との比較の結果、動きがない部分については変化がなく移動量０と記録され、動きがある部分についてはその移動量が記録される。

そこで、ＭＰＥＧ解析部１１４は、図７に示すように、各時刻のＭＰＥＧフレームの映像データを複数の正方画素ブロック（「マクロブロック」と呼ばれる）単位で分割し、これら正方画素ブロックの各々の移動方向と移動量とをベクトルとして記録する。このうち、特定の正方画素ブロックのベクトルをサンプルとして抽出し、抽出した特定の正方画素ブロックのベクトルの総和を求めた後、ベクトル量の総和÷サンプル数を算出して、特定の正方画素ブロックのベクトルの平均移動量の絶対値（スカラー値）を算出する。これをフレーム全体の画面移動量の絶対値の平均値を示す画面移動量スカラー値と定義する。そして、重み制御部１０４は、図８に示すように、画面移動量スカラー値が一定期間基準値を超えた場合は、そのコンテンツに表示重みの残数を割り当てると判断する。また、画面移動量スカラー値が最後に基準値を超えた瞬間から一定期間は、画面移動量スカラー値が基準値を下回っても有効とし、画面移動量スカラー値が最後に基準値を超えた瞬間から一定期間が経過した後は、画面移動量スカラー値が基準値を下回ると、そのコンテンツの表示重みを小さくして初期状態に戻すものとする。
・音量を利用する場合
同様に、ＭＰＥＧ解析部１１４は、各時刻のＭＰＥＧフレームの音声データの音声レベルを算出する。そして、重み制御部１０４は、図９に示すように、音声レベルが一定期間基準値を超えた場合は、そのコンテンツに表示重みの残数を割り当てると判断する。音声レベルが最後に基準値を超えた瞬間から一定期間は、画面移動量スカラー値が基準値を下回っても有効とし、音声レベルが最後に基準値を超えた瞬間から一定期間が経過した後は、音声レベルが基準値を下回ると、そのコンテンツの表示重みを小さくして初期状態に戻すものとする。

なお、重み制御部１０４は、画面移動量スカラー値または音声レベルのいずれか一方が一定期間基準値を超えた場合に、表示重みの残数を割り当てるコンテンツと判断しても良く、または、画面移動量スカラー値および音声レベルの双方が一定期間基準値を超えた場合に、表示重みの残数を割り当てるコンテンツと判断しても良い。

ここで、重み制御部１０４およびＭＰＥＧ解析部１１４において、副画面に配置されるコンテンツに表示重みの残数を割り当てる動作について、図１０のフローチャートを参照して説明する。なお、以下の動作は、副画面に配置されるコンテンツごとに行われる。

図１０を参照すると、ＭＰＥＧ解析部１１４は、対象となるコンテンツの各時刻のＭＰＥＧフレームを映像データと音声データとに分離する（ステップ１００１）。これら映像データおよび音声データは、それぞれ不図示の映像バッファおよび音声バッファに順次記録され、映像バッファおよび音声バッファのデータが更新される。次に、映像バッファに記録された映像データに基づき各時刻のＭＰＥＧフレームの画面移動量スカラー値を算出するとともに（ステップ１００２）、音声バッファに記録された音声データに基づき各時刻のＭＰＥＧフレームの音声レベルを算出し（ステップ１００３）、画面移動量スカラー値および／または音声レベルを一定時間保持する（ステップ１００４）。ここで、重み制御部１０４は、画面移動量スカラー値が一定時間基準値を超えたか、および／または音声レベルが一定時間基準値を超えたか判定し（ステップ１００５）、一定時間基準値を超えた場合は（ステップ１００６）、対象となるコンテンツに表示重みの残数を割り当てた上で（ステップ１００７）、ステップ１００１の処理に戻る。ステップ１００６にて一定時間基準値を超えない場合は、重み制御部１０４は、基準値を超えた状態を最後に確認してから一定時間が経過しているかを判定し（ステップ１００８）、一定時間が経過していた場合には、ステップ１００７にて割り当てた表示重みを小さくして初期状態の値に戻した上で（ステップ１００９）、ステップ１００１の処理に戻る。ステップ１００８にて基準値を超えた状態を最後に確認してから一定時間が経過していないと判定すると、重み制御部１０４は、表示重みの値を変更せずにステップ１００１の処理に戻る。このように、重み制御部１０４およびＭＰＥＧ解析部１１４は、これら各時刻のＭＰＥＧフレームに対する一連の処理を繰り返し実行する。なお、図１０においては、ステップ１００２，１１０３の処理とステップ１００４，１１０５の処理とを入れ替えることも可能である。
（主画面コンテンツに類似する類似コンテンツに対する表示重みの残数の割り当て）
本実施形態においては、クライアントに指定された各コンテンツの表示重みの総数が基準最大総数に満たず、表示重みに残数がある場合に、表示重みの残数を主画面に配置するコンテンツに類似する類似コンテンツに割り当てることもできる。ここで、表示重みの基準最大総量が１０である場合に、表示重みの残数を割り当てる動作について図１１を参照して説明する。

図１１の例では、クライアントが、再生するコンテンツをコンテンツＡ（サッカー試合ａ ｖｓ ｂ）、コンテンツＡの表示重みを８、画面配置パターンを（ｉ）パターン（図４参照）、キーワードをサッカーと指定している。

重み制御部１０４は、コンテンツＡの表示重み８の設定を行った上で、現時点の表示重みの総数と表示重みの基準最大総数との差分である表示重みの残数を確認する（ステップ１１０１）。ここでは、表示重みの基準最大総数が１０であり、クライアントに指定されたコンテンツＡの表示重みが８であるため、表示重みの残数は１０−８＝２となる。このとき、副画面の表示重みをそれぞれ１とすれば、２個の副画面を表示することが可能である。次に、キーワード管理部１０５に対し、キーワードを取得するよう指示するとともに、コンテンツ管理部１０６に対し、キーワード管理部１０５にて取得されたキーワードに基づきコンテンツを検索するよう指示する（ステップ１１０２）。

次に、キーワード管理部１０５は、チューナ１０にて受信された放送波に含まれるＥＰＧデータから、コンテンツＡのタイトル名の全部または一部とコンテンツＡのジャンル名とをキーワードとして取得するとともに、クライアントに指定されたキーワードを取得し（ステップ１１０３）、取得したキーワードをコンテンツ管理部１０６に通知する（ステップ１１０４）。

次に、コンテンツ管理部１０６は、キーワード管理部１０５から通知されたキーワードを基にして、コンテンツＡとタイトル名が類似するかまたはジャンルが同一であるコンテンツを、類似コンテンツとしてＥＰＧデータやコンテンツ格納部１０９から検索し（ステップ１１０５）、検索結果を重み制御部１０４に通知する（ステップ１１０６）。ここでは、コンテンツＡがサッカーの試合であるため、コンテンツＡとは他チャンネルでリアルタイムに放送されているサッカー番組や、コンテンツ格納部１０９に格納されているサッカー番組であるコンテンツＢ，Ｃが検索されたとする。

次に、重み制御部１０４は、２つの類似コンテンツＢ，Ｃが検索されたため、表示重みの残数２を、類似コンテンツＢ，Ｃにそれぞれ１つずつ割り当て、類似コンテンツＢ，Ｃの表示重みを設定する（ステップ１１０７）。なお、類似コンテンツが１つだけ検索された場合は、その類似コンテンツに割り当てる表示重みは１でも２でもどちらでも良い。また、類似コンテンツが３つ以上検索された場合は、一定時間ごとに、表示重みを割り当てる類似コンテンツを切り替えても良い。次に、上記のように設定したコンテンツＡ，Ｂ，Ｃの表示重みをコンテンツ管理部１０６およびフレーム合成部１１１に通知する（ステップ１１０８）。

次に、コンテンツ管理部１０６は、重み制御部１０４から表示重みが通知されたコンテンツＡ〜Ｃの映像を復号するよう、映像作成処理部１１０₁〜１１０₃に対してそれぞれ指示し、主画面に配置されるコンテンツＡの音声を復号するよう、音声作成処理部１１２に対して指示する（ステップ１１０９）。これを受けて、映像作成処理部１１０₁〜１１０₃は、それぞれコンテンツＡ〜Ｃの映像を復号し（ステップ１１１０〜１１１２）、音声作成処理部１１２は、コンテンツＡの音声を復号する（ステップ１１１３）。また、画面配置制御部１０３は、クライアントに指定された画面配置パターン（ｉ）の設定を行い、画面配置パターン（ｉ）をフレーム合成部１１１に通知する（ステップ１１１４）。

その後、フレーム合成部１１１は、重み制御部１０４および画面配置制御部１０３からの通知に基づき、コンテンツＡ〜Ｃの映像のフレーム合成を行い（ステップ１１１５）、符号化部１１３は、コンテンツＡ〜Ｃがフレーム合成された映像とコンテンツＡの音声とを再度符号化する（ステップ１１１６）。
（全体動作）
ここで、本実施形態の全体動作について、図１２および図１３のフローチャートを参照して説明する。

最初に、クライアントに指定された各コンテンツの表示重みの総数が最大値に満たず、表示重みに残数がある場合に、副画面のコンテンツのいずれかに表示重みの残数を割り当てる場合の全体動作について、図１２を参照して説明する。

図１２を参照すると、まず、クライアントにより、クライアント端末２００の操作入力部２０２上で、コンテンツの再生操作が行われる（ステップ１２０１）。すると、重み制御部１０４は、まず、表示重みが最大であるコンテンツを主画面に配置するコンテンツに決定する（ステップ１２０２）。

次に、重み制御部１０４は、クライアントにより指定された各コンテンツの表示重みの設定を行い、表示重みを設定したコンテンツが複数であるか確認する（ステップ１２０３）。コンテンツが１つであれば、画面配置パターンおよび各コンテンツの表示重みに基づきフレーム合成部１１１によるフレーム合成処理を実行させる。その後、符号化部１１３による符号化処理が実行された後（ステップ１２０４）、符号化された映像および音声の送信処理が行われる（ステップ１２０５）。

一方、ステップ１２０３において、クライアントにより指定されたコンテンツが複数であれば、重み制御部１０４は、クライアントにより指定された各コンテンツの表示重みの総数が基準最大総数（例えば、１０）であるか確認し（ステップ１２０６）、基準最大総数であればステップ１２０４の処理に進む。他方、各コンテンツの表示重みの総数が基準最大総数でなく、表示重みに残数があれば、副画面に配置されるコンテンツのいずれか１つを選択する（ステップ１２０７）。そして、選択した副画面のコンテンツについて、ＭＰＥＧ解析部１１４により求められた画面移動量スカラー値および／または音声レベルが一定期間基準値を超えたか判定し（ステップ１２０８）、基準値を超えていれば、そのコンテンツに設定した表示重みに表示重みの残数を１つ割り当てる（ステップ１２０９）。続いて、各コンテンツの表示重みの総数が基準最大総数であるか確認し（ステップ１２１０）、基準最大総数であればステップ１２０４の処理に進む。

また、ステップ１２０８において、選択した副画面のコンテンツについて、画面移動量スカラー値および／または音声レベルが一定期間基準値を超えていなければ、ステップ１２０９にて既に表示重みの残数が割り当てられた状態、かつ画面移動量スカラー値または音声レベルが最後に基準値を超えた瞬間から一定時間が経過していた場合には（ステップ１２１１）、ステップ１２０９にて残数を割り当てた副画面のコンテンツの表示重みを1つ小さくして初期状態に戻す（ステップ１２１２）。続いて、他の副画面のコンテンツがあるか確認し（ステップ１２１３）、他の副画面のコンテンツがあれば、ステップ１２０７の処理に戻り、他の副画面のコンテンツを選択し、同様の動作を行う。一方、ステップ１２１１において、他の副画面のコンテンツがなければ、ステップ１２０４の処理に進む。

次に、クライアントに指定された各コンテンツの表示重みの総数が最大値に満たない場合に、主画面のコンテンツに類似する類似コンテンツに表示重みの残数を割り当てる場合の全体動作について、図１３を参照して説明する。

図１３を参照すると、まず、クライアントにより、クライアント端末２００の操作入力部２０２上で、コンテンツの再生操作が行われる（ステップ１３０１）。すると、重み制御部１０４は、まず、表示重みが最大であるコンテンツを主画面に配置するコンテンツに決定する（ステップ１３０２）。

次に、重み制御部１０４は、クライアントにより指定された各コンテンツの表示重みの設定を行い、各コンテンツの表示重みの総数が基準最大総数（例えば、１０）であるか確認し（ステップ１３０３）、基準最大総数であれば、画面配置パターンおよび各コンテンツの表示重みに基づきフレーム合成部１１１によるフレーム合成処理を実行させる。その後、符号化部１１３による符号化処理が実行された後（ステップ１３０４）、符号化された映像および音声の送信処理が行われる（ステップ１３０５）。

一方、ステップ１３０３において、各コンテンツの表示重みの総数が基準最大総数でなく、表示重みに残数があれば、重み制御部１０４は、キーワード管理部１０５にキーワード取得を指示するとともに、コンテンツ管理部１０６にコンテンツ検索を指示する。

これを受けて、キーワード管理部１０５は、主画面のコンテンツのタイトル名の全部もしくは一部またはジャンル名をＥＰＧデータからキーワードとして取得するととともに、クライアントによりキーワードが指定されていれば、そのキーワードを取得する（ステップ１３０６）。ここで取得されたキーワードは、コンテンツ管理部１０に通知される。また、コンテンツ管理部１０６は、キーワード管理部１０５から通知されたキーワードを基にして、主画面のコンテンツと類似する類似コンテンツを検索する（ステップ１３０７）。この検索結果は、重み制御部１０４に通知される。

次に、重み制御部１０４は、類似コンテンツの数が表示重みの残数を超えているか確認する（ステップ１３０８）。類似コンテンツの数が表示重みの残数以下であれば、表示重みの残数を各類似コンテンツに割り当て、各類似コンテンツの表示重みを設定し（ステップ１３０９）、類似コンテンツの数が表示重みの残数を超えていれば、一定時間ごとに、表示重みを割り当てる類似コンテンツを切り替えるように各類似コンテンツの表示重みを設定し（ステップ１３１０）、その後、ステップ１３０４の処理に進む。

上述したように本実施形態においては、フレーム合成部１１１において、主画面と副画面の映像を１つの画面に合成しているため、クライアントは、複数のコンテンツを複数の画面に同時に表示することが可能となる。

また、本実施形態においては、複数の映像作成処理部１１０₁〜１１０_nにおいて、主画面の映像と副画面の映像とを別個独立に作成しているため、クライアントは、複数のコンテンツを同時に操作することが可能となる。

また、本実施形態においては、重み制御部１０４において、クライアント端末２００から指定された各コンテンツの表示重みの設定を行い、フレーム合成部１１１において、各コンテンツの表示重みに基づいて主画面に配置するコンテンツを決定し、副画面に配置するコンテンツの表示サイズを決定している。また、フレーム合成部１１１においては、クライアント端末２００から指定された画面配置パターンに基づいて主画面と副画面の画面配置を決定している。

そのため、クライアントは、自身で表示重みを指定することにより、主画面に配置するコンテンツや、副画面に配置するコンテンツの表示サイズを選択することができ、また、自身で表示重みを変更することにより、主画面および副画面に配置するコンテンツを入れ替える等もできる。また、クライアントは、自身で画面配置パターンを指定することにより、主画面と副画面の画面配置を選択することができる。

また、本実施形態においては、重み制御部１０４において、表示重みに残数がある場合、一定の条件下で、表示重みの残数を副画面に配置されるコンテンツのいずれかに割り当てることもできる。また、副画面のコンテンツに表示重みの残数を割り当てた後、一定の条件下で、そのコンテンツの表示重みを小さくして初期状態に戻すこともできる。

そのため、表示重みに残数がある場合に、画面に動きが多いコンテンツや、歓声が上がっているなどで音量の大きなコンテンツに表示重みの残数を割り当て、そのコンテンツの表示サイズを自動で大きくすることなどができる。また、画面の動きが大きいか、歓声が上がっているコンテンツに表示重みの残数を割り当てた状態から、画面の動きや音声が穏やかな状態に変化した場合には、表示重みの残数を初期状態に戻すことで、そのコンテンツの表示サイズを自動的に戻すことができる。

また、本実施形態においては、重み制御部１０４において、表示重みに残数がある場合、一定の条件下で、表示重みの残数を主画面に配置されるコンテンツに類似する類似コンテンツに割り当てることもできる。

そのため、表示重みに残数がある場合に、主画面に配置されるコンテンツに類似する類似コンテンツに表示重みの残数を割り当て、そのコンテンツを自動で表示することができる。
（第２の実施形態）
図１４は、本発明の第２の実施形態のコンテンツ再生システムの構成を示す図である。

図１４に示した本実施形態によるコンテンツ再生システムは、クライアント端末２００側から、各コンテンツの表示重みを指定することに加えて、各コンテンツの表示品質を保つための処理の優先度を示す処理重みを指定する点が、第１の実施形態と比較して異なる。これに伴い、ホームサーバ１００内には、ネットワーク転送容量測定部１１５およびＣＰＵ負荷率測定部１１５が追加されている。なお、その他の構成は第１の実施形態と同様である。

ネットワーク転送容量測定部１１５は、ネットワーク３００の転送容量を測定する部分であり、ＣＰＵ負荷率測定部１１５は、不図示のＣＰＵのＣＰＵ負荷率（０〜１００％）を測定する部分である。ホームサーバ１００には、ホームサーバ１００内の全構成要素の動作を制御するプログラムを記録した不図示の記録媒体が備えられており、ＣＰＵがそのプログラムの制御によりホームサーバ１００内の各構成要素に特定の処理を行うよう指示する。このプログラムにおいては、複数のコンテンツを復号・符号化するスレッドなど複数のスレッドが動作しており、このような各スレッドの累積負荷の合計値がＣＰＵ処理性能に占める割合をＣＰＵ負荷率とする。ＣＰＵ負荷率測定部１１５は、システム情報を取得する命令を使用することで、ＣＰＵ負荷率を定期的に取得する。

ホームサーバ１００においては、上述したように、フレーム合成部１１１において、主画面および副画面のコンテンツの映像をフレーム合成し、符号化部１１３において、フレーム合成された主画面および副画面のコンテンツの映像と主画面のコンテンツの音声とを符号化している。

しかし、ホームサーバ１００内のＣＰＵの負荷状況によっては、フレーム合成部１１１および符号化部１１３による全ての処理がリアルタイム内に実行できない可能性がある（ＣＰＵ負荷率が基準値（例えば、９０％）を超えている場合など）。この場合、クライアントから指定された各コンテンツの処理重みに応じて、フレーム合成部１１１および符号化部１１３による処理負荷を低減する処理を行う。

フレーム合成部１１１および符号化部１１３による処理負荷は、一般的に、対象となるコンテンツの映像ビットレートおよび音声ビットレートが高くなるにしたがって高くなるとともにフレーム数（フレームレート）が多くなるにしたがって高くなり、また、副画面のコンテンツ数が増加するにしたがって高くなる。また、それに伴い、ホームサーバ１００のＣＰＵの負荷も高くなる。

これを回避すべく、本実施形態においては、クライアントから各コンテンツの処理の優先度を示す処理重みを指定することとして、処理重みに応じてフレーム合成部１１１および符号化部１１３による処理の負荷を下げることとする。

ホームサーバ１００においては、クライアントから指示された各コンテンツの処理の重みに応じて以下のような処理を行う。
・符号化部１１３において、主画面および副画面のコンテンツの映像をフレーム合成した映像の映像ビットレートを削減する
・符号化部１１３において、主画面のコンテンツの音声の音声ビットレートを削減する
・フレーム合成部１１１において、主画面および副画面のフレーム数を削減する
なお、ホームサーバ１００においては、最初に、副画面に対する処理負荷を下げる処理を行い（副画面フレーム数の削減）、それでもＣＰＵ負荷率が基準値を超えている場合に、副画面に対する処理負荷を下げる処理を行う（主画面フレーム数の削減、映像ビットレートおよび音声ビットレートの削減）。このようにすることにより、主画面となるコンテンツの表示品質を優先的に確保することが可能となる。

例えば、クライアントからは、主画面となるコンテンツの処理重みとして、例えば０〜１０の値が指定され、副画面となるコンテンツの処理重みとして、例えば０〜５の値が指定されるとする。

この場合、フレーム合成部１１１および符号化部１１３による処理内容は、図１５に示すように決定される。例えば、ＣＰＵ負荷率が基準値を超えている場合、副画面のコンテンツの処理重みが３であれば、フレーム合成部１１１において、副画面のフレーム数を削減する。また、主画面のコンテンツの処理重みが６であれば、符号化部１１３において、主画面および副画面のコンテンツの映像をフレーム合成した映像データの映像ビットレートを削減し、さらに、主画面のコンテンツの音声データの音声ビットレートを削減する。また、主画面のコンテンツの処理重みが３であれば、符号化部１１３において、主画面のコンテンツの音声データの音声ビットレートを削減し、さらに、フレーム合成部１１１において、主画面のフレーム数を削減する。

なお、フレーム合成部１１１において、副画面の処理重みに応じて副画面のフレーム数を削減する理由は、主画面用に復号された映像データ（ビットレート変換前の映像データ）に、副画面用に復号された映像データを合成することにある。上述のように、符号化部１１３において主画面のコンテンツの処理重みに応じたビットレートでビットレート変換が行われるが、副画面用に復号された映像データを合成する頻度が高い、すなわち映像データのフレーム数が多いと、ＣＰＵの負荷が高くなる。このため、フレーム合成部１１１において、副画面のフレーム数の削減（合成の頻度低下）を行うことにより、ＣＰＵ処理負荷を低減することが可能となる。

より具体的には、例えば、図１６に示すように、主画面のコンテンツの映像ビットレートが８０００［ｋｂｐｓ］、音声ビットレートが３８４［ｋｂｐｓ］、フレームレート（フレーム数）が２９．９７［ｆｐｓ］であると仮定する。この場合、主画面のコンテンツの処理重みが５〜９の範囲内であれば、主画面および副画面のコンテンツの映像をフレーム合成した映像の映像ビットレートを処理重みが小さくなるほど段階的に下げ、また、主画面のコンテンツの処理重みが２〜７の範囲内であれば、主画面のコンテンツの音声の音声ビットレートを処理重みが小さくなるほど段階的に下げ、また、主画面のコンテンツの処理重みが１〜５の範囲内であれば、主画面のコンテンツのフレーム数を処理重みが小さくなるほど段階的に少なくする。

なお、図１６において、主画面のコンテンツの処理重みが１０である場合は、フレーム合成部１１１および符号化部１１３による処理負荷を低減する動作は行われないことになっている。しかし、この時点のネットワーク３００における転送容量は４０００［ｋｂｐｓ］であり、主画面のコンテンツの映像ビットレートおよび音声ビットレートの合計値よりも低いため、そのビットレートではコンテンツを送信できない。よって、その場合は、主画面のコンテンツの映像ビットレートおよび音声ビットレートの合計値がネットワーク３００の転送容量以下になるまでは、主画面のコンテンツの処理重みを基準最低値まで１つずつ段階的に小さくするものとする（図１６では、処理重みを９まで小さくする）。また、副画面のフレーム数を削減する場合の数値も図１６と同様である。

ここで、表示重みと処理重みとの関係について説明する。

処理重みは、コンテンツの表示品質を保つために処理の優先度を示す値であり、表示重みは、コンテンツの表示の優先度を示す値である。表示重みおよび処理重みのそれぞれには独立した値が設定される。ここで、表示重みの値は、処理重みが１以上の場合にのみ有効であるものとする。例えば、あるコンテンツについて、表示重みとしてα１、処理重みとしてＡ１が指定されている場合、Ａ１＞０である場合に限り、α１を有効なものとする。言い換えれば、Ａ１＜０、すなわちＡ１が０と指定されている場合、表示重みα１は無効であり０として処理する。このような処理により、あるコンテンツの表示重みが０になった場合、クライアントからは別のコンテンツに対して表示重みおよび処理重みが指定されることになる。クライアントは、このように表示重みおよび処理重みを指定することにより、ＣＰＵリソースを効率的に使用しながら、主画面に配置するコンテンツを変更することができる。

以下、本実施形態のコンテンツ再生システムの動作について説明する。
（全体動作の概要）
本実施形態のコンテンツ再生システムの動作概要について、図１７〜図１９を参照して説明する。ここでは、フレーム合成部１１１および符号化部１１３による処理は、各コンテンツの処理重みに応じて、図１５の内容にしたがって決定されるものとする。また、主画面のコンテンツのビットレートは、ネットワークの転送容量以下であるものとする。

図１７の例では、クライアントが、コンテンツＡの通常再生を行うために、コンテンツＡの表示重みを８、処理重みを１０、画面配置パターンを（ｉ）パターン（図４参照）と指定している。

まず、重み制御部１０４は、クライアントに指示されたコンテンツＡの処理重みに基づき表示重みが有効であるか確認する（ステップ１７０１）。ここでは、コンテンツＡの処理重みが１０で、表示重みが有効であるため、コンテンツＡの表示重み８と処理重み１０の設定を行う。次に、コンテンツＡの表示重み８と処理重み１０とをフレーム合成部１１１に通知するとともに、コンテンツＡの処理重み１０を符号化部１１３に通知する（ステップ１７０２）。

コンテンツ管理部１０６は、１つのコンテンツＡのみが指定されているため、コンテンツＡを主画面と判断し、映像作成処理部１１０₁に対してコンテンツＡの映像を復号するよう指示するとともに、音声作成処理部１１２に対してコンテンツＡの音声を復号するよう指示する（ステップ１７０３）。これを受けて、映像作成処理部１１０₁は、コンテンツＡの映像を復号し（ステップ１７０４）、音声作成処理部１１２は、コンテンツＡの音声を復号する（ステップ１７０５）。その一方で、画面配置制御部１０３は、クライアントに指示された画面配置パターン（ｉ）をフレーム合成部１１１に通知する（ステップ１７０６）。

続いて、フレーム合成部１１１は、合成対象のコンテンツＡが１つだけであるため、コンテンツＡのみを主画面にフレーム合成する（ステップ１７０７）。ここでは、コンテンツＡの処理重みが１０であるため、フレーム数の削減は行わない。

その後、符号化部１１３は、コンテンツＡの映像と音声とを再度符号化する（ステップ１７０８）。ここでは、コンテンツＡの処理重みが１０であるため、映像ビットレートの削減も音声ビットレートの削減も行わない。

このとき、ＣＰＵ負荷率測定部１１５にて測定されたＣＰＵ負荷率が基準値を超えていれば、以降、重み制御部１０４がコンテンツＡに設定した処理重みを小さくし、その処理重みに応じた動作が実行されることになる。

図１８の例では、クライアントが、図１７に示したようなコンテンツＡの通常再生をしている状態で、さらにコンテンツＢの特殊再生を行うために、コンテンツＡの表示重みを８、処理重みを８、コンテンツＢの表示重みを２、処理重みを３、画面配置パターンを（ｉ）パターン（図４参照）と指定している。

まず、重み制御部１０４は、クライアントに指示されたコンテンツＡ，Ｂの処理重みに基づき表示重みが有効であるか確認する（ステップ１８０１）。ここでは、コンテンツＡ，Ｂの処理重みがそれぞれ８と３で、表示重みが有効であるため、コンテンツＡの表示重み８と処理重み８およびコンテンツＢの表示重み２と処理重み３の設定を行う。次に、コンテンツＡの表示重み８と処理重み８およびコンテンツＢの表示重み２と処理重み３をフレーム合成部１１１に通知するとともに、コンテンツＡの処理重み１０を符号化部１１３に通知する（ステップ１８０２）。

次に、コンテンツ管理部１０６は、表示重みの値が大きいコンテンツＡを主画面と判断し、映像作成処理部１１０₁，１１０₂に対してそれぞれコンテンツＡ，Ｂの映像を復号するよう指示するとともに、音声作成処理部１１２に対してコンテンツＡの音声を復号するよう指示する（ステップ１８０３）。これを受けて、映像作成処理部１１０₁は、それぞれコンテンツＡ，Ｂの映像を復号し（ステップ１８０４，１８０５）、音声作成処理部１１２は、コンテンツＡの音声を復号する（ステップ１８０６）。その一方で、画面配置制御部１０３は、クライアントに指示された画面配置パターン（ｉ）の設定を行い、画面配置パターン（ｉ）をフレーム合成部１１１に指示する（ステップ１８０７）。

次に、フレーム合成部１１１は、重み制御部１０４から通知された副画面のコンテンツＢの処理重みが３であるため、コンテンツＢのフレーム数を削減した上で、コンテンツＡの映像とコンテンツＢの映像とをフレーム合成する（ステップ１８０９）。ここでは、主画面のコンテンツＡの処理重みは８であるため、コンテンツＡのフレーム数の削減は行わない。

その後、符号化部１１３は、重み制御部１０４から通知された主画面のコンテンツＡの処理重みが８であるため、コンテンツＡ，Ｂをフレーム合成した映像に対し、映像ビットレートを削減した上でビットレート変換を行う（ステップ１８１０）。

このとき、ＣＰＵ負荷率測定部１１５にて測定されたＣＰＵ負荷率が基準値を超えていれば、以降、重み制御部１０４がコンテンツＡ，Ｂに設定した処理重みをコンテンツＢ優先で小さくし、その処理重みに応じた動作が実行されることになる。

図１９の例では、クライアントが、図１７に示したようなコンテンツＢの特殊再生を終了し、コンテンツＢの通常再生を行うために、コンテンツＢに処理重みを集中し、コンテンツＡの処理重みを０と指定している。具体的には、コンテンツＡの表示重みを８、処理重みを０、コンテンツＢの表示重みを２、処理重みを１０、画面配置パターンを（ｉ）パターン（図４参照）と指定している。

まず、重み制御部１０４は、クライアントに指示されたコンテンツＡ，Ｂの処理重みに基づき表示重みが有効であるか確認する（ステップ１９０１）。ここでは、コンテンツＢについては処理重みが１０であるため表示重みは有効であるが、コンテンツＡについては処理重みが０であるため表示重みが有効でない。よって、コンテンツＡの表示重みを０にし、コンテンツＡの表示重み０と処理重み０およびコンテンツＢの表示重み２と処理重み１０の設定を行う。次に、コンテンツＡの表示重み０と処理重み０およびコンテンツＢの表示重み２と処理重み１０をコンテンツ管理部１０６およびフレーム合成部１１１に通知するとともに、コンテンツＢの処理重み１０を符号化部１１３に通知する（ステップ１９０２）。

コンテンツ管理部１０６は、コンテンツＡの表示重みが０であるため、コンテンツＢを主画面と判断し、映像作成処理部１１０₂に対してコンテンツＢの映像を復号するよう指示するとともに、音声作成処理部１１２に対してコンテンツＢの音声を復号するよう指示する（ステップ１９０３）。これを受けて、映像作成処理部１１０₂は、コンテンツＢの映像を復号し（ステップ１９０４）、音声作成処理部１１２は、コンテンツＢの音声を復号する（ステップ１９０５）。その一方で、画面配置制御部１０３は、クライアントに指定された画面配置パターン（ｉ）の設定を行い、画面配置パターン（ｉ）をフレーム合成部１１１に通知する（ステップ１９０６）。

続いて、フレーム合成部１１１は、合成対象のコンテンツＢが１つだけであるため、コンテンツＢのフレームのみを主画面として合成する（ステップ１９０７）。ここでは、コンテンツＢの処理重みが１０であるため、フレーム数の削減は行わない。

その後、符号化部１１３は、コンテンツＢの映像と音声とを再度符号化する（ステップ１９０８）。ここでは、コンテンツＢの処理重みが１０であるため、映像ビットレートの削減も音声ビットレートの削減も行わない。

このとき、ＣＰＵ負荷率測定部１１５にて測定されたＣＰＵ負荷率が基準値を超えていれば、以降、重み制御部１０４がコンテンツＢに設定した処理重みを小さくし、その処理重みに応じた動作が実行されることになる。
（全体動作）
ここで、本実施形態の全体動作について図２０のフローチャートを参照して説明する。

図２０を参照すると、まず、クライアントにより、クライアント端末２００の操作入力部２０２上で、１以上のコンテンツの再生操作が行われる（ステップ２００１）。

重み制御部１０４は、まず、各コンテンツの処理重みに基づき表示重みが有効であるか確認し、処理重みが０であるコンテンツについては表示重みを０にした上で、各コンテンツの処理重みと表示重みを設定する（ステップ２００２）。続いて、表示重みが最大であるコンテンツを主画面に配置するコンテンツに決定する（ステップ２００３）。

次に、重み制御部１０４は、クライアントにより指定されたコンテンツが複数であるか確認する（ステップ２００４）。コンテンツが１つであれば、主画面のコンテンツの現時点の処理重みに応じて決定される映像ビットレートと音声ビットレート（図１４および図１５参照）との合計値が、ネットワーク転送容量測定部１１５により測定された現時点のネットワーク３００の転送容量を超えているか確認する（ステップ２００５）。ネットワーク３００の転送容量を超えていれば、主画面のコンテンツに設定した処理重みを１つ小さくし（ステップ２００６）、ステップ２００５の処理に戻る。

重み制御部１０４は、主画面のコンテンツの現時点の映像ビットレートと音声ビットレートとの合計値が現時点のネットワーク３００の転送容量以下になると、続いて、設定後の表示重みおよび処理重みと画面配置パターンとに基づき、フレーム合成部１１１によるフレーム合成処理および符号化部１１３による符号化処理を実行させ（ステップ２００７）、その状態で、ＣＰＵ負荷量測定部１１６により測定された現時点のＣＰＵ負荷率が基準値（例えば、９０％）を超えているか確認する（ステップ２００８）。ＣＰＵ負荷率が基準値以下であれば、符号化部１１３による符号化された映像および音声の送信処理が行われ（ステップ２００９）、基準値を超えていれば、ステップ２０２１に移行する。

一方、ステップ２００４において、クライアントにより指定されたコンテンツが複数であれば、重み制御部１０４は、主画面のコンテンツに現時点で設定している処理重みに応じて決定される映像ビットレートと音声ビットレートとの合計値が、ネットワーク転送容量測定部１１５により測定された現時点のネットワーク３００の転送容量を超えているか確認する（ステップ２０１０）。ネットワーク３００の転送容量を超えていれば、主画面のコンテンツに設定した処理重みを１つ小さくし（ステップ２０１１）、ステップ２０１０の処理に戻る。

重み制御部１０４は、主画面のコンテンツの現時点の映像ビットレートと音声ビットレートが現時点のネットワーク３００の転送容量以下になると、続いて、設定後の表示重みおよび処理重みと画面配置パターンとに基づき、フレーム合成部１１１による主画面コンテンツと副画面コンテンツの映像のフレーム合成処理および符号化部１１３による符号化処理を実行させ（ステップ２０１２）、その状態で、ＣＰＵ負荷量測定部１１６により測定された現時点のＣＰＵ負荷率が基準値を超えているか確認する（ステップ２０１３）。ＣＰＵ負荷率が基準値以下であれば、ステップ２００９において、符号化部１１３により符号化された映像および音声の送信処理が行われる。

一方、ステップ２０１３において、ＣＰＵ負荷率が基準値を超えていれば、重み制御部１０４は、副画面に配置されるコンテンツのいずれか１つを選択し（ステップ２０１４）、選択した副画面のコンテンツに設定した処理重みが基準最低値（例えば、１）であるか確認する（ステップ２０１５）。選択した副画面のコンテンツの処理重みが基準最低値でなければ、そのコンテンツに設定した処理重みを１つ小さくする（ステップ２０１６）。

そして、重み制御部１０４は、設定後の表示重みおよび処理重みと画面配置パターンとに基づき、フレーム合成部１１１によるフレーム合成処理および符号化部１１３による符号化処理を実行させ（ステップ２０１７）、その状態で、ＣＰＵ負荷量測定部１１６により測定された現時点のＣＰＵ負荷率が基準値を超えているか確認する（ステップ２０１８）。このように、選択した副画面のコンテンツのフレーム数を少なくすることにより（図１４および図１５参照）、ＣＰＵ負荷率が基準値以下になれば、ステップ２００９において、符号化部１１３により符号化された画面の送信処理が行われる。また、ＣＰＵ負荷率がなお基準値を超えていれば、ステップ２０１５の処理に戻る。

また、ステップ２０１５において、選択した副画面のコンテンツに設定した処理重みが基準最低値であれば、重み制御部１０４は、他の副画面のコンテンツがあるか確認し（ステップ２０１９）、他の副画面のコンテンツがあれば、ステップ２０１４の処理に戻り、他の副画面のコンテンツを選択し、同様の動作を行う。

一方、ステップ２０１９において、他の副画面のコンテンツがなければ、重み制御部１０４は、主画面に配置されるコンテンツを選択し（ステップ２０２０）、主画面のコンテンツの処理重みが基準最低値（例えば、１）であるか確認する（ステップ２０２１）。主画面のコンテンツの処理重みが基準最低値でなければ、そのコンテンツに設定した処理重みを１つ小さくする（ステップ２０２２）。

そして、重み制御部１０４は、設定後の表示重みおよび処理重みと画面配置パターンとに基づき、フレーム合成部１１１によるフレーム合成処理および符号化部１１３による符号化処理を実行させ（ステップ２０２３）、その状態で、ＣＰＵ負荷量測定部１１６により測定された現時点のＣＰＵ負荷率が基準値を超えているか確認する（ステップ２０２４）。このように、符号化部１１３にて符号化される映像および音声の映像ビットレートおよび音声ビットレートを削減するか、主画面のコンテンツのフレーム数を少なくすることにより（図１４および図１５参照）、ＣＰＵ負荷率が基準値以下になれば、ステップ２０２２において、符号化部１１３により符号化された画面の送信処理が行われる。また、ＣＰＵ負荷率がなお基準値を超えていれば、ステップ２０２１の処理に戻る。

上述したように本実施形態においては、重み制御部１０４において、クライアント端末２００から指定された各コンテンツの処理重みの設定を行い、各コンテンツの処理重みに応じて、フレーム合成部１１１にてフレーム数の削減が行われ、符号化部１１３にて再符号化の際のビットレートの削減が行われている。そのため、クライアントは、表示品質を確保したいコンテンツ（多くの場合、主画面に配置するコンテンツと考えられる）については、自身で処理重みを大きく指定することにより、表示品質を確保することができる。

また、本実施形態においては、ネットワーク転送容量測定部１１５において、ネットワーク３００の転送容量を測定し、重み制御部１０４において、主画面に配置するコンテンツの処理重みに応じて決定される映像ビットレートおよび音声ビットレートの合計値がネットワーク３００の転送容量を超えている場合、主画面に配置するコンテンツに設定した処理重みを小さくしている。そのため、ホームサーバ１００からクライアント端末２００に対しては、ネットワーク３００の転送容量以下の状態で、コンテンツが送信されるため、ネットワーク３００全体に対する負荷を低減することができる。

また、本実施形態においては、ＣＰＵ負荷率測定部１１５において、ＣＰＵの負荷率をし、重み制御部１０４において、ＣＰＵの負荷率が基準値を超えている場合、まず、副画面に配置するコンテンツに設定した処理重みを優先的に小さくし、その後に、副画面に配置するコンテンツに設定した処理重みを小さくしている。そのため、ネットワーク３００のトラフィックにより操作に反映した動作が遅れる場合でも、副画面の表示品質が下がるだけで、主画面の表示品質は確保することができる。

本発明の第１の実施形態のコンテンツ再生システムの構成を示す図である。 図１に示したコンテンツ再生システムの動作の概略を説明する図である。 主画面および副画面を説明する図である。 主画面および副画面の画面配置パターンを説明する図である。 コンテンツ再生時の画面の状態を説明する図である。 図１に示したコンテンツ再生システムの動作の一例を説明する図である。 ＭＰＥＧフレームの画面移動量スカラー値の算出方法を説明する図である。 各時刻のＭＰＥＧフレームの画面移動量スカラー値を示すグラフである。 各時刻のＭＰＥＧフレームの音声レベルを示すグラフである。 図１に示したコンテンツ再生システムにおいて、副画面に配置するコンテンツに表示重みの残数を割り当てる動作を説明するフローチャートである。 図１に示したコンテンツ再生システムの動作の他の例を説明する図である。 図１に示したコンテンツ再生システムの動作の一例を説明するフローチャートである。 図１に示したコンテンツ再生システムの動作の他の例を説明するフローチャートである。 本発明の第２の実施形態のコンテンツ再生システムの構成を示す図である。 処理重みに応じて決定される処理を説明する図である。 処理重みに応じて決定される処理の具体例を説明する図である。 図１４に示したコンテンツ再生システムの動作の一例を説明する図である。 図１４に示したコンテンツ再生システムの動作の他の例を説明する図である。 図１４に示したコンテンツ再生システムの動作のさらに他の例を説明する図である。 図１４に示したコンテンツ再生システムの動作の一例を説明するフローチャートである。

符号の説明

１００ ホームサーバ
１０１ 通信制御部
１０２ 操作情報管理部
１０３ 画面配置制御部
１０４ 重み制御部
１０５ キーワード管理部
１０６ コンテンツ管理部
１０７ アンテナ
１０８ チューナ
１０９ コンテンツ格納部
１１０₁〜１１０_n 映像作成処理部
１１１ フレーム合成部
１１２ 音声作成処理部
１１３ 符号化部
１１４ ＭＰＥＧ解析部
１１５ ネットワーク転送容量測定部
１１６ ＣＰＵ負荷量測定部
２００ クライアント端末
２０１ 通信制御部
２０２ 操作入力部
２０３ 表示部
２０４ 音声出力部
３００ ネットワーク

Claims (36)

1. コンテンツを再生するクライアント端末と、コンテンツを符号化された状態で取得し、当該コンテンツを前記クライアント端末にネットワークを介して送信するサーバとを有してなるコンテンツ再生システムにおいて、
   前記サーバは、
   コンテンツの符号化された映像を復号する複数の映像作成処理部と、
   コンテンツを示す情報と、当該コンテンツの表示の優先度を示す表示重みの値と、を前記クライアント端末から操作情報として受信する操作情報管理部と、
   前記操作情報管理部にて前記操作情報として受信された各コンテンツの表示重みの値を、各コンテンツに設定する重み制御部と、
   前記複数の映像作成処理部のそれぞれにて復号されたコンテンツのうち前記重み制御部にて設定された表示重みの値が最大値であるコンテンツの映像を主画面に配置し、その他のコンテンツの映像を各コンテンツごとに副画面に配置するフレーム合成を行うフレーム合成部と、
   前記フレーム合成部にて複数のコンテンツがフレーム合成された映像を再符号化し、主画面に配置するコンテンツの符号化された音声とともに、前記ネットワークを介して前記クライアント端末に送信する符号化部と、
   前記重み制御部により、主画面および副画面に配置されたコンテンツに設定された表示重みの値の合計値が基準最大値に満たない場合、コンテンツの符号化された映像および音声がＭＰＥＧデータであれば、副画面に配置されるコンテンツごとに、各時刻のＭＰＥＧフレームの映像を分割した特定のブロックにおける移動方向と移動量とを示すベクトルをサンプルとして抽出し、抽出したベクトルの平均移動量の絶対値を算出するとともに、各時刻のＭＰＥＧフレームの音声レベルを算出するＭＰＥＧ解析部と、を有し、
   前記重み制御部は、前記合計値が前記基準最大値に満たない場合、前記ＭＰＥＧ解析部にて算出された前記平均移動量の絶対値が一定期間基準値を超えるか、および／または前記音声レベルが一定期間基準値を超えた場合に、該当するコンテンツに設定した表示重みに、前記基準最大値から前記合計値を差し引いた表示重みの残値を割り当てる、コンテンツ再生システム。
2. 前記フレーム合成部は、副画面に配置するコンテンツの映像については、当該コンテンツの表示重みの値が大きいほど表示サイズを大きくする、請求項１に記載のコンテンツ再生システム。
3. 前記操作情報管理部は、前記クライアント端末から前記操作情報として、主画面と副画面との画面配置パターンをさらに受信し、
   前記フレーム合成部は、前記操作情報管理部にて前記操作情報として受信された画面配置パターンに応じた画面配置で、主画面と副画面とを配置する、請求項１または２に記載のコンテンツ再生システム。
4. 前記操作情報管理部は、前記クライアント端末から前記操作情報として、コンテンツの処理の優先度を示す処理重みの値をさらに受信し、
   前記重み制御部は、前記操作情報管理部にて前記操作情報として受信された各コンテンツの処理重みの値を、各コンテンツに設定し、
   前記フレーム合成部は、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほどコンテンツの映像のフレーム数を少なくし、また、副画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほどコンテンツの映像のフレーム数を少なくし、
   前記符号化部は、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほど前記映像を再符号化する際の映像ビットレートを下げる、請求項１から３のいずれか１項に記載のコンテンツ再生システム。
5. 前記サーバは、
   前記重み制御部にて設定された表示重みの値が最大値で、主画面に配置されるコンテンツの符号化された音声を復号する音声作成処理部をさらに有し、
   前記符号化部は、前記フレーム合成部にてフレーム合成された映像とともに前記音声作成処理部にて復号された音声を再符号化することを行い、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほど前記映像および前記音声を再符号化する際の映像ビットレートおよび音声ビットレートを下げる、請求項４に記載のコンテンツ再生システム。
6. 前記サーバは、
   前記ネットワークの転送容量を測定するネットワーク転送容量測定部をさらに有し、
   前記重み制御部は、主画面に配置するコンテンツの処理重みの値に応じて決定される、前記符号化部による映像ビットレートおよび音声ビットレートの合計値が、前記ネットワーク転送容量測定部にて測定された前記ネットワークの転送容量を超えている場合、主画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項５に記載のコンテンツ再生システム。
7. 前記重み制御部は、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量を超えている場合、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量以下になるまでは、主画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項６に記載のコンテンツ再生システム。
8. 前記サーバは、
   ＣＰＵと、
   前記ＣＰＵの負荷率を測定するＣＰＵ負荷率測定部とをさらに有し、
   前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値を超えている場合、副画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項７に記載のコンテンツ再生システム。
9. 前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値以下になるまでは、副画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項８に記載のコンテンツ再生システム。
10. 前記重み制御部は、副画面に配置する全てのコンテンツの処理重みの値を基準最低値にしても、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値を超えている場合、主画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項９に記載のコンテンツ再生システム。
11. 前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値以下になるまでは、主画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項１０に記載のコンテンツ再生システム。
12. 前記重み制御部は、前記操作情報管理部にて前記操作情報として受信されたコンテンツの処理重みの値が０である場合、当該コンテンツの表示重みの値を０に設定する、請求項４から１１のいずれか１項に記載のコンテンツ再生システム。
13. コンテンツを符号化された状態で取得し、当該コンテンツをクライアント端末にネットワークを介して送信するサーバにおいて、
    コンテンツの符号化された映像を復号する複数の映像作成処理部と、
    コンテンツを示す情報と、当該コンテンツの表示の優先度を示す表示重みの値と、を前記クライアント端末から操作情報として受信する操作情報管理部と、
    前記操作情報管理部にて前記操作情報として受信された各コンテンツの表示重みの値を、各コンテンツに設定する重み制御部と、
    前記複数の映像作成処理部のそれぞれにて復号されたコンテンツのうち前記重み制御部にて設定された表示重みの値が最大値であるコンテンツの映像を主画面に配置し、その他のコンテンツの映像を各コンテンツごとに副画面に配置するフレーム合成を行うフレーム合成部と、
    前記フレーム合成部にて複数のコンテンツがフレーム合成された映像を再符号化し、主画面に配置するコンテンツの符号化された音声とともに、前記ネットワークを介して前記クライアント端末に送信する符号化部と、
    前記重み制御部により、主画面および副画面に配置されたコンテンツに設定された表示重みの値の合計値が基準最大値に満たない場合、コンテンツの符号化された映像および音声がＭＰＥＧデータであれば、副画面に配置されるコンテンツごとに、各時刻のＭＰＥＧフレームの映像を分割した特定のブロックにおける移動方向と移動量とを示すベクトルをサンプルとして抽出し、抽出したベクトルの平均移動量の絶対値を算出するとともに、各時刻のＭＰＥＧフレームの音声レベルを算出するＭＰＥＧ解析部と、を有し、
    前記重み制御部は、前記合計値が前記基準最大値に満たない場合、前記ＭＰＥＧ解析部にて算出された前記平均移動量の絶対値が一定期間基準値を超えるか、および／または前記音声レベルが一定期間基準値を超えた場合に、該当するコンテンツに設定した表示重みに、前記基準最大値から前記合計値を差し引いた表示重みの残値を割り当てる、サーバ。
14. 前記フレーム合成部は、副画面に配置するコンテンツの映像については、当該コンテンツの表示重みの値が大きいほど表示サイズを大きくする、請求項１３に記載のサーバ。
15. 前記操作情報管理部は、前記クライアント端末から前記操作情報として、主画面と副画面との画面配置パターンをさらに受信し、
    前記フレーム合成部は、前記操作情報管理部にて前記操作情報として受信された画面配置パターンに応じた画面配置で、主画面と副画面とを配置する、請求項１３または１４に記載のサーバ。
16. 前記操作情報管理部は、前記クライアント端末から前記操作情報として、コンテンツの処理の優先度を示す処理重みの値をさらに受信し、
    前記重み制御部は、前記操作情報管理部にて前記操作情報として受信された各コンテンツの処理重みの値を、各コンテンツに設定し、
    前記フレーム合成部は、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほどコンテンツの映像のフレーム数を少なくし、また、副画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほどコンテンツの映像のフレーム数を少なくし、
    前記符号化部は、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほど前記映像を再符号化する際の映像ビットレートを下げる、請求項１３から１５のいずれか１項に記載のサーバ。
17. 前記重み制御部にて設定された表示重みの値が最大値で、主画面に配置されるコンテンツの符号化された音声を復号する音声作成処理部をさらに有し、
    前記符号化部は、前記フレーム合成部にてフレーム合成された映像とともに前記音声作成処理部にて復号された音声を再符号化することを行い、主画面に配置するコンテンツの処理重みとして前記重み制御部にて設定された値が一定範囲内にある場合、当該処理重みの値が小さいほど前記映像および前記音声を再符号化する際の映像ビットレートおよび音声ビットレートを下げる、請求項１６に記載のサーバ。
18. 前記ネットワークの転送容量を測定するネットワーク転送容量測定部をさらに有し、
    前記重み制御部は、主画面に配置するコンテンツの処理重みの値に応じて決定される、前記符号化部による映像ビットレートおよび音声ビットレートの合計値が、前記ネットワーク転送容量測定部にて測定された前記ネットワークの転送容量を超えている場合、主画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項１７に記載のサーバ。
19. 前記重み制御部は、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量を超えている場合、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量以下になるまでは、主画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項１８に記載のサーバ。
20. ＣＰＵと、
    前記ＣＰＵの負荷率を測定するＣＰＵ負荷率測定部とをさらに有し、
    前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値を超えている場合、副画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項１９に記載のサーバ。
21. 前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値以下になるまでは、副画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項２０に記載のサーバ。
22. 前記重み制御部は、副画面に配置する全てのコンテンツの処理重みの値を基準最低値にしても、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値を超えている場合、主画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項２１に記載のサーバ。
23. 前記重み制御部は、前記ＣＰＵ負荷率測定部にて測定された前記ＣＰＵの負荷率が基準値以下になるまでは、主画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項２２に記載のサーバ。
24. 前記重み制御部は、前記操作情報管理部にて前記操作情報として受信されたコンテンツの処理重みの値が０である場合、当該コンテンツの表示重みの値を０に設定する、請求項１６から２３のいずれか１項に記載のサーバ。
25. コンテンツを再生するクライアント端末と、コンテンツを符号化された状態で取得し、当該コンテンツを前記クライアント端末にネットワークを介して送信するサーバとを有してなるコンテンツ再生システムによるコンテンツ再生方法であって、
    前記サーバが、コンテンツの符号化された映像を復号するステップと、
    前記クライアント端末が、コンテンツを示す情報と、当該コンテンツの表示の優先度を示す表示重みの値と、を操作情報として送信するステップと、
    前記サーバが、前記操作情報として受信された各コンテンツの表示重みの値を、各コンテンツに設定するステップと、
    前記サーバが、前記復号されたコンテンツのうち表示重みの値が最大値であるコンテンツの映像を主画面に配置し、その他のコンテンツの映像を各コンテンツごとに副画面に配置するフレーム合成を行うステップと、
    前記サーバが、前記フレーム合成された映像を再符号化し、主画面に配置するコンテンツの符号化された音声とともに、前記ネットワークを介して前記クライアント端末に送信するステップと、
    前記サーバが、主画面および副画面に配置されたコンテンツに設定した表示重みの値の合計値が基準最大値に満たない場合、コンテンツの符号化された映像および音声がＭＰＥＧデータであれば、副画面に配置されるコンテンツごとに、各時刻のＭＰＥＧフレームの映像を分割した特定のブロックにおける移動方向と移動量とを示すベクトルをサンプルとして抽出し、抽出したベクトルの平均移動量の絶対値を算出するとともに、各時刻のＭＰＥＧフレームの音声レベルを算出するステップと、
    前記サーバが、前記合計値が前記基準最大値に満たない場合、前記平均移動量の絶対値が一定期間基準値を超えるか、および／または前記音声レベルが一定期間基準値を超えた場合に、該当するコンテンツに設定した表示重みに、前記基準最大値から前記合計値を差し引いた表示重みの残値を割り当てるステップと、を有するコンテンツ再生方法。
26. 前記フレーム合成を行うステップでは、前記サーバが、副画面に配置するコンテンツの映像については、当該コンテンツの表示重みの値が大きいほど表示サイズを大きくする、請求項２５に記載のコンテンツ再生方法。
27. 前記操作情報を送信するステップでは、前記クライアント端末が、前記操作情報として、主画面と副画面との画面配置パターンをさらに送信し、
    前記フレーム合成を行うステップでは、前記サーバが、前記操作情報として受信された画面配置パターンに応じた画面配置で、主画面と副画面とを配置する、請求項２５または２６に記載のコンテンツ再生方法。
28. 前記操作情報を送信するステップでは、前記クライアント端末が、前記操作情報として、コンテンツの処理の優先度を示す処理重みの値をさらに送信し、
    前記サーバが、前記操作情報として受信された各コンテンツの処理重みの値を、各コンテンツに設定するステップをさらに有し、
    前記フレーム合成を行うステップでは、主画面に配置するコンテンツの処理重みとして設定された値が一定範囲内にある場合、当該処理重みの値が小さいほどコンテンツの映像のフレーム数を少なくし、また、副画面に配置するコンテンツの処理重みとして設定された値が一定範囲内にある場合、当該処理重みの値が小さいほどコンテンツの映像のフレーム数を少なくし、
    前記符号化を行うステップでは、主画面に配置するコンテンツの処理重みとして設定された値が一定範囲内にある場合、当該処理重みの値が小さいほど前記映像を再符号化する際の映像ビットレートを下げる、請求項２５から２７のいずれか１項に記載のコンテンツ再生方法。
29. 前記サーバが、表示重みの値が最大値で主画面に配置されるコンテンツの符号化された音声を復号するステップをさらに有し、
    前記符号化を行うステップでは、前記フレーム合成された映像とともに前記復号された音声を再符号化することを行い、主画面に配置するコンテンツの処理重みとして設定された値が一定範囲内にある場合、当該処理重みの値が小さいほど前記映像および前記音声を再符号化する際の映像ビットレートおよび音声ビットレートを下げる、請求項２８に記載のコンテンツ再生方法。
30. 前記サーバが、前記ネットワークの転送容量を測定するステップをさらに有し、
    前記処理重みを設定するステップでは、前記サーバが、主画面に配置するコンテンツの処理重みの値に応じて決定される映像ビットレートおよび音声ビットレートの合計値が、前記ネットワークの転送容量を超えている場合、主画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項２９に記載のコンテンツ再生方法。
31. 前記処理重みを設定するステップでは、前記サーバが、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量を超えている場合、前記映像ビットレートおよび音声ビットレートの合計値が前記ネットワークの転送容量以下になるまでは、主画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項３０に記載のコンテンツ再生方法。
32. 前記サーバが、ＣＰＵの負荷率を測定するステップをさらに有し、
    前記処理重みを設定するステップでは、前記サーバが、前記ＣＰＵの負荷率が基準値を超えている場合、副画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項３１に記載のコンテンツ再生方法。
33. 前記処理重みを設定するステップでは、前記サーバが、前記ＣＰＵの負荷率が基準値以下になるまでは、副画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項３２に記載のコンテンツ再生方法。
34. 前記処理重みを設定するステップでは、前記サーバが、副画面に配置する全てのコンテンツの処理重みの値を基準最低値にしても、前記ＣＰＵの負荷率が基準値を超えている場合、主画面に配置するコンテンツに設定した処理重みの値を小さくする、請求項３３に記載のコンテンツ再生方法。
35. 前記処理重みを設定するステップでは、前記サーバが、前記ＣＰＵの負荷率が基準値以下になるまでは、主画面に配置するコンテンツに設定した処理重みの値を基準最低値まで段階的に小さくする、請求項３４に記載のコンテンツ再生方法。
36. 前記表示重みを設定するステップでは、前記操作情報として受信されたコンテンツの処理重みの値が０である場合、当該コンテンツの表示重みの値を０に設定する、請求項２８から３５のいずれか１項に記載のコンテンツ再生方法。
    

Images