JP5949326B2 - 映像データ配信装置およびそれを含む双方向対話システム - Google Patents

Description

本発明は、所定の伝送手段を介して互いに接続された複数の情報処理端末間の送受信を集中管理する映像データ配信装置と、それを含む双方向対話システムに関するものである。

近年、それぞれが遠隔地（拠点）に配置されたクライアント端末間において双方向対話を実現する通信システム（双方向対話システム）として、例えば特許文献１に開示されたような多地点ＴＶ会議システムなどの研究が盛んに行われている。このような特定の情報処理端末間でのデータ授受を可能にするシステムは、インターネットなど、一般に普及した通信ネットワークを利用することで簡易に構築できる一方、システム内で送受信される情報の機密性を確保する必要がある。

例えば、最近注目されてきたインターネットＶＰＮ（Virtual Private Network）サービスなどは、公衆網であるインターネット（一般のデータ通信回線）上に仮想的に専用回線を構築することで、情報機密性の高いＷＥＢ会議システム等を簡易に提供するサービスである。このようなＶＰＮサービスを利用した会議システムは、複数の拠点にそれぞれ設置されたＶＰＮルータをインターネットを介して接続し、複数の情報処理端末をいずれかの拠点に配置されたＶＰＮルータに接続することで構築される。

特開平０９−１４９３９６号公報

発明者らは、上述の従来技術について詳細に検討した結果、以下のような課題を発見した。すなわち、上記特許文献１に開示されているように、ＭＣＵなどの多地点ＴＶ会議装置等において、複数の送信側情報処理端末からの映像データを別の受信側情報処理端末へ配信する場合、図６（ａ）に示されたように、(送信側の端末数)×（１端末当たりの伝送可能な映像データ量）で規定される通信帯域幅が必要になる。そのため、送信側の端末数が増加すれば、それに応じて必要な通信帯域幅が増加（伝送遅延の発生）してしまうという課題があった。

なお、送信側の端末数増加に対して通信帯域幅を抑える方法としては、例えば、各送信側情報処理端末から送出される映像データの画質を下げる方法や、受信側情報処理端末での表示サイズに応じて送信側情報処理端末から送出される映像データの解像度や画質を調整する方法が行われている。この場合、受信側情報処理端末で表示される映像データの画質劣化が該情報処理端末の操作者（会議参加者）に認識されたり、受信側情報処理端末での映像表示方法が制限されるなどの課題があった。

また、図６（ｂ）に示されたように、各送信側情報処理端末からの映像データを交互に配信する方法では、通信状況に依存して受信側情報処理端末での表示動作に遅延が生じる可能性も十分に考えられる。

本発明は、上述のような課題を解決するためになされたものであり、複数の送信側情報処理端末からの映像データを１以上の受信側情報処理端末へ配信する際、各送信側情報処理端末の映像データの品質劣化を抑えながら、配信データ量を低減することを可能にするための構造を備えた映像データ配信装置、およびそれを含む双方向対話システムを提供することを目的としている。

本発明に係る映像データ配信装置は、所定の伝送手段を介して互いに接続された複数の情報処理端末のうち２以上の送信側情報処理端末からの映像データを該送信側情報処理端末とは別の１以上の受信側情報処理端末へ中継する機能を有し、簡易な装置構成により時間軸方向に沿った細かい映像品質の制御を可能にする。ここで、所定の伝送手段は、インターネットなど、有線、無線を問わず、公衆回線、携帯電話回線等の一般的な通信ネットワークの他、構内ＬＡＮ、家庭内ＬＡＮも含む概念であり、パケットデータの送受信を行う情報処理装置間に位置する通信経路全般を意味する。また、複数の情報処理端末間で送受信される映像データは、時間軸方向に圧縮されることなく該時間軸に沿ってそれぞれ配置された複数の画像フレームにより構成されてもよく、また、時間軸方向にも圧縮された複数の画像フレームにより構成されてもよい。

上述の課題を解決するため、本発明に係る映像データ配信装置は、少なくとも、通信インターフェースと、記憶装置と、制御装置と、を備える。通信インターフェースは、複数の情報処理端末のうち２以上の送信側情報処理端末からの映像データを受信する一方、受信した映像データを１以上の受信側情報処理端末に配信する。記憶装置は、通信インターフェースを介して受信した送信側情報処理端末それぞれからの映像データを格納する。制御装置は、送信側情報処理端末からの映像データそれぞれをスケーラブル圧縮していく。なお、記憶装置は、制御装置が実行するスケーラブル圧縮等の作業エリアとしても利用される。

特に、制御装置は、複数の情報処理端末のうち２以上の送信側情報処理端末それぞれから通信インターフェースを介して受信した映像データ（第１および第２の映像データ）を、１以上の受信側情報処理端末に通信インターフェースを介して配信するとき、各送信側情報処理端末からの映像データの品質を時間軸方向に制御し、高画質と低画質の映像データを組み合わせることで、映像品質の劣化を抑えながら伝送量を削減する。

例えば、複数の情報処理端末のうち第1および第２の送信側情報処理端末それぞれから通信インターフェースを介して第１および第２の映像データを受信したとき、制御装置は、まず、１以上の受信側情報処理端末それぞれに予め割り振られた最大使用帯域幅の範囲内に全データ量が収まるよう時間軸方向に沿って互いに異なるデータ量変動パターンに従って第１および第２の映像データそれぞれのデータ量を個別に変動させながら、これら第１および第２の映像データそれぞれをスケーラブル圧縮していく。その後、制御装置は、時間軸方向に沿って互いに異なるデータ量変動パターンに従ってスケーラブル圧縮された第１および第２の映像データを、通信インターフェースを介して１以上の受信側情報処理端末へ配信する。

なお、スケーラブル圧縮とは、複数の解像度、複数の画質、複数のビットレートなどを１つの圧縮データから取り出せるように、階層的スケーラビリティを持たせて符号化する圧縮方法を意味する。また、複数の送信側情報処理端末からの各映像データに対応付けられたデータ量変動パターンは、時間軸方向に沿ってスケーラブル圧縮される符号量（データ量）を示している。例えば第１および第２の映像データを１以上の受信側情報処理端末に配信する場合、第１の映像データに対応付けられた第１のデータ量変動パターンと第２の映像データに対応付けられた第２のデータ量変動パターンは、スケーラブル圧縮された第１および第２の映像データのデータ量が配信されるべき受信側情報処理端末の最大使用帯域の範囲内において、第１の映像データのデータ量と第２の映像データのデータ量が交互に大きくなるよう設定されている。これは、３以上の送信側情報処理端末からの映像データが受信された場合も同様である。

本発明によれば、上述のように異なる送信側情報処理端末から受信した複数の映像データそれぞれが時間軸方向に沿って高画質部分と低画質部分で構成されるようスケーラブル圧縮が行われる。このようにスケーラブル圧縮された映像データのうち一方の映像データの高画質部分と他方の映像データの低画質部分を組み合わせることで、組み合わされた映像データそれぞれの映像品質の劣化を抑えながら伝送量が削減可能になる。すなわち、複数の送信側情報処理端末からの映像データそれぞれの、時間軸方向に沿った細かい映像品質制御が、簡易な装置構成で可能にする。

本発明に係る映像データ配信装置において、少なくとも２つの送信側情報処理端末からの映像データ（第１および第２の映像データ）を通信インターフェースを介して受信する場合、各送信側情報処理端末からの映像データに対応付けられたデータ量変動パターンでは、時間軸方向に沿って少なくとも２以上のデータ量が設定されるのが好ましい。また、少なくとも３つの送信側情報処理端末からの映像データ（第１〜第３の映像データ）を通信インターフェースを介して受信する場合も、時間軸方向に沿って互いに異なるデータ量変動パターンに従って第１〜第３の映像データそれぞれのデータ量を個別に変動させながら、第１〜第３の映像データそれぞれがスケーラブル圧縮される。なお、２以上更には３以上の映像データをスケーラブル圧縮していく場合、いずれかの映像データのデータ量と別の映像データのデータ量の大小関係が時間軸方向に沿って変更されるのが好ましい。

なお、映像データに対するスケーラブル圧縮は、送信側情報処理端末それぞれにおいて行われてもよい。この場合、制御装置は、送信側情報処理端末からの映像データそれぞれのデータ量を調整していく。具体的に制御装置は、複数の情報処理端末のうち２以上の送信側情報処理端末それぞれから通信インターフェースを介して受信した映像データ（第１および第２の映像データ）を、１以上の受信側情報処理端末に通信インターフェースを介して配信するとき、各送信側情報処理端末からのスケーラブル圧縮された映像データのデータ量を調整することで配信されるべき映像データの品質を時間軸方向に制御し、高画質と低画質の映像データを組み合わせることで、映像品質の劣化を抑えながら伝送量を削減する。

例えば、複数の情報処理端末のうち第1および第２の送信側情報処理端末それぞれから通信インターフェースを介して第１および第２の映像データを受信したとき、制御装置は、まず、１以上の受信側情報処理端末それぞれに予め割り振られた最大使用帯域幅の範囲内に全データ量が収まるよう時間軸方向に沿って互いに異なるデータ量変動パターンに従って第１および第２の映像データそれぞれのデータ量を個別に調整していく。その後、制御装置は、時間軸方向に沿って互いに異なるデータ量変動パターンに従ってそれらデータ量が個別に調整された第１および第２の映像データを、通信インターフェースを介して１以上の受信側情報処理端末へ配信する。

なお、スケーラブル圧縮は、上述のように階層的スケーラビリティを持たせて符号化する圧縮方法である。したがって、スケーラブル圧縮された映像データのデータ量は、各スケーラビリティの階層ごとに取捨選択することにより調整可能である。例えば、送信側情報処理端末それぞれにおいて予めスケーラブル圧縮された第１および第２の映像データを１以上の受信側情報処理端末に配信する場合、第１の映像データに対応付けられた第１のデータ量変動パターンと第２の映像データに対応付けられた第２のデータ量変動パターンは、スケーラブル圧縮された第１および第２の映像データのデータ量が配信されるべき受信側情報処理端末の最大使用帯域の範囲内において、第１の映像データのデータ量と第２の映像データのデータ量が交互に大きくなるよう設定されている。これは、３以上の送信側情報処理端末からの映像データが受信された場合も同様である。

本発明によれば、上述のように異なる送信側情報処理端末から受信した複数の映像データそれぞれが時間軸方向に沿って高画質部分と低画質部分で構成されるようデータ量調整が行われる。このようにスケーラブル圧縮された映像データのうち一方の映像データの高画質部分と他方の映像データの低画質部分を組み合わせることで、組み合わされた映像データそれぞれの映像品質の劣化を抑えながら伝送量が削減可能になる。すなわち、複数の送信側情報処理端末からの映像データそれぞれの、時間軸方向に沿った細かい映像品質制御が、簡易な装置構成で可能にする。

本発明に係る映像データ配信装置において、少なくとも２つの送信側情報処理端末からの映像データ（第１および第２の映像データ）を通信インターフェースを介して受信する場合、各送信側情報処理端末からの映像データに対応付けられたデータ量変動パターンでは、時間軸方向に沿って少なくとも２以上のデータ量が設定されるのが好ましい。また、少なくとも３つの送信側情報処理端末からの映像データ（第１〜第３の映像データ）を通信インターフェースを介して受信する場合も、時間軸方向に沿って互いに異なるデータ量変動パターンに従って第１〜第３の映像データそれぞれのデータ量が個別に調整される。なお、２以上更には３以上のスケーラブル圧縮された映像データのデータ量を調整する場合、いずれかの映像データのデータ量と別の映像データのデータ量の大小関係が時間軸方向に沿って変更されるのが好ましい。

本発明に係る映像データ配信装置において、複数の情報処理端末間で送受信される映像データは、ＪＰＥＧ２０００規格に従った画像フレームにより構成されているのが好ましい。

なお、この発明に係る各実施例は、以下の詳細な説明および添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。

また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明および特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。

本発明によれば、複数の送信側情報処理端末からの映像データを１以上の受信側情報処理端末へ配信する際、各送信側情報処理端末の映像データの品質劣化を抑えながら、配信データ量を低減することが可能になる。また、各送信側情報処理端末の映像データを対応するデータ量変動パターンに従ってスケーラブル圧縮することで、または、各送信側情報処理端末においてスケーラブル圧縮された映像データを対応するデータ量変動パターンに従って個別にデータ量を調整することで、送信側情報処理より簡便な装置を用いて、送信側情報処理端末ごとに時間軸方向の映像品質成分を柔軟に変化させることができる。

本発明に係る双方向対話システムの一実施形態として、複数の情報処理端末間において映像データの配信を実現するためのネットワーク構成を示す図である。 本発明に係る映像データ配信装置の一実施形態の概略構成を示す図である。 複数種類の階層的スケーラビリティを有する映像データ（複数の画像フレームで構成されている）もデータ構造を説明するための図である。 プログレッシブ順序（データ優先度）を説明するための概念図である。 映像データの一配信形態を説明するための図である。 従来の映像データの配信動作を説明するための図である。 本実施形態に係る映像データの配信動作の一例を説明するための図である。 本実施形態により配信された映像データ復号化動作を説明するための図である。

以下、本発明に係る映像データ配信装置の各実施形態を添付図面を参照しながら詳細に説明する。なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。

図１は、本発明に係る双方向対話システムの一実施形態として、複数の情報処理端末間において映像データの配信を実現するためのネットワーク構成を示す図である。図１に示されたネットワーク構成により実現される双方向対話システム、例えばテレビ会議システムは、ネットワーク１０を介して接続された複数の拠点２０Ａ〜２０Ｃに配置された情報処理端末３０Ａ〜３０Ｃ（ＰＣ）を備えるとともに、複数の拠点２０Ａ〜２０Ｃ間において送信側情報処理端末からネットワーク１０を介して受信した映像データを、該ネットワーク１０を介して受信側情報処理端末へ配信する映像データ配信装置１００を備える。なお、各拠点には、複数の情報処理端末を接続するためのルータは配置されてもよい。

拠点Ａ（２０Ａ）では、上記テレビ会議システムへの参加者のうち拠点Ａに所属する参加者が利用する情報処理端末３０Ａ（ＰＣ）がネットワーク１０に接続されている。拠点Ｂ（２０Ｂ）では、上記テレビ会議システムへの参加者のうち拠点Ｂに所属する参加者が利用する情報処理端末３０Ｂ（ＰＣ）がネットワーク１０に接続されている。更に、拠点Ｃ（２０Ｃ）では、上記テレビ会議システムへの参加者のうち拠点Ｃに所属する参加者が利用する情報処理端末３０Ｃ（ＰＣ）がネットワーク１０に接続されている。

また、図２は、図１に示された映像データ配信装置１００の概略構成を示す図である。この図２に示された映像データ配信装置１００は、少なくとも、制御手段である制御装置１１０と、ネットワーク１０との間でデータ授受を行う通信手段である通信インターフェース１２０（通信用Ｉ／Ｏを含む）と、記憶手段であるＮ個（≧１）の記憶装置１３０Ａ〜１３０Ｎと、周辺機器１５０との間でデータ授受を行うデバイスインターフェース１４０（描画装置やデータ送受信用Ｉ／Ｏを含む）を備える。なお、記憶装置１３０Ａ〜１３０Ｎには、情報処理端末としてのＰＣ３０Ａ〜３０Ｃ間で送受信される映像データが一時的に格納される他、制御装置１１０により実行される会議用プログラム等のアップリケーションデータも格納されている。また、記憶装置１３０Ａ〜１３０Ｎは、制御装置１１０が実行する符号化（スケーラブル圧縮）等の作業エリアとしても利用可能である。この映像データ配信装置１００の基本構成は、図１に示されたＰＣ３０Ａ〜３０Ｃの他、ネットワーク１０上のネットワーク資源であるＮＣＵ(Network Control Unit)などの構成と同じでよい。

また、ネットワーク１０は、インターネットなど、有線、無線を問わず、公衆回線、携帯電話回線等の一般的な通信ネットワークの他、構内ＬＡＮや家庭内ＬＡＮも含む概念であり、パケットデータの送受信を行う情報処理装置３０Ａ〜３０Ｃ間に位置する通信経路全般を意味する。

周辺機器１５０には、例えば外部記憶装置、キーボードやポインティングデバイスなどの入力装置、表示装置も含まれる。

なお、本実施形態に係る映像データ配信装置１００（図２）は、複数種類の階層的スケーラビリティを有する映像データ（複数の画像フレームで構成されている）を配信対象（各画像フレームがスケーラブル圧縮される）としている。以下、簡単のため、階層的スケーラビリティを有するディジタルデータの具体例として、画像圧縮の国際標準であるＪＰＥＧ２０００の各パケットの符号化について説明する。なお、ＪＰＥＧ２０００はスケーラビリティの種類に対して優先順位を与えることが可能である。符号化列においてこの順位は、データ単位であるパケットの構成順序(プログレッション順序)として表現される。このプログレッション順序を決定する要素としては、レイヤ（Ｌ）、解像度レベル（Ｒ）、コンポーネント（Ｃ）およびポジション（Ｐ）の４種類のスケーラビリティがある。

図３は、複数種類の階層的スケーラビリティを有する画像データのデータ構造を説明するための概念図であって、ＪＰＥＧ２０００のスケーラビリティのうちアクセス制御対象となるスケーラビリティを、レイヤ（Ｌ）および解像度レベル（Ｒ）のみに制限したときの（濃淡画像の場合）、ＪＰＥＧ２０００におけるパケット符号化列の復号パターンを示す。具体的に、図３において、レイヤ（スケーラビリティＬ）の階層数Ｎ_Ｌは３、解像度レベル（スケーラビリティＲ）の階層数Ｎ_Ｒは３である。なお、レイヤは、画質レイヤとも言われ、画像再生時におけるＳＮＲ（Signal/Noise Ratio）に対応した、ディジタル画像の算術符号化データを意味する。画質への影響が高い情報ほど高位のレイヤに含まれるため、上位レイヤのデータに対して下位レイヤのデータを追加していくことで段階的に再生画像の品質を向上させることができる。

図３において、Ｐ_ｉ，ｊ（ｉ＝０，…，Ｎ_Ｌ−１；ｊ＝０，…，Ｎ_Ｒ−１；ｉはスケーラビリティＬの階層番号；ｊはスケーラビリティの階層番号）は、画像情報をもつＪＰＥＧ２０００パケットを表す。ある品質のＪＰＥＧ２０００符号化画像をＱ_Ｌ，Ｒで表すと、Ｑ_Ｌ，Ｒを得るためには図３の枠Ａで囲まれたパケットＰ_ｉ，ｊ（ｉ＝０，…，Ｌ；ｊ＝０，…，Ｒ）すべてが復号化される必要がある。ただし、受信側においてパケットＰ_ｉ，ｊ少なくともいずれかが復号化されれば、画像の正常再生には問題はない。したがって、ＱｏＳ機能などのアクセス制御において階層性を保持するため、パケットＰ_ｉ，ｊは個別に符号化される（スケーラブル圧縮）。

上述のようなＪＰＥＧ２０００において、プログレッション順序（データ優先度）には、ＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、およびＣＰＲＬの５種類あり、それぞれ先頭の要素から順に優先される。図４は、図３に示されたＪＰＥＧ２０００パケット符号化列を復号する際の優先順位を示すプログレッシブ順序を説明するための概念図である。特に、図４（ａ）は、スケーラビリティＬ（レイヤ）が最優先されたＬＲＣＰプログレッション順序における復号順序であり、図４（ｂ）は、スケーラビリティＲ（解像度レベル）を最優先させたＲＬＣＰのプログレッション順序における復号順序である。

次に、本実施形態に係る映像データ配信装置１００が適用された図１のネットワーク構成を有するテレビ会議システムにおける映像データ配信動作を、図５を参照しながら詳細に説明する。なお、以下の例では、当該映像データ中継装置１００においてスケーラブル圧縮が行われる実施形態に相当するが、送信側情報処理端末において送信されるべき映像データに対するスケーラブル圧縮が行われてもよい。すなわち、既に送信側情報処理端末でスケーラブル圧縮された映像データを中継する場合、当該映像データ中継装置１００では、映像データの階層構造を利用してデータ量調整が可能になる。具体的には、受信側情報処理端末へ送信すべき階層レベルをスケーラビリティごとに選択することで、既に送信側情報処理端末でスケーラブル圧縮された映像データのデータ量調整が可能になる。

例えば、図５には、拠点Ａ（２０Ａ）の情報処理端末３０Ａが映像データＡを当該映像データ配信装置１００へ送信する送信側情報処理端末となり、拠点Ｂ（２０Ｂ）の情報処理端末３０Ｂが映像データＢを当該映像データ配信装置１００へ送信する送信側情報処理端末となり、また、拠点Ｃ（２０Ｃ）の情報処理端末３０Ｃが当該映像データ配信装置１００から配信された映像データＡおよび映像データＢ（図５では「Ａ＋Ｂ」で示されている）を受信する受信側情報処理端末となった構成が示されている。

図５の例において、映像データ配信装置１００から映像データ（Ａ＋Ｂ）が拠点Ｃの受信側情報処理端末３０Ｃに到達すると、受信側情報処理端末３０Ｃは、受信された映像データ（Ａ＋Ｂ）を、送信側情報処理端末３０Ａからの映像データＡと、送信側情報処理端末３０Ｂからの映像データＢに分離する。さらに、受信側情報処理端末３０Ｃは、最終的に受信した映像データＡおよび映像データＢ（映像データ配信装置１００の制御装置１１０により、画像フレームごとにスケーラブル圧縮されている）をそれぞれ復号化する。そして、映像データＡおよび／または映像データＢの復号化データがモニタ等に表示される（一旦、記録装置に格納されてもよい）。

なお、送信側の端末数は、３以上であってもよい。また、受信側の端末数も２以上であってもよい。

なお、映像データ配信装置１００における映像データ（Ａ＋Ｂ）の従来の配信動作は、上述のように（図６（ａ）および図６（ｂ）参照）、受信側情報処理端末に予め割り当てられた使用帯域幅を超えたり、情報処理端末側での表示遅延が生じる可能性が高い。

そこで、本実施形態に係る映像データ配信装置１００は、複数の情報処理端末のうち２以上の送信側情報処理端末（図５の例では、送信側情報処理端末３０Ａ、３０Ｂ）それぞれから通信インターフェース１２０を介して受信した映像データＡおよび映像データＢを、１以上の受信側情報処理端末（図５の例では、受信側情報処理端末３０Ｃ）に通信インターフェース１２０を介して配信するとき、図７に示されたように、各送信側情報処理端末３０Ａ、３０Ｂからの映像データＡおよび映像データＢの品質を時間軸方向に制御し、高画質と低画質の画像フレーム（符号化データ）を組み合わせることで、映像品質の劣化を抑えながら伝送量を削減する。具体的には、映像データＡの画像フレームのうち高画質の符号化データと映像データＢの画像フレームのうち低画質の符号化データとが組み合わされると、次の組み合わせでは、映像データＡの低画質の符号化データと映像データＢの高画質の符号化データとが組み合わされる。なお、図７は、本実施形態に係る映像データの配信動作の一例を説明するための図である。

例えば、図５のネットワーク構成のように、２つの送信側情報処理端末３０Ａ、３０Ｂそれぞれから送信された映像データＡおよび映像データＢを、１つの受信側情報処理端末３０Ｃへ配信する場合を考える。

このとき、送信側情報処理端末３０Ａから送信された映像データＡには、スケーラブル圧縮後のデータ量が７０％→３０％→７０％→３０％→のように変動するデータ量変動パターンが設定される。なお、図７において、Ａ１はデータ量が７０％になるようにスケーラブル圧縮された画像フレーム（符号化データ）であり、Ａ２はデータ量が３０％になるようにスケーラブル圧縮された画像フレーム（符号化データ）である。一方、送信側情報処理端末３０Ｂから送信された映像データＢには、スケーラブル圧縮後のデータ量が３０％→７０％→３０％→７０％→のように変動するデータ量変動パターンが設定される。なお、映像データＡおよび映像データＢの合計データ量が受信側情報処理端末３０Ｃに予め割り振られた最大使用帯域幅の範囲内に収まっている。

一方、図７に示されたように、データ量が交互に変動する映像デーやＡおよび映像データＢが配信された受信側情報処理端末３０Ｃは、映像データＡと映像データＢを分離する。

図８は、受信側情報処理端末３０Ｃにおける映像データＡの表示動作を説明するための図である。図８に示されたように、当該受信側情報処理端末３０Ｃは、受信映像データ（映像データＡ＋Ｂ）から分離した映像データＡ（画像フレームごとにスケーラブル圧縮された符号化データＡ）を画像フレームごとに復号化し、これら復号化された画像フレームを表示用サイズに調整し、順次ディスプレイに表示していく。なお、図８に示された画像フレームＦ１は、データ量が７０％になるようにスケーラブル圧縮された符号化データに対応した復号化データであり、表示サイズの調整が少ないため、画質劣化（解像度）は小さい。一方、画像フレームＦ２は、データ量が３０％になるようにスケーラブル圧縮された符号化データに対応した復号化データであり、表示サイズの調整が大きいため、画質劣化（解像度）が大きくなる。このように、受信側情報処理端末３０Ｃでは、高速に更新される画像フレームの中で、高画質フレームの間に低画質フレームが混じった状態で表示される。そのため、ディスプレイ上に低画質の画像フレームが表示されたとしても、観察者の感覚として画質劣化は認識しづらい。以上のように本実施形態によれば、映像データＡ＋Ｂが配信された受信側情報処理端末３０Ｃでは、配信される映像データ全体のデータ量を従来（図６（ａ））よりも半減させた状態で、送信側情報処理端末Ａからの映像データＡおよび送信側情報処理端末Ｂからの映像データＢの双方を、画質劣化を抑えながら同時に見ることが可能になる。

なお、時間軸方向に沿って制御する映像品質の成分は、画質であっても解像度成分であってもよい。また、時間軸方向の映像品質の程度の組み合わせは、任意の品質を採用することができ、その品質は、例えば７０％→６０％→３０％のように、段階的に変化しでもよい。

更に、送信側情報処理端末から送信される映像データそれぞれの重要度に応じて、優先される送信側情報処理端末からの映像データの割合（最大使用帯域幅に対するデータ量比率）が、他の送信側情報処理端末よりも大きくなるよう設定されてもよい。

上述の実施形態では、２つの送信側情報処理端末からの映像データを配信する例が示されているが、３以上の送信側情報処理端末からの映像データを、１以上の受信側情報処理端末へ配信する場合であっても、上述のように（図７参照）、時間軸方向に沿って異なる品質割合（データ量比率）を組み合わせればよい。

さらに、映像データが時間軸方向に圧縮されている場合であっても、次画像フレームのデータ量が基準データ量（最大使用帯域幅）に満たなければ、前画像フレームに対するスケーラブル圧縮でカットされた画質成分が、次画像フレームの符号化データに充足されることで、該次画像フレームの符号化データと一緒に配信される構成が採用されてもよい。

以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。

１０…ネットワーク、２０Ａ〜２０Ｃ…拠点、３０Ａ〜３０Ｃ…情報処理端末（ＰＣ）、１００…映像データ配信装置、１１０…制御装置、１２０通信インターフェース、１３０Ａ〜１３０Ｎ…記憶装置。

Claims (9)

1. 所定の伝送手段を介して互いに接続された複数の情報処理端末間で送受信される映像データを中継する映像データ配信装置において、
   前記複数の情報処理端末との間で前記映像データの送受信を行うための通信インターフェースと、
   前記通信インターフェースを介して受信した送信側情報処理端末からの映像データを格納する記憶装置と、
   前記送信側情報処理端末からの映像データをスケーラブル圧縮する制御装置と、を備え、
   前記制御装置は、
   前記複数の情報処理端末のうち少なくとも第1および第２の送信側情報処理端末それぞれから前記通信インターフェースを介して受信した第１および第２の映像データを、１以上の受信側情報処理端末に前記通信インターフェースを介して配信するとき、
   前記１以上の受信側情報処理端末それぞれに予め割り振られた最大使用帯域幅の範囲内に全データ量が収まるよう時間軸方向に沿って互いに異なるデータ量変動パターンに従って前記第１および第２の映像データそれぞれのデータ量を個別に変動させながら、前記第１および第２の映像データそれぞれをスケーラブル圧縮していき、
   前記時間軸方向に沿って互いに異なるデータ量変動パターンに従ってスケーラブル圧縮された前記第１および第２の映像データを、前記通信インターフェースを介して前記１以上の受信側情報処理端末へ配信する、
   ことを特徴とする映像データ配信装置。
2. 所定の伝送手段を介して互いに接続された複数の情報処理端末間で送受信される映像データを中継する映像データ配信装置において、
   前記複数の情報処理端末との間で前記映像データの送受信を行うための通信インターフェースと、
   前記通信インターフェースを介して受信した送信側情報処理端末からの映像データであって、前記送信側情報処理端末においてスケーラブル圧縮された映像データを格納する記憶装置と、
   前記送信側情報処理端末からのスケーラブル圧縮された映像データを、前記通信インターフェースを介して所望の受信側情報処理端末へ配信するための制御装置と、を備え、
   前記制御装置は、
   前記複数の情報処理端末のうち少なくとも第1および第２の送信側情報処理端末それぞれから前記通信インターフェースを介して受信した、それぞれがスケーラブル圧縮された第１および第２の映像データを、１以上の受信側情報処理端末に前記通信インターフェースを介して配信するとき、
   前記１以上の受信側情報処理端末それぞれに予め割り振られた最大使用帯域幅の範囲内に全データ量が収まるよう時間軸方向に沿って互いに異なるデータ量変動パターンに従って前記第１および第２の映像データそれぞれのデータ量を個別に調整していき、
   前記時間軸方向に沿って互いに異なるデータ量変動パターンに従ってデータ量が調整された前記第１および第２の映像データを、前記通信インターフェースを介して前記１以上の受信側情報処理端末へ配信する、
   ことを特徴とする映像データ配信装置。
3. 前記第１および第２の映像データの各データ量変動パターンでは、前記時間軸方向に沿って少なくとも２以上のデータ量が設定されることを特徴とする請求項１または２に記載の映像データ配信装置。
4. 前記制御装置は、前記第１および第２の送信側情報処理端末とは異なる第３の送信側情報処理端末からの第３の映像データを、前記第１および第２の映像データとともに前記通信インターフェースを介して受信し、
   前記時間軸方向に沿って互いに異なるデータ量変動パターンに従って前記第１〜第３の映像データそれぞれのデータ量を個別に変動させながら、前記第１〜第３の映像データそれぞれをスケーラブル圧縮していくことを特徴とする請求項１または３に記載の映像データ配信装置。
5. 前記制御装置は、前記複数の情報処理端末のうち送信側情報処理端末となったいずれかからの映像データのデータ量が他の送信側情報処理端末からの映像データのデータ量よりも多くなるよう、前記第１および第２の映像データそれぞれをスケーラブル圧縮することを特徴とする請求項１、３、４のいずれか一項に記載の映像データ配信装置。
6. 前記制御装置は、前記第１および第２の送信側情報処理端末とは異なる第３の送信側情報処理端末からの第３の映像データを、前記第１および第２の映像データとともに前記通信インターフェースを介して受信し、
   前記時間軸方向に沿って互いに異なるデータ量変動パターンに従って前記第１〜第３の映像データそれぞれのデータ量を個別に調整することを特徴とする請求項２または３に記載の映像データ配信装置。
7. 前記制御装置は、前記複数の情報処理端末のうち送信側情報処理端末となったいずれかからの映像データのデータ量が他の送信側情報処理端末からの映像データのデータ量よりも多くなるよう、前記第１および第２の映像データそれぞれのデータ量を個別に調整することを特徴とする請求項２、３、６のいずれか一項に記載の映像データ配信装置。
8. 前記複数の情報処理端末間で送受信される映像データは、ＪＰＥＧ２０００規格に従った画像フレームにより構成されていることを特徴とする請求項１〜７のいずれか一項に記載の映像データ配信装置。
9. 請求項１〜８のいずれか一項に記載の映像データ配信装置を含む双方向対話システム。

Images