JP7114927B2 - 通信装置、通信方法及び通信プログラム、管理装置 - Google Patents

Description

本発明は、通信装置、通信方法及び通信プログラムに、管理装置関し、例えば、映像情報や音情報等を含むマルチメディアデータを配信元から複数ユーザーへ配信を行う配信システムに適用し得る。

近年、情報通信技術の発達により、遠隔の離れた場所にいる者同士があたかも同じ場所にいるかのようにコミュニケーションしたり、共同作業を行ったりする技術が注目されている。複数の映像や音声等の情報を、複数の場所や複数のユーザーに配信することによりこれら遠隔の複数者間のコミュニケーションを実現している。

映像や音声等のデータを複数のユーザーに配信する場合、ビデオカメラ等の映像ソースや、マイク等の音声ソースからのマルチメディアデータを持つ配信元から、これらのデータを要求するユーザーに対してＩＰパケット等を用いたユニキャスト通信で配信する方法が用いられる。

このようなユニキャスト通信では、同じデータを要求するユーザー数が増加すると、配信サーバーでは、ユーザー数に応じたユニキャスト通信路の数だけ同じデータを複製して配信するため、ネットワークの帯域幅を浪費して十分な数のユーザーに配信できないという問題がある（図２参照）。また、ユニキャスト通信ではなくマルチキャスト通信を用いてデータの複製を配信経路の途中のルーターで行うことによりネットワーク帯域の浪費を防止する方法もあるが、経路上のすべてのルーターがマルチキャスト通信に対応する必要があり、一般には普及していない（図３参照）。

このような問題への対策として、アプリケーションレベルマルチキャストと呼ばれる方法が知られている。これは、配信を受けているユーザーが中継ノードとなり、さらに別のユーザーに対して再配信することにより、ユーザーのアプリケーションのみで多数のユーザーへのマルチキャストを実現する方法である（図４参照）。

このようなアプリケーションレベルマルチキャストでは、配信経路をいかに構築するかがシステム全体の配信性能に大きく影響する。

特許文献１では、アプリケーションレベルマルチキャストを用いて配信を行う配信ツリーを、配信パスのスループット等を計測することによって、状況に応じて配信ツリーを切り替えてして方法などが開示されている。

特開２００７－２３５６８１号公報

このようなアプリケーションレベルマルチキャストを用いて、多数のユーザーに高解像度の映像を配信する場合で、各ユーザーは配信される映像のうち、それぞれが選択した一部分のみを表示しているような用途を想定する。例えば、オフィス全体を俯瞰するような映像を配信し、各ユーザーはそれぞれが興味を持っている部署や人が映った部分のみを表示している場合、あるいは、スポーツの競技場全体の映像が配信されており、各ユーザーは興味のあるプレーや選手の部分を表示している場合、あるいは、３６０度全方向の映像が配信されており、各ユーザーはそれぞれの視線方向の画角のみを表示している場合などである（図５参照）。

このような用途を想定すると、従来のアプリケーションレベルマルチキャスト技術では、全ユーザーに対して、配信映像全体を高解像度に配信することとなり、例えは配信ツリーの末端のユーザーにも、そのユーザーでは表示されない部分を含めて高解像度に配信されることとなり、ネットワーク帯域が浪費されたり、また、ネットワーク品質によっては画質を低下させて配信せざるを得ない状況となるという課題があった。

本発明は、前記課題を解決するためになされたものであり、次のような構成を採用する。

第１の本発明に係る通信装置は、ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置において、（１）配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、（２）領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、（３）領域情報管理部で管理される各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、（４）上位通信装置から映像データを受信する受信部と、（５）自装置の表示領域情報に基づいて、受信した映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、（６）領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、映像データを映像加工する映像加工部と、（７）映像加工部により映像加工された加工後映像データを送信する再送信部とを備えることを特徴とする。

第２の本発明に係る通信装置は、ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信装置において、（１）配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、（２）領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、（３）領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する映像データを映像加工する映像加工部と、（４）映像加工部により映像加工された加工後映像データを送信する送信部とを備えることを特徴とする。

第３の本発明に係る通信方法は、ツリー構成の配信経路で映像データをマルチキャスト配信する通信方法において、（１）領域情報受信部が、配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、（２）領域情報管理部が、領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理し、（３）領域情報送信部が、領域情報管理部で管理される各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、配信経路の上位に位置している上位通信装置に送信し、（４）受信部が、上位通信装置から映像データを受信し、（５）表示領域抽出部が、自装置の表示領域情報に基づいて、受信した映像データから表示領域を抽出して表示データを出力し、（６）映像加工部が、領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、映像データを映像加工し、（７）再送信部が、映像加工部により映像加工された加工後映像データを送信することを特徴とする。

第４の本発明に係る通信方法は、ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信方法において、（１）領域情報受信部が、配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、（２）領域情報管理部が、領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理し、（３）映像加工部が、領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する映像データを映像加工し、（４）送信部が、映像加工部により映像加工された加工後映像データを送信することを特徴とする。

第５の本発明に係る通信プログラムは、ツリー構成の配信経路で映像データをマルチキャスト配信する通信プログラムにおいて、コンピュータを、（１）配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、（２）領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、（３）領域情報管理部で管理される各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、（４）上位通信装置から映像データを受信する受信部と、（５）自装置の表示領域情報に基づいて、受信した映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、（６）領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、映像データを映像加工する映像加工部と、（７）映像加工部により映像加工された加工後映像データを送信する再送信部として機能させることを特徴とする。

第６の本発明に係る通信プログラムは、ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信プログラムにおいて、コンピュータを、（１）配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、（２）領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、（３）領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する映像データを映像加工する映像加工部と、（４）映像加工部により映像加工された加工後映像データを送信する送信部として機能させることを特徴とする。

第７の本発明に係る管理装置は、ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置を管理する管理装置において、（１）配信元の通信装置と映像データを受信する１又は複数の通信装置との間の配信経路を決定し、当該配信経路を構成する各通信装置に配信パスの通信路の設定を指示する通信路設定部と、（２）各通信装置間の表示領域情報を含む領域情報の送受信を中継する中継部と、（３）各通信装置の表示領域情報を含む領域情報を管理する領域情報管理部とを備え、各通信装置から送信される領域情報は、当該通信装置の表示領域情報を含む領域情報のみとし、領域情報管理部が、各通信装置に通知する子ノード以下の下位の通信装置の表示領域情報を含む領域情報を通知することを特徴とする。

本発明によれば、以下のような効果が得られる。

配信元ノードおよび受信ノードの映像加工部において、子ノードやその子孫ノードのいずれにおいても表示領域とならない領域に対してのみ、送信部や再送信部で用いられる映像符号化技術による発生符号量を低減する効果のある映像加工を行うので、各受信ノードで表示される映像については映像加工による悪影響を与えることなく、子ノードに対して送信される送信データや再送信データの情報量を削減することができる。また、ネットワーク帯域に余裕ができるため、より高画質の映像符号化を施すことが可能となり、各受信ノードで出力される表示領域の映像データを高画質化することが可能となる。

実施形態に係る受信ノードの内部構成を示す内部構成図である。 ユニキャスト通信を説明する説明図である。 マルチキャスト通信を説明する説明図である。 アプリケーションレベルマルチキャスト配信を説明する説明図である。 アプリケーションレベルマルチキャストによる映像の部分表示領域データの配信を説明する説明図である。 実施形態に係る映像配信システムの全体構成を示す全体構成図である。 実施形態に係る配信元ノードの内部構成を示す内部構成図である。 実施形態において子ノードから親ノードへの領域情報の送受信を説明する説明図である。 実施形態において親ノードから子ノードへの配信データの配信を説明する説明図である。

（Ａ）主たる実施形態
以下では、本発明に係る通信装置、通信方法及び通信プログラム、管理装置の実施形態を、図面を参照しながら詳細に説明する。

（Ａ－１）実施形態の構成
［全体構成］
図６は、実施形態に係る映像配信システムの全体構成の一例を示す全体構成図である。

図６において、実施形態に係る映像配信システム１は、映像配信管理サーバー１０、配信元ノード２０、受信ノード３０（３０－１～３０－５）を有する。

実施形態に係る配信システム１は、ツリー構造のネットワークを形成しており、アプリケーションレベルマルチキャストを用いてメディアデータを配信する。

以下では、配信ツリーにおいて、配信元ノード２０から受信ノード３０側へのデータの流れを下流とし、逆に受信ノード３０から配信元ノード２０側へのデータの流れを上流とする。

配信ツリーにおいて、ある受信ノード３０から上流側に位置しており、直接通信するノード（配信元ノード２０あるいは他の受信ノード３０）を「親ノード」と呼び、ある受信ノード３０から下流側に位置しており直接通信するノード（他の受信ノード３０）を「子ノード」と呼ぶ。また、配信ツリーにおいて、自装置３０の親ノードのさらに上流側に位置する親ノードを総称して「祖先ノード」とも呼び、自装置３０の子ノードのさらに下流側に位置する子ノードを「子孫ノード」とも呼ぶ。

アプリケーションレベルマルチキャストは、複数のノードにデータを配信する手法の１つである。アプリケーションレベルマルチキャストの配信手法は、配信元ノード（もしくはサーバー）の負荷を低減しつつ複数の配信先である受信ノードに配信する方法である。一般にはデータの種類として映像音声を含む多種多様なものをサポートすることができ、またリアルタイムのライブ配信にも蓄積型の配信にも対応することが可能である。

また、複数のノードにデータを配信する手法として、ＩＰマルチキャスト技術がある。ＩＰマルチキャスト技術は、ＩＰ層において配信データの経路制御や複製処理を行う手法である。ＩＰマルチキャスト技術では、配信経路上のルーターがデータの複製処理を行うので、配信先の受信ノードが増えても、配信元ノードの負荷が増大しない。プロトコルとしては、ＩＰｖ４ではＩＧＭＰ、ＩＰｖ６ではＭＤＬｖ２と呼ばれるものが使われる。欠点としては、配信元ノードから配信先の受信ノードまでの経路上のルーターがすべてこれらの特別なプロトコルを処理できる必要が有ることである。ＩＰマルチキャストを可能にするインフラストラクチャはまだ普及しているとは言えず、特に企業内ネットワークでは普及していない。

アプリケーションレベルマルチキャスト技術は、ＩＰマルチキャストと同様に、経路上の装置がデータを複製することによって配信元端末の負荷増大を抑え、配信先の受信ノード数の増大に対処する手法である。アプリケーションレベルマルチキャスト技術とＩＰマルチキャスト技術との違いは、データ複製を配信先の受信ノードが行う点である。

配信元ノード２０が配信するメディアデータは、この実施形態では映像情報を含む場合を例示するが、音情報（音声や音響を含む音に関する情報）を含むものであってもよい。

映像配信管理サーバー１０は、配信元ノード２０と受信ノード３０の間の映像配信ツリーの構成を管理する。映像配信管理サーバー１０は、ネットワークに新規の受信ノード３０が参加するときや受信ノード３０が離脱するときなどのように、配信ツリーの再構成が必要なときに、配信元ノード２０や各受信ノード３０に対して配信ツリーの再構成を指示する。また、後述する受信ノード３０や配信元ノード２０の間の領域情報の送受信は、直接ノード間で送受信しても良いが、映像配信管理サーバー１０が領域情報の送受信の仲介をするような構成としても良い。

映像配信管理サーバー１０は、配信ツリーを構成する配信元ノード２０と受信ノード３０との間の配信ツリーを決定し、各ノード（配信元ノード２０、受信ノード３０）に対して配信ツリーを構成する各ノード間の配信パスの通信路の設定を指示する通信路設定部と、ノード間の領域情報の送受信を中継する中継部と、各受信ノード３０の表示領域情報を含む領域情報を管理する領域情報管理部とを有する。映像配信管理サーバー１０は、各受信ノード３０から領域情報を取得するが、そのとき各受信ノード３０から送信される領域情報には、その受信ノード３０の表示領域情報のみが含まれる。また、受信ノード３０や配信元ノード２０に通知する子ノード以下の領域情報を、映像配信管理サーバー１０が通知する。つまり、映像配信管理サーバー１０は、受信ノード３０や配信元ノード２０に対して領域情報を通知するが、その受信ノード３０や配信元ノード２０の子ノードや孫ノードなどの子孫となるノードの領域情報を、映像配信管理サーバー１０が受信ノード３０や配信元ノード２０に対して通知するようにしてもよい。

配信元ノード２０は、配信したい映像のコンテンツデータや、ビデオカメラ等の映像ソースからの映像データ等の映像情報を、各受信ノード３０に配信する。配信元ノード２０は、映像配信管理サーバー１０の指示に応じて、複数の受信ノード３０のうち、直接の配信先となる受信ノード３０のそれぞれに、配信したい映像情報に対して受信ノード３０から通知される領域情報に応じた加工処理を行った映像情報の送信を行う。

受信ノード３０（３０－１～３０－５）は、自装置よりも上流側に位置しているノード（例えば、配信元ノード２０、他の受信ノード３０）から、通信回線を介して映像情報を受信し、自装置の表示領域情報に従って、受信した映像のフレーム内の表示領域を抽出し、その抽出した表示領域の映像を表示する。また、受信ノード３０は、映像配信管理サーバー１０の指示に応じて、自装置を親ノードとしている他の受信ノード３０（すなわち、自装置の各子ノード）のそれぞれに、受信した映像情報に対して、他の受信ノード３０から通知される領域情報に応じた加工処理を行い、加工処理後の映像情報の再配信を行う。受信ノード３０は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、ウェラブル端末等を適用することができる。

なお、図６において、配信元ノード２０は複数存在してもよく、映像配信管理サーバー１０では配信ツリーをそれぞれの配信元ごと（配信したい映像コンテンツごと）に管理する。例えば、複数の拠点にそれぞれ配信元ノード２０を配置し、複数拠点間で双方向に情報を配信しあうことでコミュニケーションを実現するような構成としてもよい。

［受信ノード３０の内部構成］
図１は、実施形態に係る受信ノード３０の内部構成を示す内部構成図である。

図１において、実施形態に係る受信ノード３０は、受信部３０１、表示領域抽出部３０２、映像加工部３０３、再送信部３０４、領域情報受信部３０５、領域情報管理部３０６、領域情報送信部３０７を備える。

受信ノード３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース部、通信装置などを備えるものであり、ＣＰＵがＲＯＭに格納される、あるいは、サーバーからダウンロードされる処理プログラム（通信プログラム）を実行することにより、後述する受信ノード３０としての各種機能が実現される。

受信部３０１は、自装置３０の親ノード（配信元ノード２０若しくは他の受信ノード３０）から映像を含む配信データを受信するものである。ツリー構造を構築している映像配信システム１で、配信元ノード２０又は配信元ノード２０に近い位置にあるノードを親ノードとする。

表示領域抽出部３０２は、自装置３０のユーザーにより指示された表示領域情報が取得されており、受信部３０１により受信された映像から、ユーザーから指示された表示領域情報に基づいて表示データを抽出し、その表示データを出力する。

映像加工部３０３は、自装置３０が子ノード（他の受信ノード３０）に再配信を行う中継ノードとして機能する場合に、領域情報管理部３０６に保持されている子ノードやその子孫ノードの表示領域情報を含む領域情報を読み出し、その子ノードやその子孫ノードの表示領域情報を含む領域情報に基づいて、映像を加工して子ノードへの配信用映像とし、その配信用映像を再送信部３０４に与える。

再送信部３０４は、映像加工部３０３により加工された子ノードへの配信用映像を、子ノードに配信するものである。

領域情報受信部３０５は、自装置３０の子ノードやその子孫ノード（すなわち、ツリー構造の映像配信システム１で子ノード以下のツリーを構成する他の受信ノード３０）から表示領域情報を含む領域情報を受信し、その表示領域情報を含む領域情報を領域情報管理部３０６に与える。

領域情報管理部３０６は、ユーザーにより指示された自装置３０の表示領域情報と、領域情報受信部３０５により受信された領域情報とを管理する。

領域情報送信部３０７は、領域情報管理部３０６で保持されている領域情報から、自装置３０の表示領域情報を含む領域情報や、子ノード若しくはその子孫ノードの表示領域情報を含む領域情報を、親ノードに送信する。

［配信元ノード２０の内部構成］
図７は、実施形態に係る配信元ノード２０の内部構成を示す内部構成図である。

図７において、実施形態に係る配信元ノード２０は、映像加工部２０３、送信部２０４、領域情報受信部２０５、領域情報管理部２０６を有する。

配信元ノード２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、入出力インタフェース部、通信装置などを備えるものであり、ＣＰＵがＲＯＭに格納される、あるいは、サーバーからダウンロードされる処理プログラム（通信プログラム）を実行することにより、後述する配信元ノード２０としての各種機能が実現される。

映像加工部２０３は、配信したい映像を含む配信データを取得し、領域情報管理部２０６に保持されている子ノードやその子孫ノードの表示領域情報を含む領域情報に基づいて映像を加工して配信用映像を生成し、自装置２０から直接配信を受ける子ノード（受信ノード３０）への配信用映像を送信部２０４に与える。

送信部２０４は、映像加工部２０３により加工された配信用映像を含む送信データを送信するものである。

領域情報受信部２０５は、子ノードやその子孫ノード（配信ツリー上の子ノード以下のツリーを構成する受信ノード３０）の表示領域情報を含む領域情報を子ノードから受信し、その受信した領域情報を領域情報管理部２０６に与える。

領域情報管理部２０６は、領域情報受信部２０５により受信された子ノードやその子孫ノードから受信した領域情報を管理する。

（Ａ－２）実施形態の動作
次に、実施形態に係る映像配信システム１における映像を含む配信データの配信処理を、図面を参照しながら詳細に説明する。

図６に示すように、配信したい映像情報の配信元である配信元ノード２０から、映像情報の受信者である（複数の）受信ノード３０に対してアプリケーションレベルマルチキャストを用いて映像情報の配信を行う。

映像情報の配信経路となる配信ツリーの構成状態は映像配信管理サーバー１０が管理しており、配信元ノード２０や受信ノード３０との間で、各ノードに関するノード情報や配信ツリーの構成に関わる情報をやり取りすることにより、動的なノードの追加や離脱に応じた配信ツリーの再構築を行う。具体的な配信ツリーの構成に関わる情報の内容や、具体的な配信パスとなる通信路を設定するためのシグナリング等については任意の方法を用いることができる。例えば映像配信管理サーバー１０がノード間の通信路設定のためのシグナリングを中継するシグナリングサーバーを兼務するような構成としても良いし、また例えば、受信ノード３０や配信元ノード２０の間の領域情報の送受信を行うための通信路の設定のためのシグナリングサーバーを兼務したり、あるいは、ノード間では領域情報を直接送受信せず、ノード間の領域情報の送受信を映像配信管理サーバー１０が中継する役割を兼務するような構成としても良い。

まず、配信元ノード２０は、配信したい映像である配信データを入力し、配信元ノードとしてのノード情報を映像配信管理サーバー１０に通知する。

受信ノード３０は、例えば、配信を受けたい映像データを特定する情報などを含む、受信ノードとしてのノード情報を映像配信管理サーバー１０に通知する。

映像配信管理サーバー１０は、配信元ノード２０や、（１つ以上の）受信ノード３０で構成する配信ツリーの構成を決定し、それぞれのノード（配信元ノード２０と受信ノード３０）に対して配信パスの接続相手に関わる情報を通知する。

配信元ノード２０や受信ノード３０の各ノードは、配信データを受信するための親ノードとの通信路や、配信データを送信するための子ノードへの通信路を設定し、配信データの送受信を行う。

配信元ノード２０や受信ノード３０の各ノードは、配信パスに従った接続相手との通信路を確保し、配信元ノード２０は自身が持つ映像情報の加工処理後の映像データの送信を、受信ノード３０は親ノードからの配信データの受信と、自身が子ノードを持つ場合は、受信した映像データの加工処理後の映像データの再送信を行う。

新規に受信ノード３０が配信ツリーに参加する場合は、映像配信管理サーバー１０は、新規の受信ノード３０から通知されるノード情報にしたがって、配信元となる親ノード（配信元ノード２０もしくはすでに配信を受けている受信ノード３０）を割り当て、割り当てられた親ノードが、新規受信ノード３０への配信を開始することにより、配信ツリーの構築を行う。

配信ツリーに参加している受信ノード３０の内の１つのノード装置３０が配信ツリーから離脱した場合は、離脱したノードを親ノード（や祖先ノード）としていた受信ノード３０への配信が停止してしまうため、配信が停止してしまう受信ノード３０に対して新たな親ノードの割り当てを行う。親ノードの再割り当ては、離脱ノードの直接の子ノードに対してのみ行っても良いし、直接の子ノード以外にも、子ノードの子孫のノードに対しても再割り当てを行っても良い。これらの受信ノード３０に対して、親ノードの再割り当てを行うことにより、配信ツリーの再構築を行う。

［各受信ノード３０における処理動作］
実施形態に係る各受信ノード３０における処理動作を、図１を参照して説明する。

受信ノード３０では、それぞれの受信ノード３０で表示したい領域を示す情報である表示領域情報が入力される。これは、例えば、あらかじめ受信ノード３０ごとに設定された領域情報でもよく、また、例えばマウスやタッチ操作などのユーザーインターフェースを介したユーザーからの指示による領域情報でもよい。

受信ノード３０は、映像情報の直接の配信元である親ノード（配信元ノード２０もしくは他の受信ノード３０）からの映像データを受信部３０１で受信する。受信した映像データは入力される表示領域情報にしたがって、表示領域抽出部３０２で、映像データの一部分が抽出され、表示データとして出力され、ディスプレイ等に表示される。

受信ノード３０が子ノード（他の受信ノード３０）への再配信を行う中継ノードである場合は、映像加工部３０３で、子ノードへの配信用に映像を加工し、加工された映像情報を再送信部３０４からそれぞれの子ノードに対して送信を行う。子ノードが存在しない場合は、加工処理及び再送信処理は行わない。

子ノードからは、子ノードである他の受信ノード３０および配信ツリーにおけるその子孫である他の受信ノード３０のそれぞれの表示領域情報を含む子ノードからの領域情報が通知され、領域情報受信部３０５で受信する。

受信した子ノードからの領域情報と、受信ノード３０自身の表示領域情報は、領域情報管理部３０６に入力され、領域情報管理部３０６は、これらの領域情報にしたがった映像加工対象領域情報を映像加工部３０３に供給する。

また、領域情報管理部３０６は、子ノードからの領域情報と、自身の表示領域情報を含む領域情報を親ノードに通知するために領域情報送信部３０７に供給し、領域情報送信部３０７から親ノードに対して通知を行う。

［配信元ノード２０における処理動作］
配信元ノード２０の動作を、図７を参照しながら説明する。

配信元ノード２０には、配信したい映像である配信データが入力されるが、これをそのまま送信するのではなく、子ノードから通知される領域情報に従った映像加工処理を行ったうえで送信を行う。

入力された配信データである映像データは、映像加工部２０３で、配信元ノード２０から直接配信を受ける子ノード（受信ノード３０）への配信用に映像を加工する処理を行う。

加工された映像データは、送信部２０４からそれぞれの子ノードに対して送信される。

子ノードからは、子ノードやその子孫ノード（配信ツリー上の子ノード以下のツリーを構成する受信ノード３０）の表示領域情報を含む子ノードからの領域情報を、領域情報受信部２０５で受信する。

領域情報受信部２０５で受信した、領域情報は領域情報管理部２０６に供給され、映像加工部２０３では領域情報管理部２０６で保持する子ノードやその子孫ノードの表示領域情報を含む領域情報にしたがって映像を加工する処理を行う。

［領域情報の送受信処理］
以下、受信ノード３０や配信元ノード２０の間でやり取りされる領域情報の様子を、図８を参照しながら説明する。

図８は、実施形態の子ノードから親ノードへの領域情報の送受信処理を説明する説明図である。

図８では、説明を容易にするために、例えば「ユーザー（３０－１）」の表記は配信元ノード２０から受信ノード３０－１に配信される映像のフレームを示しており、Ｄ１は、受信ノード３０－１のユーザーが映像フレーム内で選択した表示領域を示している。また、点線で囲んでいるものは、ノード間で授受される領域情報をイメージ化している。

図８において、配信元ノード２０から映像配信を受ける各受信ノード３０－１～３０－５では、各ユーザーによりそれぞれが表示したい領域である表示領域Ｄ１～Ｄ５が指示されている。それぞれの受信ノード３０は、子ノードから通知される領域情報に、自装置３０においてユーザーに指示された表示領域情報を追加したうえで、親ノードへの領域情報として通知する。

例えば、図８において、受信ノード３０－３のユーザー（３０－３）は、子ノードであるユーザ（３０－２）から表示領域Ｄ２を取得すると、その表示領域Ｄ２に自装置３０－３の表示領域Ｄ３を加えたものを領域情報として、親ノードであるユーザー（３０－５）に送信する。図８の例では、各受信ノード３０でユーザーにより指示された表示領域情報が矩形領域であるものとして説明しているが、表示領域情報は、矩形領域に限定されるものでない。表示領域情報は、映像フレームにおいて表示領域を特定する情報とすることができ、例えば、矩形領域である場合、矩形領域の左上座標値、矩形領域の幅を示す値、高さを示す値等などの情報で領域情報を表現しても良い。

各受信ノード３０の領域情報管理部３０６は、子ノードや子孫ノードから収集した領域情報をリスト状で管理するようにしてもよい。具体的には、子ノードや子孫ノードの識別情報（例えば、映像配信管理サーバーから各ノードに付与された識別子情報等）に、子ノードや子孫ノードから収集した表示領域情報を含む領域情報を対応付けて管理する。これにより、子ノードや子孫ノード毎に、表示領域情報を含む領域情報を管理することができる。あるいは、直接の子ノード毎に、その子ノード以下の全ての領域情報のリスト（個々のノードは特定しない）として管理することができる。

また、領域情報管理部３０６は、自装置３０の表示領域情報と、子ノードや子孫ノードの表示領域情報を含む領域情報とに基づいて、包含関係にある領域を統合するようにしてもよい。例えば、図８において、ユーザー（３０－３）では、子ノードであるユーザー（３０－２）の表示領域Ｄ２と、受信ノード３０－３の表示領域Ｄ３とが一部領域で重なっている。このような場合に、受信ノード３０－３の領域情報管理部３０６は、ユーザー（３０－２）の表示領域Ｄ２又は受信ノード３０－３の表示領域Ｄ３のいずれか一方について重複領域を削除し、重複領域を統合するようにしてもよい。これにより、重複領域を省いた領域情報を配信元ノード２０や受信ノード３０に指示することができるため、親ノードへ通知する領域情報のデータ量を削減することができる。

さらに、領域情報管理部３０６は、自装置３０の表示領域情報と、子ノードや子孫ノードの表示領域情報を含む領域情報とに基づいて、複数の表示領域が重なっている場合に、その全ての領域を覆うような大きな領域に統合するようにしてもよい。例えば、図８において、ユーザー（３０－５）では、ユーザー（３０－２）の表示領域Ｄ２、ユーザー（３０－３）の表示領域Ｄ３、ユーザー（３０－４）の表示領域Ｄ４、ユーザー（３０－５）の表示領域Ｄ５が重なり合っているが、これらすべてを囲うようなより大きな１つの矩形領域に統合してしまい、この１つの領域情報を配信元ノード２０に送信する。このように、複数の表示領域が重なり合っており、比較的大きな表示領域の領域情報を送信する場合には、これら表示領域を統合した領域情報を形成したり、又はこれら領域を包含する大きな領域とする領域情報を形成するようにしてもよい。これにより、重複領域を包含する領域情報を配信元ノード２０や受信ノード３０に指示することができるため、親ノードに通知する領域情報のデータ量を削減することができる。

これらの領域情報は順次経路上の受信ノード３０の表示領域が追加されながら親ノードに伝搬し、配信元ノード２０まで通知される。

なお、これら領域情報の送受信は、ノード間（受信ノード３０や配信元ノード２０の間）で直接の通信路を設けてやり取りする構成としても良いが、映像配信管理サーバー１０などのサーバーを介した中継により情報交換する構成としても良い。さらに、例えば、映像配信管理サーバー１０で中継するような場合には、領域情報送信部３０７からは自装置の表示領域情報のみを送信し、映像配信管理サーバー１０で配信ツリーの構成状態に従った、領域情報の集約を行ったうえで、領域情報受信部３０５や領域情報受信部２０５に送信するような構成としても良い。すなわち、領域情報送信部３０７からは自装置の表示領域情報のみを、映像配信管理サーバー１０に送信する。映像配信管理サーバー１０はこの領域情報を受け取るべき親ノードや先祖ノードである受信ノード３０や配信元ノード２０を配信ツリーの構成状態にしたがって特定し、これらのノードに対して、領域情報を送信した受信ノード３０を含む配信ツリーのサブツリー（配信ツリー上の子ノード以下のツリーを構成する他の受信ノード３０）の全てのノードの領域情報を集約して送信する。領域情報受信部３０５や領域情報受信部２０５は、映像配信管理サーバー１０から各子ノード以下の配信ツリーのサブツリーの領域情報を受信する。領域の重なり等による領域情報の統合も映像配信管理サーバー１０で行うように構成しても良い。

［映像配信処理］
次に、図９を参照しながら、各ノード（配信ノード２０および受信ノード３０）での映像加工の様子を説明する。

図９も、図８と同様に、説明を容易にするために、配信する映像データをイメージ化している。例えば「ユーザー（３０－１）」の表記は配信元ノード２０から受信ノード３０－１に配信される映像のフレームを示しており、Ｄ１は、受信ノード３０－１のユーザーが映像フレーム内で選択した表示領域を示している。また、点線で囲んでいるものは配信データを示しており、ハッチがかかっている部分が映像加工を施した部分を示しており、白抜き部分が映像加工を施していない部分を示している。

図８に示すように、子ノードからは、子ノードやその子孫ノード（配信ツリー上の子ノード以下のツリーを構成する他の受信ノード３０）の表示領域情報を集約した領域情報が通知されている。

各ノード（配信ノード２０および受信ノード３０）における映像加工部２０３および映像加工部３０３では、その配信パス以下のいずれの受信ノード３０でも表示領域とならないような領域（図９のハッチで表現した領域）に対して映像加工を行う。配信パス以下のいずれかの受信ノード３０で表示領域となる領域（図９の白抜き部分で表現した領域）は映像加工の対象とはしない。

配信元ノード２０および受信ノード３０の映像加工部２０３、３０３では、それぞれの領域情報管理部２０６、３０６で保持する子ノードやその子孫ノードの表示領域情報を含む領域情報にしたがって、子ノードやその子孫ノードのいずれにおいても表示領域とならない領域（加工対象領域）に対して、送信部２０４や再送信部３０４で用いられる映像符号化技術による発生符号量を低減する効果のある映像加工を行う。

ここで、映像加工部２０３、３０３による映像加工の方法の一例を説明する。映像加工部２０３、３０３は、例えば、単純には加工対象の領域を単色（灰色など）に塗りつぶすようにしてもよい。あるいは、映像加工部２０３、３０３は、ガウスフィルタのようなぼかしフィルタ処理を行うようにしてもよい。送信部２０４や再送信部３０４で用いられる映像符号化技術では、例えば離散コサイン変換とエントロピー符号化が用いられるなどしており、複雑なテキスチャの領域や鮮明なエッジのある領域は符号量が発生しやすいが、単色領域や低域通過フィルタ処理された領域は符号量の発生が低減できる。

なお、受信ノード３０では、そのノードで初めて加工対象領域となる領域（自身の表示領域であるが子ノードからの領域情報には含まれない領域）に対してのみ加工処理を行うことにより処理量を削減するような構成としても良い。例えば、図８において、ユーザー（３０－３）で、親ノードであるユーザー（３０－５）から映像加工された映像データを受信するが、このとき、ユーザー（３０－３）では、子ノードであるユーザー（３０－２）の表示領域情報を含む領域情報に基づいて、ユーザー（３０－２）の表示領域以外の領域のみを映像加工することになる。これにより、各受信ノード３０は、子ノードや子孫ノードの表示領域以外の自身の表示領域のみ、映像加工を行えばよい（それ以外の領域はすでに親ノードで映像加工されている）ので、映像加工に係る処理量を削減することができる。

また、表示領域が動的に変化するような場合（ユーザーのマウス操作など）で、かつ、領域情報の送受信による交換と、加工処理のタイミングの同期をとることが困難な場合は、加工対象としない領域をあらかじめある範囲にわたって拡大しておいたり、加工対象としない領域周辺の加工対象領域に対しては弱いフィルタ処理を施すような処理を行っても良い。

さらに、上記説明（図９の例）では、子ノードが複数ある場合はそれぞれの子ノードごとに、その子ノード以下の配信ツリーにおける領域情報に従った映像加工処理をそれぞれ行う場合について記載したが、例えば、映像加工処理の処理負荷を低減するため、すべての子ノードの領域情報を統合した１種類の加工画像のみを生成する加工処理を行うような構成としても良い（ただし、この場合は子ノード以下では表示領域とならないような領域が加工処理されずに送信される場合も起こり得る）。

以上のような処理により、アプリケーションレベルマルチキャストを用いた映像情報の配信を行う。

（Ａ－３）実施形態の効果
以上のように、本発明の実施形態によれば以下のような効果が得られる。

アプリケーションレベルマルチキャストを用いた映像情報の配信システムにおいて、配信ツリーを構成する、配信元ノードおよび受信ノードの映像加工部において、配信ツリー上の子ノードやその子孫ノードのいずれにおいても表示領域とならない領域に対してのみ、送信部や再送信部で用いられる映像符号化技術による発生符号量を低減する効果のある映像加工を行うので、各受信ノードで表示される映像については映像加工による悪影響を与えることなく、子ノードに対して送信される送信データや再送信データの情報量を削減することができる。

また、ネットワーク帯域に余裕ができるため、より高画質の映像符号化を施すことが可能となり、各受信ノードで出力される表示領域の映像データを高画質化することが可能となる。

（Ｂ）他の実施形態
本発明は上記実施形態に限定されず、その他のさまざまな映像配信システムに利用可能である。

例えば、映像や音声データ以外に文書やプレゼンテーション等の情報も同時に配信するなど様々なデータ配信に利用可能である。

本発明は、上記構成を有するようなシステム、装置として構成する場合や、上記システムを構成する各装置の処理を実現するようなプログラムとしても実施可能である。

例えば、配信元ノードや受信ノードの機能を実現するようなダウンロード可能なプログラム（例えばＪａｖａＳｃｒｉｐｔ（登録商標）プログラム）をサーバー上（Ｗｅｂサーバーや映像配信管理サーバー）に配置し、ＰＣなどにダウンロードして（Ｗｅｂブラウザにダウンロードして）システムを構成するようなサーバー装置（サーバープログラム）として構成することも可能である。

１…映像配信システム、１０…映像配信管理サーバー、
２０…配信元ノード、２０３…映像加工部、２０４…送信部、２０５…領域情報受信部、２０６…領域情報管理部、
３０（３０－１～３０－５）…受信ノード、３０１…受信部、３０２…表示領域抽出部、３０３…映像加工部、３０４…再送信部、３０５…領域情報受信部、３０６…領域情報管理部、３０７…領域情報送信部。

Claims (15)

1. ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置において、
   前記配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
   前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、
   前記領域情報管理部で管理される前記各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、前記配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、
   前記上位通信装置から前記映像データを受信する受信部と、
   自装置の表示領域情報に基づいて、受信した前記映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、
   前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、前記映像データを映像加工する映像加工部と、
   前記映像加工部により映像加工された加工後映像データを送信する再送信部と
   を備えることを特徴とする通信装置。
2. 前記上位通信装置から受信した前記映像データが、前記上位通信装置により映像加工された前記加工後映像データであり、
   前記映像加工部が、前記上位通信装置から受信した前記加工後映像データのうち、当該通信装置で初めて加工対象となる領域について、前記各下位通信装置の表示領域以外の領域のみを映像加工する
   ことを特徴とする請求項１に記載の通信装置。
3. 直接通信する複数の下位通信装置がある場合に、
   前記映像加工部が、前記直接通信する各下位通信装置の表示領域情報を含む領域情報に基づいて、映像加工領域を統合して映像加工し、
   前記再送信部が、前記映像加工部により映像加工領域を統合した前記加工後映像データを、前記直接通信する各下位通信装置に送信する
   ことを特徴とする請求項１に記載の通信装置。
4. ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信装置において、
   前記配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
   前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、
   前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する前記映像データを映像加工する映像加工部と、
   前記映像加工部により映像加工された加工後映像データを送信する送信部と
   を備えることを特徴とする通信装置。
5. 前記映像加工部が、前記各下位通信装置の表示領域情報を含む領域情報に基づいて、前記下位通信装置のいずれにおいても表示領域とならない領域に対して、映像符号化技術の符号発生量を低減する映像加工処理を行なうことを特徴とする請求項１～４のいずれかに記載の通信装置。
6. 前記映像加工部が、映像加工処理の対象とする領域に対して塗りつぶし処理を行うことを特徴とする請求項５に記載の通信装置。
7. 前記映像加工部が、映像加工処理の対象となる領域に対して低域通過画像フィルタ処理を行うことを特徴とする請求項５に記載の通信装置。
8. 前記映像加工部が、表示領域が動的に変化する場合に、映像加工処理の対象とならない領域を予め所定の範囲にわたって拡大し、拡大された領域以外の領域に対して映像加工処理を行うことを特徴とする請求項５に記載の通信装置。
9. 前記領域情報管理部が、前記各下位通信装置の表示領域情報を含む領域情報と前記自装置の表示領域情報とに基づいて、包含関係にある領域を統合した領域情報を形成することを特徴とする請求項１に記載の通信装置。
10. 前記領域情報管理部が、前記各下位通信装置の表示領域情報を含む領域情報と前記自装置の表示領域情報とに基づいて、重複する領域について当該重複領域を包含する別の大領域に統合した領域情報を形成することを特徴とする請求項１に記載の通信装置。
11. ツリー構成の配信経路で映像データをマルチキャスト配信する通信方法において、
    領域情報受信部が、前記配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、
    領域情報管理部が、前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理し、
    領域情報送信部が、前記領域情報管理部で管理される前記各下位通信装置の表示領域情
    報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、前記配信経路の上位に位置している上位通信装置に送信し、
    受信部が、前記上位通信装置から前記映像データを受信し、
    表示領域抽出部が、自装置の表示領域情報に基づいて、受信した前記映像データから表示領域を抽出して表示データを出力し、
    映像加工部が、前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、前記映像データを映像加工し、
    再送信部が、前記映像加工部により映像加工された加工後映像データを送信する
    ことを特徴とする通信方法。
12. ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信方法において、
    領域情報受信部が、前記配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信し、
    領域情報管理部が、前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理し、
    映像加工部が、前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する前記映像データを映像加工し、
    送信部が、前記映像加工部により映像加工された加工後映像データを送信する
    ことを特徴とする通信方法。
13. ツリー構成の配信経路で映像データをマルチキャスト配信する通信プログラムにおいて、
    コンピュータを、
    前記配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
    前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを管理する領域情報管理部と、
    前記領域情報管理部で管理される前記各下位通信装置の表示領域情報を含む領域情報と、自装置の表示領域情報とを含む領域情報を、前記配信経路の上位に位置している上位通信装置に送信する領域情報送信部と、
    前記上位通信装置から前記映像データを受信する受信部と、
    自装置の表示領域情報に基づいて、受信した前記映像データから表示領域を抽出して表示データを出力する表示領域抽出部と、
    前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、前記映像データを映像加工する映像加工部と、
    前記映像加工部により映像加工された加工後映像データを送信する再送信部と
    して機能させることを特徴とする通信プログラム。
14. ツリー構成の配信経路で映像データをマルチキャスト配信する配信元の通信プログラムにおいて、
    コンピュータを、
    前記配信経路の下位に位置している１又は複数の下位通信装置のそれぞれの表示領域情報を含む領域情報を受信する領域情報受信部と、
    前記領域情報受信部により受信された各下位通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と、
    前記領域情報管理部に管理されている各下位通信装置の表示領域情報を含む領域情報に基づいて、配信する前記映像データを映像加工する映像加工部と、
    前記映像加工部により映像加工された加工後映像データを送信する送信部と
    して機能させることを特徴とする通信プログラム。
15. ツリー構成の配信経路で映像データをマルチキャスト配信する通信装置を管理する管理装置において、
    配信元の通信装置と前記映像データを受信する１又は複数の通信装置との間の配信経路を決定し、当該配信経路を構成する各通信装置に配信パスの通信路の設定を指示する通信路設定部と、
    前記各通信装置間の表示領域情報を含む領域情報の送受信を中継する中継部と、
    前記各通信装置の表示領域情報を含む領域情報を管理する領域情報管理部と
    を備え、
    前記各通信装置から送信される領域情報は、当該通信装置の表示領域情報を含む領域情報のみとし、
    前記領域情報管理部が、前記各通信装置に通知する子ノード以下の下位の通信装置の表示領域情報を含む領域情報を通知する
    ことを特徴とする管理装置。

Images