JP6248488B2 - 通信端末及び通信方法 - Google Patents

Description

本発明は、通信ネットワークを介してウェブコンテンツのデータを送受信する通信端末及び通信方法に関する。

近年、インターネットの普及に伴い、様々な分野でクラウドコンピューティングが利用されてきている。クラウドコンピューティングを利用する形態としては、ユーザが、通信ネットワークに接続した通信端末を用いて通信ネットワーク上のサーバが提供するサービス（クラウドサービス）を利用するものがある。特に、離れた場所でクラウドコンピューティングを利用するシステムが注目されている。

例えば、複数の参加者がネットワーク上で協働的かつリアルタイムのミーティングで異なるタイプのメディアコンテンツを伝達及び共有できるマルチメディア会議システムが提案されている。この提案によれば、ホワイトボード（電子黒板）上のペンストロークのデジタルデータが、マルチメディア会議サーバを介して、遠隔地のユーザに配信して共有化を図ることができる（例えば、特許文献１参照）。

このような従来の会議システムにおいては、ある通信端末（例えば、電子黒板）に入力された画像データは、サーバ等の配信管理システムに送信されて処理される。配信管理システムは、その画像データに対してデータ変換等の処理を施して、その送信元の通信端末及び他の通信端末に対して同時に配信する。送信元の通信端末及び他の通信端末は、配信管理システムから同時に配信された画像データを再生して各自の表示部に表示する。

しかしながら、画像データの送信元の通信端末は、入力された画像データを送信して、配信管理システムから配信された画像データを再生するまでの時間（これを「再生遅延時間」という）は、入力された画像データをリアルタイムで表示することができないという問題があった。

特に、インターネット上で取り扱われるウェブコンテンツがリッチ化するに伴って、再生遅延時間が長くなるため、送信元の通信端末は、入力された画像データをリアルタイムで表示することができない時間も更に長くなってしまう。よって、ユーザの操作性が低下していた。

上述した課題を解決するために、本発明は、サーバに通信ネットワークを介して接続された通信端末であって、前記通信ネットワークを介して、前記通信端末に入力された座標を前記サーバに送信する送信手段と、前記サーバから配信される映像データを受信する受信手段と、前記座標に基づく映像データを表示手段に表示させるとともに、所定時間の経過の後に、前記表示された映像データを消去し、前記受信手段で受信した映像データを前記表示手段に表示させる表示制御手段と、を有する。

本発明によれば、通信端末は、入力された座標を送信手段によってサーバに送信し、サーバからその座標に基づく映像データを受信するとともに、上記座標に基づく映像データを表示手段に表示させ、所定時間の経過の後に、表示されている映像データを消去し、サーバから受信した映像データを表示手段に表示させることによって、サーバから配信された座標をリアルタイムで表示することができるので、ユーザの操作性が向上する。

本発明の実施の形態に係る配信システムの概略図である。 図１の通信端末にドングルを取り付ける際のイメージ図である。 図１の配信システムにおける基本的な配信方法を示した概念図である。 実施の形態におけるマルチキャストの概念図である。 実施の形態におけるマルチディスプレイの概念図である。 図１の配信管理システムを介して複数の通信端末を使った複合配信の概念図である。 図１の配信管理システム、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。 図２のドングルのハードウェア構成図である。 実施の形態における配信管理システムの各機能を示す機能ブロック図である。 実施の形態における通信端末の各機能を示す機能ブロック図である。 実施の形態における端末管理システムの各機能を示す機能ブロック図である。 図１１の配信先選択メニュー画面の概念図である。 図１１の端末管理テーブルの概念図である。 図１１の利用可能端末管理テーブルの概念図である。 図９のエンコーダブリッジ部の詳細図である。 図１５の変換部の各機能を示す機能ブロック図である。 図１の配信管理システムの基本的な配信処理を示したシーケンス図である。 図１の配信管理システムを介して複数の通信端末を使った通信の処理を示すシーケンス図である。 実施の形態における時刻調整の処理を示したシーケンス図である。 実施の形態における配信管理システムから通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。 実施の形態における通信端末から配信管理システムに送信するデータの回線適応制御の処理を示したシーケンス図である。 実施の形態におけるマルチディスプレイの処理を示すシーケンス図である。 実施の形態におけるマルチディスプレイの処理を示す他のシーケンス図である。 実施の形態におけるマルチディスプレイの処理を示す更に他のシーケンス図である。

以下に図面を用いて、本発明の第１及び第２の実施の形態に係る配信システムを詳細に説明する。第１の実施の形態は、クラウドコンピューティングを利用してウェブコンテンツを映像データ、音データ、又は映像データ及び音データ等に変換してパソコンや電子黒板等の通信端末に配信する配信システムとしての適用例である。なお、以下、映像及び音のうち少なくとも一方を示す場合には、「映像（音）」として表す。

また、第２の実施の形態は、パソコン、電子黒板、タブレット端末、多機能情報処理装置（ＭＦＰ）その他の通信端末に対して、特に電子ペン、手書き操作その他によって入力されたストローク座標を処理する配信システムとしての適用例である。

〔第１の実施の形態の概略〕
まずは、図１を用いて、本発明の第１の実施の形態の概略を説明する。図１は、本実施の形態に係る配信システムの概略図である。

＜システム構成の概略＞
まず、配信システム１の構成の概略について説明する。

図１に示されているように、本実施の形態の配信システム１は、配信管理システム２、複数の通信端末（５ａ〜５ｆ）、端末管理システム７、及びウェブサーバ８によって構築されている。なお、以下では、複数の通信端末（５ａ〜５ｆ）のうち、任意の通信端末は「通信端末５」として表される。また、配信管理システム２、端末管理システム７、及びウェブサーバ８は、いずれもサーバコンピュータによって構築されている。

通信端末５は、配信システム１のサービスを受けるユーザが使用する端末である。このうち、通信端末５ａは、ノートＰＣである。通信端末５ｂは、スマートフォンやタブレット端末等のモバイル端末である。通信端末５ｃは、コピー、スキャン、プリント、及びファックスの各機能が複合された多機能情報処理装置（ＭＦＰ）である。

通信端末５ｄは、プロジェクタである。通信端末５ｅは、カメラ、マイク及びスピーカを備えたテレビ（ビデオ）会議端末である。通信端末５ｆは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板（ホワイトボード）である。

なお、通信端末５は、図１に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であってもよい。

また、配信管理システム２、通信端末５、端末管理システム７、及びウェブサーバ８は、インターネットやＬＡＮ等の通信ネットワーク９によって通信することができる。この通信ネットワーク９には、３Ｇ、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）等の無線通信によるネットワークも含まれる。

なお、通信端末５によっては、通信端末５ｄ等のように、通信ネットワーク９を介して他の端末やシステムと通信する機能を有していないものがある。図２は、通信端末にドングルを取り付ける際のイメージ図である。しかし、図２に示すように、ユーザが通信端末５ｄのＵＳＢやＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のインターフェース部にドングル９９を差し込むことで、通信端末５は通信ネットワーク９を介して他の端末やシステムと通信可能になる。

更に、配信管理システム２は、クラウド上に存在するウェブブラウザとしての、いわゆるクラウドブラウザ（以下、「ブラウザ」と示す）２０を有する。これにより、配信管理システム２は、クラウド上でウェブコンテンツをレンダリングし、これにより得られたＨ．２６４（動画圧縮符号化方式）やＭＰＥＧ−４（携帯端末用の動画圧縮符号化方式）等の映像（音）データを通信端末５に配信する。

一方、端末管理システム７は、管理サーバとしての機能を有する。端末管理システム７は、通信端末５のログイン認証を行い、通信端末５の契約情報等の管理を行ったりする。また、端末管理システム７は、電子メールを送信するためのＳＭＴＰサーバの機能を有している。

端末管理システム７は、例えば、クラウドのサービス上に展開される仮想マシンとして実現することができる。端末管理システム７は、不測の事態に対応して継続的なサービス提供を行うために、多重化して運用することが望ましい。

また、ブラウザ２０は、リアルタイムコミュニケーション（ＲＴＣ）を可能にしている。更に、後述の図１６におけるエンコード部１９を有しており、このエンコード部１９は、ブラウザ２０によって生成された映像（音）データに対して、リアルタイムのエンコード（符号化）を行うことができる。

そのため、配信管理システム２の処理は、ＤＶＤプレーヤによって、ＤＶＤに記録されているリアルタイム性のない映像（音）データを読み出して配信する場合等とは異なる。

＜各種配信方法の概略＞
続いて、各種配信方法の概略について説明する。

（基本配信）
図３は、基本的な配信方法を示した概念図である。配信システム１では、図３に示されているように、配信管理システム２のブラウザ２０がウェブサーバ８からウェブコンテンツデータ〔Ａ〕を取得する。ブラウザ２０は、取得したウェブコンテンツデータ〔Ａ〕をレンダリングすることにより、映像（音）データ〔Ａ〕を生成する。

そして、エンコーダブリッジ部３０が、映像（音）データ〔Ａ〕をエンコード等して、通信端末５に配信する。これにより、例えＨＴＭＬやＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）等により作成されたウェブコンテンツがリッチであっても、Ｈ．２６４やＭＰＥＧ−４等の映像（音）データとして配信される。したがって、通信端末５が低スペックであってもスムーズに映像（音）を再生することが可能になる。

また、本実施の形態の配信管理システム２では、ブラウザ２０が最新化されているので、ローカルとしての通信端末５にコンテンツを提供するブラウザを最新化しなくても、最新のリッチなウェブコンテンツをスムーズに再生することが可能となる。

また、配信システム１は、上述の配信方法を応用し、図４乃至図６に示されているように、複数のウェブコンテンツを連動させ、複数の拠点に映像（音）データとして配信することも可能である。ここで、図４乃至図６に示されている配信方法について説明する。

（マルチキャスト）
図４は、マルチキャストの概念図である。図４に示されているように、配信管理システム２の単一のブラウザ２０は、ウェブサーバ８から取得したウェブコンテンツデータ〔Ａ〕をレンダリングすることで、映像（音）データ〔Ａ〕を生成する。そして、エンコーダブリッジ部３０が、映像（音）データ〔Ａ〕をエンコードする。その後、配信管理システム２は、映像（音）データ〔Ａ〕を複数の通信端末（５ｆ１，５ｆ２，５ｆ３）に配信する。

これにより、複数の拠点では、同じ映像（音）が出力される。なお、この場合、通信端末（５ｆ１，５ｆ２，５ｆ３）が同じ表示再生能力（解像度が同じ等の動作環境）を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ばれる。

（マルチディスプレイ）
図５は、マルチディスプレイの概念図である。図５に示されているように、配信管理システム２の単一のブラウザ２０は、ウェブサーバ８から取得したウェブコンテンツデータ〔ＸＹＺ〕をレンダリングすることで、単一の映像（音）データ〔ＸＹＺ〕を生成する。そして、エンコーダブリッジ部３０が、単一の映像（音）データ〔ＸＹＺ〕を、複数の映像（音）データ（〔Ｘ〕，〔Ｙ〕，〔Ｚ〕）に分割した後にエンコードする。

その後、配信管理システム２は、分割後の映像（音）データ〔Ｘ〕を通信端末５ｆ１に配信する。また、同じように、配信管理システム２は、分割後の映像（音）データ〔Ｙ〕を通信端末５ｆ２に配信し、分割後の映像（音）データ〔Ｚ〕を通信端末５ｆ３に配信する。

これにより、例えば、横長のウェブコンテンツデータ〔ＸＹＺ〕であっても、複数の通信端末５で分割して映像が表示される。その結果、通信端末（５ｆ１，５ｆ２，５ｆ３）を一列に並べて設置すれば、１つの大きな映像を表示させることと同様の効果が得られる。なお、この場合、通信端末（５ｆ１，５ｆ２，５ｆ３）が同じ表示再生能力（解像度が同じ等）を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ばれる。

（複合配信）
図６は、配信管理システム２を介して複数の通信端末を使った複合配信の概念図である。図６に示されているように、第１の拠点（図６の右側）では、電子黒板としての通信端末５ｆ１及びテレビ会議端末としての通信端末５ｅ１が利用されている。第２の拠点（図７の左側）では、同じく電子黒板としての通信端末５ｆ２、及びテレビ会議端末としての通信端末５ｅ２が利用されている。

また、第１の拠点では、通信端末５ｆ１にストロークによる文字等の操作データを表示させるための電子ペンＰ１が利用されている。第２の拠点では、通信端末５ｆ２にストロークによる文字等の操作データを表示させるための電子ペンＰ２が利用されている。

そして、第１の拠点において、通信端末５ｅ１によって取得された映像（音）データは、エンコード部６０でエンコードされた後に、配信管理システム２に送信される。その後、映像（音）データは、配信管理システム２のデコード部４０でデコードされて、ブラウザ２０に入力される。また、電子ペンＰ１によって通信端末５ｆ１に描かれたストローク等を示す操作データ（ストローク座標）は、配信管理システム２に送信され、ブラウザ２０に入力される。

一方、第２の拠点においても、通信端末５ｅ２によって取得された映像（音）データは、エンコード部６０でエンコードされた後に、配信管理システム２に送信される。その後、映像（音）データは、配信管理システム２のデコード部４０でデコードされて、ブラウザ２０に入力される。また、電子ペンＰ２によって通信端末５ｆ２に描かれたストローク等の操作データ（ストローク座標）は、配信管理システム２に送信され、ブラウザ２０に入力される。

一方、ブラウザ２０は、例えば、ウェブサーバ８から通信端末（５ｅ１，５ｅ２）のそれぞれのディスプレイに表示される背景画像のウェブコンテンツデータ〔Ａ〕を取得する。

そして、ブラウザ２０は、ウェブコンテンツデータ〔Ａ〕、操作データ（〔ｐ１〕，〔ｐ２〕）及び映像（音）コンテンツデータ（〔Ｅ１〕，〔Ｅ２〕）を結合する。ブラウザ２０は、その結合したコンテンツデータをレンダリングすることで、所望のレイアウトに設置した映像（音）データを生成する。

そして、エンコーダブリッジ部３０は、映像（音）データをエンコードし、配信管理システム２が各拠点に同じ映像（音）データを配信する。これにより、第１の拠点では、通信端末５ｆ１のディスプレイ上に、映像（〔Ａ〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕及び〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５ｅ１のスピーカから音〔Ｅ２（音部分）〕が出力される。

一方、第２の拠点でも、通信端末５ｆ２のディスプレイ上に、映像（〔Ａ〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕及び〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５ｅ２のスピーカから音〔Ｅ１（音部分）〕が出力される。

なお、第１の拠点では、通信端末５ｅ１のエコーキャンセル機能により、自拠点の音〔Ｅ１（音部分）〕は出力されない。一方、第２の拠点では、通信端末５ｅ２のエコーキャンセル機能により、自拠点の音〔Ｅ２（音部分）〕は出力されない。

一方、第１の拠点では、通信端末５ｆ１のディスプレイ上に、電子ペンＰ１によって描かれた自拠点の映像〔ｐ１〕を表示するとともに、エンコーダブリッジ部３０でエンコードして配信管理システム２から各拠点に同じ映像（音）データが配信される前には、自拠点の映像データ〔ｐ１〕を消去し、配信された映像データ〔ｐ１〕に差し替えて表示する。

第２の拠点では、通信端末５ｆ２のディスプレイ上に、電子ペンＰ２によって描かれた自拠点の映像〔ｐ２〕を表示するとともに、エンコーダブリッジ部３０でエンコードして配信管理システム２から各拠点に同じ映像（音）データが配信される前には、自拠点の映像データ〔ｐ２〕を消去し、配信された映像データ〔ｐ２〕に差し替えて表示する。

以上により、第１の拠点と第２の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施の形態の配信システム１は遠隔会議等に有効である。

〔実施の形態の詳細な説明〕
続いて、図７乃至図２４を用いて、実施の形態の詳細な説明を行う。

＜実施の形態のハードウェア構成＞
まずは、図７及び図８を用いて、本実施の形態のハードウェア構成を説明する。なお、図７は、配信管理システム、通信端末、端末管理システム、及びウェブサーバのハードウェア構成図である。また、図８は、ドングルのハードウェア構成図である。なお、通信端末の通信に関与するハードウェア構成は、通信端末のハードウェア構成の一部と同じであるため、説明を省略する。

図７に示すように、配信管理システム２は、配信管理システム２全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３を備えている。

また、配信管理システム２は、プログラム等の各種データを記憶するＨＤＤ２０４、ＣＰＵ２０１の制御にしたがってＨＤＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＣ（Ｈａｒｄ Ｄｉｓｋ Ｃｏｎｔｒｏｌｌｅｒ）２０５を備えている。

また、配信管理システム２は、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８を備えている。また、配信管理システム２は、通信ネットワーク９を利用してデータ送信したり、ドングル９９を接続したりするためのＩ／Ｆ２０９、キーボード２１１を備えている。

また、配信管理システム２は、マウス２１２、マイク２１３、スピーカ２１４、ＧＰＵ２１５、上記各構成要素を図８に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２２０を備えている。

なお、各通信端末、各システム又は各サーバ用のプログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

次に、図８を用いて、ドングルのハードウェア構成について説明する。図８に示されているように、ドングル９９は、ドングル９９全体の動作を制御するＣＰＵ９１、基本入出力プログラムを記憶したＲＯＭ９２、ＣＰＵ９１のワークエリアとして使用されるＲＡＭ９３を備えている。

また、ドングル９９は、ＣＰＵ９１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ９４、通信端末５のＩ／Ｆ２０９に接続するためのＩ／Ｆ９６を備えている。

また、ドングル９９は、アンテナ９７ａ、このアンテナ９７ａを利用して近距離無線技術により通信を行う通信部９７、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン９０を備えている。

なお、近距離無線技術として、例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）規格、ＢｌｕｅＴｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）等が挙げられる。

＜実施の形態の機能構成＞
次に、図９乃至図１６を用い、本実施の形態の機能構成について説明する。図９は、主に配信管理システムの各機能を示す機能ブロック図である。図９では、配信管理システム２が通信端末５ｆ１に対して映像（音）データを配信する場合の機能構成が示されているが、配信先が通信端末５ｆ１以外の場合も、同じ機能構成を有する。

なお、配信管理システム２は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。

（配信管理システムの機能構成）
図９に示されているように、配信管理システム２は、図７に示されているハードウェア構成及びプログラムによって、図９に示されている各機能構成を有する。

具体的には、配信管理システム２は、ブラウザ２０、送受信部２１、ブラウザ管理部２２、送信用ＦＩＦＯ２４、時刻管理部２５、時刻取得部２６、回線適応制御部２７、エンコーダブリッジ部３０を有している。

また、配信管理システム２は、送受信部３１、受信用ＦＩＦＯ３４、認識部３５、遅延情報取得部３７ａ、回線適応制御部３７ｂ、及びデコード部４０を有している。更に、配信管理システム２は、図８に示されているＨＤＤ２０４によって構築される記憶部５００３を有している。

この記憶部５００３には、認識部３５から出力された後述の認識情報、電子ペン情報、及び描画情報が記憶される。電子ペン情報及び描画情報とは、例えば通信端末５ｆ１や通信端末５ｆ２に関連する情報である。なお、ブラウザ２０が取得したコンテンツデータは、キャッシュとして、記憶部５００３に一時的に記憶しておくこともできる。

電子ペン情報５５５は、電子黒板である通信端末５の電子ペンＰの属性情報である線の太さ、色、線種（直線、破線、など）、及び透明度、その他の情報が含まれる。描画情報は、通信端末５のデバイスＩＤ、コンテンツ［Ａ］のウェブサーバ８のＵＲＬもしくはディレクトリ名・ファイル名、コンテンツ［Ａ］におけるストローク座標［ｐ］の位置情報、描画コマンド等が含まれる。

上述の各機能構成のうち、ブラウザ２０は、配信管理システム２内で動作するウェブブラウザである。ブラウザ２０は、ウェブコンテンツデータ等のコンテンツデータをレンダリングすることにより、ＲＧＢデータ（又はＰＣＭデータ）としての映像（音）データを生成する。ブラウザ２０は、ウェブコンテンツのリッチ化に対応させて常に最新化されている。

また、本実施の形態の配信システム１では、配信管理システム２内に複数のブラウザ２０を用意しており、これら複数のブラウザ２０の中からユーザセッションに使用するクラウドブラウザが選択される。なお、ここでは、説明を簡略化するため、単一のブラウザ２０が用意されている場合について、以下続けて説明する。

ブラウザ２０は、例えば、Ｍｅｄｉａ Ｐｌａｙｅｒ（登録商標）、Ｆｌａｓｈ Ｐｌａｙｅｒ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔ）及びＨＴＭＬレンダラを有する。なお、ＪａｖａＳｃｒｉｐｔ（登録商標）には、標準規格のものと配信システム１独自のものが含まれる。

ここで、Ｍｅｄｉａ Ｐｌａｙｅｒは、映像（音）ファイルなどのマルチメディアファイルをブラウザ２０内で再生するためのブラウザプラグインである。Ｆｌａｓｈ Ｐｌａｙｅｒは、Ｆｌａｓｈコンテンツをブラウザ２０内で再生するためのブラウザプラグインである。独自のＪａｖａＳｃｒｉｐｔ（登録商標）は、配信システム１に固有のサービスのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供するＪａｖａＳｃｒｉｐｔ（登録商標）群である。

ＣＳＳは、ＨＴＭＬで記述されたウェブページの見栄えやスタイルを効率的に定義するための技術である。ＨＴＭＬレンダラは、ウェブキットベースのＨＴＭＬレンダリングエンジンである。

次に、送受信部２１は、端末管理システム７やウェブサーバ８との間で、各種データや要求等の送受信を行う。例えば、送受信部２１は、ウェブサーバ８のコンテンツサイトからウェブコンテンツデータを取得する。

ブラウザ管理部２２は、ブラウザ２０やエンコーダブリッジ部３０の管理を行う。例えば、ブラウザ管理部２２は、ブラウザ２０やエンコーダブリッジ部３０に、起動又は終了を指示したり、起動又は終了時にエンコーダＩＤを採番したりする。ここで、エンコーダＩＤは、ブラウザ管理部２２がエンコーダブリッジ部３０のプロセスを管理するために採番する識別情報である。

また、ブラウザ管理部２２は、ブラウザ２０が起動されるたびに、ブラウザＩＤを採番して管理する。ここで、ブラウザＩＤは、ブラウザ管理部２２がブラウザ２０のプロセスを管理するために採番し、ブラウザ２０を識別するための識別情報である。

なお、ブラウザ管理部２２は、送受信部３１を介して通信端末５から各種操作データを取得し、ブラウザ２０に出力する。なお、操作データは、通信端末５での操作イベント（キーボード２１１やマウス２１２等による操作や電子ペンＰによるストローク等）によって生じたデータである。

通信端末５に、温度センサ、湿度センサ、及び加速度センサ等の各種センサが設けられている場合には、ブラウザ管理部２２は、通信端末５から各センサの出力信号であるセンサ情報を取得し、ブラウザ２０に出力する。

送信用ＦＩＦＯ２４は、ブラウザ２０で生成された映像（音）データを格納するバッファである。時刻管理部２５は、配信管理システム２独自の時刻Ｔを管理している。時刻取得部２６は、後述の通信端末５における時刻制御部５６と連携して、時刻調整の処理を行う。

具体的には、時刻取得部２６は、時刻管理部２５から配信管理システム２における時刻Ｔを示す時刻情報（Ｔ）を取得する。また、時刻取得部２６は、送受信部３１及び送受信部５１を介して、後述の時刻制御部５６から通信端末５における時刻ｔを示す時刻情報（ｔ）を受信し、時刻制御部５６に時刻情報（ｔ）及び時刻情報（Ｔ）を送信する。

回線適応制御部２７は、送信遅延時間情報（Ｄ）に基づいて、再生遅延時間Ｕを計算し、エンコーダブリッジ部３０における変換部１０のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間は、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。

エンコーダブリッジ部３０は、ブラウザ２０が生成した映像（音）データを、エンコーダブリッジ部３０における後述の変換部１０に出力する。エンコーダブリッジ部３０については、図１５及び図１６を用いて、更に詳細に説明する。図１５は、エンコーダブリッジ部の詳細図である。また、図１６は、変換部の各機能を示す機能ブロック図である。

図１５に示されているように、エンコーダブリッジ部３０は、作成・選択部３１０、及び選択部３２０と、これらの間に複数の変換部（１０ａ，１０ｂ，１０ｃ）が構築されている。ここでは、３つの変換部を示したが、いくつであってもよい。なお、以下、任意の変換部を「変換部１０」として表す。

更に、変換部１０は、図１６に示されているように、トリミング部１１、リサイズ部１２、分割部１３、及びエンコード部１９を有する。トリミング部１１、リサイズ部１２、及び分割部１３は、音データの場合は、処理を行わない。

このうち、トリミング部１１は、映像（画像）の一部だけを切り出す処理を行う。リサイズ部１２は、映像（画像）の縮尺を変更する。分割部１３は、図５に示されているように、ウェブサーバ８から取得したウェブコンテンツを分割する。

また、エンコード部１９は、ブラウザ２０で生成された画像（音）データをエンコードすることにより、通信ネットワーク９を介して通信端末５に画像（音）データを配信できるように変換する。また、エンコード部１９は、映像が動かなければ（フレーム間で変化がなければ）、以降、映像が動くまでスキップフレームを挿入することで帯域をセーブする。なお、音の場合には、エンコードだけが行われる。

また、作成・選択部３１０は、新たに変換部１０を作成し、既に作成されている変換部１０に対して入力させる映像（音）データを選択したりする。作成する場合としては、例えば、作成・選択部３１０は、通信端末５における映像（音）データの再生能力に応じた変換が可能な変換部１０を作成する。

また、選択する場合としては、既に作成されている変換部２０を選択する。例えば、通信端末５ａへの配信に加えて通信端末５ｂへの配信を開始するにあたって、通信端末５ａへ配信している映像（音）データと同じ映像（音）データを通信端末５ｂへ配信する場合がある。

このような場合で、更に、通信端末５ｂが通信端末５ａにおける映像（音）データの再生能力と同じ再生能力を有する場合には、作成・選択部３１０は通信端末５ｂ用に新たな変換部１０ｂを作成せずに、通信端末５ａ用に既に作成している変換部１０ａを利用する。

一方、選択部３２０は、既に作成されている変換部１０から所望のものを選択する。これら作成・選択部３１０と選択部３２０による選択は、図６に示したような様々なパターンの配信を行うことを可能にする。

送受信部３１は、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部３１は、通信端末５のログイン処理において、通信端末５の送受信部５１に対し、ユーザにログイン要求を促すための認証画面データ（図１２参照）を送信する。

その他に、送受信部３１は、ＨＴＴＰＳサーバを介して配信システム１独自のプロトコルにより、通信端末５のユーザアプリや通信端末５のデバイスアプリへのデータ送信およびデータ受信を行う。

この独自のプロトコルは、配信管理システム２と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのＨＴＴＰＳベースのアプリケーション層プロトコルである。また、送受信部３１は、送信レスポンス制御、リアルタイムのデータ作成、クライアントコマンド送信、受信レスポンス制御、受信データ分析、及びジェスチャ変換を行う。

このうち、送信レスポンス制御は、配信管理システム２から通信端末５にデータを送信するために、通信端末５からリクエスト（要求）されたダウンロード用のＨＴＴＰＳセッションを管理する処理である。このダウンロード用のＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１〜数分）保持する。送受信部３１は、通信端末に送るデータを動的にレスポンスのＢｏｄｙ部に書き込む。

また、送受信部３１は、再接続のコストをなくすため、通信端末からは前のセッションが終了しないうちに別のリクエストが届くようにする。前のリクエストが完了するまで送受信部３１が待機することで、再接続を行っても、オーバヘッドを削除することができる。

リアルタイムのデータ作成は、後述の図１６におけるエンコード部１９で生成された圧縮映像（および圧縮音）のデータ（ＲＴＰデータ）に独自のヘッダを付与して、通信端末への下り用のＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。

クライアントコマンド送信は、通信端末５に送信するコマンドデータを生成し、通信端末５への配信用（下り用）のＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。

受信レスポンス制御は、配信管理システム２が通信端末５からデータを受信するために、通信端末５からリクエストされた送信用（上り用）のＨＴＴＰＳセッションを管理する処理である。このＨＴＴＰＳセッションのリクエストはすぐに終了せず、一定時間（１〜数分）保持される。通信端末５は、配信管理システム２の送受信部３１に送るデータを動的にリクエストのＢｏｄｙ部に書き込む。

受信データ分析は、通信端末５から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。

ジェスチャ変換は、ユーザが電子黒板としての通信端末５ｆに電子ペンや手書きにより入力したジェスチャイベントを、ブラウザ２０が受け取れる形式に変換する処理である。また、受信用ＦＩＦＯ３４は、デコード部４０でデコードされた映像（音）データを格納するバッファである。

認識部３５は、通信端末５から受信する映像（音）データに対しての処理を行う。具体的には、認識部３５は、例えば、サイネージ向けにカメラ６２で撮影された映像から人や動物の顔、年齢、及び性別などを認識する。

また、認識部３５は、オフィス向けに、カメラ６２で撮影された映像から顔認識による名前タグ付けや背景映像の差し替え処理などを行う。認識部３５は、認識した内容を示す認識情報を記憶部５００３に記憶させる。この認識部３５は、認識拡張ボードで処理を行うことで高速化が実現される。

遅延情報取得部３７ａは、上り用の回線適応制御の処理に用いられる遅延情報取得部５７に対応して、下り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部３７ａは、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持する。

次に、遅延情報取得部３７ａは、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する。

回線適応制御部３７ｂは、上り用の回線適応制御の処理に用いられる回線適応制御部２７に対応して、下り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部３７ｂは、送信遅延時間情報（ｄ）に基づいて、エンコード部６０の動作条件を計算する。

また、回線適応制御部３７ｂは、送受信部３１及び送受信部５１を介して通信端末５のエンコード部６０に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。デコード部４０は、通信端末５から送信されて来た映像（音）データをデコードする。

（通信端末の機能構成）
続いて、図１０を用いて、通信端末５の機能構成について説明する。通信端末５は、ユーザが配信システム１へのログインや映像（音）データの配信の開始又は停止などを行うためのインターフェースとなる端末である。

図１０に示されているように、通信端末５は、デコード部５０、送受信部５１、操作部５２、再生制御部５３、レンダリング部５５、時刻制御部５６、遅延情報取得部５７、表示部５８、エンコード部６０、及びストローク制御部５５０を有している。更に、通信端末５は、図８に示されているＲＡＭ２０３によって構築される記憶部６０００を有している。

記憶部６０００には、後述の時刻差Δを示す時刻差情報（Δ）、及び通信端末５における時刻ｔを示す時刻情報（ｔ）が記憶される。

このうち、デコード部５０は、配信管理システム２から配信され、再生制御部５３から出力された映像（音）データをデコードする。

送受信部５１は、配信管理システム２の送受信部３１、及び後述の端末管理システム７の送受信部７１ａとの間で、各種データや要求等の送受信を行う。例えば、送受信部５１は、通信端末５のログイン処理において、操作部５２による通信端末５の起動に基づき、端末管理システム７の送受信部７１ｂにログイン要求を行う。

操作部５２は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンＰ等による入力や選択等を受け付け、操作データとして配信管理システム２のブラウザ管理部２２に送信する。

再生制御部５３は、送受信部５１から受けた映像（音）データ（リアルタイムデータのパケット）をバッファリングし、再生遅延時間Ｕを考慮してデコード部５０に出力する。レンダリング部５５は、デコード部５０によってデコードされたデータをレンダリングする。時刻制御部５６は、配信管理システム２の時刻取得部２６と連携して、時刻調整の処理を行う。具体的には、時刻制御部５６は、記憶部６０００から通信端末５における時刻ｔを示す時刻情報（ｔ）を取得する。

また、時刻制御部５６は、送受信部５１及び送受信部３１を介して、配信管理システム２の時刻取得部２６に、配信管理システム２における時刻Ｔを示す時刻情報（Ｔ）を要求する。この場合、時刻情報（Ｔ）の要求と共に、時刻情報（ｔ）が送信される。

遅延情報取得部５７は、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持する。次に、遅延情報取得部５７は、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１及び送受信部３１を介して回線適応制御部２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する。なお、送信遅延時間情報（Ｄ）は、例えば、１００フレームに１回送信される。

表示部５８は、レンダリング部５５によってレンダリングされたデータを再生する。

エンコード部６０は、内蔵されたマイク２１３や、外付けのカメラ６２及びマイク６３から取得したエンコードした映像（音）データ〔Ｅ〕を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する。また、エンコード部６０は、記憶部６０００から取得した現時点の通信端末５における時刻ｔ_０を示す時刻情報（ｔ０）及び時間差Δを示す時間差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する。

また、エンコード部６０は、回線適応制御部３７ｂから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部６０の動作条件を変更する。

更に、エンコード部６０は、新たな動作条件に従って、カメラ６２及びマイク６３から取得したエンコードした映像（音）データ〔Ｅ〕を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する。またエンコード部６０は、記憶部６０００から取得した現時点の通信端末５における時刻ｔ_０を示す時刻情報（ｔ_０）及び時間差Δを示す時間差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する。

なお、内蔵されたマイク２１３や、外付けのカメラ６２及びマイク６３は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚（ｔｏｕｃｈ）データや嗅覚（ｓｍｅｌｌ）データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。

（端末管理システムの機能構成）
続いて、図１１を用いて、端末管理システム７の機能構成について説明する。図１１は、端末管理システムの各機能を示す機能ブロック図である。

図１１に示されているように、端末管理システム７は、送受信部７１ａ、送受信部７１ｂ、及び認証部７５を有している。更に、端末管理システム７は、図７に示されているＨＤＤ２０４によって構築される記憶部７０００を有している。この記憶部７０００には、配信先選択メニューデータ、端末管理テーブル７０１０、及び利用可能端末管理テーブル７０２０が記憶される。

このうち、配信先選択メニューは、図１２に示されているような配信先選択メニュー画面を示すデータである。

図１３に端末管理テーブル７０１０の構成を示す。端末管理テーブルでは、通信端末５の端末ＩＤ、ユーザ証明書、契約情報、通信端末５の端末種別、各通信端末５のＵＲＬを示す設定情報、各通信端末５の実行環境情報、共有ＩＤ、設置位置情報、及び表示名情報が関連付けて管理されている。契約情報は、ユーザが配信システム１のサービスを利用する際の情報である。

このうち、実行環境情報には、各通信端末５の「お気に入り」、「前回のＣｏｏｋｉｅ情報」、及び「キャッシュファイル」が含まれている。そして、各通信端末５のログイン後に、設定情報と共に配信管理システム２に送信され、各通信端末５に対して個別のサービスを行うために利用される。

また、共有ＩＤは、各ユーザが、自己の通信端末５に配信されている映像（音）データと同じ内容の映像（音）データを他の通信端末５にも配信させる。これにより、遠隔共有処理を行う場合に利用されるＩＤであり、他の通信端末又は他の通信端末群を識別する識別情報である。

例えば、端末ＩＤ「ｔ００６」の共有ＩＤは「ｖ００６」であり、端末ＩＤ「ｔ００７」の共有ＩＤは「ｖ００６」であり、また、端末ＩＤ「ｔ００８」の共有ＩＤは「ｖ００６」である。

更に、端末ＩＤ「ｔ００１」の通信端末５ａから、共有ＩＤ「ｖ００６」の通信端末（５ｆ１，５ｆ２，５ｆ３）との遠隔共有処理の要求があったとする。この場合には、配信管理システム２は、通信端末（５ｆ１，５ｆ２，５ｆ３）に対して、通信端末５ａに配信中の映像（音）データと同じ映像（音）データを配信する。

但し、通信端末５ａと通信端末（５ｆ１，５ｆ２，５ｆ３）の表示部５８の解像度が異なる場合には、これに応じて、配信管理システム２が映像（音）データを配信する。

更に、設置位置情報は、例えば、図５に示されているように、通信端末（５ｆ１，５ｆ２，５ｆ３）が並んで設置される場合の設置位置を示している。表示名情報は、図１２に示されている配信先選択メニュー画面の表示名の内容を表す情報である。

一方、利用可能端末管理テーブル７０２０では、端末ＩＤ毎に、この端末ＩＤによって示される通信端末５が遠隔共有処理することが可能な通信端末又は通信端末群を示す共有ＩＤが関連付けて管理されている。

次に、図１１に戻り、各機能構成について説明する。

送受信部７１ａは、通信端末５との間で、各種データや要求等の送受信を行う。例えば、送受信部７１ａは、通信端末５の送受信部５１からログイン要求を受信し、送受信部５１に対してログイン要求の認証結果を送信したりする。

送受信部７１ｂは、配信管理システム２との間で、各種データや要求等の送受信を行う。例えば、送受信部７１ｂは、配信管理システム２の送受信部２１から配信先選択メニューのデータの要求を受信し、送受信部２１に対して、配信先選択メニューのデータを送信したりする。

認証部７５は、通信端末５から受信した端末ＩＤ及びユーザ証明書に基づいて、端末管理テーブル７０１０を検索することにより、同じ組み合わせの端末ＩＤ及びユーザ証明書があるか否かを判断することで、通信端末５ａの認証を行う。

〔第１の実施の形態の動作または処理〕
続いて、図１７乃至図２４を用いて、第１の実施の形態の動作または処理について説明する。

＜基本的な配信処理＞
まず、図１７を用いて、配信管理システム２の基本的な配信方法における具体的な配信処理を説明する。図１７は、配信管理システムの基本的な配信処理を示したシーケンス図である。なお、ここでは、通信端末５ａを用いてログイン要求する場合について説明するが、通信端末５ａ以外の通信端末５を用いてログインしてもよい。

図１７に示されているように、通信端末５ａにおいてユーザが電源オンにすると、通信端末５ａの送受信部５１は、端末管理システム７の送受信部７１ａを介して認証部７５に、ログイン要求を行う（ステップＳ２１）。このログイン要求には、通信端末５ａの端末ＩＤ及びユーザ証明書が含まれている。

次に、認証部７５は、受信した端末ＩＤ及びユーザ証明書に基づいて、端末管理テーブル７０１０を検索することにより、同じ組み合わせの端末ＩＤ及びユーザ証明書があるか否かを判断することで、通信端末５ａの認証を行う（ステップＳ２２）。ここでは、端末管理テーブル７０１０に同じ組み合わせの端末ＩＤ及びユーザ証明書がある、即ち、通信端末５ａが配信システム１における正当な端末であると認証された場合について、以下に続けて説明する。

端末管理システム７の認証部７５は、送受信部７１ａを介して、通信端末５ａの送受信部５１ｂに、配信管理システム２のＩＰアドレスを送信する（ステップＳ２３）。なお、配信管理システム２のＩＰアドレスは、予め、端末管理システム７によって取得されて、記憶部７０００に記憶されている。更に、端末管理システム７の送受信部７１ｂは、配信管理システム２の送受信部２１を介して、ブラウザ管理部２２に、ブラウザ２０の起動要求を行う（ステップＳ２４）。これにより、ブラウザ管理部２２は、ブラウザ２０を起動させる（ステップＳ２５）。

次に、エンコーダブリッジ部３０の作成・選択部３１０は、通信端末５ａの再生能力（ディスプレイの解像度等）及びコンテンツの種類に従って変換部１０を作成する（ステップＳ２６）。

次に、ブラウザ２０は、ウェブサーバ８に対して、コンテンツデータ〔Ａ〕を要求する（ステップＳ２７）。これに対して、ウェブサーバ８は、要求されたコンテンツデータ〔Ａ〕を自己の記憶部（不図示）から読み出す（ステップＳ２８）。そして、ウェブサーバ８は、配信管理システム２の送受信部２１を介して、要求元であるブラウザ２０にコンテンツデータ〔Ａ〕を送信する（ステップＳ２９）。

次に、ブラウザ２０が、コンテンツデータ〔Ａ〕をレンダリングして画像（音）データを生成し、送信用ＦＩＦＯ２４に出力する（ステップＳ３０）。そして、変換部１０が、送信用ＦＩＦＯ２４に格納された画像（音）データをエンコードすることで、通信端末５ａに配信すべき映像（音）データ〔Ａ〕に変換する（ステップＳ３１）。

次に、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、再生制御部５３に映像（音）データ〔Ａ〕を送信する（ステップＳ３２）。これにより、通信端末５ａでは、再生制御部５３からデコード部５０に、映像（音）データ〔Ａ〕が出力され、スピーカ６１から音が再生されると共に、レンダリング部５５を介して表示部５８にて映像が再生される（ステップＳ３３）。

＜時刻調整の処理＞
続いて、図１９を用いて、時刻調整の処理について説明する。なお、図１９は、時刻調整の処理を示したシーケンス図である。まず、通信端末５の時刻制御部５６は、送受信部５１が配信管理システム２に時刻情報（Ｔ）を要求する時刻を取得するために、記憶部５０００から通信端末５における時刻情報（ｔｓ）を取得する（ステップＳ８１）。そして、送受信部５１は送受信部３１に、配信管理システム２における時刻情報（Ｔ）を要求する（ステップＳ８２）。この場合、時刻情報（Ｔ）の要求と共に、上記時刻情報（ｔｓ）が送信される。

次に、時刻取得部２６は、送受信部３１が上記ステップＳ８２の要求を受信した時刻を取得するために、時刻管理部２５から配信管理システム２における時刻情報（Ｔｒ）を取得する（ステップＳ８３）。更に、時刻取得部２６は、送受信部３１が上記ステップＳ８２の要求に応答する時刻を取得するために、時刻管理部２５から配信管理システム２における時刻情報（Ｔｓ）を取得する（ステップＳ８４）。そして、送受信部３１は送受信部５１に、時刻情報（ｔｓ，Ｔｒ，Ｔｓ）を送信する（ステップＳ８５）。

次に、通信端末５の時刻制御部５６は、送受信部５１が上記ステップＳ８５の応答を受信した時刻を取得するために、記憶部５０００から通信端末５における時刻情報（ｔｒ）を取得する（ステップＳ８６）。

そして、通信端末５の時刻制御部５６は、配信管理システム２と通信端末５との間の時刻差Δを計算する（ステップＳ８７）。この時刻差Δは、以下の式１によって表される。
Δ＝（（Ｔｒ＋Ｔｓ）／２）−（（ｔｒ＋ｔｓ）／２）・・・（式１）

そして、時刻制御部５６は、記憶部６０００に時刻差データΔを記憶する（ステップＳ８８）。この時刻調整の一連の処理は、例えば、毎分定期的に行われる。

＜下り用の回線適応制御の処理＞
続いて、図２０を用いて、配信管理システム２から通信端末５に送信する（下り）データの回線適応制御の処理を説明する。なお、図２０は、配信管理システムから通信端末に送信するデータの回線適応制御の処理を示したシーケンス図である。

まず、配信管理システム２のエンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して再生制御部５３に、再生までにバッファリングして再生を遅延させるための再生遅延時間を示す再生遅延時間情報（Ｕ）を送信する（ステップＳ１０１）。

また、エンコーダブリッジ部３０は、送信用ＦＩＦＯ２４から取得してエンコード等を行った映像（音）データ〔Ａ〕に対して、時刻管理部２５から取得した現時点の時刻Ｔ_０をタイムスタンプとして付加する。次に、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、再生制御部５３に送信する（ステップＳ１０２）。

一方、通信端末５では、再生制御部５３が、通信端末５における時刻（Ｔ_０＋Ｕ−Δ）になるまで待ってから、再生遅延時間Ｕ内に受信した映像（音）データをデコード部５０に出力することで、スピーカ６１から音を再生させ、レンダリング部５５を介して表示部５８で映像を再生させる（ステップＳ１０３）。

即ち、以下の式２に示される再生遅延時間Ｕの範囲内に通信端末５が受信した映像（音）データだけが再生されることになり、範囲外の映像（音）データは再生されずに消去される。
Ｕ≧（ｔ_０＋Δ）−Ｔ_０・・・（式２）

また、再生制御部５３は、記憶部６０００から、通信端末５における現時点の時刻ｔ_０を読み出す（ステップＳ１０４）。この時刻ｔ_０は、通信端末５が配信管理システム２から映像（音）データを受信した時点の通信端末５における時刻を示す。更に、再生制御部５３は、記憶部６０００から、上記ステップＳ８６によって記憶されている時刻差Δを示す時刻差情報（Δ）を読み出す（ステップＳ１０５）。

そして、再生制御部５３は、映像（音）データが配信管理システム２から送信されて通信端末５で受信されるまでの時間を示す送信遅延時間Ｄ１を計算する（ステップＳ１０６）。この計算は、以下の式３によって行われ、通信ネットワーク９が混雑している場合には、送信遅延時間Ｄ１が長くなる。
Ｄ１＝（ｔ_０＋Δ）−Ｔ_０・・・（式３）

次に、遅延情報取得部５７は、再生制御部５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持する。次に、遅延情報取得部５７は、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５１及び送受信部３１を介して回線適応制御部２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する（ステップＳ１０７）。

次に、配信管理システム２の回線適応制御部２７は、送信遅延時間情報（Ｄ）に基づいて、新たに再生遅延情報Ｕ´を計算し、変換部１０のフレームレートやデータの解像度等の動作条件を計算したりする（ステップＳ１０８）。

次に、配信管理システム２のエンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して再生制御部５３に、上記ステップＳ１０８によって計算された新たな再生遅延時間Ｕ´を示す再生遅延時間情報（Ｕ´）を送信する（ステップＳ１０９）。

更に、変換部１０は、動作条件を示す回線適応制御信号に基づいて、変換部１０の動作条件を変更する（ステップＳ１１０）。例えば、送信遅延時間Ｄ１が長すぎる場合、送信遅延時間Ｄ１に応じて再生遅延時間Ｕを長くすると、スピーカ６１や表示部５８での再生時間が遅くなり過ぎるため、再生遅延時間Ｕを長くすることには限界がある。

そこで、回線適応制御部２７は、エンコーダブリッジ部３０に対して、再生遅延時間Ｕを変更させて再生遅延時間Ｕ´とするだけでなく、変換部１０に対して、映像（音）データのフレームレートを下げさせ、映像（音）データの解像度を下げさせたりする。したがって、通信ネットワーク９の混雑に対応することができる。

これにより、エンコーダブリッジ部３０は、変更後の動作条件に従って、上記ステップＳ１０２のように、現時点の時刻Ｔ_０をタイムスタンプとして付加した映像（音）データを通信端末５の再生制御部５３に送信する（ステップＳ１１１）。

次に、通信端末５では、再生制御部５３が、通信端末５における時刻（Ｔ_０＋Ｕ'−Δ）になるまで待ってから、再生遅延時間Ｕ´内に受信した映像（音）データをデコード部５０に出力する。これにより、再生制御部５３は、上記ステップＳ１０３のように、スピーカ６１から音を再生させ、レンダリング部５５を介して表示部５８から映像を再生させる（ステップＳ１１２）。その後、上記ステップＳ１０４以降の処理が続けて行われる。このようにして、下り用の回線適応制御の処理が継続して行われる。

＜上り用の回線適応制御の処理＞
続いて、図２１を用いて、通信端末５から配信管理システム２に送信する（上り）データの回線適応制御の処理を説明する。なお、図２１は、通信端末から配信管理システムに送信するデータの回線適応制御の処理を示したシーケンス図である。

まず、通信端末５のエンコード部６０は、カメラ６２及びマイク６３から取得してエンコードした映像（音）データ〔Ｅ〕を送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する（ステップＳ１２１）。

また、エンコード部６０は、記憶部６０００から取得した現時点の通信端末５における時刻ｔ_０を示す時刻情報（ｔ_０）を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する（ステップＳ１２１）。更に、エンコード部６０は、記憶部６０００から取得した時間差Δを示す時間差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する（ステップＳ１２１）。

次に、配信管理システム２では、デコード部４０が上記ステップＳ１２１によって映像（音）データ〔Ｅ〕等を受信した時点の時刻Ｔ_０を時刻管理部２５から読み出す（ステップＳ１２２）。そして、デコード部４０は、映像（音）データが通信端末５から送信されて配信管理システム２で受信されるまでの時間を示す送信遅延時間ｄ１を計算する（ステップＳ１２３）。

この計算は、以下の式４によって行われ、通信ネットワーク９が混雑している場合には、送信遅延時間Ｄ１が長くなる。
ｄ１＝Ｔ_０−（ｔ_０＋Δ）・・・（式４）

次に、配信管理システム２の遅延情報取得部３７ａは、遅延情報取得部５７と同様に、デコード部４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持する。遅延情報取得部３７ａは、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する（ステップＳ１２４）。

次に、回線適応制御部３７ｂは、送信遅延時間情報（ｄ）に基づいて、エンコード部６０の動作条件を計算する（ステップＳ１０８）。そして、回線適応制御部３７ｂは、送受信部３１及び送受信部５１を介して通信端末５のエンコード部６０に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する（ステップＳ１２６）。

即ち、下りの場合の回線適応制御部２７は、同じ配信管理システム２内でエンコーダブリッジ部３０に回線適応制御信号を出力する。これに対して、上りの場合の回線適応制御部３７ｂは、配信管理システム２から通信ネットワーク９を介して、通信端末５に回線適応制御信号を送信する。

次に、エンコード部６０は、受信した回線適応制御信号で示される動作条件に基づいて、エンコード部６０の動作条件を変更する（ステップＳ１２７）。

そして、エンコード部６０は、新たな動作条件によって、上記ステップＳ１２１のように、カメラ６２及びマイク６３からエンコードした映像（音）データ〔Ｅ〕を取得する。エンコード部６０は、その取得した映像（音）データ〔Ｅ〕を送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する（ステップＳ１２８）。

また、エンコード部６０は、記憶部６０００から取得した現時点の通信端末５における時刻ｔ_０を示す時刻情報（ｔ_０）を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する（ステップＳ１２８）。

更に、エンコード部６０は、同じく記憶部６０００から取得した時間差Δを示す時間差情報（Δ）を、送受信部５１及び送受信部３１を介して、配信管理システム２のデコード部４０に送信する（ステップＳ１２８）。その後、上記ステップＳ１２２以降の処理が続けて行われる。このようにして、上り用の回線適応制御の処理が継続して行われる。

＜マルチディスプレイの処理＞
続いて、図２２乃至図２４を用いて、マルチディスプレイの処理について説明する。なお、図２２乃至図２４は、図５に示されているマルチディスプレイの処理を示したシーケンス図である。ここでは、通信端末５ａで再生されている映像（音）〔ＸＹＺ〕を、各通信端末（５ｆ１，５ｆ２，５ｆ３）にも分割して再生させる例である。

また、ここでは、ウェブコンテンツを表示させるためのブラウザ２０を「ブラウザ２０ａ」と示し、ユーザへの設定画面を表示させるためのブラウザ２０を「ブラウザ２０ｂ」と示す。更に、ここでは、図１７のステップＳ３０に相当する処理から説明する。

まず、配信管理システム２のブラウザ２０ａは、ウェブサーバ８から取得したウェブコンテンツデータ〔ＸＹＺ〕をレンダリングして画像（音）データを生成し、送信用ＦＩＦＯ２４に出力する（ステップＳ２０１）。そして、変換部１０が、送信用ＦＩＦＯ２４に格納された画像（音）データをエンコードすることで、通信端末５ａに配信すべき映像（音）データ〔ＸＹＺ〕に変換する（ステップＳ２０２）。

次に、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、通信端末５ａの再生制御部５３に映像（音）データ〔ＸＹＺ〕を送信する（ステップＳ２０３）。これにより、通信端末５ａでは、再生制御部５３からデコード部５０に、映像（音）データ〔ＸＹＺ〕が出力され、レンダリング部５５を介して、表示部５８にて映像（音）が再生される（ステップＳ２０４）。

次に、通信端末５ａのユーザによって、表示部５８上に表示されている画面が不図示のメニュー要求画面に切り替えられ、操作部５２が、メニュー要求画面中の不図示の「配信先選択メニュー」ボタンの押下を受け付ける（ステップＳ２０５）。これにより、送受信部５１が、端末管理システム７の送受信部７１ａに、配信先選択メニューへの切り替えを要求する（ステップＳ２０６）。これに対して、送受信部７１ｂは、送受信部２１を介して配信管理システム２のブラウザ管理部２２に対し、ブラウザ２０ｂの起動要求を行う（ステップＳ２０８）。

次に、エンコーダブリッジ部３０の作成・選択部３１０は、ブラウザ２０ａから変換部１０（例えば、変換部１０ａ）への出力を、ブラウザ２０ｂから変換部１０（例えば、変換部１０ｂ）への出力に切り替える（ステップＳ２０９）。但し、通信端末５ａが他の通信端末５（例えば、通信端末５ｂ）と変換部１０（例えば、変換部１０ａ）を共有して上記ステップＳ２０３による映像（音）データを受信していた場合には、他の通信端末５（例えば、通信端末５ｂ）はブラウザ２０ａ用に変換部１０（例えば、変換部１０ａ）を利用中であるため、エンコーダブリッジ部３０の作成・選択部３１０は、新たに変換部１０（例えば、変換部１０ｂ）を作成する。そして、ブラウザ２０ｂは、送受信部２１及び送受信部７１ｂを介して、端末管理システム７の記憶部７０００に、配信先選択メニューを要求する（ステップＳ２１０）。

この際に、通信端末５ａの端末ＩＤも送信される。これに対して、端末管理システム７の記憶部７０００では、この端末ＩＤに基づいて記憶部７０００に記憶されている利用可能端末管理テーブル７０２０を検索することにより、対応する共有ＩＤを抽出する（ステップＳ２１１）。

この共有ＩＤは、通信端末５ａが遠隔共通処理をするために利用可能な通信端末５を示している。ここでは、図１４に示されているように、通信端末５ａの端末ＩＤが「ｔ００１」であるため、抽出される共有ＩＤは「ｖ００３」、「ｖ００６」である。

更に、記憶部７０００は、抽出した共有ＩＤに基づいて端末管理テーブル７０１０を検索することにより、対応する表示名を示す表示名情報を抽出する（ステップＳ２１２）。ここでは、図１３に示されているように、抽出された共有ＩＤ「ｖ００３」、「ｖ００６」に対応する表示名は、それぞれ「東京本社１０Ｆ ＭＦＰ」、「大阪展示場１Ｆ マルチディスプレイ」である。そして、記憶部７０００は、送受信部７１ｂ及び送受信部２１を介して、ブラウザ２０ｂにコンテンツデータとして配信先選択メニューのデータを送信する（ステップＳ２１３）。

この配信先選択メニューは、図１３に示されているように、チェックボックス、共有ＩＤ、及び表示名が含まれている。

次に、図２３に示されているように、ブラウザ２０ｂが、端末管理システム７から取得した配信先選択メニュー〔Ｍ〕を示すコンテンツデータをレンダリングして画像（音）データを生成し、送信用ＦＩＦＯ２４に出力する（ステップＳ２２１）。そして、変換部１０が、送信用ＦＩＦＯ２４に格納された画像（音）データ〔Ｍ〕をエンコードすることで、通信端末５ａに配信すべき映像（音）データ〔Ｍ〕に変換する（ステップＳ２２２）。

次に、エンコーダブリッジ部３０は、送受信部３１及び送受信部５１を介して、通信端末５ａの再生制御部５３に映像（音）データ〔Ｍ〕を送信する（ステップＳ２２３）。これにより、通信端末５ａでは、再生制御部５３からデコード部５０に、映像（音）データ〔Ｍ〕が出力され、レンダリング部５５を介して、表示部５８にて、図１２に示されているような映像（音）が再生される（ステップＳ２２４）。

次に、ユーザが共有ＩＤ「ｖ００６」のチェックボックスにチェックを入れ、「ＯＫ」ボタンを押下する。その結果、操作部５２が、送受信部５１及び送受信部３１を介してブラウザ管理部２２に、操作データとしてチェック結果を送信する（ステップＳ２２６）。

次に、ブラウザ２０ｂは、チェック結果から共有ＩＤを選択する（ステップＳ２２７）。

そして、ブラウザ２０ｂは、送受信部２１及び送受信部７１ｂを介して、端末管理システム７の記憶部７０００に配信先追加要求を行う（ステップＳ２２８）。この配信先追加要求には、上記ステップＳ２２７によって選択された共有ＩＤが含まれている。そして、ブラウザ２０ｂは、役目を終えて終了する（ステップＳ２２９）。

これにより、エンコーダブリッジ部３０の作成・選択部３１０は、ブラウザ２０ｂから変換部１０への出力を、ブラウザ２０ａから変換部１０への出力に戻すよう切り替える（ステップＳ２３０）。

次に、図２４に示されているように、端末管理システム７の記憶部７０００では、上記ステップＳ２２８によって送られて来た共有ＩＤに基づいて、端末管理テーブル７０１０を検索して、対応する端末ＩＤ及び設置位置情報を抽出する（ステップＳ２４１）。そして、記憶部７０００は、送受信部７１ｂ及び送受信部２１を介してブラウザ管理部２２に、配信先の追加指示を行う（ステップＳ２４２）。

配信先の追加指示には、ステップＳ２４１によって抽出された端末ＩＤ及び設置位置情報が含まれている。図１４の大阪展示場のマルチディスプレイの例では、「ｔ００６」及び「左」、「ｔ００７」及び「中」、「ｔ００８」及び「右」からなる３組の端末ＩＤ及び設置位置情報が含まれている。ブラウザ管理部２２は、ブラウザ２０及び送信用ＦＩＦＯ２４経由で、これらの端末ＩＤ及び設置位置情報をエンコーダブリッジ部３０に出力する。

次に、エンコーダブリッジ部３０の作成・選択部３１０は、マルチディスプレイ用の変換部１０を作成する（ステップＳ２４３）。なお、この場合、エンコーダブリッジ部３０の作成・選択部３１０は、ブラウザ管理部２２から、端末ＩＤ及び設置位置情報を取得する。そして、上記ステップＳ２４３によって作成された変換部１０の分割部１３が、送信用ＦＩＦＯ２４に格納されている画像（音）データ〔ＸＹＺ〕を分割し、エンコード部１９が、分割された各データをエンコードする（ステップＳ２４４）。

そして、エンコーダブリッジ部３０は、端末ＩＤ（「ｔ００６」）及び設置位置情報（「左」）に基づいて、送受信部３１及び通信端末５ｆ１の送受信部５１を介して、通信端末５ｆ１の再生制御部５３に映像（音）データ〔Ｘ〕を送信する（ステップＳ２４５−１）。

これにより、通信端末５ｆ１では、再生制御部５３からデコード部５０に、映像（音）データ〔Ｘ〕が出力され、スピーカ６１から音が再生されると共に、レンダリング部５５を介して表示部５８にて映像が再生される（ステップＳ２４６−１）。

また、同様にして、エンコーダブリッジ部３０は、端末ＩＤ（「ｔ００７」）及び設置位置情報（「中」）に基づいて、送受信部３１及び通信端末５ｆ２の送受信部５１を介して、通信端末５ｆ２の再生制御部５３に映像（音）データ〔Ｙ〕を送信する（ステップＳ２４５−２）。

これにより、通信端末５ｆ２は、再生制御部５３からデコード部５０に、映像（音）データ〔Ｙ〕が出力され、スピーカ６１から音が再生されると共に、レンダリング部５５を介して表示部５８にて映像が再生される（ステップＳ２４６−２）。

更に、同様にして、エンコーダブリッジ部３０は、端末ＩＤ（「ｔ００８」）及び設置位置情報（「右」）に基づいて、送受信部３１及び通信端末５ｆ３の送受信部５１を介して、通信端末５ｆ３の再生制御部５３に映像（音）データ〔Ｚ〕を送信する（ステップＳ２４５−３）。

これにより、通信端末５ｆ３は、再生制御部５３からデコード部５０に、映像（音）データ〔Ｚ〕が出力され、スピーカ６１から音が再生されると共に、レンダリング部５５を介して表示部５８にて映像が再生される（ステップＳ２４６−３）。

［第１の実施の形態の主な効果］
以上、詳細に説明したように、本実施形態の配信システム１では、クラウド上で配信管理システム２がブラウザ２０及びエンコード等を行うエンコーダブリッジ部３０を有する。これにより、ブラウザ２０が所定の記述言語で示されたコンテンツデータから映像データ又は音データを生成し、エンコーダブリッジ部３０が通信ネットワーク９を介して配信することができるようにデータ形式を変換してから通信端末５に配信する。

よって、通信端末５では、所定の記述言語で示されたコンテンツデータを受信する負荷、及び受信後に映像データ又は音データに変換する負荷が低減されるため、コンテンツのリッチ化に対応させるための負荷が高いという問題を解消することができる。

特に、ブラウザ２０は、リアルタイムコミュニケーションを可能にし、変換部１０は、ブラウザ２０によって生成された映像（音）データに対してリアルタイムのエンコードを行う。このため、配信管理システム２は、配信する直前に取得したコンテンツをレンダリングすることで映像（音）データを生成してからエンコードするため、リアルタイム性に優れた映像（音）データの配信を行うことができる。

したがって、例えば、オンデマンド配信のように、ＤＶＤプレーヤがリアルタイム性のない予めエンコードされている映像（音）データを選択して配信する場合とは異なり、リアルタイム性に優れた映像（音）データの配信を行うことができる。

〔第２の実施の形態の概略〕
次に、本発明の第２の実施の形態における電子ペンＰ等や指入力等によるに基づくストローク座標［ｐ］のローカル表示の制御について説明する。ローカル表示については後述するとして、まず、配信管理システム２によるデータの配信について説明する。なお、第２の実施の形態のハードウェア構成は、第１の実施の形態のものとほぼ同一であるので、第１の実施の形態の説明及び図面を援用するとともに、重複した説明は省略する。

配信管理システム２は、通信ネットワーク９を介して接続された通信端末に対して、通信端末から送信されたデータに基づいて画像データを生成する。また、この画像データを変換した映像データを通信端末に配信する。配信される通信端末は、データが送信された通信端末だけでなく、これ以外の複数の通信端末に各々配信することも可能である。

例えば、複数の通信端末が通信ネットワークを介して配信管理システム２と接続されている例を説明する。複数の通信端末の各々は、自己の通信端末に対して電子ペンＰや指等によって入力されたストローク座標［ｐ］であっても、原則として、そのストローク座標［ｐ］を配信管理システム２に送信した後、配信管理システム２から他の通信端末にも同時に配信されたストローク座標［ｐ］に基づく画像データを表示することになっている。

すなわち、ある特定の通信端末に入力されたストローク座標［ｐ］は、一旦、配信管理システム２に送信された後、その特定の通信端末及び他の通信端末も、配信管理システム２から同時に配信されたストローク座標［ｐ］に基づく画像データをそれぞれ表示する。しかし、この第２の実施の形態に記載する発明においては、ストローク座標［ｐ］が入力された通信端末は、他の通信端末とは異なり、変則的な表示処理（後述する「ローカル表示」）を行う。もちろん、複数の通信端末でなく、１つの通信端末であってもローカル表示を行うことは可能である。

［第２の実施の形態の詳細な説明］
次に、図１０及び図１１を参照して、第２の実施の形態の詳細な説明を行う。例えば、上記した複数の通信端末は、図１１の通信端末５ｆ１，５ｆ２であり、１の通信端末は、通信端末５ｆ１である。

図１１において、通信端末５ｆ１は、表示部５８と、入力されたペンストローク（描画軌跡）に基づくストローク座標［ｐ］を、通信ネットワーク９を介して配信管理システム２に送信する送受信部５１とを有する。また、通信端末５ｆ１は、入力されたペンストローク（描画軌跡）に基づくストローク座標［ｐ］から画像データを生成し、表示部５８に表示するためのストローク制御部５５０及びレンダリング部５５を有する。

入力されたペンストローク（描画軌跡）は、例えば、電子ペンＰ１の描画操作に応じて、電子黒板等の表示部５８に描画されたものがあげられる。以下、説明の簡便のため、入力されたペンストローク（描画軌跡）は、電子ペンＰ１の描画操作に応じて電子黒板の表示部５８に入力されたストローク座標［ｐ］画像データとする。

もちろん、通信端末５ｆ１は、複写機能、ファクシミリ機能、及びスキャナ機能を任意に組み合わせた多機能情報処理装置（ＭＦＰ）、又はテレビ会議システム用の電子黒板若しくはタブレット端末等を含むものである。

図１１の操作部５２は、電子ペンによって電子黒板としての通信端末５ｆ１に描画されたペンストローク（描画軌跡）の入力を受け付け、ストローク座標［ｐ］を配信管理システム２に送信する。同時に、操作部５２は、そのストローク座標［ｐ］をストローク制御部５５０に出力する。

ストローク制御部５５０は、操作部５２から取得したストローク座標［ｐ］をストローク命令とともにレンダリング部５５に出力する。レンダリング部５５は、そのストローク命令に応じて、ストローク座標［ｐ］に基づいてレンダリングして、画像データを生成し、表示部５８に表示する。

すなわち、通信端末５ｆ１は、入力されたストローク座標［ｐ］を送受信部５１によって配信管理システム２に送信するとともに、通信端末５ｆ１のストローク制御部５５０及びレンダリング部５５によって表示部５８に独自して所定時間表示させる。所定時間、ペンストローク（描画軌跡）を表示部５８に独立してすなわちローカル的に表示するので、この表示処理をローカルストローク描画又はローカル表示という。

ストローク制御部５５０は、配信管理システム２の記憶部５００３に記憶される属性情報と同一の属性情報をあらかじめ記憶している記憶部５５１を有する。ストローク制御部５５０は、記憶部５５１に記憶された属性情報に基づいて、レンダリング部５５でレンダリングして生成した画像データを表示部５８に表示させる。

例えば、電子ペンＰ１が電子黒板の表示画面に表示されるメニューから"赤色"を選択した場合を考える。この際、選択したストローク座標［ｐ］に基づいて、記憶部５５１に記憶されるストローク座標［ｐ］に対応する属性情報として赤色を読み出し、レンダリング部５５で赤色の画像データを生成する。

更に、ストローク制御部５５０の記憶部５５１は、配信管理システム２から送信された画像データを表示させることが可能な表示可能領域情報を記憶する。ストローク制御部５５０は、記憶部５５１に記憶された表示可能領域情報に一致する表示部５８の表示領域を設定する。

例えば、通信端末５ｆ１の表示部５８に表示されるメニューの領域は、表示可能領域とはしない。表示可能領域を設定することによって、メニューとストロークが重畳して表示されることはない。

通信端末５ｆ１の送受信部５１は、配信管理システム２から配信される映像データを受信する。ストローク制御部５５０及びレンダリング部５５は、あらかじめ設定されている所定時間の経過の後に、表示部５８に表示されたストローク座標［ｐ］の画像データを消去する。次に、送受信部５１によって配信管理システム２に送信された配信に係る画像データを送受信部５１から取得して、ストローク座標［ｐ］の画像データを消去した後の表示部５８に表示する。

通信端末５ｆ１は、入力されたストローク座標［ｐ］を配信管理システム２に送信した時から、そのストローク座標［ｐ］が配信管理システム２に到達するまでの上り遅延時間（これを「第１の遅延時間」という）を取得する。

なお、この上りに関する第１の遅延時間の取得は実行しなくてもよい。すなわち、この上りに関しては、配信管理システム２にストローク座標［ｐ］を送るだけの非常に短い時間であるため、無視することが可能な程度の遅延時間ともいえる。また、通信速度等を考慮して予め既知な時間であるなどの場合にも取得は不要である。

通信端末５ｆ１は、送信したストローク座標［ｐ］が配信管理システム２に到達した時から、そのストローク座標［ｐ］に基づく画像データが通信端末５ｆ１に配信されて、表示のための再生処理が開始するまでの下り遅延時間（これを「第２の遅延時間」という）を取得する。

次に、通信端末５ｆ１は、第１の遅延時間と第２の遅延時間とを合算して、その合算した値を再生遅延時間Ｕとして記憶部５５１に記憶する。すなわち、再生遅延時間Ｕは、入力されたストローク座標［ｐ］を配信管理システム２に送信した時から、そのストローク座標［ｐ］に基づく画像データが通信端末５ｆ１に配信されて、表示のための再生処理が開始するまでの往復の通信遅延時間である。

通信端末５ｆ１は、ストローク制御部５５０内に記憶部５５１を有する。ストローク制御部５５０は、第１の遅延時間と第２の遅延時間とを合算した再生遅延時間Ｕをその記憶部５５１に記憶する。なお、上述したように、第１の遅延時間を取得しなかった場合にはこの合算処理は不要である。ストローク制御部５５０及びレンダリング部５５は、記憶部５５１に記憶された再生遅延時間Ｕより短い時間を所定時間Ｔｓとして設定する。

通信端末５ｆ１は、配信管理システム２から受信した第１の遅延時間の変化を検出する再生制御部５３を有する。

なお、ストローク制御部５５０は、所定時間としてストローク座標［ｐ］を配信管理システム２に送信した時から、ストローク削除予定時刻に達したとき、表示部５８に表示されているストローク座標［ｐ］に基づく画像データを消去する。

より具体的には、ストローク制御部５５０は、操作部５２がストローク座標［ｐ］を取得した時刻に第２の遅延時間を加算したストローク削除予定時刻になった時に、画像データを表示部５８から消去する。そして、配信管理システム５８から配信された映像データを表示する。このストローク削除予定時刻は、ストローク座標［ｐ］に関連付けられて記憶部５５１に記憶される。

通信端末５ｆ１の送受信部５１は、ストローク座標［ｐ］を配信管理システム２に送信するとともに、配信管理システム２から配信されるストローク座標［ｐ］に基いて生成された画像データを受信する。ストローク制御部５５０及びレンダリング部５５は、送受信部５１が配信管理システム２に送信した配信に係る画像データを折り返し受信したときは、表示部５８に表示された画像データを消去した後に、その受信した画像データを表示部５８に表示する。

あるいは、他の変形例として、ストローク制御部５５０及びレンダリング部５５は、ストローク座標に係る画像データを表示部５８に表示した後、送受信部５１が受信した画像データを表示することなく廃棄する。すなわち、ローカル表示の画像データを消去せずにそのまま利用する。この場合は、ストローク制御部５５０及びレンダリング部５５は、消去処理及びその後の再度の表示処理を割愛できる。

［第２の実施の形態の動作または処理］
続いて、図１８を用いて、通信端末５ｆ１に入力されたペンストローク（描画軌跡）を、配信管理システム２を介して通信端末５ｆ１及び他の通信端末５ｆ２に配信する場合の処理について説明する。図１８は、配信管理システム２と通信端末５ｆ１及び通信端末５ｆ２との間における通信方法を示すシーケンス図である。

ここでは、図１０に示した通信端末５ｆ１から図９に示した配信管理システム２に対して、ペンストローク（描画軌跡）に基づくストローク座標［ｐ］を送信する。そして、配信管理システム２は、通信端末５ｆ１及び通信端末５ｆ２に対して、そのストローク座標［ｐ］に基づく画像データを同時に配信する。

なお、図６等の、配信管理システム２は、少なくとも映像（音）データ［Ａ］、映像（音）データ［Ｅ］、ストローク座標［ｐ］のうち１つ以上が含まれるコンテンツデータを通信端末に配信した例である。図１８では、電子ペンＰ１によるストローク座標［ｐ］の配信について説明する。ここでストローク座標［ｐ］のみの配信であってもよいし、映像（音）データ［Ａ］または映像（音）データ［Ｅ］の上に描かれたストローク座標［ｐ］の配信であってもよい。もちろん、映像（音）データ［Ａ］および映像（音）データ［Ｅ］の上に描かれたストローク座標［ｐ］の配信であってもよい。

図１８において、配信管理システム２のブラウザ２０は、図１に示したウェブサーバ８から送受信部２１を介してコンテンツデータ［Ａ］を受信する（ステップＳ６０）。そして、ブラウザ２０はコンテンツデータ［Ａ］をレンダリングすることにより、画像（音）データを生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ６１）。

次に、通信端末５ｆ１は、コンテンツデータ［Ｅ］を配信管理システム２に対して送信する（ステップＳ６２）。このコンテンツデータ［Ｅ］は、通信端末５ｆ１のエンコード部６０が、カメラ６２及びマイク６３等からコンテンツデータ［Ｅ］の入力を受け付けたものである。エンコード部６０はエンコードした後、送受信部５１及び送受信部３１を介して、デコード部４０にコンテンツデータ［Ｅ］を送信する。これにより、コンテンツデータ〔Ｅ〕は、デコード部４０でデコードされた後、受信用ＦＩＦＯ３４を介して、ブラウザ２０に入力される。配信管理システム２のブラウザ２０は、そのコンテンツデータ［Ｅ］をレンダリングすることにより、画像（音）データ［Ｅ］を生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ６３）。

通信端末５ｆ１の操作部５２は、電子ペンＰ１のペンストローク（描画軌跡）に応じた操作データであるストローク座標［ｐ］を受け付ける（ステップＳ６４）。次に、通信端末５ｆ１は、ストローク座標［ｐ］を操作結果情報として配信管理システム２に送信する（ステップＳ６５−１）。このとき、操作部５２によって、送受信部５１及び送受信部３１を介して、ブラウザ管理部２２にストローク座標［ｐ］が送信される。

通信端末５ｆ１の操作部５２は、ステップＳ６５−１の送信と同時に、操作データであるストローク座標［ｐ］をストローク制御部５５０に出力する。ストローク制御部５５０は、レンダリング部５５に対して、ストローク命令を出力する。このストローク命令によってレンダリング部５５は、ストローク座標［ｐ］に基づいてレンダリングして画像データを生成し、ローカルストローク描画処理を行う（ステップＳ５０１）。

すなわち、ローカルストローク描画処理とは、配信管理システム２から配信されるストローク座標［ｐ］に基づく画像データとは別に、通信端末５ｆ１がストローク座標［ｐ］に基づく画像データを生成し、生成した画像データを表示部５８に独立して（ローカル的に）表示するための処理のことである。

次に、通信端末５ｆ１のストローク制御部５５０は、ステップＳ６４でストローク座標［ｐ］を受け付けた時刻に第２の遅延時間を加算したストローク削除予定時刻に達したか否か（所定時間経過したか否か）を判別する時刻検出処理を行う（ステップＳ５０２）。ストローク削除予定時刻に達していれば、ステップＳ５０１で表示された画像データを削除する。ストローク削除予定時刻に達していなければ、画像データの表示は削除されず、ストローク削除予定時刻になるまで表示される。

第１の遅延時間は、配信管理システム２にストローク座標［ｐ］を送るだけの非常に短い時間である。ここでは、第２の遅延時間のみを考慮し、第１の遅延時間を考慮していない。第１の遅延時間もさらに加算した時刻をストローク削除予定時刻とすれば、より正確な処理が可能である。

通信端末５ｆ１のストローク制御部５５０は、現在時刻がストローク削除予定時刻に達した時は、レンダリング部５５に命令して表示部５８の表示を消去するローカルストローク削除処理を行う（ステップＳ５０３）。

一方、配信管理システム２のブラウザ２０は、通信端末５ｆ１の操作部５２から受信したストローク座標［ｐ］をレンダリングすることにより、画像データ〔ｐ〕を生成して、送信用ＦＩＦＯ２４に出力する（ステップＳ６６−１）。

次に、エンコーダブリッジ部３０の変換部１０は、送信用ＦＩＦＯ２４に格納されたストローク座標［ｐ］（画像データ）を含むコンテンツデータ［ＡＥｐ］を映像（音）データ［ＡＥｐ］に変換する（ステップＳ６７）。

次に、エンコーダブリッジ部３０は、映像（音）データ［ＡＥｐ］を通信端末５ｆ１に配信する（ステップＳ６８−１）。また、エンコーダブリッジ部３０は、映像（音）データ［ＡＥｐ］を通信端末５ｆ２に配信する（ステップＳ６８−２）。

通信端末５ｆ１のストローク制御部５５０は、配信管理システム２から配信された映像（音）データ［ＡＥｐ］をレンダリング部５５に出力する。レンダリング部５５は、映像（音）データ［ＡＥｐ］をレンダリングして、ローカルストローク削除処理によって画像が消去された直後の表示部５８に、電子ペンＰ１による画像データを含む映像（音）データを再生して表示する（ステップＳ６９−１）。

同様に、通信端末５ｆ２のストローク制御部は、配信管理システム２から配信された映像（音）データ［ＡＥｐ］をレンダリング部に出力する。レンダリング部は、映像（音）データ［ＡＥｐ］をレンダリングして、電子ペンＰ１による画像データを含む映像（音）を再生して表示部に表示する（ステップＳ６９−２）。

図１８において、ステップＳ６４からステップＳ６８−１までの時間が、再生遅延時間Ｕに相当する。このため、再生遅延時間Ｕから調整時間ｕを減算した所定時間Ｔｓが経過した時に、ローカル表示の画像データを消去することで、ローカル表示の画像と配信に係る画像とが画面上で混在しない。

このように、通信端末５ｆ１は、通信ネットワーク９を介して接続された配信管理システム２との間でデータの送受信を行う通信方法を実行する。

すなわち、入力されたストローク座標［ｐ］を、通信ネットワーク９を介して配信管理システム２に配信に係る画像データとして送信する送信ステップと、入力された画像データを表示部５８に配信管理システム２の配信とは独立して表示する表示制御ステップと、を実行する。

なお、このような通信方法は、プログラムによって実行される。図７に示すように、通信端末５ｆ１は、コンピュータとしてのＣＰＵ２０１及びプログラムを記憶できるＲＯＭ２０２を有する。したがって、通信端末５ｆ１のコンピュータ（ＣＰＵ２０１）は、上記した各ステップを実行させるためのプログラムをＲＯＭ２０２から読み出して実行する。

〔第２の実施の形態の主な効果〕
以上、具体的な例を挙げながら詳細に説明したように、通信端末５ｆ１は、表示部５８と、入力されたストローク座標［ｐ］を、通信ネットワーク９を介して配信管理システム２に配信に係るストローク座標［ｐ］として送信する送受信部５１とを有する。また、通信端末５ｆ１は、入力されたストローク座標［ｐ］を表示部５８に表示するストローク制御部５５０及びレンダリング部５５を有する。

すなわち、入力された画像データを配信管理システム２に配信に係るストローク座標［ｐ］として送信するとともに、配信管理システム２の配信とは独立して、入力されたストローク座標［ｐ］を表示部５８にローカル表示する。

すなわち、送信元の通信端末は、上り通信時間（入力されたストローク座標を配信管理システムに送信する時間）である第１の遅延時間、配信管理システムの処理時間、及び下り通信時間（配信管理システムから配信された画像データを再生するまでの時間）である第２の遅延時間、の合計（これを「再生遅延時間」という）の間においても、画像データに基づく画像を表示することができる。

したがって、入力された画像データを配信管理システム２に送信した後、その画像データが配信されるまでの往復の遅延時間の間も、入力された画像データをリアルタイムで表示することができるので、ユーザの操作性が向上する。

すなわち、送信元の通信端末が電子黒板である場合には、描画操作に応じたストローク座標［ｐ］に係る画像データが再生遅延時間だけ遅れて表示されるため、ユーザの操作性が著しく低下するという問題があった。また、送信元の通信端末がスキャナやスキャン機能を有する複合機等である場合には、スキャン動作の開始に応じた画像データが再生遅延時間だけ遅れて表示されるため、操作ミス又は複合機等の故障ではないかとの疑義をユーザに抱かせるおそれがあった。これに対し、本実施の形態では、このような問題を解決することができる。

ストローク制御部５５０は、配信管理システム２から各通信端末に対して配信される映像データに伴って配信される映像データの属性情報と同一の属性情報をあらかじめ記憶している記憶部５５１を有する。ストローク制御部５５０は、記憶部５５１に記憶された属性情報に基づいて、レンダリング部５５に対して入力されたストローク座標［ｐ］に係る画像を表示部５８に表示させる。

したがって、配信管理システム２から配信される映像データの線の太さや色等と同一の属性を有する画像データを表示部５８にローカル表示することができる。その結果、ローカル表示した画像データに代えて配信された映像データの画像を表示した場合に、ユーザに対して画面上の変化を意識させることがない。

ストローク制御部５５０の記憶部５５１は、配信管理システム２から送信された映像データの表示可能領域情報を記憶する。ストローク制御部５５０は、記憶部５５１に記憶された表示可能領域情報に一致する表示部５８の表示領域を設定する。

したがって、配信管理システム２から配信される映像データの画像の表示指定領域内に、入力されたストローク座標［ｐ］に係る画像をローカル表示することができる。例えば、配信される映像データに伴う操作バーの画像によって、ローカル表示の画像が隠れる事態が回避できる。

通信端末５ｆ１の送受信部５１は、配信管理システム２から配信される映像データを受信する。ストローク制御部５５０及びレンダリング部５５は、あらかじめ設定されている所定時間の経過の後に、表示部５８に表示された入力されたストローク座標［ｐ］の画像を消去する。次に、送受信部５１によって配信管理システム２に送信された配信に係る映像データを送受信部５１から取得して、画像を消去した後の表示部５８に表示する。

したがって、通信端末５ｆ１は、ローカル表示の画像を表示部５８から消去した後に、配信管理システム２から配信された映像データの画像を表示部５８に表示するので、ローカル表示の画像と配信された画像とが、表示部５８に重なって表示されることがない。

通信端末５ｆ１の送受信部５１は、入力されたストローク座標［ｐ］を配信管理システム２に送信するとともに、配信管理システム２から配信される映像データを受信する。ストローク制御部５５０及びレンダリング部５５は、送受信部５１が配信管理システム２に送信したストローク座標［ｐ］に対して、映像データを折り返し受信したときは、表示部５８に表示された画像を消去した後に、その受信した映像データに係る画像を表示部５８に表示する。

したがって、通信端末５ｆ１は、ローカル表示の画像を表示部５８から消去した後に、配信管理システム２から配信された映像データに係る画像を表示部５８に表示するので、ローカル表示の画像と配信された画像とが、表示部５８に重なって表示されることがない。

通信端末５ｆ１の再生制御部５３は、配信管理システム２から受信した第１の遅延時間の変化を検出する。ストローク制御部５５０及びレンダリング部５５は、第１の遅延時間の変化に応じて、記憶部５５１に記憶されている配信遅延時間Ｕを更新する。

したがって、通信ネットワーク９の回線状態により再生遅延時間Ｕが変化した場合でも、適切なタイミングでローカル表示の画像を消去することができる。

通信端末５ｆ１は、入力されたストローク座標［ｐ］を特定のデータ形式で配信管理システム２に送信する機能を有する。例えば、通信端末５ｆ１は、ＪＰＥＧのデータ形式でストローク座標［ｐ］を配信管理システム２に送信する。

配信管理システム２は、通信端末５ｆ１から取得したデータ形式のストローク座標［ｐ］を複数種類のデータ形式の画像データに変換する複数の変換部１０ａ，１０ｂ，１０ｃを、エンコーダブリッジ部３０内に有する。例えば、変換部１０ａはＪＰＥＧのデータ形式をＧＩＦのデータ形式に変換する。変換部１０ｂはＪＰＥＧのデータ形式をＰＮＧのデータ形式に変換する。変換部１０ａはＪＰＥＧのデータ形式をＨ．２６４のデータ形式に変換する。

エンコーダブリッジ部３０内の選択部３２０は、変換部１０ａ，１０ｂ，１０ｃによって変換された複数種類のデータ形式の画像データの中から、配信対象の通信端末に配信可能な少なくとも１つの種類のデータ形式の画像データを選択する。配信管理システム２の送受信部３１は、選択部３２０によって選択された映像データを配信対象の通信端末に配信する。

したがって、映像データを配信する通信端末の動作環境に合わせて、その通信端末に適切なデータ形式で映像データを配信することができる。

なお、図１０に示した通信端末５ｆ１は、テレビ会議システム用の電子黒板に限らず、電子ペンＰ１での描画操作が可能なタブレット端末、複写機能、ファクシミリ機能、及びスキャナ機能を任意に組み合わせた多機能情報処理装置（ＭＦＰ）であってもよい。

したがって、それぞれの通信端末において、描画操作によって入力されたストローク座標［ｐ］を配信管理システム２に送信してから、そのストローク座標［ｐ］に係る映像データが配信されるまでの再生遅延時間Ｕの間も、入力されたストローク座標［ｐ］に係る画像をリアルタイムでローカル表示するので、操作性が向上する。

第２の実施の形態の通信方法は、入力されたストローク座標［ｐ］を、配信管理システム２に配信に係る画像データとして送信する送信ステップと、入力されたストローク座標［ｐ］に係る画像を表示部５８に配信管理システム２の配信とは独立してローカル表示する表示制御ステップと、を実行する。

したがって、入力されたストローク座標［ｐ］を配信管理システム２に送信してから、そのストローク座標［ｐ］に係る映像データが配信されるまでの再生遅延時間Ｕの間も、入力された画像をリアルタイムでローカル表示するので、操作性が向上する。

上記第１及び第２の実施の形態の配信システム１では、端末管理システム７と配信管理システム２とを互いに別個の装置として構成している。しかしながら、例えば、配信管理システム２に端末管理システム７の機能を持たせるなどにより、端末管理システム７と配信管理システム２とを一体の装置として構成するようにしてもよい。

上記第１及び第２の実施の形態における配信管理システム２、及び端末管理システム７は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

また、上記第１及び第２の実施の形態において、図１０のストローク制御部５５０とレンダリング部５５とを別個の構成要素にしたが、レンダリング部５５がストローク制御部５５０の機能を有する構成にしてもよい。

以上説明したように、本発明に係る通信端末及び通信方法は、ストローク座標［ｐ］の送信元の通信端末が、入力されたストローク座標［ｐ］を送信して、配信管理システムから配信された映像データを再生するまでの時間も、入力されたストローク座標［ｐ］に係る画像をリアルタイムで表示することができるので、ユーザの操作性が向上するという効果を有し、通信ネットワークを介してウェブコンテンツのデータを送受信する通信端末及び通信方法の全般に有用である。

１ 配信システム
２ 配信管理システム
５ 通信端末
７ 端末管理システム
８ ウェブサーバ
９ 通信ネットワーク
１０ 変換部（変換手段）
１１ トリミング部
１２ リサイズ部
１３ 分割部
１９ エンコード部
２０ ブラウザ（生成手段）
２１ 送受信部
２２ ブラウザ管理部
２３ クラウドブラウザ
２４ 送信用ＦＩＦＯ
３０ エンコーダブリッジ部
３１ 送受信部（配信手段）
５３ 再生制御部（再生制御手段）
５５ レンダリング部（表示制御手段の部分）
５８ 表示部（表示手段）
５５０ ストローク制御部（表示制御手段の部分）
５５１ 記憶手段（記憶手段）

特表２０１１−５２４５７２号公報

Claims (9)

1. サーバに通信ネットワークを介して接続された通信端末であって、
   前記通信ネットワークを介して、前記通信端末に入力された座標を前記サーバに送信する送信手段と、
   前記サーバから配信される映像データを受信する受信手段と、
   前記座標に基づく映像データを表示手段に表示させるとともに、所定時間の経過の後に、前記表示された映像データを消去し、前記受信手段で受信した映像データを前記表示手段に表示させる表示制御手段と、
   を有することを特徴とする通信端末。
2. 前記所定時間は、前記座標が通信端末に入力された時刻に、遅延時間を加算した時間である
   ことを特徴とする請求項１に記載の通信端末。
3. 前記受信手段で受信した映像データは、
   前記座標に基づいて、前記サーバの生成手段で画像データを生成し、当該画像データが変換されて映像データとして配信されたものである
   ことを特徴とする請求項１または２に記載の通信端末。
4. 前記遅延時間は、
   前記サーバが前記通信端末から座標を受信してから、前記通信端末で映像データの表示を開始するまでの時間である
   ことを特徴とする請求項２に記載の通信端末。
5. 前記所定時間は、さらに前記座標が通信端末から前記サーバに送信されてから、当該座標を前記サーバで受信するまでの時間をさらに加算した時間を加算した
   ことを特徴とする請求項４に記載の通信端末。
6. 前記表示制御手段は、前記サーバから通信端末に対して配信される映像データに伴って配信される映像データの属性情報と同一の属性情報をあらかじめ記憶している記憶手段を有し、前記記憶手段に記憶された属性情報に基づく映像データを生成し、当該映像データを表示させる
   ことを特徴とする請求項１に記載の通信端末。
7. 前記表示制御手段は、前記映像データを表示可能な表示可能領域情報を記憶する記憶手段を有し、前記記憶手段に記憶された表示可能領域情報に一致する前記表示手段の表示領域を設定する
   ことを特徴とする請求項１に記載の通信端末。
8. 前記通信端末は、複写機能、ファクシミリ機能、及びスキャナ機能を任意に組み合わせた多機能情報処理装置、又はテレビ会議システム用の電子黒板を含む
   ことを特徴とする請求項１乃至７のいずれか１の請求項に記載の通信端末。
9. サーバに通信ネットワークを介して接続された通信端末によって通信する通信方法であって、
   前記通信ネットワークを介して、前記通信端末に入力された座標を前記サーバに送信する送信ステップと、
   前記サーバから配信される映像データを受信する受信ステップと、
   前記座標に基づく映像データを表示手段に表示させるとともに、所定時間の経過の後に、前記表示された映像データを消去し、前記受信ステップで受信した映像データを前記表示手段に表示させる表示制御御ステップと、
   を有することを特徴とする通信方法。

Images