JP3866793B2 - ネットワークシステム - Google Patents
ネットワークシステム Download PDFInfo
- Publication number
- JP3866793B2 JP3866793B2 JP15039996A JP15039996A JP3866793B2 JP 3866793 B2 JP3866793 B2 JP 3866793B2 JP 15039996 A JP15039996 A JP 15039996A JP 15039996 A JP15039996 A JP 15039996A JP 3866793 B2 JP3866793 B2 JP 3866793B2
- Authority
- JP
- Japan
- Prior art keywords
- media data
- terminal computer
- data conversion
- system information
- conversion unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/60—Medium conversion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークに接続された各端末コンピュータ同士で、メディアデータ処理能力や、メディアの表現形式等が相互に異なる場合においても、メディアデータの送受信を効率よく行うと共に、これにより各端末コンピュータやネットワーク自体の負荷を低減することができる、ビデオ会議システム等のネットワークシステムに関する。
【０００２】
【技術背景】
通常、ネットワークに接続される端末コンピュータ同士は、メディアデータ（画像データや音声データ）の処理能力がハードウェア的にもソフトウェア的にも異なる。
このため、たとえば、あるメディアデータ処理規格対応の回路を持つ端末コンピュータと、この規格とは異なる処理規格対応の回路を持つ端末コンピュータとがメディアデータを送受信する場合には、通常、受信側端末コンピュータが、自己が持つ回路の処理規格に合うように、受信したメディアデータの変換を行う。
【０００３】
たとえば、ＭＰＥＧ２対応の画像処理機能を持つ送信側端末コンピュータが、この画像処理機能を持たない受信側端末コンピュータに、ＭＰＥＧ２の画像データを送信する場合、受信側端末コンピュータが、ＭＰＥＧ２の画像データをＭＰＥＧ２以外の画像データ（たとえば、ＭＰＥＧ１の画像データ）に変換する。
ところが、この変換処理は、受信側（ＭＰＥＧ１対応の画像処理用チップを持つ）端末コンピュータの、中央処理装置や画像処理用のプロセッサが、ソフトウェア的に行わなければならず、当該端末コンピュータの負荷が増大する。
【０００４】
また、メディア表現形式（画像の表示等、音声の出力形式等）が、送信側端末コンピュータのユーザと受信側端末コンピュータのユーザとで異なることがある。たとえば、送信側端末コンピュータのユーザが、８００ｄｏｔ×１０２４ｄｏｔの解像度で画像表示し、受信側端末コンピュータが、６００ｄｏｔ×８００ｄｏｔの解像度で画像表示をしているものとする。この場合、受信側端末コンピュータがは、解像度が８００ｄｏｔ×１０２４ｄｏｔの画像データを、６００ｄｏｔ×８００ｄｏｔの解像度の画像データに変換しなければならない。したがって、この場合にも、受信側端末コンピュータの負荷が増大する。
【０００５】
さらに、ネットワークの回線状態によっては、送信側端末コンピュータと受信側端末コンピュータとのメディアデータ転送におけるスループットが変化する。このため、回線状態が悪くなったときに、回線状態が良いときの解像度で画像表示をしたのでは、表示に遅れが生じる等の不都合がある。
【０００６】
特に、端末コンピュータがマルチタスクを行っている場合には、メディアデータの変換処理速度が低下すると共に、この変換処理以外の他の処理にも遅れが生じる。
【０００７】
また、ある端末コンピュータが送信したメディアデータを、他の複数の端末コンピュータが受信する場合には、各受信側各末コンピュータが、それぞれメディアデータの変換を行わなければならなくなり、ネットワークシステム全体で見るとメディアデータの変換効率が悪い。
【０００８】
特に、ビデオ会議のように複数の端末コンピュータ間でメディアデータをリアルタイムで送受信するような場合、上述したように各端末コンピュータの負荷が大きくなると共に、ネットワーク自体の負荷も大きくなる。このため、受信側端末コンピュータでのメディアデータのリアルタイム出力が担保されず、出力画像や出力音声の、時間的遅れ等の劣化が頻繁に生じる。
【０００９】
【発明の目的】
本発明の目的は、ネットワークに接続された各端末コンピュータ同士で、メディアデータ処理能力や、メディアの表現形式等のユーザの要求が相互に異なる場合においても、メディアデータの送受信を効率よく行うと共に、これにより各端末コンピュータやネットワーク自体の負荷を低減することができるネットワークシステムを提供することである。
【００１０】
また、本発明の他の目的は、特に各端末コンピュータ同士がリアルタイムで画像データや音声データの送受信を行う場合にも、各端末コンピュータが画像データや音声データを効率良く送受信できるようにした、多地点ビデオ会議システムを提供することである。
【００１１】
【発明の概要】
本発明は、複数の端末コンピュータと、システム情報管理ユニットと、少なくとも１つのメディアデータ変換ユニットとがネットワークに接続され、メディアデータが、送信側端末コンピュータから受信側端末コンピュータに、前記メディアデータ変換ユニットの何れかを介して送信されるネットワークシステムに適用される。
【００１２】
端末コンピュータは、通常、送受信機能を備えたコンピュータ本体、ディスプレイ、入力装置（キーボード，マウス等）、スピーカ、その他の装置（ハードディスク等）を含む。
本発明のネットワークシステムが多地点ビデオ会議システムとして使用されるときには、端末コンピュータはビデオカメラやマイクロフォンを含み、必要に応じて、ボードに手書きした文字等を送信できる装置（いわゆる、ホワイトボード）等の付属装置を含む。
【００１３】
端末コンピュータ間でのメディアデータの送受信に先立ち、各端末コンピュータの、システム情報管理ユニットは、システム情報を、各端末コンピュータまたは各メディアデータ変換ユニットから取得して記録する。
このシステム情報は、
（ａ）端末コンピュータのメディアデータの処理能力、
（ｂ）メディア表現に関する端末コンピュータのユーザの要求、
を必ず含む。また、
（ｃ）メディアデータ変換ユニットのメディアデータの処理能力、
（ｄ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力、
を含めることができる。
【００１４】
システム情報管理ユニットは、送信側端末コンピュータからのメディアデータが、受信側端末コンピュータとこれを管理するメディアデータ変換ユニットに対応する、上記各項目に適合するように変換されるための条件（以下、「メディアデータ適合条件」あるいは「メディアデータ変換条件」と言う）を決定する。たとえば、どのメディアデータ変換ユニットがどの端末コンピュータからのメディアデータを受信するか、端末コンピュータからメディアデータを受信したときには、そのメディアデータをどのように変換して、どの端末コンピュータに送信するか等のメディアデータ適合条件を決定する。換言すれば、メディアデータ適合条件とは、メディアデータを受信側端末コンピュータに表示するためにどのように変換するかという変換の設定のことである。
【００１５】
メディアデータ変換ユニットは、システム情報管理ユニットから前記決定結果を取得する。そして、各端末コンピュータ間でのメディアデータの送受信に際して、自己が管轄する送信側端末コンピュータからメディアデータを受信したときは、上記の決定結果に従って、当該メディアデータに変換を施して、受信側端末コンピュータに送信する。
【００１６】
メディアデータ変換ユニットが、上記決定結果をシステム情報管理ユニットから取得した後に、
（ｉ）新たな端末コンピュータがネットワークに接続されたり、既に接続されている端末コンピュータがネットワークから切断されたりしたとき、
（ｉｉ）既に接続されている端末コンピュータのメディア処理能力に変更があったとき（たとえば、ハードウェアやソフトウェアが変更されたときや、当該ハードウェアやソフトウェアの設定が変更されたとき）、
（ｉｉｉ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力が変化したとき、
等においては、システム情報管理ユニットのシステム情報がアップデートされるようにしてもよい。
また、メディアデータ変換ユニットが、上記決定結果をシステム情報管理ユニットから取得した後、所定の期間経過するごとに、システム情報管理ユニットのシステム情報がアップデートされるようにしてもよい。
このような場合には、システム情報管理ユニットは、このアップデート情報も、端末コンピュータやメディアデータ変換ユニットから適時取得し、メディアデータ適合条件の再決定を行うことができる。
【００１７】
なお、送信側端末コンピュータからのメディアデータの変換を要しない場合には、送信側端末コンピュータと受信側端末コンピュータとの間のメディアデータの送受信は、メディアデータ変換ユニットを介して行うこともできるし、メディアデータ変換ユニットを介さないで行うこともできる。
【００１８】
システム情報管理ユニットは、通常、多数の端末コンピュータや、いくつかのメディアデータ変換ユニットのシステム情報を、一括して管理する。したがって、システム情報管理ユニットは、１つのネットワークシステムにつき１つであることが好ましい。
複数の規模の小さいネットワークがリンクして、規模の大きいネットワークが構築される場合には、本発明のネットワークシステムを、規模の小さいネットワークごとに設けることができ、この場合にはシステム情報管理ユニットは、規模の小さいネットワークの数だけ存在することになる。
【００１９】
メディアデータ変換ユニットは、接続される端末コンピュータ数が少ないときには１つとすることができるが、多いときには複数とすることが好ましい。
【００２０】
なお、１つのコンピュータがシステム情報管理ユニットやメディアデータ変換ユニットの機能を持つようにもできる。また、前記端末コンピュータの何れかが、システム情報管理ユニットやメディアデータ変換ユニットの機能をも持つようにもできる。
【００２１】
【好ましい実施の形態】
本発明のネットワークシステムを、ビデオ会議システムに適用した場合について、図２を参照して説明する。
（１）各端末コンピュータ間でのメディアデータの送受信に先立ち、以下のような処理が行われる。
（Ａ）各会議参加者（端末コンピュータのユーザ）は、たとえば、会議議長等のシステムオペレータからの電子メール等による日時等の通知により会議の開催を知る（図２のＰ１参照）。
そして、システム情報管理ユニットは、各端末コンピュータから、（ａ）端末コンピュータのメディアデータの処理能力、（ｂ）メディア表現に関する端末コンピュータのユーザの要求、についてのシステム情報を取得する。
このシステム情報の取得は、会議が開始される前の所定の期間内に、各端末コンピュータの会議参加者が、システム情報管理ユニットに自己のシステム情報をアップロードすることにより行われる。
また、システム情報管理ユニットは、メディアデータ変換ユニットから、（ｃ）メディアデータ変換ユニットのメディアデータの処理能力、（ｄ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力、についてのシステム情報を取得する（以上、図２のＰ２参照）。
なお、システム情報管理ユニットは、（ｄ）の伝送能力についてのシステム情報を、端末コンピュータから取得することもできる。
【００２２】
以下に、システム情報の具体例を列記する。
〔端末コンピュータのメディアデータの処理能力〕
・コンピュータシステムに使用される中央処理装置の名称や性能（動作クロック）
・メインメモリの容量
・画像処理回路に使用される専用チップの名称や、該回路の性能や対応するソフトウェアの性能（ＭＰＥＧ１、ＭＰＥＧ２等の対応する規格名、最大および最小フレームサイズ、最大および最小フレームレート、最大および最小の深さ等）
・画像処理回路回路や対応するソフトウェアにより複数の会議参加者画像を同時に表示できる場合には、その最大の表示数
・ビデオバッファメモリの容量
・音声処理回路の専用チップの名称や、該回路の性能や対応するフトウェアの性能（ＣＤオーディオ、電話オーディオ等の対応する規格名、周波数レンジ、ダイナミックレンジ等）
・通信回路の専用チップの名称や、該回路の性能や対応するソフトウェアの性能（最大および最小の転送レート、対応プロトコル等）
・上記画像処理回路や音声処理回路がビデオカードやサウンドカードに搭載されているときはカード名
・オペレーションシステムの名称やバージョン
・各種ソフトウェアの名称やバージョン
【００２３】
〔メディア表現に関する端末コンピュータのユーザの要求〕
・希望する画像の規格名、表示画像の希望するフレームサイズ、希望するフレームレート、希望する色の深さ等
・端末コンピュータ装置に表示される参加者画像の希望数や、どの参加者画像を優先して表示させるかの希望優先順位
・希望する音声の規格名、出力音声の希望する周波数レンジ、ダイナミックレンジ
・メディアデータの送受信における希望する転送レート、プロトコル等
・端末コンピュータ装置が、他の各端末コンピュータ装置の参加者画像の表示順位に優先度を設定してある場合にはその希望する順位
・ある端末コンピュータ装置のユーザが議長であるときには、その旨を宣言する情報
【００２４】
なお、通常、上記の各要求は、たとえば、希望する画像の規格名はＭＰＥＧ２またはＭＰＥＧ４、表示画像の希望する解像度は４００ｄｏｔ×７２０ｄｏｔ〜８００ｄｏｔ×１０２４ｄｏｔ、会議参加者画像の希望する表示数は２または３等、一定の幅を持たせて行われる。
【００２５】
〔メディアデータ変換ユニットのメディアデータの処理能力〕
・メディアデータ変換ユニットが管轄することができる、端末コンピュータの個数
・画像変換が可能な、表示画像の規格、最大および最小のフレームサイズ、最大および最小のフレームレート、色の深さ等
・ビデオ会議において使用される場合には、参加者画像数の変換の能力（たとえば、最大で参加者画像を何人分合成できるか）等
・音声変換が可能な、音声規格名、周波数レンジ、ダイナミックレンジ
・データ転送の際の、最大および最小の転送レート、対応プロトコル等
【００２６】
〔端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力〕
・送信側端末コンピュータと受信側端末コンピュータとの間の回線の混雑状況
【００２７】
（Ｂ）前記所定の期間が経過すると、ユーザの要求等の受付け等はタイムアウトとなる（図２のＰ３参照）。システム情報管理ユニットは、上記システム情報に基づき、送信側端末コンピュータからのメディアデータが、上記システム情報の各項目に適合するように変換されるためのメディアデータ適合条件（メディアデータ変換条件）を決定する（図２のＰ４参照）。このメディアデータ適合条件は、受信側端末コンピュータと受信側端末コンピュータを管理するメディアデータ変換ユニットに対応して決まる。
【００２８】
このメディアデータ適合条件には、
（ａ）表示画像のフレームサイズ、フレームレート、色の深さをどのようにするか、
（ｂ）出力音声をどの規格にするか、周波数レンジ、ダイナミックレンジをどのようにするか、
（ｃ）メディアデータの伝送に際して、メディアデータの転送レート、プロトコルをどのようにするか、
（ｄ）どのメディアデータ変換ユニットが、どの端末コンピュータを管轄するか、
が含まれる。
【００２９】
（Ｃ）メディアデータ変換ユニットは、システム情報管理ユニットからメディアデータ適合条件についての決定結果を取得する（図２のＰ５参照）。
【００３０】
（２）会議が開始されると（図２のＰ６参照）、各端末コンピュータ間でのメディアデータの送受信の際に、以下のような処理が行われる。
（Ａ）各端末コンピュータは、所定のメディアデータ変換ユニットに、メディアデータを送信する（図２のＰ７参照）。
【００３１】
（Ｂ）メディアデータ変換ユニットは、自己が管轄する送信側端末コンピュータからメディアデータを受信したときは、メディアデータ適合条件の決定結果に従って、当該メディアデータに変換を施す（図２のＰ８参照）。
【００３２】
なお、このデータ変換は、受信側端末コンピュータが複数である場合には、送信側端末コンピュータのメディアデータを、それぞれの受信端末コンピュータに適合するように変換する。ビデオ会議におけるメディアデータは、画像データと音声データを含むリアルタイムでータであり、メディアデータの受信と並行してデータ変換が順次行われる。
【００３３】
前述したように、メディアデータ変換ユニットが、上記決定結果をシステム情報管理ユニットから取得した後に、ネットワークに接続される端末コンピュータが追加等されたり、端末コンピュータやメディアデータ変換ユニットの処理能力が変更されたり、端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力が変化することががある。
このような場合、適時にシステム情報管理ユニットのシステム情報がアップデートされ、メディア適合条件が再決定されるようにすることが好ましい。
【００３４】
なお、システムオペレータであるビデオ会議議長が、システム情報管理ユニットのシステム情報のうち一部（たとえば、端末コンピュータのユーザが希望する参加者画像数）やメディア適合条件の一部（たとえば、ある端末コンピュータに表示される参加者画像数、参加者画像の表示の優先順位）を変更できるようにしてもよい。
【００３５】
【実施例】
図１は本発明のネットワークシステムをビデオ会議システムに適用した場合の一実施例を示す図である。
図１では、ネットワーク１に、５つの端末コンピュータＴ１〜Ｔ５、１つのシステム情報管理ユニット３１および、２つのメディアデータ変換ユニット４１，４２が接続されている。
【００３６】
本実施例において、端末コンピュータＴ１〜Ｔ５の「メディアデータの処理能力」は、画像処理能力（フレームサイズ、フレームレート、ビデオバッファメモリ容量）、音声品質であり、「メディア表現に関するユーザの要求」は、参加者画像の表示数および優先順位である。
また、メディアデータ変換ユニット４１，４２の「メディアデータの処理能力」は、合成できる参加者画像数である。
さらに、端末コンピュータＴ１〜Ｔ５とメディアデータ変換ユニット４１，４２との間の「メディアデータの伝送能力」は、端末コンピュータへのデータ送信（下り）および端末コンピュータからのデータ受信（上り）の転送レートである。
これらのシステム情報を、表１〜表４に示す。
【００３７】
【表１】
【００３８】
【表２】
【００３９】
【表３】
【００４０】
【表４】
【００４１】
表４は、バンド幅を示すもので、単位はｂｐｓである。Ｔ１〜Ｔ３の上りについては、それぞれに割り当てられたバンド幅の合計が３Ｍｂｐｓである。
【００４２】
システム情報管理ユニット３１は、ビデオ会議の開始に先立って、端末コンピュータＴ１〜Ｔ５から表１，表２に示すようなシステム情報を、またメディアデータ変換ユニット４１，４２から表３，表４に示すようなシステム情報を取得する。
【００４３】
システム情報管理ユニット３１は、上記システム情報に基づき、受信側端末コンピュータＴ１〜Ｔ５をメディアデータ変換ユニット４１と４２の何れが管轄するを決定するとともに、各メディアデータ変換が管轄する受信側端末コンピュータについてのメディアデータ適合条件を決定する。
このメディアデータ適合条件の決定結果を、表５および表６に示す。
【００４４】
【表５】
【００４５】
なお、本実施例では、表２に示された、端末コンピュータＴ１〜Ｔ３の参加者画像の希望表示人数と参加者画像の表示の希望優先順位とを参酌して、端末コンピュータＴ１〜Ｔ３およびＴ５を、メディアデータ変換ユニット４１が管轄するようにしている。また、同様に、表２に示された、端末コンピュータＴ４，Ｔ５の参加者画像の希望表示人数と参加者画像の表示の希望優先順位とを参酌して、端末コンピュータＴ１，Ｔ４およびＴ５を、メディアデータ変換ユニット４２が管轄するようにしている。
【００４６】
【表６】
【００４７】
端末コンピュータＴ１、Ｔ３、Ｔ４についての音声品質は、「ＣＤ／電話」としてある。これは、電話オーディオ規格をＣＤオーディオ規格に変換することができないことによる。たとえば、メディアデータ変換ユニット４１が、音声データを端末コンピュータＴ２から受信し、端末コンピュータＴ１に送信するときは、その音声データは電話オーディオ規格のまま（変換されることなく）送信される。また、メディアデータ変換ユニット４１が、音声データを端末コンピュータＴ３から受信し、端末コンピュータＴ１に送信するときは、その音声データはＣＤオーディオ規格のまま送信される。
【００４８】
表６の、「Ｔ４」の欄において、合成する参加者画像は、Ｍ１とＭ５である。これは、表２に示された参加者画像の表示の希望優先順位の１番目と３番目である。希望優先順位の２番目の参加者画像Ｍ３が表示されたないのは、メディアデータ変換ユニット４２が端末コンピュータＴ３を管轄していないことによる。
【００４９】
メディアデータ変換ユニット４１，４２は、表６に示したメディアデータ適合条件の決定結果を、システム情報管理ユニット３から取得する。
【００５０】
ビデオ会議が開始されると、メディアデータ変換ユニット４１は、端末コンピュータＴ１，Ｔ２，Ｔ３，Ｔ５からメディアデータを受信する。
メディアデータ変換ユニット４１は、表６の「Ｔ１」の欄に示されたメディアデータ適合条件に従って、端末コンピュータＴ２，Ｔ３，Ｔ５からの画像データを合成するとともに、フレームサイズ７２０ｄｏｔ×１０２４ｄｏｔ、フレームレート３０フレーム／秒の画像データに変換し、これを端末コンピュータＴ１に出力する。また、メディアデータ変換ユニット４１は、端末コンピュータＴ２，Ｔ３，Ｔ５からの音声データについては何れも変換することなくそのまま、端末コンピュータＴ１に出力する。
同様に、メディアデータ変換ユニット４１は、端末コンピュータＴ２，Ｔ３についても、表６の「Ｔ２」，「Ｔ３」の欄に示されたメディアデータ適合条件に従って画像データや音声データを変換し、出力する。
【００５１】
ビデオ会議が開始されると、メディアデータ変換ユニット４２は、端末コンピュータＴ１，Ｔ４，Ｔ５からメディアデータを受信する。
メディアデータ変換ユニット４２は、表６の「Ｔ４」の欄に示されたメディアデータ適合条件に従って、端末コンピュータＴ１，Ｔ５からの参加者画像Ｍ１，Ｍ５を合成するとともに、フレームサイズ７２０ｄｏｔ×１０２４ｄｏｔ、フレームレート２４フレーム／秒の画像データに変換し、これを端末コンピュータＴ４に出力する。また、メディアデータ変換ユニット４２は、端末コンピュータＴ１からのＣＤオーディオ規格の音声データについてはそのまま、端末コンピュータＴ５からの電話オーディオ規格の音声データについてはＣＤオーディオの音声規格に変換して、これを端末コンピュータ４１に出力する。
同様に、メディアデータ変換ユニット４２は、端末コンーピュータＴ５についても、表６の「Ｔ５」の欄に示されたメディアデータ適合条件に従って画像データや音声データを変換し、出力する。
【００５２】
なお、上記実施例では、メディアデータ変換ユニットを２つ設け、それぞれに端末コンピュータＴ１〜Ｔ５の一部を分担して管轄させたが、もちろんメディアデータ変換ユニットを１つのみとして、これに端末コンピュータＴ１〜Ｔ５の全てを管轄させることもできる。
また、メディアデータ変換ユニットを２つ設け、一方のメディアデータ変換ユニットには全ての端末コンピュータ間での画像データの変換を担当させ、他方のメディアデータ変換ユニットには全ての端末コンピュータ間での音響データの変換を担当させるようにもできる。
【００５３】
【発明の効果】
端末コンピュータの負荷が軽減し、かつネットワーク全体の負荷をも低減することができるネットワークシステムを実現することができる。
ビデオ会議システムのようなリアルタイムでデータの送受信を行うネットワークシステムにおいて、各端末コンピュータが画像データや音声データを効率良く送受信でき、出力画像や出力音声の、時間的遅れ等の劣化を防止できる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す説明図である。
【図２】本発明のネットワークシステムをビデオ会議システムに適用した場合における、処理の流れを示す図である。
【符号の説明】
Ｔ１〜Ｔ５ 端末コンピュータ
１ ネットワークシステム
３１ システム情報管理ユニット
４１，４２ メディアデータ変換ユニット
【発明の属する技術分野】
本発明は、ネットワークに接続された各端末コンピュータ同士で、メディアデータ処理能力や、メディアの表現形式等が相互に異なる場合においても、メディアデータの送受信を効率よく行うと共に、これにより各端末コンピュータやネットワーク自体の負荷を低減することができる、ビデオ会議システム等のネットワークシステムに関する。
【０００２】
【技術背景】
通常、ネットワークに接続される端末コンピュータ同士は、メディアデータ（画像データや音声データ）の処理能力がハードウェア的にもソフトウェア的にも異なる。
このため、たとえば、あるメディアデータ処理規格対応の回路を持つ端末コンピュータと、この規格とは異なる処理規格対応の回路を持つ端末コンピュータとがメディアデータを送受信する場合には、通常、受信側端末コンピュータが、自己が持つ回路の処理規格に合うように、受信したメディアデータの変換を行う。
【０００３】
たとえば、ＭＰＥＧ２対応の画像処理機能を持つ送信側端末コンピュータが、この画像処理機能を持たない受信側端末コンピュータに、ＭＰＥＧ２の画像データを送信する場合、受信側端末コンピュータが、ＭＰＥＧ２の画像データをＭＰＥＧ２以外の画像データ（たとえば、ＭＰＥＧ１の画像データ）に変換する。
ところが、この変換処理は、受信側（ＭＰＥＧ１対応の画像処理用チップを持つ）端末コンピュータの、中央処理装置や画像処理用のプロセッサが、ソフトウェア的に行わなければならず、当該端末コンピュータの負荷が増大する。
【０００４】
また、メディア表現形式（画像の表示等、音声の出力形式等）が、送信側端末コンピュータのユーザと受信側端末コンピュータのユーザとで異なることがある。たとえば、送信側端末コンピュータのユーザが、８００ｄｏｔ×１０２４ｄｏｔの解像度で画像表示し、受信側端末コンピュータが、６００ｄｏｔ×８００ｄｏｔの解像度で画像表示をしているものとする。この場合、受信側端末コンピュータがは、解像度が８００ｄｏｔ×１０２４ｄｏｔの画像データを、６００ｄｏｔ×８００ｄｏｔの解像度の画像データに変換しなければならない。したがって、この場合にも、受信側端末コンピュータの負荷が増大する。
【０００５】
さらに、ネットワークの回線状態によっては、送信側端末コンピュータと受信側端末コンピュータとのメディアデータ転送におけるスループットが変化する。このため、回線状態が悪くなったときに、回線状態が良いときの解像度で画像表示をしたのでは、表示に遅れが生じる等の不都合がある。
【０００６】
特に、端末コンピュータがマルチタスクを行っている場合には、メディアデータの変換処理速度が低下すると共に、この変換処理以外の他の処理にも遅れが生じる。
【０００７】
また、ある端末コンピュータが送信したメディアデータを、他の複数の端末コンピュータが受信する場合には、各受信側各末コンピュータが、それぞれメディアデータの変換を行わなければならなくなり、ネットワークシステム全体で見るとメディアデータの変換効率が悪い。
【０００８】
特に、ビデオ会議のように複数の端末コンピュータ間でメディアデータをリアルタイムで送受信するような場合、上述したように各端末コンピュータの負荷が大きくなると共に、ネットワーク自体の負荷も大きくなる。このため、受信側端末コンピュータでのメディアデータのリアルタイム出力が担保されず、出力画像や出力音声の、時間的遅れ等の劣化が頻繁に生じる。
【０００９】
【発明の目的】
本発明の目的は、ネットワークに接続された各端末コンピュータ同士で、メディアデータ処理能力や、メディアの表現形式等のユーザの要求が相互に異なる場合においても、メディアデータの送受信を効率よく行うと共に、これにより各端末コンピュータやネットワーク自体の負荷を低減することができるネットワークシステムを提供することである。
【００１０】
また、本発明の他の目的は、特に各端末コンピュータ同士がリアルタイムで画像データや音声データの送受信を行う場合にも、各端末コンピュータが画像データや音声データを効率良く送受信できるようにした、多地点ビデオ会議システムを提供することである。
【００１１】
【発明の概要】
本発明は、複数の端末コンピュータと、システム情報管理ユニットと、少なくとも１つのメディアデータ変換ユニットとがネットワークに接続され、メディアデータが、送信側端末コンピュータから受信側端末コンピュータに、前記メディアデータ変換ユニットの何れかを介して送信されるネットワークシステムに適用される。
【００１２】
端末コンピュータは、通常、送受信機能を備えたコンピュータ本体、ディスプレイ、入力装置（キーボード，マウス等）、スピーカ、その他の装置（ハードディスク等）を含む。
本発明のネットワークシステムが多地点ビデオ会議システムとして使用されるときには、端末コンピュータはビデオカメラやマイクロフォンを含み、必要に応じて、ボードに手書きした文字等を送信できる装置（いわゆる、ホワイトボード）等の付属装置を含む。
【００１３】
端末コンピュータ間でのメディアデータの送受信に先立ち、各端末コンピュータの、システム情報管理ユニットは、システム情報を、各端末コンピュータまたは各メディアデータ変換ユニットから取得して記録する。
このシステム情報は、
（ａ）端末コンピュータのメディアデータの処理能力、
（ｂ）メディア表現に関する端末コンピュータのユーザの要求、
を必ず含む。また、
（ｃ）メディアデータ変換ユニットのメディアデータの処理能力、
（ｄ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力、
を含めることができる。
【００１４】
システム情報管理ユニットは、送信側端末コンピュータからのメディアデータが、受信側端末コンピュータとこれを管理するメディアデータ変換ユニットに対応する、上記各項目に適合するように変換されるための条件（以下、「メディアデータ適合条件」あるいは「メディアデータ変換条件」と言う）を決定する。たとえば、どのメディアデータ変換ユニットがどの端末コンピュータからのメディアデータを受信するか、端末コンピュータからメディアデータを受信したときには、そのメディアデータをどのように変換して、どの端末コンピュータに送信するか等のメディアデータ適合条件を決定する。換言すれば、メディアデータ適合条件とは、メディアデータを受信側端末コンピュータに表示するためにどのように変換するかという変換の設定のことである。
【００１５】
メディアデータ変換ユニットは、システム情報管理ユニットから前記決定結果を取得する。そして、各端末コンピュータ間でのメディアデータの送受信に際して、自己が管轄する送信側端末コンピュータからメディアデータを受信したときは、上記の決定結果に従って、当該メディアデータに変換を施して、受信側端末コンピュータに送信する。
【００１６】
メディアデータ変換ユニットが、上記決定結果をシステム情報管理ユニットから取得した後に、
（ｉ）新たな端末コンピュータがネットワークに接続されたり、既に接続されている端末コンピュータがネットワークから切断されたりしたとき、
（ｉｉ）既に接続されている端末コンピュータのメディア処理能力に変更があったとき（たとえば、ハードウェアやソフトウェアが変更されたときや、当該ハードウェアやソフトウェアの設定が変更されたとき）、
（ｉｉｉ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力が変化したとき、
等においては、システム情報管理ユニットのシステム情報がアップデートされるようにしてもよい。
また、メディアデータ変換ユニットが、上記決定結果をシステム情報管理ユニットから取得した後、所定の期間経過するごとに、システム情報管理ユニットのシステム情報がアップデートされるようにしてもよい。
このような場合には、システム情報管理ユニットは、このアップデート情報も、端末コンピュータやメディアデータ変換ユニットから適時取得し、メディアデータ適合条件の再決定を行うことができる。
【００１７】
なお、送信側端末コンピュータからのメディアデータの変換を要しない場合には、送信側端末コンピュータと受信側端末コンピュータとの間のメディアデータの送受信は、メディアデータ変換ユニットを介して行うこともできるし、メディアデータ変換ユニットを介さないで行うこともできる。
【００１８】
システム情報管理ユニットは、通常、多数の端末コンピュータや、いくつかのメディアデータ変換ユニットのシステム情報を、一括して管理する。したがって、システム情報管理ユニットは、１つのネットワークシステムにつき１つであることが好ましい。
複数の規模の小さいネットワークがリンクして、規模の大きいネットワークが構築される場合には、本発明のネットワークシステムを、規模の小さいネットワークごとに設けることができ、この場合にはシステム情報管理ユニットは、規模の小さいネットワークの数だけ存在することになる。
【００１９】
メディアデータ変換ユニットは、接続される端末コンピュータ数が少ないときには１つとすることができるが、多いときには複数とすることが好ましい。
【００２０】
なお、１つのコンピュータがシステム情報管理ユニットやメディアデータ変換ユニットの機能を持つようにもできる。また、前記端末コンピュータの何れかが、システム情報管理ユニットやメディアデータ変換ユニットの機能をも持つようにもできる。
【００２１】
【好ましい実施の形態】
本発明のネットワークシステムを、ビデオ会議システムに適用した場合について、図２を参照して説明する。
（１）各端末コンピュータ間でのメディアデータの送受信に先立ち、以下のような処理が行われる。
（Ａ）各会議参加者（端末コンピュータのユーザ）は、たとえば、会議議長等のシステムオペレータからの電子メール等による日時等の通知により会議の開催を知る（図２のＰ１参照）。
そして、システム情報管理ユニットは、各端末コンピュータから、（ａ）端末コンピュータのメディアデータの処理能力、（ｂ）メディア表現に関する端末コンピュータのユーザの要求、についてのシステム情報を取得する。
このシステム情報の取得は、会議が開始される前の所定の期間内に、各端末コンピュータの会議参加者が、システム情報管理ユニットに自己のシステム情報をアップロードすることにより行われる。
また、システム情報管理ユニットは、メディアデータ変換ユニットから、（ｃ）メディアデータ変換ユニットのメディアデータの処理能力、（ｄ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力、についてのシステム情報を取得する（以上、図２のＰ２参照）。
なお、システム情報管理ユニットは、（ｄ）の伝送能力についてのシステム情報を、端末コンピュータから取得することもできる。
【００２２】
以下に、システム情報の具体例を列記する。
〔端末コンピュータのメディアデータの処理能力〕
・コンピュータシステムに使用される中央処理装置の名称や性能（動作クロック）
・メインメモリの容量
・画像処理回路に使用される専用チップの名称や、該回路の性能や対応するソフトウェアの性能（ＭＰＥＧ１、ＭＰＥＧ２等の対応する規格名、最大および最小フレームサイズ、最大および最小フレームレート、最大および最小の深さ等）
・画像処理回路回路や対応するソフトウェアにより複数の会議参加者画像を同時に表示できる場合には、その最大の表示数
・ビデオバッファメモリの容量
・音声処理回路の専用チップの名称や、該回路の性能や対応するフトウェアの性能（ＣＤオーディオ、電話オーディオ等の対応する規格名、周波数レンジ、ダイナミックレンジ等）
・通信回路の専用チップの名称や、該回路の性能や対応するソフトウェアの性能（最大および最小の転送レート、対応プロトコル等）
・上記画像処理回路や音声処理回路がビデオカードやサウンドカードに搭載されているときはカード名
・オペレーションシステムの名称やバージョン
・各種ソフトウェアの名称やバージョン
【００２３】
〔メディア表現に関する端末コンピュータのユーザの要求〕
・希望する画像の規格名、表示画像の希望するフレームサイズ、希望するフレームレート、希望する色の深さ等
・端末コンピュータ装置に表示される参加者画像の希望数や、どの参加者画像を優先して表示させるかの希望優先順位
・希望する音声の規格名、出力音声の希望する周波数レンジ、ダイナミックレンジ
・メディアデータの送受信における希望する転送レート、プロトコル等
・端末コンピュータ装置が、他の各端末コンピュータ装置の参加者画像の表示順位に優先度を設定してある場合にはその希望する順位
・ある端末コンピュータ装置のユーザが議長であるときには、その旨を宣言する情報
【００２４】
なお、通常、上記の各要求は、たとえば、希望する画像の規格名はＭＰＥＧ２またはＭＰＥＧ４、表示画像の希望する解像度は４００ｄｏｔ×７２０ｄｏｔ〜８００ｄｏｔ×１０２４ｄｏｔ、会議参加者画像の希望する表示数は２または３等、一定の幅を持たせて行われる。
【００２５】
〔メディアデータ変換ユニットのメディアデータの処理能力〕
・メディアデータ変換ユニットが管轄することができる、端末コンピュータの個数
・画像変換が可能な、表示画像の規格、最大および最小のフレームサイズ、最大および最小のフレームレート、色の深さ等
・ビデオ会議において使用される場合には、参加者画像数の変換の能力（たとえば、最大で参加者画像を何人分合成できるか）等
・音声変換が可能な、音声規格名、周波数レンジ、ダイナミックレンジ
・データ転送の際の、最大および最小の転送レート、対応プロトコル等
【００２６】
〔端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力〕
・送信側端末コンピュータと受信側端末コンピュータとの間の回線の混雑状況
【００２７】
（Ｂ）前記所定の期間が経過すると、ユーザの要求等の受付け等はタイムアウトとなる（図２のＰ３参照）。システム情報管理ユニットは、上記システム情報に基づき、送信側端末コンピュータからのメディアデータが、上記システム情報の各項目に適合するように変換されるためのメディアデータ適合条件（メディアデータ変換条件）を決定する（図２のＰ４参照）。このメディアデータ適合条件は、受信側端末コンピュータと受信側端末コンピュータを管理するメディアデータ変換ユニットに対応して決まる。
【００２８】
このメディアデータ適合条件には、
（ａ）表示画像のフレームサイズ、フレームレート、色の深さをどのようにするか、
（ｂ）出力音声をどの規格にするか、周波数レンジ、ダイナミックレンジをどのようにするか、
（ｃ）メディアデータの伝送に際して、メディアデータの転送レート、プロトコルをどのようにするか、
（ｄ）どのメディアデータ変換ユニットが、どの端末コンピュータを管轄するか、
が含まれる。
【００２９】
（Ｃ）メディアデータ変換ユニットは、システム情報管理ユニットからメディアデータ適合条件についての決定結果を取得する（図２のＰ５参照）。
【００３０】
（２）会議が開始されると（図２のＰ６参照）、各端末コンピュータ間でのメディアデータの送受信の際に、以下のような処理が行われる。
（Ａ）各端末コンピュータは、所定のメディアデータ変換ユニットに、メディアデータを送信する（図２のＰ７参照）。
【００３１】
（Ｂ）メディアデータ変換ユニットは、自己が管轄する送信側端末コンピュータからメディアデータを受信したときは、メディアデータ適合条件の決定結果に従って、当該メディアデータに変換を施す（図２のＰ８参照）。
【００３２】
なお、このデータ変換は、受信側端末コンピュータが複数である場合には、送信側端末コンピュータのメディアデータを、それぞれの受信端末コンピュータに適合するように変換する。ビデオ会議におけるメディアデータは、画像データと音声データを含むリアルタイムでータであり、メディアデータの受信と並行してデータ変換が順次行われる。
【００３３】
前述したように、メディアデータ変換ユニットが、上記決定結果をシステム情報管理ユニットから取得した後に、ネットワークに接続される端末コンピュータが追加等されたり、端末コンピュータやメディアデータ変換ユニットの処理能力が変更されたり、端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力が変化することががある。
このような場合、適時にシステム情報管理ユニットのシステム情報がアップデートされ、メディア適合条件が再決定されるようにすることが好ましい。
【００３４】
なお、システムオペレータであるビデオ会議議長が、システム情報管理ユニットのシステム情報のうち一部（たとえば、端末コンピュータのユーザが希望する参加者画像数）やメディア適合条件の一部（たとえば、ある端末コンピュータに表示される参加者画像数、参加者画像の表示の優先順位）を変更できるようにしてもよい。
【００３５】
【実施例】
図１は本発明のネットワークシステムをビデオ会議システムに適用した場合の一実施例を示す図である。
図１では、ネットワーク１に、５つの端末コンピュータＴ１〜Ｔ５、１つのシステム情報管理ユニット３１および、２つのメディアデータ変換ユニット４１，４２が接続されている。
【００３６】
本実施例において、端末コンピュータＴ１〜Ｔ５の「メディアデータの処理能力」は、画像処理能力（フレームサイズ、フレームレート、ビデオバッファメモリ容量）、音声品質であり、「メディア表現に関するユーザの要求」は、参加者画像の表示数および優先順位である。
また、メディアデータ変換ユニット４１，４２の「メディアデータの処理能力」は、合成できる参加者画像数である。
さらに、端末コンピュータＴ１〜Ｔ５とメディアデータ変換ユニット４１，４２との間の「メディアデータの伝送能力」は、端末コンピュータへのデータ送信（下り）および端末コンピュータからのデータ受信（上り）の転送レートである。
これらのシステム情報を、表１〜表４に示す。
【００３７】
【表１】
【表２】
【表３】
【表４】
表４は、バンド幅を示すもので、単位はｂｐｓである。Ｔ１〜Ｔ３の上りについては、それぞれに割り当てられたバンド幅の合計が３Ｍｂｐｓである。
【００４２】
システム情報管理ユニット３１は、ビデオ会議の開始に先立って、端末コンピュータＴ１〜Ｔ５から表１，表２に示すようなシステム情報を、またメディアデータ変換ユニット４１，４２から表３，表４に示すようなシステム情報を取得する。
【００４３】
システム情報管理ユニット３１は、上記システム情報に基づき、受信側端末コンピュータＴ１〜Ｔ５をメディアデータ変換ユニット４１と４２の何れが管轄するを決定するとともに、各メディアデータ変換が管轄する受信側端末コンピュータについてのメディアデータ適合条件を決定する。
このメディアデータ適合条件の決定結果を、表５および表６に示す。
【００４４】
【表５】
なお、本実施例では、表２に示された、端末コンピュータＴ１〜Ｔ３の参加者画像の希望表示人数と参加者画像の表示の希望優先順位とを参酌して、端末コンピュータＴ１〜Ｔ３およびＴ５を、メディアデータ変換ユニット４１が管轄するようにしている。また、同様に、表２に示された、端末コンピュータＴ４，Ｔ５の参加者画像の希望表示人数と参加者画像の表示の希望優先順位とを参酌して、端末コンピュータＴ１，Ｔ４およびＴ５を、メディアデータ変換ユニット４２が管轄するようにしている。
【００４６】
【表６】
端末コンピュータＴ１、Ｔ３、Ｔ４についての音声品質は、「ＣＤ／電話」としてある。これは、電話オーディオ規格をＣＤオーディオ規格に変換することができないことによる。たとえば、メディアデータ変換ユニット４１が、音声データを端末コンピュータＴ２から受信し、端末コンピュータＴ１に送信するときは、その音声データは電話オーディオ規格のまま（変換されることなく）送信される。また、メディアデータ変換ユニット４１が、音声データを端末コンピュータＴ３から受信し、端末コンピュータＴ１に送信するときは、その音声データはＣＤオーディオ規格のまま送信される。
【００４８】
表６の、「Ｔ４」の欄において、合成する参加者画像は、Ｍ１とＭ５である。これは、表２に示された参加者画像の表示の希望優先順位の１番目と３番目である。希望優先順位の２番目の参加者画像Ｍ３が表示されたないのは、メディアデータ変換ユニット４２が端末コンピュータＴ３を管轄していないことによる。
【００４９】
メディアデータ変換ユニット４１，４２は、表６に示したメディアデータ適合条件の決定結果を、システム情報管理ユニット３から取得する。
【００５０】
ビデオ会議が開始されると、メディアデータ変換ユニット４１は、端末コンピュータＴ１，Ｔ２，Ｔ３，Ｔ５からメディアデータを受信する。
メディアデータ変換ユニット４１は、表６の「Ｔ１」の欄に示されたメディアデータ適合条件に従って、端末コンピュータＴ２，Ｔ３，Ｔ５からの画像データを合成するとともに、フレームサイズ７２０ｄｏｔ×１０２４ｄｏｔ、フレームレート３０フレーム／秒の画像データに変換し、これを端末コンピュータＴ１に出力する。また、メディアデータ変換ユニット４１は、端末コンピュータＴ２，Ｔ３，Ｔ５からの音声データについては何れも変換することなくそのまま、端末コンピュータＴ１に出力する。
同様に、メディアデータ変換ユニット４１は、端末コンピュータＴ２，Ｔ３についても、表６の「Ｔ２」，「Ｔ３」の欄に示されたメディアデータ適合条件に従って画像データや音声データを変換し、出力する。
【００５１】
ビデオ会議が開始されると、メディアデータ変換ユニット４２は、端末コンピュータＴ１，Ｔ４，Ｔ５からメディアデータを受信する。
メディアデータ変換ユニット４２は、表６の「Ｔ４」の欄に示されたメディアデータ適合条件に従って、端末コンピュータＴ１，Ｔ５からの参加者画像Ｍ１，Ｍ５を合成するとともに、フレームサイズ７２０ｄｏｔ×１０２４ｄｏｔ、フレームレート２４フレーム／秒の画像データに変換し、これを端末コンピュータＴ４に出力する。また、メディアデータ変換ユニット４２は、端末コンピュータＴ１からのＣＤオーディオ規格の音声データについてはそのまま、端末コンピュータＴ５からの電話オーディオ規格の音声データについてはＣＤオーディオの音声規格に変換して、これを端末コンピュータ４１に出力する。
同様に、メディアデータ変換ユニット４２は、端末コンーピュータＴ５についても、表６の「Ｔ５」の欄に示されたメディアデータ適合条件に従って画像データや音声データを変換し、出力する。
【００５２】
なお、上記実施例では、メディアデータ変換ユニットを２つ設け、それぞれに端末コンピュータＴ１〜Ｔ５の一部を分担して管轄させたが、もちろんメディアデータ変換ユニットを１つのみとして、これに端末コンピュータＴ１〜Ｔ５の全てを管轄させることもできる。
また、メディアデータ変換ユニットを２つ設け、一方のメディアデータ変換ユニットには全ての端末コンピュータ間での画像データの変換を担当させ、他方のメディアデータ変換ユニットには全ての端末コンピュータ間での音響データの変換を担当させるようにもできる。
【００５３】
【発明の効果】
端末コンピュータの負荷が軽減し、かつネットワーク全体の負荷をも低減することができるネットワークシステムを実現することができる。
ビデオ会議システムのようなリアルタイムでデータの送受信を行うネットワークシステムにおいて、各端末コンピュータが画像データや音声データを効率良く送受信でき、出力画像や出力音声の、時間的遅れ等の劣化を防止できる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す説明図である。
【図２】本発明のネットワークシステムをビデオ会議システムに適用した場合における、処理の流れを示す図である。
【符号の説明】
Ｔ１〜Ｔ５ 端末コンピュータ
１ ネットワークシステム
３１ システム情報管理ユニット
４１，４２ メディアデータ変換ユニット
Claims (8)
- 複数の端末コンピュータと、システム情報管理ユニットと、少なくとも１つのメディアデータ変換ユニットとがネットワークに接続され、画像情報を含むメディアデータが、前記端末コンピュータ間で、前記メディアデータ変換ユニットの何れかを介して送信されるネットワークシステムであって、
前記システム情報管理ユニットは、少なくとも
（ａ）前記端末コンピュータのメディアデータの処理能力、
（ｂ）メディア表現に関する端末コンピュータのユーザの要求、
の各項目を含むシステム情報を前記端末コンピュータの各々から取得して、前記メディアデータが前記端末コンピュータからの前記各項目に適合するように変換されるための条件の決定を前記端末コンピュータの各々について行い、
前記メディアデータ変換ユニットは、
前記システム情報管理ユニットから前記条件の決定の結果を取得しておき、
前記端末コンピュータ間でのメディアデータの送受信に際して、自己が管轄する前記端末コンピュータからメディアデータを受信したときは、前記取得した決定の結果に従って、当該メディアデータに変換を施して、前記端末コンピュータに送信する、
ネットワークシステムにおいて、
前記ユーザの要求は、前記端末コンピュータの表示画面上に表示すべき前記画像情報の個数を含み、
前記メディアデータ変換ユニットは、前記ユーザの要求中の前記個数に従い、前記端末コンピュータからの複数の前記画像情報を合成した画像を前記ユーザの端末コンピュータに送信するとともに、
前記メディアデータ変換ユニットが複数であり、
前記システム情報管理ユニットが前記メディアデータ変換ユニットが管轄する端末コンピュータを決定する
ことを特徴とするネットワークシステム。 - 前記ユーザの要求は複数の前記画像情報間の優先順位を更に含み、
前記メディアデータ変換ユニットは、前記個数及び前記優先順位に従い、前記端末コンピュータからの複数の前記画像情報を合成した画像を前記ユーザの端末コンピュータに送信する
ことを特徴とする請求項１記載のネットワークシステム。 - 前記システム情報は、前記メディアデータ変換ユニットから取得される
（ｃ）メディアデータ変換ユニットのメディアデータの処理能力、
（ｄ）端末コンピュータとメディアデータ変換ユニットとの間のメディアデータの伝送能力、
の少なくとも一方を含むことを特徴とする請求項１または請求項２記載のネットワークシステム。 - 前記メディアデータ変換ユニットが前記結果を前記システム情報管理ユニットから取得した後に以下の（ｉ）から（ｉｉｉ）のいずれかが起こったとき、前記システム情報管理ユニットが前記システム情報を更新することを特徴とする請求項１から３のいずれかに記載のネットワークシステム。
（ｉ）新たな前記端末コンピュータがネットワークに接続され、または既に接続されている前記端末コンピュータがネットワークから切断された。
（ｉｉ）既に接続されている前記端末コンピュータのメディア処理能力が変更された。
（ｉｉｉ）前記端末コンピュータと前記メディアデータ変換ユニットとの間のメディアデータの伝送能力が変化した。 - 前記メディアデータ変換ユニットが前記結果を前記システム情報管理ユニットから取得した後、所定時間が経過するごとに、前記システム情報管理ユニットの前記システム情報を更新することを特徴とする請求項１から４のいずれかに記載のネットワークシステム。
- 前記システム情報管理ユニットは、前記更新されたシステム情報に基づいて前記条件の再決定を行うことを特徴とする請求項４または５記載のネットワークシステム。
- 多地点ビデオ会議システムとして使用されるネットワークシステムであって、前記メディアデータが、画像データと音声データとを含むリアルタイムデータであることを特徴とする請求項１から請求項６のいずれかに記載のネットワークシステム。
- 前記端末コンピュータからのメディアデータの変換を要しない場合には、当該メディアデータは前記メディアデータ変換ユニットを経由せずに他の前記端末コンピュータに送られることを特徴とする請求項１から請求項７のいずれにかに記載のネットワークシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15039996A JP3866793B2 (ja) | 1996-05-21 | 1996-05-21 | ネットワークシステム |
| US08/856,341 US6014712A (en) | 1996-05-21 | 1997-05-14 | Network system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15039996A JP3866793B2 (ja) | 1996-05-21 | 1996-05-21 | ネットワークシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09321793A JPH09321793A (ja) | 1997-12-12 |
| JP3866793B2 true JP3866793B2 (ja) | 2007-01-10 |
Family
ID=15496135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15039996A Expired - Fee Related JP3866793B2 (ja) | 1996-05-21 | 1996-05-21 | ネットワークシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6014712A (ja) |
| JP (1) | JP3866793B2 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6925595B1 (en) | 1998-08-05 | 2005-08-02 | Spyglass, Inc. | Method and system for content conversion of hypertext data using data mining |
| US6772413B2 (en) | 1999-12-21 | 2004-08-03 | Datapower Technology, Inc. | Method and apparatus of data exchange using runtime code generator and translator |
| US20040103139A1 (en) * | 2000-03-30 | 2004-05-27 | United Devices, Inc. | Distributed processing system having sensor based data collection and associated method |
| US7092985B2 (en) * | 2000-03-30 | 2006-08-15 | United Devices, Inc. | Method of managing workloads and associated distributed processing system |
| US6963897B1 (en) * | 2000-03-30 | 2005-11-08 | United Devices, Inc. | Customer services and advertising based upon device attributes and associated distributed processing system |
| US20090222508A1 (en) * | 2000-03-30 | 2009-09-03 | Hubbard Edward A | Network Site Testing |
| US8010703B2 (en) * | 2000-03-30 | 2011-08-30 | Prashtama Wireless Llc | Data conversion services and associated distributed processing system |
| US20010039497A1 (en) * | 2000-03-30 | 2001-11-08 | Hubbard Edward A. | System and method for monitizing network connected user bases utilizing distributed processing systems |
| USRE42153E1 (en) | 2000-03-30 | 2011-02-15 | Hubbard Edward A | Dynamic coordination and control of network connected devices for large-scale network site testing and associated architectures |
| US20090216641A1 (en) * | 2000-03-30 | 2009-08-27 | Niration Network Group, L.L.C. | Methods and Systems for Indexing Content |
| US6856651B2 (en) * | 2000-07-25 | 2005-02-15 | Peribit Networks, Inc. | System and method for incremental and continuous data compression |
| IL153955A0 (en) * | 2000-07-25 | 2003-07-31 | Peribit Networks Inc | Network architecture and methods for transparent on-line cross-sessional encoding and transport of network communications data |
| JP3670217B2 (ja) | 2000-09-06 | 2005-07-13 | 国立大学法人名古屋大学 | 雑音符号化装置、雑音復号装置、雑音符号化方法および雑音復号方法 |
| US7103906B1 (en) | 2000-09-29 | 2006-09-05 | International Business Machines Corporation | User controlled multi-device media-on-demand system |
| CN101715109A (zh) * | 2000-10-11 | 2010-05-26 | 联合视频制品公司 | 提供数据存储到点播媒体传递系统中服务器上的系统和方法 |
| JP2003085086A (ja) * | 2001-09-12 | 2003-03-20 | Sony Corp | サービス提供システム、サービス提供方法 |
| US7617501B2 (en) * | 2004-07-09 | 2009-11-10 | Quest Software, Inc. | Apparatus, system, and method for managing policies on a computer having a foreign operating system |
| JP4297034B2 (ja) | 2004-11-05 | 2009-07-15 | ブラザー工業株式会社 | サービス提供システムおよびサーバ |
| JP2006203334A (ja) * | 2005-01-18 | 2006-08-03 | Canon Inc | 画像記録装置及びその制御方法、並びにプログラム |
| JP4207019B2 (ja) * | 2005-05-16 | 2009-01-14 | 船井電機株式会社 | クライアント・サーバシステム |
| JP4492482B2 (ja) * | 2005-08-17 | 2010-06-30 | Ｋｄｄｉ株式会社 | グループ通信システムにおける従属接続方法、端末及びプログラム |
| US7904949B2 (en) | 2005-12-19 | 2011-03-08 | Quest Software, Inc. | Apparatus, systems and methods to provide authentication services to a legacy application |
| US8087075B2 (en) | 2006-02-13 | 2011-12-27 | Quest Software, Inc. | Disconnected credential validation using pre-fetched service tickets |
| US8429712B2 (en) * | 2006-06-08 | 2013-04-23 | Quest Software, Inc. | Centralized user authentication system apparatus and method |
| US8375141B2 (en) * | 2006-09-29 | 2013-02-12 | Microsoft Corporation | Infrastructure to disseminate queries and provide query results |
| US8086710B2 (en) | 2006-10-30 | 2011-12-27 | Quest Software, Inc. | Identity migration apparatus and method |
| JP2008252177A (ja) * | 2007-03-29 | 2008-10-16 | Toshiba Corp | 電子会議システム、情報処理装置およびプログラム |
| US8255984B1 (en) | 2009-07-01 | 2012-08-28 | Quest Software, Inc. | Single sign-on system for shared resource environments |
| JP5660983B2 (ja) * | 2011-06-28 | 2015-01-28 | トヨタ自動車株式会社 | コンテンツ配信システム |
| WO2014025293A2 (en) * | 2012-08-08 | 2014-02-13 | Telefonaktiebolaget L M Ericsson (Publ) | 3d video communications |
| JP2014183321A (ja) * | 2013-03-15 | 2014-09-29 | Ricoh Co Ltd | 通信システム、通信装置及び通信プログラム |
| US10645137B2 (en) * | 2015-12-28 | 2020-05-05 | Facebook, Inc. | Systems and methods to create composite videos |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU3944793A (en) * | 1992-03-31 | 1993-11-08 | Aggregate Computing, Inc. | An integrated remote execution system for a heterogenous computer network environment |
| EP0661885A1 (en) * | 1993-12-28 | 1995-07-05 | Canon Kabushiki Kaisha | Image processing method and apparatus for converting between data coded in different formats |
| JPH0818941A (ja) * | 1994-06-28 | 1996-01-19 | Canon Inc | 画像処理装置及び多対地会議方法 |
| US5473363A (en) * | 1994-07-26 | 1995-12-05 | Motorola, Inc. | System, method and multipoint control unit for multipoint multimedia conferencing |
| JP3388893B2 (ja) * | 1994-08-16 | 2003-03-24 | 株式会社東芝 | パーソナル通信サービス装置 |
| US5727159A (en) * | 1996-04-10 | 1998-03-10 | Kikinis; Dan | System in which a Proxy-Server translates information received from the Internet into a form/format readily usable by low power portable computers |
-
1996
- 1996-05-21 JP JP15039996A patent/JP3866793B2/ja not_active Expired - Fee Related
-
1997
- 1997-05-14 US US08/856,341 patent/US6014712A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09321793A (ja) | 1997-12-12 |
| US6014712A (en) | 2000-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3866793B2 (ja) | ネットワークシステム | |
| JP3658087B2 (ja) | 端末装置及び端末装置の制御方法 | |
| US9521006B2 (en) | Duplicating digital streams for digital conferencing using switching technologies | |
| US6453336B1 (en) | Video conferencing with adaptive client-controlled resource utilization | |
| RU2662731C2 (ru) | Устройство серверного узла и способ | |
| US10547652B2 (en) | Communication control device, communication system, and communication control method | |
| US7593986B2 (en) | Method and system for generating a routing table for a conference | |
| US20050114528A1 (en) | System, server, method and program for providing communication service | |
| US20060104347A1 (en) | Data mixer for portable communications devices | |
| US7053924B2 (en) | Television conference system, terminal for the system, connection control method, and connection control program | |
| EP2924985A1 (en) | Low-bit-rate video conference system and method, sending end device, and receiving end device | |
| JP2005286972A (ja) | 多地点会議接続システム、並びに多地点会議接続方法 | |
| US20100066806A1 (en) | Internet video image producing method | |
| CN113542660A (zh) | 一种实现会议多画面高清显示的方法、系统及存储介质 | |
| JP2004187170A (ja) | ビデオ会議システム | |
| CN102035950A (zh) | 坐席业务处理方法及ip坐席终端 | |
| CN103974023A (zh) | 视频画面调节系统及方法 | |
| US20060251095A1 (en) | Method and system for providing an interface through which an application can access a media stack | |
| WO2004059975A1 (fr) | Procede et systeme de sortie d'image multiple | |
| JP5234744B2 (ja) | 映像会議装置、映像会議方法、映像会議プログラムおよび記録媒体 | |
| JPH07327219A (ja) | 電子会議システム及び会議サーバ及び参加者コンピュータ | |
| CN208094697U (zh) | 视频会议系统 | |
| CN102457627A (zh) | 网络电话及其信息共享的方法 | |
| JP2003283673A (ja) | 電話会議装置 | |
| US11516586B2 (en) | Contextual latency configuration for isochronous audio transport |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050127 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050427 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050506 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060215 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060511 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060921 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061006 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |