JP3191315B2 - メディア処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画および音声を含む
マルチメディア情報を扱う通信サーバ、及び、それを用
いた通信システムに係り、特に、これらのアプリケーシ
ョンおよびシステムアーキテクチャ、更に、動画を用い
たメールシステムおよび編集加工処理を行なうアプリケ
ーションに好適な通信サーバ、及び、それを用いた通信
システムに関する。

【０００２】

【従来の技術】動画を用いた通信システムとしては、従
来、特開昭61-159886号がある。ここでは、複数の端末
を集線する通信制御装置およびこれに接続する画像ファ
イルを設置し、ユーザ端末からこの画像ファイルに直接
アクセス可能とすることにより画像情報を蓄積する画像
ファイルを複数端末で共同利用可能としている。

【０００３】

【発明が解決しようとする課題】上述した従来の通信シ
ステムでは、２台の動画端末間の通信中に上記共用画像
ファイルからデータを検索した後読み出し、自端末ある
いは相手端末に転送し表示するというものであり、ファ
イルの共有化は可能となってもビデオメ−ルシステムの
ようなビデオの蓄積や編集を組み合わせたシステムに適
用することができなかった。したがって、従来技術は、
動画像そのものの編集加工処理を行なうというものでは
ない。

【０００４】本発明の第1の目的は、動画および音声を
含むマルチメディア情報の編集加工を自由に行なえる通
信サーバ端末、及び、それを用いた通信システムを含む
ネットワークのアーキテクチャ、およびユーザ端末を提
供するものである。

【０００５】動画および音声の編集加工を行なうために
は、高速で大容量の蓄積装置および高速の信号処理装置
が必要となる。しかし、これらの装置は各ユーザ端末本
体の価格に比べて高価なものであり、ユーザ端末毎にこ
れらを持つことはコスト的に困難となる。本発明は、そ
のようなシステムを実現するために考案されたものであ
り、解決しようとする課題としては、 （１）各ユーザ端末のファイル容量および処理規模の削
減 （２）ネットワ−クのトラフィック量の抑制 （３）ネットワークに接続された異なる属性のユーザ端
末の相互接続 （４）実時間情報の転送制御 があげられる。

【０００６】更に、本発明の第2の目的は、ビデオ、オ
−ディオなどの複数の出力機器を用いて端末上でマルチ
メディア情報を編集加工する場合やＸ線や超音波診断装
置などの医療機器からの情報を統一的に表示する場合な
どの複数の情報間の同期をとるためのシステムおよびそ
れを用いた同期制御方式を提供するものである。複数の
情報間の同期を取るためには、それらを統合する装置に
おいてすべての情報が揃っていなければならない。しか
し、出力機器に対して情報の要求を行ってから情報が得
られるまでの時間は出力機器によって異なるため、単純
に時間を合わせて情報を複数の出力機器に対して要求し
ただけでは同期を取ることはできない。そこで本発明で
解決しようとする第２の課題は、以下のとおりである。

【０００７】（１）複数の出力機器に対する情報の要求
によって得られる情報間の同期 （２）先行して到達した情報の保存 （３）同期期間中に出力される情報の品質保証

【０００８】

【課題を解決するための手段】前述の第1の目的を達成
するために、本発明では、複数のユーザ端末が接続され
るネットワーク内に動画および音声を含むマルチメディ
アデータのための実時間蓄積装置および信号処理装置
（これらを含めて、以下、マルチメディアサーバとい
う）を設置し、複数のユーザ端末でこれを共通利用する
ことによって各ユーザ端末のファイル容量および処理規
模の削減を図る。

【０００９】また、リソ−スの共有化によって生じるネ
ットワークのトラフィック増加およびファイル容量の増
加に対しては、伝送路上およびファイル上で各メディア
対応のデ−タ圧縮を行ない、等価的に、収容するユーザ
端末数を増やすことができる。この時、ユーザ端末とマ
ルチメディアサーバ上には共にデ−タ圧縮を目的とした
各メディア対応の符号器および復号器を設ける。

【００１０】更に、ネットワ−クに接続された複数のユ
ーザ端末の属性が異なることを想定してマルチメディア
サ−バ側の符号器および復号器は、マルチメディアサ−
バ上のテーブルを参照しながら送信元および転送先のユ
ーザ端末の属性に合致したモードに設定する。編集処理
はマルチメディアサ−バの蓄積装置および信号処理装置
を用いて行なうが、編集処理は時間的および空間的に非
線型となるため、マルチメディアサ−バでは送信元の符
号器に対応した復号器の出力に対して行なう手段を備え
る。

【００１１】一方、実時間情報の転送制御については、
マルチメディアサーバに実時間情報を高速再生する手段
を設けると同時に、ユーザ端末側にネットワークの転送
速度で動作する第１のバッファと実時間情報の符号化速
度で動作する第２のバッファを設け、複数のユーザ端末
に対する転送と再生を同時に行なう。

【００１２】前述の第２の目的を解決する手段として、
端末上の各出力機器に対応したバッファ装置を設け、先
行して到着する情報を保存し、必要とされる情報の到着
状況により出力を制御することにより、情報間の同期を
取る。又、情報を保存するためのバッファ装置において
保存する情報の増加に対しては、各情報の保存量に対応
した情報圧縮手段を用いることにより、バッファ装置に
おける情報の保存可能な情報量を等価的に増加させると
いう手段をとる。

【００１３】一方、バッファ装置に保存された情報の出
力制御については、情報群の出力全体を管理する制御装
置により出力を制御することによって同期期間中に出力
される情報の品質保証を行う。

【００１４】

【作用】本発明における通信システムによれば、マルチ
メディアデータの編集加工をネットワーク上の任意のユ
ーザ端末から行ない、任意のユーザ端末に転送すること
が可能となる。

【００１５】以下第１図から第３図を用いて本発明の動
作を説明する。

【００１６】まず、第１図において動画、静止画、テキ
ストおよび音声等マルチメディア情報の伝送および交換
処理を行なうネットワーク１にマルチメディア情報の入
出力機能を持つ複数のユーザ端末２〜４が接続された通
信システムにおいて、上記ユーザ端末のファイル容量お
よび処理量の負荷軽減のため、ネットワーク上にマルチ
メディアサーバ９を設ける。このマルチメディアサーバ
９は通信インタフェース装置５および各端末の編集加工
等に用いる実時間信号処理装置７および蓄積装置８およ
びこれらの制御を行なう制御装置６からなる。

【００１７】通信インタフェース装置５はユーザ端末と
の通信に必要となるプロトコルの送受信処理を行ない、
信号処理装置７は動画、音声および静止画等の符号化又
は復号化および時間軸操作や画像処理等の編集加工に必
要な処理を行なう。蓄積装置８は受信データおよび編集
データの蓄積を行ない、制御装置は蓄積装置への書き込
み／読み出し制御および編集処理の制御を行なう。

【００１８】本システムでは、マルチメディアサーバは
各ユーザ端末から共有して使用されるため、蓄積装置お
よびネットワークの有効利用という点から、蓄積データ
および伝送データの圧縮処理を行なう。この時のユーザ
端末側およびマルチメディアサーバ側の構成を第２図お
よび第３図（ａ）に示す。まず第２図において、ユーザ
端末２は各メディアの入出制御部２０およびデータの圧
縮伸長のためのＣＯＤＥＣ２１および通信インタフェー
ス２２からなっており、ネットワークとの間でデータの
送受信を行なう。

【００１９】一方、マルチメディアサーバでは、ユーザ
端末側の処理内容に応じて信号処理装置７内に復号器７
１、編集処理装置７２および符号器７３を設ける。従っ
て、端末側からの受信データはマルチメディアサ−バ内
で一度復号化された後、編集処理されこの結果を再度符
号化した後、蓄積装置８に書き込む。この時、ユーザ端
末側の処理の内容に応じて通信インタフェース装置５で
デ−タの経路を定めるパスの制御を行なう。すなわち、
プロトコル処理装置５１と信号処理装置７の間に２つの
方向制御スイッチ５２および５３を設け、データの収
録、編集および再生の各場合に応じて所定のパスを構成
する仕組とする。

【００２０】即ち、収録の場合は、ネットワークからの
受信データをそのまま蓄積装置８に送り、編集の場合は
蓄積装置からの読み出しデータを再度蓄積装置にフィー
ドバックする。又、再生の場合には、蓄積装置からのデ
ータを送信データとしてネットワークに送り出すという
動作となる。この時の通信インタフェース装置５内の２
つのスイッチの動作を図３（ｂ）に示す。ここではスイ
ッチの４つの組合せに対して、「禁止」、「収録および
再生」、「編集」および「再生」という状態が定義さ
れ、端末の要求に応えて方向制御スイッチの設定を行な
う。

【００２１】尚、これらのスイッチは送信元の端末のモ
−ド識別子によって、目的とする機能を実現するように
設定される。

【００２２】更に、実時間情報に対するユーザ端末およ
びマルチメディアサーバ間の転送制御については、マル
チメディアサーバ内のデータをネットワークの転送速度
と同じ速度で高速再生した後、これをネットワークで転
送し端末側に設けた２面バッファの１面でこれを受信す
る。又、端末側では残り１面のバッファより実時間情報
の本来の速度でデータを読み出し、再生を行なう。この
ようにして各端末に対するデータの転送時間を短縮しな
がら、ネットワークの使用効率を上げることが可能とな
る。

【００２３】一方、本発明の第２の目的に対する動作を
以下、図４から図６を用いて説明する。まず、図４にお
いてビデオ又はオ−ディオ等の情報を出力する複数の出
力機器４０１〜４０３において、出力機器４０１〜４０
３からの情報の出力の同期をとるため、バッファ装置４
０４〜４０６と制御装置４０７を設ける。出力機器４０
１〜４０３をそれぞれバッファ装置４０４〜４０６に接
続し更にバッファ装置４０４〜４０６に制御装置４０７
を接続する。出力機器４０１〜４０３はバッファ装置４
０４〜４０６の制御信号によりバッファ装置４０４〜４
０６に情報を出力する。図５のように、バッファ装置４
０４は出力機器からの情報を検出する検出器４０８およ
び出力機器からの情報を圧縮するための圧縮装置４０９
および情報をそのまままたは圧縮して格納するためのフ
レ−ムメモリ４１０および圧縮されてフレ−ムメモリ４
１０に格納された情報を復元するための伸長装置４１１
および伸長装置４１１からの情報を検出する検出器４１
２および検出器４０８と圧縮装置４０９とフレ−ムメモ
リ４１０と伸長装置４１１と検出器４１２を制御するた
めのバッファ制御装置４１３からなる。図６のように、
バッファ制御装置４１３はカウンタ４１４とプロセッサ
４１５からなり、カウンタ４１４は検出器４０８からの
信号により加算され検出器４１２からの信号でカウンタ
４１４を減ぜられ、プロセッサ４１５はカウンタの値お
よびフレームメモリ４１０の状態から圧縮装置４０９お
よびフレームメモリ４１０および伸長装置４１１を制御
する。本システムでは、情報の保存と出力の制御を行う
ことにより、情報の同期をとる。情報の保存方法は図４
において、制御装置４０７はバッファ装置４０４に対し
て情報読み込みの制御信号を送る。バッファ装置４０４
は制御装置４０７から送られた制御信号をもとに出力機
器４０１に対して情報を出力させるための制御信号を送
る。出力機器４０１はバッファ装置４０４からの制御信
号よって情報をバッファ装置４０４に出力する。出力機
器４０１からの情報を受け取ったバッファ装置４０４は
制御装置４０７からの情報出力の制御信号が送られるま
で情報を保存する。バッファ装置４０４における情報の
保存の動作は図５において、制御装置４０７から情報要
求の制御信号をバッファ装置内のバッファ制御装置４１
３が受け取り、それを出力機器４０１の制御信号に変換
し出力機器４０１に対して送る。そして、検出器４０８
はバッファ装置に送られてきた情報を検出し信号をバッ
ファ制御装置４１３に送る。検出器４０８を通過した情
報は圧縮装置４０９に送られ、圧縮装置４０９はバッフ
ァ制御装置４１３からの制御信号により、情報をそのま
ま又は圧縮してフレ−ムメモリ４１０に送る。

【００２４】バッファ装置からの出力は図４において、
まず制御装置４０７がバッファ装置４０４に対して出力
要求の制御信号を送る。この時、バッファ装置４０４に
おける情報の動作は図５において、制御装置４０７から
情報出力の制御信号をバッファ装置内のバッファ制御装
置４１３が受け取り、フレームメモリに対して情報の出
力を要求する制御信号を送る。制御信号を受け取ったフ
レームメモリ４１０はそのまま又は圧縮された情報を伸
長装置４１１に送る。伸長装置４１１はバッファ制御装
置４１３の制御信号によりフレームメモリ４１０から送
られてきた情報をそのまままたは圧縮されたものの場合
伸長して検出器４１２を通して出力する。最後に、検出
器４１２は情報を検出すると出力された情報量を知るた
めに信号をバッファ制御装置４１３に送る。

【００２５】情報の保存および出力の制御は、図４の出
力機器４０２〜４０３およびバッファ装置４０５〜４０
６についても同様の動作を行う。

【００２６】

【実施例】第７図は、本発明の一実施例を示すブロック
構成図である。第７図において、通信インタフェース装
置５はネットワーク１からのデータをデコードし、送信
アドレスα（ユーザ端末２に対応）および受信アドレス
β（ユーザ端末４に対応）を抽出する。これらのアドレ
ス情報は制御装置６に入力される。制御装置内では、α
に対応する復号器７１のモードおよびβに対応する符号
器７３のモードをテーブル６１および６２によって判定
し、復号器および符号器のモ−ド制御部に出力する。こ
こでテーブル６１および６２にはネットワーク内の全て
の端末の符号器および復号器の状態が全てのメディア対
応に登録されている。このテーブルはネットワークにユ
ーザ端末が接続される際、あるいは、ユーザ端末がマル
チメディアサーバにアクセスする毎にその属性が登録さ
れるものとする。

【００２７】本実施例の結果、ネットワーク内での同一
属性のユーザ端末間の通信の場合と異なる属性を持つユ
ーザ端末間の通信の場合が考えられる。前者の場合、第
７図（ｂ）に示すようにＣ１の符号器を持つ端末２か
ら、Ｄ１の復号器を持つユーザ端末４へ転送する際、マ
ルチメディアサーバの復号器７１はＣ１に対応するＤ１
に設定され、マルチメディアサーバの符号器７３はＤ１
に対応するＣ１に設定される。

【００２８】一方、後者の場合、（ｃ）に示すようにユ
ーザ端末２のＣ１およびユーザ端末４のＤ２に対応して
マルチメディアサーバ側はそれぞれＤ１およびＣ２に設
定される。

【００２９】更に、ユーザ端末からマルチメディアサー
バに対するデータ型式を第８図に示す。データにはマル
チメディアサーバ制御のためのアプリケーションヘッダ
が付加されており、その内容は大きく自端末識別子、相
手端末識別子、モード識別子からなる。

【００３０】ここでモード識別子は書き込み（収録）、
読み出し（再生）、書き込みおよび読み出し（収録およ
び再生）および編集、からなっており、これによってユ
ーザ端末側からマルチメディアサーバ側の状態をコント
ロールすることができる。

【００３１】この中で、「編集」時には、”メディア指
定”および”速度指定”を行なうことにより、マルチメ
ディアサーバの蓄積装置８上のデータをユーザ端末側の
都合に応じて編集することができる。”メディア指定”
では全メディアおよび単一メディアの選択ができ、又”
速度指定”では１秒当りのフレーム数又はサンプル数を
指定することにより、ユーザ端末からのリモート制御に
より任意の速度で動画または音声等のリアルタイム情報
の編集を行なうことができる（静止画およびテキストに
対しては、”速度指定”は不要）。例えば、ＮＴＳＣク
ラスの動画をゆっくりと編集したい場合は、速度指定を
１秒あたり１〜３０フレームに設定し、早送りで編集す
る場合は３０フレーム以上に設定することによって、実
現することができる。尚、編集に必要となる上記の”指
定情報”はアプリケーションヘッダの残りの部分を使っ
て送信される。

【００３２】次に、第８図の自ユーザ端末および相手ユ
ーザ端末識別子によって定められるユーザ端末属性の
内、符号化方式の一例を第９図に示す。符号化方式は動
画、音声および静止画の各メディア対応に規定され、ユ
ーザ端末の使用環境、ネットワークのトラフィック状態
およびファイル容量、に応じて選択される。第９図の例
の場合、サーバは各メディアとも４種類の符号器および
復号器のバンクを準備しておき、指定に応じて選択され
る。

【００３３】ここで、第７図の具体的な構成を第１０図
に示す。

【００３４】ネットワークからのデータはプロトコル処
理装置５１によって終端され、方向制御スイッチ５２に
入力される。方向制御スイッチ５２の出力はメディア分
離部３６に入力され、テキストおよび制御データ復号器
７１０、動画復号器７１１、音声復号器７１２および静
止画復号器７１３を通過する。この時、信号処理の必要
な動画、音声および静止画はＡＬＵ（Arithmetic Logic
al Unit）および乗算器を備え、実時間の処理能力を備
えた専用編集処理装置７２を経た後、各メディア対応の
符号器７３１、７３２、７３３に入力される。一方、テ
キストおよび制御データは７１０の出力をバス３４経由
でＣＰＵ３１に取り込み、メモリ３２上で処理した後、
符号器７３０に出力する。又、受信した制御データの内
容に基づいて符号器および復号器のモード変換テーブル
３３をひき、この結果をペリフェラルインタフェース３
５を介して出力する。更に、ＣＰＵ３はモード識別子の
判別結果を３５を介して方向制御スイッチに出力する。
上記のフローで処理されたデータは蓄積のためにメディ
ア統合部３７で統合され、蓄積装置８に入力される。次
に、蓄積装置から読み出されたデータは制御スイッチ５
３を経由してプロトコル処理装置５１に入力され、その
処理結果がネットワークに出力される。

【００３５】本発明の第２の実施例を第１１図に示す。
ここでは（ａ）に示すように、サーバ内の編集処理装置
７２に編集用バッファ７２１を設けるという構成をとる
ものとする。まず、ある端末からの「編集」のリクエス
トにより蓄積装置内で符号器Ｃ１によって符号化されて
いるデータが読み出され、編集バッファ７２１に書き込
まれる。（（ｂ）参照）次に、このデータは編集処理装
置とこのバッファによって、再び蓄積装置に書き込むま
でローカルに編集処理される。同時に、本サーバは他の
端末からのリクエストに応じて蓄積装置からの「読み出
し」（符号器Ｃ４によって符号化されているデータ）お
よび「書き込み」（端末の符号器Ｃ２→サーバの復号器
Ｄ２→サーバの符号器Ｃ３）処理を行なうため、上記の
編集処理部をパスから分離し、並列処理化を図ってい
る。又、編集処理終了後は他のユーザ端末から蓄積装置
へアクセスがないことを確認した上で、編集結果を符号
器７３に入力した後、蓄積装置に書き込む。

【００３６】本発明の第３の実施例を第１２図〜第１３
図に示す。ユーザ端末側が「編集」又は「再生」状態の
場合、蓄積装置内部の動画データを高速に再生して所定
のシーンを検索するという状況が生じる。この場合、マ
ルチメディアサーバ側の構成として、以下の２つ考えら
れる。即ち、蓄積装置部にマルチヘッド等の並列読み出
し機能を備えて高速に読み出す方法と、蓄積装置内のデ
ータそのものを一定間隔で読み飛ばす方法である。

【００３７】まず、前者では独立にアドレス指定可能な
Ｎ個のヘッドを第１２図に示すように１フレームづつシ
フトして配置しておき、これらをＮフレームごとにサイ
クリックに読み出し、蓄積装置全体としてのスループッ
トをＮ倍にするというものである。この場合、第１２図
（１）のようにＮ個のヘッドを単一のソースに配分する
方法と（２）のようにマルチユーザに配分する方法が考
えられる。即ち、マルチメディアサーバにアクセスする
ユーザ端末の数が少ない時は、シングルユーザに対して
より高速の転送が可能となり、マルチメディアサーバに
アクセスするユーザ端末の数が多いときは全ユーザ端末
に対して、均等の転送をサポートすることができる。更
に、マルチユーザに対しては、優先度を設けることによ
り、対応するヘッドの数を変え、各ユーザ端末への転送
速度を変えることも可能となる。次に、後者の場合は蓄
積装置としてのスループットは一定のまま、等価的に
「再生」時のデータの情報量を削減するという方法であ
る。この例を第１３図に示す。この例では、Ａ，Ｂ……
の各フレームを複数のサブフレームに分割し、各フレー
ム毎に順次上部、中部、下部の順で１／３フレームづつ
読み出し、転送する。この場合、転送されるフレームデ
ータはＡ１，Ｂ２，Ｃ３のように３フレーム分のデータ
が混在することになるが、検索したいフレームへのアク
セスタイムは通常の再生時間のの１／３となり、高速検
索が達成できる。尚、この機能は端末側の「速度指定」
によって実現することができる。

【００３８】本発明の第４の実施例を第１４図に示す。
ここで、マルチメディアサーバに格納された実時間情報
の符号化速度はネットワークの転送速度に比べて、十分
小さいものとする。この時、マルチメディアサーバ９内
のデータをネットワークの転送速度と同じ速度で高速再
生し、ネットワークに転送する。他方、２〜４の各端末
は２Ａ〜４Ａの２面バッファを有しており、ネットワー
クの転送速度で受信データをバッファリングしながら、
もう一方のバッファから実時間情報の符号化速度でデー
タを読み出す。この２つのバッファは、サーバから読み
出すデータの周期毎に切り換えられ、実時間情報の再生
が続けられていく。即ち、同図（ｂ）に示すようにＡ，
Ｂ，Ｃの３つの実時間ソースに対して、これらを一定時
間巾ＮのブロックＡ１〜Ａ３，Ｂ１〜Ｂ３，Ｃ１〜Ｃ３
に分割してこれらを時間巾１のデータに圧縮し、バース
ト的にブロック転送する。この時、ネットワーク上では
Ａ，Ｂ，Ｃの各データを時分割的にシフトして配置し、
時間巾Ｎの周期でサイクリックに転送するというもので
ある。但し、サーバ側で時間Ｎの管理を行う必要があ
る。本実施例によれば、ネットワークの高速性を利用し
たサーバおよび複数端末間の実時間情報の同時転送が可
能となり、動画再生や編集への応用ができる。

【００３９】本発明の第４の実施例を第１４図に示す。
ここで、マルチメディアサーバに格納された実時間情報
の符号化速度はネットワークの転送速度に比べ、十分小
さいものとする。この時、マルチメディアサーバ９内の
データをネットワークの転送速度と同じ速度で高速再生
し、ネットワークに転送する。他方、２〜４の各ユーザ
端末は、２Ａ〜４Ａの２面バッファを有しており、ネッ
トワークの転送速度で受信データをバッファリングしな
がら、もう一方のバッファから実時間情報の符号化速度
でデータを読み出す。この２つのバッファは、マルチメ
ディアサーバから読み出すデータの周期毎に切り換えら
れ、実時間情報の再生が続けられていく。即ち、同図
（ｂ）に示すように、Ａ，Ｂ，Ｃの３つの実時間ソース
に対して、これらを一定時間巾ＮのブロックＡ１〜Ａ
３，Ｂ１〜Ｂ３，Ｃ１〜Ｃ３に分割してこれらを時間巾
１のデータに圧縮し、バースト的にブロック転送する。
この時、ネットワーク上では、Ａ，Ｂ，Ｃの各データを
時分割的にシフトして配置し、時間巾Ｎの周期でサイク
リックに転送するというものである。但し、マルチメデ
ィアサーバ側で時間Ｎの管理を行なう必要がある。本実
施例によれば、ネットワークの高速性を利用したマルチ
メディアサーバおよび複数ユーザ端末間の実時間情報の
同時転送が可能となり、動画再生や編集への応用ができ
る。

【００４０】本発明の第５の実施例について第１５図を
用いて説明する。この図は、本発明で実現されるユーザ
端末のアーキテクチャを示しており、ユーザ端末はスキ
ャナ１００、カメラ１０１、マイク１０２、キーボード
１０３、ＣＲＴ１０４スピーカ１０５等の入出力装置お
よびこれらとユーザ端末本体とのインタフェース装置１
０６〜１１１および動画用のＣＯＤＥＣ２１、ＣＰＵ１
１３、メモリ１１４および通信インタフェース装置２２
からなっている。ユーザ端末内部はデータおよび音声信
号を伝送するデータバス１１７、動画信号を転送するビ
デオバス１１６からなっており、ＣＰＵはメモリを用い
ながら入力装置からのイベントを拾う処理、出力装置の
制御、ネットワークを経由したサーバからの要求に対す
る応答処理などを行なう。又、通信インタフェース装置
は各メディアの特性に応じたプロトコル処理を行ない、
この端末に全二重の回線を提供する機能を持つ。

【００４１】本発明の第６の実施例を第１６図に示す。
この例は、ネットワーク１の転送速度がユーザ端末内部
の転送速度に比べて遅く、ユーザ端末２がソースファイ
ル２０１および編集用のファイル２０２の両者を持って
いるという状況を示している。ここでユーザ端末は、編
集が必要な場合のみネットワークを介してマルチメディ
アサーバにアクセスし、編集処理装置および編集バッフ
ァを用いて編集し、この結果を端末の編集ファイル２０
２に格納するという処理を行なう。この場合、サーバ内
の蓄積装置はアクセスされず、データはその手前で折り
返されるという構成をとる。

【００４２】本発明の第７の実施例を第１７〜２０図に
示す。ここでは、マルチメディアサーバを用いた一例と
してマルチメディアドキュメントシステムを取り上げ、
そのファイル構造について述べる。第１７図はマルチメ
ディアサーバの蓄積装置８に格納されるデータの構成を
示している。ファイルはテキストおよび静止画からなる
ドキュメントとこれに付随するアノテーション１-１〜
４-３からなる。アノテーションは音声と動画からなっ
ており、ドキュメント上の任意に場所に任意の長さ、任
意の組み合わせで付加される。又、アノテーションの最
後にドキュメントがリンクされる構成をとっており、こ
の結果複数のドキュメントが複数のアノテーションによ
って相互に接続される。

【００４３】上記構成を持つデータの記憶装置上での論
理的なフォーマットを第１８図に示す。ファイルはフィ
ールド間テーブル８１、フィールド内テーブル８２、ア
ドレス変換テーブル８３およびデータ領域８４からな
る。まず、８１は単一のマルチメディアデ−タに含まれ
る複数のドキュメント間の接続関係を示しており、第１
９図に示すように各ドキュメント対応にラベルフィール
ド８５とネスティングフィールド８６からなる。又、ネ
スティングフィ−ルドはそのドキュメントが接続される
親ラベル８７と次に接続する子ドキュメント８８の番号
が表示される。次に８２は各ドキュメント内でのテキス
ト、静止画およびアノテーションのレイアウト情報を示
している。第２０図に示すように、本テーブルはテキス
ト情報のエリア番号９１と各エリアのコーナ座標９２、
静止画情報のエリア番号９３、始点座標９４と終点座標
９５、アノテーション情報のラベル９６、メディア名９
７、座標９８とサイズ９９からなっている。更に、８３
は各データ領域８４と上記テーブルの相互関係を示すた
めの変換テーブルである。

【００４４】本発明の第８の実施例として、マルチメデ
ィアメールシステムへの適用があげられる。これは第２
１図に示すように構内にある複数のユーザ端末をスター
状に収容するＰＢＸ( Private Branch eXchanger)にビ
デオサーバを接続し、構内でメールサービスを行なうと
いうシステムである。ここで、ＡＴＭ−ＰＢＸは各メデ
ィアをセルと呼ばれる固定長の短パケットのままで交換
を行ない、各ユーザ端末同志又は各端末とビデオサーバ
とを高速に接続する。以下に、メールサービス時の処理
フローを示す。

【００４５】ユーザ端末＃２よりＡＴＭ−ＰＢＸに接
続されたビデオサーバにデータを書き込む。この時、自
ユーザ端末および相手ユーザ端末の属性に応じた符号化
方式が適用される。

【００４６】ユーザ端末＃１より随時ビデオサーバの
データを再生する。この時、ユーザ端末＃１は自端末の
ファイルにビデオデータをダウンロードする必要はな
い。

【００４７】ユーザ端末＃１は読み出したデータのフ
ィルタリング、編集加工をリモート制御によって行な
う。この時、ビデオ用のワーク領域および信号処理装置
はマルチメディアサーバのものを用いる。

【００４８】ユーザ端末＃１は必要に応じて編集した
結果を個人情報として、＃１のファイルに落とす。

【００４９】第９の実施例として、上記ファイル構成を
持つシステムのユーザ端末上のマンマシンインタフェー
スを第２２図に示す。ユーザ端末のＣＲＴ４０上には、
ドキュメントウィンドウ４１、ディレクトリウィンドウ
４２および動画ウィンドウ４３の３種のウィンドウが表
示され、４１には動画又は音声の存在を知らせるための
アノテーション（注釈）マークが付加されている。（第
１７図のドキュメント＃１に対応する。）又、４２の内
容は第２２図（ｂ）に示すようにドキュメント４４と各
アノテーション４５、４６、４７との相互接続関係およ
びアノテーションのメディアの種類を示している。更
に、アノテーションとしての動画情報は動画ウィンドウ
４３の中で表示され、又ドキュメント又はアノテーショ
ンの表示又は再生中の際はその旨をディレクトリウィン
ドウ中で表示している。アノテ−ションの最後に子ドキ
ュメントが付加されている場合、そのアノテ−ションの
再生の終了と同時に、子ドキュメントが別のドキュメン
トウィンドウとして、親ドキュメントの上に表示され
る。

【００５０】本発明の第１０の実施例を以下に説明す
る。図２３は、端末上での複数メディアの同期装置に関
する実施例を示す。本実施例は、出力機器４０１、出力
機器４０２、端末４１６、ディスプレイ４２２、キーボ
ード４２３、スピーカー４２４、外部記憶装置４２５か
ら構成される。出力機器４０１および出力機器４０２
は、端末４１６からの制御により指定された情報を端末
４１６へ送る。キーボード４２３は、端末４１６の操作
に用いられる。ディスプレイ４２２は端末４１６から送
られてくる映像を表示する。外部記憶装置４２５は、出
力装置から得られる情報を端末４１６が管理したり制御
するための情報を蓄えるために用いられる。端末４１６
は、キーボード４２３からの操作により外部記憶装置４
２５から情報を読み取り、この情報により出力機器を制
御し出力機器から送られてきた情報を同期させ、それら
の情報を分離し映像情報ならばディスプレイ４２２に出
力し音声情報ならばスピーカー４２４に出力する。端末
４１６は、バッファ装置４０４、バッファ装置４０５、
制御装置４０７、メディア分離部４１７、ＣＰＵ４１
８、メモリ４１９、データバス４２０、ビデオバス４２
１から構成される。バッファ装置４０４、バッファ装置
４０５はそれぞれ出力装置４０１、出力装置４０２に接
続される。制御装置４０７は、ＣＰＵ４１８からの指令
によりバッファ装置４０４およびバッファ装置４０５を
制御する。メディア分離部４１７では、バッファ装置４
０４およびバッファ装置４０５から送られてきた情報か
ら映像情報や音声情報を分離し映像情報ならばビデオバ
ス４２１に出力し、その他の情報はデータバス４２０に
出力する。ＣＰＵ４１８はメモリ４１９の内容に従って
入出力の制御を行う。メモリ４１９は、ＣＰＵ４１８が
入出力を制御するための外部記憶装置からの情報を記憶
する。端末４１６は、キーボード４２３の操作により動
作が起動される。端末４１６内での動作は、キーボード
４２３からの操作をＣＰＵ４１８がデータバス４２０を
通じて受け取り、それを解析してメモリ４１９から対応
する制御情報を選びだす。もし、メモリ４１９内に対応
する制御情報がなければ外部記憶装置４２５から必要な
情報をメモリ４１９に読みだした後、あらためてメモリ
４１９から対応する制御情報を選びだす。選びだされた
制御情報はデータバス４２０を通じて制御装置４０７に
送られる。制御装置４０７は、ＣＰＵ４１８から送られ
た制御情報を解読して、対応する制御情報を各バッファ
装置に対して送る。制御情報を送られたバッファ装置
は、さらにその制御情報から出力装置に対応する制御情
報を出力機器に送ったりバッファ装置内の情報をメディ
ア分離部４１７に送る。バッファ装置を通してメディア
分離部４１７に送られてきた情報は画像や音声などに分
離され、データバス４２０やビデオバス４２１を通して
それぞれディスプレイ４２２やスピーカー４２４に出力
される。このようにして本実施例では情報の出力を行
う。

【００５１】本実施例の結果、制御装置４０７に対して
メモリや外部記憶装置などの外部から同期の方法を与え
ることにより様々な同期の方法を使用することが可能と
なっている。また、同期の方法だけでなく出力の順序を
外部記録装置に記憶しておくことで多様な出力順序に対
応することが出来る。

【００５２】本発明の第１１の実施例は、第１０の実施
例における同期方式である。ひとつは、端末４１６によ
って指定された情報すべてが揃ってから出力を開始する
という同期方法である。この場合、図２４（ａ）に示す
ように先行してバッファ装置４０４に到着した情報はバ
ッファ装置４０４に格納され、すべての情報が揃うまで
バッファ装置４０４内に保存され、すべての情報が揃っ
た時点で出力が開始される。この方法は、バッファ装置
への情報の到着を図６の検出器４０８によって検出し、
バッファ制御装置４１３に信号として送り、検出器４０
８から送られてきた信号をもとにバッファ制御装置４１
３がフレームメモリ４１０に対して出力を行わせる制御
信号を送ることにより実現される。もうひとつの方法と
しては、図２４（ｂ）に示すように先行してバッファ装
置４０４に到着した情報はまず出力され、その後、他の
情報のバッファ装置４０５への到着状況により先行して
到着した情報を繰り返して出力するなどして先行してい
る情報の出力を遅らせることにより、同期を取るという
方法である。この方法は、バッファ装置４０４への情報
の到着を図６の検出器４１０によって検出し、バッファ
制御装置に信号として送られ、図６のバッファ制御装置
４１３内のカウンタ４１４でカウントされ、そのカウン
タ４１４の値を制御装置４０７に送り、送られたカウン
タ４１４の値をもとにして各バッファ装置のカウンタの
値を比較し同期がとれたかどうかの信号をバッファ制御
装置４１３に送り、バッファ制御装置内のプロセッサ４
１５は制御装置４０７からの信号により同期がとれてい
ることがわかれば、フレームメモリ４１０に対し、出力
を行わせる制御信号を送る。又、制御装置４０７からの
信号により同期がとれていないことがわかり、フレーム
メモリ４１０内の情報がまだ繰り返して出力されていな
い場合は繰り返して出力する制御信号をフレームメモリ
４１０に送り、既にフレームメモリ４１０の情報を出力
している場合には、次の情報を出力することにより実現
される。更に、バッファ装置４０５のバッファ容量に余
裕があり、かつ、そのバッファ装置４０５に接続されて
いる出力機器４０２からの情報が必要だとあらかじめわ
かっている場合、図２４（ｃ）に示すようにその情報が
出力に必要とされる前にバッファ装置４０５に読み込ん
でおくようにすることによって情報要求が発生した時点
から実際に情報がバッファ装置４０５に到達するまでの
遅延時間をなくすことができる。この方法は、制御装置
４０７が情報を先行して読み込む対象となるバッファ装
置４０５に対して情報を取り込むことができるかどうか
を判断するためにバッファ装置４０５の状態をよみだす
が、それはバッファ装置４０５内のバッファ制御装置４
０７内のプロセッサ４１５がバッファ制御装置４１３内
のカウンタ４１５の値とフレームバッファ４１０が格納
できるフレーム数とを比較した差であり、その値をもと
にして制御装置４０７がバッファ装置４０５に先行して
読み取る情報の読み取りのための制御信号をバッファ装
置４０５に対して送ることにより実現される。本実施例
の結果、利用者の使用形態に適合した同期方式を用いる
ことにより、同期方式を固定する方式に比べ用途を広げ
ることができる。

【００５３】第１２の実施例としては、第１０の実施例
におけるバッファ装置上の情報の圧縮格納がある。これ
は図２３において、バッファ装置内に図５のように圧縮
装置４０９および伸長装置４１１を設置し、制御装置４
０７からの制御をバッファ制御装置４１３で解読し圧縮
装置と伸長装置を制御することにより実現する。図２５
に、同一の情報をバッファ装置に格納する際に、そのま
ま格納する場合と圧縮して格納する場合の図を示す。本
実施例の結果、図２５のように、出力装置からの情報を
そのままバッファ装置に格納する場合に比べて、圧縮し
て格納することによりバッファ装置上に格納できる情報
量が増大するので、より長い情報間の到着時間のずれに
対応することができる。

【００５４】第１３の実施例としては、第１２の実施例
における情報の圧縮格納時の圧縮率の制御がある。これ
は図２３において、バッファ装置内に図５のように圧縮
装置４０９および伸長装置４１１を圧縮率および伸長率
を変化させることのできるものとし、圧縮率および伸長
率を制御装置４０７で制御することにより実現する。図
２６に、同一の情報をバッファ装置内のフレームメモリ
に圧縮率を変化させて格納する場合のバッファ装置内の
フレームメモリの状態を表す図を示す。本実施例の結
果、図２５のように、圧縮率を変化させることで、格納
できる情報量を高くしたり低くしたりすることができ
る。また、圧縮率および伸長率を固定した場合に比べ、
圧縮率及び伸長率を高く又は低くすることで出力装置か
ら送られてくる情報の情報量の変化にも対応することが
出来る。

【００５５】第１３の実施例としては、第１０の実施例
におけるバッファ装置上のバッファ容量以上の入力情報
に対応する制御がある。図２３において、制御装置４０
７は各バッファ装置の状況から、バッファ装置にバッフ
ァ容量以上の情報が来ることを検出する。そして、制御
装置４０７はバッファ容量以上の情報が来るようなバッ
ファ装置に対して、バッファ装置が出力装置に再出力要
求を行うための制御信号を送る。制御信号を受け取った
バッファ装置は、情報の格納を中断し出力装置に対して
格納を中断した情報からの再出力要求の制御信号を送り
出力装置からの情報を待つ。出力装置からの情報を待っ
ている間に制御装置４０７から情報出力要求がきた場合
には、バッファに格納されている情報を出力することに
より実現する。図２７に、本実施例を用いた場合の、バ
ッファ装置の容量を超えた情報に対する対応を示すタイ
ムチャートの図を示す。本実施例の結果、図２７のよう
に、バッファ装置上に格納することのできる情報の出力
時間が再出力要求から情報が到着するまでの時間より長
ければ、バッファ装置が格納できる情報量と各情報間の
時間的なずれに関係無く同期をとることができる。

【００５６】

【発明の効果】本発明におけるマルチメディアサーバ、
及び、それを用いた通信システムによれば、リソースの
共有化によって、編集処理等の高負荷な処理は全てマル
チメディアサーバ側で行なうため、各ユーザ端末は入出
力処理のみを実行すれば良く、各ユーザ端末のコストを
抑えることができる。又、この時、各メディア対応の符
号器および復号器を持つことによって、ネットワークト
ラフィックの増加および蓄積容量の増加の問題を解決す
ることができる。

【００５７】これによって、ネットワークに登録可能な
ユーザ端末数を等価的に増やすことができる。更に、マ
ルチメディアサーバ側にユーザ端末の属性に応じて符号
化および復号化特性を切り換える機能を設けることによ
り、ネットワークに接続された複数の異なる属性を持つ
ユーザ端末間でのデータの送受信が可能となる。

【００５８】また、本発明における同期処理装置によれ
ば、複数の出力機器からの情報をバッファ装置に保存し
同期をとり出力するため、既存の出力機器を使用するこ
とができる。また、この時、出力機器の数に対応したバ
ッファ装置を用意することにより、複数の出力機器に分
散して存在する情報を活用することができる。更に、バ
ッファリング時の圧縮の使用や再出力要求をすることに
より、長時間の遅延ずれを持つシステムに対しても少な
いバッファ容量で対応することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用するネットワークの全体構成を示
すブロック図である。

【図２】本発明のユーザ端末部分の構成を示す図であ
る。

【図３】本発明のマルチメディアサーバの構成を示す図
（ａ）、及び、マルチメディアサーバの方向制御スイッ
チの状態を示す図（ｂ）である。

【図４】本発明の同期処理部の構成を示すブロック図で
ある。

【図５】本発明の構成の中のバッファ装置の構成を示す
ブロック図である。

【図６】本発明の中のバッファ制御装置の構成を示すブ
ロック図である。

【図７】ユーザ端末およびサーバの符号器、復号器のモ
ード設定の一例を示す図である。

【図８】ユーザ端末とサーバ間のデータ転送フォーマッ
トの一例を示す図である。

【図９】各メディアの符号化方式の一例を示す図であ
る。

【図１０】サーバのアーキテクチャの一例を示す図であ
る。

【図１１】サーバにおける同時処理方式の一例を示す図
である。

【図１２】マルチヘッドによる高速転送方式の一例を示
す図である。

【図１３】逐次読み飛ばしによる高速転送方式の一例を
示す図である。

【図１４】ネットワーク上での同時転送を示す図であ
る。

【図１５】ユーザ端末のアーキテクチャの一例を示す図
である。

【図１６】ユーザ端末側で編集ファイルを持つ場合の構
成を示す図である。

【図１７】マルチメディアドキュメントの構成の一例を
示す図である。

【図１８】マルチメディアデータのファイル構造の一例
を示す図である。

【図１９】マルチメディアデータのフィールド間テーブ
ルの一例を示す図である。

【図２０】マルチメディアデータのフィールド内テーブ
ルの一例を示す図である。

【図２１】本発明のマルチメディアメールシステムへの
適用例を示す図である。

【図２２】マルチメディアデータのマンマシンインタフ
ェースの一例を示す図である。

【図２３】ユーザ端末内部の構成の実施例を示す図であ
る。

【図２４】本発明における同期制御手法による情報の同
期関係を示したタイムチャートを示す図である。

【図２５】圧縮を用いた情報の格納方式を用いた場合の
格納状況を示す図である。

【図２６】圧縮率を変化させる情報の格納方式を用いた
場合の格納状況を示す図である。

【図２７】バッファ装置の容量以上の情報に対応する方
式を用いた場合のタイムチャートを示す図である。

【符号の説明】

１…ネットワーク、２〜４…ユーザ端末、５…通信イン
ターフェイス装置、６…制御装置、７…信号処理装置、
８…蓄積装置、９…マルチメディアサーバ、６１・６２
…テーブルメモリ、７１…復号化回路、７３…符号化回
路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ダグラス・カードウェル 東京都国分寺市東恋ケ窪１丁目280番地 株式会社 日立製作所中央研究所内 (56)参考文献 特開 昭55−20002（ＪＰ，Ａ) 特開 昭58−138162（ＪＰ，Ａ) 特開 平２−63236（ＪＰ，Ａ) 特開 昭61−159886（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04L 12/58 H04L 29/06

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】複数の端末が接続されるネットワークに接
   続されるメディア処理装置において、 前記ネットワークに接続されて前記ネットワークとの間
   でフレームデータを送受信するインタフェース装置と、 前記インタフェース装置から受信したフレームデータを
   蓄積する蓄積装置と、 送信先の端末からの指定に応じて、前記蓄積装置に蓄積
   したフレームデータを、フレームに対するデータの情報
   量を削減して前記インタフェース装置に渡す手段を有す
   ることを特徴とするメディア処理装置。
2. 【請求項２】前記インタフェース装置に渡すフレームデ
   ータの情報量を、前記蓄積装置からデータを読み出す位
   置を制御することで削減することを特徴とする請求項１
   記載のメディア処理装置。