JP2550656B2 - 文書通信装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、マルチメディア文書通信に関し、特にビデ
オテックス、データベース検索や会議サービスのような
会話型通信サービスにおいて用いられて好適であり、文
字、音声、グラフィクス、静止画像、動画像からなるマ
ルチメディア情報から構成されるマルチメディア文書情
報の通信装置に関する。

（従来の技術） 従来、文字、静止画、グラフィクスなど時間的に静的
な非実時間情報を含んだ文書構造は多数提案され標準化
も進んでいる。一方、時間的に連続な実時間情報である
音声情報、動画像情報、ポインティング情報を文字情報
などの非実時間情報と混在したマルチメディア文書とし
て通信、表示する方式としては、文書情報本体に同期制
御情報を埋め込む方法が提案されている（石橋他、昭和
61年度電子通信学会通信部門全国大会論文集、文冊１、
パート１、１−259、プライベートデジタルビデオテッ
クス方式）。

これは、画像情報や文字情報のような非実時間情報の
中に再生停止コマンドを埋め込み、音声情報などの実時
間情報の中に再生停止解除コマンドを挿入することによ
り実現する。通信に際し、前記再生停止コマンドを含ん
だ前記非実時間情報を前記実時間情報より先に送り、端
末側で一旦蓄積し、再生停止コマンドにより表示を停止
しておき、前記再生停止解除コマンドを前記実時間情報
と共に送ることにより、表示を開始させることにより、
前記実時間情報の出力と前記非実時間情報の同期出力を
実現する。

（発明が解決しようとする課題） しかしながら、上記のように文書情報の中にメディア
間の同期情報を混在した方法では、同期の設定は、文書
情報の作成者にまかされており、同期を意識した情報入
力作業が必要で、同期情報の設定、定義が難しいという
欠点があった。

また、ビデオテックスのように単に検索するだけでな
く、データベースや会議サービスのように、蓄積、再編
集、再送信という文書情報の再利用を考えると、同期情
報と文書情報が分離されていないから、情報の分割、出
力順序の入れ替え等の編集作業が、最初の作成者以外は
非常に難しくなるという欠点があった。

本発明の目的は、実時間情報と非実時間情報が混在す
るマルチメディア文書について、利用者が文書構成要素
間の通信の同期制御を容易に設定でき、かつ再利用に際
しても容易に同期制御のできる文書を構成するととも
に、その文書を通信する通信装置を提供することにあ
る。

（課題を解決するための手段） 前述の課題を解決するために本発明が提供する手段
は、実時間情報および非実時間情報、ならびに前記実時
間情報および前記非実時間情報の並列性と同期制御を同
期記述言語で記述する同期通信制御情報を蓄積するファ
イル装置と、 前記ファイル装置と前記実時間情報を実時間的に通信
する実時間通信チャンネルとに接続された実時間情報制
御部と、 前記ファイル装置と、前記非実時間情報を通信する非
実時間情報通信チャンネルに接続された非実時間情報制
御部とを備え、実時間情報および非実時間情報からなる
マルチメディア文書の通信をする装置において、 前記実時間制御部と前記非実時間制御部と前記ファイ
ル装置とに接続され、前記ファイル装置上にある前記同
期通信制御情報に従って実時間情報の通信と非実時間情
報の通信の同期制御とを行う同期通信制御部を持つこと
を特徴とする。

（作用） 本発明のマルチメディア文書通信装置について説明す
る。

ネットワーク経由で文字情報、データ、グラフィク
ス、静止画のように時間的に静的な非実時間情報に、音
声や動画像などの時間的に動的な実時間情報を付加し
て、文章の内容を音声や影像を用いて説明したりするな
ど、より高度の利用を行なうにはマルチメディア情報の
同期制御が必須である。同期制御を実現する方式にはセ
マフォやメッセージパッシングによる方法が知られてい
るが、重要なのは利用者にこれらの複合メディアの制御
を簡単に実現させる方法である。

一方、計算機言語の分野では、並列処理や分散処理を
実現するため、セマファやメッセージパッシングを表現
する言語の開発が進められている。

従来の通信制御方式では、ネットワークに接続された
複数の端末間や端末・ホスト計算機間で、通信システム
ごとに決めていた。これに対し、本発明の通信装置にお
いては、並列手続きや同期を記述する同期記述言語によ
り非実時間情報、実時間情報に対して付与した識別子間
の同期通信手順を記述し、マルチメディア文書の一部と
して構成し、通信に際しては、同期通信記述部を翻訳
し、解釈実行を行いながら、文書の内容の同期通信を実
現することを基本としている。

以下の説明では、実時間情報として音声情報について
説明するが動画像や、ポインティング情報にも適用可能
である。また、非実時間情報として文字情報について説
明するが、グラフィクス、静止画像でもよい。

また、文書通信の説明では、通信手順についてのみ述
べる。個々のメディア情報の実際の通信は、ネットワー
クに対応したプロトコルで通信されるものとする。

第１図が本発明の全体構成を示すブロック枢図であ
る。105が音声情報、文字情報、同期通信手順を蓄積す
るファイル装置、102が音声情報を通信する音声通信チ
ャンネル、101がファイル装置105と音声通信チャンネル
102に接続され、音声情報の蓄積と通信を管理する音声
情報制御部、104が文字情報を通信する文字情報通信チ
ャンネル、103がファイル装置105と文字情報通信チャン
ネル104に接続され、文字情報の蓄積と通信を管理する
文字情報制御部、100はファイル装置105と音声情報制御
部101と文字情報制御部103とに接続され、ファイル装置
105上に蓄積された同期通信手順に基づき同期通信を管
理する同期通信制御部である。

本通信装置における文書通信の動作に付いて説明す
る。本装置においては、通信の同期制御は送信側ですべ
て管理される。最初に本発明の文書通信装置に文書送信
要求が出されると同期通信制御部100はファイル装置105
から指定された文書の同期通信記述部を入力する。前記
同期通信記述部は同期制御を記述可能な言語により、文
字情報、音声情報からなる文書構成要素の通信手順を記
述したデータである。同期通信制御部100は、内容を翻
訳し、実際の通信依頼を音声情報制御部101と文字情報
制御部103に行なう。音声情報制御部101は、同期通信制
御部100からの送信依頼を受けてファイル装置105上の音
声情報を音声通信チャンネル102を用いて相手に送信す
る。送信が完了すると、音声情報制御部101は同期制御
通信制御部100に通信完了を応答する。また、文字情報
制御部103は、同期通信制御部100からの送信依頼を受け
てファイル装置105上の文字情報を文字情報通信チャン
ネル104を用いて相手に送信する。送信が完了すると、
文字情報制御部103は同期通信制御部100に通信完了を応
答する。

このようにして同期通信制御部100は同期通信記述部
の内容に従って、各情報制御部に送信依頼を出し、通信
完了の応答を待つ動作を繰り返して文書通信を行なう。
本通信装置では、音声情報制御部101と文字情報制御部1
03は互いに独立しており、非同期に動作できるから音声
情報と文字情報の並列な通信が実現され、これにより、
文字情報と音声情報の同期通信が可能となる。

ここで、文字情報通信チャンネル104と音声情報通信
チャンネル102は、理論的に独立で有ればよく、物理的
な通信回線は２本の回線を用いても可能であるし、ビッ
ト多重、フレーム多重などの多重化技術を用いて１本の
回線でも実現可能である。

上述の如く、本発明の文書通信装置では、文書本体と
同期情報が分離されて、作成者は情報の入力と同期情報
の入力とを別々に行えるから、同期を意識して、文書入
力を行なう必要がない。

前記同期通信記述部は、文字情報であるから、 文字情報の入力、編集システムを用いて作成し保守で
きる。また、その記述形式を標準化する事により、異な
ったシステム間でもデータの交換が可能となる。

さらに既存の電子メールなどの非実時間型サービスな
どで前記通信手順記述部を必要としないときは、文字情
報の１つとして内容を無視して通信すればなんら問題は
ない。

（実施例） 第２図は本発明の一実施例である文書通信装置の構成
を示すブロック図である。212は音声情報ファイル、206
は音声通信回線、203は音声情報の通信を実行する音声
情報通信管理部、205は音声情報を出力するスピーカ
ー、204は音声情報をスピーカー205から出力するための
バッファメモリー、202は前記音声情報の蓄積、通信お
よび出力をする装置を制御する音声情報管理部、214は
文字情報ファイル、209は文字情報通信回線、208は文字
情報の通信を実行する文字情報通信管理部、211は文字
情報を出力するディスプレー、210は文字情報をディス
プレー211に出力するためのビデオメモリー、207は前記
文字情報の蓄積、通信および出力をする装置を制御する
文字情報管理部、213が同期記述ファイル、201が同期記
述ファイル213を翻訳する同期記述解析部、200が同期記
述解析部201の出力を解釈し、音声情報管理部202、文字
情報管理部207を用いて、同期通信を実行する同期通信
管理部である。蓄積されている音声情報ファイル212、
文字情報ファイル214、同期記述ファイル213が前記ファ
イル装置105に、音声情報管理部202と音声情報通信管理
部203が前記音声情報制御部101に、文字情報管理部207
と文字情報通信管理部208が前記文字情報制御部103に、
同期記述解析部201と同期通信管理部200が前記同期通信
制御部100にそれぞれ対応する。

第３図（ａ），（ｂ），（ｃ）が第２図の実施例で扱
う文書構造を具体的に説明する図である。第３図（ａ）
は本方法で扱うマルチメディア文書のデータ構造を示
す。図において、１は同期情報を記述した同期記述部、
2a,2bは文字情報、3a,3bは音声情報、4a,4b,4c,4dは前
記各メディア情報を一意に識別するための識別子であ
る。前記文字情報並びに前記音声情報は、それぞれ符号
化され蓄積されているものとする。

第３図（ｂ）は同期記述部１の具体的な例を示す図で
ある。10はそれに続く｛と｝の間の命令を逐次実行する
ことを示す逐次実行命令で、12はそれに続く｛と｝の間
の命令を並列に実行する並列実行命令、11a,11bは文字
情報を通信させる非実時間情報通信命令、13a,13bは音
声情報を通信する実時間情報通信命令である。非実時間
情報通信命令11a,11bと実時間情報通信命令13a,13bはそ
れぞれ実際の動作を行なう対象として、文字情報並びに
音声情報の識別子4a,4b,4c,4dを持つ。

第４図（ｃ）は、第３図（ｂ）の内容の同期記述部１
を同期記述解析部201で翻訳した同期情報の中間言語表
現である。これは、３項より構成される。第１項は、30
a,30b,30c,30dの通信指令命令と31a,31b,31c,31dの通信
完了待ち合わせ命令からなる指示命令で、第２項は32a,
32b,32c,32d,32e,32fに示すように音声情報管理部202と
文字情報管理部207を指示する情報管理部名、第３項は
通信する情報の識別子である。

本通信装置において、前記構造のマルチメディア文書
を通信する手順について説明する。

最初に送信について説明する。

本実施例の文書通信装置に文書送信要求が出される
と、同期通信管理部200は指定された文書の同期記述フ
ァイル213を同期記述解析部201に入力するように指示す
る。同期記述ファイル213は第３図（ｂ）の形式をして
おり、同期記述解析部201は、この内容を公知のコンパ
イル技術を用いて、字句解析、溝文解析により第３図
（ｃ）のような中間言語形式に翻訳し、同期通信管理部
200へ送る。同期通信管理部200は第１図（ｃ）のような
形式の入力を受けて、通信指示命令に対しては、第２項
に指示された管理部名に従い音声情報管理部202か文字
情報管理部207に対して識別子と通信依頼を送り、次の
動作に移る。また、通信応答待ち合わせ指示命令に対し
てはその管理部名からの識別子の通信完了応答を待ち合
わせ、次の動作に進む。以上を繰り返すことにより、同
期通信を実行する。

音声情報管理部202は同期通信管理部200からの通信依
頼を受けると、識別子で指定された音声情報ファイル21
2を入力し音声情報通信管理部203へ送る。音声情報通信
管理部203は音声通信回線206を用いて音声情報を送信
し、完了すると完了通知を音声情報管理部202へ返す。
音声情報管理部202は音声情報通信管理部203から完了通
知を受けて同期通信管理部200に通信完了応答を送り、
１つの音声情報からなる文書構成要素の送信が完了す
る。

また、文字情報管理部207は同期通信管理部200からの
通信依頼を受けると、識別子で指定された文字情報ファ
イル214を入力し文字情報通信管理部208へ送る。文字情
報通信管理部208は文字情報通信回線209を用いて文字情
報を送信し、完了すると完了通知を文字情報管理部207
へ帰す。文字情報管理部207は文字情報通信管理部208か
ら完了通知を受けて同期通信管理部200に通信完了応答
を送り、１つの文字情報からなる文書構成要素の送信が
完了する。

次に受信の動作に付いて説明する。受信は音声情報、
文字情報独立に行なわれる。音声情報通信管理部203が
音声通信回線206経由の音声情報を受信すると音声情報
管理部202へ通知し、受信音声情報はバッファ204へ送ら
れる。音声情報管理部202はバッファ204へ出力を指示
し、スピーカー205から音声情報を出力させる。文字情
報に付いてもほぼ同様であり、文字情報通信管理部208
は、文字情報通信回線209経由の文字情報が受信される
と、文字情報管理部207へ受信文字情報を転送する。文
字情報管理部207はビデオメモリー210へ出力し、ディス
プレー211を通して文字情報を出力させる。

また、検索だけでなくデータベース検索や会議サービ
スのように受信した文書を再編集、再配付を必要とする
サービスに対して再編集可能な文書情報として通信する
場合には、送信時に、最初に同期通信管理部200により
同期記述ファイル213の送信が文字情報管理部207に依頼
される。以後は前記送信手順と同じである。受信時は、
文字情報通信回線209経由で受信した同期記述ファイル
の内容を文字情報通信管理部208は文字情報管理部207へ
送る。文字情報管理部207は同期記述ファイルとしてフ
ァイル装置105へ書き込む。次に同期記述解析部201が同
期記述ファイルを読みだし翻訳して、同期通信制御部20
0へ送る。同期通信管理部200は通信指示命令に対して、
音声情婦管理部202と音声情報管理部207へ送り、通信応
答待ち合わせ命令に対して通信完了応答を待ち合わせ
る。音声情報管理部202は通信依頼に対して音声情報通
信管理部203からの受信データを指定された識別子の音
声情報ファイル212としてファイル装置上に出力する。
そして、完了応答を同期通信管理部200へ送る。同様
に、文字情報管理部207は通信依頼に対して文字情報通
信管理部208からの受信データを指定された識別子の文
字情報ファイル214としてファイル装置上に出力する。
そして、完了応答を同期通信管理部200へ送る。これに
より、受信側に前記同期記述ファイルを含めた全ての文
書構成要素が得られるから、再編集可能な形式で文書通
信が実現されることがわかる。

上記説明では、制御命令として、基本的な逐次実行
と、並列実行について述べているが、より複雑な文法を
導入すれば、待ち合わせ、条件実行、例外実行など複雑
な構成のマルチメディア文書表示システムを簡単に実現
できる。

（発明の効果） 本発明の文書通信装置を用いれば、文字情報、データ
情報と音声情報や動画像情報が混在するマルチメディア
文書において、通信におけるメディア間の同期が同期記
述言語の記述で時間を意識せずに容易に設定、変更がで
き、同期通信を利用者サービスの要求に合わせて設定で
きるようになる。また、再利用が容易に実現できる再編
集可能形式で通信を同期通信で実現できる。

また、通信記述部の形式を標準化することにより、サ
ービスに依存しない文書の同期通信を同時に実現でき
る。

【図面の簡単な説明】

第１図は本発明の全体構成を示すブロック図、第２図は
本発明の一実施例である文書通信装置の構成を示すブロ
ック図である。第３図（ａ），（ｂ），（ｃ）は本発明
の文書通信装置で用いる文書を説明する図であり、同図
（ａ）は文書構造を示す図、同図（ｂ）は同期記述部の
具体的な内容を説明する図、同図（ｃ）は中間言語表現
の一例を示す図である。 図において、１は同期記述部、2a,2bは文字情報、3a,3b
は音声情報、4a,4b,4c,4dは識別子、10,11a,11b,12,13
a,13bは制御命令、30a,30b,30c,30dは通信指示命令、31
a,31b,31c,31dの通信完了待ち合わせ命令、32a,32b,32
c,32d,32e,32f,32g,32h情報管理部名、105はファイル装
置、102は音声通信チャンネル、101は音声情報制御部、
104は文字情報通信チャンネル、103は文字情報制御部、
100は同期通信制御部、212は音声情報ファイル、206は
音声通信回線、203は音声情報通信管理部、205はスピー
カー、204はバッファメモリー、202は音声情報管理部、
214は文字情報ファイル、209は文字情報通信回線、208
は文字情報通信管理部、211はディスプレー、210はビデ
オメモリー、207は文字情報管理部、213は同期記述ファ
イル、201は同期記述解析部、200は同期通信管理部であ
る。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】実時間情報および非実時間情報、ならびに
   前記実時間情報および前記非実時間情報の並列性と同期
   制御を同期記述言語で記述する同期通信制御情報を蓄積
   するファイル装置と、 前記ファイル装置と前記実時間情報を実時間的に通信す
   る実時間通信チャンネルとに接続された実時間情報制御
   部と、 前記ファイル装置と、前記非実時間情報を通信する非実
   時間情報通信チャンネルに接続された非実時間情報制御
   部とを備え、実時間情報および非実時間情報からなるマ
   ルチメディア文書の通信をする装置において、 前記実時間制御部と前記非実時間制御部と前記ファイル
   装置とに接続され、前記ファイル装置上にある前記同期
   通信制御情報に従って実時間情報の通信と非実時間情報
   の通信の同期制御とを行う同期通信制御部を持つことを
   特徴とする文書通信装置。