JPH0650461B2 - マルチメディア文書表示方法とその装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、文字，音声，動画像からなるマルチメディア
文書を表示するための方法及び装置に関するものであ
る。

〔従来の技術〕

従来、静止画，グラフィクスなど時間的に静的な非時間
情報を含んだ文書構造は多数提案され標準化も進んでい
る。一方、時間的に連続な実時間情報である音声情報，
動画像情報，ポインティング情報を文字情報などの非実
時間情報と混在したマルチメディア文書として表示、蓄
積する方式としては、入力された時の時刻情報をもたせ
る方法（特開昭６１−２００７６２）と、同期制御のた
めの制御構造を持たせる方法が提案されている（コンピ
ュータ，１０，１９８５，ページ９２〜１０３）。前者
は、音声情報や、ポインティング情報の入力時に入力情
報と同時に時刻情報を収集し、出力に際しては、前記時
刻情報に基づき音声情報と、手書き文字情報を同期出力
させる。後者は、文字情報や、音声情報に表示制御のた
めの構造情報を専用の編集システムを用いて指示し、表
示に際しては、マルチプロセスに処理を分割し、構造情
報に基づき表示の同期処理を実現している。

〔発明が解決しようとする問題点〕

しかしながら、上記のような時刻情報をもたせる表示方
法では、文書内容を音声で説明するような場合におい
て、利用者が文字情報の表示と音声による説明の順序や
同期を直接指示できないという欠点があった。また、同
期のための制御構造を用いる表示方法では、文書構造を
指示する制御構造が表示システムに依存するため、文書
の配布や通信に際し、異なったシステムとの間での情報
の交換が難しいという欠点が有った。

本発明の目的は実時間情報と非実時間情報が混在する文
書を利用者が容易に表示の順序を指定でき、かつシステ
ム間で交換し合える文書の構成並びに表示方法を提供す
ることにある。

〔問題点を解決するための手段〕

本発明のマルチメディア文書同期表示方法は、予じめ蓄
積された、非実時間情報，実時間情報を含むマルチメデ
ィア文書を表示する方法において、前記非実時間情報と
前記実時間情報と、同期を記述する言語により前記非実
時間情報と前記実時間情報に対して付与した識別子間の
表示順序を記述した同期記述部とから、マルチメディア
文書を構成し、表示に際して、前記同期記述部を解釈
し、前記同期記述部の記述内容に従って前記非実時間情
報と前記実時間情報の同期出力を実現する。

また、本発明のマルチメディア文書同期表示装置は、音
声出力装置と、音声情報を蓄積する音声情報ファイル装
置と、文字情報を表示する文字表示装置と、文字情報を
記憶する文字情報ファイル装置から構成される音声情
報、及び文字情報からなるマルチメディア文書の表示装
置において、前記文字情報ファイル装置上にある同期記
述情報に従って前記文字情報ファイル装置から文字情報
を読み出し前記文字表示装置への出力、および、前記音
声情報ファイル装置から音声情報を読み出し前記音声出
力装置への出力を同期制御する同期制御解釈実行部とを
有している。

〔作用〕

本発明のマルチメディア文書表示方法について説明す
る。文字情報，データ，グラフィックス，静止画のよう
に時間的に静的な非実時間情報に、音声や動画像などの
時間的に動的な実時間情報を付加して、文章の内容を音
声や映像を用いて説明したりするなど、より高度の利用
を行なうにはマルチメディア情報の同期制御が必須であ
る。同期制御を実現する方式にはセマフォやメッセージ
バッシングによる方法が知られているが、重要なのは利
用者にこれらの複合メディアの制御を簡単に実現させる
方法である。一方、計算機言語の分野では、並列処理や
分散処理を実現するため、セマファやメッセージバッシ
ングを表現する言語の開発が進められている。本発明の
方法では、従来表示システムごとに決めていた制御方式
を、並列手続きや同期を記述する同期記述言語により前
記非実時間情報、前記実時間情報に対して付与した識別
子間の表示順序を記述し、マルチメディア文書の一部と
して構成し、表示に際しては、前記同期記述部を翻訳
し、解釈実行を行いながら、文書の内容の同期出力を実
現することを基本としている。

以下の説明では、実時間情報として音声情報について説
明するが動画像や、ポインティング情報にも適用可能で
ある。また、非実時間情報として文字情報について説明
するが、グラフィックス，静止画像を含んでもよい。前
記同期記述部は、文字情報であるから、文字情報の入
力，編集システムを用いて作成，保守できる。また、そ
の記述形式を標準化する事により、異なったシステム間
でもデータの交換が可能となる。

〔実施例〕

次に本発明について図面を用いて説明する。

第１図(a),(b)が本発明のマルチメディア同期表示方法
の実施例を説明する図である。同図(a)は本方法で扱う
マルチメディア文書のデータ構造を示す。１は同期情報
を記述した同期記述部、２ａ，２ｂは文字情報、３ａ，
３ｂは音声情報、４ａ，４ｂ，４ｃ，４ｄは前記各メデ
ィア情報を一意に識別するための識別子である。前記文
字情報並びに前記音声情報は、それぞれ符号化され蓄積
されているものとする。同図(b)は前記同期記述部１の
具体的な例である。１０はそれに続く｛と｝の間の命令
を逐次実行することを示す逐次実行命冷で、１２はそれ
に続く｛と｝の間の命令を並列に実行する並列実行命
令、１１ａ，１１ｂは文字情報を表示させる文字表示命
令、１３ａ，１３ｂは音声情報を出力させる音声出力命
令である。前記文字表示命令１１ａ，１１ｂと前記音声
出力命令１３ａ，１３ｂはそれぞれ実際の動作を行なう
対象として、音声情報並びに文字情報の識別４ａ，４
ｂ，４ｃ，４ｄを持つ。

第１図(a),(b)の構造で表現されるマルチメディア文書
を表示する動作を第４図を用いて説明する。第４図は各
メディア情報の表示のタイムチャートを示す図である。

(1)最初の逐次実行命令１０を読み込む。そうすると、
以下の命令を逐次に実行する。

(2)次に、文字表示命令１１ａを読み込み、“文字−
１”の識別子のついた文字情報２ａを表示する。表示に
はｔ₁時間がかかったとする。

(3)次に並列実行命令１２を読み込み、並列実行動作を
開始し、並列に実行する命令１１ｂ，１３ａを読み込
む。

(4)続いて、文字情報２ｂ“文字−２”の表示と音声情
報３ａ“音声−１”の音声出力が並列に実行される。

(5)２つの命令の実行の終了を待ち合わせして、次の命
令にうつる。第４図では、文字の表示はｔ₂で終わる
が、音声の出力はｔ₃（ｔ₃＞ｔ₂）ままでかかるので次
の命令の実行はｔ₃から開始さされる。

(6)最後に音声情報３ｂ“音声−２”が出力されて表示
が終了する。

以上にして、マルチメディア文書の表示が実現される。
第１図(b)のような同期制御情報は、文字情報の編集シ
ステムで作成する。同期制御はシステムが実行するた
め、同期記述部を利用者が作成する場合に時間的なタイ
ミングを意識する必要はない。

第２図が本発明の文書編集方法を実現する編集装置の一
実施例を示すブロック図である。２０は音声出力装置，
２１は音声情報を蓄積する音声情報ファイル装置，２２
は文字情報を蓄積する文字情報ファイル装置，２３は文
字情報を表示する文字表示装置，２４は表示制御を行な
う同期制御解釈実行部，２５は文字情報を表示するディ
スプレー，２６は音声を出力するスピーカである。

本装置において、マルチメディア文書を表示する手順に
ついて説明する。前記同期制御解釈実行部２４は、文書
表示の指示を受けると、対象となるマルチメディア文書
の同期記述部を前記文字情報ファイル装置２２より入力
する。次に、入力した前記同期記述部の解析を行い、表
示の実行に移る。実行時においては、文字情報の表示命
令に対して、前記同期制御解釈実行部２４は、前記文字
情報ファイル装置２２より前記文字表示装置２３に指示
された文字情報を転送し、ディスプレー２５に、出力す
る。音声情報の出力命令に対しては、前記同期制御解釈
実行部２４は前記音声情報ファイル装置２１より、前記
音声出力装置２０に指示された音声情報を転送し、スピ
ーカ２６に出力する。

第３図は前記同期制御解釈実行部２４の具体的な構成例
を示すブロック図である。３０は同期制御記述部の入
力，字句解析，中間言語出力を行なう解析部，３１は中
間言語を格納する作業メモリ，３２は前記作業メモリ３
１内の中間言語を実行する実行部，３５はキーボード，
３３は前記キーボード３５の入力を受け、表示指示を前
記解析部３０，前記実行部３２に指示する指示制御部，
３６は文字情報の入力転送を実行する文字情報制御部，
３７は文字情報ファイル，３８は音声情報ファイル，３
９は音声情報を前記音声情報ファイル３８より音声出力
装置２０へ転送する音声情報制御部を示す。一点鎖線内
が前記同期制御解釈部２４に相当する。また、前記同期
記述ファイル３４，前記文字情報ファイル３７は前記文
字情報ファイル装置上に存在する文字情報である。前記
音声情報ファイル３８は、前記音声情報ファイル装置上
に存在する音声情報である。

第３図に基づき、マルチメディア文書を表示する手順に
ついてより詳細に説明する。前記指示制御部３３は、前
記キーボード３５からマルチメディア文書表示命令の入
力を受けて、マルチメディア文書表示の実行を開始す
る。まず最初に解析部３０に対して、同期記述ファイル
３４の入力を指示する。前記解析部３０は、同期記述フ
ァイル34を入力し、字句解析，構文解析を実行し、前記
作業メモリ３１に同期記述ファイルの内容を翻訳した中
間言語を出力する。前記指示制御部３３は、前記解析部
３０の完了を持ち、前記実行部３２へ表示実行の指示を
出す。前記実行部３２は、前記作業メモリ３１より、前
記中間言語を読み込み、表示の実行を開始する。実行時
においては、前記実行部３２は、文字情報の表示命令に
対して、前記文字情報制御部３６に文字情報ファイル３
７の表示の指示をおこなう。前記文字情報制御部３６は
表示指示を受けて前記文字情報ファイル３７を読みだ
し、文字表示装置２３へ指示された文字情報を転送す
る。音声情報の出力命令に対しては、前記実行部３２は
音声情報制御部３９に音声情報ファイル３８の音声出力
を指示する。前記音声情報制御部３９は、音声出力指示
を受けて、前記音声情報ファイル３８を読みだし、前記
音声出力装置２０に音声情報を転送する。前記音声情報
制御装置３９と文字情報制御装置３６は並列実行可能で
あるため、前記実行部３２が排他制御や、並列実行の制
御を行なうことにより、表示の並列実行が可能となる。

上記説明では、制御命令として、基本的な逐次実行と、
並列実行について述べているが、より複雑な文法を導入
すれば、待ち合わせ、条件実行、例外実行など複雑な構
成のマルチメディア文書表示システムを簡単に実現でき
る。

〔発明の効果〕

本発明のマルチメディア文書表示方法を用いれば、文字
情報と音声情報とが混在するメディアおいて、メディア
間の同期が同期記述言語の記述で時間を意識せずに容易
に設定、変更ができる。また、同期記述言語を標準化す
ることにより、表示は各システムで独自の方式で実現し
てよく、異なったシステム間でのマルチメディア文書の
配布，通信を容易に実現できるようになる。

【図面の簡単な説明】

第１図(a),(b)は本発明のマルチメディア文書同期表示
方法の実施例を説明する図である。同図(a)は文書構造
の例を示す図であり、同図(b)は同期記述部の具体的ら
内容を説明する図、第２図は本発明のマルチメディア文
書表示を実現する装置の構成を示す図、第３図は第２図
の同期制御解釈実行部の具体的な構成例を示すブロック
図、第４図は表示のタイミングを説明する図である。 図において、１……同期記述部、２ａ，２ｂ……文字情
報、３ａ，３ｂ……音声情報、４ａ，４ｂ，４ｃ，４ｄ
……識別子、１０，１１ａ，１１ｂ，１２，１３ａ，１
３ｂ……制御命令、２０……音声出力装置、２１……音
声情報ファイル装置、２２は文字情報ファイル装置、２
３……文字表示装置、２４……同期制御解釈実行部、２
５……ディスプレー、２６……スピーカ、３０……解析
部、３１……作業メモリ、３２……実行部、３３……指
示制御部、３４……同期記述ファイル、３５……キーボ
ード、３６……文字情報制御部、３７……文字情報ファ
イル、３８……音声情報ファイル、３９……音声情報制
御部、を示す。

Claims (2)

【特許請求の範囲】
1. 【請求項１】予じめ蓄積された、非実時間情報，実時間
   情報を含むマルチメディア文書を表示する方法におい
   て、前記非実時間情報と前記実時間情報と、同期を記述
   する言語により前記非実時間情報と前記実時間情報に対
   して付与した識別子間の表示順序を記述した同期記述と
   から、マルチメディア文書を構成し、表示に際して、前
   記同期記述部を解釈し、前記同期記述部の記述内容に従
   って前記非実時間情報と前記実時間情報の同期出力を実
   行することを特徴とするマルチメディア文書表示方法。
2. 【請求項２】音声出力装置と、音声情報を蓄積する音声
   情報ファイル装置と、文字情報を表示する文字表示装置
   と、文字情報を記憶する文字情報ファイル装置とを含み
   構成され、音声情報、及び文字情報からなるマルチメデ
   ィア文書の表示を行なうマルチメディア文書表示装置に
   おいて、前記文字情報ファイル装置上にある同期記述情
   報に従って前記文字情報ファイル装置から文字情報を読
   み出し前記文字表示装置への出力、および、前記音声情
   報ファイル装置から音声情報を読み出し前記音声出力装
   置への出力を同期制御する同期制御解釈実行部を有する
   ことを特徴とするマルチメディア文書表示装置。