JPH01144118A - マルチメディア文書表示方法とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は１文字、音声、動画像からなるマルチメディア
文書を表示するための方法及び装置に関するものである
。

〔従来の技術〕

従来、静止画、グラフィクスなど時間的に静的な非時間
情報を含んだ文書構造は多数提案され標準化も進んでい
る。一方１時間的に連続な実時間情報である音声情報、
動画像情報、ポインティング情報を文字情報などの非実
時間情報と混在したマルチメディア文書として表示、蓄
積する方式としては１人力された時の時刻情報をもたせ
る方法（特開昭６ｌ−２００７６２）と、同期制御のた
めの制御構造を持たせる方法が提案されている（コンビ
エータ、１０，１９８５．ページ９２〜１０３）。

前者は、音声情報や、ポインティング情報の入力時に入
力情報と同時に時刻情報を収集し、出力に際しては、前
記時刻情報に基づき音声情報と１手書き文字情報を同期
出力させる。後者は１文字情報や、音声情報に表示制御
のための構造情報を専用の編集システムを用いて指示し
１表示に際しては、マルチプロセスに処理を分割し、構
造す＾報に基づき表示の同期処理を実現している。

〔発明が解決しようとする問題点〕

しかしながら、上記のような時刻情報をもたせる表示方
法では１文書内容を音声で説明するような場合において
、利用者が文字情報の表示と音声による説明の順序や同
期を直接指示できないという欠点がめった。また、同期
のための制御構造を用いる表示方法では１文書構造を指
示する制御構造が表示システムに依存するため１文書の
配布や通信に際し、異なったシステムとの間での情報の
変換が離しいという欠点が有った。

本発明の目的は実時間情報と非実時間情報が混在する文
書を利用者が容易に表示の順序を指定でき、かつシステ
ム間で交換し合える文書の構成並ひに表示方法を提供す
ることにある。

〔問題点を解決するための手段〕

本発明のマルチメディア文書同期表示方法は。

予じめ蓄積された。非実時間情報、実時間情報を含むマ
ルチメディア文書を表示する方法において。

前記非実時間情報と前記実時間情報と、同期を記述する
百語により前記非実時間情報と前記実時間情報に対して
付与した識別子間の表示順序を記述した同期記述部とか
ら、マルチメディア文書を構成し１表示に際して、前記
同ＡＩ記述部を解釈し。

前記同期記述部の記述内容に従って前記非実時間情報と
前記実時間情報の同期出力を実現する。

また１本発明のマルチメディア文書同期表示装置は、音
声出力装置と、音声情報を蓄積する音声情報ファイル装
置と１文字情報を表示する文字表示装置と１文字情報を
記憶する文字情報ファイル装置から構成される音声情報
、及び文字情報からなるマルチメディア文書の表示装置
において１ｍ記文字情報ファイル装置上にある同期記述
情報に従って前記文字情報ファイル装置から文字情報を
読み出し前記文字表示装置への出力、および１ｇｉ記音
声情報ファイル装置から音声情報を読み出し前記音声出
力装置への出力を同期制御する同期制御解釈実行部とを
有している。

〔作用〕

本発明のマルチメディア文書表示方法について説明する
０文字情報、テータ、グラフィ、クス。

静止画のように時間的に静的な非実時間情報に。

音声や動画像などの時間的に動的な実時間情報を付加し
て１文章の内容を音声や映倫を用いて説明したシするな
ど、よシ高度の利用を行なうにはマルチメディア情報の
同期制御が必須である。同期制御を実現する方式にはセ
マフォやメツセージパッシングによる方法が知られてい
るが、Ｉｋ要なのは利用者にこれらの複合メディアの制
御を簡単に実現させる方法である。一方、計算機６語の
分野では、並列処理や分散処ｆ！ＩＡを実現するため、
セマファやメツセージパッシングを表現するぎ語の開発
が進められでいる０本発明の方法では、従来表示システ
ムごとに決めていた制御方式を、並列手続きや同期をｍ
ｌ述するＳＪ　Ｍ記述６語により前記非実時間情報、前
記実時間情報に対して付与した識別子間の表示順序を記
述し、マルチメディア文書の一部として構成し１表示に
際しては、前記同期記述部を翻訳し、解釈実行を行いな
がら１文書の内容の同期出力を実現することを基本とし
ている。

以下の説明では、実時間情報として音声情報について説
明するが動画像や、ポインティング情報にも適用可能で
ある。また、非実時間情報として文字情報について説明
するが、グラフィ、クス。

ムを用いて作成、保守できる。また、その記述形式を標
準化する事により、異なったシステム間でもデータの交
換が可能となる。

〔実施例〕

次に本発明について一面を用いて説明する。

第１図１り　、　ｌｂｌが本発明のマルチメディア同期
表示方法の実施例を説明する図である。−１図（ａｌは
本方法で扱うマルチメディア文書のデータ構造を示す。

ｌは同期情報を記迷した同期記述部、２ａ。

２ｂｄ文字情報、３ａ、３ｂは音声情報、４ａ。

４ｂ、＋ｃ、４ｄｒｆｉ前記各メディア情報を一意に識
別するための識別子である。前記文字情報並びに前記音
声情報は、それぞれ符号化され蓄積されているものとす
る。同図（ｂ）は前記同期ａｄ記述部の具体的な例であ
る。１０にそれに続く（と）の間の命令を逐次実行する
ことを示す逐次実行命令で。

１ｆｔそれに続く（と）の間の命令を並列に実行する並
列実行命令、１１ａ、ｌｌｂは文字情報を表示させる文
字表示命令、１３ａ、１３ｂＦｉ音声情報を出力させる
音声出力命令である。前記文字表示命令１１ａ、ｌｌｂ
と前記音声出力命令１３ａ＃１３ｂはそれぞれ実際の動
作を行なう対象として、音声情報並びに文字情報の識別
４ａ　、４ｂ　。

４ｃ　、４ｄを持つ。

第１図（ａｌ　、　（ｂｌの構造で表現されるマルチメ
ディア文書を表示する動作を第４図を用いて説明する。

第４図は各メディア情報の表示のタイムチャートを示す
−である。

（１）最初の逐次実行命令１０を読み込む。そうすると
、以下の命令を逐次に実行する。

（２）次に１文字表示命令１１ａを読み込み。

１文字−１１の識別子のついた文字情報２ａを表示する
０表示には１．時間がかかったとする。

（３）　　次に並列実行命令１２を読み込み、並列実行
動作を開始し、並列に実行する命令１１ｂ。

１３ａを読み込む。

（４）続いて１文字情報２ｂ’文字−２１の表示と音声
情報３ａ１音声−１１の音声出力が並列に実行される。

（５１２つの命令の実行の終了を待ち合わせして。

次の命令にうつる。第４図では１文字の表示はｔ！で終
わるが、音声の出力はｔｓ（ｔｓ＞ｔｓ）ままでかかる
ので次の命令の実行はｔｓから開始さされる。

（６）最後に音声情報３ｂ’音声−２１が出力されて表
示が終了する。

以上にして、マルチメディア文書の表示が実現される。

第１図（ｂ）のような同期制御情報は１文字情報の編集
システムで作成する。同期制御はシステムが実行するた
め、同期記述部を利用者が作成する場合に時間的なタイ
リングを意識する必要はない。

第２図が本発明の文書編集方法を実現する編集装置の一
実施例を示すブロック図である。２０は音声出力装置、
２１は音声情報を蓄積する音声情報ファイル装置、２２
は文字情報を蓄積する文字情報ファイル装置、２３は文
字情報を表示する文字表示装置、２４は表゛示制御を行
なう同期制御解釈実行部、２５は文字情報を表示するデ
イスプレー、２６は音声を出力するスピーカである。

本装置において、マルチメディア文書を表示する手順に
ついて説明する。前記同期制御解釈実行部２４は１文書
表示の指示を受けると、対象となるマルチメディア文書
の同期ｄ記述部を前記文字情報ファイル装置２２よシ入
力する０次に１人力した前記同期記述部の解析を行い１
表示の実行に移る。実行時においては１文字情報の表示
命令に対して、前記同期制御解釈実行部２４Ｆｉ、前記
文字情報ファイル装置２２よシ前記文字表示装置２３に
指示された文字情報を転送し、デイスプレー２５に、出
力する。音声情報の出力命令に対しては。

前記同期制御解釈実行部２４は前記音声情報ファイル装
置２１より、前記音声出力装置２０に指示された音声情
報を転送し、スピーカ２６に出力する。

第３図は前記同期制御解釈実行部２４の具体的な構成例
を示すブロック図である。３０ｒｉ同期制御記述部の人
力０字句解析、中間言語出力を行なう解析部、３１は中
間６語を格納する作業メモリ。

３２は前記作業メモリ３１内の中間ｄ語を実行する実行
部、３５ＩＩｉキーボード、３３ＩＩ′ｉ前”記キーボ
−ド３５の入力を欠け１表示指示を前記解析部３０゜前
記実行部３２に指示する指示制御部、３６は文字情報の
入力転送を実行する文字情報制御部、３７は文字情報フ
ァイル、３８は音声情報ファイル。

３９は音声情報を前記音声情報ファイル３８より音声出
力装置２０へ転送する音声情報制御部を示す、−点鎖線
内が前記同期制御解釈部２４に相当する。また、前記同
期記述ファイル３４．前記文字情報ファイル３７は前記
文字情報ファイル装置上に存在する文字情報であるノ。

前記音声情報ファイル３８は、前記音声情報ファイル装
置上に存在する音声情報である。

第３図に基づき、マルチメディア文書を表示する手順に
ついてよシ詳細に説明する。前記指示制御部３３は、前
記キーボード３５からマルチメディア文書表示命令の人
力を受けて、マルチメディア文書表示の実行を開始する
。まず最初に解析部３０に対して、同期記述ファイル３
４０人力を指示する。前記解析部３０は、同期記述ファ
イル３４を入力し１字句解析、構文解析を実行し、前記
作業メモリ３１に同期記述ファイルの内容を翻訳した中
間ぎ語を出力する。前記指示制御部３３は。

前記解析部３０の完了を持ち、前記実行部３２へ表示実
行の指示を出す。前記実行部３２は、前記作業メモリ３
１より、前記中間言語を読み込み。

表示の実行を開始する。実行時においては、前記実行部
３２は１文字情報の表示命令に対して、前記文字情報制
御部３６に文字情報ファイル３７の表示の指示をおこな
う。前記文字情報制御８３６は表示指示を受けて前記文
字情報ファイル３７を読みだし１文字表示装置２３へ指
示された文字情報を転送する。音声情報の出力命令に対
しては。

前記実行部３２は音声情報制御部３９に音声情報ファイ
ル３８の音声出力を指示する。前記音声情報制御部３９
は、音声出力指示を受けて、前記音声情報ファイル３８
を読みだし、Ｍ記音声出力装置２０に音声情報を転送す
る。前記音声情報制御装置３９と文字情報制御装置３６
は並列実行可能であるため、前記実行部３２が排他制御
や、並列が可能となる。

上記説明では、制御命令として、基本的な逐次実行と、
並列実行について述べているが、よシ複雑な文法を導入
すれば、待ち合わせ１条件実行。

例外実行など複雑な構成のマルチメディア文書表示シス
テムを簡単に実現できる。

〔発明の効果〕

本発明のマルチメディア文書表示方法を用いれば１文字
情報と音声情報とが混在するメディアおいて、メデイア
間の同期が同期記述１語の記述で時間を意識せずに容易
に設定、変更ができる。また、同期記述１語を標準化す
ることにより１表示は各システムで独自の方式で実現し
てよく、異なったシステム間でのマルチメディア文書の
配布。

通信を容易に実現できるようになる。

【図面の簡単な説明】

第１図１ａ１．Ｔｏｌは本発明のマルチメディア文書同
期表示方法の実施例を説明する図である。同図（ａｌ述
部の具体的ら内容を説明する図、第２図は本発明のマル
チメディア文書表示を実現する装置の構成を示す図、第
３図は第２図の同期制御解釈実行部の具体的な構成例を
示すブロック図、第４図は表示のタイミングを説明する
図である。 図において、１・・・・・・同期記述部、２ａ、２ｂ・
・・・・・文字情報、３ａ、３ｂ・・・・・・音声情報
、４ａ、４ｂ、４ｃ、４ｄ−−−−−−識別子、１０．
ｌｌａ、１１ｂ　、１２．１３ａ、Ｌ３ｂ−・−・−制
御命令、２０・・・・・・音声出力装置、２１・・・・
・・音声情報ファイル装置。 ２２は文字情報ファイル装置、２３・・・・・・文字表
示装置、２４・・・・・・同期制御解釈実行部、２５・
・・・・・デイスプレー、２６・・・・・・スピーカ、
３０・・・・・・解析部。 ３１・・・・・・作業メモリ、３２・・・・・・実行部
、３３・・・・・・指示制御部、３４・・・・・・同期
記述ファイル、３５・・・・・・キーボード、３６・・
・・・・文字情報制御部、３７・・・・・・文字情報フ
ァイル、３８・・・・・・音声情報ファイル。 ３９・・・・・・音声情報制御部、を示す。 ・”−ソｔ 窟１　回　（ｂ） 箭３　口

Claims (2)

【特許請求の範囲】
1. （１）予じめ蓄積された、非実時間情報、実時間情報を
   含むマルチメディア文書を表示する方法において、前記
   非実時間情報と前記実時間情報と、同期を記述する言語
   により前記非実時間情報と前記実時間情報に対して付与
   した識別子間の表示順序を記述した同期記述とから、マ
   ルチメディア文書を構成し、表示に際して、前記同期記
   述部を解釈し、前記同期記述部の記述内容に従って前記
   非実時間情報と前記実時間情報の同期出力を実行するこ
   とを特徴とするマルチメディア文書表示方法。
2. （２）音声出力装置と、音声情報を蓄積する音声情報フ
   ァイル装置と、文字情報を表示する文字表示装置と、文
   字情報を記憶する文字情報ファイル装置とを含み構成さ
   れ、音声情報、及び文字情報からなるマルチメディア文
   書の表示を行なうマルチメディア文書表示装置において
   、前記文字情報ファイル装置上にある同期記述情報に従
   って前記文字情報ファイル装置から文字情報を読み出し
   前記文字表示装置への出力、および、前記音声情報ファ
   イル装置から音声情報を読み出し前記音声出力装置への
   出力を同期制御する同期制御解釈実行部を有することを
   特徴とするマルチメディア文書表示装置。