JPH08115338A

JPH08115338A - マルチメディア文書編集装置

Info

Publication number: JPH08115338A
Application number: JP6274247A
Authority: JP
Inventors: Takeshi Shimizu; 剛清水; Osamu Nakamura; 修中村; Takahiro Saito; 崇弘斎藤
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1994-10-14
Filing date: 1994-10-14
Publication date: 1996-05-07
Also published as: US5861880A

Abstract

(57)【要約】【目的】編集インタフェースにより、簡易にマルチメ
ディアデータ群の表示位置（空間的構造）と、表示開始
および表示終了（時間的構造）を編集できるマルチメデ
ィア文書編集装置を提供する。【構成】複数のマルチメディアデータの要素を蓄積し
ているマルチメディアデータ蓄積手段と、前記マルチメ
ディアデータ蓄積手段に蓄積されたマルチメディアデー
タの各要素の再生の際の時間および表示位置に関する構
造情報を含むマルチメディア文書を保持するマルチメデ
ィア文書保持手段と、リンク構造要素によりマルチメデ
ィア文書の構造情報の要素を結合する編集を行う編集手
段と、前記編集手段により編集されたマルチメディア文
書の構造情報に基づいて前記マルチメディアデータ蓄積
手段に蓄積されたマルチメディアデータの各要素を再生
するマルチメディア文書再生手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチメディアデータ
を要素とする文書を編集するマルチメディア文書編集装
置に関し、特に、マルチメディアデータ群の表示位置
（空間的構造）と、表示開始および表示終了（時間的構
造）を編集し、データベース，ＡＶ機器などに保持され
たマルチメディアデータを編集結果に基づき再構成する
マルチメディア文書編集装置に関するものである。

【０００２】

【従来の技術】マルチメディア文書は、文字，図形，静
止画などの静的なメデイアデータだけでなく、音声，動
画などの動的なメディアデータも含めた文書として構成
された文書である。このため、通常の場合、マルチメデ
ィア文書の編集では、各々のマルチメディアデータに対
し、表示位置、および表示するタイミングを指定する編
集操作が行われる。

【０００３】表示のタイミングは、マルチメディア文書
における各々のマルチメディアデータの表示順を指示す
るだけではなく、他のマルチメディアデータとの相互関
係を意識して指示する。このため、その表示のタイミン
グを同期指示と呼ぶ。同期指示の方法には、次のような
２種類の方法がある。更に、各々の方法に基づいた編集
ユーザインタフェースが存在する。

【０００４】第１の方法は、時刻指定による同期指示方
法である。この方法では、個別のマルチメディアデータ
の表示時刻を明示的に指定する。また、第２の方法は、
関係指定による同期指示方法である。この方法では、マ
ルチメディアデータの相互の依存関係を指定する。

【０００５】第１の時刻指定による同期指示方法は、例
えば、文献「ＩＥＥＥＳＯＦＴＷＡＲＥ，Ｃｏｎｓ
ｔｒｕｃｔｉｏｎＳｅｔｆｏｒＭｕｌｔｉｍｅｄ
ｉａＡｐｐｌｉｃａｔｉｏｎｓ，Ｖｏｌ．６Ｎｏ．
１Ｊａｎ１９８９ｐｐ．３７〜４３」に示された
編集システムなどで用いられている方法である。この指
定方法では、各マルチメディアデータに対して明示的に
再生時間指定を行なう。例えば、図１に、第１の同期指
示方法によるユーザインタフェースの一例が示されてい
る。ユーザインタフェースの表示画面においては、表示
時間幅に応じたＸ軸方向の幅をもつ矩形をＸ軸の左手か
ら右手方向に進行する時間軸上に配置する。このユーザ
インタフェースはタイムラインインタフェースと呼ばれ
る。このユーザインタフェースによれば、マルチメディ
アデータの時間構造が直観的に把握できる利点がある。

【０００６】図１に示すように、タイムラインインタフ
ェースにおいて、マルチメディアデータＡとマルチメデ
ィアデータＢを同時に再生したい場合は、両者の表示開
始時刻を同一時刻に指示する。これは、時間軸上に矩形
で表現されたマルチメディアデータの左端点を正確に同
一の時間軸上のＸ座標に位置させることにより達成され
る。図１では、ＶＩＤＥＯ１，ナレーション１，およ
び、サブタイトルの開始時刻が同一時刻に指定されてい
る。

【０００７】また、第２の関係指定による同期指示方法
は、マルチメディアデータ相互の関係に基づいて時間構
造を表現する。この方法では、『あるマルチメディアデ
ータの開始イベントは、他の要素の終了イベントが発生
後に発火する』などの表現で時間関係を表現する。この
同期指示方法によれば、各マルチメディアデータの時間
情報が変更されてもその影響はそのマルチメディアデー
タに近接するオブジェクトに限ることができる。

【０００８】例えば、文献「ＳｐｅｃｉｆｙｉｎｇＴ
ｅｍｐｏｒａｌＢｅｈａｖｉｏｒｉｎＨｙｐｅｒｍ
ｅｄｉａＤｏｃｕｍｅｎｔｓ，Ｐｒｏｃｅｅｄｉ
ｎｇｓｏｆｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅ
ｒｅｎｃｅｏｎＨｙｐｅｒｔｅｘｔ ’９２，Ｄ
ｅｃ．１９９２」に紹介されているように、この関係
指定による同期指示方法では、マルチメディアデータ
が、表示時間幅を長さとする線分で表現され、表示開始
イベントおよび表示終了イベントは、円で表現される。
ドキュメント全体の開始イベントおよび終了イベントは
小さな矩形で表現される。また、イベント相互の関係は
有向グラフで表現される。図２には、このような関係指
定による同期指示方法におけるユーザインタフェース表
示の一例が示されている。

【０００９】図２に示すように、ユーザインタフェース
の表示上は、両端に円で表現されたイベントを持つ線分
（マルチメディアデータ）が複数配置され、ユーザは、
そのイベント間に有向グラフを張ることで、各々のマル
チメディアデータの関係を指定する。ここでは、ユーザ
インタフェース上の空間的位置関係と時間との相関関係
はない。

【００１０】

【発明が解決しようとする課題】ところで、前述した第
１の時刻指定による同期指示方法における問題点は、各
々のマルチメディアデータの間が時間的関係を持ってい
ないため、例えば、時間軸に連続して並べられたマルチ
メディアデータのうち一つの表示時間を変更した場合、
残りのマルチメディアデータの時間情報を、手操作でひ
とつひとつ修正しなければならず、編集操作が繁雑とな
ることである。例えば、図１において、ＶＩＤＥＯ１の
あとにＶＩＤＥＯ３を新たに挿入する場合、ユーザがＶ
ＩＤＥＯ２をＶＩＤＥＯ３の表示時間幅の分だけ後に移
動した後、ＶＩＤＥＯ３を配置しなければならず、その
操作が繁雑となる。

【００１１】その場合、図１に示すようなタイムライン
を基盤とした編集インタフェースにおいては、ＶＩＤＥ
Ｏ１，ＶＩＤＥＯ２，ＶＩＤＥＯ３などの位置が、その
要素自身の表示時刻を表しているので、そのような所望
の編集を実施するためには、各要素が重畳せず、かつ各
々の要素を所定の表示時刻の位置に配置されるように配
慮しなければならず、ユーザの編集操作に対する負担は
重い。

【００１２】また、このような時刻指定による同期指示
方法によって、複数の要素の同期を正確に指定する場合
は、その全ての対象の要素に同一の時刻を設定しなけれ
ばならない。図１に示す例では、時刻“３秒”の位置に
ＶＩＤＥＯ１，ナレーション１，および、サブタイトル
が配置されているが、この暗黙の同期の関係を保ったま
まの状態で、この状態から更にこれらマルチメディアデ
ータ群の表示開始時間を、時刻“１秒”の位置に設定す
る場合、ユーザは、これら３つのマルチメディアデータ
の要素の左端点が、時刻“１秒”の位置になるように再
配置しなければならない。

【００１３】これは、一旦、ユーザが想定していた時刻
“３秒”の位置における暗黙の同期関係を崩した後、新
たに関連する全ての要素に対して、正確な時刻指定の操
作を行わなければならず、手間のかかる操作となる。編
集ユーザインタフェース上の操作では、要素の位置合わ
せの編集操作が手操作によるため、誤りの発生する可能
性が高い。

【００１４】また、第２の関係指定による同期指示方法
の問題点は、図２に示すように、ユーザインタフェーイ
ス上には時間座標の概念がないため、各マルチメディア
データの再生タイミングが相対的に早いか、または遅い
かを直観的に判断することが不可能な点である。例え
ば、図２において、ナレーション１とナレーション２と
は、いずれが先に再生されるかは、有向グラフの関係を
辿ってみないと判別できない。

【００１５】更に、関係指定による同期指示方法におい
ては、複数のマルチメディアデータの要素を選択し、そ
の範囲での時間的関係を保持したまま、移動する操作が
一括して行えないという問題点がある。例えば、図２に
おいて、ナレーション１とＶＩＤＥＯ１を、表示開始イ
ベントＥ１における開始同期を保持したまま、ＶＩＤＥ
Ｏ２の後に“移動”する場合は、以下のような手順が必
要となる。（１）表示開始イベントＥ１のノードに関連する有向
グラフ（ＳＴＡＲＴ，ＶＩＤＥＯ１，サブタイトルより
のもの）を全て削除する。（２）表示開始イベントＥ１のノードを削除する。（３）表示終了イベントＥ３のノードに関連する有向
グラフ（ＥＮＤ，サブタイトルよりのもの）を全て削除
する。（４）Ｖｉｄｅｏ１の位置をＥ３が開始イベントとな
る位置に移動（５）表示終了イベントＥ３のノードをＶＩＤＥＯ１
の開始イベントとして設定する。（６）新たに表示終了イベントＥ４のノードをＶｉｄ
ｅｏ１の終了イベントとして生成する。（７）表示終了イベントＥ３のノードとナレーション
１の間に有向グラフを設定する。（８）表示終了イベントＥ４のノードとＥＮＤノード
との間に有向グラフを設定する。（９）表示終了イベントＥ２のノードと、ＳＴＡＲＴ
ノードと、サブタイトルの表示開始ノードの間に有向グ
ラフを設定する。

【００１６】このように、関係指定による同期指示方法
の編集ユーザインタフェースにおいて、所望の編集操作
を実施しようとした場合、前述のような煩雑な手順が必
要となる欠点がある。

【００１７】更に別の関係指定による同期指示方法にお
ける問題点は、イベントの発火時刻は、そのイベントに
先だって再生されるマルチメディアデータの再生時間に
依存することである。例えば、図２に示されるように、
関係指定による同期指示がなされている場合、ＶＩＤＥ
Ｏ１の再生に６秒かかるとすると、表示開始イベントＥ
１が時刻“０秒”に発火した場合、表示終了イベントＥ
２は時刻“６秒”となる。つまり、ＶＩＤＥＯ２の再生
開始時刻は、６秒後の時刻“６秒”となる。ここで、Ｖ
ＩＤＥＯ１はそのままとし、ＶＩＤＥＯ２の再生開始時
刻を時刻“１０秒”にする場合、ユーザは、４秒間の無
信号のマルチメディアデータ（空白）をその表示終了イ
ベントＥ２の後に挿入し、その４秒間の無信号のマルチ
メディアデータ（空白）の表示終了イベントに結び付け
た新たなイベントＥ５のノードを新規設定し、これとＶ
ＩＤＥＯ２の表示開始イベントを有向グラフで結合しな
ければならず、前述の編集動作と同様に変更の手間が多
い。

【００１８】一般に、従来の関係指定による同期指示方
法に基づけば、時間構造の編集操作は、“同期イベント
“とそれらと要素の関係を表現する有向グラフの両方を
設定しなければならない。これは、特定の要素群に対し
て既存の関係を保持しつつ、編集操作を行う場合、関連
する要素に比例して操作手数が増えてしまうという欠点
がある。更に、前述したように、その編集操作の結果が
ユーザインタフェース上で直感的に判定しづらい欠点が
ある。

【００１９】本発明は、このような様々な問題点を解決
するためになされたものであり、本発明の目的は、第１
の時刻指定の同期指示方法および第２の関係指定の同期
指示方法の両者の利点を採り入れ、その編集の操作性が
良好であり、文書構造が把握しやすい編集インタフェー
スを備えたマルチメディア文書編集装置を提供すること
にある。

【００２０】

【課題を解決するための手段】上記のような目的を達成
するため、本発明の第１の特徴とするマルチメディア文
書編集装置は、複数のマルチメディアデータの要素を蓄
積しているマルチメディアデータ蓄積手段と、前記マル
チメディアデータ蓄積手段に蓄積されたマルチメディア
データの各要素の再生の際の時間および表示位置に関す
る構造情報を含むマルチメディア文書を保持するマルチ
メディア文書保持手段と、リンク構造要素によってマル
チメディア文書の構造情報の要素を結合する編集を行う
編集手段と、前記編集手段により編集されたマルチメデ
ィア文書の構造情報に基づいて前記マルチメディアデー
タ蓄積手段に蓄積されたマルチメディアデータの各要素
を再生するマルチメディア文書再生手段とを備えること
を特徴とする。

【００２１】本発明の第２の特徴とするマルチメディア
文書編集装置は、前記マルチメディア文書保持手段に蓄
積されたマルチメディア文書の時間に関する構造情報
が、マルチメディアデータの逐次再生情報を時間順に管
理するシーケンシャル構造要素と、当該シーケンシャル
構造要素の間の関係を再生する際の時刻を同一とする同
期リンクにより結合して管理するパラレル構造要素から
構成されており、前記編集手段が、マルチメディア文書
の構造情報のシーケンシャル構造要素およびパラレル構
造要素の各要素を単位として編集操作を行うことを特徴
とする。

【００２２】本発明の第３の特徴とするマルチメディア
文書編集装置は、前記マルチメディア文書保持手段に蓄
積された構造情報が、マルチメディアデータの逐次再生
情報を時間順リンクで管理するシーケンシャル構造要素
と、該シーケンシャル構造要素の間の関係を同期リンク
と同期仮想時刻により管理するパラレル構造要素と、同
一表示領域に割り付けられるシーケンシャル構造要素に
よるマルチメディアデータの表示座標値を管理するトラ
ック構造要素から構成されており、前記編集手段は、マ
ルチメディアデータ，シーケンシャル構造要素，パラレ
ル構造要素，トラック構造要素，および同期リンクの各
要素を、仮想時刻を基準とした２次元空間に矩形および
マーカとして編集インタフェース画面に表示し、表示さ
れた前記要素を単位として、編集インタフェース画面上
で追加，削除，移動の編集操作を行うことを特徴する。

【００２３】本発明の第４の特徴とするマルチメディア
文書編集装置は、前記編集手段が、マルチメディア文書
の編集操作の対象の要素を複数選択し、選択した操作対
象の複数の要素の間の関係を保ったまま、複数の要素に
対して編集操作を行うことを特徴とする。

【００２４】本発明の第５の特徴とするマルチメディア
文書編集装置は、前記編集手段が、マルチメディア文書
の構造情報のシーケンシャル構造要素およびパラレル構
造要素の各要素を単位として編集操作を行う際に、シー
ケンシャル構造要素またはパラレル構造要素で指定する
同期リンクに、時間オフセットを指定した場合、マルチ
メディア文書再生手段が、前記時間オフセットに応じ
て、再生するマルチメディアデータの各要素の表示タイ
ミングをスケジュールすることを特徴とする。

【００２５】本発明の第６の特徴とするマルチメディア
文書編集装置は、前記編集手段が、マルチメディアデー
タ，シーケンシャル構造要素，パラレル構造要素，トラ
ック構造要素，および同期リンクの各要素に対して、編
集インタフェース画面上で追加，削除，移動の編集操作
を行う際、その編集操作の結果により、マルチメディア
データの時間軸上の重畳が発生する場合には、編集イン
タフェース画面上においてパラレル構造に対応する表示
位置を再配置し、シーケンシャル構造とパラレル構造の
間に時間的間隔が生じた場合には、関連するシーケンシ
ャル構造に空白要素を挿入することを特徴とする。

【００２６】また、本発明の第７の特徴とするマルチメ
ディア文書編集装置において、前記編集手段が、マルチ
メディアデータ，シーケンシャル構造要素，パラレル構
造要素，トラック構造要素，および同期リンクの各要素
に対して、編集インタフェース画面上で追加，削除，移
動の編集操作を行う際、その編集操作を仮実行し、マル
チメディアデータの時間軸上の重畳が発生する場合に
は、編集操作を実行せず、その旨を操作者に伝えること
を特徴とする。

【００２７】

【作用】このような特徴を有する本発明の第１の特徴と
するマルチメディア文書編集装置においては、マルチメ
ディアデータ蓄積手段が、複数のマルチメディアデータ
の要素を蓄積しており、マルチメディア文書保持手段
が、前記マルチメディアデータ蓄積手段に蓄積されたマ
ルチメディアデータの各要素の再生の際の時間および表
示位置に関する構造情報を含むマルチメディア文書を保
持する。このマルチルディア文書に対して、編集手段
が、リンク構造要素によってマルチメディア文書の構造
情報の要素を結合する編集を行う。マルチメディア文書
再生手段が、前記編集手段により編集されたマルチメデ
ィア文書の構造情報に基づいて、前記マルチメディアデ
ータ蓄積手段に蓄積されたマルチメディアデータの各要
素を再生する。

【００２８】また、本発明の第２の特徴とするマルチメ
ディア文書編集装置においては、前記マルチメディア文
書保持手段に蓄積されたマルチメディア文書の時間に関
する構造情報が、マルチメディアデータの逐次再生情報
を時間順に管理するシーケンシャル構造要素と、当該シ
ーケンシャル構造要素の間の関係を再生する際の時刻を
同一とする同期リンクにより結合して管理するパラレル
構造要素から構成されるので、この構造情報に対して、
前記編集手段が編集を行う。この編集では、マルチメデ
ィア文書の構造情報のシーケンシャル構造要素およびパ
ラレル構造要素の各要素を単位として編集操作を行う。
これにより、マルチメディアデータの時間構造に対する
編集は、煩雑な操作を行うことなく、例えば、リンク構
造要素の同期リンクによって、要素の結合の編集操作を
行うだけなので容易に編集操作を行える。

【００２９】また、本発明の第３の特徴とするマルチメ
ディア文書編集装置においては、前記マルチメディア文
書保持手段に蓄積された構造情報が、マルチメディアデ
ータの逐次再生情報を時間順リンクで管理するシーケン
シャル構造要素と、該シーケンシャル構造要素の間の関
係を同期リンクと同期仮想時刻により管理するパラレル
構造要素と、同一表示領域に割り付けられるシーケンシ
ャル構造要素によるマルチメディアデータの表示座標値
を管理するトラック構造要素から構成されている。編集
手段は、これらの構造情報の要素に対する編集を行う。
その場合、前記編集手段は、編集インタフェース画面を
表示し、その画面上で、マルチメディアデータ，シーケ
ンシャル構造要素，パラレル構造要素，トラック構造要
素，および同期リンクの各要素を、仮想時刻を基準とし
た２次元空間に矩形およびマーカとして表示する。そし
て、表示された前記要素を単位として、編集インタフェ
ース画面上において、構造情報の要素に対して、その追
加，削除，移動の編集操作を行う。このように、編集イ
ンタフェース画面に表示された要素に対して、図形要素
の編集と同様な編集操作により編集が行える。また、編
集インタフェース画面に編集対象の構造情報の要素を表
示するので、マルチメディア文書の時間構造を直観的に
把握することができ、編集操作が容易に行える。

【００３０】このため、追加，削除，移動などの時間構
造の編集操作が、２次元空間に表示された構造情報の要
素を単位として行うことができ、その編集結果が文書の
時間構造に反映される。これにより、文書全体の時間構
造を把握しやすく、かつ操作が容易で、少ない手順で編
集が実行できる編集インタフェースを備えたマルチメデ
ィア文書編集機能が提供できる。

【００３１】また、本発明の第４の特徴とするマルチメ
ディア文書編集装置においては、前記編集手段が、マル
チメディア文書の編集操作の対象の要素を複数選択し、
選択した操作対象の複数の要素の間の関係を保ったま
ま、複数の要素に対して編集操作を行う。これにより、
相対的な時間構造上においてマルチメディア文書の構造
情報の要素の一括編集操作が可能となる。

【００３２】また、本発明の第５の特徴とするマルチメ
ディア文書編集装置においては、前記編集手段が、マル
チメディア文書の構造情報のシーケンシャル構造要素お
よびパラレル構造要素の各要素を単位として編集操作を
行う際に、シーケンシャル構造要素またはパラレル構造
要素で指定する同期リンクに、時間オフセットを指定し
た場合、マルチメディア文書再生手段は、前記時間オフ
セットに応じて、再生するマルチメディアデータの各要
素の表示タイミングをスケジュールする。これにより、
容易にシーケンシャル構造に内包されるマルチメディア
データの再生時間を簡易に調整できる。

【００３３】また、本発明の第６の特徴とするマルチメ
ディア文書編集装置においては、前記編集手段が、マル
チメディアデータ，シーケンシャル構造要素，パラレル
構造要素，トラック構造要素，および同期リンクの各要
素に対して、編集インタフェース画面上で追加，削除，
移動の編集操作を行う際、その編集操作の結果によっ
て、マルチメディアデータの時間軸上の重畳が発生する
場合に、編集インタフェース画面上においてパラレル構
造に対応する表示位置を再配置し、シーケンシャル構造
とパラレル構造間に時間的間隔が生じた場合には、関連
するシーケンシャル構造に空白要素を挿入する。これに
より、複数の要素に対する一括した編集操作の結果に応
じて、マルチメディア文書の構造情報の全体の時間的一
貫性を保つように、編集インタフェース画面上において
適当にパラレル構造に対応する表示位置を再配置し、ま
た、空白情報が挿入される。このため、編集操作が簡易
に行える。

【００３４】また、本発明の第７の特徴とするマルチメ
ディア文書編集装置においては、前記編集手段が、マル
チメディアデータ，シーケンシャル構造要素，パラレル
構造要素，トラック構造要素，および同期リンクの各要
素に対して、編集インタフェース画面上で追加，削除，
移動の編集操作を行う際、その編集操作を仮実行し、マ
ルチメディアデータの時間軸上の重畳が発生する場合に
は、編集操作を実行せず、その旨を操作者に伝える。こ
れにより、構造情報の複数の要素に対する一括した編集
操作の結果によって、時間構造の整合性が失われる場合
は、編集操作を実行せず、その旨を操作者に伝えるだけ
なので、簡易に編集操作が行える編集インタフェースに
よっても、不適切な編集が行われることはなく、確実な
編集操作が行える。

【００３５】

【実施例】以下、本発明の実施例を図面により詳細に説
明する。図３は、本発明の第１の実施例のマルチメディ
ア文書編集装置の要部の構成を示すブロック図である。
図３において、１はマルチメディアデータ蓄積部、２は
マルチメディア文書構造保持部、３は空間構造編集部、
４は時間構造編集部、５は入力制御部、６は表示再生制
御部、７はマルチメディア文書再構成部である。

【００３６】マルチメディアデータ蓄積部１は、マルチ
メディア文書の構成要素となるマルチメディアデータの
要素を蓄積する。マルチメディア文書構造保持部２は、
マルチメディアデータの要素とそれらに与えられた空間
的構造および時間的構造の構造要素の構造情報をマルチ
メディア文書として保持する。空間構造編集部３は、マ
ルチメディア文書構造保持部２に保持されたマルチメデ
ィア文書の空間的構造の構造要素の構造情報を変更また
は更新する編集インタフェースを備えている。時間構造
編集部４は、マルチメディア文書構造保持部に保持され
たマルチメディア文書の時間的構造の構造要素の構造情
報を変更または更新する編集インタフェースを備えてい
る。入力制御部５は、マウス，キーボードなど入力デバ
イスからのユーザ入力を制御する、表示再生制御部６
は、テキスト，図形，イメージ，動画，および音声など
のマルチメディアデータを表示再生を制御する。そし
て、マルチメディア文書再構成部７が、入力制御部５よ
りの指示に従い、マルチメディア文書構造保持部２に保
持されたマルチメディア文書の構造情報に基づき、マル
チメディアデータ蓄積部１に保持されたマルチメディア
データの要素を時間的および空間的に再構成して、表示
再生制御部６に送出することにより、マルチメディア文
書の再生表示が行われる。

【００３７】第１の実施例のマルチメディア文書編集装
置において、マルチメディアデータの空間的構造の構造
情報の編集は、操作者が、空間構造編集部３のユーザイ
ンタフェース操作により、同一領域に表示されるマルチ
メディアデータの集合（トラック構造要素）に対して座
標情報を指定することより編集を行う。指定された座標
情報に基づき、空間情報編集部３は、マルチメディア文
書構造保持部２に保持された文書構造の中の空間的構造
の構造情報を更新する。

【００３８】また、マルチメディアデータの時間構造の
構造情報は、時間構造編集部４によって、編集インタフ
ェース画面上に仮想時間を基準とした２次元空間に表示
される。時間構造の構造情報の編集は、操作者が、時間
構造編集部４による編集インタフェース画面上の編集操
作により、マルチメディアデータ群を、シーケンシャル
構造要素，パラレル構造要素，トラック構造要素に対し
て、逐次リンク，同期リンクなどのリンク構造要素によ
り関係づけることにより編集を実行する。この編集操作
に基づき、時間構造編集部４が、マルチメディア文書構
造保持部２に保持された文書構造の中の時間構造を更新
する。また、時間構造編集部４は、更新された情報に基
づきインタフェース上に２次元で表示された時間構造の
構造情報を更新する。

【００３９】編集が終了したマルチメディア文書は、マ
ルチメディア文書再構成部７が、マルチメディア文書構
造保持部２に保持された文書構造を参照し、必要なマル
チメディアデータの実体データを、マルチメディアデー
タ蓄積部１より検索し、与えられた空間構造および時間
構造の構造情報に基づき再構成する。これにより、マル
チメディア文書の編集処理が完了する。

【００４０】図４は、マルチメディア文書構造保持部２
におけるマルチメディア文書の文書構造を表す木構造デ
ータの一例を示す図である。図４において、参照番号４
１で参照されるＶ１〜Ｖ５は、動画像に対応するマルチ
メディアデータの要素を表しており、また、Ｎ１，Ｎ２
はナレーションに対応するマルチメディアデータの要素
を表している。この実体データに対する構造データとし
て、参照番号４２で参照されるＳＥＱ１〜ＳＥＱ４は、
シーケンシャル構造要素の構造データを表しており、参
照番号４３で参照されるＰＡＲＡ１，ＰＡＲＡ２は、パ
ラレル構造要素の構造データを表している。同様に、参
照番号４４で参照されるＴＲＡＣＫ１，ＴＲＡＣＫ２
は、トラック構造要素の構造データを表している。

【００４１】図４に示す木構造データにおいて、シーケ
ンシャル構造要素ＳＥＱ１には、動画像のＶ１，Ｖ２，
Ｖ３がリンクされており、シーケンシャル構造要素ＳＥ
Ｑ２にはナレーションのＮ１がリンクされている。ま
た、シーケンシャル構造要素ＳＥＱ３には、動画像のＶ
４，Ｖ５がリンクされており、シーケンシャル構造要素
ＳＥＱ４にはナレーションのＮ２がリンクされている。
この場合のリンク（リンク構造要素）では、それぞれ時
間順の序列リンク４５によりリンクされている。

【００４２】また、パラレル構造要素ＰＡＲＡ１は、シ
ーケンシャル構造要素ＳＥＱ１とシーケンシャル構造要
素ＳＥＱ２とを、同期リンク（ｓｔａｒｔ）４６でリン
クしている。このため、このようなリンク状態において
は、シーケンシャル構造要素ＳＥＱ１の先頭データ（動
画像のＶ１）と、シーケンシャル構造要素ＳＥＱ２の先
頭データ（ナレーションのＮ１）とが、同時に再生され
表示される。動画像のＶ２とＶ３は、シーケンシャル構
造要素ＳＥＱ１によって、時間順の序列リンク４５によ
りリンクされているだけなので、動画像のＶ１の再生終
了後に、連続して動画像のＶ２が再生され、その終了後
に続いて動画像のＶ３が連続して再生される。

【００４３】パラレル構造要素ＰＡＲＡ２は、シーケン
シャル構造要素ＳＥＱ３と、シーケンシャル構造要素Ｓ
ＥＱ４とを、同期リンク（ｓｔａｒｔ）４６でリンクし
ており、また、シーケンシャル構造要素ＳＥＱ１を同期
リンク（ｅｎｄ）４７でリンクしている。このため、こ
のリンクの状態においては、シーケンシャル構造要素Ｓ
ＥＱ１にリンクされているマルチメディアデータ（Ｖ１
〜Ｖ３）の再生の終了後に、すなわち、動画像のＶ３の
再生の終了後に、シーケンシャル構造要素ＳＥＱ３の先
頭データ（動画像のＶ４）と、シーケンシャル構造要素
ＳＥＱ４の先頭データ（ナレーションのＮ２）とが同時
に再生され表示される。動画像のＶ４の終了後には、シ
ーケンシャル構造要素ＳＥＱ４による序列リンクに従っ
て、続いて動画像のＶ５が再生される。

【００４４】図５は、マルチメディアデータ要素のデー
タ構造の一例を示す図である。図５に示すように、マル
チメディアデータ要素のデータ構造５００は、マルチメ
ディアデータ種別を判別するためのタイプデータを保持
するメディアタイプスロット５０１と、当該データ構造
自身の識別子であるＩＤデータを保持するデータＩＤス
ロット５０２と、当該マルチメディアデータの表示時間
幅を保持する時間幅スロット５０３と、当該マルチメデ
ィアデータが編集インタフェース上の仮想時間上に配置
された場合の再生開始時刻を保持する開始仮時刻スロッ
ト５０４と、実際のマルチメディアデータ内容オブジェ
クトへのポインタを保持する実体スロット５０５から構
成されている。

【００４５】図６はシーケンシャル構造要素のデータ構
造の一例を示す図である。図６に示すように、シーケン
シャル構造要素のデータ構造６００は、当該データ構造
自身の識別子であるＩＤデータを保持するデータＩＤス
ロット６０１と、当該シーケンシャル構造要素に属する
マルチメディアデータ要素の表示時間幅の総和を保持す
るＴＯＴＡＬ時間幅スロット６０２と、当該シーケンシ
ャル構造要素が編集インタフェース画面上の仮想時間上
に配置された場合にリンク先のマルチメディアデータ要
素の再生開始の開始仮時刻を保持する開始仮時刻スロッ
ト６０３と、当該シーケンシャル構造要素に属するマル
チメディアデータ要素の序列リンクを保持するメンバス
ロット６０４から構成されている。

【００４６】また、図７は、パラレル構造要素のデータ
構造の一例を示す図である。図７に示すように、パラレ
ル構造要素のデータ構造７００は、当該データ構造自身
の識別子であるＩＤデータを保持するデータＩＤスロッ
ト７０１と、当該パラレル構造要素が編集インタフェー
ス画面上の仮想時間上に配置された場合にリンク先のマ
ルチメディアデータ要素の再生開始の開始仮時刻を保持
する開始仮時刻スロット７０２と、当該パラレル構造要
素と関連づけられたシーケンシャル構造要素の同期リン
クを保持するメンバスロット７０３から構成されてい
る。

【００４７】また、図８は、リンク構造要素のデータ構
造の一例を示す図である。図８に示すように、リンク構
造要素のデータ構造８００は、当該データ構造自身の識
別子であるＩＤデータを保持するデータＩＤスロット８
０１と、リンク種別（序列リンク，同期リンク）のタイ
プデータを保持するリンクタイプスロット８０２と、同
期リンクの場合のＳＴＡＲＴ同期またはＥＮＤ同期のい
ずれかを指定するリンク属性値を保持するリンク属性値
スロット８０３と、当該リンク構造要素のソース側の構
造情報の構造要素へのポインタを保持するＦＲＯＭスロ
ット８０４と、該リンク構造要素のデスティネーション
側の構造情報の構造要素へのポインタを保持するＴＯス
ロット８０５から構成されている。

【００４８】また、図９は、トラック構造要素のデータ
構造の一例を示す図である。図９に示すように、トラッ
ク構造要素のデータ構造９００は、当該データ構造自身
の識別子であるＩＤデータを保持するデータＩＤスロッ
ト９０１と、当該トラック構造要素で保持する（リンク
しているリンク先の）マルチメディアデータ要素の種別
を保持するメディアタイプスロット９０２と、当該トラ
ックの出力先となる表示ストリーム（表示領域）へのポ
インタを保持する表示ストリームスロット９０３と、当
該トラックと関連するシーケンシャル構造要素またはパ
ラレル構造要素などへのリンクを保持するメンバスロッ
ト９０４から構成されている。

【００４９】図１０は、時間構造編集部におけるユーザ
インタフェース操作を説明する表示画面の一例を示す図
である。この表示画面の表示内容は、図４で示した文書
構造に対応した表示例となっている。図１０において、
５０は編集インタフェース画面、５１はマルチメディア
データ要素の表示図形、５２はシーケンシャル構造要素
の表示図形、５３はパラレル構造要素の表示図形、５４
はトラック構造要素の表示図形、５６は同期リンク（ｓ
ｔａｒｔ）の表示図形、５７は同期リンク（ｅｎｄ）の
表示図形、５８は編集操作メニューである。

【００５０】また、ここでは、仮想時間はＸ軸にそっ
て、左から右へ進行するものとし、図４に示す文書構造
におけるトラック構造要素のＴＲＡＣＫ１およびＴＲＡ
ＣＫ２の表示図形は、それぞれのトラック名の「ＶＩＤ
ＥＯＴＲＡＣＫ」，「Ｎarration ＴＲＡＣＫ」を表
記した横長の矩形として、上下２つの段に分けて表示さ
れており、各々のマルチメディアデータ要素（Ｖ１〜Ｖ
５，Ｎ１，Ｎ２）は、保持されているメディア種別に応
じたトラック構造要素の表示図形５４の上に、再生表示
時間幅をＸ軸方向の幅とした矩形として、それぞれに表
示される。

【００５１】シーケンシャル構造要素の表示図形５２
は、序列リンクによるリンクされているマルチメディア
データ要素（Ｖ１〜Ｖ５，Ｎ１，Ｎ２）各々の再生表示
時間幅の合計をＸ軸方向の幅とした矩形として表示され
る。パラレル構造要素の表示図形５３の間に挾まれたマ
ルチメディアデータ要素列（Ｖ１〜Ｖ３，Ｎ１）を暗黙
のシーケンシャル構造要素の表示とみなすことも可能で
あるので、図１０に示すような編集インタフェース画面
５０の表示例とは異なり、シーケンシャル構造要素の表
示図形５２を、特に、明示的に表示しない編集インタフ
ェース画面であっても良い。

【００５２】パラレル構造要素の表示図形５３は、マル
チメディア文書の全トラックをＹ軸方向に横断する線分
（図１０では細長い縦長矩形）として表示されている。
したがって、ここで仮想時間はＸ軸に沿って、左から右
へ進行するものとしているので、その配置された線分の
一つが、該パラレル構造要素に仮に与えられた仮想事項
上の時刻（仮時刻）となる。

【００５３】同期リンクの表示図形（５６，５７）は、
同期指定を行なう仮時刻の位置に表示され、シーケンシ
ャル構造要素の表示図形５２とパラレル構造要素の表示
図形５３の関係を表現するマーカとして表示される。図
１０においては、同期リンク（ｓｔａｒｔ）の表示図形
５６は右向きの三角形により表示しており、同期リンク
（ｅｎｄ）の表示図形５７は左向きの三角形により表示
している。

【００５４】図１１は、第１の実施例のマルチメディア
文書編集装置における時間構造編集部の構成を詳細に示
すブロック図である。図１１において、２はマルチメデ
ィア文書構造保持部、４は時間構造編集部、５は入力制
御部、６は表示再生制御部である。また、６１は編集コ
マンド解析部、６２は編集対象保持部、６３は時間構造
解析部、６４は文書構造アクセス部、６５は文書構造表
示指示部である。

【００５５】図１１を参照して、時間構造編集部の動作
を説明する。ここでの時間構造の編集処理は、図１０に
示したような編集インタタフェース画面５０における操
作によって編集指示がなされて処理が実行される。つま
り、編集インタタフェース画面５０における操作が行わ
れると、この操作を入力制御部５が受け付けて、時間構
造編集部４に対して入力イベントのデータが送出され
る。

【００５６】時間構造編集部４においては、編集コマン
ド解析部６１は、入力制御部５により与えられた入力イ
ベントのデータから編集コマンド（追加コマンド，削除
コマンド，移動コマンド）を解析する。編集対象保持部
６２は、入力制御部５で選択された時間構造の編集対象
（マルチメディアデータ要素，シーケンシャル構造要
素，パラレル構造要素）を１つまたは複数のグループと
して、グループ化して保持する。時間構造解析部６３
は、編集コマンド解析部６１および編集対象保持部６２
によって指定された編集指示を実行するため、文書構造
アクセス部６４より得られたマルチメディア文書の構造
情報の時間構造を解釈し、編集操作を当該文書の構造情
報に対して実行する。

【００５７】その際、編集操作後の時間構造に不整合が
ないか否かをチエックし、不整合があれば、それを調整
する操作を文書アクセス部６４に指示する。文書アクセ
ス部６４は、マルチメディア文書構造保持部２より編集
対象となる文書を読み出し、また、編集結果を反映した
文書構造を更新する処理動作を行う。また、文書構造表
示指示部６５は、文書構造アクセス部６４からの指示に
基づき、編集対象の文書構造を、図１０に示したよう
に、２次元的空間に配置して表示する。

【００５８】図１２は、マルチメディアデータの追加の
編集操作を行なった場合の処理の流れを説明するフロー
チャートである。この編集操作の処理は時間構造編集部
を中心に処理が進行される。この場合のマルチメディア
データの追加編集操作の動作を、図１１および図１２を
参照しながら説明する。

【００５９】処理が開始されると、まず、ステップ１２
０１において、時間構造解析部６３が、編集対象保持部
６２から得られた追加対象のマルチメディアデータ（要
素）を変数ＭＤとして保持する。次に、ステップ１２０
２において、時間構造解析部６３が、変数ＭＤのマルチ
メディアデータと同一トラック構造（要素）に属し、か
つ，変数ＭＤのマルチメディアデータの直前の仮想時刻
を持つマルチメディアデータ（要素）の検索を行うが、
これは、文書構造アクセス部６４を介して、マルチメデ
ィア文書構造保持部２に保持されているマルチメディア
文書構造を解析することにより行なう。この結果、条件
に合うマルチメディアデータ（要素）を変数ＭＤ−ＰＲ
ＥＶに設定する。

【００６０】次に、ステップ１２０３において、時間構
造解析部６３により、文書構造を解析して（マルチメデ
ィプ文書の構造情報を解析して）、変数ＭＤのマルチメ
ディアデータの直前の仮想時刻に存在するパラレル構造
要素を得て、その結果を変数ＰＡＲＡ−ＰＲＥＶに設定
する。そして、次のステップ１２０４において、変数Ｐ
ＡＲＡ−ＰＲＥＶのパラレル構造要素の持つ仮時刻と、
変数ＭＤ−ＰＲＥＶのマルチメディアデータの終了時刻
とを比較し、変数ＭＤ−ＰＲＥＶの仮時刻の方が大きい
場合には、ステップ１２０５の処理に進み、それ以外の
場合には、ステップ１２０６の処理に進む。

【００６１】ステップ１２０５においては、変数ＭＤ−
ＰＲＥＶのマルチメディアデータの属するシーケンシャ
ル構造要素のメンバの末尾に変数ＭＤのマルチメディア
データを加える。次に、ステップ１２０８に進む。一
方、ステップ１２０６においては、時間構造解析部６３
が、新たなシーケンシャル構造要素を生成し、それに変
数ＭＤのマルチメディアデータをメンバとして登録す
る。次に、ステップ１２０７において、時間構造解析部
６３は、新規作成したシーケンシャル構造要素と、変数
ＰＡＲＡ−ＰＲＥＶに保持しているパラレル構造要素を
同期リンク（Ｓｔａｒｔ）で関係づける。そして、ステ
ップ１２０８に進む。

【００６２】ステップ１２０８においては、文書構造ア
クセス部６４に編集結果をマルチメディア文書構造保持
部２上の文書構造（構造情報）に反映するように指示す
る。そして、次のステップ１２０９において、編集イン
タフェース画面上の表示を更新する。つまり、更新され
たマルチメディア文書の文書構造（構造情報）を、文書
構造アクセス部６４を介して読み出して、文書構造表示
指示部６５は、その文書構造の内容を２次元で表現され
る編集インタフェース画面上の表示内容（図１０）とし
て、その更新表示を表示再生制御部６に指示する。

【００６３】以上のような編集操作により、時間構造編
集部４による編集インタフェース画面上での編集操作に
より、新しいマルチメディアデータ要素をマルチメディ
ア文書に容易に追加できる。なお、その場合の既定の動
作として近傍のパラレル構造要素への同期リンクも自動
的に設定できる。

【００６４】図１３は、シーケンシャル構造要素に内包
されるマルチメディアデータに対して、パラレル構造要
素への同期リンク指定を行なった場合の編集処理の動作
例を説明するフローチャートである。この場合の動作に
おいても、時間構造編集部を中心として処理動作が進め
られるので、図１１および図１３を参照して動作を説明
する。

【００６５】この場合の編集処理を開始すると、まず、
ステップ１３０１において、編集対象保持部６２から得
られた編集対象となるマルチメディアデータ（要素）を
変数ＭＤにセットし、パラレル構造要素を変数ＰＡＲＡ
にセットする。次に、ステップ１３０２において、編集
コマンド解析部６１より得たリンク属性値（Ｓｔａｒｔ
またはＥｎｄ）を変数ＳＹＮＣ−ＴＹＰＥに設定する。
次に、ステップ１３０３において、変数ＳＹＮＣ−ＴＹ
ＰＥの内容を判定する。この判定において、リンク属性
値が“Ｓｔａｒｔ”であれば、ステップ１３０４に進
み、それ以外であれば、ステップ１３０８に進む。

【００６６】ステップ１３０４においては、変数ＭＤの
マルチメディアデータの開始仮時刻と、変数ＰＡＲＡの
パラレル構造要素の仮時刻を比較する。この比較の結
果、変数ＭＤのマルチメディアデータの開始仮時刻の方
が大きい場合は、次のステップ１３０５において、変数
ＰＡＲＡのパラレル構造要素の仮時刻を変数ＭＤのマル
チメディアデータの開始仮時刻とし、次のステップ１３
０６に進む。それ以外の場合は、そのまま次のステップ
１３０６にスキップする。

【００６７】ステップ１３０６においては、変数ＭＤの
マルチメディアデータを含むシーケンシャル構造要素
を、変数ＭＤのマルチメディアデータの直前で２つのシ
ーケンシャル構造要素のグループに分割する。次に、ス
テップ１３０７において、ステップ１３０６の処理によ
り新たに生成された変数ＭＤのマルチメディアデータを
含む側のシーケンシャル構造要素と、変数ＰＡＲＡのパ
ラレル構造要素に同期リンク（Ｓｔａｒｔ）を設定す
る。

【００６８】一方、ステップ１３０３の判定において、
変数ＳＹＮＣ−ＴＹＰＥの内容のリンク属性値が“Ｓｔ
ａｒｔ”でなく、ステップ１３０８に進んだ場合、ステ
ップ１３０８において、変数ＭＤのマルチメディアデー
タの終了仮時刻と、変数ＰＡＲＡのパラレル構造要素の
仮時刻とを比較し、変数ＭＤのマルチメディアデータの
終了仮時刻の方が大きい場合は、次のステップ１３０９
において、変数ＰＡＲＡのパラレル構造要素の仮時刻を
変数ＭＤのマルチメディアデータの開始仮時刻とし、次
のステップ１３１０に進む。それ以外の場合は、そのま
ま次のステップ１３１０にスキップする。

【００６９】次のステップ１３１０においては、変数Ｍ
Ｄのマルチメディアデータを含むシーケンシャル構造要
素と、変数ＰＡＲＡのパラレル構造要素に同期リンク
（Ｅｎｄ）を設定する。次に、ステップ１３１１におい
て、編集対象のシーケンシャル構造要素が変数ＭＤのマ
ルチメディアデータより大きい仮時刻を持つマルチメデ
ィアデータを保持しているか否かを判別する。保持して
いる場合には、次のステップ１３１２において、残りの
マルチメディアデータ用にシーケンシャル構造要素を生
成し、生成したシーケンシャル構造要素と変数ＰＡＲＡ
のパラレル構造要素に同期リンク（Ｓｔａｒｔ）を設定
する。そして、次のステップ１３１３に進む。一方、ス
テップ１３１１の判定で、該当のマルチメディアデータ
を保持していると判定できない場合は、ステップ１３１
２をスキップし、次のステップ１３１３に進む。

【００７０】次に、ステップ１３１３において、編集結
果をマルチメディア文書構造保持部２におけるマルチメ
ディア文書の文書構造に反映する。次に、ステップ１３
１４において、編集インタフェース画面上の表示を更新
して処理を終了する。このような編集処理を行うことに
より、同期リンクの指定がユーザの簡単な操作により実
行できる。

【００７１】ところで、上述したマルチメディア文書の
文書構造の編集処理では、それぞれの要素を個別に「移
動」する編集操作を行っているが、これらの「移動」す
る編集操作では、複数の対象に対して同様な編集操作が
繰り返し行われるので、操作対象を複数選択できるよう
にすると共に、編集処理の変数領域をそれぞれの対象の
構造要素に対応して複数設けるような構成とすることに
より、選択されたマルチメディアデータ間の時間関係を
相対的に保持して、「移動」の編集操作を実行できる。
これにより、マルチメディア文書の文書構造の編集処理
が効率よく実行できる。

【００７２】次に、このような構成例について、第２の
実施例として説明する。第２の実施例のマルチメディア
文書編集装置は、複数の対象に対して編集操作を行える
ように構成するが、そのマルチメディア文書編集装置の
構成は、図３に示す構成例と同様な構成となり、また、
時間構造編集部も、図１１に示した構成と同様な構成と
なる。その相違は、編集対象保持部が、ユーザにより選
択された操作対象の複数のマルチメディアデータ要素，
シーケンシャル構造要素，パラレル構造要素などを、一
括編集のためのトランザクショングループとして保持
し、このトランザクショングループに対して編集操作を
行う。

【００７３】図１４は、第２の実施例のトランザクショ
ングループに対する処理を行う時間構造解析部の動作の
概略を説明するフローチャートである。前述の場合と同
様にして、図１１および図１４を参照して「移動」操作
の動作を説明する。

【００７４】処理を開始すると、まず、ステップ１４０
１において、編集対象保持部６２より得られた複数のマ
ルチメディアデータ要素，パラレル構造要素などのグル
ープを１トランザクション単位として、変数ＴＲ−ＧＲ
ＯＵＰに設定する。次に、ステップ１４０２において、
時間構造解析部６３により、変数ＴＲ−ＧＲＯＵＰに保
持された要素が時間的に連続配置可能なものか否かをチ
エックする。連続配置可能である場合には、ステップ１
４０３に進み、そうでない場合には、ステップ１４１２
に進み、その旨を伝える警告メッセージを表示した後、
編集操作を終了する。この場合には、実質的な編集操作
は実行されない。

【００７５】ステップ１４０２の判定において、変数Ｔ
Ｒ−ＧＲＯＵＰに保持された要素が時間的に連続配置可
能であると判定できると、ステップ１４０３において、
変数ＴＲ−ＧＲＯＵＰに保持された要素の編集対象がシ
ーケンシャル構造要素のみの連続配置で編集操作が行え
るか否かを判定するため、変数ＴＲ−ＧＲＯＵＰが１つ
以上のパラレル構造要素を含むか否かを判定する。１つ
以上のパラレル構造要素を含む場合には、ステップ１４
０４に進み、そうでない場合は、ステップ１４０８に進
む。

【００７６】ステップ１４０４においては、更に、変数
ＴＲ−ＧＲＯＵＰに含まれるシーケンシャル構造要素
が、編集対象となったマルチメディアデータ（要素）の
移動により分割されるか否かを判定する。分割される場
合には、分割の処理が必要となるので、次のステップ１
４０５において、対象となるシーケンシャル構造要素を
編集操作の対象を含むシーケンシャル構造要素と、そう
でないシーケンシャル構造要素とに分割し、次のステッ
プ１４０６に進む。

【００７７】一方、ステップ１４０４の判定において、
シーケンシャル構造要素が編集対象となったマルチメデ
ィアデータの移動により分割されると判定されない場
合、シーケンシャル構造要素を分割する必要はないの
で、ステップ１４０５をスキップして、そのままステッ
プ１４０６に進む。そして、ステップ１４０６におい
て、編集操作の前の状態において、変数ＴＲ−ＧＲＵＵ
Ｐに含まれるパラレル構造要素に付与された同期リンク
以外の同期リンクを削除する。次に、ステップ１４０７
において、移動先で、変数ＴＲ−ＧＲＯＵＰに含まれる
パラレル構造要素およびシーケンシャル構造要素に対す
る必要な同期リンクづけを行なう。そして、ステップ１
４１３に進む。

【００７８】また、先のステップ１４０３の判定におい
て、変数ＴＲ−ＧＲＯＵＰが１つ以上のパラレル構造要
素を含まない場合には、変数ＴＲ−ＧＲＯＵＰに保持さ
れた構造要素の編集対象に対しては、シーケンシャル構
造要素のみの操作で編集操作が行えるので、ステップ１
４０８からの処理において、シーケンシャル構造要素と
それに含まれるマルチメディアデータのみを編集対象と
する処理を実行する。

【００７９】この場合、まず、ステップ１４０８におい
て、変数ＴＲ−ＧＲＯＵＰに含まれるシーケンシャル構
造要素が編集対象となったマルチメディアデータの移動
により分割されるか否かを判定する。分割されると判定
される場合は、シーケンシャル構造要素の分割が必要と
なり、その場合には、ステップ１４０９において、対象
となるシーケンシャル構造要素を編集操作の対象を含む
シーケンシャル構造要素と、そうでないシーケンシャル
構造要素とに分割して、次のステップ１４１０に進む。

【００８０】また、ステップ１４０８の判定により、移
動の編集によってもシーケンシャル構造要素が分割され
ると判定されない場合は、シーケンシャル構造要素を分
割する必要はなく、ステップ１４０９にスキップして、
ステップ１４１０に進む。そして、ステップ１４１０に
おいて、移動前に変数ＴＲ−ＧＲＵＵＰに関連する同期
リンクを削除し、次に、ステップ１４１１において、移
動先で変数ＴＲ−ＧＲＯＵＰに含まれるシーケンシャル
構造要素に対して、必要な同期リンクづけを行い、ステ
ップ１４１３に進む。

【００８１】次に、ステップ１４１３において、ここで
の編集操作により変更された編集結果の文書構造をマル
チメディア文書構造保持部２に反映させる。そして、次
のステップ１４１４において、マルチメディア文書構造
保持部２の文書構造（構造情報）に基づき、編集インタ
フェース画面上の表示を更新して、ここでの編集操作の
処理を終了する。

【００８２】このような編集操作により、編集インタフ
ェース画面上で複数選択されたマルチメディアデータ要
素，シーケンシャル構造要素，パラレル構造要素を、そ
の相互関係を保ったままで移動する編集を行うことがで
き、新しい文書構造の構造情報として更新できる。

【００８３】次に、本発明のマルチメディア文書編集装
置の変形例について説明する。これまでに説明したよう
に、本発明の第１または第２の実施例のマルチメディア
文書編集装置によれば、マルチメディア文書は、そのマ
ルチメディアデータを配置する構造情報として、時間構
造がマルチメディアデータの逐次再生情報を時間順で管
理するリンク（序列リンク）のシーケンシャル構造要素
と、該シーケンシャル構造要素の間の関係を再生する際
の時刻を同一とするリンク（同期リンク）により管理す
るパラレル構造要素により表現される。また、マルチメ
ディア文書の空間構造は、同一表示領域に割り付けられ
るシーケンシャル構造要素を管理するトラック構造要素
が表示座標値を管理するものとして表現される。このた
め、ここでのリンク（同期リンク）において、時間オフ
セットを持たせるように変形することより、上述のよう
に構造構素の「移動」の編集操作を行わなくても、同様
な効果をマルチメディア文書の構造情報に導入できる。

【００８４】つまり、マルチメディア文書の構造情報の
中の同期リンクに、時間オフセットを設定した場合、前
述のように、構造情報のシーケンシャル構造要素および
パラレル構造要素のリンク関係に従って、マルチメディ
ア文書を再構成して再生表示されるので、当該時間オフ
セットを考慮して、マルチメディアデータの各要素の表
示タイミングがスケジュールされる。このため、構造情
報における微小な時間構造の変更であれば、同期リンク
に時間オフセットを設定することによって、その変更が
容易に行える。

【００８５】このような同期リンクにおける時間オフセ
ットの設定の編集操作は、例えば、編集インタフェース
画面（図１０）における編集操作では、右向きの三角形
の同期リンク（ｓｔａｒｔ）の表示図形５６または左向
きの三角形の同期リンク（ｅｎｄ）の表示図形５７を、
画面上の編集操作により、時間軸のＸ軸方向に位置を移
動させることにより、そのパラレル構造要素に対応し
て、これらの同期リンクに時間オフセットを設定できる
ように構成する。その場合、リンク構造要素のデータフ
ォーマット（図８）は、オフセット時間を保持するオフ
セット時間スロットが更に追加された構造に変形して、
このオフセット時間スロットに、編集操作で設定された
時間オフセットを保持する。

【００８６】このような編集操作を行うことにより、編
集インタフェース画面（図１０）において、仮想時刻を
基準とした２次元空間に表示された矩形または三角形の
表示図形の編集を行い、それらに対応したマルチメディ
アデータ要素，シーケンシャル構造要素，パラレル構造
要素，トラック構造要素，同期リンクの各要素を単位と
した追加、削除、移動などの編集操作が、総合して効率
よく容易に行える。

【００８７】また、操作対象の要素を複数選択して、選
択された複数のマルチメディアデータ要素，構造要素の
間の時間関係を相対的に保持して、移動の編集操作など
が行えるので、一括した編集操作を行える効率的な編集
インタフェースが提供されている。なお、この一括操作
の結果、マルチメディアデータ群を保持するシーケンシ
ャル構造要素と、それらの間を同期リンクにより関係付
けを行うパラレル構造要素の間で、時間的な一貫性が失
われる場合に対しては、空白を表現するマルチメディア
データ要素を時間構造の中に挿入するように変形するこ
とにより、編集の効率化を図かることができる。また、
時間的な一貫性が失われる旨を操作者に通知することに
よっても、無駄な編集操作を避けて、編集の効率化を図
かることができる。また、編集操作の誤り発生を防ぐこ
とができる。

【００８８】

【発明の効果】以上に説明したように、本発明のマルチ
メディア文書編集装置によれば、複数のマルチメディア
データ要素を蓄積し、蓄積されたマルチメディアデータ
の各要素の再生の際の時間および表示位置に関する構造
情報を含むマルチメディア文書を編集することにより、
マルチメディアデータ群の表示位置（空間的構造）と、
表示開始および表示終了（時間的構造）を容易に編集で
きる。この場合の編集操作は、編集インタフェース画面
による画面操作によって、容易にその編集操作が行え
る。このため、マルチメディア文書の構造情報の編集に
よって、複数のマルチメディアデータの要素の編集が容
易に行える。

【００８９】また、マルチメディア文書の構造情報の時
間構造では、マルチメディアデータの逐次再生情報を時
間順に管理する序列リンクのシーケンシャル構造要素
と、当該シーケンシャル構造要素の間の関係を再生する
際の時刻を同一とする同期リンクにより結合して管理す
るパラレル構造要素とから構成されるので、この構造情
報に対して、マルチメディア文書の構造情報のシーケン
シャル構造要素およびパラレル構造要素の各要素を単位
として編集操作を行える。これにより、マルチメディア
データの時間構造に対する編集は、煩雑な操作を行うこ
となく、リンク構造要素による結合の編集操作を行うだ
けなので容易に編集操作を行える。

【００９０】更に、シーケンシャル構造要素，パラレル
構造要素に指定される同期リンクにおいて、時間オフセ
ットを指定できるようにしているので、この時間オフセ
ットを指定すれば、マルチメディア文書を再構成して再
生表示する時には、当該時間オフセットを考慮して、マ
ルチメディアデータの各要素の表示タイミングをスケジ
ュールできる。このため、微小な時間構造の変更であれ
ば、同期リンクのマーカ選択による修正で行なえるた
め、全体の修正が必要のない簡単な編集が可能となる。

【図面の簡単な説明】

【図１】図１は従来技術における時刻指定によるユー
ザインタフェースの一例を示す図、

【図２】図２は従来技術における関係指定によるユー
ザインタフェースの一例を示す図、

【図３】図３は本発明の第１の実施例のマルチメディ
ア文書編集装置の要部の構成を示すブロック図、

【図４】図４はマルチメディア文書構造保持部におけ
るマルチメディア文書の文書構造を表す木構造データの
一例を示す図、

【図５】図５はマルチメディアデータのデータ構造の
一例を示す図、

【図６】図６はシーケンシャル構造要素のデータ構造
の一例を示す図、

【図７】図７はパラレル構造要素のデータ構造の一例
を示す図である。

【図８】図８はリンク構造要素のデータ構造の一例を
示す図である。

【図９】図９はトラック構造要素のデータ構造の一例
を示す図である。

【図１０】図１０は時間構造編集部におけるユーザイ
ンタフェース操作を説明する表示画面の一例を示す図、

【図１１】図１１は本実施例のマルチメディア文書編
集装置における時間構造編集部の構成を詳細に示すブロ
ック図

【図１２】図１２はマルチメディアデータの追加の編
集操作を行なった場合の処理の流れを説明するフローチ
ャート、

【図１３】図１３はシーケンシャル構造要素に内包さ
れるマルチメディアデータに対してパラレル構造要素へ
の同期リンク指定を行なった場合の編集処理の動作例を
説明するフローチャート、

【図１４】図１４は第２の実施例のトランザクション
グループに対する処理を行う時間構造解析部の動作の概
略を説明するフローチャートである。

【符号の説明】

１…マルチメディアデータ蓄積部、２…マルチメディア
文書構造保持部、３…空間構造編集部、４…時間構造編
集部、５…入力制御部、６…表示再生制御部、７…マル
チメディア文書再構成部、４０…マルチメディア文書、
４１…マルチメディアデータ（要素）、４２…シーケン
シャル構造要素、４３…パラレル構造要素、４４…トラ
ック構造要素、４５…序列リンク、４６…同期リンク
（ｓｔａｒｔ）、４７…同期リンク（ｅｎｄ）５０…編
集インタフェース画面、５１…マルチメディアデータ要
素の表示図形、５２…シーケンシャル構造要素の表示図
形、５３…パラレル構造要素の表示図形、５４…トラッ
ク構造要素の表示図形、５６…同期リンク（ｓｔａｒ
ｔ）の表示図形、５７…同期リンク（ｅｎｄ）の表示図
形、５８…編集操作メニュー、６１…編集コマンド解析
部、６２…編集対象保持部、６３…時間構造解析部、６
４…文書構造アクセス部、６５…文書構造表示指示部、
５００…マルチメディアデータ要素のデータ構造、５０
１…メディアタイプスロット、５０２…データＩＤスロ
ット、５０３…時間幅スロット、５０４…開始仮時刻ス
ロット、５０５…実体スロット、６００…シーケンシャ
ル構造要素のデータ構造、６０１…データＩＤスロッ
ト、６０２…ＴＯＴＡＬ時間幅スロット、６０３…開始
仮時刻スロット、６０４…メンバスロット、７００…パ
ラレル構造要素のデータ構造、７０１…データＩＤスロ
ット、７０２…開始仮時刻スロット、７０３…メンバス
ロット、８００…リンク構造要素のデータ構造、８０１
…データＩＤスロット、８０２…リンクタイプスロッ
ト、８０３…リンク属性値スロット、８０４…ＦＲＯＭ
スロット、８０５…ＴＯスロット、９００…トラック構
造要素のデータ構造、９０１…データＩＤスロット、９
０２…メディアタイプスロット、９０３…表示ストリー
ムスロット、９０４…メンバスロット。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/91 Ｎ

Claims

【特許請求の範囲】

【請求項１】複数のマルチメディアデータの要素を蓄
積しているマルチメディアデータ蓄積手段と、前記マルチメディアデータ蓄積手段に蓄積されたマルチ
メディアデータの各要素の再生の際の時間および表示位
置に関する構造情報を含むマルチメディア文書を保持す
るマルチメディア文書保持手段と、リンク構造要素によってマルチメディア文書の構造情報
の要素を結合する編集を行う編集手段と、前記編集手段により編集されたマルチメディア文書の構
造情報に基づいて前記マルチメディアデータ蓄積手段に
蓄積されたマルチメディアデータの各要素を再生するマ
ルチメディア文書再生手段とを備えることを特徴とする
マルチメディア文書編集装置。
【請求項２】請求項１に記載のマルチメディア文書編
集装置において、前記マルチメディア文書保持手段に蓄積されたマルチメ
ディア文書の時間に関する構造情報が、マルチメディア
データの逐次再生情報を時間順に管理するシーケンシャ
ル構造要素と、当該シーケンシャル構造要素の間の関係
を再生する際の時刻を同一とする同期リンクにより結合
して管理するパラレル構造要素から構成されており、前記編集手段が、マルチメディア文書の構造情報のシー
ケンシャル構造要素およびパラレル構造要素の各要素を
単位として編集操作を行うことを特徴とするマルチメデ
ィア文書編集装置。
【請求項３】請求項１に記載のマルチメディア文書編
集装置において、前記マルチメディア文書保持手段に蓄積された構造情報
が、マルチメディアデータの逐次再生情報を時間順リン
クで管理するシーケンシャル構造要素と、該シーケンシ
ャル構造要素の間の関係を同期リンクと同期仮想時刻に
より管理するパラレル構造要素と、同一表示領域に割り
付けられるシーケンシャル構造要素によるマルチメディ
アデータの表示座標値を管理するトラック構造要素から
構成されており、前記編集手段が、マルチメディアデータ，シーケンシャ
ル構造要素，パラレル構造要素，トラック構造要素，お
よび同期リンクの各要素を、仮想時刻を基準とした２次
元空間に矩形およびマーカとして編集インタフェース画
面に表示し、表示された前記要素を単位として、編集イ
ンタフェース画面上で追加，削除，移動の編集操作を行
うことを特徴とするマルチメディア文書編集装置。
【請求項４】請求項３に記載のマルチメディア文書編
集装置において、前記編集手段が、マルチメディア文書の編集操作の対象
の要素を複数選択し、選択した操作対象の複数の要素の
間の関係を保ったまま、複数の要素に対して編集操作を
行うことを特徴とするマルチメディア文書編集装置。
【請求項５】請求項２に記載のマルチメディア文書編
集装置において、前記編集手段が、マルチメディア文書の構造情報のシー
ケンシャル構造要素およびパラレル構造要素の各要素を
単位として編集操作を行う際に、シーケンシャル構造要
素またはパラレル構造要素で指定する同期リンクに、時
間オフセットを指定した場合、マルチメディア文書再生手段が、前記時間オフセットに
応じて、再生するマルチメディアデータの各要素の表示
タイミングをスケジュールすることを特徴とするマルチ
メディア文書編集装置。
【請求項６】請求項３に記載のマルチメディア文書編
集装置において、前記編集手段が、マルチメディアデータ，シーケンシャ
ル構造要素，パラレル構造要素，トラック構造要素，お
よび同期リンクの各要素に対して、編集インタフェース
画面上で追加，削除，移動の編集操作を行う際、その編集操作の結果により、マルチメディアデータの時
間軸上の重畳が発生する場合には、編集インタフェース
画面上においてパラレル構造に対応する表示位置を再配
置し、シーケンシャル構造とパラレル構造の間に時間的間隔が
生じた場合には、関連するシーケンシャル構造に空白要
素を挿入することを特徴とするマルチメディア文書編集
装置。
【請求項７】請求項３に記載のマルチメディア文書編
集装置において、前記編集手段が、マルチメディアデータ，シーケンシャ
ル構造要素，パラレル構造要素，トラック構造要素，お
よび同期リンクの各要素に対して、編集インタフェース
画面上で追加，削除，移動の編集操作を行う際、その編集操作を仮実行し、マルチメディアデータの時間
軸上の重畳が発生する場合には、編集操作を実行せず、
その旨を操作者に伝えることを特徴とするマルチメディ
ア文書編集装置。