JPH07114627A - 時間表示及び空間表示におけるマルチメディア・エピソードの構成 - Google Patents

時間表示及び空間表示におけるマルチメディア・エピソードの構成

Info

Publication number
JPH07114627A
JPH07114627A JP6187381A JP18738194A JPH07114627A JP H07114627 A JPH07114627 A JP H07114627A JP 6187381 A JP6187381 A JP 6187381A JP 18738194 A JP18738194 A JP 18738194A JP H07114627 A JPH07114627 A JP H07114627A
Authority
JP
Japan
Prior art keywords
story
episode
episodes
time
clique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6187381A
Other languages
English (en)
Other versions
JP3303543B2 (ja
Inventor
Michelle Yoonkyung Lee Kim
ミシェル・ヨーンキュン・リー・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH07114627A publication Critical patent/JPH07114627A/ja
Application granted granted Critical
Publication of JP3303543B2 publication Critical patent/JP3303543B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Abstract

(57)【要約】 【目的】 マルチメディア・ストーリーを設計し、作成
し、構成し、プレイする方法および装置。 【構成】 本発明では、時間レイアウト上でスケジュー
リングされたエピソードを含むストーリーを定義した
後、１．時間クリークを使用する、ストーリー・エピソ
ードの時間構成と、２．他の時間クリークとは無関係に
各時間クリークのメンバを空間的に構成する空間構成と
の２つの部分にストーリー・エピソードの構成を分離す
る。本発明では、時間および空間に存在する複雑なマル
チメディア問題を、空間だけに存在する多数のより小さ
な問題に変形する。本発明によって構成されるストーリ
ーを有向グラフによって関連付け、ハイパーストーリー
にすることができる。有向グラフを使用して、定義され
た非同期条件を満たすことによって、ハイパーストーリ
ー中の異なるストーリーを配置することができる。この
条件は、グラフ中のストーリーの間の関係を定義するた
めにグラフ中で使用される。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、コンピュータ・システ
ム上でマルチメディア・ドキュメントを作成し、構成
し、プレイする分野に関する。さらに詳細には、本発明
は、空間的および時間的に正しく提示されるようにマル
チメディア・ドキュメント中のマルチメディア・オブジ
ェクトを構成することに関する。
【０００２】
【従来の技術】マルチメディア・ドキュメントは、コン
ピュータ技術分野で既知である。マルチメディア・ドキ
ュメントのユーザは通常、フラグメント、セグメント、
マルチメディア・オブジェクト、またはエピソードと呼
ばれるマルチメディア情報をコンピュータ入力または出
力を介してそれぞれ提示し、あるいは受け取る。一般
に、このマルチメディア・エピソードは、オーディオ・
クリップおよびビデオ・クリップ、音楽を録音したも
の、スピーチ、タイプされた文章、静止画像、図面、ア
ニメーション、ダンス・ステップの振付けなどの聴覚情
報および視覚情報の形をとることができる知覚的品質を
有する情報を含む（コンピュータの出力として提示され
るエピソードは「プレイされる」と言う。視覚出力はデ
ィスプレイとしてプレイされる）。
【０００３】マルチメディア・ドキュメントを作成また
はプレイ（表示）するには、コンピュータ・ユーザが１
つまたは複数のエピソードを選択して特定の順序でプレ
イしなければならない。マルチメディア・ドキュメント
は、ある種の空間的関係および時間的順序によって構成
またはプレイされる関連エピソードを有するとき、スト
ーリーと呼ばれる。
【０００４】少数のエピソードを含むストーリーを作成
またはプレイするのは容易であるが、従来技術の方法で
は多数のエピソードを含むストーリーを作成またはプレ
イすることはできない。これは、それぞれ開始点、終了
点、継続時間などの異なる特性を有する多数のストーリ
ー・エピソードを、相互に干渉せずに一緒にプレイでき
るように構成するのが難しいからである。従来技術で
は、ストーリーのプレイ順序に応じて多数のストーリー
・エピソードを効果的に空間的に構成することができな
い。
【０００５】空間構成は、ストーリー中でプレイされる
エピソードをユーザに対してどのように相互に提示する
かを決定する。通常、空間構成は、画面などのコンピュ
ータ・ディスプレイ上でプレイされるエピソードの寸法
および位置に関する（しかし、オーディオ・クリップ
は、各クリップのボリュームを調整し、あるいはオーデ
ィオ・クリップをビジュアル・ディスプレイに結合する
ことによって、相互に空間的に構成できることに留意さ
れたい）。ストーリー・エピソードはその継続時間中、
他のエピソードに対する空間要件を有するので、エピソ
ードが開始または終了するたびに、ストーリーをプレイ
する空間要件が変化する。これらの変化する空間要件が
最初にストーリーの設計で満たされない場合、ストーリ
ーは空白空間領域、重なり合った空間領域（１つのエピ
ソードが１つまたは複数の他のエピソードのいくつかま
たはすべてを隠す）、あるいは空白または耳障りなオー
ディオ出力でプレイ（表示）されることが多い。出力プ
レイ中のこれらの望ましくないイベントをクラッシュと
呼ぶ。
【０００６】従来技術では、マルチメディア・ストーリ
ーの作成の問題に適切に対処することもできない。スト
ーリーの作成中に、ユーザは最初のストーリーまたは１
組のエピソードあるいはその両方から開始し、エピソー
ドを追加、挿入、移動、削除して、最終的なストーリー
を開発する。したがって、ストーリー中の一部またはす
べてのエピソードの間の関係が変化してエピソード・ク
ラッシュが発生することがある。言い換えると、最初は
エピソード・クラッシュなしでプレイできたストーリー
が、ストーリーの作成中にクラッシュを発生させること
がある。さらに、ストーリーが長くなる（すなわち、よ
り多くのエピソードを含むようになる）につれて、この
ようなクラッシュはますます予測が困難になる。
【０００７】従来技術は、多数のストーリーまたはエピ
ソードあるいはその両方を容易に組み合わせて大規模な
ストーリー（またはハイパーストーリー）を作成する方
法も提供しない。これは主として、上記で論じた制限に
よるものである。エピソード／ストーリーをストーリー
に追加すると、問題の空間的および時間的複雑さが増し
て、通常、ストーリーのプレイ中にさらに多くのエピソ
ード・クラッシュが発生する。割込みなどの非同期事象
が、所与のプレイ時間にどのストーリーをプレイするか
を決定できるので、ハイパーストーリーはさらに複雑で
ある。このため、クラッシュなしで何らかのシーケンス
でプレイできる１組のエピソードが、クラッシュを有す
る異なるシーケンスでプレイされることがある。従来技
術では、ハイパーストーリーで非同期駆動ストーリーを
可能にする問題に適切に対処することも、この問題を解
決することもできていない。
【０００８】
【発明が解決しようとする課題】本発明の一目的は、マ
ルチメディア・セグメントを構成してプレイするための
改良された方法および装置である。
【０００９】本発明の他の目的は、クラッシュなしでプ
レイできるマルチメディア・ストーリーを作成するため
の改良された方法および装置である。
【００１０】本発明の他の目的は、複数のマルチメディ
ア・ストーリーを、クラッシュなしでプレイできるハイ
パーストーリーに構成するための改良された方法および
装置に関する。
【００１１】
【課題を解決するための手段】本発明は、空間要件およ
び時間要件をもつマルチメディア情報のセグメントを、
クラッシュのないストーリーとして一緒にプレイできる
ように構成する方法および装置である。本発明は、セグ
メントの構成を２つの部分、すなわち時間構成と空間構
成に分割する新規の特徴を有する。基本的に、時間構成
は、エピソードと呼ばれる、ストーリー用に選択された
セグメントを多数のグループ、すなわち時間クリークに
分割するように実行される。これらの時間クリークそれ
ぞれ中のエピソードは、クリークにないエピソードの空
間要件を考慮せずに空間的に構成することができる。マ
ルチメディア・エピソードの時間構成と空間構成をこの
ように新たに分離することによって、非常に多数のマル
チメディア・セグメントを、ストーリー中でクラッシュ
なしでプレイできるように構成することができる。
【００１２】この方法は、ストーリーとして一緒にプレ
イされる１つまたは複数のマルチメディア・セグメント
（エピソード）を選択することによって開始する。スト
ーリー・エピソードは、エピソードの間の時間関係を確
立することによって、ストーリーを定義するように、た
とえば時間レイアウトでスケジューリングされる。エピ
ソードは次いで、エピソード・スケジュール（時間レイ
アウト）を使用して、時間クリークと呼ばれるグループ
に時間的に構成される。各時間クリーク中のエピソード
は次いで、クリークにないエピソードの空間構成要件を
考慮せずに、クリークの他のメンバと共に空間的に構成
される。最後に、各時間クリーク中のエピソードがそれ
自体の空間構成に独立に適合しているので、時間クリー
クとして構成されたストーリー・エピソードは、時間レ
イアウトでスケジューリングしたとおりにクラッシュな
しでプレイすることができる。
【００１３】有向グラフを使用して複数のストーリーの
間の関係を確立することによってより大規模なマルチメ
ディア・ドキュメントを作成することができる（有向グ
ラフのストーリーは、上記で説明した方法で設計され構
成される）。ハイパーストーリーとも呼ばれるこのドキ
ュメントは、有向グラフのノードとしてストーリーを定
義することによって作成される。グラフのエッジは、グ
ラフでの特定のストーリー・ノードのプレイを開始する
制御条件を定義する。この制御条件を使用して、ストー
リーの間の時間関係にかかわらず、グラフ中の選択され
たノード／ストーリーを呼び出して該ノード／ストーリ
ーに分岐することができる。有向グラフで表された制御
条件を使用すると、ストーリーを非同期的にプレイする
ことができ、すなわち割込みなどの外部事象によって開
始することができる。
【００１４】
【実施例】本発明は、マルチメディア情報をユーザに提
示する能力を有する汎用コンピュータ・システム上で走
行することができる。図１でブロック図として示した１
つの好ましい実施例１００は、ＩＢＭパーソナル・シス
テム／２（ＰＳ／２）モデル８５９５マイクロチャネル
床置き４８６システム１０５（IBM Personal System/2
(PS/2) Model 8595 Microchannel Floor Standing 486
System 105）（システム装置に付属の早見表に記載）を
使用している。ＩＢＭパーソナル・システム／２（ＰＳ
／２）アクションメディアＩＩディスプレイ・アダプタ
１１０（IBMPersonal System/2 (PS/2) ActionMedia II
Display Adapter 110）（アクションメディアＩＩテク
ニカル・リファレンス（ActionMedia II Technical Ref
erence）に記載）はオーディオ／ビデオ収集１２２およ
び再生１２４用に使用される。この好ましい実施例は、
ＩＢＭオペレーティング・システム／２（ＯＳ／２）
２．０（IBM Operating System/2 (OS/2) 2.0）（ＯＳ
／２ ２．０早見表に記載）、ＩＢＭマルチメディア・
プレゼンテーション・マネージャ／２（IBM Multimedia
Presentation Manager/2）（ＩＢＭマルチメディア・
プレゼンテーション・マネージャ／２アクションメディ
ア（Ｒ）ＩＩメディア・コントロール・インタフェース
・プログラミング・ガイド・アンド・リファレンス（IB
M Multimedia Presentation Manager/2 ActionMedia
(R) II Media Control Interface Programming Guide a
nd Referenceに記載）、およびスモールトーク／ＶＰＭ
（Smalltalk/VPM）（スモールトーク／ＶＰＭチュトー
リアル・アンド・プログラミング・ハンドブック（Smal
ltalk/VPM Tutorial and Programming Handbookに記
載）も使用する。汎用コンピュータに接続できる当技術
分野で知られた他のマルチメディア・ハードウェア１３
０も使用することができる。このハードウェア１３０
は、ビデオ・カセット録画装置、レーザ・ディスク・プ
レイヤ・アダプタ、オーディオ収集再生アダプタなどを
含むことができる。ＯＳ／２およびＰＳ／２のマーク
は、インテル・コーポレーション（Intel Corporatio
n）の商標であり、Smalltalk/VPMのマークはディジタル
トーク（Digitaltalk, Inc.）の商標である。
【００１５】図２は、本発明の方法２００のステップを
示すフローチャートである。
【００１６】この方法は、相互に関係を有しても有さな
くてもよい１組のマルチメディア・セグメントから開始
する。次いで２１０で、ストーリーで使用されるこれら
のセグメントのサブセットが選択される。選択されたセ
グメントをストーリーのエピソードと呼ぶ。次いで２２
０で、ストーリー・エピソードは、ストーリーを定義す
るように一緒にスケジューリングされる。２２０では、
このスケジューリングを時間レイアウトで表すことがで
きる。
【００１７】２３０で、時間レイアウトを使用して、各
ストーリーのエピソードが時間クリークにグループ化さ
れる。好ましい実施例では、各時間クリーク中のエピソ
ードは、時間クリークの各エピソードの継続時間の一部
が、時間クリーク中の他のすべてのエピソードの継続時
間の一部と重なり合うという特徴を有する。クリーク中
の他のどのエピソードの継続時間の一部とも重なり合わ
ないエピソードは、このクリークから削除され、他のク
リーク中に置かれる（代替実施例では、どのクリークと
も重なり合わないある種のエピソードはクリークに残る
ことができる。その一例は、他のクリーク・メンバの継
続時間内に開始して終了するエピソードである）。時間
クリーク中のすべてのエピソードの継続時間が重なり合
っているので、各時間クリークのエピソードはある時点
では一緒に存在し、したがって、一緒にプレイ（表示）
されるように相互に空間的に構成する必要がある。一般
に、クリークのメンバの継続時間のどの部分とも重なり
合わないエピソードは、どの時点でも時間クリーク・メ
ンバ（グループ）と一緒に存在せず、時間クリークのす
べてのメンバに対して空間的に構成する必要はない。し
たがって、このように新たにストーリー・エピソードを
時間クリークに構成することによって、時間クリークに
ないストーリー中のエピソードの空間構成を考慮せず
に、一緒に空間的に構成できるエピソード・メンバを含
むグループ（時間クリーク）にストーリーのエピソード
を分離することができる。その結果、それぞれを空間的
に構成するだけでよいより小さなストーリー・エピソー
ド・グループ（時間クリーク）にドキュメントを分離す
ることによって、多数のマルチメディア・セグメント
（エピソード）を含む複雑なマルチメディア・ドキュメ
ントを空間的にも時間的にも構成することができる。
【００１８】さらに、本発明のこの新規な特徴は、大規
模なマルチメディア・ドキュメントを設計して作成する
より効率的な方法も提供する。最終ドキュメントを定義
した（すなわち、エピソードをスケジューリングした）
後、エピソードは、相互に独立に空間的に構成できる時
間クリークに構成される。これによって、完全な最終マ
ルチメディア・ドキュメントをスケジュール（たとえ
ば、時間レイアウト）に応じてクラッシュなしで構成し
てプレイすることができる。このように構成してプレイ
することは、従来技術の方法では達成が困難または不可
能である。
【００１９】方法２００の次のステップ２４０では、各
時間クリークのエピソードが空間的に構成される。空間
構成は、時間クリーク中の各エピソードが、該クリーク
中の他のエピソードと共にプレイ（表示）されるときに
どんな空間特性を有するかを決定する。この空間特性
は、ディスプレイ上のエピソードの寸法、形状、配向、
および位置を含む。ストーリー・エピソードが、空間的
に構成される前に時間クリークにグループ化され、かつ
時間クリークが、ある一時点で一緒に存在するエピソー
ドをすべて含むので、各時間クリーク中のエピソード
は、ストーリー（ハイパーストーリー）の他の時間クリ
ーク中のエピソードの空間構成とは独立に空間的に構成
することができる。言い換えると、各時間クリーク上の
エピソードは、ストーリーの画面上でプレイ（表示）さ
れるエピソードを表す（画面とは、ストーリー／ハイパ
ーストーリーのある一時点でプレイされるものであ
る）。ストーリー（ハイパーストーリー）のすべての時
間クリークの空間構成が完了した後、２５０で、時間レ
イアウト中のスケジュールに応じてクラッシュなしでエ
ピソードをプレイすることができる。
【００２０】２１０でストーリーを構成するエピソード
を選択するステップが、ストーリーを作成する際の最初
のステップである。典型的なマルチメディア・システム
１００では、１つまたは複数のメモリ記憶構成要素１４
０が複数のマルチメディア・セグメントを含む。上述の
ように、これらのセグメントは、プレイ（表示）できる
（１３４）ある種の知覚品質を有する。たいていの場
合、２１０でセグメントの一部またはすべての選択を決
定するのはシステム・ユーザである。キーボード入力や
ポイント・アンド・クリック選択などの一般的に知られ
た方法を使用して、セグメント選択の際にユーザを助け
ることができる。しかし、何らかの基準に基づいて選択
２１０を実行する何らかの他の外部装置、たとえばコン
ピュータやコンピュータ・プログラムによって、ストー
リーのマルチメディア・セグメントを選択することがで
きる。たとえば、ユーザ（または外部装置）は、日当た
りのよい場所のフィルム・クリップである、メモリ記憶
構成要素１４０中のマルチメディア・セグメントをすべ
て選択することができる。
【００２１】ユーザは、２１０で、ストーリーの一部で
あるマルチメディア・セグメントを選択した後、２２０
で、選択されたセグメント（ここではエピソードと呼
ぶ）をどのようにプレイすべきかをスケジューリングす
ることによってストーリーを定義する。ストーリー・エ
ピソードのプレイをスケジューリングするには、マルチ
メディア・エピソードをスケジューリングしてストーリ
ーを定義する多数の知られた方法のうちのどれでも使用
することができる。
【００２２】ストーリー・エピソードをスケジューリン
グするための１つの好ましい実施例は、時間レイアウト
を使用する。図３は、ビデオ１ ３１２、オーディオ１
３２２、テキスト１ ３３２、ボタン１ ３４２、お
よびサンスノー３５２の５つの選択されたマルチメディ
ア・エピソードを含む時間レイアウトの例３００を示
す。ビデオ１は、マルチメディア・システム１００によ
って、時間線３６０のある時点から（３１０）プレイ
（表示）されるある特定の事象のビジュアル・クリップ
でも映画でもよい。ビデオは、時間線３６０の後の時点
３１４で終了し、したがって、開始３１０から終了３１
４まで続く継続時間３１２を有する（時間線３６０は、
システム１００上で走行するコンピュータ・プログラム
中のある種のカウンタまたはクロックによって確立する
ことができる。一般にタイミング信号を提供するために
使用できる、システム１００オペレーティング・システ
ムやクロックなどの他の手段も使用することができ
る）。同様に、オーディオ１ ３２２は開始３２０、継
続時間３２２、および終了３２４を含むオーディオ・ク
リップであってよい。テキスト１は、開始３３０、継続
時間３３２、および終了３３４を含む何らかの表示テキ
スト情報であってよい。ボタン１は、開始３４０、継続
時間３４２、および終了３４４を含む画面選択可能ボタ
ン・アイコンであってよい。サンスノーは、開始３５
０、継続時間３５２、および終了３５４を含む、晴れた
日の雪に覆われた山を示すビデオ・クリップであってよ
い。時間レイアウト３００は、各ストーリー・エピソー
ドがどの時点でプレイされるか、すなわち各ストーリー
・エピソードがいつ開始して終了するかを確定し、した
がって各エピソードがどれだけ継続するか（継続時間）
を確定することによってストーリーを定義する。言い換
えると、ストーリーは、ストーリー・エピソード（３１
２、３２２、３３２、３４２、および３５２）を時間ス
ケジュールに関連付けることによって時間レイアウト３
００で定義される。
【００２３】さらに時間レイアウト３００を調べると、
時間レイアウト３００によってストーリー・エピソード
（３１２、３２２、３３２、３４２、および３５２）が
どのように関連付けられてストーリーを定義しているか
が分かる。ビデオ１ ３１２とテキスト１ ３３２は共
にある時点３６０で開始する（それぞれ３１０および３
３０）。これは、ビデオ１ ３１２ビジュアル・クリッ
プがテキスト１の継続時間３３２中、テキスト１ ３３
２テキストと共に表示されることを意味する。３３４で
テキスト１ ３３２が終了した後、３１４でビデオ１
３１２が終了するまで、ボタン１ ３４２がビデオ１
３１２ビジュアル・クリップと共にディスプレイ上に表
示される。この時点３１４で、オーディオ１ ３２２は
３２０で、ボタン１ ３４２の視覚表示と共にプレイを
開始する。３２４でオーディオ１３２２が終了する前に
ある時点３４４で、ボタン１ ３４２が終了する。オー
ディオ１ ３２２は次いで、３５０でサンスノー３５２
が開始するまで単独でプレイされる。オーディオ１ ３
２２とサンスノー３５２は共に同じ時間に終了する（そ
れぞれ３２４と３５４）。（サンスノー３５２の開始時
点３５０は、サンスノー３５２の終了３５４および継続
時間３５２を知ることによって決定することができ
る）。
【００２４】図４は、時間レイアウト４００のさらに好
ましい実施例である。この時間レイアウト４００で、ビ
デオ１ ３１２、オーディオ１ ３２２、テキスト１
３３２、ボタン１ ３４２、およびサンスノー３５２
は、図３で説明したものと同じマルチメディア・エピソ
ードである。これらのエピソードも、上記で説明した
（さらに番号付けした）ように開始、継続時間、および
終了を有する。しかし、この時間レイアウト４００で
は、各エピソードの開始、継続時間、および終了は、あ
る種のウィンドウ内で変化することができる。たとえ
ば、エピソード・ビデオ１ ３１２は、ウィンドウ４１
０で定義された時間内で変化できる開始３１０、継続時
間３１２、および終了３１４を有する。同様に、オーデ
ィオ１ ３２２は、ウィンドウ４２０で定義された時間
内で変化できる開始３２０、継続時間３２２、および終
了３２４を有する。テキスト１ ３３２は、ウィンドウ
４３０で定義された時間内で変化できる開始３３０、継
続時間３３２、および終了３３４を有する。ボタン１
３４２は、ウィンドウ４４０で定義された時間内で変化
できる開始３４０、継続時間３４２、および終了３４４
を有する。サンスノー３５２は、ウィンドウ４５０で定
義された時間内で変化できる開始３５０、継続時間３５
２、および終了３５４を有する。
【００２５】図４の時間レイアウト４００のようにスト
ーリー（ハイパーストーリー）を定義できれば、マルチ
メディア・ドキュメントを定義し、変更し、作成する際
にずっと高い柔軟性がユーザに与えられる。なぜなら、
すべてのエピソードが、時間線３６０（たとえばクロッ
ク）によって与えられる特定の時間に開始、継続時間、
および終了を結合する必要があるわけではないからであ
る。たとえば、ビデオ１ ３１２などのストーリー・エ
ピソードは、ストーリーの残りの部分の設計も作成も行
わずに最小１５秒間ないし最大３５秒間プレイされる柔
軟性を有する。しかし、まさにこの理由のために、ある
エピソードの開始、継続時間、または終了を変更する
と、１つまたは複数のストーリー・エピソードが開始し
終了する時点が変更され、予期しないクラッシュが発生
することがあるので、ストーリー（ハイパーストーリ
ー）のエピソードを構成する方がはるかに困難である。
【００２６】本発明は、マルチメディア・エピソードを
スケジューリングする新規の方法を使用して、時間線３
６０に関してではなくストーリー中の他のエピソードに
関して１つまたは複数のストーリー・エピソードをスケ
ジューリングできるようにする。このエピソード間関係
を確立するには、１組のストーリー・エピソードをｍi
として定義する。ここでｉは、ｎ個のストーリー・エピ
ソードのセット中の所与のストーリー・エピソードを表
す。すなわち、ｉ＝１、２、、、ｎである。エピソード
ｍiの継続時間がエピソードの存在を定義するので、ｍi
の語がエピソードとその継続時間を共に指定することに
留意されたい。１組のストーリー・エピソードのメンバ
ｍiが与えられている場合、本発明は以下の３つの制約
を使用することによってセット・メンバ（エピソード）
の間に関係を確立する。
【００２７】１．同じ始めを共用するエピソードｍ
i、、、ｍnを指定する開始（ｍi、、、ｍn）
【００２８】２．同じ終りを共用するエピソードｍ
i、、、ｍnを指定する終了（ｍi、、、ｍn）
【００２９】３．終りをエピソードｍnの始めと共用す
るエピソードｍiを指定する一致（ｍi、、、ｍn）
【００３０】制約１および２の引数、すなわちstart()
およびfinish()は任意の順序であってよいことに留意さ
れたい。ダミー・エピソードを使用することもできる。
すなわち、エピソードｍiは非ゼロ継続時間をもつこと
ができるが、プレイ（表示）するものをもつことはでき
ない。ダミー・エピソードを使用して、時間遅延を発生
させることができる。さらに、これらの制約を既知の方
法と共に使用して、所与のエピソードの開始、継続時
間、および終了を決定することができる。たとえば、エ
ピソードｍi、開始（ｍi）、およびエピソードｍiの終
了の終了（ｍi）が与えられている場合、ｍiの継続時間
の継続時間（ｍi）は以下のように求めることができ
る。
【数１】継続時間（ｍi）＝終了（ｍi）−開始（ｍi）
【００３１】継続時間が、ストーリーがプレイされる時
間内である場合、エピソードｍiはストーリーＳ内にあ
る。
【００３２】第４の制約の「従属」制約は、固定された
継続時間をもたないテキストや静止画像などのエピソー
ドを扱うときに定義すると有用である。「従属（ｍs、
ｍm）」の語は、ｍm、すなわちマスタと、ｍs、すなわ
ちスレーブの間にマスタ・スレーブ関係を確立する。た
とえば、テキストを含むエピソードは、ビデオ・クリッ
プ、すなわちマスタのスレーブとして指定し、マスタの
継続時間（または他の特性）を与えることができる。
【００３３】図４の時間レイアウト４００にこれらの制
約を適用すると、開始（ビデオ１、テキスト１）はエピ
ソード・ビデオ１ ３１２とテキスト１ ３３２の間に
開始関係４６０を確立して、それらが同じ時間に開始す
るように制約する。一致（ビデオ１、オーディオ１）
は、ビデオ１ ３１２の終了３１４の直後にオーディオ
１ ３２２をプレイさせる（開始させる（３２０））関
係４６２を、エピソード・ビデオ１ ３１２とオーディ
オ１ ３２２の間に確立する。同様に、一致（テキスト
１、ボタン１）は、３３４でテキスト１ ３２２が終了
した直後にボタン１ ３４２をプレイさせる（開始させ
る（３４０））関係４６４をエピソード・テキスト１
３３２とボタン１ ３４２の間に確立する。最後に、終
了（オーディオ１、サンスノー）は、両方のエピソード
を同時に終了させる（それぞれ３２４および３５４）関
係４７０をエピソード・オーディオ１ ３２２とサンス
ノー３５２の間に確立する。ストーリー・エピソードと
他のエピソード特性の間にこれらの関係が与えられてい
る場合、時間レイアウト４００はストーリーを完全に定
義する。たとえば、ストーリー・エピソードの継続時間
は、継続時間（ビデオ１）＝１３秒、継続時間（オーデ
ィオ１）＝８秒、継続時間（テキスト１）＝７秒、継続
時間（ボタン１）＝５秒、および継続時間（サンスノ
ー）＝１０秒のように与えることができる。この情報、
ストーリー・エピソードの間の関係、時間線上の相対点
（すなわち、ストーリーが開始するとき）によって、す
べてのストーリー・エピソードの開始および終了を当技
術分野で周知の技術によって時間線３６０に対して決定
することができる。エピソード関係、すなわち開始およ
び終了（または開始、継続時間、および終了の組合せ）
を定義することによって、エピソード継続時間（残りの
時間レイアウト情報）を定義することもできる。この決
定された情報を使用することによって、図４中のものの
ような時間レイアウトを図３中のもののような時間レイ
アウトに縮小することができる。
【００３４】この開示を与えられた当業者ならば、本発
明の範囲および構想の範囲内のエピソード・スケジュー
リングまたは時間レイアウト、あるいはその両方を使用
して、ストーリーを定義する様々な代替方法を開発でき
よう。
【００３５】再び図２を参照すると、ボックス２３０
は、ストーリー（ハイパーストーリー）エピソードを時
間クリークにグループ化するステップを示す。このステ
ップは、２４０で相互に独立に空間的に構成できる１つ
または複数のグループにストーリーを分離できるように
する本発明の新規のステップである。ストーリー・オブ
ジェクトを時間クリークにグループ化する好ましい方法
５００を図５に示す。図５は、図３に示した例と共に説
明する。
【００３６】図３は、以下の議論で括弧内のそれぞれの
文字によって指定されたビデオ１（ｖ）３１２、オーデ
ィオ１（ａ）３２２、テキスト１（ｔ）３３２、ボタン
１（ｂ）３４２、およびサンスノー（ｓ）３５２の５つ
のストーリー・エピソードの時間レイアウトを示す。図
５中の方法は、すべての所望のエピソード、たとえばス
トーリー中のエピソードをすべてリストし、５１０でエ
ピソードをリストから選択することによって開始する。
たとえば、ストーリー・エピソード（ｖ、ａ、ｔ、ｂ、
ｓ）のリストまたはセットからエピソードｖを選択す
る。
【００３７】次のステップ５２０では、選択されたエピ
ソードと重なり合うストーリー（リスト）中のエピソー
ドをすべて決定することによってエピソード・セット
（または最初のリストのサブセット）が作成される（ｖ
が、このパス５４５中に選択されたエピソードであ
る）。ストーリー中のエピソードのオーバラップは、任
意の数の知られた方法によって決定することができる。
たとえば、ストーリー・エピソードの開始が、選択され
たストーリー・エピソードの継続時間中のある時点に存
在する場合、そのストーリー・エピソードは、その選択
されたストーリー・エピソードと重なり合う。ストーリ
ー・エピソードの終了が、選択されたストーリー・エピ
ソードの継続時間中のある時点に存在する場合、これら
のエピソードは重なり合う。当業者なら、この開示を与
えられれば本発明の企図に含まれる、エピソードのオー
バラップを決定する他の方法を思いつくであろう。選択
されたエピソードと重なり合う各エピソードは、選択さ
れたエピソード・セットのメンバになる。選択されたエ
ピソード・セットが最初のリストのサブセットであるこ
とに留意されたい。このサブセットはすべてのストーリ
ー・エピソードを含むことができる。
【００３８】ステップ５３０で、選択されたエピソード
がリストから削除され、ステップ５４０で、リストが再
び検査され、選択されていないエピソードがまだリスト
上にあるかどうかが判定される。ある場合、リスト上の
次のエピソードが選択され、５４５で方法はステップ５
１０に戻る。当業者なら、この開示を与えられれば本発
明の範囲および企図に含まれる、ストーリー中の各エピ
ソード用のエピソード・セットを作成する（ステップ５
１０ないし５４０）様々な方法を開発できることを理解
できよう。たとえば、１組のストーリー・エピソード中
の第１のエピソードを選択し、選択されたエピソードと
重なり合うストーリー・エピソードを決定してエピソー
ド・セットを作成し、次のストーリー・エピソードを選
択するように指標付けを行い、すべてのストーリー・エ
ピソードが選択されるまで各ストーリー・エピソード用
のエピソード・セットを作成する、アルゴリズムを作成
することができる。
【００３９】ここで、図３で定義されたストーリーの時
間レイアウトを使用して、ストーリー・エピソードを作
成する一例を提示する。第１のエピソード・ビデオ１
３１２を選択する（ステップ５１０）。エピソード・テ
キスト１ ３３２およびボタン１ ３４２が、選択され
たエピソードと重なり合う。したがって、エピソード・
セットv: {v, t,b}が作成される（ステップ５２０）。
ビデオ１ ３１２をリストから削除する（ステップ５３
０）。まだエピソードがあり（５４０、５４５）、した
がって次のエピソード、すなわちオーディオ１ ３２２
を選択する（ステップ５１０）。ボタン１ ３４２およ
びサンスノー３５２がオーディオ１ ３２２と重なり合
う。したがって、エピソード・セットa: {a, b, s}が作
成される（ステップ５２０）。ボタン３４２を削除し
（ステップ５３０）、まだリスト上にエピソードがある
（５４０）ので、他のエピソード、すなわちテキスト１
３３２を選択する（ステップ５１０）。ビデオ１がテ
キスト１と重なり合い、エピソード・セットt: {t, v}
が作成される（ステップ５２０）。エピソード・セット
を作成するためにストーリー・エピソードを削除するこ
とはないことに留意されたい。このプロセスは、すべて
のエピソード・セットが作成されるまで継続する（ステ
ップ５２０）。図３中の時間レイアウトの場合、エピソ
ード・セットは以下のとおりである。
【００４０】v: {v: t: b} a: {a, b, s} t: {t, v} b: {b, v, a} s: {s, a}
【００４１】１つの好ましい実施例では、ストーリーの
エピソード・セットがすべて得られた後、ステップ５５
０で、ストーリーの冗長なエピソード・セットを削除す
る。代替実施例では、冗長セット５５０の削除を方法の
どこかの点で実行しても、まったく実行しなくてもよ
い。たとえば、５２０でセットを作成するたびにエピソ
ード・セット冗長性に関して検査を行うことができる。
冗長性とは、１つのエピソード・セットが他のエピソー
ド・セット（のサブセット）と同じであり、あるいは他
のエピソード・セット（のサブセット）によって包含さ
れることを意味する。この例では、セット「ｔ」はセッ
ト「ｖ」に関して冗長である（包含されている）。した
がって、セット「ｔ」を削除する。
【００４２】方法は次に進み、各エピソード・セット中
のエピソードがすべてそのセット中の他のすべてのエピ
ソードと重なり合っているかどうかを判定する。ステッ
プ５６０で、所与のエピソード・セット中の次のエピソ
ードを検査して、そのエピソードがセット中の他のすべ
てのエピソードと重なり合っているかどうかを判定す
る。そうである場合、オーバラップに関して試験されて
いないエピソードの有無に関してエピソード・セットを
検査する（ステップ５８０）。検査されていないエピソ
ードがある場合、ステップ５８５および５６０を繰り返
すことによって（エピソード・セット中の他のすべての
エピソードの）オーバラップを検査する。エピソード・
セット中のあらゆるエピソードが検査され、セット中の
他のあらゆるエピソードと重なり合った後、ステップ５
９０で、評価していないストーリー・セットがまだある
かどうかを判定する。ある場合、方法はステップ５５０
の冗長性検査に戻り、次いで、ステップ５６０のオーバ
ラップ検査で再び評価を開始する。代替実施例では、方
法は直接ステップ５６０に戻ることができる。ステップ
５９０で、すべてのエピソード・セットが評価されてい
ると判定された場合、方法は終了し、すべてのストーリ
ー・エピソードは時間クリークにグループ化されている
（図２のボックス２３０）。
【００４３】ステップ５６０のオーバラップ検査によっ
て、エピソード・セット中のエピソードが必ずしも該セ
ット中の他のあらゆるエピソードと重なり合っているの
ではないと判定されるたびに、ステップ５７０でエピソ
ード・セットが分割され、方法は冗長性検査に戻り（ス
テップ５５０）、あるいは直接、ステップ５６０のオー
バラップ検査に戻る。ステップ５７０でエピソード・セ
ットを分割すると、分割されたエピソード・セットから
２つの新しいエピソード・セットが作成される。最初の
エピソード・セットは、第１の新しいセットが、検査中
のエピソードと重なり合う最初のエピソード・セットの
エピソード（検査されているエピソード自体を含む）を
含むように分割される。他方の新しいエピソード・セッ
トは、検査中のエピソードを含まない最初のエピソード
・セット中のエピソードを含む。これら２つの新しいエ
ピソード・セットは、評価されるまで、評価されたエピ
ソード・セットとみなされない（ステップ５６０、５７
０、および５８０）。
【００４４】さらにこの方法５００を示すために、図３
に示した時間レイアウトを使用する例を続ける。５５０
で「ｔ」セットを冗長なものとして除去した後、以下の
エピソード・セットが残る。
【００４５】v: {v, t, b} a: {a, b, s} b: {b, v, a} s: {s, a}
【００４６】５６０で、セット中の第２のエピソードｔ
がエピソード・セット中の他のすべてのエピソードと重
なり合うことを確認することによってセット「ｖ」の評
価が開始する。すべてのエピソードが重なり合っている
わけではなく、したがって５７０で、セットを分割しな
ければならない。新しいセットは、「ｔ」と重なり合う
最初のエピソード・セット「ｖ」中のエピソード（ｔを
含む）を含む第１のエピソード・セット、すなわちエピ
ソード・セットva: {v, t}から成る。第２のエピソード
・セットは、「ｔ」を含まない最初のエピソード・セッ
ト「ｖ」中のエピソード、すなわちエピソード・セットv
b: {v, b}から成る。これは、ｔが、該最初のセット中
のすべてのエピソードと重なり合っているわけではない
からである。最初のエピソード・セット「ｖ」を評価し
た後（最初のセットのエピソードは、分割後に削除した
ので、５８０では残っていない）、５９０で、評価して
いないセットがまだあるかどうかを判定し、５９０で、
次のエピソード・セット（「ａ」）を選択する。５５０
で、エピソード・セット「ｖｂ」は、エピソード・セッ
ト「ｂ」によって包含されているので冗長であり、した
がって削除する。ステップ５６０で、エピソード・セッ
ト「ａ」を評価する。セットの第２のエピソードｂは、
セットの他のエピソードｓと重なり合っていない。した
がって５７０で、エピソード・セット「ａ」を分割す
る。上述の基準を使用して、エピソード・セット「ａ」
は新しいエピソード・セットaa: {a, b}とab: {a, s}に
分割される。５８０で、もはやセット中にエピソードは
ない（セット「ａ」は分割／削除されている）が、５９
０で、まだエピソード・セットがあり、したがって５９
０で、次のエピソード・セット「ｂ」を評価用に選択す
る。エピソード・セットaa: {a, b}はエピソード・セッ
ト「ｂ」によって包含されており、したがって冗長であ
り、５５０で削除する。同様に、エピソード・セットa
b: {a, s}はエピソード・セット「ｓ」に等しく、した
がってエピソード・セット「ａｂ」は冗長であり５５０
で削除する。同じ方法に従って、５７０で、エピソード
・セット「ｂ」を新しいエピソード・セットba: {b, v}
とbb: {b, a}に分割する。５９０で、次のエピソード・
セット「ｓ」を選択する。５５０で、エピソード・セッ
ト「ｂａ」もエピソード・セット「ｂｂ」も冗長ではな
く、したがってこれらのエピソード・セットを保持す
る。エピソード・セット「ｓ」中のエピソードはすべて
相互に重なり合っており（５６０、５８０）、したがっ
て分割はいっさい必要とされない（５５０で、エピソー
ド・セット「ｓ」も冗長ではない）。ステップ５９０で
は、もはやストーリー中にエピソード・セットがなくな
るまで、残りのエピソード・セットを選択し続ける（こ
の例で、残りのエピソード・セットとは、分割によって
新しく作成されたものである）。この例では、残りのエ
ピソード・セットはそれぞれ、相互に重なり合うエピソ
ードを有し、冗長なものは１つもない。５９０で、もは
や残りのエピソード・セットがなくなると、方法は終了
し、ストーリー・エピソードは時間クリーク、すなわち
エピソード・セットの最終グループにグループ化されて
いる。この例で、４つの時間クリークは以下のとおりで
ある。
【００４７】va: {v, t} ba: {b, v} bb: {b, a} s: {s, a}
【００４８】これらの時間クリークは、相互に独立に空
間的に構成できる４つのストーリー・エピソード・グル
ープを表す。具体的には、図３の時間レイアウトで定義
されたストーリーは、どのストーリー・エピソードも相
互にクラッシュすることなく、各時間クリーク用に１つ
ずつの４つの画面でプレイすることができる。この例で
は、第１の画面がビデオ１とテキスト１を共にプレイ
し、第２の画面がビデオ１とボタン１を共にプレイし、
第３の画面がオーディオ１とボタン１を共にプレイし、
第４の画面がオーディオ１とサンスノーを共にプレイす
る。多数のエピソード、たとえば２５より多くのエピソ
ードを含むストーリーを、本発明の方法を使用せずにク
ラッシュなしでプレイするのは困難であることが、この
簡単な例から理解されよう。
【００４９】図２に戻ると、ステップ２４０で、ある時
間クリーク中のエピソードは、他の時間クリーク中のエ
ピソードの空間構成とは独立にまとめて空間的に構成さ
れている。一般形状をディスプレイ上で空間的に構成す
る多数の方法が知られている。これらはどれでも好まし
い実施例として使用することができる。時間クリークが
少数のエピソードを含む場合、エピソードをディスプレ
イ上に配置することは簡単であり、手動で行うことがで
きる。しかし、クリーク中に多数のエピソードがある場
合、ないしクリークが引き離されている場合、すなわち
複数のクリークが共通のエピソードをもつことができる
場合、空間構成はより複雑になることがある。以下の議
論が、本発明の普遍性を失わずにビジュアル・ディスプ
レイを空間的に構成することに言及することに留意され
たい。たとえば、オーディオ・クリップはビジュアル・
エピソードとの何らかの関係でプレイすることができ
る。さらに、音量などの特性を調整することによって、
オーディオ・クリップをまとめて「空間的に構成する」
ことができる。
【００５０】ストーリー・エピソードを時間クリーク２
３０にグループ化することによって、ストーリー・エピ
ソードを多数の空間構成に構成する、すなわちストーリ
ー・エピソードを各時間クリークごとに１つずつ構成す
る問題が軽減された。１つの好ましい実施例では（図６
参照）、各クリークの空間構成は、繰返し（６３０）２
ステップ方式６００によって行われる。第１のステップ
は６１０で、クリーク・エピソードを最初の位置に置
き、第２のステップは６２０で、クリーク・エピソード
の間で空間要件を交渉する。
【００５１】クリーク・エピソードの最初の部分を確立
するには、ある種の空間制約を使用することができる。
たとえば、各エピソードには特定の形状（たとえば長方
形）、最小表示面積、および縦横比の範囲を割り当てる
ことができる。さらに、相対配置制約を提供することが
できる。たとえば、ある種のエピソードは、１つまたは
複数の他のエピソードに対して、たとえばそれらの右上
に位置決めする必要があることがある。エピソードによ
っては、画面上のある位置、たとえば左下かどに位置決
めする必要があるものがある。この情報は、マウスによ
るポイント・アンド・クリックやキーボードなどの様々
な知られた入力手段によってユーザが提供することがで
きる。相対配置制約は、デフォルトとして提供すること
もできる。一例として、時間クリーク中のすべてのエピ
ソードが必要とする面積の和を収容するのに十分な表示
面積を保持するために、あるエピソードが最小面積要件
を占有する必要があることがある。
【００５２】時間クリーク中でのエピソードの最初の配
置６１０は、エピソードの間に（空間的な）オーバラッ
プまたは望ましくない空間がある最初のレイアウトでは
望ましくないものであることがある。時間クリーク中の
多数のエピソードを空間的に構成する場合、１つまたは
複数のエピソードの空間要件を交渉する必要があること
がある。この交渉６３０は、知られたグラフィカル・イ
ンタフェースを使用してユーザが手動で行い、あるいは
自動的に行うことができる。形状を自動的に空間的にレ
イアウトする好ましい方法は、「フォース」方式と呼ば
れ、１９９２年２月２１日に出願され、「Method and S
ystem for Providing a Non-Rectangular Floor Plan」
と題する、引用によって本明細書に合体された、米国特
許第８４０２６０号に記載されている。
【００５３】フォース方式は、所与の数の長方形ブロッ
ク（ただし、他の形状も使用できる）がコンピュータ回
路レイアウト上に位置決めされるＶＬＳＩフロア・プラ
ニング・プロセスで有用である。この方式は、ディスプ
レイ上での形状の空間レイアウトに直接適用することが
できる。２つ以上の長方形ブロックの間にある量の空間
オーバラップが与えられている場合、この方式では１組
の「反発力」を算出し、この力を使用して形状を相互に
引き離し、あるいは指定された縦横比範囲および最小面
積要件内で形状を変更する。２つ以上の形状の間に空間
があるとき、この方式では、形状の間にどれだけの空き
空間があるかに基づいてブロック間の「引力」も算出す
る。引力は、反発力を導くために使用される。
【００５４】１つまたは複数のエピソードが引き離され
ている場合、すなわちエピソードが複数の時間クリーク
にグループ化されている場合、空間レイアウト問題はあ
る意味で、非直行便上の乗客に座席を割り当てる問題に
類似している。乗客によっては、最終目的地に向かう人
もいれば、中間目的地で乗り降りする人もいる。しか
し、座席が乗客に割り当てられた後、乗客は、旅行の継
続時間中、座席に座り続けると予期される。したがっ
て、１つの好ましい実施例は、たとえばエピソードが複
数のクリークのメンバかどうかを判定することによっ
て、引き離されたエピソードを検出し、ディスプレイ上
の固定された空間位置を、引き離されたエピソードに割
り当てる。割り当てられた位置を有するエピソードは、
交渉プロセスに参加しない。割り当てられた位置をもつ
エピソードは可能ならば、他のエピソードを強制的にそ
れ自体の周囲に配置させる。
【００５５】ユーザが配置に課した制約を満たすことが
できないので、空間レイアウトを自動的に得るプロセス
は必ずしも解決策を提供しない。アルゴリズムでそのよ
うな矛盾を検出することができ、ユーザは６４０で、最
初の配置６１０を繰り返し、６２０で、所望の設計が見
つかるまで新しい１組の制約を含む新しいサイクルを交
渉することができる。時間順序（時間レイアウト）の割
当てを変更することが繰返しプロセス６３０の一部であ
ることに留意されたい。
【００５６】図７は、図３の例用に開発された、可能な
１組の空間レイアウト７００の例である。空間レイアウ
ト（またはディスプレイ）７６０ないし７６４は、上記
のステップ２３０および２４０の考察から開発された、
図３の例の４つの空間構成を表す。空間構成７６１、７
６３、および７６４がそれぞれ時間クリーク「ｂａ」、
「ｂｂ」、および「ｓ」に関連するように、空間構成７
６０は、時間クリーク「ｖａ」に関連する。７１２とし
て表示されたエピソード・ビデオ１と、７２２として表
示されたオーディオ１は、複数の時間クリークに属する
という点で引き離されている。したがって、エピソード
・ビデオ１ ７１２はそれがメンバである時間クリーク
に関連する２つの画面７６０および７６１に表示され、
エピソード・オーディオ１はそれがメンバである時間ク
リークに関連する画面７６３および７６４上に表示され
る（以下の画面７６５の考察を参照）。空間構成ステッ
プ２４０（上記）の１つの好ましい実施例で論じたよう
に、引き離されたエピソードは、空間位置を与えられた
後、可能ならばそれを保持し、時間クリーク中の他のエ
ピソードは該エピソードの周りに構成される。
【００５７】この方法が、時間レイアウト３００によっ
て定義されたストーリー中のすべてのクリークに「空
間」構成を与えたことに留意されたい。この「空間」構
成は、ビジュアル・ディスプレイ上で表示されない、オ
ーディオ１などのエピソードを含む。この例では、空間
構成ステップ２４０によって、オーディオ１のプレイ中
に「空白」スポットを有するビジュアル・ディスプレイ
が作成されることに留意されたい（これは、この方法の
空間構成が視覚的でないエピソードを含み、それを「空
間的に」構成するからである）。これを受け入れるかど
うかを決定するのはユーザ／設計者の責任である。受け
入れない場合、ユーザ／設計者は２１０で、オーディオ
１ ３２２と共にプレイされる追加ビデオ・クリップ、
たとえば静止画像７２２を選択する。この新たに選択さ
れたビデオ・クリップは時間レイアウト３００上のオー
ディオ１ ３２２とまったく同じ継続時間をもつことが
できる。したがって、これを追加しても方法２００の結
果は変化しない。新たに選択されたビデオ・クリップ、
たとえば静止画像は、オーディオ１ ３２２のプレイ中
にビジュアル・ディスプレイ上に表示される。これは、
ユーザ／設計者のオプションで、空間レイアウト（ビジ
ュアル・ディスプレイ）７６３ないし７６５で行うこと
ができる。
【００５８】空間構成またはディスプレイ７６５が時間
クリークに関連していないことに留意されたい。これ
は、このディスプレイ７６５中にエピソードが１つしか
ないからである。このエピソード７２２は実際には、前
の時間クリーク７６３によって包含され、１つのエピソ
ードのボタン１ ７４２がオフにされたこのクリークの
継続とみなすことができる。７６５などの単一エピソー
ド・ディスプレイは２４０で空間構成を行う上では重要
でないので、このような状況は本発明の方法に問題を与
えない。
【００５９】再び図２中の方法２００を参照すると、時
間レイアウト３００によって定義されたストーリー全体
を、エピソード・クラッシュ２５０なしでプレイするこ
とができる。これは、ストーリーの空間レイアウト３０
０で定義された順序またはシーケンスで、各時間クリー
クのエピソードを一緒にプレイすることによって行われ
る。たとえば、ビデオ１とテキスト１は、時間レイアウ
ト３００で決定されたようにビデオ１ ３１０とテキス
ト１ ３３２が重なり合う間に時間クリーク「ｖａ」７
６０の空間構成に応じて一緒にプレイされる。３３４
で、テキスト１３３２が終了すると、ビデオ１ ３１２
とボタン１ ３４２は、時間レイアウト３００で定義さ
れたようにビデオ１ ３１２とボタン１ ３４２が共通
の継続時間をもつ間（すなわち、３１４でビデオ１が終
了するまで）、時間クリーク「ｂａ」の空間構成７６１
に応じて一緒にプレイされる。オーディオ１ ３２２と
ボタン１ ３４２は、これらのエピソードが時間レイア
ウト３００で共通の継続時間をもつ間（ボタン１は３４
４で終了する）、時間クリーク「ｂｂ」７６３の空間構
成に応じて一緒にプレイされる。その後、次に、３５０
でサンスノー３５２が開始して、オーディオ１ ３２２
と共に終了する（それぞれ３２４および３５４）までの
共通の継続時間中、該オーディオ１ ３２２と共にプレ
イされるまで、オーディオ１ ３２２は単独でプレイさ
れる（１つのエピソードに必要な空間構成がない）。オ
ーディオ１ ３２２とサンスノー３５２は、時間クリー
ク「ｓ」７６４の空間レイアウトに応じて一緒にプレイ
される。
【００６０】本発明の新規の特徴によって、ストーリー
中の他の時間クリークとは別々に空間的に構成できる時
間クリークにストーリー・エピソードを分離できるよう
になるので、本発明は非同期プレイ、すなわち所与のス
トーリー内からの（または所与のストーリーの終了後
の）他のストーリーへの呼出しまたは分岐も可能にす
る。呼出しまたは分岐は、呼び出される（または分岐す
る先の）ストーリー内のエピソードと共に発生する可能
性があるクラッシュを考慮せずに、本発明の方法で構成
される他のストーリーに対して行うことができる。本発
明のこの機能を使用すると、マルチメディア・ドキュメ
ントの設計、作成、構成、およびプレイで長い間感じら
れている必要、すなわち複数の小さなマルチメディア・
ストーリーを接続してより大規模なマルチメディア・ド
キュメントまたはハイパーストーリーを形成する必要が
満たされる。
【００６１】本発明がハイパーストーリー中のストーリ
ーのエピソードを相互に独立に空間構成される時間クリ
ークに分離するため、ハイパーストーリーの作成が可能
になる。したがって、２５０で、時間クリークによって
エピソード・クラッシュなしでストーリーをプレイする
ことができる。同様に、時間クリーク内のストーリー・
エピソードがハイパーストーリー中の他のストーリーの
時間クリーク内のエピソードとは独立に空間的に構成さ
れるので、異なるストーリーの時間クリークをクラッシ
ュなしでランダム順序で順次プレイすることができる。
したがって、ハイパーストーリー内のストーリーへの分
岐または呼出し、あるいはハイパーストーリー内のスト
ーリー内の点との間の呼出し（分岐）でさえ、そのスト
ーリーのエピソードが本発明の方法２００によって空間
的に構成されるので、呼び出される（分岐する先の）ス
トーリーのエピソードのクラッシュのないプレイを開始
する。これによって、従来技術の方法では可能だとして
も効率的に行うことができない、非常に大規模なマルチ
メディア・ドキュメントの設計、作成、構成、およびプ
レイが可能になる。
【００６２】図８は、ハイパーストーリーの設計／使用
の１つの好ましい方法８００を示すフローチャートであ
る。ハイパーストーリーの設計には、１組のストーリー
（設計者またはユーザによって選択される）８１０、ハ
イパーストーリー中のストーリー間の関係８２０、非同
期事象用の１組の条件８３０、ならびに割込み、呼出
し、分岐などの非同期事象を開始する１組の制御８４０
が必要である。
【００６３】前述のように、ハイパーストーリー中の１
組のストーリーはハイパーストーリー設計者／ユーザに
よって決定される。設計者／ユーザは、本発明の方法２
００によって時間的および空間的に構成された複数のス
トーリーを選択する。ハイパーストーリー設計者／ユー
ザは次に、ハイパーストーリー中のストーリーの間に１
組の関係を確立する。これは、当技術分野で周知の方
法、たとえば有向グラフ、さらに具体的にはペトリ・ネ
ットを使用して行われる。
【００６４】図９は、ハイパーストーリー中のマルチメ
ディア・ストーリーの間に（非同期）関係８２０を確立
するために使用される有向グラフ９００、たとえばペト
リ・ネットの一例である。有向グラフ（ペトリ・ネッ
ト）のノード９１０、９２０、９３０、および９４０
は、図８中のステップ８１０でユーザ／設計者によって
選択されたストーリーである。グラフ９００（ペトリ・
ネット）のアーク９０５、９１５、９２４、９２６、９
３５、および９４５のエッジは、グラフ９００上に表さ
れたハイパーストーリーのストーリーの間の条件付き関
係を表す。これらの非同期関係は、ハイパーストーリー
のストーリーの間の条件付きリンク、すなわち設計者／
ユーザによって作成された何らかの「条件」８３０によ
って制御または確立できる接続（呼出しや分岐など）と
みなすことができる。これらの条件は、条件を満たすこ
とを示す何らかの計算によってトリガできるという点で
動的であってよい。リンクは、ハイパーストーリー中の
ストーリーの時間的および空間的レイアウトを変更せず
に呼び出し、変更し、あるいは無視することができる。
ストーリー（ハイパーストーリー）エピソードの時間的
および空間的構成が本発明の方法２００によって、変化
する非同期関係から分離されるので、この特徴は本発明
によって可能になる。
【００６５】確立されたストーリー関係８２０と、この
関係の条件８３０とを、ここでさらに、一例として有向
グラフ９００を使用して定義する。アーク９０５は、ス
トーリーＳ１、すなわちグラフ・ノード９１０のプレイ
を開始するために満たされた条件である。Ｓ１がプレイ
を完了すると、アーク９１５として示した、ストーリー
Ｓ２（グラフ・ノード９２０）がプレイを開始する条件
が満たされ、Ｓ２がプレイを開始する。同様に、ストー
リーＳ２がプレイを終了した場合、ストーリーＳ３（グ
ラフ・ノード９３０）を開始する条件（アーク９２６）
が満たされ、ストーリーＳ３がプレイを開始する。この
プロセスは、アーク９３５で示したように、ストーリー
Ｓ３がプレイした後も継続する。しかし、グラフ・ノー
ド９２０中のストーリーＳ２のプレイ中に何らかの外部
条件または非同期条件Ｃ２が発生した場合、制御はアー
ク９２４に移り、たとえばストーリーＳ４（グラフ・ノ
ード９４０）がプレイを開始する。ストーリーＳ４が終
了すると、アーク９４５の条件が満たされ、このアーク
９４５で設計された次の動作が実行される。
【００６６】アーク９１５、９２４、９２６、９３５、
および９４５が、グラフ中の制御を転送し、かつ前のス
トーリーを終了させることか、またはストーリーが終了
する前に発生する何らかの条件Ｃ２によって、転送用の
条件を満たしてもらえることに留意されたい。たとえ
ば、ストーリー中の中間時間クリークがプレイされた
後、ストーリーがプレイを終了する前に、制御をストー
リー・ノードから転送することができる。さらに、ボタ
ンを押すことなどの、何らかの外部事象または割込みに
よって、ストーリーの中央にあるストーリーのプレイを
停止して、他のストーリーのプレイを開始することがで
きる。また、制御の転送はストーリーの始めに対して行
う必要がなく、呼び出される（分岐する先の）ストーリ
ー内の任意の時間クリークで開始することができる。ス
トーリー（ハイパーストーリー）中のすべてのエピソー
ドの空間構成が、本発明の方法２００に応じてハイパー
ストーリー中の他の時間クリークの空間構成とは独立に
時間クリーク単位で行われるので、これらの事象はすべ
てエピソード・クラッシュなしで発生する。
【００６７】さらに、本発明の方法２００では、有向グ
ラフ９００（ペトリ・ネット）上の各ノードがハイパー
ストーリーでよいことに留意されたい。上記で説明した
のと同じ理由で、ハイパーストーリー・ノードは、エピ
ソード・クラッシュなしでグラフ９００で定義されたよ
うに非同期にプレイすることができる。したがって、本
発明の方法を使用すると、ずっと大規模なマルチメディ
ア・ドキュメントでもクラッシュなしで作成し、構成
し、プレイすることができる。
【００６８】アーク９２４に制御を転送させる条件Ｃ２
は、ハイパーストーリーを作成する方法８００のステッ
プ８３０で定義される。ストーリー関係８２０および条
件８３０を確立する方法が従来技術に数多くあり、これ
らの方法はどれでも使用することができる。ここで、２
つの好ましい定義の分岐と呼出しを提示する。分岐は以
下のように定義される。
【００６９】分岐（si、ci、sj）：ｓiが活動状態（プ
レイ中）でありｃiが真の（満たされている）場合、ｓi
が終了し、ｓjが活動状態になる（プレイされる）。
【００７０】呼出しは以下のように定義される。
【００７１】呼出し（si、ci、sj）：ｓｉが活動状態
（プレイ中）でありｃiが真の（満たされている）場
合、ｓiが停止し（プレイを一時的に終了する）、ｓjが
活動状態になる（プレイされる）。しかし、ｓjの終了
時（ｓjがプレイを終了したとき）に、ｓiは停止してい
たところから活動状態になる（再びプレイを開始す
る）。
【００７２】これらの定義で、ｓiは、グラフ９００中
の他のノード９４０（ストーリー、ハイパーストーリ
ー、またはストーリー内の時間クリーク）、すなわちｓ
jを呼び出し、あるいはｓjに分岐する有向グラフ９００
中のノード、たとえば９２０によって表されるストーリ
ー（あるいはハイパーストーリーまたはストーリー内の
時間クリーク）である。「ｃi」は、呼出しまたは分岐
を行えるようにするために満たさなければならない条件
または１組の条件Ｃ２である。
【００７３】定義された条件８３０は、当技術分野で知
られた典型的な条件であってよい。たとえば、条件は、
ストーリーまたはストーリー内の時間クリークがプレイ
を終了することであってよい。１組の条件は、システム
・クロック上の何らかの時間と、ボタンなどの制御装置
を押すこととを含むことができる（システム・クロック
によって提供される条件は、時間レイアウト３００の時
間ストーリー定義の外部で発生するので、非同期とみな
されることに留意されたい）。これらの条件または条件
セットは、それらが満たされるかどうかを判定するため
に定期的に検査することができる。これらの条件が非同
期的に変更でき、その結果ドキュメント（ハイパースト
ーリー）のプレイを修正できるので、ドキュメントのプ
レイはこれらの条件の定義および発生によって動的に修
正することができる。たとえば、プレイ中のハイパース
トーリー中のストーリーのシーケンスは、ボタンを押す
ことによって修正することができる。
【００７４】条件８４０を可能にする制御装置もコンピ
ュータ技術分野で周知である。これらの制御装置は、ハ
ードおよびソフト・キーボード・キー、タッチ・スクリ
ーン・ボタン、スイッチ、ハードウェア・インタロッ
ク、リレーなどを含むことができる。たとえば、ボタン
１ ３４２はハードウェア・ボタンでも、タッチ検知画
面上のボタンでもよい。条件ｃi（または図９中のＣ
２）がボタン１の「閉鎖」状態として定義されている場
合、ストーリーＳ３（９３０）ではなくストーリーＳ２
（９２０）の後にストーリーＳ４（９１０）がプレイさ
れる。
【００７５】本発明は多数の適用業務で使用することが
できる。たとえば、ドキュメントの何らかのセクション
に分岐するボタン制御装置８４０を定義し、ドキュメン
ト中のブランチの位置によってボタンを識別することに
よって、本のタブと同様にマルチメディア・ドキュメン
ト中の異なる位置を走査検査できるようにする一連の制
御装置（ボタン）８４０を定義することができる（８３
０）。
【００７６】まとめとして、本発明の構成に関して以下
の事項を開示する。
【００７７】（１）それぞれが、開始、終了、および継
続時間を含む時間構成要素を有し、かつストーリーのエ
ピソードである、１つまたは複数のマルチメディア・セ
グメントを複数のセグメントから選択するステップと、
ストーリーを定義するシーケンスでストーリー・エピソ
ードをスケジューリングするステップと、各クリーク中
の各エピソードが該クリーク中の１つまたは複数の他の
エピソードと重なり合うように、ストーリー・エピソー
ドを１つまたは複数の時間クリークにグループ化するス
テップと、他の時間クリーク中のエピソードとは独立
に、各時間クリーク中のエピソードを空間的に構成する
ステップと、時間クリークの空間構成によるスケジュー
ル・シーケンスでストーリーのエピソードをプレイする
ステップとを備えることを特徴とする、クラッシュなし
でプレイするようにマルチメディア・セグメントを構成
する方法。 （２）スケジュールが時間レイアウトであることを特徴
とする、上記（１）に記載のマルチメディア・ストーリ
ー・エピソードを構成する方法。 （３）時間レイアウトがエピソードの間の１つまたは複
数の関係によってシーケンス中のエピソードをスケジュ
ーリングすることを特徴とする、上記（２）に記載のマ
ルチメディア・ストーリー・エピソードを構成する方
法。 （４）時間クリーク中の各エピソードが該時間クリーク
中の他のあらゆるエピソードと重なり合うことを特徴と
する、上記（１）に記載のマルチメディア・ストーリー
・エピソードを構成する方法。 （５）最初に、時間クリーク中のエピソードを最初の空
間構成に配置し、次いでエピソードの間で空間要件を交
渉して最終空間構成を得ることによって、１つまたは複
数の時間クリークを空間的に構成することを特徴とす
る、上記（４）に記載のマルチメディア・ストーリー・
エピソードを構成する方法。 （６）ユーザがグラフィカル・インタフェースを使用す
ることによって空間構成が行われることを特徴とする、
上記（４）に記載のマルチメディア・ストーリー・エピ
ソードを構成する方法。 （７）１つまたは複数の時間クリークの空間構成がビジ
ュアル・ディスプレイとしてプレイされることを特徴と
する、上記（４）に記載のマルチメディア・ストーリー
・エピソードを構成する方法。 （８）ビジュアル・ディスプレイがコンピュータ画面で
あることを特徴とする、上記（７）に記載のマルチメデ
ィア・ストーリー・エピソードを構成する方法。 （９）各ストーリー用の１組のストーリー・エピソード
として１つまたは複数のマルチメディア・セグメントを
選択することによってマルチメディア・ストーリーを作
成するステップと、ストーリーを定義する時間レイアウ
トによって各ストーリーのエピソードをスケジューリン
グするステップと、ストーリーの各時間クリーク中のエ
ピソードがそれぞれの時間クリーク中の他のエピソード
と重なり合うように、各ストーリー中のエピソードを１
つまたは複数のクリークにグループ化するステップと、
他の時間クリーク中のエピソードとは独立に、各時間ク
リーク中のエピソードを空間的に構成するステップと、
非同期条件によって定義され、有向グラフの１つまたは
複数のアークによって相互間に関係が確立された、有向
グラフのノードに、各ストーリーを配置するステップと
を備え、ストーリーとの関係を確立するアークの非同期
条件が満たされた場合に有向グラフ上のストーリーがプ
レイされることを特徴とする、２つ以上のマルチメディ
ア・ストーリーをハイパーストーリーとして構成してプ
レイする方法。 （１０）有向グラフがメトリ・ネットであることを特徴
とする、上記（９）に記載の、ハイパーストーリー中の
ストーリーを構成してプレイする方法。 （１１）２つ以上のノードの間の関係が、第１のノード
中のストーリーから第２のノード中のストーリーへ制御
が渡される分岐関係であることを特徴とする、上記
（９）に記載の、ストーリーを構成してプレイする方
法。 （１２）２つ以上のノードの間の関係が、制御が第１の
ノード中のストーリーから第２のノード中のストーリー
に渡され、次いで第２のノード中のストーリーの一部ま
たはすべてが終了した後に第１のノード中にストーリー
に戻る呼出し関係であることを特徴とする、上記（９）
に記載の、ストーリーを構成してプレイする方法。 （１３）１つまたは複数の条件がボタンによってイネー
ブルされることを特徴とする、上記（９）に記載の、ス
トーリーを構成してプレイする方法。 （１４）該条件が、ノード中のストーリーのプレイを動
的に変更するために満たされることを特徴とする、上記
（９）に記載の、ストーリーを構成してプレイする方
法。 （１５）制御装置が、ハイパーストーリーを走査検査す
るために使用される条件をイネーブルすることを特徴と
する、上記（９）に記載の、ストーリーを構成してプレ
イする方法。 （１６）ストーリーがユーザを教育するためにプレイさ
れることを特徴とする、上記（９）に記載の、ストーリ
ーを構成してプレイする方法。 （１７）ストーリーのエピソードである、１つまたは複
数のマルチメディア・セグメントを複数のセグメントか
ら選択するステップと、ストーリーを定義するシーケン
スでストーリー・エピソードをスケジューリングするス
テップと、各クリーク中の各エピソードが該クリーク中
の１つまたは複数の他のエピソードと重なり合うよう
に、ストーリー・エピソードを１つまたは複数の時間ク
リークにグループ化するステップと、他の時間クリーク
中のエピソードとは独立に、各時間クリーク中のエピソ
ードを空間的に構成するステップと、スケジュール・シ
ーケンスによる時間と、時間クリークの空間構成による
空間で、ストーリー中のエピソードをプレイするステッ
プとを備えることを特徴とする、マルチメディア・スト
ーリーをプレイする方法。 （１８）複数のマルチメディア・セグメントを記憶する
ための手段を有するコンピュータ手段と、ストーリー中
のエピソードである、マルチメディア・セグメントのサ
ブセットを選択するステップと、ストーリーを定義する
ようにストーリー・エピソードを時間的にスケジューリ
ングするための時間レイアウト手段と、それぞれが、そ
れ自体中の１つまたは複数の他のエピソードと重なり合
うエピソードを含む時間クリークにストーリー・エピソ
ードを構成するための手段と他の時間クリーク中のスト
ーリー・エピソードの空間構成とは独立に、各時間クリ
ークのエピソードを空間的に構成するステップと、時間
レイアウト・スケジュールによって定義された時間と、
時間クリークの空間レイアウトによる空間で、ストーリ
ー中のエピソードをプレイするためのコンピュータ・プ
レイ手段とを備えることを特徴とする、マルチメディア
・ストーリーをプレイするための装置。
【００７８】
【発明の効果】本発明を使用してマルチメディア情報を
構成して表示することによって、大量の情報を提示する
コンピュータ・システムを構築することができる。たと
えば、教育の分野で大規模なマルチメディア・ドキュメ
ントを使用して任意の数の科目を教えることができる。
【図面の簡単な説明】
【図１】本発の方法を使用するマルチメディア入出力を
含む１つの好ましいコンピュータ・システムのブロック
図である。
【図２】本発明のステップを示すフローチャートであ
る。
【図３】ストーリーを定義するために、選択されたマル
チメディア・エピソードをスケジューリングする好まし
い方法（すなわち時間レイアウト）の例を示す図であ
る。
【図４】エピソードの間の関係を使用することによっ
て、選択されたマルチメディア・エピソードをスケジュ
ーリングするさらに好ましい時間レイアウトを示す図で
ある。
【図５】ストーリー・エピソードを時間クリークにグル
ープ化する好ましい方法を示すフローチャートである。
【図６】時間クリークのエピソードを空間的に構成する
好ましい方法を示す図である。
【図７】空間的に構成中の時間クリークの例を示す図で
ある。
【図８】ハイパーストーリーを作成するステップを示す
フローチャートである。
【図９】ハイパーストーリー内のストーリー関係を確立
する際に使用される有向グラフ（ペトリ・ネット）の図
である。
【符号の説明】
１００ システム １０５ コンピュータ １１０ ＭＭディスプレイ・アダプタ １２２ オーディオ／ビデオ収集 １２４ 再生 １３０ マルチメディア・ハードウェア １４０ メモリ記憶域 ２００ 方法 ２２０ 時間クリーク ３１２ ビデオ１ ３２２ オーディオ１ ３３２ テキスト１ ３４２ ボタン１ ３５２ サンスノー

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】それぞれが、開始、終了、および継続時間
    を含む時間構成要素を有し、かつストーリーのエピソー
    ドである、１つまたは複数のマルチメディア・セグメン
    トを複数のセグメントから選択するステップと、 ストーリーを定義するシーケンスでストーリー・エピソ
    ードをスケジューリングするステップと、 各クリーク中の各エピソードがクリーク中の１つまたは
    複数の他のエピソードと重なり合うように、ストーリー
    ・エピソードを１つまたは複数の時間クリークにグルー
    プ化するステップと、 各時間クリーク中のエピソードを他の時間クリーク中の
    エピソードとは独立に空間的に構成するステップと、 時間クリークの空間構成によるスケジュール・シーケン
    スでストーリーのエピソードをプレイするステップとを
    備えることを特徴とする、クラッシュなしでプレイする
    ようにマルチメディア・セグメントを構成する方法。
  2. 【請求項２】スケジュールが時間レイアウトであること
    を特徴とする、請求項１に記載のマルチメディア・スト
    ーリー・エピソードを構成する方法。
  3. 【請求項３】時間レイアウトが,エピソード間の１つま
    たは複数の関係によってシーケンス中のエピソードをス
    ケジューリングすることを特徴とする、請求項２に記載
    のマルチメディア・ストーリー・エピソードを構成する
    方法。
  4. 【請求項４】時間クリーク中の各エピソードが、該時間
    クリーク中の他のあらゆるエピソードと重なり合うこと
    を特徴とする、請求項１に記載のマルチメディア・スト
    ーリー・エピソードを構成する方法。
  5. 【請求項５】最初に、時間クリーク中のエピソードを最
    初の空間構成に配置し、次いでエピソードの間で空間要
    件を交渉して最終空間構成を得ることにより、１つまた
    は複数の時間クリークを空間的に構成することを特徴と
    する、請求項４に記載のマルチメディア・ストーリー・
    エピソードを構成する方法。
  6. 【請求項６】ユーザがグラフィカル・インタフェースを
    使用することによって空間構成が行われることを特徴と
    する、請求項４に記載のマルチメディア・ストーリー・
    エピソードを構成する方法。
  7. 【請求項７】１つまたは複数の時間クリークの空間構成
    がビジュアル・ディスプレイとしてプレイされることを
    特徴とする、請求項４に記載のマルチメディア・ストー
    リー・エピソードを構成する方法。
  8. 【請求項８】ビジュアル・ディスプレイがコンピュータ
    画面であることを特徴とする、請求項７に記載のマルチ
    メディア・ストーリー・エピソードを構成する方法。
  9. 【請求項９】各ストーリー用の１組のストーリー・エピ
    ソードとして１つまたは複数のマルチメディア・セグメ
    ントを選択することによりマルチメディア・ストーリー
    を作成するステップと、 ストーリーを定義する時間レイアウトによって各ストー
    リーのエピソードをスケジューリングするステップと、 ストーリーの各時間クリーク中のエピソードがそれぞれ
    の時間クリーク中の他のエピソードと重なり合うよう
    に、各ストーリー中のエピソードを１つまたは複数のク
    リークにグループ化するステップと、 他の時間クリーク中のエピソードとは独立に、各時間ク
    リーク中のエピソードを空間的に構成するステップと、 非同期条件によって定義され、有向グラフの１つまたは
    複数のアークによって相互間に関係が確立された、有向
    グラフのノードに、各ストーリーを配置するステップと
    を備え、 ストーリーとの関係を確立するアークの非同期条件が満
    たされた場合に有向グラフ上のストーリーがプレイされ
    ることを特徴とする、 ２つ以上のマルチメディア・ストーリーをハイパースト
    ーリーとして構成してプレイする方法。
  10. 【請求項１０】有向グラフがメトリ・ネットであること
    を特徴とする、請求項９に記載の、ハイパーストーリー
    中のストーリーを構成してプレイする方法。
  11. 【請求項１１】２つ以上のノードの間の関係が、第１の
    ノード中のストーリーから第２のノード中のストーリー
    へ制御が渡される分岐関係であることを特徴とする、請
    求項９に記載の、ストーリーを構成してプレイする方
    法。
  12. 【請求項１２】２つ以上のノードの間の関係が、制御が
    第１のノード中のストーリーから第２のノード中のスト
    ーリーに渡され、次いで第２のノード中のストーリーの
    一部またはすべてが終了した後に第１のノード中にスト
    ーリーに戻る呼出し関係であることを特徴とする、請求
    項９に記載の、ストーリーを構成してプレイする方法。
  13. 【請求項１３】１つまたは複数の条件がボタンによって
    イネーブルされることを特徴とする、請求項９に記載
    の、ストーリーを構成してプレイする方法。
  14. 【請求項１４】ノード中のストーリーのプレイを動的に
    変更するための該条件が満たされることを特徴とする、
    請求項９に記載の、ストーリーを構成してプレイする方
    法。
  15. 【請求項１５】制御装置が、ハイパーストーリーを走査
    検査するために使用される条件をイネーブルすることを
    特徴とする、請求項９に記載の、ストーリーを構成して
    プレイする方法。
  16. 【請求項１６】ストーリーがユーザを教育するためにプ
    レイされることを特徴とする、請求項９に記載の、スト
    ーリーを構成してプレイする方法。
  17. 【請求項１７】ストーリーのエピソードである、１つま
    たは複数のマルチメディア・セグメントを複数のセグメ
    ントから選択するステップと、 ストーリーを定義するシーケンスでストーリー・エピソ
    ードをスケジューリングするステップと、 各クリーク中の各エピソードが該クリーク中の１つまた
    は複数の他のエピソードと重なり合うように、ストーリ
    ー・エピソードを１つまたは複数の時間クリークにグル
    ープ化するステップと、 各時間クリーク中のエピソードを、他の時間クリーク中
    のエピソードとは独立に空間的に構成するステップと、 スケジュール・シーケンスによる時間と、時間クリーク
    の空間構成による空間で、ストーリー中のエピソードを
    プレイするステップとを備えることを特徴とする、マル
    チメディア・ストーリーをプレイする方法。
  18. 【請求項１８】複数のマルチメディア・セグメントを記
    憶するための手段を有するコンピュータ手段と、 ストーリー中のエピソードである、マルチメディア・セ
    グメントのサブセットを選択する手段と、 ストーリーを定義するようにストーリー・エピソードを
    時間的にスケジューリングするための時間レイアウト手
    段と、 それぞれが、それ自体中の１つまたは複数の他のエピソ
    ードと重なり合うエピソードを含む時間クリークにスト
    ーリー・エピソードを構成するための手段と各時間クリ
    ークのエピソードを、他の時間クリーク中のストーリー
    ・エピソードの空間構成とは独立に空間的に構成する手
    段と、 時間レイアウト・スケジュールによって定義された時間
    と、時間クリークの空間レイアウトによる空間で、スト
    ーリー中のエピソードをプレイするためのコンピュータ
    ・プレイ手段とを備えることを特徴とする、マルチメデ
    ィア・ストーリーをプレイするための装置。
JP18738194A 1993-09-27 1994-08-09 マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法 Expired - Fee Related JP3303543B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12786393A 1993-09-27 1993-09-27
US127863 1993-09-27

Publications (2)

Publication Number Publication Date
JPH07114627A true JPH07114627A (ja) 1995-05-02
JP3303543B2 JP3303543B2 (ja) 2002-07-22

Family

ID=22432351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18738194A Expired - Fee Related JP3303543B2 (ja) 1993-09-27 1994-08-09 マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法

Country Status (3)

Country Link
US (1) US5742283A (ja)
EP (1) EP0645721A1 (ja)
JP (1) JP3303543B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998021722A1 (fr) * 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
JP2001084381A (ja) * 1999-08-30 2001-03-30 Mitsubishi Electric Inf Technol Center America Inc マルチメディア・コンテンツの表現を生成する方法
JP2002532918A (ja) * 1998-11-06 2002-10-02 ザ トゥルスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブニュー ヨーク 映像記述システムおよび方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2180975C (en) * 1995-07-11 2000-01-18 Tomoko Matsuzawa Scenario editor for multimedia data and scenario reproducing apparatus
JPH0934392A (ja) * 1995-07-13 1997-02-07 Shinsuke Nishida 音とともに画像を提示する装置
US6118445A (en) * 1996-11-13 2000-09-12 Matsushita Electric Industrial Co., Ltd. System stream reproduction control information editing apparatus and a recording medium on which the method used therein is recorded
US6457027B1 (en) * 1997-04-01 2002-09-24 Ati Technologies, Inc. Method and apparatus for generating a multimedia document
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
KR100513907B1 (ko) * 1997-06-13 2005-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 상호 관련된 오브젝트들의 주기적 전송방법
US6094651A (en) * 1997-08-22 2000-07-25 International Business Machines Corporation Discovery-driven exploration of OLAP data cubes
US6003029A (en) * 1997-08-22 1999-12-14 International Business Machines Corporation Automatic subspace clustering of high dimensional data for data mining applications
US6374271B1 (en) 1997-09-26 2002-04-16 Fuji Xerox Co., Ltd. Hypermedia document authoring using a goals outline and a presentation outline
US6976208B1 (en) * 1998-11-03 2005-12-13 International Business Machines Corporation Progressive adaptive time stamp resolution in multimedia authoring
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US6393158B1 (en) 1999-04-23 2002-05-21 Monkeymedia, Inc. Method and storage device for expanding and contracting continuous play media seamlessly
US10051298B2 (en) 1999-04-23 2018-08-14 Monkeymedia, Inc. Wireless seamless expansion and video advertising player
CN1312615C (zh) * 1999-07-03 2007-04-25 纽约市哥伦比亚大学托管会 为媒体内容管理系统索引数字信息信号的方法和设备
JP5138852B2 (ja) * 1999-11-04 2013-02-06 株式会社こんてんつ 創作物作成支援装置
US7057612B2 (en) * 2000-01-12 2006-06-06 Balfour Technologies Llc Method and system for a four-dimensional temporal visualization data browser
US6718308B1 (en) * 2000-02-22 2004-04-06 Daniel L. Nolting Media presentation system controlled by voice to text commands
US7725812B1 (en) * 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
US20020107895A1 (en) * 2000-08-25 2002-08-08 Barbara Timmer Interactive personalized book and methods of creating the book
US20020103876A1 (en) * 2001-01-29 2002-08-01 Masayuki Chatani System and computer-based method for providing transformed information in response to a client search request
US20030014400A1 (en) * 2001-06-12 2003-01-16 Advanced Research And Technology Institute System and method for case study instruction
US7085844B2 (en) * 2001-08-31 2006-08-01 Thompson Kerry A Method and apparatus for random play technology
US7120699B2 (en) * 2001-09-20 2006-10-10 Ricoh Company, Ltd. Document controlled workflow systems and methods
WO2003051031A2 (en) * 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
WO2003091850A2 (en) * 2002-04-26 2003-11-06 The Trustees Of Columbia University In The City Of New York Method and system for optimal video transcoding based on utility function descriptors
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US7580954B1 (en) * 2005-04-12 2009-08-25 Apple Inc. Random access action list for digital signal data editing
US7320467B2 (en) * 2005-06-03 2008-01-22 Mattel, Inc. Narrating games
US20070132767A1 (en) * 2005-11-30 2007-06-14 William Wright System and method for generating stories in time and space and for analysis of story patterns in an integrated visual representation on a user interface
US7933956B2 (en) * 2006-01-24 2011-04-26 Simulat, Inc. System and method to create a collaborative web-based multimedia layered platform
WO2007127171A2 (en) * 2006-04-24 2007-11-08 Jones David D Content shuffling system and method
KR101058040B1 (ko) * 2006-12-21 2011-08-19 삼성전자주식회사 컨텐츠 출력 방법 및 그 장치
US20080215965A1 (en) * 2007-02-23 2008-09-04 Tabblo, Inc. Method for modifying an initial layout of story elements in a user-generated online story
US20080215967A1 (en) * 2007-02-23 2008-09-04 Tabblo, Inc. Method and system for online transformation using an image URL application programming interface (API)
US20080215985A1 (en) * 2007-02-23 2008-09-04 Tabblo, Inc. Method for initial layout of story elements in a user-generated online story
US7465241B2 (en) * 2007-03-23 2008-12-16 Acushnet Company Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers
DE102007016234A1 (de) 2007-04-04 2008-10-09 Toyoda Mitsuiseiki Europe Gmbh Steuerung von Werkzeugmaschinen
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) * 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8938443B2 (en) * 2010-10-19 2015-01-20 International Business Machines Corporation Runtime optimization of spatiotemporal events processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242208A (ja) * 1992-03-03 1993-09-21 Nippon Telegr & Teleph Corp <Ntt> マルチメディアシナリオ編集装置およびその方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630234A (en) * 1983-04-11 1986-12-16 Gti Corporation Linked list search processor
JPS6289058A (ja) * 1985-10-15 1987-04-23 Dainippon Printing Co Ltd 印刷システムにおける図形の位置決め方法
US4864516A (en) * 1986-03-10 1989-09-05 International Business Machines Corporation Method for implementing an on-line presentation in an information processing system
US4893256A (en) * 1986-04-04 1990-01-09 International Business Machines Corporation Interactive video composition and presentation systems
DE3788038T2 (de) * 1986-11-20 1994-03-17 Matsushita Electric Ind Co Ltd Informationsschnittgerät.
US4831552A (en) * 1987-01-29 1989-05-16 International Business Machines Corporation Method for concurrently displaying entries from a plurality of different electronic calendars based on interactively entered non-temporal criteria
US4914586A (en) * 1987-11-06 1990-04-03 Xerox Corporation Garbage collector for hypermedia systems
US5208745A (en) * 1988-07-25 1993-05-04 Electric Power Research Institute Multimedia interface and method for computer system
US4947257A (en) * 1988-10-04 1990-08-07 Bell Communications Research, Inc. Raster assembly processor
US5065345A (en) * 1988-11-04 1991-11-12 Dyned International, Inc. Interactive audiovisual control mechanism
US5109482A (en) * 1989-01-11 1992-04-28 David Bohrman Interactive video control system for displaying user-selectable clips
US5010500A (en) * 1989-01-26 1991-04-23 Xerox Corporation Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval
US5274758A (en) * 1989-06-16 1993-12-28 International Business Machines Computer-based, audio/visual creation and presentation system and method
US5339423A (en) * 1989-06-16 1994-08-16 International Business Machines Corporation System for accessing objects external to an application using tables containing path definitions
US5119474A (en) * 1989-06-16 1992-06-02 International Business Machines Corp. Computer-based, audio/visual creation and presentation system and method
US5241671C1 (en) * 1989-10-26 2002-07-02 Encyclopaedia Britannica Educa Multimedia search system using a plurality of entry path means which indicate interrelatedness of information
US5241657A (en) * 1990-02-05 1993-08-31 Fine Brandt J Information display system
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5204947A (en) * 1990-10-31 1993-04-20 International Business Machines Corporation Application independent (open) hypermedia enablement services
NZ242110A (en) * 1991-04-02 1995-12-21 Custom Expressions Inc Printing and vending customised greeting cards
US5333299A (en) * 1991-12-31 1994-07-26 International Business Machines Corporation Synchronization techniques for multimedia data streams
US5398195A (en) * 1992-02-21 1995-03-14 International Business Machines Corporation Method and system for providing a non-rectangular floor plan
US5339393A (en) * 1993-04-15 1994-08-16 Sony Electronics, Inc. Graphical user interface for displaying available source material for editing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05242208A (ja) * 1992-03-03 1993-09-21 Nippon Telegr & Teleph Corp <Ntt> マルチメディアシナリオ編集装置およびその方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998021722A1 (fr) * 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
US6381398B1 (en) 1996-11-13 2002-04-30 Matsushita Electric Industrial Co., Ltd. Apparatus and method of generating bit stream for information recording disc storage which enables seamless reproduction of a plurality of pieces of image information, and recording medium on which program applied to the generating apparatus is recorded
JP2002532918A (ja) * 1998-11-06 2002-10-02 ザ トゥルスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブニュー ヨーク 映像記述システムおよび方法
JP2001084381A (ja) * 1999-08-30 2001-03-30 Mitsubishi Electric Inf Technol Center America Inc マルチメディア・コンテンツの表現を生成する方法

Also Published As

Publication number Publication date
US5742283A (en) 1998-04-21
JP3303543B2 (ja) 2002-07-22
EP0645721A1 (en) 1995-03-29

Similar Documents

Publication Publication Date Title
JP3303543B2 (ja) マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法
JP3306741B2 (ja) マルチメディア・ストーリ提供方法及び装置
Hirzalla et al. A temporal model for interactive multimedia scenarios
KR100426982B1 (ko) 대화형애플리케이션환경을생성하기위한장치와방법
Schnepf et al. Doing FLIPS: Flexible interactive presentation synchronization
US6542692B1 (en) Nonlinear video editor
EP0999504A1 (en) Image processing apparatus, image processing method, and information providing medium
JP4370792B2 (ja) ビデオシーケンスの階層形成方法及びプログラム
JPH1031662A (ja) 同期ツールを使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム
AU6418894A (en) Time-based script sequences
JPH1031664A (ja) スペーサ・ツールを使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム
JPH11102447A (ja) セグメントの継続期間を定義する方法およびシステム
US7382965B2 (en) Method and system of visual content authoring
EP0864131A2 (en) A method for organizing and presenting the structure of a multimedia system and for presenting this structure to a person involved, in particular a user person or an author person, and a software package having such organization and presentation facility
US6211868B1 (en) Editing method in a multimedia synchronous training system
JPH03204687A (ja) プレゼンテーション装置
JPH08171550A (ja) プレゼンテーション方法
Bitbol An analysis of the Einstein-Podolsky-Rosen correlations in terms of events
JPH1032773A (ja) 要約映像ブラウジング方法および装置
JP3409374B2 (ja) データ出力装置およびその方法
JP3835301B2 (ja) スライド作成器
JPH08115311A (ja) オーサリングシステム
JP6263164B2 (ja) プレゼンテーションシステム
JP3608418B2 (ja) マルチメディアアプリケーション開発上流工程支援方法及び装置及びマルチメディアアプリケーション開発上流工程支援プログラムを格納した記憶媒体
JPH07114576A (ja) ハイパーメディアプレゼンテーションシステム

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees