JP3303543B2 - マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法 - Google Patents

マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法

Info

Publication number
JP3303543B2
JP3303543B2 JP18738194A JP18738194A JP3303543B2 JP 3303543 B2 JP3303543 B2 JP 3303543B2 JP 18738194 A JP18738194 A JP 18738194A JP 18738194 A JP18738194 A JP 18738194A JP 3303543 B2 JP3303543 B2 JP 3303543B2
Authority
JP
Japan
Prior art keywords
episode
story
episodes
time
clique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18738194A
Other languages
English (en)
Other versions
JPH07114627A (ja
Inventor
ミシェル・ヨーンキュン・リー・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH07114627A publication Critical patent/JPH07114627A/ja
Application granted granted Critical
Publication of JP3303543B2 publication Critical patent/JP3303543B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、コンピュータ・システ
ム上でマルチメディア・ドキュメントを作成し、構成
し、プレイする分野に関する。さらに詳細には、本発明
は、空間的および時間的に正しく提示されるようにマル
チメディア・ドキュメント中のマルチメディア・オブジ
ェクトを構成することに関する。
【０００２】
【従来の技術】マルチメディア・ドキュメントは、コン
ピュータ技術分野で既知である。マルチメディア・ドキ
ュメントのユーザは通常、フラグメント、セグメント、
マルチメディア・オブジェクト、またはエピソードと呼
ばれるマルチメディア情報をコンピュータ入力または出
力を介してそれぞれ提示し、あるいは受け取る。一般
に、このマルチメディア・エピソードは、オーディオ・
クリップおよびビデオ・クリップ、音楽を録音したも
の、スピーチ、タイプされた文章、静止画像、図面、ア
ニメーション、ダンス・ステップの振付けなどの聴覚情
報および視覚情報の形をとることができる知覚的品質を
有する情報を含む（コンピュータの出力として提示され
るエピソードは「プレイされる」と言う。視覚出力はデ
ィスプレイとしてプレイされる）。
【０００３】マルチメディア・ドキュメントを作成また
はプレイ（表示）するには、コンピュータ・ユーザが１
つまたは複数のエピソードを選択して特定の順序でプレ
イしなければならない。マルチメディア・ドキュメント
は、ある種の空間的関係および時間的順序によって構成
またはプレイされる関連エピソードを有するとき、スト
ーリーと呼ばれる。
【０００４】少数のエピソードを含むストーリーを作成
またはプレイするのは容易であるが、従来技術の方法で
は多数のエピソードを含むストーリーを作成またはプレ
イすることはできない。これは、それぞれ開始点、終了
点、継続時間などの異なる特性を有する多数のストーリ
ー・エピソードを、相互に干渉せずに一緒にプレイでき
るように構成するのが難しいからである。従来技術で
は、ストーリーが経時的にプレイされるのに応じて多数
のストーリー・エピソードを効果的に空間的に構成する
ことができない。
【０００５】空間構成は、ストーリー中でプレイされる
エピソードをユーザに対してどのように相互に提示する
かを決定する。通常、空間構成は、画面などのコンピュ
ータ・ディスプレイ上でプレイされるエピソードの寸法
および位置に関する（しかし、オーディオ・クリップ
は、各クリップのボリュームを調整し、あるいはオーデ
ィオ・クリップをビジュアル・ディスプレイに結合する
ことによって、相互に空間的に構成できることに留意さ
れたい）。ストーリー・エピソードはその継続時間中、
他のエピソードに対する空間要件を有するので、エピソ
ードが開始または終了するたびに、ストーリーをプレイ
する空間要件が変化する。これらの変化する空間要件が
最初にストーリーの設計で満たされない場合、ストーリ
ーは空白空間領域、重なり合った空間領域（１つのエピ
ソードが１つまたは複数の他のエピソードのいくつかま
たはすべてを隠す）、あるいは空白または耳障りなオー
ディオ出力でプレイ（表示）されることが多い。出力プ
レイ中のこれらの望ましくないイベントをクラッシュと
呼ぶ。
【０００６】従来技術では、マルチメディア・ストーリ
ーの作成の問題に適切に対処することもできない。スト
ーリーの作成中に、ユーザは最初のストーリーまたは１
組のエピソードあるいはその両方から開始し、エピソー
ドを追加、挿入、移動、削除して、最終的なストーリー
を開発する。したがって、ストーリー中の一部またはす
べてのエピソードの間の関係が変化してエピソード・ク
ラッシュが発生することがある。言い換えると、最初は
エピソード・クラッシュなしでプレイできたストーリー
が、ストーリーの作成中にクラッシュを発生させること
がある。さらに、ストーリーが長くなる（すなわち、よ
り多くのエピソードを含むようになる）につれて、この
ようなクラッシュはますます予測が困難になる。
【０００７】従来技術は、多数のストーリーまたはエピ
ソードあるいはその両方を容易に組み合わせて大規模な
ストーリー（またはハイパーストーリー）を作成する方
法も提供しない。これは主として、上記で論じた制限に
よるものである。エピソード／ストーリーをストーリー
に追加すると、問題の空間的および時間的複雑さが増し
て、通常、ストーリーのプレイ中にさらに多くのエピソ
ード・クラッシュが発生する。割込みなどの非同期事象
が、所与のプレイ時間にどのストーリーをプレイするか
を決定できるので、ハイパーストーリーはさらに複雑で
ある。このため、クラッシュなしで何らかのシーケンス
でプレイできる１組のエピソードが、クラッシュを有す
る異なるシーケンスでプレイされることがある。従来技
術では、ハイパーストーリーで非同期駆動ストーリーを
可能にする問題に適切に対処することも、この問題を解
決することもできていない。
【０００８】
【発明が解決しようとする課題】本発明の一目的は、マ
ルチメディア・セグメントを構成してプレイするための
改良された方法である。
【０００９】本発明の他の目的は、クラッシュなしでプ
レイできるマルチメディア・ストーリーを作成するため
の改良された方法である。
【００１０】本発明の他の目的は、複数のマルチメディ
ア・ストーリーを、クラッシュなしでプレイできるハイ
パーストーリーに構成するための改良された方法に関す
る。
【００１１】
【課題を解決するための手段】本発明は、空間要件およ
び時間要件をもつマルチメディア情報のセグメントを、
クラッシュのないストーリーとして一緒にプレイできる
ように構成する方法である。本発明は、セグメントの構
成を２つの部分、すなわち時間構成と空間構成に分割す
る新規の特徴を有する。基本的に、時間構成は、エピソ
ードと呼ばれる、ストーリー用に選択されたセグメント
を多数のグループ、すなわち時間クリークに分割するよ
うに実行される。これらの時間クリークそれぞれ中のエ
ピソードは、クリークにないエピソードの空間要件を考
慮せずに空間的に構成することができる。マルチメディ
ア・エピソードの時間構成と空間構成をこのように新た
に分離することによって、非常に多数のマルチメディア
・セグメントを、ストーリー中でクラッシュなしでプレ
イできるように構成することができる。
【００１２】この方法は、ストーリーとして一緒にプレ
イされる１つまたは複数のマルチメディア・セグメント
（エピソード）を選択することによって開始する。スト
ーリー・エピソードは、エピソードの間の時間関係を確
立することによって、ストーリーを定義するように、た
とえば時間レイアウトでスケジューリングされる。エピ
ソードは次いで、エピソード・スケジュール（時間レイ
アウト）を使用して、時間クリークと呼ばれるグループ
に時間的に構成される。各時間クリーク中のエピソード
は次いで、クリークにないエピソードの空間構成要件を
考慮せずに、クリークの他のメンバと共に空間的に構成
される。最後に、各時間クリーク中のエピソードがそれ
自体の空間構成に独立に適合しているので、時間クリー
クとして構成されたストーリー・エピソードは、時間レ
イアウトでスケジューリングしたとおりにクラッシュな
しでプレイすることができる。
【００１３】有向グラフを使用して複数のストーリーの
間の関係を確立することによってより大規模なマルチメ
ディア・ドキュメントを作成することができる（有向グ
ラフのストーリーは、上記で説明した方法で設計され構
成される）。ハイパーストーリーとも呼ばれるこのドキ
ュメントは、有向グラフのノードとしてストーリーを定
義することによって作成される。グラフのエッジは、グ
ラフでの特定のストーリー・ノードのプレイを開始する
制御条件を定義する。この制御条件を使用して、ストー
リーの間の時間関係にかかわらず、グラフ中の選択され
たノード／ストーリーを呼び出して該ノード／ストーリ
ーに分岐することができる。有向グラフで表された制御
条件を使用すると、ストーリーを非同期的にプレイする
ことができ、すなわち割込みなどの外部事象によって開
始することができる。
【００１４】
【実施例】本発明は、マルチメディア情報をユーザに提
示する能力を有する汎用コンピュータ・システム上で走
行することができる。図１でブロック図として示した１
つの好ましい実施例１００は、ＩＢＭパーソナル・シス
テム／２（ＰＳ／２）モデル８５９５マイクロチャネル
床置き４８６システム１０５（IBM Personal System/2
(PS/2) Model 8595 Microchannel Floor Standing 486
System 105）（システム装置に付属の早見表に記載）を
使用している。ＩＢＭパーソナル・システム／２（ＰＳ
／２）アクションメディアＩＩディスプレイ・アダプタ
１１０（IBMPersonal System/2 (PS/2) ActionMedia II
Display Adapter 110）（アクションメディアＩＩテク
ニカル・リファレンス（ActionMedia II Technical Ref
erence）に記載）はオーディオ／ビデオ収集１２２およ
び再生１２４用に使用される。この好ましい実施例は、
ＩＢＭオペレーティング・システム／２（ＯＳ／２）
２．０（IBM Operating System/2 (OS/2) 2.0）（ＯＳ
／２ ２．０早見表に記載）、ＩＢＭマルチメディア・
プレゼンテーション・マネージャ／２（IBM Multimedia
Presentation Manager/2）（ＩＢＭマルチメディア・
プレゼンテーション・マネージャ／２アクションメディ
ア（Ｒ）ＩＩメディア・コントロール・インタフェース
・プログラミング・ガイド・アンド・リファレンス（IB
M Multimedia Presentation Manager/2 ActionMedia
(R) II Media Control Interface Programming Guide a
nd Referenceに記載）、およびスモールトーク／ＶＰＭ
（Smalltalk/VPM）（スモールトーク／ＶＰＭチュトー
リアル・アンド・プログラミング・ハンドブック（Smal
ltalk/VPM Tutorial and Programming Handbookに記
載）も使用する。汎用コンピュータに接続できる当技術
分野で知られた他のマルチメディア・ハードウェア１３
０も使用することができる。このハードウェア１３０
は、ビデオ・カセット録画装置、レーザ・ディスク・プ
レイヤ・アダプタ、オーディオ収集再生アダプタなどを
含むことができる。ＯＳ／２およびＰＳ／２のマークは
本出願人の商標であり、ActionMedia IIのマークはイン
テル・コーポレーション（Intel Corporation）の商標
であり、Smalltalk/VPMのマークはディジタルトーク（D
igitaltalk, Inc.）の商標である。
【００１５】図２は、本発明の方法２００のステップを
示すフローチャートである。
【００１６】この方法は、相互に関係を有しても有さな
くてもよい１組のマルチメディア・セグメントから開始
する。次いで２１０で、ストーリーで使用されるこれら
のセグメントのサブセットが選択される。選択されたセ
グメントをストーリーのエピソードと呼ぶ。次いで２２
０で、ストーリー・エピソードは、ストーリーを定義す
るように一緒にスケジューリングされる。２２０では、
このスケジューリングを時間レイアウトで表すことがで
きる。
【００１７】２３０で、時間レイアウトを使用して、各
ストーリーのエピソードが時間クリークにグループ化さ
れる。好ましい実施例では、各時間クリーク中のエピソ
ードは、時間クリークの各エピソードの継続時間の一部
が、時間クリーク中の他のすべてのエピソードの継続時
間の一部と重なり合うという特徴を有する。クリーク中
の他のどのエピソードの継続時間の一部とも重なり合わ
ないエピソードは、このクリークから削除され、他のク
リーク中に置かれる（代替実施例では、どのクリークと
も重なり合わないある種のエピソードはクリークに残る
ことができる。その一例は、他のクリーク・メンバの継
続時間内に開始して終了するエピソードである）。時間
クリーク中のすべてのエピソードの継続時間が重なり合
っているので、各時間クリークのエピソードはある時点
では一緒に存在し、したがって、一緒にプレイ（表示）
されるように相互に空間的に構成する必要がある。一般
に、クリークのメンバの継続時間のどの部分とも重なり
合わないエピソードは、どの時点でも時間クリーク・メ
ンバ（グループ）と一緒に存在せず、時間クリークのす
べてのメンバに対して空間的に構成する必要はない。し
たがって、このようにストーリー・エピソードを時間ク
リークに構成するという新規な方法によれば、時間クリ
ークにないストーリー中のエピソードの空間構成を考慮
せずに、一緒に空間的に構成できるエピソード・メンバ
を含むグループ（時間クリーク）に、ストーリーのエピ
ソードを分離することができる。その結果、多数のマル
チメディア・セグメント（エピソード）を含む複雑なマ
ルチメディア・ドキュメントを空間的にも時間的にも構
成するために、そのドキュメントを、それぞれを空間的
に構成するだけでよい、より小さなストーリー・エピソ
ード・グループ（時間クリーク）に分離することができ
る。
【００１８】さらに、本発明のこの新規な特徴は、大規
模なマルチメディア・ドキュメントを設計して作成する
より効率的な方法も提供する。最終ドキュメントを定義
した（すなわち、エピソードをスケジューリングした）
後、エピソードは、相互に独立に空間的に構成できる時
間クリークに構成される。これによって、完全な最終マ
ルチメディア・ドキュメントをスケジュール（たとえ
ば、時間レイアウト）に応じてクラッシュなしで構成し
てプレイすることができる。このように構成してプレイ
することは、従来技術の方法では達成が困難または不可
能である。
【００１９】方法２００の次のステップ２４０では、各
時間クリークのエピソードが空間的に構成される。空間
構成は、時間クリーク中の各エピソードが、該クリーク
中の他のエピソードと共にプレイ（表示）されるときに
どんな空間特性を有するかを決定する。この空間特性
は、ディスプレイ上のエピソードの寸法、形状、配向、
および位置を含む。ストーリー・エピソードが、空間的
に構成される前に時間クリークにグループ化され、かつ
時間クリークが、ある一時点で一緒に存在するエピソー
ドをすべて含むので、各時間クリーク中のエピソード
は、ストーリー（ハイパーストーリー）の他の時間クリ
ーク中のエピソードの空間構成とは独立に空間的に構成
することができる。言い換えると、各時間クリーク上の
エピソードは、ストーリーの画面上でプレイ（表示）さ
れるエピソードを表す（画面とは、ストーリー／ハイパ
ーストーリーのある一時点でプレイされるものであ
る）。ストーリー（ハイパーストーリー）のすべての時
間クリークの空間構成が完了した後、２５０で、時間レ
イアウト中のスケジュールに応じてクラッシュなしでエ
ピソードをプレイすることができる。
【００２０】２１０でストーリーを構成するエピソード
を選択するステップが、ストーリーを作成する際の最初
のステップである。典型的なマルチメディア・システム
１００では、１つまたは複数のメモリ記憶構成要素１４
０が複数のマルチメディア・セグメントを含む。上述の
ように、これらのセグメントは、プレイ（表示）できる
（１３４）ある種の知覚品質を有する。たいていの場
合、２１０でセグメントの一部またはすべての選択を決
定するのはシステム・ユーザである。キーボード入力や
ポイント・アンド・クリック選択などの一般的に知られ
た方法を使用して、セグメント選択の際にユーザを助け
ることができる。しかし、何らかの基準に基づいて選択
２１０を実行する何らかの他の外部装置、たとえばコン
ピュータやコンピュータ・プログラムによって、ストー
リーのマルチメディア・セグメントを選択することがで
きる。たとえば、ユーザ（または外部装置）は、日当た
りのよい場所のフィルム・クリップである、メモリ記憶
構成要素１４０中のマルチメディア・セグメントをすべ
て選択することができる。
【００２１】ユーザは、２１０で、ストーリーの一部で
あるマルチメディア・セグメントを選択した後、２２０
で、選択されたセグメント（ここではエピソードと呼
ぶ）をどのようにプレイすべきかをスケジューリングす
ることによってストーリーを定義する。ストーリー・エ
ピソードのプレイをスケジューリングするには、マルチ
メディア・エピソードをスケジューリングしてストーリ
ーを定義する多数の知られた方法のうちのどれでも使用
することができる。
【００２２】ストーリー・エピソードをスケジューリン
グするための１つの好ましい実施例は、時間レイアウト
を使用する。図３は、ビデオ１ ３１２、オーディオ１
３２２、テキスト１ ３３２、ボタン１ ３４２、お
よびサンスノー３５２の５つの選択されたマルチメディ
ア・エピソードを含む時間レイアウトの例３００を示
す。ビデオ１は、マルチメディア・システム１００によ
って、時間線３６０のある時点から（３１０）プレイ
（表示）されるある特定の事象のビジュアル・クリップ
でも映画でもよい。ビデオは、時間線３６０の後の時点
３１４で終了し、したがって、開始３１０から終了３１
４まで続く継続時間３１２を有する（時間線３６０は、
システム１００上で走行するコンピュータ・プログラム
中のある種のカウンタまたはクロックによって確立する
ことができる。一般にタイミング信号を提供するために
使用できる、システム１００オペレーティング・システ
ムやクロックなどの他の手段も使用することができ
る）。同様に、オーディオ１ ３２２は開始３２０、継
続時間３２２、および終了３２４を含むオーディオ・ク
リップであってよい。テキスト１は、開始３３０、継続
時間３３２、および終了３３４を含む何らかの表示テキ
スト情報であってよい。ボタン１は、開始３４０、継続
時間３４２、および終了３４４を含む画面選択可能ボタ
ン・アイコンであってよい。サンスノーは、開始３５
０、継続時間３５２、および終了３５４を含む、晴れた
日の雪に覆われた山を示すビデオ・クリップであってよ
い。時間レイアウト３００は、各ストーリー・エピソー
ドがどの時点でプレイされるか、すなわち各ストーリー
・エピソードがいつ開始して終了するかを確定し、した
がって各エピソードがどれだけ継続するか（継続時間）
を確定することによってストーリーを定義する。言い換
えると、ストーリーは、ストーリー・エピソード（３１
２、３２２、３３２、３４２、および３５２）を時間ス
ケジュールに関連付けることによって時間レイアウト３
００で定義される。
【００２３】さらに時間レイアウト３００を調べると、
時間レイアウト３００によってストーリー・エピソード
（３１２、３２２、３３２、３４２、および３５２）が
どのように関連付けられてストーリーを定義しているか
が分かる。ビデオ１ ３１２とテキスト１ ３３２は共
にある時点３６０で開始する（それぞれ３１０および３
３０）。これは、ビデオ１ ３１２ビジュアル・クリッ
プがテキスト１の継続時間３３２中、テキスト１ ３３
２と共に表示されることを意味する。３３４でテキスト
１ ３３２が終了した後、３１４でビデオ１ ３１２が
終了するまで、ボタン１ ３４２がビデオ１ ３１２ビ
ジュアル・クリップと共にディスプレイ上に表示され
る。この時点３１４で、オーディオ１ ３２２は３２０
で、ボタン１ ３４２の視覚表示と共にプレイを開始す
る。３２４でオーディオ１ ３２２が終了する前にある
時点３４４で、ボタン１ ３４２が終了する。オーディ
オ１３２２は次いで、３５０でサンスノー３５２が開始
するまで単独でプレイされる。オーディオ１ ３２２と
サンスノー３５２は共に同じ時間に終了する（それぞれ
３２４と３５４）。（サンスノー３５２の開始時点３５
０は、サンスノー３５２の終了３５４および継続時間３
５２を知ることによって決定することができる）。
【００２４】図４は、時間レイアウト４００のさらに好
ましい実施例である。この時間レイアウト４００で、ビ
デオ１ ３１２、オーディオ１ ３２２、テキスト１
３３２、ボタン１ ３４２、およびサンスノー３５２
は、図３で説明したものと同じマルチメディア・エピソ
ードである。これらのエピソードも、上記で説明した
（さらに番号付けした）ように開始、継続時間、および
終了を有する。しかし、この時間レイアウト４００で
は、各エピソードの開始、継続時間、および終了は、あ
る種のウィンドウ内で変化することができる。たとえ
ば、エピソード・ビデオ１ ３１２は、ウィンドウ４１
０で定義された時間内で変化できる開始３１０、継続時
間３１２、および終了３１４を有する。同様に、オーデ
ィオ１ ３２２は、ウィンドウ４２０で定義された時間
内で変化できる開始３２０、継続時間３２２、および終
了３２４を有する。テキスト１ ３３２は、ウィンドウ
４３０で定義された時間内で変化できる開始３３０、継
続時間３３２、および終了３３４を有する。ボタン１
３４２は、ウィンドウ４４０で定義された時間内で変化
できる開始３４０、継続時間３４２、および終了３４４
を有する。サンスノー３５２は、ウィンドウ４５０で定
義された時間内で変化できる開始３５０、継続時間３５
２、および終了３５４を有する。
【００２５】図４の時間レイアウト４００のようにスト
ーリー（ハイパーストーリー）を定義できれば、マルチ
メディア・ドキュメントを定義し、変更し、作成する際
にずっと高い柔軟性がユーザに与えられる。なぜなら、
すべてのエピソードが、時間線３６０（たとえばクロッ
ク）によって与えられる特定の時間に開始、継続時間、
および終了を結合する必要があるわけではないからであ
る。たとえば、ビデオ１ ３１２などのストーリー・エ
ピソードは、ストーリーの残りの部分の設計も作成も行
わずに最小１５秒間ないし最大３５秒間プレイされる柔
軟性を有する。しかし、まさにこの理由のために、ある
エピソードの開始、継続時間、または終了を変更する
と、１つまたは複数のストーリー・エピソードが開始し
終了する時点が変更され、予期しないクラッシュが発生
することがあるので、ストーリー（ハイパーストーリ
ー）のエピソードを構成することが一層困難である。
【００２６】本発明は、マルチメディア・エピソードを
スケジューリングする新規の方法を使用して、時間線３
６０に関してではなくストーリー中の他のエピソードに
関して１つまたは複数のストーリー・エピソードをスケ
ジューリングできるようにする。このエピソード間関係
を確立するには、１組のストーリー・エピソードをｍ ｉ
として定義する。ここでｉは、ｎ個のストーリー・エピ
ソードのセット中の所与のストーリー・エピソードを表
す。すなわち、ｉ＝１、２、、、ｎである。エピソード
ｍ ｉ の継続時間がエピソードの存在を定義するので、ｍ
ｉ の語がエピソードとその継続時間を共に指定すること
に留意されたい。１組のストーリー・エピソードのメン
バｍ ｉ が与えられている場合、本発明は以下の３つの制
約を使用することによってセット・メンバ（エピソー
ド）の間に関係を確立する。
【００２７】１．同じ始めを共用するエピソード
ｍ ｉ 、、、ｍ ｎ を指定する開始（ｍ ｉ 、、、ｍ ｎ ）
【００２８】２．同じ終りを共用するエピソード
ｍ ｉ 、、、ｍ ｎ を指定する終了（ｍ ｉ 、、、ｍ ｎ ）
【００２９】３．終りをエピソードｍ ｎ の始めと共用す
るエピソードｍ ｉ を指定する一致（ｍ ｉ 、、、ｍ ｎ ）
【００３０】制約１および２の引数、すなわち開始（）
および終了（）は任意の順序であってよいことに留意さ
れたい。ダミー・エピソードを使用することもできる。
すなわち、エピソードｍ ｉ は非ゼロ継続時間をもつこと
ができるが、プレイ（表示）するものをもつことはでき
ない。ダミー・エピソードを使用して、時間遅延を発生
させることができる。さらに、これらの制約を既知の方
法と共に使用して、所与のエピソードの開始、継続時
間、および終了を決定することができる。たとえば、エ
ピソードｍ ｉ の開始（ｍ ｉ ）、および終了（ｍ ｉ ）が与
えられている場合、継続時間（ｍ ｉ ）は以下のように求
めることができる。
【数１】 継続時間（ｍ ｉ ）＝終了（ｍ ｉ ）−開始（ｍ ｉ ）
【００３１】エピソードｍ ｉ の継続時間が、ストーリー
Ｓがプレイされる時間内である場合、エピソードｍ ｉ は
ストーリーＳ内にある。
【００３２】第４の制約の「従属」制約は、固定された
継続時間をもたないテキストや静止画像などのエピソー
ドを扱うときに定義すると有用である。「従属（ｍ ｓ 、
ｍ ｍ ）」の語は、ｍ ｍ 、すなわちマスタと、ｍ ｓ 、すな
わちスレーブの間にマスタ・スレーブ関係を確立する。
たとえば、テキストを含むエピソードは、ビデオ・クリ
ップ、すなわちマスタのスレーブとして指定し、マスタ
の継続時間（または他の特性）を与えることができる。
【００３３】図４の時間レイアウト４００にこれらの制
約を適用すると、開始（ビデオ１、テキスト１）はエピ
ソード・ビデオ１ ３１２とテキスト１ ３３２の間に
開始関係４６０を確立して、それらが同じ時間に開始す
るように制約する。一致（ビデオ１、オーディオ１）
は、ビデオ１ ３１２の終了３１４の直後にオーディオ
１ ３２２をプレイさせる（開始させる（３２０））関
係４６２を、エピソード・ビデオ１ ３１２とオーディ
オ１ ３２２の間に確立する。同様に、一致（テキスト
１、ボタン１）は、３３４でテキスト１ ３２２が終了
した直後にボタン１ ３４２をプレイさせる（開始させ
る（３４０））関係４６４をエピソード・テキスト１
３３２とボタン１ ３４２の間に確立する。最後に、終
了（オーディオ１、サンスノー）は、両方のエピソード
を同時に終了させる（それぞれ３２４および３５４）関
係４７０をエピソード・オーディオ１ ３２２とサンス
ノー３５２の間に確立する。ストーリー・エピソードの
間のこれらの関係と他のエピソード特性が与えられる
と、時間レイアウト４００はストーリーを完全に定義す
る。たとえば、ストーリー・エピソードの継続時間は、
継続時間（ビデオ１）＝１３秒、継続時間（オーディオ
１）＝８秒、継続時間（テキスト１）＝７秒、継続時間
（ボタン１）＝５秒、および継続時間（サンスノー）＝
１０秒のように与えることができる。この情報、ストー
リー・エピソードの間の関係、時間線上の相対点（すな
わち、ストーリーが開始するとき）によって、すべての
ストーリー・エピソードの開始および終了を当技術分野
で周知の技術によって時間線３６０に対して決定するこ
とができる。エピソード関係、すなわち開始および終了
（または開始、継続時間、および終了の組合せ）を定義
することによって、エピソード継続時間（残りの時間レ
イアウト情報）を定義することもできる。この決定され
た情報を使用することによって、図４のような時間レイ
アウトを図３のような時間レイアウトに縮小することが
できる。
【００３４】この開示を与えられた当業者ならば、本発
明の範囲および構想の範囲内のエピソード・スケジュー
リングまたは時間レイアウト、あるいはその両方を使用
して、ストーリーを定義する様々な代替方法を開発でき
よう。
【００３５】再び図２を参照すると、ボックス２３０
は、ストーリー（ハイパーストーリー）エピソードを時
間クリークにグループ化するステップを示す。このステ
ップは、本発明の新規なステップであって、ストーリー
を１つまたは複数のグループに分離することにより、こ
れらのグループが、２４０で相互に独立に空間的に構成
できるようにする。ストーリー・オブジェクトを時間ク
リークにグループ化する好ましい方法５００を図５に示
す。図５は、図３に示した例と共に説明する。
【００３６】図３は、以下の議論で括弧内のそれぞれの
文字によって指定されたビデオ１（ｖ）３１２、オーデ
ィオ１（ａ）３２２、テキスト１（ｔ）３３２、ボタン
１（ｂ）３４２、およびサンスノー（ｓ）３５２の５つ
のストーリー・エピソードの時間レイアウトを示す。図
５中の方法は、すべての所望のエピソード、たとえばス
トーリー中のエピソードをすべてリストし、５１０でエ
ピソードをリストから選択することによって開始する。
たとえば、ストーリー・エピソード（ｖ、ａ、ｔ、ｂ、
ｓ）のリストまたはセットからエピソードｖを選択す
る。
【００３７】次のステップ５２０では、選択されたエピ
ソードと重なり合うストーリー（リスト）中のエピソー
ドをすべて決定することによってエピソード・セット
（または最初のリストのサブセット）が作成される（ｖ
が、このパス５４５中に選択されたエピソードであ
る）。ストーリー中のエピソードのオーバラップは、任
意の数の知られた方法によって決定することができる。
たとえば、ストーリー・エピソードの開始が、選択され
たストーリー・エピソードの継続時間中のある時点に存
在する場合、そのストーリー・エピソードは、その選択
されたストーリー・エピソードと重なり合う。代替的
に、ストーリー・エピソードの終了が、選択されたスト
ーリー・エピソードの継続時間中のある時点に存在する
場合、これらのエピソードは重なり合う。当業者なら、
この開示を与えられれば本発明の企図に含まれる、エピ
ソードのオーバラップを決定する他の方法を思いつくで
あろう。選択されたエピソードと重なり合う各エピソー
ドは、選択されたエピソード・セットのメンバになる。
選択されたエピソード・セットが最初のリストのサブセ
ットであることに留意されたい。このサブセットはすべ
てのストーリー・エピソードを含むことができる。
【００３８】ステップ５３０で、選択されたエピソード
がリストから削除され、ステップ５４０で、リストが再
び検査され、選択されていないエピソードがまだリスト
上にあるかどうかが判定される。ある場合、リスト上の
次のエピソードが選択され、５４５で方法はステップ５
１０に戻る。当業者なら、この開示を与えられれば本発
明の範囲および企図に含まれる、ストーリー中の各エピ
ソード用のエピソード・セットを作成する（ステップ５
１０ないし５４０）様々な方法を開発できることを理解
できよう。たとえば、１組のストーリー・エピソード中
の第１のエピソードを選択し、選択されたエピソードと
重なり合うストーリー・エピソードを決定してエピソー
ド・セットを作成し、次のストーリー・エピソードを選
択するように指標付けを行い、すべてのストーリー・エ
ピソードが選択されるまで各ストーリー・エピソード用
のエピソード・セットを作成する、アルゴリズムを作成
することができる。
【００３９】ここで、図３で定義されたストーリーの時
間レイアウトを使用して、ストーリー・エピソードを作
成する一例を提示する。第１のエピソード・ビデオ１
３１２を選択する（ステップ５１０）。エピソード・テ
キスト１ ３３２およびボタン１ ３４２が、選択され
たエピソードと重なり合う。したがって、エピソード・
セットv: {v, t,b}が作成される（ステップ５２０）。
ビデオ１ ３１２をリストから削除する（ステップ５３
０）。まだエピソードがあり（５４０、５４５）、した
がって次のエピソード、すなわちオーディオ１ ３２２
を選択する（ステップ５１０）。ボタン１ ３４２およ
びサンスノー３５２がオーディオ１ ３２２と重なり合
う。したがって、エピソード・セットa: {a, b, s}が作
成される（ステップ５２０）。オーディオ１ ３２２を
削除し（ステップ５３０）、まだリスト上にエピソード
がある（５４０）ので、他のエピソード、すなわちテキ
スト１ ３３２を選択する（ステップ５１０）。ビデオ
１がテキスト１と重なり合い、エピソード・セットt:
{t, v}が作成される（ステップ５２０）。エピソード・
セットを作成するためにストーリー・エピソードを削除
することはないことに留意されたい。このプロセスは、
すべてのエピソード・セットが作成されるまで継続する
（ステップ５２０）。図３中の時間レイアウトの場合、
エピソード・セットは以下のとおりである。
【００４０】 v: {v: t: b} a: {a, b, s} t: {t, v} b: {b, v, a} s: {s, a}
【００４１】１つの好ましい実施例では、ストーリーの
エピソード・セットがすべて得られた後、ステップ５５
０で、ストーリーの冗長なエピソード・セットを削除す
る。代替実施例では、冗長セット５５０の削除を方法の
どこかの点で実行しても、まったく実行しなくてもよ
い。たとえば、５２０でセットを作成するたびにエピソ
ード・セット冗長性に関して検査を行うことができる。
冗長性とは、１つのエピソード・セットが他のエピソー
ド・セット（のサブセット）と同じであり、あるいは他
のエピソード・セット（のサブセット）によって包含さ
れることを意味する。この例では、セット「ｔ」はセッ
ト「ｖ」に関して冗長である（包含されている）。した
がって、セット「ｔ」を削除する。
【００４２】方法は次に進み、各エピソード・セット中
のエピソードがすべてそのセット中の他のすべてのエピ
ソードと重なり合っているかどうかを判定する。ステッ
プ５６０で、所与のエピソード・セット中の次のエピソ
ードを検査して、そのエピソードがセット中の他のすべ
てのエピソードと重なり合っているかどうかを判定す
る。そうである場合、オーバラップに関して試験されて
いないエピソードの有無に関してエピソード・セットを
検査する（ステップ５８０）。検査されていないエピソ
ードがある場合、ステップ５８５および５６０を繰り返
すことによって（エピソード・セット中の他のすべての
エピソードの）オーバラップを検査する。エピソード・
セット中のあらゆるエピソードが検査され、セット中の
他のあらゆるエピソードと重なり合った後、ステップ５
９０で、評価していないストーリー・セットがまだある
かどうかを判定する。ある場合、方法はステップ５５０
の冗長性検査に戻り、次いで、ステップ５６０のオーバ
ラップ検査で再び評価を開始する。代替実施例では、方
法は直接ステップ５６０に戻ることができる。ステップ
５９０で、すべてのエピソード・セットが評価されてい
ると判定された場合、方法は終了し、すべてのストーリ
ー・エピソードは時間クリークにグループ化されている
（図２のボックス２３０）。
【００４３】ステップ５６０のオーバラップ検査によっ
て、エピソード・セット中のエピソードが必ずしも該セ
ット中の他のあらゆるエピソードと重なり合っているの
ではないと判定されるたびに、ステップ５７０でエピソ
ード・セットが分割され、方法は冗長性検査に戻り（ス
テップ５５０）、あるいは直接、ステップ５６０のオー
バラップ検査に戻る。ステップ５７０でエピソード・セ
ットを分割すると、分割されたエピソード・セットから
２つの新しいエピソード・セットが作成される。最初の
エピソード・セットは、第１の新しいセットが、検査中
のエピソードと重なり合う最初のエピソード・セットの
エピソード（検査されているエピソード自体を含む）を
含むように分割される。他方の新しいエピソード・セッ
トは、検査中のエピソードを含まない最初のエピソード
・セット中のエピソードを含む。これら２つの新しいエ
ピソード・セットは、評価されるまで、評価されたエピ
ソード・セットとみなされない（ステップ５６０、５７
０、および５８０）。
【００４４】さらにこの方法５００を示すために、図３
に示した時間レイアウトを使用する例を続ける。５５０
で「ｔ」セットを冗長なものとして除去した後、以下の
エピソード・セットが残る。
【００４５】 v: {v, t, b} a: {a, b, s} b: {b, v, a} s: {s, a}
【００４６】５６０で、エピソード・セット「ｖ」中の
第２のエピソードｔがエピソード・セット「ｖ」中の他
のすべてのエピソードと重なり合うことを確認すること
によってエピソード・セット「ｖ」の評価が開始する。
すべてのエピソードが重なり合っているわけではなく、
したがって５７０で、このセットを分割しなければなら
ない。新しいセットは、「ｔ」と重なり合う最初のエピ
ソード・セット「ｖ」中のエピソード（ｔを含む）を含
む第１のエピソード・セット、すなわちエピソード・セ
ットva: {v, t}から成る。第２のエピソード・セット
は、「ｔ」を含まない最初のエピソード・セット「ｖ」
中のエピソード、すなわちエピソード・セットvb: {v,
b}から成る。これは、ｔが、該最初のセット中のすべて
のエピソードと重なり合っているわけではないからであ
る。最初のエピソード・セット「ｖ」を評価した後（最
初のセットのエピソードは、分割後に削除したので、５
８０では残っていない）、５９０で、評価していないセ
ットがまだあるかどうかを判定し、５９０で、次のエピ
ソード・セット（「ａ」）を選択する。５５０で、エピ
ソード・セット「ｖｂ」は、エピソード・セット「ｂ」
によって包含されているので冗長であり、したがって削
除する。ステップ５６０で、エピソード・セット「ａ」
を評価する。このセットの第２のエピソードｂは、この
セットの他のエピソードｓと重なり合っていない。した
がって５７０で、エピソード・セット「ａ」を分割す
る。上述の基準を使用して、エピソード・セット「ａ」
は新しいエピソード・セットaa: {a, b}とab: {a, s}に
分割される。５８０で、もはやこのセット中にエピソー
ドはない（セット「ａ」は分割／削除されている）が、
５９０で、まだエピソード・セットがあり、したがって
５９０で、次のエピソード・セット「ｂ」を評価用に選
択する。エピソード・セットaa: {a, b}はエピソード・
セット「ｂ」によって包含されており、したがって冗長
であり、５５０で削除する。同様に、エピソード・セッ
トab: {a, s}はエピソード・セット「ｓ」に等しく、し
たがってエピソード・セット「ａｂ」は冗長であり５５
０で削除する。同じ方法に従って、５７０で、エピソー
ド・セット「ｂ」を新しいエピソード・セットba: {b,
v}とbb: {b, a}に分割する。５９０で、次のエピソード
・セット「ｓ」を選択する。５５０で、エピソード・セ
ット「ｂａ」もエピソード・セット「ｂｂ」も冗長では
なく、したがってこれらのエピソード・セットを保持す
る。エピソード・セット「ｓ」中のエピソードはすべて
相互に重なり合っており（５６０、５８０）、したがっ
て分割はいっさい必要とされない（５５０で、エピソー
ド・セット「ｓ」も冗長ではない）。ステップ５９０で
は、もはやストーリー中にエピソード・セットがなくな
るまで、残りのエピソード・セットを選択し続ける（こ
の例で、残りのエピソード・セットとは、分割によって
新しく作成されたものである）。この例では、残りのエ
ピソード・セットはそれぞれ、相互に重なり合うエピソ
ードを有し、冗長なものは１つもない。５９０で、もは
や残りのエピソード・セットがなくなると、方法は終了
し、ストーリー・エピソードは時間クリーク、すなわち
エピソード・セットの最終グループにグループ化されて
いる。この例で、４つの時間クリークは以下のとおりで
ある。
【００４７】 va: {v, t} ba: {b, v} bb: {b, a} s: {s, a}
【００４８】これらの時間クリークは、相互に独立に空
間的に構成できる４つのストーリー・エピソード・グル
ープを表す。具体的には、図３の時間レイアウトで定義
されたストーリーは、どのストーリー・エピソードも相
互にクラッシュすることなく、各時間クリーク用に１つ
ずつの４つの画面でプレイすることができる。この例で
は、第１の画面がビデオ１とテキスト１を共にプレイ
し、第２の画面がビデオ１とボタン１を共にプレイし、
第３の画面がオーディオ１とボタン１を共にプレイし、
第４の画面がオーディオ１とサンスノーを共にプレイす
る。多数のエピソード、たとえば２５より多くのエピソ
ードを含むストーリーを、本発明の方法を使用せずにク
ラッシュなしでプレイするのは困難であることが、この
簡単な例から理解されよう。
【００４９】図２に戻ると、ステップ２４０で、ある時
間クリーク中のエピソードは、他の時間クリーク中のエ
ピソードの空間構成とは独立にまとめて空間的に構成さ
れている。一般形状をディスプレイ上で空間的に構成す
る多数の方法が知られている。これらはどれでも好まし
い実施例として使用することができる。時間クリークが
少数のエピソードを含む場合、エピソードをディスプレ
イ上に配置することは簡単であり、手動で行うことがで
きる。しかし、クリーク中に多数のエピソードがある場
合、ないしクリークが引き離されている場合、すなわち
複数のクリークが共通のエピソードをもつことができる
場合、空間構成はより複雑になることがある。以下の議
論が、本発明の普遍性を失わずにビジュアル・ディスプ
レイを空間的に構成することに言及することに留意され
たい。たとえば、オーディオ・クリップはビジュアル・
エピソードとの何らかの関係でプレイすることができ
る。さらに、音量などの特性を調整することによって、
オーディオ・クリップをまとめて「空間的に構成する」
ことができる。
【００５０】ステップ２３０で、ストーリー・エピソー
ドを時間クリークにグループ化することによって、スト
ーリー・エピソードを多数の空間構成に構成する、すな
わちストーリー・エピソードを各時間クリークごとに１
つずつ構成する問題が軽減された。１つの好ましい実施
例では（図６参照）、各クリークの空間構成は、繰返し
（６３０）２ステップ方式６００によって行われる。第
１のステップは６１０で、クリーク・エピソードを最初
の位置に置き、第２のステップは６２０で、クリーク・
エピソードの間で空間要件を交渉する。
【００５１】クリーク・エピソードの最初の部分を確立
するには、ある種の空間制約を使用することができる。
たとえば、各エピソードには特定の形状（たとえば長方
形）、最小表示面積、および縦横比の範囲を割り当てる
ことができる。さらに、相対配置制約を提供することが
できる。たとえば、ある種のエピソードは、１つまたは
複数の他のエピソードに対して、たとえばそれらの右上
に位置決めする必要があることがある。エピソードによ
っては、画面上のある位置、たとえば左下かどに位置決
めする必要があるものがある。この情報は、マウスによ
るポイント・アンド・クリックやキーボードなどの様々
な知られた入力手段によってユーザが提供することがで
きる。相対配置制約は、デフォルトとして提供すること
もできる。一例として、時間クリーク中のすべてのエピ
ソードが必要とする面積の和を収容するのに十分な表示
面積を保持するために、あるエピソードが最小面積要件
を占有する必要があることがある。
【００５２】時間クリーク中でのエピソードの最初の配
置６１０は、望ましいものではないことがある。たとえ
ば、最初のレイアウトでは、エピソードの間に（空間的
な）オーバラップまたは望ましくない空間があり得るか
らである。時間クリーク中の多数のエピソードを空間的
に構成する場合、１つまたは複数のエピソードの空間要
件を交渉する必要があることがある。この交渉６２０
は、公知のグラフィカル・インタフェースを使用してユ
ーザが手動で行い、あるいは自動的に行うことができ
る。形状を自動的に空間的にレイアウトする好ましい方
法は、「フォース」方式と呼ばれ、米国特許第５３９８
１９５号に記載されている。
【００５３】フォース方式は、所与の数の長方形ブロッ
ク（ただし、他の形状も使用できる）がコンピュータ回
路レイアウト上に位置決めされるＶＬＳＩフロア・プラ
ニング・プロセスで有用である。この方式は、ディスプ
レイ上での形状の空間レイアウトに直接適用することが
できる。２つ以上の長方形ブロックの間にある量の空間
オーバラップが与えられている場合、この方式では１組
の「反発力」を算出し、この力を使用して形状を相互に
引き離し、あるいは指定された縦横比範囲および最小面
積要件内で形状を変更する。２つ以上の形状の間に空間
があるとき、この方式では、形状の間にどれだけの空き
空間があるかに基づいてブロック間の「引力」も算出す
る。引力は、反発力を導くために使用される。
【００５４】１つまたは複数のエピソードが引き離され
ている場合、すなわちエピソードが複数の時間クリーク
にグループ化されている場合、空間レイアウト問題はあ
る意味で、非直行便上の乗客に座席を割り当てる問題に
類似している。乗客によっては、最終目的地に向かう人
もいれば、中間目的地で乗り降りする人もいる。しか
し、座席が乗客に割り当てられた後、乗客は、旅行の継
続時間中、座席に座り続けると予期される。したがっ
て、１つの好ましい実施例は、たとえばエピソードが複
数のクリークのメンバかどうかを判定することによっ
て、引き離されたエピソードを検出し、ディスプレイ上
の固定された空間位置を、引き離されたエピソードに割
り当てる。割り当てられた位置を有するエピソードは、
交渉プロセスに参加しない。割り当てられた位置をもつ
エピソードは可能ならば、他のエピソードを強制的にそ
れ自体の周囲に配置させる。
【００５５】ユーザが配置に課した制約を満たすことが
できないので、空間レイアウトを自動的に得るプロセス
は必ずしも解決策を提供しない。アルゴリズムでそのよ
うな矛盾を検出することができ、ユーザは６４０で、最
初の配置６１０を繰り返し、６２０で、所望の設計が見
つかるまで新しい１組の制約を含む新しいサイクルを交
渉することができる。時間順序（時間レイアウト）の割
当てを変更することが繰返しプロセス６３０の一部であ
ることに留意されたい。
【００５６】図７は、図３の例用に開発された、可能な
１組の空間レイアウト７００の例である。空間レイアウ
ト（またはディスプレイ）７６０ないし７６４は、上記
のステップ２３０および２４０の考察から開発された、
図３の例の４つの空間構成を表す。空間構成７６１、７
６３、および７６４がそれぞれ時間クリーク「ｂａ」、
「ｂｂ」、および「ｓ」に関連するように、空間構成７
６０は、時間クリーク「ｖａ」に関連する。７１２とし
て表示されたエピソード・ビデオ１と、７２２として表
示されたオーディオ１は、複数の時間クリークに属する
という点で引き離されている。したがって、エピソード
・ビデオ１ ７１２はそれがメンバである時間クリーク
に関連する２つの画面７６０および７６１に表示され、
エピソード・オーディオ１はそれがメンバである時間ク
リークに関連する画面７６３および７６４上に表示され
る（以下の画面７６５の考察を参照）。空間構成ステッ
プ２４０（上記）の１つの好ましい実施例で論じたよう
に、引き離されたエピソードは、空間位置を与えられた
後、可能ならばそれを保持し、時間クリーク中の他のエ
ピソードは該エピソードの周りに構成される。
【００５７】この方法が、時間レイアウト３００によっ
て定義されたストーリー中のすべてのクリークに「空
間」構成を与えたことに留意されたい。この「空間」構
成は、ビジュアル・ディスプレイ上で表示されない、オ
ーディオ１などのエピソードを含む。この例では、空間
構成ステップ２４０によって、オーディオ１のプレイ中
に「空白」スポットを有するビジュアル・ディスプレイ
が作成されることに留意されたい（これは、この方法の
空間構成が視覚的でないエピソードを含み、それを「空
間的に」構成するからである）。これを受け入れるかど
うかを決定するのはユーザ／設計者の責任である。受け
入れない場合、ユーザ／設計者は２１０で、オーディオ
１ ３２２と共にプレイされる追加ビデオ・クリップ、
たとえば静止画像７２２を選択する。この新たに選択さ
れたビデオ・クリップは時間レイアウト３００上のオー
ディオ１ ３２２とまったく同じ継続時間をもつことが
できる。したがって、これを追加しても方法２００の結
果は変化しない。新たに選択されたビデオ・クリップ、
たとえば静止画像は、オーディオ１ ３２２のプレイ中
にビジュアル・ディスプレイ上に表示される。これは、
ユーザ／設計者のオプションで、空間レイアウト（ビジ
ュアル・ディスプレイ）７６３ないし７６５で行うこと
ができる。
【００５８】空間構成またはディスプレイ７６５が時間
クリークに関連していないことに留意されたい。これ
は、このディスプレイ７６５中にエピソードが１つしか
ないからである。このエピソード７２２は実際には、前
の時間クリーク７６３によって包含され、１つのエピソ
ードのボタン１ ７４２がオフにされたこのクリークの
継続とみなすことができる。７６５などの単一エピソー
ド・ディスプレイは２４０で空間構成を行う上では重要
でないので、このような状況は本発明の方法に問題を与
えない。
【００５９】再び図２中の方法２００を参照すると、時
間レイアウト３００によって定義されたストーリー全体
を、ステップ２５０で、エピソード・クラッシュなしで
プレイすることができる。これは、ストーリーの時間レ
イアウト３００で定義された順序またはシーケンスで、
各時間クリークのエピソードを一緒にプレイすることに
よって行われる。たとえば、ビデオ１とテキスト１は、
時間レイアウト３００で決定されたようにビデオ１ ３
１０とテキスト１ ３３２が重なり合う間に時間クリー
ク「ｖａ」７６０の空間構成に応じて一緒にプレイされ
る。３３４で、テキスト１ ３３２が終了すると、ビデ
オ１ ３１２とボタン１ ３４２は、時間レイアウト３
００で定義されたようにビデオ１ ３１２とボタン１
３４２が共通の継続時間をもつ間（すなわち、３１４で
ビデオ１が終了するまで）、時間クリーク「ｂａ」の空
間構成７６１に応じて一緒にプレイされる。オーディオ
１３２２とボタン１ ３４２は、これらのエピソードが
時間レイアウト３００で共通の継続時間をもつ間（ボタ
ン１は３４４で終了する）、時間クリーク「ｂｂ」７６
３の空間構成に応じて一緒にプレイされる。その後、次
に、３５０でサンスノー３５２が開始して、オーディオ
１ ３２２と共に終了する（それぞれ３２４および３５
４）までの共通の継続時間中、該オーディオ１ ３２２
と共にプレイされるまで、オーディオ１ ３２２は単独
でプレイされる（１つのエピソードに必要な空間構成が
ない）。オーディオ１ ３２２とサンスノー３５２は、
時間クリーク「ｓ」７６４の空間レイアウトに応じて一
緒にプレイされる。
【００６０】本発明の新規の特徴によって、ストーリー
中の他の時間クリークとは別々に空間的に構成できる時
間クリークにストーリー・エピソードを分離できるよう
になるので、本発明は非同期プレイ、すなわち所与のス
トーリー内からの（または所与のストーリーの終了後
の）他のストーリーへの呼出しまたは分岐も可能にす
る。呼出しまたは分岐は、呼び出される（または分岐す
る先の）ストーリー内のエピソードと共に発生する可能
性があるクラッシュを考慮せずに、本発明の方法で構成
される他のストーリーに対して行うことができる。本発
明のこの機能を使用すると、マルチメディア・ドキュメ
ントの設計、作成、構成、およびプレイで長い間感じら
れている必要、すなわち複数の小さなマルチメディア・
ストーリーを接続してより大規模なマルチメディア・ド
キュメントまたはハイパーストーリーを形成する必要が
満たされる。
【００６１】本発明がハイパーストーリー中のストーリ
ーのエピソードを相互に独立に空間構成される時間クリ
ークに分離するため、ハイパーストーリーの作成が可能
になる。したがって、２５０で、時間クリークによって
エピソード・クラッシュなしでストーリーをプレイする
ことができる。同様に、時間クリーク内のストーリー・
エピソードがハイパーストーリー中の他のストーリーの
時間クリーク内のエピソードとは独立に空間的に構成さ
れるので、異なるストーリーの時間クリークをクラッシ
ュなしでランダム順序で順次プレイすることができる。
したがって、ハイパーストーリー内のストーリーへの分
岐または呼出し、あるいはハイパーストーリー内のスト
ーリー内の点との間の呼出し（分岐）でさえ、そのスト
ーリーのエピソードが本発明の方法２００によって空間
的に構成されるので、呼び出される（分岐する先の）ス
トーリーのエピソードのクラッシュのないプレイを開始
する。これによって、従来技術の方法では可能だとして
も効率的に行うことができない、非常に大規模なマルチ
メディア・ドキュメントの設計、作成、構成、およびプ
レイが可能になる。
【００６２】図８は、ハイパーストーリーの設計／使用
の１つの好ましい方法８００を示すフローチャートであ
る。ハイパーストーリーの設計には、１組のストーリー
（設計者またはユーザによって選択される）８１０、ハ
イパーストーリー中のストーリー間の関係８２０、非同
期事象用の１組の条件８３０、ならびに割込み、呼出
し、分岐などの非同期事象を開始する１組の制御８４０
が必要である。
【００６３】前述のように、ハイパーストーリー中の１
組のストーリーはハイパーストーリー設計者／ユーザに
よって決定される。設計者／ユーザは、本発明の方法２
００によって時間的および空間的に構成された複数のス
トーリーを選択する。ハイパーストーリー設計者／ユー
ザは次に、ハイパーストーリー中のストーリーの間に１
組の関係を確立する。これは、当技術分野で周知の方
法、たとえば有向グラフ、さらに具体的にはペトリ・ネ
ットを使用して行われる。
【００６４】図９は、ハイパーストーリー中のマルチメ
ディア・ストーリーの間に（非同期）関係８２０を確立
するために使用される有向グラフ９００、たとえばペト
リ・ネットの一例である。有向グラフ（ペトリ・ネッ
ト）のノード９１０、９２０、９３０、および９４０
は、図８中のステップ８１０でユーザ／設計者によって
選択されたストーリーである。グラフ９００（ペトリ・
ネット）のアーク９０５、９１５、９２４、９２６、９
３５、および９４５のエッジは、グラフ９００上に表さ
れたハイパーストーリーのストーリーの間の条件付き関
係を表す。これらの非同期関係は、ハイパーストーリー
のストーリーの間の条件付きリンク、すなわち設計者／
ユーザによって作成された何らかの「条件」８３０によ
って制御または確立できる接続（呼出しや分岐など）と
みなすことができる。これらの条件は、条件を満たすこ
とを示す何らかの計算によってトリガできるという点で
動的であってよい。リンクは、ハイパーストーリー中の
ストーリーの時間的および空間的レイアウトを変更せず
に呼び出し、変更し、あるいは無視することができる。
ストーリー（ハイパーストーリー）エピソードの時間的
および空間的構成が本発明の方法２００によって、変化
する非同期関係から分離されるので、この特徴は本発明
によって可能になる。
【００６５】確立されたストーリー関係８２０と、この
関係の条件８３０とを、ここでさらに、一例として有向
グラフ９００を使用して定義する。アーク９０５は、ス
トーリーＳ１、すなわちグラフ・ノード９１０のプレイ
を開始するために満たされた条件である。Ｓ１がプレイ
を完了すると、アーク９１５として示した、ストーリー
Ｓ２（グラフ・ノード９２０）がプレイを開始する条件
が満たされ、Ｓ２がプレイを開始する。同様に、ストー
リーＳ２がプレイを終了した場合、ストーリーＳ３（グ
ラフ・ノード９３０）を開始する条件（アーク９２６）
が満たされ、ストーリーＳ３がプレイを開始する。この
プロセスは、アーク９３５で示したように、ストーリー
Ｓ３がプレイした後も継続する。しかし、グラフ・ノー
ド９２０中のストーリーＳ２のプレイ中に何らかの外部
条件または非同期条件Ｃ２が発生した場合、制御はアー
ク９２４に移り、たとえばストーリーＳ４（グラフ・ノ
ード９４０）がプレイを開始する。ストーリーＳ４が終
了すると、アーク９４５の条件が満たされ、このアーク
９４５で設計された次の動作が実行される。
【００６６】アーク９１５、９２４、９２６、９３５、
および９４５が、グラフ中の制御を転送し、かつ前のス
トーリーを終了させることか、またはストーリーが終了
する前に発生する何らかの条件Ｃ２によって、転送用の
条件を満たしてもらえることに留意されたい。たとえ
ば、ストーリー中の中間時間クリークがプレイされた
後、ストーリーがプレイを終了する前に、制御をストー
リー・ノードから転送することができる。さらに、ボタ
ンを押すことなどの、何らかの外部事象または割込みに
よって、ストーリーの中央にあるストーリーのプレイを
停止して、他のストーリーのプレイを開始することがで
きる。また、制御の転送はストーリーの始めに対して行
う必要がなく、呼び出される（分岐する先の）ストーリ
ー内の任意の時間クリークで開始することができる。ス
トーリー（ハイパーストーリー）中のすべてのエピソー
ドの空間構成が、本発明の方法２００に応じてハイパー
ストーリー中の他の時間クリークの空間構成とは独立に
時間クリーク単位で行われるので、これらの事象はすべ
てエピソード・クラッシュなしで発生する。
【００６７】さらに、本発明の方法２００では、有向グ
ラフ９００（ペトリ・ネット）上の各ノードがハイパー
ストーリーでよいことに留意されたい。上記で説明した
のと同じ理由で、ハイパーストーリー・ノードは、エピ
ソード・クラッシュなしでグラフ９００で定義されたよ
うに非同期にプレイすることができる。したがって、本
発明の方法を使用すると、ずっと大規模なマルチメディ
ア・ドキュメントでもクラッシュなしで作成し、構成
し、プレイすることができる。
【００６８】アーク９２４に制御を転送させる条件Ｃ２
は、ハイパーストーリーを作成する方法８００のステッ
プ８３０で定義される。ストーリー関係８２０および条
件８３０を確立する方法が従来技術に数多くあり、これ
らの方法はどれでも使用することができる。ここで、２
つの好ましい定義の分岐と呼出しを提示する。分岐は以
下のように定義される。
【００６９】分岐（ｓ ｉ 、ｃ ｉ 、ｓ ｊ ）：ｓ ｉ が活動状
態（プレイ中）でありｃ ｉ が真の（満たされている）場
合、ｓ ｉ が終了し、ｓ ｊ が活動状態になる（プレイされ
る）。
【００７０】呼出しは以下のように定義される。
【００７１】呼出し（ｓ ｉ 、ｃ ｉ 、ｓ ｊ ）：ｓ ｉ が活動
状態（プレイ中）でありｃ ｉ が真の（満たされている）
場合、ｓ ｉ が停止し（プレイを一時的に終了する）、ｓ
ｊ が活動状態になる（プレイされる）。しかし、ｓ ｊ の
終了時（ｓ ｊ がプレイを終了したとき）に、ｓ ｉ は停止
していたところから活動状態になる（再びプレイを開始
する）。
【００７２】これらの定義で、ｓ ｉ は、グラフ９００中
の他のノード９４０（ストーリー、ハイパーストーリ
ー、またはストーリー内の時間クリーク）、すなわちｓ
ｊ を呼び出し、あるいはｓ ｊ に分岐する有向グラフ９０
０中のノード、たとえば９２０によって表されるストー
リー（あるいはハイパーストーリーまたはストーリー内
の時間クリーク）である。「ｃ ｉ 」は、呼出しまたは分
岐を行えるようにするために満たさなければならない条
件または１組の条件Ｃ２である。
【００７３】定義された条件８３０は、当技術分野で知
られた典型的な条件であってよい。たとえば、条件は、
ストーリーまたはストーリー内の時間クリークがプレイ
を終了することであってよい。１組の条件は、システム
・クロック上の何らかの時間と、ボタンなどの制御装置
を押すこととを含むことができる（システム・クロック
によって提供される条件は、時間レイアウト３００の時
間ストーリー定義の外部で発生するので、非同期とみな
されることに留意されたい）。これらの条件または条件
セットは、それらが満たされるかどうかを判定するため
に定期的に検査することができる。これらの条件が非同
期的に変更でき、その結果ドキュメント（ハイパースト
ーリー）のプレイを修正できるので、ドキュメントのプ
レイはこれらの条件の定義および発生によって動的に修
正することができる。たとえば、プレイ中のハイパース
トーリー中のストーリーのシーケンスは、ボタンを押す
ことによって修正することができる。
【００７４】条件８４０を可能にする制御装置もコンピ
ュータ技術分野で周知である。これらの制御装置は、ハ
ードおよびソフト・キーボード・キー、タッチ・スクリ
ーン・ボタン、スイッチ、ハードウェア・インタロッ
ク、リレーなどを含むことができる。たとえば、ボタン
１ ３４２はハードウェア・ボタンでも、タッチ検知画
面上のボタンでもよい。条件ｃ ｉ （または図９中のＣ
２）がボタン１の「閉鎖」状態として定義されている場
合、ストーリーＳ３（９３０）ではなくストーリーＳ２
（９２０）の後にストーリーＳ４（９１０）がプレイさ
れる。
【００７５】本発明は多数の適用業務で使用することが
できる。たとえば、ドキュメントの何らかのセクション
に分岐するボタン制御装置８４０を定義し、ドキュメン
ト中のブランチの位置によってボタンを識別することに
よって、本のタブと同様にマルチメディア・ドキュメン
ト中の異なる位置を走査検査できるようにする一連の制
御装置（ボタン）８４０を定義することができる（８３
０）。
【００７８】
【発明の効果】本発明を使用してマルチメディア情報を
構成して表示することによって、大量の情報を提示する
コンピュータ・システムを構築することができる。たと
えば、教育の分野で大規模なマルチメディア・ドキュメ
ントを使用して任意の数の科目を教えることができる。
【図面の簡単な説明】
【図１】本発の方法を使用するマルチメディア入出力を
含む１つの好ましいコンピュータ・システムのブロック
図である。
【図２】本発明のステップを示すフローチャートであ
る。
【図３】ストーリーを定義するために、選択されたマル
チメディア・エピソードをスケジューリングする好まし
い方法（すなわち時間レイアウト）の例を示す図であ
る。
【図４】エピソードの間の関係を使用することによっ
て、選択されたマルチメディア・エピソードをスケジュ
ーリングするさらに好ましい時間レイアウトを示す図で
ある。
【図５】ストーリー・エピソードを時間クリークにグル
ープ化する好ましい方法を示すフローチャートである。
【図６】時間クリークのエピソードを空間的に構成する
好ましい方法を示す図である。
【図７】空間的に構成中の時間クリークの例を示す図で
ある。
【図８】ハイパーストーリーを作成するステップを示す
フローチャートである。
【図９】ハイパーストーリー内のストーリー関係を確立
する際に使用される有向グラフ（ペトリ・ネット）の図
である。
【符号の説明】
１００ システム １０５ コンピュータ １１０ ＭＭディスプレイ・アダプタ １２２ オーディオ／ビデオ収集 １２４ 再生 １３０ マルチメディア・ハードウェア １４０ メモリ記憶域 ２００ 方法 ２２０ 時間クリーク ３１２ ビデオ１ ３２２ オーディオ１ ３３２ テキスト１ ３４２ ボタン１ ３５２ サンスノー
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ミシェル・ヨーンキュン・リー・キム アメリカ合衆国10583 ニューヨーク州 スカースデール フェザント・ラン ５ (56)参考文献 特開 平５−242208（ＪＰ，Ａ)

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項１】それぞれが、開始点、終了点および継続時
    間を含む時間構成要素を有し、かつ一のストーリーのエ
    ピソードである、１つ以上のマルチメディア・セグメン
    トを複数のセグメントから選択するステップと、 前記ストーリーを定義するように、前記エピソード間の
    開始関係、終了関係及び一致関係並びに前記エピソード
    の継続時間に従って、前記エピソードを時間的にスケジ
    ューリングするステップと、 各時間クリーク中の各エピソードの継続時間の一部が当
    該時間クリーク中の他のエピソードの継続時間の一部と
    重なり合うように、前記エピソードの各々ごとに当該エ
    ピソードと重なり合うすべてのエピソードを決定して各
    エピソード・セットを作成し、各エピソード・セット中
    の各エピソードが当該エピソード・セット中のすべての
    エピソードと相互に重なり合うようになるまで当該エピ
    ソード・セットを分割し、冗長なエピソード・セットを
    除去することにより、前記エピソードを１つ以上の時間
    クリークにグループ化するステップと、 各時間クリーク中のエピソードがプレイされるときに当
    該時間クリーク中の各エピソードが当該時間クリーク中
    の他のエピソードと干渉するクラッシュ状態が発生しな
    いように、各時間クリーク中のエピソードを最初の空間
    構成に配置し、次いで当該エピソードの間で１つ以上の
    空間要件を交渉して最終の空間構成を得ることにより、
    各時間クリーク中のエピソードを他の時間クリーク中の
    エピソードとは独立に空間的に配置構成するステップ
    と、 各時間クリーク中のエピソードの前記最終の空間構成及
    び前記時間的なスケジュールに従って、前記ストーリー
    のエピソードをプレイするステップとから成ることを特
    徴とする、マルチメディア・セグメントを構成してプレ
    イする方法。
  2. 【請求項２】各時間クリークの前記最終の空間構成が、
    一のビジュアル・ディスプレイとしてプレイされること
    を特徴とする、請求項１に記載の方法。
  3. 【請求項３】各ストーリーを構成する１組のエピソード
    として１つ以上のマルチメディア・セグメントをそれぞ
    れ選択することにより、一のハイパーストーリーであ
    る、２つ以上のマルチメディア・ストーリーを作成する
    ステップと、 各ストーリーを定義するように、各ストーリーを構成す
    る前記エピソード間の開始関係、終了関係及び一致関係
    並びに前記エピソードの継続時間に従って、当該エピソ
    ードを時間的にスケジューリングするステップと、 各時間クリーク中の各エピソードの継続時間の一部が当
    該時間クリーク中の他のエピソードの継続時間の一部と
    重なり合うように、各ストーリーを構成する前記エピソ
    ードの各々ごとに当該エピソードと重なり合うすべての
    エピソードを決定して各エピソード・セットを作成し、
    各エピソード・セット中の各エピソードが当該エピソー
    ド・セット中のすべてのエピソードと相互に重なり合う
    ようになるまで当該エピソード・セットを分割し、冗長
    なエピソード・セットを除去することにより、各ストー
    リーを構成する前記エピソードを１つ以上の時間クリー
    クにグループ化するステップと、 各時間クリーク中のエピソードがプレイされるときに当
    該時間クリーク中の各エピソードが当該時間クリーク中
    の他のエピソードと干渉するクラッシュ状態が発生しな
    いように、各時間クリーク中のエピソードを最初の空間
    構成に配置し、次いで当該エピソードの間で１つ以上の
    空間要件を交渉して最終の空間構成を得ることにより、
    各時間クリーク中のエピソードを他の時間クリーク中の
    エピソードとは独立に空間的に配置構成するステップ
    と、 それぞれが一のストーリー・ノードとして作用する２つ
    以上のノードを有し、かつ当該ノード間の関係を定義す
    る非同期条件が１つ以上のアークによって確立されてい
    る、一の有向グラフ上の各ノード中に、一のストーリー
    をそれぞれ配置するステップとから成り、 前記有向グラフ上の各ノードとの関係を確立する一のア
    ークの非同期条件が制御手段によってイネーブルされた
    場合に、当該ノード中のストーリーがプレイされること
    を特徴とする、２つ以上のマルチメディア・ストーリー
    をハイパーストーリーとして構成してプレイする方法。
  4. 【請求項４】前記２つ以上のノード間の関係が、第１の
    ノード中の第１のストーリーから第２のノード中の第２
    のストーリーへ制御が渡される分岐関係であることを特
    徴とする、請求項３に記載の方法。
  5. 【請求項５】前記２つ以上のノード間の関係が、第１の
    ノード中の第１のストーリーから第２のノード中の第２
    のストーリーへ制御が渡され、次いで当該第２のストー
    リーの一部またはすべてが終了した後に当該第１のスト
    ーリーへ制御が戻される呼出し関係であることを特徴と
    する、請求項３に記載の方法。
JP18738194A 1993-09-27 1994-08-09 マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法 Expired - Fee Related JP3303543B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12786393A 1993-09-27 1993-09-27
US127863 1993-09-27

Publications (2)

Publication Number Publication Date
JPH07114627A JPH07114627A (ja) 1995-05-02
JP3303543B2 true JP3303543B2 (ja) 2002-07-22

Family

ID=22432351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18738194A Expired - Fee Related JP3303543B2 (ja) 1993-09-27 1994-08-09 マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法

Country Status (3)

Country Link
US (1) US5742283A (ja)
EP (1) EP0645721A1 (ja)
JP (1) JP3303543B2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU684422B2 (en) * 1995-07-11 1997-12-11 Matsushita Electric Industrial Co., Ltd. Scenario editor for multimedia data and scenario reproducingapparatus
JPH0934392A (ja) * 1995-07-13 1997-02-07 Shinsuke Nishida 音とともに画像を提示する装置
WO1998021722A1 (fr) * 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
EP0843312B1 (en) * 1996-11-13 2003-06-04 Matsushita Electric Industrial Co., Ltd. A system stream reproduction control information editing apparatus and a recording medium on which the method used therein is recorded
US6457027B1 (en) * 1997-04-01 2002-09-24 Ati Technologies, Inc. Method and apparatus for generating a multimedia document
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
KR100513907B1 (ko) * 1997-06-13 2005-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 상호 관련된 오브젝트들의 주기적 전송방법
US6003029A (en) * 1997-08-22 1999-12-14 International Business Machines Corporation Automatic subspace clustering of high dimensional data for data mining applications
US6094651A (en) * 1997-08-22 2000-07-25 International Business Machines Corporation Discovery-driven exploration of OLAP data cubes
US6374271B1 (en) 1997-09-26 2002-04-16 Fuji Xerox Co., Ltd. Hypermedia document authoring using a goals outline and a presentation outline
US6976208B1 (en) * 1998-11-03 2005-12-13 International Business Machines Corporation Progressive adaptive time stamp resolution in multimedia authoring
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
JP2002532918A (ja) * 1998-11-06 2002-10-02 ザ トゥルスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブニュー ヨーク 映像記述システムおよび方法
US6393158B1 (en) 1999-04-23 2002-05-21 Monkeymedia, Inc. Method and storage device for expanding and contracting continuous play media seamlessly
US10051298B2 (en) 1999-04-23 2018-08-14 Monkeymedia, Inc. Wireless seamless expansion and video advertising player
AU6065400A (en) * 1999-07-03 2001-01-22 Ibm Fundamental entity-relationship models for the generic audio visual data signal description
US6546135B1 (en) * 1999-08-30 2003-04-08 Mitsubishi Electric Research Laboratories, Inc Method for representing and comparing multimedia content
EP1213679A1 (en) * 1999-11-04 2002-06-12 Matsushita Electric Industrial Co., Ltd. Creation assisting method and apparatus, and recorded medium
US7057612B2 (en) * 2000-01-12 2006-06-06 Balfour Technologies Llc Method and system for a four-dimensional temporal visualization data browser
US6718308B1 (en) * 2000-02-22 2004-04-06 Daniel L. Nolting Media presentation system controlled by voice to text commands
US7725812B1 (en) * 2000-03-31 2010-05-25 Avid Technology, Inc. Authoring system for combining temporal and nontemporal digital media
US20020107895A1 (en) * 2000-08-25 2002-08-08 Barbara Timmer Interactive personalized book and methods of creating the book
US20020103876A1 (en) * 2001-01-29 2002-08-01 Masayuki Chatani System and computer-based method for providing transformed information in response to a client search request
US20030014400A1 (en) * 2001-06-12 2003-01-16 Advanced Research And Technology Institute System and method for case study instruction
US7085844B2 (en) * 2001-08-31 2006-08-01 Thompson Kerry A Method and apparatus for random play technology
US7120699B2 (en) * 2001-09-20 2006-10-10 Ricoh Company, Ltd. Document controlled workflow systems and methods
WO2003051031A2 (en) * 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
JP2005525011A (ja) * 2002-04-26 2005-08-18 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク ユーティリティ関数記述にもとづく最適なビデオ・トランスコーディング用の方法及びシステム
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US7580954B1 (en) * 2005-04-12 2009-08-25 Apple Inc. Random access action list for digital signal data editing
US7320467B2 (en) * 2005-06-03 2008-01-22 Mattel, Inc. Narrating games
US20070132767A1 (en) * 2005-11-30 2007-06-14 William Wright System and method for generating stories in time and space and for analysis of story patterns in an integrated visual representation on a user interface
US7933956B2 (en) * 2006-01-24 2011-04-26 Simulat, Inc. System and method to create a collaborative web-based multimedia layered platform
WO2007127171A2 (en) * 2006-04-24 2007-11-08 Jones David D Content shuffling system and method
KR101058040B1 (ko) * 2006-12-21 2011-08-19 삼성전자주식회사 컨텐츠 출력 방법 및 그 장치
US20080215965A1 (en) * 2007-02-23 2008-09-04 Tabblo, Inc. Method for modifying an initial layout of story elements in a user-generated online story
US20080215967A1 (en) * 2007-02-23 2008-09-04 Tabblo, Inc. Method and system for online transformation using an image URL application programming interface (API)
US20080215985A1 (en) * 2007-02-23 2008-09-04 Tabblo, Inc. Method for initial layout of story elements in a user-generated online story
US7465241B2 (en) * 2007-03-23 2008-12-16 Acushnet Company Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers
DE102007016234A1 (de) 2007-04-04 2008-10-09 Toyoda Mitsuiseiki Europe Gmbh Steuerung von Werkzeugmaschinen
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) * 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8938443B2 (en) * 2010-10-19 2015-01-20 International Business Machines Corporation Runtime optimization of spatiotemporal events processing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630234A (en) * 1983-04-11 1986-12-16 Gti Corporation Linked list search processor
JPS6289058A (ja) * 1985-10-15 1987-04-23 Dainippon Printing Co Ltd 印刷システムにおける図形の位置決め方法
US4864516A (en) * 1986-03-10 1989-09-05 International Business Machines Corporation Method for implementing an on-line presentation in an information processing system
US4893256A (en) * 1986-04-04 1990-01-09 International Business Machines Corporation Interactive video composition and presentation systems
DE3788038T2 (de) * 1986-11-20 1994-03-17 Matsushita Electric Ind Co Ltd Informationsschnittgerät.
US4831552A (en) * 1987-01-29 1989-05-16 International Business Machines Corporation Method for concurrently displaying entries from a plurality of different electronic calendars based on interactively entered non-temporal criteria
US4914586A (en) * 1987-11-06 1990-04-03 Xerox Corporation Garbage collector for hypermedia systems
US5208745A (en) * 1988-07-25 1993-05-04 Electric Power Research Institute Multimedia interface and method for computer system
US4947257A (en) * 1988-10-04 1990-08-07 Bell Communications Research, Inc. Raster assembly processor
US5065345A (en) * 1988-11-04 1991-11-12 Dyned International, Inc. Interactive audiovisual control mechanism
US5109482A (en) * 1989-01-11 1992-04-28 David Bohrman Interactive video control system for displaying user-selectable clips
US5010500A (en) * 1989-01-26 1991-04-23 Xerox Corporation Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval
US5274758A (en) * 1989-06-16 1993-12-28 International Business Machines Computer-based, audio/visual creation and presentation system and method
US5339423A (en) * 1989-06-16 1994-08-16 International Business Machines Corporation System for accessing objects external to an application using tables containing path definitions
US5119474A (en) * 1989-06-16 1992-06-02 International Business Machines Corp. Computer-based, audio/visual creation and presentation system and method
US5241671C1 (en) * 1989-10-26 2002-07-02 Encyclopaedia Britannica Educa Multimedia search system using a plurality of entry path means which indicate interrelatedness of information
US5241657A (en) * 1990-02-05 1993-08-31 Fine Brandt J Information display system
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5204947A (en) * 1990-10-31 1993-04-20 International Business Machines Corporation Application independent (open) hypermedia enablement services
NZ242110A (en) * 1991-04-02 1995-12-21 Custom Expressions Inc Printing and vending customised greeting cards
US5333299A (en) * 1991-12-31 1994-07-26 International Business Machines Corporation Synchronization techniques for multimedia data streams
US5398195A (en) * 1992-02-21 1995-03-14 International Business Machines Corporation Method and system for providing a non-rectangular floor plan
JPH05242208A (ja) * 1992-03-03 1993-09-21 Nippon Telegr & Teleph Corp <Ntt> マルチメディアシナリオ編集装置およびその方法
US5339393A (en) * 1993-04-15 1994-08-16 Sony Electronics, Inc. Graphical user interface for displaying available source material for editing

Also Published As

Publication number Publication date
JPH07114627A (ja) 1995-05-02
US5742283A (en) 1998-04-21
EP0645721A1 (en) 1995-03-29

Similar Documents

Publication Publication Date Title
JP3303543B2 (ja) マルチメディア・セグメントを構成してプレイする方法、および２つ以上のマルチメディア・ストーリーをハイパーストーリーとして構成してプレイする方法
JP3306741B2 (ja) マルチメディア・ストーリ提供方法及び装置
US7310784B1 (en) Methods for identifying cells in a path in a flowchart and for synchronizing graphical and textual views of a flowchart
Hirzalla et al. A temporal model for interactive multimedia scenarios
JP4064489B2 (ja) 時間事象指定機能を使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム
Schnepf et al. Doing FLIPS: Flexible interactive presentation synchronization
KR100426982B1 (ko) 대화형애플리케이션환경을생성하기위한장치와방법
KR101661772B1 (ko) 소스 객체로부터 적어도 하나의 타겟 객체로의 애니메이션 효과들의 복사
US5475811A (en) Rewinding time-based script sequences
JPH1031662A (ja) 同期ツールを使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム
JP4370792B2 (ja) ビデオシーケンスの階層形成方法及びプログラム
JPH1031664A (ja) スペーサ・ツールを使用したマルチメディア・アプリケーション開発シーケンス・エディタのための方法およびシステム
JP2003346463A (ja) ビデオシーケンスの縮小表示
JPH08320939A (ja) マルチメディア表現のための空間レイアウトを自動的に獲得する方法
JPH11102447A (ja) セグメントの継続期間を定義する方法およびシステム
CN105992051B (zh) 内容数据播放方法及装置
JPH08171550A (ja) プレゼンテーション方法
US20020143511A1 (en) Method and computer program product for system design support
JPH1032773A (ja) 要約映像ブラウジング方法および装置
JP3409374B2 (ja) データ出力装置およびその方法
KR20020072969A (ko) 멀티미디어 동기화 언어 편집기 및 그 편집방법
JP3608418B2 (ja) マルチメディアアプリケーション開発上流工程支援方法及び装置及びマルチメディアアプリケーション開発上流工程支援プログラムを格納した記憶媒体
JP3225428B2 (ja) マルチメディア情報提供方法及びマルチメディア情報システム
JP6263164B2 (ja) プレゼンテーションシステム
JPH10171836A (ja) ハイパーメディア自動ナビゲーション装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees