JPH08320939A - マルチメディア表現のための空間レイアウトを自動的に獲得する方法 - Google Patents
マルチメディア表現のための空間レイアウトを自動的に獲得する方法Info
- Publication number
- JPH08320939A JPH08320939A JP8016737A JP1673796A JPH08320939A JP H08320939 A JPH08320939 A JP H08320939A JP 8016737 A JP8016737 A JP 8016737A JP 1673796 A JP1673796 A JP 1673796A JP H08320939 A JPH08320939 A JP H08320939A
- Authority
- JP
- Japan
- Prior art keywords
- clique
- objects
- layout
- multimedia
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000013461 design Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000005352 clarification Methods 0.000 claims 1
- 238000004141 dimensional analysis Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 37
- 238000012938 design process Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000921780 Solanum tuberosum Cysteine synthase Proteins 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【課題】 マルチメディア表現において、空間設計を獲
得する複雑度を低減する方法を提供する。 【解決手段】 コンピュータ画面上に同時に現れるオブ
ジェクトのセットが、クリークと称され、これに対応す
る空間設計が、３次元により定義され、２次元は表示画
面の平面を、３次元目はオーバラップするオブジェクト
の深度を定義する。画面上における関連エピソードのロ
ケーション及びそれらのそれぞれの深度が見い出され
る。このプロセスは、定義される制限セットに従い、ク
リーク内の複数のエピソード間の空間要求を解明する。
矛盾の無いレイアウトができると、それが表示される。
ユーザはこの時、予め定義された制限セットを変更で
き、その変更に従い、レイアウトが表示される。レイア
ウトがまだ不充分な場合、ユーザはクリーク内の個々の
エピソードのサイズ及びロケーションを変更することが
でき、その変更された制限にもとづき、プロセスは再度
レイアウトを自動的に決定し、これが表示される。
得する複雑度を低減する方法を提供する。 【解決手段】 コンピュータ画面上に同時に現れるオブ
ジェクトのセットが、クリークと称され、これに対応す
る空間設計が、３次元により定義され、２次元は表示画
面の平面を、３次元目はオーバラップするオブジェクト
の深度を定義する。画面上における関連エピソードのロ
ケーション及びそれらのそれぞれの深度が見い出され
る。このプロセスは、定義される制限セットに従い、ク
リーク内の複数のエピソード間の空間要求を解明する。
矛盾の無いレイアウトができると、それが表示される。
ユーザはこの時、予め定義された制限セットを変更で
き、その変更に従い、レイアウトが表示される。レイア
ウトがまだ不充分な場合、ユーザはクリーク内の個々の
エピソードのサイズ及びロケーションを変更することが
でき、その変更された制限にもとづき、プロセスは再度
レイアウトを自動的に決定し、これが表示される。
Description
【０００１】
【発明の属する技術分野】本発明は一般にマルチメディ
ア文書の作成及び再現に関し、特に、コンピュータ表示
画面上に可視的セグメントの空間レイアウトを自動生成
することに関する。
ア文書の作成及び再現に関し、特に、コンピュータ表示
画面上に可視的セグメントの空間レイアウトを自動生成
することに関する。
【０００２】
【従来の技術】電子マルチメディア文書は、百科辞典な
どのマルチメディア文書を記憶するために普及しつつあ
る。なぜならこの媒体は、テキスト、グラフィクス、動
画ビデオ、音声など（これらが結合されてマルチメディ
ア文書を形成する）を含む大量のデータを記憶すること
ができるからである。マルチメディア文書のユーザは通
常、コンピュータ入出力を介して、フラグメント、セグ
メントまたはマルチメディア・オブジェクトと呼ばれる
（以降ではエピソード（episode）として参照する）マ
ルチメディア情報を提供または受信する。一般にこれら
のマルチメディア・エピソードは、音声及びビデオ・ク
リップ、音楽レコーディング、スピーチ、タイプ入力テ
キスト、静止画、図面、動画、舞踏ダンス・ステップな
どの、音声及びビジュアル情報形式を取りうる知覚的性
質を有する情報を含む。
どのマルチメディア文書を記憶するために普及しつつあ
る。なぜならこの媒体は、テキスト、グラフィクス、動
画ビデオ、音声など（これらが結合されてマルチメディ
ア文書を形成する）を含む大量のデータを記憶すること
ができるからである。マルチメディア文書のユーザは通
常、コンピュータ入出力を介して、フラグメント、セグ
メントまたはマルチメディア・オブジェクトと呼ばれる
（以降ではエピソード（episode）として参照する）マ
ルチメディア情報を提供または受信する。一般にこれら
のマルチメディア・エピソードは、音声及びビデオ・ク
リップ、音楽レコーディング、スピーチ、タイプ入力テ
キスト、静止画、図面、動画、舞踏ダンス・ステップな
どの、音声及びビジュアル情報形式を取りうる知覚的性
質を有する情報を含む。
【０００３】マルチメディア・オーサリング（authorin
g）は、テキスト、グラフィクス、音響及びビデオなど
のマルチメディア・オブジェクトを、時間的及び空間的
に順序付けするプロセスと見なされうる。特定の順序付
けがされたマルチメディア・オブジェクトまたはエピソ
ードのセットは、"ストーリ"と呼ばれる。ストーリに関
するオブジェクトの順序付けは、時間及び空間次元にお
いて実施される。本明細書で開示される本発明は、空間
レイアウトを獲得する問題に関連する。
g）は、テキスト、グラフィクス、音響及びビデオなど
のマルチメディア・オブジェクトを、時間的及び空間的
に順序付けするプロセスと見なされうる。特定の順序付
けがされたマルチメディア・オブジェクトまたはエピソ
ードのセットは、"ストーリ"と呼ばれる。ストーリに関
するオブジェクトの順序付けは、時間及び空間次元にお
いて実施される。本明細書で開示される本発明は、空間
レイアウトを獲得する問題に関連する。
【０００４】マルチメディア・ストーリは、如何にオブ
ジェクトが互いに時間的に関連付けられるかに依存し
て、画面レイアウトのセットに関連付けられうる。本明
細書では、表示画面上に同時に現れるマルチメディア・
ストーリ内のオブジェクトのセットを、"クリーク（CLI
QUE）"と呼ぶことにする。クリークに対応する空間設計
（または画面レイアウト）は、少数のオブジェクト（エ
ピソード）に対しては直接的な作業でありうる。しかし
ながら、複雑な空間的関係を有しうる非常に多数のオブ
ジェクトにおいては、適切な空間設計を見い出すことが
複雑で冗長なプロセスとなり、このことは特に、多くの
設計プロセスの場合同様、プロセスが繰り返されねばな
らない場合に顕著である。
ジェクトが互いに時間的に関連付けられるかに依存し
て、画面レイアウトのセットに関連付けられうる。本明
細書では、表示画面上に同時に現れるマルチメディア・
ストーリ内のオブジェクトのセットを、"クリーク（CLI
QUE）"と呼ぶことにする。クリークに対応する空間設計
（または画面レイアウト）は、少数のオブジェクト（エ
ピソード）に対しては直接的な作業でありうる。しかし
ながら、複雑な空間的関係を有しうる非常に多数のオブ
ジェクトにおいては、適切な空間設計を見い出すことが
複雑で冗長なプロセスとなり、このことは特に、多くの
設計プロセスの場合同様、プロセスが繰り返されねばな
らない場合に顕著である。
【０００５】
【発明が解決しようとする課題】従って、本発明の目的
は、マルチメディア表現において、空間設計を獲得する
複雑度を低減する方法を提供することである。
は、マルチメディア表現において、空間設計を獲得する
複雑度を低減する方法を提供することである。
【０００６】本発明の別の目的は、マルチメディア表現
において、オーサ（author）が好適な空間設計を容易に
達成することを支援する対話式プロセスを提供すること
である。
において、オーサ（author）が好適な空間設計を容易に
達成することを支援する対話式プロセスを提供すること
である。
【０００７】本発明の更に別の目的は、制限伝播方法に
より、マルチメディア・ストーリ全体の空間設計プロセ
スを提供することである。
より、マルチメディア・ストーリ全体の空間設計プロセ
スを提供することである。
【０００８】
【課題を解決するための手段】本発明によれば、マルチ
メディア・クリークに対応する空間設計を３次元により
定義するプロセスが提供され、２次元はコンピュータ表
示画面のプレーンを定義し、３次元目はオーバラップす
るオブジェクトの深度を定義する。画面上における関連
エピソードのロケーション、及びそれらのそれぞれの深
度が見い出される。このプロセスは、定義される制限セ
ットに従い、クリーク内の複数のエピソード間の空間要
求を解明する。矛盾の無いレイアウトを提供する解決策
に至ることができると、そのレイアウトが表示される。
ユーザはこの時、予め定義された制限セットを変更する
機会を与えられ、変更された制限セットに従い、レイア
ウトが表示される。レイアウトがまだ満足すべきもので
ない場合、ユーザはクリーク内の個々のエピソードのサ
イズ及びロケーションを変更することができる。クリー
ク内のエピソードに対応して変更された制限にもとづ
き、プロセスは再度レイアウトを自動的に決定し、これ
がユーザによる確認及び受諾のために表示される。空間
設計が最終的にユーザにより受諾されると、プロセスは
そのクリークに対応する空間設計を出力する。マルチメ
ディア・ストーリ全体を構成する一連のクリークが提供
されると、本発明では制限伝播の技法を採用する。より
詳細には、１クリーク内のオブジェクトが、後続のクリ
ーク内の他のオブジェクトと一緒に表示されうる。その
オブジェクトを動き回すのではなく、そのオブジェクト
の位置を固定し、他のオブジェクトをこの固定されたオ
ブジェクトの回りで移動させる任意選択が提供される。
メディア・クリークに対応する空間設計を３次元により
定義するプロセスが提供され、２次元はコンピュータ表
示画面のプレーンを定義し、３次元目はオーバラップす
るオブジェクトの深度を定義する。画面上における関連
エピソードのロケーション、及びそれらのそれぞれの深
度が見い出される。このプロセスは、定義される制限セ
ットに従い、クリーク内の複数のエピソード間の空間要
求を解明する。矛盾の無いレイアウトを提供する解決策
に至ることができると、そのレイアウトが表示される。
ユーザはこの時、予め定義された制限セットを変更する
機会を与えられ、変更された制限セットに従い、レイア
ウトが表示される。レイアウトがまだ満足すべきもので
ない場合、ユーザはクリーク内の個々のエピソードのサ
イズ及びロケーションを変更することができる。クリー
ク内のエピソードに対応して変更された制限にもとづ
き、プロセスは再度レイアウトを自動的に決定し、これ
がユーザによる確認及び受諾のために表示される。空間
設計が最終的にユーザにより受諾されると、プロセスは
そのクリークに対応する空間設計を出力する。マルチメ
ディア・ストーリ全体を構成する一連のクリークが提供
されると、本発明では制限伝播の技法を採用する。より
詳細には、１クリーク内のオブジェクトが、後続のクリ
ーク内の他のオブジェクトと一緒に表示されうる。その
オブジェクトを動き回すのではなく、そのオブジェクト
の位置を固定し、他のオブジェクトをこの固定されたオ
ブジェクトの回りで移動させる任意選択が提供される。
【０００９】
【００１０】
【数１】 は以降ハットＸと記載する。
【００１１】図１を参照すると、代表的なハードウェア
環境が示され、これは例えばＩＢＭのPersonal System/
2（ＰＳ／２）ファミリのパーソナル・コンピュータな
どによる。このハードウェアには中央処理ユニット（Ｃ
ＰＵ）１０が含まれ、これはインテル社のＸ８６アーキ
テクチャに準拠するものであったり、ＩＢＭのPowerPC
マイクロプロセッサなどの、縮小命令セット・コンピュ
ータ（ＲＩＳＣ）マイクロプロセッサなどである。ＣＰ
Ｕ１０はシステム・バス１２に接続され、システム・バ
ス１２には更に、読出し／書込み用メモリすなわちラン
ダム・アクセス・メモリ（ＲＡＭ）１４、読出し専用メ
モリ（ＲＯＭ）１６、入出力（Ｉ／Ｏ）アダプタ１８、
及びユーザ・インタフェース・アダプタ２２が接続され
る。ＲＡＭ１４は、アプリケーション・プログラム・コ
ード及びデータのための一時記憶を提供し、ＲＯＭ１６
は通常、基本入出力システム（ＢＩＯＳ）コードを含
む。Ｉ／Ｏアダプタ１８は１つ以上の直接アクセス記憶
装置（ＤＡＳＤ）に接続され、図１ではＤＡＳＤがフロ
ッピー・ドライブ１９、ハードディスク・ドライブ２
０、及びＣＤ−ＲＯＭ２１として表されている。ハード
ディスク・ドライブ２０は通常、コンピュータのオペレ
ーティング・システム（ＯＳ）（例えばＩＢＭのＯＳ／
２オペレーティング・システム）及び様々なアプリケー
ション・プログラムを記憶する。こうした各アプリケー
ション・プログラムは、システム・バス１２を介して、
ＲＡＭ１４に選択的にロードされる。ユーザ・インタフ
ェース・アダプタ２２は、キーボード２４、マウス２
６、及び（または）他のユーザ・インタフェース装置
（図示せず）をシステム・バス２２に接続する。
環境が示され、これは例えばＩＢＭのPersonal System/
2（ＰＳ／２）ファミリのパーソナル・コンピュータな
どによる。このハードウェアには中央処理ユニット（Ｃ
ＰＵ）１０が含まれ、これはインテル社のＸ８６アーキ
テクチャに準拠するものであったり、ＩＢＭのPowerPC
マイクロプロセッサなどの、縮小命令セット・コンピュ
ータ（ＲＩＳＣ）マイクロプロセッサなどである。ＣＰ
Ｕ１０はシステム・バス１２に接続され、システム・バ
ス１２には更に、読出し／書込み用メモリすなわちラン
ダム・アクセス・メモリ（ＲＡＭ）１４、読出し専用メ
モリ（ＲＯＭ）１６、入出力（Ｉ／Ｏ）アダプタ１８、
及びユーザ・インタフェース・アダプタ２２が接続され
る。ＲＡＭ１４は、アプリケーション・プログラム・コ
ード及びデータのための一時記憶を提供し、ＲＯＭ１６
は通常、基本入出力システム（ＢＩＯＳ）コードを含
む。Ｉ／Ｏアダプタ１８は１つ以上の直接アクセス記憶
装置（ＤＡＳＤ）に接続され、図１ではＤＡＳＤがフロ
ッピー・ドライブ１９、ハードディスク・ドライブ２
０、及びＣＤ−ＲＯＭ２１として表されている。ハード
ディスク・ドライブ２０は通常、コンピュータのオペレ
ーティング・システム（ＯＳ）（例えばＩＢＭのＯＳ／
２オペレーティング・システム）及び様々なアプリケー
ション・プログラムを記憶する。こうした各アプリケー
ション・プログラムは、システム・バス１２を介して、
ＲＡＭ１４に選択的にロードされる。ユーザ・インタフ
ェース・アダプタ２２は、キーボード２４、マウス２
６、及び（または）他のユーザ・インタフェース装置
（図示せず）をシステム・バス２２に接続する。
【００１２】パーソナル・コンピュータまたはワークス
テーションは表示装置３８を含み、図１ではこれは陰極
線管（ＣＲＴ）表示装置として示されるが、液晶表示装
置（ＬＣＤ）または他の好適な表示装置であってもよ
い。表示装置３８は表示アダプタ３６を介してシステム
・バス１２に接続される。インテル社のActionMedia II
表示アダプタなどのマルチメディア・アダプタが、シス
テム・バス１２及びマイク３２、スピーカ２８、並び
に、音声／ビデオ捕獲及び再生のためのビデオ・カメラ
３０に接続される。マルチメディア・アダプタ３４は、
例えばＩＢＭのマルチメディア・プレゼンテーション・
マネージャ／２などの好適なソフトウェアによりサポー
トされる。当業者には理解されるように、他のマルチメ
ディア・ハードウェア及びソフトウェアも、システムに
組み込まれることが可能であり、こうしたものには、例
えばビデオ・カセット・レコーダ（ＶＣＲ）、レーザ・
ディスク・プレーヤ、サランド・サウンド（surround s
ound）・プロセッサなどが含まれる。
テーションは表示装置３８を含み、図１ではこれは陰極
線管（ＣＲＴ）表示装置として示されるが、液晶表示装
置（ＬＣＤ）または他の好適な表示装置であってもよ
い。表示装置３８は表示アダプタ３６を介してシステム
・バス１２に接続される。インテル社のActionMedia II
表示アダプタなどのマルチメディア・アダプタが、シス
テム・バス１２及びマイク３２、スピーカ２８、並び
に、音声／ビデオ捕獲及び再生のためのビデオ・カメラ
３０に接続される。マルチメディア・アダプタ３４は、
例えばＩＢＭのマルチメディア・プレゼンテーション・
マネージャ／２などの好適なソフトウェアによりサポー
トされる。当業者には理解されるように、他のマルチメ
ディア・ハードウェア及びソフトウェアも、システムに
組み込まれることが可能であり、こうしたものには、例
えばビデオ・カセット・レコーダ（ＶＣＲ）、レーザ・
ディスク・プレーヤ、サランド・サウンド（surround s
ound）・プロセッサなどが含まれる。
【００１３】本発明の実現により、ストーリ内のマルチ
メディア・オブジェクトが自動的に空間レイアウトに配
列される。全てのオブジェクトが可視的である訳ではな
い。例えば、音声エピソードまたは時間遅延はゼロ画面
資産を有し、従って時間次元だけを占有する。これらの
目に見えないオブジェクトは無視され、可視的オブジェ
クトだけが、マルチメディア・プレゼンテーションの空
間設計において考慮される。可視的エピソードに関し、
これらが画面上で占有しうる空間のロケーション及び量
は、それらの数及び相関関係に依存して変化しうる。表
示画面上においてオブジェクト間のオーバラップが存在
しうる一般的なケースを考えると、マルチメディア・ク
リークに対応する空間設計を見い出すことは、ＸＹＺ空
間における３次元問題として特長付けられる。ここでＸ
Ｙは平面を定義する２次元に相当し、Ｚはオーバラップ
するオブジェクトの深度を定義する次元に相当する。
メディア・オブジェクトが自動的に空間レイアウトに配
列される。全てのオブジェクトが可視的である訳ではな
い。例えば、音声エピソードまたは時間遅延はゼロ画面
資産を有し、従って時間次元だけを占有する。これらの
目に見えないオブジェクトは無視され、可視的オブジェ
クトだけが、マルチメディア・プレゼンテーションの空
間設計において考慮される。可視的エピソードに関し、
これらが画面上で占有しうる空間のロケーション及び量
は、それらの数及び相関関係に依存して変化しうる。表
示画面上においてオブジェクト間のオーバラップが存在
しうる一般的なケースを考えると、マルチメディア・ク
リークに対応する空間設計を見い出すことは、ＸＹＺ空
間における３次元問題として特長付けられる。ここでＸ
Ｙは平面を定義する２次元に相当し、Ｚはオーバラップ
するオブジェクトの深度を定義する次元に相当する。
【００１４】所与のクリークに対応する画面レイアウト
を獲得することは、画面上におけるその関連エピソード
のロケーション及びそれらの深度（すなわちＺ順序）を
見い出すことである。ここでＥがマルチメディア・クリ
ークＣ内のエピソードのセットを表すものとしよう。一
般性を失うこと無く、Ｅの各可視的エピソードが画面上
で矩形領域を占有し、最適な面積及び縦横比（aspect r
atio）要求に関連付けられるものとする。エピソードの
面積はｘ方向のその幅ｗと、ｙ方向の高さｈとの積で定
義され、エピソードの縦横比は、その幅対高さの比率す
なわちｗ／ｈに相当する。また、各エピソードに対し
て、最小面積要求及び予め指定された範囲の縦横比など
の、トポロジ的制限のセットが提供されるものとする。
更に、例えばあるエピソードが別のエピソードの右側に
来るように指定するなどの、相対配置制限がエピソード
に対して提供されうる。図２に示される画面により一例
が示されており、ここではクリークを構成する複数のエ
ピソードがオーバラップして示される。
を獲得することは、画面上におけるその関連エピソード
のロケーション及びそれらの深度（すなわちＺ順序）を
見い出すことである。ここでＥがマルチメディア・クリ
ークＣ内のエピソードのセットを表すものとしよう。一
般性を失うこと無く、Ｅの各可視的エピソードが画面上
で矩形領域を占有し、最適な面積及び縦横比（aspect r
atio）要求に関連付けられるものとする。エピソードの
面積はｘ方向のその幅ｗと、ｙ方向の高さｈとの積で定
義され、エピソードの縦横比は、その幅対高さの比率す
なわちｗ／ｈに相当する。また、各エピソードに対し
て、最小面積要求及び予め指定された範囲の縦横比など
の、トポロジ的制限のセットが提供されるものとする。
更に、例えばあるエピソードが別のエピソードの右側に
来るように指定するなどの、相対配置制限がエピソード
に対して提供されうる。図２に示される画面により一例
が示されており、ここではクリークを構成する複数のエ
ピソードがオーバラップして示される。
【００１５】表示画面の次元が提供されると、クリーク
内の全てのエピソードが画面上に適合し、制限を満足す
るように、これらに対応する矩形の位置及び次元を見い
出す作業が行われる。空間レイアウト・プロセスには、
（１）クリーク内のエピソードの初期配置を獲得するス
テップ、及び（２）それらの間で空間要求を折衝するス
テップが含まれる。単純な処理では、各エピソード・タ
イプがデフォルト指定位置及びデフォルト指定（最適）
次元を呈し、そこから初期画面レイアウトが生成され
る。初期レイアウトは、オーサにより対応する矩形のサ
イズが調整されたり移動されることにより、改良され
る。
内の全てのエピソードが画面上に適合し、制限を満足す
るように、これらに対応する矩形の位置及び次元を見い
出す作業が行われる。空間レイアウト・プロセスには、
（１）クリーク内のエピソードの初期配置を獲得するス
テップ、及び（２）それらの間で空間要求を折衝するス
テップが含まれる。単純な処理では、各エピソード・タ
イプがデフォルト指定位置及びデフォルト指定（最適）
次元を呈し、そこから初期画面レイアウトが生成され
る。初期レイアウトは、オーサにより対応する矩形のサ
イズが調整されたり移動されることにより、改良され
る。
【００１６】画面上におけるオーバラップのために、オ
ーバラップするエピソードの深度は、重要な表現問題と
なる。深度測定を反映するために、ここではＸＹ平面に
垂直なＺ軸を追加することにより、３次元座標システム
を確立する。Ｚ順序はオーバラップするエピソードが表
示画面上に現れるときの、それらの相対深度を定義す
る。２つのエピソードが同一クリーク内に存在し、これ
らがオーバラップして、エピソードＥ1の一部がエピソ
ードＥ2により隠れる場合、エピソードＥ1がエピソード
Ｅ2の背後に配置されると表現することにする。部分順
序（partial ordering）は次の《 関係に従い、セット
Ｅに対して定義される。
ーバラップするエピソードの深度は、重要な表現問題と
なる。深度測定を反映するために、ここではＸＹ平面に
垂直なＺ軸を追加することにより、３次元座標システム
を確立する。Ｚ順序はオーバラップするエピソードが表
示画面上に現れるときの、それらの相対深度を定義す
る。２つのエピソードが同一クリーク内に存在し、これ
らがオーバラップして、エピソードＥ1の一部がエピソ
ードＥ2により隠れる場合、エピソードＥ1がエピソード
Ｅ2の背後に配置されると表現することにする。部分順
序（partial ordering）は次の《 関係に従い、セット
Ｅに対して定義される。
【数２】Ｅ1がＥ2の背後に配置される場合、Ｅ1《 Ｅ2
【００１７】クリークが提供されると、Ｚ順序の定義
は、そのエピソードＥに対して、《関係を定義すること
である。ここでクリークＣが提供される場合、Ｚリスト
（Ｃ）が次のように、《 関係に従う部分的順序のリス
トを示すとしよう。
は、そのエピソードＥに対して、《関係を定義すること
である。ここでクリークＣが提供される場合、Ｚリスト
（Ｃ）が次のように、《 関係に従う部分的順序のリス
トを示すとしよう。
【数３】Ｅi《 Ｅi+1
【００１８】ここでＥiはＺリスト内のｉ番目のエピソ
ードを示す。最初に、Ｚリストがオーサまたはシステム
により指定される特定の前提に従い作成される。Ｚリス
ト上の要素は、次のＺ順序制限に従い処理されうる。各
要素は優先順位に関連付けられる（１が最も高い優先順
位）。 １．あるエピソードが別のエピソードの背後に完全に隠
れることはない。 ２．ボタンは常に完全に見えるべきである。ボタンはユ
ーザがそれを選択し、その領域にリンクされるプロセス
を呼び出すためのエピソード内の定義領域である。 ３．テキストの一部が別のエピソードの背後に隠れるこ
とはない。 ４．大きな面積を占有するエピソードは、小さなエピソ
ードの背後に配置される。
ードを示す。最初に、Ｚリストがオーサまたはシステム
により指定される特定の前提に従い作成される。Ｚリス
ト上の要素は、次のＺ順序制限に従い処理されうる。各
要素は優先順位に関連付けられる（１が最も高い優先順
位）。 １．あるエピソードが別のエピソードの背後に完全に隠
れることはない。 ２．ボタンは常に完全に見えるべきである。ボタンはユ
ーザがそれを選択し、その領域にリンクされるプロセス
を呼び出すためのエピソード内の定義領域である。 ３．テキストの一部が別のエピソードの背後に隠れるこ
とはない。 ４．大きな面積を占有するエピソードは、小さなエピソ
ードの背後に配置される。
【００１９】Ｚ順序制限間の矛盾は、それらの優先順位
に従い解明されうる。例えば、ボタンとテキスト・エピ
ソードとがオーバラップする場合には、ボタンが完全に
見えるように処理される。
に従い解明されうる。例えば、ボタンとテキスト・エピ
ソードとがオーバラップする場合には、ボタンが完全に
見えるように処理される。
【００２０】図３を参照すると、本発明によるプロセス
のフローチャートが示される。ブロック３０１の入力
は、（１）クリーク内のオブジェクトのセット、及び
（２）クリーク内のエピソードに対応する制限セットで
ある。ユーザは最初に判断ブロック３０２で、制限を変
更または更新する機会を与えられる。最初は、ユーザは
制限を変更または更新したくないのが通常であり、ユー
ザからのその入力により、システムは機能ブロック３０
３で制限を内部形式に変換する。次に機能ブロック３０
４で、システムは制限の内部形式にもとづきレイアウト
を決定する。これに対応するプロセスが、後述の図４に
示される。矛盾の無いレイアウトが機能ブロック３０４
で決定されたか否かがブロック３０５で判断される。肯
定の場合、Ｚ順序制限が機能ブロック３０６で解明され
る。クリーク内のエピソードの空間レイアウトが、機能
ブロック３０７で示される。
のフローチャートが示される。ブロック３０１の入力
は、（１）クリーク内のオブジェクトのセット、及び
（２）クリーク内のエピソードに対応する制限セットで
ある。ユーザは最初に判断ブロック３０２で、制限を変
更または更新する機会を与えられる。最初は、ユーザは
制限を変更または更新したくないのが通常であり、ユー
ザからのその入力により、システムは機能ブロック３０
３で制限を内部形式に変換する。次に機能ブロック３０
４で、システムは制限の内部形式にもとづきレイアウト
を決定する。これに対応するプロセスが、後述の図４に
示される。矛盾の無いレイアウトが機能ブロック３０４
で決定されたか否かがブロック３０５で判断される。肯
定の場合、Ｚ順序制限が機能ブロック３０６で解明され
る。クリーク内のエピソードの空間レイアウトが、機能
ブロック３０７で示される。
【００２１】Ｚリストはオーサにより対話式に変更され
うる。クリークＣが提供される場合、forefront（Ｃ）
が、ストーリＳ内の全てのエピソードの先頭に当たるエ
ピソードを表すものとし、背面から前面を眺めて、それ
を最も大きな深度に割当てることにする。次の単純なア
ルゴリズムは、エピソードＥjが新たなforefront（Ｃ）
になる度に、Ｚリストを再順序化する。最初に、Ｚリス
ト上の現forefront（Ｃi）に当たるＥiのｉの位置を見
い出し、次に、エピソードＥjをＺリスト上のその位置
ｊから、位置ｉ＋１に移動する。ここでこのアルゴリズ
ムが、常に所与のクリーク内の先頭のエピソードを識別
するように作用することに注意されたい。あるエピソー
ドが新たな先頭として選択されると、それが旧先頭に対
して移動され、他のエピソードの相対Ｚ順序は変更され
ずに維持される。これは画面設計において、単純なグラ
フィカル・ユーザ・インタフェースを可能にする。従っ
て、例えば単に画面上のエピソードをタッチすることに
より、これが現先頭となる。ここでリスト上のエピソー
ドの位置が、表現時における深度指標として使用される
が、これらはクリーク内のエピソード間の《 関係を決
定するためだけに使用される点に注意されたい。深度指
標は、深度の相対測定だけを提供する。Ｚ順序の変更プ
ロセスが図３に示され、レイアウトが機能ブロック３０
７で示された後に、ユーザは判断ブロック３０８で、Ｚ
順序を変更する機会を提供される。ユーザがその任意選
択を実行すると、Ｚ順序が機能ブロック３０９で変更さ
れ、新たなレイアウトが機能ブロック３０７で示され
る。
うる。クリークＣが提供される場合、forefront（Ｃ）
が、ストーリＳ内の全てのエピソードの先頭に当たるエ
ピソードを表すものとし、背面から前面を眺めて、それ
を最も大きな深度に割当てることにする。次の単純なア
ルゴリズムは、エピソードＥjが新たなforefront（Ｃ）
になる度に、Ｚリストを再順序化する。最初に、Ｚリス
ト上の現forefront（Ｃi）に当たるＥiのｉの位置を見
い出し、次に、エピソードＥjをＺリスト上のその位置
ｊから、位置ｉ＋１に移動する。ここでこのアルゴリズ
ムが、常に所与のクリーク内の先頭のエピソードを識別
するように作用することに注意されたい。あるエピソー
ドが新たな先頭として選択されると、それが旧先頭に対
して移動され、他のエピソードの相対Ｚ順序は変更され
ずに維持される。これは画面設計において、単純なグラ
フィカル・ユーザ・インタフェースを可能にする。従っ
て、例えば単に画面上のエピソードをタッチすることに
より、これが現先頭となる。ここでリスト上のエピソー
ドの位置が、表現時における深度指標として使用される
が、これらはクリーク内のエピソード間の《 関係を決
定するためだけに使用される点に注意されたい。深度指
標は、深度の相対測定だけを提供する。Ｚ順序の変更プ
ロセスが図３に示され、レイアウトが機能ブロック３０
７で示された後に、ユーザは判断ブロック３０８で、Ｚ
順序を変更する機会を提供される。ユーザがその任意選
択を実行すると、Ｚ順序が機能ブロック３０９で変更さ
れ、新たなレイアウトが機能ブロック３０７で示され
る。
【００２２】本発明では、基本及び相対の２種類の制限
が存在する。基本制限はエピソードのサイズ（すなわち
面積）に関係し、相対制限はオーサにより指定される空
間設計規則に当たる。各エピソード・タイプに対して、
最小面積、最適面積、及び受諾可能縦横比の範囲が提供
されるものとする。相対的空間制限はエピソード・タイ
プ間、及びエピソード・タイプと表示画面との間で存在
する。ｔiがエピソード・タイプ（例えばテキスト、ビ
デオ、ボタン）を示し、Ｅiがタイプｔiのエピソードと
しよう。Ｅiに関連付けられる矩形が、その左下及び右
上の座標（それぞれ（ｘi,ｙi）、（ハットｘi,ハット
ｙi））により定義され、ここでｘi＋ハットｘi＝ｗi、
及びｙi＋ハットｙi＝ｈiである。
が存在する。基本制限はエピソードのサイズ（すなわち
面積）に関係し、相対制限はオーサにより指定される空
間設計規則に当たる。各エピソード・タイプに対して、
最小面積、最適面積、及び受諾可能縦横比の範囲が提供
されるものとする。相対的空間制限はエピソード・タイ
プ間、及びエピソード・タイプと表示画面との間で存在
する。ｔiがエピソード・タイプ（例えばテキスト、ビ
デオ、ボタン）を示し、Ｅiがタイプｔiのエピソードと
しよう。Ｅiに関連付けられる矩形が、その左下及び右
上の座標（それぞれ（ｘi,ｙi）、（ハットｘi,ハット
ｙi））により定義され、ここでｘi＋ハットｘi＝ｗi、
及びｙi＋ハットｙi＝ｈiである。
【００２３】基本制限には、（１）最小面積Ａ要求すな
わちminArea（Ｏ,Ａ）（これはＯの最小面積がＡである
ことを意味する）と、最適面積要求optArea（Ｏ,Ａ）、
及び（２）縦横比Ｒ、すなわちＯの幅対高さの比であ
り、最小比minRatio（Ｏ,Ｒ）及び最大比maxRatio（Ｏ,
Ｒ）が含まれる。例えば、オブジェクトＯの基本制限
は、minArea（Ｏ,４０）、optArea（Ｏ,５０）、minRat
io（Ｏ,０.５）及びmaxRatio（Ｏ,０.７）で与えられ
る。
わちminArea（Ｏ,Ａ）（これはＯの最小面積がＡである
ことを意味する）と、最適面積要求optArea（Ｏ,Ａ）、
及び（２）縦横比Ｒ、すなわちＯの幅対高さの比であ
り、最小比minRatio（Ｏ,Ｒ）及び最大比maxRatio（Ｏ,
Ｒ）が含まれる。例えば、オブジェクトＯの基本制限
は、minArea（Ｏ,４０）、optArea（Ｏ,５０）、minRat
io（Ｏ,０.５）及びmaxRatio（Ｏ,０.７）で与えられ
る。
【００２４】ここで（０,０）及び（ｗmax,ｈmax）が表
示画面に関連付けられる矩形を定義するとしよう。更
に、次のように定義する。
示画面に関連付けられる矩形を定義するとしよう。更
に、次のように定義する。
【数４】Ｘ＝｛ｘi｜ｉ＝１、...、ｎ｝、Ｗ＝｛ｗi｜
１、...、ｎ｝
１、...、ｎ｝
【００２５】
【数５】Ｙ＝｛ｙi｜ｉ＝１、...、ｎ｝、Ｈ＝｛ｈi｜
１、...、ｎ｝
１、...、ｎ｝
【００２６】ここでｘi、ｙi、ｗi、ｈi≧０、ｗi≦ｗ
max、ｈi≦ｈmaxである。配置ＰはＺ＝Ｘ∪Ｙ∪Ｗ∪Ｈ
の変数に対する負でない実数の割当てを示す。
max、ｈi≦ｈmaxである。配置ＰはＺ＝Ｘ∪Ｙ∪Ｗ∪Ｈ
の変数に対する負でない実数の割当てを示す。
【００２７】基本制限は、エピソードの縦横比及び最小
面積要求を尊重する配置を要求する制限である。Ｅiを
エピソードとし、ａi、ａi゜がＥiに対して定義される最
小面積及び最適面積を表し、ｒi、ｒi゜が最小及び最大
縦横比ｗi／ｈiを表すものとする。従って、次のような
関係が得られる。
面積要求を尊重する配置を要求する制限である。Ｅiを
エピソードとし、ａi、ａi゜がＥiに対して定義される最
小面積及び最適面積を表し、ｒi、ｒi゜が最小及び最大
縦横比ｗi／ｈiを表すものとする。従って、次のような
関係が得られる。
【数６】ａi≦ｗi×ｈi≦ａi゜
【００２８】
【数７】ｒi≦ｗi／ｈi≦ｒi゜
【００２９】上記関係から、幅及び高さの境界が線形不
等式として次のように導出される。
等式として次のように導出される。
【数８】√（ａi×ｒi）≦ｗi≦√（ａi゜×ｒi゜）
【００３０】
【数９】√（ａi／ｒi゜）≦ｈi≦√（ａi゜／ｒi）
【００３１】相対制限は、クリーク内のオブジェクトの
相対配置を定義する制限であり、次のように定義され
る。（１）rightOf（ｏ1,ｏ2,ｄ）は、ｏ1がｏ2の右側
に少なくとも距離ｄを隔てて配置されることを意味し、
（２）below（ｏ1,ｏ2,ｄ）は、ｏ1がｏ2の下方に少な
くとも距離ｄを隔てて配置されることを意味し、（３）
topAlign（ｏ1,ｏ2）は、ｏ1及びｏ2が最上部に配置さ
れることを意味し、（４）bottomAlign（ｏ1,ｏ2）は、
ｏ1及びｏ2が最下部に配置されることを意味し、（５）
leftAlign（ｏ1,ｏ2）は、ｏ1及びｏ2が左側に配置され
ることを意味し、（６）rightAlign（ｏ1,ｏ2）は、ｏ1
及びｏ2が右側に配置されることを意味する。ここで、
ｄijがそれぞれタイプｔi及びｔjのエピソードＥi及び
Ｅj間の距離を表すとしよう。オーサは次に示す一連の
空間設計規則を指定し、これらが次のように、一連の線
形不等式に変換される。ここで右向きの矢印は変換を意
味する。
相対配置を定義する制限であり、次のように定義され
る。（１）rightOf（ｏ1,ｏ2,ｄ）は、ｏ1がｏ2の右側
に少なくとも距離ｄを隔てて配置されることを意味し、
（２）below（ｏ1,ｏ2,ｄ）は、ｏ1がｏ2の下方に少な
くとも距離ｄを隔てて配置されることを意味し、（３）
topAlign（ｏ1,ｏ2）は、ｏ1及びｏ2が最上部に配置さ
れることを意味し、（４）bottomAlign（ｏ1,ｏ2）は、
ｏ1及びｏ2が最下部に配置されることを意味し、（５）
leftAlign（ｏ1,ｏ2）は、ｏ1及びｏ2が左側に配置され
ることを意味し、（６）rightAlign（ｏ1,ｏ2）は、ｏ1
及びｏ2が右側に配置されることを意味する。ここで、
ｄijがそれぞれタイプｔi及びｔjのエピソードＥi及び
Ｅj間の距離を表すとしよう。オーサは次に示す一連の
空間設計規則を指定し、これらが次のように、一連の線
形不等式に変換される。ここで右向きの矢印は変換を意
味する。
【数１０】rightOf(ti,tj,dij)→rightOf(Ei,Ej,dij)→
xi<xi+wi+dij≦xj,dij>-wi゜
xi<xi+wi+dij≦xj,dij>-wi゜
【００３２】
【数１１】below(ti,tj,dij)→below(Ei,Ej,dij)→yi<y
i+hi+dij≦yj,dij>-hi゜
i+hi+dij≦yj,dij>-hi゜
【００３３】
【数１２】 topAlign(ti,tk)→topAlign(Ei,Ek)→yi+hi=yk+hk゜
【００３４】
【数１３】 bottomAlign(ti,tk)→bottomAlign(Ei,Ek)→yi=yk゜
【００３５】
【数１４】 leftAlign(ti,tk)→leftAlign(Ei,Ek)→xi=xk゜
【００３６】
【数１５】 rightAlign(ti,tk)→rightAlign(Ei,Ek)→xi+wi=xk+wk゜
【００３７】同一タイプの複数のエピソードが存在しう
る。ここでＥ＝Ｅ｛Ｅ1、...、Ｅn｝（ｎ≧２）が、タ
イプｔiのエピソードのセットとしよう。オーサは次の
空間設計規則の１つを選択しうる。
る。ここでＥ＝Ｅ｛Ｅ1、...、Ｅn｝（ｎ≧２）が、タ
イプｔiのエピソードのセットとしよう。オーサは次の
空間設計規則の１つを選択しうる。
【数１６】sameType(Ei,Ej)→rightOf(Ei,Ej,dij)
【００３８】
【数１７】sameType(Ei,Ej)→below(Ei,Ej,dij)
【００３９】上述された次の制限を含むことにより、図
３の機能ブロック３０３における内部形式への変換を完
了する。各オブジェクトＯiに対して、次のような関係
となる。
３の機能ブロック３０３における内部形式への変換を完
了する。各オブジェクトＯiに対して、次のような関係
となる。
【数１８】ｘi＋ｗi ＝ハットｘi
【００４０】
【数１９】ｙi＋ｈi ＝ハットｙi
【００４１】
【数２０】０≦ｘi, ハットｘi≦ｗmax
【００４２】
【数２１】０≦ｙi, ハットｙi≦ｈmax
【００４３】
【数２２】ｗi,ｈi≧０
【００４４】制限を線形不等式のセットとして指定する
と、問題の解明のために様々な制限解法を使用すること
ができる。目的は、制限に従い、エピソードが表示画面
に渡って一様に広がる配置Ｐを獲得することである。図
３のブロック３０４におけるレイアウトの決定は、次に
述べる図４のフローチャートに示されるプロセスに従い
実行される。図４を参照すると、内部形式の制限セット
が、機能ブロック４０１において、機能ブロック３０３
から獲得される。制限は機能ブロック４０２で、各（ｘ
i,ｙi）及び（ｘj,ｙj）対間の距離の合計を最大化する
目的関数に従い、２次計画法（guadratic programmin
g）に掛けられる。これについては、例えばS.Glassによ
る"Linear Programming Method and Applications"（Mc
Graw-Hill(1975)）を参照されたい。
と、問題の解明のために様々な制限解法を使用すること
ができる。目的は、制限に従い、エピソードが表示画面
に渡って一様に広がる配置Ｐを獲得することである。図
３のブロック３０４におけるレイアウトの決定は、次に
述べる図４のフローチャートに示されるプロセスに従い
実行される。図４を参照すると、内部形式の制限セット
が、機能ブロック４０１において、機能ブロック３０３
から獲得される。制限は機能ブロック４０２で、各（ｘ
i,ｙi）及び（ｘj,ｙj）対間の距離の合計を最大化する
目的関数に従い、２次計画法（guadratic programmin
g）に掛けられる。これについては、例えばS.Glassによ
る"Linear Programming Method and Applications"（Mc
Graw-Hill(1975)）を参照されたい。
【００４５】上述で公式化された目的関数は、画面上に
おけるエピソードの最適な一様分布を保証しない。しか
しながら、これは上記対間の距離の合計が最大となるよ
うに、オブジェクトが画面上に広がる配置Ｐを見い出
す。解が存在する場合には、その解は制限セットを満足
する選択を保証するが、解が存在しない場合には、解が
見い出せなかったことを報告する。ブロック４０２にお
ける２次計画法の出力は、ブロック４０３において、各
オブジェクトｘiの左下及び右上座標の割当てとして提
供される。
おけるエピソードの最適な一様分布を保証しない。しか
しながら、これは上記対間の距離の合計が最大となるよ
うに、オブジェクトが画面上に広がる配置Ｐを見い出
す。解が存在する場合には、その解は制限セットを満足
する選択を保証するが、解が存在しない場合には、解が
見い出せなかったことを報告する。ブロック４０２にお
ける２次計画法の出力は、ブロック４０３において、各
オブジェクトｘiの左下及び右上座標の割当てとして提
供される。
【００４６】図３に戻り、プロシージャが１回目の試行
において正当なレイアウトを見い出すことは、制限が満
足されない可能性により保証されない。ここでは画面レ
イアウトが基本制限、Ｚ順序制限、及び相対的空間制限
の全てを満足するとき、そのレイアウトが正当であると
表現することにする。所与のクリークに対応して、正当
なレイアウトを自動的に獲得することが目的である。こ
れは判断ブロック３０５で判断される。しかしながら、
本発明の実現は対話式であり、オーサに扱い易い初期レ
イアウトを提供しこれが後に改良される。矛盾の無いレ
イアウトが見い出されない場合には、オーサは機能ブロ
ック３１０で新たな制限セットを指定し、所望の設計が
見い出されるまで設計プロセスを繰り返すことができ
る。オブジェクトのセット及び制限セットがロードさ
れ、矛盾の無いレイアウトが判断ブロック３０５で見い
出されない場合、またはレイアウトが表示された後に、
判断ブロック３１１においてユーザが表示結果に満足し
ない場合には、制限を変更または更新する任意選択が最
初にユーザに提供される。所望の設計が見い出される
と、その空間設計が出力ブロック３１２で出力される。
において正当なレイアウトを見い出すことは、制限が満
足されない可能性により保証されない。ここでは画面レ
イアウトが基本制限、Ｚ順序制限、及び相対的空間制限
の全てを満足するとき、そのレイアウトが正当であると
表現することにする。所与のクリークに対応して、正当
なレイアウトを自動的に獲得することが目的である。こ
れは判断ブロック３０５で判断される。しかしながら、
本発明の実現は対話式であり、オーサに扱い易い初期レ
イアウトを提供しこれが後に改良される。矛盾の無いレ
イアウトが見い出されない場合には、オーサは機能ブロ
ック３１０で新たな制限セットを指定し、所望の設計が
見い出されるまで設計プロセスを繰り返すことができ
る。オブジェクトのセット及び制限セットがロードさ
れ、矛盾の無いレイアウトが判断ブロック３０５で見い
出されない場合、またはレイアウトが表示された後に、
判断ブロック３１１においてユーザが表示結果に満足し
ない場合には、制限を変更または更新する任意選択が最
初にユーザに提供される。所望の設計が見い出される
と、その空間設計が出力ブロック３１２で出力される。
【００４７】機能ブロック３０６におけるＺ順序制限の
解明は、図５に示されるプロシージャに従い達成され
る。図５を参照すると、最初に機能ブロック５０１にお
いて、Ｚリストは空である。セット｛Ｏi｝内のオブジ
ェクトは、機能ブロック５０２で、面積の降順にＺリス
ト内にソートされる。すなわち、大きな面積のオブジェ
クトが小さな面積のオブジェクトを遮らないように、大
きな面積のオブジェクトが小さな面積のオブジェクトよ
りも大きな深度で表示される。出力ブロック５０３にお
いて出力がＺリスト内に配置される。
解明は、図５に示されるプロシージャに従い達成され
る。図５を参照すると、最初に機能ブロック５０１にお
いて、Ｚリストは空である。セット｛Ｏi｝内のオブジ
ェクトは、機能ブロック５０２で、面積の降順にＺリス
ト内にソートされる。すなわち、大きな面積のオブジェ
クトが小さな面積のオブジェクトを遮らないように、大
きな面積のオブジェクトが小さな面積のオブジェクトよ
りも大きな深度で表示される。出力ブロック５０３にお
いて出力がＺリスト内に配置される。
【００４８】Ｚ順序制限が図３の機能ブロック３０６で
解明されると、レイアウトが機能ブロック３０７で表示
される。このプロセスが図６に示される。図６を参照す
ると、これは繰返しプロセスであり、最初に機能ブロッ
ク６０１で値ｉが"１"にセットされる。次に判断ブロッ
ク６０２で、ｉがオブジェクトの数以下かどうかが判断
される。肯定の場合、機能ブロック６０３で現オブジェ
クトがＺリスト内のオブジェクトｉにセットされる。こ
のオブジェクトが次に機能ブロック６０４で描画され、
左下及び右上に対応する値がオブジェクトに対応する矩
形を定義する。次に機能ブロック６０５でｉが１だけ増
分され、次に判断ブロック６０２で再度クリークの全て
のオブジェクトが処理されたかどうかが判断される。全
てのオブジェクトが処理されると（すなわち画面上に描
画される）、ルーチンは終了する。
解明されると、レイアウトが機能ブロック３０７で表示
される。このプロセスが図６に示される。図６を参照す
ると、これは繰返しプロセスであり、最初に機能ブロッ
ク６０１で値ｉが"１"にセットされる。次に判断ブロッ
ク６０２で、ｉがオブジェクトの数以下かどうかが判断
される。肯定の場合、機能ブロック６０３で現オブジェ
クトがＺリスト内のオブジェクトｉにセットされる。こ
のオブジェクトが次に機能ブロック６０４で描画され、
左下及び右上に対応する値がオブジェクトに対応する矩
形を定義する。次に機能ブロック６０５でｉが１だけ増
分され、次に判断ブロック６０２で再度クリークの全て
のオブジェクトが処理されたかどうかが判断される。全
てのオブジェクトが処理されると（すなわち画面上に描
画される）、ルーチンは終了する。
【００４９】上述のように、ユーザは図３の判断ブロッ
ク３０８でＺ順序を変更する任意選択を提供される。機
能ブロック３０９におけるＺ順序の変更プロセスが図７
に示される。図７を参照すると、機能ブロック７０１で
現Ｚリストが検索される。次にユーザは機能ブロック７
０２で、表示の先頭にもってくるオブジェクトＸiを選
択する。これは例えば、マウスなどのポインティング・
デバイスにより制御されるポインティング・カーソルに
より、オブジェクトを選択することにより達成される。
ユーザにより所望のオブジェクトが選択されると、次に
機能ブロック７０３で、現先頭オブジェクトの位置ｉが
Ｚリスト内で見い出される。次に機能ブロック７０４
で、Ｚリスト内の新たな先頭オブジェクトの位置を反映
するようにＺリストが再順序化される。
ク３０８でＺ順序を変更する任意選択を提供される。機
能ブロック３０９におけるＺ順序の変更プロセスが図７
に示される。図７を参照すると、機能ブロック７０１で
現Ｚリストが検索される。次にユーザは機能ブロック７
０２で、表示の先頭にもってくるオブジェクトＸiを選
択する。これは例えば、マウスなどのポインティング・
デバイスにより制御されるポインティング・カーソルに
より、オブジェクトを選択することにより達成される。
ユーザにより所望のオブジェクトが選択されると、次に
機能ブロック７０３で、現先頭オブジェクトの位置ｉが
Ｚリスト内で見い出される。次に機能ブロック７０４
で、Ｚリスト内の新たな先頭オブジェクトの位置を反映
するようにＺリストが再順序化される。
【００５０】上述された本発明は、所与のクリークに対
応する画面レイアウトの設計に着目する。しかしなが
ら、一連のクリークが提供されるとマルチメディア文書
を創作するのに都合の良い幾つかの非常に独特で重要な
特性が存在する。これらの特性を、本明細書では制限伝
播（constraint propagation）と呼ぶことにする。すな
わち、あるオブジェクトがロケーション（ｘ,ｙ）、次
元（ｗ,ｈ）に配置される場合、同一のオブジェクトが
特定の時間の経過後に別のグループのオブジェクトと一
緒に表示される可能性がある。こうしたケースが発生す
るとき、このオブジェクトを動き回すのではなく、その
ロケーション（ｘ,ｙ）及び次元（ｗ,ｈ）を固定し、他
のオブジェクトをこの固定オブジェクトの回りで移動す
ることが望まれよう。このことが制限伝播の意味すると
ころである。
応する画面レイアウトの設計に着目する。しかしなが
ら、一連のクリークが提供されるとマルチメディア文書
を創作するのに都合の良い幾つかの非常に独特で重要な
特性が存在する。これらの特性を、本明細書では制限伝
播（constraint propagation）と呼ぶことにする。すな
わち、あるオブジェクトがロケーション（ｘ,ｙ）、次
元（ｗ,ｈ）に配置される場合、同一のオブジェクトが
特定の時間の経過後に別のグループのオブジェクトと一
緒に表示される可能性がある。こうしたケースが発生す
るとき、このオブジェクトを動き回すのではなく、その
ロケーション（ｘ,ｙ）及び次元（ｗ,ｈ）を固定し、他
のオブジェクトをこの固定オブジェクトの回りで移動す
ることが望まれよう。このことが制限伝播の意味すると
ころである。
【００５１】以上を考慮して、図３に関連して述べられ
たプロセスにより、ストーリ全体の空間レイアウトを生
成することができる。このプロセスが図８に示される。
図８を参照すると、機能ブロック８０１で、ストーリＳ
及び空間制限セットが入力される。このストーリから、
機能ブロック８０２で、ストーリＳの時間クリークのセ
ット｛ＣＳ（ｉ）｝が生成される。この時点で、繰返し
ループに入力する。ループは機能ブロック８０３で開始
され、ｉの値を１にセットする。次に判断ブロック８０
４で、ｉがＮ以下かどうかが判断される。ここでＮはク
リークの数である。ｉがＮ以下の場合には、機能ブロッ
ク８０５で、現クリークＣＳ（ｉ）に対応する空間レイ
アウトを生成する。これは図３に示されたプロセスを呼
び出すことにより実行される。この場合には、ブロック
３０１におけるオブジェクトのセットは、クリークＣＳ
（ｉ）内のオブジェクトのセットである。ブロック３０
１における制限セットは、ブロック８０１で提供される
制限であり、ＣＳ（ｉ）内のオブジェクトＯjを含む。
次に機能ブロック８０６で、空間制限が次のクリークＣ
Ｓ（ｉ＋１）に伝播される。機能ブロック８０７でｉの
値が増分されて、判断ブロック８０４に戻る。従って、
機能ブロック８０６の"伝播制限"が、図３のブロック３
０１において入力制限セットに追加される。
たプロセスにより、ストーリ全体の空間レイアウトを生
成することができる。このプロセスが図８に示される。
図８を参照すると、機能ブロック８０１で、ストーリＳ
及び空間制限セットが入力される。このストーリから、
機能ブロック８０２で、ストーリＳの時間クリークのセ
ット｛ＣＳ（ｉ）｝が生成される。この時点で、繰返し
ループに入力する。ループは機能ブロック８０３で開始
され、ｉの値を１にセットする。次に判断ブロック８０
４で、ｉがＮ以下かどうかが判断される。ここでＮはク
リークの数である。ｉがＮ以下の場合には、機能ブロッ
ク８０５で、現クリークＣＳ（ｉ）に対応する空間レイ
アウトを生成する。これは図３に示されたプロセスを呼
び出すことにより実行される。この場合には、ブロック
３０１におけるオブジェクトのセットは、クリークＣＳ
（ｉ）内のオブジェクトのセットである。ブロック３０
１における制限セットは、ブロック８０１で提供される
制限であり、ＣＳ（ｉ）内のオブジェクトＯjを含む。
次に機能ブロック８０６で、空間制限が次のクリークＣ
Ｓ（ｉ＋１）に伝播される。機能ブロック８０７でｉの
値が増分されて、判断ブロック８０４に戻る。従って、
機能ブロック８０６の"伝播制限"が、図３のブロック３
０１において入力制限セットに追加される。
【００５２】図３のプロセスの呼出しにおいて、Ｚリス
トの獲得方法、すなわち図５で説明される機能ブロック
３０６を多少変更する。この場合には、機能ブロック５
０２でＺリストを作成後、これが"伝播Ｚ順序"に矛盾し
ないかどうかをチェックする。各オブジェクトに対し
て、伝播Ｚ順序内における関係Ｏj≦Ｏkが真か否か、す
なわち、オブジェクトＯjがＺリスト内でＯkに先行する
かどうかをチェックする。否定の場合、オブジェクトＯ
kをオブジェクトＯjの次の位置に移動する。この変更に
より、図３で述べられたプロセスによりクリークＣＳ
（ｉ）に対応するレイアウトを機能ブロック８０５で生
成することができる。
トの獲得方法、すなわち図５で説明される機能ブロック
３０６を多少変更する。この場合には、機能ブロック５
０２でＺリストを作成後、これが"伝播Ｚ順序"に矛盾し
ないかどうかをチェックする。各オブジェクトに対し
て、伝播Ｚ順序内における関係Ｏj≦Ｏkが真か否か、す
なわち、オブジェクトＯjがＺリスト内でＯkに先行する
かどうかをチェックする。否定の場合、オブジェクトＯ
kをオブジェクトＯjの次の位置に移動する。この変更に
より、図３で述べられたプロセスによりクリークＣＳ
（ｉ）に対応するレイアウトを機能ブロック８０５で生
成することができる。
【００５３】機能ブロック８０６における空間制限の伝
播プロセスが図９に示される。図９を参照すると、ブロ
ック９０１でＺリストが入力される。これは現時間クリ
ークＣＳ（ｉ）内の、各オブジェクトＯjを定義する左
下及び右上ロケーションを含む。次にクリークＣＳ
（ｉ）に含まれ、且つＣＳ（ｉ＋１）にも含まれる各オ
ブジェクトＯjに対応して、左下及び右上ロケーション
が伝播制限として挿入される。クリークＣＳ（ｉ）に含
まれない各オブジェクトＯjは、機能ブロック９０３で
Ｚリストから消去される。機能ブロック９０４では、次
のような各ｉに対してＺ（ｉ）≦Ｚ（ｉ＋１）が伝播Ｚ
順序に挿入される。
播プロセスが図９に示される。図９を参照すると、ブロ
ック９０１でＺリストが入力される。これは現時間クリ
ークＣＳ（ｉ）内の、各オブジェクトＯjを定義する左
下及び右上ロケーションを含む。次にクリークＣＳ
（ｉ）に含まれ、且つＣＳ（ｉ＋１）にも含まれる各オ
ブジェクトＯjに対応して、左下及び右上ロケーション
が伝播制限として挿入される。クリークＣＳ（ｉ）に含
まれない各オブジェクトＯjは、機能ブロック９０３で
Ｚリストから消去される。機能ブロック９０４では、次
のような各ｉに対してＺ（ｉ）≦Ｚ（ｉ＋１）が伝播Ｚ
順序に挿入される。
【数２３】１≦ｉ≦（Ｚリストのサイズ）−１
【００５４】"伝播制限"及び"伝播Ｚ順序"が出力ブロッ
ク９０５で出力され、次に機能ブロック８０７に移行し
て次のループの繰返しを開始する。判断ブロック８０４
で、全ての時間クリークが処理されたと判断されるとプ
ロセスは終了する。
ク９０５で出力され、次に機能ブロック８０７に移行し
て次のループの繰返しを開始する。判断ブロック８０４
で、全ての時間クリークが処理されたと判断されるとプ
ロセスは終了する。
【００５５】まとめとして、本発明の構成に関して以下
の事項を開示する。
の事項を開示する。
【００５６】（１）コンピュータによりマルチメディア
表現のための空間レイアウトを自動的に獲得する方法で
あって、マルチメディア表現の間にコンピュータ表示画
面上に同時に表示されるオブジェクトのセット（クリー
クと定義する）と、サイズ及び縦横比を定義する基本制
限、及び前記クリーク内における前記オブジェクトの相
対位置を定義する相対制限のセットを入力するステップ
と、前記クリーク内の前記オブジェクトの前記制限に作
用して、所定制限に従い初期レイアウトを決定するステ
ップと、マルチメディア・クリークに対応する空間設計
を３次元により解明するステップであって、２次元が前
記コンピュータ表示画面の平面を定義し、３次元目がオ
ーバラップする前記オブジェクトの深度を定義し、前記
コンピュータ表示画面上における関連オブジェクトのロ
ケーション及びそれらのそれぞれの深度を決定する、前
記解明ステップと、前記空間設計を、前記コンピュータ
表示画面上においてオーバラップしうる前記オブジェク
トのレイアウトとして表示するステップと、を含む、方
法。 （２）前記空間設計の表示において、ユーザに前記コン
ピュータ表示画面上に表示される前記オブジェクトのそ
れぞれの前記深度の順序を変更する任意選択を提供する
ステップと、前記ユーザによる選択順序に従い再順序化
される前記空間設計を表示するステップと、を含む、前
記（１）記載の方法。 （３）ユーザに前記クリーク内の前記オブジェクトの前
記制限を変更する任意選択を提供するステップを含む、
前記（１）記載の方法。 （４）前記入力制限にもとづき、矛盾の無いレイアウト
が生成されたか否かを判断するために、前記空間設計を
テストするステップと、矛盾するレイアウトが生成され
た場合、ユーザが前記マルチメディア・クリークに対応
する前記空間設計を再度解明しようと試みる以前に、前
記ユーザに前記クリーク内の前記オブジェクトの前記制
限を変更するように促すステップと、を含む、前記
（１）記載の方法。 （５）前記空間設計の表示において、ユーザに前記レイ
アウトを受諾する任意選択を提供するステップと、受諾
されない場合、前記ユーザが前記マルチメディア・クリ
ークに対応する前記空間設計を再度解明しようと試みる
以前に、前記ユーザに前記クリーク内の前記オブジェク
トの前記制限を変更するように促すステップと、を含
む、前記（１）記載の方法。 （６）コンピュータにより複数の時間クリークを含むマ
ルチメディア表現のための空間レイアウトを自動的に獲
得する方法であって、前記の各クリークがコンピュータ
表示画面上の可視的オブジェクトのセットにより定義さ
れるものにおいて、ストーリの間の様々な時刻に発生
し、各々が空間制限のセットにより定義される複数の可
視的オブジェクトを含む前記ストーリを入力するステッ
プと、前記時間クリークのセットを生成するステップで
あって、該セット内の前記の各時間クリークの前記オブ
ジェクトが、前記ストーリの間に前記コンピュータ表示
画面上に同時に表示され、前記クリーク内の前記オブジ
ェクトのセットが、サイズ及び縦横比を定義する基本制
限、及び該クリーク内のオブジェクトの相対位置を定義
する相対制限により定義される、前記生成ステップと、
前記の各時間クリーク内の前記オブジェクトの前記制限
に作用して、所定制限に従い初期レイアウトを決定する
ことにより、前記の各クリークを連続的に処理するステ
ップと、マルチメディア・クリークに対応する空間設計
を３次元により解明するステップであって、２次元が前
記コンピュータ表示画面の平面を定義し、３次元目がオ
ーバラップする前記オブジェクトの深度を定義し、前記
コンピュータ表示画面上における前記クリーク内の前記
オブジェクトのロケーション及びそれらのそれぞれの深
度を決定する、前記解明ステップと、前記空間設計を、
前記コンピュータ表示画面上においてオーバラップしう
る前記の各クリークに対応する前記オブジェクトのレイ
アウトとして連続的に表示するステップと、前記処理ク
リーク及び後続の前記クリーク内の前記の各オブジェク
トに対応して、該オブジェクトの前記空間制限を、前記
後続のクリークを処理する以前に、当該後続クリークに
伝播するステップと、を含む、方法。 （７）前記クリーク内の前記オブジェクトが先行クリー
クから伝播されたときに、該クリーク内の前記オブジェ
クトの順序が、前記先行クリークからの前記オブジェク
トの伝播後に矛盾しないか否かをテストするステップ
と、前記クリークを処理する以前に、矛盾の無い順序を
提供するように、前記クリーク内の前記オブジェクトを
再順序化するステップと、を含む、前記（６）記載の方
法。 （８）前記空間設計の表示において、ユーザに前記コン
ピュータ表示画面上に表示される前記オブジェクトのそ
れぞれの前記深度の順序を変更する任意選択を提供する
ステップと、前記ユーザによる選択順序に従い再順序化
される前記空間設計を表示するステップと、を含む、前
記（７）記載の方法。 （９）ユーザに前記クリーク内の前記オブジェクトの前
記制限を変更する任意選択を提供するステップを含む、
前記（７）記載の方法。 （１０）前記入力制限にもとづき、矛盾の無いレイアウ
トが生成されたか否かを判断するために、前記空間設計
をテストするステップと、矛盾するレイアウトが生成さ
れた場合、ユーザが前記マルチメディア・クリークに対
応する前記空間設計を再度解明しようと試みる以前に、
前記ユーザに前記クリーク内の前記オブジェクトの前記
制限を変更するように促すステップと、を含む、前記
（７）記載の方法。 （１１）前記空間設計の表示において、ユーザに前記レ
イアウトを受諾する任意選択を提供するステップと、受
諾されない場合、前記ユーザが前記マルチメディア・ク
リークに対応する前記空間設計を再度解明しようと試み
る以前に、前記ユーザに前記クリーク内の前記オブジェ
クトの前記制限を変更するように促すステップと、を含
む、前記（７）記載の方法。 （１２）マルチメディア表現のための空間レイアウトを
自動的に獲得する装置であって、マルチメディア表現の
間にコンピュータ表示画面上に同時に表示されるオブジ
ェクトのセット（クリークと定義する）と、サイズ及び
縦横比を定義する基本制限、及び前記クリーク内におけ
る前記オブジェクトの相対位置を定義する相対制限のセ
ットを入力する入力手段と、前記クリーク内の前記オブ
ジェクトの前記制限に作用して、所定制限に従い初期レ
イアウトを決定する中央プロセッサ手段であって、該プ
ロセッサ手段が、マルチメディア・クリークに対応する
空間設計を３次元により解明し、２次元が前記コンピュ
ータ表示画面の平面を定義し、３次元目がオーバラップ
する前記オブジェクトの深度を定義し、前記コンピュー
タ表示画面上における関連オブジェクトのロケーション
及びそれらのそれぞれの深度を決定する、前記中央プロ
セッサ手段と、前記空間設計を、前記コンピュータ表示
画面上においてオーバラップしうる前記オブジェクトの
レイアウトとして表示する表示手段と、を含む、装置。
表現のための空間レイアウトを自動的に獲得する方法で
あって、マルチメディア表現の間にコンピュータ表示画
面上に同時に表示されるオブジェクトのセット（クリー
クと定義する）と、サイズ及び縦横比を定義する基本制
限、及び前記クリーク内における前記オブジェクトの相
対位置を定義する相対制限のセットを入力するステップ
と、前記クリーク内の前記オブジェクトの前記制限に作
用して、所定制限に従い初期レイアウトを決定するステ
ップと、マルチメディア・クリークに対応する空間設計
を３次元により解明するステップであって、２次元が前
記コンピュータ表示画面の平面を定義し、３次元目がオ
ーバラップする前記オブジェクトの深度を定義し、前記
コンピュータ表示画面上における関連オブジェクトのロ
ケーション及びそれらのそれぞれの深度を決定する、前
記解明ステップと、前記空間設計を、前記コンピュータ
表示画面上においてオーバラップしうる前記オブジェク
トのレイアウトとして表示するステップと、を含む、方
法。 （２）前記空間設計の表示において、ユーザに前記コン
ピュータ表示画面上に表示される前記オブジェクトのそ
れぞれの前記深度の順序を変更する任意選択を提供する
ステップと、前記ユーザによる選択順序に従い再順序化
される前記空間設計を表示するステップと、を含む、前
記（１）記載の方法。 （３）ユーザに前記クリーク内の前記オブジェクトの前
記制限を変更する任意選択を提供するステップを含む、
前記（１）記載の方法。 （４）前記入力制限にもとづき、矛盾の無いレイアウト
が生成されたか否かを判断するために、前記空間設計を
テストするステップと、矛盾するレイアウトが生成され
た場合、ユーザが前記マルチメディア・クリークに対応
する前記空間設計を再度解明しようと試みる以前に、前
記ユーザに前記クリーク内の前記オブジェクトの前記制
限を変更するように促すステップと、を含む、前記
（１）記載の方法。 （５）前記空間設計の表示において、ユーザに前記レイ
アウトを受諾する任意選択を提供するステップと、受諾
されない場合、前記ユーザが前記マルチメディア・クリ
ークに対応する前記空間設計を再度解明しようと試みる
以前に、前記ユーザに前記クリーク内の前記オブジェク
トの前記制限を変更するように促すステップと、を含
む、前記（１）記載の方法。 （６）コンピュータにより複数の時間クリークを含むマ
ルチメディア表現のための空間レイアウトを自動的に獲
得する方法であって、前記の各クリークがコンピュータ
表示画面上の可視的オブジェクトのセットにより定義さ
れるものにおいて、ストーリの間の様々な時刻に発生
し、各々が空間制限のセットにより定義される複数の可
視的オブジェクトを含む前記ストーリを入力するステッ
プと、前記時間クリークのセットを生成するステップで
あって、該セット内の前記の各時間クリークの前記オブ
ジェクトが、前記ストーリの間に前記コンピュータ表示
画面上に同時に表示され、前記クリーク内の前記オブジ
ェクトのセットが、サイズ及び縦横比を定義する基本制
限、及び該クリーク内のオブジェクトの相対位置を定義
する相対制限により定義される、前記生成ステップと、
前記の各時間クリーク内の前記オブジェクトの前記制限
に作用して、所定制限に従い初期レイアウトを決定する
ことにより、前記の各クリークを連続的に処理するステ
ップと、マルチメディア・クリークに対応する空間設計
を３次元により解明するステップであって、２次元が前
記コンピュータ表示画面の平面を定義し、３次元目がオ
ーバラップする前記オブジェクトの深度を定義し、前記
コンピュータ表示画面上における前記クリーク内の前記
オブジェクトのロケーション及びそれらのそれぞれの深
度を決定する、前記解明ステップと、前記空間設計を、
前記コンピュータ表示画面上においてオーバラップしう
る前記の各クリークに対応する前記オブジェクトのレイ
アウトとして連続的に表示するステップと、前記処理ク
リーク及び後続の前記クリーク内の前記の各オブジェク
トに対応して、該オブジェクトの前記空間制限を、前記
後続のクリークを処理する以前に、当該後続クリークに
伝播するステップと、を含む、方法。 （７）前記クリーク内の前記オブジェクトが先行クリー
クから伝播されたときに、該クリーク内の前記オブジェ
クトの順序が、前記先行クリークからの前記オブジェク
トの伝播後に矛盾しないか否かをテストするステップ
と、前記クリークを処理する以前に、矛盾の無い順序を
提供するように、前記クリーク内の前記オブジェクトを
再順序化するステップと、を含む、前記（６）記載の方
法。 （８）前記空間設計の表示において、ユーザに前記コン
ピュータ表示画面上に表示される前記オブジェクトのそ
れぞれの前記深度の順序を変更する任意選択を提供する
ステップと、前記ユーザによる選択順序に従い再順序化
される前記空間設計を表示するステップと、を含む、前
記（７）記載の方法。 （９）ユーザに前記クリーク内の前記オブジェクトの前
記制限を変更する任意選択を提供するステップを含む、
前記（７）記載の方法。 （１０）前記入力制限にもとづき、矛盾の無いレイアウ
トが生成されたか否かを判断するために、前記空間設計
をテストするステップと、矛盾するレイアウトが生成さ
れた場合、ユーザが前記マルチメディア・クリークに対
応する前記空間設計を再度解明しようと試みる以前に、
前記ユーザに前記クリーク内の前記オブジェクトの前記
制限を変更するように促すステップと、を含む、前記
（７）記載の方法。 （１１）前記空間設計の表示において、ユーザに前記レ
イアウトを受諾する任意選択を提供するステップと、受
諾されない場合、前記ユーザが前記マルチメディア・ク
リークに対応する前記空間設計を再度解明しようと試み
る以前に、前記ユーザに前記クリーク内の前記オブジェ
クトの前記制限を変更するように促すステップと、を含
む、前記（７）記載の方法。 （１２）マルチメディア表現のための空間レイアウトを
自動的に獲得する装置であって、マルチメディア表現の
間にコンピュータ表示画面上に同時に表示されるオブジ
ェクトのセット（クリークと定義する）と、サイズ及び
縦横比を定義する基本制限、及び前記クリーク内におけ
る前記オブジェクトの相対位置を定義する相対制限のセ
ットを入力する入力手段と、前記クリーク内の前記オブ
ジェクトの前記制限に作用して、所定制限に従い初期レ
イアウトを決定する中央プロセッサ手段であって、該プ
ロセッサ手段が、マルチメディア・クリークに対応する
空間設計を３次元により解明し、２次元が前記コンピュ
ータ表示画面の平面を定義し、３次元目がオーバラップ
する前記オブジェクトの深度を定義し、前記コンピュー
タ表示画面上における関連オブジェクトのロケーション
及びそれらのそれぞれの深度を決定する、前記中央プロ
セッサ手段と、前記空間設計を、前記コンピュータ表示
画面上においてオーバラップしうる前記オブジェクトの
レイアウトとして表示する表示手段と、を含む、装置。
【００５７】
【発明の効果】以上説明したように、本発明によれば、
マルチメディア表現において、空間設計を獲得する複雑
度を低減する方法を提供することができる。
マルチメディア表現において、空間設計を獲得する複雑
度を低減する方法を提供することができる。
【００５８】更に本発明によれば、マルチメディア表現
において、オーサが好適な空間設計を容易に達成するこ
とを支援する対話式プロセスを提供することができる。
において、オーサが好適な空間設計を容易に達成するこ
とを支援する対話式プロセスを提供することができる。
【００５９】更に本発明によれば、制限伝播方法によ
り、マルチメディア・ストーリ全体の空間設計プロセス
を提供することができる。
り、マルチメディア・ストーリ全体の空間設計プロセス
を提供することができる。
【００６０】
【図１】本発明が実現されうるハードウェア構成を示す
ブロック図である。
ブロック図である。
【図２】可視的エピソードのクリークの一般的な空間レ
イアウトを示すコンピュータ画面を示す図である。
イアウトを示すコンピュータ画面を示す図である。
【図３】マルチメディア・コンピュータ・オーサリング
・システム上で実現される空間レイアウト・プロセスの
論理のフローチャートを示す図である。
・システム上で実現される空間レイアウト・プロセスの
論理のフローチャートを示す図である。
【図４】クリーク・レイアウトを決定するルーチンの論
理のフローチャートを示す図である。
理のフローチャートを示す図である。
【図５】Ｚ順序制限を解明するルーチンの論理のフロー
チャートを示す図である。
チャートを示す図である。
【図６】クリーク内のオブジェクトのレイアウトを示す
ルーチンの論理のフローチャートを示す図である。
ルーチンの論理のフローチャートを示す図である。
【図７】Ｚリスト内のオブジェクトの順序を変更するル
ーチンの論理のフローチャートを示す図である。
ーチンの論理のフローチャートを示す図である。
【図８】マルチメディア・ストーリ全体の空間レイアウ
トを生成するプロセスの論理のフローチャートを示す図
である。
トを生成するプロセスの論理のフローチャートを示す図
である。
【図９】空間的制限を図８に示されるプロセス内で呼ば
れる次のクリークに伝播するルーチンの論理のフローチ
ャートを示す図である。
れる次のクリークに伝播するルーチンの論理のフローチ
ャートを示す図である。
【符号の説明】 １０ ＣＰＵ １２ システム・バス １４ ＲＡＭ １６ ＲＯＭ １８ Ｉ／Ｏアダプタ １９ フロッピー・ドライブ ２０ ハードディスク・ドライブ ２１ ＣＤ−ＲＯＭ ２２ ユーザ・インタフェース ２４ キーボード ２６ マウス ２８ スピーカ ３０ ビデオ・カメラ ３２ マイク ３４ マルチメディア・アダプタ ３６ 表示アダプタ ３８ 表示装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ミッチェル・ユンヤン・キム アメリカ合衆国10583、ニューヨーク州ス カースデイル、フェズント・ラン 23 (72)発明者 ユンワ・ソン アメリカ合衆国10583、ニューヨーク州ス カースデイル、フェズント・ラン 23
Claims (12)
- 【請求項１】コンピュータによりマルチメディア表現の
ための空間レイアウトを自動的に獲得する方法であっ
て、 マルチメディア表現の間にコンピュータ表示画面上に同
時に表示されるオブジェクトのセット（クリークと定義
する）と、サイズ及び縦横比を定義する基本制限、及び
前記クリーク内における前記オブジェクトの相対位置を
定義する相対制限のセットを入力するステップと、 前記クリーク内の前記オブジェクトの前記制限に作用し
て、所定制限に従い初期レイアウトを決定するステップ
と、 マルチメディア・クリークに対応する空間設計を３次元
により解明するステップであって、２次元が前記コンピ
ュータ表示画面の平面を定義し、３次元目がオーバラッ
プする前記オブジェクトの深度を定義し、前記コンピュ
ータ表示画面上における関連オブジェクトのロケーショ
ン及びそれらのそれぞれの深度を決定する、前記解明ス
テップと、 前記空間設計を、前記コンピュータ表示画面上において
オーバラップしうる前記オブジェクトのレイアウトとし
て表示するステップと、 を含む、方法。 - 【請求項２】前記空間設計の表示において、ユーザに前
記コンピュータ表示画面上に表示される前記オブジェク
トのそれぞれの前記深度の順序を変更する任意選択を提
供するステップと、 前記ユーザによる選択順序に従い再順序化される前記空
間設計を表示するステップと、 を含む、請求項１記載の方法。 - 【請求項３】ユーザに前記クリーク内の前記オブジェク
トの前記制限を変更する任意選択を提供するステップを
含む、請求項１記載の方法。 - 【請求項４】前記入力制限にもとづき、矛盾の無いレイ
アウトが生成されたか否かを判断するために、前記空間
設計をテストするステップと、 矛盾するレイアウトが生成された場合、ユーザが前記マ
ルチメディア・クリークに対応する前記空間設計を再度
解明しようと試みる以前に、前記ユーザに前記クリーク
内の前記オブジェクトの前記制限を変更するように促す
ステップと、 を含む、請求項１記載の方法。 - 【請求項５】前記空間設計の表示において、ユーザに前
記レイアウトを受諾する任意選択を提供するステップ
と、 受諾されない場合、前記ユーザが前記マルチメディア・
クリークに対応する前記空間設計を再度解明しようと試
みる以前に、前記ユーザに前記クリーク内の前記オブジ
ェクトの前記制限を変更するように促すステップと、 を含む、請求項１記載の方法。 - 【請求項６】コンピュータにより複数の時間クリークを
含むマルチメディア表現のための空間レイアウトを自動
的に獲得する方法であって、前記の各クリークがコンピ
ュータ表示画面上の可視的オブジェクトのセットにより
定義されるものにおいて、 ストーリの間の様々な時刻に発生し、各々が空間制限の
セットにより定義される複数の可視的オブジェクトを含
む前記ストーリを入力するステップと、 前記時間クリークのセットを生成するステップであっ
て、該セット内の前記の各時間クリークの前記オブジェ
クトが、前記ストーリの間に前記コンピュータ表示画面
上に同時に表示され、前記クリーク内の前記オブジェク
トのセットが、サイズ及び縦横比を定義する基本制限、
及び該クリーク内のオブジェクトの相対位置を定義する
相対制限により定義される、前記生成ステップと、 前記の各時間クリーク内の前記オブジェクトの前記制限
に作用して、所定制限に従い初期レイアウトを決定する
ことにより、前記の各クリークを連続的に処理するステ
ップと、 マルチメディア・クリークに対応する空間設計を３次元
により解明するステップであって、２次元が前記コンピ
ュータ表示画面の平面を定義し、３次元目がオーバラッ
プする前記オブジェクトの深度を定義し、前記コンピュ
ータ表示画面上における前記クリーク内の前記オブジェ
クトのロケーション及びそれらのそれぞれの深度を決定
する、前記解明ステップと、 前記空間設計を、前記コンピュータ表示画面上において
オーバラップしうる前記の各クリークに対応する前記オ
ブジェクトのレイアウトとして連続的に表示するステッ
プと、 前記処理クリーク及び後続の前記クリーク内の前記の各
オブジェクトに対応して、該オブジェクトの前記空間制
限を、前記後続のクリークを処理する以前に、当該後続
クリークに伝播するステップと、 を含む、方法。 - 【請求項７】前記クリーク内の前記オブジェクトが先行
クリークから伝播されたときに、該クリーク内の前記オ
ブジェクトの順序が、前記先行クリークからの前記オブ
ジェクトの伝播後に矛盾しないか否かをテストするステ
ップと、 前記クリークを処理する以前に、矛盾の無い順序を提供
するように、前記クリーク内の前記オブジェクトを再順
序化するステップと、 を含む、請求項６記載の方法。 - 【請求項８】前記空間設計の表示において、ユーザに前
記コンピュータ表示画面上に表示される前記オブジェク
トのそれぞれの前記深度の順序を変更する任意選択を提
供するステップと、 前記ユーザによる選択順序に従い再順序化される前記空
間設計を表示するステップと、 を含む、請求項７記載の方法。 - 【請求項９】ユーザに前記クリーク内の前記オブジェク
トの前記制限を変更する任意選択を提供するステップを
含む、請求項７記載の方法。 - 【請求項１０】前記入力制限にもとづき、矛盾の無いレ
イアウトが生成されたか否かを判断するために、前記空
間設計をテストするステップと、 矛盾するレイアウトが生成された場合、ユーザが前記マ
ルチメディア・クリークに対応する前記空間設計を再度
解明しようと試みる以前に、前記ユーザに前記クリーク
内の前記オブジェクトの前記制限を変更するように促す
ステップと、 を含む、請求項７記載の方法。 - 【請求項１１】前記空間設計の表示において、ユーザに
前記レイアウトを受諾する任意選択を提供するステップ
と、 受諾されない場合、前記ユーザが前記マルチメディア・
クリークに対応する前記空間設計を再度解明しようと試
みる以前に、前記ユーザに前記クリーク内の前記オブジ
ェクトの前記制限を変更するように促すステップと、 を含む、請求項７記載の方法。 - 【請求項１２】マルチメディア表現のための空間レイア
ウトを自動的に獲得する装置であって、 マルチメディア表現の間にコンピュータ表示画面上に同
時に表示されるオブジェクトのセット（クリークと定義
する）と、サイズ及び縦横比を定義する基本制限、及び
前記クリーク内における前記オブジェクトの相対位置を
定義する相対制限のセットを入力する入力手段と、 前記クリーク内の前記オブジェクトの前記制限に作用し
て、所定制限に従い初期レイアウトを決定する中央プロ
セッサ手段であって、該プロセッサ手段が、マルチメデ
ィア・クリークに対応する空間設計を３次元により解明
し、２次元が前記コンピュータ表示画面の平面を定義
し、３次元目がオーバラップする前記オブジェクトの深
度を定義し、前記コンピュータ表示画面上における関連
オブジェクトのロケーション及びそれらのそれぞれの深
度を決定する、前記中央プロセッサ手段と、 前記空間設計を、前記コンピュータ表示画面上において
オーバラップしうる前記オブジェクトのレイアウトとし
て表示する表示手段と、 を含む、装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US392717 | 1995-02-23 | ||
| US08/392,717 US5669006A (en) | 1995-02-23 | 1995-02-23 | Method for automatically obtaining spatial layout for multimedia presentations |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08320939A true JPH08320939A (ja) | 1996-12-03 |
| JP3193611B2 JP3193611B2 (ja) | 2001-07-30 |
Family
ID=23551731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01673796A Expired - Fee Related JP3193611B2 (ja) | 1995-02-23 | 1996-02-01 | マルチメディア表現のための空間レイアウトを自動的に獲得する方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5669006A (ja) |
| JP (1) | JP3193611B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022548756A (ja) * | 2019-09-20 | 2022-11-21 | エヌイーシー ラボラトリーズ アメリカ インク | 双方向レンジングを使用したエッジ距離推定のみを用いた同時マルチラテレーションによる線形グラメトリ及び較正 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5838317A (en) * | 1995-06-30 | 1998-11-17 | Microsoft Corporation | Method and apparatus for arranging displayed graphical representations on a computer interface |
| US6026417A (en) * | 1997-05-02 | 2000-02-15 | Microsoft Corporation | Desktop publishing software for automatically changing the layout of content-filled documents |
| US6094651A (en) * | 1997-08-22 | 2000-07-25 | International Business Machines Corporation | Discovery-driven exploration of OLAP data cubes |
| US6003029A (en) * | 1997-08-22 | 1999-12-14 | International Business Machines Corporation | Automatic subspace clustering of high dimensional data for data mining applications |
| US6380954B1 (en) | 1998-02-09 | 2002-04-30 | Reuters, Ltd. | Method and system for layout of objects within a perimeter using constrained interactive search |
| US6314569B1 (en) * | 1998-11-25 | 2001-11-06 | International Business Machines Corporation | System for video, audio, and graphic presentation in tandem with video/audio play |
| US6462759B1 (en) * | 1999-02-25 | 2002-10-08 | International Business Machines Corporation | Adaptive computer display screen window |
| US7278115B1 (en) * | 1999-06-18 | 2007-10-02 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface to objects, the user interface exploiting spatial memory and visually indicating at least one object parameter |
| JP2001175386A (ja) * | 1999-12-21 | 2001-06-29 | Fujitsu Ltd | 表示装置及び表示方法並びに記憶媒体 |
| US7725812B1 (en) * | 2000-03-31 | 2010-05-25 | Avid Technology, Inc. | Authoring system for combining temporal and nontemporal digital media |
| US6628297B1 (en) | 2000-05-10 | 2003-09-30 | Crossartist Software, Aps | Apparatus, methods, and article for non-redundant generation of display of graphical objects |
| US7568155B1 (en) * | 2000-08-10 | 2009-07-28 | Oracle International Corporation | Visual configurator |
| DE10065323C2 (de) * | 2000-12-31 | 2003-10-30 | Siemens Ag | Verfahren zur Steuerung der Anordnung von graphischen Elementen |
| US8665293B2 (en) * | 2001-05-16 | 2014-03-04 | Autodesk, Inc. | Automatic draw order |
| US7417619B2 (en) * | 2002-01-08 | 2008-08-26 | International Business Machines Corporation | Determining a minimum size of presentation data |
| US20040034613A1 (en) * | 2002-07-23 | 2004-02-19 | Xerox Corporation | System and method for dynamically generating a style sheet |
| US7010746B2 (en) * | 2002-07-23 | 2006-03-07 | Xerox Corporation | System and method for constraint-based document generation |
| US7487445B2 (en) * | 2002-07-23 | 2009-02-03 | Xerox Corporation | Constraint-optimization system and method for document component layout generation |
| US8060345B2 (en) * | 2004-03-18 | 2011-11-15 | The Boeing Company | Transforming airplane configuration requirements into intelligent spatial geometry |
| US7348982B2 (en) | 2004-09-30 | 2008-03-25 | Microsoft Corporation | Method, system, and computer-readable medium for creating and laying out a graphic within an application program |
| US8510657B2 (en) | 2004-09-30 | 2013-08-13 | Microsoft Corporation | Editing the text of an arbitrary graphic via a hierarchical list |
| US8134575B2 (en) | 2004-09-30 | 2012-03-13 | Microsoft Corporation | Maintaining graphical presentations based on user customizations |
| US7750924B2 (en) * | 2005-03-15 | 2010-07-06 | Microsoft Corporation | Method and computer-readable medium for generating graphics having a finite number of dynamically sized and positioned shapes |
| US7743325B2 (en) * | 2005-03-15 | 2010-06-22 | Microsoft Corporation | Method and computer-readable medium for fitting text to shapes within a graphic |
| US7747944B2 (en) | 2005-06-30 | 2010-06-29 | Microsoft Corporation | Semantically applying style transformation to objects in a graphic |
| US8438486B2 (en) * | 2006-02-09 | 2013-05-07 | Microsoft Corporation | Automatically converting text to business graphics |
| JP4881048B2 (ja) * | 2006-04-03 | 2012-02-22 | キヤノン株式会社 | 情報処理装置および情報処理方法および情報処理プログラム |
| AU2006201851A1 (en) * | 2006-05-03 | 2007-11-22 | Canon Kabushiki Kaisha | Compressing page descriptions while preserving high quality |
| CN100428237C (zh) * | 2006-07-20 | 2008-10-22 | 清华大学 | 一种利用平面接口获取多媒体信息的方法 |
| US8301999B2 (en) * | 2006-09-25 | 2012-10-30 | Disney Enterprises, Inc. | Methods, systems, and computer program products for navigating content |
| JP2008147851A (ja) * | 2006-12-07 | 2008-06-26 | Canon Inc | 編集装置および編集方法および編集プログラム |
| US8091030B1 (en) * | 2006-12-14 | 2012-01-03 | Disney Enterprises, Inc. | Method and apparatus of graphical object selection in a web browser |
| US7949948B2 (en) * | 2007-05-09 | 2011-05-24 | Microsoft Corporation | Constraint and rule-based page layout |
| DE112008003854T5 (de) * | 2008-05-06 | 2011-06-22 | Hewlett-Packard Development Company, L.P., Tex. | Raum-Zeit-Medienobjektlayouts |
| NO331338B1 (no) * | 2009-06-24 | 2011-11-28 | Cisco Systems Int Sarl | Fremgangsmate og anordning for endring av en videokonferanse-layout |
| US8799325B2 (en) * | 2010-03-12 | 2014-08-05 | Microsoft Corporation | Reordering nodes in a hierarchical structure |
| US8473842B2 (en) | 2010-05-12 | 2013-06-25 | Microsoft Corporation | Contour based flow layout |
| EP3992766A4 (en) * | 2020-09-11 | 2022-08-24 | Tencent Technology (Shenzhen) Company Limited | METHOD AND APPARATUS FOR ADJUSTING A CONTROL POSITION IN AN APPLICATION PROGRAM, DEVICE, AND RECORDING MEDIA |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4723210A (en) * | 1984-08-30 | 1988-02-02 | International Business Machines Corp. | Superblock structure in a multiple in a data editor |
| US5179650A (en) * | 1988-01-21 | 1993-01-12 | Kabushiki Kaisha Toshiba | Method and apparatus for editing documents |
| US5214755A (en) * | 1989-04-25 | 1993-05-25 | Microsoft Corporation | Document processing method and system |
| US5278946A (en) * | 1989-12-04 | 1994-01-11 | Hitachi, Ltd. | Method of presenting multimedia data in a desired form by comparing and replacing a user template model with analogous portions of a system |
| JPH03177964A (ja) * | 1989-12-07 | 1991-08-01 | Toshiba Corp | 文書整形装置 |
| US5634021A (en) * | 1991-08-15 | 1997-05-27 | Borland International, Inc. | System and methods for generation of design images based on user design inputs |
| US5311443A (en) * | 1992-08-13 | 1994-05-10 | Motorola Inc. | Rule based floorplanner |
| US5353401A (en) * | 1992-11-06 | 1994-10-04 | Ricoh Company, Ltd. | Automatic interface layout generator for database systems |
| US5515490A (en) * | 1993-11-05 | 1996-05-07 | Xerox Corporation | Method and system for temporally formatting data presentation in time-dependent documents |
| US5544301A (en) * | 1993-12-30 | 1996-08-06 | Taligent, Inc. | Object-oriented view layout system |
-
1995
- 1995-02-23 US US08/392,717 patent/US5669006A/en not_active Expired - Lifetime
-
1996
- 1996-02-01 JP JP01673796A patent/JP3193611B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022548756A (ja) * | 2019-09-20 | 2022-11-21 | エヌイーシー ラボラトリーズ アメリカ インク | 双方向レンジングを使用したエッジ距離推定のみを用いた同時マルチラテレーションによる線形グラメトリ及び較正 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3193611B2 (ja) | 2001-07-30 |
| US5669006A (en) | 1997-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3193611B2 (ja) | マルチメディア表現のための空間レイアウトを自動的に獲得する方法 | |
| JP3306741B2 (ja) | マルチメディア・ストーリ提供方法及び装置 | |
| US7225405B1 (en) | System and method for audio creation and editing in a multimedia messaging environment | |
| US5745103A (en) | Real-time palette negotiations in multimedia presentations | |
| US6986107B2 (en) | Dynamic generation of visual style variants for a graphical user interface | |
| US6747674B1 (en) | Image processing apparatus, image processing method, and information providing medium | |
| US6278455B1 (en) | Pictorial interface for accessing information in an electronic file system | |
| KR101037864B1 (ko) | 복수의 미디어 객체들에서 사용하기 위한 특징을 생성하는방법 및 소프트웨어 프로그램 | |
| US5675753A (en) | Method and system for presenting an electronic user-interface specification | |
| US8830272B2 (en) | User interface for a digital production system including multiple window viewing of flowgraph nodes | |
| EP0747804B1 (en) | Selection facilitation on a graphical interface | |
| US8174523B2 (en) | Display controlling apparatus and display controlling method | |
| US8024672B1 (en) | System and method for generating presentations | |
| US7725830B2 (en) | Assembling verbal narration for digital display images | |
| JP4857122B2 (ja) | プレゼンテーションアプリケーションにおける文脈位置を明らかにするインテリジェントアジェンダオブジェクト | |
| EP0646863A2 (en) | Positioning for multiple icons | |
| US20070214136A1 (en) | Data mining diagramming | |
| JP2007511851A (ja) | 複数のアプリケーションを表示するためのユーザ・インターフェース | |
| JPH0654469B2 (ja) | 対話式多重媒体提示プログラム作成補助方法 | |
| US6025838A (en) | Interactive display interface for media presentation with direct access to media sequences | |
| JP2004206701A (ja) | 自由形状ペースト処理システム、方法及びプログラム | |
| JP4370792B2 (ja) | ビデオシーケンスの階層形成方法及びプログラム | |
| US7512887B2 (en) | Method to employ multiple, alternative presentations within a single presentation | |
| US20130028523A1 (en) | Image processing apparatus, image processing method and recording medium | |
| US6686937B1 (en) | Widget alignment control in graphical user interface systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080525 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080525 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090525 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |