JP4204636B2 - 非線形編集環境において３ｄアニメーションを編集または修正するための方法およびシステム - Google Patents

Description

発明の属する技術分野

本発明は、３Ｄアニメーションを編集または修正するためのシステムおよび方法に関する。詳細には、本発明は、３Ｄアニメーションを編集しかつ／または修正するための非線形編集システムおよび方法に関する。

従来の技術

ビデオ（２Ｄ）とオーディオ（「１Ｄ」と呼ばれることもある）のシステムのための非線形編集（ＮＬＥ）システムは公知である。ビデオおよび／またはオーディオ用のＮＬＥシステムは、ＡＶＩＤやＱｕａｎｔｅｌ及び他の企業によって製造されたシステムを含む。非線形ビデオ編集システムは、適切な記憶媒体または出力にレンダリングするために、ユーザが、デジタル・ソースまたはデジタル化ソース情報を接合し、配置し、かつ／または修正して、最終カットを作成または編集することを可能にする。このシステムは、ソースが、一般に線形にアクセスされるように制限されておらず、その代わりにランダムなアクセスが可能である点で非線形である。例えば、１０秒のデジタルビデオソースのうちの最後の３秒に、最初の７秒にアクセスすることなしにアクセスすることができ、あるいはデジタルビデオ内の個々のフレームに所望通りアクセスし、および／または結合することができる。非線形オーディオ編集システムは、ユーザが、デジタル・ソースまたはデジタル化オーディオソースを容易かつ効率的に操作して、最終編集または「カット」として参照されることが多い所望の最終出力を作成することを可能にする。

実際には、ビデオ用のＮＬＥシステムを使用して、例えば、郊外の道路を走る新しい車のデジタル化ソースビデオと、車内のドライバのデジタル・ソースビデオと、技術者がそばに立つ実験用風洞内の車のデジタル化ソースビデオとを結合することによって、車のニュー・モデルのテレビ広告のビデオ部分を構成することができる。オーディオ用のＮＬＥシステムを使用して、デジタル形式のクラシック音楽の選曲を車の特徴を語るやはりデジタル形式のナレータのオーディオと混合したものと、音楽ソースおよびナレーション・ソースと適切な時点で混合された様々な音響効果ソースとを含む、この広告用のオーディオサウンド・トラックを作成することができる。ビデオとオーディオの最終編集は、次に、ＶＴＲ、ＲＡＩＤアレイ、モニタなどの適切なシンクにレンダリングされ、完成したコマーシャルが得られる。

ＮＬＥ編集者は、利用可能なソース（ビデオまたはオーディオ）をグラフィカル・ユーザ・インターフェース（ＧＵＩ）内のオブジェクトとして表し、オブジェクトは、一般に、編集の時間線に対して位置決めされかつ／または操作されるクリップとして参照される。最終編集を得るために、クリップにフェード（fade）、ディゾルブ（dissolve）、ワイプ（wipe）、ブレンド（blend）などの様々な効果を適用することができる。

３Ｄアニメーションを編集するための公知の技術は、前述のＮＬＥを使用する場合と同じように、３Ｄアニメーションを次に従来の方法で編集される２Ｄ媒体（ビデオ）にレンダリングする処理を含んでいた。３Ｄアニメーションからレンダリングされた２Ｄ媒体は、デジタルビデオなどの他の２Ｄソースマテリアルと同様に扱われ、ディレクターによって所望通りに、そのような他のソースマテリアルと結合することができる。

ディレクターが、例えば、キャラクタに、固定した背景をより早い速度で歩いて通り過ぎさせたり、３Ｄアニメーションのコンテンツを異なる順序で合成したりするために、３Ｄアニメーションの２Ｄレンダリングへの変更を必要とする場合は、ディレクターは、アニメーションアーティストに何が所望なのかを指示しなければならず、アニメーションアーティストは次に、必要なアニメーションツールを呼び出して、アニメーションを修正し、それを２Ｄ媒体に再びレンダリングする。この新しい２Ｄマテリアルは、次にディレクターに提供され、前のマテリアルと置き換えられる。

これらの技術は、過去において妥当な結果を提供してきたが、従来技術の編集技法よりも使い易くて効率がよく、ディレクター、編集者、アーティストにフレキシブルな創造環境を提供する、３Ｄアニメーションを編集しかつ／または修正する方法およびシステムが所望される。

本発明の目的は、３Ｄアニメーションを編集し修正する新規なシステムおよび方法を提供することである。

本発明は、ディレクターとそのディレクターが作業しているソースマテリアルとの間の障壁を削減または除去する、アニメーション情報を編集し修正するための方法およびシステムを提供する。従来、３Ｄアニメーションの２Ｄレンダリングを含むことがある２Ｄビデオの場合、既存のソース情報を編集するためにＮＬＥシステムが使用される。本質的に、最終編集を作成するディレクターは、既に作成されているソース情報を選択し、配置し、効果を適用することしかできない。追加のソース情報を必要とする場合、ディレクターは、新しいシーンを撮影することなどによって、そのような追加の情報を作成することを引き受けなければならず、したがって、ディレクターとそのディレクターの作業との間には障壁がある。本発明者は、３Ｄアニメーションからのソースマテリアルの編集に使用されるＮＬＥがそのように制限される必要がなく、そのような従来のシステムで経験した障壁を緩和することができると判断した。特に、本発明者は、ＮＬＥシステムが、ディレクターが処理している２Ｄ表現をアニメーションの３Ｄ世界に統合することを可能にする３Ｄアニメーションの編集および修正のためのシステムおよび方法を作成した。後で説明するように、本発明により、ＮＬＥシステムのディレクターまたは他のユーザは、従来の方式で３Ｄアニメーションの２Ｄレンダリングの編集と操作との両方を行うことができ、また、そのような３Ｄアニメーションを、必要に応じて編集、操作および再レンダリングすることができる。

本発明の第１の態様によれば、ユーザが一セットの利用可能な要素から１つの要素を選択するステップを含む、少なくとも３Ｄアニメーション情報を含む編集を作成し修正するためのコンピュータで実施する方法が提供され、要素は、開始位置、終了位置、アニメーション速度などの少なくとも１つのパラメータを含む３Ｄアニメーション情報を表す。選択された要素は、ユーザがコンピュータの図形表示内に時間線に対して位置決めすることができるクリップ・オブジェクトとしてユーザに提示される。図形表示内の時間線に対するクリップ・オブジェクトのサイズは、要素内のパラメータのうちの適切なものに適用される継続時間に対応し、時間線に対するクリップ・オブジェクトの端は、開始時間と終了時間を表し、これらはそれぞれ、やはり要素のパラメータのうちの適切なものに適用される。コンピュータは、パラメータに適用される情報にしたがってアニメーション情報にアクセスして、各要素を合成することによって編集を作成する。編集への修正は、ユーザがクリップ・オブジェクトを位置変更および／またはサイズ変更するか、コンピュータが対応する変更を適切なパラメータに適用して編集を再構成するか、編集に合成される要素を除去、追加、または置換することによって達成することができる。

本発明のもう１つの態様では、コンピュータで実現する非線形編集システムが提供され、このシステムは、少なくとも３Ｄアニメーションを含む編集を作成し修正するために、アニメーション情報とアニメーション情報に関係するパラメータとを含む要素を記憶する記憶装置と、要素にアクセスするために記憶装置にファンクション的に接続されたコンピュータと、時間線を含むＮＬＥのグラフィカル・ユーザ・インタフェースをユーザに表示し、編集を構成するために合成された１つ以上の記憶要素により制作された編集の結果を表示するために１つ以上の出力装置とを含む。このシステムは、また、ユーザが、前記記憶装置に記憶された前記要素のリストから少なくとも１つの要素を選択し、選択した要素を表すクリップ・オブジェクトの位置決めを時間線に対して定義することができる少なくとも１つのユーザ入力装置を含み、要素から制作されたアニメーションの開始時間、終了時間、および継続時間は、時間線に対するクリップ・オブジェクトの位置決めおよびサイジングによって決定される。コンピュータは、そのそれぞれのクリップ・オブジェクトの位置決めとサイジングに応じて各要素にアクセスし、要素を合成して編集を制作する。ユーザが、１つ以上のクリップ・オブジェクトを位置変更しかつ／またはサイズ変更するとき、クリップに行われた変更に対応する要素の開始時間、終了時間、および継続時間への変更が、要素の適切なパラメータに適用され、コンピュータが、パラメータの新しい値にしたがって要素にアクセスしなおして合成する。

次に、本発明の好ましい実施形態を、添付図面を参照して、単なる例として説明する。

発明の実施の形態

図１は、本発明の実施形態によるＮＬＥシステム１０の例を示す。システム１０は、例えば、Intel Pentium（登録商標）プロセッサを有しMicrosoft Windows（登録商標） NTオペレーティング・システムを実行するＰＣなどの汎用コンピュータ・システム１１あるいは専用のコンピュータ・システムであるコンピュータを含み、このコンピュータは３Ｄアニメーションを編集し修正するＮＬＥベース・システムを提供するために一連のプログラム・ステップを実行する。コンピュータ・システム１１は、キーボード１２、マウス１３、グラフィックス・タブレット（図示せず）などの任意の他の適切なユーザ入力装置のような１つ以上のユーザ入力装置に接続される。コンピュータ・システム１１は、一般に、不揮発性記憶装置を含むが、ＲＡＩＤアレイ１４、光ディスク・ドライブ（図示せず）、デジタルまたはアナログビデオまたはオーディオテープ・レコーダなどの記憶装置によって、ソース情報、処理中の編集、および最終編集を記憶するための追加のデータ記憶機構を提供することができる。

当業者に明らかなように、コンピュータ・システム１１は、ＲＡＩＤアレイ１４などの記憶装置に直接接続することができ、かつ／またはインターネットなどを介してＬＡＮネットワーク接続１５のような適切な通信リンクを介して記憶装置に接続することができる。システム１０は、また、高解像度モニタ１６、サウンド・システム１８などの１つ以上の出力装置、およびそれらに対応する入出力カード（図示せず）を含む。図１の実施形態において、さらに後で説明するＮＬＥシステムのグラフィカル・ユーザ・インターフェース（ＧＵＩ）と、制作される編集の出力は、それぞれ、モニタ１６上に同時または交互に表示され、任意の関連したサウンド・トラックが、サウンド・システム１８によって出力される。しかしながら、また、ある状況において、ＮＬＥシステムのＧＵＩを別のモニタに表示させながら、出力を１つ以上のモニタ上に表示することができるように１つ以上のモニタ１６が提供されることが企図される。

図２は、本発明による非線形編集（ＮＬＥ）システムのデータの関係２０のブロック図である。以下の説明において、ＮＬＥシステム１０によって作成された編集は、プロジェクト２４として参照される。プロジェクト２４は、プロジェクト２４内で結合させ、次にレンダリングし、混合し、かつ／または合成して最終編集を作成することができるビデオ、オーディオ、静止画像、静止３Ｄ情報、および／または３Ｄアニメーションなどの一連の要素２８を含む。図には、３つの要素２８が示され、第１の要素２８ａは、オーディオ情報であり、第２の要素２８ｂは、静止画像の情報であり、第３の要素２８ｃは、３次元のアニメーション化キャラクタの情報でよい。図に示したように、プロジェクト２４は、３つ以上の要素２８を含んでもよく、例えば、オーディオ、ビデオおよび／または３Ｄアニメーション、静止画像、静止３Ｄオブジェクトの多数の要素を含むことができる。さらに、後で説明するように、プロジェクト２４の要素２８自体がまたプロジェクトでもよい。さらにまた、各要素２８は、後でより詳細に考察するように、適切なツール３２との１つ以上の定義された関連付けを有することもある。プロジェクト２４は、要素２８の他に、最終編集を制作する要素２８間でユーザによって定義されたシステム１０との相互関係を維持し、要素２８と適切なツール３２との間の関連付けを維持する編集データ構造３０を含む。

プロジェクト２４は、ＲＡＩＤアレイ１４、デジタルビデオまたはオーディオテープなどの記憶装置からのソース情報を利用する要素２８を含むことができ、プロジェクト２４は、それ自体、ＲＡＩＤアレイ１４などの記憶装置、ネットワーク接続１５によってコンピュータ・システム１１に接続された記憶装置などに記憶されてもよい。

ツール３２は、本発明の譲受人によって販売されている製品SoftImage|3Dやそのコンポーネントなどのアニメーションプログラム、合成システム、前述の製品SoftImage|3Dと共に含まれる「メンタル・レイ（mental ray）」レンダリングエンジンなど、１つ以上のレンダリングエンジンを含むことができる。当業者に知られているように、レンダリングエンジンの選択は、所望の品質、速度、解像度、その他の関連因子に依存し、当業者は、他のツール３２を選択する際に行われる類似の検討を理解するであろう。前述のように、各要素２８は、１つ以上の適切なツール３２との関連付けを有することができる。例えば、３Ｄアニメーション化キャラクタのアニメーション情報を含む要素２８は、必要に応じてシステム１０がツール３２を呼び出してアニメーション情報を修正することを可能にする前述のＳｏｆｔＩｍａｇｅ｜３Ｄ製品のアニメーションコンポーネントに対して定義された関連付けを有する。そのような関連付けは、当業者に想起されるような様々な方法で定義することができ、例えば、記憶場所によって定義された情報を記憶するファイル名の拡張子にしたがって定義することができ、すなわち、アニメーションにサブディレクトリを提供することができ、静止画像、ユーザによる情報に関して明示的に定義された静止画像などに、異なるサブディレクトリを提供することなどができる。

ユーザは、ＮＬＥのグラフィカル・ユーザ・インターフェース（ＧＵＩ）４０を介してＮＬＥシステム１０と対話する。その実施形態を図３に示す。図示したように、ＧＵＩ４０は、画像領域４４、ファンクション領域４８およびＮＬＥ時間線領域５２からなる。画像領域４４は、モニタ画面の一部分でもよく、あるいは高解像度モニタなどの別のモニタでもよく、画像領域４４は、ビジュアル（ビデオ、静止画像、アニメーションなど）クリップまたはそのようなクリップの一部のコンテンツや、完成した現行編集のビジュアル出力などを表示することができる。同様に、サウンド・システム１８は、オーディオ（音楽、ナレーション、音響効果など）クリップまたはそのようなクリップの一部のコンテンツや、完全な現行編集のオーディオ出力などを出力することができる。このように、ディレクターは、クリップのコンテンツをレビューし、それらを適切に（後で説明する）トリミングあるいは編集し、その結果を表示させることができる。

ファンクション領域４８は、例えば、特定のツール３２がアクティブな場合にはそのツールとあるいはシステム１０と関連付けられたファンクションボタン６０とファンクションメニュー６４からなる。クリップとツール３２との間で定義された関連付けによりツール３２にアクセスしてクリップを修正する多くの状況において、ファンクション領域４８は、そのツール３２の一般に使用されるファンクションとオペレータの少なくともサブセットを表示するように更新される。例えば、アニメーション用途において、ファンクションは、シェーディング、スケーリング、所定の移動、その他の効果、ならびに一般ファイル検索などを含むことができる。

特定のツール３２が呼び出されなかった場合、ファンクション領域４８は、システム１０に関連するファンクションとオペレータを表示し、これは、図に示したような、図示したシーン７〜１２や、システム１０で操作される利用可能なクリップなど、興味あるプロジェクトをユーザが選択できるようにするExplorer型のブラウザを含むことができる。

図４に、ＮＬＥ時間線領域５２を概略的に示し、分かり易くするためにサムネイル８４を省略した。ＮＬＥ時間線領域５２は、図３の「シーン８」のプロジェクト２４を、時間が左から右に進む時間線６６と関連した図形の形で表示する。要素２８は、それぞれトラック７２に、個別の長方形クリップ６８として表示される。要素２８に関して前に説明したように、クリップ６８ａ、６８ｂ、および６８ｃは、それぞれ、オーディオ情報、ビデオ情報、静止画像情報（背景シーンなど）、または静止３Ｄ情報（アニメーション化キャラクタが歩いて通りすぎる３Ｄセットなど）、およびアニメーション化キャラクタやその他のモデルなどのアニメーション化３Ｄオブジェクト情報を含む。図３と図４に示したプロジェクト「シーン８」の特定の時間線において、クリップ６８ａは、静止画像背景の要素２８ａを表し、クリップ６８ｂは、この場合には人のアニメーション化３Ｄキャラクタの要素２８ｂを表し、クリップ６８ｃは、光源の要素２８ｃを表す。

この特定の例において、要素２８ａは、編集者が静止画像を修正できるようにするペイント・ツール３２およびレンダリングエンジン・ツール３２との定義された関連付けを有することができ、それにより、システム１０内で行われた要素２８に対する変更の結果としてプロジェクトを再レンダリングしなければならなくなった場合に、要素２８ａがレンダリングエンジン・ツールによって含まれることができる。

各クリップ６８と、関連付けられた基本要素２８は、ある共通する特徴を有する。各クリップ６８は、２次元の矩形の枠によって表され、それぞれ時間線６６に対してその間の継続時間を定義する始点７６と終点８０を有する。各クリップ６８の始点７６、終点８０、および継続時間は、対応するクリップ６８によって指定された継続時間よりも総継続時間が長くなることがある対応する要素２８内の適切な位置にマッピングされる。各トラック７２は、２つのクリップ６８ｃを１つのトラックに示した図に示されたように、１つ以上のクリップ６８または同じクリップの１つ以上のインスタンス（instance）を有することができる。クリップの２つのインスタンスを含むとき、それらのインスタンスは、クリップ６８と関連付けられた要素２８の総継続時間のうちの繰り返されたオーバーラップ部分または異なる部分でもよい。

ＮＬＥタイプエディターの概念は、ビデオとオーディオに関して公知であるが、本発明は、ＮＬＥメタファを使用して３Ｄアニメーション情報を編集し修正し、３Ｄ情報に対する便利でかつ効率的な２Ｄリンクを効果的に提供する。

図３に示したように、本発明の現在好ましい態様において、各クリップ６８は、また、クリップのコンテンツを表す好ましくはグラフィクス表現またはアイコンであるサムネイル８４を関連付けることができたが、これらは、文字説明または文字と画像の両方でもよい。グラフィクス表現またはアイコンを使用するとき、そのようなサムネイルは、時間の経過による基本情報の変化または発展を、それがある場合には示すことができる。例えば、背景のアイコンを示すサムネイル８４ａは、要素２８ａの情報を表す。クリップ２８ａ内の情報は時間の経過とともに変化せず、したがって、情報を表すのに単一の繰返しサムネイルで十分である。これと対照的に、クリップ６８ｂ上のサムネイル８４ｂは、アニメーションが進行するときに歩くキャラクタ「John」の３Ｄアニメーションと関連した要素２８ｂ内の情報の状態を表すアイコンを変化させている。この例において、クリップ６８ｃは、プロジェクトのレンダリングに含まれる光源に関連した情報を含む要素２８ｃを表し、この特定の例において、クリップ６８ｃは、光源が２つの別々の継続時間を有するように時間線６６に沿って２回現れる。これは、編集内の第１の継続時間の間、光が「オン」、すなわちアニメーションの任意のレンダリングに含まれ、編集内の次の継続時間の間、光「オフ」、すなわちアニメーションのレンダリングに含まれず、次に編集のもう１つの継続時間の間に再び「オン」になるという効果を有する。

要素２８内で編集を制作しかつ／または情報を修正するために、ユーザは、ＮＬＥ時間線領域５２内の対応するクリップ６８に基づいて修正または作業する。ユーザは、ファンクション領域４８のブラウザに提示された利用可能な要素のリストからの編集に含める要素を選択することができる。ユーザは、このリストから所望の要素をドラッグしてそれをトラック７２上にドロップし、これは、クリップ６８によって表される。ユーザは、クリップ６８を所望の長さにスケーリングすることによってクリップ６８の継続時間を変更することができる。これは、当業者によって理解されるように、公知の「ドラッグ」操作を含む種々様々な方式で達成することができ、ユーザは、マウス１３などの入力装置でクリップ６８の開始端か終了端をクリックし、その端を所望の新しい位置にドラッグする。同様に、キーストロークの組合せ、マウス操作、または当業者に想起される任意の他の適切な手段を使用して、クリップ６８をその関連トラック７２に沿って移動させ、その始点７６と終点８０を時間線６６に対して変更することができる。クリップを短縮した場合は、プロジェクトに使用される対応する要素２８ａ内のソース情報の継続時間が短くされる。クリップ６８を時間線６６に対して左にシフトした場合は、対応する要素２８内のソース情報が、プロジェクト内で以前よりも早く使用される。

クリップ６８ｂは、２Ｄまたは１Ｄ情報を表すクリップと違って、３Ｄアニメーション情報を表し、適切な場合に３Ｄアニメーションの２Ｄレンダリングとして、もしくは、適切な場合に操作し次に再レンダリングすることができる３Ｄ情報として、ＮＬＥシステム１０により強化された方法で操作することができる。例えば、クリップ６８ｂは、２Ｄまたは１Ｄ情報のクリップと同じように長くしてその継続時間を延長することができるが、これにより、要素２８ｂを３Ｄ情報から２Ｄ表現に再レンダリングすることになる。特に、要素２８ｂが、「John」のような左から右に歩く二足歩行のキャラクタのアニメーション化３Ｄモデルを表す場合は、クリップ６８ｂを長くすることにより、要素２８ｂ内のアニメーション情報と一緒に含まれるアニメーションパラメータによって、キャラクタが歩く速度を遅くしたり移動距離を長くしたりすることができる。

本明細書に使用されているような「アニメーションパラメータ」という用語は、アニメーション要素を定義する様々な成分を含むように意図される。アニメーションパラメータは、固定、すなわちＮＬＥにより直接変更することができないか、修正可能、すなわちＮＬＥにより修正することができる。例えば、図５は、左から右の方向に歩くアニメーション化された人物のアニメーション要素８８を示す。アニメーション要素８８は、関節連鎖階層（articulated chain hierarchy）の定義を含むスケルトンパラメータ９２と、スケルトンパラメータ９２に適用される柔軟な外皮またはスキンのパラメータ９６を含む。スケルトンパラメータ９２と柔軟な外皮パラメータ９６は両方とも固定されている。

アニメーション製作者が固定されたパラメータを修正する必要があるとき、ＮＬＥは、アニメーション製作者が、必要に応じて、要素８８の関連付けによって指定されたような必要なツール３２を呼び出すことを可能にする。例えば、アニメーション製作者が、スケルトンパラメータ９２の関節連鎖階層を修正したい場合は、クリップおよび所望通りに修正されたスケルトン上をダブルクリックするなどの適切なユーザ入力イベントにより、ＮＬＥ時間線からモデリング・ツール３２を呼び出すことができる。そのような場合、ファンクション領域４８を更新して、モデリング・ツール３２の一般に使用されるファンクションおよびオペレータの少なくともサブセットを表示させることができる。

要素８８によって表されたアニメーション化された人物の連続的な歩行運動を作成するために必要なスケルトン関節の繰返し可能なシーケンスのために、固定された繰返し歩行サイクル・パラメータ１００を定義することができる。さらに、歩行速度パラメータ１０４、開始位置パラメータ１０８、および終了位置パラメータ１１２を、固定されたパラメータと関連した修正可能なパラメータとして定義し、設定することができる。場合によっては、アニメーションパラメータが、本質的に、固定されたタイプまたは修正可能なタイプのものとして設定されることがある。例えば、スケルトンパラメータ、柔軟外皮パラメータ、および類似のパラメータを、本質的にこれらのパラメータが編集を作成する通常の過程でディレクター／ユーザによって修正されないように、固定されたタイプとして設定することができる。同様に、速度、位置、および他の同様の因子に関係するパラメータを、本質的にこれらのパラメータが編集を作成する通常の過程でディレクター／ユーザによって一般に修正されるように、修正可能として設定することができる。いずれの場合も、それぞれのパラメータは、パラメータの修正を可能にするために少なくとも１つの適切なツール３２が関連付けられている。さらに、ユーザは、所望する場合に、それぞれのパラメータを任意の適切なユーザ入力によって固定または修正可能なものとして明示的に設定することができる。

本発明のＮＬＥにおいて、要素８８は、クリップ６８ｂなどの様々な方式で修正することができるクリップとして表される。例えば、要素８８のクリップが長くされると、これは、アニメーションの継続時間が延長されたことを示す。しかしながら、要素８８に対応するアニメーションは、少なくとも２つの方法で延長することができる。例えば、速度パラメータ１０４を減少させ、開始位置パラメータ１０８と終了位置パラメータ１１２を一定に維持することができ、その結果、クリップ内のキャラクタは、開始位置から終了位置まで遅い足取りで歩行するようになる。すなわち、アニメーション化キャラクタは、クリップの延長された継続時間の範囲で同じ距離を行く。あるいは、速度パラメータ１０４を一定に維持することができ、変化させるクリップの端に対応する開始位置１０８と終了位置１１２のどちらかの位置を移動させて、クリップの延長された継続時間の範囲内でアニメーション化キャラクタが移動する距離を長くすることができる。

クリップの継続時間を短縮する場合は、速度パラメータ１０４を大きくして、アニメーション化キャラクタが短縮された継続時間内に開始位置から終了位置まで同じ距離を歩くようにするか、あるいは開始位置もしくは終了位置を修正して、アニメーション化キャラクタが短縮された継続時間内でより短い距離を歩くようにすることにより対応する結果を得ることができる。

さらに、アニメーション要素２８が、継続時間の修正または他の修正のためにアニメーション製作者によって定義されたデフォルト条件を有することができることが企図される。例えば、開始位置から終了位置まで歩くキャラクタの前述の例において、デフォルト条件は、開始位置と終了位置よりも延ばすこと、すなわち開始位置の前の位置から歩き始めかつ／または終了位置よりも先の位置に歩いて行くことでもよい。当業者に想起されるように、他の適切なデフォルト条件をアニメーションに定義することができる。このように、継続時間やその他の修正により、特定のアニメーションに適切なように、アニメーション製作者によって定義された形でアニメーションを修正することができる。アニメーション情報を定義するとき、またはアニメーション情報をシステム１０で最初に使用するとき、アニメーション製作者が、明示的ステップによって、デフォルト条件ダイアログボックスの完成を含む任意の適切な方法でデフォルト条件を定義することができることが企図される。

要素８８の継続時間を増減する方法のどれが望ましいかを示すために使用する実際の技法は、特に制限されない。例えば、左マウス・ボタンによる要素８８を表すクリップの選択は、開始位置と終了位置を固定したまま速度を変化させることに対応することができ、右マウス・ボタンによる同じクリップの選択は、速度を一定に維持し、開始位置または終了位置を修正することに対応することができる。対応する要素におけるクリップへの変更をパラメータにマッピングする指定の他の適切な方法は、当業者に明らかである。

アニメーションパラメータに対する所望の修正にしたがって一連のアニメーションフレームを提供するために、修正したアニメーションクリップを再レンダリングしなければならないことがある。前の例において、クリップの継続時間が増減された場合、修正した要素内のフレームの数および／またはコンテンツは、変化し、修正がアニメーションの一部分の廃棄または以前にレンダリングされ記憶された追加のフレームの使用に制限されない限り、再レンダリングしなければならない。修正に応じたアニメーションの再レンダリングは、実時間で行われるか、例えば複数の修正を行った後、結果を表示したい適切な選択された時間まで延期することができる。再レンダリングは、再レンダリングを必要とする要素と関連した１つ以上のレンダリングエンジン・ツール３２によって行うことができる。

前述のように、クリップの長さまたは位置を修正する他に、修正する関連ツール３２を呼び出し、固定パラメータにアクセスし、かつ／または、固定パラメータを修正するために、マウスでクリップをダブルクリックすることなどによって、要素をオープンし、要素の固定された動がパラメータを修正することができる。さらに、例えばファンクション領域４８からファンクションをクリップ上にドラッグ・アンド・ドロップすることによって、新しい固定パラメータまたは修正可能なパラメータをクリップに追加することができる。例えば、アニメーションの結果を修正するために様々な効果ファンクションを提供することができる。ＪＩＴＴＥＲファンクションをアニメーションに適用して動きにランダムなノイズを加えて、レンダリングしたアニメーションを「揺すぶる」ことができ、あるいはＣＨＡＲＣＯＡＬファンクションをアニメーションに適用して、レンダリングされたアニメーションに、木炭画のスケッチとして描いた見かけを与えることができる。効果またはファンクションは任意のクリップまたはプロジェクト全体に適用することができ、したがって本発明により制作された最終編集の一部または最終編集全体に影響を与えることができる。

プロジェクト内の所与の要素のパラメータを修正する他に、ユーザは、また、プロジェクト内の要素間の関係を修正し、プロジェクト内の要素を追加、削除、または置換することができる。特に、速さとパフォーマンスの点で低い品質の要素、またはまだ利用できない情報の単なるプレースホールダーである要素によって、編集を行うことができる。情報が利用可能になるか最終編集が異なる品質レベルで必要とされるとき、プロジェクト内の様々な要素を、アニメーション製作者の側の他の労力を必要とせずに、所望の要素と置き換えることができる。そのような場合、ユーザは、ファンクション領域４８のブラウザに示された利用可能な要素のリストから１つ以上の所望の要素を選択し、その所望の要素を、ＮＬＥ時間線領域５２のトラック７２内のプレースホールダーまたは異なる品質の要素を表すクリップ上にドラッグ・アンド・ドロップすることができる。所望のクリップを、トラック７２に既にあるクリップ上にドロップしたとき、所望のクリップは、トラックに既にあるクリップと置き換わり、所望のクリップの開始時間、終了時間および継続時間が、前にそこにあったクリップのものに設定される。また、前にそこにあったクリップに適用されていた効果またはフィルタは、自動的に、所望のクリップに適用される。

さらに、図３および４を参照すると、本発明のこの実施形態において、プロジェクト内の要素の関係または階層が、ＮＬＥ４０内にトラック７２が表示された順序で決定される。要素は、上から下に表示された順序で合成され、したがって、一番上の要素は、連続のトラックが連続の層としてそれぞれの順序で合成された第１の合成層を形成する。したがって、トラック７２の順序を変更すると、それに対応して要素を合成する順序が変化する。必要に応じて、層をそれぞれの要素に明示的に割り当てるような要素の階層化の順序を決める他の適切な手段を使用することができ、そのような場合、ＮＬＥ時間線領域５２のトラック７２の順序は、合成する順序に依存しないことが企図される。

プロジェクトからの要素を削除することは、トラックから要素を取り除くことによって単純に任意になされ、要素がそのトラック上の唯一の要素である場合はそのトラックを除去することによって、なされる。要素の追加は、利用可能な要素のリストからもしくは別のトラックから、既存のトラックに要素をドロップすること、および／または、要素を受ける新しいトラックを適切に追加することを含む。同様に、要素の置換は、前に説明したように、トラック内の既存の要素上に新しい要素をドロップすることにより達成することができる。

本発明における要素の特別の例は、カメラである。カメラは、本質的に、シーンをレンダリングする視点である。ディレクターが様々な視点間でカットできるように、３Ｄアニメーションに複数のカメラを定義することができ、カメラは、変化する位置を有することができ、すなわちカメラは、定義された経路をたどるか別のオブジェクトと共に移動するように制限され、すなわちカメラは、アニメーション化されたキャラクタの肩に取り付けられることがある。カメラ要素は、本発明のＮＬＥシステムの他の要素と同じように、トラック内のクリップとして表されるが、主に、利用可能なカメラを選択することによって操作される。いくつかの例において、カメラは、アニメーション化された経路をたどることができ、そのようなカメラ要素を表すクリップの操作を使用して、経路に沿ったカメラの速度を変化させることができる。本発明の他の要素と同じように、カメラがたどる経路を変化させたり制限されるオブジェクトを変化させたりするように、ディレクターが、アニメーションツールの使用を必要とするようにカメラ要素を変化させたい場合は、関連したツールを、ＮＬＥシステム内から呼び出すことができる。

本発明者は、本発明の特定の利点のうちの１つが、ＮＬＥを使用して３Ｄ情報をその２Ｄ表現から操作することであると考える。例えば、ロック音楽のコンサートの３Ｄアニメーションを作成する場合、アニメーションアーティストは、ステージ（すなわち、静止３Ｄオブジェクト）を表す要素と、アニメーション化３Ｄ音楽家（すなわち、３人のギタリストと一人のドラマー）のそれぞれを表す要素と、背景（すなわち、雲のある空の静止画像）を表す要素と、ステージの上を飛行するアニメーション化３Ｄ小形飛行船を表す要素とを作成することができる。

本発明によるＮＬＥシステムにおいて、これらの要素はそれぞれ、関連付けられたトラックを有することができ、要素は、編集のために時間線に対するクリップとして表示される。ステージなどのアニメーションの静止要素は、ＮＬＥシステム内で大きく操作されないが、アニメーション化された要素は、所望通りに操作することができる。例えば、アニメーション製作者は、ドラマーがステージ上に左側から歩いて来て、ドラムに着き、ドラムを演奏し始めるように、音楽家の３Ｄアニメーションを定義することができた。第１のギタリストは、ステージ上に右側から走って来て、ギターを持ち、演奏し始める。第２のギタリストは、ステージに左側から飛び乗り、ギターのところに走って行ってギターを持ち、演奏し始める。第３のギタリストは、ステージ上に右側から走って行き、ステージの中央で止まり、聴衆にお辞儀し、ギターの方を振り返ってギターを持ち、演奏し始める。それぞれの音楽家は、アニメーションアーティストによってアニメーション化された二足歩行モデルとして定義される。

この例では、ディレクターは、本発明によるＮＬＥシステムを使用して、時間線上の様々な場所にそれぞれのクリップ要素の始まりを位置決め、または位置変更することによって、様々なイベントが生じる時、すなわちドラマーが演奏し始めてからどのくらいで第１のギタリストがステージ上に歩いてくるか、を変化させることができる。ディレクターは、クリップを長くするか短くしてアニメーション化された動きの速度を増減させ、イベントの継続時間、すなわちドラマーがステージを横切り彼のドラムに着くのに必要な時間、あるいは第３のギタリストが聴衆にお辞儀している時間を変化させることができる。ディレクターは、また、ＮＬＥシステム内のトラックを並べ替えることによって、ドラマーをステージの後からステージの前まで移動させるステージ上の音楽家モデルの合成を再配置することができる。ディレクターは、また、アニメーションを表示する様々なカメラのどれかを選択することができ、すなわち視点は、移動する小形飛行船オブジェクトに制限され、ステージの中空の視界を提供するカメラと、ステージの正面を見せるカメラとに切り換えることができる。また、ディレクターは、光源をオンまたはオフしたり、あるいは光源を修正したりすることができる。

従来技術のＮＬＥシステムと違い、上の例では、ディレクターは、ＮＬＥシステムに表示された２Ｄ情報によって、実際に３Ｄ情報を操作して、所望のアニメーションの最終２Ｄレンダリングを得ることができる。当業者には明らかなように、ＮＬＥシステムに表示される２Ｄ情報の操作のいくつかは、アニメーションの一部分の再レンダリングを必要とする。例えば、ドラマーのドラム・セットまでの歩みを遅くするためには、必要な追加フレームの加えるために、ドラマーのアニメーションのその部分を再レンダリングする必要がある。しかしながら、やはり明らかなように、これは、アニメーション全体の内、影響を受けていない部分の再レンダリングを必要としない。すなわちドラマーが歩く速度の変更はギタリストの再レンダリングを必要としないが、それらのクリップを時間線に対して位置変更しなければならないことがある。当業者に明らかなように、既にレンダリングされている全継続時間よりも短い要素の継続時間を選択する（すなわち、８秒のアニメーションのうち５秒だけを選択すること）には、再レンダリングを必要とせず、また未使用のレンダリング部分のいずれかを次に選択しなおす必要もない。他の操作は、例えば異なる視点への再レンダリング、またはアニメーションのレンダリング要素の再合成を必要とすることがある。

再レンダリングを必要とするとき、これをユーザ・フレンドリな形で処理するために様々な技術が利用可能であることが企図される。例えば、最初に制限された再レンダリングを行って、ＮＬＥシステムのクリップ上に更新されたサムネイルを制作し、ディレクターに迅速なフィードバックを提供することができ、次に、自動的または明示的に開始されたときに、背景において、変更の完全な再レンダリングを行うことができる。この後者の場合（明示的に開始されたときにだけ完全再レンダリングする）は、ディレクターが最終カットを試しており、完全な再レンダリングは興味のあるカットが制作されるまで必要とされないときに望ましい場合があることが企図される。さらに、ワイヤ・フレームまたは低品質の再レンダリングを行ってディレクターに迅速なフィードバックを提供することができ、次に、所望の品質の完全な再レンダリングを行うことができる。ディレクターが、例えば小形飛行船がステージ上を飛行する経路の変更のようなアニメーションツールを必要とする変更を必要とするときは、適切なツールが、ＮＬＥシステムによってオープンされ、アニメーション製作者またはディレクターが所望の変更を達成することを可能にする。

本発明が、ディレクターやその他のユーザに、所望の最終編集を作成するためのよく知られたインタフェースを提供するが、インタフェースによって行われる操作が、２Ｄレンダリングにではなく３Ｄアニメーション情報に直接マッピングできることは、当業者には明らかであろう。これは、２Ｄまたは１Ｄ情報だけを操作する従来のＮＬＥシステムを上回る大きな利点を提供すると思われる。

図６は、プロジェクトのデータ構造２００の図を示す。図に示したように、各プロジェクト・データ構造２００は、プロジェクトの説明２０４、この例では「ロック・コンサート」と、プロジェクト・プロパティのセットへのポインタ２０８と、プロジェクト内の要素の数を表すデータ２１２と、それらの要素２２０へのポインタ２１６とを含む。

プロジェクト・プロパティは、全体としてプロジェクトに関連する情報を含み、全プロジェクト継続時間情報２２４を含むことがある。この継続時間情報は、フレームの数などが、適切に、秒、マイクロ秒で表される。また、レンダリング情報（ビデオ、アニメーション、オーディオなど）やその他の任意の関連情報のロケーション２２８は、これらのプロパティ内にある。

各要素２２０は、適切な要素データ構造２３２を指す。各データ構造２３２は、要素のタイプ、すなわちオーディオデータ、ビデオデータ、静止画像、３Ｄアニメーション化オブジェクトなどを識別するタイプ識別子２３６と、要素、すなわち「リード・ギタリスト」、「ドラマー」、オーディオトラック「ジャンプ」のタイトルなどを一意に識別する要素識別子２４０とを含む。

各要素は、また、プロジェクトの開始に対する要素の開始を示すオフセット２４４を含む。３Ｄアニメーション化オブジェクトの場合、このオフセットは、継続時間情報２４８と同じようにフレームの数として示され、オーディオ情報の場合は、オフセットは、適切に時間またはサンプルの数として示される。ロケーション情報２５２は、３Ｄオブジェクトのモデル定義およびアニメーションパラメータと、オーディオまたはビデオ情報用の記憶ロケーションなどを含む関連情報が配置されるロケーションを示す。また、好ましいレンダリングエンジンやその他の関連付けなどの追加情報２５６を、適切に維持することができる。

前述のように、また、プロジェクトがそれ自体プロジェクトの要素でもよいことが企図される。すなわち、第１のプロジェクトを、前述のように作成、編集し、次により大きいプロジェクト内の要素として挿入することができる。より大きいプロジェクトにおいて、第１のプロジェクトは、ＮＬＥ内の対応するパラメータを示すために拡張し、前述のように修正することができ、あるいは任意の他のクリップと同じようにより大きいプロダクト内の単一のクリップとして操作することができるクリップとして表される。例えば、前述のロック・コンサートのアニメーションの例では、ステージ上を歩いて行く第３のギタリストが１つの要素を含み、彼の聴衆へのおじぎが第２の要素を含み、彼のギターの演奏が第３の要素を含むことができる。次に、これらの３つの要素を、単１のプロジェクトに結合することができ、次にそのプロジェクトはロック・コンサート・プロジェクトに組み込まれる。第３のギタリストの動作の個々の要素を修正あるいは操作したい場合は、第３のギタリストのプロジェクトがオープンされ、個々の要素のトラックがアクセスされる。所望の修正が行われた後で、第３のギタリストの動作のトラックを、ロック・コンサートの全プロジェクト内の単一のクリップとして表されたプロジェクトに再び分解することができる。また、この単一のクリップを操作して、第３のギタリスト・プロジェクトの開始時間を変更する（すなわち、彼がステージ上を歩く時間を変化させる）か、あるいは所望の操作をすることができる。

この考察は、３Ｄアニメーション情報の修正に焦点を合わせたが、本発明が、パラメータを有する要素として定義することができる任意の他のタイプの情報に適用できることを理解されたい。プロジェクト内の各要素が独立しており、修正することができ、必要に応じてプロジェクト内の他の要素と無関係に再レンダリングすることができるので、異なる情報源からの様々な要素を、１つの一貫したユーザ・インタフェース内で同時に編集することができる。また、本発明を、所望通りに２Ｄまたは１Ｄ情報と組合せて使用できることは明らかである。例えば、前述のロックコンサートの例では、オーディオ・サウンド・トラックを編集することができ、及び／また最終カットの合成にビデオ（実際に撮影した観客のシーンなど）を含めることができる。

以上のものは単なる例であることは当業者に明らかであろう。特許請求の範囲だけに定義された本発明の範囲から逸脱することなく、説明した実施形態に対して修正、変形および変更を行うことができる。

本発明によるＮＬＥシステムの図である。 図１のＮＬＥシステムのデータ構造のブロック図である。 図１のシステムのグラフィカル・ユーザ・インタフェースを示す図である。 図３の時間線領域の拡大概略図である。 本発明によるアニメーション要素のブロック図である。 プロジェクト・データ構造のブロック図である。

Claims (7)

1. コンピュータ・プログラム命令を格納したコンピュータ読み取り可能媒体であって、前記コンピュータ・プログラム命令は、コンピュータによって処理されると、関連するアニメーション・パラメータを有するアニメーション要素を含む３次元アニメーションを編集するためのグラフィカル・ユーザ・インターフェースを実現する方法を前記コンピュータに命令して実行させ、前記アニメーション・パラメータは、時間にわたっての３次元オブジェクトのアニメーションを定め、前記方法が、
   前記アニメーション要素に対応するクリップ・オブジェクトを表示手段によって表示するステップであって、前記クリップ・オブジェクトは、時間線においてあるトラックにて表示され、前記時間線に対し相対的に開始位置と終了位置とを有し、前記開始位置と前記終了位置は、前記クリップ・オブジェクトの継続時間を定め、前記クリップ・オブジェクトの前記継続時間は、前記アニメーション要素に関連した前記アニメーション・パラメータを定める、ステップと、
   前記アニメーション要素をレンダリング手段によってレンダリングすることにより、前記クリップ・オブジェクトの前記継続時間が定める前記アニメーション・パラメータにしたがって、２次元のアニメーション・フレームの第１のレンダリングされたシーケンスを生成するステップと、
   合成手段によって、前記２次元のアニメーション・フレームの第１のレンダリングされたシーケンスを、２次元のフレームの別のシーケンスを表す少なくとも１つの他のクリップ・オブジェクトと合成して、前記３次元アニメーションの表現を生成するステップと、
   前記アニメーション要素に対応する前記クリップ・オブジェクトの前記継続時間を、ユーザ入力手段によってユーザが修正できるようにするステップであって、修正は、前記クリップ・オブジェクトの前記開始位置及び前記終了位置のうちの少なくとも１つを操作することにより行い、これにより、前記クリップ・オブジェクトに対応する前記アニメーション要素に関連した前記アニメーション・パラメータが、前記クリップ・オブジェクトの前記修正された継続時間にしたがって修正される、ステップと、
   前記クリップ・オブジェクトに対応する前記アニメーション要素を、前記レンダリング手段によって、前記クリップ・オブジェクトの前記継続時間に対する修正が定める前記アニメーション・パラメータにしたがってレンダリングして、２次元のアニメーション・フレームの第２のレンダリングされたシーケンスを生成するステップと、
   前記２次元のアニメーション・フレームの第２のレンダリングされたシーケンスを、前記合成手段によって、２次元のフレームの前記別のシーケンスを表す前記少なくとも１つの他のクリップ・オブジェクトと合成して、前記３次元アニメーションの表現を生成するステップと、
   を備えた、コンピュータ読み取り可能媒体。
2. 請求項１記載のコンピュータ読み取り可能媒体において、前記３次元オブジェクトは、前記３次元オブジェクトの３次元におけるスケルトン及びスキンを定める情報によって定められ、前記アニメーションは、前記３次元オブジェクトの３次元における位置及び動きの情報によって定められる、コンピュータ読み取り可能媒体。
3. 請求項２記載のコンピュータ読み取り可能媒体であって、前記方法はさらに、前記クリップ・オブジェクトの前記修正された継続時間にしたがって前記アニメーション・パラメータを修正することを含み、それにより前記３次元オブジェクトの前記アニメーションにおける速度が修正される、コンピュータ読み取り可能媒体。
4. 請求項３記載のコンピュータ読み取り可能媒体であって、前記方法はさらに、前記クリップ・オブジェクトの前記修正された継続時間にしたがって前記アニメーション・パラメータを修正することを含み、それにより前記３次元オブジェクトの前記アニメーションにおける位置が修正される、コンピュータ読み取り可能媒体。
5. 請求項１記載のコンピュータ読み取り可能媒体であって、前記方法はさらに、前記クリップ・オブジェクトの前記修正された継続時間にしたがって前記アニメーション・パラメータを修正することを含み、それにより前記３次元オブジェクトの前記アニメーションにおける速度が修正される、コンピュータ読み取り可能媒体。
6. 請求項５記載のコンピュータ読み取り可能媒体であって、前記方法はさらに、前記クリップ・オブジェクトの前記修正された継続時間にしたがって前記アニメーション・パラメータを修正することを含み、それにより前記３次元オブジェクトの前記アニメーションにおける位置が修正される、コンピュータ読み取り可能媒体。
7. 請求項１記載のコンピュータ読み取り可能媒体であって、前記方法はさらに、前記クリップ・オブジェクトの前記修正された継続時間にしたがって前記アニメーション・パラメータを修正することを含み、それにより前記３次元オブジェクトの前記アニメーションにおける位置が修正される、コンピュータ読み取り可能媒体。

Images