JP2023512131A - マルチアングル画面カバレッジ解析のための装置 - Google Patents

Abstract

実施形態は、マルチアングル画面カバレッジ解析を提供する。いくつかの実施形態では、システムは、解析のための少なくとも１つの対象オブジェクトを有するコンピュータグラフィックス生成画像を取得する。システムは、少なくとも１つの対象オブジェクトの画面カバレッジ情報および深度情報を判定する。次に、システムは、画面カバレッジ情報および深度情報に基づいて、少なくとも１つの対象オブジェクトのアセット詳細レベルを判定する。次に、システムは、アセット詳細レベルをデータベースに記憶し、ユーザがアセット詳細レベルを利用可能にする。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２０年１月３０日に出願された「ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＭＵＬＴＩ－ＡＮＧＬＥ ＳＣＲＥＥＮ ＣＯＶＥＲＡＧＥ ＡＮＡＬＹＳＩＳ」と題された米国仮特許出願第６２／９６８，０４７号、および２０２０年１０月１５日に出願された「ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＭＵＬＴＩ－ＡＮＧＬＥ ＳＣＲＥＥＮ ＣＯＶＥＲＡＧＥ ＡＮＡＬＹＳＩＳ」と題された米国特許出願第１７／０７１，９４０号からの優先権を主張し、これらはあらゆる目的のために本出願に完全に記載されているかのように、参照により本明細書によって組み込まれる。

映画、ビデオなどのビジュアル制作中、従来の業界解決策には、デジタル画像で使用されるオブジェクトの構築を開始する前に、レイアウトおよびカメラを確定することが含まれる。そのような構築は、例えば、アニメーションおよび／または照明作業を伴い得る。最終的なレイアウトおよびカメラを待つと、ビジュアル制作が全体的に遅れる可能性がある。１つのアプローチは、ショットごとに新しくかつ固有のオブジェクトおよびセットを構築することである。それは、そのショット内に最も適切な構築品質をもたらすであろう。ただし、代償は、他のショットでオブジェクトを再利用することによってその労力を利用することができないことである。第２のアプローチは、すべてのオブジェクトを可能な限り最高の品質で構築することである。ただし、これは、アセットの作成中に、最終画像に効果を与えないアセットに無駄な労力を費やすというリスクがある。または、さらに悪いことに、処理時間およびメモリを浪費することにより、技術面で画像を作成するシステムの能力に悪影響を与えるリスクがある。これは、システムがバージョンを選択し、時間および／またはメモリを最適化し得るように、オブジェクトの複数のバージョン（ＬＯＤ、すなわち詳細レベル）を構築することによって緩和され得る。ただし、そのアプローチでは、より少ないバージョンが手続き的に導出されたとしても、最も詳細なバージョンを作成するために最大限の労力を費やすことが依然として必要である。

前述の欠点のうちの少なくともいくつかに対処することは、少なくとも好ましい実施形態の目的である。追加または代替の目的は、少なくとも公衆に有用な選択肢を提供することである。

実施形態は、概して、マルチアングル画面カバレッジ解析に関する。様々な実施形態では、最高の詳細レベルで完全に構築されたアニメーションシーンをカリングする代わりに、システムは、アニメータのためにシーン内の特定のオブジェクトに必要なアセット詳細レベルを判定し、事前におよびビジュアル制作の過程でアニメータに通知する。いくつかの実施形態では、システムは、少なくとも１つの画像を取得し、画像は、コンピュータグラフィックス生成画像であり、画像は複数のオブジェクトを備え、オブジェクトは少なくとも１つの対象オブジェクトを含む。次に、システムは、対象オブジェクトの画面カバレッジ情報を判定し、画面カバレッジ情報は、対象オブジェクトによって覆われている画面のパーセンテージに基づく。システムはまた、対象オブジェクトの深度情報を判定し、対象オブジェクトの深度情報は、少なくとも１つの他のオブジェクトに基づく。次に、システムは、画面カバレッジ情報および深度情報に基づいて対象オブジェクトのアセット詳細レベルを判定し、アセット詳細レベルをデータベースに記憶する。

本明細書に記載の実施形態に使用され得る、コンピュータグラフィックス生成画像の一例のブロック図である。 いくつかの実施形態による、マルチアングル画面カバレッジ解析のための例示的なフロー図である。 本明細書に記載の実施形態での使用に好適な、例示的なコンピュータシステムの基本的な構成要素を示す。 いくつかの実施形態による、静止画像および／または画像のビデオシーケンスの形態で画像を生成するために使用され得る、例示的なビジュアルコンテンツ生成システムのブロック図である。 本明細書に記載の実施形態に使用され得る、例示的なコンピュータシステムのブロック図である。

実施形態は、マルチアングル画面カバレッジ解析を提供する。いくつかの実施形態では、システムは、解析のための、少なくとも１つの対象オブジェクトを有するコンピュータグラフィックス生成画像を取得する。システムは、対象オブジェクトの画面カバレッジ情報および深度情報を判定する。様々な実施形態では、深度情報は、対象オブジェクトと所与のカメラとの間の距離を含み得る。次に、システムは、画面カバレッジ情報および深度情報に基づいて、対象オブジェクトのアセット詳細レベルを判定する。次に、システムはアセット詳細レベルをデータベースに記憶し、ユーザがアセット詳細レベルを利用可能にする。アセットおよび対象オブジェクトという用語は、同義的に使用され得る。

従来の解決策とは対照的に、このシステムは、映画などのビジュアル制作のショットごとに、新しくかつ固有の三次元（３Ｄ）セットを構築しない。代わりに、本明細書でより詳細に記載されているように、様々な実施形態では、システムは、柔軟なアセット詳細レベルを有するアセットまたはオブジェクトを備えるマスターレイアウトを構築する。システムは、ビジュアル制作の複数のショットにわたって、所与の対象オブジェクトまたは対象オブジェクト群を再利用し得る。

マスターレイアウトを使用すると、高いアセット詳細レベルのオブジェクトを備える複数のセットを処理することとは対照的に、システムが１つのマスターレイアウトおよび適切なアセット詳細レベルを備える対象オブジェクトを処理する方がより効率的であるため、技術的に有利である。言い換えれば、本明細書に記載の実施形態は、システムの処理要件を低減する。例えば、一部のシナリオでは、所与の対象オブジェクトがカメラの近くに表示される場合がある。したがって、より高いアセット詳細レベルが適切である。一部のシナリオでは、所与の対象オブジェクトが、カメラに対して離れた背景にあるように表示される場合がある。したがって、より低いアセット詳細レベルが適切である。特定のアセット詳細レベルは、特定の実装態様に応じて変動する場合がある。

１つ以上の対象オブジェクトの柔軟なアセット詳細レベルを備えるマスターレイアウトを使用すると、他のビジュアル制作システム（例えば、アニメーション、照明などを伴うシステム）の処理要件が低減されるため、技術的にも有利である。これらの処理要件は、メモリ、プロセッサの電力、および時間を伴い得る。さらに、これらの他のビジュアル制作システムは、レイアウトの作業およびカメラ作業が確定されるまで待つ必要はない。これにより、全体的なビジュアル制作が短縮され、制作コストを低減する。

図１は、本明細書に記載の実施形態に使用され得る、コンピュータグラフィックス生成画像１００の一例のブロック図である。画像１００にキャプチャされたシーンまたはショット内の、対象オブジェクト１０２および別のオブジェクト１０４が示されている。説明を容易にするために、本明細書に記載の実施形態は、対象オブジェクト１０２の文脈で記載されている。これらの実施形態は、対象オブジェクトと見なされる場合、オブジェクト１０４にも適用され得る。

画像１００は、任意の所与のビジュアル制作（例えば、映画制作、ビデオ制作など）のための画像であり得る。この例では、対象オブジェクト１０２は、バレルである。いくつかの実施形態は、バレルの文脈で記載されているが、対象オブジェクトは、任意の種類のオブジェクト（例えば、車、木、建物、モンスターなど）であり得る。

様々な実施形態では、画像内のオブジェクトに関して本明細書に記載される処理は、任意の好適な種類の画像に対して実行され得る。いくつかの実施形態では、画像は、写真、ビジュアル画像、オブジェクトＩＤパスなどの派生画像などを含み得る。様々な実施形態では、例えば、画像は、「オブジェクトＩＤ」、「オブジェクトＩＤパス」、「レンダリングＩＤ」、「材料ＩＤ」などと、様々に称される種類のものであってもよく、様々な部類の「カラーマップ」に関連付けられ得る。様々な実施形態では、これらの画像は、シーン内の異なるオブジェクトモデルまたは材料を、対応するフラットカラーの「マスク」に低減する。様々な実施形態では、シーン内の１つ以上のマスクは、マスクによって表されるオブジェクトＩＤに対応するオブジェクトをレンダリングする際に提案された詳細レベルに到達するために、本明細書に記載のステップのうちの１つ以上に供され得る。

図示するように、対象オブジェクト１０２は、実質的に画像の中央にあり、多少の奥行きを提供するために、別のオブジェクト１０４の隣に示されている。特定のショットに応じて、いくつかのシナリオでは、対象オブジェクト１０２は、１０２’によって示されるように、画像の離れた背景にある場合がある。他のシナリオでは、対象オブジェクト１０２は、１０２”によって示されるように、画像の前景により近い場合がある。

説明を容易にするために、実施形態は、単一の対象オブジェクト１０２の文脈で本明細書に記載されている。これらの実施形態は、複数の対象オブジェクトにも適用される。図示されている対象オブジェクトのバリエーション１０２、１０２’、および１０２”が、画像１００の同一フレームで使用される３つの異なるバレルであるというシナリオが存在する場合がある。例えば、１つのバレルが近くにあり、１つのバレルがさらに遠くにあり、１つのバレルがはるか遠くにある、３つのバレルが所与の画像内に存在する場合がある。

様々な実施形態では、システムは、複数の異なるカメラアングルおよび距離から同一のアセットまたは対象オブジェクトを解析し、制作全体を通してそのアセットの予想される外見の代表的なサンプルを生み出す。様々な実施形態では、システムは、組み合わされたサンプルを解析して、アセットの構成要素（例えば、ジオメトリ、テクスチャなど）を生成するときに、アーティストが対象とすべきアセット詳細レベルを判定し、それによって、そのアセットが制作全体でどのように使用されることになるのかを知る。

様々な実施形態では、アセット詳細レベルは、ある量の画像詳細を含み得る。様々な実施形態では、アセット詳細レベルは、画像解像度を含み得る。様々な実施形態では、アセット詳細レベルは、絶対的な方法で定義され得る。例えば、アセット詳細レベルは、領域または寸法ごとの画素数を使用して、画面上のサイズとして表され得る。様々な実施形態では、この数は、オブジェクトの詳細レベルを人間の相互作用、コミュニケーション、および選択により有用な抽象的概念に分類するために（例えば、「２５６」、「５１２」、「１ｋ」、「２ｋ」、「４ｋ」など）、四捨五入または概算され得る。

様々な実施形態では、アセット詳細レベルは、相対的な方法で定義され得る。例えば、アセット詳細レベルは、最終的な画像サイズのパーセンテージまたは分数のサイズとして表され得る。様々な実施形態では、アセット詳細レベルは、抽象的な方法で定義され得る。例えば、アセット詳細レベルは、「低」、「中」、「高」などとして表され得る。様々な実施形態では、アセット詳細レベルは、外的経験、指針、ドキュメンテーション、命名法などを通じて、それらの用語の共通の理解を有するアーティスト、技術者、および管理者に表される。

様々な実施形態では、アセット詳細レベルは、アーティスト、技術者、および管理者に、彼らが彼らの技能をどのように適用し得るかを通知する１つの考慮事項である。所与のアセット詳細レベルの仕様に対する所与のアセットの正確な実装態様は、それらのアーティスト、技術者、および管理者に知られている追加の専門知識および状況に基づいて変わる場合がある。例えば、所与のアセット詳細レベルでは、テクスチャ密度がほとんどまたは全くないジオメトリ密度からその詳細を達成するために１つのアセットが必要になる場合があるが、その逆が２番目のアセットには当てはまる場合がある。

さらに、様々な実施形態では、アセット詳細レベルは、深度、画面空間カバレッジ、視認性、モーションブラー、レンズブラー、テクスチャ、テクスチャ解像度、アセットのネイティブ解像度、画素密度、テクスチャ密度、モデル密度などの考慮事項を含み得る。アセット詳細レベルは、所与の画像内に視認可能である詳細（例えば、テクスチャなど）の程度に影響を与え得る。これは、計算資源の量だけではなく、制作中にアセットを作成するために割り振る人的資源の量にも影響する。

また、２Ｄバウンディングボックス１０６も図示されている。様々な実施形態では、システムは、２Ｄバウンディングボックス１０６が対象オブジェクト１０２を密接に取り囲むように、２Ｄバウンディングボックス１０６を生成する。したがって、２Ｄバウンディングボックス１０６は、後続の処理のために対象オブジェクト１０２のサイズに近似する。

様々な実施形態では、システムは、画像内の各対象オブジェクトに対して２Ｄバウンディングボックスを生成する。例えば、画像１００が対象オブジェクト１０２’および１０２”も含むシナリオでは、システムはまた、それぞれの対象オブジェクト１０２’および１０２”に対して２Ｄバウンディングボックス１０６’および１０６”を生成することになる。同様に、いくつかの実施形態では、オブジェクト１０４が対象オブジェクトである場合、システムは、オブジェクト１０４の２Ｄバウンディングボックス１０６を生成する。

説明を容易にするために、いくつかの実施形態は単一の対象オブジェクトの文脈で記載されているが、システムは、所与の画像内の異なる対象オブジェクトの視野を解析し得る。画像１００およびそのコンテンツオブジェクトを伴う例示的な実施形態は、以下により詳細に記載される。

図２は、いくつかの実装態様による、マルチアングル画面カバレッジ解析の例示的なフロー図である。図１および図２の両方を参照すると、方法は、システムが少なくとも１つの画像を取得する、ブロック２０２で開始される。様々な実施形態では、画像は、対象オブジェクトまたはオブジェクトを含むコンピュータグラフィックス生成画像である。いくつかの実施形態は、単一の対象オブジェクトの文脈で本明細書に記載されているが、これらの実施形態は、複数の対象オブジェクトまたはグループ化された対象オブジェクトなどのうちの各対象オブジェクトに適用され得る。

様々な実施形態では、システムは、カメラからのストックフッテージから画像を取得し、かつ３Ｄジオメトリおよびカメラ情報を含み得る。ストックフッテージから、システムは画像内の対象オブジェクトを判定する。様々な実施形態では、システムは、特定の実装態様に応じて、レンダリングを行い、同時にそのレンダリングの出力を様々な目的のために使用し得る。

ブロック２０４において、システムは、対象オブジェクトの画面カバレッジ情報を判定する。様々な実施形態では、対象オブジェクトは、画像内で少なくとも部分的に視認可能である。例えば、１つのシナリオでは、対象オブジェクト１０２は完全に視認可能である。別のシナリオでは、対象オブジェクト１０２”が画像内に部分的に視認可能である場合がある。

様々な実施形態では、画面カバレッジ情報は、対象オブジェクトによって覆われている画面のパーセンテージ、比率、および／または絶対部分に基づく。様々な実施形態では、システムは、各２Ｄバウンディングボックスの測定値を判定し、フレームまたは画像１００の残りの部分と比較する。フレームおよび画像という用語は、同義的に使用され得る。システムは、画像１００に対する各対象オブジェクトのサイズのパーセンテージまたは比率を判定し得る。様々な実施形態では、システムは、オープングラフィックスライブラリ（ＯｐｅｎＧＬ）などのレンダラを利用して、ＩＤパスを提供し、そのような測定値を判定し得、他の手段を利用して、オブジェクト／オブジェクトおよびオブジェクト／カメラの関係性の幾何学的計算を実行し得る。

いくつかの実施形態では、各２Ｄバウンディングボックスについて、システムは、２Ｄバウンディングボックスがｘ軸およびｙ軸の両方で開始および停止する場所で、所与のオブジェクトが画像内に完全に視認可能であるかまたは部分的に視認可能であるか（部分的に画面外）を判定する。

様々な実施形態では、システムは、所与の画像に対する２Ｄバウンディングボックスの寸法を提供する。システムは、画像内のすべての対象オブジェクトのそのような相対的な寸法を判定する。様々な実施形態では、所与の２Ｄバウンディングボックスの寸法は、画像と比較した２Ｄバウンディングボックスのサイズのパーセンテージまたは比率に基づく。その後、システムはこれらの寸法を、さらなる処理に必要な絶対画素サイズに変換し得る。

いくつかの実施形態では、システムは、対象画像だけではなく画像フレーム内に視認可能である他の３Ｄ要素の画面カバレッジおよび深度情報を判定するために、画像内の画素をサンプリングする。いくつかの実施形態では、システムは、サンプリングされた画素による最長の２Ｄ寸法に基づいて３Ｄ画素寸法を判定し得る。より基本的な三角法解析を実行するのではなく、レンダリングを行う理由の１つは、システムが割り当てられた表面材料の知識を必要とする場合があるためである。この知識は、現在のオブジェクトの背後および／または現在のオブジェクトによって覆い隠されているオブジェクトを考慮するときに、システムに通知される。いくつかの実施形態では、システムは、中実壁の背後にあるオブジェクトのデータを収集しないが、それでも、その壁の窓を通して視認可能であるオブジェクトのデータを収集する。

いくつかの実施形態では、例えば、中実壁などの前景のオブジェクトの背後にある、オブジェクトのデータを考慮する場合、システムは、表面材料を検討し得る（これはレンダリングを含意する）。例えば、いくつかの実施形態では、「窓」は、ジオメトリのセクションを透明にすることによって解析される「壁」オブジェクト内に実装され得る。これには、表面のシェーディングおよび変形が必要になる場合がある。様々な実施形態では、そのような材料は、ガラスまたは他の材料を記載し得る。代替的に、いくつかの実施形態では、壁オブジェクトは、ジオメトリ内に切り込まれた穴などの複雑なトポロジを有し得る。これは、シェーディングなしで達成され得る。オブジェクトの形状および材料を記載するために使用される可能な方法に対する制限を含意することなく、いくつかの実施形態では、システムは、レンダラまたは他の解析手段内のいずれかまたは両方の方法を使用して、システムの結果を通知し得る。

ブロック２０６において、システムは、少なくとも１つの対象オブジェクトの深度情報を判定する。様々な実施形態では、深度情報は、対象オブジェクトと所与のカメラとの間の距離を含み得る。いくつかの実施形態では、深度情報は、所与の対象オブジェクトの詳細レベルに影響を及ぼし得る。例えば、建物、山など、遠方にレンダリングされる対象オブジェクトが与えられた場合、システムは、それ以上の詳細を必要としないであろうときは、そのようなオブジェクトをより低い詳細レベルおよび／またはあまり詳細でなくぼかしてレンダリングし得る。

様々な実施形態では、所与の画像は、１つ以上の対象オブジェクトを含む複数のオブジェクトを有し得る。システムは、画像内の他のオブジェクトのうちの１つ以上に基づいて、対象オブジェクトの深度情報を判定し得る。例えば、システムは、オブジェクト１０４に対する対象オブジェクト１０２の深度を判定し得る。様々な実施形態では、システムは、データベースに記憶されたオブジェクト１０４の深度情報およびオブジェクト１０４に関するサイズ情報（例えば、寸法など）を既に有し得る。様々な実施形態では、システムはまた、データベースに記憶され得る、特定のシーンにおけるオブジェクト１０４の既知のサイズおよび位置を有し得る。様々な実施形態では、システムはまた、データベースに記憶された対象オブジェクト１０２に関するサイズ情報（例えば、寸法など）を知り得る。様々な実施形態では、システムは、画像１００に表示され得るオブジェクト１０４または他のオブジェクトに関する既知の情報に対する、対象オブジェクト１０２の深度情報を確認し得る。

ブロック２０８において、システムは、画面カバレッジ情報および深度情報に基づいて、対象オブジェクトのアセット詳細レベルを判定する。したがって、実施形態は、対象オブジェクトの所与のビューが、ビジュアル制作（例えば、映像／映画制作、ビデオ制作など）の過程にわたる任意の時点で大幅に変化することを可能にする。実施形態は、それらのオブジェクトを作成することに伴う労力を、オブジェクトがビジュアル制作の最終バージョンに表示されるであろう様式と一致させる。例えば、離れたオブジェクトのアセット詳細レベルは低く、より近いオブジェクトのアセット詳細レベルは高くなり得る、など。

ブロック２１０において、システムは、アセット詳細レベルをデータベースに記憶する。様々な実施形態では、システムは、対象オブジェクト１０２（および各対象オブジェクト）のアセット詳細レベルを出力する。いくつかの実施形態では、アセット詳細レベルは画素値であり得る。例えば、画像フレームが２，０００画素の幅で、２Ｄバウンディングボックスの最長の長さが１，０００画素の場合、画素解像度は１，０００画素になり得る。システムは、実際の画像フレームサイズ（２，０００または２Ｋ画像、４，０００または４Ｋ画像など）に基づいてアセット詳細レベルを調整し得る。

様々な実施形態では、システムは、ショット制作の過程にわたってショットコンテンツの総体的な解析を提供し、解析からの情報を他のユーザに提供して、進行中に決断を通知する。いくつかの実施形態では、システムは、対象オブジェクト１０２のアセット詳細レベルだけではなく、他の対象オブジェクトのアセット詳細レベルを１人以上のユーザに送信または提供し得る。また、システムは、対象オブジェクトの所望の詳細レベルに基づいて決断を下すために、様々なユーザ（例えば、アーティスト、制作管理者など）がアセット詳細レベルを利用可能にする。

いくつかの実施形態では、システムは、対象オブジェクトまたは対象オブジェクト群に対する芸術的作業をスケジューリングするか、またはスケジューリングすることを可能にする。したがって、これらの対象オブジェクトを消耗するビジュアル制作のダウンストリームシステムは、可能な限り早く、または制作管理による要望通りに進行し得る。

ステップ、操作、または計算は具体的な順序で提示され得るが、特定の実装態様では順序が変更される場合がある。特定の実装態様に応じて、ステップの他の順序付けが可能である。いくつかの特定の実装態様では、本明細書で順次的として示されている複数のステップは、同時に実行され得る。また、いくつかの実装態様は、示されているステップうちのすべては有さない場合があり、および／または本明細書に示されているものの代わりに、またはそれに加えて、他のステップを有する場合がある。

以下に、追加の実施形態を記載する。実施形態は、アーティストおよび制作管理者が、所与のオブジェクトに費やす労力の量、およびその労力をいつスケジュールに入れるかに関する決断を下すことを容易にする。これは、アセットの安価なブロッキングバージョン（別名、ファーストルックまたはスタンドインバージョン）を使用した事前映像化シーンから、最終画像に含まれると予想される最終またはほぼ最終品質のバージョンまで、制作プロセスの任意の時点で使用することができる。映画制作の全期間にわたってこの情報を追跡すると、予期しない変更を強調すること、または意図した変更のコストを予測することに役立ち得る。

様々な実施形態では、システムは、多数のフレーム（例えば、２００Ｋフレームなど）にわたるアセット詳細レベルを含む、対象オブジェクトに関連付けられたデータセットを複製する。システムは、異なるフレームにわたって各対象オブジェクトを識別および追跡する。様々な実施形態では、システムは、名前および識別子（例えば、「バレル２４」）を用いて、対象オブジェクト１０２などの所与の対象のアイデンティティを追跡する。例えば、いくつかの実施形態では、対象オブジェクトは、ある瞬間にシーンに表示され（例えば、異なるフレームに）、次の瞬間にシーンを離れ（例えば、その異なるフレームを離れる）、次に、別の次の瞬間にシーンに戻り得る（例えば、その様々なフレームに再び入る）。

様々な実施形態では、システムは、任意の好適なレンダラを利用して、所与の画像中の他のロジック要素を含み得る、１個１個の対象オブジェクトの画面カバレッジおよび深度情報を収集し得る。システムはまた、対象オブジェクトおよび対応するアセット詳細レベルをシリアル化し、この情報をデータベースに記憶し得る。様々な実施形態では、システムは、所与のショット中のフレームの選択されたサンプルを解析して、１つ１つのフレームをレンダリングすることなく、合理的に完全なデータを収集することができる。これは、システムが処理するフレームがより少ないという点で技術的に有利である。

様々な実施形態では、システムは、所与のビジュアル制作において、複数のフレームおよび複数のショットにわたって統計解析を実行し得る。例えば、いくつかの実施形態では、システムは、ショット内のフレームの範囲にわたってデータの統計解析を実行し得る。システムはまた、要素ごとのデータ（例えば、バレル１、バレル２、バレル３など）を固有のアセット（バレル）に凝縮し得る。

様々な実施形態では、システムは、所与のビジュアル制作において、複数のフレームからのおよび複数のショットにわたる結果を照合し得る。例えば、いくつかの実施形態では、システムは、データベースにデータの複数のショットを記憶し、照合することができ、これは、様々なタスクのために他のシステムを介して利用可能にすることができる。いくつかの実施形態では、アセット詳細レベルは、所与のアセット（例えば、対象オブジェクト）にどれだけの労力を投入するかを決断する際に、制作管理者が利用可能になり、決断を容易にすることができる。

様々な実施形態では、システムは、各ショットに視認可能であるアセットまたは対象オブジェクトのリストを組み立て得る。これにより、下流の部門を解放して、可能な限り早く作業を開始するように、これらのアセットの制作スケジュール作業を容易にする。様々な実施形態では、システムは、制作計画の一部として多くのショットからの情報を照合する。例えば、システムは１００を超えるショットを処理してから、最も一般的に見られるアセットを識別し得る。別の例では、システムは、作成するのに最もコストがかからないアセットを判定することができ、システムは、それらのアセットの作業を優先することができる。

様々な実施形態では、システムは、背景でレンダリングするには費用がかかりすぎず、前景で使用するには単純すぎない適切な対象オブジェクト（または対象オブジェクトのバージョン）を選択することを助けることによって、制作管理者、技術者などがレイアウトを設計することを容易にし得る。

様々な実施形態では、システムは、完成したアセットがその構築仕様の範囲外で使用される場合など、必要に応じてレイアウトおよび／またはカメラをいつ修正するかを識別し得る。

様々な実施形態では、システムは、所与の対象オブジェクトのアセット詳細レベルを画像シーケンス情報（ＩＳＩ）データと組み合わせて、２Ｄ映画から３Ｄシーンの一部を選択的にロードおよび検査し得る。様々な実施形態では、ＩＳＩデータは、画像／映画レビューツールによって使用され、これにより、ユーザは、画像内のオブジェクトをポイントアンドクリックし、その画像に関する追加情報（例えば、名前；ＩＤ；「レッドシャツ」「ストライプシャツ」などの異形；および／またはシステムによって判定および投入された他のデータ）を見ることができる。

様々な実施形態では、システムは、フレーム全体にわたって複数回使用される１つのアセット（例えば、１つのバレルアセット）を有する。例えば、対象オブジェクト１０２は、異なるショットにおける異なるバレル（例えば、バレル２５、２７、３２など）に使用されるバレルアセットであってもよく、異なるビジュアル制作における異なるショットを含む。

様々な実施形態では、システムは、バレルのうちの各々についての情報を有し、情報を照合し、かつ情報を１つの固有のアセット下に記憶し得る。この例では、対象オブジェクト１０２は、異なるフレームにおいて異なる距離および角度で再利用され得るバレルアセットと称されることがある。したがって、対象オブジェクト１０２は、対象オブジェクト１０２’の位置、対象オブジェクト１０２”の位置などで使用され得る。

これによって、バレルアセットがいつも映るであろう最大サイズ（例えば、対象オブジェクト１０２”）、バレルアセットがいつも映るであろう最小サイズ（例えば、対象オブジェクト１０２’）、およびバレルアセットがいつも映るであろう平均サイズ（例えば、対象オブジェクト１０２）が提供される。

様々な実施形態では、システムは、最大および最小サイズを使用して、まだ判定されていない将来のフレームにおける将来のサイズを予測する。例えば、対象オブジェクト１０２の最大および最小サイズは、試作中のある時点で確認することができ、対象オブジェクト１０２の最大および最小サイズのいずれかまたは両方は、試作中またはポストプロダクション中の任意の時点で変化し得る。様々な実施形態では、システムが新しいカメラ、新しいシーケンスなどからの新しいデータを所有するようになると、システムはそれに応じてそのような最大および最小サイズを繰り返し調整する。例示的なシナリオでは、カメラはその後、所与の対象オブジェクトがはるかにより近い距離に表示されるように調整され得る。したがって、システムは、対象オブジェクトの最大サイズを更新し得る。

いくつかの実施形態は、対象オブジェクトのサイズの文脈で記載されているが、これらの実施形態および他の実施形態は、アセットの他の態様にも適用され得る。そのような態様は、深度番号（例えば、カメラからの距離）、テクスチャ、色などを含み得る。

本明細書に示されるように、ビジュアル制作のための所与のセットが作成されるとき、所与のシーン／セットおよび関連するフレーム内に数千または数万ものオブジェクトが存在する場合がある。レイアウトは、木、低木、動物などの新しい装飾で変更され得る。

いくつかの実施形態では、同一の対象オブジェクト（例えば、バレルアセット）は、詳細（例えば、色、テクスチャなど）において異なる特性または差異を有し得る。したがって、同一のアセットが、赤いバレル、青いバレルなどに使用され得る。

このような差異は、衣装も含み得る。例えば、所与の人物が１つのシーンで眼鏡および帽子を着用していない場合があり、次のシーンで眼鏡および帽子を着用している場合がある。様々な実施形態では、システムは、これらの衣装付属品のうちの各々を、個別であり別個のアセットとして識別および追跡し得る。

様々な実施形態では、システムは、新しい情報が学習されるにつれて、制作期間にわたって情報を継続的に集約する。システムは、データベース内のこの情報を更新する。

様々な実施形態では、システムは、新しい最大または最小サイズが学習され、新しいサイズがアセットの構築仕様を超えるときのように、集約情報への変更が学習されたときに、管理者に通知し得る。様々な実施形態では、システムは、制作が計画され予算化された仕様からアセットが外れる原因となるレイアウトまたはカメラを示すメッセージを、制作会社に送信し得る。

いくつかの実施形態では、システムは、映画で見られるように、異なる距離、奥行きなどから所与のオブジェクトをモデル化およびレンダリングし得る。これは、制作管理者が特定の詳細レベルで表示されたオブジェクトに基づいて決断を下すことに役立ち得る。

いくつかの実施形態では、システムは、本明細書で生成された情報（例えば、アセット詳細レベル、画像内のレンダリングされたオブジェクトの例など）をユーザに表示するためのユーザインターフェースを提供し得る。

いくつかの実施形態では、システムは、既存のディスプレイまたは社内のレンダラを、本明細書で生成される追加情報とともに利用し得るか、またはで増強し得る（例えば、情報を伝達するためにオブジェクトを色分けする）。いくつかの実施形態では、システムは、既存のディスプレイにｏｐｅｎＧＬシェーダを利用して、オブジェクトを静的に色分けするか、または所定のアセット詳細レベルとオブジェクトの現在の配置との比較に従ってオブジェクトを動的に色分けし得る（例えば、オブジェクトがカメラに近すぎる場合はオブジェクトを赤にするなど）。

本明細書に記載の実施形態は、社内のレンダラに直接差し込まれ、データを生成するための特別なプロセスを実行する必要性を低減し得る。実施形態は、要求された仕様または実際の仕様を考慮し得る。

本明細書に記載の実施形態は、様々な利点を提供する。例えば、完全に構築されたアニメーションシーンを最高の詳細レベルでカリングする代わりに、システムは、アニメータのためにシーンの一部で必要なアセット詳細レベルを判定し、アニメータに事前に通知する。

図３は、本明細書に記載の実装態様で使用するための例示的なコンピュータシステム３００のブロック図である。コンピュータシステム３００は、単に説明のためのものであり、特許請求の範囲を限定することを意図するものではない。当業者は、他のバリエーション、修正、および代替を認識するであろう。例えば、コンピュータシステム３００は、１つ以上のサーバシステムと通信する１つ以上のクライアントデバイスを有する分散型クライアントサーバ構成に実装され得る。

一つの例示的な実装態様では、コンピュータシステム３００は、モニタ３１０などのディスプレイデバイス、コンピュータ３２０、キーボード、タッチデバイスなどのデータ入力インターフェース３３０、ユーザ入力デバイス３４０、ネットワーク通信インターフェース３５０などを含む。ユーザ入力デバイス３４０は、典型的には、コンピュータマウス、トラックボール、トラックパッド、ワイヤレスリモート、タブレット、タッチスクリーンなどとして具体化される。さらに、ユーザ入力デバイス３４０は、典型的には、ユーザが、例えば、モニタ３１０に表示されるオブジェクト、アイコン、文章、文字などを選択および操作することを可能にする。

ネットワークインターフェース３５０は、典型的には、イーサネットカード、モデム（電話、衛星、ケーブル、ＩＳＤＮ）、（非同期）デジタル加入者線（ＤＳＬ）ユニットなどを含む。さらに、ネットワークインターフェース３５０は、コンピュータ３２０のマザーボード上に物理的に統合さ得、ソフトＤＳＬなどのソフトウェアプログラムなどであってもよい。

コンピュータシステム３００はまた、ＨＴＴＰ、ＴＣＰ／ＩＰ、ＲＴＰ／ＲＴＳＰ、プロトコル、ワイヤレスアプリケーションプロトコル（ＷＡＰ）、ＩＥＥＥ９０２．１１プロトコルなどのような通信ネットワーク３５２を介した通信を可能にするソフトウェアを含み得る。加えて、および／または代替的に、他の通信ソフトウェアおよび転送プロトコル、例えば、ＩＰＸ、ＵＤＰなども使用することができる。通信ネットワーク３５２は、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレスネットワーク、イントラネット、インターネット、プライベートネットワーク、パブリックネットワーク、スイッチドネットワーク、または、例えばクラウドネットワークなどの任意の他の好適な通信ネットワークを含み得る。通信ネットワーク３５２は、多くの相互接続されたコンピュータシステム、およびハードワイヤリンク、光リンク、衛星、またはＢＬＵＥＴＯＯＴＨ、ＷＩＦＩ、波伝播リンク、もしくは情報通信のための任意の他の好適な機構などの他の無線通信リンクなどの、任意の好適な通信リンクを含み得る。例えば、通信ネットワーク３５２は、無線送受信機３５４などの基地局を介して、携帯電話、タブレットなどの１つ以上のモバイル無線デバイス３５６Ａ～Ｎと通信し得る。

コンピュータ３２０は、典型的には、プロセッサ３６０などの身近なコンピュータ構成要素、ならびにメモリ３７０などのメモリストレージデバイス、例えば、ランダムアクセスメモリ（ＲＡＭ）、記憶媒体３８０、および上記の構成要素を相互接続するシステムバス３９０を含む。一実施形態では、コンピュータ３２０は、複数のマイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）などを有するＰＣ互換コンピュータである。コンピュータが示されているが、多くの他のハードウェアおよびソフトウェア構成が本発明での使用に好適であることは当業者には容易に明らかであろう。メモリ３７０および記憶媒体３８０は、データ、オーディオ／ビデオファイル、コンピュータプログラムなどを記憶するための有形の非一時的なコンピュータ可読媒体の例である。他の種類の有形媒体には、ディスクドライブ、ソリッドステートドライブ、フロッピーディスク、光記憶媒体およびバーコード、フラッシュドライブ、フラッシュメモリ、ランダムアクセスまたは読み取り専用タイプのメモリ、バッテリバックアップ式揮発性メモリなどの半導体メモリ、ネットワークストレージデバイス、クラウドストレージなどが含まれる。

図４は、いくつかの実施形態による、静止画像および／または画像のビデオシーケンスの形態で画像を生成するために使用され得る、例示的なビジュアルコンテンツ生成システム４００のブロック図である。ビジュアルコンテンツ生成システム４００は、ライブアクションシーン、コンピュータ生成シーン、またはこれらの組み合わせの画像を生成し得る。実際のシステムでは、ユーザには、必要に応じて高レベルおよび低レベルで、その画像に何を入れるかを指定することを可能にするツールが提供される。例えば、ユーザはアニメーションアーティストである場合があり、ビジュアルコンテンツ生成システム４００を使用して、すべて、所望のストーリーを伝える、または所望の画像を生成するために、サウンドステージでライブパフォーマンスを行う２人の人間の俳優間の相互作用をキャプチャし、人間の俳優のうちの１人をコンピュータで生成された擬人化された非人間に置き換え得、非人間は置き換えられた人間の俳優の動きおよび癖を模倣するように振る舞いその後、コンピュータで生成された３番目のキャラクター、およびコンピュータで生成された背景シーン要素を追加し得る。

ビジュアルコンテンツ生成システム４００によって出力される静止画像は、各々が二次元画像配列内の位置を有する画素に関連付けられた、画素カラー値の二次元配列などの画素配列としてコンピュータメモリに表され得る。画素カラー値は、赤の値、緑の値、および青の値（例えば、ＲＧＢ形式で）など、画素ごとに３つ以上（またはそれ以下）のカラー値で表され得る。画素カラー値のそのような二次元配列の寸法は、１９２０画素列×１２８０画素行などの、好ましいおよび／または標準の表示スキームに対応し得る。画像は圧縮形式で記憶される場合とされない場合があるが、いずれの場合も、所望の画像が画素カラー値の二次元配列として表され得る。別のバリエーションでは、画像は三次元プレゼンテーション用のステレオ画像のペアで表され、他のバリエーションでは、画像出力の一部またはすべてが二次元ビューだけではなく三次元画像を表す場合がある。

記憶されたビデオシーケンスは、上記の静止画像などの複数の画像を含み得るが、複数の画像のうちの各画像がタイミングシーケンス内に位置し、記憶されたビデオシーケンスが、各画像が順序正しく、タイミングシーケンスによって示される時間に表示される場合、ディスプレイは、画像が動いているおよび／または変化しているように見えるものを提示するように構成される。一表現では、複数の画像のうちの各画像は、ビデオシーケンスが再生を開始してからその指定されたフレームが表示されるまでに経過する時間に対応する、指定されたフレーム番号を有するビデオフレームである。フレームレートは、単位時間ごとに表示される記憶されたビデオシーケンスのフレーム数を記載するために使用され得る。例示的なビデオシーケンスには、２４フレーム／秒（２４ＦＰＳ）、５０ＦＰＳ、８０ＦＰＳ、または他のフレームレートが含まれ得る。いくつかの実施形態では、フレームはインターレースされるか、または他の方法で表示のために提示されるが、記載を明確にするために、いくつかの例では、ビデオフレームが１つの指定された表示時間を有すると想定され、他のバリエーションが可能であることを理解されたい。

ビデオシーケンスを作成する１つの方法は、単にビデオカメラを使用してライブアクションシーン、つまり物理的に発生し、ビデオカメラで記録することができるイベントを記録することである。記録されているイベントは、表示されていると解釈されるイベント（２人の人間の俳優が互いに話しているのを見るなど）であり得、および／または巧妙なカメラ操作のために異なる解釈が行われるイベント（俳優が実際に同じような体格であるにもかかわらず、ステージの周りで俳優を動かして一方を他方より大きく見せるか、または等身大のオブジェクトを含むシーンとして解釈されるように、ミニチュアオブジェクトを他のミニチュアオブジェクトと一緒に使用するなど）を含み得る。

ストーリーテリングまたは他の目的でビデオシーケンスを作成するには、話す木、擬人化されたオブジェクト、宇宙の戦いなど、生の俳優では作成することができないシーンが必要になることがよくある。このようなビデオシーケンスは、ライブシーンからの光をキャプチャするのではなく、計算によって生成される場合がある。時には、コンピュータアニメーションの長編映画の場合のように、ビデオシーケンス全体が計算によって生成されることがある。一部のビデオシーケンスでは、何らかのコンピュータ生成画像および何らかのライブアクションを有し、おそらくその２つを注意深くマージすることが望ましい。

コンピュータ生成画像は、各フレームの各画素の各カラー値を手動で指定することで作成可能である場合があるが、これは面倒すぎて実用的ではない可能性がある。その結果、作成者は様々なツールを使用して、より高いレベルで画像を指定する。例として、アーティストは、三次元座標系などのシーン空間内の位置を指定する場合があり、オブジェクトおよび／または照明の位置だけでなく、カメラの視点、カメラのビュー平面を指定する場合がある。これらすべてを入力として、レンダリングエンジンは、フレームの各々の、画素値の各々を計算し得る。別の例では、アーティストは、各フレームでその連結式オブジェクトを表す各画素の色を指定するのではなく、ある指定されたテクスチャを有する連結式オブジェクトの位置および動きを指定する。

具体的な例では、レンダリングエンジンは、レイトレーシングを実行し、この場合、画素カラー値は、カメラの視点からその画素に対応するカメラビュー平面の点または部分を介してシーン空間でトレースされる光線に沿って、どのオブジェクトが存在するかを計算することによって判定される。例えば、カメラビュー平面は、生成される最終的な画像の画素に対応するグリッドに分割されたシーン空間内の位置を持つ長方形として表される場合がある。この例では、シーン空間のカメラの視点およびそのグリッド内の所与の画素によって定義された光線が、最初に中実の不透明な青いオブジェクトと交差し、その所与の画素には青色が割り当てられる。もちろん、最新のコンピュータ生成画像の場合、照明の問題、反射、補間、および他の考慮事項があるため、画素の色を判定してそれにより画像を生成することは、より複雑になる可能性がある。

様々な実施形態では、ライブアクションキャプチャシステム４０２は、ステージ４０４上で演じられるライブシーンをキャプチャする。ライブアクションキャプチャシステム４０２は、本明細書でより詳細に記載されるが、コンピュータ処理機能、画像処理機能、１つ以上のプロセッサ、１つ以上のプロセッサによって実行可能なプログラム命令を記憶するためのプログラムコードストレージだけでなく、ユーザ入力デバイスおよびユーザ出力デバイスを含む場合があり、すべてが示されているわけではない。

具体的なライブアクションキャプチャシステムでは、カメラ４０６（１）および４０６（２）がシーンをキャプチャするが、一部のシステムでは、ライブシーンから情報をキャプチャする他のセンサ４０８が存在する場合がある（例えば、赤外線カメラ、赤外線センサ、モーションキャプチャ（「ｍｏ－ｃａｐ」）検出器など）。ステージ４０４上には、人間の俳優、動物の俳優、無生物、背景オブジェクト、および場合によっては、コンピュータ生成画像によって簡単にオーバーレイされるように、ライブシーンの記録にキャプチャされるように設計されたグリーンスクリーン４１０などのオブジェクトが存在する場合がある。ステージ４０４はまた、キャプチャ中にオブジェクトがどこにあったかを判定するためにキャプチャ後に使用され得る、基準４１２（１）～（３）などの、基準として機能するオブジェクトを含み得る。ライブアクションシーンは、オーバーヘッドライト４１４などの１つ以上のライトによって照らされ得る。

ライブアクションシーンのキャプチャ中またはキャプチャに続いて、ライブアクションキャプチャシステム４０２は、ライブアクションフッテージをライブアクションフッテージストレージ４２０に出力し得る。ライブアクション処理システム４２２は、ライブアクションフッテージを処理して、そのライブアクションフッテージに関するデータを生成し、そのデータをライブアクションメタデータストレージ４２４に記憶することができる。ライブアクション処理システム４２２は、コンピュータ処理機能、画像処理機能、１つ以上のプロセッサ、１つ以上のプロセッサによって実行可能なプログラム命令を記憶するためのプログラムコードストレージだけでなく、ユーザ入力デバイスおよびユーザ出力デバイスを含む場合があり、すべてが示されているわけではない。ライブアクション処理システム４２２は、ライブアクションフッテージを処理して、１つ以上のフレーム内のオブジェクトの境界を判定し、カメラが何らかのアクションに対して相対的であったライブアクションシーン内のオブジェクトの場所、動いているオブジェクトと基準との間の距離などを判定し得る。要素がセンサまたは他の手段によって検出される場合、メタデータは、オーバーヘッドライト４１４の場所、色、および強度を含み得、これは、コンピュータ生成され、ライブアクションフッテージにオーバーレイされたオブジェクト上の、コンピュータ生成された照明を一致させるための後処理で有用である場合があるためである。ライブアクション処理システム４２２は、おそらく所定のプログラム命令に基づいて自律的に動作し、ライブアクションフッテージを受信および入力すると、ライブアクションメタデータを生成および出力し得る。ライブアクションフッテージは、カメラでキャプチャしたデータだけでなく、他のセンサからのデータであり得る。

アニメーション作成システム４３０は、ビジュアルコンテンツ生成システム４００の別の部分である。アニメーション作成システム４３０は、コンピュータ処理機能、画像処理機能、１つ以上のプロセッサ、１つ以上のプロセッサによって実行可能なプログラム命令を記憶するためのプログラムコードストレージだけでなく、ユーザ入力デバイスおよびユーザ出力デバイスを含む場合があり、すべてが示されているわけではない。アニメーション作成システム４３０は、アニメーションアーティスト、管理者、および他の人によって、生成される画像の詳細を、おそらくプログラム的におよび／または相互作用的に指定するために使用され得る。データストア４３２として示されるデータベースまたは他のデータソースからのユーザ入力およびデータから、アニメーション作成システム４３０は、オブジェクト（例えば、馬、人間、ボール、ティーポット、雲、光源、テクスチャなど）を表すデータを生成して、オブジェクトストレージ４３４に出力し、シーンを表すデータを生成して、シーン記述ストレージ４３６に出力し、および／またはアニメーションシーケンスを表すデータを生成して、アニメーションシーケンスストレージ４３８に出力し得る。

シーンデータは、オブジェクトおよび他のビジュアル要素の場所、それらのパラメータの値、照明、カメラの場所、カメラビュー平面、およびレンダリングエンジン４５０がＣＧＩ画像をレンダリングするために使用し得る他の詳細を示し得る。例えば、シーンデータには、カメラの視点の場所および画像をレンダリングする位置からのビューに連動して、二次元空間、三次元空間、または他の次元空間（２．５次元空間、４分の３次元、疑似３Ｄ空間など）で指定された複数の連結式キャラクター、背景オブジェクト、照明などの場所が含まれる場合がある。例えば、シーンデータは、ビデオの右半分に赤い毛むくじゃらの、会話をしている犬がいて、ビデオの左半分に静止した木があることを示している場合があり、これらはすべて、カメラの視点の上方かつ後ろにある明るい点の光源で照らされる。場合によっては、カメラの視点は明確ではないが、視錐台から判断することができる。長方形のビューにレンダリングされる画像の場合、錐台は角錐台であり得る。レンダリングされたビューは他の形状も可能であり、カメラビュー平面は異なる形状ごとに異なる可能性がある。

アニメーション作成システム４３０は、相互作用的であり得、ユーザがアニメーションシーケンス、シーンの記述、オブジェクトの詳細などを読み取り、それらを編集し、場合によってはそれらをストレージに戻して既存のデータを更新または置換することを可能にする。一例として、オペレータは、オブジェクトストレージからベーキングプロセッサにオブジェクトを読み込むことができ、ベーキングプロセッサは、それらのオブジェクトをより単純な形式に転換し、それらを新しいオブジェクトまたは異なるオブジェクトとしてオブジェクトストレージ４３４に返す。例えば、オペレータは、指定されたパラメータ（可動ジョイント、カラーオプション、テクスチャなど）が数十個あるオブジェクトを読み込み、それらのパラメータの値をいくつか選択して、ベイク処理されたオブジェクトであり、それらのパラメータの目下固定された値を備えた、簡略化されたオブジェクトを保存し得る。

シーンの各詳細を指定する必要はなく、データストア４３２からのデータを使用して、オブジェクトの提示を推進し得る。例えば、アーティストが、海岸線を手動で描画または指定する代わりに、地球の表面を通過する宇宙船のアニメーションを作成している場合、アーティストは、アニメーション作成システム４３０が、地球の海岸線の座標を含むファイル内のデータストア４３２からデータを読み取り、その海岸線のデータを使用してシーンの背景要素を生成することを指定することができる。

アニメーションシーケンスデータは、制御可能な属性を持つオブジェクトの制御点の時系列データの形式である場合がある。例えば、オブジェクトは、典型的な人間の動きと同様の様式で動作可能な手足および関節を備えた人型のキャラクターである場合がある。アーティストは、「左手は時間Ｔ１～Ｔ２に場所（Ｘ１、Ｙ１、Ｚ１）から（Ｘ２、Ｙ２、Ｚ２）に動く」など高レベル、より低レベル（例えば、「肘の関節をフレームごとに２．５度動かす」）、またはさらに非常に高レベル（例えば、「キャラクターＡは、このシーンに与えられた物理法則に従って、指定された進路に沿って点Ｐ１から点Ｐ２に移動しなければならない」）でアニメーションシーケンスを指定することができる。

アニメーション化されたシーンのアニメーションシーケンスは、ライブアクションシーンで何が起こるかによって指定される場合がある。アニメーションドライバジェネレータ４４４は、ライブアクションシーン中の生の俳優の身体部分の動きおよび位置を表すデータなどのライブアクションメタデータを読み込み、ＣＧＩオブジェクトのアニメーション化に使用するためにアニメーションシーケンスストレージ４３８に記憶される対応するアニメーションパラメータを生成することができる。これは、モーションキャプチャの基準（例えば、俳優の服の外側の高コントラストマーカー、俳優の肌、顔などへの視認性の高いペイント）を着用している、人間の俳優のライブアクションシーンをキャプチャする場合に有用であり得、これらの基準の動きは、ライブアクション処理システム４２２によって判定される。アニメーションドライバジェネレータ４４４は、その動作データを、連結式ＣＧＩキャラクターの関節が時間とともにどのように動作するかの仕様に変換することができる。

レンダリングエンジン４５０は、アニメーションシーケンス、シーンの記述、およびオブジェクトの詳細だけではなく、解像度の選択およびレンダリングパラメータのセットなどのレンダリングエンジンの制御入力を読み込むことができる。解像度の選択は、映画製作者が特定の相互作用または方向性をテストするには、明瞭さよりも速度の方が重要となり得るが、一方、映画製作者が配信する長編映画の最終プリントに使用されることとなるデータを生成するには、速度よりも明瞭さが重要となり得るように、オペレータがレンダリングの速度と詳細の明瞭さとの間のトレードオフを制御することに有用である場合がある。レンダリングエンジン４５０は、コンピュータ処理機能、画像処理機能、１つ以上のプロセッサ、１つ以上のプロセッサによって実行可能なプログラム命令を記憶するためのプログラムコードストレージだけでなく、ユーザ入力デバイスおよびユーザ出力デバイスを含む場合があり、すべてが示されているわけではない。

ビジュアルコンテンツ生成システム４００はまた、ライブフッテージをアニメーション化されたコンテンツとマージするマージングシステム４６０（「ライブ＋ＣＧＩマージングシステム」とラベル付けされている）を含むことができる。ライブフッテージは、ライブアクションフッテージストレージ４２０から読み取ることによってライブアクションフッテージを取得し、ライブアクションメタデータストレージ４２４から読み取ることによって、ライブアクションシーン内のオブジェクトをセグメント化するキャプチャされた画像における推定セグメンテーションなどの詳細をそれらの背景から取得し、（おそらく、グリーンスクリーン４１０がライブアクションシーンの一部であったという事実によって支援される）、かつレンダリングエンジン４５０からＣＧＩ画像を取得することによって、取得および入力され得る。

マージングシステム４６０はまた、マージング／組み合わせ用ルールセットストレージ４６２からデータを読み取ることができる。ルールセット内のルールの非常に単純な例は、「ライブフッテージの対応する画素が特定の緑色の場合、ライブフッテージから二次元画素配列を含む完全画像を取得し、レンダリングエンジン４５０から二次元画素配列を含む完全画像を取得し、かつ各画素が対応する画素である画像をレンダリングエンジン４５０から出力し、そうでない場合は、ライブフッテージの対応する画素から画素値を出力する」ことが挙げられ得る。

マージングシステム４６０は、コンピュータ処理機能、画像処理機能、１つ以上のプロセッサ、１つ以上のプロセッサによって実行可能なプログラム命令を記憶するためのプログラムコードストレージだけでなく、ユーザ入力デバイスおよびユーザ出力デバイスを含む場合があり、すべてが示されているわけではない。マージングシステム４６０は、プログラミング命令に従って自律的に動作することができ、またはオペレータがその上でマージングプロセスを制御することができる、ユーザインターフェースまたはプログラムインターフェースを有することができる。いくつかの実施形態では、オペレータは、マージングプロセスで使用するパラメータ値を指定することができ、および／またはセグメント化されたオブジェクトの境界を修正する、欠陥を滑らかにするためにぼかしを挿入する、または他の効果を追加するなど、マージングシステム４６０の出力に対して行われる具体的な微調整を指定することができる。その入力に基づいて、マージングシステム４６０は、静止画像ストレージ４７０に記憶される画像および／またはアニメーション化された／組み合わされたビデオストレージ４７２に記憶されるビデオの形態の画像のシーケンスを出力することができる。

したがって、記載したように、ビジュアルコンテンツ生成システム４００を使用して、そのいくつかは本明細書でより詳細に記載されている様々な構成要素およびツールを使用することによって、ライブアクションにコンピュータ生成アニメーションを組み合わせたビデオを生成することができる。ビジュアルコンテンツ生成システム４００は、好適な設定でそのような組み合わせに有用であり得る一方、それは、ライブアクションフッテージ全体またはＣＧＩシーケンス全体を出力するために使用することができる。コードはまた、一時的なコンピュータ可読媒体、例えば、ネットワークを介して伝送される信号の形態のような伝送媒体によって提供および／または搬送され得る。

一実施形態によれば、本明細書に記載の技術は、ファームウェア、メモリ、他のストレージ、またはそれらの組み合わせにおけるプログラム命令に従って技術を実行するようにプログラムされた１つ以上の一般化されたコンピューティングシステムによって実装される。デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または技術を実装するためのハードワイヤードおよび／もしくはプログラムロジックを組み込んだ他のデバイスなどの専用コンピューティングデバイスを使用することができる。

図５は、本明細書に記載の実施形態に使用され得る例示的なコンピュータシステム５００のブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２または他の通信機構、およびバス５０２と結合された、情報を処理するためのプロセッサ５０４を含む。プロセッサ５０４は、例えば、汎用マイクロプロセッサであり得る。

コンピュータシステム５００はまた、プロセッサ５０４によって実行される情報および命令を記憶するための、バス５０２に結合された、ランダムアクセスメモリ（ＲＡＭ）または他の動的ストレージデバイスなどのメインメモリ５０６を含む。メインメモリ５０６はまた、プロセッサ５０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサ５０４にアクセス可能な非一時的な記憶媒体に記憶されると、コンピュータシステム５００を、命令で指定された操作を実行するようにカスタマイズされた専用機にする。

コンピュータシステム５００は、プロセッサ５０４のための静的情報および命令を記憶するための、バス５０２に結合された、読み取り専用メモリ（ＲＯＭ）５０８または他の静的ストレージデバイスをさらに含む。情報および命令を記憶するための磁気ディスクまたは光ディスクなどのストレージデバイス５１０が提供され、バス５０２に結合される。

コンピュータシステム５００は、バス５０２を介して、コンピュータユーザに情報を表示するための、コンピュータモニタなどのディスプレイ５１２に結合され得る。英数字および他のキーを含む入力デバイス５１４は、情報およびコマンド選択をプロセッサ５０４に通信するためにバス５０２に結合される。別の種類のユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ５０４に通信し、ディスプレイ５１２上のカーソルの動きを制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力デバイス５１４は、典型的には、２つの軸である、第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の２自由度を有し、これにより、入力デバイス５１４は、平面内の位置を指定することができる。

コンピュータシステム５００は、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣもしくはＦＰＧＡ、ファームウェア、および／またはプログラムロジックを使用して、本明細書に記載の技術を実装することができ、これらは、コンピュータシステムと組み合わせて、コンピュータシステム５００を専用機にするか、またはプログラムする。一実施形態によれば、本明細書の技術は、メインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ５０４に応答して、コンピュータシステム５００によって実行される。そのような命令は、ストレージデバイス５１０などの別の記憶媒体からメインメモリ５０６に読み込まれ得る。メインメモリ５０６に含まれる命令のシーケンスの実行により、プロセッサ５０４は、本明細書に記載のプロセスステップを実行する。代替的な実施形態では、ハードワイヤード回路を、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用することができる。

本明細書で使用される「記憶媒体」という用語は、機械を具体的な様式で動作させるデータおよび／または命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体には、例えば、ストレージデバイス５１０などの光学ディスクまたは磁気ディスクが含まれる。揮発性媒体には、メインメモリ５０６などの動的メモリが含まれる。記憶媒体の一般的な形態には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、もしくは任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光データ記憶媒体、孔パターンを備える物理的な媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップ、またはカートリッジが含まれる。

記憶媒体は、伝送媒体とは異なるが、伝送媒体と併せて使用され得る。伝送媒体は、記憶媒体間の情報転送に関与する。例えば、伝送媒体は、バス５０２を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。伝送媒体は、電波および赤外線データ通信中に生成されるものなど、音響波または光波の形態を採ることもできる。

様々な形態の媒体が、実行のためにプロセッサ５０４に１つ以上の命令の１つ以上のシーケンスを搬送することに関与し得る。例えば、命令は、最初は、リモートコンピュータの磁気ディスクまたはソリッドステートドライブに担持され得る。リモートコンピュータは、命令をその動的メモリにロードし、ネットワーク接続を介して命令を送信することができる。コンピュータシステム５００にローカルなモデムまたはネットワークインターフェースは、データを受信することができる。バス５０２は、データをメインメモリ５０６に搬送し、そこからプロセッサ５０４が命令を検索して実行する。メインメモリ５０６によって受信された命令は、任意選択的に、プロセッサ５０４による実行の前または後のいずれかで、ストレージデバイス５１０に記憶され得る。

コンピュータシステム５００はまた、バス５０２に結合された通信インターフェース５１８を含む。通信インターフェース５１８は、ローカルネットワーク５２２に接続されているネットワークリンク５２０に結合する双方向データ通信を提供する。例えば、通信インターフェース５１８は、統合サービスデジタルネットワーク（「ＩＳＤＮ」）カード、ケーブルモデム、衛星モデム、または対応する種類の電話回線へのデータ通信接続を提供するためのモデムであり得る。無線リンクも実装され得る。任意のそのような実装態様において、通信インターフェース５１８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号、電磁気信号、または光信号を送信および受信する。

ネットワークリンク５２０は、典型的には、１つ以上のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介して、ホストコンピュータ５２４、またはインターネットサービスプロバイダ（「ＩＳＰ」）５２６によって操作されるデータ機器への接続を提供することができる。次に、ＩＳＰ５２６は、現在一般に「インターネット」５２８と呼ばれている世界規模のパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８は両方とも、デジタルデータストリームを搬送する電気信号、電磁気信号、または光信号を使用する。コンピュータシステム５００との間でデジタルデータを搬送する、様々なネットワークを介した信号、ネットワークリンク５２０上の信号、および通信インターフェース５１８を介した信号は、伝送媒体の例示的な形態である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、および通信インターフェース５１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、および通信インターフェース５１８を介して、アプリケーションプログラムに対して要求されたコードを伝送することができる。受信されたコードは、その受信時にプロセッサ５０４によって実行され、および／または後で実行するためにストレージデバイス５１０、または他の不揮発性ストレージに記憶され得る。

本明細書に記載のプロセスの操作は、本明細書に別段の指示がない限り、または特に文脈によって明らかに矛盾しない限り、任意の好適な順序で実行することができる。本明細書に記載のプロセスは、実行可能命令で構成された１つ以上のコンピュータシステム（例えば、コンピュータシステム５００）の制御下で実行され得、かつハードウェア、またはそれらの組み合わせによって、１つ以上のプロセッサ上で集合的に実行するコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装され得る。コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形態で、コンピュータ可読記憶媒体に記憶することができる。コンピュータ可読記憶媒体は、非一時的であり得る。

記載は特定の実施形態に関して記載されてきたが、これらの特定の実施形態は単に説明のためのものであり、限定的なものではない。録音の実行時に合成の様々なパラメータを修正することを可能にするように、制御を提供することができる。例えば、解像度、フレーム数、深度位置の精度はすべて、人間のオペレータによる変更または選択の対象となり得る。

特定の実施形態のルーチンを実装するために、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語などを含む任意の好適なプログラミング言語を使用することができる。手続き型またはオブジェクト指向などの異なるプログラミング技術を採用することができる。ルーチンは、単一の処理デバイスまたは複数のプロセッサで実行することができる。ステップ、操作、または計算は具体的な順序で提示され得るが、この順序は異なる特定の実施形態において変更され得る。いくつかの特定の実施形態では、本明細書で順次的なものとして示されている複数のステップを同時に実行することができる。

特定の実施形態は、命令実行システム、装置、システム、またはデバイスによって、またはそれらに関連して使用するために、コンピュータ可読記憶媒体に実装され得る。特定の実施形態は、ソフトウェアもしくはハードウェア、または両方の組み合わせにおける制御ロジックの形態で実装することができる。制御ロジックは、１つ以上のプロセッサによって実行される場合、特定の実施形態で記載されるものを実行するように動作可能であり得る。

いくつかの実施形態は、１つ以上のデジタルプロセッサによって実行可能な命令を含む、非一時的なプロセッサ可読媒体として実装される。本明細書に記載の実施形態を実装するための１つ以上のデジタルプロセッサによって実行可能な１つ以上の命令を含むプロセッサ可読媒体。

いくつかの実施形態は、コンピュータ可読媒体上で提供されるプロセッサ実装可能コードとして実装される。コンピュータ可読媒体は、ソリッドステートメモリ、磁気ディスク、光ディスクなどの非一時的な記憶媒体、またはコンピュータネットワークを介して伝送される信号などの一時的な媒体を含み得る。

特定の実施形態は、特定用途向け集積回路、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、光学的、化学的、生物学的、量子的、またはナノエンジニアリングのシステムを使用することによって、プログラムされた汎用デジタルコンピュータを使用することによって実装され得、構成要素および機構が使用され得る。概して、特定の実施形態の機能は、当技術分野で知られている任意の手段によって達成することができる。分散型のネットワーク化されたシステム、構成要素、および／または回路を使用することができる。データの通信または転送は、有線、無線、または任意の他の手段で行うことができる。

図面／図に描かれている１つ以上の要素はまた、特定の用途に従って有用であるように、より分離または統合された様式で実装され得るか、または特定の場合に動作不能として除去またはレンダリングされ得ることも理解されよう。コンピュータが上記の方法のいずれかを実行することを可能にするために、機械可読媒体に記憶することができるプログラムまたはコードを実装することも趣旨および範囲の範囲内である。

本明細書の記載および以下の特許請求の範囲全体で使用される場合、「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に別段の指示をしない限り、複数の参照を含む。また、本明細書の記載および以下の特許請求の範囲全体で使用される場合、「中の」の意味は、文脈が明確に別段の指示をしない限り、「中の」および「上の」を含む。

本明細書で使用される「ｃｏｍｐｒｉｓｉｎｇ（備える）」という用語は、「少なくとも一部を備える」を意味する。「備える」という用語を含む本明細書における各記述を解釈する場合、それ以外の特徴またはその用語で始まる特徴も存在し得る。「ｃｏｍｐｒｉｓｅ（備える）」および「ｃｏｍｐｒｉｓｅｓ（備える）」のような関連用語は、同じように解釈されるべきである。

本明細書において、特許明細書、他の外部文献、または他の情報源を参照した場合、これは、概して、本発明の特徴を考察するために背景を提供することを目的としている。特に明記しない限り、このような外部文献またはこのような情報源の参照は、いかなる管轄においても、このような文献またはこのような情報源が先行技術であるかまたは当技術分野における一般常識の一部をなすことの承認として解釈されるべきではない。

したがって、特定の実施形態が本明細書で記載されているが、修正の許容範囲、様々な変更、および置換は、前述の開示において意図されており、時には、特定の実施形態のいくつかの特徴が、記載された範囲および趣旨から逸脱することなく、他の特徴の対応する使用なしに採用されることが理解されよう。したがって、特定の状況または資料を本質的な範囲および趣旨に適合させるために、多くの修正を加えることができる。

Claims (15)

1. マルチアングル画面カバレッジ解析のために１つ以上のデジタルプロセッサによって実行されるコンピュータ実装方法であって、
   少なくとも１つの画像を取得することであって、前記少なくとも１つの画像が、コンピュータグラフィックス生成画像であり、前記少なくとも１つの画像が、少なくとも１つの対象オブジェクトを備える、取得することと、
   前記少なくとも１つの対象オブジェクトの画面カバレッジ情報を判定することと、
   前記少なくとも１つの対象オブジェクトの深度情報を判定することと、
   前記画面カバレッジ情報および前記深度情報に基づいて、前記少なくとも１つの対象オブジェクトのアセット詳細レベルを判定することと、
   前記アセット詳細レベルをデータベースに記憶することと、を含む、方法。
2. 前記少なくとも１つの対象オブジェクトが、前記画像内で少なくとも部分的に視認可能である、請求項１に記載の方法。
3. 前記少なくとも１つの対象オブジェクトが、前記画像内で完全に視認可能である、請求項１に記載の方法。
4. 前記画面カバレッジ情報が、前記少なくとも１つの対象オブジェクトによって覆われている画面のパーセンテージに基づき、かつ／または前記少なくとも１つの対象オブジェクトによって覆われている画面の絶対部分に基づく、請求項１に記載の方法。
5. 前記少なくとも１つの画像が、複数のオブジェクトを備え、前記複数のオブジェクトが、前記少なくとも１つの対象オブジェクトを含み、前記少なくとも１つの対象オブジェクトの前記深度情報が、前記複数のオブジェクトのうちの少なくとも１つの他のオブジェクトに基づく、請求項１に記載の方法。
6. １人以上のユーザに、前記アセット詳細レベルを提供することをさらに含む、請求項１に記載の方法。
7. 前記アセット詳細レベルにおいて、ある量の画像詳細および／または画像解像度を含む、請求項１に記載の方法。
8. マルチアングル画面カバレッジ解析のための装置であって、
   １つ以上のプロセッサと、
   前記１つ以上のプロセッサによる実行のための、１つ以上の有形媒体に符号化されたロジックと、を備え、前記１つ以上のプロセッサが、
   少なくとも１つの画像を取得することであって、前記少なくとも１つの画像が、コンピュータグラフィックス生成画像であり、前記少なくとも１つの画像が、少なくとも１つの対象オブジェクトを備える、取得することと、
   前記少なくとも１つの対象オブジェクトの画面カバレッジ情報を判定することと、
   前記少なくとも１つの対象オブジェクトの深度情報を判定することと、
   前記画面カバレッジ情報および前記深度情報に基づいて、前記少なくとも１つの対象オブジェクトのアセット詳細レベルを判定することと、
   前記アセット詳細レベルをデータベースに記憶することと、を行う、装置。
9. 前記少なくとも１つの対象オブジェクトが、前記画像内で少なくとも部分的に視認可能である、および／または前記画像内で完全に視認可能である、請求項８に記載の装置。
10. 前記画面カバレッジ情報が、前記少なくとも１つの対象オブジェクトによって覆われている画面のパーセンテージに基づき、かつ／または前記少なくとも１つの対象オブジェクトによって覆われている画面の絶対部分に基づく、請求項８に記載の装置。
11. 前記少なくとも１つの画像が、複数のオブジェクトを備え、前記複数のオブジェクトが、前記少なくとも１つの対象オブジェクトを含み、前記少なくとも１つの対象オブジェクトの前記深度情報が、前記複数のオブジェクトのうちの少なくとも１つの他のオブジェクトに基づく、請求項８に記載の装置。
12. 前記実行されるときのロジックが、前記１つ以上のプロセッサに、１人以上のユーザに前記アセット詳細レベルを提供することを含む動作を実行させるようにさらに動作可能である、請求項８に記載の装置。
13. 前記アセット詳細レベルにおいて、ある量の画像詳細および／または画像解像度を含む、請求項８に記載の装置。
14. プログラム命令がそこに記憶された、非一時的なコンピュータ可読記憶媒体であって、前記プログラム命令は１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、
    少なくとも１つの画像を取得することであって、前記少なくとも１つの画像は、コンピュータグラフィックス生成画像であり、かつ前記少なくとも１つの画像は、少なくとも１つの対象オブジェクトを備える、取得することと、
    前記少なくとも１つの対象オブジェクトの画面カバレッジ情報を判定することと、
    前記少なくとも１つの対象オブジェクトの深度情報を判定することと、
    前記画面カバレッジ情報および前記深度情報に基づいて、前記少なくとも１つの対象オブジェクトのアセット詳細レベルを判定することと、
    前記アセット詳細レベルをデータベースに記憶することと、を含む動作を実行させるように動作可能である、非一時的なコンピュータ可読記憶媒体。
15. 前記少なくとも１つの対象オブジェクトが、前記画像内で少なくとも部分的に視認可能である、請求項１４に記載のコンピュータ可読記憶媒体。

Images