JP6400720B2 - ビュー非依存色等化３ｄシーンテクスチャ処理 - Google Patents

ビュー非依存色等化３ｄシーンテクスチャ処理 Download PDF

Info

Publication number
JP6400720B2
JP6400720B2 JP2016552525A JP2016552525A JP6400720B2 JP 6400720 B2 JP6400720 B2 JP 6400720B2 JP 2016552525 A JP2016552525 A JP 2016552525A JP 2016552525 A JP2016552525 A JP 2016552525A JP 6400720 B2 JP6400720 B2 JP 6400720B2
Authority
JP
Japan
Prior art keywords
polygon
polygons
texture color
assigned
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016552525A
Other languages
English (en)
Other versions
JP2017509972A5 (ja
JP2017509972A (ja
Inventor
ダニエル・ノブロック
アレッサンドロ・ムローニ
ダニエル・ワグナー
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017509972A publication Critical patent/JP2017509972A/ja
Publication of JP2017509972A5 publication Critical patent/JP2017509972A5/ja
Application granted granted Critical
Publication of JP6400720B2 publication Critical patent/JP6400720B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、ビュー非依存色等化３Ｄシーンテクスチャ処理に関する。
RGB-Dカメラまたは他の感知デバイスなどのデバイスは、三次元環境内のオブジェクトを追跡し、デバイスによってキャプチャされたオブジェクトまたはシーンのモデルを作成する際に使用するための情報を収集するために使用されてもよい。このキャプチャされた情報は、画像化されたシーンまたはシーン内のオブジェクトの再構成が必要とされる様々な目的のために使用されてもよい。
このタイプの情報をキャプチャするビューベースの三次元(「3D」)システムは、関心対象のオブジェクトの良好な幾何学的表現をもたらすが、それらが少しでも色情報をキャプチャした場合、それらの色を良好に表さない。多くの以前から知られているシステムは、モデルの頂点の色を計算する。これは、モデルが近くで見られたとき、ぼやけたオブジェクトをもたらす。他の公知のシステムは、シーンの表現をできる限りリアルに保つために、ビュー依存テクスチャ処理を使用することがあるが、ビュー依存テクスチャ処理は、照明、影、露光時間、および、モデルを作成するために使用されてもよい複数のビューにわたって変化することがある他の問題により、モデルにわたって不均一な特性をもたらすことがある。オブジェクト全体の色を補正する公知の色補正システムは、これらの問題を適切に補償しない。
ビュー非依存色等化3Dシーンテクスチャ処理のためのシステムおよび方法は、3Dシーンまたはオブジェクトの再構成のための色およびモデル全体の品質の改善を提供することができる。
様々な例は、ビュー非依存色等化3Dシーンテクスチャ処理のために記載される。1つの開示される例示的な方法は、オブジェクトの複数のキーフレームをキャプチャするステップと、オブジェクトのための表面メッシュモデルを備えるオブジェクトの三次元(「3D」)表現にアクセスするステップであって、表面メッシュモデルが複数のポリゴンを備える、ステップと、複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンに関して、ポリゴンに対応するキーフレームの一部に関連付けられた1つまたは複数の画像品質特性に基づいて、ポリゴンに複数のキーフレームのうちの1つを割り当てるステップと、割り当てられたキーフレームと複数のポリゴンのうちのポリゴンの第2のセットとの間の関連付けを変更することによって、割り当てられたキーフレームの数を低減するステップと、割り当てられたキーフレームを有する表面メッシュモデルの各ポリゴンに関して、ポリゴンに関連付けられた複数のキーフレームの1つまたは複数の画像品質特性に少なくとも部分的に基づいて、ポリゴンの少なくとも一部のテクスチャ色を等化するステップと、オブジェクトの3D表現に等化されたテクスチャ色を割り当てるステップとを備える。別の例では、コンピュータ可読媒体は、そのような方法をプロセッサに実行させるプログラムコードで符号化される。
ビュー非依存色等化三次元シーンテクスチャ処理のための別の開示される例示的な方法は、オブジェクトの複数のキーフレームをキャプチャするステップと、オブジェクトのための表面メッシュモデルを備えるオブジェクトの三次元(「3D」)表現にアクセスするステップであって、表面メッシュモデルが複数のポリゴンを備える、ステップと、表面メッシュモデルの複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンに関して、ポリゴンに関連付けられたキーフレームを識別するステップと、複数のポリゴンのうちのポリゴンの第2のセットに、識別されたキーフレームの1つまたは複数の画像品質特性に基づいて、識別されたキーフレームのうちの1つまたは複数のキーフレームを割り当てるステップと、ポリゴンの第2のセット内の各ポリゴンの各ピクセルに関して、1つまたは複数の割り当てられたキーフレームの各々におけるオブジェクト上の対応する点のテクスチャ色に基づいて、ピクセルの加重平均テクスチャ色を計算するステップと、オブジェクトの3D表現に加重平均テクスチャ色を割り当てるステップとを備える。別の例では、コンピュータ可読媒体は、そのような方法をプロセッサに実行させるプログラムコードで符号化される。
ビュー非依存色等化三次元シーンテクスチャ処理のための1つの開示される例示的なシステムは、コンピュータ可読媒体と、コンピュータ可読媒体と通信する電子プロセッサとを備え、電子プロセッサが、オブジェクトの複数のキーフレームを受信することと、オブジェクトのための表面メッシュモデルを備えるオブジェクトの三次元(「3D」)表現にアクセスすることであって、表面メッシュモデルが複数のポリゴンを備える、ことと、複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンに関して、ポリゴンに対応するキーフレームの一部に関連付けられた1つまたは複数の画像品質特性に基づいて、ポリゴンに複数のキーフレームのうちの1つを割り当てることと、割り当てられたキーフレームと複数のポリゴンのうちのポリゴンの第2のセットとの間の関連付けを変更することによって、割り当てられたキーフレームの数を低減することと、割り当てられたキーフレームを有する表面メッシュモデルの各ポリゴンに関して、ポリゴンに関連付けられた複数のキーフレームの1つまたは複数の画像品質特性に少なくとも部分的に基づいて、ポリゴンの少なくとも一部のテクスチャ色を等化することと、オブジェクトの3D表現に等化されたテクスチャ色を割り当てることとを行うように構成される。
これらの例示的な例は、本開示の範囲を限定または定義するためには記載されておらず、その理解を助けるために例を提供するために記載されている。例示的な例は、さらなる説明を提供する詳細な説明において説明される。様々な例によって提供される利点は、本明細書を検討することによってさらに理解され得る。
本明細書に組み込まれ、本明細書の一部を構成する添付図面は、1つまたは複数の特定の例を例示し、例の説明と一緒に、特定の例の原理および実施態様を説明するのに役立つ。
例示的なシーンを示す図である。 ビュー非依存色等化3Dテクスチャ処理のための例示的な方法を示す図である。 ビュー非依存色等化3Dテクスチャ処理のための例示的な方法を示す図である。 ビュー非依存色等化3Dテクスチャ処理のための例示的な方法を示す図である。 例示的なオブジェクトと、オブジェクトの3D表現とを示す図である。 オブジェクトの3D表現を含むオブジェクトの例示的なキーフレームを示す図である。 オブジェクトの3D表現を含むオブジェクトの例示的なキーフレームを示す図である。 オブジェクトの3D表現のポリゴンに割り当てられたキーフレームからのテクスチャを有するオブジェクトの例示的な3D表現を示す図である。 ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法を示す図である。 ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法を示す図である。 ビュー非依存色等化3Dシーンテクスチャ処理のための例示的なコンピューティングデバイスを示す図である。 ビュー非依存色等化3Dシーンテクスチャ処理のための例示的なコンピューティングデバイスを示す図である。 ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な分散環境を示す図である。
例は、ビュー非依存色等化3Dシーンテクスチャ処理の文脈において本明細書で説明される。当業者は、以下の説明が単なる例示であり、どんな形であれ限定的であることを意図していないことを理解するであろう。参照は、ここで、添付図面に示すように例の実施態様に対して詳細に行われる。同じ参照指標は、同じまたは同様の項目を指すために、図面および以下の説明を通じて使用される。
明瞭にするために、本明細書で説明される例のルーチンな機能のすべてが示され、説明されるというわけではない。もちろん、任意のそのような実際の実施態様の開発において、用途およびビジネスに関連する制約の遵守などの開発者の特定の目標を達成するために、多数の実施態様固有の決定がなされなければならないこと、ならびに、これらの特定の目標が実施態様間および開発者間で変化することは、理解されるであろう。
以下は、ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法を説明する。この例では、異なる視点(または、パースペクティブ)からの三次元オブジェクトの複数の画像がキャプチャされる。たとえば、図1は、その各々がそれぞれのテクスチャ121、131を有する2つのオブジェクト120、130を有するシーン100を示す。異なる視点116、118からのシーン100の複数の画像がキャプチャされる。たとえば、カメラデバイス110は、シーンの画像をキャプチャするために使用されてもよく、異なる視点からシーンをキャプチャするために、異なる場所に移動されてもよい。これらの画像の一部またはすべては、次いで、ビュー非依存色等化3Dシーンテクスチャ処理を決定するために使用され得る情報を提供するために使用されてもよいキーフレームとして指定されてもよい。
オブジェクト120、130の画像がキャプチャされた後、三角形メッシュなどの3Dメッシュ表現が、画像内のキャプチャされたシーン全体に対して生成されるが、いくつかの場合では、3Dメッシュ表現は、1つまたは複数のオブジェクトのためにのみ生成されてもよい。次いで、オブジェクト130などの特定のオブジェクトのためのメッシュ内の各ポリゴンに関して、キーフレームのうちの1つが、そのポリゴンのための最適なキーフレームであるとして識別される。この場合のキーフレームの最適性は、ポリゴンがキーフレーム内に閉塞されている(occluded)かどうか、ポリゴンからカメラデバイス110までの距離、画像の平面に対するポリゴンの角度、ならびに、奥行きマップおよびシーン内のオブジェクトのポーズに基づくビュー誤差(view error)などの、画像品質特徴と呼ばれる、ポリゴンおよびキーフレームのいくつかの属性のうちの1つまたは複数に基づいて决定される。ポリゴンが特定のキーフレーム内で部分的または完全に閉塞されていないと仮定すると、これらのパラメータの各々は、重み付けされ、各ポリゴンに対する各キーフレームのスコアを計算するために使用される。各ポリゴンに関して、最高のスコアを有するキーフレームがポリゴンに割り当てられる。
すべてのポリゴンが分析された後、割り当てられたキーフレームの数は、次いで、プロセスの残りの計算の複雑さを低減するために低減される。たとえば、他のキーフレームは、多数のポリゴンに割り当てられているが、割り当てられたキーフレームの一部は、少数のポリゴンに割り当てられているだけである可能性がある。したがって、比較的少数のポリゴンに割り当てられたこれらのキーフレームを識別し、これらのポリゴンの割り当てを、多くの数の割り当てられたポリゴンを有するキーフレームに変更し、次いで、不要なキーフレームを排除することが有利であることがある。
このプロセスは、もともと割り当てられたキーフレームよりも低いスコアを有するキーフレームに割り当てられたポリゴンをもたらす可能性があるが、以前に决定された最適なキーフレームから最適性の許容レベル内のキーフレームが識別された場合、ポリゴンの割り当ては、変更されてもよい。さらに、他の許容可能なキーフレームが利用可能でないいくつかの場合では、計算効率の改善を得るために、ポリゴンを排除し、割り当てられたキーフレームを除去することが好ましいことがある。いくつかの例では、10%などの、ポリゴンの許容可能なしきい値数まで、割り当てられたキーフレームを有しなくてもよい。
キーフレームの数が低減されたら、各ポリゴンのためのテクスチャは、以下に説明するように、その割り当てられたキーフレームに基づいて决定されてもよい。各ポリゴンのためのテクスチャは、次いで、ポリゴンが閉塞されないすべての利用可能なキーフレームを使用して等化される。ポリゴンのためのテクスチャを決定するために、ポリゴンの各頂点は、ポリゴンが閉塞されないすべてのキーフレームに基づいて、重み付けされたテクスチャ色値を割り当てられ、重みは、ポリゴンの法線ベクトルとキーフレームの平面との間の角度に基づく。たとえば、ポリゴンの法線ベクトルがキーフレームの平面に対して垂直である場合、キーフレームのためのテクスチャ色値は、重く重み付けされてもよく、10度のポリゴンに対する入射角を有するキーフレームは、非常に低い重みを割り当てられてもよい。重み付けされたテクスチャの色値は、それぞれの頂点のためのテクスチャ色を提供するために、合計され、平均化される。
テクスチャ色等化乗数は、次いで、各頂点のための加重平均テクスチャ色を、それぞれの割り当てられたキーフレームからのオブジェクト上の関連する点のテクスチャ色と比較することによって、各頂点のための加重平均テクスチャ色を使用して計算される。ポリゴンに関する頂点のすべてが割り当てられた重み付けされたテクスチャ色値を有していると、ポリゴンが後でレンダリングされるとき、ポリゴン内のピクセルのためのテクスチャ色値は、ポリゴンの頂点のテクスチャ色と、テクスチャ色等化乗数とに基づいて補間される。したがって、オブジェクトの3Dメッシュ表現内の頂点のためのテクスチャ色は、オブジェクトが後でレンダリングされるまで記憶されてもよい。さらに、3Dメッシュ内の頂点のためのテクスチャ色は、複数の異なるパースペクティブからのテクスチャ色情報に基づいているので、色情報は、オブジェクトのビュー非依存の色をより良好に表す。
本明細書で説明する例は、ビュー非依存3Dメッシュモデルを作成するために選択される特定のポリゴンのテクスチャにおける特殊化された色等化で3Dメッシュモデルを作成してもよい。これは、異なる画像特性を有してもよいいくつかのキーフレームから集められたテクスチャを使用してモデルポリゴンのビュー非依存テクスチャ処理のための色補正を可能にする。これは、コントラストの変化、照明に依存する色の変化、または、3Dモデルを作成するために使用される画像に影響を及ぼす可能性がある他の問題を補償しながら、3Dモデル内のオブジェクトの正確な色表現をさらに可能にすることができる。加えて、本明細書で説明する例は、3Dモデルのための色情報を等化するために使用される画像の数を低減しながら、3Dモデルの態様を最良に表す可能性がある画像からデータを選択することによって、計算の複雑性または効率を改善することができる。
本明細書で説明する例示的な色等化方法に従って作成された3Dモデルは、(任意の所望の向きで)画像もしくはビデオに組み込まれた仮想世界で使用され得る、またはカラー3D印刷のためにさえ使用され得るオブジェクトのフォトリアリスティック再構成のために使用されてもよい。
ここで図2Aを参照すると、図2Aは、ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法200を示す。図2Aの方法200は、図7〜図9に関連して以下に説明するものなどの、任意の適切なコンピューティングデバイスによって、または適切なコンピューティング環境内で実行されてもよい。様々な例の一部として、適切なデバイスまたはシステムが使用されてもよい。特定の例は、キャプチャされたオブジェクトまたはシーンに対するカメラのカメラ位置または姿勢を識別する手段として、SLAM(同時位置推定およびマッピング:Simultaneous Location and Mapping)またはPTAM(並列追跡およびマッピング:Parallel Tracking and Mapping)システムの態様を使用してもよい。様々な代替例はまた、システムの幾何学的モデルを作成するために、または3Dモデルの作成のために使用されてもよい様々なデータを収集するために、これらのマッピングシステムを使用してもよい。
図2Aの方法200は、ブロック210で、カメラを有するコンピューティングデバイス110などのコンピューティングデバイスがオブジェクトの複数のキーフレームをキャプチャしたときに開始する。この例では、コンピューティングデバイス110は、複数の異なる透視点からオブジェクトの画像をキャプチャするために、そのカメラ、またはキーフレームをキャプチャするための他の適切な手段を用いる。再び図1を参照すると、シーン100は、2つのオブジェクト120、130を含み、異なる点116、118およびパースペクティブからオブジェクト120、130の2つの異なる画像をキャプチャするコンピューティングデバイス110を示す。いくつかの場合では、コンピューティングデバイス110は、オブジェクト120、130の2つよりも多くの画像をキャプチャしてもよい。たとえば、コンピューティングデバイス110は、コンピューティングデバイスが異なる場所に移動されるにつれて、ビデオをキャプチャするように構成されてもよく、オブジェクトのビデオを記録してもよい。そのような場合には、コンピューティングデバイス110が1秒当たりビデオの30フレームをキャプチャし、オブジェクト120、130のビデオの5秒を記録する場合、コンピューティングデバイス110は、オブジェクト120、130の150の画像をキャプチャすることになる。いくつかの例では、コンピューティングデバイス110自体は、カメラを有しなくてもよいが、代わりに、別のデバイスからキーフレームを受信してもよく、または、ハードドライブまたはフラッシュメモリデバイスなどのコンピュータ可読媒体からキーフレームを取得してもよい。これらの例では、コンピューティングデバイス110は、コンピューティングデバイス110が他のデバイスから画像を受信するとき、または、コンピューティングデバイス110がコンピュータ可読媒体から画像を読み取るとき、画像をキャプチャする。たとえば、キーフレームをキャプチャするためのいくつかの適切な手段は、ネットワークインターフェースと、ネットワークインターフェースとコンピューティングデバイスのプロセッサとの間の電気的相互接続とを含む。キーフレームをキャプチャするためのいくつかの他の適切な手段は、ハードディスクもしくはフラッシュドライブなどのコンピュータ可読媒体上に、またはデータベース内に記憶された画像にアクセスするための回路を含む。
特定の画像は、本明細書では「キーフレーム」と呼ばれることもある。本明細書で説明するようにキーフレームのセットは、オブジェクトもしくはシーン、またはオブジェクトもしくはシーンの一部の3Dモデルを作成するのに十分な情報をキャプチャする画像のセットを指す。そのようなキーフレームは、単に定期的に取り込まれてもよく、プロセッサによる分析の後に選択されてもよく、または、ユーザによって手動で選択されてもよい。特定の例では、キーフレームは、1つのキーフレームからのオブジェクトまたはシーンの閉塞部分が少なくとも1つの他のキーフレームによってキャプチャされることが検証されるように選択されてもよい。特定の例では、キーフレームは、ぶれに関連するしきい値特性、奥行き誤差に関するしきい値特性、閉塞特性に関連するしきい値特性、オブジェクト距離に関連するしきい値特性、オブジェクト角度に関連するしきい値特性、または任意の他のそのような関連する特性に関連するしきい値特性を満たすフレームであってもよい。
コンピューティングデバイス110は、キーフレームをキャプチャし、方法は、ブロック220に進む。
ブロック220では、コンピューティングデバイスは、オブジェクトのための表面メッシュモデルを備えるオブジェクトの3D表現にアクセスする。たとえば、図2Aを参照すると、コンピューティングデバイス110がシーン100およびオブジェクト130の画像をキャプチャした後、コンピューティングデバイス110は、オブジェクトを含むシーンの3D三角形メッシュ表現を生成するが、いくつかの例では、コンピューティングデバイスは、オブジェクト自体の3D三角形メッシュ表現を生成するだけでもよい。たとえば、コンピューティングデバイス110は、公知の方法に従ってシーンのための3D三角形メッシュを計算してもよく、または、シーンの3D三角形メッシュを生成する別のコンピューティングデバイスに情報を送信してもよい。ここで図4Aを参照すると、オブジェクト130のための例示的な表面メッシュ402が示されている。この例では、表面メッシュ402は、いくつかのポリゴン133a〜133f、この例では各々が3つの頂点を有する三角形を含む。他の例では、3D表現は、他の種類のポリゴンを含む表面メッシュを含んでもよい。
いくつかの態様では、コンピューティングデバイス110は、コンピュータ可読媒体内の、またはデータストアからのオブジェクトの以前に生成された3D表現にアクセスしてもよい。いくつかの態様では、コンピューティングデバイス110は、三角形以外のポリゴンを使用して3Dメッシュを生成してもよく、三角形以外のポリゴンを備える3Dメッシュにアクセスしてもよい。たとえば、表面メッシュモデルを備えるオブジェクトの3D表現にアクセスするための適切な手段は、ハードディスクもしくはフラッシュドライブなどのコンピュータ可読媒体上に、またはデータベース内の3D表現にアクセスするための回路を含む。
コンピューティングデバイス110がオブジェクトの3D表現にアクセスした後、方法は、ブロック230に進む。
ブロック230では、コンピューティングデバイス110は、オブジェクトの3D表現内のポリゴンを処理することを開始する。コンピューティングデバイスは、3D表現内の各ポリゴンにブロック232の機能を実行する。したがって、ブロック230では、コンピューティングデバイス110は、3D表現内のポリゴンが処理されていないかどうかを決定する。任意のポリゴンが処理されずに残っている場合、コンピューティングデバイスは、3D表現からポリゴンを選択し、方法300は、ブロック232に進み、そうでない場合、方法300は、ブロック240に進む。
ブロック232では、コンピューティングデバイス110は、ポリゴンに対応するキーフレームの部分に関連する1つまたは複数の画像品質特性に基づいて、ポリゴンに複数のキーフレームのうちの1つを割り当てる。この例によれば、コンピューティングデバイス110は、キーフレームがポリゴンに割り当てられるべきかどうかを決定するために、各キーフレームを分析する。ここで図2Bを参照すると、図2Bは、ポリゴンにキーフレームを割り当てるための例示的な方法202を示す。図2Bに示す方法202は、図2Aの方法200のブロック230、232の機能の一部として用いられてもよい。いくつかの例では、ポリゴンの複数のキーフレームのうちの1つを割り当てるための手段は、プロセッサによって実行されるソフトウェアとして図2Bの方法202を実施してもよい。
図2Bの方法202は、コンピューティングデバイス110がオブジェクトの3D表現からポリゴンを選択するブロック230で開始する。ポリゴンが選択された後、方法は、ブロック232aに進む。
ブロック232aでは、コンピューティングデバイス110は、任意のキーフレームが分析されずに残っているかどうかを決定する。いくつかの態様では、方法200に関連してより詳細に説明するように、いくつかのキーフレームは、ポリゴンに割り当てるために処理されていないにもかかわらず、残っているとして考慮されない、割り当てるのに不適格であるとしてマークされてもよい。たとえば、コンピューティングデバイス110は、図4Bおよび図4Cに示す2つのキーフレーム410、420などの、異なるパースペクティブからキャプチャされた2つのキーフレームを有してもよい。ブロック232aでは、これらのキーフレーム410、420のうちの1つは、処理するために選択されてもよい。キーフレームが分析されずに残っている場合、コンピューティングデバイス110は、キーフレームのうちの1つを選択し、方法202は、ブロック232bに進み、そうでない場合、方法202は、ブロック232gに進む。
ブロック232bでは、コンピューティングデバイス110は、ポリゴンがキーフレーム内で可視であるかどうかを決定する。この例では、コンピューティングデバイス110は、ポリゴンがキーフレーム内で完全に可視であるかどうか、または、ポリゴンが部分的または完全に閉塞されているかどうかを決定する。ポリゴンがキーフレーム内で完全には可視ではない場合、キーフレームは、さらなる処理のために不適切であるであると决定される。いくつかの例では、しかしながら、ポリゴンが部分的にのみ閉塞されている場合、コンピューティングデバイス110は、ポリゴンがキーフレーム内でどれくらい可視であるのかを決定してもよく、ポリゴンの十分な割合または十分な数の頂点が可視である場合、キーフレームは、さらなる処理に適切であってもよい。ポリゴンが十分に可視であるかどうかを決定するために、コンピューティングデバイスは、キーフレーム内で可視であるポリゴンの割合、または可視であるポリゴンの頂点の数を、事前定義されたまたは調節可能なしきい値と比較してもよい。いくつかの態様では、各々、しきい値と比較するために、またはスコアを決定するために、可視であるポリゴンの割合、可視であるポリゴンの頂点の数、視点からポリゴンまでの距離、または他の特性などの、複数の特性が分析されてもよく、スコアは、次いで、しきい値と比較される。1つまたは複数のしきい値は、ユーザなどによって、事前定義されてもよく、または調節可能であってもよい。
ポリゴンがキーフレーム内で十分に可視である場合、方法202は、ブロック232cに進む。ポリゴンがキーフレーム内で十分に可視ではない場合、コンピューティングデバイス110は、キーフレームに最小スコアを割り当て、またはそうでない場合、さらなる考慮からキーフレームを除外し、方法202は、ブロック232aに戻る。
ブロック232cでは、コンピューティングデバイス110は、ポリゴンの平面と画像の平面との間の角度を計算する。たとえば、角度を計算するために、コンピューティングデバイス110は、ポリゴンに対して垂直なベクトルと、画像の平面に対して垂直な光線とを計算し、法線ベクトルと光線との間の角度を計算してもよい。角度を計算した後、方法202は、ブロック232dに進む。
ブロック232dでは、コンピューティングデバイス110は、視点からポリゴンまでの距離を決定する。一例では、コンピューティングデバイス110は、シーンに関連付けられた奥行きマップにアクセスし、奥行きマップに基づいて距離を決定する。いくつかの例では、コンピューティングデバイス110は、キーフレームのための視点に最も近い頂点の位置に基づいて、ピクセルの奥行きなどのオブジェクトの3D表現における他のポリゴンに対する視点からの距離を計算してもよい。いくつかの態様では、3D表現は、各ポリゴンの(x,y,z)座標を含んでもよく、距離は、キーフレームのための視点に最も近い頂点から、ポリゴンの重心などのポリゴン内の位置まで計算されてもよい。コンピューティングデバイス110が視点からポリゴンまでの距離を決定した後、方法は、ブロック232eに進む。
ブロック232eでは、コンピューティングデバイス110は、キーフレームに関連付けられたビュー誤差を決定する。この例では、コンピューティングデバイス110は、キーフレーム内のオブジェクトの姿勢と、奥行きマップにおける誤差とに基づいてビュー誤差を決定する。たとえば、コンピューティングデバイス110は、3D表現とキーフレームとに基づいて姿勢を決定してもよい。さらに、いくつかの例では、コンピューティングデバイス110は、別のプロセッサ、または同時位置推定およびマッピング(「SLAM」)ソフトウェアなどのソフトウェアからオブジェクトの姿勢を受信してもよい。さらに、上記で説明したように、いくつかの例では、コンピューティングデバイス110はまた、ビュー誤差を計算するために使用されてもよい奥行きマップへのアクセスを有してもよい。奥行きマップが利用可能である態様では、コンピューティングデバイス110は、キーフレーム内のオブジェクトの姿勢のみに基づいて、または姿勢および他のパラメータに基づいてビュー誤差を決定してもよい。たとえば、コンピューティングデバイス110は、姿勢パラメータと奥行きマップ誤差パラメータとを計算することによってビュー誤差を決定してもよく、ビュー誤差:ビュー誤差=姿勢*奥行きマップ誤差、を決定してもよい。他の例では、異なる計算が、ビュー誤差を決定するために用いられてもよい。
コンピューティングデバイス110がブロック232eでビュー誤差を決定した後、方法202は、ブロック232fに進む。
ブロック232fでは、コンピューティングデバイス110は、キーフレームスコアを計算する。キーフレームスコアは、いくつかの例では、1つまたは複数の入力に基づくキーフレームのための品質パラメータを表す。この例では、キーフレームスコアは、ブロック232c〜232eの出力に基づくが、他の例では、これらのブロック232c〜232eのうちの1つまたは複数は、除去されてもよく、または、キーフレームの品質に関連する他の適切な測定法によって置き換えられてもよい。たとえば、いくつかの例では、オブジェクトの3D表現は、キーフレームよりも多くのポリゴンを備えてもよいので、キーフレームは、2つ以上のポリゴンに割り当てられてもよい。したがって、いくつかの態様では、キーフレームスコアのための重み係数は、キーフレームがすでにポリゴンに割り当てられているかどうかに基づいて使用されてもよい。いくつかの場合では、重み係数は、キーフレームがすでに割り当てられているポリゴンの数に基づいて変更されてもよい。
この例では、コンピューティングデバイス110は、式:スコア=角度*(距離)2*ビュー誤差、に従って、キーフレームスコアを計算する。コンピューティングデバイス110がブロック232fでキーフレームスコアを計算した後、方法202は、ブロック232aに戻る。
ブロック232gでは、コンピューティングデバイス110は、ポリゴンにキーフレームを割り当てる。コンピューティングデバイス110がポリゴンのためのキーフレームのすべてを処理した後、コンピューティングデバイス110は、どのキーフレームが最高のスコアを有するのかを決定する。いくつかの態様では、より低いスコアは、より良好なキーフレームを表してもよく、他の態様では、より高いスコアは、より良好なキーフレームを表してもよい。したがって、キーフレームのスコアに基づいて、コンピューティングデバイス110は、ポリゴンに割り当てるキーフレームを決定する。たとえば、キーフレームスコアのうち最良のまたは最適なスコアを有するキーフレームは、ポリゴンに割り当てられる。
いくつかの場合では、しかしながら、キーフレームは、ポリゴンに割り当てられなくてもよい。たとえば、ポリゴンがすべてのキーフレーム内で閉塞されている場合、キーフレームは、そのポリゴンに割り当てられないことになる。そのようなポリゴンは、タグ付けされ、この例による任意のさらなる処理から削除されることになる。
コンピューティングデバイス110がキーフレームを割り当てた後、方法202は、完了する。方法202が図2Aに示す方法200の一部として実行されたとき、コンピューティングデバイス110は、図2Aの方法200における次のステップに進む。
再び図2Aを参照すると、コンピューティングデバイス110がブロック232でポリゴンにキーフレームを割り当てた後、方法は、任意の残りのポリゴンを処理するためにブロック230に戻る。この例では、任意の残りのポリゴンは、ブロック232に関して上記で説明したように処理される。すべてのポリゴンがキーフレームに割り当てられたら、方法200は、ブロック240に進む。
ブロック240では、コンピューティングデバイス110は、ブロック240〜244を備える処理ループに入ることによって、ポリゴンに割り当てられたキーフレームの数を低減するためにキーフレームを処理し始める。いくつかの態様では、割り当てられたキーフレームと複数のポリゴンとの間で関連付けを変更することによって、割り当てられたキーフレームの数を低減するための手段は、プロセッサ上でブロック240〜244を備える処理ループを実行するためのソフトウェアを備える。ブロック240では、コンピューティングデバイス110は、残りのキーフレームの数を決定し、残りのキーフレームの数をしきい値と比較することなどによって、追加のキーフレームが除去されるべきであるかどうかを決定する。いくつかの態様では、しきい値は、ユーザなどによって、事前設定されてもよく、または調整可能であってもよい。いくつかの態様では、コンピューティングデバイス110は、処理ブロック230および232から生じる割り当てられたキーフレームの総数の割合を確立することなどによって、除去するキーフレームの数を確立する。
この例では、コンピューティングデバイス110は、各キーフレームに関連付けられたポリゴンの数に従ってキーフレームをランク付けする。コンピューティングデバイス110は、次いで、最も少ない数の関連付けられたポリゴンを有するキーフレームを選択し、関連付けられたポリゴンの数がしきい値を超えたかどうかを決定する。関連付けられたポリゴンの数がしきい値と一致する、またはしきい値を超えた場合、コンピューティングデバイス110は、追加のキーフレームが除去されるべきではないことを決定するが、関連付けられたポリゴンの数がしきい値未満である場合、コンピューティングデバイスは、追加のキーフレームが除去されるべきであることを決定する。
いくつかの例では、コンピューティングデバイス110は、ブロック230〜232の処理ループを実行しながら、各ポリゴンについて、ポリゴンに関するキーフレームおよび関連するスコアのリストを記憶してもよい。コンピューティングデバイス110は、次いで、ポリゴンが、関連付けられたキーフレームのスコアのしきい値割合内のスコアを有する代替のキーフレームを有するかどうかを決定するために、特定のキーフレームに関連付けられた各ポリゴンを検査してもよい。許容可能な代替のキーフレームを有する各ポリゴンについて、コンピューティングデバイスは、カウンタをインクリメントしてもよく、キーフレームに関連付けられた各ポリゴンを分析した後、カウンタが、しきい値割合を満たす許容可能な代替のキーフレームに関連付けられたポリゴンの割合を表すかどうかを分析してもよい。したがって、コンピューティングデバイス110は、削除されるべきキーフレームを選択する前に、特定のキーフレームを除去することが、出力の品質における実質的な減少をもたらすかどうかを決定することができてもよい。
コンピューティングデバイス110が、追加のキーフレームが除去されるべきであることを決定した場合、方法200は、ブロック242に進む。コンピューティングデバイス110が、追加のキーフレームが除去されるべきではないことを決定した場合、方法200は、ブロック250に進む。
ブロック242では、コンピューティングデバイス110は、除去するキーフレームを識別する。この例では、コンピューティングデバイス110は、各キーフレームに関連付けられたポリゴンの数に従って、キーフレームをランク付けする。コンピューティングデバイス110は、次いで、最も少ない数の関連付けられたポリゴンを有するキーフレームを選択する。いくつかの例では、コンピューティングデバイス110は、しきい値数よりも少ないポリゴンに割り当てられた任意のキーフレームを選択してもよい。いくつかの例では、コンピューティングデバイス110は、単一のステップで、除去されるべき複数のキーフレームを選択してもよい。たとえば、コンピューティングデバイス110は、しきい値数よりも少ないポリゴンに関連付けられたすべてのキーフレームを選択してもよい。
除去されるべきキーフレームを選択した後、方法200は、ブロック244に進む。
ブロック244では、コンピューティングデバイス110は、除去されるべきキーフレームに関連付けられたポリゴンを再割り当てする。この例においてポリゴンを再割り当てするために、コンピューティングデバイス110は、除去されるべきキーフレームに割り当てられた各ポリゴンについて、処理ループ230〜232の機能を再実行するが、最小のスコアを有するように除去されるべきキーフレームをプリセットし、または、割り当てるのに不適格であるとして除去されるべきキーフレームをマークする。したがって、処理ループ230〜232が新しいキーフレームにポリゴンを再割り当てするために実行するとき、すべてのキーフレームが処理されるわけではなく、不適格であるとしてマークされていないキーフレームのみが処理される。さらに、上記で説明したように、いくつかの場合では、代替の適切なキーフレームは、1つまたは複数のポリゴンのために利用可能ではない場合がある。いくつかの例では、そのようなポリゴンは、方法200の一部としてコンピューティングデバイス110によってさらに処理されない。いくつかの例では、コンピューティングデバイス110は、キーフレームに関係付けられていないポリゴンの数のパラメータまたはカウントを維持してもよい。ここで、図4Dを参照すると、図4Dは、キーフレームおよびキーフレームからの関連するテクスチャへのポリゴンの例示的な割り当てを示す。図4Dに示す例では、ポリゴン131a〜131b、131e〜131fは、1つのキーフレーム320に割り当てられており、ポリゴン131c〜131dは、他のキーフレーム330に割り当てられている。
選択されたキーフレームに割り当てられたポリゴンが除去された後、方法は、ブロック240に戻る。
ブロック250では、コンピューティングデバイス110は、別の処理ループに入る。ブロック250では、コンピューティングデバイス110は、ポリゴンのためのテクスチャ色を等化するためにポリゴンを処理し始める。ブロック250では、コンピューティングデバイス110は、追加のポリゴンが処理されずに残っているかどうかを決定する。この例では、コンピューティングデバイス110は、任意のキーフレームに関連付けられていない任意のポリゴンを処理から除外する。追加のポリゴンが処理されずに残っている場合、方法200は、ブロック252に進み、そうでない場合、方法200は、終了する。
ブロック252では、コンピューティングデバイス110は、ポリゴンに関連付けられたキーフレームの一部のテクスチャ色に基づいてポリゴンの少なくとも一部のテクスチャ色を等化し、オブジェクトの3D表現に等化されたテクスチャ色を割り当てる。
この例では、コンピューティングデバイス110は、頂点が閉塞されていないすべてのキーフレームからのポリゴンのテクスチャに基づいて、ポリゴンの各頂点に関連付けられた重み付けされたテクスチャ色を決定する。いくつかの態様では、コンピューティングデバイス110は、ポリゴンの法線ベクトルとキーフレームの平面との間の角度が、事前定義されてもよい、または調節可能であってもよい、85度などのしきい値未満であるキーフレームのみを用いてもよい。この例では、コンピューティングデバイス110は、以前に生成されたポリゴンの縮小セットではなく、このステップにすべてのキーフレームを使用するが、いくつかの態様では、コンピューティングデバイス110は、ポリゴンの縮小セットを使用してもよい。
この例においてポリゴンの頂点の重み付けされたテクスチャ色を計算するために、コンピューティングデバイス110は、各キーフレームについて、ポリゴンの法線ベクトルとキーフレームの平面との間の角度を決定する。角度は、次いで、重みパラメータに変換され、キーフレーム内の閉塞されていないポリゴンの各頂点について、頂点に対応するキーフレーム内のピクセルのテクスチャ色に対して乗算される。重み付けされたテクスチャ色は、次いで、頂点のためのテクスチャ色を生成するために、合計され、平均化される。
ポリゴンの頂点のための重み付けされたテクスチャ色を決定した後、コンピューティングデバイス110は、各頂点の加重平均テクスチャ色を、ポリゴンに関連付けられたキーフレーム内の対応するピクセルのテクスチャ色と比較し、頂点の計算された加重平均テクスチャ色とピクセルのテクスチャ色との間の差に基づいて、等化乗数を決定し、したがって、ポリゴンの各頂点のための等化乗数を生成する。いくつかの態様では、等化乗数は、ピクセルの加重平均テクスチャ色と、ポリゴンに関連付けられたキーフレーム内の対応するピクセルのテクスチャ色との間の比として計算されてもよく、いくつかの態様では、等化乗数は、そのような比と、ポリゴンに関するキーフレームのスコアなどの他のパラメータとに基づいてもよい。等化乗数は、次いで、頂点に関連付けられる。コンピューティングデバイス110がブロック252でポリゴンの頂点のテクスチャ色を等化した後、方法200は、ブロック250に戻る。
すべてのポリゴンが処理されたら、方法200は、ブロック260に進む。
ブロック260では、コンピューティングデバイス110は、等化テクスチャ色情報を記憶する。たとえば、コンピューティングデバイス110は、3D表現内の頂点パラメータとして等化乗数を記憶してもよい。いくつかの例では、コンピューティングデバイス110は、別個のファイルまたは別個のデータベースレコード内などの、3D表現に関連付けられた別個のデータ構造内に等化乗数を記憶してもよい。
等化テクスチャ色情報が記憶された後、方法200は、終了する。
ここで図3を参照すると、図3は、ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法300を示す。図3の方法300は、図7〜図9に関連して以下に説明するものなどの、任意の適切なコンピューティングデバイスによって、または適切なコンピューティング環境内で実行されてもよい。様々な例の一部として、適切なデバイスまたはシステムが使用されてもよい。特定の例は、キャプチャされたオブジェクトまたはシーンに対するカメラのカメラ位置または姿勢を識別する手段として、SLAM(同時位置推定およびマッピング)またはPTAM(並列追跡およびマッピング)システムの態様を使用してもよい。様々な代替例はまた、システムの幾何学的モデルを作成するために、または3Dモデルの作成のために使用されてもよい様々なデータを収集するために、これらのマッピングシステムを使用してもよい。
図3の方法300は、ブロック310で、図2のブロック210に関して上記で説明したように、カメラを有するコンピューティングデバイス110などのコンピューティングデバイスがオブジェクトの複数のキーフレームをキャプチャしたときに開始する。
コンピューティングデバイス110がキーフレームをキャプチャした後、方法は、ブロック320に進む。
ブロック320では、コンピューティングデバイス110は、図2のブロック220に関して上記で説明したように、オブジェクトのための表面メッシュモデルを備えるオブジェクトの3D表現にアクセスする。
コンピューティングデバイス110がオブジェクトの3D表現にアクセスした後、方法は、ブロック330に進む。
ブロック330では、コンピューティングデバイス110は、複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンについて、図2Aの方法200または図2Bの方法202のブロック230〜232に関して上記で説明したように、ポリゴンに対応するキーフレームの一部に関連する1つまたは複数の画像品質特性に基づいて、ポリゴンに複数のキーフレームのうちの1つを割り当てる。いくつかの例では、上記で説明したように、キーフレームは、すべてのキーフレーム内でのポリゴンの閉塞などにより、ポリゴンに関連付けられなくてもよい。したがって、複数のポリゴンのうちのポリゴンの第1のセットは、少なくとも1つのキーフレーム内で閉塞されていないポリゴンを備えてもよい。いくつかの例では、キーフレームが少なくとも1つのキーフレーム内で可視である間、そのようなキーフレームのスコアは、しきい値未満であってもよく、したがって、キーフレームは、ポリゴンに割り当てられなくてもよい。したがって、複数のポリゴンのうちのポリゴンの第1のセットは、割り当てられたポリゴンを有するポリゴンを備えてもよい。
コンピューティングデバイス110がブロック330でポリゴンにキーフレームを割り当てた後、方法は、ブロック340に進む。
ブロック340では、コンピューティングデバイス110は、図2Aの方法200のブロック240〜244に関して上記で説明したように、割り当てられたキーフレームと複数のポリゴンのうちのポリゴンの第2のセットとの間の関連付けを変更することによって、割り当てられたキーフレームの数を低減する。一例では、コンピューティングデバイス110は、除去するキーフレームを識別する。この例では、コンピューティングデバイス110は、各キーフレームに関連付けられたポリゴンの数に従って、キーフレームをランク付けする。コンピューティングデバイス110は、次いで、最も少ない数の関連付けられたポリゴンを有するキーフレームを選択する。いくつかの例では、コンピューティングデバイス110は、しきい値数よりも少ないポリゴンに関連付けられた任意のキーフレームを選択してもよい。いくつかの例では、コンピューティングデバイス110は、単一のステップで、除去されるべき複数のキーフレームを選択してもよい。たとえば、コンピューティングデバイス110は、しきい値数よりも少ないポリゴンに関連付けられたすべてのキーフレームを選択してもよい。
コンピューティングデバイス110は、次いで、除去されるべきキーフレームに関連付けられたポリゴンを再割り当てする。この例においてポリゴンを再割り当てするために、コンピューティングデバイス110は、除去されるべきキーフレームに割り当てられた各ポリゴンについて、処理ループ230〜232の機能を再実行するが、最小のスコアを有するように除去されるべきキーフレームをプリセットし、または、割り当てるのに不適格であるとして除去されるべきキーフレームをマークする。したがって、処理ループ230〜232が新しいキーフレームにポリゴンを再割り当てするために実行するとき、すべてのキーフレームが処理されるわけではなく、不適格であるとしてマークされていないキーフレームのみが処理される。さらに、上記で説明したように、いくつかの場合では、代替の適切なキーフレームは、1つまたは複数のポリゴンのために利用可能ではない場合がある。いくつかの例では、そのようなポリゴンは、方法200の一部としてコンピューティングデバイス110によってさらに処理されない。いくつかの例では、コンピューティングデバイス110は、キーフレームに関係付けられていないポリゴンの数のパラメータまたはカウントを維持してもよい。
この例およびいくつかの例では、キーフレームの数を低減した後、1つまたは複数のポリゴンは、もはや割り当てられたキーフレームを持たなくてもよい。したがって、割り当てられたキーフレームを有する残りのポリゴンは、複数のポリゴンのうちのポリゴンの第2のセットを表す。
所定のしきい値に基づくなどしてキーフレームの数が十分に低減された後、方法300は、ブロック350に進む。
ブロック350では、割り当てられたキーフレームを有する表面メッシュモデルの各ポリゴンについて、コンピューティングデバイス110は、図2の方法200のブロック250〜252に関して上記で説明したように、ポリゴンに関連付けられた複数のキーフレームの1つまたは複数の画像品質特性に基づいて、ポリゴンの少なくとも一部のテクスチャ色を等化する。
コンピューティングデバイス110がブロック350での処理を完了した後、方法300は、ブロック360に進む。
ブロック360では、コンピューティングデバイス110は、図2Aの方法200のブロック250〜260に関して上記で説明したように、オブジェクトの3D表現に等化されたテクスチャ色を割り当てる。
ここで図5を参照すると、図5は、ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法500を示す。図5の方法500は、図7〜図9に関連して以下に説明するものなどの、任意の適切なコンピューティングデバイスによって、または適切なコンピューティング環境内で実行されてもよい。様々な例の一部として、適切なデバイスまたはシステムが使用されてもよい。特定の例は、キャプチャされたオブジェクトまたはシーンに対するカメラのカメラ位置または姿勢を識別する手段として、SLAM(同時位置推定およびマッピング)またはPTAM(並列追跡およびマッピング)システムの態様を使用してもよい。様々な代替例はまた、システムの幾何学的モデルを作成するために、または3Dモデルの作成のために使用されてもよい様々なデータを収集するために、これらのマッピングシステムを使用してもよい。
図5の方法500は、ブロック510で、図2のブロック210に関して上記で説明したように、カメラを有するコンピューティングデバイス110などのコンピューティングデバイスがオブジェクトの複数のキーフレームをキャプチャしたときに開始する。
コンピューティングデバイス110がキーフレームをキャプチャした後、方法は、ブロック520に進む。
ブロック520では、コンピューティングデバイス110は、図2のブロック220に関して上記で説明したように、オブジェクトのための表面メッシュモデルを備えるオブジェクトの3D表現にアクセスする。
コンピューティングデバイス110がオブジェクトの3D表現にアクセスした後、方法は、ブロック530に進む。
ブロック530では、コンピューティングデバイス110は、オブジェクトの3D表現内のポリゴンを処理し始める。コンピューティングデバイスは、3D表現内の各ポリゴンにブロック532の機能を実行する。したがって、ブロック530では、コンピューティングデバイス110は、3D表現内の任意のポリゴンが処理されていないかどうかを決定する。任意のポリゴンが処理されずに残っている場合、コンピューティングデバイスは、3D表現からポリゴンを選択し、方法500は、ブロック531に進み、そうでない場合、方法は、ブロック540に進む。
ブロック531では、コンピューティングデバイス110は、オブジェクトの3D表現内のポリゴンのうちの1つのテクスチャ色を等化する。この例によれば、コンピューティングデバイス110は、ポリゴン内のピクセルのため(ポリゴンの頂点のみとは対照的に)、いくつかの例ではポリゴン内のすべてのピクセルのための等化されたテクスチャ色を決定するために、各ポリゴンを分析する。
ブロック532では、コンピューティングデバイス110は、選択されたポリゴン内の各ピクセルのための加重平均テクスチャ色を計算する。この例では、コンピューティングデバイス110は、ピクセルが閉塞されていないすべてのキーフレームに基づいて、ピクセルに関連付けられた重み付けされたテクスチャ色を決定する。いくつかの態様では、コンピューティングデバイス110は、ポリゴンの法線ベクトルとキーフレームの平面との間の角度が、事前定義されてもよい、または調節可能であってもよい、85度などのしきい値未満であるキーフレームのみを用いてもよい。この例では、しかしながら、コンピューティングデバイス110は、このステップに関してすべてのキーフレームを使用する。
この例においてピクセルの重み付けされたテクスチャ色を計算するために、コンピューティングデバイス110は、各キーフレームについて、ポリゴンの法線ベクトルとキーフレームの平面との間の角度を決定する。角度は、次いで、重みパラメータと、キーフレーム内のピクセルのテクスチャ色に対して乗算される。重み付けされたテクスチャ色は、次いで、ピクセルのためのテクスチャ色を生成するために、合計され、平均化される。决定されたテクスチャ色は、次いで、3D表現の一部としてピクセルに割り当てられる。たとえば、コンピューティングデバイス110は、3D表現内のポリゴンに適用されるべきテクスチャの一部としてテクスチャ色値を記憶してもよい。いくつかの例では、コンピューティングデバイス110は、別個のファイルまたは別個のデータベースレコードなどの、3D表現に関連付けられた別個のデータ構造内にテクスチャ色値を記憶してもよい。
図5の方法500は、ビュー非依存色等化3Dシーンテクスチャ処理に対するより計算上コストの高い手法を提供することができるが、テクスチャ色を等化するときに追加のデータを考慮してもよい。さらに、いくつかの例では、図2Aの方法200は、図5の方法500と組み合わされてもよい。たとえば、図2Aの方法がポリゴンにキーフレームを割り当てる間、図5の方法は、ポリゴン単位ではなくピクセル単位で、個々のピクセルにキーフレームを割り当て、図2Bに示す方法202の機能を実行するように拡張されてもよい。さらに、そのような組み合わされた方法は、キーフレームの数を低減しない可能性があるが、いくつかの例では、個々のピクセルにキーフレームを割り当てることに加えて、コンピューティングデバイス110はまた、ピクセル単位でブロック240〜244の機能を実行することによってキーフレームの数を低減してもよい。したがって、図5で説明したようにピクセル単位の分析を実行するが、図2A〜図2Bに関して説明したようにキーフレーム割り当て、キーフレーム再割り当て、またはテクスチャ色等化の1つまたは複数の態様を組み込んだハイブリッド方法は、1つまたは複数の例に従って実施されてもよい。
ここで図6を参照すると、図6は、ビュー非依存色等化3Dシーンテクスチャ処理のための例示的な方法600を示す。図6の方法600は、図7〜図9に関連して以下に説明するものなどの、任意の適切なコンピューティングデバイスによって、または任意の適切なコンピューティング環境内で実行されてもよい。様々な例の一部として、適切なデバイスまたはシステムが使用されてもよい。特定の例は、キャプチャされたオブジェクトまたはシーンに対するカメラのカメラ位置または姿勢を識別する手段として、SLAM(同時位置推定およびマッピング)またはPTAM(並列追跡およびマッピング)システムの態様を使用してもよい。様々な代替例はまた、システムの幾何学的モデルを作成するために、または3Dモデルの作成のために使用されてもよい様々なデータを収集するために、これらのマッピングシステムを使用してもよい。
図6の方法600は、ブロック610で、図2のブロック210に関して上記で説明したように、カメラを有するコンピューティングデバイス110などのコンピューティングデバイスがオブジェクトの複数のキーフレームをキャプチャしたときに開始する。
コンピューティングデバイス110がキーフレームをキャプチャした後、方法は、ブロック620に進む。
ブロック620では、コンピューティングデバイス110は、図2のブロック220に関して上記で説明したように、オブジェクトのための表面メッシュモデルを備えるオブジェクトの3D表現にアクセスする。
コンピューティングデバイス110がオブジェクトの3D表現にアクセスした後、方法は、ブロック630に進む。
ブロック630では、コンピューティングデバイス110は、複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンについて、ポリゴンに関連付けられた1つまたは複数のキーフレームを識別する。たとえば、コンピューティングデバイス110は、ポリゴンが閉塞されていないすべてのキーフレームを識別する。いくつかの例では、コンピューティングデバイス110は、ポリゴンの法線ベクトルとキーフレームの平面との間の角度が、事前定義されてもよい、または調節可能であってもよい、85度などのしきい値未満である1つまたは複数のキーフレームを識別する。上記で説明したように、いくつかの場合では、1つまたは複数のポリゴンは、任意のキーフレーム内で可視ではない可能性があり、または、説明した角度しきい値などの1つまたは複数の品質測定基準を満たさない可能性がある。したがって、そのようなポリゴンは、ポリゴンの第1のセット内に含まれなくてもよい。
コンピューティングデバイス110がポリゴンに関連付けられた1つまたは複数のキーフレームを識別した後、方法600は、ブロック640に進む。
ブロック640では、コンピューティングデバイス110は、複数のポリゴンのうちのポリゴンの第2のセットについて、識別されたキーフレームの1つまたは複数の画像品質特性に基づいて、識別されたキーフレームのうちの1つまたは複数のキーフレームを割り当てる。たとえば、コンピューティングデバイス110は、図2の方法200のブロック230〜232の機能を実行してもよいが、コンピューティングデバイス110は、最良のスコアを有するキーフレームのみではなく、ポリゴンに十分なスコアを有するすべてのキーフレームを割り当ててもよい。上記で説明したように、いくつかのポリゴンは、最小しきい値スコアを超えないキーフレームのスコアにより、キーフレームに割り当てられない可能性がある。したがって、1つまたは複数のキーフレームが割り当てられたポリゴンは、ポリゴンの第2のセットを含む。
コンピューティングデバイス110がブロック640でポリゴンにキーフレームを割り当てた後、方法は、ブロック650に進む。
ブロック650では、コンピューティングデバイス110は、ポリゴンの第2のセット内の各ポリゴンの各ピクセルについて、図5の方法500のブロック530〜532の機能を実行することによって、1つまたは複数の割り当てられたキーフレームの各々におけるオブジェクト上の対応する点のテクスチャ色に基づいて、ピクセルの加重平均テクスチャ色を計算する。
コンピューティングデバイス110が加重平均テクスチャ色を計算した後、方法600は、ブロック660に進む。
ブロック660では、コンピューティングデバイスは、データベース内のオブジェクトの3D表現に関連付けられた加重平均テクスチャ色を、または3D表現の一部として加重平均テクスチャ色を記憶することなどによって、オブジェクトの3D表現に加重平均テクスチャ色を割り当てる。
ここで図7を参照すると、図7は、ビュー非依存色等化3Dシーンテクスチャ処理のためのコンピューティングデバイス700の一例を示す。この例では、コンピューティングデバイス700は、プロセッサ710と、WANワイヤレストランシーバ712および関連するアンテナ714と、カメラ701と、LANワイヤレストランシーバ742および関連するアンテナ744と、ディスプレイ出力703と、ユーザ入力モジュール704と、オペレーティングシステム723を記憶するように構成された1つまたは複数のメモリと、キーフレーム割り当てモジュール721と、色等化モジュール722と、データベース724とを含む、スマートフォンなどのモバイルデバイスを備える。この例では、コンピューティングデバイス700は、カメラのパースペクティブからの実世界の環境またはシーンの画像またはビデオをキャプチャするように構成される。プロセッサ710は、ビュー非依存色等化3Dシーンテクスチャ処理を提供するために、キーフレーム割り当てモジュール721と色等化モジュール722とを実行するように構成される。たとえば、カメラ701は、シーン内のオブジェクトの画像またはビデオをキャプチャしてもよく、キーフレーム割り当てモジュール721は、オブジェクトの3Dポリゴンメッシュ表現内のポリゴンにキーフレームを割り当ててもよく、色等化モジュール722は、オブジェクトの3D表現のための等化色情報を生成してもよく、データベース724内に等化色情報を記憶してもよく、または本明細書で説明した実施形態に従って出力703を表示してもよい。いくつかの例では、コンピューティングデバイス700は、WANワイヤレストランシーバ712またはLANトランシーバ742を使用して、等化色情報を送信するように構成されてもよい。
図8は、ビュー非依存色等化3Dシーンテクスチャ処理のためのコンピューティングデバイス800の一例を示す。図1のコンピューティングデバイス110は、コンピューティングデバイス800などのデバイスに接続されてもよく、または、コンピューティングデバイス110は、コンピューティングデバイス800の詳細に従って代替の実施形態において実施されてもよい。コンピューティングデバイス800は、この例では、1つまたは複数のプロセッサ810と、1つまたは複数の記憶デバイス825と、1つまたは複数の入力デバイス815と、1つまたは複数の出力デバイス820と、通信サブシステム830と、メモリ835とを含み、そのすべては、1つまたは複数の通信バス805を介して互いに通信する。メモリ835は、オペレーティングシステム840および1つまたは複数のアプリケーション845などの、1つまたは複数のプロセッサ810によって実行するためのプログラムコードを記憶するように構成される。たとえば、メモリ835は、本開示による、ビュー非依存色等化3Dシーンテクスチャ処理を提供するためのソフトウェアアプリケーションを記憶してもよい。
図9は、ビュー非依存色等化3Dシーンテクスチャ処理のための様々な例とともに使用されてもよいネットワークを示し、ここで、コンピューティングデバイス110は、図9に示すネットワークの部分に結合されてもよく、または、図2A〜図2Bの方法の一部がネットワーク化されたリソースを使用して実施されてもよい実施態様の一部として、実行する処理にネットワークなどのリソースを使用してもよい。一例では、コンピューティングデバイス110などの1つまたは複数のデバイスは、ネットワーク910に接続される。コンピューティングデバイス110は、データベース920a〜920bなどの1つまたは複数のデータストアからのオブジェクトの3D表現にアクセスするように構成される。いくつかの例では、デバイスは、3Dオブジェクト表現を取得するため、または色等化情報を記憶するために、インターネットにアクセスするように構成されてもよい。
方法およびシステムは、本明細書では様々な機械上で実行するソフトウェアの観点から説明されているが、方法およびシステムはまた、特に様々な方法を実行するためのフィールドプログラマブルゲートアレイ(FPGA)などの特定的に構成されたハードウェアとして実装されてもよい。たとえば、例は、デジタル電子回路において、または、コンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組合せにおいて実装され得る。一例では、デバイスは、プロセッサを含んでもよい。プロセッサは、プロセッサに結合されたランダムアクセスメモリ(RAM)などのコンピュータ可読媒体を備える。プロセッサは、画像を編集するための1つまたは複数のコンピュータプログラムを実行するなど、メモリ内に記憶されたコンピュータ実行可能プログラム命令を実行する。そのようなプロセッサは、マイクロプロセッサと、デジタル信号プロセッサ(DSP)と、特定用途向け集積回路(ASIC)と、フィールドプログラマブルゲートアレイ(FPGA)と、状態機械とを含むことができる。そのようなプロセッサには、PLC、プログラマブル割込コントローラ(PIC)、プログラマブル論理デバイス(PLD)、プログラマブル読取り専用メモリ(PROM)、電子的プログラマブル読取り専用メモリ(EPROMまたはEEPROM)、または他の同様のデバイスなどのプログラマブル電子デバイスがさらに含まれ得る。
そのようなプロセッサは、プロセッサによって実行されたとき、プロセッサに、プロセッサによって実行または支援されるように本明細書で説明したステップを実行させることができる命令を記憶してもよい媒体、たとえば、コンピュータ可読記憶媒体を備えてもよく、またはそのような媒体と通信してもよい。コンピュータ可読媒体の例は、限定はしないが、ウェブサーバ内のプロセッサなどのプロセッサにコンピュータ可読命令を提供することができる電子的、光学的、磁気的、または他の記憶デバイスを含んでもよい。媒体の他の例には、限定はしないが、フロッピー(登録商標)ディスク、CD-ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成されたプロセッサ、すべての光学媒体、すべての磁気テープもしくは他の磁気媒体、またはコンピュータプロセッサが読み取ることができる任意の他の媒体が含まれる。説明したプロセッサおよび処理は、1つまたは複数の構造で存在する可能性があり、1つまたは複数の構造を介して分散される可能性がある。プロセッサは、本明細書で説明した方法のうちの1つまたは複数(または方法の一部)を実行するためのコードを含み得る。
いくつかの例の前述の説明は、例示および説明の目的のためにのみ提示されており、網羅的であること、または開示された正確な形態に本開示を限定することを意図していない。その多くの修正および適応は、本開示の要旨および範囲から逸脱することなく当業者には明らかであろう。
本明細書での例および実施態様への参照は、例に関連して説明した特定の特徴、構造、動作、または他の特質が、本開示の少なくとも1つの実施態様に含まれてもよいことを意味する。本開示は、そのように説明された特定の例または実施態様に限定されない。本明細書の様々な場所における「一例における」、「例における」、「一実施態様における」、もしくは「実施態様における」という語句、またはその変形の出現は、必ずしも同じ例または実施態様を指さない。一例または実施態様に関連して本明細書で説明した任意の特定の特徴、構造、動作、または他の特質は、任意の他の例または実施態様に関連して説明した他の特徴、構造、動作、または他の特質と組み合わされてもよい。
100 シーン
110 カメラデバイス
116 視点
118 視点
120 オブジェクト
121 テクスチャ
130 オブジェクト
131 テクスチャ
131a ポリゴン
131b ポリゴン
131c ポリゴン
131d ポリゴン
131e ポリゴン
131f ポリゴン
133a ポリゴン
133b ポリゴン
133c ポリゴン
133d ポリゴン
133e ポリゴン
133f ポリゴン
402 表面メッシュ
410 キーフレーム
420 キーフレーム
512 WANワイヤレストランシーバ
523 オペレーティングシステム
605 通信バス
700 コンピューティングデバイス
701 カメラ
703 ディスプレイ出力
704 ユーザ入力モジュール
710 プロセッサ
714 アンテナ
721 キーフレーム割り当てモジュール
722 色等化モジュール
724 データベース
742 LANワイヤレストランシーバ
744 アンテナ
800 コンピューティングデバイス
810 プロセッサ
815 入力デバイス
820 出力デバイス
825 記憶デバイス
830 通信サブシステム
835 メモリ
840 オペレーティングシステム
845 アプリケーション
910 ネットワーク
920a データベース
920b データベース

Claims (24)

  1. オブジェクトの複数のキーフレームをキャプチャするステップと、
    前記オブジェクトのための表面メッシュモデルを備える前記オブジェクトの三次元(「3D」)表現にアクセスするステップであって、前記表面メッシュモデルが複数のポリゴンを備える、ステップと、
    前記複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンに関して、前記ポリゴンに対応する前記キーフレームの一部に関連付けられた1つまたは複数の画像品質特性に基づいて、前記ポリゴンに前記複数のキーフレームのうちの1つを割り当てるステップと、
    割り当てられたキーフレームと前記複数のポリゴンのうちのポリゴンの第2のセットとの間の関連付けを変更することによって、割り当てられたキーフレームの数を低減するステップであって、ポリゴンの前記第2のセットのうちの第1のポリゴンが、前記低減された数の割り当てられたキーフレームのうちの第1のキーフレームに割り当てられ、ポリゴンの前記第2のセットのうちの第2のポリゴンが、前記低減された数の割り当てられたキーフレームのうちの第2のキーフレームに割り当てられ、前記第1のポリゴンおよび前記第2のポリゴンが少なくとも第1の頂点によって定義される、ステップと、
    割り当てられたキーフレームを有する前記表面メッシュモデルの各ポリゴンに関して、
    前記ポリゴンに割り当てられた前記キーフレームに少なくとも部分的に基づいて、前記ポリゴンの少なくとも一部のテクスチャ色を等化するステップと、
    前記オブジェクトの前記3D表現に前記等化されたテクスチャ色を割り当てるステップと
    を備え、
    前記第1のポリゴンのテクスチャ色を等化するステップが、前記第1のキーフレームに基づく前記第1の頂点のための第1のピクセル値に基づき、前記第2のポリゴンのテクスチャ色を等化するステップが、前記第2のキーフレームに基づく前記第1の頂点のための第2のピクセル値に基づき、前記第1のピクセル値が前記第2のピクセル値と異なる、ビュー非依存色等化三次元シーンテクスチャ処理のための方法。
  2. 前記ポリゴンのテクスチャ色を等化する前記ステップが、
    前記複数のキーフレームのサブセットに基づいて前記ポリゴンの各頂点のための加重平均テクスチャ色を計算するステップであって、前記サブセットが、前記ポリゴンの少なくとも1つの頂点に関連付けられたピクセルを有するキーフレームを備える、ステップと、
    各頂点の前記加重平均テクスチャ色を、それぞれの割り当てられたキーフレームからの前記オブジェクト上の関連する点のテクスチャ色と比較することによって、各頂点の前記加重平均テクスチャ色を使用してテクスチャ色等化乗数を計算するステップと、
    前記ポリゴンにテクスチャ色を適用するステップであって、前記適用するステップが、前記ポリゴンの前記頂点に基づいて、前記ポリゴン内のピクセルにわたって前記テクスチャ色等化乗数を補間するステップを備える、ステップと
    を備える、請求項1に記載の方法。
  3. 前記複数のキーフレームのサブセットに基づいて前記ポリゴンの各頂点のための前記加重平均テクスチャ色を計算するステップが、
    各頂点に関して、
    前記サブセットの各キーフレームに関して、
    前記ポリゴンに対して垂直なベクトルとカメラ平面に対して垂直なベクトルとの間の角度に基づいて、前記キーフレームに関連付けられた重みを決定するステップと、
    前記頂点に関連付けられた前記キーフレーム内の前記オブジェクト上の対応する点の前記テクスチャ色に前記重みを適用することによって、重み付けされたテクスチャ色を決定するステップと、
    前記サブセットの各キーフレームの前記重み付けされたテクスチャ色を合計するステップと、
    前記合計に基づいて、前記頂点のための前記加重平均テクスチャ色を計算するステップと
    を備える、請求項2に記載の方法。
  4. 前記ポリゴンの前記テクスチャ色を等化するステップが、(1)前記ポリゴンに関連付けられた前記低減されたキーフレームのセットのうちの前記キーフレームの前記一部と、(2)前記複数のキーフレームの各々の対応する部分からのピクセルに関連付けられるように、新しいテクスチャの前記一部における各ピクセルのための前記複数のキーフレームからの加重平均テクスチャ色とに基づいて、前記複数のポリゴンのうちの前記ポリゴンのための前記新しいテクスチャを計算するステップを備える、請求項1に記載の方法。
  5. 前記複数のキーフレームのうちの1つを選択するステップが、
    前記複数のキーフレームの各々のスコアを決定するステップと、
    最高のスコアを有するキーフレームを選択するステップと
    を備える、請求項1に記載の方法。
  6. スコアを決定するステップが、
    前記ポリゴンに対して垂直なベクトルとカメラ平面に対して垂直なベクトルとの間の角度を決定するステップと、
    前記キーフレームに関連付けられた奥行きマップに基づいて、カメラから前記オブジェクトまでの距離を決定するステップと、
    前記奥行きマップに関連付けられた奥行きマップ誤差を決定するステップと、
    前記キーフレームに関連付けられた姿勢を決定するステップと、
    式:スコア=角度*(距離)2*奥行きマップ誤差*姿勢、を使用して前記スコアを決定するステップと
    を備える、請求項5に記載の方法。
  7. 前記画像品質特性が、閉塞値、オブジェクトの距離、照明品質、またはキーフレーム角度のうちの少なくとも1つを備える、請求項1に記載の方法。
  8. 割り当てられたキーフレームと前記複数のポリゴンとの間の関連付けを変更することによって、少なくとも1つのポリゴンに関連付けられた割り当てられたキーフレームの数を低減するステップが、少なくとも1つのポリゴンがどのキーフレームにも関連付けられないように、前記少なくとも1つのポリゴンのためのすべての関連付けを除去するステップを備える、請求項1に記載の方法。
  9. コンピュータ可読記録媒体と、
    前記コンピュータ可読記録媒体と通信する電子プロセッサとを備え、前記電子プロセッサが、
    オブジェクトの複数のキーフレームを受信することと、
    前記オブジェクトのための表面メッシュモデルを備える前記オブジェクトの三次元(「3D」)表現にアクセスすることであって、前記表面メッシュモデルが複数のポリゴンを備える、ことと、
    前記複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンに関して、前記ポリゴンに対応する前記キーフレームの一部に関連付けられた1つまたは複数の画像品質特性に基づいて、前記ポリゴンに前記複数のキーフレームのうちの1つを割り当てることと、
    割り当てられたキーフレームと前記複数のポリゴンのうちのポリゴンの第2のセットとの間の関連付けを変更することによって、割り当てられたキーフレームの数を低減することであって、ポリゴンの前記第2のセットのうちの第1のポリゴンが、前記低減された数の割り当てられたキーフレームのうちの第1のキーフレームに割り当てられ、ポリゴンの前記第2のセットのうちの第2のポリゴンが、前記低減された数の割り当てられたキーフレームのうちの第2のキーフレームに割り当てられ、前記第1のポリゴンおよび前記第2のポリゴンが少なくとも第1の頂点によって定義される、ことと、
    割り当てられたキーフレームを有する前記表面メッシュモデルの各ポリゴンに関して、
    前記ポリゴンに割り当てられた前記キーフレームに少なくとも部分的に基づいて、前記ポリゴンの少なくとも一部のテクスチャ色を等化することと、
    前記オブジェクトの前記3D表現に前記等化されたテクスチャ色を割り当てることと
    を行うように構成され、
    前記第1のポリゴンのテクスチャ色を等化するステップが、前記第1のキーフレームに基づく前記第1の頂点のための第1のピクセル値に基づき、前記第2のポリゴンのテクスチャ色を等化するステップが、前記第2のキーフレームに基づく前記第1の頂点のための第2のピクセル値に基づき、前記第1のピクセル値が前記第2のピクセル値と異なる、ビュー非依存色等化三次元シーンテクスチャ処理のためのシステム。
  10. 前記プロセッサが、
    前記複数のキーフレームのサブセットに基づいて前記ポリゴンの各頂点のための加重平均テクスチャ色を計算することであって、前記サブセットが、前記ポリゴンの少なくとも1つの頂点に関連付けられたピクセルを有するキーフレームを備える、ことと、
    各頂点の前記加重平均テクスチャ色を、それぞれの割り当てられたキーフレームからの前記オブジェクト上の関連する点のテクスチャ色と比較することによって、各頂点の前記加重平均テクスチャ色を使用してテクスチャ色等化乗数を計算することと、
    前記ポリゴンにテクスチャ色を適用することであって、前記適用することが、前記ポリゴンの前記テクスチャ色を等化するために、前記ポリゴンの前記頂点に基づいて、前記ポリゴン内のピクセルにわたって前記テクスチャ色等化乗数を補間することを備える、ことと
    を行うようにさらに構成された、請求項9に記載のシステム。
  11. 前記プロセッサが、各頂点に関して、
    前記サブセットの各キーフレームに関して、
    前記ポリゴンに対して垂直なベクトルとカメラ平面に対して垂直なベクトルとの間の角度に基づいて、前記キーフレームに関連付けられた重みを決定することと、
    前記頂点に関連付けられた前記キーフレーム内の前記オブジェクト上の対応する点の前記テクスチャ色に前記重みを適用することによって、重み付けされたテクスチャ色を決定することと、
    前記サブセットの各キーフレームの前記重み付けされたテクスチャ色を合計することと、
    前記複数のキーフレームのサブセットに基づいて、前記ポリゴンの各頂点のための前記加重平均テクスチャ色を計算するために、前記合計に基づいて、前記頂点のための前記加重平均テクスチャ色を計算することと
    を行うようにさらに構成された、請求項10に記載のシステム。
  12. 前記プロセッサが、前記ポリゴンの前記テクスチャ色を等化するために、(1)前記ポリゴンに関連付けられた前記低減されたキーフレームのセットのうちの前記キーフレームの前記一部と、(2)前記複数のキーフレームの各々の対応する部分からのピクセルに関連付けられるように、新しいテクスチャの前記一部における各ピクセルのための前記複数のキーフレームからの加重平均テクスチャ色とに基づいて、前記複数のポリゴンのうちの前記ポリゴンのための前記新しいテクスチャを計算するようにさらに構成された、請求項9に記載のシステム。
  13. 前記プロセッサが、
    前記複数のキーフレームの各々のスコアを決定し、
    前記複数のキーフレームのうちの1つを選択するために、最高のスコアを有するキーフレームを選択するようにさらに構成された、請求項9に記載のシステム。
  14. 前記プロセッサが、
    前記ポリゴンに対して垂直なベクトルとカメラ平面に対して垂直なベクトルとの間の角度を決定し、
    前記キーフレームに関連付けられた奥行きマップに基づいて、カメラから前記オブジェクトまでの距離を決定し、
    前記奥行きマップに関連付けられた奥行きマップ誤差を決定し、
    前記キーフレームに関連付けられた姿勢を決定し、
    式:スコア=角度*(距離) 2 *奥行きマップ誤差*姿勢、を使用して前記スコアを決定するようにさらに構成された、請求項13に記載のシステム。
  15. 前記画像品質特性が、閉塞値、オブジェクトの距離、照明品質、またはキーフレーム角度のうちの少なくとも1つを備える、請求項9に記載のシステム。
  16. 割り当てられたキーフレームと前記複数のポリゴンとの間の関連付けを交換することによって、前記少なくとも1つのポリゴンが、少なくとも1つのポリゴンに関連付けられた割り当てられたキーフレームの数を低減するためにどのキーフレームにも関連付けられないように、前記プロセッサが、少なくとも1つのポリゴンのためのすべての関連付けを除去するようにさらに構成された、請求項9に記載のシステム。
  17. ビュー非依存色等化三次元シーンテクスチャ処理のための方法をプロセッサに実行させるように構成されたプロセッサ実行可能命令を備えるコンピュータ可読記録媒体であって、前記プロセッサ実行可能命令が、前記プロセッサに、
    オブジェクトの複数のキーフレームをキャプチャすることと、
    前記オブジェクトのための表面メッシュモデルを備える前記オブジェクトの三次元(「3D」)表現にアクセスすることであって、前記表面メッシュモデルが複数のポリゴンを備える、ことと、
    前記複数のポリゴンのうちのポリゴンの第1のセット内の各ポリゴンに関して、前記ポリゴンに対応する前記キーフレームの一部に関連付けられた1つまたは複数の画像品質特性に基づいて、前記ポリゴンに前記複数のキーフレームのうちの1つを割り当てることと、
    割り当てられたキーフレームと前記複数のポリゴンのうちのポリゴンの第2のセットとの間の関連付けを変更することによって、割り当てられたキーフレームの数を低減することであって、ポリゴンの前記第2のセットのうちの第1のポリゴンが、前記低減された数の割り当てられたキーフレームのうちの第1のキーフレームに割り当てられ、ポリゴンの前記第2のセットのうちの第2のポリゴンが、前記低減された数の割り当てられたキーフレームのうちの第2のキーフレームに割り当てられ、前記第1のポリゴンおよび前記第2のポリゴンが少なくとも第1の頂点によって定義される、ことと、
    割り当てられたキーフレームを有する前記表面メッシュモデルの各ポリゴンに関して、前記ポリゴンに割り当てられた前記キーフレームに少なくとも部分的に基づいて、前記ポリゴンの少なくとも一部のテクスチャ色を等化することと、
    割り当てられたキーフレームを有する前記表面メッシュモデルの各ポリゴンに関して、前記オブジェクトの前記3D表現に前記等化されたテクスチャ色を割り当てることと
    を行わせるように構成され、
    前記第1のポリゴンのテクスチャ色を等化することが、前記第1のキーフレームに基づく前記第1の頂点のための第1のピクセル値に基づき、前記第2のポリゴンのテクスチャ色を等化することが、前記第2のキーフレームに基づく前記第1の頂点のための第2のピクセル値に基づき、前記第1のピクセル値が前記第2のピクセル値と異なる、コンピュータ可読記録媒体。
  18. 前記プロセッサに前記ポリゴンの前記テクスチャ色を等化させるように構成されたプロセッサ実行可能命令が、前記プロセッサに
    前記複数のキーフレームのサブセットに基づいて前記ポリゴンの各頂点のための加重平均テクスチャ色を計算することであって、前記サブセットが、前記ポリゴンの少なくとも1つの頂点に関連付けられたピクセルを有するキーフレームを備える、ことと、
    各頂点の加重平均テクスチャ色を、それぞれの割り当てられたキーフレームからの前記オブジェクト上の関連する点のテクスチャ色と比較することによって、各頂点の前記加重平均テクスチャ色を使用してテクスチャ色等化乗数を計算することと、
    前記ポリゴンにテクスチャ色を適用することであって、前記適用することが、前記ポリゴンの前記頂点に基づいて、前記ポリゴン内のピクセルにわたって前記テクスチャ色等化乗数を補間することを備える、ことと
    を行わせるようにさらに構成される、請求項17に記載のコンピュータ可読記録媒体。
  19. 前記プロセッサに前記複数のキーフレームのサブセットに基づいて前記ポリゴンの各頂点のための前記加重平均テクスチャ色を計算させるように構成されたプロセッサ実行可能命令が、前記プロセッサに、
    各頂点に関して、および前記サブセットの各キーフレームに関して、前記ポリゴンに対して垂直なベクトルとカメラ平面に対して垂直なベクトルとの間の角度に基づいて、前記キーフレームに関連付けられた重みを決定することと、
    各頂点に関して、および前記サブセットの各キーフレームに関して、前記頂点に関連付けられた前記キーフレーム内のオブジェクト上の対応する点の前記テクスチャ色に前記重みを適用することによって、重み付けされたテクスチャ色を決定することと、
    各頂点に関して、前記サブセットの各キーフレームの前記重み付けされたテクスチャ色を合計することと、
    各頂点に関して、前記合計に基づいて、前記頂点のための前記加重平均テクスチャ色を計算することとを行わせるようにさらに構成される、請求項18に記載のコンピュータ可読記録媒体。
  20. 前記プロセッサに前記ポリゴンの前記テクスチャ色を等化させるように構成されたプロセッサ実行可能命令が、前記プロセッサに、(1)前記ポリゴンに関連付けられた前記低減されたキーフレームのセットのうちの前記キーフレームの前記一部と、(2)前記複数のキーフレームの各々の対応する部分からのピクセルに関連付けられるように、新しいテクスチャの前記一部における各ピクセルのための前記複数のキーフレームからの加重平均テクスチャ色とに基づいて、前記複数のポリゴンのうちの前記ポリゴンのための前記新しいテクスチャを計算させるように構成されたプロセッサ実行可能命令を備える、請求項17に記載のコンピュータ可読記録媒体。
  21. 前記プロセッサに前記複数のキーフレームのうちの1つを選択せるように構成されたプロセッサ実行可能命令が、前記プロセッサに
    前記複数のキーフレームの各々のスコアを決定することと、
    最高のスコアを有するキーフレームを選択することとを行わせるプロセッサ実行可能命令を備える、請求項17に記載のコンピュータ可読記録媒体。
  22. 前記プロセッサに前記スコアを決定させるように構成されたプロセッサ実行可能命令が、前記プロセッサに、
    前記ポリゴンに対して垂直なベクトルとカメラ平面に対して垂直なベクトルとの間の角度を決定することと、
    前記キーフレームに関連付けられた奥行きマップに基づいて、カメラから前記オブジェクトまでの距離を決定することと、
    前記奥行きマップに関連付けられた奥行きマップ誤差を決定することと、
    前記キーフレームに関連付けられた姿勢を決定することと、
    式:スコア=角度*(距離)2*奥行きマップ誤差*姿勢、を使用して前記スコアを決定することと
    を行わせるように構成されたプロセッサ実行可能命令を備える、請求項21に記載のコンピュータ可読記録媒体。
  23. 前記画像品質特性が、閉塞値、オブジェクトの距離、照明品質、またはキーフレーム角度のうちの少なくとも1つを備える、請求項17に記載のコンピュータ可読記録媒体。
  24. 割り当てられたキーフレームと前記複数のポリゴンとの間の関連付けを変更することによって、少なくとも1つのポリゴンに関連付けられた割り当てられたキーフレームの数を低減させるように構成されたプロセッサ実行可能命令が、前記プロセッサに少なくとも1つのポリゴンがどのキーフレームにも関連付けられないように、前記少なくとも1つのポリゴンのためのすべての関連付けを除去させるように構成されたプロセッサ実行可能命令を備える、請求項17に記載のコンピュータ可読記録媒体。
JP2016552525A 2014-02-21 2015-02-20 ビュー非依存色等化３ｄシーンテクスチャ処理 Expired - Fee Related JP6400720B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461943246P 2014-02-21 2014-02-21
US61/943,246 2014-02-21
US14/625,465 2015-02-18
US14/625,465 US9905039B2 (en) 2014-02-21 2015-02-18 View independent color equalized 3D scene texturing
PCT/US2015/016875 WO2015127246A1 (en) 2014-02-21 2015-02-20 View independent 3d scene texturing

Publications (3)

Publication Number Publication Date
JP2017509972A JP2017509972A (ja) 2017-04-06
JP2017509972A5 JP2017509972A5 (ja) 2018-05-17
JP6400720B2 true JP6400720B2 (ja) 2018-10-03

Family

ID=52630495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552525A Expired - Fee Related JP6400720B2 (ja) 2014-02-21 2015-02-20 ビュー非依存色等化３ｄシーンテクスチャ処理

Country Status (6)

Country Link
US (1) US9905039B2 (ja)
EP (1) EP3108449B1 (ja)
JP (1) JP6400720B2 (ja)
KR (1) KR20160127030A (ja)
CN (1) CN106030661B (ja)
WO (1) WO2015127246A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
US10163271B1 (en) * 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US20180101989A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US10699466B2 (en) * 2016-12-06 2020-06-30 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
WO2018148565A1 (en) * 2017-02-09 2018-08-16 Wove, Inc. Method for managing data, imaging, and information computing in smart devices
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection
CN107369200B (zh) * 2017-07-04 2021-07-16 福建星网视易信息系统有限公司 一种3d场景特效处理方法及存储设备
CN110832551A (zh) * 2017-07-10 2020-02-21 惠普发展公司，有限责任合伙企业 将对象性质数据与位置相关联
JP6867645B2 (ja) * 2017-07-14 2021-05-12 日本電信電話株式会社 画像処理装置、方法、及びプログラム
JP6425780B1 (ja) * 2017-09-22 2018-11-21 キヤノン株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
KR102199458B1 (ko) 2017-11-24 2021-01-06 한국전자통신연구원 3차원 컬러 메쉬 복원 방법 및 장치
US10515477B2 (en) * 2018-02-06 2019-12-24 A9.Com, Inc. Photorealistic three dimensional texturing using canonical views and a two-stage approach
US11481915B2 (en) * 2018-05-04 2022-10-25 Packsize Llc Systems and methods for three-dimensional data acquisition and processing under timing constraints
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
US11399137B2 (en) * 2018-08-10 2022-07-26 Aurora Flight Sciences Corporation Object-tracking system
JP7190849B2 (ja) * 2018-09-12 2022-12-16 キヤノン株式会社 画像生成装置、画像生成装置の制御方法及びプログラム
JP6759300B2 (ja) * 2018-10-22 2020-09-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10958854B2 (en) * 2018-11-02 2021-03-23 BriefCam Ltd. Computer-implemented method for generating an output video from multiple video sources
JP7369333B2 (ja) * 2018-12-21 2023-10-26 Ｔｏｐｐａｎホールディングス株式会社 三次元形状モデル生成システム、三次元形状モデル生成方法、及びプログラム
KR102027093B1 (ko) 2019-07-02 2019-11-04 백승원 3d 스캔 데이터 변환 장치, 변환 방법 및 변환 어플리케이션
CN110827397B (zh) * 2019-11-01 2021-08-24 浙江大学 一种面向rgb-d相机实时三维重建的纹理融合方法
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11100721B1 (en) * 2020-11-02 2021-08-24 Bentley Systems, Incorporated Integrating 2D images into a display of a 3D reality mesh to recover lost context
US11893675B1 (en) 2021-02-18 2024-02-06 Splunk Inc. Processing updated sensor data for remote collaboration
US11915377B1 (en) 2021-02-18 2024-02-27 Splunk Inc. Collaboration spaces in networked remote collaboration sessions
US20220309733A1 (en) * 2021-03-29 2022-09-29 Tetavi Ltd. Surface texturing from multiple cameras
KR20220160197A (ko) * 2021-05-27 2022-12-06 한국전자통신연구원 기준 이미지를 이용한 텍스처 매핑 방법 및 그 방법을 수행하는 컴퓨팅 장치
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US20230290037A1 (en) * 2022-03-10 2023-09-14 Streem, Llc Real-time progressive texture mapping of a 3d mesh
CN116109781B (zh) * 2023-04-12 2023-06-23 深圳市其域创新科技有限公司 一种三维重建方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352454B2 (ja) * 2000-11-21 2002-12-03 キヤノン株式会社 画像処理装置及びその方法並びに記憶媒体
US6940503B2 (en) * 2001-05-10 2005-09-06 Ati International Srl Method and apparatus for processing non-planar video graphics primitives
US7212664B2 (en) 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
JP2005244518A (ja) * 2004-02-25 2005-09-08 Japan Science & Technology Agency 視点決定装置、撮影制御システム、撮影システム、視点決定プログラム、視点決定プログラムを記録したコンピュータ読み取り可能な記録媒体、及び視点決定方法
CN101069214A (zh) * 2004-10-01 2007-11-07 索尼电影娱乐公司 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法
US8477154B2 (en) 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
EP2058765A1 (de) 2007-11-07 2009-05-13 3D Geo GmbH Verfahren und Vorrichtung zum Texturieren eines Objektes eines virtuellen dreidimensionalen geometrischen Modells
JP2010152529A (ja) * 2008-12-24 2010-07-08 Nippon Hoso Kyokai <Nhk> 頂点テクスチャマッピング装置及びプログラム
JP5432258B2 (ja) 2009-06-24 2014-03-05 パナソニック株式会社 グラフィックス描画装置、グラフィックス描画方法、グラフィックス描画プログラム、グラフィックス描画プログラムを記録した記録媒体、集積回路
US20130215239A1 (en) 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
CN102663827B (zh) * 2012-03-02 2014-07-09 天津大学 复杂淹没区域风暴潮洪水演进三维动态全过程仿真方法
CN103034765B (zh) * 2012-12-14 2015-08-05 天津大学 基于数值模拟的采空区注浆动态全过程仿真方法

Also Published As

Publication number Publication date
EP3108449A1 (en) 2016-12-28
EP3108449B1 (en) 2020-04-29
WO2015127246A1 (en) 2015-08-27
CN106030661B (zh) 2019-05-21
KR20160127030A (ko) 2016-11-02
CN106030661A (zh) 2016-10-12
US9905039B2 (en) 2018-02-27
JP2017509972A (ja) 2017-04-06
US20150243069A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
JP6400720B2 (ja) ビュー非依存色等化３ｄシーンテクスチャ処理
US9521391B2 (en) Settings of a digital camera for depth map refinement
CN102834845B (zh) 用于多摄像装置校准的方法与装置
EP2272050B1 (en) Using photo collections for three dimensional modeling
JP2017509972A5 (ja)
US10957062B2 (en) Structure depth-aware weighting in bundle adjustment
JP2012530323A (ja) ３次元シーンの区分的平面再構成
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
US10708505B2 (en) Image processing apparatus, method, and storage medium
CN111357034A (zh) 点云生成方法、系统和计算机存储介质
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
JP2019091436A (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
US20210166476A1 (en) Automatic 3D Image Reconstruction Process from Real-World 2D Images
US10791321B2 (en) Constructing a user&#39;s face model using particle filters
CN112819937B (zh) 一种自适应多对象光场三维重建方法、装置及设备
US11475629B2 (en) Method for 3D reconstruction of an object
CN109300191A (zh) Ar模型处理方法、装置、电子设备及可读存储介质
GB2533449B (en) Configuration settings of a digital camera for depth map generation
US11100721B1 (en) Integrating 2D images into a display of a 3D reality mesh to recover lost context
CN113888394A (zh) 图像变形方法、装置及电子设备
CN116797698A (zh) 真人人脸纹理生成方法、装置、设备和存储介质
CN117994444A (zh) 复杂场景的重建方法、设备及存储介质
CN117830198A (zh) 一种基于三维点云的平面检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180327

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180905

R150 Certificate of patent or registration of utility model

Ref document number: 6400720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees