JP6704238B2 - 画像から自動化されたテクスチャリングマッピングおよびアニメーション - Google Patents

Description

本発明の技術分野は、ターゲットオブジェクトの写真から物理的オブジェクトの３Ｄモデル表現のテクスチャマップを作成することに関する。

多くの消費者製品は、箱型、円筒形など、限られた数の汎用可能な形状に分類することができる、比較的単純な形状を有する。汎用形の消費者製品を所与とすると、その製品またはオブジェクトのデジタル表現は、対応するサイズ、形状、および外観に作成することができる。特に、デジタル表現は、（ｉ）目的とする汎用形の形状を成す３Ｄモデルの１または複数の次元をスケールすること、および（ii）消費者製品の外面の画像を３Ｄモデルの表面に適用することによって作成される。このような３Ｄモデルをオブジェクトの較正された２Ｄ画像から生成する自動化された方法は、米国特許第８，５７０，３４３号明細書に開示されている。

消費者製品の一般的なサイズおよび形状とは異なり、製品のテクスチャおよび外観は、典型的には、個別の製品が他の製品とその個別の製品を見分けるのに十分固有である。製品の正確なデジタル表現を作成するために、製品のテクスチャをキャプチャして、対応する３Ｄモデルに適用する、テクスチャマッピングとして知られるプロセスを行わなければならない。典型的には、オブジェクト（製品）のテクスチャマップを生成するために、オブジェクトの画像は、異なる角度からキャプチャされ、その後ステッチされて、対応する３Ｄモデルの表面にマッチする形状をとる２Ｄテクスチャマップを形成する。消費財の多くの小売り業者が１００万個以上に上る固有の製品を有することを所与とすると、それらの在庫のデジタル表現の作成は、製品毎にテクスチャマップを取得して生成することを伴う、多大な労力を要する可能性のあるタスクである。オブジェクトの３Ｄ表現が低コストで大容量となるように、現実世界のオブジェクト（製品）のテクスチャマップを取得して、デジタル化する必要がある。

米国特許第８，５７０，３４３号明細書

本発明の実施形態は、オブジェクトの画像からオブジェクトの３Ｄモデルのテクスチャマップを作成するための方法および装置を提供する。テクスチャマッピングされる３Ｄモデルは、限定されるわけではないが、オンラインショッピング／ビューイングおよびビデオゲーミングを含む、３Ｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｐｅｒｉｅｎｃｅｓ ａｎｄ ３Ｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｉｍｕｌａｔｉｏｎｓのコンテンツ作成を可能にすることができる。

本発明の例示的な実施形態は、ターゲットオブジェクトを見る視野(a field of view)の画像をキャプチャすることを備える方法である。キャプチャされた画像は、（ｉ）ターゲットオブジェクトのダイレクトビュー(direct view)、および（ii）少なくとも１つの反射面からターゲットオブジェクトの１または複数の反射ビュー(reflected views)を作り出す少なくとも１つの反射（反射像）（reflection）を有する。キャプチャされた画像のダイレクトビューは、ターゲットオブジェクトのダイレクト画像(direct image)と呼ばれ、反射ビューは、ターゲットオブジェクトの反射画像(reflected image)と呼ばれる。方法はさらに、キャプチャされる画像のターゲットオブジェクトのダイレクト画像から反射画像を分離すること、反射画像の歪みを低減して少なくとも１つの歪みが低減された反射画像(distortion-reduced reflected image)を提供すること、ターゲットオブジェクトのダイレクト画像およびターゲットオブジェクトの歪みが低減された反射画像から少なくとも１つのテクスチャマップを生成すること、およびターゲットオブジェクトを表す３Ｄモデルにテクスチャマップを投影することも含む。

反射画像の歪みを低減することは、反射画像をターゲットオブジェクトのサイズでスケールすること、反射画像の射影歪みを補正すること、および少なくとも１つの反射面の（ターゲットオブジェクトの視野の）位置およびターゲットオブジェクトの形状に基づいて反射画像を再形成することのうちの少なくとも１つを含むことができる。

方法は、ターゲットオブジェクトが第１の位置から第２の位置に移動するときにターゲットオブジェクトの複数の画像（恐らく、異なる視野）をキャプチャすること、および複数の画像から複数のテクスチャマップを生成することをさらに含むことができる。

いくつかの実施形態において、ターゲットオブジェクトのダイレクト画像と反射画像との間、および第１の反射画像と第２の反射画像との間のオーバーラップを検出することをさらに含むことができる。いくつかの実施形態において、方法は、検出されたオーバーラップをキャプチャされた画像から除去することをさらに含むことができる。

別の実施形態において、方法は、ターゲットオブジェクトの動きを検出すること、ターゲットオブジェクトの検出された動きを３Ｄモデルと相関させて３Ｄモデルの対応する動きを生成すること、および３Ｄモデルの対応する動きに基づいて、３Ｄモデルを対応する第１の位置から対応する第２の位置までのアニメーションにすることを含む。

いくつかの実施形態において、キャプチャされる画像のターゲットオブジェクトの反射画像を分離することは、キャプチャされる画像の歪みの領域を検出すること、および検出される領域をターゲットオブジェクトの反射画像とするフラグを立てることを含む。

一実施形態において、反射面は、ターゲットオブジェクトの第１の反射面と第２の反射面、および対応する第１と第２の反射ビューを含む。反射画像は、第１の反射ビュー（第１の反射画像と呼ばれる）と第２の反射ビュー（第２の反射画像と呼ばれる）を含む。いくつかの実施形態において、ターゲットオブジェクトの第１と第２の反射ビューおよびダイレクトビューは、ターゲットオブジェクトの少なくとも周囲(circumference)の一部を観察する。

別の実施形態において、反射面は、第１の反射面、第２の反射面、および第３の反射面を含む。少なくとも１つの反射は、第１の反射面からのターゲットオブジェクトの第１の反射ビュー、第２の反射面からのターゲットオブジェクトの第２の反射ビュー、および第３の反射面からのターゲットオブジェクトの第３の反射ビューを含む。反射画像は、第１の反射ビューの第１の反射画像、第２の反射ビューの第２の反射画像、および第３の反射ビューの第３の反射画像を含む。いくつかの実施形態において、第３の反射ビューがターゲットオブジェクトの上面または底面を画像形成する(image)間に、ターゲットオブジェクトの第１と第２との反射ビューおよびダイレクトビューがターゲットオブジェクトの少なくとも周囲の一部を観察する。

別の例示的な実施形態は、単一の画像のターゲットオブジェクトから３Ｄモデルのテクスチャマップを生成するためのシステムである。システムは、（視野を有する）カメラ、カメラの視野の１または複数の反射面、および画像処理デバイスを備える。１または複数の反射面は、ターゲットオブジェクトの１または複数の反射面がカメラに映るように位置付けされる。カメラは、（ｉ）ターゲットオブジェクトのダイレクト画像、および（ii）ターゲットオブジェクト反射画像（複数）を有する単一の画像をキャプチャする。画像処理デバイスは、キャプチャされた画像のターゲットオブジェクトの１または複数の反射画像を分離し、１または複数の反射画像の歪みを低減し、およびターゲットオブジェクトの形状、ダイレクト画像および歪みが低減された１または複数の反射画像に基づいて、テクスチャマップを生成する。１または複数の反射画像の歪みを低減することは、視野のターゲットオブジェクトのサイズに対応するように反射画像をスケールすることを含むことができる。画像処理は、ダイレクト画像から歪みを除去できる。

キャプチャされる画像のターゲットオブジェクトのダイレクト画像から１または複数の反射画像を分離することは、キャプチャされる画像の歪みの１または複数の領域を検出すること、および検出される領域をターゲットオブジェクトの反射画像とするフラグを立てることを含むことができる。

一実施形態において、画像処理デバイスは、ダイレクト画像のいずれかと反射画像との間のオーバーラップを検出し、そして検出されたオーバーラップをキャプチャされた画像から除去する。

いくつかの実施形態において、カメラは、ターゲットオブジェクトが第１の位置から第２の位置に移動するときに視野の複数のキャプチャされる画像を生成し、そして画像処理デバイスは、複数の画像から複数のテクスチャマップを生成する。

いくつかの実施形態において、画像処理デバイスは、ターゲットオブジェクトの動きを検出し、ターゲットオブジェクトの検出された動きを３Ｄモデルと相関させて３Ｄモデルの対応する動きを生成し、そして３Ｄモデルの対応する動きに基づいて、３Ｄモデルを対応する第１の位置から対応する第２の位置までのアニメーションにする。

前述の説明は、同種の参照符号が異なる図にわたって同種の部分に相当する、添付図面で説明されるように、発明の例示的な実施形態のより詳細な説明によって明らかとなる。

図面は、必ずしも原寸に比例したものではなく、本発明の実施形態を図示することに重点を置いている。

開示された実施形態の態様による本発明の３ミラー画像キャプチャシステムを示す概略図である。 開示された実施形態の態様によるバッフルを有する画像キャプチャシステムを示す概略図である。 開示された実施形態の態様によるオブジェクトおよび３ミラー画像キャプチャシステムによってキャプチャされた結果として生じる画像の図である。 開示された実施形態の態様によるオブジェクトおよび３ミラー画像キャプチャシステムによってキャプチャされた結果として生じる画像の図である。 開示された実施形態の態様による図３のキャプチャされた画像におけるキーストーンの検出および除去の図である。 開示された実施形態の態様による図３のキャプチャされた画像におけるキーストーンの検出および除去の図である。 、開示された実施形態の態様によるミラーのサイズおよび位置を使用して反射画像セグメントをスケールする図である。 開示された実施形態の態様によるミラーのサイズおよび位置を使用して反射画像セグメントをスケールする図である。 開示された実施形態の態様による反射セグメントをオブジェクトサイズでスケールする図である。 開示された実施形態の態様による反射セグメントをオブジェクトサイズでスケールする図である。 開示された実施形態の態様によるスケーリングおよび位置合わせされる画像セグメントの図である。 開示された実施形態の態様によるスケーリングおよび位置合わせされる画像セグメントの図である。 開示された実施形態の態様によるターゲットオブジェクトの共通領域の２つの反射の図である。 ２つのミラーおよびそれらの交線の概略図である。 開示された実施形態の態様によるターゲットオブジェクトの共通領域の２つの反射の図である。 開示された実施形態の態様によるターゲットオブジェクトの共通領域の２つの反射の図である。 開示された実施形態の態様による共通表面を作成するためのオーバーラップ消去の図である。 開示された実施形態の態様による共通表面を作成するためのオーバーラップ消去の図である。 開示された実施形態の態様による共通表面を作成するためのオーバーラップ消去の図である。 開示された実施形態の態様による図７Ｂのスケーリングされ、位置合わせされる反射セグメントと図９Ｃのマージされる共通境界とを含む画像の図である。 開示された実施形態の態様による図１０Ａの画像から作成されるテクスチャマップの図である。 開示された実施形態の態様による円筒形のオブジェクトの図である。 本発明の実施形態によって作成される、図１１Ａの円筒形のオブジェクトを画像形成するテクスチャマップの図である。 本発明の３ミラー実施形態の態様による移動オブジェクトの複数の画像キャプチャのうちの１つの図である。 開示された実施形態の態様による図１２Ａの移動オブジェクトの画像から生成されるテクスチャマップおよび関連するベクトルである。 開示された実施形態の態様による図１２Ａの移動オブジェクトの３Ｄモデルおよび関連する並進および回転ベクトルである。 開示された実施形態の態様による画像からテクスチャマップを生成するフローチャートである。 開示された実施形態の態様による画像からテクスチャマップを生成するフローチャートである。 本発明の実施形態を実施する例示的なコンピュータネットワークの図である。 本発明の実施形態を実施する例示的なコンピュータネットワークの図である。

発明の例示的な実施形態の説明は、以下の通りである。

本明細書に記載の全ての特許、公開された出願および引用文献の技術は、その全てが参照により組み込まれる。

コンピュータ３Ｄモデリング技術は、店内を双方向の、３Ｄシミュレーションで表示するための３Ｄパッケージ化された商品を構築するために使用されている。特に、３Ｄモデリングは、エンドユーザが製品およびその／シェルフのコンテキストを見る仮想体験、および製品包装の文字をオンラインで見て読むために製品を「手に取る(picking up)」仮想体験を実装するために使用されている。

店内で表示するためにパッケージ化された商品の３Ｄモデルが構築されるアプリケーションにおいて、３Ｄモデルコンテンツおよびテクスチャマップシェルフまたはパッケージ化された商品を構築する２つのストラテジーが使用されている。

第１のストラテジーは、周知の汎用モデリングアプリケーションを使用して写真および製品測定情報から３Ｄモデルの手動作成を使用した。より多い数の３Ｄモデルを系統的に作り出すワークフローが計画されて編成され得るが、作業単位はなおも、形状の手動モデリングおよびテクスチャマップの手動作成に基づく。

第２のストラテジーは、汎用の写真ベースの３Ｄモデリングアプリケーションを使用した。物理的オブジェクトから３Ｄモデルを作成する一般的な問題を解決するさまざまな市販のソフトウェアおよび手法が存在する。標準のデジタルカメラを使用した、既存の手法は、現実世界のオブジェクトを完全にテクスチャ化された３Ｄモデルとしてキャプチャする。

製品（パッケージ化された商品）の汎用写真モデリングは、少数の製品モデルを作り出すのに適している。この技術の主な制約は、複数のデジタル写真から作成された３Ｄモデルが欠陥を補正してオンライン３Ｄアプリケーションで使用される形状を再スケールするためにかなりの手作業を要することである。既存の解決策の制約は、コンピュータアプリケーションで使用される３Ｄモデルを処理するために必要な手動による（専門の３Ｄ技術者の）仕事量に基づく。各モデルは、（複雑な、汎用３Ｄモデリングアプリケーションにおいて）部分的または全てを手で作成されなければならないので、このプロセスに基づく任意のモデリングワークフローは、スケーラブルでない。

写真モデリングシステムに基づく３Ｄモデルで観察される第２の問題は、幾何学的メッシュの不規則性である。不規則なメッシュは、モデルのダウンストリームリサイジング／処理を難しくし、そのワークフローをモデルコンテンツの後の手動編集および手動調整のサイクルの中に組み込ませる（ｌｏｃｋ）。

先行技術の不利な点は、コンテンツ制作プロセスにおける３Ｄモデルのダウンストリーム編集への依存である。これは、入力データが新しい画像に連続的に更新され、そして出力仕様がオンライン買い物客の体験アプリケーションの新しい要件／改善によりシフトし得るため問題である。手動編集への依存は、コンテンツ制作を連続した手編集のサイクルの中に組み込ませる。

先行技術のこのような欠陥に対処する１つのストラテジーは、標準化された３Ｄモデルを利用することである。同様のタイプの異なる製品における広範な類似性を所与とすると、汎用３Ｄモデルを製品の多くの異なるカテゴリの形状に近似するように作成することである。これらの汎用３Ｄモデルは、現実世界の製品の較正画像に基づいてスケールされることができ、そして個別のテクスチャマップをスケールされるモデルに適用して製品を表すことができる。

現実世界のオブジェクトからテクスチャマップを作成する先行技術のデバイスおよび方法は、典型的には、オブジェクトの複数の写真を取得し、そのオブジェクトは、複数の写真が３Ｄモデルの表面にマッチするようにステッチされるときにオブジェクトの完全なテクスチャマップを作成するために各写真間で再配置される。２つの写真を使用する先行技術のシステムが最も単純であり、平板のような、いくつかのオブジェクトは、２つの側だけで効率的に撮影することができる。体積を有するオブジェクトは、２つの写真がステッチされる領域の歪みの理由で、現実世界のオブジェクトと２つの画像のみから作成されるテクスチャマップされた３Ｄモデルとの間の不一致が発生する。２つの写真(two-photograph)を用いたシステムにおいて、カメラとオブジェクトの表面との間の浅い角度から生じる歪みは最大になる。また、立方体のような、現実世界のオブジェクトの一定の形状は、例えば、面に垂直であり、２つの画像システムがオブジェクトの周辺部の半分を観察することを阻む、特定の方向を有する。オブジェクトが単一の主垂直軸を有する場合および水平断面が円形または凸状を有する場合、２つの画像を使用する先行技術のシステムは、歪んだ結果となる。このようなシステムは、前方の画像と後方の画像を使用する。典型的には、前方画像と後方画像が接合するモデルの左領域と右領域が継ぎ目となる、３Ｄモデルのテクスチャは、歪曲する。

現実世界のオブジェクトの付加的な写真は、全ての表面が画像形成されるようにできることによって、および個別の画像間のオーバーラップを増加させることにより画像の継ぎ目の歪みを減少させることによって、デジタル表現を改善する。他の先行技術システムは、ターゲットオブジェクトの複数の画像を正確にキャプチャするために回転テーブルまたは回転テーブルの付いた伸縮式アームを用いる。しかしながら、このような回転テーブルシステムは、ターゲットオブジェクトをテーブルの中央に配置するために高度な精度が要求され、それによりそのようなシステムの時間および複雑度が増す。単一のカメラから撮られ、およびターゲットオブジェクトをカメラの視野に正確に配置する必要なく撮られた単一の画像からオブジェクトのテクスチャマップを作成するテクスチャマッピングシステムの必要性が存在する。

出願人によって本明細書で開示される本システムおよび対応する方法は、単一のカメラを用いて単一の画像のターゲットオブジェクトの複数のビューをキャプチャして、ターゲットオブジェクトの形状と同様の形状を有する３Ｄモデルのテクスチャマップを作成する。

図１は、本発明の３ミラー画像キャプチャシステム(three-mirror image capture system)の実施形態を示す概略図である。画像キャプチャシステム１００は、カメラ１１０、ミラー１２０ａ、ｂ、ｃ、および画像プロセッサ１５０を含む。図１は、カメラ１１０の視野１１１およびその中（カメラ１１０の視野１１１内）に位置付けされる３つのミラー１２０ａ、ｂ、ｃを示している。より詳細には、ターゲットオブジェクト１３０は、カメラの視野１１１に位置付けされ、そして２つのミラー１２０ａ，ｂは、カメラの視野１１１のターゲットオブジェクト１３０の両側に位置付けされる。第３のミラー１２０ｃは、ターゲットオブジェクト１３０の上方に位置付けされる。この構成を用いて、カメラ１１０は、ターゲットオブジェクト１３０の単一画像の前方ビュー、上部ビュー、および周辺部ビュー（複数）をキャプチャする。ターゲットオブジェクト１３０の底面は、キャプチャされない。

ミラー１２０ａ−ｂは、カメラの視野１１１の中に視界１２２ａ−ｂを加える（結びつける）。各ミラー１２０ａ−ｂは、ターゲットオブジェクト１３０の周辺部の一部をカメラ１１０に映す。上部ミラー１２０ｃは、オブジェクト１３０の上面を含むビューがカメラ１１０に映るように位置付けされる。

動作において、カメラの視野１１１は、カメラ１１０がオブジェクト１３０の前方画像と、ミラー１２０ａおよび１２０ｂからのオブジェクト１３０の２つの反射画像１２１ａ−ｂとを一緒にキャプチャするようにさせる。第３の反射画像（図示せず）は、上部ミラー１２０ｃによってカメラ１１０に提供されることによって、オブジェクト１３０の上面がカメラの視野１１１において可視となるようにできる。従って、カメラ１１０は、（視野１１１の）単一のデジタル画像のオブジェクト１３０のダイレクトビューとオブジェクト１３０の３つの反射ビューをキャプチャする。

画像プロセッサ１５０は、カメラ１１０からデジタル画像を受信するために結合されている。キャプチャされたデジタル画像（即ち、視野１１１の画像）は、カメラ１１０によって出力され、そして入力として画像プロセッサ１５０によって受信される。その後、図３−１１で詳述するように、画像プロセッサ１５０は、オブジェクト１３０のテクスチャマップを作成する。

図２は、バッフルを有する画像キャプチャシステムを示す概略図である。図２は、ターゲットオブジェクト２３０の前方ビューおよび反射ビュー２２５ａ−ｂを含む単一の画像（図３Ｂの３００）を作成するために、カメラ２１０の視野２１１の２つのミラー２２０ａ−ｂを用いる画像キャプチャシステム２００を示している。図示された画像キャプチャシステム２００において、カメラ２１０は、テクスチャ化されるターゲットオブジェクト２３０に正面を向けている。ターゲットオブジェクト２３０は、表面２０２に配置され得る。２つのミラー２２０ａ−ｂは、既知の角度でターゲットオブジェクト２３０の後ろの表面２０２に位置付けされてもよく、各ミラー２２０ａ−ｂは、ターゲットオブジェクト２３０の前方のダイレクトビューが視野２１１のカメラ２１０において可視であることを妨げずに、ターゲットオブジェクト２３０の反射ビュー２２５ａ−ｂをカメラ２１０に送信する。各反射ビュー２２５ａ、ｂは、ターゲットオブジェクト２３０の後方の一部および両側をカメラ２１０に提供する。カメラ２１０は、視野２１１の画像（図３Ｂに示す）をキャプチャして、その画像をオブジェクト２３０のテクスチャマップを作成する画像プロセッサ２５０に提供する。

ミラー２２０ａ−ｂがターゲットオブジェクト２３０の反射ビュー２２５ａ−ｂよりも広いビューを反射するので、破線（ビュー２２２ａ−ｂのミラー視野として示す）は、各ミラー２２０ａ−ｂの最大反射角度（したがって、全体のビュー）を表す。２つの白いバッフル２４０ａ−ｂは、カメラ２１０によって画像形成された視野２１１を簡素化する。第３のミラー（図示せず）がオブジェクト２３０の上部より上の後方で使用されると、第３のミラーは、ターゲットオブジェクト２３０の前方画像を妨げることなく、ターゲットオブジェクト２３０の上部と後方の一部の画像を反射する。２つのバッフル２４０ａ−ｂは、ミラー２２０ａ−ｂの視野２２２ａ−ｂに位置付けされて、カメラ２１０の視野２１１のミラー２２０ａ−ｂの反射ビュー２２５ａ−ｂの周りの背景を作成する。バッフル２４０ａ−ｂは、例えば、ターゲットオブジェクト２３０に見られるどの色とも異なる同一色の特徴のない表面を提供することによって、視野２１１の反射ビュー２２５ａ−ｂの検出を改善する。さらに、これによって、画像プロセッサ２５０がカメラ２１０からキャプチャされた画像のターゲットオブジェクト２３０を容易に特定できるようになる。

ミラー２２０ａ−ｂに対するカメラ２１０の位置が固定されて既知であるので、カメラ２１０によってキャプチャされる画像の各ピクセルは、例えば、反射ビュー２２５ａ−ｂの、ターゲットオブジェクト２３０からミラー２２０ａ−ｂまでの既知の入射光またはターゲットオブジェクト２３０の表面のいずれかに位置付けされるポイントに対応する。ターゲットオブジェクト２３０の一部が２つの反射ビュー２２５ａ−ｂの接合部において２倍に表されるような、ミラー２２０ａ−ｂの画像間のオーバーラップ２７０がある。これによって、ターゲットオブジェクト２３０のテクスチャが同様の形状の対応する３Ｄモデルを連続的にラッピングするようにできる。さらに、ミラー２２０ａ−ｂがターゲットオブジェクト２３０の投影しか見ないので、オーバーラップ２７０は、必ずしも存在するわけではないエッジを示す傾向がある。ミラー２２０ａ−ｂの２つの反射ビュー２２５ａ−ｂ間のオーバーラップ領域２７０のターゲットオブジェクト２３０の表面は、これら２つのミラー２２０ａ−ｂへの入射光の交差点にある。画像プロセッサ２５０は、オーバーラップ２７０を判定することができ、最適に定義されたオーバーラップがテクスチャマップに選択され得る。カメラ２２０とミラー２２０ａ−ｂの位置が固定されることによって、ターゲットオブジェクト２３０の３Ｄの形状がオーバーラップ領域２７０において判定されるようにできる。この検出された３Ｄの形状を使用してスケールし、そしてターゲットオブジェクト２３０の対応する汎用３Ｄモデルの形状からアフィン関数を適用できる。被写界深度のどのような問題も、ターゲットオブジェクト２３０とミラー２２０ａ−ｂの視野２１１の反射ビュー２２５ａ−ｂとの両方に焦点を合わせるのに絞りを十分小さく設定したカメラレンズ（図示せず）を使用することによって対処される。

ターゲットオブジェクト２３０からカメラまでの距離は、その距離がオブジェクトの高さまたは幅など、オブジェクトの既知の測定から推定することができるので、重要ではない。言い換えれば、カメラ２１０に対するターゲットオブジェクト２３０の位置は、既知の測定から近似することができる。さらに、カメラ２１０に対するターゲットオブジェクト２３０の方向は、重要ではない。なぜならば、画像プロセッサ２５０は、生成されたテクスチャマップを対応する汎用３Ｄモデルの表面に基づいて調整するからである。有利には、オブジェクトが回転テーブルのちょうど中央に位置付けられることを要求する回転テーブルを用いる先行技術のシステムと比べて、図示された画像キャプチャシステム２００は、ターゲットオブジェクト２３０の偏心配置の耐性がかなり高い。

図３Ａ−図３Ｂは、開示された実施形態の態様によるターゲットオブジェクト３３０および３ミラー画像キャプチャシステムによってキャプチャされた結果として生じる画像３００の図である。図３Ａは、可視の前面（Ｆ）、右面（Ｒ）および上面（Ｔ）と、不可視の左面（Ｌ）および後面（Ｂ）を含む直方体の形状を有するターゲットオブジェクト３３０を示している。オブジェクト３３０は、例えば、消費者製品を包含する箱または６つの側面を有する同様の形状の任意の汎用消費者包装を表す。図３Ｂは、図１および図２に示したシステムと同様である画像キャプチャシステム１００、２００を用いて撮られた、ミラーに正面を向けている付加的な上部を有するターゲットオブジェクト３３０のデジタル画像３００である。デジタル画像３００は、オブジェクト３３０の前方正面Ｆの同一背景３１１およびダイレクトビュー３１２を含む。画像３００において、右のミラー反射３２５ａ、左のミラー反射３２５ｂ、および上部のミラー反射３２５ｃは、オブジェクトのダイレクトビュー３１２の周囲に存在する。ミラー反射３２５ａ−ｃのロケーションは、カメラの視野のミラーの物理的ロケーションに対応する。右のミラー反射３２５ａは、ターゲットオブジェクト３３０の右（Ｒ）および後面に対する右の反射ビュー３３０ａを含む。左のミラー反射３２５ｂは、ターゲットオブジェクト３３０の左（Ｌ）および後面に対する左の反射ビュー３３０ｂを含む。上部のミラー反射３２５ｃは、ターゲットオブジェクト３３０の上部（Ｔ）および後面に対する上部の反射ビュー３３０ｃを含む。前方ビュー３１２と比べて、ターゲットオブジェクトの反射ビュー３３０ａ−ｃは、ミラーの角度による射影歪みおよび長さ圧縮を含み、そしてカメラまでの距離の増加によるスケーリング効果を含む。

図４Ａ−図４Ｂは、開示された実施形態の態様による図３Ｂの例示的なキャプチャされた画像３００を使用する射影補正およびミラーリングの図である。図４Ａは、図３Ｂに示したキャプチャされた画像３００と同様のデジタル画像４００を示しているが、ターゲットオブジェクト３３０の前方正面のダイレクトビュー（図３Ｂの３１２）を除いている。それぞれがアウトラインで描かれたミラー反射３２５ａ−ｃのターゲットオブジェクトの反射ビュー３３０ａ−ｃは、キーストーン歪みまたは射影歪みとしても既知である、負のキーストーン効果を含む。この効果は、説明目的のために図３Ｂおよび４Ａにおいて非常に誇張されている。画像処理の前に、画像プロセッサ１５０、２５０は、キャプチャされた画像４００の背景３１１を削除して除去し、ターゲットオブジェクトの反射ビュー３３０ａ−ｃとターゲットオブジェクトのダイレクトビュー（図示せず）のみを残すようにする。

ミラー反射３２５ａ−ｃおよび反射ビュー３３０ａ−ｃ（または各ミラーによって反射されるオブジェクトの画像）に存在するキーストーン効果は、カメラに対する各ミラーの角度の結果である。そのミラーとカメラの角度 (mirror-camera angles)は、カメラのレンズによって受信されるときにオブジェクトの歪曲した反射をもたらす。例えば、カメラ１１０、２１０に対してある角度をなして位置付けされるミラー１２０、２２０による正方形オブジェクトの反射（反射画像１２１ａ−ｂ、２２５ａ−ｂ）は、台形の形状をしている。画像プロセッサ１５０、２５０は、反射画像１２１ａ−ｂ、２２５ａ−ｂの短い側、即ち、ミラー反射３２５ａ−ｃのエッジまたはカメラから最も遠い反射ビュー３３０ａ−ｃを拡大することによって、または反射画像１２１ａ−ｂ、２２５ａ−ｂの長い側、即ち、ミラー反射３２５ａ−ｃのエッジまたはカメラから最も近い反射ビュー３３０ａ−ｃを縮小することによって、このような射影歪みを消す。図４Ｂの例において、画像プロセッサ１５０、２５０は、射影補正を反射画像ビュー３３０ａ−ｃに適用した結果、作業デジタル画像４０１の射影歪みのない画像４３１ａ−ｃが生じる。射影歪みを取り消した後、画像プロセッサ１５０、２５０は、ターゲットオブジェクト３３０の歪みのない画像４３１ａ−ｃ、例えば、右側のミラー反射４２６（図４Ｂ）の右と左を反転させる。結果として、画像プロセッサ１５０、２５０は、作業画像４０１にターゲットオブジェクト３３０の適正なテクスチャおよびアウトラインを生成する。

図５Ａ−図５Ｂは、開示された実施形態の態様によるミラーの位置を使用して反射画像セグメントをスケールする画像プロセッサ１５０、２５０の図である。図５Ａは、射影補正およびミラーリングが適用された（図４Ｂの）作業画像４０１を示している。ミラー反射４２６は、ターゲットオブジェクト３３０に対して関連するミラーの位置のため、ターゲットオブジェクト３３０の後ろの位置からオブジェクトの右正面ビュー４３１ａを反射する。従って、ターゲットオブジェクトの後面は、右正面ビュー４３１ａにおいて可視の状態にある。図５Ａのミラー反射４２６の座標４９９で示すように、ミラー反射４２６は、（ｉ）カメラの視野の中心線に平行であるミラー反射４２６の視野と、（ii）カメラの視野の中心線に垂直なＸ−Ｙ平面を用いて方向付けられる。任意選択で、Ｘ軸、Ｙ軸およびＺ軸に対してミラー反射４２６の既知の位置を所与とすると、ミラー位置の調整は、Ｙ−Ｚ平面のターゲットオブジェクトの表面の補正形を近似してターゲットオブジェクトの反射ビューを形成することができる。ミラーの既知の位置を使用する同様の補正は、ターゲットオブジェクトの全ての反射ビュー４３１ａ−ｃに適用され得る。作業画像４０１に関して、ミラー位置の補正は、適切である。なぜならば、例えば、ターゲットオブジェクトの右正面は、Ｙ−Ｚ平面５９９におよそ平行であることが既知であるからである。

図５Ｂは、図５Ａの作業画像４０１に対応するデジタル画像５０１を示しているが、ミラー位置の調整補正がターゲットオブジェクトの上面、右面、および左面の反射ビュー５３２ａ−ｃに適用されている。この補正は、各反射ビュー５３２ａ−ｃのターゲットオブジェクトの後方の反射ビューを不正解に歪曲しているが、ターゲットオブジェクトの右表面、上表面、および左表面の反射ビュー５３２ａ−ｃは現在、およそ正しい形状である。さらに、３Ｄ空間ロケーションの任意のオーバーラップ領域の表面、例えば、ターゲットオブジェクトの後面は、画像プロセッサ１５０、２５０によって正確に判定されることができ、それらの領域のどの歪みもプロセスの後の段階で補正することができる。

図６Ａ−図６Ｂは、開示された実施形態の態様による画像をオブジェクトサイズでスケールする画像プロセッサ１５０、２５０の図である。図６Ａは、ミラー位置で補正された反射ビュー５３２ａ−ｃを有する図５Ｂのデジタル画像５０１を示しており、さらに図３Ｂからのダイレクト前方ビュー３１２を包含する。反射ビュー５３２ａ−ｃは、光が反射面からカメラまでの距離をさらに進むことにより、ダイレクト前方ビュー３１２よりも小さいビューとしてデジタル画像５０１に存在する。

図６Ｂは、（図６Ａの）反射ビュー５３２ａ−ｃと隣接前方ビュー３１２のエッジ検出に基づいて画像プロセッサ１５０、２５０のスケーリング動作を表す対応するデジタル画像６０１を示している。検出される３つの隣接エッジ６６２ａ−ｃは、５３２ａ−ｃから６３２ａ−ｃまでの反射ビューをダイレクト前方ビュー３１２の隣接エッジのサイズでスケールするために使用される。この動作は、ダイレクト前方ビュー３１２と隣接反射ビュー５３２ａ−ｃとの間でオーバーラップ領域が検出されない場合、適切である。オーバーラップ領域が存在しないことにより、ターゲットオブジェクトは正しく、エッジペア６６２ａ−ｃを包含し、そうでない場合、結果として生じる反射ビュー６３２ａ−ｃとダイレクト前方ビュー３１２との間でギャップが存在する。しかしながら、ギャップの存在は、ターゲットオブジェクトの実際のエッジを表現している可能性が高いことおよび反射ビュー６３２ａ−ｃが、図示されているように、ダイレクト前方ビュー３１２の隣接エッジ６６２ａのサイズで適正にスケールされるよりも、エッジペア６６２ａ−ｃの類似度、即ち、エッジペア６６２ａの要素（members）が同様であり、位置が合っているかどうかを比較することによって判定することができる。

図７Ａ−図７Ｂは、開示された実施形態の態様による作業画像５０１、６０１において画像プロセッサ１５０、２５０によりスケーリングおよび位置合わせされた反射ビューを図示している。図７Ａは、画像プロセッサ１５０、２５０によるオーバーラップ検出処理を用いた図６Ｂのデジタル画像６０１を示している。画像プロセッサ１５０、２５０は、（図６Ｂの）エッジペア６６２ａ−ｃを図７Ａの共通領域ライン７６０ａ−ｃとして検出する。共通領域ラインは、異なるスケーリングおよび歪みを有する場合もあるが、２以上の画像セグメントのターゲットオブジェクトの同一部分（ターゲットオブジェクトの反射ビュー６３２ａ−ｃとダイレクトビュー３１２とも呼ばれる）を表すために現れる、恐らくわずか１ピクセルの太さの画像セグメントである。それに従って、上部反射ビュー６３２ｃの既知の位置を所与とすると、画像プロセッサ１５０、２５０は、垂直な共通領域ライン７６０ｄ−ｅを検出する。右反射ビュー６３２ａと左反射ビュー６３２ｂは、ターゲットオブジェクト７７０ａ−ｂの後方の反射ビューを包含し、これらの領域において、画像プロセッサ１５０、２５０は、以下の図８Ａおよび図８Ｂでさらに説明されるように、共通領域７６１ａ−ｂの対応するペアを検出する。検出された共通領域７６１ａ−ｂの存在により、周囲の画像セグメント／反射ビュー６３２ａ−ｂを、トリミングが必要になり得るオーバーラップ可能な領域とするフラグが立つ。

図７Ｂは、画像プロセッサ１５０、２５０がターゲットオブジェクトのダイレクト前方ビュー３１２を用いて（作業画像６０１の反射ビュー６３２ａ−ｃからの）反射ビュー７３３ａ−ｃの位置合わせをするためにオーバーラップエッジ７６０ａ−ｃを使用するデジタル画像７０１を示している。画像プロセッサ１５０、２５０は、反射ビュー７３３ａ−ｃとダイレクト前方ビュー３１２をそれらの共通エッジ７６０ａ−ｃに沿ってステッチして、単一の作業画像７０１を作成する。結果として生じる作業画像７０１は、デジタル画像において可視であるターゲットオブジェクトの全体を表すが、各領域が２以上の両視点(both of two or more perspectives)から見られるターゲットオブジェクトの同じ領域のビューを反射する、共通領域７６１ａ−ｂを包含する。

図８Ａは、開示された実施形態の態様によるターゲットオブジェクトの共通領域の２つの反射の図である。オーバーラップの消去は、開示された画像処理技術によって自動的に処理される。ミラー（図１の１２０ａ−ｂ）に対するカメラ（図１の１１０）およびカメラのセンサの相対的な位置は、固定されて既知であり、カメラに対する各ミラーのヨーとピッチを含む。カメラの位置および反射ミラーの位置および方向は、ターゲットオブジェクトとは無関係に設定される。所与のミラーに対し、カメラ１１０の（図１の）視野１１１内の任意のポイントは、（図１の）オブジェクト１３０からミラーへの（図１の）入射光１２２ａ−ｂに位置付けされるポイントに対応する。その入射光の位置および方向は、カメラ１１０およびミラー１２０ａ−ｂの位置が固定されているため、既知である。関連するミラーを使用してカメラからミラーまでの（図１の）反射光１２１ａ−ｂが反射されると、入射光１２２ａ−ｂの光は、関連するミラーに対するカメラの位置および方向で完全に定義される。（図１の）カメラ１１０のＣＣＤのピクセルから開始してレンズを通る光線は、単一の一意に定義された入射光を反射する関連するミラー１２０ａ−ｂにぶつかる。これは、カメラの視野の各特定のミラーからの反射画像（１２１ａ−ｂ）の各ピクセルに対して当てはまる。

任意の２つのミラー２２０ａ−ｂ間の（図２の）潜在的なオーバーラップ領域は、固定され、カメラまたはミラー位置の幾何学的制約によって判定される。２つのミラーの（図２の）反射ビュー２２５ａ−ｂがオブジェクトのカバレッジでオーバーラップすると、オーバーラップ２７０のオブジェクトの表面に対応する画像ポイントは、２つのミラーへの入射光の交差点である。以下の２つの事例が起こり得る。

図８Ａに示した、第１の交差点の事例において、２つのミラー８２０ａ−ｂは、反射８２７ａ−ｂを有し、各反射は、オブジェクト８３０の表面の共通領域８６１ａ−ｂの反射ビュー８３２ａ−ｂを包含する。言い換えれば、ミラー８２０ａ−ｂの反射は、カメラ（図示せず）に可視であるターゲットオブジェクト８３０の表面の少なくとも１つのポイントで交差する。交点の３Ｄ空間の位置は、上記で説明したように、第２のミラー８２０ｂが第１のミラー８２０ａと同じポイントの一部を反射する、幾何学的制約によって判定可能である。

そして第２の交差点の事例において、２以上のミラーは、例えば、ミラーのうちの１つが、そのミラーが他のミラーによって見られる同じポイントを見ることを阻むオブジェクトの凹凸によって塞がれると、オブジェクトの表面のどの共通のポイントも反射しない。ミラーの視野光線は、交差する場合もあるが、オブジェクトの表面では交差しない。

結果として、２以上のミラー間のオーバーラップ領域は、２つの可能なタイプの領域を有する。第１の領域タイプの、共通領域８６１ａ−ｂは、第１の交差事例から作成される。第１の領域タイプは、２つのミラー８２０ａ−ｂが、カメラの視点から、同じポイントを反射するか、またはターゲットオブジェクト８３０の表面から、共通領域８６１ａ−ｂを反射する領域である。共通領域８６１ａ−ｂは、ターゲットオブジェクト８３０の表面のポイントで完全に作成され、上記で説明したように、第１の交差事例を満たす。ターゲットオブジェクト８３０の３Ｄの形状および共通領域８６１ａ−ｂの３Ｄの形状は、正確に判定可能である。共通領域８６１ａ−ｂは、オブジェクトの対応する３Ｄモデルの汎用形をスケールしてアフィン関数を適用するのに役立つことができる。さらに、ターゲットオブジェクト８３０のオーバーラップ領域８７０ａ−ｂの反射ビュー８３２ａ−ｂのうちの１つのみがテクスチャマップに選択され得る。典型的には、画像プロセッサ１５０、２５０は、共通領域８６１ａ−ｂのより大きい画像が可視のオブジェクト表面のより高い解像度ビューを表すため、２つの表現のうちより大きい方を選択する。いくつかの事例において、図９Ａで後に示すように、共通領域８６１ａ−ｂの一部は、解像度に基づいて両方の反射ビュー８３２ａ−ｂから選択される。

第２の領域タイプの、オーバーラップ領域８７０ａ−ｂは、ミラーＡ８２０ａの視野８２１ａの一部がミラーＢ８２０ｂの視野８２１ｂで見られるものと同じ領域の対応する一部とは異なるビューを包含する場合に作成される。この状況は、例えば、オブジェクトの表面に存在する反射、遮蔽、２つのミラー８２０ａ−ｂ間の角度差、またはオブジェクトの表面領域が異なるミラー位置から見られるものと同じ表面であると検出されることを阻止する他の状況から生じ得る。一般的に、オーバーラップ領域８７０ａ−ｂは、両方のミラー８２０ａ−ｂによって反射されるターゲットオブジェクト８３０のエリアであるが、共通領域８６１ａ−ｂとして検出されないエリアである。画像プロセッサ１５０、２５０は、２つのミラー８２０ａ−ｂのうちの１つのみからのオーバーラップ領域８７０ａ−ｂをテクスチャマップ用に保持できる。画像プロセッサ１５０、２５０は、以下で説明されるように、ミラー交差点に対するオーバーラップ領域８７０ａ−ｂのロケーションか、または結果として生じるテクスチャマップの品質を改善できる他のパラメータ、例えば、反射または照明によるハイライトを消去するパラメータに基づいてこの選択を行うことができる。

図８Ｂは、２つのミラーとそれらの交線の図である。図８Ｂは、２つのミラーの投影８９０ａ−ｂの交差点において交差してミラーの交線８９１を定義する２つのミラー投影８９０ａ−ｂを図示している。この例において、ミラー投影８９０ａ−ｂおよびそれらの交線８９１は、例えば、カメラの視野のミラーの方向（図示せず）に従って、２Ｄ投影と表される。２つのミラー投影８９０ａ−ｂは、３次元方法で交差することができるが、固定された平面に対するそれらの交差点の任意の２Ｄスライスの方向、例えば、カメラの視野は一定である。カメラの視野のミラー交線８９１の方向は、図８Ｃおよび図８Ｄに示すように、後続の画像処理の複雑度を低減するために、ターゲットオブジェクト８３０の複数の反射ビュー８３２ａ−ｂから、（図８Ａの）オーバーラップ領域８７０ａ−ｂをトリムするために使用され得る。

概略的に、オーバーラップの消去、マージングおよびステッチングの２つの例示的な実施形態が、それぞれ図８Ｃと図８Ｄに示されている。図８Ｃは、オーバーラップ領域８７０ａ−ｂと共通領域８６１ａ−ｂとの両方を有するターゲットオブジェクト８３０の２つのミラー反射（画像）８２７ａ−ｂを示している。２つのトリミングラインＶ１、Ｖ２は、共通領域８６１ａ−ｂの反対側に配置されて、ミラー交線（図示せず）付近に方向付けられる。画像プロセッサ１５０、２５０は、テクスチャマップに統合して後続の画像処理の複雑度を低減するために、反射ビュー８３２ａ−ｂのトリミングラインＶ１、Ｖ２の外側の画像データを削除または保持（消えかかった線として示す）できる。トリミングラインＶ１、Ｖ２間の画像データに対し、画像プロセッサ１５０、２５０は、共通領域８６１ａ−ｂを、それらの判定可能な３Ｄパラメータによって２つの等しいサイズの領域に再形成し、その後にそれらの画像品質、解像度、または他のパラメータに基づいてそのリサイズされた領域をマージする。定義上オーバーラップ領域８７０ａ−ｂは、それらの３Ｄパラメータを判定した状態にすることはできないが、それでも図８Ｄに示される第３のトリミングラインＶ３によって選択的にトリムされ得る。画像プロセッサ１５０、２５０は、オーバーラップ領域８７０ａ−ｂを、それらの画像品質、または、例えば、反射の存在など、他のパラメータに基づいて選択的にトリムする。

図８Ｄは、オーバーラップ領域８７０ａ−ｂと共通領域８６１ａ−ｂとの両方を有するターゲットオブジェクト８３０の２つのミラー反射画像８２７ａ−ｂを示している。共通領域８６１ａ−ｂを二等分する単一のトリミングラインＶ３が配置される。共通領域８６１ａ−ｂの判定可能な３Ｄパラメータを使用して、画像プロセッサ１５０、２５０は、トリミングラインＶ３を両方の反射画像８２７ａ−ｂの同じ位置に配置することができる。画像プロセッサ１５０、２５０は、重複を避けるためにトリミングラインＶ３の外側の画像データを削除し、そのトリミングラインＶ３の配置は、例えば、共通領域８６１ａ−ｂまたはオーバーラップ領域８７０ａ−ｂの解像度または画像品質、または他のパラメータに基づくことができる。

より複雑なターゲットオブジェクトの表面の反射は、共通領域８６１ａ−ｂよりも多く包含するオーバーラップ領域を有することもあり、従って、（図８Ｃの）オーバーラップ領域８７０ａ−ｂ単独が、共通領域８６１ａ−ｂを完全には包含しないトリミングラインＶ１、Ｖ２間に存在することが起こり得る。テクスチャマップのオーバーラップ領域８７０ａ−ｂからの保持データは、図８Ｄに示すように、単一のトリミングラインを使用して判定され得る。

図９Ａ−図９Ｃは、開示された実施形態の態様による接合表面を作成するためのオーバーラップ消去を図示している。図９Ａは、共通領域７６１ａ−ｂを反射するミラーの交差点に平行に方向付けられた２つのトリミングラインＶ１、Ｖ２を有する、図７Ｂで検出された共通領域７６１ａ−ｂを示している。トリミングラインＶ１、Ｖ２は、共通領域７６１ａ−ｂの反対側に配置されて、共通領域７６１ａ−ｂを処理するために周囲の画像データが除去されている場所を示す。図７Ｂに示したように、オーバーラップ領域７７０ａ−ｂは、ターゲットオブジェクトの立方形の結果として完全に共通領域７６１ａ−ｂで構成されている。図９Ａを続けて、トリミングラインＶ１、Ｖ２の外側の画像データは、図示されたように、共通領域７６１ａ−ｂをマージする複雑度を低減するために、画像プロセッサ１５０、２５０によって除去され得る。共通領域７６１ａ−ｂにおいて、比較的高い解像度の領域９６２ａ−ｂが検出されて保持用のフラグが立てられ得る。カメラおよびミラーの既知の位置によって、画像プロセッサ１５０、２５０が共通領域７６１ａ−ｂの３次元表面を判定し、そして図９Ｂに示すように、共通領域７６１ａ−ｂを任意の軸付近に近似に補正する幾何学的投影に変換できるようにする。

図９Ｂは、図９Ａの共通領域７６１ａ−ｂの補正共通領域９７１ａ−ｂを示している。補正共通領域９７１ａ−ｂは、図９Ａの共通領域７６１ａ−ｂの判定されたサイズおよび形状によって補正される（図３Ａ−図３Ｂに示したターゲットオブジェクト３３０の後面になるように補正される）。それに従って、上記で説明したように、補正されるより高い解像度のセグメント９６３ａ−ｂは、補正共通領域９７１ａ−ｂに保持され、そして画像プロセッサ１５０、２５０によって接合されて、図９Ｃの完全な共通領域を形成する。図９Ｃは、合成画像セクション９３４を形成するためにステッチされた補正共通領域（図９Ｂの９７１ａ−ｂ）を示している。結果として生じる合成画像セクション９３４は、（デジタル画像３００および反射３２５ａ−ｂとして図３Ｂに示した）オリジナルデジタル画像の左反射と右反射に可視であるターゲットオブジェクト８３０の後方正面の一部を表す。

図１０Ａは、開示された実施形態の態様による図７Ｂのスケールされ、位置合わせされる反射セグメントと図９Ｃのマージされる共通境界とを有する画像の図である。図１０Ａは、補正されて位置合わせされた右、上部、および左の反射７３３ａをダイレクト前方反射３１２とマージし、そして図９Ｃからの合成オーバーラップ領域９３４を包含するデジタル画像１０００を示している。ターゲットオブジェクトの既知の形状、例えば、（図３Ａの３３０に示すような）立方体、および対応する３Ｄモデルの形状が与えられると、デジタル画像１０００の画像セグメントは、対応する３Ｄモデルの表面を表すテクスチャマップに組み立てられる。図１０Ｂは、図１０Ａの作業画像１０００から作成されて、ターゲットオブジェクト（図３Ａの３３０）を表す立方体の５つの側面を有するテクスチャマップ１００１の図である。

図１１Ａは、対応する３Ｄモデルの対応するテクスチャマップ１１０１を作成するために本発明の方法が上記のように適用される円筒形のオブジェクト１１３０を示している。図１１Ｂは、本発明の実施形態によって作成される、図１１Ａの円筒形のオブジェクト１１３０を画像形成するテクスチャマップ１１０１の図である。（図１に示したように）３ミラーシステムの実施形態を所与とすると、テクスチャマップ１１０１は、ダイレクト前方ビュー１１１１、処理された左、右、および上部の反射ビュー１１２５ａ−ｃ、および４つのオーバーラップ領域１１７０ａ−ｄから作成される。第１のオーバーラップ領域１１７０ａは、ダイレクト前方ビュー１１１１と右反射ビュー１１２５ａとの間であり、第２のオーバーラップ領域１１７０ｂは、ダイレクト前方ビュー１１１１と左反射ビュー１１２５ｂとの間である。第３のオーバーラップ領域１１７０ｃは、右ビュー１１２５ａからの画像セグメントが保持される、右ビュー１１２５ａと左ビュー１１２５ｂとの間のオーバーラップの一部を表す。第４のオーバーラップ領域１１７０ｄは、左ビュー１１２５ｂが保持される、右ビュー１１２５ａと左ビュー１１２５ｂとの間のオーバーラップ領域の残りの半分を表す。

図１２Ａは、開示された実施形態の態様による移動オブジェクトの３ミラーシステムによる複数の画像キャプチャのうちの１つの図である。アニメートされるオブジェクトまたは人物に適用される場合、上記の方法は、リアルタイムに与えられる十分な計算リソースにおいて使用され、結果として生じるモデルは、リモートロケーションに転送されることができる。この方法は、アニメートされるオブジェクトができるだけ長く空間的に連続するようにそれらのオブジェクトをサポートする。それらのオブジェクトが、例えば、画像が別のロケーションの画像にジャンプするなど、不連続であるならば、各オブジェクトの特質のより複雑な判定が要求される。例えば、地図(atlases)とも呼ばれる、オブジェクトの較正されたテクスチャマップが異なるのであれば、どれがどれかを認識する方法が考えられる。それどころか、オブジェクトの地図が同一であれば、どれがどれかを見分けることが不可能になり得る。人物の事例において、人物の対応する３Ｄモデルを選択することができる。対応する３Ｄモデルが、例えば、短かすぎるまたは幅が広すぎるなど、適正な形状を有していなければ、その３Ｄモデルは、カメラによってキャプチャされる画像にスケールされ得る。次に、実オブジェクトのテクスチャをできるだけ多く、理想的には、全てエクスポーズする較正が行われ得る。その後、３Ｄモデルは、現実世界のオブジェクトを周知の動きで移動させて、結果として生じるデジタル画像をキャプチャし、そして、それらの画像を所定の動きと関連付けることによって移動する現実世界のオブジェクトに較正され得る。３Ｄモデルの較正およびスケーリングが完了した後、実オブジェクトの新しい動きを観察して３Ｄモデルをアニメーションすることができる。

図１２Ａは、立方体状のターゲットオブジェクト（図３Ａの立方体状のターゲットオブジェクト３３０）のデジタル画像１２００を示している。ターゲットオブジェクトのテクスチャマップ（図１０Ｂの１００１）が作成されて対応する３Ｄモデル（図示せず）と関連付けられた後、本発明の実施形態は、カメラの視野の移動ターゲットオブジェクトの複数のデジタル画像１２００をキャプチャすることによって対応する３Ｄモデルをアニメートする。各デジタル画像１２００において、カメラの位置に基づいて既知の座標集合が前方ビュー１２１２およびそれぞれの反射１２２５ａ−ｃに存在する。複数のキャプチャされたデジタル画像１２００のうちの２以上が解析されて、ターゲットオブジェクトのダイレクトビュー１２１２に対し、およびそれぞれの反射ビュー１２３０ａ−ｃに対して並進および回転のベクトルを判定する。例えば、ダイレクト前方ビュー１２１２において、Ｙ方向とＸ方向の並進が判定されて、Ｚ軸の回転が判定される。

図１２Ｂは、図１２Ａの移動オブジェクトの複数の画像キャプチャのうちの少なくとも２つから生成される、テクスチャマップ１２０１および関連するベクトル１２９０、１２９１、１２９３である。図１２Ｂは、図１２Ａの各作業デジタル画像１２００に対応するテクスチャマップ１２０１を示している。デジタル画像の各画像セグメント（前方、右、上部、左、後方）に対し、当業者には周知であるベクトル演算操作を使用して対応する並進および回転ベクトル１２９０、１２９１、１２９３が計算される。図１２Ｃは、図１２Ａの移動オブジェクトの３Ｄモデル１２３１および関連する並進および回転ベクトル１２９４を示している。ターゲットオブジェクトから撮られた画像１２００の所与のシーケンスから、対応する並進および回転ベクトル１２９０、１２９１、１２９３を対応するテクスチャマップに適用して、結果として図１２Ｃに示すように、対応する３Ｄモデルを並進および回転の３つの軸１２９４でアニメートすることができる。

図１３Ａ−図１３Ｂは、開示された実施形態の態様による画像からテクスチャマップを生成する方法のフローチャートである。図１３Ａは、ビューの単一画像から３Ｄテクスチャマップを生成する例示的な方法のフローチャート１３００である。ステップ１３１０において、視野の画像がカメラによってキャプチャされる。視野は、ターゲットオブジェクトのダイレクトビューおよび反射面からのターゲットオブジェクトの反射ビューを有する。次に、ステップ１３２０において、ターゲットオブジェクトの反射ビューは、キャプチャされた画像のターゲットオブジェクトのダイレクトビューから分離される。次に、ステップ１３３０において、反射ビューは、歪みを除去することによって補正される。次に、ステップ１３４０において、キャプチャされた画像のビューのいずれかの間のオーバーラップは、任意に検出されて除去される。ステップ１３５０において、ターゲットオブジェクトの３Ｄモデル表現のテクスチャマップは、ダイレクトビューと補正された反射ビューを組み合わせることによって生成される。最後に、ステップ１３６０において、テクスチャマップは、ターゲットオブジェクトの３Ｄモデル表現に投影される。

図１３Ｂは、キャプチャされた画像が少なくとも２つの反射ビューを含む場合に、ステップ１３１０のキャプチャされた画像のビューのいずれかの間のオーバーラップを検出することおよび除去することを含む、ステップ１３４０の例示的な方法のフローチャート１３０１である。ステップ１３４１において、ダイレクトビューのいずれかと第１および第２の反射ビューとの間のオーバーラップが検出され、そしてビューのいずれかに存在する任意の共通領域が特定される。次に、ステップ１３４２において、検出された共通領域は、それらの対応するビューから分離されるか、または除去される。次に、ステップ１３４３において、任意の共通領域の３Ｄ空間（またはターゲットオブジェクト）のサイズおよび形状は、第１および第２の反射面の既知の位置を使用して計算される。次に、ステップ１３４４において、分離された共通領域のサイズおよび形状は、ステップ１３４３の計算によって補正されて、共通領域に存在するターゲットオブジェクトの表面の一部を表す。次に、ステップ１３４５において、各検出された共通領域の画像品質が判定されて、その共通領域は、それらの画像品質の関数として単一のマージされる領域にマージされる。最後に、ステップ１３４６において、マージされた共通領域は、ステップ１３５０において使用されて、その共通領域に対応するターゲットオブジェクトの領域のテクスチャマップを生成する。

図１４Ａは、本発明の実施形態が展開され得るコンピュータネットワークまたは同様のデジタル処理環境を図示している。クライアントコンピュータ（複数）／デバイス１４５０およびサーバコンピュータ（複数）１４６０は、処理、格納、および入力／出力デバイスが実行するアプリケーションプログラムなどを提供する。クライアントコンピュータ（複数）／デバイス１４５０はまた、通信ネットワーク１４７０を通じて、他のクライアントデバイス／プロセッサ１４６０およびサーバコンピュータ（複数）１４５０を含む、他のコンピューティングデバイスにリンクされることができる。通信ネットワーク１４７０は、リモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット）、世界規模のコンピュータ群、ローカルエリアまたはワイドエリアネットワーク、および現在それぞれのプロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を使用して互いに通信するゲートウェイの部分となることができる。

図１４Ｂは、図１３Ａ−図１３Ｂの例示的な方法／コンピュータルーチン１３００、１３０１および図１−図２の例示的な画像処理装置１５０、２５０などの、本発明のさまざまな実施形態が実装され得る、コンピュータ（例えば、図１４Ａのクライアントプロセッサ／デバイス１４５０またはサーバコンピュータ１４６０）の内部構造のブロック図である。各コンピュータ１４５０、１４６０は、バスがコンピュータまたは処理システムのコンポーネント間のデータ転送に使用されるハードウェアラインのセットであるシステムバス１４７９を包含する。バス１４７９は、本質的に、要素間の情報の転送を可能にするコンピュータシステム（例えば、プロセッサ、ディスクストレージ、メモリ、入力／出力ポート、ネットワークポートなど）の異なる要素を接続する共有のコンジットである。システムバス１４７９に取り付けられるのは、さまざまな入力および出力デバイス（例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなど）をコンピュータ１４５０、１４６０に接続するためのＩ／Ｏデバイスインタフェース１４８２である。ネットワークインタフェース１４８６は、コンピュータがネットワーク（例えば、図１４Ａのネットワーク１４７０）に取り付けられたさまざまな他のデバイスに接続できるようにさせる。メモリ１４９０は、上記に詳述した方法／ルーチン１３００、１３０１、および画像システムプロセッサ１５０、２５０を実装するために使用されるコンピュータソフトウェア命令１４９２およびデータ１４９４用の揮発性ストレージを提供する。ディスクストレージ１４９５は、本発明の実施形態を実装するために使用されるコンピュータソフトウェア命令１４９２およびデータ１４９４用の不揮発性ストレージを提供する。中央処理装置１４８４もシステムバス１４７９に取り付けられて、コンピュータ命令の実行を提供する。

一実施形態において、プロセッサルーチン１４９２およびデータ１４９４は、本発明システムのソフトウェア命令の少なくとも一部を提供するコンピュータ可読媒体（１または複数のＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープ他など、リムーバブルストレージ媒体）を含む、コンピュータプログラム製品（概して、符号１４９２により参照される）である。コンピュータプログラム製品１４９２は、当業者には周知であるように、適した任意のソフトウェアインストール手順によってインストールされることができる。別の実施形態において、ソフトウェア命令の少なくとも一部はまた、ケーブル、通信および／またはワイヤレス接続を介してダウンロードされ得る。他の実施形態において、本発明のプログラムは、伝搬媒体（例えば、インターネットなど、グローバルネットワーク、または他のネットワーク（複数）を介して伝搬される無線波、赤外線波、レーザー波、音波、または電波）で伝搬される信号に具体化されるコンピュータプログラムが伝搬される信号製品１４７１である。このような搬送媒体または信号は、本発明のルーチン／プログラム１４９２のソフトウェア命令の少なくとも一部を提供する。

代替的実施形態において、伝搬信号は、伝搬媒体で搬送されるアナログ搬送波またはデジタル信号である。例えば、伝搬信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワーク、または他のネットワークを介して伝搬されるデジタル化した信号であってよい。一実施形態において、伝搬信号は、ミリ秒、秒、分、またはもっと長い期間にわたってネットワークを介してパケットで送出されるソフトウェアアプリケーションの命令など、ある期間にわたって伝搬媒体を介して送信される信号である。別の実施形態において、コンピュータプログラム製品１４９２のコンピュータ可読媒体は、コンピュータプログラムが伝搬される信号製品について上述したような、コンピュータシステム１４６０が、伝搬媒体を受信し、そして伝搬媒体に具体化される伝搬信号を特定することなどによって、受信して読み取ることができる伝搬媒体である。

一般的に言えば、用語「搬送媒体」または「遷移搬送波」は、前述の遷移信号、伝搬信号、搬送媒体、ストレージ媒体などを含む。

さらに、本発明は、さまざまなコンピュータアーキテクチャに実装され得る。図１４Ａおよび図１４Ｂのコンピュータは、説明を目的とするものであり、本発明を限定するものではない。

ブロック図およびフローチャートは、要素を増やしても減らしてもよく、異なって配置されてもよく、または異なって表現されてもよいことを理解されたい。実装は、本発明の実施形態の実行を図示するブロック／フロー／ネットワーク図およびブロック／フロー／ネットワーク図の数を決定してよいことを理解されたい。

上述したブロック図およびフローチャートの要素は、ソフトウェア、ハードウェア、またはファームウェアに実装されてよいことを理解されたい。さらに、上述したブロック／フロー／ネットワーク図の要素は、ソフトウェア、ハードウェア、またはファームウェアにおいて任意の方法で組み合わされまたは分けられてもよい。ソフトウェアに実装されるのであれば、そのソフトウェアは、本明細書で説明された実施形態をサポートすることができる任意の言語で書き込まれてよい。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）その他など、コンピュータ可読媒体の任意の形式で格納されてよい。動作において、汎用またはアプリケーション専用プロセッサは、当業者によく知られている方法でソフトウェアをロードして実行する。

この発明は、発明の例示的な実施形態に関して詳細に図示されて説明されているが、添付の特許請求の範囲に含まれる本発明の範囲から逸脱しない範囲において形式および詳細のさまざまな変更が行われてよいことが当業者には理解されよう。

Claims (22)

1. 視野の画像をキャプチャするステップであって、前記視野は、ターゲットオブジェクトのダイレクトビュー、および少なくとも１つの反射面からの前記ターゲットオブジェクトの少なくとも１つの反射ビューを有し、前記キャプチャされた画像は、前記ダイレクトビューのダイレクト画像、および前記ターゲットオブジェクトの前記少なくとも１つの反射ビューの少なくとも１つの反射画像を有することと、
   前記キャプチャされた画像の前記ダイレクト画像から少なくとも１つの反射画像を分離するステップと、
   少なくとも１つの歪みが低減された反射画像を提供するために、前記分離した反射画像から歪みを低減するステップと、
   前記ダイレクト画像、および前記少なくとも１つの歪みが低減された反射画像からテクスチャマップを生成するステップと、
   前記ターゲットオブジェクトを表す３Ｄモデルに前記生成されたテクスチャマップを投影するステップと、
   前記キャプチャされた画像のビューのいずれかの間のオーバーラップを検出するステップと
   を備えたことを特徴とする方法。
2. 前記少なくとも１つの反射面は、第１の反射面および第２の反射面を含み、
   前記少なくとも１つの反射ビューは、前記第１の反射面からの前記ターゲットオブジェクトの第１の反射ビュー、および前記第２の反射面からの前記ターゲットオブジェクトの第２の反射ビューを含み、
   前記少なくとも１つの反射画像は、前記第１の反射ビューからの第１の反射画像、および前記第２の反射ビューからの第２の反射画像を含むことを特徴とする請求項１に記載の方法。
3. 前記第１の反射ビューと第２の反射ビューおよび前記ターゲットオブジェクトの前記ダイレクトビューは、前記ターゲットオブジェクトの周囲の少なくとも一部を観察することを特徴とする請求項２に記載の方法。
4. 前記少なくとも１つの反射面は、第１の反射面、第２の反射面、および第３の反射面を含み、
   前記少なくとも１つの反射ビューは、前記第１の反射面からの前記ターゲットオブジェクトの第１の反射ビュー、前記第２の反射面からの前記ターゲットオブジェクトの第２の反射ビュー、および前記第３の反射面からの前記ターゲットオブジェクトの第３の反射ビューを含み、
   前記少なくとも１つの反射画像は、各々、前記第１の反射ビューの第１の反射画像、前記第２の反射ビューの第２の反射画像、および前記第３の反射ビューの第３の反射画像を含むことを特徴とする請求項１に記載の方法。
5. 前記第１の反射ビューおよび第２の反射ビューならびに前記ダイレクトビューは、前記ターゲットオブジェクトの少なくとも周囲の一部を観察し、
   前記第３の反射ビューは、前記ターゲットオブジェクトの上面または底面を観察することを特徴とする請求項４に記載の方法。
6. 前記ターゲットオブジェクトの前記ダイレクト画像、前記第１の反射画像、および前記第２の反射画像の少なくとも２つの画像との間のオーバーラップを検出するステップと、
   前記少なくとも１つの画像から前記検出されたオーバーラップを除去するステップと
   をさらに含むことを特徴とする請求項２に記載の方法。
7. 前記オーバーラップを検出するステップは、
   前記検出されたオーバーラップを有する、少なくとも２つの前記画像の各々において共通領域を検出するステップと、
   前記検出されたオーバーラップを有する、前記少なくとも２つの前記画像の各々から前記共通領域を除去するステップと、
   前記第１および第２の反射面の既知の位置を用いて、前記共通領域のサイズおよび形状を計算するステップと、
   前記計算された、前記ターゲットオブジェクトの表面の一部を示すために、前記共通領域を補正するステップと、
   各々の補正共通領域の画像品質を判定し、前記判定された画像品質を用いて、前記補正された共通領域をマージされる領域にマージするステップと、
   前記少なくとも１つのテクスチャマップを生成する際に接合領域を用いるステップと
   をさらに含むことを特徴とする請求項６に記載の方法。
8. 前記キャプチャされた画像において、前記ターゲットオブジェクトの前記ダイレクト画像から少なくとも１つの反射画像を分離するステップは、
   前記キャプチャされた画像において領域の歪みを検出するステップと、
   前記ターゲットオブジェクトの前記少なくとも１つの反射画像として、前記検出された領域にフラグを立てるステップと
   を含むことを特徴とする請求項１に記載の方法。
9. 前記少なくとも１つの反射画像から歪みを低減するステップは、
   前記ターゲットオブジェクトのサイズにより前記少なくとも１つの反射画像をスケーリングするステップと、
   前記少なくとも１つの反射画像において射影歪みを補正するステップと、
   前記少なくとも１つの反射面の位置および前記ターゲットオブジェクトの形状に基づいて、前記少なくとも１つの反射画像を再形成するステップと
   のうちの少なくとも１つのステップを含むことを特徴とする請求項１に記載の方法。
10. 前記ターゲットオブジェクトが第１の位置から第２の位置に移動するときに、前記ターゲットオブジェクトを有する、前記視野の複数のキャプチャされる画像を生成するステップと、
    前記複数の画像から複数のテクスチャマップを生成するステップと
    をさらに含むことを特徴とする請求項１に記載の方法。
11. 前記ターゲットオブジェクトの動きを検出するステップと、
    前記３Ｄモデルの対応する動きを生成するために、前記ターゲットオブジェクトの前記検出された動きを前記３Ｄモデルと相関させるステップと、
    前記３Ｄモデルの対応する動きに基づいて、前記３Ｄモデルを対応する第１の位置から対応する第２の位置までのアニメーションにするステップと
    をさらに含むことを特徴とする請求項１０に記載の方法。
12. 単一の画像のターゲットオブジェクトから３Ｄモデルのテクスチャマップを生成するためのシステムであって、
    視野を有するカメラであって、前記カメラは前記視野の画像をキャプチャし、前記キャプチャされた画像はターゲットオブジェクトのダイレクト画像を含む、カメラと、
    前記カメラの前記視野の１または複数の反射面であって、前記１または複数の反射面が、前記ターゲットオブジェクトの１または複数の反射ビューがカメラに映るように位置付けされ、前記キャプチャされた画像は、前記１または複数の反射ビューの１または複数の反射画像を含む、反射面と、
    前記キャプチャされた画像を受信する画像プロセッシングデバイスであって、前記ダイレクト画像から前記１または複数の反射画像を分離し、前記１または複数の反射画像の歪みを低減し、ダイレクト画像および前記１または複数の分離された反射画像に基づいて、テクスチャマップを生成する、画像プロセッシングデバイスと
    を備え、
    前記画像プロセッシングデバイスは、前記キャプチャされた画像のビューのいずれかの間のオーバーラップを検出することを含むことを特徴とするシステム。
13. 前記１または複数の反射面は第１の反射面および第２の反射面を含み、前記ターゲットオブジェクトの前記１または複数の反射画像は第１の反射画像および第２の反射画像を含むことを特徴とする請求項１２に記載のシステム。
14. 前記ターゲットオブジェクトの前記第１の反射画像と第２の反射画像および前記ダイレクト画像は、実質的に、前記ターゲットオブジェクトの周囲のすべてを画像形成することを特徴とする請求項１３に記載のシステム。
15. 前記視野は、さらに、第３の反射面、および前記ターゲットオブジェクトの第３の反射画像を含む、前記１または複数の反射ビューを含むことを特徴とする請求項１３に記載のシステム。
16. 前記第１の反射画像と第２の反射画像および前記ダイレクト画像は、前記ターゲットオブジェクトの周囲のすべてを実質的に観察し、前記第３の反射画像は、前記ターゲットオブジェクトの上面または底面を観察することを特徴とする請求項１５に記載のシステム。
17. 前記画像プロセッシングデバイスは、前記ターゲットオブジェクトの前記ダイレクト画像、前記第１の反射画像、および前記第２の反射画像の少なくとも２つの画像との間のオーバーラップを検出し、前記キャプチャされた画像から前記検出されたオーバーラップを除去することをさらに含むことを特徴とする請求項１３に記載のシステム。
18. 前記オーバーラップを検出する前記画像プロセッシングデバイスは、さらに、
    前記検出されたオーバーラップを有する、少なくとも２つの前記画像の各々において共通領域を検出し、
    前記検出されたオーバーラップを有する、前記少なくとも２つの前記画像の各々から前記共通領域を除去し、
    前記第１および第２の反射面の既知の位置を用いて、前記共通領域のサイズおよび形状を計算し、
    前記ターゲットオブジェクトの前記計算された表面の一部を示すように、前記共通領域を補正し、
    各々の補正共通領域の画像品質を判定し、前記判定された画像品質を用いて、前記補正された共通領域をマージされる領域にマージし、
    前記少なくとも１つのテクスチャマップを生成する際に接合領域を用いる
    ことを含むこと特徴とする請求項１７に記載のシステム。
19. 前記画像プロセッシングデバイスが、前記キャプチャされた画像において、前記ターゲットオブジェクトから前記１または複数の反射ビューを分離することは、前記キャプチャされた画像において、キーストーン歪みの１または複数の領域を検出し、検出された領域に前記少なくとも１つの反射ビューとするフラグを立てることを含むことを特徴とする請求項１２に記載のシステム。
20. 前記画像プロセッシングデバイスが前記１または複数の反射ビューにおいて歪みを低減することは、前記ターゲットオブジェクトのサイズに対応する前記少なくとも１または複数の反射ビューをスケーリングすることを含むことを特徴とする請求項１２に記載のシステム。
21. 前記カメラは、前記ターゲットオブジェクトが第１の位置から第２の位置に移動するときに、前記視野の複数の画像をキャプチャし、前記画像プロセッシングデバイスは、前記複数のキャプチャされた画像を受信し、複数のテクスチャマップを生成することを特徴とする請求項１２に記載のシステム。
22. 前記画像プロセッシングデバイスは、前記ターゲットオブジェクトの動きを検出し、前記３Ｄモデルの対応する動きを生成するために、前記ターゲットオブジェクトの前記検出された動きを前記３Ｄモデルと相関させ、前記３Ｄモデルの対応する動きに基づいて、前記３Ｄモデルを対応する第１の位置から対応する第２の位置までのアニメーションにすることを特徴とする請求項２１に記載のシステム。