JP5749064B2 - パッケージされた商品の製品画像からの３ｄモデルの自動生成 - Google Patents

Description

本発明の技術分野は、ビデオゲームおよびオンラインショッピング／閲覧を含むが、それに限定されない３Ｄ対話体験、および３Ｄ対話シミュレーションのためのスケーラブルなコンテンツ作成に関する。

店舗内部の対話型３Ｄシミュレーションにおいて表示するための３Ｄパッケージされた商品を構築するのに、コンピュータ３Ｄモデリング技法が用いられている。具体的には、製品、その店舗／棚状況を閲覧するというエンドユーザ体験、および製品を「選び出し」て、製品パッケージの文章をオンラインで閲覧し、読むという体験を実施するのに、３Ｄモデリングが用いられている。

パッケージされた商品の３Ｄモデルが店内ディスプレイ用に構築されたアプリケーションでは、棚（パッケージ商品）３Ｄモデルコンテンツを構築するのに、２つの戦略が用いられている。

第１の戦略では、ＡｕｔｏＤｅｓｋ（登録商標）３ＤＳ Ｍａｘ（登録商標）、Ｍａｙａ（登録商標）または他の汎用モデリングアプリケーションを使った、写真および製品測定値情報からの３Ｄモデルの手動作成を用いていた。比較的多数のモデルを系統的に作るためのワークフローが計画され編成され得るが、作業単位は依然として、形状の手動モデリングおよびテクスチャマップの手動作成に基づく。

第２の戦略では、汎用の写真ベースの３Ｄモデリングアプリケーションを用いていた。物理オブジェクトから３Ｄモデルを作成する際の全般的問題を解決するための様々な市販ソフトウェアおよび手法が存在する。このソフトウェアの例は、「標準デジタルカメラを使わせて、現実世界のオブジェクトを、十分にテクスチャ化された３Ｄモデルとして取り込む」、「Ｓｔｒａｔａ Ｆｏｔｏ ３Ｄ」である。たとえば、非特許文献１で入手できる製品情報を参照されたい。製品（パッケージされた商品）の汎用写真モデリングは、少数の製品モデルを作るのに効果的である。この技法の主な制約は、複数の写真から作成される３Ｄモデルが、欠陥を修正し、オンライン３Ｄアプリケーションでの使用のためにジオメトリをスケーリングし直すのにかなりの手作業を必要とすることである。

既存ソリューションの制約は、コンピュータアプリケーションでの使用のために３Ｄモデルを処理するのに求められる、手（専門的３Ｄアーティスト）による作業の量に基づく。各モデルは、（複雑な汎用３Ｄモデリングアプリケーションでは）部分的または完全に手作業で作成されなければならないので、このプロセスに基づくどのモデリングワークフローも、スケーラブルではない。

写真モデリングシステムに基づく３Ｄモデルに関して認められる第２の問題は、幾何学メッシュの不規則性である。不規則なメッシュにより、モデルの下流サイズ変更／処理はより困難になり、ワークフローは、モデルコンテンツの将来の手動編集および手動調整のサイクルに固定される。

従来技術の欠点は、コンテンツ生産プロセスにおいて、モデルの下流編集に依存していることである。これが問題となる理由は、Ａ）入力データが新規画像で絶えずアップデートされ、Ｂ）オンラインでの買い物客体験アプリケーションの新たな要件／改良に起因して出力仕様が変わり得るからである。

手動編集への依存により、コンテンツ生産は、連続ハンド編集のサイクルに固定される。比較的大きい変更が求められると、古い出力が破棄され、コンテンツ作成の全コストは、二倍（または三倍もしくはＮ倍）の負担になるはずである。

ｗｗｗ．ｓｔｒａｔａ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｓｔｒａｔａ＿３ｄ＿ｃｘ＿ｓｕｉｔｅ／ｓｔｒａｔａ＿ｆｏｔｏ＿３ｄ＿ｃｘ／

本発明は、従来技術の上記問題に対処する。具体的には、本発明は、オンラインの対話型３Ｄ体験アプリケーション（対話型３Ｄショッピング体験、対話型３Ｄビデオゲームなどのような）の視覚化要件に適したパッケージ商品の３Ｄモデルを生成するための自動化プロセスを提供する。

本発明は、ほとんどの製品パッケージが、標準化された製品写真によって取り込まれた、製品の前面ビュー、側面ビューおよび上面ビューから製品の正確な３Ｄ形状（またはオブジェクトの輪郭）を取り込むように変形され得る幾何プリミティブ（円柱やボックスのような）からモデリングされ得ることを理解することによって、対象問題を解決する。

一実施形態では、出願人は、２Ｄビジュアルプラノグラミング（ｐｌａｎｏｇｒａｍｍｉｎｇ）の業界をサポートするためにある、高解像度パッケージされた商品製品画像の大規模ライブラリの存在を利用する。プラノグラミングでは、商品棚レイアウトの２Ｄ表現が、商品棚「プラノグラム」でエンコードされた、標準化された棚レイアウト情報から作成される。

このことは、正確な製品サイズ測定値を含むデータベースにリンクされた、視点が「較正された」製品写真の大規模ライブラリが存在することを意味する。本実施形態では、本発明によるシステムは、市販の画像ライブラリ（または画像マスク層をもつ、同様に加工された元の製品の２Ｄ画像）から始まり、正確な製品形状情報を抽出し、形状情報および形状分類データから対応する３Ｄ表現を生成し、次いで、平面投影を用いて、元の写真をその３Ｄ表現の上にマップする。画像マスク層は、写真を前景および背景に分離させる。前景は、製品の２Ｄ画像の一部であるどのピクセルも含む。背景は、製品の２Ｄ画像の一部ではないどのピクセルも含み、撮影シーン中の背景または周辺空間は可視的である。写真／２Ｄ画像中で前景を背景から分離する技法は公知であり、本発明は、特定のどの画像マスク層方法にも依存しない。

本発明の実施形態における全体目標は、モデルへの下流編集なしで、２Ｄ画像および製品メタデータから３Ｄモデルを作成することである。この手法による主要な利益は、新規またはアップデートされた画像コンテンツに合わせ、またはモデル出力に変更（および訂正）を行うように、モデル処理を稼働（および再稼働）できることである。

本発明によるモデル処理の一次的利点は、自動化、容易性、人間による労力の削減、速さおよび再現性、ならびに標準化された３Ｄモデル出力を含む。二次的利点は、モデル出力パラメータを設定し変更できることを含む。このことは、異なるメッシュおよび画像サイズまたはタイプをもつ高品質３Ｄモデルが容易に生成され得ることを意味する。さらに、写真および製品サイズ測定値を有するデータベースを、３Ｄデータの手動操作もモデリングもなしで、受容可能な高解像度の３Ｄ製品（パッケージ商品）モデルにすることができる。

本発明を実施する３Ｄモデリングのコンピュータ実施方法は、
対象消費財製品の製品データにアクセスすることであって、製品データが、対象消費財製品の２Ｄ画像データおよび対象消費財製品の形状情報を含むこと、
製品データから形状情報を抽出することであって、前記抽出が、消費財製品の２Ｄ輪郭形状（すなわち、画像マスク）を取得すること、および対象消費財製品の３Ｄ形状クラス（たとえば、割り当てられ、あるいは提供された）を取得することを含むこと、
取得された２Ｄ輪郭形状および３Ｄ形状クラスを使って、精密３Ｄ形状グラフを生成する（または導出する）こと、
取得された３Ｄ形状クラスに応じて、対象消費財製品の３Ｄメッシュを生成することであって、３Ｄメッシュが、
精密３Ｄ形状グラフの一連の断面領域を決定することであって、各断面領域が、対象消費財製品の縦軸に対してそれぞれの断面をもち、断面が、ある断面領域と、並び順において次の断面領域とでは変化するように、所与の断面領域に対する断面が、（ｉ）並び順において直後の断面領域（存在する場合）のそれぞれの断面、および（ｉｉ）並び順において直前の断面領域（存在する場合）のそれぞれの断面とは異なることによって、また
一連の断面領域を使って、対象消費財製品の３Ｄメッシュを定義することによって生成されること、ならびに
生成された３Ｄメッシュの上に、２Ｄ画像データから得た対象消費財製品の画像を投影することであって、前記投影が、対象消費財製品の３Ｄモデルを形成し、形成された３Ｄモデルが、出力における表示のために構成されることを含む。

精密３Ｄ形状グラフは、対象消費財製品の正射投影的に正しい３Ｄオブジェクト輪郭／輪郭形状を、少なくとも前面視点および背面視点から表す。

形状情報は、対象消費財製品の幅、高さおよび奥行き測定値を含み、対象消費財製品の３Ｄ形状タイプまたはクラスの指示を含む。さらに、対象消費財製品は、概ね円柱形のボトル、ポンプ連射タイプの排出端部をもつ概ね円柱形のボトル、概ねチューブ状の排出チューブ、実質的にボックス形状のカートン、概して枕形状のサック（ｓａｃｋ）、バッグ（ｂａｇ）またはポーチ（ｐｏｕｃｈ）、および平らな端部（たとえば、自立するように構成された底端部）をもつ、概ねサック状のコンテナバッグまたはポーチを含むタイプのうち、任意の１つのタイプまたはその組合せタイプの容器をもつ、パッケージされた商品である。

いくつかの実施形態では、対象消費財製品の３Ｄメッシュを定義するステップは、縦軸に沿った対象消費財製品の奥行きプロファイルを決定することをさらに含む。奥行きプロファイルの決定において利用される技法は、形状生成を含み得る。

いくつかの実施形態では、精密３Ｄ形状グラフの一連の断面領域を決定するステップは、曲線適合を含む。

本発明の一態様によると、投影するステップは、生成されたメッシュ上への、対象消費財製品の２Ｄ画像の平面投影を利用する。

いくつかの実施形態では、メッシュ生成は、精密３Ｄ形状グラフ、決定された一連の断面領域、および入手可能なときは奥行きプロファイルを合成する。奥行きプロファイルは、対象インスタンスのものでも、対象消費財製品の３Ｄ形状クラスに関連づけられたものでもよい。

別の実施形態では、３Ｄモデリングのためのコンピュータ機器が、上記方法ステップを実施する。たとえば、抽出部が、データストアにある対象消費財製品の製品データにアクセスし、形状データ（たとえば、２Ｄ画像マスク）を抽出する。抽出部は、対象消費財製品の３Ｄ形状クラスをさらに取得し、精密３Ｄ形状グラフを導出する。精密３Ｄ形状グラフから、メッシュジェネレータが、決定された３Ｄ形状クラスに応じて、対象物特有のメッシュを生成する。画像マップ部（またはモデラの同様の動作）が、生成されたメッシュの上に２Ｄ画像を投影し、対象消費財製品の３Ｄモデルを形成する。

上記内容は、添付の図面に示す、本発明の実施形態例の、以下のより具体的な説明から明らかであろう。図面において、同じ参照符号は、様々な図面を通して同じ部分を指す。図面は必ずしも原寸通りではなく、本発明の実施形態を記載することに重みが置かれている。

本発明の一実施形態を示すブロック図および概略図である。 本発明の一実施形態を示すブロック図および概略図である。 本発明の一実施形態を示すブロック図および概略図である。 一実施形態における３Ｄ形状クラスを示す概略図である。 一実施形態におけるチューブクラスの奥行きプロファイルを示す図である。 一実施形態におけるサッククラスの奥行きプロファイルを示す図である。 一実施形態におけるポーチクラスの奥行きプロファイルを示す図である。 一実施形態における、ポンプハンドルクラスの対象物に対するサポート用３Ｄ形状／オブジェクト輪郭ファイルをもつ精密３Ｄ形状グラフを示す図である。 一連の断面領域が決定され使用される、一実施形態におけるメッシュ生成を示す概略図である。 一連の断面領域が決定され使用される、一実施形態におけるメッシュ生成を示す概略図である。 対象物（ワイングラス）の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された３Ｄモデルへの、本発明によるモデリング技法を示す略図である。 対象物（ワイングラス）の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された３Ｄモデルへの、本発明によるモデリング技法を示す略図である。 対象物（ワイングラス）の初期画像から、対象物のメッシュテクスチャファイルへ、初期画像が対象メッシュの上に投影された３Ｄモデルへの、本発明によるモデリング技法を示す略図である。 本発明を実施するコンピュータシステムを示す概略図である。 本発明を実施するコンピュータシステムを示すブロック図である。

本発明の実施形態例の記載が、以下に続く。

ショッピング／店舗体験アプリケーションの場合、主として検討することは、食品雑貨店全体の大きさにまで、すなわち５０，０００から８０，０００個の製品モデルの規模でスケーラブルなパッケージ商品モデル作成プロセスの構築が必要なことである。このため、本出願人は、こうした視覚化要件にとって許容可能なモデリングのレベルは、２Ｄ画像を使って、２Ｄ画像がその上に投影し直される３Ｄメッシュを生成して達成することができ、利用可能な各製品画像用に特注の高解像度３Ｄモデルが作成されると認識している。

図１Ａ、１Ｂは、この手法を例示し、本発明を実施するコンピュータシステム１００の概観を示す。コンピュータシステム１００は、データストア１１と、以下でさらに詳述する１つまたは複数の処理モジュール２１、３１、４１から形成された３Ｄモデラ１３とを含む。データストア１１は、様々なパッケージ商品（たとえば、小売製品）の製品データを保持する。各製品（特定パッケージ）ごとに、製品データは、（ｉ）対象製品の前面、背面、上面および／または側面の２Ｄ画像、（ｉｉ）パッケージされた製品の高さ、幅および奥行きのサイズ測定値、ならびに（ｉｉｉ）製品に対する３Ｄ形状タイプまたはクラスの指示を含む。

一実施形態では、２Ｄ画像は、既存画像ライブラリにある製品の写真または同様に加工された元の製品画像である。一般に、画像ライブラリファイルのアルファ層またはチャネルは、それぞれの製品／パッケージの２Ｄ画像マスクまたは２Ｄ形状マップ（未加工２Ｄ形状データ）を提供する。このアルファ層／画像マスク層は、写真を前景および背景に分離する。前景は、製品の２Ｄ画像の一部であるどのピクセルも含み、背景はそれ以外のピクセル（製品の２Ｄ画像の一部ではない任意のピクセル）であり、撮影シーン中の背景または周辺空間は可視的である。写真／２Ｄ画像において前景を背景から分離する技法は公知であり、本発明の実施形態は、特定のどの方法で形成された画像マスクにも依存しない。

図１に戻ると、データストア１１は、ライブラリファイルへのファイルパス名、ポインタ／リンクなどを使って、製品表１０中の利用可能な製品画像を参照する。製品表１０は、各製品ごとに、個々のパッケージ／製品に関連づけられた製品寸法（サイズ測定値）、３Ｄ形状クラス指示ならびに名称およびＵＰＣ（統一製品コード）など、他の製品メタデータなどの属性も格納する。表１は、このような、データストア１１の製品表１０を例示する。

モデラ１３内には、各３Ｄ形状クラスまたはタイプ１５ごとに、それぞれの３Ｄテンプレート１７および対応する規則１９がある。３Ｄテンプレート１７は、対応するクラス形状の汎用３Ｄメッシュを生成するためである。具体的には、テンプレート１７は、クラスを表すオブジェクト形状に対する３次元での相対ジオメトリを与える。対応する規則１９は、テンプレートメッシュに適用されると、２Ｄ製品画像およびサイズ測定値データから、製品固有の３Ｄモデルを構築する。規則１９は、対応する形状クラス向けの奥行きプロファイル規則を含む。

一実施形態でサポートされる３Ｄ形状クラス１５の例を、図２に示す。この非限定的例では、
非対称、
丸い蓋つきの非対称
バッグ、
バッテリボックス、
ボックス、
奥行きが平らなもの、
その他諸々、
楕円、
丸い蓋つきの楕円
ポーチ、
ポンプハンドル、
円形、
サック、
枕形状のサック、および
チューブ
という３Ｄ形状クラスがある。
他の３Ｄ形状クラスも適切である。

本発明のコンテンツ生成の重要部分は、あらゆる製品パッケージを、汎用形状タイプ（たとえば、形状クラス１５の１つ）のインスタンスとして扱うことである。データストア１１の製品表１０における、製品単位での３Ｄ形状クラスの指示により、システム１００は、製品の２Ｄ製品画像およびサイズ測定値データからそれぞれの３Ｄモデルを構築するための３Ｄテンプレート１７および具体的規則１９を決定することが可能になる。この形状クラスシステムは、拡張可能なように設計されるので、新たな種類のパッケージが見つかったときは、そのタイプを実装するように新規テンプレート１７および構築規則１９を作成すればよい。

データストア１１／製品表１０中の各製品ごとに、モデラ１３は、図１Ｂにまとめられ、図１Ｃでさらに詳述する３Ｄモデル生成プロセス１０３を稼働する（実行する）。図１Ｂを参照すると、モデラ１３は、対象製品の（製品表１０中の）製品データにアクセスする。具体的には、モデラ１３のデータ抽出部（モジュール）２１が、製品の２Ｄ画像ファイルから未加工形状マップデータ（すなわち、２Ｄ画像マスクデータ）を取得し、製品表１０から対象製品のサイズ測定値および３Ｄ形状クラスを取得する。抽出された形状情報から、データ抽出部２１は、精密３Ｄ形状グラフ２３を形成する。精密３Ｄ形状グラフ２３は、実質的に３Ｄ形状マップであり、少なくとも前面視点および背面視点から、具体的対象製品の正射投影的に正しい輪郭形状を表す。モデラ１３の次の処理モジュール３１、４１が、精密３Ｄ形状グラフ２３に基づいて、および対象製品に対して指示された形状クラスに対応する３Ｄテンプレート１７および規則１９に基づいて、３Ｄメッシュを生成する。最終的には、モデラ１３が、生成されたメッシュの上に元の製品画像をマップし、その結果、対象製品の３Ｄモデル２５を生じる。

次に、３Ｄモデル生成プロセス１０３（モデラ１３）について、図１Ｃに示す一実施形態を参照してより詳細に論じる。

たとえばＵＰＣ番号で参照される特定の各製品ごとに、モデラ１３は、３Ｄモデル生成プロセス１０３を以下のように稼働する。たとえばデータ抽出部２１によって実装されるステップ１１２は、製品表１０／データストア１１から、（ＵＰＣ番号で索引づけられた）対象製品に対するサイズ測定値および形状クラスを取り出す。次のステップ１１２／抽出部２１は、製品表１０中の画像参照から、対象製品の前面画像ファイルを取り出し、画像アルファ層を開く。そのデータ層から、ステップ１１２は、画像ピクセル座標で表される、未加工の製品２Ｄ形状データ（すなわち、２Ｄ画像マスク）をエクスポートする。

ステップ１１２は、エクスポートされた未加工の製品２Ｄ形状情報を利用し、製品画像マスクファイルを形成する。製品画像マスクファイルの内容は、製品表１０中で参照される、製品写真（１つまたは複数）／画像からピクセルレベルで抽出された、製品パッケージの２Ｄ輪郭形状（２Ｄ画像マスク）を記述する数値データである。幅（Ｘ座標）および高さ（Ｙ座標）の寸法両方に対してマスクが算出される。ステップ１１２はまた、切抜き領域に対する追加の幅マスクを算出して、製品の２Ｄ輪郭境界内部に現れる穴または他の特有の特徴の場所を決定する。表２は、このマスクデータを例示する。

最後に、ステップ１１２は、製品画像の縁を拡張し、ぼかす。こうすることにより、画像の縁を滑らかにし、余分な白色空間を実質的に刈り込む。

ステップ１１４は、入力として、ステップ１１２から製品画像マスクファイルを受け取る。製品の形状クラスに応じて、ステップ１１４は、対応するクラステンプレート１７（クラスにとって汎用なジオメトリデータ）を参照し、形状マップ（輪郭）曲線を少数の線分でモデリングする。ステップ１１４は、製品輪郭曲線を、製品画像マスクファイルから最良適合線分（ピクセルで表す）に変換する。ステップ１１４は、反復プロセスを利用して、適合を最適化し、線分の数を目指す目標まで削減する。

次に、ステップ１１４は、製品の形状クラス１５およびその形状クラスに対応する奥行きプロファイル規則１９を使って奥行き推定値を生成する。多くの製品の場合、写真は、前面および背面製品ビューに関してのみ用意される可能性がある。このことは、製品の奥行き／形状についての情報が欠落していることを意味する。ステップ１１４は、この欠落情報を、形状クラス１５によって決定される奥行きプロファイルを使って埋め、形状クラスは、欠落している奥行き形状情報を定義する。ＴＵＢＥ形状クラスに対する奥行きプロファイルが、図３Ａおよび表３に表示されている。一実施形態におけるＳＡＣＫおよびＰＯＵＣＨ形状クラスに対するサンプル奥行きプロファイルは、それぞれ図３Ｂ、３Ｃに示されている。

その結果、ステップ１１４は、メートルにスケーリングされた、製品の３Ｄオブジェクト輪郭を与える、製品特有の３Ｄ形状ファイルを出力する。高さは、ｙ軸に沿って輪郭取りされる。幅の最小値および最大値は、ｘ軸に沿って与えられる。また、奥行きは、ｚ軸に沿って輪郭取りされる。３Ｄ形状ファイルは、たとえばメートル単位で表される、製品の前面ビューおよび側面ビューに対する、３Ｄメッシュの投影された幾何学的輪郭を指定する。一実施形態では、たとえば、３Ｄ形状ファイルは、製品の左側、製品の右側および製品の奥行き（製品の奥行きは対称的であると仮定する）の幾何学的に正確なメッシュモデルを与える３つの線分グラフ（ベクトル）を含む。表４は、ＰＵＭＰ＿ＨＡＮＤＬＥ形状クラスにおける、ある製品用に生成された３Ｄ形状ファイルにあるサンプルデータ記録を示す。図４は、Ｙ軸に対して決められるＸｍａｘ、Ｘｍｉｎ、およびＸ−Ｍｉｄｐｏｉｎｔ座標をもつ対応するグラフを示す。

繰り返しになるが、３Ｄ形状ファイルは、実質的に、精密３Ｄ形状グラフ２３を与える。精密３Ｄ形状グラフ２３は、少なくとも前面視点および背面視点からの、対象製品の正射投影的に正しい輪郭形状を表す。このように、精密３Ｄ形状グラフ２３（３Ｄ形状ファイル）は、特定のパッケージされた製品の３Ｄオブジェクト輪郭情報を提供する。

図１Ｃについて続けると、モデラプロセス１０３のステップ１１６は、ステップ１１４によって出力された３Ｄ形状ファイル（精密３Ｄ形状グラフ）２３を読む。対象製品の形状クラスに基づいて、ステップ１１６は、対応する形状クラステンプレート１７の寸法を決定し、円柱テンプレートファイルを生成する。一実施形態では、ＢＯＸ、ＢＡＴＴＥＲＹおよびＢＡＧクラスが、６面円柱からモデリングされ、他のクラスタイプは、たとえばセグメントサイズが１６のデフォルトの円柱を用いる。いくつかの実施形態では、ＧＥＮＥＲＡＴＥ ３Ｄ ＳＨＡＰＥ関数が、標準化された幾何プリミティブ（テンプレート１７から生成された円柱）の上に形状の頂点をマッピングすることによって、製品モデルを構築する。たとえば、ボトル形状のオブジェクトはすべて、変形された円柱と見なすことができ、すべて、ある特定の製品用の３Ｄ形状ファイル／精密３Ｄ形状グラフ２３中で指定される垂直および半径方向セグメントの数に基づいて、標準化されたメッシュをもつ単一の円柱テンプレートファイルから作成することができる。たとえば、オブジェクト形状の高さが、半径方向セグメントによって指定される。図５は、一実施形態において使われるこのような円柱テンプレートメッシュを示す。テンプレートメッシュは、それぞれの形状クラスに対して汎用である。図６に示すのは、ＴＵＢＥ形状クラス用のテンプレートメッシュである。断面は、図５の円柱の円形断面ではなく、楕円に対する数学公式に基づく。こうした標準メッシュを３Ｄテンプレート１７から生成する公知の技術が利用される。

メッシュテンプレート１７から製品モデルを組み立てる戦略が、本出願人のコンテンツ生成プロセスの主要特徴である。テンプレート１７からの３Ｄモデルの生成は、高度に統一された製品モデルセットを結果として生じ、単純なビューベースの写真（２Ｄ画像）から数十万の３Ｄ製品モデルが確実に作成されることを可能にするための、本発明によるプロセスのスケーラビリティにとって不可欠である。

標準化されたメッシュジオメトリの指定に加え、テンプレート１７はまた、メッシュ表面を素材グループに編成し、このグループの上には、製品の２Ｄ写真から生成されたテクスチャがマップされる。

最終的に、テンプレートメッシュファイル１７の使用により、目標／平均出力モデルジオメトリサイズの緻密な制御が可能になる。解像度が低い方のメッシュモデルと解像度が高い方のメッシュモデルとの間のトレードオフは、容易に調整することができる。たとえば、接近閲覧（接近モデル）のためにはポリゴン数が非常に高いメッシュを、および棚の配置（棚ビューモデル）のためにはポリゴン数が非常に低いメッシュを生じればよいであろう。

次に、ステップ１１６は、形状クラス規則１９に基づいて、３Ｄ形状ファイル（精密３Ｄ形状グラフ２３）から断面（Ｘ−Ｚ面マップ）を作成する。好ましくは、断面処理モジュール３１が、このステップを実装する。断面処理モジュール３１は、精密３Ｄ形状グラフ２３の一連の断面領域を決定する。各断面領域は、対象製品の縦軸に対してそれぞれの断面をもつ。所与の断面領域に対する断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、（ｉ）並び順において直後の断面領域のそれぞれの断面、および（ｉｉ）並び順において直前の断面領域のそれぞれの断面とは異なる。

次に、ステップ１１６は、テンプレート１７から生成された円柱メッシュと、（処理モジュール３１によって生成された）一連の断面領域を合成する。具体的には、メッシュジェネレータ４１が、テンプレート１７から生成された円柱メッシュを通り抜け、処理モジュール３１からの、生成された断面データ出力から、製品特有の３Ｄモデルを構築する。

この例において、メッシュジェネレータ４１は、テンプレート１７から生成された円柱メッシュを、３Ｄ形状ファイル／精密３Ｄ形状グラフ２３に保存されている製品特有の寸法に基づいて変形させる。パッケージ形状を１組の２次元スライスとして扱い、メッシュジェネレータ４１は、形状ファイル／精密３Ｄ形状グラフ２３を通して、ｘ−Ｍｉｄｐｏｉｎｔ、ｘ−Ｍｉｎ、ｘ−Ｍａｘ、およびｚ−Ｄｅｐｔｈフィールドデータを使ってデータを反復させて、製品形状クラスに基づいて断面を構築する。

ＢＡＴＴＥＲＹ形状クラスの場合、２つの構成要素が、ステップ１１４、１１６で生成され処理される。上記に続く厚紙挿入処理に加え、ステップ１１４は、クラムシェル押出し形状ファイル２３を作成する。クラムシェル押出しは、透明パック内容の形状に基づく、面取りされた正方形である。押出し形状ファイル２３が存在する場合、ステップ１１６の処理は、製品特有のジオメトリをもつクラムシェルメッシュを、このステップの出力に加える。表５は、クラムシェル押出しに適応する切抜きをもつ、厚紙挿入のための２Ｄ画像マスクデータの例を挙げる。

ステップ１１８は、ステップ１１６によって出力されたモデル頂点からの、前面画像および背面画像に対する平面画像マップを算出する。つまり、ステップ１１８は、平面テクスチャとしての元の製品画像を、生成された３Ｄメッシュの上に加える。メッシュ寸法は、各製品の前面の写真に基づくので、前面写真は、１ピクセルの精度まで基底メッシュと揃えられ得る。いくつかの実施形態では、ステップ１１８は、製品の形状クラス１５に基づいて、テクスチャストレッチおよびテクスチャ調整規則を適用する。平面マッピングおよびテクスチャストレッチのための一般的技法が利用される。ステップ１１８は、結果として生じる３Ｄモデル２５を出力する。いくつかの実施形態では、出力モデル２５は、ジオメトリおよびテクスチャマップを含む３Ｄモデルファイルである。

図７Ａ〜７Ｃは、本発明による技法をさらに示すサンプルモデルである。第１の画像（図７Ａ）は、ワイングラスの初期３Ｄモデルである。第２の画像（図７Ｂ）は、元のモデルメッシュの正射投影表示から作成されたテクスチャファイルである。第３の画像（図７Ｃ）は、平面マッピングがモデル表面上に図７Ｂのメッシュテクスチャファイルを表示する、図７Ａの３Ｄモデルである。

この技法は、様々な形状タイプ／クラス１５用の消費財のパッケージングの３Ｄモデルを大量に生じることに成功し得る。平面マッピングの結果、パッケージモデルの側面においてある程度のピクセルストレッチが行われるが、ストレッチは、比較的高い解像度の製品写真を用いて作業することによって、最小限にすることができる。また、こうしたモデルが、視角が制限される店舗の棚という状況において表示されると、この技法に基づく製品モデルは、かなり写実的に見える。

出力された３Ｄモデルファイル２５は、小売店／オンラインショッピング、ビデオゲームおよび他のユーザ対話型アプリケーションのウェブページの供給において使用するために構成される。一般的なウェブページ供給技術が利用される。

図８Ａは、本発明が実装され得るコンピュータネットワークまたは同様のデジタル処理環境を示す。

クライアントコンピュータ（１つまたは複数）／装置５０およびサーバコンピュータ（１つまたは複数）６０は、アプリケーションプログラムなどを実行する処理、記憶、および入力／出力装置を提供する。クライアントコンピュータ（１つまたは複数）／装置５０はまた、他のクライアント装置／プロセス５０およびサーバコンピュータ（１つまたは複数）６０を含む他のコンピューティング装置に、通信ネットワーク７０を通してリンクされ得る。通信ネットワーク７０は、互いと通信するのにそれぞれのプロトコル（ＴＣＰ／ＩＰ、ブルートゥースなど）を現時点で用いている、リモートアクセスネットワーク、グローバルネットワーク（たとえば、インターネット）、世界規模のコンピュータ集合体、ローカルエリアまたはワイドエリアネットワーク、およびゲートウェイの一部でよい。他の電子装置／コンピュータネットワークアーキテクチャも適切である。

図８Ｂは、図８Ａのコンピュータシステム内のコンピュータ（たとえば、クライアントプロセッサ／装置５０またはサーバコンピュータ６０）の内部構造の図である。各コンピュータ５０、６０は、システムバス７９を含み、バスとは、コンピュータまたは処理システムの構成要素間でのデータ転送用に使われる１組のハードウェア線である。バス７９は本質的に、コンピュータシステムの様々な要素（たとえば、プロセッサ、ディスク記憶装置、メモリ、入力／出力ポート、ネットワークポートなど）の間での情報の転送を可能にする、こうした要素を接続する共有コンジットである。システムバス７９には、様々な入力および出力装置（たとえば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなど）をコンピュータ５０、６０に接続するＩ／Ｏ装置インタフェース８２が取り付けられる。ネットワークインタフェース８６により、コンピュータは、ネットワーク（たとえば、図８Ａのネットワーク７０）に取り付けられた他の様々な装置と接続することができる。

メモリ９０は、本発明の実施形態を実装するのに使われるコンピュータソフトウェア命令９２およびデータ９４のための揮発性記憶（たとえば、上で詳述したデータ抽出部２１、断面処理モジュール３１、メッシュジェネレータ４１、３Ｄモデラ１３およびサポートコード）を提供する。ディスク記憶装置９５は、本発明の実施形態を実装するのに使われるコンピュータソフトウェア命令９２およびデータ９４のための不揮発性記憶を提供する。中央演算装置８４も、システムバス７９に取り付けられ、コンピュータ命令の実行を可能にする。

一実施形態では、本発明によるシステムのためのソフトウェア命令の少なくとも一部分を提供するコンピュータ可読媒体（たとえば、１つまたは複数のＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープなどのような取外し可能記憶媒体）を含む、プロセッサルーチン９２およびデータ９４は、コンピュータプログラム製品（全体が９２で参照される）である。コンピュータプログラム製品９２は、当該分野において公知である、適切などのソフトウェアインストール手順によってもインストールされ得る。別の実施形態では、ソフトウェア命令の少なくとも一部分は、ケーブル、通信および／またはワイヤレス接続を介してもダウンロードされ得る。他の実施形態では、本発明によるプログラムは、伝播媒体上の伝播信号（たとえば、無線波、赤外線波、レーザ波、音波、あるいはインターネット、または他のネットワーク（１つもしくは複数）などのグローバルネットワークを介して伝播される電波）で実施されるコンピュータプログラム伝播信号製品１０７である。このような搬送媒体または信号は、本発明によるルーチン／プログラム９２のためのソフトウェア命令の少なくとも一部分を提供する。

代替実施形態では、伝播信号は、伝播媒体上で搬送されるアナログ搬送波またはデジタル信号である。たとえば、伝播信号は、グローバルネットワーク（たとえば、インターネット）、遠隔通信ネットワーク、または他のネットワークを介して伝播されるデジタル化信号でよい。一実施形態では、伝播信号は、数ミリ秒、秒、分、またはそれ以上の期間に渡ってネットワークを介してパケットに入れて送られるソフトウェアアプリケーション用の命令など、一定の期間に渡って伝播媒体上で伝送される信号である。別の実施形態では、コンピュータプログラム製品９２のコンピュータ可読媒体は、コンピュータプログラム伝播信号製品に関して上述したように、コンピュータシステム５０が、伝播媒体を受信し、伝播媒体中で実施される伝播信号を識別することによって受け取り、読むことができる伝播媒体である。

概して、「搬送媒体」という用語または一時的担体は、上記一時的信号、伝播信号、伝播媒体、記憶媒体などを包含する。

上記考察によると、特徴的であるパッケージされた商品の３Ｄモデル２５の生成に関して、出願人の手法には３つの特徴がある。第１に、本発明は、高解像度の３Ｄパッケージモデルの大量生産を可能にする。「大量生産」により、出願人は、店舗の広さに基づいて、パッケージされた商品の棚またはカテゴリ全体が作成され得ることを意味する。典型的な食品雑貨店における独自項目の数の推定値は、５０，０００という規模である。「高解像度」により、出願人は、製品ラベルが可読であることを意味する。本発明による３Ｄモデル２５は一般に、２００ｄｐｉと３００ｄｐｉとの間の元の写真解像度に基づく。ここでのＤＰＩは、実際の製品寸法に相対して、１インチ（２．５４ｃｍ）当たりの画像ピクセルと定義される。

第２に、本発明は、製品形状タイプの組立てにおけるメッシュプリミティブに基づく、正規のテンプレートの使用を利用する。本発明によるプロセスを使って組み立てられる３Ｄモデル２５は、緻密だが単純なジオメトリをもつ。これは、出願人の手法を、複雑であり不規則なメッシュを生成する他の写真モデリングアプリケーションとは差別化する。

第３に、本発明は、平面投影およびテクスチャストレッチを用いる。最初に前面および背面画像からモデルを組み立てる技法は、製品モデルの厳しい目視検査によって確認され得る。具体的には、平面投影は、製品の前面側と背面側との間に可視的継ぎ目を作成する。本発明の実施形態は、テクスチャストレッチを適用することによって、この継ぎ目の可視性を最小限にする。

本明細書で引用したすべての特許、公開出願および参考文献の教示内容は、参照によってその全体が組み込まれている。

実施形態例を参照して本発明を具体的に例示し記載したが、形および細部における様々な変更が、添付の請求項によって包含される本発明の範囲から逸脱することなく行われ得ることが当業者には理解されよう。

Claims (22)

1. ３Ｄモデリングのコンピュータ実施方法であって、
   対象消費財製品の製品データにアクセスするステップであって、前記製品データは、前記対象消費財製品の２Ｄ画像データおよび前記対象消費財製品の形状情報を含む、ステップと、
   前記製品データから前記形状情報を抽出するステップであって、前記抽出するステップは、前記消費財製品の２Ｄ輪郭形状および前記対象消費財製品の３Ｄ形状クラスを取得するステップを含む、ステップと、
   前記取得された２Ｄ輪郭形状および３Ｄ形状クラスを用いて、精密３Ｄ形状グラフを生成するステップであって、前記精密３Ｄ形状グラフは、少なくとも前面視点および背面視点からの、前記対象消費財製品の正射投影的に正しい輪郭形状を表す、ステップと、
   前記取得された３Ｄ形状クラスに応じて、前記精密３Ｄ形状グラフから前記対象消費財製品の３Ｄメッシュを生成する、ステップと、
   前記３Ｄメッシュの上に、前記２Ｄ画像データから得た前記対象消費財製品の画像を投影するステップであって、前記投影するステップは、前記対象消費財製品の３Ｄモデルを形成し、前記形成された３Ｄモデルは、出力における表示のために構成される、ステップと
   を含むことを特徴とする方法。
2. 前記形状情報は、前記対象消費財製品の幅測定値、高さ測定値および奥行き測定値を含み、前記対象消費財製品の３Ｄ形状クラスの指示を含むことを特徴とする請求項１に記載の方法。
3. 前記対象消費財製品の３Ｄメッシュを生成する前記ステップは、
   前記精密３Ｄ形状グラフの一連の断面領域を決定するステップであって、各断面領域は、前記対象消費財製品の縦軸に対してそれぞれの断面をもち、所与の断面領域に対する前記断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、
   （ｉ）並び順において直後の断面領域の前記それぞれの断面、および（ｉｉ）並び順において直前の断面領域の前記それぞれの断面とは異なる、ステップと、
   前記一連の断面領域を使って、前記対象消費財製品の前記３Ｄメッシュを定義するステップと
   を含むことを特徴とする請求項１に記載の方法。
4. 前記対象消費財製品の前記３Ｄメッシュを定義する前記ステップは、前記縦軸に沿って、前記対象消費財製品の奥行きプロファイルを決定するステップをさらに含むことを特徴とする請求項３に記載の方法。
5. 奥行きプロファイルを決定する前記ステップは、形状生成を利用することを特徴とする請求項４に記載の方法。
6. 前記精密３Ｄ形状グラフの一連の断面領域を決定する前記ステップは、曲線適合を含むことを特徴とする請求項３に記載の方法。
7. メッシュを生成する前記ステップは、前記対象消費財製品の、前記精密３Ｄ形状グラフ、前記決定された一連の断面領域および前記決定された３Ｄ形状クラスに対する奥行きプロファイルを合成するステップを含むことを特徴とする請求項３に記載の方法。
8. メッシュを生成する前記ステップは、前記対象消費財製品の前記精密３Ｄ形状グラフ、
   前記決定された一連の断面領域および奥行きプロファイルを合成するステップを含むことを特徴とする請求項３に記載の方法。
9. 投影する前記ステップは、平面投影を利用して、前記生成されたメッシュの上に前記対象消費財製品の２Ｄ画像を投影し、その結果、前記対象消費財製品の前記３Ｄモデルを形成することを特徴とする請求項１に記載の方法。
10. 前記対象消費財製品は、パッケージされた商品であることを特徴とする請求項１に記載の方法。
11. 前記パッケージされた商品は、
    円柱形のボトルと、
    ポンプ連射タイプの排出端部を有する円柱形のボトルと、
    チューブ状の排出チューブと、
    ボックス形状のカートンと、
    枕形状のサックまたはポーチと、
    平らな端部を有する、サック状の容器またはポーチと
    を含むタイプのうち、任意の１つのタイプまたはその組合せタイプの容器を有することを特徴とする請求項１０に記載の方法。
12. コンピュータベースの３Ｄモデリング機器であって、
    対象消費財製品の製品データのソースであって、前記製品データは、前記対象消費財製品の２Ｄ画像データおよび前記対象消費財製品の形状情報を含む、ソースと、
    前記ソースにアクセスし、前記製品データから前記形状情報を抽出する抽出部であって、前記消費財製品の２Ｄ輪郭形状および前記対象消費財製品の３Ｄ形状クラスを取得する、抽出部と、
    前記取得された２Ｄ輪郭形状および３Ｄ形状クラスを使って、精密３Ｄ形状グラフを生成し、前記精密３Ｄ形状グラフは、少なくとも前面視点および背面視点からの、前記対象消費財製品の正射投影的に正しい輪郭形状を表す、前記抽出部と、
    前記精密３Ｄ形状グラフを受け取るように結合されたメッシュジェネレータであって、前記取得された３Ｄ形状クラスに応じて、前記精密３Ｄ形状グラフから前記対象消費財製品の３Ｄメッシュを生成する、メッシュジェネレータと、
    前記２Ｄ画像データから得た前記対象消費財製品の画像を前記３Ｄメッシュの上に投影するモデラであって、前記投影は、前記対象消費財製品の３Ｄモデルを形成し、前記形成された３Ｄモデルは、出力における表示のために構成される、モデラと
    を備えることを特徴とする機器。
13. 前記形状情報は、前記対象消費財製品の幅測定値、高さ測定値および奥行き測定値を含み、前記対象消費財製品の３Ｄ形状クラスの指示を含むことを特徴とする請求項１２に記載の機器。
14. 前記メッシュジェネレータは、
    前記精密３Ｄ形状グラフの一連の断面領域を決定することであって、各断面領域は、前記対象消費財製品の縦軸に対してそれぞれの断面をもち、所与の断面領域に対する前記断面は、ある断面領域と、並び順において次の断面領域とでは断面が変化するように、（ｉ）並び順において直後の断面領域の前記それぞれの断面、および（ｉｉ）並び順において直前の断面領域の前記それぞれの断面とは異なること、ならびに
    前記一連の断面領域を使って、前記対象消費財製品の前記３Ｄメッシュを定義することによって、前記対象消費財製品の前記３Ｄメッシュを生成することを特徴とする請求項１２に記載の機器。
15. 前記対象消費財製品の前記３Ｄメッシュを定義する前記メッシュジェネレータは、前記縦軸に沿って、前記対象消費財製品の奥行きプロファイルを決定することをさらに含むことを特徴とする請求項１４に記載の機器。
16. 奥行きプロファイルの前記決定は、形状生成を利用することを特徴とする請求項１５に記載の機器。
17. 前記精密３Ｄ形状グラフの一連の断面領域の前記決定は、曲線適合を含むことを特徴とする請求項１４に記載の機器。
18. 前記メッシュジェネレータは、前記対象消費財製品の、前記精密３Ｄ形状グラフ、前記決定された一連の断面領域および前記決定された３Ｄ形状クラスに対する奥行きプロファイルを合成することを特徴とする請求項１４に記載の機器。
19. 前記メッシュジェネレータは、前記対象消費財製品の前記精密３Ｄ形状グラフ、前記決定された一連の断面領域および奥行きプロファイルを合成することを特徴とする請求項１４に記載の機器。
20. 前記モデラは、平面投影を利用して、前記生成されたメッシュの上に前記対象消費財製品の２Ｄ画像を投影し、その結果、前記対象消費財製品の前記３Ｄモデルを形成することを特徴とする請求項１２に記載の機器。
21. 前記対象消費財製品は、パッケージされた商品であることを特徴とする請求項１２に記載の機器。
22. 前記パッケージされた商品は、
    円柱形のボトルと、
    ポンプ連射タイプの排出端部を有する円柱形のボトルと、
    チューブ状の排出チューブと、
    ボックス形状のカートンと、
    枕形状のサック、バッグまたはポーチと、
    平らな端部を有する、サック状の容器、バッグまたはポーチと
    を含むタイプのうち、任意の１つのタイプまたはその組合せタイプの容器を有することを特徴とする請求項２１に記載の機器。

Images