JP5673293B2 - 画像合成方法、画像合成装置、プログラム、及び、記録媒体 - Google Patents

Description

本発明は、商品販促用画像を制作する画像合成システムに関し、詳しくは、背景用ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像と商品の撮影画像を合成する画像合成方法に関する。

商品カタログ等の商品販促用の画像の作成においては、従来、商品および背景を実写で行うために、撮影スタジオに部屋等のセット（建て込み）を製作して、そこに商品を設置して撮影したり、商品をロケーション現場に持ち出して設置し、ロケーション撮影する方法がある。

しかしながら、これらの方法は、建て込みが撮影後には廃棄物になってしまう点、ロケーション撮影では天候や時間等に左右される点等の問題があるため、商品販促用画像を画像合成により制作することが行なわれている。
画像合成の方法としては、実写の背景画像と商品画像を合成する方法と、実写の背景とＣＧ技術による商品画像を合成する方法と、実写の商品画像とＣＧ技術による背景画像を合成する方法がある。

実写の背景画像と商品画像を合成する場合、違和感のない合成画像を得るために、合成を前提として予め綿密な計算がなされた実写画像の素材を準備し、それらを印刷用のレイアウトスキャナ等の画像処理ステーションやデザイン専用システム等で合成する処理を行うが、予め合成を前提とした計算を必要とし、それに基づいて撮影し素材を準備しなければならず、また、計算が間違っていた場合等には大きなロスを伴うという問題がある。

実写画像とＣＧ画像を合成する場合には、ＣＧのレンダリング画像は実写画像のカメラと同じ設定で行う必要があり、３次元ＣＧソフトウエアに習熟した作業者が目視で位置合わせをしなければならないという問題がある。
すなわち、撮影対象物のなかの目印となる１点からカメラまでの距離、カメラの高さをメジャーで計測し、３次元ＣＧのカメラ位置をセットしたうえで、実際の撮影画像とＣＧのカメラビューを目視で比較しながらカメラアングルを合わせなければならない。

カメラアングル等を求める方法も提案されている（例えば、特許文献１、特許文献２、特許文献３）。

特許文献１は、対象物の撮影時に、画角、水平・垂直線、ターゲット中心を示す照準（グリッド板）を装備した「アングルファインダー」と呼ばれるレンズをカメラに装着し、グリッド画像と対象物を多重露光し、３次元ＣＧにより対象物のＣＧ画像及び同アングルのグリッド画像を作成し、両グリッド画像を負わせることにより、ＣＧ画像との合成を行うものである。

特許文献２は、格子模様の入ったブルーバックスクリーンを用いて対象物を撮影し、格子模様の明度や格子輪郭部分の明瞭さを元にカメラのパラメータを推定し、合成するＣＧシーンのカメラ設定を行う方法を提案している。

特許文献３は、実写画像に写し込まれている対象物と同一形状で、テクスチャが異なるＣＧ画像を、対象物と同一位置に合成することを目的として、実写画像上の天井、窓、畳等の平行線や、窓等の実寸値からカメラ位置や、カメラから投影面中心までの距離等を推定し、画像合成を行う方法を提案している。

特許第４５２３１３６号公報 特開２０００−１５２０８０号公報 特許第３７８４１０４号公報

しかしながら、特許文献１は、「アングルファインダー」と呼ばれる特殊なレンズをカメラに装着する必要があり、コストの面で問題がある。
また、特許文献２は、格子模様付きのブルースクリーンを使用しなければならないという問題がある。
また、特許文献３は、実写画像に天井、窓、床、畳等の平行線が含まれている必要があり、そのような平行線のものがない撮影場所が使用できないという問題がある。

本発明は、上記の問題を鑑みてなされたものであり、その目的は、商品の撮影画像と背景用のＣＧ画像の違和感のない合成画像を簡便、容易に制作する方法を提供することである。

前述した目的を達するために第１の発明は、対象物の実写画像と、３次元形状データから生成する背景のＣＧ画像とを合成する画像合成方法であって、前記対象物と前記背景の位置関係と、前記対象物とマーカーの位置関係を定めて、前記３次元形状データの座標軸と前記マーカーから得られる座標軸を合わせて作成された前記３次元形状データを用意し、前記対象物と前記マーカーを予め定めた位置関係に配置してカメラで撮影した第１の実写画像における前記マーカーの形状を抽出して、前記マーカーの位置に対する前記カメラの位置を得る工程と、前記マーカーの位置に対する前記カメラの位置に基づいて前記３次元形状データから前記背景のＣＧ画像を得る工程と、前記第１の実写画像をカメラで撮影した状態から前記マーカーを取り除いて、前記対象物をカメラで撮影して得られる前記対象物の第２の実写画像と、前記背景のＣＧ画像とを合成する工程と、を具備することを特徴とする画像合成方法である。
第１の発明により、対象物および対象物と定められた位置関係にあるマーカーの実写画像からカメラ位置を取得し、背景ＣＧ画像上に取得したカメラ位置を設定して合成用背景ＣＧ画像を作成し、実写画像からトリミングした対象物を含む領域を合成して合成画像を得ることが可能になる。

また、第１の発明は、前記第２の実写画像から前記対象物を含む領域をトリミングし、前記トリミングした領域と、前記背景のＣＧ画像とを合成することが望ましい。
これによって、違和感のない合成画像を得ることができる。

第２の発明は、対象物の実写画像と、３次元形状データから生成する背景のＣＧ画像とを合成する画像合成装置であって、前記対象物と前記背景の位置関係と、前記対象物とマーカーの位置関係を定めて、前記３次元形状データの座標軸と前記マーカーから得られる座標軸を合わせて作成された前記３次元形状データを用意し、前記対象物と前記マーカーを予め定めた位置関係に配置してカメラで撮影した第１の実写画像における前記マーカーの形状を抽出して、前記マーカーの位置に対する前記カメラの位置を得る手段と、前記マーカーの位置に対する前記カメラの位置に基づいて前記３次元形状データから前記背景のＣＧ画像を得る手段と、前記第１の実写画像をカメラで撮影した状態から前記マーカーを取り除いて、前記対象物をカメラで撮影して得られる前記対象物の第２の実写画像と、前記背景のＣＧ画像とを合成する手段と、を具備することを特徴とする画像合成装置である。

第３の発明は、コンピュータを、請求項３に記載の画像合成装置として機能させるためのプログラムである。

第４の発明は、コンピュータを、請求項３に記載の画像合成装置として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体である。

本発明により、商品の撮影画像と背景用のＣＧ画像の違和感のない合成画像を簡便、容易に制作することが可能になる。

本発明の実施形態に画像合成装置１０の構成を示すブロック図 本発明の実施形態に画像合成装置１０の処理の流れを示すフローチャート 最終イメージのラフ画５０の説明図 商品とマーカーの位置関係の決定画面の説明図 背景用ＣＧへのマーカー配置画面の説明図 商品撮影画像の説明図 商品撮影画像のカメラ位置算出の説明図 画像合成の説明図

以下、図面に基づいて本発明の好適な実施形態について説明する。
図１は、本実施形態に係る画像合成装置１０のハードウエア構成例を示す図である。画像合成装置１０は、例えば、パーソナルコンピュータやＣＧ用コンピュータ等のコンピュータで構成することが可能である。
図１に示すように、画像合成装置１０は、例えば、ＣＰＵ１１、メモリ１２、記憶部１３、表示部１４、入力部１５、出力部１６、Ｉ／Ｏインタフェース部１７等がシステムバス１８を介して接続されて構成される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、演算装置（四則演算や比較演算等）や、ハードウエアやソフトウエアの動作制御を行う。

メモリ１２は、ＲＡＭ及びＲＯＭ等のメモリである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や記憶部１３から読み出されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を記憶し、ＣＰＵ１１の主メモリやワークエリアとして機能する。

記憶部１３は、各種プログラムやデータを記憶する装置であり、例えば、ハードディスク装置である。記憶部１３には、ＣＰＵ１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ等が格納される。
後述する画像合成用のプログラム等は記憶部１３に格納され、メモリ１２のＲＡＭ（主メモリ）にロードされ、ＣＰＵ１１により実行される。例えば、ＣＧ用プログラムや、ＣＧプログラムで作成されたＣＧ画像、ＣＧ制作用素材データ、カメラ２０で撮影された実写画像データ、合成に必要なデータ等が記憶部１３に格納される。

表示部１４は、表示装置であり、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置である。表示部１４は、コンピュータのビデオ機能を実現するための論理回路（ビデオアダプタ等）を有する。
表示部１４は、ＣＧ制作画像や実写画像等を表示する。

入力部１５は、各種データの入力装置であり、例えば、キーボードや、マウス等のポインティングデバイス等である。画像合成の作業者は、キーボードやマウス等の入力部１５を使用して画像合成作業における入力作業を行う。出力部１６は、各種データの出力装置であり、例えば、プリンタである。ＣＧ画像や実写画像、画像合成された合成画像等を印刷することが可能である。

Ｉ／Ｏインタフェース部１７は、各種の外部装置を接続するためのインタフェースである。例えば、カメラ２０や、カメラ２０で撮影された画像が記録された記録媒体等とのデータ入出力を可能とする。

図２は、本実施形態の画像合成装置１０における画像合成方法の処理の流れを示すフローチャートである。

まず、作成したい画像について、最終イメージのラフ画５０を決定する（ステップＳ１０１）。
最終イメージのラフ画５０は、画像合成装置１０で作成してもよいし、紙の上に人が描いて作成してもよい。

図３は、作成したい画像についての最終イメージのラフ画５０の例を示す図である。
図３に示す例では、窓６１等を含む背景のシーンに、商品５１を配置した画像を作成するラフ画５０を示している。クライアントとの打合せにより、対象物である商品ダミー５１と背景の位置関係を決めて最終イメージのラフ画５０を作成する。

次に、対象物の商品の配置位置を規定するためのマーカーを配置する（ステップＳ１０２）。
図４は、対象物の商品についてのマーカーの説明図である。
図４（ａ）は、商品とマーカーの位置関係の決定例５３、図４（ｂ）は、マーカー５４の例である。

図４（ｂ）に示すように、マーカー５４は、通常用いられる最も基本的なマーカーであればよい。すなわち、所定の長さの辺を持つ正方形の２値画像からなり、非点対象にするための文字（この例では「ＤＮＰ」）を含む。
マーカーは立方体等の正方形でない他の形状でもかまわないが、撮影時に対象物の商品の邪魔にならない形状である必要がある。

対象物として撮影する商品ごとにマーカー５４の配置場所を決定される。図４
(ａ)に示すように、マーカー５４の配置場所は、商品５１とマーカー５４の位置関係が明確となるような場所とする。例えば、図４(ａ)に示す商品ダミー５１の場合、テーブルの脚の外側で、脚と脚を結ぶ直線を決定し、その直線と直交する直線がなす直角部分にマーカー５４を配置すればよい。
また、配置位置は、例えば、対象物の商品が置かれる床のフローリング材や、ベッド、ソファー等の撮影小物の輪郭に含まれる直線を使用して決定してもよい。
商品ダミー５１とマーカー５４の位置関係は、記憶部１３に格納される。

次に、背景用３次元ＣＧを作成する（ステップＳ１０３）。
図５は、背景用３次元ＣＧの作成例を説明する図である。
図５（ａ）は、背景用ＣＧシーンへのマーカー配置画面例６３を示す図である。

図５（ａ）に示すように、図３（ｂ）の背景のラフ画６０を元として、その中の所望の位置にマーカー６４を配置すると、記憶部１３に格納されている商品ダミー５１とマーカー５４の位置関係を元に、商品ダミー５１が配置され、これを元に背景用ＣＧ画像が制作される。
このとき、マーカー６４の中心を原点とした座標系と背景用の３次元形状データの３次元座標の中心及び向きを合わせるように背景用ＣＧ画像６３を平行移動または回転して制作する。
また、新たに３次元形状データを作成する場合には、同じようにマーカー６４の座標系と３次元形状データの３次元座標を合わせてから３次元形状データを作成する。具体的には、マーカーの座標系と３次元形状データの３次元座標系の向きが同じになるように、マーカーを配置して、マーカーの中心に３次元形状データの３次元座標の原点を合わせて、３次元形状データを作成する。

図５（ｂ）は、３次元座標を説明する図である。
ステップＳ１０２で決定したマーカー５４の配置位置決定における直交する２直線に平行でマーカー６４の中心を通る２軸をｘ座標、ｙ座標とし、この２軸に直行する座標をｚ軸とし、この３軸の交点が背景用ＣＧ画像の３次元座標中心になるようにすればよい。

次に、対象物の商品７２と、ステップＳ１０２で決定した配置位置に置かれたマーカー５４をカメラ２０で撮影し、撮影した画像を画像合成装置１０にＩ／Ｏインタフェース１７を介して取り込む（ステップＳ１０４）。
また、Ｓ１０４の状態からマーカー５４を取り除いて商品を撮影し、撮影したマーカーを取り除いて撮影した商品撮影画像を画像合成装置１０にＩ／Ｏインタフェース１７を介して取り込む（ステップＳ１０５）。
このとき、図３で決定した背景のラフ画６０に基づいて、光源位置にレフ板７１、ランプ等を設置して撮影を行う。これにより、レフ板７１やランプ等を光源とした商品７２の影も撮影される。また、壁や窓枠などの影を生成するために、板などによって光源をさえぎることもある。

図６は、マーカー５４を含む商品撮影画像７０の例を示す図である。
商品７２とともに、マーカー５４やレフ板７１等の光源等も撮影画像７０に含まれる。

次に、ステップＳ１０４で画像合成装置１０に取り込んだ商品撮影画像７０を元に、カメラ位置の算出を行う（ステップＳ１０６）。
カメラ位置の算出には、市販のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）ツールキットを使用することができる。ＡＲについては、下記の文献等により公知であるので、ここではその説明を割愛する。
参考文献（１）：“Ｍａｒｋｅｒ Ｔｒａｃｋｉｎｇ ａｎｄ ＨＭＤ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ ａ Ｖｉｄｅｏ−ｂａｓｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｃｏｎｆｅｒｅｎｃｉｎｇ Ｓｙｓｔｅｍ”，Ｈｉｒｏｋａｚｕ Ｋａｔｏ ａｎｄ Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ，１９９９年
参考文献（２）：“Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ ｏｎ ａ Ｔａｂｌｅ−Ｔｏｐ ＡＲ Ｅｎｖｉｒｏｎｍｅｎｔ”，Ｈ．Ｋａｔｏ，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，Ｋ．Ｉｍａｍｏｔｏ，Ｋ．Ｔａｃｈｉｂａｎａ，２０００年

ＡＲツールキットはライブラリとして記憶部１３に格納されている。従って、本発明に係るプログラムには、ＡＲツールキットを呼び出す命令が記述されている。ＣＰＵ１１は、本発明に係るプログラムに従って、ＡＲツールキットのプログラムを実行し、画像合成装置１０に取り込んだ商品撮影画像７０に適用することにより、商品撮影画像７０に含まれているマーカー５４の形状からカメラの位置が算出される。

図７は、カメラ位置の算出を説明する図である。図７（ａ）に示すように、商品撮影画像７０からのカメラ位置の算出の説明図７３である。
商品７２の近辺に配置されたマーカー５４の形状から商品撮影画像７０を撮影したカメラ２０の位置が求められる。カメラ位置とは、マーカー５４からカメラ２０までの距離や、カメラの高さ、マーカー５４で決定される座標軸となす角度等で決定される。

次に、図７（ｂ）に示すように、上述のように求められたカメラ位置を、背景用ＣＧシーンに適用する（ステップＳ１０７）。すなわち、同図に示すように、背景用ＣＧシーン６５上のマーカー６４に対して、ステップＳ１０６で求められたカメラ２０とマーカー５４の位置関係と同一の位置関係が適用され、背景用ＣＧシーン６５におけるカメラ６６の位置が決定される。

次に、背景用ＣＧシーンを上述のカメラ６６から見たカメラビューを求め、商品撮影画像７０と同じ解像度でレンダリングすることにより合成用の背景用ＣＧ画像６９が制作される（ステップＳ１０８）。
例えば、画像合成装置１０上で合成画像を確認したい場合には、商品撮影画像７０及び背景用ＣＧ画像６９をディスプレイ（表示部）１４の解像度でレンダリングすれば、撮影現場で短時間のうちに合成画像を確認することが可能になる。
最終的に印刷を行う場合には、カメラ２０で撮影した商品撮影画像７０の解像度で背景用ＣＧ画像６９をレンダリングすればよい。

図８は、背景用ＣＧ画像と商品の撮影画像の画像合成の説明図である。
図８（ａ）は、ステップＳ１０８で制作された合成用の背景用ＣＧ画像６９の例である。

次に、ステップＳ１０５においてマーカー５４を取り除いて商品を撮影した商品撮影画像７５から商品７２近辺の画像をトリミングする（ステップＳ１０９）。
図８（ｂ）は、商品撮影画像７５のトリミングを説明する図である。
トリミングに使用する商品撮影画像７５には、マーカー５４を取り除いて撮影された商品撮影画像７５が使用される。
商品撮影画像７５のなかの商品７２と、その影を含む部分をトリミング領域７６とするとよい。それにより、レフ板７１を光源とした商品７２の影を合成画像に取り込むことが可能になる。

最後に、トリミング領域７６をステップＳ１０８で制作された背景用ＣＧ画像６９が合成される（ステップＳ１１０）。更に、画像処理ソフトなどを利用して、トリミング領域７６と背景用ＣＧ画像６９とがなじむように、境界部分を編集する。
これにより、図８（ｃ）に示すような合成画像８０が作成される。

対象物の商品７２とマーカー５４を撮影した画像に基づいて位置決めされ、ディスプレイ１４の解像度でレンダリングされた合成用の背景用ＣＧ画像６９と、マーカーを取り除いて撮影した商品撮影画像７５のトリミング領域７６とを合成することにより、撮影現場で合成画像８０を確認することが可能になる。

以上の処理により、商品の撮影画像と背景用のＣＧ画像の違和感のない合成画像を簡便、容易に制作することが可能になる。

以上、添付図面を参照しながら本発明にかかる画像合成方法および画像合成装置１０の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１０………画像合成装置
２０………カメラ
５１………商品ダミー
５４、６４………マーカー

Claims (5)

1. 対象物の実写画像と、３次元形状データから生成する背景のＣＧ画像とを合成する画像合成方法であって、
   前記対象物と前記背景の位置関係と、前記対象物とマーカーの位置関係を定めて、前記３次元形状データの座標軸と前記マーカーから得られる座標軸を合わせて作成された前記３次元形状データを用意し、前記対象物と前記マーカーを予め定めた位置関係に配置してカメラで撮影した第１の実写画像における前記マーカーの形状を抽出して、前記マーカーの位置に対する前記カメラの位置を得る工程と、
   前記マーカーの位置に対する前記カメラの位置に基づいて前記３次元形状データから前記背景のＣＧ画像を得る工程と、
   前記第１の実写画像をカメラで撮影した状態から前記マーカーを取り除いて、前記対象物をカメラで撮影して得られる前記対象物の第２の実写画像と、前記背景のＣＧ画像とを合成する工程と、
   を具備することを特徴とする画像合成方法。
2. 前記第２の実写画像から前記対象物を含む領域をトリミングし、前記トリミングした領域と、前記背景のＣＧ画像とを合成することを特徴とする請求項１記載の画像構成方法。
3. 対象物の実写画像と、３次元形状データから生成する背景のＣＧ画像とを合成する画像合成装置であって、
   前記対象物と前記背景の位置関係と、前記対象物とマーカーの位置関係を定めて、前記３次元形状データの座標軸と前記マーカーから得られる座標軸を合わせて作成された前記３次元形状データを用意し、前記対象物と前記マーカーを予め定めた位置関係に配置してカメラで撮影した第１の実写画像における前記マーカーの形状を抽出して、前記マーカーの位置に対する前記カメラの位置を得る手段と、
   前記マーカーの位置に対する前記カメラの位置に基づいて前記３次元形状データから前記背景のＣＧ画像を得る手段と、
   前記第１の実写画像をカメラで撮影した状態から前記マーカーを取り除いて、前記対象物をカメラで撮影して得られる前記対象物の第２の実写画像と、前記背景のＣＧ画像とを合成する手段と、
   を具備することを特徴とする画像合成装置。
4. コンピュータを、請求項３に記載の画像合成装置として機能させるためのプログラム。
5. コンピュータを、請求項３に記載の画像合成装置として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images