JP5673293B2 - 画像合成方法、画像合成装置、プログラム、及び、記録媒体 - Google Patents
画像合成方法、画像合成装置、プログラム、及び、記録媒体 Download PDFInfo
- Publication number
- JP5673293B2 JP5673293B2 JP2011074289A JP2011074289A JP5673293B2 JP 5673293 B2 JP5673293 B2 JP 5673293B2 JP 2011074289 A JP2011074289 A JP 2011074289A JP 2011074289 A JP2011074289 A JP 2011074289A JP 5673293 B2 JP5673293 B2 JP 5673293B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- camera
- background
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
画像合成の方法としては、実写の背景画像と商品画像を合成する方法と、実写の背景とCG技術による商品画像を合成する方法と、実写の商品画像とCG技術による背景画像を合成する方法がある。
すなわち、撮影対象物のなかの目印となる1点からカメラまでの距離、カメラの高さをメジャーで計測し、3次元CGのカメラ位置をセットしたうえで、実際の撮影画像とCGのカメラビューを目視で比較しながらカメラアングルを合わせなければならない。
また、特許文献2は、格子模様付きのブルースクリーンを使用しなければならないという問題がある。
また、特許文献3は、実写画像に天井、窓、床、畳等の平行線が含まれている必要があり、そのような平行線のものがない撮影場所が使用できないという問題がある。
第1の発明により、対象物および対象物と定められた位置関係にあるマーカーの実写画像からカメラ位置を取得し、背景CG画像上に取得したカメラ位置を設定して合成用背景CG画像を作成し、実写画像からトリミングした対象物を含む領域を合成して合成画像を得ることが可能になる。
これによって、違和感のない合成画像を得ることができる。
図1は、本実施形態に係る画像合成装置10のハードウエア構成例を示す図である。画像合成装置10は、例えば、パーソナルコンピュータやCG用コンピュータ等のコンピュータで構成することが可能である。
図1に示すように、画像合成装置10は、例えば、CPU11、メモリ12、記憶部13、表示部14、入力部15、出力部16、I/Oインタフェース部17等がシステムバス18を介して接続されて構成される。
後述する画像合成用のプログラム等は記憶部13に格納され、メモリ12のRAM(主メモリ)にロードされ、CPU11により実行される。例えば、CG用プログラムや、CGプログラムで作成されたCG画像、CG制作用素材データ、カメラ20で撮影された実写画像データ、合成に必要なデータ等が記憶部13に格納される。
表示部14は、CG制作画像や実写画像等を表示する。
最終イメージのラフ画50は、画像合成装置10で作成してもよいし、紙の上に人が描いて作成してもよい。
図3に示す例では、窓61等を含む背景のシーンに、商品51を配置した画像を作成するラフ画50を示している。クライアントとの打合せにより、対象物である商品ダミー51と背景の位置関係を決めて最終イメージのラフ画50を作成する。
図4は、対象物の商品についてのマーカーの説明図である。
図4(a)は、商品とマーカーの位置関係の決定例53、図4(b)は、マーカー54の例である。
マーカーは立方体等の正方形でない他の形状でもかまわないが、撮影時に対象物の商品の邪魔にならない形状である必要がある。
(a)に示すように、マーカー54の配置場所は、商品51とマーカー54の位置関係が明確となるような場所とする。例えば、図4(a)に示す商品ダミー51の場合、テーブルの脚の外側で、脚と脚を結ぶ直線を決定し、その直線と直交する直線がなす直角部分にマーカー54を配置すればよい。
また、配置位置は、例えば、対象物の商品が置かれる床のフローリング材や、ベッド、ソファー等の撮影小物の輪郭に含まれる直線を使用して決定してもよい。
商品ダミー51とマーカー54の位置関係は、記憶部13に格納される。
図5は、背景用3次元CGの作成例を説明する図である。
図5(a)は、背景用CGシーンへのマーカー配置画面例63を示す図である。
このとき、マーカー64の中心を原点とした座標系と背景用の3次元形状データの3次元座標の中心及び向きを合わせるように背景用CG画像63を平行移動または回転して制作する。
また、新たに3次元形状データを作成する場合には、同じようにマーカー64の座標系と3次元形状データの3次元座標を合わせてから3次元形状データを作成する。具体的には、マーカーの座標系と3次元形状データの3次元座標系の向きが同じになるように、マーカーを配置して、マーカーの中心に3次元形状データの3次元座標の原点を合わせて、3次元形状データを作成する。
ステップS102で決定したマーカー54の配置位置決定における直交する2直線に平行でマーカー64の中心を通る2軸をx座標、y座標とし、この2軸に直行する座標をz軸とし、この3軸の交点が背景用CG画像の3次元座標中心になるようにすればよい。
また、S104の状態からマーカー54を取り除いて商品を撮影し、撮影したマーカーを取り除いて撮影した商品撮影画像を画像合成装置10にI/Oインタフェース17を介して取り込む(ステップS105)。
このとき、図3で決定した背景のラフ画60に基づいて、光源位置にレフ板71、ランプ等を設置して撮影を行う。これにより、レフ板71やランプ等を光源とした商品72の影も撮影される。また、壁や窓枠などの影を生成するために、板などによって光源をさえぎることもある。
商品72とともに、マーカー54やレフ板71等の光源等も撮影画像70に含まれる。
カメラ位置の算出には、市販のAR(Augmented Reality)ツールキットを使用することができる。ARについては、下記の文献等により公知であるので、ここではその説明を割愛する。
参考文献(1):“Marker Tracking and HMD Calibration for a Video−based Augmented Reality Conferencing System”,Hirokazu Kato and Mark Billinghurst,1999年
参考文献(2):“Virtual Object Manipulation on a Table−Top AR Environment”,H.Kato,M.Billinghurst,I.Poupyrev,K.Imamoto,K.Tachibana,2000年
商品72の近辺に配置されたマーカー54の形状から商品撮影画像70を撮影したカメラ20の位置が求められる。カメラ位置とは、マーカー54からカメラ20までの距離や、カメラの高さ、マーカー54で決定される座標軸となす角度等で決定される。
例えば、画像合成装置10上で合成画像を確認したい場合には、商品撮影画像70及び背景用CG画像69をディスプレイ(表示部)14の解像度でレンダリングすれば、撮影現場で短時間のうちに合成画像を確認することが可能になる。
最終的に印刷を行う場合には、カメラ20で撮影した商品撮影画像70の解像度で背景用CG画像69をレンダリングすればよい。
図8(a)は、ステップS108で制作された合成用の背景用CG画像69の例である。
図8(b)は、商品撮影画像75のトリミングを説明する図である。
トリミングに使用する商品撮影画像75には、マーカー54を取り除いて撮影された商品撮影画像75が使用される。
商品撮影画像75のなかの商品72と、その影を含む部分をトリミング領域76とするとよい。それにより、レフ板71を光源とした商品72の影を合成画像に取り込むことが可能になる。
これにより、図8(c)に示すような合成画像80が作成される。
20………カメラ
51………商品ダミー
54、64………マーカー
Claims (5)
- 対象物の実写画像と、3次元形状データから生成する背景のCG画像とを合成する画像合成方法であって、
前記対象物と前記背景の位置関係と、前記対象物とマーカーの位置関係を定めて、前記3次元形状データの座標軸と前記マーカーから得られる座標軸を合わせて作成された前記3次元形状データを用意し、前記対象物と前記マーカーを予め定めた位置関係に配置してカメラで撮影した第1の実写画像における前記マーカーの形状を抽出して、前記マーカーの位置に対する前記カメラの位置を得る工程と、
前記マーカーの位置に対する前記カメラの位置に基づいて前記3次元形状データから前記背景のCG画像を得る工程と、
前記第1の実写画像をカメラで撮影した状態から前記マーカーを取り除いて、前記対象物をカメラで撮影して得られる前記対象物の第2の実写画像と、前記背景のCG画像とを合成する工程と、
を具備することを特徴とする画像合成方法。 - 前記第2の実写画像から前記対象物を含む領域をトリミングし、前記トリミングした領域と、前記背景のCG画像とを合成することを特徴とする請求項1記載の画像構成方法。
- 対象物の実写画像と、3次元形状データから生成する背景のCG画像とを合成する画像合成装置であって、
前記対象物と前記背景の位置関係と、前記対象物とマーカーの位置関係を定めて、前記3次元形状データの座標軸と前記マーカーから得られる座標軸を合わせて作成された前記3次元形状データを用意し、前記対象物と前記マーカーを予め定めた位置関係に配置してカメラで撮影した第1の実写画像における前記マーカーの形状を抽出して、前記マーカーの位置に対する前記カメラの位置を得る手段と、
前記マーカーの位置に対する前記カメラの位置に基づいて前記3次元形状データから前記背景のCG画像を得る手段と、
前記第1の実写画像をカメラで撮影した状態から前記マーカーを取り除いて、前記対象物をカメラで撮影して得られる前記対象物の第2の実写画像と、前記背景のCG画像とを合成する手段と、
を具備することを特徴とする画像合成装置。 - コンピュータを、請求項3に記載の画像合成装置として機能させるためのプログラム。
- コンピュータを、請求項3に記載の画像合成装置として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011074289A JP5673293B2 (ja) | 2011-03-30 | 2011-03-30 | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011074289A JP5673293B2 (ja) | 2011-03-30 | 2011-03-30 | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012208756A JP2012208756A (ja) | 2012-10-25 |
JP5673293B2 true JP5673293B2 (ja) | 2015-02-18 |
Family
ID=47188419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011074289A Expired - Fee Related JP5673293B2 (ja) | 2011-03-30 | 2011-03-30 | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5673293B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447741A (zh) * | 2016-11-30 | 2017-02-22 | 努比亚技术有限公司 | 照片自动合成方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112270339A (zh) * | 2020-06-30 | 2021-01-26 | 上海扩博智能技术有限公司 | 模型训练用的图像数据生成方法、系统、设备和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3784104B2 (ja) * | 1996-06-07 | 2006-06-07 | 大日本印刷株式会社 | 画像合成装置 |
JPH10326357A (ja) * | 1997-05-26 | 1998-12-08 | Sony Corp | 画像処理方法及び装置並びに画像処理用パネル並びに記録媒体 |
JP2000152080A (ja) * | 1998-11-11 | 2000-05-30 | Nippon Telegr & Teleph Corp <Ntt> | 仮想空間合成方法及び装置 |
JP4523136B2 (ja) * | 2000-09-27 | 2010-08-11 | 株式会社竹中工務店 | Cg画像との合成写真を作る方法及びカメラ装置 |
-
2011
- 2011-03-30 JP JP2011074289A patent/JP5673293B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447741A (zh) * | 2016-11-30 | 2017-02-22 | 努比亚技术有限公司 | 照片自动合成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP2012208756A (ja) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7231306B2 (ja) | イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム | |
KR102230416B1 (ko) | 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램 | |
JP6264834B2 (ja) | ガイド方法、情報処理装置およびガイドプログラム | |
US9014507B2 (en) | Automatic tracking matte system | |
JP6299234B2 (ja) | 表示制御方法、情報処理装置、および表示制御プログラム | |
US8265374B2 (en) | Image processing apparatus, image processing method, and program and recording medium used therewith | |
JP4115117B2 (ja) | 情報処理装置および方法 | |
JP2010287174A (ja) | 家具シミュレーション方法、装置、プログラム、記録媒体 | |
JP2006318095A (ja) | 画像処理方法、画像処理装置 | |
JP2014142836A (ja) | 処理装置、処理システム、処理方法及びプログラム | |
JP6467612B2 (ja) | 正置画像処理システムおよび構造物維持管理業務システム | |
KR20210032549A (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
KR101875047B1 (ko) | 사진측량을 이용한 3d 모델링 시스템 및 방법 | |
Kahn | Reducing the gap between Augmented Reality and 3D modeling with real-time depth imaging | |
JP2003209769A (ja) | 画像生成装置および方法 | |
US10573072B2 (en) | Image processing device, image processing method, and recording medium | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
JP5673293B2 (ja) | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 | |
JPH0997344A (ja) | テクスチャ生成方法およびテクスチャ生成システム | |
JP2021152935A (ja) | 情報可視化システム、情報可視化方法、及びプログラム | |
JP6011567B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP2010033397A (ja) | 画像合成装置および方法 | |
JP3784104B2 (ja) | 画像合成装置 | |
JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2017134786A1 (ja) | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5673293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |