JP3967036B2

JP3967036B2 - Image synthesizer

Info

Publication number: JP3967036B2
Application number: JP9937299A
Authority: JP
Inventors: 清岩崎; 三奈子宮間
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 1999-04-06
Filing date: 1999-04-06
Publication date: 2007-08-29
Anticipated expiration: 2019-04-06
Also published as: JP2000293667A

Description

【０００１】
【発明の属する技術分野】
本発明は、原画像の中の所望の領域に、他のテクスチャ画像を合成して合成画像を作成する際に適用して好適な画像合成装置に関する。
【０００２】
【従来の技術】
建物の外装材や内装材、キッチン・収納の扉などの商品のカタログでは、実際の施工例は一部の商品についてのみ掲載し、他の商品については色・素材の見本のみを掲載することが多く、顧客は実際の施工例と見本を眺め、所望の見本を施工例に適用した場合の外観を想像し、商品を選択しなければならなかった。
【０００３】
【本発明が解決しようとする課題】
このように、前記カタログでは、各商品について実際の施工例があるわけではないため、顧客が商品を選択するためにイメージを掴むことが難しいという問題がある。すべての商品に対して実際に施工例を作成してカタログを作成すれば前記問題は解決するが、そのためにはコストが高すぎて非現実的である。
【０００４】
他の解決方法として、実際の施工例の画像に他の商品見本画像を合成するという方法もあるが、違和感の無い合成画像を得るためには、熟練したオペレータが経験と勘を使って試行錯誤しながら合成する必要があり、この作業を多くの商品見本に対して行うには困難が伴う上に、コストが高くなってしまう。
【０００５】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明は、原画像の一部にテクスチャ画像を合成する画像合成装置において、
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域には、遮景領域を考慮して作成されたマスクデータが適用されるとともに、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内であって、マスクデータによりマスクされた領域内のテクスチャ画像を合成する合成手段と、
を備えていると共に、前記原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度を原画像輝度データ及び明暗の差を制御するためのパラメータを使った次式：
Yto=((Ys-Yas)・R+Yas)/Yas)×(Yt+(Yas−Yat)×S)
(ここで、Yto:変換後の輝度、Ys:原画像の合成位置の画素の輝度、Yt:合成されたテクスチャ画像の画素の輝度、Yas:原画像の合成領域内の平均輝度、Yat:テクスチャ画像の平均輝度、R:明暗の差を制御するパラメータ（R>1で原画像より明暗の差が大きくなり、R<1で明暗の差が小さくなる。)、S:テクスチャの平均輝度をどの程度原画像に近づけるか制御するパラメータ（S=0で合成されたテクスチャの平均輝度=Yat、S=1で平均輝度=Yas））
に基づき変更する輝度変更手段とが兼備されていることにより、前記課題を解決したものである。
本発明は、また、原画像の一部にテクスチャ画像を合成する画像合成装置において、
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域には、遮景領域を考慮して作成されたマスクデータが適用されるとともに、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、
該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内であって、マスクデータによりマスクされた領域内のテクスチャ画像を合成する合成手段と、
を備えていると共に、
前記座標変換に使用するパラメータには、実際の3次元空間上では長方形となる前記原画像上の合成領域を表す四角形の該3次元空間での実際の大きさ（Sx,Sy）が含まれ、前記合成手段が前記長方形の実際の大きさ（Sx,Sy）と前記テクスチャ画像の実際の大きさ（Strx,Stry）との相対比に応じた回数、該テクスチャ画像を繰り返して前記合成領域に合成するに際し、
前記テクスチャ座標値を計算する手段が、合成を行う合成領域内の座標値に対して正規化変換を行って算出した相対座標値（α、β）を使った次式：
ｘｔ=α×（Ｓｔｐｘ/Ｓｔｒｘ）
ｙｔ=β×（Ｓｔｐｙ/Ｓｔｒｙ）
（ここで、ｘｔ、ｙｔ：テクスチャ画像上の座標値、Ｓｔｐｘ、Ｓｔｐｙ：合成するテクスチャ画像の大きさ（画素単位）、Ｓｔｒｘ，Ｓｔｒｙ：合成するテクスチャの実際の大きさ（絶対値））
によりテクスチャ座標変換を行なうことにより、同様に前記課題を解決したものである。
【０００７】
本発明においては、原画像上で指定した合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定し、該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算し、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算し、該テクスチャ座標値を基に前記合成領域内にテクスチャ画像を合成するようにしたので、これら３つの座標系の対応関係を利用することにより、任意の大きさのテクスチャ画像を前記合成領域に合成し、違和感のない合成画像を作成することが可能となる。
【０００８】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【０００９】
図１は、本発明に係る一実施形態の画像合成システム（画像合成装置）の概略構成を示すブロック図である。本実施形態の画像合成システムは、画像入力装置１０、指示入力装置１２、画像合成装置１４、表示装置１６及び画像出力装置１８を備えている。
【００１０】
上記画像入力装置１０は、原画像やこれに合成するテクスチャ画像等を入力するイメージスキャナやこれら画像データが格納され、読み出すことができるハードディスク等の記憶装置で構成されている。又、前記指示入力装置１２は、キーボードやマウス等からなり、原画像の中でテクスチャ画像を合成する合成領域を指定したり、合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定することができるようになっている。
【００１１】
又、前記画像合成装置１４はコンピュータで構成され、該装置１４には、指定されたパラメータに基づき合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値よりテクスチャ画像上のテクスチャ座標値を計算する手段と、該テクスチャ座標値を基に合成領域内にテクスチャ画像を合成する手段とが、ソフトウェアにより実現されている。又、前記表示装置１６はＣＲＴや液晶等のディスプレイからなり、原画像、テクスチャ画像、合成画像等を表示し、又、前記出力装置１８はプリンタ等からなり、合成画像等を出力することができるようになっている。
【００１２】
本実施形態について更に詳述すると、前記画像合成装置１４には、同じくソフトウェアにより、原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度をこの原画像輝度データ及び明暗の差を制御するためのパラメータに基づき変更する輝度変更手段等が実現されている。又、同様に、前記合成領域には、遮景領域を考慮して作成されたマスクデータが適用されると共に、前記座標変換に使用するパラメータには、実際の３次元空間では長方形となる前記原画像上の四角形の領域を規定するための４頂点座標が含まれ、前記相対座標値を計算する手段が、前記マスクデータを考慮して前記パラメータに基づいて座標変換を行うことができるようになっている。
【００１３】
又、同様に、前記座標変換に使用するパラメータには、実際の３次元空間上では長方形となる前記原画像上の合成領域を表わす四角形の該３次元空間での実際の大きさ（Ｓx、Ｓy）が含まれ、前記合成手段が、前記長方形の実際の大きさ（Ｓx、Ｓy）と前記テクスチャ画像の実際の大きさ（Ｓtrx、Ｓtry）との相対比に応じた回数、該テクスチャ画像を繰り返して前記合成領域に合成することができるようになっている。更に、前記テクスチャ画像が複数用意されており、前記テクスチャ座標値を計算する手段は、他の新しいテクスチャ画像が選択されたときに、すでに得られている相対座標値に基づいてそのテクスチャ座標値を計算することができるようになっている。
【００１４】
次に、本実施形態の作用を、図２に示したフローチャートを用いて説明する。
【００１５】
まず、画像入力装置で原画像（図３）とテクスチャ画像（図４）を入力する（ステップ１、２）。なお、この図３において、後方の物体（立方体）の前の面に付した２点鎖線は、手前の立方体により生じている陰影が識別し難いため、その境界を示したものである。
【００１６】
次に、テクスチャ画像を合成する領域を表すマスクデータを作成する（ステップ３）。このマスクデータは、原画像中で、テクスチャを合成する有効領域を表すもので、異なるテクスチャを合成する領域ごと、またはパース（Perspect：遠近感）のかかり方が違う、即ち原画像について実際の三次元空間を考えた時に同一平面とならない領域ごとに異なる識別番号を設定して作成する。
【００１７】
このマスクデータの一例としては、原画像と縦横の大きさが同じ座標値の配列データを用意し、テクスチャの合成を行わない画素に対しては０の値を設定し、テクスチャの合成を行う画素には前述の識別番号を設定する。ここでは、このマスクデータ作成手順の一例として、原画像を元にして図５、図６のように合成領域のみを任意の色（ここでは白）に加工した画像を用意し、この２枚の画像から図７のようなマスクデータを作成した。ここでは、便宜上合成が行われない領域を白色とし、行われる有効領域毎に違う色（黒とグレー）で示した。又、本実施形態では、前記図３の原画像において、手前にある立方体により視野が遮られる遮景領域が存在する後方の立方体の場合には、図７に黒で有効領域を示したように、この遮光領域を除いた範囲のマスクデータを作成する。
【００１８】
次に、テクスチャ画像を合成する原画像上の合成領域の座標値を、テクスチャ画像上の座標値に射影的正規化変換するためのパラメータを指定（入力）する（ステップ４）。この操作は、実際の三次元空間上で同一平面上にある長方形の各頂点Ｐ1〜Ｐ4の原画像上での合成領域の座標値と、その実際の三次元実空間上での長方形のｘ方向、ｙ方向の大きさＳx、Ｓyを、指示入力装置１２により指定することにより行う。この場合、長方形の実際の大きさが既知又は推定できる場合はその値を指定すればよいが、長方形の大きさが既知でなく、又、原画像中の大きさが既知のもの等から推定することもできない場合には、指定した頂点Ｐ1〜Ｐ4で囲まれた領域に、テクスチャ画像が縦方向にいくつ、横方向にいくつ並ぶといった相対値を使用してもなんら問題なく、その場合には、後述するテクスチャ画像の実際の大きさＳtrx、Ｓtryの指定時にはそれぞれ１を指定すればよい。
【００１９】
ここで、この指定する４頂点の座標（パラメータ）について補足すると、これらの座標値は合成を行う合成領域自体や、前記図７に示したようなマスク領域（マスクデータで規定される有効領域）に対して指定できることは言うまでもないが、マスク領域と直接は関係なく、実際の三次元空間上で同一平面となる原画像上の領域であれば、即ちパースのかかり方が同一であればマスク領域外で指定しても問題なく、更には、原画像の領域外で指定してもなんら問題はない。
【００２０】
パラメータ指定の具体例として、図５に示した合成領域に対応するマスク領域に対して座標値を指定する場合の例を図８に示す。この図では、実際の３次元空間では長方形である原画像上の四角形の頂点にＰ1〜Ｐ4の座標（ｘ1，ｙ1)〜(ｘ4，ｙ4）を指定し、この四角形の実際の三次元空間上でのｘ、ｙそれぞれの方向の大きさＳx、Ｓyを指定している。Ｐ2に関しては、手前の物体によって隠れており、この付近（遮景領域）は前記図７に示したマスクデータでは有効領域外であるが、パラメータ指定は前述した通りマスク領域と直接は関係ないので、実際の三次元空間上で長方形になるであろう領域上の点であれば問題なく利用できる。なお、合成の対象となる全てのマスク領域に対して前記パラメータを指定する必要があるが、実際の三次元空間上で同一平面となる、即ち原画像上ではパースのかかり方が同じ領域であれば同一のパラメータを適用できる。
【００２１】
次いで、以下に詳述する各種演算処理を前記画像合成装置１４で行う。まず、前記パラメータに基づいて合成領域内の座標に対して射影的正規化変換（この座標変換については、例えば「計算機幾何と地理情報処理」 bit別冊共立出版（1986）に詳説されている）を行う。具体的には、以下に示す（１）、（２）式で規定されるｃ、ｄを含む（３）、（４）式により、後述するテクスチャ合成を行う領域に含まれる全ての画素に対して射影的正規化変換を行い、相対座標値α、βを計算する（ステップ５）。なお、ここでは、相対座標値は、ｘ、ｙ方向の実際の大きさＳx、Ｓyからなる長方形座標に正規化された値で与えられる。
【００２２】
【数１】

【００２３】
このステップ５の相対座標値の計算では、前記頂点座標（ｘ1、ｙ1）〜（ｘ4 、ｙ4）及び実際の大きさＳx、Ｓyのパラメータを用いて上記（１）〜（４）式により座標変換する際、前記マスクデータ（マスク領域）を考慮して処理を行う。これにより、遮景領域がある場合には、その範囲について座標変換の計算処理を行う必要がなくなるため、計算量の削減を図ることが可能となり、処理の迅速化を図ることが可能となる。
【００２４】
次に、指示入力装置１２により、既に入力されているものの中から合成するテクスチャ画像を選択（指定）し（ステップ６）、そのテクスチャ画像を合成する合成領域（１領域でも複数領域でもかまわない）を指定する（ステップ７）。この時、合成されるテクスチャ画像が縮小されて合成される場合は、あらかじめテクスチャ画像にローパスフィルタ処理等を行い、モアレの発生を抑える必要がある。
【００２５】
次に、合成するテクスチャ画像の実際の大きさを指定する（前述したように、長方形の大きさをテクスチャ画像がいくつ並ぶという相対値で指定した場合は１を指定する）。そして、合成を行う合成領域内の座標値に対して前記射影的正規化変換を行って算出した相対座標値（α，β）を、テクスチャ画像の実際の大きさおよびテクスチャ画像の画素単位での大きさより、実際に合成を行うテクスチャ画像上での座標値（ｘ_t，ｙ_t）に、以下の式により変換するテクスチャ座標変換を行う（ステップ８）。その際、ｘ_t、ｙ_tが０未満（後述する図１１に示すような相対座標系でα、βが負の場合）またはＳtpx、Ｓtpy以上となる時は、Ｓtpx、Ｓtpyで割った余りを計算し、余りの画素数でテクスチャ画像上の座標値を設定する。
【００２６】
【数２】

【００２７】
次に、上記ステップ８で変換した座標のテクスチャ画像を構成する各画素の画素値を、合成を行う画素（マスク領域内の合成領域の対応する画素）の画素値と置換する事により、選択した前記合成領域にテクスチャ画像の合成を行う（ステップ９）。その際、実際の３次元空間では長方形となる前記原画像上の合成領域を表わす四角形の該３次元空間上での実際の大きさ（Ｓx、Ｓy）と前記テクスチャ画像の実際の大きさ（Ｓtrx、Ｓtry）とにより求められる相対比として与えられる回数、該テクスチャ画像を繰り返して前記合成領域に合成する。この繰り返し合成の詳細については、便宜上後述する。
【００２８】
次に、合成されたテクスチャ画像の輝度を原画像の輝度データに基づいて変更する（ステップ１０）。具体的には、上記ステップ９の合成処理によりテクスチャ画像が合成された領域の各画素に対して、下記（７）式により輝度の変更を行う。これにより、原画像の合成領域内の明暗の差を大きくまたは小さくしたり、原画像と合成されたテクスチャ画像の平均輝度の差を大きくしたり小さくしたり調整し、より自然な合成画像が得られるようにできる。ここで各パラメータを変更することにより、原画像の合成領域上の材質と反射率等の極端に違うテクスチャ画像を合成したい場合でも、違和感のない自然な合成画像を得ることができる。他に合成するテクスチャ画像がある場合には、上述したステップ６〜１０の処理を繰り返す（ステップ１１）。
【００２９】
図９には、実際に前記図３の原画像に図７のマスクデータを設定し、その２つの領域に図４のテクスチャ画像を合成することにより作成した合成画像を示した。この図９では、階調差が明確でないために分り難いが、前記図３と同様に２点鎖線で境界を示した陰影が、この合成画像に反映されている。
【００３０】
【数３】

【００３１】
次に、便宜上ここで、前述したようにテクスチャ画像上での座標値を計算するに当り、いったん相対座標値α、βを計算しておき、その後ｘ_t、ｙ_tを計算した理由を図を用いて詳細に説明する。
【００３２】
いま、図１０に示した合成領域の実際の大きさが、例えばｍ単位で幅５、高さ３であったとすると、α、βに変換された後の座標は図１１のようになる（ここまでの計算はテクスチャの画素単位での大きさ、実際の大きさに無関係に計算できる）。ここで、この領域に図１２に模式的に示すテクスチャ画像（画素単位での大きさ：１００×１００、実際の大きさ：１×１）に対してテクスチャ画像上での座標値への変換を行った結果を、該テクスチャ画像を繰り返して合成した結果として図１４に示す。また、図１３に模式的に示すテクスチャ画像（画素単位での大きさ：１５０×１５０、実際の大きさ：２×２）に対してテクスチャ画像上での座標値への変換を行った結果を、同じく繰り返して合成した結果として図１５に示す。
【００３３】
この例からも明らかなように、Ｐ1〜Ｐ4の領域の実際の大きさ、テクスチャ画像の画素単位での大きさと実際の大きさを指定することにより、実際に即した大きさで合成することが可能である。また、いったんα、βを計算しておくことにより、このα、βはテクスチャ画像の大きさと無関係に計算できるので、画素単位で実際の大きさの異なるテクスチャ画像を合成する場合でも、α、βの値は再利用できるため、計算量を減らすことが可能である。
【００３４】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００３５】
例えば、前記実施形態では座標変換として射影的正規化変換を採用したが、これに限定されず、原画像上の合成領域を実際の３次元空間で長方形（正方形を含む）に正規化する座標変換であれば制限されない。又、画像合成装置の具体的構成は前記図１に示したものに限定されない。
【００３６】
【発明の効果】
以上説明した通り、本発明によれば、任意の商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の画像合成装置の概略構成を示すブロック図
【図２】同実施形態の作用を示すフローチャート
【図３】原画像の一例を示す説明図
【図４】テクスチャ画像の一例を示す説明図
【図５】マスクデータの作成手順を示す説明図
【図６】マスクデータの作成手順を示す他の説明図
【図７】作成されたマスクデータの一例を示す説明図
【図８】パラメータの指定の仕方を示す説明図
【図９】合成画像の一例を示す説明図
【図１０】パラメータ設定された合成領域の一例を示す線図
【図１１】上記合成領域を相対座標に変換した状態を示す線図
【図１２】テクスチャ画像の一例を模式的に示す線図
【図１３】テクスチャ画像の他の一例を模式的に示す線図
【図１４】図１２のテクスチャ画像を合成した画像を示す線図
【図１５】図１３のテクスチャ画像を合成した画像を示す線図
【符号の説明】
１０…画像入力装置
１２…指示入力装置
１４…画像合成装置
１６…表示装置
１８…画像出力装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image synthesizing apparatus that is suitable for application when creating a synthesized image by synthesizing another texture image with a desired region in an original image.
[0002]
[Prior art]
In the catalog of products such as building exterior materials and interior materials, kitchen / storage doors, etc., actual construction examples may be listed only for some products, and only other color / material samples may be listed for other products. Many customers have to look at actual construction examples and samples, imagine the appearance of applying the desired samples to the construction examples, and select products.
[0003]
[Problems to be solved by the present invention]
Thus, in the catalog, since there is no actual construction example for each product, there is a problem that it is difficult for a customer to grasp an image in order to select a product. The above problem can be solved by actually creating construction examples and catalogs for all products, but this is too expensive and unrealistic.
[0004]
As another solution, there is a method of synthesizing other product sample images with images of actual construction examples, but in order to obtain a composite image without any sense of incongruity, a skilled operator uses trial and error using experience and intuition. However, it is difficult to perform this operation for many sample products, and the cost is increased.
[0005]
The present invention has been made to solve the above-mentioned conventional problems, and has special experience and intuition when a texture image such as a product sample image is synthesized with an original image such as a construction example of an arbitrary product. It is an object of the present invention to provide an image composition device that can easily create a composite image without any sense of incongruity.
[0006]
[Means for Solving the Problems]
The present invention provides an image synthesizing apparatus that synthesizes a texture image with a part of an original image.
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values; means for calculating texture coordinate values on the texture image from the relative coordinate values;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
Means for generating original image luminance data consisting only of luminance information of each pixel of the original image, and a parameter for controlling the luminance of the synthesized texture image and the difference between the original image luminance data and light and dark Using the following formula:
Yto = ((Ys-Yas) ・ R + Yas) / Yas) × (Yt + (Yas−Yat) × S)
(Where Yto: luminance after conversion, Ys: luminance of the pixel at the synthesis position of the original image, Yt: luminance of the pixel of the synthesized texture image, Yas: average luminance within the synthesis area of the original image, Yat: texture Parameters that control the average brightness of the image, R: Light / dark difference (R> 1 makes the light / dark difference larger than the original image, and R <1 makes the light / dark difference smaller), S: What is the texture's average brightness? Parameters that control whether or not the image is close to the original image (average brightness of texture synthesized with S = 0 = Yat, average brightness = Yas with S = 1))
The above-described problem is solved by having a luminance changing means that changes based on the above.
The present invention also provides an image synthesizing apparatus that synthesizes a texture image with a part of an original image.
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values;
Means for calculating a texture coordinate value on the texture image from the relative coordinate value;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
With
The parameters used for the coordinate transformation include the actual size (Sx, Sy) in the three-dimensional space of the quadrangle representing the composite area on the original image that is rectangular in the actual three-dimensional space, The synthesizing unit repeatedly synthesizes the texture image into the synthesis area a number of times according to the relative ratio between the actual size of the rectangle (Sx, Sy) and the actual size of the texture image (Strx, Stry). When doing
The following formula using relative coordinate values (α, β) calculated by performing normalization conversion on the coordinate values in the synthesis region where the texture coordinate values are calculated is:
xt = α × (Stpx / Strx)
yt = β × (Stpy / Stry)
(Where xt, yt: coordinate values on texture image, Stpx, Stpy: size of texture image to be synthesized (pixel unit), Strx, Stry: actual size of texture to be synthesized (absolute value))
The above-mentioned problem is similarly solved by performing texture coordinate conversion.
[0007]
In the present invention, a parameter for coordinate conversion of the coordinate value of the synthesis area designated on the original image to the coordinate value on the texture image is designated, and coordinate transformation is performed on the coordinates in the synthesis area based on the parameter. The relative coordinate value is calculated, the texture coordinate value on the texture image is calculated from the relative coordinate value, and the texture image is synthesized in the synthesis area based on the texture coordinate value. By using the correspondence relationship of the coordinate system, it is possible to synthesize a texture image of an arbitrary size in the synthesis area and create a synthesized image without a sense of incongruity.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0009]
FIG. 1 is a block diagram showing a schematic configuration of an image composition system (image composition apparatus) according to an embodiment of the present invention. The image composition system of this embodiment includes an image input device 10, an instruction input device 12, an image composition device 14, a display device 16, and an image output device 18.
[0010]
The image input device 10 includes an image scanner that inputs an original image, a texture image to be synthesized with the original image, and a storage device such as a hard disk in which these image data can be stored and read. The instruction input device 12 is composed of a keyboard, a mouse, and the like for designating a synthesis area for synthesizing a texture image in the original image, and for converting the coordinate value of the synthesis area into a coordinate value on the texture image. You can specify the parameters.
[0011]
The image synthesizing device 14 is constituted by a computer, and the device 14 includes means for performing coordinate transformation on coordinates in the synthesis region based on designated parameters and calculating relative coordinate values, and the relative coordinate values. The means for calculating the texture coordinate value on the texture image and the means for synthesizing the texture image in the synthesis area based on the texture coordinate value are realized by software. The display device 16 includes a display such as a CRT or a liquid crystal display, and displays an original image, a texture image, a composite image, and the like. The output device 18 includes a printer or the like, and can output a composite image. It is like that.
[0012]
More specifically, the image synthesizing device 14 uses the same software to generate original image luminance data consisting only of luminance information of each pixel of the original image, and the luminance of the synthesized texture image. A luminance changing means for changing the original image luminance data and a parameter for controlling the difference between light and dark is realized. Similarly, mask data created in consideration of the scene-blocking area is applied to the synthesis area, and the parameters used for the coordinate transformation are the original that is a rectangle in an actual three-dimensional space. Four vertex coordinates for defining a rectangular area on the image are included, and the means for calculating the relative coordinate value can perform coordinate conversion based on the parameters in consideration of the mask data. ing.
[0013]
Similarly, the parameters used for the coordinate conversion include the actual size (Sx, Sy) of the quadrilateral representing the composite area on the original image that is rectangular in the actual three-dimensional space. ), And the synthesis unit repeats the texture image a number of times according to the relative ratio between the actual size (Sx, Sy) of the rectangle and the actual size (Strx, Stry) of the texture image. And can be synthesized in the synthesis region. Further, a plurality of the texture images are prepared, and the means for calculating the texture coordinate value is obtained by selecting the texture coordinate value based on the relative coordinate value already obtained when another new texture image is selected. It can be calculated.
[0014]
Next, the operation of this embodiment will be described with reference to the flowchart shown in FIG.
[0015]
First, an original image (FIG. 3) and a texture image (FIG. 4) are input by an image input device (steps 1 and 2). In FIG. 3, the two-dot chain line attached to the front surface of the rear object (cube) indicates the boundary because it is difficult to identify the shadow generated by the front cube.
[0016]
Next, mask data representing a region where the texture image is synthesized is created (step 3). This mask data represents the effective area in which the texture is synthesized in the original image. Each area where different textures are synthesized, or how the perspective is applied, that is, the actual tertiary of the original image. A different identification number is set for each region that is not on the same plane when the original space is considered.
[0017]
As an example of this mask data, array data having the same coordinate values as the original image in the vertical and horizontal dimensions is prepared, and a value of 0 is set for pixels that are not subjected to texture synthesis, and pixels for which texture synthesis is performed. Is set with the aforementioned identification number. Here, as an example of the mask data creation procedure, an image in which only the composite area is processed into an arbitrary color (here, white) as shown in FIGS. 5 and 6 based on the original image is prepared. Mask data as shown in FIG. 7 was created from the image. Here, for the sake of convenience, an area where synthesis is not performed is shown in white, and a different color (black and gray) is shown for each effective area. Further, in the present embodiment, in the original image of FIG. 3, in the case of a rear cube in which a scene is blocked by the cube in front, the effective area is shown in black in FIG. Then, mask data in a range excluding the light shielding area is created.
[0018]
Next, a parameter for projectively normalizing the coordinate value of the synthesis area on the original image to synthesize the texture image to the coordinate value on the texture image is designated (input) (step 4). In this operation, the coordinate value of the composite area on the original image of each of the vertices P1 to P4 of the rectangle on the same plane in the actual three-dimensional space and the x direction of the rectangle in the actual three-dimensional real space , Y direction sizes Sx and Sy are designated by the instruction input device 12. In this case, if the actual size of the rectangle is known or can be estimated, the value may be specified. However, the size of the rectangle is not known, and is estimated from a known size in the original image. If this is not possible, there is no problem even if relative values such as how many texture images are arranged in the vertical direction and how many in the horizontal direction are used in the region surrounded by the designated vertices P1 to P4. It is only necessary to specify 1 when designating the actual sizes Strx and Stry of the texture image to be described later.
[0019]
Here, supplementing the coordinates (parameters) of the four vertices to be designated, these coordinate values are obtained by combining the composition area itself to be synthesized or the mask area (effective area defined by the mask data) as shown in FIG. Needless to say, the mask area is not directly related to the mask area, and if it is an area on the original image that is the same plane in the actual three-dimensional space, that is, if the method of parsing is the same, the mask area There is no problem if it is specified outside, and there is no problem if it is specified outside the area of the original image.
[0020]
As a specific example of parameter specification, FIG. 8 shows an example in which coordinate values are specified for a mask area corresponding to the composite area shown in FIG. In this figure, coordinates (x1, y1) to (x4, y4) of P1 to P4 are designated at the vertices of a rectangle on the original image which is a rectangle in an actual three-dimensional space, and the actual three-dimensional space of this rectangle is displayed. The sizes Sx and Sy in the x and y directions are specified. As for P2, it is hidden by an object in front, and this vicinity (blocking area) is outside the effective area in the mask data shown in FIG. 7, but parameter designation is not directly related to the mask area as described above. Any point on an area that will be rectangular in an actual three-dimensional space can be used without any problem. It is necessary to specify the above parameters for all mask areas to be combined. However, if the parameters are the same plane in the actual three-dimensional space, that is, the areas on which the perspective is applied are the same on the original image. The same parameters can be applied.
[0021]
Next, various arithmetic processes described in detail below are performed by the image synthesizer 14. First, a projective normalization transformation is performed on the coordinates in the synthesis area based on the above parameters (this coordinate transformation is described in detail in, for example, “Computer Geometry and Geographic Information Processing” bit separate volume Kyoritsu Publishing (1986)). Do. Specifically, with respect to all pixels included in the area to be textured to be described later, the expressions (3) and (4) including c and d defined by the following expressions (1) and (2) are used. Then, projective normalization conversion is performed to calculate relative coordinate values α and β (step 5). Here, the relative coordinate value is given as a value normalized to rectangular coordinates composed of actual sizes Sx and Sy in the x and y directions.
[0022]
[Expression 1]

[0023]
In the calculation of the relative coordinate values in step 5, coordinate conversion is performed by the above equations (1) to (4) using the parameters of the vertex coordinates (x1, y1) to (x4, y4) and the actual sizes Sx and Sy. In this case, the processing is performed in consideration of the mask data (mask region). As a result, if there is a shaded area, there is no need to perform coordinate conversion calculation processing for that range, so the amount of calculation can be reduced and the processing speeded up.
[0024]
Next, a texture image to be synthesized is selected (designated) from those already input by the instruction input device 12 (step 6), and a synthesis area (one area or a plurality of areas may be synthesized) to synthesize the texture image. Is designated (step 7). At this time, when the texture image to be synthesized is reduced and synthesized, it is necessary to perform low-pass filter processing or the like on the texture image in advance to suppress the occurrence of moire.
[0025]
Next, the actual size of the texture image to be synthesized is designated (as described above, 1 is designated when the size of the rectangle is designated by a relative value indicating how many texture images are arranged). Then, the relative coordinate values (α, β) calculated by performing the projective normalization conversion on the coordinate values in the synthesis area to be synthesized are expressed in terms of the actual size of the texture image and the pixel unit of the texture image. Based on the size, texture coordinate conversion is performed by converting the coordinate value (x _t , y _t ) on the texture image to be actually synthesized according to the following expression (step 8). At that time, x _t, less than y _t is 0 (alpha in relative coordinates as shown in FIG. 11 to be described later, if β is negative) or STPX, when the above Stpy is, STPX, the modulo Stpy Calculate and set the coordinate value on the texture image with the number of remaining pixels.
[0026]
[Expression 2]

[0027]
Next, the pixel value of each pixel constituting the texture image of the coordinate converted in step 8 is selected by replacing the pixel value of the pixel to be synthesized (the corresponding pixel in the synthesis area in the mask area). A texture image is synthesized in the synthesis area (step 9). At that time, the actual size (Sx, Sy) of the quadrilateral representing the composite area on the original image which is a rectangle in the actual three-dimensional space and the actual size of the texture image (Strx). , Stry) and the texture image is repeated for a number of times given as a relative ratio obtained by the above-described synthesis region. Details of this repeated synthesis will be described later for convenience.
[0028]
Next, the brightness of the synthesized texture image is changed based on the brightness data of the original image (step 10). Specifically, the luminance is changed by the following equation (7) for each pixel in the region where the texture image is synthesized by the synthesis process in step 9 above. This makes it possible to increase or decrease the difference in light and darkness in the synthesis area of the original image, or to increase or decrease the average brightness difference between the original image and the synthesized texture image to obtain a more natural synthesized image. Can be done. Here, by changing each parameter, it is possible to obtain a natural composite image without any sense of incongruity even when it is desired to synthesize extremely different texture images such as the material on the composite region of the original image and the reflectance. If there are other texture images to be synthesized, the above-described processing in steps 6 to 10 is repeated (step 11).
[0029]
FIG. 9 shows a composite image created by actually setting the mask data of FIG. 7 on the original image of FIG. 3 and synthesizing the texture image of FIG. 4 in the two areas. In FIG. 9, it is difficult to understand because the gradation difference is not clear, but the shadow indicating the boundary with a two-dot chain line is reflected in the composite image as in FIG. 3.
[0030]
[Equation 3]

[0031]
Then, where for convenience, per To calculate the coordinate value on the texture image as described above, once the relative coordinate value alpha, advance to calculate the beta, then x _t, FIG why calculating the y _t The details will be described.
[0032]
Now, if the actual size of the composite area shown in FIG. 10 is, for example, m units of width 5 and height 3, the coordinates after conversion to α and β are as shown in FIG. 11 (here Can be calculated regardless of the actual size of the texture in pixel units). Here, in this area, the texture image schematically shown in FIG. 12 (size in pixel units: 100 × 100, actual size: 1 × 1) is converted into coordinate values on the texture image. The results obtained are shown in FIG. 14 as the result of repeatedly synthesizing the texture image. In addition, the result of converting the texture image schematically shown in FIG. 13 (size in pixel units: 150 × 150, actual size: 2 × 2) into coordinate values on the texture image is shown. FIG. 15 shows the result of repeated synthesis.
[0033]
As is clear from this example, the actual size of the P1 to P4 region, the size of the texture image in pixel units, and the actual size can be specified, so that the actual size can be synthesized. Is possible. In addition, once α and β are calculated, α and β can be calculated regardless of the size of the texture image. Therefore, even when a texture image having a different actual size is synthesized in units of pixels, α, β Since the value of can be reused, the amount of calculation can be reduced.
[0034]
Although the present invention has been specifically described above, the present invention is not limited to that shown in the above embodiment, and various modifications can be made without departing from the scope of the invention.
[0035]
For example, the projective normalization conversion is adopted as the coordinate conversion in the embodiment, but the present invention is not limited to this, and the coordinate conversion that normalizes the synthesis area on the original image into a rectangle (including a square) in the actual three-dimensional space. If it is, it will not be restricted. Further, the specific configuration of the image composition apparatus is not limited to that shown in FIG.
[0036]
【The invention's effect】
As described above, according to the present invention, when a texture image such as a product sample image is synthesized with an original image such as a construction example of an arbitrary product, there is no sense of incongruity without special experience or intuition. Images can be created easily.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image synthesizing apparatus according to an embodiment of the present invention. FIG. 2 is a flowchart showing the operation of the embodiment. FIG. 3 is an explanatory diagram showing an example of an original image. FIG. 5 is an explanatory diagram showing an example of a texture image. FIG. 5 is an explanatory diagram showing a procedure for creating mask data. FIG. 6 is another explanatory diagram showing a procedure for creating mask data. FIG. 8 is an explanatory diagram showing how to specify parameters. FIG. 9 is an explanatory diagram showing an example of a composite image. FIG. 10 is a diagram showing an example of a composite region where parameters are set. FIG. 12 is a diagram schematically showing an example of a texture image. FIG. 13 is a diagram schematically showing another example of a texture image. FIG. 14 is a diagram showing the texture of FIG. Diagram showing the combined image [ 15] diagram showing an image obtained by combining the texture image of FIG. 13 [Description of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image input device 12 ... Instruction input device 14 ... Image composition device 16 ... Display device 18 ... Image output device

Claims

In an image synthesizer that synthesizes a texture image with a part of an original image,
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values; means for calculating texture coordinate values on the texture image from the relative coordinate values;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
Means for generating original image luminance data consisting only of luminance information of each pixel of the original image, and a parameter for controlling the luminance of the synthesized texture image and the difference between the original image luminance data and light and dark Using the following formula:
Yto = ((Ys-Yas) ・ R + Yas) / Yas) × (Yt + (Yas−Yat) × S)
(Where Yto: luminance after conversion, Ys: luminance of the pixel at the synthesis position of the original image, Yt: luminance of the pixel of the synthesized texture image, Yas: average luminance within the synthesis area of the original image, Yat: texture Parameters that control the average brightness of the image, R: Light / dark difference (R> 1 makes the light / dark difference larger than the original image, and R <1 makes the light / dark difference smaller), S: What is the texture's average brightness? Parameters that control whether or not the image is close to the original image (average brightness of texture synthesized with S = 0 = Yat, average brightness = Yas with S = 1))
An image synthesizing apparatus comprising: a brightness changing means for changing the brightness based on the above.

In an image synthesizer that synthesizes a texture image with a part of an original image,
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values;
Means for calculating a texture coordinate value on the texture image from the relative coordinate value;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
With
The parameters used for the coordinate transformation include the actual size (Sx, Sy) in the three-dimensional space of the quadrangle representing the composite area on the original image that is rectangular in the actual three-dimensional space, The synthesizing unit repeatedly synthesizes the texture image into the synthesis area a number of times according to the relative ratio between the actual size of the rectangle (Sx, Sy) and the actual size of the texture image (Strx, Stry). When doing
The following formula using relative coordinate values (α, β) calculated by performing normalization conversion on the coordinate values in the synthesis region where the texture coordinate values are calculated is:
xt = α × (Stpx / Strx)
yt = β × (Stpy / Stry)
(Where xt, yt: coordinate values on texture image, Stpx, Stpy: size of texture image to be synthesized (pixel unit), Strx, Stry: actual size of texture to be synthesized (absolute value))
An image synthesizing apparatus characterized by performing texture coordinate conversion.