JP3693735B2

JP3693735B2 - Image synthesizer

Info

Publication number: JP3693735B2
Application number: JP4295596A
Authority: JP
Inventors: 三奈子宮間; 邦雄近藤
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 1996-02-29
Filing date: 1996-02-29
Publication date: 2005-09-07
Anticipated expiration: 2016-02-29
Also published as: JPH09237355A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像合成装置、特に、実写画像を基にして、それを背景とした商品カタログの作成や、住宅等の内装変更後のイメージを表わした画像等の作成に適用して好適な、画像合成装置に関する。
【０００２】
【従来の技術】
従来、画像合成を、実写画像のみを用いて行う場合、違和感の無い合成画像を得るために、企画段階で合成を前提に綿密な計算がなされた実写画像の素材を準備し、それらを印刷用のレイアウト・スキャナやトータル・スキャナ・システムの画像処理ステーション、デザイン専用システム等の専用機によって、合成する処理が行われている。
【０００３】
又、近年、住宅等で使用されているバス・トイレタリやキッチン等の商品カタログを作成するために、実写した背景画像とＣＧ（コンピュータ・グラフィックス）技術により作成した浴槽等の部品とを画像合成したり、インテリア・シミュレーション等において、家具、カーテン、壁紙等の内装をＣＧで作成し、そのＣＧ画像を室内の実写画像に合成することにより、得られる合成画像から内装を変更した場合のイメージを確認することが行われている。
【０００４】
このように、合成画像の素材にＣＧ画像を用いる場合、背景として使用する実写画像を、合成を前提に厳密に条件を決めて撮影し、その撮影条件が予め明らかである場合は、その撮影条件を用いてＣＧ画像を作成することにより、実写画像とそのＣＧ画像を合成し、違和感の無い合成画像を容易に作成することもできる。
【０００５】
【発明が解決しようとする課題】
しかしながら、合成を前提に撮影されていない、即ち撮影条件が不明な実写画像を用いて、それにＣＧ画像を合成して違和感の無い合成画像を作成するためには、オペレータが経験と勘で実写画像に合うような条件を試行錯誤で求めてＣＧ画像を生成し、それを用いて合成処理を行っているため、合成操作が難しいという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の実写画像とＣＧ画像を合成する場合、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、実写画像とＣＧ画像とを合成する画像合成装置において、実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、推定した３次元的空間情報に基づいて合成用のＣＧ画像を生成する手段と、生成したＣＧ画像を透視投影変換して、前記実写画像に合成する手段と、前記実写画像に写し込まれている光源の位置を指定する手段と、指定された光源の位置から、前記視点位置情報から推定した３次元的空間情報に基づいて画像中の３次元的な光源位置情報を推定する手段と、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えた構成とすることにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、実写画像に合成するＣＧ画像を、該実写画像から推定した視点を中心とする３次元空間情報に基づいて作成できるようにしたので、これら実写画像とＣＧ画像とをそれぞれ素材として違和感の無い合成画像を、特別な経験や勘がなくとも容易且つ確実に作成できる。
【０００９】
【発明の実施の形態】
一般に、違和感の無い合成画像を作成すためには、合成に用いる各々の素材画像が、同一の撮影条件、即ち視点、アングル、光の当たり方等が等しくなくてはならない。設定条件が不明の実写画像を用いて違和感の無い合成画像を作成するためには、実写画像を撮影したときの撮影条件を推定する必要がある。
【００１０】
そこで、この実施の形態では、実写画像にＣＧ画像を合成する際に、１枚の実写画像から撮影条件である、視点位置情報（視点位置、視距離、対象物の位置関係等）を、専用のハードウェアを用いなくとも容易に推定できるようにし、推定したその条件を基にして合成用のＣＧ画像を生成し、それを透視投影変換した後、実写画像に張込んで合成する機能を有する画像合成システム（画像合成装置）を提供する。
【００１１】
又、この実施の形態では、前記実写画像から光源位置情報を推定し、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す機能を備えている。
【００１２】
以下、図面を参照して、より具体的な実施の形態の例について詳細に説明する。図１は、本発明に係る一実施の形態の画像合成システムの概略構成を示すブロック図である。
【００１３】
この画像合成システムは、実写画像を入力するスキャナ等の画像入力装置１０と、入力した実写画像の画像データ等を保持する画像保持用メモリ１２と、該メモリ１２に保持されている画像データに基づいてその画像を表示する画像表示装置１４と、上記メモリ１２に保持されている合成後の画像データ等を出力する画像出力装置１６とを備えている。
【００１４】
又、上記画像保持用メモリ１２には、該メモリ１２から入力した実写画像データについて、後に詳述する画像合成のための各種演算処理を実行するための演算部１８が接続され、この演算部１８には光源情報演算部２０、視点位置情報演算部２２、ＣＧ画像生成部２４、画像データ合成部２６が含まれている。
【００１５】
又、上記演算部１８には、ユーザインターフェースとしてマウス等のポインティングデバイスからなる情報入力部２８が接続され、画像表示装置１４のディスプレイに表示されている実写画像等を見ながら、該情報入力部２８で画像合成の演算処理に必要なデータをオペレータが入力できるようになっている。
【００１６】
このシステムでは、図２に示すフローチャートに従って、画像合成迄の各処理が実行される。まず、スキャナ１０で実写画像の取込みを行い（ステップＳ１）、そのデータをメモリ１２で保持するとともに、実写画像を画像表示装置（ディスプレイ）１４に表示する。そして、ディスプレイ１４上の実写画像を見ながら情報入力部２８から情報を入力することにより、視点位置情報演算部２２で、既に読み込んである実写画像から視点位置情報を推定する。
【００１７】
この視点位置情報演算部２２で実行する視点位置情報の推定は、前記図２のフローチャートにおける消失点計算（ステップＳ２）、大きさ情報の入力（ステップＳ３）、視点位置、視距離計算（ステップＳ４）迄の処理に当る。
【００１８】
前記ステップＳ２で実行する消失点計算は、スキャナで取り込んだ実写画像において、３次元空間内の平行線が透視図上で１点、即ち消失点で交わることを利用して、実写画像中の平行線から消失点座標を求めることを意味する。
【００１９】
即ち、室内を撮影した実写画像に写し込まれているテーブル、窓、畳、天井等の形状を表わす線は、３次元的には一般に平行線である。従って、実写画像が、例えば図３のようであったとすると、天井の平行線は消失点に収束することから、直交する３軸方向の３つの消失点は、各軸にそれぞれ平行な２本の線分をディスプレイ上で指定することにより、２直線の交点として求められる。
【００２０】
この時点での消失点座標は、ディスプレイ用表示座標系である２次元の座標値として求められる。但し、図３に示した画像は、図４に示したように、カメラを床に対して水平に設置し、仰角＝０として撮影されていることから、鉛直方向の平行線は写真の画面に対して平行な位置関係にあるため、左右２つの消失点のみとなり、上下方向に第３の消失点は存在していない。
【００２１】
ステップＳ３の大きさ情報の入力は、読み込んだ前記実写画像中に写し込まれている、例えば窓の一辺の長さ等の予め既知の物体の大きさ情報を、前記情報入力部２８により入力することにあたる。この大きさ情報を入力することによって、撮影したときのカメラ位置である視点位置や、カメラから投影面中心（視心）までの距離である視距離等の視点位置情報を求めることが可能となる。この場合、大きさ情報が正しいほど視点位置を正確に求めることができるが、ある程度大きさが推定できるようなものであればよい。
【００２２】
ステップＳ４の視点位置、視距離計算は、視点位置情報の推定の中心的処理である。以下、これについて詳述する。なお、この推定方法については、近藤、木村、田嶋による、「手描き透視図の視点推定とその応用」情報処理学会論文誌昭和６３年７月、に詳細に説明されている。
【００２３】
まず、投影中心である視点座標を求める方法を以下に述べる。ここでは、視点と視心を結ぶ直線上に地上座標系の原点があると想定している。
【００２４】
図５は、視点Ｅと消失点Ｖの関係を示したもので、Ｆは視距離である。点Ｐを含み、角度αである半直線Ｌを考える。このとき、点Ｐ（ｘ，ｙ）は、投影面上のＰ′（ｘ′，Ｆ）に変換される。この点Ｐを半直線Ｌ上に無限大の長さにとると消失点Ｖと一致する。これから、直線Ｌの消失点の座標は（Ｆ／ｔａｎα，Ｆ）となる。
【００２５】
図６は、視点座標系Ｅ−ＵＶＷと、地上座標系Ｏ−ＸＹＺとの関係を、（Ａ）の平面図と（Ｂ）の側面図で示したものである。ここで、視点をＥ、視軸をＶとし、視点Ｅから線分Ｖ１−Ｖ２に対して直交する線分を引き、その交点をＨＬとする。ＨＬ′は、このＨＬの平面図の座標、Ｅ′は視点の側面図の座標、Ｆ′は視点ＥからＨＬまでの距離を示す。この図６は、Ｗ軸の周りにα、Ｕ軸の周りにβだけ傾けた状態を示している。消失点Ｖ１、Ｖ２、Ｖ３は、原点を視心Ｃとする画面の座標系Ｃ−ＵＷにおいて、次のようになる。
【００２６】
Ｖ１＝（Ｆ′／ｔａｎα，Ｆｔａｎβ） …（１）
Ｖ２＝（−Ｆ′ｔａｎα，Ｆｔａｎβ） …（２）
Ｖ３＝（０，−Ｆ／ｔａｎβ） …（３）
Ｆ′＝Ｆ／ｃｏｓβ …（４）
ＨＬ＝（０，Ｆｔａｎβ） …（５）
【００２７】
上記（１）〜（５）式を利用して、Ｖ１、Ｖ２、Ｖ３が既知のとき、方位角α、仰角β、視距離Ｆ、視心Ｃを次の手順により求める。これを、図７も参照しながら説明する。
【００２８】
（１）線分Ｖ１−Ｖ２の中点を求め、該中点を中心として、直径をＶ１−Ｖ２とする円を作画する。
（２）Ｖ３から直線Ｖ１−Ｖ２に下ろした垂線と、直線Ｖ１−Ｖ２との交点ＨＬ′、上記円との交点Ｅを求める。
（３）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ２より角度αを求める。
（４）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ３より視距離Ｆを求める。
（５）前記（４）式を利用して、視距離Ｆと線分Ｅ−ＨＬ′から角度βを求める。
（６）Ｖ１から線分Ｖ２−Ｖ３に下ろした垂線と、Ｖ２から線分Ｖ１−Ｖ３に下ろした垂線との交点を視心Ｃとする。
【００２９】
次に、視心情報が既知の場合に視点位置情報を推定する方法を、前記図３に示した２消失点画像と実質上同一の図８を用いて説明する。
【００３０】
この図８に示した実写画像Ｇは、床面に対して水平にカメラを設置して撮影されたと推定され、仰角βは０°である。このような２消失点の場合、前記図４に示したように、消失点の位置は目の高さ（視線）の延長線上にある。又、この画像Ｇは、スキャナで取り込んだ後、トリミング作業を行っていないことから、図８に示すように視線の中心となる視心Ｃは、２つの消失点を結んだ線上にあり、且つｘ軸方向の中心にあるとして以下の手順で視距離Ｆを算出する。
【００３１】
（１）左右２つの消失点を求めるために、３次元空間内でそれぞれ平行な２組の平行線を指定し、２直線の交点として消失点Ｖ１、Ｖ２を計算する。
（２）線分Ｖ１−Ｖ２の中点Ｍを求め、中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
（３）線分Ｖ１−Ｖ２上にあり、且つ実写画像のｘ軸方向の中心Ｃを求める。
（４）視心Ｃから半円に垂線を引き、交点が視点Ｅとなる。
（５）線分Ｅ−Ｃより視距離Ｆを求める。
【００３２】
一方、視心情報が不明の場合、即ち、同様に２消失点画像ではあるが、トリミングされているために、視心が実際の画像の中心から反れていて不明の場合に、視点位置情報を推定する方法を、図９を用いて説明する。なお、この推定方法については、Ｆ．ホーエンベルク著、増田訳「技術における構成幾何学」（上巻）日本評論社、に詳細に説明されている。
【００３３】
図９（Ａ）に示した実写画像Ｇは、太い実線で示す直方体が写し込まれているが、トリミングによりその左端が切断されているため、画像の中心が不明になっている。但し、この場合は、画像Ｇ中でＡ′Ｂ′Ｃ′Ｄ′（但し、Ｄ′は見えない）で示す直方体の上面の一部にあたる四角形が、同図（Ｂ）に示すように寸法ａ、ｂが明らかな四角形ＡＢＣＤであるとする。
【００３４】
上記画像中の物体で、実際の３次元空間では水平線に平行でお互いに直交する２本の線分、ここでは、図９（Ｂ）で線分ＡＢ、ＡＣの長さが上記のように既知であるとして、以下の手順で視点位置、即ち視距離を推定できる。
【００３５】
（１）左右２つの消失点を求めるために、水平線にそれぞれ平行な２組の平行線から消失点Ｖ１、Ｖ２を求める。
（２）線分Ｖ１−Ｖ２の中点を求め、その中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
（３）長方形ＡＢＣＤが画像に写し込まれているＡ′Ｂ′Ｃ′（Ｄ′）を、上で求めた円周上の平面図Ａ″Ｂ″Ｃ″Ｄ″に変換する。
（４）線分Ｂ″−Ｄ″を延長して線分Ｖ１−Ｖ２と交わる点Ｆが線分Ｂ−Ｄの消失点となる。即ち、Ｖ１、Ｖ２、Ｆは、それぞれ線分Ａ−Ｂ、線分Ｂ−Ｃ、線分Ｂ−Ｄに平行な線が画面上で交わる点である。
（５）角ＤＢＣであるαは、線分Ｂ−Ｃと線分Ｃ−Ｄによって与えられる。
（６）視点Ｅは、空間で直径がＶ１−Ｖ２である水平円の上にあり、且つ弦Ｆ−Ｖ２に対して円周角２αを持つ水平円の上にもあることから、これらの円の交点として与えられる。
（７）視点Ｅから線分Ｖ１−Ｖ２に引いた垂線により視心、ここではＨが求められ、線分Ｅ−Ｈより視距離Ｆが求まる。
【００３６】
以上詳述した如く、視点位置、視距離、対象物の位置関係等の視点位置情報を推定する演算が前記演算部２２で実行され、前記図２のフローチャートでステップＳ４の処理が終了すると、次のステップＳ５で推定されたその情報に基づいて空間の３次元的情報を推定する立体再構成を行なう。
【００３７】
この立体再構成は、前記図３又は図８の実写画像の場合であれば、図１０に示すように、実写画像から得られた３次元情報に基づいて、例えば４０ｃｍ間隔でメッシュを張り込むことに相当する。この図１０には、便宜上２次元的に表示してあるが、実際には、例えば４０ｃｍ×４０ｃｍ×４０ｃｍの寸法からなる３次元的にメッシュを張り込んでいる。
【００３８】
次に、ここで実写画像から３次元情報を推定するために実行する２次元画像の３次元化について詳細に説明する。
【００３９】
前記図５、図６に示したように、直方体の辺は、視点−消失点を結ぶ直線に平行であることを利用して、２次元画像の３次元化を行うことができる。これを、図１１を用いて詳述する。なお、この方法については、杉下による「３次元形状生成のためのスケッチインターフェース」埼玉大学、平成６年２月、に詳細に説明されている。
【００４０】
図１１で、Ｐ１、Ｐ２と投影面上の点で、両点を結ぶ直線は消失点Ｖを通る。Ｃは視心、Ｅは視点である。視点と消失点を結ぶ直線が、３次元空間上におけるＰ１′、Ｐ２′を通る直線と平行であること、及び、視点ＥとＰ１とを結ぶ直線上にＰ１′が存在し、視点ＥとＰ２とを結ぶ直線上にＰ２′が存在することから、Ｐ１′−Ｐ２′間の距離が分かれば、Ｐ１′、Ｐ２′を決定できる。
【００４１】
そこで、視心Ｃが地上座標系の原点（０，０，０）に位置し、視点Ｅが地上座標系のｘ軸上の正方向に位置していると仮定し、
Ｐ1 （x ₁，y ₁）、Ｐ2 （x ₂，y ₂）
Ｐ1 ′（x ₁′，y ₁′，z ₁′）、Ｐ2 ′（x ₂′，y ₂′，z ₂′）
Ｃ（x ₀，y ₀）、Ｅ（Ｆ，０，０）、Ｖ（x _s，y _s，z _s）
のように定めると、Ｐ1 ′、Ｐ2 ′の各座標値は媒介変数ｔ、ｓを用いて、次の（６）〜（１２）式によって求められる。ここで、Ｆは視距離である。
【００４２】

【００４３】
上記（１０）式で、ＤはＰ₁′−Ｐ₂′間の距離であり、このＰ1 ′−Ｐ2 ′間の距離を与えることにより、２次元形状から３次元形状を得ることができる。得られた３次元形状は、視心Ｃが地上座標系の原点に位置し、視点ＥがＸ軸上の正方向に位置しているとの仮定の下での座標なので、実際の３次元空間の座標を得るためには変換行列によって座標変換を行う必要がある。その変換行列は、先に求めた方位角α、仰角βを用いて構成される。又、最初の２点の座標が求まれば、それを基に残りの点の座標を求めることができる。
【００４４】
以上のような計算処理により、前記ステップＳ４で推定した視点位置情報を用いて、２次元の実写画像から３次元空間情報を推定することにより、図１０に示したように立体再構成が可能となる。即ち、前記ステップＳ３で入力した大きさ情報を用いることによって、視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に写し込まれている空間の３次元的情報を推定することができる。
【００４５】
従って、上記図１０に示されるように、視点に近い位置ほど寸法が大きいメッシュが張り込まれた画像を作成することが可能となる。
【００４６】
前記図２のステップＳ５で、上記立体再構成が終了すると、その３次元空間情報はメモリ１２に出力され、保持される。次いで、その情報を用いて光源条件の推定を行う（ステップＳ５）。
【００４７】
この光源情報の推定は、画像表示装置１４のディスプレイ上で、そこに表示されている実写画像に写し込まれている光源の位置をマウス等で指示することにより、前述した３次元空間情報を用いて、光源情報演算部２２で推定計算して求められる。
【００４８】
即ち、上記の如く、視点位置情報が求まったことから、それを用いて実写画像中に写し込まれている物体の位置、大きさ等の３次元的空間情報を推定することができるようになったので、画像中の照明器具や窓といった光を放つ物体、即ち光源の３次元的な位置を推定できる。光源の位置が決まれば合成しようとするＣＧ画像の物体に光が照射する方向を光学的に計算できる。このように推定された光源位置（条件）は、前記メモリ１２に出力され、保持される。
【００４９】
次いで、ＣＧ画像生成部２４で、前記メモリ１２から読み込まれる３次元空間情報を用いて、合成するためのＣＧ画像の生成が行われる（ステップＳ７）。ここで生成されたＣＧ画像は、画像データ合成部２６に出力される。
【００５０】
この画像データ合成部２６では、前記メモリ１２から実写画像データとともに、既に推定してある視点位置情報、光源情報等が入力されると、上記画像生成部２４から入力されたＣＧ画像に対して実写画像における配置場所での陰影処理が施された後、両画像の合成処理が実行される（ステップＳ８、Ｓ９）。これは、光源条件を含む撮影条件に合わせてＣＧ画像で生成した物体を、透視投影変換し、それに合成したい素材のテクスチャをマッピングして、陰影処理を行って実写画像に合成する処理を実行していることにあたる。
【００５１】
ここで実行される画像合成について更に詳述すると、ＣＧ画像の表面の明るさは、面の向き、視点の位置、光源の位置の空間的な位置関係によって変化する。実写画像の視点位置情報から、視点、光源の位置が決まり、ＣＧ画像を合成する位置を指定することによって面の向きが決まり、図１２に立方体の場合について点光源を指定した場合を示すように、その影の形状が求まる。
【００５２】
又、前記立体再構成画像における直方体による影の形状は、図１３に概念的に実線で示すように、点光源Ｌの場合はＡ、窓Ｗのような面光源の場合はＢのように、それぞれ光学的な計算処理により求めることができる。なお、この図１３では、メッシュを破線で表わしている。
【００５３】
次に、合成したい物体の材質、即ちテクスチャを指定することによって反射係数は決まり、ＣＧ画像の陰影処理に必要な条件が揃う。このようにして生成したＣＧ画像を、実写画像を生成したときの視点条件に合わせて透視投影変換し、実写画像中の希望する位置に配置し、そのときの陰影処理を行って合成することができる。
【００５４】
以上詳述した如く、この実施の形態によれば、撮影条件が不明な実写画像でも、そこから視点位置情報と光源情報を推定することができるため、違和感の無い合成画像を生成することができる。従って、この実施の形態の画像合成システムを用いることにより、次のような具体的な処理を行うことが可能となる。
【００５５】
一般に、住宅等で使用されているバス・トイレタリやキッチンは、同一形状による色違いや、素材の違い等からなる多数の組合せが可能となっている。これらの商品カタログは、商品毎にスタジオにセットを組み、カメラで撮影している。しかし、このように撮影により作成するカタログは、通常１種類しかなく、色違いの商品に関しては色のサンプルを表示する場合が多い。
【００５６】
そこで、このシステムを利用することによって、撮影した１枚の実写画像にＣＧ画像を合成することによって、色や素材の違う商品も実際にスタジオ撮影したものと同様に、商品全体のイメージを撮影コストをかけることなく、均一な品質で、簡単に表現できる。
【００５７】
又、インテリアシミュレーション等において、家具やカーテン、壁紙といった住宅内部の内装を変更する際に、現状を撮影した実写画像に対して、変更予定の家具やカーテン、内装材をＣＧ画像で生成して合成することによって、事前に変更後のイメージを確認することができる。
【００５８】
以上、本発明について具体的に説明したが、本発明は、前記実施の形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００５９】
【発明の効果】
以上説明したとおり、本発明によれば、任意の実写画像とＣＧ画像を合成する場合、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施の形態の画像合成システムを示すブロック図
【図２】実施の形態における画像合成の処理手順を示すフローチャート
【図３】消失点の求め方を示す説明図
【図４】２消失点画像における投影面とカメラの関係を示す説明図
【図５】視点と消失点の関係を示す説明図
【図６】視点推定計算を説明するための線図
【図７】視点情報を推定する方法を示す説明図
【図８】実写画像で視点情報を推定する方法を示す説明図
【図９】実写画像で視点情報を推定する方法を示す他の説明図
【図１０】３次元空間情報を基に立体再構成した状態を示す説明図
【図１１】２次元画像の３次元化を説明するための線図
【図１２】点光源位置指定による影の形状生成例を示す説明図
【図１３】立体再構成画像における影の形状生成例を示す説明図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
１８…演算部
２０…光源情報演算部
２２…視点位置情報演算部
２４…ＣＧ画像生成部
２６…画像データ合成部
２８…情報入力部[0001]
BACKGROUND OF THE INVENTION
The present invention is suitable for application to image synthesizing devices, in particular, creation of product catalogs based on live-action images, and images representing images after interior changes such as houses, The present invention relates to an image composition apparatus.
[0002]
[Prior art]
Conventionally, when image synthesis is performed using only live-action images, in order to obtain a composite image that does not feel uncomfortable, materials for live-action images that have been thoroughly calculated at the planning stage are prepared and used for printing. Processing is performed by a dedicated machine such as an image processing station of a layout scanner, a total scanner system, a design dedicated system, or the like.
[0003]
In addition, in order to create product catalogs for bathrooms, toiletries, kitchens, etc., which have been used in recent years, image composition of background images taken in real life and parts such as bathtubs created using CG (computer graphics) technology In interior simulation, etc., interiors such as furniture, curtains, wallpaper, etc. are created with CG, and the CG image is synthesized with the actual shot image in the room, so that the image when the interior is changed from the synthesized image obtained Checking is done.
[0004]
As described above, when a CG image is used as a material for a composite image, a real image used as a background is photographed under strictly determined conditions on the premise of compositing, and when the photographing condition is clear in advance, the photographing condition By creating a CG image using, a real image and its CG image can be synthesized to easily create a composite image without any sense of incongruity.
[0005]
[Problems to be solved by the invention]
However, in order to create a composite image that does not have a sense of incongruity by combining a CG image with a live-action image that has not been shot on the premise of synthesis, that is, the shooting conditions are unknown, Since a CG image is generated by trial and error, and a synthesis process is performed using the CG image, a synthesis operation is difficult.
[0006]
The present invention has been made to solve the above-described conventional problems, and when a real image and a CG image are synthesized, a synthesized image without any sense of incongruity can be easily created without special experience or intuition. It is an object of the present invention to provide an image synthesizing apparatus capable of performing the above.
[0007]
[Means for Solving the Problems]
According to the present invention, in an image synthesizing apparatus that synthesizes a live-action image and a CG image, means for estimating viewpoint position information from the real-shot image, means for estimating three-dimensional spatial information of the real-shot image from the estimated viewpoint position information, A means for generating a CG image for synthesis based on the estimated three-dimensional spatial information, a means for performing perspective projection conversion of the generated CG image and synthesizing it into the photographed image, and being imprinted on the photographed image means for specifying the position of the light source are, starting from a given light source, and means for estimating a three-dimensional light source position information in the image based on the three-dimensional space information estimated from the viewpoint position information, estimation The above-mentioned problem is solved by providing a means for performing a shading process on the CG image based on the light source position information.
[0008]
That is, in the present invention, the CG image to be combined with the photographed image can be created based on the three-dimensional spatial information centered on the viewpoint estimated from the photographed image. A composite image without any sense of incongruity can be easily and reliably created without special experience or intuition.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
In general, in order to create a composite image with no sense of incongruity, each material image used for composition must have the same shooting conditions, that is, the viewpoint, angle, how light strikes, and the like. In order to create a composite image without a sense of incongruity using a live-action image with unknown setting conditions, it is necessary to estimate the shooting conditions when the real-shot image is taken.
[0010]
Therefore, in this embodiment, when a CG image is combined with a live-action image, viewpoint position information (viewpoint position, viewing distance, positional relationship of an object, etc.) that is a shooting condition from a single live-action image is dedicated. It is possible to easily estimate without using hardware, and to generate a CG image for synthesis based on the estimated condition, and after performing perspective projection conversion on it, it has a function to synthesize it by embedding it in a real image An image composition system (image composition apparatus) is provided.
[0011]
In this embodiment, the light source position information is estimated from the photographed image, and the CG image is shaded based on the estimated light source position information.
[0012]
Hereinafter, specific examples of embodiments will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of an image composition system according to an embodiment of the present invention.
[0013]
This image composition system is based on an image input device 10 such as a scanner for inputting a photographed image, an image holding memory 12 for holding image data of the inputted photographed image, and the image data held in the memory 12. An image display device 14 for displaying the image, and an image output device 16 for outputting the combined image data and the like held in the memory 12.
[0014]
The image holding memory 12 is connected to a calculation unit 18 for executing various calculation processes for image composition, which will be described in detail later, on the real image data input from the memory 12. Includes a light source information calculation unit 20, a viewpoint position information calculation unit 22, a CG image generation unit 24, and an image data synthesis unit 26.
[0015]
Further, an information input unit 28 composed of a pointing device such as a mouse is connected to the arithmetic unit 18 as a user interface, and the information input unit 28 is viewed while viewing a real image displayed on the display of the image display device 14. Thus, the operator can input data necessary for the calculation processing of the image composition.
[0016]
In this system, each process up to image composition is executed according to the flowchart shown in FIG. First, a captured image is captured by the scanner 10 (step S1), the data is held in the memory 12, and the captured image is displayed on an image display device (display) 14. Then, by inputting information from the information input unit 28 while viewing the actual image on the display 14, the viewpoint position information calculation unit 22 estimates the viewpoint position information from the already captured actual image.
[0017]
The estimation of the viewpoint position information executed by the viewpoint position information calculation unit 22 includes vanishing point calculation (step S2), size information input (step S3), viewpoint position, and visual distance calculation (step S4) in the flowchart of FIG. ).
[0018]
The vanishing point calculation executed in step S2 is performed by utilizing the fact that a parallel line in the three-dimensional space intersects at one point on the perspective view, that is, the vanishing point, in the real image captured by the scanner. This means finding the vanishing point coordinates from the line.
[0019]
That is, the lines representing the shapes of the table, window, tatami mat, ceiling, etc., which are captured in a real image taken of the room, are generally parallel lines in three dimensions. Therefore, if the photographed image is, for example, as shown in FIG. 3, the parallel lines of the ceiling converge to the vanishing point, so that the three vanishing points in the three orthogonal directions are two parallel to each axis. By specifying a line segment on the display, it is obtained as an intersection of two straight lines.
[0020]
The vanishing point coordinates at this time are obtained as two-dimensional coordinate values that are the display coordinate system for display. However, since the image shown in FIG. 3 is taken with the camera placed horizontally with respect to the floor and the elevation angle = 0 as shown in FIG. 4, the parallel lines in the vertical direction are displayed on the screen of the photograph. Since the positions are parallel to each other, there are only two vanishing points on the left and right, and there is no third vanishing point in the vertical direction.
[0021]
In the input of size information in step S3, the information input unit 28 inputs size information of a known object, such as the length of one side of the window, which is copied in the read real image. That's true. By inputting this size information, it is possible to obtain viewpoint position information such as a viewpoint position that is a camera position at the time of shooting and a viewing distance that is a distance from the camera to the center of the projection plane (visual center). . In this case, the more accurate the size information, the more accurately the viewpoint position can be obtained.
[0022]
The viewpoint position and viewing distance calculation in step S4 is a central process for estimating viewpoint position information. This will be described in detail below. This estimation method is described in detail by Kondo, Kimura, and Tajima in “Estimation of Viewpoints of Hand-drawn Perspective Views and Their Applications”, Journal of Information Processing Society of Japan, July 1988.
[0023]
First, a method for obtaining viewpoint coordinates that are the projection center will be described below. Here, it is assumed that the origin of the ground coordinate system is on a straight line connecting the viewpoint and the visual axis.
[0024]
FIG. 5 shows the relationship between the viewpoint E and the vanishing point V, where F is the viewing distance. Consider a half-line L that includes a point P and has an angle α. At this time, the point P (x, y) is converted to P ′ (x ′, F) on the projection plane. If this point P is infinitely long on the half line L, it will coincide with the vanishing point V. From this, the coordinates of the vanishing point of the straight line L are (F / tan α, F).
[0025]
FIG. 6 shows the relationship between the viewpoint coordinate system E-UVW and the ground coordinate system O-XYZ in a plan view of (A) and a side view of (B). Here, the viewpoint is E, the visual axis is V, a line segment orthogonal to the line segment V1-V2 is drawn from the viewpoint E, and the intersection is HL. HL ′ is the coordinate of the HL plan view, E ′ is the coordinate of the side view of the viewpoint, and F ′ is the distance from the viewpoint E to HL. FIG. 6 shows a state in which α is tilted around the W axis and β is tilted around the U axis. The vanishing points V1, V2, and V3 are as follows in the coordinate system C-UW of the screen with the origin C as the origin C.
[0026]
V1 = (F ′ / tan α, Ftan β) (1)
V2 = (− F′tan α, Ftan β) (2)
V3 = (0, −F / tan β) (3)
F ′ = F / cos β (4)
HL = (0, Ftanβ) (5)
[0027]
Using the above equations (1) to (5), when V1, V2, and V3 are known, the azimuth angle α, elevation angle β, viewing distance F, and visual center C are obtained by the following procedure. This will be described with reference to FIG.
[0028]
(1) A midpoint of the line segment V1-V2 is obtained, and a circle having a diameter of V1-V2 is drawn around the midpoint.
(2) Find the intersection HL 'between the perpendicular drawn from V3 to the straight line V1-V2 and the straight line V1-V2, and the intersection E with the circle.
(3) The angle α is obtained from the line segment E-HL ′ and the line segment HL′-V2.
(4) The viewing distance F is obtained from the line segment E-HL ′ and the line segment HL′-V3.
(5) Using the equation (4), the angle β is obtained from the viewing distance F and the line segment E-HL ′.
(6) Let the visual center C be the intersection of the perpendicular drawn from V1 to the line segment V2-V3 and the perpendicular drawn from V2 to the line segment V1-V3.
[0029]
Next, a method for estimating the viewpoint position information when the sight information is known will be described with reference to FIG. 8, which is substantially the same as the two vanishing point image shown in FIG.
[0030]
The photographed image G shown in FIG. 8 is presumed to be taken with the camera installed horizontally with respect to the floor surface, and the elevation angle β is 0 °. In the case of such two vanishing points, as shown in FIG. 4, the position of the vanishing point is on an extension line of eye height (line of sight). Further, since this image G has not been trimmed after being captured by the scanner, the visual center C as the center of the line of sight is on the line connecting the two vanishing points as shown in FIG. The viewing distance F is calculated by the following procedure assuming that the center is in the x-axis direction.
[0031]
(1) In order to obtain two vanishing points on the left and right, two parallel lines in parallel in the three-dimensional space are designated, and vanishing points V1 and V2 are calculated as intersections of two straight lines.
(2) Find the midpoint M of the line segment V1-V2, and draw a circle centered on the midpoint and having a diameter of V1-V2.
(3) Find the center C in the x-axis direction of the actual image on the line segment V1-V2.
(4) A perpendicular line is drawn from the visual center C to the semicircle, and the intersection is the viewpoint E.
(5) The viewing distance F is obtained from the line segment E-C.
[0032]
On the other hand, when the sight information is unknown, that is, when the sight is deviated from the center of the actual image because it is a two vanishing point image but is cropped, the viewpoint position information is The estimation method will be described with reference to FIG. For this estimation method, see F.A. It is described in detail in Hohenberg, translated by Masuda, "Constitutional Geometry in Technology" (Volume 1), Nippon Critics.
[0033]
In the real image G shown in FIG. 9A, a rectangular parallelepiped indicated by a thick solid line is imprinted, but since the left end is cut by trimming, the center of the image is unknown. In this case, however, a quadrangle corresponding to a part of the upper surface of the rectangular parallelepiped indicated by A′B′C′D ′ (D ′ is not visible) in the image G has a dimension a as shown in FIG. , B is an obvious quadrilateral ABCD.
[0034]
In the above-mentioned image, in the actual three-dimensional space, two line segments that are parallel to the horizontal line and orthogonal to each other, here, the lengths of the line segments AB and AC in FIG. 9B are known as described above. As such, the viewpoint position, that is, the viewing distance can be estimated by the following procedure.
[0035]
(1) In order to obtain two vanishing points on the left and right, vanishing points V1 and V2 are obtained from two sets of parallel lines parallel to the horizontal line.
(2) Find the midpoint of the line segment V1-V2, and draw a circle centered on the midpoint and having a diameter of V1-V2.
(3) A′B′C ′ (D ′) in which the rectangle ABCD is imprinted on the image is converted into a plan view A ″ B ″ C ″ D ″ on the circumference obtained above.
(4) A point F extending the line segment B ″ -D ″ and intersecting with the line segment V1-V2 becomes the vanishing point of the line segment BD. That is, V1, V2, and F are points where lines parallel to the line segment AB, line segment BC, and line segment BD intersect on the screen, respectively.
(5) α which is the angle DBC is given by the line segment BC and the line segment CD.
(6) Since the viewpoint E is on a horizontal circle having a diameter V1-V2 in space and also on a horizontal circle having a circumferential angle 2α with respect to the chord F-V2, these circles Given as the intersection of
(7) The visual center, H is obtained from the perpendicular drawn from the viewpoint E to the line segment V1-V2, and the viewing distance F is obtained from the line segment E-H.
[0036]
As described above in detail, the calculation for estimating viewpoint position information such as the viewpoint position, the viewing distance, and the positional relationship between the objects is executed by the calculation unit 22, and when the process of step S4 is completed in the flowchart of FIG. Based on the information estimated in step S5, three-dimensional reconstruction of the space is performed to estimate the three-dimensional information of the space.
[0037]
In the case of the real image shown in FIG. 3 or FIG. 8, this three-dimensional reconstruction is performed by inserting meshes at intervals of 40 cm, for example, based on the three-dimensional information obtained from the real image as shown in FIG. It corresponds to. Although FIG. 10 shows two-dimensionally for convenience, actually, for example, a three-dimensional mesh having a size of 40 cm × 40 cm × 40 cm is inserted.
[0038]
Next, the three-dimensionalization of the two-dimensional image executed for estimating the three-dimensional information from the actual image will be described in detail.
[0039]
As shown in FIGS. 5 and 6, the two-dimensional image can be three-dimensionalized using the fact that the sides of the rectangular parallelepiped are parallel to the straight line connecting the viewpoint and the vanishing point. This will be described in detail with reference to FIG. This method is described in detail in “Sketch interface for generating 3D shape” by Saitama University, Saitama University, February 1994.
[0040]
In FIG. 11, a straight line connecting P1 and P2 and points on the projection plane passes through the vanishing point V. C is the sight, and E is the viewpoint. The straight line connecting the viewpoint and the vanishing point is parallel to the straight line passing through P1 ′ and P2 ′ in the three-dimensional space, and P1 ′ exists on the straight line connecting the viewpoints E and P1, and the viewpoints E and P2 Since P2 'exists on the straight line connecting and, P1' and P2 'can be determined if the distance between P1' and P2 'is known.
[0041]
Therefore, it is assumed that the visual center C is located at the origin (0, 0, 0) of the ground coordinate system and the viewpoint E is located in the positive direction on the x axis of the ground coordinate system.
_{_{P1 (x 1, y 1)}} , P2 (x 2, y 2)
_{P1 '(x 1', y} 1 ', z 1'), P2 '(x 2', y 2 ', z 2')
C (x ₀ , y ₀ ), E (F, 0, 0), V (x _s , y _s , z _s )
In this way, the coordinate values of P1 'and P2' are obtained by the following equations (6) to (12) using the parametric variables t and s. Here, F is a viewing distance.
[0042]

[0043]
In the above equation (10), D is the distance between P ₁ ′ and P ₂ ′. By giving the distance between P ₁ ′ and P ₂ ′, a three dimensional shape can be obtained from the two dimensional shape. The obtained three-dimensional shape is a coordinate under the assumption that the visual center C is located at the origin of the ground coordinate system and the viewpoint E is located in the positive direction on the X axis. In order to obtain the coordinates, it is necessary to perform coordinate transformation by a transformation matrix. The transformation matrix is configured using the azimuth angle α and elevation angle β obtained previously. If the coordinates of the first two points are obtained, the coordinates of the remaining points can be obtained based on the obtained coordinates.
[0044]
Through the calculation process as described above, by using the viewpoint position information estimated in step S4 and estimating the three-dimensional space information from the two-dimensional real image, the three-dimensional reconstruction can be performed as shown in FIG. Become. In other words, by using the size information input in step S3, the size of the space viewed from the viewpoint position can be trace-displayed with a mesh, and the three-dimensional information of the space captured in the live-action image is displayed. Can be estimated.
[0045]
Therefore, as shown in FIG. 10, it is possible to create an image in which a mesh with a larger size is inserted closer to the viewpoint.
[0046]
When the stereoscopic reconstruction is completed in step S5 of FIG. 2, the three-dimensional spatial information is output to the memory 12 and held. Next, the light source condition is estimated using the information (step S5).
[0047]
The estimation of the light source information uses the above-described three-dimensional spatial information by indicating the position of the light source captured in the real image displayed on the display of the image display device 14 with a mouse or the like. Thus, the light source information calculation unit 22 performs estimation and calculation.
[0048]
That is, since the viewpoint position information has been obtained as described above, it is possible to estimate three-dimensional spatial information such as the position and size of the object that is captured in the real image using the viewpoint position information. Therefore, it is possible to estimate a three-dimensional position of a light emitting object such as a lighting fixture or a window in an image, that is, a light source. If the position of the light source is determined, it is possible to optically calculate the direction in which light is applied to the object of the CG image to be synthesized. The light source position (condition) estimated in this way is output to the memory 12 and held.
[0049]
Next, the CG image generation unit 24 generates a CG image for synthesis using the three-dimensional spatial information read from the memory 12 (step S7). The CG image generated here is output to the image data synthesis unit 26.
[0050]
In the image data composition unit 26, when the estimated position information, light source information and the like are input together with the actual image data from the memory 12, an actual image is input to the CG image input from the image generation unit 24. After the shading process at the place where the image is placed, the image is combined (steps S8 and S9). This is a process of performing perspective projection conversion on an object generated as a CG image in accordance with shooting conditions including the light source condition, mapping the texture of the material to be combined with it, performing a shading process, and combining it with a live-action image. It corresponds to that.
[0051]
The image synthesis performed here will be described in more detail. The brightness of the surface of the CG image changes depending on the spatial positional relationship among the orientation of the surface, the position of the viewpoint, and the position of the light source. The viewpoint and light source positions are determined from the viewpoint position information of the actual image, and the orientation of the surface is determined by designating the position where the CG image is synthesized. FIG. 12 shows the case where the point light source is designated in the case of a cube. The shape of the shadow is obtained.
[0052]
Further, the shape of the shadow by the rectangular parallelepiped in the stereoscopic reconstruction image is conceptually shown by a solid line in FIG. 13 as A for a point light source L and B for a surface light source such as a window W, Each can be obtained by optical calculation processing. In FIG. 13, the mesh is represented by a broken line.
[0053]
Next, the reflection coefficient is determined by designating the material of the object to be synthesized, that is, the texture, and the conditions necessary for the shadow processing of the CG image are met. The CG image generated in this way can be perspective-projected in accordance with the viewpoint conditions when the live-action image is generated, placed at a desired position in the live-action image, and then subjected to the shading process at that time for synthesis. it can.
[0054]
As described above in detail, according to this embodiment, even in the case of a live-action image whose shooting conditions are unknown, viewpoint position information and light source information can be estimated therefrom, so that a composite image without a sense of incongruity can be generated. . Therefore, by using the image composition system according to this embodiment, the following specific processing can be performed.
[0055]
In general, bathrooms / toiletries and kitchens used in houses and the like can be combined in a number of combinations, such as different colors due to the same shape and different materials. These product catalogs are set in the studio for each product and photographed with a camera. However, there is usually only one type of catalog created by photographing in this way, and color samples are often displayed for products of different colors.
[0056]
Therefore, by using this system, by combining a CG image with a single photographed image, a product with a different color and material can be used to capture the image of the entire product as if it were actually taken in a studio. It can be easily expressed with uniform quality without applying any.
[0057]
Also, when changing the interior of a house, such as furniture, curtains, and wallpaper, in interior simulation, etc., the furniture, curtains, and interior materials to be changed are generated as a CG image and combined with the live-action image taken of the current situation. By doing so, the image after the change can be confirmed in advance.
[0058]
Although the present invention has been specifically described above, the present invention is not limited to that shown in the above embodiment, and various modifications can be made without departing from the scope of the invention.
[0059]
【The invention's effect】
As described above, according to the present invention, when an arbitrary live-action image and a CG image are synthesized, a synthesized image having no sense of incongruity can be easily created without special experience or intuition.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an image composition system according to an embodiment of the present invention. FIG. 2 is a flowchart showing an image composition processing procedure in the embodiment. FIG. 3 is an explanatory diagram showing how to find a vanishing point. FIG. 4 is an explanatory diagram showing the relationship between the projection plane and the camera in the two vanishing point images. FIG. 5 is an explanatory diagram showing the relationship between the viewpoint and the vanishing point. FIG. 6 is a diagram for explaining the viewpoint estimation calculation. FIG. 8 is an explanatory diagram showing a method for estimating viewpoint information in a live-action image. FIG. 9 is another explanatory diagram showing a method for estimating viewpoint information in a live-action image. FIG. 11 is a diagram for explaining a three-dimensional reconstruction based on three-dimensional spatial information. FIG. 11 is a diagram for explaining three-dimensionalization of a two-dimensional image. FIG. 12 is an example of generating a shadow shape by specifying a point light source position. FIG. 13 shows an example of shadow shape generation in a stereoscopic reconstruction image. It is explanatory view DESCRIPTION OF SYMBOLS
DESCRIPTION OF SYMBOLS 10 ... Image input device 12 ... Image holding memory 14 ... Image display device 16 ... Image output device 18 ... Calculation unit 20 ... Light source information calculation unit 22 ... Viewpoint position information calculation unit 24 ... CG image generation unit 26 ... Image data synthesis unit 28 ... Information input section

Claims

In an image composition device that synthesizes a live-action image and a CG image,
Means for estimating viewpoint position information from a live-action image;
Means for estimating three-dimensional spatial information of a live-action image from the estimated viewpoint position information;
Means for generating a CG image for synthesis based on the estimated three-dimensional spatial information;
Means for performing perspective projection conversion of the generated CG image and synthesizing it with the photographed image;
Means for specifying the position of the light source that is imprinted in the photographed image,
Means for estimating the three-dimensional light source position information in the image based on the three-dimensional spatial information estimated from the viewpoint position information from the position of the designated light source;
Means for applying a shading process to the CG image based on the estimated light source position information.