JPH09326040A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 特別な経験がなくとも、光源の位置や大きさ
等が不明な場合でも、違和感の無い実写画像とＣＧ画像
の合成画像を容易に作成する。 【解決手段】 実写画像とＣＧ画像とを合成する画像合
成装置において、実写画像から視点位置情報を推定する
演算部２０と、推定した視点位置情報から、実写画像の
３次元的空間情報を推定し、その３次元的空間情報に基
づいて、実写画像中に存在する対象物に対応する合成用
のＣＧ画像を生成する生成部２４と、実写画像から前記
対象物に関する陰影情報を抽出する演算部２８と、抽出
した陰影情報を前記ＣＧ画像の色に合った陰影情報に変
換する変換部３０と、生成したＣＧ画像を、実写画像中
の前記対象物の位置に合成する合成部２６と、合成前又
は後のＣＧ画像に前記変換後の陰影情報を付加する手段
と、を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置、特
に、実写画像を基にして、それを背景とした商品カタロ
グの作成や、住宅等の内装変更後のイメージを表わした
画像等の作成に適用して好適な、画像合成装置に関す
る。

【０００２】

【従来の技術】従来、画像合成を、実写画像のみを用い
て行う場合、違和感の無い合成画像を得るために、企画
段階で合成を前提に綿密な計算がなされた実写画像の素
材を準備し、それらを印刷用のレイアウト・スキャナや
トータル・スキャナ・システムの画像処理ステーショ
ン、デザイン専用システム等の専用機によって、合成す
る処理が行われている。

【０００３】又、近年、住宅等で使用されているバス・
トイレタリやキッチン等の商品カタログを作成するため
に、実写した背景画像とＣＧ（コンピュータ・グラフィ
ックス）技術により作成した浴槽等の部品とを画像合成
したり、インテリア・シミュレーション等において、家
具、カーテン、壁紙等の内装をＣＧで作成し、そのＣＧ
画像を室内の実写画像に合成することにより、得られる
合成画像から内装を変更した場合のイメージを確認する
ことが行われている。

【０００４】このように、合成画像の素材にＣＧ画像を
用いる場合、背景として使用する実写画像を、合成を前
提に厳密に条件を決めて撮影し、その撮影条件が予め明
らかである場合は、その撮影条件を用いてＣＧ画像を作
成することにより、実写画像とそのＣＧ画像を合成し、
違和感の無い合成画像を容易に作成することもできる。

【０００５】

【発明が解決しようとする課題】しかしながら、合成を
前提に撮影されていない、即ち撮影条件が不明な実写画
像を用いて、それにＣＧ画像を合成して違和感の無い合
成画像を作成するためには、オペレータが経験と勘で実
写画像に合うような条件を試行錯誤で求めてＣＧ画像を
生成し、それを用いて合成処理を行っているため、合成
操作が難しいという問題があった。

【０００６】本発明は、前記従来の問題点を解決するべ
くなされたもので、任意の実写画像に対してＣＧ画像を
合成する場合、特別な経験や勘がなくとも、幾何学的に
も、光学的にも違和感の無い合成画像を容易に作成する
ことができる画像合成装置を提供することを課題とす
る。

【０００７】

【課題を解決するための手段】本発明は、実写画像とＣ
Ｇ画像とを合成する画像合成装置において、実写画像か
ら視点位置情報を推定する手段と、推定した視点位置情
報から、実写画像の３次元的空間情報を推定する手段
と、推定した３次元的空間情報に基づいて、実写画像中
に存在する対象物に対応する合成用のＣＧ画像を生成す
る手段と、実写画像から前記対象物に関する陰影情報を
抽出する手段と、抽出した陰影情報を前記ＣＧ画像の色
に合った陰影情報に変換する手段と、生成したＣＧ画像
を、実写画像中の前記対象物の位置に合成する手段と、
合成前又は後のＣＧ画像に前記変換後の陰影情報を付加
する手段と、を備えた構成とすることにより、前記課題
を解決したものである。

【０００８】即ち、本発明においては、実写画像に合成
する対象物を該実写画像中から選択し、該対象物に対応
するＣＧ画像を、該実写画像から推定した視点を中心と
する３次元空間情報に基づいて作成できるようにすると
共に、上記対象物に関する陰影情報を同実写画像から抽
出して、それを上記ＣＧ画像に付加できるようにしたの
で、これら実写画像とＣＧ画像とをそれぞれ素材として
違和感の無い合成画像を、特別な経験や勘がなくとも容
易且つ確実に作成できる。

【０００９】

【発明の実施の形態】一般に、違和感の無い合成画像を
作成すためには、合成に用いる各々の素材画像が、同一
の撮影条件、即ち視点、アングル、光の当たり方等が等
しくなくてはならない。設定条件が不明の実写画像を用
いて違和感の無い合成画像を作成するためには、実写画
像を撮影したときの撮影条件を推定する必要がある。

【００１０】そこで、この実施の形態では、実写画像に
ＣＧ画像を合成する際に、１枚の実写画像から撮影条件
である、視点位置情報（視点位置、視距離、対象物の位
置関係等）を、専用のハードウェアを用いなくとも容易
に推定できるようにし、推定したその条件を基にして合
成用のＣＧ画像を生成し、それを透視投影変換した後、
実写画像に張込むことにより幾何学的に違和感のない画
像合成ができるようにする。

【００１１】又、この実施の形態では、実写画像に写し
込まれている対象物と実質上同一の形状で、テクスチャ
が異なるＣＧ画像を、対象物と同一位置に合成すること
を前提としており、その対象物に関する陰影情報、即ち
対象物やその近傍における影の形状や濃淡からなる陰影
情報を抽出し、それを上記ＣＧ画像に付加することによ
り、光学的にも違和感のない画像合成ができるようにす
る。

【００１２】又、この実施の形態では、前記実写画像か
ら光源位置情報を推定し、推定した光源位置情報に基づ
いて、前記ＣＧ画像に陰影処理を施すことができるよう
にする。

【００１３】以下、図面を参照して、より具体的な実施
の形態について詳細に説明する。図１は、本発明に係る
一実施の形態の画像合成システム（画像合成装置）の概
略構成を示すブロック図である。

【００１４】この画像合成システムは、実写画像を入力
するスキャナ等の画像入力装置１０と、入力した実写画
像の画像データ等を保持する画像保持用メモリ１２と、
該メモリ１２に保持されている画像データに基づいてそ
の画像を表示する画像表示装置１４と、上記メモリ１２
に保持されている合成後の画像データ等を出力する画像
出力装置１６とを備えている。

【００１５】又、上記画像保持用メモリ１２には、該メ
モリ１２から入力した実写画像データについて、後に詳
述する画像合成のための各種演算処理を実行するための
演算部１８が接続され、この演算部１８には視点位置情
報演算部２０、光源情報演算部２２、ＣＧ画像生成部２
４、画像データ合成部２６、陰影情報抽出演算部２８、
陰影情報色変換部３０が含まれている。

【００１６】又、上記演算部１８には、ユーザインター
フェースとしてマウス等のポインティングデバイスから
なる情報入力部３２が接続され、画像表示装置１４のデ
ィスプレイに表示されている実写画像等を見ながら、該
情報入力部３２で画像合成の演算処理に必要なデータを
オペレータが入力できるようになっている。

【００１７】このシステムでは、図２に示すフローチャ
ートに従って、画像合成迄の基本的な処理が実行され
る。まず、スキャナ１０で実写画像の取込みを行い（ス
テップ１）、そのデータをメモリ１２で保持するととも
に、実写画像を画像表示装置（ディスプレイ）１４に表
示する。そして、ディスプレイ１４上の実写画像を見な
がら情報入力部３２から情報を入力することにより、視
点位置情報演算部２０で、既に読み込んである実写画像
から視点位置情報を推定する。

【００１８】この視点位置情報演算部２０で実行する視
点位置情報の推定は、前記図２のフローチャートにおけ
る消失点計算（ステップ２）、大きさ情報の入力（ステ
ップ３）、視点位置情報（視点位置、視距離）推定（ス
テップ４）迄の処理に当る。

【００１９】前記ステップ２で実行する消失点計算は、
スキャナで取り込んだ実写画像において、３次元空間内
の平行線が透視図上で１点、即ち消失点で交わることを
利用して、実写画像中の平行線から消失点座標を求める
ことを意味する。

【００２０】即ち、室内を撮影した実写画像に写し込ま
れているテーブル、窓、畳、天井等の形状を表わす線
は、３次元的には一般に平行線である。従って、実写画
像が、例えば図３のようであったとすると、天井の平行
線は消失点に収束することから、直交する３軸方向の３
つの消失点は、各軸にそれぞれ平行な２本の線分をディ
スプレイ上で指定することにより、２直線の交点として
求められる。

【００２１】この時点での消失点座標は、ディスプレイ
用表示座標系である２次元の座標値として求められる。
但し、図３に示した画像は、図４に示したように、カメ
ラを床に対して水平に設置し、仰角＝０として撮影され
ていることから、鉛直方向の平行線は写真の画面に対し
て平行な位置関係にあるため、左右２つの消失点のみと
なり、上下方向に第３の消失点は存在していない。

【００２２】ステップ３の大きさ情報の入力は、読み込
んだ前記実写画像中に写し込まれている、例えば窓の一
辺の長さ等の予め既知の物体の大きさ情報を、前記情報
入力部３２により入力することにあたる。この大きさ情
報を入力することによって、撮影したときのカメラ位置
である視点位置や、カメラから投影面中心（視心）まで
の距離である視距離等の視点位置情報を求めることが可
能となる。この場合、大きさ情報が正しいほど視点位置
を正確に求めることができるが、ある程度大きさが推定
できるようなものであればよい。

【００２３】ステップ４の視点位置情報推定では、中心
的処理として視点位置、視距離の計算を行う。以下、こ
れについて詳述する。なお、この推定方法については、
近藤、木村、田嶋による、「手描き透視図の視点推定と
その応用」情報処理学会論文誌 昭和６３年７月、に詳
細に説明されている。

【００２４】まず、投影中心である視点座標（視点位
置）を求める方法を以下に述べる。ここでは、視点と視
心を結ぶ直線上に地上座標系の原点があると想定してい
る。

【００２５】図５は、視点Ｅと消失点Ｖの関係を示した
もので、Ｆは視距離である。点Ｐを含み、角度αである
半直線Ｌを考える。このとき、点Ｐ（ｘ，ｙ）は、投影
面上のＰ′（ｘ′，Ｆ）に変換される。この点Ｐを半直
線Ｌ上に無限大の長さにとると消失点Ｖと一致する。こ
れから、直線Ｌの消失点の座標は（Ｆ／ｔａｎα，Ｆ）
となる。

【００２６】図６は、視点座標系Ｅ−ＵＶＷと、地上座
標系Ｏ−ＸＹＺとの関係を、（Ａ）の平面図と（Ｂ）の
側面図で示したものである。ここで、視点をＥ、視軸を
Ｖとし、視点Ｅから線分Ｖ１−Ｖ２に対して直交する線
分を引き、その交点をＨＬとする。ＨＬ′は、このＨＬ
の平面図の座標、Ｅ′は視点の側面図の座標、Ｆ′は視
点ＥからＨＬまでの距離を示す。この図６は、Ｗ軸の周
りにα、Ｕ軸の周りにβだけ傾けた状態を示している。
消失点Ｖ１、Ｖ２、Ｖ３は、原点を視心Ｃとする画面の
座標系Ｃ−ＵＷにおいて、次のようになる。

【００２７】 Ｖ１＝（Ｆ′／ｔａｎα，Ｆｔａｎβ） …（１） Ｖ２＝（−Ｆ′ｔａｎα，Ｆｔａｎβ） …（２） Ｖ３＝（０，−Ｆ／ｔａｎβ） …（３） Ｆ′＝Ｆ／ｃｏｓβ …（４） ＨＬ＝（０，Ｆｔａｎβ） …（５）

【００２８】上記（１）〜（５）式を利用して、Ｖ１、
Ｖ２、Ｖ３が既知のとき、方位角α、仰角β、視距離
Ｆ、視心Ｃを次の手順により求める。これを、図７も参
照しながら説明する。

【００２９】（１）線分Ｖ１−Ｖ２の中点を求め、該中
点を中心として、直径をＶ１−Ｖ２とする円を作画す
る。 （２）Ｖ３から直線Ｖ１−Ｖ２に下ろした垂線と、直線
Ｖ１−Ｖ２との交点ＨＬ′、上記円との交点Ｅを求め
る。 （３）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ２より角度αを
求める。 （４）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ３より視距離Ｆ
を求める。 （５）前記（４）式を利用して、視距離Ｆと線分Ｅ−Ｈ
Ｌ′から角度βを求める。 （６）Ｖ１から線分Ｖ２−Ｖ３に下ろした垂線と、Ｖ２
から線分Ｖ１−Ｖ３に下ろした垂線との交点を視心Ｃと
する。

【００３０】次に、視心情報が既知の場合に視点位置情
報を推定する方法を、前記図３に示した２消失点画像と
実質上同一の図８を用いて説明する。

【００３１】この図８に示した実写画像Ｇは、床面に対
して水平にカメラを設置して撮影されたと推定され、仰
角βは０°である。このような２消失点の場合、前記図
４に示したように、消失点の位置は目の高さ（視線）の
延長線上にある。又、この画像Ｇは、スキャナで取り込
んだ後、トリミング作業を行っていないことから、図８
に示すように視線の中心となる視心Ｃは、２つの消失点
を結んだ線上にあり、且つｘ軸方向の中心にあるとして
以下の手順で視距離Ｆを算出する。

【００３２】（１）左右２つの消失点を求めるために、
３次元空間内でそれぞれ平行な２組の平行線を指定し、
２直線の交点として消失点Ｖ１、Ｖ２を計算する。 （２）線分Ｖ１−Ｖ２の中点Ｍを求め、中点を中心と
し、直径をＶ１−Ｖ２とする円を作画する。 （３）線分Ｖ１−Ｖ２上にあり、且つ実写画像のｘ軸方
向の中心Ｃを求める。 （４）視心Ｃから半円に垂線を引き、交点が視点Ｅとな
る。 （５）線分Ｅ−Ｃより視距離Ｆを求める。

【００３３】一方、視心情報が不明の場合、即ち、同様
に２消失点画像ではあるが、トリミングされているため
に、視心が実際の画像の中心から反れていて不明の場合
に、視点位置情報を推定する方法を、図９を用いて説明
する。なお、この推定方法については、Ｆ．ホーエンベ
ルク著、増田訳「技術における構成幾何学」（上巻）日
本評論社、に詳細に説明されている。

【００３４】図９（Ａ）に示した実写画像Ｇは、太い実
線で示す直方体が写し込まれているが、トリミングによ
りその左端が切断されているため、画像の中心が不明に
なっている。但し、この場合は、画像Ｇ中でＡ′Ｂ′
Ｃ′Ｄ′（但し、Ｄ′は見えない）で示す直方体の上面
の一部にあたる四角形が、同図（Ｂ）に示すように寸法
ａ、ｂが明らかな四角形ＡＢＣＤであるとする。

【００３５】上記画像中の物体で、実際の３次元空間で
は水平線に平行でお互いに直交する２本の線分、ここで
は、図９（Ｂ）で線分ＡＢ、ＡＣの長さが上記のように
既知であるとして、以下の手順で視点位置、即ち視距離
を推定できる。

【００３６】（１）左右２つの消失点を求めるために、
水平線にそれぞれ平行な２組の平行線から消失点Ｖ１、
Ｖ２を求める。 （２）線分Ｖ１−Ｖ２の中点を求め、その中点を中心と
し、直径をＶ１−Ｖ２とする円を作画する。 （３）長方形ＡＢＣＤが画像に写し込まれているＡ′
Ｂ′Ｃ′（Ｄ′）を、上で求めた円周上の平面図Ａ″
Ｂ″Ｃ″Ｄ″に変換する。 （４）線分Ｂ″−Ｄ″を延長して線分Ｖ１−Ｖ２と交わ
る点Ｆが線分Ｂ−Ｄの消失点となる。即ち、Ｖ１、Ｖ
２、Ｆは、それぞれ線分Ａ−Ｂ、線分Ｂ−Ｃ、線分Ｂ−
Ｄに平行な線が画面上で交わる点である。 （５）角ＤＢＣであるαは、線分Ｂ−Ｃと線分Ｃ−Ｄに
よって与えられる。 （６）視点Ｅは、空間で直径がＶ１−Ｖ２である水平円
の上にあり、且つ弦Ｆ−Ｖ２に対して円周角２αを持つ
水平円の上にもあることから、これらの円の交点として
与えられる。 （７）視点Ｅから線分Ｖ１−Ｖ２に引いた垂線により視
心、ここではＨが求められ、線分Ｅ−Ｈより視距離Ｆが
求まる。

【００３７】以上詳述した如く、視点位置、視距離、対
象物の位置関係等の視点位置情報を推定する演算が前記
演算部２２で実行され、前記図２のフローチャートでス
テップ４の処理が終了すると、次のステップ５で推定さ
れたその情報に基づいて空間の３次元的情報を推定する
立体再構成を行なう。

【００３８】この立体再構成は、前記図３又は図８の実
写画像の場合であれば、図１０に示すように、実写画像
から得られた３次元情報に基づいて、例えば４０ｃｍ間
隔でメッシュを張り込むことに相当する。この図１０に
は、便宜上２次元的に表示してあるが、実際には、例え
ば４０ｃｍ×４０ｃｍ×４０ｃｍの寸法からなる３次元
的にメッシュを張り込んでいる。

【００３９】次に、ここで実写画像から３次元情報を推
定するために実行する２次元画像の３次元化について詳
細に説明する。

【００４０】前記図５、図６に示したように、直方体の
辺は、視点−消失点を結ぶ直線に平行であることを利用
して、２次元画像の３次元化を行うことができる。これ
を、図１１を用いて詳述する。なお、この方法について
は、杉下による「３次元形状生成のためのスケッチイン
ターフェース」埼玉大学、平成６年２月、に詳細に説明
されている。

【００４１】図１１で、Ｐ１、Ｐ２と投影面上の点で、
両点を結ぶ直線は消失点Ｖを通る。Ｃは視心、Ｅは視点
である。視点と消失点を結ぶ直線が、３次元空間上にお
けるＰ１′、Ｐ２′を通る直線と平行であること、及
び、視点ＥとＰ１とを結ぶ直線上にＰ１′が存在し、視
点ＥとＰ２とを結ぶ直線上にＰ２′が存在することか
ら、Ｐ１′−Ｐ２′間の距離が分かれば、Ｐ１′、Ｐ
２′を決定できる。

【００４２】そこで、視心Ｃが地上座標系の原点（０，
０，０）に位置し、視点Ｅが地上座標系のｘ軸上の正方
向に位置していると仮定し、 Ｐ1 （x ₁ ，y ₁ ）、Ｐ2 （x ₂ ，y ₂ ） Ｐ1 ′（x ₁ ′，y ₁ ′，z ₁ ′）、Ｐ2 ′（x ₂ ′，
y ₂ ′，z ₂ ′） Ｃ（x ₀ ，y ₀ ）、Ｅ（Ｆ，０，０）、Ｖ（x _s ，y
_s ，z _s ） のように定めると、Ｐ1 ′、Ｐ2 ′の各座標値は媒介変
数ｔ、ｓを用いて、次の（６）〜（１２）式によって求
められる。ここで、Ｆは視距離である。

【００４３】 x ₁ ′＝Ｆ（１−t ），y ₁ ′＝t Ｙ₁ ，z ₁ ′＝t Ｚ₁ …（６） t ＝ＡＢ，Ｙ₁ ＝x ₁ −x ₀ ，Ｚ₁ ＝y ₀ −y ₁ …（７） x ₂ ′＝Ｆ（１−s ），y ₂ ′＝s Ｙ₂ ，z ₂ ′＝s Ｚ₂ …（８） s ＝ＡＧ，Ｙ₂ ＝x ₂ −x ₀ ，Ｚ₂ ＝y ₀ −y ₂ …（９） Ａ＝Ｄ／［｛Ｆ（Ｂ−Ｃ）｝² ＋（ＣＹ₂ −ＢＹ₁ ）² ＋（ＣＺ₂ −ＢＺ₁ ）² ］^1/2 …（１０） Ｂ＝（y ₀ −y _s −Ｚ₂ ）／（Ｚ₂ −Ｚ₁ ）， …（１１） Ｇ＝（ＢＹ₁ ＋x _s −x ₀ ）／Ｙ₂ ， …（１２）

【００４４】上記（１０）式で、ＤはＰ₁ ′−Ｐ₂ ′間
の距離であり、このＰ1 ′−Ｐ2 ′間の距離を与えるこ
とにより、２次元形状から３次元形状を得ることができ
る。得られた３次元形状は、視心Ｃが地上座標系の原点
に位置し、視点ＥがＸ軸上の正方向に位置しているとの
仮定の下での座標なので、実際の３次元空間の座標を得
るためには変換行列によって座標変換を行う必要があ
る。その変換行列は、先に求めた方位角α、仰角βを用
いて構成される。又、最初の２点の座標が求まれば、そ
れを基に残りの点の座標を求めることができる。

【００４５】以上のような計算処理により、前記ステッ
プ４で推定した視点位置情報を用いて、２次元の実写画
像から３次元空間情報を推定することにより、図１０に
示したように立体再構成が可能となる。即ち、前記ステ
ップ３で入力した大きさ情報を用いることによって、視
点位置から見た空間の大きさをメッシュでトレース表示
することが可能となり、実写画像に写し込まれている空
間の３次元的情報を推定することができる。

【００４６】従って、上記図１０に示されるように、視
点に近い位置ほど寸法が大きいメッシュが張り込まれた
画像を作成することが可能となる。

【００４７】前記図２のステップ５で、上記立体再構成
が終了すると、その３次元空間情報はメモリ１２に出力
され、保持される。次いで、その情報を用いて光源条件
の推定を行う（ステップ６）。

【００４８】この光源情報の推定は、画像表示装置１４
のディスプレイ上で、そこに表示されている実写画像に
写し込まれている光源の位置をマウス等で指定すること
により、その位置を前述した３次元空間情報を用いて、
光源情報演算部２２で推定計算して求めることにより行
われる。

【００４９】即ち、上記の如く、視点位置情報が求まっ
たことから、それを用いて実写画像中に写し込まれてい
る物体の位置、大きさ等の３次元的空間情報を推定する
ことができるようになったので、画像中の照明器具や窓
といった光を放つ物体、即ち光源の３次元的な位置を推
定できる。光源の位置が決まれば合成しようとするＣＧ
画像の物体に光が照射する方向を光学的に計算できる。
このように推定された光源位置（条件）は、前記メモリ
１２に出力され、保持される。

【００５０】次いで、ステップ７で対象物に関する陰影
情報の推定を行う。これは、実写画像中に写し込まれて
いる対象物及び、必要に応じてその近傍を、前記情報入
力部３２で指定することによって、主に該対象物上の色
度分布からその表面上に存在する影の形状や濃淡等から
なる陰影情報を抽出する演算を、前記陰影情報抽出演算
部で実行することに当る。

【００５１】この陰影情報抽出を、実写画像が図１２
で、その中の右側に位置する食器棚Ｃが、合成しようと
する対象物である場合を例に説明する。

【００５２】先ず、ディスプレイ上で上記実写画像中の
食器棚Ｃと、該食器棚Ｃの表面での反射光が当っている
床Ｆの一部を範囲指定して、その画像部分を抜き出し、
次いで把手等の不要な部分を全て除去することにより、
図１３の状態にする。

【００５３】次いで、この図１３の部分画像から、対象
物に関する陰影情報を抽出し、図１４に示すような陰影
情報に当るマスク画像を作成する。このマスク画像は、
上記図１３において、ハイライト部分と最も暗い部分の
間にある中間調の色度分布を抽出することにより作成す
ることができ、例えば市販の画像処理ソフトウェアのＡ
dobeＰhotoshop^TM３．０Ｊを利用して作成することもで
きる。

【００５４】上記ステップ７の陰影情報の推定が終った
後、ステップ８の合成用のＣＧ画像の生成を行う。この
ＣＧ画像の生成は、前記ＣＧ画像生成部２４において、
前記メモリ１２から読み込んだ前記３次元空間情報（前
記図１２の実写画像では、基準寸法として既知のテーブ
ルの大きさを用いて３次元復元を行った）を用いて、前
記対象物（食器棚）と同一の形状を作成すると共に、前
記情報入力部３２により、希望するテクスチャを指定し
て該形状に張り付けることにより、行うことができる。
ここで生成された合成用のＣＧ画像は、前記メモリ１２
に出力され、保持される。

【００５５】次いで、ステップ９で陰影情報の色変換を
行う。これは、前記ステップ７で抽出（推定）した対象
物に関する陰影情報が有している色情報を、上記ステッ
プ８でＣＧ画像用に指定したテクスチャの色情報（色
相、彩度、明度）に変換することにより、ＣＧ画像の色
に合った陰影情報に変換する処理を行うことに当る。こ
の変換処理は、具体的には前記メモリ１２から対象物に
関する陰影情報である前記図１４のマクス画像を、前記
陰影情報色変換部３０に読み込んで実行される。

【００５６】上記陰影情報の色変換が終ると、次のステ
ップ１０で、前記ステップ８で生成したＣＧ画像に対し
て、変換後の陰影情報の付加が行われる。これは、上記
色変換部３０において、前記生成部２４から入力される
前記ＣＧ画像（色違いの食器棚）に対して、上で色変換
して作成したＣＧ画像の色に合った陰影情報を重ね合せ
る処理に当る。このようにして色変換した陰影情報の合
成用ＣＧ画像への付加が終ると、そのＣＧ画像のデータ
は前記画像データ合成部２６に出力される。

【００５７】この画像データ合成部２６では、前記メモ
リ１２から実写画像データとともに、既に推定してある
視点位置情報、光源情報等が入力されると、上記画像生
成部２４から入力されたＣＧ画像に対して、前記図１２
に示した実写画像における配置場所（食器棚の位置）で
の、既知光源（冷蔵庫Ｒの横にある四角形の窓Ｗ）によ
る陰影処理が施された後、両画像の合成処理が実行され
る（ステップ１１）。これは、実写画像中に存在しない
未知の光源条件を含む撮影条件に合わせてＣＧ画像で生
成した物体を、透視投影変換し、それに合成したい素材
のテクスチャをマッピングして、陰影処理を行って実写
画像に合成する処理を実行していることにあたる。

【００５８】このように合成処理を行った結果、色違い
の食器棚が、実写画像中で前記図１２の場合と比較して
光学的に違和感がなければ、一連の作業は終了する。違
和感がある場合には、合成されたＣＧ画像から陰影情報
のみ、即ち前記図１４に示したものと同様の色変換後の
マクス画像のみを抽出し、その中間調の範囲を変更する
等により陰影情報を修整し、同ＣＧ画像に付加する修正
作業を行う。

【００５９】この実施の形態においては、合成の対象物
を実写画像中から選択し、しかも、陰影情報を同対象物
及びその近傍から直接抽出するようにしているので、同
実写画像中には写し込まれていない未知光源が他に存在
する場合でも、該未知光源に起因する陰影情報をも推定
することができるため、実写画像との間でより光学的に
違和感のない画像合成を行うことが可能となり、テクス
チャのみが異なる前記図１２の実写画像と実質同一の合
成画像が得られる。

【００６０】又、この実施の形態においては、前記ステ
ップ６で、光源情報の推定を行い、その情報をステップ
１１の合成の段階でＣＧ画像に反映させているが、その
処理の内容について説明する。

【００６１】前記図１２の実写画像にある窓Ｗのよう
に、既知光源が存在する場合、ＣＧ画像の表面の明るさ
は、面の向き、視点の位置、光源の位置の空間的な位置
関係によって変化する。実写画像の視点位置情報から、
視点、光源の位置が決まり、ＣＧ画像を合成する位置を
指定することによって面の向きが決まり、図１５に立方
体の場合について点光源を指定した場合を示すように、
その影の形状が求まる。

【００６２】又、前記立体再構成画像における直方体に
よる影の形状は、図１６に概念的に実線で示すように、
点光源Ｌの場合はＡ、窓Ｗのような面光源の場合はＢの
ように、それぞれ光学的な計算処理により求めることが
できる。なお、この図１６では、メッシュを破線で表わ
している。

【００６３】従って、実写画像には写し込まれていな
い、新しい物体をＣＧ画像として任意の位置に合成する
場合は、上記のように既知光源による陰影情報を推定す
ると共に、合成したい物体の材質、即ちテクスチャを指
定することによって、反射係数は決まり、ＣＧ画像の陰
影処理に必要な条件が揃う。このようにして生成したＣ
Ｇ画像を、実写画像を生成したときの視点条件に合わせ
て透視投影変換し、実写画像中の希望する位置に配置
し、そのときの陰影処理を行って合成することができ
る。

【００６４】この実施の形態においては、実写画像中の
食器棚Ｃ及びその近傍から陰影情報を抽出しそれをＣＧ
画像に付加した上に、合成時にも既知光源（窓Ｗ）によ
る陰影処理を行っている。この既知光源による処理は、
一様な食器棚の色に対して窓Ｗの側から僅かずつ全体的
に暗くなる程度の陰影を付していることになる。但し、
この既知光源による処理を行わなくともよい。

【００６５】以上詳述した如く、この実施の形態によれ
ば、撮影条件が不明な実写画像でも、そこから視点位置
情報と陰影情報を推定することができるため、実写画像
中に光源が写し込まれていないため、その光源情報を推
定できない場合でも、違和感の無い合成画像を生成する
ことができる。従って、この実施の形態の画像合成シス
テムを用いることにより、次のような具体的な処理を行
うことが可能となる。

【００６６】一般に、住宅等で使用されているバス・ト
イレタリといった衛生機器やキッチンは、同一形状によ
る色違いや、素材の違い等からなる多数の組合せが可能
となっている。これらの商品カタログは、商品毎にスタ
ジオにセットを組み、カメラで撮影している。しかし、
このように撮影により作成するカタログは、通常１種類
しかなく、色違いの商品に関しては色のサンプルを表示
する場合が多い。

【００６７】そこで、このシステムを利用することによ
って、撮影した１枚の実写画像にＣＧ画像を合成するこ
とによって、色や素材の違う商品も実際にスタジオ撮影
したものと同様に、商品全体のイメージを撮影コストを
かけることなく、均一な品質で、簡単に表現できる。

【００６８】又、インテリアシミュレーション等におい
て、家具やカーテン、壁紙といった住宅内部の内装を変
更する際に、現状を撮影した実写画像に対して、変更予
定の家具やカーテン、内装材をＣＧ画像で生成して合成
することによって、事前に変更後のイメージを確認する
ことができる。

【００６９】以上、本発明について具体的に説明した
が、本発明は、前記実施の形態に示したものに限られる
ものでなく、その要旨を逸脱しない範囲で種々変更可能
である。

【００７０】

【発明の効果】以上説明したとおり、本発明によれば、
実写画像に写し込まれている対象物と実質的に同一形状
でテスクチャが異なる物体のＣＧ画像を生成し、そのＣ
Ｇ画像を該実写画像に合成する場合、特別な経験や勘が
なくとも、幾何学的にも、光学的にも違和感の無い合成
画像を容易に作成することができる。

【図面の簡単な説明】

【図１】本発明に係る一実施の形態の画像合成システム
を示すブロック図

【図２】実施の形態における画像合成の処理手順を示す
フローチャート

【図３】消失点の求め方を示す説明図

【図４】２消失点画像における投影面とカメラの関係を
示す説明図

【図５】視点と消失点の関係を示す説明図

【図６】視点推定計算を説明するための線図

【図７】視点情報を推定する方法を示す説明図

【図８】実写画像で視点情報を推定する方法を示す説明
図

【図９】実写画像で視点情報を推定する方法を示す他の
説明図

【図１０】３次元空間情報を基に立体再構成した状態を
示す説明図

【図１１】２次元画像の３次元化を説明するための線図

【図１２】実写画像の一例を示す説明図

【図１３】対象画像とその近傍を範囲指定して抽出した
画像を示す説明図

【図１４】陰影情報に当るマクス画像を示す説明図

【図１５】点光源位置指定による影の形状生成例を示す
説明図

【図１６】立体再構成画像における影の形状生成例を示
す説明図

【符号の説明】

１０…画像入力装置 １２…画像保持用メモリ １４…画像表示装置 １６…画像出力装置 １８…演算部 ２０…視点位置情報演算部 ２２…光源情報演算部 ２４…ＣＧ画像生成部 ２６…画像データ合成部 ２８…陰影情報抽出演算部 ３０…陰影情報色変換部 ３２…情報入力部

Claims (2)

【特許請求の範囲】
1. 【請求項１】実写画像とＣＧ画像とを合成する画像合成
   装置において、 実写画像から視点位置情報を推定する手段と、 推定した視点位置情報から、実写画像の３次元的空間情
   報を推定する手段と、 推定した３次元的空間情報に基づいて、実写画像中に存
   在する対象物に対応する合成用のＣＧ画像を生成する手
   段と、 実写画像から前記対象物に関する陰影情報を抽出する手
   段と、 抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報
   に変換する手段と、 生成したＣＧ画像を、実写画像中の前記対象物の位置に
   合成する手段と、 合成前又は後のＣＧ画像に前記変換後の陰影情報を付加
   する手段と、を備えていることを特徴とする画像合成装
   置。
2. 【請求項２】請求項１において、 前記実写画像から光源位置情報を推定する手段と、 推定した光源位置情報に基づいて、前記ＣＧ画像に陰影
   処理を施す手段と、を備えていることを特徴とする画像
   合成装置。