JP3784104B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP3784104B2 JP3784104B2 JP14556996A JP14556996A JP3784104B2 JP 3784104 B2 JP3784104 B2 JP 3784104B2 JP 14556996 A JP14556996 A JP 14556996A JP 14556996 A JP14556996 A JP 14556996A JP 3784104 B2 JP3784104 B2 JP 3784104B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- live
- light source
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置、特に、実写画像を基にして、それを背景とした商品カタログの作成や、住宅等の内装変更後のイメージを表わした画像等の作成に適用して好適な、画像合成装置に関する。
【０００２】
【従来の技術】
従来、画像合成を、実写画像のみを用いて行う場合、違和感の無い合成画像を得るために、企画段階で合成を前提に綿密な計算がなされた実写画像の素材を準備し、それらを印刷用のレイアウト・スキャナやトータル・スキャナ・システムの画像処理ステーション、デザイン専用システム等の専用機によって、合成する処理が行われている。
【０００３】
又、近年、住宅等で使用されているバス・トイレタリやキッチン等の商品カタログを作成するために、実写した背景画像とＣＧ（コンピュータ・グラフィックス）技術により作成した浴槽等の部品とを画像合成したり、インテリア・シミュレーション等において、家具、カーテン、壁紙等の内装をＣＧで作成し、そのＣＧ画像を室内の実写画像に合成することにより、得られる合成画像から内装を変更した場合のイメージを確認することが行われている。
【０００４】
このように、合成画像の素材にＣＧ画像を用いる場合、背景として使用する実写画像を、合成を前提に厳密に条件を決めて撮影し、その撮影条件が予め明らかである場合は、その撮影条件を用いてＣＧ画像を作成することにより、実写画像とそのＣＧ画像を合成し、違和感の無い合成画像を容易に作成することもできる。
【０００５】
【発明が解決しようとする課題】
しかしながら、合成を前提に撮影されていない、即ち撮影条件が不明な実写画像を用いて、それにＣＧ画像を合成して違和感の無い合成画像を作成するためには、オペレータが経験と勘で実写画像に合うような条件を試行錯誤で求めてＣＧ画像を生成し、それを用いて合成処理を行っているため、合成操作が難しいという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の実写画像に対してＣＧ画像を合成する場合、特別な経験や勘がなくとも、幾何学的にも、光学的にも違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、実写画像とＣＧ画像とを合成する画像合成装置において、実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、推定した３次元的空間情報に基づいて、実写画像中に存在する対象物に対応する合成用のＣＧ画像を生成する手段と、実写画像から前記対象物に関する陰影情報を、該対象物を含む部分画像から、ハイライト部分と最も暗い部分の間の中間調の色度分布として抽出する手段と、抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報に変換する手段と、生成したＣＧ画像を、実写画像中の前記対象物の位置に合成する手段と、合成前又は後のＣＧ画像に前記変換後の陰影情報を付加する手段と、を備えていると共に、前記実写画像から、該実写画像に写し込まれている光源の位置を指定し、指定された位置を前記３次元空間情報を用いて計算することにより、光源位置情報を推定する手段と、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えた構成とすることにより、前記課題を解決したものである。
本発明は、又、実写画像とＣＧ画像とを合成する画像合成装置において、実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、推定した３次元的空間情報に基づいて、実写画像中に存在する対象物に対応する合成用のＣＧ画像を生成する手段と、実写画像から前記対象物に関する陰影情報を抽出する手段と、抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報に変換する手段と、生成したＣＧ画像を、実写画像中の前記対象物の位置に合成する手段と、合成前又は後のＣＧ画像に前記変換後の陰影情報を付加する手段と、を備えていると共に、前記実写画像から、該実写画像に写し込まれている光源の位置を指定し、指定された位置を前記３次元空間情報を用いて計算することにより、光源位置情報を推定する手段と、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えた構成とすることにより、同様に前記課題を解決したものである。
【０００８】
即ち、本発明においては、実写画像に合成する対象物を該実写画像中から選択し、該対象物に対応するＣＧ画像を、該実写画像から推定した視点を中心とする３次元空間情報に基づいて作成できるようにすると共に、上記対象物に関する陰影情報を同実写画像から抽出して、それを上記ＣＧ画像に付加できるようにしたので、これら実写画像とＣＧ画像とをそれぞれ素材として違和感の無い合成画像を、特別な経験や勘がなくとも容易且つ確実に作成できる。
【０００９】
【発明の実施の形態】
一般に、違和感の無い合成画像を作成すためには、合成に用いる各々の素材画像が、同一の撮影条件、即ち視点、アングル、光の当たり方等が等しくなくてはならない。設定条件が不明の実写画像を用いて違和感の無い合成画像を作成するためには、実写画像を撮影したときの撮影条件を推定する必要がある。
【００１０】
そこで、この実施の形態では、実写画像にＣＧ画像を合成する際に、１枚の実写画像から撮影条件である、視点位置情報（視点位置、視距離、対象物の位置関係等）を、専用のハードウェアを用いなくとも容易に推定できるようにし、推定したその条件を基にして合成用のＣＧ画像を生成し、それを透視投影変換した後、実写画像に張込むことにより幾何学的に違和感のない画像合成ができるようにする。
【００１１】
又、この実施の形態では、実写画像に写し込まれている対象物と実質上同一の形状で、テクスチャが異なるＣＧ画像を、対象物と同一位置に合成することを前提としており、その対象物に関する陰影情報、即ち対象物やその近傍における影の形状や濃淡からなる陰影情報を抽出し、それを上記ＣＧ画像に付加することにより、光学的にも違和感のない画像合成ができるようにする。
【００１２】
又、この実施の形態では、前記実写画像から光源位置情報を推定し、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施すことができるようにする。
【００１３】
以下、図面を参照して、より具体的な実施の形態について詳細に説明する。図１は、本発明に係る一実施の形態の画像合成システム（画像合成装置）の概略構成を示すブロック図である。
【００１４】
この画像合成システムは、実写画像を入力するスキャナ等の画像入力装置１０と、入力した実写画像の画像データ等を保持する画像保持用メモリ１２と、該メモリ１２に保持されている画像データに基づいてその画像を表示する画像表示装置１４と、上記メモリ１２に保持されている合成後の画像データ等を出力する画像出力装置１６とを備えている。
【００１５】
又、上記画像保持用メモリ１２には、該メモリ１２から入力した実写画像データについて、後に詳述する画像合成のための各種演算処理を実行するための演算部１８が接続され、この演算部１８には視点位置情報演算部２０、光源情報演算部２２、ＣＧ画像生成部２４、画像データ合成部２６、陰影情報抽出演算部２８、陰影情報色変換部３０が含まれている。
【００１６】
又、上記演算部１８には、ユーザインターフェースとしてマウス等のポインティングデバイスからなる情報入力部３２が接続され、画像表示装置１４のディスプレイに表示されている実写画像等を見ながら、該情報入力部３２で画像合成の演算処理に必要なデータをオペレータが入力できるようになっている。
【００１７】
このシステムでは、図２に示すフローチャートに従って、画像合成迄の基本的な処理が実行される。まず、スキャナ１０で実写画像の取込みを行い（ステップ１）、そのデータをメモリ１２で保持するとともに、実写画像を画像表示装置（ディスプレイ）１４に表示する。そして、ディスプレイ１４上の実写画像を見ながら情報入力部３２から情報を入力することにより、視点位置情報演算部２０で、既に読み込んである実写画像から視点位置情報を推定する。
【００１８】
この視点位置情報演算部２０で実行する視点位置情報の推定は、前記図２のフローチャートにおける消失点計算（ステップ２）、大きさ情報の入力（ステップ３）、視点位置情報（視点位置、視距離）推定（ステップ４）迄の処理に当る。
【００１９】
前記ステップ２で実行する消失点計算は、スキャナで取り込んだ実写画像において、３次元空間内の平行線が透視図上で１点、即ち消失点で交わることを利用して、実写画像中の平行線から消失点座標を求めることを意味する。
【００２０】
即ち、室内を撮影した実写画像に写し込まれているテーブル、窓、畳、天井等の形状を表わす線は、３次元的には一般に平行線である。従って、実写画像が、例えば図３のようであったとすると、天井の平行線は消失点に収束することから、直交する３軸方向の３つの消失点は、各軸にそれぞれ平行な２本の線分をディスプレイ上で指定することにより、２直線の交点として求められる。
【００２１】
この時点での消失点座標は、ディスプレイ用表示座標系である２次元の座標値として求められる。但し、図３に示した画像は、図４に示したように、カメラを床に対して水平に設置し、仰角＝０として撮影されていることから、鉛直方向の平行線は写真の画面に対して平行な位置関係にあるため、左右２つの消失点のみとなり、上下方向に第３の消失点は存在していない。
【００２２】
ステップ３の大きさ情報の入力は、読み込んだ前記実写画像中に写し込まれている、例えば窓の一辺の長さ等の予め既知の物体の大きさ情報を、前記情報入力部３２により入力することにあたる。この大きさ情報を入力することによって、撮影したときのカメラ位置である視点位置や、カメラから投影面中心（視心）までの距離である視距離等の視点位置情報を求めることが可能となる。この場合、大きさ情報が正しいほど視点位置を正確に求めることができるが、ある程度大きさが推定できるようなものであればよい。
【００２３】
ステップ４の視点位置情報推定では、中心的処理として視点位置、視距離の計算を行う。以下、これについて詳述する。なお、この推定方法については、近藤、木村、田嶋による、「手描き透視図の視点推定とその応用」情報処理学会論文誌 昭和６３年７月、に詳細に説明されている。
【００２４】
まず、投影中心である視点座標（視点位置）を求める方法を以下に述べる。ここでは、視点と視心を結ぶ直線上に地上座標系の原点があると想定している。
【００２５】
図５は、視点Ｅと消失点Ｖの関係を示したもので、Ｆは視距離である。点Ｐを含み、角度αである半直線Ｌを考える。このとき、点Ｐ（ｘ，ｙ）は、投影面上のＰ′（ｘ′，Ｆ）に変換される。この点Ｐを半直線Ｌ上に無限大の長さにとると消失点Ｖと一致する。これから、直線Ｌの消失点の座標は（Ｆ／ｔａｎα，Ｆ）となる。
【００２６】
図６は、視点座標系Ｅ−ＵＶＷと、地上座標系Ｏ−ＸＹＺとの関係を、（Ａ）の平面図と（Ｂ）の側面図で示したものである。ここで、視点をＥ、視軸をＶとし、視点Ｅから線分Ｖ１−Ｖ２に対して直交する線分を引き、その交点をＨＬとする。ＨＬ′は、このＨＬの平面図の座標、Ｅ′は視点の側面図の座標、Ｆ′は視点ＥからＨＬまでの距離を示す。この図６は、Ｗ軸の周りにα、Ｕ軸の周りにβだけ傾けた状態を示している。消失点Ｖ１、Ｖ２、Ｖ３は、原点を視心Ｃとする画面の座標系Ｃ−ＵＷにおいて、次のようになる。
【００２７】
Ｖ１＝（Ｆ′／ｔａｎα，Ｆｔａｎβ） …（１）
Ｖ２＝（−Ｆ′ｔａｎα，Ｆｔａｎβ） …（２）
Ｖ３＝（０，−Ｆ／ｔａｎβ） …（３）
Ｆ′＝Ｆ／ｃｏｓβ …（４）
ＨＬ＝（０，Ｆｔａｎβ） …（５）
【００２８】
上記（１）〜（５）式を利用して、Ｖ１、Ｖ２、Ｖ３が既知のとき、方位角α、仰角β、視距離Ｆ、視心Ｃを次の手順により求める。これを、図７も参照しながら説明する。
【００２９】
（１）線分Ｖ１−Ｖ２の中点を求め、該中点を中心として、直径をＶ１−Ｖ２とする円を作画する。
（２）Ｖ３から直線Ｖ１−Ｖ２に下ろした垂線と、直線Ｖ１−Ｖ２との交点ＨＬ′、上記円との交点Ｅを求める。
（３）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ２より角度αを求める。
（４）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ３より視距離Ｆを求める。
（５）前記（４）式を利用して、視距離Ｆと線分Ｅ−ＨＬ′から角度βを求める。
（６）Ｖ１から線分Ｖ２−Ｖ３に下ろした垂線と、Ｖ２から線分Ｖ１−Ｖ３に下ろした垂線との交点を視心Ｃとする。
【００３０】
次に、視心情報が既知の場合に視点位置情報を推定する方法を、前記図３に示した２消失点画像と実質上同一の図８を用いて説明する。
【００３１】
この図８に示した実写画像Ｇは、床面に対して水平にカメラを設置して撮影されたと推定され、仰角βは０°である。このような２消失点の場合、前記図４に示したように、消失点の位置は目の高さ（視線）の延長線上にある。又、この画像Ｇは、スキャナで取り込んだ後、トリミング作業を行っていないことから、図８に示すように視線の中心となる視心Ｃは、２つの消失点を結んだ線上にあり、且つｘ軸方向の中心にあるとして以下の手順で視距離Ｆを算出する。
【００３２】
（１）左右２つの消失点を求めるために、３次元空間内でそれぞれ平行な２組の平行線を指定し、２直線の交点として消失点Ｖ１、Ｖ２を計算する。
（２）線分Ｖ１−Ｖ２の中点Ｍを求め、中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
（３）線分Ｖ１−Ｖ２上にあり、且つ実写画像のｘ軸方向の中心Ｃを求める。
（４）視心Ｃから半円に垂線を引き、交点が視点Ｅとなる。
（５）線分Ｅ−Ｃより視距離Ｆを求める。
【００３３】
一方、視心情報が不明の場合、即ち、同様に２消失点画像ではあるが、トリミングされているために、視心が実際の画像の中心から反れていて不明の場合に、視点位置情報を推定する方法を、図９を用いて説明する。なお、この推定方法については、Ｆ．ホーエンベルク著、増田訳「技術における構成幾何学」（上巻）日本評論社、に詳細に説明されている。
【００３４】
図９（Ａ）に示した実写画像Ｇは、太い実線で示す直方体が写し込まれているが、トリミングによりその左端が切断されているため、画像の中心が不明になっている。但し、この場合は、画像Ｇ中でＡ′Ｂ′Ｃ′Ｄ′（但し、Ｄ′は見えない）で示す直方体の上面の一部にあたる四角形が、同図（Ｂ）に示すように寸法ａ、ｂが明らかな四角形ＡＢＣＤであるとする。
【００３５】
上記画像中の物体で、実際の３次元空間では水平線に平行でお互いに直交する２本の線分、ここでは、図９（Ｂ）で線分ＡＢ、ＡＣの長さが上記のように既知であるとして、以下の手順で視点位置、即ち視距離を推定できる。
【００３６】
（１）左右２つの消失点を求めるために、水平線にそれぞれ平行な２組の平行線から消失点Ｖ１、Ｖ２を求める。
（２）線分Ｖ１−Ｖ２の中点を求め、その中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
（３）長方形ＡＢＣＤが画像に写し込まれているＡ′Ｂ′Ｃ′（Ｄ′）を、上で求めた円周上の平面図Ａ″Ｂ″Ｃ″Ｄ″に変換する。
（４）線分Ｂ″−Ｄ″を延長して線分Ｖ１−Ｖ２と交わる点Ｆが線分Ｂ−Ｄの消失点となる。即ち、Ｖ１、Ｖ２、Ｆは、それぞれ線分Ａ−Ｂ、線分Ｂ−Ｃ、線分Ｂ−Ｄに平行な線が画面上で交わる点である。
（５）角ＤＢＣであるαは、線分Ｂ−Ｃと線分Ｃ−Ｄによって与えられる。
（６）視点Ｅは、空間で直径がＶ１−Ｖ２である水平円の上にあり、且つ弦Ｆ−Ｖ２に対して円周角２αを持つ水平円の上にもあることから、これらの円の交点として与えられる。
（７）視点Ｅから線分Ｖ１−Ｖ２に引いた垂線により視心、ここではＨが求められ、線分Ｅ−Ｈより視距離Ｆが求まる。
【００３７】
以上詳述した如く、視点位置、視距離、対象物の位置関係等の視点位置情報を推定する演算が前記演算部２２で実行され、前記図２のフローチャートでステップ４の処理が終了すると、次のステップ５で推定されたその情報に基づいて空間の３次元的情報を推定する立体再構成を行なう。
【００３８】
この立体再構成は、前記図３又は図８の実写画像の場合であれば、図１０に示すように、実写画像から得られた３次元情報に基づいて、例えば４０ｃｍ間隔でメッシュを張り込むことに相当する。この図１０には、便宜上２次元的に表示してあるが、実際には、例えば４０ｃｍ×４０ｃｍ×４０ｃｍの寸法からなる３次元的にメッシュを張り込んでいる。
【００３９】
次に、ここで実写画像から３次元情報を推定するために実行する２次元画像の３次元化について詳細に説明する。
【００４０】
前記図５、図６に示したように、直方体の辺は、視点−消失点を結ぶ直線に平行であることを利用して、２次元画像の３次元化を行うことができる。これを、図１１を用いて詳述する。なお、この方法については、杉下による「３次元形状生成のためのスケッチインターフェース」埼玉大学、平成６年２月、に詳細に説明されている。
【００４１】
図１１で、Ｐ１、Ｐ２と投影面上の点で、両点を結ぶ直線は消失点Ｖを通る。Ｃは視心、Ｅは視点である。視点と消失点を結ぶ直線が、３次元空間上におけるＰ１′、Ｐ２′を通る直線と平行であること、及び、視点ＥとＰ１とを結ぶ直線上にＰ１′が存在し、視点ＥとＰ２とを結ぶ直線上にＰ２′が存在することから、Ｐ１′−Ｐ２′間の距離が分かれば、Ｐ１′、Ｐ２′を決定できる。
【００４２】
そこで、視心Ｃが地上座標系の原点（０，０，０）に位置し、視点Ｅが地上座標系のｘ軸上の正方向に位置していると仮定し、
Ｐ1 （x 1 ，y 1 ）、Ｐ2 （x 2 ，y 2 ）
Ｐ1 ′（x 1 ′，y 1 ′，z 1 ′）、Ｐ2 ′（x 2 ′，y 2 ′，z 2 ′）
Ｃ（x 0 ，y 0 ）、Ｅ（Ｆ，０，０）、Ｖ（x s ，y s ，z s ）
のように定めると、Ｐ1 ′、Ｐ2 ′の各座標値は媒介変数ｔ、ｓを用いて、次の（６）〜（１２）式によって求められる。ここで、Ｆは視距離である。
【００４３】
【００４４】
上記（１０）式で、ＤはＰ1 ′−Ｐ2 ′間の距離であり、このＰ1 ′−Ｐ2 ′間の距離を与えることにより、２次元形状から３次元形状を得ることができる。得られた３次元形状は、視心Ｃが地上座標系の原点に位置し、視点ＥがＸ軸上の正方向に位置しているとの仮定の下での座標なので、実際の３次元空間の座標を得るためには変換行列によって座標変換を行う必要がある。その変換行列は、先に求めた方位角α、仰角βを用いて構成される。又、最初の２点の座標が求まれば、それを基に残りの点の座標を求めることができる。
【００４５】
以上のような計算処理により、前記ステップ４で推定した視点位置情報を用いて、２次元の実写画像から３次元空間情報を推定することにより、図１０に示したように立体再構成が可能となる。即ち、前記ステップ３で入力した大きさ情報を用いることによって、視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に写し込まれている空間の３次元的情報を推定することができる。
【００４６】
従って、上記図１０に示されるように、視点に近い位置ほど寸法が大きいメッシュが張り込まれた画像を作成することが可能となる。
【００４７】
前記図２のステップ５で、上記立体再構成が終了すると、その３次元空間情報はメモリ１２に出力され、保持される。次いで、その情報を用いて光源条件の推定を行う（ステップ６）。
【００４８】
この光源情報の推定は、画像表示装置１４のディスプレイ上で、そこに表示されている実写画像に写し込まれている光源の位置をマウス等で指定することにより、その位置を前述した３次元空間情報を用いて、光源情報演算部２２で推定計算して求めることにより行われる。
【００４９】
即ち、上記の如く、視点位置情報が求まったことから、それを用いて実写画像中に写し込まれている物体の位置、大きさ等の３次元的空間情報を推定することができるようになったので、画像中の照明器具や窓といった光を放つ物体、即ち光源の３次元的な位置を推定できる。光源の位置が決まれば合成しようとするＣＧ画像の物体に光が照射する方向を光学的に計算できる。このように推定された光源位置（条件）は、前記メモリ１２に出力され、保持される。
【００５０】
次いで、ステップ７で対象物に関する陰影情報の推定を行う。これは、実写画像中に写し込まれている対象物及び、必要に応じてその近傍を、前記情報入力部３２で指定することによって、主に該対象物上の色度分布からその表面上に存在する影の形状や濃淡等からなる陰影情報を抽出する演算を、前記陰影情報抽出演算部で実行することに当る。
【００５１】
この陰影情報抽出を、実写画像が図１２で、その中の右側に位置する食器棚Ｃが、合成しようとする対象物である場合を例に説明する。
【００５２】
先ず、ディスプレイ上で上記実写画像中の食器棚Ｃと、該食器棚Ｃの表面での反射光が当っている床Ｆの一部を範囲指定して、その画像部分を抜き出し、次いで把手等の不要な部分を全て除去することにより、図１３の状態にする。
【００５３】
次いで、この図１３の部分画像から、対象物に関する陰影情報を抽出し、図１４に示すような陰影情報に当るマスク画像を作成する。このマスク画像は、上記図１３において、ハイライト部分と最も暗い部分の間にある中間調の色度分布を抽出することにより作成することができ、例えば市販の画像処理ソフトウェアのＡdobeＰhotoshopTM３．０Ｊを利用して作成することもできる。
【００５４】
上記ステップ７の陰影情報の推定が終った後、ステップ８の合成用のＣＧ画像の生成を行う。このＣＧ画像の生成は、前記ＣＧ画像生成部２４において、前記メモリ１２から読み込んだ前記３次元空間情報（前記図１２の実写画像では、基準寸法として既知のテーブルの大きさを用いて３次元復元を行った）を用いて、前記対象物（食器棚）と同一の形状を作成すると共に、前記情報入力部３２により、希望するテクスチャを指定して該形状に張り付けることにより、行うことができる。ここで生成された合成用のＣＧ画像は、前記メモリ１２に出力され、保持される。
【００５５】
次いで、ステップ９で陰影情報の色変換を行う。これは、前記ステップ７で抽出（推定）した対象物に関する陰影情報が有している色情報を、上記ステップ８でＣＧ画像用に指定したテクスチャの色情報（色相、彩度、明度）に変換することにより、ＣＧ画像の色に合った陰影情報に変換する処理を行うことに当る。この変換処理は、具体的には前記メモリ１２から対象物に関する陰影情報である前記図１４のマクス画像を、前記陰影情報色変換部３０に読み込んで実行される。
【００５６】
上記陰影情報の色変換が終ると、次のステップ１０で、前記ステップ８で生成したＣＧ画像に対して、変換後の陰影情報の付加が行われる。これは、上記色変換部３０において、前記生成部２４から入力される前記ＣＧ画像（色違いの食器棚）に対して、上で色変換して作成したＣＧ画像の色に合った陰影情報を重ね合せる処理に当る。このようにして色変換した陰影情報の合成用ＣＧ画像への付加が終ると、そのＣＧ画像のデータは前記画像データ合成部２６に出力される。
【００５７】
この画像データ合成部２６では、前記メモリ１２から実写画像データとともに、既に推定してある視点位置情報、光源情報等が入力されると、上記画像生成部２４から入力されたＣＧ画像に対して、前記図１２に示した実写画像における配置場所（食器棚の位置）での、既知光源（冷蔵庫Ｒの横にある四角形の窓Ｗ）による陰影処理が施された後、両画像の合成処理が実行される（ステップ１１）。これは、実写画像中に存在しない未知の光源条件を含む撮影条件に合わせてＣＧ画像で生成した物体を、透視投影変換し、それに合成したい素材のテクスチャをマッピングして、陰影処理を行って実写画像に合成する処理を実行していることにあたる。
【００５８】
このように合成処理を行った結果、色違いの食器棚が、実写画像中で前記図１２の場合と比較して光学的に違和感がなければ、一連の作業は終了する。違和感がある場合には、合成されたＣＧ画像から陰影情報のみ、即ち前記図１４に示したものと同様の色変換後のマクス画像のみを抽出し、その中間調の範囲を変更する等により陰影情報を修整し、同ＣＧ画像に付加する修正作業を行う。
【００５９】
この実施の形態においては、合成の対象物を実写画像中から選択し、しかも、陰影情報を同対象物及びその近傍から直接抽出するようにしているので、同実写画像中には写し込まれていない未知光源が他に存在する場合でも、該未知光源に起因する陰影情報をも推定することができるため、実写画像との間でより光学的に違和感のない画像合成を行うことが可能となり、テクスチャのみが異なる前記図１２の実写画像と実質同一の合成画像が得られる。
【００６０】
又、この実施の形態においては、前記ステップ６で、光源情報の推定を行い、その情報をステップ１１の合成の段階でＣＧ画像に反映させているが、その処理の内容について説明する。
【００６１】
前記図１２の実写画像にある窓Ｗのように、既知光源が存在する場合、ＣＧ画像の表面の明るさは、面の向き、視点の位置、光源の位置の空間的な位置関係によって変化する。実写画像の視点位置情報から、視点、光源の位置が決まり、ＣＧ画像を合成する位置を指定することによって面の向きが決まり、図１５に立方体の場合について点光源を指定した場合を示すように、その影の形状が求まる。
【００６２】
又、前記立体再構成画像における直方体による影の形状は、図１６に概念的に実線で示すように、点光源Ｌの場合はＡ、窓Ｗのような面光源の場合はＢのように、それぞれ光学的な計算処理により求めることができる。なお、この図１６では、メッシュを破線で表わしている。
【００６３】
従って、実写画像には写し込まれていない、新しい物体をＣＧ画像として任意の位置に合成する場合は、上記のように既知光源による陰影情報を推定すると共に、合成したい物体の材質、即ちテクスチャを指定することによって、反射係数は決まり、ＣＧ画像の陰影処理に必要な条件が揃う。このようにして生成したＣＧ画像を、実写画像を生成したときの視点条件に合わせて透視投影変換し、実写画像中の希望する位置に配置し、そのときの陰影処理を行って合成することができる。
【００６４】
この実施の形態においては、実写画像中の食器棚Ｃ及びその近傍から陰影情報を抽出しそれをＣＧ画像に付加した上に、合成時にも既知光源（窓Ｗ）による陰影処理を行っている。この既知光源による処理は、一様な食器棚の色に対して窓Ｗの側から僅かずつ全体的に暗くなる程度の陰影を付していることになる。但し、この既知光源による処理を行わなくともよい。
【００６５】
以上詳述した如く、この実施の形態によれば、撮影条件が不明な実写画像でも、そこから視点位置情報と陰影情報を推定することができるため、実写画像中に光源が写し込まれていないため、その光源情報を推定できない場合でも、違和感の無い合成画像を生成することができる。従って、この実施の形態の画像合成システムを用いることにより、次のような具体的な処理を行うことが可能となる。
【００６６】
一般に、住宅等で使用されているバス・トイレタリといった衛生機器やキッチンは、同一形状による色違いや、素材の違い等からなる多数の組合せが可能となっている。これらの商品カタログは、商品毎にスタジオにセットを組み、カメラで撮影している。しかし、このように撮影により作成するカタログは、通常１種類しかなく、色違いの商品に関しては色のサンプルを表示する場合が多い。
【００６７】
そこで、このシステムを利用することによって、撮影した１枚の実写画像にＣＧ画像を合成することによって、色や素材の違う商品も実際にスタジオ撮影したものと同様に、商品全体のイメージを撮影コストをかけることなく、均一な品質で、簡単に表現できる。
【００６８】
又、インテリアシミュレーション等において、家具やカーテン、壁紙といった住宅内部の内装を変更する際に、現状を撮影した実写画像に対して、変更予定の家具やカーテン、内装材をＣＧ画像で生成して合成することによって、事前に変更後のイメージを確認することができる。
【００６９】
以上、本発明について具体的に説明したが、本発明は、前記実施の形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００７０】
【発明の効果】
以上説明したとおり、本発明によれば、実写画像に写し込まれている対象物と実質的に同一形状でテスクチャが異なる物体のＣＧ画像を生成し、そのＣＧ画像を該実写画像に合成する場合、特別な経験や勘がなくとも、幾何学的にも、光学的にも違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施の形態の画像合成システムを示すブロック図
【図２】実施の形態における画像合成の処理手順を示すフローチャート
【図３】消失点の求め方を示す説明図
【図４】２消失点画像における投影面とカメラの関係を示す説明図
【図５】視点と消失点の関係を示す説明図
【図６】視点推定計算を説明するための線図
【図７】視点情報を推定する方法を示す説明図
【図８】実写画像で視点情報を推定する方法を示す説明図
【図９】実写画像で視点情報を推定する方法を示す他の説明図
【図１０】３次元空間情報を基に立体再構成した状態を示す説明図
【図１１】２次元画像の３次元化を説明するための線図
【図１２】実写画像の一例を示す説明図
【図１３】対象画像とその近傍を範囲指定して抽出した画像を示す説明図
【図１４】陰影情報に当るマクス画像を示す説明図
【図１５】点光源位置指定による影の形状生成例を示す説明図
【図１６】立体再構成画像における影の形状生成例を示す説明図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
１８…演算部
２０…視点位置情報演算部
２２…光源情報演算部
２４…ＣＧ画像生成部
２６…画像データ合成部
２８…陰影情報抽出演算部
３０…陰影情報色変換部
３２…情報入力部
【発明の属する技術分野】
本発明は、画像合成装置、特に、実写画像を基にして、それを背景とした商品カタログの作成や、住宅等の内装変更後のイメージを表わした画像等の作成に適用して好適な、画像合成装置に関する。
【０００２】
【従来の技術】
従来、画像合成を、実写画像のみを用いて行う場合、違和感の無い合成画像を得るために、企画段階で合成を前提に綿密な計算がなされた実写画像の素材を準備し、それらを印刷用のレイアウト・スキャナやトータル・スキャナ・システムの画像処理ステーション、デザイン専用システム等の専用機によって、合成する処理が行われている。
【０００３】
又、近年、住宅等で使用されているバス・トイレタリやキッチン等の商品カタログを作成するために、実写した背景画像とＣＧ（コンピュータ・グラフィックス）技術により作成した浴槽等の部品とを画像合成したり、インテリア・シミュレーション等において、家具、カーテン、壁紙等の内装をＣＧで作成し、そのＣＧ画像を室内の実写画像に合成することにより、得られる合成画像から内装を変更した場合のイメージを確認することが行われている。
【０００４】
このように、合成画像の素材にＣＧ画像を用いる場合、背景として使用する実写画像を、合成を前提に厳密に条件を決めて撮影し、その撮影条件が予め明らかである場合は、その撮影条件を用いてＣＧ画像を作成することにより、実写画像とそのＣＧ画像を合成し、違和感の無い合成画像を容易に作成することもできる。
【０００５】
【発明が解決しようとする課題】
しかしながら、合成を前提に撮影されていない、即ち撮影条件が不明な実写画像を用いて、それにＣＧ画像を合成して違和感の無い合成画像を作成するためには、オペレータが経験と勘で実写画像に合うような条件を試行錯誤で求めてＣＧ画像を生成し、それを用いて合成処理を行っているため、合成操作が難しいという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の実写画像に対してＣＧ画像を合成する場合、特別な経験や勘がなくとも、幾何学的にも、光学的にも違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、実写画像とＣＧ画像とを合成する画像合成装置において、実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、推定した３次元的空間情報に基づいて、実写画像中に存在する対象物に対応する合成用のＣＧ画像を生成する手段と、実写画像から前記対象物に関する陰影情報を、該対象物を含む部分画像から、ハイライト部分と最も暗い部分の間の中間調の色度分布として抽出する手段と、抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報に変換する手段と、生成したＣＧ画像を、実写画像中の前記対象物の位置に合成する手段と、合成前又は後のＣＧ画像に前記変換後の陰影情報を付加する手段と、を備えていると共に、前記実写画像から、該実写画像に写し込まれている光源の位置を指定し、指定された位置を前記３次元空間情報を用いて計算することにより、光源位置情報を推定する手段と、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えた構成とすることにより、前記課題を解決したものである。
本発明は、又、実写画像とＣＧ画像とを合成する画像合成装置において、実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、推定した３次元的空間情報に基づいて、実写画像中に存在する対象物に対応する合成用のＣＧ画像を生成する手段と、実写画像から前記対象物に関する陰影情報を抽出する手段と、抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報に変換する手段と、生成したＣＧ画像を、実写画像中の前記対象物の位置に合成する手段と、合成前又は後のＣＧ画像に前記変換後の陰影情報を付加する手段と、を備えていると共に、前記実写画像から、該実写画像に写し込まれている光源の位置を指定し、指定された位置を前記３次元空間情報を用いて計算することにより、光源位置情報を推定する手段と、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えた構成とすることにより、同様に前記課題を解決したものである。
【０００８】
即ち、本発明においては、実写画像に合成する対象物を該実写画像中から選択し、該対象物に対応するＣＧ画像を、該実写画像から推定した視点を中心とする３次元空間情報に基づいて作成できるようにすると共に、上記対象物に関する陰影情報を同実写画像から抽出して、それを上記ＣＧ画像に付加できるようにしたので、これら実写画像とＣＧ画像とをそれぞれ素材として違和感の無い合成画像を、特別な経験や勘がなくとも容易且つ確実に作成できる。
【０００９】
【発明の実施の形態】
一般に、違和感の無い合成画像を作成すためには、合成に用いる各々の素材画像が、同一の撮影条件、即ち視点、アングル、光の当たり方等が等しくなくてはならない。設定条件が不明の実写画像を用いて違和感の無い合成画像を作成するためには、実写画像を撮影したときの撮影条件を推定する必要がある。
【００１０】
そこで、この実施の形態では、実写画像にＣＧ画像を合成する際に、１枚の実写画像から撮影条件である、視点位置情報（視点位置、視距離、対象物の位置関係等）を、専用のハードウェアを用いなくとも容易に推定できるようにし、推定したその条件を基にして合成用のＣＧ画像を生成し、それを透視投影変換した後、実写画像に張込むことにより幾何学的に違和感のない画像合成ができるようにする。
【００１１】
又、この実施の形態では、実写画像に写し込まれている対象物と実質上同一の形状で、テクスチャが異なるＣＧ画像を、対象物と同一位置に合成することを前提としており、その対象物に関する陰影情報、即ち対象物やその近傍における影の形状や濃淡からなる陰影情報を抽出し、それを上記ＣＧ画像に付加することにより、光学的にも違和感のない画像合成ができるようにする。
【００１２】
又、この実施の形態では、前記実写画像から光源位置情報を推定し、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施すことができるようにする。
【００１３】
以下、図面を参照して、より具体的な実施の形態について詳細に説明する。図１は、本発明に係る一実施の形態の画像合成システム（画像合成装置）の概略構成を示すブロック図である。
【００１４】
この画像合成システムは、実写画像を入力するスキャナ等の画像入力装置１０と、入力した実写画像の画像データ等を保持する画像保持用メモリ１２と、該メモリ１２に保持されている画像データに基づいてその画像を表示する画像表示装置１４と、上記メモリ１２に保持されている合成後の画像データ等を出力する画像出力装置１６とを備えている。
【００１５】
又、上記画像保持用メモリ１２には、該メモリ１２から入力した実写画像データについて、後に詳述する画像合成のための各種演算処理を実行するための演算部１８が接続され、この演算部１８には視点位置情報演算部２０、光源情報演算部２２、ＣＧ画像生成部２４、画像データ合成部２６、陰影情報抽出演算部２８、陰影情報色変換部３０が含まれている。
【００１６】
又、上記演算部１８には、ユーザインターフェースとしてマウス等のポインティングデバイスからなる情報入力部３２が接続され、画像表示装置１４のディスプレイに表示されている実写画像等を見ながら、該情報入力部３２で画像合成の演算処理に必要なデータをオペレータが入力できるようになっている。
【００１７】
このシステムでは、図２に示すフローチャートに従って、画像合成迄の基本的な処理が実行される。まず、スキャナ１０で実写画像の取込みを行い（ステップ１）、そのデータをメモリ１２で保持するとともに、実写画像を画像表示装置（ディスプレイ）１４に表示する。そして、ディスプレイ１４上の実写画像を見ながら情報入力部３２から情報を入力することにより、視点位置情報演算部２０で、既に読み込んである実写画像から視点位置情報を推定する。
【００１８】
この視点位置情報演算部２０で実行する視点位置情報の推定は、前記図２のフローチャートにおける消失点計算（ステップ２）、大きさ情報の入力（ステップ３）、視点位置情報（視点位置、視距離）推定（ステップ４）迄の処理に当る。
【００１９】
前記ステップ２で実行する消失点計算は、スキャナで取り込んだ実写画像において、３次元空間内の平行線が透視図上で１点、即ち消失点で交わることを利用して、実写画像中の平行線から消失点座標を求めることを意味する。
【００２０】
即ち、室内を撮影した実写画像に写し込まれているテーブル、窓、畳、天井等の形状を表わす線は、３次元的には一般に平行線である。従って、実写画像が、例えば図３のようであったとすると、天井の平行線は消失点に収束することから、直交する３軸方向の３つの消失点は、各軸にそれぞれ平行な２本の線分をディスプレイ上で指定することにより、２直線の交点として求められる。
【００２１】
この時点での消失点座標は、ディスプレイ用表示座標系である２次元の座標値として求められる。但し、図３に示した画像は、図４に示したように、カメラを床に対して水平に設置し、仰角＝０として撮影されていることから、鉛直方向の平行線は写真の画面に対して平行な位置関係にあるため、左右２つの消失点のみとなり、上下方向に第３の消失点は存在していない。
【００２２】
ステップ３の大きさ情報の入力は、読み込んだ前記実写画像中に写し込まれている、例えば窓の一辺の長さ等の予め既知の物体の大きさ情報を、前記情報入力部３２により入力することにあたる。この大きさ情報を入力することによって、撮影したときのカメラ位置である視点位置や、カメラから投影面中心（視心）までの距離である視距離等の視点位置情報を求めることが可能となる。この場合、大きさ情報が正しいほど視点位置を正確に求めることができるが、ある程度大きさが推定できるようなものであればよい。
【００２３】
ステップ４の視点位置情報推定では、中心的処理として視点位置、視距離の計算を行う。以下、これについて詳述する。なお、この推定方法については、近藤、木村、田嶋による、「手描き透視図の視点推定とその応用」情報処理学会論文誌 昭和６３年７月、に詳細に説明されている。
【００２４】
まず、投影中心である視点座標（視点位置）を求める方法を以下に述べる。ここでは、視点と視心を結ぶ直線上に地上座標系の原点があると想定している。
【００２５】
図５は、視点Ｅと消失点Ｖの関係を示したもので、Ｆは視距離である。点Ｐを含み、角度αである半直線Ｌを考える。このとき、点Ｐ（ｘ，ｙ）は、投影面上のＰ′（ｘ′，Ｆ）に変換される。この点Ｐを半直線Ｌ上に無限大の長さにとると消失点Ｖと一致する。これから、直線Ｌの消失点の座標は（Ｆ／ｔａｎα，Ｆ）となる。
【００２６】
図６は、視点座標系Ｅ−ＵＶＷと、地上座標系Ｏ−ＸＹＺとの関係を、（Ａ）の平面図と（Ｂ）の側面図で示したものである。ここで、視点をＥ、視軸をＶとし、視点Ｅから線分Ｖ１−Ｖ２に対して直交する線分を引き、その交点をＨＬとする。ＨＬ′は、このＨＬの平面図の座標、Ｅ′は視点の側面図の座標、Ｆ′は視点ＥからＨＬまでの距離を示す。この図６は、Ｗ軸の周りにα、Ｕ軸の周りにβだけ傾けた状態を示している。消失点Ｖ１、Ｖ２、Ｖ３は、原点を視心Ｃとする画面の座標系Ｃ−ＵＷにおいて、次のようになる。
【００２７】
Ｖ１＝（Ｆ′／ｔａｎα，Ｆｔａｎβ） …（１）
Ｖ２＝（−Ｆ′ｔａｎα，Ｆｔａｎβ） …（２）
Ｖ３＝（０，−Ｆ／ｔａｎβ） …（３）
Ｆ′＝Ｆ／ｃｏｓβ …（４）
ＨＬ＝（０，Ｆｔａｎβ） …（５）
【００２８】
上記（１）〜（５）式を利用して、Ｖ１、Ｖ２、Ｖ３が既知のとき、方位角α、仰角β、視距離Ｆ、視心Ｃを次の手順により求める。これを、図７も参照しながら説明する。
【００２９】
（１）線分Ｖ１−Ｖ２の中点を求め、該中点を中心として、直径をＶ１−Ｖ２とする円を作画する。
（２）Ｖ３から直線Ｖ１−Ｖ２に下ろした垂線と、直線Ｖ１−Ｖ２との交点ＨＬ′、上記円との交点Ｅを求める。
（３）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ２より角度αを求める。
（４）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ３より視距離Ｆを求める。
（５）前記（４）式を利用して、視距離Ｆと線分Ｅ−ＨＬ′から角度βを求める。
（６）Ｖ１から線分Ｖ２−Ｖ３に下ろした垂線と、Ｖ２から線分Ｖ１−Ｖ３に下ろした垂線との交点を視心Ｃとする。
【００３０】
次に、視心情報が既知の場合に視点位置情報を推定する方法を、前記図３に示した２消失点画像と実質上同一の図８を用いて説明する。
【００３１】
この図８に示した実写画像Ｇは、床面に対して水平にカメラを設置して撮影されたと推定され、仰角βは０°である。このような２消失点の場合、前記図４に示したように、消失点の位置は目の高さ（視線）の延長線上にある。又、この画像Ｇは、スキャナで取り込んだ後、トリミング作業を行っていないことから、図８に示すように視線の中心となる視心Ｃは、２つの消失点を結んだ線上にあり、且つｘ軸方向の中心にあるとして以下の手順で視距離Ｆを算出する。
【００３２】
（１）左右２つの消失点を求めるために、３次元空間内でそれぞれ平行な２組の平行線を指定し、２直線の交点として消失点Ｖ１、Ｖ２を計算する。
（２）線分Ｖ１−Ｖ２の中点Ｍを求め、中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
（３）線分Ｖ１−Ｖ２上にあり、且つ実写画像のｘ軸方向の中心Ｃを求める。
（４）視心Ｃから半円に垂線を引き、交点が視点Ｅとなる。
（５）線分Ｅ−Ｃより視距離Ｆを求める。
【００３３】
一方、視心情報が不明の場合、即ち、同様に２消失点画像ではあるが、トリミングされているために、視心が実際の画像の中心から反れていて不明の場合に、視点位置情報を推定する方法を、図９を用いて説明する。なお、この推定方法については、Ｆ．ホーエンベルク著、増田訳「技術における構成幾何学」（上巻）日本評論社、に詳細に説明されている。
【００３４】
図９（Ａ）に示した実写画像Ｇは、太い実線で示す直方体が写し込まれているが、トリミングによりその左端が切断されているため、画像の中心が不明になっている。但し、この場合は、画像Ｇ中でＡ′Ｂ′Ｃ′Ｄ′（但し、Ｄ′は見えない）で示す直方体の上面の一部にあたる四角形が、同図（Ｂ）に示すように寸法ａ、ｂが明らかな四角形ＡＢＣＤであるとする。
【００３５】
上記画像中の物体で、実際の３次元空間では水平線に平行でお互いに直交する２本の線分、ここでは、図９（Ｂ）で線分ＡＢ、ＡＣの長さが上記のように既知であるとして、以下の手順で視点位置、即ち視距離を推定できる。
【００３６】
（１）左右２つの消失点を求めるために、水平線にそれぞれ平行な２組の平行線から消失点Ｖ１、Ｖ２を求める。
（２）線分Ｖ１−Ｖ２の中点を求め、その中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
（３）長方形ＡＢＣＤが画像に写し込まれているＡ′Ｂ′Ｃ′（Ｄ′）を、上で求めた円周上の平面図Ａ″Ｂ″Ｃ″Ｄ″に変換する。
（４）線分Ｂ″−Ｄ″を延長して線分Ｖ１−Ｖ２と交わる点Ｆが線分Ｂ−Ｄの消失点となる。即ち、Ｖ１、Ｖ２、Ｆは、それぞれ線分Ａ−Ｂ、線分Ｂ−Ｃ、線分Ｂ−Ｄに平行な線が画面上で交わる点である。
（５）角ＤＢＣであるαは、線分Ｂ−Ｃと線分Ｃ−Ｄによって与えられる。
（６）視点Ｅは、空間で直径がＶ１−Ｖ２である水平円の上にあり、且つ弦Ｆ−Ｖ２に対して円周角２αを持つ水平円の上にもあることから、これらの円の交点として与えられる。
（７）視点Ｅから線分Ｖ１−Ｖ２に引いた垂線により視心、ここではＨが求められ、線分Ｅ−Ｈより視距離Ｆが求まる。
【００３７】
以上詳述した如く、視点位置、視距離、対象物の位置関係等の視点位置情報を推定する演算が前記演算部２２で実行され、前記図２のフローチャートでステップ４の処理が終了すると、次のステップ５で推定されたその情報に基づいて空間の３次元的情報を推定する立体再構成を行なう。
【００３８】
この立体再構成は、前記図３又は図８の実写画像の場合であれば、図１０に示すように、実写画像から得られた３次元情報に基づいて、例えば４０ｃｍ間隔でメッシュを張り込むことに相当する。この図１０には、便宜上２次元的に表示してあるが、実際には、例えば４０ｃｍ×４０ｃｍ×４０ｃｍの寸法からなる３次元的にメッシュを張り込んでいる。
【００３９】
次に、ここで実写画像から３次元情報を推定するために実行する２次元画像の３次元化について詳細に説明する。
【００４０】
前記図５、図６に示したように、直方体の辺は、視点−消失点を結ぶ直線に平行であることを利用して、２次元画像の３次元化を行うことができる。これを、図１１を用いて詳述する。なお、この方法については、杉下による「３次元形状生成のためのスケッチインターフェース」埼玉大学、平成６年２月、に詳細に説明されている。
【００４１】
図１１で、Ｐ１、Ｐ２と投影面上の点で、両点を結ぶ直線は消失点Ｖを通る。Ｃは視心、Ｅは視点である。視点と消失点を結ぶ直線が、３次元空間上におけるＰ１′、Ｐ２′を通る直線と平行であること、及び、視点ＥとＰ１とを結ぶ直線上にＰ１′が存在し、視点ＥとＰ２とを結ぶ直線上にＰ２′が存在することから、Ｐ１′−Ｐ２′間の距離が分かれば、Ｐ１′、Ｐ２′を決定できる。
【００４２】
そこで、視心Ｃが地上座標系の原点（０，０，０）に位置し、視点Ｅが地上座標系のｘ軸上の正方向に位置していると仮定し、
Ｐ1 （x 1 ，y 1 ）、Ｐ2 （x 2 ，y 2 ）
Ｐ1 ′（x 1 ′，y 1 ′，z 1 ′）、Ｐ2 ′（x 2 ′，y 2 ′，z 2 ′）
Ｃ（x 0 ，y 0 ）、Ｅ（Ｆ，０，０）、Ｖ（x s ，y s ，z s ）
のように定めると、Ｐ1 ′、Ｐ2 ′の各座標値は媒介変数ｔ、ｓを用いて、次の（６）〜（１２）式によって求められる。ここで、Ｆは視距離である。
【００４３】
上記（１０）式で、ＤはＰ1 ′−Ｐ2 ′間の距離であり、このＰ1 ′−Ｐ2 ′間の距離を与えることにより、２次元形状から３次元形状を得ることができる。得られた３次元形状は、視心Ｃが地上座標系の原点に位置し、視点ＥがＸ軸上の正方向に位置しているとの仮定の下での座標なので、実際の３次元空間の座標を得るためには変換行列によって座標変換を行う必要がある。その変換行列は、先に求めた方位角α、仰角βを用いて構成される。又、最初の２点の座標が求まれば、それを基に残りの点の座標を求めることができる。
【００４５】
以上のような計算処理により、前記ステップ４で推定した視点位置情報を用いて、２次元の実写画像から３次元空間情報を推定することにより、図１０に示したように立体再構成が可能となる。即ち、前記ステップ３で入力した大きさ情報を用いることによって、視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に写し込まれている空間の３次元的情報を推定することができる。
【００４６】
従って、上記図１０に示されるように、視点に近い位置ほど寸法が大きいメッシュが張り込まれた画像を作成することが可能となる。
【００４７】
前記図２のステップ５で、上記立体再構成が終了すると、その３次元空間情報はメモリ１２に出力され、保持される。次いで、その情報を用いて光源条件の推定を行う（ステップ６）。
【００４８】
この光源情報の推定は、画像表示装置１４のディスプレイ上で、そこに表示されている実写画像に写し込まれている光源の位置をマウス等で指定することにより、その位置を前述した３次元空間情報を用いて、光源情報演算部２２で推定計算して求めることにより行われる。
【００４９】
即ち、上記の如く、視点位置情報が求まったことから、それを用いて実写画像中に写し込まれている物体の位置、大きさ等の３次元的空間情報を推定することができるようになったので、画像中の照明器具や窓といった光を放つ物体、即ち光源の３次元的な位置を推定できる。光源の位置が決まれば合成しようとするＣＧ画像の物体に光が照射する方向を光学的に計算できる。このように推定された光源位置（条件）は、前記メモリ１２に出力され、保持される。
【００５０】
次いで、ステップ７で対象物に関する陰影情報の推定を行う。これは、実写画像中に写し込まれている対象物及び、必要に応じてその近傍を、前記情報入力部３２で指定することによって、主に該対象物上の色度分布からその表面上に存在する影の形状や濃淡等からなる陰影情報を抽出する演算を、前記陰影情報抽出演算部で実行することに当る。
【００５１】
この陰影情報抽出を、実写画像が図１２で、その中の右側に位置する食器棚Ｃが、合成しようとする対象物である場合を例に説明する。
【００５２】
先ず、ディスプレイ上で上記実写画像中の食器棚Ｃと、該食器棚Ｃの表面での反射光が当っている床Ｆの一部を範囲指定して、その画像部分を抜き出し、次いで把手等の不要な部分を全て除去することにより、図１３の状態にする。
【００５３】
次いで、この図１３の部分画像から、対象物に関する陰影情報を抽出し、図１４に示すような陰影情報に当るマスク画像を作成する。このマスク画像は、上記図１３において、ハイライト部分と最も暗い部分の間にある中間調の色度分布を抽出することにより作成することができ、例えば市販の画像処理ソフトウェアのＡdobeＰhotoshopTM３．０Ｊを利用して作成することもできる。
【００５４】
上記ステップ７の陰影情報の推定が終った後、ステップ８の合成用のＣＧ画像の生成を行う。このＣＧ画像の生成は、前記ＣＧ画像生成部２４において、前記メモリ１２から読み込んだ前記３次元空間情報（前記図１２の実写画像では、基準寸法として既知のテーブルの大きさを用いて３次元復元を行った）を用いて、前記対象物（食器棚）と同一の形状を作成すると共に、前記情報入力部３２により、希望するテクスチャを指定して該形状に張り付けることにより、行うことができる。ここで生成された合成用のＣＧ画像は、前記メモリ１２に出力され、保持される。
【００５５】
次いで、ステップ９で陰影情報の色変換を行う。これは、前記ステップ７で抽出（推定）した対象物に関する陰影情報が有している色情報を、上記ステップ８でＣＧ画像用に指定したテクスチャの色情報（色相、彩度、明度）に変換することにより、ＣＧ画像の色に合った陰影情報に変換する処理を行うことに当る。この変換処理は、具体的には前記メモリ１２から対象物に関する陰影情報である前記図１４のマクス画像を、前記陰影情報色変換部３０に読み込んで実行される。
【００５６】
上記陰影情報の色変換が終ると、次のステップ１０で、前記ステップ８で生成したＣＧ画像に対して、変換後の陰影情報の付加が行われる。これは、上記色変換部３０において、前記生成部２４から入力される前記ＣＧ画像（色違いの食器棚）に対して、上で色変換して作成したＣＧ画像の色に合った陰影情報を重ね合せる処理に当る。このようにして色変換した陰影情報の合成用ＣＧ画像への付加が終ると、そのＣＧ画像のデータは前記画像データ合成部２６に出力される。
【００５７】
この画像データ合成部２６では、前記メモリ１２から実写画像データとともに、既に推定してある視点位置情報、光源情報等が入力されると、上記画像生成部２４から入力されたＣＧ画像に対して、前記図１２に示した実写画像における配置場所（食器棚の位置）での、既知光源（冷蔵庫Ｒの横にある四角形の窓Ｗ）による陰影処理が施された後、両画像の合成処理が実行される（ステップ１１）。これは、実写画像中に存在しない未知の光源条件を含む撮影条件に合わせてＣＧ画像で生成した物体を、透視投影変換し、それに合成したい素材のテクスチャをマッピングして、陰影処理を行って実写画像に合成する処理を実行していることにあたる。
【００５８】
このように合成処理を行った結果、色違いの食器棚が、実写画像中で前記図１２の場合と比較して光学的に違和感がなければ、一連の作業は終了する。違和感がある場合には、合成されたＣＧ画像から陰影情報のみ、即ち前記図１４に示したものと同様の色変換後のマクス画像のみを抽出し、その中間調の範囲を変更する等により陰影情報を修整し、同ＣＧ画像に付加する修正作業を行う。
【００５９】
この実施の形態においては、合成の対象物を実写画像中から選択し、しかも、陰影情報を同対象物及びその近傍から直接抽出するようにしているので、同実写画像中には写し込まれていない未知光源が他に存在する場合でも、該未知光源に起因する陰影情報をも推定することができるため、実写画像との間でより光学的に違和感のない画像合成を行うことが可能となり、テクスチャのみが異なる前記図１２の実写画像と実質同一の合成画像が得られる。
【００６０】
又、この実施の形態においては、前記ステップ６で、光源情報の推定を行い、その情報をステップ１１の合成の段階でＣＧ画像に反映させているが、その処理の内容について説明する。
【００６１】
前記図１２の実写画像にある窓Ｗのように、既知光源が存在する場合、ＣＧ画像の表面の明るさは、面の向き、視点の位置、光源の位置の空間的な位置関係によって変化する。実写画像の視点位置情報から、視点、光源の位置が決まり、ＣＧ画像を合成する位置を指定することによって面の向きが決まり、図１５に立方体の場合について点光源を指定した場合を示すように、その影の形状が求まる。
【００６２】
又、前記立体再構成画像における直方体による影の形状は、図１６に概念的に実線で示すように、点光源Ｌの場合はＡ、窓Ｗのような面光源の場合はＢのように、それぞれ光学的な計算処理により求めることができる。なお、この図１６では、メッシュを破線で表わしている。
【００６３】
従って、実写画像には写し込まれていない、新しい物体をＣＧ画像として任意の位置に合成する場合は、上記のように既知光源による陰影情報を推定すると共に、合成したい物体の材質、即ちテクスチャを指定することによって、反射係数は決まり、ＣＧ画像の陰影処理に必要な条件が揃う。このようにして生成したＣＧ画像を、実写画像を生成したときの視点条件に合わせて透視投影変換し、実写画像中の希望する位置に配置し、そのときの陰影処理を行って合成することができる。
【００６４】
この実施の形態においては、実写画像中の食器棚Ｃ及びその近傍から陰影情報を抽出しそれをＣＧ画像に付加した上に、合成時にも既知光源（窓Ｗ）による陰影処理を行っている。この既知光源による処理は、一様な食器棚の色に対して窓Ｗの側から僅かずつ全体的に暗くなる程度の陰影を付していることになる。但し、この既知光源による処理を行わなくともよい。
【００６５】
以上詳述した如く、この実施の形態によれば、撮影条件が不明な実写画像でも、そこから視点位置情報と陰影情報を推定することができるため、実写画像中に光源が写し込まれていないため、その光源情報を推定できない場合でも、違和感の無い合成画像を生成することができる。従って、この実施の形態の画像合成システムを用いることにより、次のような具体的な処理を行うことが可能となる。
【００６６】
一般に、住宅等で使用されているバス・トイレタリといった衛生機器やキッチンは、同一形状による色違いや、素材の違い等からなる多数の組合せが可能となっている。これらの商品カタログは、商品毎にスタジオにセットを組み、カメラで撮影している。しかし、このように撮影により作成するカタログは、通常１種類しかなく、色違いの商品に関しては色のサンプルを表示する場合が多い。
【００６７】
そこで、このシステムを利用することによって、撮影した１枚の実写画像にＣＧ画像を合成することによって、色や素材の違う商品も実際にスタジオ撮影したものと同様に、商品全体のイメージを撮影コストをかけることなく、均一な品質で、簡単に表現できる。
【００６８】
又、インテリアシミュレーション等において、家具やカーテン、壁紙といった住宅内部の内装を変更する際に、現状を撮影した実写画像に対して、変更予定の家具やカーテン、内装材をＣＧ画像で生成して合成することによって、事前に変更後のイメージを確認することができる。
【００６９】
以上、本発明について具体的に説明したが、本発明は、前記実施の形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００７０】
【発明の効果】
以上説明したとおり、本発明によれば、実写画像に写し込まれている対象物と実質的に同一形状でテスクチャが異なる物体のＣＧ画像を生成し、そのＣＧ画像を該実写画像に合成する場合、特別な経験や勘がなくとも、幾何学的にも、光学的にも違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施の形態の画像合成システムを示すブロック図
【図２】実施の形態における画像合成の処理手順を示すフローチャート
【図３】消失点の求め方を示す説明図
【図４】２消失点画像における投影面とカメラの関係を示す説明図
【図５】視点と消失点の関係を示す説明図
【図６】視点推定計算を説明するための線図
【図７】視点情報を推定する方法を示す説明図
【図８】実写画像で視点情報を推定する方法を示す説明図
【図９】実写画像で視点情報を推定する方法を示す他の説明図
【図１０】３次元空間情報を基に立体再構成した状態を示す説明図
【図１１】２次元画像の３次元化を説明するための線図
【図１２】実写画像の一例を示す説明図
【図１３】対象画像とその近傍を範囲指定して抽出した画像を示す説明図
【図１４】陰影情報に当るマクス画像を示す説明図
【図１５】点光源位置指定による影の形状生成例を示す説明図
【図１６】立体再構成画像における影の形状生成例を示す説明図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
１８…演算部
２０…視点位置情報演算部
２２…光源情報演算部
２４…ＣＧ画像生成部
２６…画像データ合成部
２８…陰影情報抽出演算部
３０…陰影情報色変換部
３２…情報入力部
Claims (2)
- 実写画像とＣＧ画像とを合成する画像合成装置において、
実写画像から視点位置情報を推定する手段と、
推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、
推定した３次元的空間情報に基づいて、実写画像中に存在する対象物に対応する合成用のＣＧ画像を生成する手段と、
実写画像から前記対象物に関する陰影情報を、該対象物を含む部分画像から、ハイライト部分と最も暗い部分の間の中間調の色度分布として抽出する手段と、
抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報に変換する手段と、
生成したＣＧ画像を、実写画像中の前記対象物の位置に合成する手段と、
合成前又は後のＣＧ画像に前記変換後の陰影情報を付加する手段と、を備えていると共に、
前記実写画像から、該実写画像に写し込まれている光源の位置を指定し、指定された位置を前記３次元空間情報を用いて計算することにより、光源位置情報を推定する手段と、
推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えていることを特徴とする画像合成装置。 - 実写画像とＣＧ画像とを合成する画像合成装置において、
実写画像から視点位置情報を推定する手段と、
推定した視点位置情報から、実写画像の３次元的空間情報を推定する手段と、
推定した３次元的空間情報に基づいて、実写画像中に存在する対象物に対応する合成用のＣＧ画像を生成する手段と、
実写画像から前記対象物に関する陰影情報を抽出する手段と、
抽出した陰影情報を前記ＣＧ画像の色に合った陰影情報に変換する手段と、
生成したＣＧ画像を、実写画像中の前記対象物の位置に合成する手段と、
合成前又は後のＣＧ画像に前記変換後の陰影情報を付加する手段と、を備えていると共に、
前記実写画像から、該実写画像に写し込まれている光源の位置を指定し、指定された位置を前記３次元空間情報を用いて計算することにより、光源位置情報を推定する手段と、
推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えていることを特徴とする画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14556996A JP3784104B2 (ja) | 1996-06-07 | 1996-06-07 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14556996A JP3784104B2 (ja) | 1996-06-07 | 1996-06-07 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09326040A JPH09326040A (ja) | 1997-12-16 |
| JP3784104B2 true JP3784104B2 (ja) | 2006-06-07 |
Family
ID=15388155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14556996A Expired - Lifetime JP3784104B2 (ja) | 1996-06-07 | 1996-06-07 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3784104B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3310257B2 (ja) * | 2000-03-24 | 2002-08-05 | 株式会社コナミコンピュータエンタテインメントジャパン | ゲームシステム及びゲーム用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP4523136B2 (ja) * | 2000-09-27 | 2010-08-11 | 株式会社竹中工務店 | Ｃｇ画像との合成写真を作る方法及びカメラ装置 |
| JP2003099801A (ja) * | 2001-09-25 | 2003-04-04 | Toyota Motor Corp | 三次元モデルの画像表示方法、装置、プログラム及び記録媒体 |
| US7787028B2 (en) | 2002-05-28 | 2010-08-31 | Casio Computer Co., Ltd. | Composite image output apparatus and composite image delivery apparatus |
| US8189864B2 (en) * | 2007-08-29 | 2012-05-29 | Casio Computer Co., Ltd. | Composite image generating apparatus, composite image generating method, and storage medium |
| JP5673293B2 (ja) * | 2011-03-30 | 2015-02-18 | 大日本印刷株式会社 | 画像合成方法、画像合成装置、プログラム、及び、記録媒体 |
-
1996
- 1996-06-07 JP JP14556996A patent/JP3784104B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09326040A (ja) | 1997-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| US9282321B2 (en) | 3D model multi-reviewer system | |
| US9407904B2 (en) | Method for creating 3D virtual reality from 2D images | |
| US7068274B2 (en) | System and method for animating real objects with projected images | |
| US6677956B2 (en) | Method for cross-fading intensities of multiple images of a scene for seamless reconstruction | |
| Sinha et al. | Interactive 3D architectural modeling from unordered photo collections | |
| US20150325044A1 (en) | Systems and methods for three-dimensional model texturing | |
| CN105513112B (zh) | 图像处理方法和装置 | |
| US20030034976A1 (en) | System and method for registering multiple images with three-dimensional objects | |
| US20030038822A1 (en) | Method for determining image intensities of projected images to change the appearance of three-dimensional objects | |
| Coleman et al. | Ryan: rendering your animation nonlinearly projected | |
| Yu et al. | A framework for multiperspective rendering. | |
| JP2003099799A (ja) | 変化のないシーン内の静止した３ｄの物理的な物体の動きをシミュレートするための方法 | |
| Verhoeven | Computer graphics meets image fusion: The power of texture baking to simultaneously visualise 3D surface features and colour | |
| JPH09319896A (ja) | ３次元画像作成装置 | |
| JPH10111953A (ja) | 画像処理方法および装置および記憶媒体 | |
| JP3784104B2 (ja) | 画像合成装置 | |
| JP2004220312A (ja) | 多視点カメラシステム | |
| JP3720587B2 (ja) | 画像合成装置 | |
| JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
| JP3693735B2 (ja) | 画像合成装置 | |
| JP2021068272A (ja) | 画像処理システム、画像処理方法及びプログラム | |
| JP2003216970A (ja) | 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム | |
| WO2017031117A1 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| JP7447429B2 (ja) | 画像処理システム、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060314 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140324 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |