JP3720587B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP3720587B2 JP3720587B2 JP19688498A JP19688498A JP3720587B2 JP 3720587 B2 JP3720587 B2 JP 3720587B2 JP 19688498 A JP19688498 A JP 19688498A JP 19688498 A JP19688498 A JP 19688498A JP 3720587 B2 JP3720587 B2 JP 3720587B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- size
- live
- estimated
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置、特に、実写画像を基にして、それを背景とした商品カタログの作成や、住宅等の内装変更後のイメージを表わした画像等の作成に適用して好適な、画像合成装置に関する。
【０００２】
【従来の技術】
従来、画像合成を、実写画像のみを用いて行う場合、違和感の無い合成画像を得るために、企画段階で合成を前提に綿密な計算がなされた実写画像の素材を準備し、それらを印刷用のレイアウト・スキャナやトータル・スキャナ・システムの画像処理ステーション、デザイン専用システム等の専用機によって、合成する処理が行われている。
【０００３】
又、近年、住宅等で使用されているバス・トイレタリやキッチン等の商品カタログを作成するために、実写した背景画像とＣＧ（コンピュータ・グラフィックス）技術により作成した浴槽等の部品とを画像合成したり、インテリア・シミュレーション等において、家具、カーテン、壁紙等の内装をＣＧで作成し、そのＣＧ画像を室内の実写画像に合成することにより、得られる合成画像から内装を変更した場合のイメージを確認することが行われている。
【０００４】
このように、合成画像の素材にＣＧ画像を用いる場合、背景として使用する実写画像を、合成を前提に厳密に条件を決めて撮影し、その撮影条件が予め明らかである場合は、その撮影条件を用いてＣＧ画像を作成することにより、実写画像とそのＣＧ画像を合成し、違和感の無い合成画像を容易に作成することもできる。
【０００５】
【発明が解決しようとする課題】
しかしながら、合成を前提に撮影されていない、即ち撮影条件が不明な実写画像を用いて、それにＣＧ画像を合成して違和感の無い合成画像を作成するためには、オペレータが経験と勘で実写画像に合うような条件を試行錯誤で求めてＣＧ画像を生成し、それを用いて合成処理を行っているため、合成操作が難しいという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の実写画像とＣＧ画像を合成する場合、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、実写画像とＣＧ画像とを合成する画像合成装置において、画面表示されている実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元空間情報を推定する手段と、推定した３次元的空間情報に基づいて実写画像中の合成対象とする対象物の大きさを推定する手段と、推定した対象物の大きさに基づいて合成用のＣＧ画像を生成する生成手段と、生成したＣＧ画像を透視投影変換して、前記実写画像に合成する手段と、を備えていると共に、ＣＧ画像用のテクスチャとなる実写画像から、繰り返しの模様やパターンの基本単位部分と基本単位の大きさを指示して、基本となる単位テクスチャ画像を作成する手段と、単位テクスチャ画像の大きさと単位テクスチャ画像を読み出す手段を備え、前記生成手段が、推定された前記対象物の大きさに基づいて、画面上で選択された単位テクスチャ画像とテクスチャ画像に関連づけられた単位テクスチャ画像の大きさから合成用のＣＧ画像を生成する機能を有することにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、実写画像に合成するＣＧ画像を、該実写画像から推定した視点を中心とする３次元空間情報に基づいて作成できるようにしたので、これら実写画像とＣＧ画像とをそれぞれ素材として違和感の無い合成画像を、特別な経験や勘がなくとも容易且つ確実に作成できる。
【０００９】
【発明の実施の形態】
一般に、違和感の無い合成画像を作成すためには、合成に用いる各々の素材画像が、同一の撮影条件、即ち視点、アングル、光の当たり方等が等しくなくてはならない。設定条件が不明の実写画像を用いて違和感の無い合成画像を作成するためには、実写画像を撮影したときの撮影条件を推定する必要がある。
【００１０】
そこで、この実施形態では、実写画像にＣＧ画像を合成する際に、１枚の実写画像から撮影条件である、視点位置情報（視点位置、視距離、対象物の位置関係等）を、専用のハードウェアを用いなくとも容易に推定できるようにし、推定したその条件を基にして合成用のＣＧ画像を生成し、それを透視投影変換した後、実写画像に張込んで合成する機能を有する画像合成システム（画像合成装置）を提供する。
【００１１】
又、この実施形態では、前記実写画像から光源位置情報を推定し、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す機能を備えている。
【００１２】
又、この実施形態では、前記実写画像からＣＧ画像を合成する対象場所の実際の大きさを推定する機能と、ＣＧ画像のテクスチャとなる実写画像から基本となる単位テクスチャ画像を作成する機能と、推定した合成対象物（場所）の大きさ情報に基づいて単位テクスチャ画像から対象場所用のＣＧ画像を作成する機能を備えている。
【００１３】
以下、図面を参照して、より具体的な実施形態について詳細に説明する。図１は、本発明に係る一実施形態の画像合成システム（画像合成装置）の概略構成を示すブロック図である。
【００１４】
この画像合成システムは、実写画像を入力するスキャナ等の画像入力装置１０と、入力した実写画像の画像データ等を保持する画像保持用メモリ１２と、該メモリ１２に保持されている画像データに基づいてその画像を表示する画像表示装置１４と、上記メモリ１２に保持されている合成後の画像データ等を出力する画像出力装置１６とを備えている。
【００１５】
又、上記画像保持用メモリ１２には、該メモリ１２から入力した実写画像データについて、後に詳述する画像合成のための各種演算処理を実行するための演算部１８が接続され、この演算部１８には視点位置情報演算部２０、光源情報演算部２２、室内空間大きさ情報演算部２４、合成位置大きさ情報演算部２６、単位テクスチャ画像演算部２８、ＣＧ画像生成部３０、画像データ合成部３２が含まれている。
【００１６】
又、上記演算部１８には、ユーザインターフェースとしてマウス等のポインティングデバイスからなる情報入力部３４が接続され、画像表示装置１４のディスプレイに表示されている実写画像等を見ながら、該情報入力部３４で画像合成の演算処理に必要なデータをオペレータが入力できるようになっている。
【００１７】
このシステムでは、図２に示すフローチャートに従って、画像合成迄の基本的な処理が実行される。まず、スキャナ１０で実写画像の取込みを行い（ステップ１）、そのデータをメモリ１２で保持するとともに、実写画像を画像表示装置（ディスプレイ）１４に表示する。そして、ディスプレイ１４上の実写画像を見ながら情報入力部３４から情報を入力することにより、視点位置情報演算部２０で、既に読み込んである実写画像から視点位置情報を推定する。
【００１８】
この視点位置情報演算部２０で実行する視点位置情報の推定は、前記図２のフローチャートにおける消失点計算（ステップ２）、大きさ情報の入力（ステップ３）、視点位置情報（視点位置、視距離）推定（ステップ４）迄の処理に当る。
【００１９】
前記ステップ２で実行する消失点計算は、スキャナで取り込んだ実写画像において、３次元空間内の平行線が透視図上で１点、即ち消失点で交わることを利用して、実写画像中の平行線から消失点座標を求めることを意味する。
【００２０】
即ち、室内を撮影した実写画像に写し込まれているテーブル、窓、畳、天井等の形状を表わす線は、３次元的には一般に平行線である。従って、実写画像が、例えば図３のようであったとすると、天井の平行線は消失点に収束することから、直交する３軸方向の３つの消失点は、各軸にそれぞれ平行な２本の線分をディスプレイ上で指定することにより、２直線の交点として求められる。
【００２１】
この時点での消失点座標は、ディスプレイ用表示座標系である２次元の座標値として求められる。但し、図３に示した画像は、図４に示したように、カメラを床に対して水平に設置し、仰角＝０として撮影されていることから、鉛直方向の平行線は写真の画面に対して平行な位置関係にあるため、左右２つの消失点のみとなり、上下方向に第３の消失点は存在していない。
【００２２】
ステップ３の大きさ情報の入力は、読み込んだ前記実写画像中に写し込まれている、例えば窓の一辺の長さ等の予め既知の物体の大きさ情報を、前記情報入力部３４により入力することにあたる。この大きさ情報を入力することによって、撮影したときのカメラ位置である視点位置や、カメラから投影面中心（視心）までの距離である視距離等の視点位置情報を求めることが可能となる。この場合、大きさ情報が正しいほど視点位置を正確に求めることができるが、ある程度大きさが推定できるようなものであればよい。
【００２３】
ステップ４の視点位置情報推定では、中心的処理として視点位置、視距離の計算を行う。以下、これについて詳述する。なお、この推定方法については、近藤、木村、田嶋による、「手描き透視図の視点推定とその応用」情報処理学会論文誌 昭和６３年７月、に詳細に説明されている。
【００２４】
まず、投影中心である視点座標（視点位置）を求める方法を以下に述べる。ここでは、視点と視心を結ぶ直線上に地上座標系の原点があると想定している。
【００２５】
図５は、視点Ｅと消失点Ｖの関係を示したもので、Ｆは視距離である。点Ｐを含み、角度αである半直線Ｌを考える。このとき、点Ｐ（ｘ，ｙ）は、投影面上のＰ′（ｘ′，Ｆ）に変換される。この点Ｐを半直線Ｌ上に無限大の長さにとると消失点Ｖと一致する。これから、直線Ｌの消失点の座標は（Ｆ／ｔａｎα，Ｆ）となる。
【００２６】
図６は、視点座標系Ｅ−ＵＶＷと、地上座標系Ｏ−ＸＹＺとの関係を、（Ａ）の平面図と（Ｂ）の側面図で示したものである。ここで、視点をＥ、視軸をＶとし、視点Ｅから線分Ｖ１−Ｖ２に対して直交する線分を引き、その交点をＨＬとする。ＨＬ′は、このＨＬの平面図の座標、Ｅ′は視点の側面図の座標、Ｆ′は視点ＥからＨＬまでの距離を示す。この図６は、Ｗ軸の周りにα、Ｕ軸の周りにβだけ傾けた状態を示している。消失点Ｖ１、Ｖ２、Ｖ３は、原点を視心Ｃとする画面の座標系Ｃ−ＵＷにおいて、次のようになる。
【００２７】
Ｖ１＝（Ｆ′／ｔａｎα，Ｆｔａｎβ） …（１）
Ｖ２＝（−Ｆ′ｔａｎα，Ｆｔａｎβ） …（２）
Ｖ３＝（０，−Ｆ／ｔａｎβ） …（３）
Ｆ′＝Ｆ／ｃｏｓβ …（４）
ＨＬ＝（０，Ｆｔａｎβ） …（５）
【００２８】
上記（１）〜（５）式を利用して、Ｖ１、Ｖ２、Ｖ３が既知のとき、方位角α、仰角β、視距離Ｆ、視心Ｃを次の手順により求める。これを、図７も参照しながら説明する。
【００２９】
（１）線分Ｖ１−Ｖ２の中点を求め、該中点を中心として、直径をＶ１−Ｖ２とする円を作画する。
【００３０】
（２）Ｖ３から直線Ｖ１−Ｖ２に下ろした垂線と、直線Ｖ１−Ｖ２との交点ＨＬ′、上記円との交点Ｅを求める。
【００３１】
（３）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ２より角度αを求める。
【００３２】
（４）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ３より視距離Ｆを求める。
【００３３】
（５）前記（４）式を利用して、視距離Ｆと線分Ｅ−ＨＬ′から角度βを求める。
【００３４】
（６）Ｖ１から線分Ｖ２−Ｖ３に下ろした垂線と、Ｖ２から線分Ｖ１−Ｖ３に下ろした垂線との交点を視心Ｃとする。
【００３５】
次に、視心情報が既知の場合に視点位置情報を推定する方法を、前記図３に示した２消失点画像と実質上同一の図８を用いて説明する。
【００３６】
この図８に示した実写画像Ｇは、床面に対して水平にカメラを設置して撮影されたと推定され、仰角βは０°である。このような２消失点の場合、前記図４に示したように、消失点の位置は目の高さ（視線）の延長線上にある。又、この画像Ｇは、スキャナで取り込んだ後、トリミング作業を行っていないことから、図８に示すように視線の中心となる視心Ｃは、２つの消失点を結んだ線上にあり、且つｘ軸方向の中心にあるとして以下の手順で視距離Ｆを算出する。
【００３７】
（１）左右２つの消失点を求めるために、３次元空間内でそれぞれ平行な２組の平行線を指定し、２直線の交点として消失点Ｖ１、Ｖ２を計算する。
【００３８】
（２）線分Ｖ１−Ｖ２の中点Ｍを求め、中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
【００３９】
（３）線分Ｖ１−Ｖ２上にあり、且つ実写画像のｘ軸方向の中心Ｃを求める。
【００４０】
（４）視心Ｃから半円に垂線を引き、交点が視点Ｅとなる。
【００４１】
（５）線分Ｅ−Ｃより視距離Ｆを求める。
【００４２】
一方、視心情報が不明の場合、即ち、同様に２消失点画像ではあるが、トリミングされているために、視心が実際の画像の中心から反れていて不明の場合に、視点位置情報を推定する方法を、図９を用いて説明する。なお、この推定方法については、Ｆ．ホーエンベルク著、増田訳「技術における構成幾何学」（上巻）日本評論社、に詳細に説明されている。
【００４３】
図９（Ａ）に示した実写画像Ｇは、太い実線で示す直方体が写し込まれているが、トリミングによりその左端が切断されているため、画像の中心が不明になっている。但し、この場合は、画像Ｇ中でＡ′Ｂ′Ｃ′Ｄ′（但し、Ｄ′は見えない）で示す直方体の上面の一部にあたる四角形が、同図（Ｂ）に示すように寸法ａ、ｂが明らかな四角形ＡＢＣＤであるとする。
【００４４】
上記画像中の物体で、実際の３次元空間では水平線に平行でお互いに直交する２本の線分、ここでは、図９（Ｂ）で線分ＡＢ、ＡＣの長さが上記のように既知であるとして、以下の手順で視点位置、即ち視距離を推定できる。
【００４５】
（１）左右２つの消失点を求めるために、水平線にそれぞれ平行な２組の平行線から消失点Ｖ１、Ｖ２を求める。
【００４６】
（２）線分Ｖ１−Ｖ２の中点を求め、その中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
【００４７】
（３）長方形ＡＢＣＤが画像に写し込まれているＡ′Ｂ′Ｃ′（Ｄ′）を、上で求めた円周上の平面図ＡÅＢÅＣÅＤÅに変換する。
【００４８】
（４）線分ＢÅ−ＤÅを延長して線分Ｖ１−Ｖ２と交わる点Ｆが線分Ｂ−Ｄの消失点となる。即ち、Ｖ１、Ｖ２、Ｆは、それぞれ線分Ａ−Ｂ、線分Ｂ−Ｃ、線分Ｂ−Ｄに平行な線が画面上で交わる点である。
【００４９】
（５）角ＤＢＣであるαは、線分Ｂ−Ｃと線分Ｃ−Ｄによって与えられる。
【００５０】
（６）視点Ｅは、空間で直径がＶ１−Ｖ２である水平円の上にあり、且つ弦Ｆ−Ｖ２に対して円周角２αを持つ水平円の上にもあることから、これらの円の交点として与えられる。
【００５１】
（７）視点Ｅから線分Ｖ１−Ｖ２に引いた垂線により視心、ここではＨが求められ、線分Ｅ−Ｈより視距離Ｆが求まる。
【００５２】
以上は２消失点画像の場合出あるが、次に１消失点画像における視点位置情報の推定方法を説明する。
【００５３】
図１０（Ａ）は、消失点と、実写画像に写し込まれている基準面について、予め入力された座標値等を利用して、視点位置情報を推定する方法を示したものである。このとき既知の情報は、消失点Ｖと、基準面である四角形ＡＢＣＤの各頂点座標であるとする。
【００５４】
ここで基準面とは、便宜上、視点位置との関係を変えて図１０（Ｂ）に示したように、実写画像中に写し込まれている大きさが既知の直方体の上面に当る長方形である。従って、上記基準面は、大きさと位置する高さが既知であり、その大きさは縦×横で、高さはその長方形が床にあるなら高さ：０、床より上にある場合は床からの高さで与えられる。
【００５５】
上記図１０（Ａ）で直線ＳＬは水平線、四角形ａｂｃｄは横幅を線分ＡＢに合わせて辺ａb がＳＬに接している四角形ＡＢＣＤの平面図であるとすると、視点Ｅ、視距離Ｆは以下の透視図の作図法を基にした計算手法によって求めることができる。
【００５６】
１．四角形ＡＢＣＤが写し込まれている実写画像中で、水平な１組の平行線Ａ−Ｄ、Ｂ−Ｃの交点から消失点Ｖを求める。
【００５７】
２．入力された基準面ＡＢＣＤに水平方向の手前の辺ＡＢの両端の点から水平線ＳＬに対して垂線を引き、その交点をそれぞれａ、ｂとする。
【００５８】
３．ここで基準面は、前記のように直方体の上面（長方形）であり、その辺の長さは予め入力されているので、その情報を利用して、線分ａ、ｂをそれぞれ基準面ＡＢＣＤの頂点Ａ、Ｂに対応させて、該基準面ＡＢＣＤの平面図ａｂｃｄを作る。
【００５９】
４．基準面の水平方向の奥の辺ＣＤの両端の点から水平線ＳＬに対して垂線を引き、その交点をそれぞれＣ′、Ｄ′とする。
【００６０】
５．平面図の点ｃ、ｄからそれぞれＣ′、Ｄ′を通る半値線を引く。この２直線の交点が視点Ｅとなる。
【００６１】
６．視点ＥとＳＬとの距離から視距離Ｆを求める。
【００６２】
以上詳述した如く、視点位置、視距離、対象物の位置関係等の視点位置情報を推定する演算が前記視点位置情報演算部２０で実行され、前記図２のフローチャートでステップ４の処理が終了すると、その視点位置情報を用いて２次元の実写画像から３次元空間情報を推定することにより、前記図３又は図８の実写画像の場合であれば、図１１に示すような室内空間の大きさ推定を行うことが可能となる（ステップ５）。
【００６３】
これを、前記画像表示装置１４の画面に表示された図１２の実写画像を用いて具体的に説明する。但し、実際の実写画像では分り難いので、この図１２では簡略化してある。
【００６４】
本実施形態の画像合成システムでは、上記実写画像に矢印Ａで示した点をマウス等でクリックして指示すると、この点を中心として、垂直方向と、該中心から左右の消失点へそれぞれ向う線からなる軸方向に延びたガイドラインが表示されている。
【００６５】
そして、この実写画像中の基準点、即ち、床と壁が交わる点や、天井と壁が交わる点をマウス等で指定すると、室内空間大きさ情報演算部２６で計算した結果を用いて、図１３に示したように視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に映し込まれている空間の３次元的構成を推定することができる。又、この画像合成システムは、床と壁が交わる点が実写画像中に映し出されていない場合でも、その点を推測しながらマウス等で指定できるようなガイド機能も持ち合わせている。
【００６６】
以上ように推定した室内空間の大きさは、前記図１１又は図１３に示すように、実写画像から得られた３次元情報に基づいて、例えば４０ｃｍ間隔でメッシュを張り込むことによって確認することができる。この図には、便宜上２次元的に表示してあるが、実際には、例えば４０ｃｍ×４０ｃｍ×４０ｃｍの寸法からなる３次元的なメッシュを張り込んでいる。
【００６７】
次に、ここで実写画像から３次元情報を推定するために実行する前記２消失点画像における２次元画像の３次元化について詳細に説明する。
【００６８】
前記図５、図６に示したように、直方体の辺は、視点−消失点を結ぶ直線に平行であることを利用して、２次元画像の３次元化を行うことができる。これを、図１４を用いて詳述する。なお、この方法については、杉下による「３次元形状生成のためのスケッチインターフェース」埼玉大学、平成６年２月、に詳細に説明されている。
【００６９】
図１４で、Ｐ１、Ｐ２と投影面上の点で、両点を結ぶ直線は消失点Ｖを通る。Ｃは視心、Ｅは視点である。視点と消失点を結ぶ直線が、３次元空間上におけるＰ１′、Ｐ２′を通る直線と平行であること、及び、視点ＥとＰ１とを結ぶ直線上にＰ１′が存在し、視点ＥとＰ２とを結ぶ直線上にＰ２′が存在することから、Ｐ１′−Ｐ２′間の距離が分かれば、Ｐ１′、Ｐ２′の位置（座標）を決定できる。
【００７０】
そこで、視心Ｃが地上座標系の原点（０，０，０）に位置し、視点Ｅが地上座標系のｘ軸上の正方向に位置していると仮定し、
Ｐ1 （ｘ1 ，ｙ1 ）、Ｐ2 （ｘ2 ，ｙ2 ）
Ｐ1 ′（ｘ1 ′，ｙ1 ′，ｚ1 ′）、Ｐ2 ′（ｘ2 ′，ｙ2 ′，ｚ2 ′）
Ｃ（ｘ0 ，ｙ0 ）、Ｅ（Ｆ，０，０）、Ｖ（ｘs ，ｙs ，ｚs ）
のように定めると、Ｐ1 ′、Ｐ2 ′の各座標値は媒介変数ｔ、ｓを用いて、次の（６）〜（１２）式によって求められる。ここで、Ｆは視距離である。
【００７１】
【００７２】
上記（１０）式で、ＤはＰ1 ′−Ｐ2 ′間の距離であり、このＰ1 ′−Ｐ2 ′間の距離を与えることにより、２次元形状から３次元形状を得ることができる。得られた３次元形状は、視心Ｃが地上座標系の原点に位置し、視点ＥがＸ軸上の正方向に位置しているとの仮定の下での座標なので、実際の３次元空間の座標を得るためには変換行列によって座標変換を行う必要がある。その変換行列は、先に求めた方位角α、仰角βを用いて構成される。又、最初の２点の座標が求まれば、それを基に残りの点の座標を求めることができる。
【００７３】
次に、前記１消失点画像における２次元画像の３次元化（復元）の場合を図１５を用いで説明する。なお、以下でＡ、Ｂ、Ｃ、Ｐに付した添字２、３は、それぞれ各点の２次元座標、３次元座標であることを表わしている。
【００７４】
図中の点Ａ、Ｂは、大きさの基準となる線分ＡＢの両端の点、点Ａ′、Ｂ′はその３次元空間上での座標である。又、点Ｐは、３次元での視点Ｅ3 から線分Ａ′Ｂ′と平行に引いた線と投影面Ｓとの交点である。
【００７５】
投影面Ｓにおいて、視心Ｃ2 （ｘc ，ｙc ）、視距離Ｆ、点Ａ2 （ｘa ，ｙa ）、点Ｂ2 （ｘb ，ｙb ）、点Ｐ2 （ｘp ，ｙp ）とすれば、これらを視点が投影面に直交することを前提に３次元化すると、次のようになる。
【００７６】
Ａ3 （０，ｘa −ｘc ，ｙa −ｙc ），Ｂ3 （０，ｘb −ｘc ，ｙb −ｙc ），Ｃ3 （０，０，０），Ｅ3 （Ｆ，０，０），Ｐ3 （０，ｘp −ｘc ，ｙp −ｙc ）
【００７７】
又、点Ａ′、Ｂ′はそれぞれ直線ＥＡ、ＥＢ上にあり、線分ＥＡの長さのｓ倍がＥＡ′の長さになり、線分ＥＢの長さのｔ倍がＥＢ′の長さであるとすると、次の（１３）式、（１４）式が成り立つ。
【００７８】
【数１】
【００７９】
又、線分Ａ′Ｂ′と線分ＥＰは平行であるので、線分Ａ′Ｂ′の長さがＤであるとすると、次の（１５）式の関係から（１６）式が得られる。
【００８０】
【数２】
【００８１】
上記（１３）式、（１４）式及び（１６）式から、Ａ′（ｚa ′，ｙa ′，ｚa ′）、Ｂ′（ｘb ′，ｙb ′，ｚb ′）の座標は、それぞれ次の（１７）式、（１８）式のように表わされる。
【００８２】
【数３】
【００８３】
なお、（１７）式中の定数ｓ、（１８）式中の定数ｔは、それぞれ以下の（１９）式、（２０）式のようになっている。
【００８４】
【数４】
【００８５】
なお、ここでは、長さの基準を入力された基準面の対角線としたが、基準面の水平方向や奥行き方向の辺でも、それらに合わせて式を変えれば３次元復元は可能である。
【００８６】
又、最初の２点Ａ′、Ｂ′の座標が求まれば、それらを基に残りの点の座標を求めることもできる。
【００８７】
以上詳述したような２次元の実写画像から３次元空間情報を推定する計算処理を、前記室内空間大きさ情報演算部２４で行うことにより、前記ステップ４で推定した視点位置情報を用いて、前述した図１１又は図１３に示したような立体再構成が可能となる。即ち、前記ステップ３で入力した大きさ情報を用いることによって、視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に写し込まれている空間の３次元的情報、即ち室内空間の大きさを推定することができる。従って、前記図１１又は図１３に示したように、視点に近い位置ほど寸法が大きいメッシュが張り込まれた画像を作成することが可能となる。
【００８８】
前記図２のステップ５で、上記室内空間の大きさ推定が終了すると、得られた３次元空間情報は前記情報演算部２４からメモリ１２に出力され、保持される。
【００８９】
次いで、その情報を用いて光源条件の推定を行う（ステップ６）。この光源情報の推定は、画像表示装置１４のディスプレイ上で、そこに表示されている実写画像に写し込まれている光源の位置をマウス等で指定することにより、その位置を前述した３次元空間情報を用いて、光源情報演算部２２で推定計算して求めることにより行われる。
【００９０】
即ち、上記の如く、視点位置情報が求まったことから、それを用いて実写画像中に写し込まれている物体の位置、大きさ等の３次元的空間情報を推定することができるようになったので、画像中の照明器具や窓といった光を放つ物体、即ち光源の３次元的な位置を推定できる。光源の位置が決まれば合成しようとするＣＧ画像の物体に光が照射する方向を光学的に計算できる。このように推定された光源位置（条件）は、前記メモリ１２に出力され、保持される。
【００９１】
次いで、ステップ７では実写画像に写し込まれている物体である、ＣＧ画像を合成したい対象物を選択し、画像表示装置１４のディスプレイ上で該対象物の頂点をマウス等で指定し、その点の実際の高さを入力することにより、前記合成位置大きさ情報演算部２６により対象物の大きさ、即ち合成位置の大きさを推定計算して求める。
【００９２】
これを、前記図１２に相当する図１６、図１７を用いて具体的に説明する。合成位置大きさ推定に処理が移ると、画面上にマウスにより移動されるカーソルの先端を交点とし、該交点を通り垂直に延びた線と、同交点を通り消失点へ向かう線からなる２本のガイドラインが表示される。
【００９３】
そこで、合成したい対象物（ここでは収納棚の扉）のところへカーソルを持って行き、図１６に示したようにその頂点▲１▼を指定し、その点の３次元室内空間における高さを入力し、次いで指定した頂点▲１▼の対角にあたる頂点▲２▼を同様に指定する。以上の操作から、この対象物である扉の大きさ（縦×横）が推定される。以上の操作を他の扉についても同様に実行する。このように推定された大きさ情報は、前記メモリ１２に出力され、保持される。
【００９４】
次のステップ８では、前記単位テクスチャ画像演算部２８によりＣＧ画像のテクスチャとなる実写画像から、模様やパターン、形状の基本となる単位テクスチャ画像が作成される。これは、前記メモリ１２に出力され、所定のテクスチャファイルに保持される。
【００９５】
図１８には、この単位テクスチャ画像の作成手順を概念的に示した。同図（Ａ）は、オリジナルのテクスチャ画像で、上記ＣＧ画像のテクスチャになる実写画像に当たる。このテクスチャ画像から、テクスチャの基本となる単位テクスチャ画像を作成する場合、同図（Ｂ）にイメージを示すように、（１）繰り返しの模様やパターンの基本単位部分を指定し、（２）基本単位の大きさ情報（この場合、縦、横の大きさ）を入力、（３）上記の情報等を該当するテクスチャ画像に関連付けて上記テクスチャファイルに保存することにより作成が完了する。同様の操作により必要な種類の単位テクスチャ画像の作成が行われ、それぞれ対応するテクスチャファイルに保存される。
【００９６】
更に、ＣＧ画像生成部３０では、前記メモリ１２から読み込まれる合成位置大きさ情報と、前記情報入力部３４により指定されたテクスチャファイルから読み込まれる上記メモリ１２上の単位テクスチャ画像とを用い、且つ、前記メモリ１２から読み込まれる実写画像データと共に、既に指定してある視点位置情報、光源情報等を用いて、対象物の実際の大きさに則したテクスチャ画像の生成、実写画像における配置場所での陰影処理が施されたＣＧ画像が生成される（ステップ９）。図１９は、このように生成されたＣＧ画像のイメージを示したものである。但し、グラデーションは省略してある。
【００９７】
ここで実行されるＣＧ画像の生成について更に詳述すると、ＣＧ画像の表面の明るさは、面の向き、視点の位置、光源の位置との空間的な位置関係によって変化する。即ち、実写画像の視点位置情報から、視点、光源の位置が決まり、ＣＧ画像を合成する位置を指定することによって面の向きが決まり、その影の形状が求まる。
【００９８】
次に、合成したい物体の材質、即ちテクスチャを指定することによって反射係数は決まり、ＣＧ画像の陰影処理に必要な条件が揃う。このような条件を使用し、陰影処理して生成したＣＧ画像を、画像データ合成部３２に出力する。
【００９９】
この画像データ合成部３２では、上記ステップ９で生成されたＣＧ画像が入力されると、マウス等の情報入力部３４により指定する、画像表示装置１４に表示されている実写画像中の合成位置に対して、前記メモリ１２から読み込まれるステップ７で入力された合成対象位置の座標値を用いて、該ＣＧ画像を実写画像を生成（撮影）したときの視点条件に合わせて透視投影変換し、その変換画像を配置することにより合成する（ステップ１０）。
【０１００】
本実施形態の画像合成システムで上記ステップ１０の合成処理を行う場合の具体的操作を、図２０〜図２２の合成画像を参照しながら説明する。
【０１０１】
図２０は、前記図１２に相当する実写画像を背景画像とした合成開始画面であり、この画面の下段には、複数種類の単位テクスチャ画像がウインド表示されている。オペレータがこの合成画面上でマウスを用いて合成対象物である収納棚の扉を指定すると、その周囲が縁取りされて該扉が選択されたことが表示される。
【０１０２】
又、同画面上で、上記対象物に合成したいテクスチャを上記ウインドからマウスを用いて選択すると、同様に選択された単位テクスチャのウインドが縁取りされて表示される。
【０１０３】
図２１には、合成対象として４枚の扉と、左から２番目のウインドの単位テクスチャ画像が選択されたことが画面上に表示されていることが示されている。
【０１０４】
この図２１の画面の状態で、合成実行を指示すると、前述したように前記ＣＧ画像生成部３０により対象物の大きさ情報、テクスチャの情報を参照して、ＣＧ画像が生成され、前記画像データ合成部３２により指定場所に該ＣＧ画像が合成され、図２２に示した合成済画面が表示され、合成が終了する。
【０１０５】
以上詳述した如く、この実施形態によれば、撮影条件が不明な実写画像でも、そこから視点位置情報と陰影情報を推定することができるため、違和感の無い合成画像を生成することができる。従って、この実施形態の画像合成システムを用いることにより、次のような具体的な処理を行うことが可能となる。
【０１０６】
一般に、住宅等で使用されているバス・トイレタリといった衛生機器やキッチンは、同一形状による色違いや、素材の違い等からなる多数の組合せが可能となっている。これらの商品カタログは、商品毎にスタジオにセットを組み、カメラで撮影している。しかし、このように撮影により作成するカタログは、通常１種類しかなく、色違いの商品に関しては色のサンプルを表示する場合が多い。
【０１０７】
そこで、このシステムを利用することによって、撮影した１枚の実写画像にＣＧ画像を合成することによって、色や素材の違う商品も実際にスタジオ撮影したものと同様に、商品全体のイメージを撮影コストをかけることなく、均一な品質で、簡単に表現できる。
【０１０８】
又、インテリア・シミュレーション等において、家具やカーテン、壁紙といった住宅内部の内装を変更する際に、現状を撮影した実写画像に対して、変更予定の家具やカーテン、内装材をＣＧ画像で生成して合成することによって、事前に変更後のイメージを確認することができる。
【０１０９】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【０１１０】
【発明の効果】
以上説明したとおり、本発明によれば、実写画像に写し込まれている対象物と実質的に同一形状でテスクチャが異なる物体のＣＧ画像を生成し、そのＣＧ画像を該実写画像に合成する場合、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の画像合成システムを示すブロック図
【図２】本実施形態における画像合成の処理手順を示すフローチャート
【図３】消失点の求め方を示す説明図
【図４】２消失点画像における投影面とカメラの関係を示す説明図
【図５】視点と消失点の関係を示す説明図
【図６】視点推定計算を説明するための線図
【図７】視点情報を推定する方法を示す説明図
【図８】２消失点実写画像で視点情報を推定する方法を示す説明図
【図９】２消失点実写画像で視点情報を推定する方法を示す他の説明図
【図１０】１消失点画像で視点情報を推定する方法を示す説明図
【図１１】３次元空間情報を基に空間の大きさを推定した状態を示す説明図
【図１２】実写画像の一例を示す説明図
【図１３】上記実写画像について空間の大きさを推定した状態を示す説明図
【図１４】２消失点２次元画像の３次元化を説明するための線図
【図１５】１消失点２次元画像の３次元化を説明するための線図
【図１６】上記実写画像において合成対象物の頂点を指定している状態を示す説明図
【図１７】上記実写画像において合成対象物の対向頂点を指定している状態を示す説明図
【図１８】単位テクスチャ画像を作成するための実写画像を示す説明図
【図１９】合成用ＣＧ画像の一例を示す説明図
【図２０】合成開始前の実写画像が表示された画面を示す説明図
【図２１】合成操作中の実写画像が表示された画面を示す説明図
【図２２】合成操作後の実写画像が表示された画面を示す説明図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
１８…演算部
２０…視点位置情報演算部
２２…光源情報演算部
２４…室内空間大きさ情報演算部
２６…合成位置大きさ情報演算部
２８…単位テクスチャ画像演算部
３０…ＣＧ画像生成部
３２…画像データ合成部
３４…情報入力部
【発明の属する技術分野】
本発明は、画像合成装置、特に、実写画像を基にして、それを背景とした商品カタログの作成や、住宅等の内装変更後のイメージを表わした画像等の作成に適用して好適な、画像合成装置に関する。
【０００２】
【従来の技術】
従来、画像合成を、実写画像のみを用いて行う場合、違和感の無い合成画像を得るために、企画段階で合成を前提に綿密な計算がなされた実写画像の素材を準備し、それらを印刷用のレイアウト・スキャナやトータル・スキャナ・システムの画像処理ステーション、デザイン専用システム等の専用機によって、合成する処理が行われている。
【０００３】
又、近年、住宅等で使用されているバス・トイレタリやキッチン等の商品カタログを作成するために、実写した背景画像とＣＧ（コンピュータ・グラフィックス）技術により作成した浴槽等の部品とを画像合成したり、インテリア・シミュレーション等において、家具、カーテン、壁紙等の内装をＣＧで作成し、そのＣＧ画像を室内の実写画像に合成することにより、得られる合成画像から内装を変更した場合のイメージを確認することが行われている。
【０００４】
このように、合成画像の素材にＣＧ画像を用いる場合、背景として使用する実写画像を、合成を前提に厳密に条件を決めて撮影し、その撮影条件が予め明らかである場合は、その撮影条件を用いてＣＧ画像を作成することにより、実写画像とそのＣＧ画像を合成し、違和感の無い合成画像を容易に作成することもできる。
【０００５】
【発明が解決しようとする課題】
しかしながら、合成を前提に撮影されていない、即ち撮影条件が不明な実写画像を用いて、それにＣＧ画像を合成して違和感の無い合成画像を作成するためには、オペレータが経験と勘で実写画像に合うような条件を試行錯誤で求めてＣＧ画像を生成し、それを用いて合成処理を行っているため、合成操作が難しいという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の実写画像とＣＧ画像を合成する場合、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、実写画像とＣＧ画像とを合成する画像合成装置において、画面表示されている実写画像から視点位置情報を推定する手段と、推定した視点位置情報から、実写画像の３次元空間情報を推定する手段と、推定した３次元的空間情報に基づいて実写画像中の合成対象とする対象物の大きさを推定する手段と、推定した対象物の大きさに基づいて合成用のＣＧ画像を生成する生成手段と、生成したＣＧ画像を透視投影変換して、前記実写画像に合成する手段と、を備えていると共に、ＣＧ画像用のテクスチャとなる実写画像から、繰り返しの模様やパターンの基本単位部分と基本単位の大きさを指示して、基本となる単位テクスチャ画像を作成する手段と、単位テクスチャ画像の大きさと単位テクスチャ画像を読み出す手段を備え、前記生成手段が、推定された前記対象物の大きさに基づいて、画面上で選択された単位テクスチャ画像とテクスチャ画像に関連づけられた単位テクスチャ画像の大きさから合成用のＣＧ画像を生成する機能を有することにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、実写画像に合成するＣＧ画像を、該実写画像から推定した視点を中心とする３次元空間情報に基づいて作成できるようにしたので、これら実写画像とＣＧ画像とをそれぞれ素材として違和感の無い合成画像を、特別な経験や勘がなくとも容易且つ確実に作成できる。
【０００９】
【発明の実施の形態】
一般に、違和感の無い合成画像を作成すためには、合成に用いる各々の素材画像が、同一の撮影条件、即ち視点、アングル、光の当たり方等が等しくなくてはならない。設定条件が不明の実写画像を用いて違和感の無い合成画像を作成するためには、実写画像を撮影したときの撮影条件を推定する必要がある。
【００１０】
そこで、この実施形態では、実写画像にＣＧ画像を合成する際に、１枚の実写画像から撮影条件である、視点位置情報（視点位置、視距離、対象物の位置関係等）を、専用のハードウェアを用いなくとも容易に推定できるようにし、推定したその条件を基にして合成用のＣＧ画像を生成し、それを透視投影変換した後、実写画像に張込んで合成する機能を有する画像合成システム（画像合成装置）を提供する。
【００１１】
又、この実施形態では、前記実写画像から光源位置情報を推定し、推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す機能を備えている。
【００１２】
又、この実施形態では、前記実写画像からＣＧ画像を合成する対象場所の実際の大きさを推定する機能と、ＣＧ画像のテクスチャとなる実写画像から基本となる単位テクスチャ画像を作成する機能と、推定した合成対象物（場所）の大きさ情報に基づいて単位テクスチャ画像から対象場所用のＣＧ画像を作成する機能を備えている。
【００１３】
以下、図面を参照して、より具体的な実施形態について詳細に説明する。図１は、本発明に係る一実施形態の画像合成システム（画像合成装置）の概略構成を示すブロック図である。
【００１４】
この画像合成システムは、実写画像を入力するスキャナ等の画像入力装置１０と、入力した実写画像の画像データ等を保持する画像保持用メモリ１２と、該メモリ１２に保持されている画像データに基づいてその画像を表示する画像表示装置１４と、上記メモリ１２に保持されている合成後の画像データ等を出力する画像出力装置１６とを備えている。
【００１５】
又、上記画像保持用メモリ１２には、該メモリ１２から入力した実写画像データについて、後に詳述する画像合成のための各種演算処理を実行するための演算部１８が接続され、この演算部１８には視点位置情報演算部２０、光源情報演算部２２、室内空間大きさ情報演算部２４、合成位置大きさ情報演算部２６、単位テクスチャ画像演算部２８、ＣＧ画像生成部３０、画像データ合成部３２が含まれている。
【００１６】
又、上記演算部１８には、ユーザインターフェースとしてマウス等のポインティングデバイスからなる情報入力部３４が接続され、画像表示装置１４のディスプレイに表示されている実写画像等を見ながら、該情報入力部３４で画像合成の演算処理に必要なデータをオペレータが入力できるようになっている。
【００１７】
このシステムでは、図２に示すフローチャートに従って、画像合成迄の基本的な処理が実行される。まず、スキャナ１０で実写画像の取込みを行い（ステップ１）、そのデータをメモリ１２で保持するとともに、実写画像を画像表示装置（ディスプレイ）１４に表示する。そして、ディスプレイ１４上の実写画像を見ながら情報入力部３４から情報を入力することにより、視点位置情報演算部２０で、既に読み込んである実写画像から視点位置情報を推定する。
【００１８】
この視点位置情報演算部２０で実行する視点位置情報の推定は、前記図２のフローチャートにおける消失点計算（ステップ２）、大きさ情報の入力（ステップ３）、視点位置情報（視点位置、視距離）推定（ステップ４）迄の処理に当る。
【００１９】
前記ステップ２で実行する消失点計算は、スキャナで取り込んだ実写画像において、３次元空間内の平行線が透視図上で１点、即ち消失点で交わることを利用して、実写画像中の平行線から消失点座標を求めることを意味する。
【００２０】
即ち、室内を撮影した実写画像に写し込まれているテーブル、窓、畳、天井等の形状を表わす線は、３次元的には一般に平行線である。従って、実写画像が、例えば図３のようであったとすると、天井の平行線は消失点に収束することから、直交する３軸方向の３つの消失点は、各軸にそれぞれ平行な２本の線分をディスプレイ上で指定することにより、２直線の交点として求められる。
【００２１】
この時点での消失点座標は、ディスプレイ用表示座標系である２次元の座標値として求められる。但し、図３に示した画像は、図４に示したように、カメラを床に対して水平に設置し、仰角＝０として撮影されていることから、鉛直方向の平行線は写真の画面に対して平行な位置関係にあるため、左右２つの消失点のみとなり、上下方向に第３の消失点は存在していない。
【００２２】
ステップ３の大きさ情報の入力は、読み込んだ前記実写画像中に写し込まれている、例えば窓の一辺の長さ等の予め既知の物体の大きさ情報を、前記情報入力部３４により入力することにあたる。この大きさ情報を入力することによって、撮影したときのカメラ位置である視点位置や、カメラから投影面中心（視心）までの距離である視距離等の視点位置情報を求めることが可能となる。この場合、大きさ情報が正しいほど視点位置を正確に求めることができるが、ある程度大きさが推定できるようなものであればよい。
【００２３】
ステップ４の視点位置情報推定では、中心的処理として視点位置、視距離の計算を行う。以下、これについて詳述する。なお、この推定方法については、近藤、木村、田嶋による、「手描き透視図の視点推定とその応用」情報処理学会論文誌 昭和６３年７月、に詳細に説明されている。
【００２４】
まず、投影中心である視点座標（視点位置）を求める方法を以下に述べる。ここでは、視点と視心を結ぶ直線上に地上座標系の原点があると想定している。
【００２５】
図５は、視点Ｅと消失点Ｖの関係を示したもので、Ｆは視距離である。点Ｐを含み、角度αである半直線Ｌを考える。このとき、点Ｐ（ｘ，ｙ）は、投影面上のＰ′（ｘ′，Ｆ）に変換される。この点Ｐを半直線Ｌ上に無限大の長さにとると消失点Ｖと一致する。これから、直線Ｌの消失点の座標は（Ｆ／ｔａｎα，Ｆ）となる。
【００２６】
図６は、視点座標系Ｅ−ＵＶＷと、地上座標系Ｏ−ＸＹＺとの関係を、（Ａ）の平面図と（Ｂ）の側面図で示したものである。ここで、視点をＥ、視軸をＶとし、視点Ｅから線分Ｖ１−Ｖ２に対して直交する線分を引き、その交点をＨＬとする。ＨＬ′は、このＨＬの平面図の座標、Ｅ′は視点の側面図の座標、Ｆ′は視点ＥからＨＬまでの距離を示す。この図６は、Ｗ軸の周りにα、Ｕ軸の周りにβだけ傾けた状態を示している。消失点Ｖ１、Ｖ２、Ｖ３は、原点を視心Ｃとする画面の座標系Ｃ−ＵＷにおいて、次のようになる。
【００２７】
Ｖ１＝（Ｆ′／ｔａｎα，Ｆｔａｎβ） …（１）
Ｖ２＝（−Ｆ′ｔａｎα，Ｆｔａｎβ） …（２）
Ｖ３＝（０，−Ｆ／ｔａｎβ） …（３）
Ｆ′＝Ｆ／ｃｏｓβ …（４）
ＨＬ＝（０，Ｆｔａｎβ） …（５）
【００２８】
上記（１）〜（５）式を利用して、Ｖ１、Ｖ２、Ｖ３が既知のとき、方位角α、仰角β、視距離Ｆ、視心Ｃを次の手順により求める。これを、図７も参照しながら説明する。
【００２９】
（１）線分Ｖ１−Ｖ２の中点を求め、該中点を中心として、直径をＶ１−Ｖ２とする円を作画する。
【００３０】
（２）Ｖ３から直線Ｖ１−Ｖ２に下ろした垂線と、直線Ｖ１−Ｖ２との交点ＨＬ′、上記円との交点Ｅを求める。
【００３１】
（３）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ２より角度αを求める。
【００３２】
（４）線分Ｅ−ＨＬ′と線分ＨＬ′−Ｖ３より視距離Ｆを求める。
【００３３】
（５）前記（４）式を利用して、視距離Ｆと線分Ｅ−ＨＬ′から角度βを求める。
【００３４】
（６）Ｖ１から線分Ｖ２−Ｖ３に下ろした垂線と、Ｖ２から線分Ｖ１−Ｖ３に下ろした垂線との交点を視心Ｃとする。
【００３５】
次に、視心情報が既知の場合に視点位置情報を推定する方法を、前記図３に示した２消失点画像と実質上同一の図８を用いて説明する。
【００３６】
この図８に示した実写画像Ｇは、床面に対して水平にカメラを設置して撮影されたと推定され、仰角βは０°である。このような２消失点の場合、前記図４に示したように、消失点の位置は目の高さ（視線）の延長線上にある。又、この画像Ｇは、スキャナで取り込んだ後、トリミング作業を行っていないことから、図８に示すように視線の中心となる視心Ｃは、２つの消失点を結んだ線上にあり、且つｘ軸方向の中心にあるとして以下の手順で視距離Ｆを算出する。
【００３７】
（１）左右２つの消失点を求めるために、３次元空間内でそれぞれ平行な２組の平行線を指定し、２直線の交点として消失点Ｖ１、Ｖ２を計算する。
【００３８】
（２）線分Ｖ１−Ｖ２の中点Ｍを求め、中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
【００３９】
（３）線分Ｖ１−Ｖ２上にあり、且つ実写画像のｘ軸方向の中心Ｃを求める。
【００４０】
（４）視心Ｃから半円に垂線を引き、交点が視点Ｅとなる。
【００４１】
（５）線分Ｅ−Ｃより視距離Ｆを求める。
【００４２】
一方、視心情報が不明の場合、即ち、同様に２消失点画像ではあるが、トリミングされているために、視心が実際の画像の中心から反れていて不明の場合に、視点位置情報を推定する方法を、図９を用いて説明する。なお、この推定方法については、Ｆ．ホーエンベルク著、増田訳「技術における構成幾何学」（上巻）日本評論社、に詳細に説明されている。
【００４３】
図９（Ａ）に示した実写画像Ｇは、太い実線で示す直方体が写し込まれているが、トリミングによりその左端が切断されているため、画像の中心が不明になっている。但し、この場合は、画像Ｇ中でＡ′Ｂ′Ｃ′Ｄ′（但し、Ｄ′は見えない）で示す直方体の上面の一部にあたる四角形が、同図（Ｂ）に示すように寸法ａ、ｂが明らかな四角形ＡＢＣＤであるとする。
【００４４】
上記画像中の物体で、実際の３次元空間では水平線に平行でお互いに直交する２本の線分、ここでは、図９（Ｂ）で線分ＡＢ、ＡＣの長さが上記のように既知であるとして、以下の手順で視点位置、即ち視距離を推定できる。
【００４５】
（１）左右２つの消失点を求めるために、水平線にそれぞれ平行な２組の平行線から消失点Ｖ１、Ｖ２を求める。
【００４６】
（２）線分Ｖ１−Ｖ２の中点を求め、その中点を中心とし、直径をＶ１−Ｖ２とする円を作画する。
【００４７】
（３）長方形ＡＢＣＤが画像に写し込まれているＡ′Ｂ′Ｃ′（Ｄ′）を、上で求めた円周上の平面図ＡÅＢÅＣÅＤÅに変換する。
【００４８】
（４）線分ＢÅ−ＤÅを延長して線分Ｖ１−Ｖ２と交わる点Ｆが線分Ｂ−Ｄの消失点となる。即ち、Ｖ１、Ｖ２、Ｆは、それぞれ線分Ａ−Ｂ、線分Ｂ−Ｃ、線分Ｂ−Ｄに平行な線が画面上で交わる点である。
【００４９】
（５）角ＤＢＣであるαは、線分Ｂ−Ｃと線分Ｃ−Ｄによって与えられる。
【００５０】
（６）視点Ｅは、空間で直径がＶ１−Ｖ２である水平円の上にあり、且つ弦Ｆ−Ｖ２に対して円周角２αを持つ水平円の上にもあることから、これらの円の交点として与えられる。
【００５１】
（７）視点Ｅから線分Ｖ１−Ｖ２に引いた垂線により視心、ここではＨが求められ、線分Ｅ−Ｈより視距離Ｆが求まる。
【００５２】
以上は２消失点画像の場合出あるが、次に１消失点画像における視点位置情報の推定方法を説明する。
【００５３】
図１０（Ａ）は、消失点と、実写画像に写し込まれている基準面について、予め入力された座標値等を利用して、視点位置情報を推定する方法を示したものである。このとき既知の情報は、消失点Ｖと、基準面である四角形ＡＢＣＤの各頂点座標であるとする。
【００５４】
ここで基準面とは、便宜上、視点位置との関係を変えて図１０（Ｂ）に示したように、実写画像中に写し込まれている大きさが既知の直方体の上面に当る長方形である。従って、上記基準面は、大きさと位置する高さが既知であり、その大きさは縦×横で、高さはその長方形が床にあるなら高さ：０、床より上にある場合は床からの高さで与えられる。
【００５５】
上記図１０（Ａ）で直線ＳＬは水平線、四角形ａｂｃｄは横幅を線分ＡＢに合わせて辺ａb がＳＬに接している四角形ＡＢＣＤの平面図であるとすると、視点Ｅ、視距離Ｆは以下の透視図の作図法を基にした計算手法によって求めることができる。
【００５６】
１．四角形ＡＢＣＤが写し込まれている実写画像中で、水平な１組の平行線Ａ−Ｄ、Ｂ−Ｃの交点から消失点Ｖを求める。
【００５７】
２．入力された基準面ＡＢＣＤに水平方向の手前の辺ＡＢの両端の点から水平線ＳＬに対して垂線を引き、その交点をそれぞれａ、ｂとする。
【００５８】
３．ここで基準面は、前記のように直方体の上面（長方形）であり、その辺の長さは予め入力されているので、その情報を利用して、線分ａ、ｂをそれぞれ基準面ＡＢＣＤの頂点Ａ、Ｂに対応させて、該基準面ＡＢＣＤの平面図ａｂｃｄを作る。
【００５９】
４．基準面の水平方向の奥の辺ＣＤの両端の点から水平線ＳＬに対して垂線を引き、その交点をそれぞれＣ′、Ｄ′とする。
【００６０】
５．平面図の点ｃ、ｄからそれぞれＣ′、Ｄ′を通る半値線を引く。この２直線の交点が視点Ｅとなる。
【００６１】
６．視点ＥとＳＬとの距離から視距離Ｆを求める。
【００６２】
以上詳述した如く、視点位置、視距離、対象物の位置関係等の視点位置情報を推定する演算が前記視点位置情報演算部２０で実行され、前記図２のフローチャートでステップ４の処理が終了すると、その視点位置情報を用いて２次元の実写画像から３次元空間情報を推定することにより、前記図３又は図８の実写画像の場合であれば、図１１に示すような室内空間の大きさ推定を行うことが可能となる（ステップ５）。
【００６３】
これを、前記画像表示装置１４の画面に表示された図１２の実写画像を用いて具体的に説明する。但し、実際の実写画像では分り難いので、この図１２では簡略化してある。
【００６４】
本実施形態の画像合成システムでは、上記実写画像に矢印Ａで示した点をマウス等でクリックして指示すると、この点を中心として、垂直方向と、該中心から左右の消失点へそれぞれ向う線からなる軸方向に延びたガイドラインが表示されている。
【００６５】
そして、この実写画像中の基準点、即ち、床と壁が交わる点や、天井と壁が交わる点をマウス等で指定すると、室内空間大きさ情報演算部２６で計算した結果を用いて、図１３に示したように視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に映し込まれている空間の３次元的構成を推定することができる。又、この画像合成システムは、床と壁が交わる点が実写画像中に映し出されていない場合でも、その点を推測しながらマウス等で指定できるようなガイド機能も持ち合わせている。
【００６６】
以上ように推定した室内空間の大きさは、前記図１１又は図１３に示すように、実写画像から得られた３次元情報に基づいて、例えば４０ｃｍ間隔でメッシュを張り込むことによって確認することができる。この図には、便宜上２次元的に表示してあるが、実際には、例えば４０ｃｍ×４０ｃｍ×４０ｃｍの寸法からなる３次元的なメッシュを張り込んでいる。
【００６７】
次に、ここで実写画像から３次元情報を推定するために実行する前記２消失点画像における２次元画像の３次元化について詳細に説明する。
【００６８】
前記図５、図６に示したように、直方体の辺は、視点−消失点を結ぶ直線に平行であることを利用して、２次元画像の３次元化を行うことができる。これを、図１４を用いて詳述する。なお、この方法については、杉下による「３次元形状生成のためのスケッチインターフェース」埼玉大学、平成６年２月、に詳細に説明されている。
【００６９】
図１４で、Ｐ１、Ｐ２と投影面上の点で、両点を結ぶ直線は消失点Ｖを通る。Ｃは視心、Ｅは視点である。視点と消失点を結ぶ直線が、３次元空間上におけるＰ１′、Ｐ２′を通る直線と平行であること、及び、視点ＥとＰ１とを結ぶ直線上にＰ１′が存在し、視点ＥとＰ２とを結ぶ直線上にＰ２′が存在することから、Ｐ１′−Ｐ２′間の距離が分かれば、Ｐ１′、Ｐ２′の位置（座標）を決定できる。
【００７０】
そこで、視心Ｃが地上座標系の原点（０，０，０）に位置し、視点Ｅが地上座標系のｘ軸上の正方向に位置していると仮定し、
Ｐ1 （ｘ1 ，ｙ1 ）、Ｐ2 （ｘ2 ，ｙ2 ）
Ｐ1 ′（ｘ1 ′，ｙ1 ′，ｚ1 ′）、Ｐ2 ′（ｘ2 ′，ｙ2 ′，ｚ2 ′）
Ｃ（ｘ0 ，ｙ0 ）、Ｅ（Ｆ，０，０）、Ｖ（ｘs ，ｙs ，ｚs ）
のように定めると、Ｐ1 ′、Ｐ2 ′の各座標値は媒介変数ｔ、ｓを用いて、次の（６）〜（１２）式によって求められる。ここで、Ｆは視距離である。
【００７１】
上記（１０）式で、ＤはＰ1 ′−Ｐ2 ′間の距離であり、このＰ1 ′−Ｐ2 ′間の距離を与えることにより、２次元形状から３次元形状を得ることができる。得られた３次元形状は、視心Ｃが地上座標系の原点に位置し、視点ＥがＸ軸上の正方向に位置しているとの仮定の下での座標なので、実際の３次元空間の座標を得るためには変換行列によって座標変換を行う必要がある。その変換行列は、先に求めた方位角α、仰角βを用いて構成される。又、最初の２点の座標が求まれば、それを基に残りの点の座標を求めることができる。
【００７３】
次に、前記１消失点画像における２次元画像の３次元化（復元）の場合を図１５を用いで説明する。なお、以下でＡ、Ｂ、Ｃ、Ｐに付した添字２、３は、それぞれ各点の２次元座標、３次元座標であることを表わしている。
【００７４】
図中の点Ａ、Ｂは、大きさの基準となる線分ＡＢの両端の点、点Ａ′、Ｂ′はその３次元空間上での座標である。又、点Ｐは、３次元での視点Ｅ3 から線分Ａ′Ｂ′と平行に引いた線と投影面Ｓとの交点である。
【００７５】
投影面Ｓにおいて、視心Ｃ2 （ｘc ，ｙc ）、視距離Ｆ、点Ａ2 （ｘa ，ｙa ）、点Ｂ2 （ｘb ，ｙb ）、点Ｐ2 （ｘp ，ｙp ）とすれば、これらを視点が投影面に直交することを前提に３次元化すると、次のようになる。
【００７６】
Ａ3 （０，ｘa −ｘc ，ｙa −ｙc ），Ｂ3 （０，ｘb −ｘc ，ｙb −ｙc ），Ｃ3 （０，０，０），Ｅ3 （Ｆ，０，０），Ｐ3 （０，ｘp −ｘc ，ｙp −ｙc ）
【００７７】
又、点Ａ′、Ｂ′はそれぞれ直線ＥＡ、ＥＢ上にあり、線分ＥＡの長さのｓ倍がＥＡ′の長さになり、線分ＥＢの長さのｔ倍がＥＢ′の長さであるとすると、次の（１３）式、（１４）式が成り立つ。
【００７８】
【数１】
又、線分Ａ′Ｂ′と線分ＥＰは平行であるので、線分Ａ′Ｂ′の長さがＤであるとすると、次の（１５）式の関係から（１６）式が得られる。
【００８０】
【数２】
上記（１３）式、（１４）式及び（１６）式から、Ａ′（ｚa ′，ｙa ′，ｚa ′）、Ｂ′（ｘb ′，ｙb ′，ｚb ′）の座標は、それぞれ次の（１７）式、（１８）式のように表わされる。
【００８２】
【数３】
なお、（１７）式中の定数ｓ、（１８）式中の定数ｔは、それぞれ以下の（１９）式、（２０）式のようになっている。
【００８４】
【数４】
なお、ここでは、長さの基準を入力された基準面の対角線としたが、基準面の水平方向や奥行き方向の辺でも、それらに合わせて式を変えれば３次元復元は可能である。
【００８６】
又、最初の２点Ａ′、Ｂ′の座標が求まれば、それらを基に残りの点の座標を求めることもできる。
【００８７】
以上詳述したような２次元の実写画像から３次元空間情報を推定する計算処理を、前記室内空間大きさ情報演算部２４で行うことにより、前記ステップ４で推定した視点位置情報を用いて、前述した図１１又は図１３に示したような立体再構成が可能となる。即ち、前記ステップ３で入力した大きさ情報を用いることによって、視点位置から見た空間の大きさをメッシュでトレース表示することが可能となり、実写画像に写し込まれている空間の３次元的情報、即ち室内空間の大きさを推定することができる。従って、前記図１１又は図１３に示したように、視点に近い位置ほど寸法が大きいメッシュが張り込まれた画像を作成することが可能となる。
【００８８】
前記図２のステップ５で、上記室内空間の大きさ推定が終了すると、得られた３次元空間情報は前記情報演算部２４からメモリ１２に出力され、保持される。
【００８９】
次いで、その情報を用いて光源条件の推定を行う（ステップ６）。この光源情報の推定は、画像表示装置１４のディスプレイ上で、そこに表示されている実写画像に写し込まれている光源の位置をマウス等で指定することにより、その位置を前述した３次元空間情報を用いて、光源情報演算部２２で推定計算して求めることにより行われる。
【００９０】
即ち、上記の如く、視点位置情報が求まったことから、それを用いて実写画像中に写し込まれている物体の位置、大きさ等の３次元的空間情報を推定することができるようになったので、画像中の照明器具や窓といった光を放つ物体、即ち光源の３次元的な位置を推定できる。光源の位置が決まれば合成しようとするＣＧ画像の物体に光が照射する方向を光学的に計算できる。このように推定された光源位置（条件）は、前記メモリ１２に出力され、保持される。
【００９１】
次いで、ステップ７では実写画像に写し込まれている物体である、ＣＧ画像を合成したい対象物を選択し、画像表示装置１４のディスプレイ上で該対象物の頂点をマウス等で指定し、その点の実際の高さを入力することにより、前記合成位置大きさ情報演算部２６により対象物の大きさ、即ち合成位置の大きさを推定計算して求める。
【００９２】
これを、前記図１２に相当する図１６、図１７を用いて具体的に説明する。合成位置大きさ推定に処理が移ると、画面上にマウスにより移動されるカーソルの先端を交点とし、該交点を通り垂直に延びた線と、同交点を通り消失点へ向かう線からなる２本のガイドラインが表示される。
【００９３】
そこで、合成したい対象物（ここでは収納棚の扉）のところへカーソルを持って行き、図１６に示したようにその頂点▲１▼を指定し、その点の３次元室内空間における高さを入力し、次いで指定した頂点▲１▼の対角にあたる頂点▲２▼を同様に指定する。以上の操作から、この対象物である扉の大きさ（縦×横）が推定される。以上の操作を他の扉についても同様に実行する。このように推定された大きさ情報は、前記メモリ１２に出力され、保持される。
【００９４】
次のステップ８では、前記単位テクスチャ画像演算部２８によりＣＧ画像のテクスチャとなる実写画像から、模様やパターン、形状の基本となる単位テクスチャ画像が作成される。これは、前記メモリ１２に出力され、所定のテクスチャファイルに保持される。
【００９５】
図１８には、この単位テクスチャ画像の作成手順を概念的に示した。同図（Ａ）は、オリジナルのテクスチャ画像で、上記ＣＧ画像のテクスチャになる実写画像に当たる。このテクスチャ画像から、テクスチャの基本となる単位テクスチャ画像を作成する場合、同図（Ｂ）にイメージを示すように、（１）繰り返しの模様やパターンの基本単位部分を指定し、（２）基本単位の大きさ情報（この場合、縦、横の大きさ）を入力、（３）上記の情報等を該当するテクスチャ画像に関連付けて上記テクスチャファイルに保存することにより作成が完了する。同様の操作により必要な種類の単位テクスチャ画像の作成が行われ、それぞれ対応するテクスチャファイルに保存される。
【００９６】
更に、ＣＧ画像生成部３０では、前記メモリ１２から読み込まれる合成位置大きさ情報と、前記情報入力部３４により指定されたテクスチャファイルから読み込まれる上記メモリ１２上の単位テクスチャ画像とを用い、且つ、前記メモリ１２から読み込まれる実写画像データと共に、既に指定してある視点位置情報、光源情報等を用いて、対象物の実際の大きさに則したテクスチャ画像の生成、実写画像における配置場所での陰影処理が施されたＣＧ画像が生成される（ステップ９）。図１９は、このように生成されたＣＧ画像のイメージを示したものである。但し、グラデーションは省略してある。
【００９７】
ここで実行されるＣＧ画像の生成について更に詳述すると、ＣＧ画像の表面の明るさは、面の向き、視点の位置、光源の位置との空間的な位置関係によって変化する。即ち、実写画像の視点位置情報から、視点、光源の位置が決まり、ＣＧ画像を合成する位置を指定することによって面の向きが決まり、その影の形状が求まる。
【００９８】
次に、合成したい物体の材質、即ちテクスチャを指定することによって反射係数は決まり、ＣＧ画像の陰影処理に必要な条件が揃う。このような条件を使用し、陰影処理して生成したＣＧ画像を、画像データ合成部３２に出力する。
【００９９】
この画像データ合成部３２では、上記ステップ９で生成されたＣＧ画像が入力されると、マウス等の情報入力部３４により指定する、画像表示装置１４に表示されている実写画像中の合成位置に対して、前記メモリ１２から読み込まれるステップ７で入力された合成対象位置の座標値を用いて、該ＣＧ画像を実写画像を生成（撮影）したときの視点条件に合わせて透視投影変換し、その変換画像を配置することにより合成する（ステップ１０）。
【０１００】
本実施形態の画像合成システムで上記ステップ１０の合成処理を行う場合の具体的操作を、図２０〜図２２の合成画像を参照しながら説明する。
【０１０１】
図２０は、前記図１２に相当する実写画像を背景画像とした合成開始画面であり、この画面の下段には、複数種類の単位テクスチャ画像がウインド表示されている。オペレータがこの合成画面上でマウスを用いて合成対象物である収納棚の扉を指定すると、その周囲が縁取りされて該扉が選択されたことが表示される。
【０１０２】
又、同画面上で、上記対象物に合成したいテクスチャを上記ウインドからマウスを用いて選択すると、同様に選択された単位テクスチャのウインドが縁取りされて表示される。
【０１０３】
図２１には、合成対象として４枚の扉と、左から２番目のウインドの単位テクスチャ画像が選択されたことが画面上に表示されていることが示されている。
【０１０４】
この図２１の画面の状態で、合成実行を指示すると、前述したように前記ＣＧ画像生成部３０により対象物の大きさ情報、テクスチャの情報を参照して、ＣＧ画像が生成され、前記画像データ合成部３２により指定場所に該ＣＧ画像が合成され、図２２に示した合成済画面が表示され、合成が終了する。
【０１０５】
以上詳述した如く、この実施形態によれば、撮影条件が不明な実写画像でも、そこから視点位置情報と陰影情報を推定することができるため、違和感の無い合成画像を生成することができる。従って、この実施形態の画像合成システムを用いることにより、次のような具体的な処理を行うことが可能となる。
【０１０６】
一般に、住宅等で使用されているバス・トイレタリといった衛生機器やキッチンは、同一形状による色違いや、素材の違い等からなる多数の組合せが可能となっている。これらの商品カタログは、商品毎にスタジオにセットを組み、カメラで撮影している。しかし、このように撮影により作成するカタログは、通常１種類しかなく、色違いの商品に関しては色のサンプルを表示する場合が多い。
【０１０７】
そこで、このシステムを利用することによって、撮影した１枚の実写画像にＣＧ画像を合成することによって、色や素材の違う商品も実際にスタジオ撮影したものと同様に、商品全体のイメージを撮影コストをかけることなく、均一な品質で、簡単に表現できる。
【０１０８】
又、インテリア・シミュレーション等において、家具やカーテン、壁紙といった住宅内部の内装を変更する際に、現状を撮影した実写画像に対して、変更予定の家具やカーテン、内装材をＣＧ画像で生成して合成することによって、事前に変更後のイメージを確認することができる。
【０１０９】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【０１１０】
【発明の効果】
以上説明したとおり、本発明によれば、実写画像に写し込まれている対象物と実質的に同一形状でテスクチャが異なる物体のＣＧ画像を生成し、そのＣＧ画像を該実写画像に合成する場合、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の画像合成システムを示すブロック図
【図２】本実施形態における画像合成の処理手順を示すフローチャート
【図３】消失点の求め方を示す説明図
【図４】２消失点画像における投影面とカメラの関係を示す説明図
【図５】視点と消失点の関係を示す説明図
【図６】視点推定計算を説明するための線図
【図７】視点情報を推定する方法を示す説明図
【図８】２消失点実写画像で視点情報を推定する方法を示す説明図
【図９】２消失点実写画像で視点情報を推定する方法を示す他の説明図
【図１０】１消失点画像で視点情報を推定する方法を示す説明図
【図１１】３次元空間情報を基に空間の大きさを推定した状態を示す説明図
【図１２】実写画像の一例を示す説明図
【図１３】上記実写画像について空間の大きさを推定した状態を示す説明図
【図１４】２消失点２次元画像の３次元化を説明するための線図
【図１５】１消失点２次元画像の３次元化を説明するための線図
【図１６】上記実写画像において合成対象物の頂点を指定している状態を示す説明図
【図１７】上記実写画像において合成対象物の対向頂点を指定している状態を示す説明図
【図１８】単位テクスチャ画像を作成するための実写画像を示す説明図
【図１９】合成用ＣＧ画像の一例を示す説明図
【図２０】合成開始前の実写画像が表示された画面を示す説明図
【図２１】合成操作中の実写画像が表示された画面を示す説明図
【図２２】合成操作後の実写画像が表示された画面を示す説明図
【符号の説明】
１０…画像入力装置
１２…画像保持用メモリ
１４…画像表示装置
１６…画像出力装置
１８…演算部
２０…視点位置情報演算部
２２…光源情報演算部
２４…室内空間大きさ情報演算部
２６…合成位置大きさ情報演算部
２８…単位テクスチャ画像演算部
３０…ＣＧ画像生成部
３２…画像データ合成部
３４…情報入力部
Claims (4)
- 実写画像とＣＧ画像とを合成する画像合成装置において、
画面表示されている実写画像から視点位置情報を推定する手段と、
推定した視点位置情報から、実写画像の３次元空間情報を推定する手段と、
推定した３次元的空間情報に基づいて実写画像中の合成対象とする対象物の大きさを推定する手段と、
推定した対象物の大きさに基づいて合成用のＣＧ画像を生成する生成手段と、
生成したＣＧ画像を透視投影変換して、前記実写画像に合成する手段と、を備えていると共に、
ＣＧ画像用のテクスチャとなる実写画像から、繰り返しの模様やパターンの基本単位部分と基本単位の大きさを指示して、基本となる単位テクスチャ画像を作成する手段と、
単位テクスチャ画像の大きさと単位テクスチャ画像を読み出す手段を備え、
前記生成手段が、推定された前記対象物の大きさに基づいて、画面上で選択された単位テクスチャ画像とテクスチャ画像に関連づけられた単位テクスチャ画像の大きさから合成用のＣＧ画像を生成する機能を有していることを特徴とする画像合成装置。 - 請求項１において、
前記対象物の大きさを推定する手段が、前記実写画像上に写し込まれている対象物の頂点の座標値と、その点の実際の高さとから該対象物の大きさを推定する演算機能を有していることを特徴とする画像合成装置。 - 請求項１において、
前記実写画像から光源位置情報を推定する手段と、
推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、を備えていることを特徴とする画像合成装置 - 実写画像とＣＧ画像とを合成する画像合成装置において、
画面表示されている実写画像から視点位置情報を推定する手段と、
推定した視点位置情報から、実写画像の３次元空間情報を推定する手段と、
推定した３次元的空間情報と、前記実写画像上に写しこまれている対象物の頂点の座標値と、その点の実際の高さとから該対象物の大きさを推定するする手段と、
推定した対象物の大きさに基づいて合成用のＣＧ画像を生成する生成手段と、
前記実写画像から光源位置情報を推定する手段と、
推定した光源位置情報に基づいて、前記ＣＧ画像に陰影処理を施す手段と、
生成したＣＧ画像を透視投影変換して、前記実写画像に合成する手段と、を備えていると共に、
ＣＧ画像用のテクスチャとなる実写画像画像から、基本となる単位テクスチャ画像を作成する手段を備え、
前記生成手段が、推定された前記対象物の大きさに基づいて、画面上で選択された単位テクスチャ画像から合成用のＣＧ画像を生成する機能を有していることを特徴とする画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19688498A JP3720587B2 (ja) | 1998-07-13 | 1998-07-13 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19688498A JP3720587B2 (ja) | 1998-07-13 | 1998-07-13 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000030084A JP2000030084A (ja) | 2000-01-28 |
| JP3720587B2 true JP3720587B2 (ja) | 2005-11-30 |
Family
ID=16365266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19688498A Expired - Fee Related JP3720587B2 (ja) | 1998-07-13 | 1998-07-13 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3720587B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4217100B2 (ja) | 2003-04-17 | 2009-01-28 | 本田技研工業株式会社 | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム |
| JP4642757B2 (ja) * | 2004-07-23 | 2011-03-02 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| JP2007108834A (ja) * | 2005-10-11 | 2007-04-26 | Dainippon Printing Co Ltd | 広告表示シミュレーション装置、広告表示シミュレーションプログラム、及び広告表示シミュレーション方法 |
| KR101708306B1 (ko) * | 2010-09-13 | 2017-02-20 | 엘지전자 주식회사 | 이동 단말기 및 그의 3ｄ 이미지 합성방법 |
| KR101845231B1 (ko) | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US8855442B2 (en) * | 2012-04-30 | 2014-10-07 | Yuri Owechko | Image registration of multimodal data using 3D-GeoArcs |
| WO2016092997A1 (ja) * | 2014-12-10 | 2016-06-16 | シャープ株式会社 | 画像処理装置 |
-
1998
- 1998-07-13 JP JP19688498A patent/JP3720587B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000030084A (ja) | 2000-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9288476B2 (en) | System and method for real-time depth modification of stereo images of a virtual reality environment | |
| US9282321B2 (en) | 3D model multi-reviewer system | |
| US7720276B1 (en) | Photogrammetry engine for model construction | |
| US6677956B2 (en) | Method for cross-fading intensities of multiple images of a scene for seamless reconstruction | |
| US6930681B2 (en) | System and method for registering multiple images with three-dimensional objects | |
| US20030034974A1 (en) | System and method for animating real objects with projected images | |
| Coleman et al. | Ryan: rendering your animation nonlinearly projected | |
| US20150325044A1 (en) | Systems and methods for three-dimensional model texturing | |
| US20030043152A1 (en) | Simulating motion of static objects in scenes | |
| US20030038822A1 (en) | Method for determining image intensities of projected images to change the appearance of three-dimensional objects | |
| CN106683177B (zh) | 基于互动漫游式房屋装修数据交互方法及装置 | |
| JPH10111953A (ja) | 画像処理方法および装置および記憶媒体 | |
| JP3720587B2 (ja) | 画像合成装置 | |
| Felinto et al. | Production framework for full panoramic scenes with photorealistic augmented reality | |
| Petkov et al. | Interactive visibility retargeting in vr using conformal visualization | |
| JP3784104B2 (ja) | 画像合成装置 | |
| JP3693735B2 (ja) | 画像合成装置 | |
| CN112800511A (zh) | 一种家装素材调整方法、装置、计算机设备和存储介质 | |
| JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
| Chen et al. | Interactive deformation of light fields | |
| JP2003157290A (ja) | イメージシミュレーション用処理方法、イメージシミュレーション用処理システム、イメージシミュレーション用処理プログラム及び記録媒体 | |
| Trapp et al. | Interactive close-up rendering for detail+ overview visualization of 3d digital terrain models | |
| Aliaga | Digital inspection: An interactive stage for viewing surface details | |
| JP2000137834A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP2005208867A (ja) | ３次元コンピュータ・グラフィックス・モデリング・システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130916 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |