JP2692458B2 - 画像の照明方向の変更方法及び装置並び画像合成方法及び装置 - Google Patents
画像の照明方向の変更方法及び装置並び画像合成方法及び装置Info
- Publication number
- JP2692458B2 JP2692458B2 JP30295491A JP30295491A JP2692458B2 JP 2692458 B2 JP2692458 B2 JP 2692458B2 JP 30295491 A JP30295491 A JP 30295491A JP 30295491 A JP30295491 A JP 30295491A JP 2692458 B2 JP2692458 B2 JP 2692458B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- normal direction
- memory
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【産業上の利用分野】本発明は製品デザイン等を、シミ
ュレーション画像を作成することにより行なう際に必要
とされる、画像として撮像されている物体への照明方向
の変更を行なう方法及び装置並びに画像合成方法及び装
置に関するものである。
ュレーション画像を作成することにより行なう際に必要
とされる、画像として撮像されている物体への照明方向
の変更を行なう方法及び装置並びに画像合成方法及び装
置に関するものである。
【０００２】
【従来の技術】製品等の初期デザインにおいては、デザ
イナがかなり精密なイメージ図を描き、これをもとに企
画等が行なわれる。これを描くには通常かなりの熟練を
要する。しかし、多くの場合、必要とするデザイン画の
要素は、既に画像として存在しており、これを再利用で
きれば、非常に描画の労力が節約できることが多い。例
えば、図２（ａ）に示すような、背景の中にある物体の
絵を描きたいとき、背景の画像（図２（ｂ））と物体
（図２（ｃ））の絵は既に得られているとする。このよ
うなとき、図２（ｂ）と（ｃ）とから（ａ）を合成する
ことが従来行なわれている。合成の手法はいくつか存在
するが、ディジタル画像処理による方法を図３を参照し
て以下に説明する。
イナがかなり精密なイメージ図を描き、これをもとに企
画等が行なわれる。これを描くには通常かなりの熟練を
要する。しかし、多くの場合、必要とするデザイン画の
要素は、既に画像として存在しており、これを再利用で
きれば、非常に描画の労力が節約できることが多い。例
えば、図２（ａ）に示すような、背景の中にある物体の
絵を描きたいとき、背景の画像（図２（ｂ））と物体
（図２（ｃ））の絵は既に得られているとする。このよ
うなとき、図２（ｂ）と（ｃ）とから（ａ）を合成する
ことが従来行なわれている。合成の手法はいくつか存在
するが、ディジタル画像処理による方法を図３を参照し
て以下に説明する。
【０００３】画像メモリ３０１は、Ｒ，Ｇ，Ｂ各８ビッ
トで背景のカラー画像を格納する。画像メモリ３０２は
同じく対象物体を含むカラー画像を格納する。マスクメ
モリ３０３は二値の画像メモリであり、画像メモリ３０
２に含まれる対象物体の部分の画素値が“１”で、その
他の部分が“０”で表現されている「マスク画像」を格
納している。画像合成手段３０４は、画像メモリ３０２
とマスクメモリ３０３とからカラー画像とマスク画像を
同期させて読み出し、マスク画像に“１”が格納されて
いるカラー画像の画素のみを画像メモリ３０２から画像
メモリ３０１へ転送する。この処理により画像メモリ３
０１に背景の前に対象物体が合成された画像が作成され
る。
トで背景のカラー画像を格納する。画像メモリ３０２は
同じく対象物体を含むカラー画像を格納する。マスクメ
モリ３０３は二値の画像メモリであり、画像メモリ３０
２に含まれる対象物体の部分の画素値が“１”で、その
他の部分が“０”で表現されている「マスク画像」を格
納している。画像合成手段３０４は、画像メモリ３０２
とマスクメモリ３０３とからカラー画像とマスク画像を
同期させて読み出し、マスク画像に“１”が格納されて
いるカラー画像の画素のみを画像メモリ３０２から画像
メモリ３０１へ転送する。この処理により画像メモリ３
０１に背景の前に対象物体が合成された画像が作成され
る。
【０００４】
【発明が解決しようとする課題】しかしながら、このよ
うに合成された画像は必ずしも自然ではない。これを図
４を参照して説明する。図４（ａ）（ｂ）（ｃ）をそれ
ぞれ背景画像、対象物画像、合成画像とする。背景画像
では影４０１の存在で分かるように光は右側からあたっ
ている。しかし、対象物体画像では影４０２から分かる
ように光は左から当たっている。そのため、合成画像で
は一つの情景であるにも拘らず、光源方向が異なる不自
然な画像となる。
うに合成された画像は必ずしも自然ではない。これを図
４を参照して説明する。図４（ａ）（ｂ）（ｃ）をそれ
ぞれ背景画像、対象物画像、合成画像とする。背景画像
では影４０１の存在で分かるように光は右側からあたっ
ている。しかし、対象物体画像では影４０２から分かる
ように光は左から当たっている。そのため、合成画像で
は一つの情景であるにも拘らず、光源方向が異なる不自
然な画像となる。
【０００５】本発明の目的は、画像中の物体の陰影を修
正し、自然な画像を合成する方法及び装置を提供するこ
とにある。
正し、自然な画像を合成する方法及び装置を提供するこ
とにある。
【０００６】
【課題を解決するための手段】第１の発明である画像の
照明方向の変更方法は、カラー画像中の対象物体の表面
色を拡散反射成分と鏡面反射成分に分離し、両成分の信
頼度を計算し、得られた両成分と信頼度とから反射モデ
ルを利用して表面の各画素の法線方向を復元し、該法線
方向と与えられた新たな照明方向と前記反射モデルによ
り照明方向の変更された画像を生成することを特徴とす
る。
照明方向の変更方法は、カラー画像中の対象物体の表面
色を拡散反射成分と鏡面反射成分に分離し、両成分の信
頼度を計算し、得られた両成分と信頼度とから反射モデ
ルを利用して表面の各画素の法線方向を復元し、該法線
方向と与えられた新たな照明方向と前記反射モデルによ
り照明方向の変更された画像を生成することを特徴とす
る。
【０００７】第２の発明である画像の照明方向の変更方
法は、第１の発明に述べられたカラー画像中の対象物体
の表面色から計算される拡散反射成分と鏡面反射成分及
びその信頼度に加え、対象物体の領域の境界条件から求
めた法線方向や対話的に与えた表面部分の法線方向を高
い信頼度の情報として利用し、反射モデルを利用して表
面の各画素の法線方向を復元し、該法線方向と与えられ
た新たな照明方向と前記反射モデルにより照明方向の変
更された画像を生成することを特徴とする。
法は、第１の発明に述べられたカラー画像中の対象物体
の表面色から計算される拡散反射成分と鏡面反射成分及
びその信頼度に加え、対象物体の領域の境界条件から求
めた法線方向や対話的に与えた表面部分の法線方向を高
い信頼度の情報として利用し、反射モデルを利用して表
面の各画素の法線方向を復元し、該法線方向と与えられ
た新たな照明方向と前記反射モデルにより照明方向の変
更された画像を生成することを特徴とする。
【０００８】第３の発明である画像の照明方向の変更装
置は、カラー画像を格納する画像メモリと、該画像の光
源色を記憶する光源色記憶手段と、同じく物体色を記憶
する物体色記憶手段と、前記カラー画像、光源色、物体
色から対象の表面色を物体色成分及び光源色成分に分離
し、また各成分の信頼度を画素毎に計算する表面色解析
手段と、該両成分を記憶する成分メモリと、前記信頼度
を記憶する信頼度メモリと、前記カラー画像の光源方向
及び反射モデルのパラメータを記憶するパラメータ記憶
手段と、法線方向を保持する法線方向ベクトルメモリ
と、該法線方向ベクトルメモリの各画素毎の法線方向を
前記成分メモリ、前記信頼度メモリ、前記パラメータ記
憶手段の内容を参照しながら更新し法線方向を復元する
法線方向復元手段と、前記法線方向ベクトルメモリに残
された各画素の法線方向と前記パラメータ記憶手段の内
容により対象表面の各画素の表面色を反射モデルに基づ
き生成する表面色生成手段とを含むことを特徴とする。
置は、カラー画像を格納する画像メモリと、該画像の光
源色を記憶する光源色記憶手段と、同じく物体色を記憶
する物体色記憶手段と、前記カラー画像、光源色、物体
色から対象の表面色を物体色成分及び光源色成分に分離
し、また各成分の信頼度を画素毎に計算する表面色解析
手段と、該両成分を記憶する成分メモリと、前記信頼度
を記憶する信頼度メモリと、前記カラー画像の光源方向
及び反射モデルのパラメータを記憶するパラメータ記憶
手段と、法線方向を保持する法線方向ベクトルメモリ
と、該法線方向ベクトルメモリの各画素毎の法線方向を
前記成分メモリ、前記信頼度メモリ、前記パラメータ記
憶手段の内容を参照しながら更新し法線方向を復元する
法線方向復元手段と、前記法線方向ベクトルメモリに残
された各画素の法線方向と前記パラメータ記憶手段の内
容により対象表面の各画素の表面色を反射モデルに基づ
き生成する表面色生成手段とを含むことを特徴とする。
【０００９】第４の発明である画像の照明方向の変更装
置は、第３の発明に画像中の対象部分をマスク画像とし
て格納するマスク画像メモリと、このマスク画像から対
象の境界を追跡し、境界部分について信頼度の高い法線
方向を求め、後記法線方向メモリに書き込み、高い信頼
度を前記信頼度メモリに書き込む境界法線方向計算手段
を付加したことを特徴とする。
置は、第３の発明に画像中の対象部分をマスク画像とし
て格納するマスク画像メモリと、このマスク画像から対
象の境界を追跡し、境界部分について信頼度の高い法線
方向を求め、後記法線方向メモリに書き込み、高い信頼
度を前記信頼度メモリに書き込む境界法線方向計算手段
を付加したことを特徴とする。
【００１０】第５の発明である画像の照明方向の変更装
置は、表面の法線方向が明らかな部分の法線方向を対話
的に指定しその法線方向を法線方向ベクトルメモリに書
き込み、高い信頼度を前記信頼度メモリに初期値として
書き込む法線方向指定手段を付加したことを特徴とす
る。
置は、表面の法線方向が明らかな部分の法線方向を対話
的に指定しその法線方向を法線方向ベクトルメモリに書
き込み、高い信頼度を前記信頼度メモリに初期値として
書き込む法線方向指定手段を付加したことを特徴とす
る。
【００１１】第６の発明である画像合成方法は、第１又
は第２の方法により、対象画像の照明方向を背景画像の
照明方向に合わせることにより自然な合成画像を作成す
ることを特徴とする。
は第２の方法により、対象画像の照明方向を背景画像の
照明方向に合わせることにより自然な合成画像を作成す
ることを特徴とする。
【００１２】第７の発明である画像合成装置は、合成の
ための背景画像を格納する背景画像メモリと、第４又は
第５の発明により画像の照明方向が変更された画像の、
マスク画像メモリの内容で対象部分とされた部分を該背
景画像メモリに書き込む画像合成手段とを含むことを特
徴とする。
ための背景画像を格納する背景画像メモリと、第４又は
第５の発明により画像の照明方向が変更された画像の、
マスク画像メモリの内容で対象部分とされた部分を該背
景画像メモリに書き込む画像合成手段とを含むことを特
徴とする。
【００１３】
【作用】本発明の作用を図５〜図７を参照して説明す
る。図５は１つの対象物体画像であり、曲面体に右側か
ら光が当たっている情景を示している。光の当たり方が
一様である場合、物体表面の色はＰｈｏｎｇの反射モデ
ルによれば、
る。図５は１つの対象物体画像であり、曲面体に右側か
ら光が当たっている情景を示している。光の当たり方が
一様である場合、物体表面の色はＰｈｏｎｇの反射モデ
ルによれば、
【００１４】
【数１】
【００１５】で近似される。ここで、（Ｒ，Ｇ，Ｂ）t
は、物体表面の色であり、（Ｒo ，Ｇo ，Ｂo ）t は拡
散反射による色（物体色）、（Ｒs ，Ｇs ，Ｂs ）t は
鏡面反射による色（光源色）、θは光源からの入射角、
φは鏡面反射光と視線のなす角、ｄは光源からの直接反
射光と環境光の割合を示す係数、ｎは材質を表わす次数
である。色のベクトルは赤・緑・青の成分で表わしてい
る。これを、カメラの方向をＺ軸とし法線方向ベクトル
をＮ、照明方向ベクトルをＳとおくと、式（１）は、
は、物体表面の色であり、（Ｒo ，Ｇo ，Ｂo ）t は拡
散反射による色（物体色）、（Ｒs ，Ｇs ，Ｂs ）t は
鏡面反射による色（光源色）、θは光源からの入射角、
φは鏡面反射光と視線のなす角、ｄは光源からの直接反
射光と環境光の割合を示す係数、ｎは材質を表わす次数
である。色のベクトルは赤・緑・青の成分で表わしてい
る。これを、カメラの方向をＺ軸とし法線方向ベクトル
をＮ、照明方向ベクトルをＳとおくと、式（１）は、
【００１６】
【数２】
【００１７】と書くことができる。ここで、Ｎz ，Ｓz
は各ベクトルのＺ成分である。式（２）を用いることに
より、法線方向ベクトルＮが既知であれば、照明方向ベ
クトルＳを変更することによって照明方向を変更した画
像を得ることができる。よって、照明方向を変更するに
は、画像から対象物体の各点の法線方向を求めればよ
い。尚、ここでは、反射モデルとしてＰｈｏｎｇのモデ
ルを用いているが、式（２）のように物体色成分と光源
色成分に分離できるならば、他のモデルでも構わない。
は各ベクトルのＺ成分である。式（２）を用いることに
より、法線方向ベクトルＮが既知であれば、照明方向ベ
クトルＳを変更することによって照明方向を変更した画
像を得ることができる。よって、照明方向を変更するに
は、画像から対象物体の各点の法線方向を求めればよ
い。尚、ここでは、反射モデルとしてＰｈｏｎｇのモデ
ルを用いているが、式（２）のように物体色成分と光源
色成分に分離できるならば、他のモデルでも構わない。
【００１８】法線方向ベクトルＮは以下のように求めら
れる。式（２）はＲＧＢ空間の色ベクトルの式と考える
こともできる。この場合、表面色（Ｒ，Ｇ，Ｂ）のベク
トルは図６に示すようにＲＧＢ３次元空間に物体色ベク
トルＣo （Ｒo ，Ｇo ，Ｂo）と光源色ベクトルＣ
s （Ｒs ，Ｇs ，Ｂs ）により張られた分布平面６０１
上の点として分布する。物体表面が無彩色でない場合、
物体色ベクトルと光源色ベクトルは独立となるため、こ
の２つのベクトルが既知で、表面色ベクトルが画像の各
点（ｉ，ｊ）で得られた場合、２つの成分に式（３）の
ように分解することができる。
れる。式（２）はＲＧＢ空間の色ベクトルの式と考える
こともできる。この場合、表面色（Ｒ，Ｇ，Ｂ）のベク
トルは図６に示すようにＲＧＢ３次元空間に物体色ベク
トルＣo （Ｒo ，Ｇo ，Ｂo）と光源色ベクトルＣ
s （Ｒs ，Ｇs ，Ｂs ）により張られた分布平面６０１
上の点として分布する。物体表面が無彩色でない場合、
物体色ベクトルと光源色ベクトルは独立となるため、こ
の２つのベクトルが既知で、表面色ベクトルが画像の各
点（ｉ，ｊ）で得られた場合、２つの成分に式（３）の
ように分解することができる。
【００１９】
【数３】
【００２０】反射モデルとしてＰｈｏｎｇのモデルを利
用する場合、この２つの成分（αij，βij）と式（２）
の項を見比べることにより、式（４）が得られる。
用する場合、この２つの成分（αij，βij）と式（２）
の項を見比べることにより、式（４）が得られる。
【００２１】
【数４】
【００２２】ここで、β’＝β1/n である。
【００２３】式（４）をＮが単位ベクトルである条件、 Ｎx 2 ＋Ｎy 2 ＋Ｎz 2 ＝１ （５） を用いることにより解くと、
【００２４】
【数５】
【００２５】となり、Ｎx はＮz を既知とした、
【００２６】
【数６】
【００２７】なる２次方程式の解として得られる。Ｎy
は式（５）から得られる。
は式（５）から得られる。
【００２８】しかし、この手法には次のような欠点があ
る。 （Ａ）画像にはカメラ等に起因する雑音成分があるた
め、各画素の法線方向は正確には求まらない。 （Ｂ）図７に示すように、右側から光が当たっている場
合、球の右側の拡散反射成分と鏡面反射成分が両方とも
存在する部分では、法線方向は比較的正確に求まるが、
球の左側のように直接反射成分が小さかったり、特に、
鏡面反射成分が小さい場合には、正確に求めることがで
きない。 （Ｃ）特に鏡面反射の部分では、式（３）の第２項が非
常に大きくなりカメラの飽和レベルを越すため、式
（３）は成り立たなくなる。 （Ｄ）式（７）はＮx に関する二次方程式であるため、
解が２個存在する。
る。 （Ａ）画像にはカメラ等に起因する雑音成分があるた
め、各画素の法線方向は正確には求まらない。 （Ｂ）図７に示すように、右側から光が当たっている場
合、球の右側の拡散反射成分と鏡面反射成分が両方とも
存在する部分では、法線方向は比較的正確に求まるが、
球の左側のように直接反射成分が小さかったり、特に、
鏡面反射成分が小さい場合には、正確に求めることがで
きない。 （Ｃ）特に鏡面反射の部分では、式（３）の第２項が非
常に大きくなりカメラの飽和レベルを越すため、式
（３）は成り立たなくなる。 （Ｄ）式（７）はＮx に関する二次方程式であるため、
解が２個存在する。
【００２９】本発明は、この法線方向の復元を曲面の性
質と、操作者の指示を利用することにより行なう。曲面
の性質としては、 （ａ）法線方向は滑らかに変化する。 （ｂ）画像における物体の境界では法線は接線に垂直で
ある。の２つの性質を利用する。
質と、操作者の指示を利用することにより行なう。曲面
の性質としては、 （ａ）法線方向は滑らかに変化する。 （ｂ）画像における物体の境界では法線は接線に垂直で
ある。の２つの性質を利用する。
【００３０】また、人が画像を見て直感的に法線方向が
わかる部分はディスプレイ端末に画像を表示し、対話的
に与える。
わかる部分はディスプレイ端末に画像を表示し、対話的
に与える。
【００３１】以上を実現するために、各画素に信頼度の
概念を導入する。信頼度は０〜１の値をとり、上記
（ｂ）に示した境界部分の法線方向や、人が与えた法線
方向は信頼度が１とされ、以下の処理で変更されない。
また、物体色が強く表われている部分はαijの信頼度は
高く、光源色が強い部分ではβijの信頼度が高いと考え
られる。このような場合には式（３）の各項は成り立っ
ており、それ以外の場合は、式（３）は成立の度合いが
低いので、周囲の画素の法線方向から内挿して求める。
概念を導入する。信頼度は０〜１の値をとり、上記
（ｂ）に示した境界部分の法線方向や、人が与えた法線
方向は信頼度が１とされ、以下の処理で変更されない。
また、物体色が強く表われている部分はαijの信頼度は
高く、光源色が強い部分ではβijの信頼度が高いと考え
られる。このような場合には式（３）の各項は成り立っ
ており、それ以外の場合は、式（３）は成立の度合いが
低いので、周囲の画素の法線方向から内挿して求める。
【００３２】内挿は、一種のエネルギ函数を定義し、こ
れを大域的に最小化することで実現される。（情報処理
Ｖｏｌ．３０，Ｎｏ．９ １０４７〜１０５７ページ
「弛緩法と正則化」）例えば、式（８）のような函数ε
を導入し、これを大域的に最小化する。式（８）の函数
は一例であって、第１項、第２項のような実際に観測さ
れた表面色とモデルとの差が大きいとエネルギが大きく
評価される部分と、第３項のような対象が曲面であるた
め、隣接する画素の法線が揃っているとエネルギが小さ
く評価される部分がバランスされている函数なら同様の
効果を挙げることができる。
れを大域的に最小化することで実現される。（情報処理
Ｖｏｌ．３０，Ｎｏ．９ １０４７〜１０５７ページ
「弛緩法と正則化」）例えば、式（８）のような函数ε
を導入し、これを大域的に最小化する。式（８）の函数
は一例であって、第１項、第２項のような実際に観測さ
れた表面色とモデルとの差が大きいとエネルギが大きく
評価される部分と、第３項のような対象が曲面であるた
め、隣接する画素の法線が揃っているとエネルギが小さ
く評価される部分がバランスされている函数なら同様の
効果を挙げることができる。
【００３３】
【数７】
【００３４】εを最小化する際、εを各画素（ｉ，ｊ）
の法線方向成分Ｎxij 及びＮyij により偏微分し、これ
が０である連立方程式の解である。但し、Ｎx ，Ｎy ，
Ｎz は式（５）を満たさねばならない。これを式（８）
に適用すると連立方程式は式（９）及び（１０）のもの
が画素数分存在する。
の法線方向成分Ｎxij 及びＮyij により偏微分し、これ
が０である連立方程式の解である。但し、Ｎx ，Ｎy ，
Ｎz は式（５）を満たさねばならない。これを式（８）
に適用すると連立方程式は式（９）及び（１０）のもの
が画素数分存在する。
【００３５】
【数８】
【００３６】前記（ｂ）によりＮが決定された画素及び
操作者がＮを与えた画素は、そのＮを初期値とし、Ｒ
1ij ＝Ｒ2ij ＝１とする。その他の画素では式（６）に
よりＮz を求め、
操作者がＮを与えた画素は、そのＮを初期値とし、Ｒ
1ij ＝Ｒ2ij ＝１とする。その他の画素では式（６）に
よりＮz を求め、
【００３７】
【数９】
【００３８】を初期値とし、式（８）のように信頼度を
与える。
与える。
【００３９】連立方程式を逐次的に解く一方法を述べ
る。ｔ回目の計算結果Ｎxij （ｔ），Ｎyij （ｔ），Ｎ
zij （ｔ）は（ｔ−１）回目の結果から、まず式（１
１）（１２）のように計算する。
る。ｔ回目の計算結果Ｎxij （ｔ），Ｎyij （ｔ），Ｎ
zij （ｔ）は（ｔ−１）回目の結果から、まず式（１
１）（１２）のように計算する。
【００４０】
【数１０】
【００４１】
【数１１】
【００４２】更に、式（５）を満たすように、
【００４３】
【数１２】
【００４４】により修正する。この演算を繰り返すこと
により大域的にもっともらしい法線方向が各画素毎に得
られる。
により大域的にもっともらしい法線方向が各画素毎に得
られる。
【００４５】以上の方法で得られた各Ｎijを用い、新し
い光源方向ベクトルＳ’を与えることにより、式（２）
により各画素の表面色が得られる。この対象画像を前記
マスクに従って背景画像に書き込めば、光源方向が一致
して合成された画像が得られる。
い光源方向ベクトルＳ’を与えることにより、式（２）
により各画素の表面色が得られる。この対象画像を前記
マスクに従って背景画像に書き込めば、光源方向が一致
して合成された画像が得られる。
【００４６】
【実施例】本発明の実施例を図１を参照しながら説明す
る。対象の画像は対象画像メモリ１０１にＲ，Ｇ，Ｂ各
８ビットの画像で格納される。この画像から切り出され
る対象部分を示すマスクが二値画像としてマスク画像メ
モリ１０２に、対象が合成される背景の画像は、Ｒ，
Ｇ，Ｂ各８ビットの画像で背景画像メモリ１０３に格納
される。
る。対象の画像は対象画像メモリ１０１にＲ，Ｇ，Ｂ各
８ビットの画像で格納される。この画像から切り出され
る対象部分を示すマスクが二値画像としてマスク画像メ
モリ１０２に、対象が合成される背景の画像は、Ｒ，
Ｇ，Ｂ各８ビットの画像で背景画像メモリ１０３に格納
される。
【００４７】対象画像の光源色及び対象の物体色が、そ
れぞれ光源色記憶手段１０４及び物体色記憶手段１０５
に格納される。光源色は通常白が用いられるが、画像中
から手動又は自動に抽出してもよい。物体色は対象表面
上の色分布から同様に手動又は自動で抽出される。表面
色解析手段１０６は、対象物体の表面色（Ｒij，Ｇij，
Ｂij）から式（３）を解くことにより各画素の物体色成
分αij及び光源色成分βijを計算する。この演算は、
れぞれ光源色記憶手段１０４及び物体色記憶手段１０５
に格納される。光源色は通常白が用いられるが、画像中
から手動又は自動に抽出してもよい。物体色は対象表面
上の色分布から同様に手動又は自動で抽出される。表面
色解析手段１０６は、対象物体の表面色（Ｒij，Ｇij，
Ｂij）から式（３）を解くことにより各画素の物体色成
分αij及び光源色成分βijを計算する。この演算は、
【００４８】
【数１３】
【００４９】を各画素につき実行することにより実現さ
れる。尚、（Ｒe ，Ｇe ，Ｂe ）t は誤差成分であり、
（Ｒo ，Ｇo ，Ｂo ）t と（Ｒs ，Ｇs ，Ｂs ）t の外
積である。得られた｛αij｝，｛βij｝は成分メモリ１
０７に格納される。同時に、式（８）で示された信頼度
Ｒ1ij 及びＲ2ij も信頼度メモリ１０８に格納される。
れる。尚、（Ｒe ，Ｇe ，Ｂe ）t は誤差成分であり、
（Ｒo ，Ｇo ，Ｂo ）t と（Ｒs ，Ｇs ，Ｂs ）t の外
積である。得られた｛αij｝，｛βij｝は成分メモリ１
０７に格納される。同時に、式（８）で示された信頼度
Ｒ1ij 及びＲ2ij も信頼度メモリ１０８に格納される。
【００５０】作用の項で述べたように物体の境界では、
法線は接線に垂直の方向になる。境界法線方向計算手段
１０９は、マスク画像メモリ１０２の二値画像の境界を
時計回りに追跡し、接線方向を求め、進行方向垂直左側
を向いた方向ベクトルとして求める。これは従来技術で
容易に実現できる。得られた法線方向ベクトルは法線方
向ベクトルメモリ１１０の境界の画素に書き込まれると
共に、信頼度メモリ１０８の対応画素の値は“１”とさ
れる。
法線は接線に垂直の方向になる。境界法線方向計算手段
１０９は、マスク画像メモリ１０２の二値画像の境界を
時計回りに追跡し、接線方向を求め、進行方向垂直左側
を向いた方向ベクトルとして求める。これは従来技術で
容易に実現できる。得られた法線方向ベクトルは法線方
向ベクトルメモリ１１０の境界の画素に書き込まれると
共に、信頼度メモリ１０８の対応画素の値は“１”とさ
れる。
【００５１】また、操作者が対象画像をスイツチ１１１
で切り換えてモニタ１１２で観察し、表面の方向が確実
に視線方向を向いている部分についてマウスなどの法線
方向指定手段１１３を介して指定する。与えられた方向
は、法線方向ベクトルメモリ１１０に格納され、信頼度
メモリ１０８の対応画素の値は“１”とされる。
で切り換えてモニタ１１２で観察し、表面の方向が確実
に視線方向を向いている部分についてマウスなどの法線
方向指定手段１１３を介して指定する。与えられた方向
は、法線方向ベクトルメモリ１１０に格納され、信頼度
メモリ１０８の対応画素の値は“１”とされる。
【００５２】操作者は対象画像を観察し、ほば正しいと
思われる光源方向ベクトルＳを、同様にパラメータ指定
手段１１４により与える。光源方向は、視線方向からの
高度角や方位角で与えてもよいが、球の３次元モデルを
作成して与えた角度から光源で球が光る状況を式（２）
により作成し、表示しながら調整すると対象画像との対
応がつきやすい。このとき式（２）の表面材質を示す
ｎ、環境光の割合を示すｄのパラメータも同時に調整
し、パラメータ記憶手段１１５に格納する。
思われる光源方向ベクトルＳを、同様にパラメータ指定
手段１１４により与える。光源方向は、視線方向からの
高度角や方位角で与えてもよいが、球の３次元モデルを
作成して与えた角度から光源で球が光る状況を式（２）
により作成し、表示しながら調整すると対象画像との対
応がつきやすい。このとき式（２）の表面材質を示す
ｎ、環境光の割合を示すｄのパラメータも同時に調整
し、パラメータ記憶手段１１５に格納する。
【００５３】法線方向復元手段１１６は、成分メモリ１
０７に格納された（αij，βij）、信頼度メモリ１０８
に格納された信頼度（Ｒ1ij ，Ｒ2ij ）、法線方向ベク
トルメモリ１１０に格納された法線方向初期値、及び、
パラメータ記憶手段１１５に格納されたＳ、ｄ、ｎから
式（１１）〜（１３）を十分な回数繰り返すことによ
り、各画素の法線方向を更新する。
０７に格納された（αij，βij）、信頼度メモリ１０８
に格納された信頼度（Ｒ1ij ，Ｒ2ij ）、法線方向ベク
トルメモリ１１０に格納された法線方向初期値、及び、
パラメータ記憶手段１１５に格納されたＳ、ｄ、ｎから
式（１１）〜（１３）を十分な回数繰り返すことによ
り、各画素の法線方向を更新する。
【００５４】更新された法線方向ベクトル画像に対し、
操作者はスイッチ１１１を切り換え、背景画像を観察し
ながら新しい光源方向ベクトル及び反射モデルのパラメ
ータをパラメータ指定手段により与える。これらのパラ
メータはパラメータ記憶手段１１５に格納される。これ
らの新しいパラメータＳ、ｄ、ｎに基づき、表面色生成
手段１１７は式（２）により各画素の表面色を生成し、
対象画像の新しい光源方向に対応する表面色が生成され
る。画像合成手段１１８は、背景画像メモリ１０３の各
画素に対し、対応するマスク画像メモリ１０２中の画素
値が“１”のものに対し表面色生成手段１１７で生成さ
れた新しい表面色画像を書き込み、合成画像を作成す
る。合成された画像は、スイツチ１１１により背景画像
メモリをモニタ１１２に接続することにより表示するこ
とができ、またこれを印刷装置等に出力することによっ
て各種の利用が可能である。
操作者はスイッチ１１１を切り換え、背景画像を観察し
ながら新しい光源方向ベクトル及び反射モデルのパラメ
ータをパラメータ指定手段により与える。これらのパラ
メータはパラメータ記憶手段１１５に格納される。これ
らの新しいパラメータＳ、ｄ、ｎに基づき、表面色生成
手段１１７は式（２）により各画素の表面色を生成し、
対象画像の新しい光源方向に対応する表面色が生成され
る。画像合成手段１１８は、背景画像メモリ１０３の各
画素に対し、対応するマスク画像メモリ１０２中の画素
値が“１”のものに対し表面色生成手段１１７で生成さ
れた新しい表面色画像を書き込み、合成画像を作成す
る。合成された画像は、スイツチ１１１により背景画像
メモリをモニタ１１２に接続することにより表示するこ
とができ、またこれを印刷装置等に出力することによっ
て各種の利用が可能である。
【００５５】
【発明の効果】以上説明したように本発明によれば、画
像中の光源方向が異なる画像を合成する場合にも、対象
の表面の法線方向をもっともらしく復元することにより
光源方向が揃った画像を作成することができるため、自
然な画像合成が可能となる。そのため、シミュレーショ
ン画像を作成する際にも、絵を描く熟練者の育成や３次
元モデルを作る手間を大きく省くことができるという効
果がある。
像中の光源方向が異なる画像を合成する場合にも、対象
の表面の法線方向をもっともらしく復元することにより
光源方向が揃った画像を作成することができるため、自
然な画像合成が可能となる。そのため、シミュレーショ
ン画像を作成する際にも、絵を描く熟練者の育成や３次
元モデルを作る手間を大きく省くことができるという効
果がある。
【図１】本発明の実施例を示す構成図
【図２】画像合成の説明図
【図３】従来の画像合成方法の説明図
【図４】従来の方法の問題点の説明図
【図５】本発明の作用の説明図
【図６】本発明の作用の説明図
【図７】本発明の作用の説明図
１０１ 対象画像メモリ １０２ マスク画像メモリ １０３ 背景画像メモリ １０４ 光源色記憶手段 １０５ 物体色記憶手段 １０６ 表面色解析手段 １０７ 成分メモリ １０８ 信頼度メモリ １０９ 境界法線方向計算手段 １１０ 法線方向ベクトルメモリ １１３ 法線方向指定手段 １１４ パラメータ指定手段 １１５ パラメータ記憶手段 １１６ 法線方向復元手段 １１７ 表面色生成手段 １１８ 画像合成手段
Claims (7)
- 【請求項１】 カラー画像中の対象物体の表面色を拡散
反射成分と鏡面反射成分に分離し、両成分の信頼度を計
算し、得られた両成分と信頼度とから反射モデルを利用
して表面の各画素の法線方向を復元し、前記法線方向と
与えられた新たな照明方向と前記反射モデルにより照明
方向の変更された画像を生成することを特徴とする画像
の照明方向の変更方法。 - 【請求項２】 カラー画像中の対象物体の表面色を拡散
反射成分と鏡面反射成分に分離し、両成分の信頼度を計
算し、対象物体の領域の境界条件から求めた法線方向や
対話的に与えた表面部分の法線方向を高い信頼度の情報
として利用し、反射モデルを利用して表面の各画素の法
線方向を復元し、前記法線方向と与えられた新たな照明
方向と前記反射モデルにより照明方向の変更された画像
を生成することを特徴とする画像の照明方向の変更方
法。 - 【請求項３】 カラー画像を格納する画像メモリと、前
記カラー画像の光源色を記憶する光源色記憶手段と、同
じく物体色を記憶する物体色記憶手段と、前記カラー画
像、光源色、物体色から対象の表面色を物体色成分及び
光源色成分に分離し、また各成分の信頼度を画素毎に計
算する表面色解析手段と、前記両成分を記憶する成分メ
モリと、前記信頼度を記憶する信頼度メモリと、前記カ
ラー画像の光源方向及び反射モデルのパラメータを記憶
するパラメータ記憶手段と、法線方向を保持する法線方
向ベクトルメモリと、前記法線方向ベクトルメモリの各
画素毎の法線方向を前記成分メモリ、前記信頼度メモ
リ、前記パラメータ記憶手段の内容を参照しながら更新
し法線方向を復元する法線方向復元手段と、前記法線方
向ベクトルメモリに残された各画素の法線方向と前記パ
ラメータ記憶手段の内容により対象表面の各画素の表面
色を反射モデルに基づき生成する表面色生成手段とを含
むことを特徴とする画像の照明方向の変更装置。 - 【請求項４】 カラー画像を格納する画像メモリと、画
像中の対象部分をマスク画像として格納するマスク画像
メモリと、前記画像の光源色を記憶する光源色記憶手段
と、同じく物体色を記憶する物体色記憶手段と、前記カ
ラー画像、光源色、物体色から対象の表面色を物体色成
分及び光源色成分に分離し、また各成分の信頼度を画素
毎に計算する表面色解析手段と、前記両成分を記憶する
成分メモリと、前記信頼度を記憶する信頼度メモリと、
前記マスク画像から対象の境界を追跡し、境界部分につ
いて信頼度の高い法線方向を求め出力し、高い信頼度を
前記信頼度メモリに書き込む境界法線方向計算手段と、
前記カラー画像の光源方向及び反射モデルのパラメータ
を記憶するパラメータ記憶手段と、法線方向とともに、
復元処理の間、更新される法線方向を保持する法線方向
ベクトルメモリと、前記法線方向ベクトルメモリの各画
素毎の法線方向を前記成分メモリ、前記信頼度メモリ、
前記パラメータ記憶手段の内容を参照しながら更新し法
線方向を復元する前記復元処理を行なう法線方向復元手
段と、前記法線方向ベクトルメモリに残された各画素の
法線方向と前記パラメータ記憶手段の内容より対象表面
の各画素の表面色を反射モデルに基づき生成する表面色
生成手段とを含むことを特徴とする画像の照明方向の変
更装置。 - 【請求項５】 表面の法線方向が明らかな部分の法線方
向を対話的に指定しその法線方向を法線方向ベクトルメ
モリに書き込み、高い信頼度を前記信頼度メモリに初期
値として書き込む法線方向指定手段を含むことを特徴と
する請求項３又は４記載の画像の照明方向の変更装置。 - 【請求項６】 請求項１又は２記載の画像の照明方向の
変更方法により、対象画像の照明方向を背景画像の照明
方向に合わせることにより自然な合成画像を作成するこ
とを特徴とする画像合成方法。 - 【請求項７】 合成のための背景画像を格納する背景画
像メモリと、請求項４又は５記載の画像の照明方向変更
装置により画像の照明方向が変更された画像の、マスク
画像メモリの内容で対象部分とされた部分を前記背景画
像メモリに書き込む画像合成手段とを含むことを特徴と
する画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30295491A JP2692458B2 (ja) | 1991-11-19 | 1991-11-19 | 画像の照明方向の変更方法及び装置並び画像合成方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30295491A JP2692458B2 (ja) | 1991-11-19 | 1991-11-19 | 画像の照明方向の変更方法及び装置並び画像合成方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05233826A JPH05233826A (ja) | 1993-09-10 |
| JP2692458B2 true JP2692458B2 (ja) | 1997-12-17 |
Family
ID=17915152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30295491A Expired - Lifetime JP2692458B2 (ja) | 1991-11-19 | 1991-11-19 | 画像の照明方向の変更方法及び装置並び画像合成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2692458B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3630187B2 (ja) * | 1995-03-13 | 2005-03-16 | カシオ計算機株式会社 | 画像処理装置、及び、画像処理方法 |
| JP3406965B2 (ja) | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
| JP5147287B2 (ja) * | 2006-05-23 | 2013-02-20 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
| KR100834157B1 (ko) * | 2006-11-20 | 2008-06-02 | 중앙대학교 산학협력단 | 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체 |
| JP5356590B1 (ja) * | 2012-10-02 | 2013-12-04 | 株式会社東芝 | 画像処理装置及びその方法 |
| JP7263758B2 (ja) * | 2018-12-19 | 2023-04-25 | 凸版印刷株式会社 | 画像処理装置及び画像処理方法 |
-
1991
- 1991-11-19 JP JP30295491A patent/JP2692458B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 情報処理学会研究報告 Ｖｏｌ．８９，Ｎｏ．２９ （１９８９．３．２３），ＰＰ．５９．６．１−５９．６．８ （８９−ＣＶ−５９−６ 田島ほか 「カラーデザインのための色変更アルゴリズム」） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05233826A (ja) | 1993-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR970003325B1 (ko) | 화소 영상 렌더링 방법 및 컴퓨터 그래픽 디스플레이 시스템 | |
| JP5830546B2 (ja) | 対象物のモデル変換に基づくモデルパラメータの決定 | |
| US7106348B2 (en) | Texture information assignment method, object extraction method, three-dimensional model generating method, and apparatus thereof | |
| US7312795B2 (en) | Image display apparatus and method | |
| EP1424655B1 (en) | A method of creating 3-D facial models starting from facial images | |
| Lee et al. | LA-VITON: A network for looking-attractive virtual try-on | |
| US7574017B2 (en) | Statistically comparing and matching plural sets of digital data | |
| US5577175A (en) | 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation | |
| US20040095385A1 (en) | System and method for embodying virtual reality | |
| US20030198402A1 (en) | System and method for image-based surface detail transfer | |
| JPH06231275A (ja) | 画像シミュレーション方法 | |
| JP4246516B2 (ja) | 人物動画像生成システム | |
| JP4395689B2 (ja) | 画像データ処理方法およびモデリング装置 | |
| EP1145193A2 (en) | Creating a three-dimensional model from two-dimensional images | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| Cornells et al. | Real-time connectivity constrained depth map computation using programmable graphics hardware | |
| US6697518B2 (en) | Illumination based image synthesis | |
| JP3855053B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2018163648A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20010048444A1 (en) | System and method for fast phong shading | |
| JP2692458B2 (ja) | 画像の照明方向の変更方法及び装置並び画像合成方法及び装置 | |
| JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN113706431B (zh) | 模型优化方法及相关装置、电子设备和存储介质 | |
| JPH11213132A (ja) | 任意表情を持つ３次元顔モデルの生成方法 | |
| US6115048A (en) | Fast method of creating 3D surfaces by `stretching cubes` |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970805 |