JPH05233826A - Method and device for changing lighting direction of image and method and device for synthesizing images - Google Patents
Method and device for changing lighting direction of image and method and device for synthesizing imagesInfo
- Publication number
- JPH05233826A JPH05233826A JP30295491A JP30295491A JPH05233826A JP H05233826 A JPH05233826 A JP H05233826A JP 30295491 A JP30295491 A JP 30295491A JP 30295491 A JP30295491 A JP 30295491A JP H05233826 A JPH05233826 A JP H05233826A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- normal direction
- memory
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は製品デザイン等を、シミ
ュレーション画像を作成することにより行なう際に必要
とされる、画像として撮像されている物体への照明方向
の変更を行なう方法及び装置並びに画像合成方法及び装
置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for changing the illumination direction of an object imaged as an image and an image, which are required when a product design or the like is performed by creating a simulation image. The present invention relates to a synthesizing method and device.
【０００２】[0002]
【従来の技術】製品等の初期デザインにおいては、デザ
イナがかなり精密なイメージ図を描き、これをもとに企
画等が行なわれる。これを描くには通常かなりの熟練を
要する。しかし、多くの場合、必要とするデザイン画の
要素は、既に画像として存在しており、これを再利用で
きれば、非常に描画の労力が節約できることが多い。例
えば、図２（ａ）に示すような、背景の中にある物体の
絵を描きたいとき、背景の画像（図２（ｂ））と物体
（図２（ｃ））の絵は既に得られているとする。このよ
うなとき、図２（ｂ）と（ｃ）とから（ａ）を合成する
ことが従来行なわれている。合成の手法はいくつか存在
するが、ディジタル画像処理による方法を図３を参照し
て以下に説明する。2. Description of the Related Art In the initial design of a product or the like, a designer draws a fairly precise image diagram, and based on this, a plan or the like is carried out. It usually requires a great deal of skill to draw this. However, in many cases, the necessary design image element already exists as an image, and if this can be reused, it is often possible to greatly save the drawing labor. For example, if you want to draw a picture of an object in the background, as shown in FIG. 2 (a), you can already obtain a picture of the background image (FIG. 2 (b)) and the picture of the object (FIG. 2 (c)). Suppose In such a case, it is conventional to combine (a) from FIGS. 2 (b) and 2 (c). Although there are several synthesizing methods, a method by digital image processing will be described below with reference to FIG.
【０００３】画像メモリ３０１は、Ｒ，Ｇ，Ｂ各８ビッ
トで背景のカラー画像を格納する。画像メモリ３０２は
同じく対象物体を含むカラー画像を格納する。マスクメ
モリ３０３は二値の画像メモリであり、画像メモリ３０
２に含まれる対象物体の部分の画素値が“１”で、その
他の部分が“０”で表現されている「マスク画像」を格
納している。画像合成手段３０４は、画像メモリ３０２
とマスクメモリ３０３とからカラー画像とマスク画像を
同期させて読み出し、マスク画像に“１”が格納されて
いるカラー画像の画素のみを画像メモリ３０２から画像
メモリ３０１へ転送する。この処理により画像メモリ３
０１に背景の前に対象物体が合成された画像が作成され
る。The image memory 301 stores a background color image with 8 bits for each of R, G and B. The image memory 302 also stores a color image including the target object. The mask memory 303 is a binary image memory.
The "mask image" in which the pixel value of the part of the target object included in 2 is represented by "1" and the other part is represented by "0" is stored. The image composition means 304 is an image memory 302.
The color image and the mask image are synchronously read from the mask memory 303, and only the pixels of the color image in which “1” is stored in the mask image are transferred from the image memory 302 to the image memory 301. By this processing, the image memory 3
At 01, an image in which the target object is combined with the background is created.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うに合成された画像は必ずしも自然ではない。これを図
４を参照して説明する。図４（ａ）（ｂ）（ｃ）をそれ
ぞれ背景画像、対象物画像、合成画像とする。背景画像
では影４０１の存在で分かるように光は右側からあたっ
ている。しかし、対象物体画像では影４０２から分かる
ように光は左から当たっている。そのため、合成画像で
は一つの情景であるにも拘らず、光源方向が異なる不自
然な画像となる。However, the image thus synthesized is not always natural. This will be described with reference to FIG. 4A, 4B, and 4C are a background image, an object image, and a composite image, respectively. In the background image, the light shines from the right side, as can be seen by the presence of the shadow 401. However, in the target object image, the light strikes from the left, as can be seen from the shadow 402. Therefore, the synthetic image is an unnatural image in which the light source directions are different, although it is one scene.
【０００５】本発明の目的は、画像中の物体の陰影を修
正し、自然な画像を合成する方法及び装置を提供するこ
とにある。It is an object of the present invention to provide a method and apparatus for correcting the shadows of objects in an image to synthesize a natural image.
【０００６】[0006]
【課題を解決するための手段】第１の発明である画像の
照明方向の変更方法は、カラー画像中の対象物体の表面
色を拡散反射成分と鏡面反射成分に分離し、両成分の信
頼度を計算し、得られた両成分と信頼度とから反射モデ
ルを利用して表面の各画素の法線方向を復元し、該法線
方向と与えられた新たな照明方向と前記反射モデルによ
り照明方向の変更された画像を生成することを特徴とす
る。According to a first aspect of the present invention, there is provided a method of changing an illumination direction of an image, wherein the surface color of a target object in a color image is separated into a diffuse reflection component and a specular reflection component, and the reliability of both components is determined. Is calculated, and the normal direction of each pixel on the surface is restored using the reflection model from the obtained both components and the reliability, and the normal direction and a new illumination direction given and the illumination by the reflection model. It is characterized by generating an image with a changed orientation.
【０００７】第２の発明である画像の照明方向の変更方
法は、第１の発明に述べられたカラー画像中の対象物体
の表面色から計算される拡散反射成分と鏡面反射成分及
びその信頼度に加え、対象物体の領域の境界条件から求
めた法線方向や対話的に与えた表面部分の法線方向を高
い信頼度の情報として利用し、反射モデルを利用して表
面の各画素の法線方向を復元し、該法線方向と与えられ
た新たな照明方向と前記反射モデルにより照明方向の変
更された画像を生成することを特徴とする。According to a second aspect of the present invention, there is provided a method of changing the illumination direction of an image, which is a diffuse reflection component and a specular reflection component calculated from the surface color of a target object in a color image described in the first aspect of the invention and their reliability. In addition, using the normal direction obtained from the boundary conditions of the target object area and the normal direction of the surface portion given interactively as highly reliable information, the reflection model is used to determine the method of each pixel on the surface. It is characterized in that the line direction is restored, and an image in which the illumination direction is changed by the reflection model and the new illumination direction given the normal direction is generated.
【０００８】第３の発明である画像の照明方向の変更装
置は、カラー画像を格納する画像メモリと、該画像の光
源色を記憶する光源色記憶手段と、同じく物体色を記憶
する物体色記憶手段と、前記カラー画像、光源色、物体
色から対象の表面色を物体色成分及び光源色成分に分離
し、また各成分の信頼度を画素毎に計算する表面色解析
手段と、該両成分を記憶する成分メモリと、前記信頼度
を記憶する信頼度メモリと、前記カラー画像の光源方向
及び反射モデルのパラメータを記憶するパラメータ記憶
手段と、法線方向を保持する法線方向ベクトルメモリ
と、該法線方向ベクトルメモリの各画素毎の法線方向を
前記成分メモリ、前記信頼度メモリ、前記パラメータ記
憶手段の内容を参照しながら更新し法線方向を復元する
法線方向復元手段と、前記法線方向ベクトルメモリに残
された各画素の法線方向と前記パラメータ記憶手段の内
容により対象表面の各画素の表面色を反射モデルに基づ
き生成する表面色生成手段とを含むことを特徴とする。An image illumination direction changing device according to a third aspect of the present invention is an image memory for storing a color image, a light source color storage means for storing a light source color of the image, and an object color storage for similarly storing an object color. Means, surface color analysis means for separating a target surface color from the color image, light source color, object color into an object color component and a light source color component, and calculating the reliability of each component for each pixel; A component memory that stores, a reliability memory that stores the reliability, a parameter storage unit that stores parameters of a light source direction and a reflection model of the color image, a normal direction vector memory that holds a normal direction, Normal direction restoring means for updating the normal direction of each pixel of the normal direction vector memory while referring to the contents of the component memory, the reliability memory and the parameter storage means, and restoring the normal direction. And a surface color generation unit for generating a surface color of each pixel on the target surface based on a reflection model based on the normal direction of each pixel remaining in the normal direction vector memory and the contents of the parameter storage unit. To do.
【０００９】第４の発明である画像の照明方向の変更装
置は、第３の発明に画像中の対象部分をマスク画像とし
て格納するマスク画像メモリと、このマスク画像から対
象の境界を追跡し、境界部分について信頼度の高い法線
方向を求め、後記法線方向メモリに書き込み、高い信頼
度を前記信頼度メモリに書き込む境界法線方向計算手段
を付加したことを特徴とする。An image illumination direction changing device according to a fourth aspect of the present invention is a mask image memory for storing a target portion in an image as a mask image according to the third aspect of the invention, and a target boundary is tracked from the mask image. It is characterized in that a boundary normal direction calculating means for determining a normal direction with high reliability for the boundary portion, writing it in a normal direction memory described later, and writing high reliability in the reliability memory is added.
【００１０】第５の発明である画像の照明方向の変更装
置は、表面の法線方向が明らかな部分の法線方向を対話
的に指定しその法線方向を法線方向ベクトルメモリに書
き込み、高い信頼度を前記信頼度メモリに初期値として
書き込む法線方向指定手段を付加したことを特徴とす
る。According to a fifth aspect of the present invention, an image illumination direction changing device interactively designates a normal direction of a portion whose surface normal direction is apparent, and writes the normal direction in a normal direction vector memory. It is characterized in that a normal direction designating means for writing a high reliability into the reliability memory as an initial value is added.
【００１１】第６の発明である画像合成方法は、第１又
は第２の方法により、対象画像の照明方向を背景画像の
照明方向に合わせることにより自然な合成画像を作成す
ることを特徴とする。An image synthesizing method according to a sixth aspect of the invention is characterized in that the natural synthesizing image is created by adjusting the illumination direction of the target image to the illumination direction of the background image by the first or second method. ..
【００１２】第７の発明である画像合成装置は、合成の
ための背景画像を格納する背景画像メモリと、第４又は
第５の発明により画像の照明方向が変更された画像の、
マスク画像メモリの内容で対象部分とされた部分を該背
景画像メモリに書き込む画像合成手段とを含むことを特
徴とする。An image synthesizing apparatus according to a seventh aspect of the present invention comprises a background image memory for storing a background image for synthesizing, and an image whose illumination direction is changed according to the fourth or fifth aspect of the invention.
And an image synthesizing unit for writing a target portion in the contents of the mask image memory into the background image memory.
【００１３】[0013]
【作用】本発明の作用を図５〜図７を参照して説明す
る。図５は１つの対象物体画像であり、曲面体に右側か
ら光が当たっている情景を示している。光の当たり方が
一様である場合、物体表面の色はＰｈｏｎｇの反射モデ
ルによれば、The operation of the present invention will be described with reference to FIGS. FIG. 5 shows one target object image and shows a scene in which light is applied to the curved surface body from the right side. If the light hits uniformly, the color of the object surface is according to Phong's reflection model,
【００１４】[0014]
【数１】 [Equation 1]
【００１５】で近似される。ここで、（Ｒ，Ｇ，Ｂ）t
は、物体表面の色であり、（Ｒo ，Ｇo ，Ｂo ）t は拡
散反射による色（物体色）、（Ｒs ，Ｇs ，Ｂs ）t は
鏡面反射による色（光源色）、θは光源からの入射角、
φは鏡面反射光と視線のなす角、ｄは光源からの直接反
射光と環境光の割合を示す係数、ｎは材質を表わす次数
である。色のベクトルは赤・緑・青の成分で表わしてい
る。これを、カメラの方向をＺ軸とし法線方向ベクトル
をＮ、照明方向ベクトルをＳとおくと、式（１）は、Is approximated by Where (R, G, B) t
Is the color of the object surface, (R o , G o , B o ) t is the color due to diffuse reflection (object color), and (R s , G s , B s ) t is the color due to specular reflection (light source color). , Θ is the angle of incidence from the light source,
φ is the angle between the specularly reflected light and the line of sight, d is a coefficient indicating the ratio of the directly reflected light from the light source and the ambient light, and n is the order representing the material. Color vectors are represented by red, green, and blue components. Assuming that the direction of the camera is the Z axis and the normal direction vector is N and the illumination direction vector is S, Equation (1) is
【００１６】[0016]
【数２】 [Equation 2]
【００１７】と書くことができる。ここで、Ｎz ，Ｓz
は各ベクトルのＺ成分である。式（２）を用いることに
より、法線方向ベクトルＮが既知であれば、照明方向ベ
クトルＳを変更することによって照明方向を変更した画
像を得ることができる。よって、照明方向を変更するに
は、画像から対象物体の各点の法線方向を求めればよ
い。尚、ここでは、反射モデルとしてＰｈｏｎｇのモデ
ルを用いているが、式（２）のように物体色成分と光源
色成分に分離できるならば、他のモデルでも構わない。Can be written as Where N z and S z
Is the Z component of each vector. By using the equation (2), if the normal direction vector N is known, it is possible to obtain an image in which the illumination direction is changed by changing the illumination direction vector S. Therefore, in order to change the illumination direction, the normal direction of each point of the target object may be obtained from the image. Although the Phong model is used as the reflection model here, another model may be used as long as it can be separated into the object color component and the light source color component as shown in the equation (2).
【００１８】法線方向ベクトルＮは以下のように求めら
れる。式（２）はＲＧＢ空間の色ベクトルの式と考える
こともできる。この場合、表面色（Ｒ，Ｇ，Ｂ）のベク
トルは図６に示すようにＲＧＢ３次元空間に物体色ベク
トルＣo （Ｒo ，Ｇo ，Ｂo）と光源色ベクトルＣ
s （Ｒs ，Ｇs ，Ｂs ）により張られた分布平面６０１
上の点として分布する。物体表面が無彩色でない場合、
物体色ベクトルと光源色ベクトルは独立となるため、こ
の２つのベクトルが既知で、表面色ベクトルが画像の各
点（ｉ，ｊ）で得られた場合、２つの成分に式（３）の
ように分解することができる。The normal direction vector N is obtained as follows. Expression (2) can also be considered as an expression of a color vector in the RGB space. In this case, the surface color (R, G, B) vectors are the object color vector C o (R o , G o , B o ) and the light source color vector C in the RGB three-dimensional space as shown in FIG.
Distribution plane 601 stretched by s (R s , G s , B s )
Distributed as the upper point. If the object surface is not achromatic,
Since the object color vector and the light source color vector are independent of each other, if these two vectors are known and the surface color vector is obtained at each point (i, j) of the image, the two components are expressed by equation (3). Can be decomposed into
【００１９】[0019]
【数３】 [Equation 3]
【００２０】反射モデルとしてＰｈｏｎｇのモデルを利
用する場合、この２つの成分（αij，βij）と式（２）
の項を見比べることにより、式（４）が得られる。When the Phong model is used as the reflection model, these two components (α ij , β ij ) and the equation (2) are used.
Equation (4) is obtained by comparing the terms of.
【００２１】[0021]
【数４】 [Equation 4]
【００２２】ここで、β’＝β1/n である。Here, β '= β 1 / n .
【００２３】式（４）をＮが単位ベクトルである条件、 Ｎx 2 ＋Ｎy 2 ＋Ｎz 2 ＝１ （５） を用いることにより解くと、Solving equation (4) by using the condition that N is a unit vector, N x 2 + N y 2 + N z 2 = 1 (5),
【００２４】[0024]
【数５】 [Equation 5]
【００２５】となり、Ｎx はＮz を既知とした、Thus, N x is N z known,
【００２６】[0026]
【数６】 [Equation 6]
【００２７】なる２次方程式の解として得られる。Ｎy
は式（５）から得られる。It is obtained as a solution of the following quadratic equation. N y
Is obtained from equation (5).
【００２８】しかし、この手法には次のような欠点があ
る。 （Ａ）画像にはカメラ等に起因する雑音成分があるた
め、各画素の法線方向は正確には求まらない。 （Ｂ）図７に示すように、右側から光が当たっている場
合、球の右側の拡散反射成分と鏡面反射成分が両方とも
存在する部分では、法線方向は比較的正確に求まるが、
球の左側のように直接反射成分が小さかったり、特に、
鏡面反射成分が小さい場合には、正確に求めることがで
きない。 （Ｃ）特に鏡面反射の部分では、式（３）の第２項が非
常に大きくなりカメラの飽和レベルを越すため、式
（３）は成り立たなくなる。 （Ｄ）式（７）はＮx に関する二次方程式であるため、
解が２個存在する。However, this method has the following drawbacks. (A) Since the image has a noise component due to a camera or the like, the normal direction of each pixel cannot be accurately obtained. (B) As shown in FIG. 7, when the light is applied from the right side, the normal direction is relatively accurately obtained in the part where both the diffuse reflection component and the specular reflection component on the right side of the sphere exist,
The direct reflection component is small like the left side of the sphere, especially,
If the specular reflection component is small, it cannot be accurately determined. (C) Especially in the specular reflection portion, the second term of the equation (3) becomes very large and exceeds the saturation level of the camera, and therefore the equation (3) does not hold. (D) Since equation (7) is a quadratic equation with respect to N x ,
There are two solutions.
【００２９】本発明は、この法線方向の復元を曲面の性
質と、操作者の指示を利用することにより行なう。曲面
の性質としては、 （ａ）法線方向は滑らかに変化する。 （ｂ）画像における物体の境界では法線は接線に垂直で
ある。の２つの性質を利用する。In the present invention, the restoration in the normal direction is performed by utilizing the property of the curved surface and the instruction of the operator. The properties of the curved surface are: (a) The normal direction changes smoothly. (B) At the object boundary in the image, the normal is perpendicular to the tangent. The two properties of are used.
【００３０】また、人が画像を見て直感的に法線方向が
わかる部分はディスプレイ端末に画像を表示し、対話的
に与える。Further, a portion where a person can intuitively see a normal direction by seeing the image is displayed on the display terminal and interactively given.
【００３１】以上を実現するために、各画素に信頼度の
概念を導入する。信頼度は０〜１の値をとり、上記
（ｂ）に示した境界部分の法線方向や、人が与えた法線
方向は信頼度が１とされ、以下の処理で変更されない。
また、物体色が強く表われている部分はαijの信頼度は
高く、光源色が強い部分ではβijの信頼度が高いと考え
られる。このような場合には式（３）の各項は成り立っ
ており、それ以外の場合は、式（３）は成立の度合いが
低いので、周囲の画素の法線方向から内挿して求める。In order to realize the above, the concept of reliability is introduced into each pixel. The reliability takes a value of 0 to 1, and the normal direction of the boundary shown in (b) above and the normal direction given by a person have a reliability of 1 and are not changed by the following processing.
Further, it is considered that the reliability of α ij is high in the portion where the object color is strongly expressed, and the reliability of β ij is high in the portion where the light source color is strong. In such a case, the respective terms of the equation (3) are satisfied, and in other cases, the degree of the equation (3) is low, so that the terms are interpolated from the normal direction of the surrounding pixels.
【００３２】内挿は、一種のエネルギ函数を定義し、こ
れを大域的に最小化することで実現される。（情報処理
Ｖｏｌ．３０，Ｎｏ．９ １０４７〜１０５７ページ
「弛緩法と正則化」）例えば、式（８）のような函数ε
を導入し、これを大域的に最小化する。式（８）の函数
は一例であって、第１項、第２項のような実際に観測さ
れた表面色とモデルとの差が大きいとエネルギが大きく
評価される部分と、第３項のような対象が曲面であるた
め、隣接する画素の法線が揃っているとエネルギが小さ
く評価される部分がバランスされている函数なら同様の
効果を挙げることができる。Interpolation is realized by defining a kind of energy function and globally minimizing it. (Information Processing Vol. 30, No. 9, pages 1047 to 1057, “relaxation method and regularization”) For example, a function ε such as equation (8)
Is introduced to minimize it globally. The function of the equation (8) is an example, and the portion where the energy is evaluated to be large when the difference between the model and the surface color actually observed as in the first term and the second term is large, and the third term Since such an object is a curved surface, if the normals of adjacent pixels are aligned, the same effect can be obtained if the function is such that the portion where the energy is evaluated small is balanced.
【００３３】[0033]
【数７】 [Equation 7]
【００３４】εを最小化する際、εを各画素（ｉ，ｊ）
の法線方向成分Ｎxij 及びＮyij により偏微分し、これ
が０である連立方程式の解である。但し、Ｎx ，Ｎy ，
Ｎz は式（５）を満たさねばならない。これを式（８）
に適用すると連立方程式は式（９）及び（１０）のもの
が画素数分存在する。When ε is minimized, ε is calculated for each pixel (i, j)
Is a solution of the simultaneous equations in which the partial differentiation is performed by the normal direction components N xij and N yij , and this is 0. However, N x , N y ,
N z must satisfy equation (5). Equation (8)
When applied to, the simultaneous equations of the equations (9) and (10) exist for the number of pixels.
【００３５】[0035]
【数８】 [Equation 8]
【００３６】前記（ｂ）によりＮが決定された画素及び
操作者がＮを与えた画素は、そのＮを初期値とし、Ｒ
1ij ＝Ｒ2ij ＝１とする。その他の画素では式（６）に
よりＮz を求め、Pixels for which N has been determined in (b) above and pixels for which the operator has given N have R as the initial value and R
Let 1ij = R 2ij = 1. For other pixels, N z is calculated by the equation (6),
【００３７】[0037]
【数９】 [Equation 9]
【００３８】を初期値とし、式（８）のように信頼度を
与える。Using as an initial value, the reliability is given as in equation (8).
【００３９】連立方程式を逐次的に解く一方法を述べ
る。ｔ回目の計算結果Ｎxij （ｔ），Ｎyij （ｔ），Ｎ
zij （ｔ）は（ｔ−１）回目の結果から、まず式（１
１）（１２）のように計算する。A method for sequentially solving simultaneous equations will be described. Calculation result of the t-th time N xij (t), N yij (t), N
zij (t) is calculated from the (t-1) th result by the expression (1
1) Calculate as in (12).
【００４０】[0040]
【数１０】 [Equation 10]
【００４１】[0041]
【数１１】 [Equation 11]
【００４２】更に、式（５）を満たすように、Further, to satisfy the equation (5),
【００４３】[0043]
【数１２】 [Equation 12]
【００４４】により修正する。この演算を繰り返すこと
により大域的にもっともらしい法線方向が各画素毎に得
られる。It is corrected by By repeating this calculation, a globally plausible normal direction can be obtained for each pixel.
【００４５】以上の方法で得られた各Ｎijを用い、新し
い光源方向ベクトルＳ’を与えることにより、式（２）
により各画素の表面色が得られる。この対象画像を前記
マスクに従って背景画像に書き込めば、光源方向が一致
して合成された画像が得られる。By using each N ij obtained by the above method and giving a new light source direction vector S ', equation (2)
Thus, the surface color of each pixel is obtained. If this target image is written on the background image according to the mask, an image in which the light source directions are matched and combined is obtained.
【００４６】[0046]
【実施例】本発明の実施例を図１を参照しながら説明す
る。対象の画像は対象画像メモリ１０１にＲ，Ｇ，Ｂ各
８ビットの画像で格納される。この画像から切り出され
る対象部分を示すマスクが二値画像としてマスク画像メ
モリ１０２に、対象が合成される背景の画像は、Ｒ，
Ｇ，Ｂ各８ビットの画像で背景画像メモリ１０３に格納
される。EXAMPLE An example of the present invention will be described with reference to FIG. The target image is stored in the target image memory 101 as an 8-bit image for each of R, G, and B. The mask showing the target portion cut out from this image is a binary image in the mask image memory 102, and the background image on which the target is combined is R,
An 8-bit image for each of G and B is stored in the background image memory 103.
【００４７】対象画像の光源色及び対象の物体色が、そ
れぞれ光源色記憶手段１０４及び物体色記憶手段１０５
に格納される。光源色は通常白が用いられるが、画像中
から手動又は自動に抽出してもよい。物体色は対象表面
上の色分布から同様に手動又は自動で抽出される。表面
色解析手段１０６は、対象物体の表面色（Ｒij，Ｇij，
Ｂij）から式（３）を解くことにより各画素の物体色成
分αij及び光源色成分βijを計算する。この演算は、The light source color of the target image and the target object color are the light source color storage means 104 and the object color storage means 105, respectively.
Stored in. White is usually used as the light source color, but it may be extracted manually or automatically from the image. Object colors are likewise manually or automatically extracted from the color distribution on the target surface. The surface color analysis means 106 is a surface color (R ij , G ij ,
The object color component α ij and the light source color component β ij of each pixel are calculated by solving the equation (3) from B ij ). This operation is
【００４８】[0048]
【数１３】 [Equation 13]
【００４９】を各画素につき実行することにより実現さ
れる。尚、（Ｒe ，Ｇe ，Ｂe ）t は誤差成分であり、
（Ｒo ，Ｇo ，Ｂo ）t と（Ｒs ，Ｇs ，Ｂs ）t の外
積である。得られた｛αij｝，｛βij｝は成分メモリ１
０７に格納される。同時に、式（８）で示された信頼度
Ｒ1ij 及びＲ2ij も信頼度メモリ１０８に格納される。This is implemented by executing for each pixel. Note that (R e , G e , Be ) t is an error component,
It is the outer product of (R o , G o , B o ) t and (R s , G s , B s ) t . The obtained {α ij }, {β ij } is the component memory 1
It is stored in 07. At the same time, the reliability levels R 1ij and R 2ij expressed by the equation (8) are also stored in the reliability level memory 108.
【００５０】作用の項で述べたように物体の境界では、
法線は接線に垂直の方向になる。境界法線方向計算手段
１０９は、マスク画像メモリ１０２の二値画像の境界を
時計回りに追跡し、接線方向を求め、進行方向垂直左側
を向いた方向ベクトルとして求める。これは従来技術で
容易に実現できる。得られた法線方向ベクトルは法線方
向ベクトルメモリ１１０の境界の画素に書き込まれると
共に、信頼度メモリ１０８の対応画素の値は“１”とさ
れる。As described in the action section, at the boundary of the object,
The normal is perpendicular to the tangent. The boundary normal direction calculation means 109 traces the boundary of the binary image in the mask image memory 102 in the clockwise direction, obtains the tangential direction, and obtains it as a direction vector pointing to the left side in the traveling direction. This can be easily achieved with conventional techniques. The obtained normal direction vector is written in the boundary pixel of the normal direction vector memory 110, and the value of the corresponding pixel of the reliability memory 108 is set to "1".
【００５１】また、操作者が対象画像をスイツチ１１１
で切り換えてモニタ１１２で観察し、表面の方向が確実
に視線方向を向いている部分についてマウスなどの法線
方向指定手段１１３を介して指定する。与えられた方向
は、法線方向ベクトルメモリ１１０に格納され、信頼度
メモリ１０８の対応画素の値は“１”とされる。Further, the operator switches the target image to the switch 111.
And the monitor 112 is observed, and a portion whose surface direction is definitely oriented in the line-of-sight direction is designated through the normal-direction designation unit 113 such as a mouse. The given direction is stored in the normal direction vector memory 110, and the value of the corresponding pixel in the reliability memory 108 is set to "1".
【００５２】操作者は対象画像を観察し、ほば正しいと
思われる光源方向ベクトルＳを、同様にパラメータ指定
手段１１４により与える。光源方向は、視線方向からの
高度角や方位角で与えてもよいが、球の３次元モデルを
作成して与えた角度から光源で球が光る状況を式（２）
により作成し、表示しながら調整すると対象画像との対
応がつきやすい。このとき式（２）の表面材質を示す
ｎ、環境光の割合を示すｄのパラメータも同時に調整
し、パラメータ記憶手段１１５に格納する。The operator observes the target image and gives the light source direction vector S which seems to be almost correct by the parameter designating means 114 in the same manner. The light source direction may be given by an altitude angle or an azimuth angle from the line-of-sight direction.
It is easy to make correspondence with the target image when created by, and adjusted while displaying. At this time, the parameter of n indicating the surface material and the parameter of d indicating the ratio of ambient light in the formula (2) are also adjusted and stored in the parameter storage means 115.
【００５３】法線方向復元手段１１６は、成分メモリ１
０７に格納された（αij，βij）、信頼度メモリ１０８
に格納された信頼度（Ｒ1ij ，Ｒ2ij ）、法線方向ベク
トルメモリ１１０に格納された法線方向初期値、及び、
パラメータ記憶手段１１５に格納されたＳ、ｄ、ｎから
式（１１）〜（１３）を十分な回数繰り返すことによ
り、各画素の法線方向を更新する。The normal direction restoring means 116 has the component memory 1
(Α ij , β ij ) stored in 07, reliability memory 108
Reliability (R 1ij , R 2ij ), the normal direction initial value stored in the normal vector memory 110, and
Equations (11) to (13) are repeated from S, d, and n stored in the parameter storage unit 115 a sufficient number of times to update the normal direction of each pixel.
【００５４】更新された法線方向ベクトル画像に対し、
操作者はスイッチ１１１を切り換え、背景画像を観察し
ながら新しい光源方向ベクトル及び反射モデルのパラメ
ータをパラメータ指定手段により与える。これらのパラ
メータはパラメータ記憶手段１１５に格納される。これ
らの新しいパラメータＳ、ｄ、ｎに基づき、表面色生成
手段１１７は式（２）により各画素の表面色を生成し、
対象画像の新しい光源方向に対応する表面色が生成され
る。画像合成手段１１８は、背景画像メモリ１０３の各
画素に対し、対応するマスク画像メモリ１０２中の画素
値が“１”のものに対し表面色生成手段１１７で生成さ
れた新しい表面色画像を書き込み、合成画像を作成す
る。合成された画像は、スイツチ１１１により背景画像
メモリをモニタ１１２に接続することにより表示するこ
とができ、またこれを印刷装置等に出力することによっ
て各種の利用が可能である。For the updated normal direction vector image,
The operator switches the switch 111 to give a new light source direction vector and a parameter of the reflection model by the parameter designating means while observing the background image. These parameters are stored in the parameter storage means 115. Based on these new parameters S, d, n, the surface color generation means 117 generates the surface color of each pixel by the equation (2),
A surface color corresponding to the new light source direction of the target image is generated. The image synthesizing unit 118 writes a new surface color image generated by the surface color generating unit 117 for each pixel of the background image memory 103 and having a pixel value of “1” in the corresponding mask image memory 102, Create a composite image. The combined image can be displayed by connecting the background image memory to the monitor 112 by the switch 111, and can be used in various ways by outputting it to a printing device or the like.
【００５５】[0055]
【発明の効果】以上説明したように本発明によれば、画
像中の光源方向が異なる画像を合成する場合にも、対象
の表面の法線方向をもっともらしく復元することにより
光源方向が揃った画像を作成することができるため、自
然な画像合成が可能となる。そのため、シミュレーショ
ン画像を作成する際にも、絵を描く熟練者の育成や３次
元モデルを作る手間を大きく省くことができるという効
果がある。As described above, according to the present invention, even when an image having different light source directions in an image is combined, the light source directions are aligned by restoring the normal direction of the surface of the object. Since images can be created, natural image composition is possible. Therefore, even when creating a simulation image, there is an effect that it is possible to greatly save the trouble of training a skilled person who draws a picture and making a three-dimensional model.
【図１】本発明の実施例を示す構成図FIG. 1 is a configuration diagram showing an embodiment of the present invention.
【図２】画像合成の説明図FIG. 2 is an explanatory diagram of image composition.
【図３】従来の画像合成方法の説明図FIG. 3 is an explanatory diagram of a conventional image synthesizing method.
【図４】従来の方法の問題点の説明図FIG. 4 is an explanatory diagram of problems of the conventional method.
【図５】本発明の作用の説明図FIG. 5 is an explanatory view of the operation of the present invention.
【図６】本発明の作用の説明図FIG. 6 is an explanatory view of the operation of the present invention.
【図７】本発明の作用の説明図FIG. 7 is an explanatory view of the operation of the present invention.
１０１ 対象画像メモリ １０２ マスク画像メモリ １０３ 背景画像メモリ １０４ 光源色記憶手段 １０５ 物体色記憶手段 １０６ 表面色解析手段 １０７ 成分メモリ １０８ 信頼度メモリ １０９ 境界法線方向計算手段 １１０ 法線方向ベクトルメモリ １１３ 法線方向指定手段 １１４ パラメータ指定手段 １１５ パラメータ記憶手段 １１６ 法線方向復元手段 １１７ 表面色生成手段 １１８ 画像合成手段 101 target image memory 102 mask image memory 103 background image memory 104 light source color storage means 105 object color storage means 106 surface color analysis means 107 component memory 108 reliability memory 109 boundary normal direction calculation means 110 normal direction vector memory 113 normal line Direction designation means 114 Parameter designation means 115 Parameter storage means 116 Normal direction restoration means 117 Surface color generation means 118 Image composition means
Claims (7)
反射成分と鏡面反射成分に分離し、両成分の信頼度を計
算し、得られた両成分と信頼度とから反射モデルを利用
して表面の各画素の法線方向を復元し、前記法線方向と
与えられた新たな照明方向と前記反射モデルにより照明
方向の変更された画像を生成することを特徴とする画像
の照明方向の変更方法。1. A surface color of a target object in a color image is separated into a diffuse reflection component and a specular reflection component, the reliability of both components is calculated, and a reflection model is used from the obtained both components and reliability. The normal direction of each pixel on the surface is restored, and an image in which the normal direction and the given new lighting direction and the lighting direction have been changed by the reflection model is generated. Modification method.
反射成分と鏡面反射成分に分離し、両成分の信頼度を計
算し、対象物体の領域の境界条件から求めた法線方向や
対話的に与えた表面部分の法線方向を高い信頼度の情報
として利用し、反射モデルを利用して表面の各画素の法
線方向を復元し、前記法線方向と与えられた新たな照明
方向と前記反射モデルにより照明方向の変更された画像
を生成することを特徴とする画像の照明方向の変更方
法。2. The normal direction and dialogue obtained by separating the surface color of the target object in the color image into a diffuse reflection component and a specular reflection component, calculating the reliability of both components, and calculating from the boundary conditions of the region of the target object. The normal direction of the surface part given as a reference is used as information of high reliability, the normal direction of each pixel on the surface is restored by using the reflection model, and the normal direction and a new illumination direction given. And an image in which the illumination direction is changed by the reflection model, a method for changing the illumination direction of the image.
記カラー画像の光源色を記憶する光源色記憶手段と、同
じく物体色を記憶する物体色記憶手段と、前記カラー画
像、光源色、物体色から対象の表面色を物体色成分及び
光源色成分に分離し、また各成分の信頼度を画素毎に計
算する表面色解析手段と、前記両成分を記憶する成分メ
モリと、前記信頼度を記憶する信頼度メモリと、前記カ
ラー画像の光源方向及び反射モデルのパラメータを記憶
するパラメータ記憶手段と、法線方向を保持する法線方
向ベクトルメモリと、前記法線方向ベクトルメモリの各
画素毎の法線方向を前記成分メモリ、前記信頼度メモ
リ、前記パラメータ記憶手段の内容を参照しながら更新
し法線方向を復元する法線方向復元手段と、前記法線方
向ベクトルメモリに残された各画素の法線方向と前記パ
ラメータ記憶手段の内容により対象表面の各画素の表面
色を反射モデルに基づき生成する表面色生成手段とを含
むことを特徴とする画像の照明方向の変更装置。3. An image memory for storing a color image, a light source color storage means for storing a light source color of the color image, an object color storage means for similarly storing an object color, the color image, the light source color, and the object color. From the target surface color into an object color component and a light source color component, and a surface color analysis means for calculating the reliability of each component for each pixel, a component memory for storing both components, and the reliability stored Reliability memory, parameter storage means for storing the light source direction of the color image and the parameters of the reflection model, a normal direction vector memory for holding the normal direction, and a method for each pixel of the normal direction vector memory. The normal direction restoring means for updating the normal direction by updating the normal direction with reference to the contents of the component memory, the reliability memory, and the parameter storage means, and remaining in the normal vector memory. A device for changing the illumination direction of an image, comprising: a normal color direction of each pixel and surface color generation means for generating a surface color of each pixel of the target surface based on a reflection model based on the contents of the parameter storage means. ..
像中の対象部分をマスク画像として格納するマスク画像
メモリと、前記画像の光源色を記憶する光源色記憶手段
と、同じく物体色を記憶する物体色記憶手段と、前記カ
ラー画像、光源色、物体色から対象の表面色を物体色成
分及び光源色成分に分離し、また各成分の信頼度を画素
毎に計算する表面色解析手段と、前記両成分を記憶する
成分メモリと、前記信頼度を記憶する信頼度メモリと、
前記マスク画像から対象の境界を追跡し、境界部分につ
いて信頼度の高い法線方向を求め出力し、高い信頼度を
前記信頼度メモリに書き込む境界法線方向計算手段と、
前記カラー画像の光源方向及び反射モデルのパラメータ
を記憶するパラメータ記憶手段と、法線方向とともに、
復元処理の間、更新される法線方向を保持する法線方向
ベクトルメモリと、前記法線方向ベクトルメモリの各画
素毎の法線方向を前記成分メモリ、前記信頼度メモリ、
前記パラメータ記憶手段の内容を参照しながら更新し法
線方向を復元する前記復元処理を行なう法線方向復元手
段と、前記法線方向ベクトルメモリに残された各画素の
法線方向と前記パラメータ記憶手段の内容より対象表面
の各画素の表面色を反射モデルに基づき生成する表面色
生成手段とを含むことを特徴とする画像の照明方向の変
更装置。4. An image memory for storing a color image, a mask image memory for storing a target portion in the image as a mask image, a light source color storage means for storing a light source color of the image, and an object color for the same. An object color storage means, a color image, a light source color, a surface color analysis means for separating a target surface color from the object color into an object color component and a light source color component, and calculating the reliability of each component for each pixel, A component memory that stores both components, and a reliability memory that stores the reliability,
Boundary normal direction calculation means for tracing the boundary of the target from the mask image, obtaining and outputting a highly reliable normal direction for the boundary portion, and writing a high reliability in the reliability memory,
Parameter storage means for storing the light source direction of the color image and the parameters of the reflection model, along with the normal direction,
During the restoration process, a normal direction vector memory that holds the updated normal direction, and a normal direction for each pixel of the normal direction vector memory, the component memory, the reliability memory,
Normal direction restoring means for performing the restoration process for restoring the normal direction by referring to the contents of the parameter storing means, normal direction of each pixel left in the normal direction vector memory, and the parameter storage A device for changing an illumination direction of an image, comprising: a surface color generation unit that generates a surface color of each pixel on the target surface based on the content of the unit based on a reflection model.
向を対話的に指定しその法線方向を法線方向ベクトルメ
モリに書き込み、高い信頼度を前記信頼度メモリに初期
値として書き込む法線方向指定手段を含むことを特徴と
する請求項３又は４記載の画像の照明方向の変更装置。5. A normal direction of a portion whose surface normal direction is apparent is interactively specified, and the normal direction is written in a normal direction vector memory, and a high reliability is written in the reliability memory as an initial value. The image illumination direction changing device according to claim 3, further comprising a normal direction designating unit.
変更方法により、対象画像の照明方向を背景画像の照明
方向に合わせることにより自然な合成画像を作成するこ
とを特徴とする画像合成方法。6. A method for changing the illumination direction of an image according to claim 1, wherein a natural synthetic image is created by matching the illumination direction of the target image with the illumination direction of the background image. Method.
像メモリと、請求項４又は５記載の画像の照明方向変更
装置により画像の照明方向が変更された画像の、マスク
画像メモリの内容で対象部分とされた部分を前記背景画
像メモリに書き込む画像合成手段とを含むことを特徴と
する画像合成装置。7. A background image memory for storing a background image for composition, and the contents of a mask image memory of an image whose illumination direction is changed by the image illumination direction changing device according to claim 4 or 5. An image synthesizing device, comprising: an image synthesizing unit that writes a target portion into the background image memory.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30295491A JP2692458B2 (en) | 1991-11-19 | 1991-11-19 | Image illumination direction changing method and apparatus, and image synthesizing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30295491A JP2692458B2 (en) | 1991-11-19 | 1991-11-19 | Image illumination direction changing method and apparatus, and image synthesizing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05233826A true JPH05233826A (en) | 1993-09-10 |
| JP2692458B2 JP2692458B2 (en) | 1997-12-17 |
Family
ID=17915152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30295491A Expired - Lifetime JP2692458B2 (en) | 1991-11-19 | 1991-11-19 | Image illumination direction changing method and apparatus, and image synthesizing method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2692458B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08249498A (en) * | 1995-03-13 | 1996-09-27 | Casio Comput Co Ltd | Image processor |
| US6633304B2 (en) | 2000-11-24 | 2003-10-14 | Canon Kabushiki Kaisha | Mixed reality presentation apparatus and control method thereof |
| JP2008004085A (en) * | 2006-05-23 | 2008-01-10 | Matsushita Electric Ind Co Ltd | Image processing device, image processing method, program, recording medium and integrated circuit |
| KR100834157B1 (en) * | 2006-11-20 | 2008-06-02 | 중앙대학교 산학협력단 | Method for Light Environment Reconstruction for Image Synthesis and Storage medium storing program therefor. |
| JP2014074969A (en) * | 2012-10-02 | 2014-04-24 | Toshiba Corp | Image processor, and method thereof |
| JP2020098527A (en) * | 2018-12-19 | 2020-06-25 | 凸版印刷株式会社 | Image processing system and image processing method |
-
1991
- 1991-11-19 JP JP30295491A patent/JP2692458B2/en not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08249498A (en) * | 1995-03-13 | 1996-09-27 | Casio Comput Co Ltd | Image processor |
| US6633304B2 (en) | 2000-11-24 | 2003-10-14 | Canon Kabushiki Kaisha | Mixed reality presentation apparatus and control method thereof |
| JP2008004085A (en) * | 2006-05-23 | 2008-01-10 | Matsushita Electric Ind Co Ltd | Image processing device, image processing method, program, recording medium and integrated circuit |
| KR100834157B1 (en) * | 2006-11-20 | 2008-06-02 | 중앙대학교 산학협력단 | Method for Light Environment Reconstruction for Image Synthesis and Storage medium storing program therefor. |
| JP2014074969A (en) * | 2012-10-02 | 2014-04-24 | Toshiba Corp | Image processor, and method thereof |
| US9111377B2 (en) | 2012-10-02 | 2015-08-18 | Kabushiki Kaisha Toshiba | Apparatus and method for generating a multi-viewpoint image |
| JP2020098527A (en) * | 2018-12-19 | 2020-06-25 | 凸版印刷株式会社 | Image processing system and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2692458B2 (en) | 1997-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR970003325B1 (en) | Computer graphics display method and system with shadow generation | |
| US7106348B2 (en) | Texture information assignment method, object extraction method, three-dimensional model generating method, and apparatus thereof | |
| US5577175A (en) | 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation | |
| US6462738B1 (en) | Curved surface reconstruction | |
| US5268996A (en) | Computer image generation method for determination of total pixel illumination due to plural light sources | |
| EP1424655B1 (en) | A method of creating 3-D facial models starting from facial images | |
| US4763280A (en) | Curvilinear dynamic image generation system | |
| US6211884B1 (en) | Incrementally calculated cut-plane region for viewing a portion of a volume data set in real-time | |
| US6744430B1 (en) | Image processing method and its apparatus | |
| JPH06231275A (en) | Picture simulation method | |
| US20040095385A1 (en) | System and method for embodying virtual reality | |
| US20030198402A1 (en) | System and method for image-based surface detail transfer | |
| US20020150288A1 (en) | Method for processing image data and modeling device | |
| US6552726B2 (en) | System and method for fast phong shading | |
| JP3855053B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2692458B2 (en) | Image illumination direction changing method and apparatus, and image synthesizing method and apparatus | |
| JPH11213132A (en) | Method for generating three-dimensional face model having optional expression | |
| US7034827B2 (en) | Extension of fast phong shading technique for bump mapping | |
| JP3035571B2 (en) | Image processing device | |
| JP2007272847A (en) | Lighting simulation method and image composition method | |
| Pilet et al. | Retexturing in the presence of complex illumination and occlusions | |
| JP2786261B2 (en) | Color image processing method | |
| JPH10149455A (en) | Picture generation/display device and generated/ displayed picture compiling device | |
| JPS63237172A (en) | Method and device for color change of color picture | |
| EP1001375A2 (en) | Pipelined cropping for manipulating volume data sets in real-time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970805 |