JPH06231275A

JPH06231275A - 画像シミュレーション方法

Info

Publication number: JPH06231275A
Application number: JP5034721A
Authority: JP
Inventors: Hideo Noyama; 英郎野山; Makoto Kato; 誠加藤; Makoto Nomi; 誠能見; Yuri Takizawa; 由里瀧澤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-01-29
Filing date: 1993-01-29
Publication date: 1994-08-19
Also published as: US5594850A

Abstract

(57)【要約】【目的】コンピュータ・グラフィックスによって作ら
れた画像を、即座に画像シミュレーションに用いること
のできる画像シミュレーション方法の提供。【構成】コンピュータ・グラフィックスでＣＧ画像を
作成する処理と同時に、（１）画像をセグメンテーショ
ンしてマスク画像を作り、（２）マスク属性テーブルの
設定をデータの変換によって行ない、（３）成分分解画
像（物体色成分、光源色成分、環境色成分）の作成をデ
ータの変換によって行ない、これらを保存する。そし
て、前記マスク画像を用いてコンピュータ・グラフィッ
クス画像の一部を切り抜き、自然画像など異なる画像と
の組合せ合成を行ない、その際前記属性情報に基づいて
透明処理等の画像処理を行なう。また、物体色ベクトル
等を変更することにより物体の色等を変更する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル画像処理に
おける画像シミュレーション方法に係り、例えば、コン
ピュータ・グラフィックス画像、自然画像、文字を自由
に組み合わせて合成画像を作る画像シミュレーション方
法、または、これらの組み合わせからなる合成画像中の
対象領域に色彩変更などを行なう画像シミュレーション
方法に関する。

【０００２】

【従来の技術】印刷業や放送局等では、カメラで撮影さ
れた画像をそのまま用いるだけでなく、ある画像に他の
画像を組み込んで新たな画像を作るはめ込み印刷やクロ
マキ−合成が行なわれている。デジタル化した画像を加
工する画像シミュレーションにおいても、画像合成や色
彩変更などが行われているが、これらは以下の手順を踏
むことで実現されている。（１）画像の準備重畳したい物体が写っている物体画像と重畳先となる背
景画像を準備する。例えば、好みの自動車を自分の家の
前に置いた画像を得たいときは、自動車の映っているス
ナップ写真を物体画像とし、自宅の映っている風景写真
を背景画像として用意する。（２）セグメンテーション重畳画像の中から重畳したい領域を切り出し（この領域
をマスクと称する）部品画像を作成する。例えば、上記
の自動車の画像中の車体の領域である。マスクの生成方
法については、例えば、グラフィックデザイナーのため
のデジタルペインティング入門と題し、ＰＩＸＥＬＮ
ｏ．８４ＰＰ．１８１−１８４に述べられている。（３）属性定義マスクによって切り分けられた領域に対して、処理の種
類やその処理に必要な情報を付与する。この作業は、セ
グメンテーションした目的と直接的に関係し、人間が必
要な情報を定義していく。すなわち、色彩画像は本来、
色のついた画素が規則正しく並んでいるに過ぎず、人間
が画像を見たとき、物体を認識したり、物体形状を想像
できるのは、物体の形状に関する知識や光源と面の方向
による見え方の知識を持っているからに他ならない。し
たがって、自然画像だけが与えらる場合は、これらの知
識を人間が補わなければならない。

【０００３】そこで、画像シミュレーションを行なうた
めの前処理として、カメラなどで撮影された自然画像を
デジタル化した画像に対して、人手によって以上に述べ
た処理が行なわれている。画像シミュレーションにおい
て画像合成を行う場合は、マスクに基づいて画像中の領
域を切りだし、その領域に付与された属性に従って、用
意されたもう一つの画像と合成処理、すなわち色彩値の
演算を行う。

【０００４】一方、コンピュータ・グラフィックスによ
って作られた画像（以下、ＣＧ画像）についても、自然
画像と組み合わせて合成画像を作ることがある。さて、
ＣＧ画像を画像シミュレーションで用いる場合において
も、自然画像と同様な前処理を行なう必要がある。なぜ
なら、コンピュータ・グラフィックスはＣＧ画像を作る
ことを目的としており、ＣＧ画像として画像化された時
点で色彩画像になるのが普通だからである。ところで、
ＣＧ画像はセグメンテーションの複雑さという面で２つ
に分類できる。第１は、例えば自動車などの１つの物体
をＣＧ画像で作った場合であり、このような時は物体の
背景に何も書かれていないことが多いので、画像から自
動車の領域を切り出すのも簡単である。第２は、１つの
風景をＣＧ画像で作った場合であり、このような時は幾
つもの物体が画像中に混在しており、１つの物体を切り
出す作業は自然画像の場合と同じくらい困難である。

【０００５】また、特願平３−１３２５９５号で述べら
れているような色彩変更シミュレーションを、ＣＧ画像
中あるいはＣＧ画像と自然画像の合成画像中の物体に対
して行なうためには、変更を行なう領域をマスクによっ
て切り分けると共に、領域内の成分分解画像を作成しな
ければならない。一般に、色は、赤（Ｒ）・緑（Ｇ）・
青（Ｂ）の濃度階調を用いて直接表現することが多い
が、成分分解画像は、色の成分を塗料の色にあたる物体
色と照明の直接光である光源色、周囲の物体による光の
乱反射である環境色に分けて、各成分の最大値に対する
割合を持たせたものである。成分分解画像は、以下の手
順によって作られるのが一般的である。（１）成分分解画像を作るためには、各成分の方向ベク
トルを決めてやらなければならない。なぜなら、画像は
各成分が混ざりあったものであるため、画素の色を各成
分に分離することは難しいからである。そこで、各画素
をＲＧＢ空間にプロットし、その分布を調べる。（２）環境色を一定と仮定すると、画素の色は物体色と
光源色のベクトル和で表わされるので、プロットした点
は二つのベクトルを含む平面上に分布していることにな
る。そこで人間は画素の分布を見て、全てのプロットし
た点を囲む最小の平行四辺形を作図する。（３）平行四辺形の２つの辺が物体色と光源色成分の方
向ベクトルに相当するので、それぞれの画素の色を各方
向ベクトル上に投影し、各成分の最大値との比を計算す
ることで成分分解値を求めることができる。以上のように、ＣＧ画像を画像シミュレーションに利用
する為に、用意した画像に対して人間が、前処理すなわ
ち、マスクによるセグメンテーションを行ない、成分分
解画像の作成をおこなっていた。そして、画像シミュレ
ーションにおいて色彩変更をする場合は、成分分解画像
を作成する際に基準となった物体色ベクトル、あるいは
光源色ベクトルを変更し、物体色成分あるいは、光源色
成分を再構成することによって、物体色の変更あるい
は、光源色の変更を行った。

【０００６】また、特願平３−２７９２６３号で述べら
れているような部品変更シミュレーションをＣＧ画像中
で行なうために、変更を行なう領域を変更しない領域と
マスクによって切り分け、貼付る元の画像中に矩形を設
定し、一方、その矩形を変形して４角形領域に貼付ると
して、貼付られる画像中で４つの頂点の対応点を指定し
ていた。いま、貼付る画像の４点の座標（同時座標系）
を（ｘｓｉ，ｙｓｉ，１），貼付られる画像中での対応
点の座標を（ｘｄｉ，ｙｄｉ，１）とする（ｉ＝１〜
４）。このとき、（ｘｓｉ，ｙｓｉ，１）を（ｘｄｉ，
ｙｄｉ，１）に移す変換行列をＡとする。この関係は式
１で表される。

【０００７】

【数１】

【０００８】すなわち、（ｘｄｉ，ｙｄｉ，１）はｘｓ
ｉとｙｓｉを用いて、式２で表される。

【０００９】

【数２】

【００１０】式２を通常座標に直すと、ｘｄｉ，ｙｄｉ
は式３で表される。

【００１１】

【数３】

【００１２】式３を行列で書き表すと式４になる。

【００１３】

【数４】

【００１４】ここで、式４のＴ₁の逆行列Ｔ₂が得られれ
ば、次式５により行列Ａの係数が求められる。

【００１５】

【数５】

【００１６】逆行列を求める一般的な方法には、ガウス
の掃き出し法があり、これによって変換行列Ａが求まれ
ば、指定領域へのテクスチャマッピングが可能になる。
また、ＣＧ画像中の物体の向きを変える場合は、コンピ
ュータ・グラフィックスで物体の形状モデルを移動し、
新たにＣＧ画像を作成していた。また、文字や模様デザ
インを自然画像やＣＧ画像中で使う場合に、文字の色や
線の太さを変更したり、文字の形を変形するために、ア
ウトラインデータやビットマップイメージを持ち、幾何
変換や塗りつぶし色の指定を行なっていた。

【００１７】

【発明が解決しようとする課題】かかる従来の方法にお
いては、次のような問題がある。コンピュータ・グラフ
ィックスで画像を作った場合、本来は、形状に関する３
次元モデル、画面への投影方法、陰線・陰面処理、光源
の種類や陰影などの情報が与えられている筈である。し
かし、従来のＣＧ画像は可視化するのが目的であり、画
像シミュレーションに用いる場合は、人間が前処理を行
なってセグメンテーション等をする必要があり、入力手
段から得られたＣＧ画像を即座には利用できなかった。

【００１８】本発明の第１の目的は、コンピュータ・グ
ラフィックスで作られたＣＧ画像を自然画像と合成する
画像シミュレーション方法を提供することである。本発
明の第２の目的は、ＣＧ画像、あるいは、ＣＧ画像と自
然画像を合成して作られた合成画像を即座に画像シミュ
レーションに利用し、画像中の対象領域の色彩を変更す
る画像シミュレーション方法を提供することである。本
発明の第３の目的は、コンピュータ・グラフィックスで
作られたＣＧ画像を即座に画像シミュレーションに利用
し、画像中の領域にテクスチャマッピングを行なう画像
シミュレーション方法を提供することである。本発明の
第４の目的は、ＣＧ画像、あるいは、ＣＧ画像と自然画
像を合成して作られた合成画像中にあるコンピュータ・
グラフィックスで作られた物体の向きの変更を行なう画
像シミュレーション方法を提供することである。本発明
の第５の目的は、文字や模様デザインについても幾何変
換等をして貼付するだけでなく、マスクの演算などを利
用した画像シミュレーション方法を提供することであ
る。

【００１９】

【課題を解決するための手段】本発明は、上記第１の目
的を達成するため、コンピュータ・グラフィックスでＣ
Ｇ画像を作成する処理と同時に、（１）画像をセグメン
テーションしてマスク画像を作る。さらに、（２）マス
ク属性テーブルの設定を、データの変換によって行な
う。このため、（１）同じ性質の物体が投影された画像
上の領域に同一のマスク値を書き込む処理を有し、さら
に、（２）マスク値と物体の性質を関連付けるテーブル
を作成する処理を有し、マスク値の画素からなるマスク
画像を画像シミュレーション用データとして蓄積し、さ
らにはマスクの性質を記述したマスク属性テーブルを画
像シミュレーション用データとして蓄積する。そして、
このマスク画像を用いてコンピュータ・グラフィックス
画像から所望の画像だけを切り抜くことにより、該切り
抜いた画像と自然画などの異なる画像との組合せ合成を
行なう。また、前記属性情報に基づいて透明処理の処理
を行なう。本発明は更に、上記第２の目的を達成するた
め、コンピュータ・グラフィックスでＣＧ画像を作成す
る処理と同時に、（１）画像をセグメンテーションして
マスク画像を作り、（２）成分分解画像の作成をデータ
の変換によって行なう。このため、（１）物体上で同じ
ペイントがされている領域を画像上に投影し、その領域
に同一のマスク値を書き込む処理と、（２）光源色、光
の減衰率、物体の拡散反射率、境面反射率から色彩画像
の値を計算する過程で成分分解画像を作成する処理を有
し、色彩変更を行う領域を画像中から切りぬくためのマ
スク画像とその領域の成分分解画像、および、光源色ベ
クトル、物体色ベクトルを画像シミュレーション用デー
タとして蓄積する。そして、物体色ベクトル等を変更す
ることにより物体の色等の変更をする。本発明は更に、
上記第３の目的を達成するため、コンピュータ・グラフ
ィックスで作成した物体の表面について、同一の法線を
持つ領域で領域分割したマスクからなるマスク画像を作
成する処理を有し、物体表面の法線を保存するために、
作成したマスク画像とマスクに対応して法線の方向を記
述したマスク属性テーブルを画像シミュレーション用デ
−タとして蓄積する。そして、物体表面への画像のテク
スチャマッピングを画像の幾何変換によって行なう。本
発明は更に、上記第４の目的を達成するため、コンピュ
ータ・グラフィックスで作成した物体の表面について、
同一の法線を持つ領域で分割したマスクからなるマスク
画像を作成する処理を有し、作成したマスク画像と物体
表面の法線を保存し、さらに、画像シミュレーションの
処理において、画像中の物体の向きを変更したときの各
面の法線を入力、保存し、物体の向きの微少な変更を前
記保存処理された情報を基に各面の幾何変換によって行
なう。本発明は更に、上記第５の目的を達成するため、
文字や模様デザインのアウトラインデータやビットマッ
プデータからマスク画像を作る処理と、マスクを加減算
する処理を有し、さらに、マスク値と文字や模様デザイ
ンの性質を関連付けるテーブルを作成して蓄積する。そ
して、文字や模様の画像から文字等の一部もしくは全部
を抜き出すことにより、自然画やＣＧ画像など異なる画
像との組合せ合成を行なう。

【００２０】

【作用】コンピュータ・グラフィックスによってＣＧ画
像を作る際に、ＣＧ画像を自然画像の中に合成する為に
必要なマスク画像及びマスク属性テーブルが自動的に作
成されるので、事実上人間による前処理が不要となり、
ＣＧ画像を用いた画像合成シミュレーションが即刻かつ
簡単にできるようになる。また、コンピュータ・グラフ
ィックスによって作られた色彩画像の値は、光源色、物
体色、環境色に分離して保存されているため、人間が画
素の色分析をする必要はなく、したがって、ＣＧ画像の
色彩変更シミュレーションが即刻かつ簡単にできるよう
になる。また、ＣＧ画像中の物体表面が、面の向きごと
に領域分割され、それぞれの面の法線方向が保存されて
いるので、改めて面の向きを定義する処理を必要としな
いので、画像のテクスチャマッピングを即刻かつ簡単に
行えるようになる。また、物体の各面の法線と物体の向
きを変えたときの法線の向きが与えられているので、面
同志の接続関係を考慮して面ごとに幾何変換を行なえ
ば、コンピュータ・グラフィックスを用いなくても物体
の向きの変更が多少可能になる。また、文字や模様デザ
インが、マスクを持った画像に自動的に変換されるた
め、文字等の切りだしを改めて行なうことなく他の画像
のマスクとの加減算を行なうことができ、単に文字等を
自然画像と組み合わせるだけでなく、これによってテク
スチャマッピングした文字等の色彩変更シミュレーショ
ンなどを簡単に行なうことができるようになる。

【００２１】

【実施例】以下、図１〜図４を用いて、本発明の１実施
例を説明する。図１は、本発明をＣＧ画像と自然画像の
合成を行なう画像シミュレーションシステムに適用した
場合の１実施例を示す処理手順の説明図であり、図２
は、ＣＧ画像を作る際に画像シミュレーション用のデー
タ変換を行なうデータ変換部のアルゴリズムを示すフロ
ーチャートであり、図３は、画像シミュレーションにお
いてＣＧ画像と自然画像の合成、及び、ＣＧで作った合
成画像中の物体の色彩変更を行なうために、データ変換
によって作成され、記憶装置に蓄積される基本データ構
成要素であり、図４はコンピュータ・グラフィックスの
形状モデルからマスク画像を作る処理についての説明図
である。

【００２２】図１において、ＣＧモデル１０は、物体の
形状や物体表面の属性からなる物体モデル１２と、光源
の位置や光の色特性など光源モデル１４と、視点の位置
１６から構成されている。通常のコンピュータ・グラフ
ィックスは、ＣＧモデル１０を２次元平面に投影したＣ
Ｇ画像２０を作ることが目的とされるが、本発明では画
像２０を作るのと同時にデータ変換部１００によって、
画像シミュレーション用データが作成され、変換データ
記憶装置２１に蓄積される。変換データは、マスク画像
２２、マスク属性テーブル２３、陰影画像２４、スケー
ル値２５、成分分解画像２８、等から構成される。

【００２３】まず、これらの変換データについて説明す
る。図３は、記憶装置に蓄積された変換データの詳細説
明図であり、自然画像中にＣＧ画像を重畳合成するため
にＣＧ画像に必要な基本データ群である。ＣＧ画像の１
例として、色彩画像２０が、屋根６２と壁６３と窓６４
からなる家と外部６１によって構成されているとき、マ
スク画像２２も、屋根部７２と壁部７３と窓部７４と外
部７１に領域分割され、マスク領域７１に０、マスク領
域７２に１、マスク領域７３に２、マスク領域７４に３
が対応付けられている。また、マスク属性テーブル２３
は、マスク領域に付けられた番号４２と名称４４、さら
に、その属性４５として透明か不透明かという情報を結
び付ける表であり、セグメンテーションの種類によって
表の属性は多種多様になる。一方、成分分解画像２８
は、画像シミュレーションで色彩変更をしたい部分のみ
に必要な値であり、屋根部８２、壁部８３、窓部８４で
別々に計算される。また、この画像は一般に用いられる
３原色の混合比率によって画素の色を記述した方式と違
い、画素毎に物体自体の色である物体色と光源の反射に
よる光源色と環境の色を保存する各成分分解値の組の集
まりである。これらの値を計算するための手順について
は後述する。

【００２４】次に、コンピュータ・グラフィックスの形
状モデルからマスク画像を作る処理について、図４を用
いて説明する。コンピュータ・グラフィックスの形状モ
デル２３０が図４に示す３次元空間内にあるとき、これ
を平行投影によって投影面２４０に投影する。この結
果、投影面２４０に形状モデルの影にあたる領域２５０
が映し出される。このとき、投影面２４０を画像とし、
領域２５０に含まれる画素に、領域外２６０と異なる値
を与えることによって、２つの値からなる画像を作るこ
とができる。もちろん、このようにして作成した画像内
の領域を分割する画像は、ＣＧ画像と一致しなければな
らず、投影面や投影方法はＣＧで用いるものと同じにし
なければならない。ＣＧ画像中の物体が、領域を分割す
る画像によって正しく切り分けられるとき、マスク画像
が作成されたということができる。

【００２５】次に、ＣＧ画像を作る際に上記変換データ
を作る為の処理の１例を、図２のフローチャートに基づ
いて説明する。コンピュータ・グラフィックスでは、光
源の光を追跡してスクリーン上の色を求め、ＣＧ画像を
作成するのが一般的であるが、１枚の画像領域だけが分
かれば良い場合は、視点から逆に光線追跡をしたほうが
効率的である。したがって、図２における「はじめ」
（１００）は、画像の左上端点画素から始め、その画素
の色が決定するまで光線の辿ってきた軌跡が追跡され、
色が決まると次の画素に移り（１０２）、画像の全ての
画素を調べたところでデータ変換処理は「おわり」（１
３６）となる。光線の軌跡の追跡は、視点を起点とし
て、視点とスクリーン上の画素を結ぶ直線上を物体に突
き当たるまで進み（１０４）、突き当たった対象が光源
であるかどうかを調べる（１０６）。対象が光源でない
場合は、対象が何であるかを特定し（１０８）、その結
果からマスク画像の対応画素にマスク番号４２を書き込
み（１０９）、対象の色や属性を決定して一時記録し
（１１０）、属性テーブル情報を保存する（１１１）。
さらに、ステップ１０４に戻り、光線の軌跡の追跡を続
行する。なお、ステップ１１０で一時記録された情報
は、後述のステップ１１５の後に、次の画素に関する情
報で書き替えられる。一方、突き当たった対象が光源
（環境光を含む）であるなら、光源の色が決定する（１
１２）。この場合、光源色とステップ１１１で記録した
拡散反射率の積である物体色ベクトルを計算し（１１
４）、さらに光源と物体表面の成す角度等を掛けあわせ
て物体色成分を求める（１１６）。また、光源色と物体
反射率の積である光源色ベクトルを計算し（１１８）、
さらに視点や光源と物体表面の成す角度を考慮して光源
色成分を求める（１２０）。光源追跡が終了した時点
で、光源色あるいは環境色が決まる（１２２）ので、こ
れらの値より画素の色を計算することができ（１２
４）、その結果を色彩画像に書き込むことで（１２６）
画素の色が決定する。次に、各色彩ベクトルに対する各
色彩成分の割合を求め（１２８）、これを成分分解値と
して成分分解画像に保存する（１３０）。ＣＧ画像の色
彩画像２０とマスク画像２２と成分分解画像２８が本処
理に従って作られたのち、マスクの種類が纏められてマ
スク属性テーブルが作成される（１３４）。前記データ
変換処理により、ＣＧ画像２０、そのマスク画像２２、
マスク属性テーブル２３、成分分解画像２８が作成され
た。一方、図１中の自然画像３０は、本来色の情報しか
持たないので、人間が前処理によって自然画像中の物体
を切り分け、自然画像のマスク画像３２を作成し、マス
ク属性テーブル３３を記述しておく。この実施例によれ
ば、コンピュータ・グラフィックスで作られたＣＧ画像
に対しても、自然画像の場合と同様な画像シミュレーシ
ョン用データを作ることによって、これらを組み合わせ
て即座に合成画像５０を作ることができる。さらに、成
分分解画像２８を利用して、色彩変更等の画像シミュレ
ーションを行なうことができる。

【００２６】上述の実施例において、ステップ１０８で
対象が特定され、その１例として対象が半透明な窓ガラ
ス（図５中、自動車の窓ガラス部６４）を含んでいると
き、図５に示すように、色彩画像２０は、透明な部分６
１と不透明な自動車のボディ部分６２と半透明な窓ガラ
ス部６４に分離され、マスク画像のマスク領域７１に
０、マスク領域７２に１、マスク領域７４に２、が書き
込まれる。さらに、マスク属性テーブル２３において、
マスクの番号４２に対応した属性として透過率４５がス
テップ１１７で記述される。この方法によれば、ＣＧ画
像２０と自然画像３０の合成シミュレーションにおい
て、図６に示す演算部３００によって、自動車の窓ガラ
ス部６４の後ろに物体６６をおき、窓ガラス部から後ろ
の物体６６が透けて見える処理を行なった領域５４を含
む合成画像を出力装置５０に表示することができる。本
方法を用いれば、窓ガラスや影などについても自然な表
現が可能になる。

【００２７】上述の実施例においては、光線の軌跡を視
点を起点として逆向きに追跡し、最初に到達した物体の
マスク値をマスク画像に書き込む処理であったが、例え
ば図８の色彩画像２０中の窓ガラス６４には、窓ガラス
の中に室内の様子が映り込んでおり、表面の窓ガラスを
記述するだけでは室内に他の物体６６を置くことはでき
ない。そこで、このような画像シミュレーションを実現
する１実施例として、データ変換部１００は図７に示す
記憶部３５２と記憶部３５４の二つを用意し、記憶部３
５２には、ガラス窓が無いものとして作成した色彩画像
２０とマスク画像２２とマスク属性テーブル２３を保存
し、記憶部３５４には、ガラス窓部だけの色彩画像２０
とマスク画像２２とマスク属性テーブル２３を保存す
る。さらに、演算部３００は、記憶部３５２と記憶部３
８０のデータを用いて合成画像を作成し、その合成画像
に対してさらに記憶部３５４のデータを重畳合成するこ
とによって、図８に示す出力装置５０に、窓ガラス６４
の後ろである室内に物体６６を合成した領域５５を含む
合成画像を表示することができる。

【００２８】上述の実施例は、セグメンテーションに関
係したデータ変換処理が中心であったが、本発明ではさ
らに、図９に示す記憶部３５６にＣＧ画像の実長を示す
尺度２５を記録するために、２点Ａ，Ｂの座標と実際の
２点間の距離を記述する記憶部４９を持たせ、実長を保
存することができる。このように、画像に実長が与えら
れていれば、画像中の位置から実際の長さを計算できる
データ３５を持った画像３０が与えられたとき、演算部
３００によって適切な重畳サイズを即座に計算し、出力
装置５０に対象７２をスケール変換して合成した画像を
表示することができるようになる。

【００２９】以上の実施例では、物体を物理的な性質に
よって分離する処理について述べたが、本発明における
データ変換では、その他の性質によって分離しても構わ
ない。例えば、物体表面の傾きによって分離したマスク
画像を図１０に示す。図１０のマスク画像２２は、４つ
の領域からなり、領域７１に０、領域１７１に１、領域
１７２に２、領域１７３に３が書き込まれている。さら
に、マスク属性テーブルを作成するステップ１１７にお
いて、マスクの番号４２に対応して面の向きを記述する
テーブルを用意し、面の法線の向き４６を記述する。こ
のようなマスクの作成と面の法線の記述によって、物体
表面へのテクスチャマッピングが可能となる。すなわ
ち、貼付る画像は初期状態では正面を向いているとすれ
ば、法線の向きはＮ０（ｘ，ｙ，ｚ）＝（０，０，１）
であるから、貼付られる面の法線をＮ１（α，β，γ）
とするとき、Ｎ０をＮ１に移す変換Ｔによって座標変換
を行なえば、物体表面に貼付る画像を作ることができ
る。変換Ｔは、Ｘ軸回りの回転を行なう変換ＴｘとＹ軸
回りの回転を行なう変換Ｔｙで実現できるので、一般的
に変換Ｔは式６の行列式で表現される。

【００３０】

【数６】

【００３１】式６より、α，β，γを求めると式７が得
られる。

【００３２】

【数７】

【００３３】すなわち、式７よりθ，φを求め、Ｙ軸回
りにφだけ回転させた後、Ｘ軸回りにθだけ回転させれ
ば良いといえる。

【００３４】さらに、上述の面によって分割したマスク
画像と面の法線に加えて、物体座標系からみた視点の方
向を記述しておくことで、視線方向を変更するシミュレ
ーション、または、物体の向きを変更するシミュレーシ
ョンが可能となる。この場合、初期状態における面の法
線が、（α０，β０，γ０）であるとすれば、上記式７
にそのまま当てはめることができるので、変更後の面の
法線が与えられた際に、各面の接続関係を保存しつつ面
ごとに幾何変換を行えば、物体の向きの多少の変更が可
能になる。物体の向きを変更する処理を図１１のフロー
チャートを用いて説明する。

【００３５】ステップ２００において、ＣＧ画像の端点
から画素のスキャンが始められ、まずステップ２０２に
おいて画素が属するマスクが調べられる。画素がいずれ
かのマスクに属するならば、その画素を含む部分の法線
がステップ２０４で与えられる。しかし、どのマスクに
も属さない場合は、処理がステップ２１８に移り、隣の
画素にスキャンが移動する。一方、物体の向きを変えた
とき、あるマスクの領域がどこに移動し、その法線がど
ちらの方向を向くかは与えられているので、画素の属す
るマスクが特定された時点で、ステップ２０６の貼り付
け先の法線は既知となる。いま、２０４と２０６によっ
て式６の（α，β，γ）と（ｘ，ｙ，ｚ）は与えられる
ので、ステップ２０８において変換行列Ｔが計算され、
ステップ２１０において画素が行列Ｔによって座標変換
される。さらに、ステップ２１２において変換画素が変
更後のマスク内に入るかどうかが調べられ、マスク内に
あるときはステップ２１４において色彩値の書き込みが
なされる。さて、元のＣＧ画像の全画素について、本処
理が行われた場合のみ、ステップ２１６の処理は２１８
に移らず、ステップ２２０に移り、各面の接続関係に基
づいて、ステップ２２２において変換された領域が平行
移動され本来の接続関係に戻される。以上の処理によっ
て、物体の向きを変更した画像が得られる。

【００３６】画像シミュレーションにおいて従来例で述
べた色彩変更を行なうためには、ＣＧモデル１０からデ
ータ変換によって成分分解画像２８を作っておかなけれ
ばならない。成分分解画像は、目に見える色を物体色成
分１５０と光源色成分１６０と環境色成分１７０に分解
して保存したデータであるが、変更する内容によって実
際に保存するデータが異なるので、これを図１２を基に
説明する。ＣＧモデル１０は、物体モデル１２と光源１
４と視点１６からなり、光源と物体表面の法線の成す角
度をθとし、視点と物体表面の法線の成す角度をφとす
る。このとき、物体色成分１５０は、物体色ベクトル１
５２とθの関数１５４と光の減衰率１５６の積で表さ
れ、光源色成分は、光源色ベクトル１６２と（θ，φ）
の関数１６４と光源色の減衰率１６６の積で表され、環
境色成分１７０は、周囲の大気等による光の反射成分で
あり定数値で表される。さらに、物体色ベクトルは、物
体表面に塗られた塗料に固有な拡散反射率１５８と光源
色１４の積で表され、光源色ベクトルは、鏡面反射率１
６８と光源色１４の積で表される。したがって、変換部
１００のステップ１０８において、対象が特定されると
反射率等の表面属性が既知となるが、このとき物体色ベ
クトル１５２を１５４や１５６の値と分離して成分分解
画像２８に保持し、画像シミュレーションにおいて物体
色ベクトル１５２の値を変えることによって物体色を変
更することができる。同様に、光源色ベクトル１６２を
１６４や１６６の値と分離して成分分解画像２８に保持
し、光源色ベクトル１６２の値を変えることによって光
源色を変更でき、また、拡散反射率１５８を他の値や成
分と分離して保持し、１５８の値を変えることによって
質感の変更ができ、さらに、鏡面反射率１６８を他の値
や成分と分離して保持し、１６８の値を変えることによ
って光沢の変更をすることができる。

【００３７】以上の説明では、ＣＧ画像を画像シミュレ
ーションに利用することを想定し、その為のデータ変換
について述べたが、本発明はこれに限定されるものでは
なく、他のデータについても適用可能である。これらの
データに対する実施例について図１３のフローチャート
を基に説明する。ＣＧデータ、文字や模様デザインのア
ウトラインデータ、自然画データ、などがステップ１８
０において入力される。入力されたデータは、ステップ
１８２で画像化されるが、同時に画像シミュレーション
に必要となる性質によって領域分割され、マスク画像が
作成される（１８４）。さらに、セグメンテーションし
た性質によって、マスクの属性をマスク属性テーブルに
記述する（１８６）。ステップ１８８において、色彩画
像とマスク画像に幾何変換がなされ、判断部１９０にお
いて、他のマスクとの組み合わせが必要でないなら、変
換データはすぐに画像シミュレーション１９８に送られ
る。他のマスクとの演算が必要な場合は、ステップ１９
２で変換されたデータを一時保存し、演算に用いる他の
マスクをステップ１９４で読みだし、これらをステップ
１９６で演算し、その結果を画像シミュレーション１９
８に送る処理となる。この処理を共通に行なうことによ
り、ＣＧ画像や文字や模様を自然画像と組み合わせるこ
とが可能になる。さらに、文字や柄を物体面に貼り付
け、文字部分の色彩変更を行なうことができるようにな
る。

【００３８】

【発明の効果】以上に述べたように、本発明によれば、
コンピュータ・グラフィックスで作成された画像を画像
シミュレーションで扱えるデータに変換するため、マス
ク画像を作成してマスクの属性と共に保存しておくの
で、画像シミュレーションを動作させているコンピュー
タで即座に利用して自然画像との合成画像を作ることが
できる。また、自然画像からは値の抽出が難しいとされ
ていた物体の形状や光源の性質についても、データ変換
において正確な値を求めて記録することで、従来の画像
シミュレーションでは実現できなかった物体の向きの変
更や物体面に合わせた画像のマッピングが可能となる。
さらに、文字や模様デザインについてもマスク画像を作
り、画像シミュレーションで扱えるデータに変換して保
存することで、自然画像と組み合わせることができ、文
字や柄のバリエーションを画像シミュレーションによっ
て変更する処理が可能になる。

【図面の簡単な説明】

【図１】本発明をＣＧ画像と自然画像の合成を行なう画
像シミュレーションシステムに適用した場合の１実施例
を示す処理手順の説明図である。

【図２】ＣＧ画像を作る際に画像シミュレーション用の
データ変換を行なうデータ変換部の処理内容を示すフロ
ーチャートである。

【図３】データ変換によって作成され、記憶部に保存さ
れる基本データの構成要素を示す説明図である。

【図４】ＣＧの形状モデルからマスク画像を作成する処
理の説明図である。

【図５】画像合成を行なう画像シミュレーションにおい
て、ガラス等の半透明処理を行なうためにデータ変換部
によって作成され、記憶部に保存されるデータを示す図
である。

【図６】図５のデータを用いた画像シミュレーションに
おいて、ガラスの後ろにある物体が透けてみえる効果を
示す説明図である。

【図７】画像合成を行なう画像シミュレーションにおい
て、窓ガラスの後に物体を合成する半透明処理を行なう
ためにデータ変換部によって作成され、記憶部に保存さ
れるデータを示す図である。

【図８】図７のデータを用いた画像シミュレーションに
おいて、窓ガラスと室内の間に他の物体を置く効果を示
す説明図である。

【図９】画像中に映っている物体の大きさを保存するこ
とで、重畳合成する際のサイズを自動的に決める効果を
示す説明図である。

【図１０】画像のセグメンテーションにおいて、物体面
の傾きによって領域分割したマスク画像とマスク属性テ
ーブルを示す図である。

【図１１】ＣＧ画像中の物体面に画像をテクスチャマッ
ピングする処理、及び、物体の向きを変更する処理を示
すフローチャートである。

【図１２】色彩を変更する画像シミュレーションを行な
うためのデータ変換を説明する図である。

【図１３】ＣＧ画像以外のデータを画像シミュレーショ
ンに利用する場合のデータ変換のフローチャートを示す
図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者瀧澤由里神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】コンピュータ内に用意された形状モデル
を基にコンピュータ・グラフィックスによりコンピュー
タ・グラフィックス画像を作成する際、該作成と同時に
前記形状モデルを投影面に投影し、投影されたモデルの
領域とモデル外の領域とに異なるマスク番号を書き込ん
だ画像を作成して該画像をマスク画像として保存し、こ
のマスク画像を用いてコンピュータ・グラフィックス画
像から所望の画像だけを切り抜くことにより、該切り抜
いた画像と自然画などの異なる画像との組合せ合成を行
なうことを特徴とする画像シミュレーション方法。
【請求項２】請求項１記載の画像シミュレーション方
法において、前記モデルの領域をさらに表面情報を基に
透過の種類や透過率により分類し、該分類した領域に異
なるマスク番号を書き込みマスク画像を作成して保存
し、同時にマスク画像の属性情報として透過の種類や透
過率を記述したデータテーブルを作成して保存し、自然
画像など異なる画像との組合せ合成時に、前記マスク画
像を用いてコンピュータ・グラフィックス画像の一部を
切り抜き、前記属性情報に基づいて透明処理を行なうこ
とを特徴とする画像シミュレーション方法。
【請求項３】請求項２記載の画像シミュレーション方
法において、コンピュータ・グラフィックス画像の中に
半透明な領域が含まれているとき、透明な部分を取り除
いた画像とその画像に対するマスク画像を作成して保存
すると共に、透明部分の画像とその画像に対するマスク
画像を作成して保存し、それぞれのマスク画像につい
て、透過の種類や透過率を記述するデータテーブルを作
成し、これら２組の画像、マスク画像、およびデータテ
ーブルのうち、透明部分を含まない組と別に用意した画
像の合成を初めに行い、次にその合成画像と透明部分を
含む組を合成することで、透明部のある物体の内部に他
の画像を合成することを特徴とする画像シミュレーショ
ン方法。
【請求項４】請求項１記載の画像シミュレーション方
法において、前記形状モデルが実長を有する場合、作成
されたコンピュータ・グラフィックス画像の実際の大き
さを記述するスケールを保存し、スケールを持った他の
画像との組合せ時に、これらスケールに基づき適切な重
畳サイズを求め重畳合成を行うことを特徴とする画像シ
ミュレーション方法。
【請求項５】請求項１記載の画像シミュレーション方
法において、前記コンピュータ・グラフィックスにより
作成した多面体物体の画像を、前記形状モデルを基に面
ごとに分割し、この分割に従ってマスク画像を作成、保
存すると共に、該マスク画像に対応した法線を保存して
おくことにより、物体表面への画像のテクスチャマッピ
ングを画像の幾何変換によって行なうことを特徴とする
画像シミュレーション方法。
【請求項６】請求項５記載の画像シミュレーション方
法において、マスク画像と法線を保存する処理におい
て、画像中の物体の向きを変更したときの各面の法線を
入力、保存し、物体の向きの微少な変更を前記保存処理
された情報を基に各面の幾何変換によって行なうことを
特徴とする画像シミュレーション方法。
【請求項７】コンピュータ内に持った形状モデルを基
にコンピュータ・グラフィックスによりコンピュータ・
グラフィックス画像を作成する際、光源の色と物体の鏡
面反射率から光源色ベクトルを求め、光源色ベクトル
と、光源と物体表面と視点のなす角度等とから光源色成
分を計算し、光源の色と拡散反射率から物体色ベクトル
を求め、物体色ベクトルと、光源と物体表面のなす角度
等とから物体色成分を計算し、直接光源以外からの光の
入射を環境色成分として求め、さらにこれらを纏めて成
分分解画像を作成して保存しておき、物体色ベクトルを
変更することによって物体色の変更を行なうことを特徴
とする画像シミュレーション方法。
【請求項８】請求項７記載の画像シミュレーション方
法において、物体色ベクトルに代えて、光源色ベクトル
を変更することによって、光源色の変更を行なうことを
特徴とする画像シミュレーション方法。
【請求項９】請求項７記載の画像シミュレーション方
法において、物体色成分を保存する代わりに、拡散反射
率とその他の成分に分離した値を保存し、拡散反射率を
変更することにより物体色成分を再度計算して変更し物
体の質感を変更することを特徴とする画像シミュレーシ
ョン方法。
【請求項１０】請求項７記載の画像シミュレーション
方法において、光源色成分を保存する代わりに、鏡面反
射率とその他の成分に分離した値を保存し、鏡面反射率
を変更することにより光源色成分を再度計算して変更し
物体の光沢を変更することを特徴とする画像シミュレー
ション方法。
【請求項１１】文字や柄のアウトラインデータや線画
のベクトルデータ等を入力して画像化すると共に画像シ
ミュレーションに必要となる性質により領域分割してマ
スク画像を作成、保存し、該マスク画像の属性を記述す
るデータテーブルを作成、保存し、文字や模様の画像か
ら文字等の一部もしくは全部を抜き出すことにより、自
然画やＣＧ画像など異なる画像との組合せ合成を行なう
ことを特徴とする画像シミュレーション方法。