JPH04358291A

JPH04358291A - 色彩画像変更方法

Info

Publication number: JPH04358291A
Application number: JP3132595A
Authority: JP
Inventors: Yuri Takizawa; 瀧澤　由里; Shinichiro Miyaoka; 宮岡　伸一郎; Makoto Kato; 誠加藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1991-06-04
Filing date: 1991-06-04
Publication date: 1992-12-11
Also published as: US5572635A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カラー画像の色変更を
行う色彩画像処理方法に係り、特に自然画像において実
世界の天候，時刻等の環境変化をシミュレートする機能
により、商品のセールスプレゼンテーションや、建築物
の景観シミュレーション，工業製品の色デザイン等に好
適な色彩画像変更方法である。

【０００２】

【従来の技術】コンピュータ・グラフィック（以下、Ｃ
Ｇという）の分野において、自然環境下の建築物等の物
体、および、その物体の存在する風景をリアルに表現す
ることを目的に、時刻や天候等の要因を考慮して、画像
を生成する技術が発表されている。なかでも、時刻や天
候等の要因により変化する太陽光と天空光の物体に及ぼ
す影響を考慮して、画像の物体領域を生成したり、また
、同様に、時刻や天候等の要因を考慮して空領域の画像
を生成する技術が開発されている。

【０００３】中前英八郎らは、文献「シーグラフ　　８
６’コンファレンス　　プロシーディングス（副題　　
コンピュータ　　グラフィクス），Ｎｏ．４，Ｖｏｌ．
２０（１９８６年８月），エー．シー．エム　　シーグ
ラフ」（ＳＩＧＧＲＡＰＨ　８６’　Ｃｏｎｆｅｒｅｎ
ｃｅＰｒｏｃｅｅｄｉｎｇｓ　（Ｃｏｍｐｕｔｅｒ　Ｇ
ｒａｐｈｉｃｓ），Ｎｏ．４，Ｖｏｌ．２０（１９８６
．８），ＡＣＭ　ＳＩＧＧＲＡＰＨ）（以下、引例１と
いう）において、晴れ，曇の天候に対して、それぞれ、
太陽高度等を変数とする天空の関数を用い、画像中の空
の領域の画像を生成した。さらに、画像内の物体に及ぼ
す太陽光，天空光の影響を考えて、物体の表現を行った
。

【０００４】タカギアツシらは、文献「シーグラフ　　
９０’コンファレンス　　プロシーディングス（副題　
　コンピュータ　　グラフィクス），Ｎｏ．４，Ｖｏｌ
．２０（１９９０年６月），エー．シー．エム　　シー
グラフ」（ＳＩＧＧＲＡＰＨ　９０’　Ｃｏｎｆｅｒｅ
ｎｃｅＰｒｏｃｅｅｄｉｎｇｓ　（Ｃｏｍｐｕｔｅｒ　
Ｇｒａｐｈｉｃｓ），Ｎｏ．４，Ｖｏｌ．２０（１９９
０．６），ＡＣＭ　ＳＩＧＧＲＡＰＨ）（以下、引例２
という）において、生成画像中の空の領域については自
然画の空の領域を合成し、物体の表現について、天候，
時刻により変化するさまざまな気象条件を考慮して、太
陽光，天空光を導出し、この太陽光と天空光と物体の３
次元ＣＡＤデータを用いて、物体をリアルに表現した。

【０００５】自然画中の物体領域を、物体の質感と陰影
を保ったまま変更したものとして、特開昭６３−２３７
１７２号公報（以下、引例３という）の方法がある。こ
れは、画像中の光源の色を考慮し、光源の色を変更した
ときの画像中の物体領域の変化をシミュレートする。引
例３では、カラー画像における光源色の三原色値を（Ｒ
ｓ，Ｇｓ，Ｂｓ）から所望の（Ｒｓ′，Ｇｓ′，Ｂｓ′
）に変更するとき、カラー画像の中の物体領域の各画素
の三原色値（Ｒ，Ｇ，Ｂ）を（Ｒ′，Ｇ′，Ｂ′）に、
以下の数式に従って変更する。

【０００６】

【数１】　　　　Ｒ＝Ｒｓ′／Ｒｓ・Ｒ　　　　Ｇ＝Ｇｓ′／Ｇｓ・Ｇ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　…（数１）　　　　Ｂ＝Ｂｓ′／Ｂｓ・Ｂ引例３は、物体の反射モデルに基づいている。これを、
図３を参照して説明する。光源から物体３１に当たった
光３２は、物体表面３３で反射する光（鏡面反射成分）
３４と物体内に入り物体の物質内の色粒子３５と衝突を
繰り返した後物体外に出る光（乱反射成分）３６に分け
られる。鏡面反射成分は入射角と物体の表面方向により
決まる角度で反射され、乱反射成分は全方向に照射され
る。光沢誘電体物体において、この鏡面反射成分は主光
源と三原色成分比が同じと見なしてよく、乱反射成分は
主光源と物体の固有の反射率とで決まる三原色成分値を
持つ。従って、鏡面反射成分を光源色，乱反射成分を物
体色と呼ぶ。光源色，物体色は、図４に示すように、物
体４１を撮影したカラー画像４２の物体領域４３の画素
値の三原色空間内の分布４４に、光源色Ｃｓ＝（Ｒｓ，
Ｇｓ，Ｂｓ）４５と拡散反射の成分を表す物体色Ｃｂ＝
（Ｒｂ，Ｇｂ，Ｂｂ）４６として現れる。したがって、
物体領域の画素値Ｃ＝（Ｒ，Ｇ，Ｂ）は、次のように表
現する。

【０００７】

【数２】

【０００８】このとき、ＭｓとＭｂはスカラー量で、Ｍ
ｓは各画素に対する物体中の点に対する主光源の位置と
物体の表面方向と視点（カメラ）の位置による幾何学的
角度の関係より決定され、Ｍｂは主光源の位置と物体表
面との幾何学的角度の関係より決定される。各画素の三
原色値はベクトルＣｓとＣｂの成す平面上に射影したと
きＭｓとＭｂにより決まる位置に存在していると見なす
ことができる。

【０００９】上式より、光源の色を変更するときは、光
源色Ｃｓを変更させる。しかし、実際には、光源色Ｃｓ
（Ｒｓ，Ｇｓ，Ｂｓ）からＣｓ′（Ｒｓ′，Ｇｓ′，Ｂ
ｓ′）に変更するのに伴って、物体色も変更するので、
反射率を（Ｒｏ，Ｇｏ，Ｂｏ）としたとき、以下のよう
にして、変更物体色Ｃｂ′を求める。

【００１０】

【数３】

【００１１】これは、上記物体領域に関して、数式１を
行うことである。

【００１２】特開平３−４１５７０号公報（以下、引例
４という）の方法は、単一の光源の場合だけでなく、さ
らに、空等の面光源が、物体に及ぼす影響を考慮したも
のである。引例４は、通常の自然環境においた物体を撮
影した画像など、主光源の他に天空光等の面光源が存在
する環境下の物体を表現するのに有用である。引例４は
、２つの光源を考慮することによって、自然環境下で、
時刻，天候等の環境要因の変化に応じて光環境が変化し
たとき、物体がどのように見えるかをシミュレーション
することを可能にする。つまり、太陽光を主光源，空を
面光源として、時刻や天候等の環境要因と太陽光や天空
光との関連づけを行うことが可能になる。

【００１３】天空光について、図５を参照して説明する
。一般に、主光源より発せられた光５１は物体の周りに
存在する青空５２に影響を及ぼすため、青空５２は面光
源としての働きを持つ。幾何的に主光源の光が当たらな
い位置である影５３の部分も色を持つのはこの理由によ
る。引例４における物体領域の表現を数式４，５，６に
示す。

【００１４】

【数４】

【００１５】

【数５】

【００１６】

【数６】

【００１７】ここで、面光源からの光がＣａｐ（数式６
）であり，Ｃａｐが、物体表面５５で固有の反射率Ｃｏ
で反射した光５６がＣａ（数式５）である。ベクトルＣ
ｄは、画素値の光源色，物体色の成す平面からのずれを
表現するために用いられ、このずれは物体の質感を表現
する。ベクトルＢは、カメラ，スキャナ等の画像入力装
置が、画像に及ぼす影響を表わす。引例４のモデルによ
る物体領域の各画素の三原色空間における分布を図６に
示す。

【００１８】

【発明が解決しようとする課題】従来、引例１，２を含
め、ＣＧを用いた手法は、物体の三次元データ等、多く
のデータを構築し、多くの作業を行うことによって、リ
アルな画像を得ることは可能であるが、画像を簡単に得
ることができないという問題点があった。

【００１９】引例１は、天候，時刻等により変化する空
領域の変化をシミュレーションできるが、空の領域につ
いて離散的に存在する雲を想定していないので、自然画
の空領域の程度に、リアルにするためには、さらに、Ｃ
Ｇの手法を用いて雲を作成する等の処理が必要である。

【００２０】引例２は、非常にリアルな物体表現を行う
ことができるが、そのために、非常に精緻な３次元物体
のモデリング，光源のモデリング、および、気象学的な
データ，物体の反射率等の計測データを必要とし、多く
の作業が必要である。また、天候，時刻等の要因により
、物体の見え方がどのように変化するかをシミュレーシ
ョンすることを主な目的にしているため、空領域につい
ては生成していない。引例３，４は、本発明と同様、自
然画の情報を用いたため、ＣＧのように、多量のデータ
を構築する必要がなく、簡単にリアルな画像を生成でき
る。しかし、以下の点で不十分であった。

【００２１】すなわち、引例３では、単一光源下での物
体を想定しているため、天空の下での物体を表現するに
は、不十分である。また、自然画中の空の領域に対する
変更は検討していない。

【００２２】引例４は、天空光等の面光源を考慮してい
るので、天空の下での物体を表現することは可能である
が、引例３と同様に、自然画中の空の領域に対する変更
は検討していない。

【００２３】本発明の第一の目的は、自然画を用いるこ
とにより、簡単、かつ、リアルに、天候，時刻等による
環境変化をシミュレーションすることである。

【００２４】本発明の第二の目的は、物体領域と空の領
域の両方の領域を関連させながら、上記２領域の天候，
時刻等の要因変化に基づく変化をリアルにシミュレーシ
ョンすることである。

【００２５】本発明の第三の目的は、天候，時刻等の環
境要因のパラメータを自由に変更したり、指定すること
によって、柔軟に、同一場面における環境変化のシミュ
レーションを行うことである。

【００２６】

【課題を解決するための手段】変更対象である自然画の
空の領域を変更する処理と、遠景，物体，物体の影，地
面等の前記空領域以外の領域を変更する処理の、前記２
処理に、光源，時刻，天候等に関する共通のパラメータ
を与えることにより、前記２処理のうち少なくともいず
れか一方を行う。

【００２７】画像中の主光源の色を表すパラメータと、
前記主光源位置を表すパラメータと、時刻，季節などの
時を表すパラメータと、雲の量などの天候を表すパラメ
ータのうち少なくとも一つを変更する処理、あるいは、
モデルとなる画像の空領域を与えることにより空領域を
生成する処理の少なくともいずれか一方を行うことによ
って空領域を変更する。

【００２８】画像中の主光源の色を表すパラメータと、
主光源位置を表すパラメータと、面光源の色を表すパラ
メータのうち少なくとも一つを変更することによって空
領域以外の領域を変更する。

【００２９】面光源の色は、空領域の色から求める。

【００３０】変更画像中の主光源の色を表すパラメータ
と主光源位置を表すパラメータは、時刻，季節等の時を
表すパラメータと、雲の量等の天候を表すパラメータの
うち、少なくとも一つを変更することによって変更する
。

【００３１】変更画像中の主光源の色を表すパラメータ
と、主光源位置を表すパラメータと、面光源の色を表す
パラメータは、時刻，季節等の時を表すパラメータと、
雲の量等の天候を表すパラメータのうち、少なくとも一
つを変更することによって変更する。

【００３２】変更画像中の主光源の色を表すパラメータ
と、主光源位置を表すパラメータと、時刻，季節等の時
を表すパラメータと、雲の量等の天候を表すパラメータ
の少なくとも一方を変更する処理は、モデル画像より推
定した上記パラメータを用いて変更する。

【００３３】変更画像中の主光源の色を表すパラメータ
と、主光源位置を表すパラメータと、面光源の色を表す
パラメータの少なくとも一つを変更する処理は、モデル
画像より推定した主光源，主光源位置，面光源の色の少
なくとも一つを用いて変更する。

【００３４】変更対象画像から、雲，煙霧等の情報を表
すテクスチャ画像と、それ以外の基本空画像を分離し、
上記テクスチャ画像と基本空画像の少なくともいずれか
一方を変更後、前記２画像の画素値の演算により、変更
空領域を生成する。

【００３５】変更対象画像から、雲，煙霧等の情報を表
すテクスチャ画像と、それ以外の画像を分離し、上記テ
クスチャ画像とそれ以外の画像の少なくともいずれか一
方を変更後、前記２画像の画素値の演算を行う。

【００３６】空領域を、雲の部分画像と、それ以外の部
分画像に分離し、雲の部分画像と、それ以外の部分画像
の少なくともいずれか一方を変更した後で、上記２つの
部分画像を合成する。

【００３７】自然画中の物体の色を変更する処理は、物
体の反射率と、主光源と、面光源の色のうち、少なくと
も一つを変更することにより変更する。

【００３８】物体の色を変更する処理は、色空間におけ
る物体領域の各画素の色を一次結合で表現する、鏡面反
射を表す光源色ベクトル，拡散反射を表す物体色ベクト
ル，物体領域の分布の原点からのずれを表す環境色ベク
トルを抽出後、物体の反射率と、主光源の色と、面光源
の色のうち少なくとも一つを変更することにより、上記
ベクトルを変更し、物体領域の各画素の色を再構成して
、物体の色を変更する。

【００３９】変更前の物体領域の各画素値を、Ｃ＝Ｃｓ
Ｍｓ＋ＣｂＭｂ＋Ｃａで表し、主光源の変更により、光源ベクトルＣｓと物体
色ベクトルＣｂを変更する処理と、面光源の変更により
、環境光ベクトルＣａを変更する処理の少なくとも一つ
を行うことにより物体の色を変更する。

【００４０】変更対象領域の前の色をＣ＝（Ｒ，Ｇ，Ｂ
）、変更後の対象領域の色をＣ′＝（Ｒ′，Ｇ′，Ｂ′
）、色空間における変更対象領域の画素値の分布の原点
からの距離を表すベクトルをＣａ＝（Ｒａ，Ｇａ，Ｂａ
）としたときに、Ｋｓ＝（ｒｋｓ，ｇｋｓ，ｂｋｓ），
Ｋａ＝（ｒｋａ，ｇｋａ，ｂｋａ）を与え、Ｒ′＝ｒｋ
ｓ＊（Ｒ−Ｒａ）＋ｒｋａ＊ＲａＧ′＝ｇｋｓ＊（Ｇ−
Ｇａ）＋ｇｋａ＊ＧａＢ′＝ｂｋｓ＊（Ｂ−Ｂａ）＋ｂ
ｋａ＊Ｂａにより、変更画素値を算出する。

【００４１】変更前の主光源の色ベクトルをＳ＝（Ｒｓ
，Ｇｓ，Ｂｓ）、変更後の色ベクトルをＳ′＝（Ｒｓ′
，Ｇｓ′，Ｂｓ′）としたときに、Ｋｓ＝（ｒｋｓ，ｇ
ｋｓ，ｂｋｓ）を、ｒｋｓ＝Ｒｓ′／Ｒｓｇｋｓ＝Ｇｓ′／Ｇｓｂｋｓ＝Ｂｓ′／Ｂｓとする。

【００４２】変更前の天空光の色をＣａｐ＝（Ｒａｐ，
Ｇａｐ，Ｂａｐ）、変更後の天空光の色をＣａｐ′＝（
Ｒａｐ′，Ｇａｐ′，Ｂａｐ′）としたときに、ｒｋａ
＝Ｒａｐ′／Ｒａｐｇｋａ＝Ｇａｐ′／Ｇａｐｂｋａ＝Ｂａｐ′／Ｂａｐなる式により、Ｋａ＝（ｒｋａ，ｇｋａ，ｂｋａ）を求
める。

【００４３】変更前の天空光の色をＣａｐ＝（Ｒａｐ，
Ｇａｐ，Ｂａｐ）、変更後の天空光の色をＣａｐ′＝（
Ｒａｐ′，Ｇａｐ′，Ｂａｐ′）、各画素の物体上の位
置に起因する変数をｇとしたときに、ｒｋａ＝Ｒａｐ′
／Ｒａｐ＊ｇｇｋａ＝Ｇａｐ′／Ｇａｐ＊ｇｂｋａ＝Ｂａｐ′／Ｂａｐ＊ｇなる式により、Ｋａ＝（ｒｋａ，ｇｋａ，ｂｋａ）を求
める。

【００４４】物体上の位置に起因する変数ｇは、物体を
空方向と成す角、または、地面と成す角を基準として複
数の領域に分割し、分割領域ごとに違う値を用いる。

【００４５】環境光ベクトルＣａは、物体を空方向と成
す角を、または、地面と成す角を基準として複数の領域
に分割し、分割領域ごとに違う値を用いる。

【００４６】主光源は太陽光とする。

【００４７】空領域の画像は画像の撮影地点の天空をモ
デル化した天空モデルに対応づける処理により求める。

【００４８】空画像に対して天空モデルを対応づける処
理は、天空モデルにおける方角を表す角と高度を、空画
像に対応づけるモデル対応画像を用いる。

【００４９】自然画中の影を変更する処理は、主光源の
位置主光源色，面光源色，雲の量等の天候を表す量，時
刻，季節等の時を表すパラメータのうち少なくとも一つ
により変更する。

【００５０】影を変更する処理は、雲の量等の天候を表
す量を変更することにより、影の境界線において、平均
化処理を行う。

【００５１】影の色は、面光源色，雲の量等の天候を表
す量のうち少なくとも一つを変更することにより色変更
する。

【００５２】雲の部分画像を変更する処理は、雲の形状
と天空モデルにおける位置の少なくとも一方を決め、上
記、雲の形状と天空モデルにおける雲の位置の少なくと
も一つを用いて雲画像を変更する。

【００５３】雲の部分画像を変更する処理は、主光源色
と、面光源色と、主光源の位置の少なくとも一方を決め
、上記、主光源色と、面光源色と、主光源の位置の少な
くとも一つを用いて雲の領域を変更する。

【００５４】主光源色を変更する処理は、前記、主光源
位置と雲の位置を用いて主光源色を変更する。

【００５５】主光源色を変更する処理は、前記、主光源
位置と雲の位置を用いて主光源色を変更する。

【００５６】天候の指定に応じて、雲を合成する。

【００５７】照明の機能を持つ物体の色変更は、時刻と
、太陽高度の少なくとも一方の変更により、照明色に変
更する。

【００５８】照明の機能を持つ物体を照明色に変更する
とき、前記変更領域の周囲の画像の画素値と、前記照明
色との平均化処理を行う。

【００５９】天候の指定に応じて、画像の画素値のとる
ダイナミックレンジを変更する。

【００６０】天候の指定に応じて、対象画像の画素値の
とる分散値を変更する。

【００６１】対象画像の空領域を変更する処理は、モデ
ル画像の空領域を合成することにより行い、空領域以外
の領域を変更する処理は、モデル画像より、推定した主
光源色，主光源位置，面光源色のうち、少なくとも一つ
を用いて、空領域以外の領域を変更する。

【００６２】

【作用】現実の環境において、天空の色と地上の物体の
見え方が、関連性を持っているので、自然画像中の空の
領域と、遠景，物体，地面，物体の影等の空以外の地上
の領域についても、関連性を持たせることができる。

【００６３】現実の環境において、天空の色の決定要因
として、雲，霧，煙等のさまざまな気象条件の他、太陽
光の色，太陽の位置が、主な要因として挙げられる。ま
た、物体の色は、物体固有の光の反射率と、どのような
光源が存在しているか、すなわち、物体にどのような波
長で、どの大きさで、どちらの方向から光が当っている
かにより決まる。自然環境下における物体に対する光源
は、主に、太陽光と天空の発する天空光である。天空光
は、天空の色に依存していると考えることができる。引
例１に述べられているように天空の色は、太陽光の色と
太陽高度に依存している。

【００６４】そこで、図７に示すように、自然画像中の
空の領域７４と空以外の地上の領域７６について、太陽
光７２により変化する要素を決定すれば、太陽光７２を
変化させるとき、空の領域７４と地上の領域７６の双方
を関連させて変化させることができる。また、天空光７
５の変化により変化する要素を、地上の物体領域７６か
ら抽出しておけば、自然画の空の領域７４を、雲，霧等
の要因７３で変化させるとき、天空光７５も変更するこ
とにより、物体の見え方７６も変更することができる。

【００６５】さらに、太陽光７２や、天空の色７４や、
天空光７５を時刻や晴れ曇等の指定、または、雲の量な
どの天候のパラメータ７１と対応づけておくならば、上
記時刻や天候のパラメータを指定することにより、自然
画の空の領域、および、空以外の物体の領域について、
実世界における時刻変化や、天候変化のシミューション
を行うことが可能である。

【００６６】まず、第一に、空領域の変更について述べ
る。

【００６７】従来、引例１に述べられているように、快
晴（雲が全くない）と曇天（雲が天空全体をすきまなく
覆った状態）のそれぞれの場合について、太陽光と太陽
位置等の要因で天空の明るさを表現する関数が発表され
ている。図８に示すように、このような関数を用いて、
太陽光の色，位置等の条件８２から、ある地上の観測点
８６を基準にしたときに、天頂８７から地平８５までの
天空上の各点の色８３をモデル化した天空モデル８１を
モデル化することができる。天空の色がモデル化できれ
ば、自然画の空領域と天空モデル８１の対応８４をとる
ことによって、太陽光，太陽位置８２の変更により、変
更された空領域８８を生成することができる。太陽等の
条件が変更されたことにより天空モデル上の各点の色８
３が変更されたときに、即時に変更画像の空領域８８を
得られるように、対象画像の画素に対応する天空モデル
８１内の点の位置を表現するモデル対応画像８９を用意
しておく。モデル対応画像８９の要素は、上記点に対す
る天空観測基準点８６からの方角と、高度を表す角度で
ある。しかし、上記の方法により求めた天空において、
天空上の各点の色８３の違いは、その天空内の位置の違
いだけに依存するため、現実感のある空領域とならない
。そこで、図９に示すように、対象自然画像に特有な雲
，霧，煙等の情報を付加することにより、リアルな空領
域の画像を生成する。以後、この太陽光，太陽位置等の
条件９１により、天空モデル９２から一意に生成される
画像を基本空画像９３と呼び、画像特有の雲，霧，煙等
の表す画像をテクスチャ画像９５と呼ぶ。対象自然画の
空領域９６から、あらかじめ上記２成分の画像９３，９
５を抽出しておけば、基本空画像９３を任意の太陽光で
生成後、テクスチャ画像９５と画像間の演算を行うこと
により、変更対象自然画の情報を特徴を保存したまま自
然な太陽光変更即ち、時刻の変更を行うができる。

【００６８】曇と晴れの天候の変更を行うためには、天
空モデル、すなわち、基本空画像を生成するときに、あ
らかじめ、青ベース（晴天）の関数と白ベース（曇天）
の関数を用意し、天候により関数を選択する。基本空画
像は、関数による生成だけでなく、天候のモデルとなる
画像を指定しこのモデル画像の基本空画像を用いること
もできる。基本空画像は、時刻，天候により連続的に生
成するのではなく、数枚作成して、その間は補完するこ
とにより生成することもできる。

【００６９】以上の基本空画像の生成で、時刻（太陽）
の変更をしたとき、雲の部分に対しては十分な変更がで
きない場合がある。これは、雲の３次元物体の側面を考
慮していないために生じる。そこで、図１０に示すよう
にある程度明確に認識できる雲については、あらかじめ
、雲の部分画像１０２を分離しておき、雲を除いた空の
領域１０３とは別に、雲に対して変更１０４を行ってか
ら、空の領域１０６に合成する。あらかじめ、雲の形状
と３次元の天空モデル内における位置について、決めて
おき、この雲の形状と位置と、太陽の位置と太陽光色を
用いて雲の色変更を行う。

【００７０】また、天候の変更を目的にして、雲が存在
していない領域にも雲の部分画像を合成することにより
、晴れの天候を曇に変更したり、雲が存在している領域
に雲のない空領域の部分画像を合成することにより、曇
の天候を晴れに変更することも可能である。

【００７１】第二に、物体領域の変更について述べる。

【００７２】反射モデルにより、物体を表現するとき、
物体に対する光源が特定されることが必要である。すで
に述べたように、本発明では、光源を太陽光（主光源）
と天空光（面光源）とする。本発明の反射モデルは引例
４に述べられているものを採用する。

【００７３】引例４において、物体領域の画素の色は、
数式４，５，６で表した。このとき、図６に示したよう
に太陽光による物体の色は、色空間において太陽光の鏡
面反射の成分Ｃｓ６３と、拡散反射の成分Ｃｂ６２の成
す平面付近の分布６１に現れる。天空光は数式５，６に
示したＣａｐに対応し、天空光による物体の色は、上記
色空間において、上記分布と原点からのずれを表すベク
トルＣａ６４である。これは、図５に示したように、天
空光５４が物体５３に対し、あらゆる方面から光をあて
ているとみなすとき、天空光５４の影響は各点の物体上
の位置にかかわらず一定値となることによる。

【００７４】以上、引例４の方法により、ベクトルＣｓ
，Ｃｂ，Ｃａを変更することにより物体領域の色を、太
陽光と天空光の変更に応じて色変更することができる。

【００７５】天空光が物体のあらゆる方面から光をあて
ているとみなすことができない場合は、あらかじめ物体
をいくつかの領域にわけて、それぞれの領域毎に色変更
を行い、それぞれの領域毎に異なるＣａを用いる。

【００７６】また、以上のベクトルの変更による色変更
は、空以外の領域の各画素について、変更対象領域の前
の色をＣ＝（Ｒ，Ｇ，Ｂ）、変更後の対象領域の色をＣ
′＝（Ｒ′，Ｇ′，Ｂ′）とし、Ｃａ＝（Ｒａ，Ｇａ，
Ｂａ）としたときに、Ｋｓ＝（ｒｋｓ，ｇｋｓ，ｂｋｓ
），Ｋａ＝（ｒｋａ，ｇｋａ，ｂｋａ）を与え、以下の
演算を行うのと同値である。

【００７７】

【数７】　　　　Ｒ′＝ｒｋｓ＊（Ｒ−Ｒａ）＋ｒｋａ＊Ｒａ　
　　　Ｇ′＝ｇｋｓ＊（Ｇ−Ｇａ）＋ｇｋａ＊Ｇａ　　
　　　　　　　　　　　　　　　　　　　　…（数７）
　　　　Ｂ′＝ｂｋｓ＊（Ｂ−Ｂａ）＋ｂｋａ＊Ｂａこ
こで、変更前の光源色をＣｓ＝（Ｒｓ，Ｇｓ，Ｂｓ）、
変更後の光源色をＣｓ′＝（Ｒｓ′，Ｇｓ′，Ｂｓ′）
とするとＫｓは以下のようにして決められる。

【００７８】

【数８】　　　　ｒｋｓ＝Ｒｓ′／Ｒｓ　　　　ｇｋｓ＝Ｇｓ′／Ｇｓ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　…（数８）　　　　ｂｋｓ＝Ｂｓ′／Ｂｓまた、変更前の天空光の色をＣａｐ＝（Ｒａｐ，Ｇａｐ
，Ｂａｐ）、変更後の天空光の色をＣａｐ′＝（Ｒａｐ
′，Ｇａｐ′，Ｂａｐ′）としたときに、Ｋａは以下の
ようにして決められる。

【００７９】

【数９】　　　　ｒｋａ＝Ｒａｐ′／Ｒａｐ　　　　ｇｋａ＝Ｇａｐ′／Ｇａｐ　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　…（数９）　　　　ｂｋａ＝Ｂａｐ′／Ｂａｐさらに、上記と同様に、各画素の物体上の位置により、
天空光の影響が異なると考えたほうがよい場合は、各画
素の物体上の位置に起因する変数をｇと考え、

【００８
０】

【数１０】　　　　ｒｋａ＝Ｒａｐ′／Ｒａｐ＊ｇ　　　　ｇｋａ
＝Ｇａｐ′／Ｇａｐ＊ｇ　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　…（数１０）　　　
　ｂｋａ＝Ｂａｐ′／Ｂａｐ＊ｇとする。

【００８１】以上述べた、空の領域とそれ以外の領域の
色変更方法についてのまとめを図１１に示す。

【００８２】第三に、影の領域の変更について述べる。

【００８３】影の領域は、主光源の光があたらない部分
である。したがって、影の色は、天空光に依存している
。すなわち、影の色に天空光の色を反映させることによ
り、リアルな影を表現することができる。実世界におい
て、晴れのときには、影は明瞭であり、曇のときは、影
は不明瞭であり、これは、曇のとき、光源全体の中で、
太陽光の割合が減り天空光の割合が増えることが原因で
ある。したがって、天空光を影に反映させることにより
、天候による影の明瞭さの変化もシミュレートすること
ができる。このことは、全体のコントラストを変化させ
るということでもあるので、画像全体に対して、天候に
応じて、色のダイナミックレンジを変更する等の処理を
して、色の分散値を少なくすることにより、空以外の領
域について、曇の天候を表現することも有用である。

【００８４】第四に、太陽高度（時刻）シミュレーショ
ンをするときの照明の効果について述べる。時刻を変更
するシミュレーションを行う場合に、暗くなった情景で
、画像中の照明部分が点灯色に変化するのは効果がある
。これは、指定された太陽高度、または、時刻が、ある
基準を超えた場合に、変化するようにする。このとき、
図１２に示すように、画像中の照明１２２に照明光が周
囲に波及する様子を疑似的に表現するフィルタ１２１を
用意し、このフィルタの重み付け１２３に基づいて、画
像と照明色の平均化を行うことによりリアルな照明を簡
単に表現する。以上により、自然画の空の領域とそれ以
外の領域に対し、太陽光と天空光による関連づけを行う
ことにより、リアルかつ連続的な時刻，天候シミュレー
ションを簡単に行うことができる。

【００８５】

【実施例】本発明の一実施例を図１，２、および、図１
３〜１６を用いて説明する。

【００８６】図１，２は本実施例の詳細処理フロー図で
あり、図１３は本実施例を実現するハードウエア構成図
、図１４は処理領域の領域区分を、図１５は色ベクトル
の抽出方法を、図１６は雲の３Ｄ構造生成方法をそれぞ
れ説明する。

【００８７】本実施例は、カラー自然画の、晴れ，曇の
天候の変更を行い、時刻を指定することによって、任意
に時刻の変更を行う。また、時刻を任意に変更したとき
の光環境下で、物体の色デザインを行うことを目的に、
物体の反射率を変えることにより物体色の変更を行う。

【００８８】まず、図１３に本発明を実現するための装
置のブロック図を示す。図１３の１３９，１３１０は原
画入力のためのスキャナまたはカメラ、１３８はＡ／Ｄ
変換器、１３４は画像を格納するメモリ、１３１はＣＰ
Ｕ、１３５は記憶装置、１３６は画像等を表示するカラ
ーディスプレイ、１３２，１３７は入力装置を示してい
る。

【００８９】本実施例は、前もって対象自然画から、自
然画の変更に用いるデータを抽出する処理と、天候，時
刻をリアルタイムに変更したり、物体の反射率を変える
ことにより物体色の変更を行う処理で構成される。

【００９０】まず、図２を参照しながら、データ抽出の
処理フローを説明する。

【００９１】図２の画像入力２１において、図１３の物
体１３１２をカメラ１３１０で撮影し、Ａ／Ｄ変換機１
３８を経て、画像メモリ１３４に格納する。または、カ
ラー画像１３１１をカラースキャナ１３９で取り込みＡ
／Ｄ変換機１３８で、画像メモリ１３４に格納する。

【００９２】図２のマスク格納領域の分離２２において
、図１３の画像メモリ１３４内の画像について、図１４
に示すように、画像１４１を、空領域１４２と空以外の
領域１４５に分離する。この分離処理は、画像を図１３
のカラーディスプレイ１３６に表示し、表示された画像
の各領域の境界上の点を複数個、人がマウス１３２で指
定することにより行う。空の領域１４２については、さ
らに、雲の領域１４４を抽出し、空の領域１４２から、
雲の領域１４４を除いた空の領域１４３を作成する。雲
の領域の欠損部１４８は、空の周囲の部分を合成するこ
とにより作成する。空以外の領域１４５については、色
デザインを目的として、物体の色自体を変えたい物体領
域１４７と、それ以外の領域１４６を分離し、また、領
域１４５から影の部分１４９を抽出しておく。さらに、
車のライト等照明物体の発光部分１４１０も分離してお
く。これら、１４２，１４３，１４４，１４５，１４６
，１４７，１４９，１４１０の領域毎に、画像中の領域
を示す図２のマスク情報２３が、得られ図１３の記憶装
置１３５に格納される。

【００９３】図２のプロット２４において、図１４の物
体領域１４７の三原色画素値を三原色空間にプロットし
、図２の色ベクトル抽出２５において、色空間内の分布
から、物体色Ｃｂ，反射率Ｃｏ，光源色（太陽光色）Ｃ
ｓ，環境色Ｃａ，面光源色（天空光色）Ｃａｐ，色テク
スチャＣｄの各ベクトルを抽出し、これら抽出ベクトル
２６は、図１３の記憶装置１３５に格納される。

【００９４】ベクトルの抽出は、発表者らが既に出願し
ている特願平２−１１９８２７　号の方法により行う。図６の三原色空間において、物体領域の画素値６１は、
物体色６２と光源色６３のベクトルの付近に密集して存
在することを利用して、まず、物体色６２と光源色６３
のベクトルを抽出し、その後、環境光色６４を三原色空
間の原点を始点、物体色ベクトル６２の始点を終点とし
て求める。色テクスチャベクトル６５は、物体色と光源
色の２ベクトルの外積と同じ向きである大きさをもつベ
クトルとして求める。例えば、物体色を求めるとき、図
１５に示すように、三原色空間の投影平面１５１を図１
３のディスプレイ１３６に表示し、投影平面上で、プロ
ット点が線形に密集している領域１５３上に線分１５４
を指定すれば、三原色空間において物体色１５５を含む
１平面１５６が決まる。投影角を変えて三原色空間を投
影後、同様に投影平面１５２において、プロット点が線
形に密集している領域上に線分１５７を指定すれば、別
の１平面１５８が決まる。三原色空間内のこの２平面１
５６，１５８の交線１５１３を求めれば、交線上に、物
体色１５５が存在する。投影平面において指定した上記
線分１５３の端点１５９，１５１０は三原色空間におい
て、平面１５６上の直線１５１１，１５１２であり、三
原色空間においてこれらと上記交線１５１３の交点が物
体色１５５の始終点となる。光源色も同様にして抽出す
る。

【００９５】図２のベクトル成分分解２７では、光源色
ベクトルＣｓ，物体色ベクトルＣｂ，色テクスチャベク
トルＣｄの成分それぞれ、Ｍｓ，Ｍｂ，Ｍｄに物体領域
中の各画素値を分解する。Ｍｓ，Ｍｂ，Ｍｄは以下のよ
うにして求める。数式４に示す画素値Ｃについて，ここ
では、Ｂ＝０とした。

【００９６】

【数１１】　　　　Ｃ′＝Ｃ−（Ｃａ）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　…（数１１）と置き、

【００９７】

【数１２】　　　　ｂ１＝（Ｃ′・Ｃｓ），ｂ２＝（Ｃ′・Ｃｂ）
，ｂ３＝（Ｃ′・Ｃｄ）　　　　ａ１＝（Ｃｓ・Ｃｓ）
，ａ２＝（Ｃｂ・Ｃｂ），ａ３＝（Ｃｄ・Ｃｄ）　　　
…（数１２）　　　　ａ４＝（Ｃｓ・Ｃｂ），ａ５＝（
Ｃｂ・Ｃｄ），ａ６＝（Ｃｄ・Ｃｓ）と置いたとき、

【００９８】

【数１３】　　　　Ｍｓ・ａ１＋Ｍｂ・ａ４＋Ｍｄ・ａ６＝ｂ１　
　　　Ｍｓ・ａ４＋Ｍｂ・ａ２＋Ｍｄ・ａ５＝ｂ２　　
　　　　　　　　　　　　　　　　…（数１３）　　　
　Ｍｓ・ａ６＋Ｍｂ・ａ５＋Ｍｄ・ａ３＝ｂ３を、解く
ことによりＭｓ，Ｍｂ，Ｍｄを求めることができる。図
２の成分分解画像２８を図１３の画像メモリ１３４に各
画素に対する画素値として格納する。

【００９９】図２の天空モデル生成２９では、あらかじ
め数通り設定してある天空色関数のパラメータを決定し
、時刻変更で用いる天空色関数を決める。本実施例は、
引例１，２で述べられている晴天と曇天の２種の天空光
度を決める関数と、天空光度と色を関係づける関数を用
いて天空モデルの色を決める。ここで、パラメータは、
緯度，月日、および、晴天（雲がない青空の状態）か、
あるいは、曇天（青空が見えず、雲が空一面を覆った状
態）かを指定する。他のさまざまな気象条件などは、標
準的なものを設定しておくことにより、天空色関数を太
陽高度と位置の関数の形にし、さらに、上記条件により
、太陽高度，位置と時刻の対応関数を作成しておく。す
なわち、時刻の入力により、天空モデルが一意に決まる
ようにする。

【０１００】図２の画像あてはめ２１０では、変更対象
画像を天空モデルにあてはめる。画像を撮影したときの
視点方向（方位），視野角（高さ方向，水平方向）が必
要である。撮影時の情報がある場合にはそれを用いるが
、多くの自然画ではそのような情報が得られないので、
数種類設定しておき、人が選択するようにする。天空モ
デルの地平線と、画像の地平線を一致させるために、画
像を図１３のディスプレイ１３６に表示し、マウス１３
２で画像の地平線位置上の一点を指定する。上記、マウ
スで指定した地平上の一点を、視野方向の方位を用いて
天空モデルの地平線に対応させた後、画像の左右，上下
の端を、視野角より決まる天空モデル上の曲線にマッピ
ングする。画像上のその他の点の天空モデルにおける位
置は補完により求める。

【０１０１】以上、求めた画像と天空モデルの対応は、
既に図８で示したモデル対応画像８９として得られ、図
１３の画像メモリ１３４に格納される。

【０１０２】図２のテクスチャ画像抽出２１２では、図
１４の空領域１４３に対するテクスチャ画像を抽出する
。まず、数通りの時刻を入力し、それぞれについて、天
空モデルの色を一意に決めた後、上記のモデル対応画像
を用いて、それぞれ、数通りの基本空画像を生成する。それぞれ、対象画像の空領域の各画素と基本空画像との
差の総和を求め、この値が最小である基本空画像を決定
する。この基本空画像と対象自然画の各画素の色の差を
画素の値とする画像をテクスチャ画像とする。テクスチ
ャ画像を、図１３の画像メモリ１３４に格納する。

【０１０３】図２の雲の３Ｄ構造生成２１４においては
、図１６に示すように、雲のテンプレート１６２を作っ
ておく。雲の部分画像について、テンプレートを選択し
、画像の横方向をｘ，縦方向をｙとしたときの、テンプ
レートの当てはめを行う。図１６（ａ）の１６１が対象
とする雲の部分画像とするとき、図１６（ｂ）の１６２
のテンプレートをｘ軸方向に積分することによって、３
次元構造を作成する。このとき、テンプレート１６２の
ｙ軸方向幅１６３が、１６１における微小区間ｄｘのと
きのｙ軸方向幅１６４と同一になるように、ｙ方向、お
よび、ｚ方向にテンプレート１６２を縮小、または、拡
大する。図１４の雲領域１４４について、３次元構造を
作成し、図１３の記憶装置１３５に格納する。

【０１０４】図２の照明フィルタ当てはめ２１６におい
ては、作用で既に述べたように、図１４の照明の部分１
４１０に、照明が点灯されたときの重み付けを行う照明
フィルタの配置を済ませておく。

【０１０５】以上で、処理対象画像の時刻，天候シミュ
レーションを行うための準備、および、設定されたさま
ざまな光環境下で、物体の色デザインを行うことを目的
に、物体の反射率を変えることにより物体色の変更を行
う準備が整った。

【０１０６】以下に、図１に従って、自然画の天候時刻
の変更シミュレーションのフローを説明する。

【０１０７】図１の空の編集１１においては、天候を、
より曇に変更したい場合に、図２のマスク作成２２で、
分離した雲の部分画像（図１４の１４４）を、雲のない
空の領域上（図１４の１４３）に、合成することにより
任意に空領域の雲を増やす。これは、図１３のカラーデ
ィスプレイ１３６上に処理対象画像、および、雲部分画
像を表示し、マウス１３２により、雲画像を指し示すこ
とにより、雲画像の選択後、画像中の空領域内の点をマ
ウスで指定することにより配置を行う。このとき、雲の
拡大縮小の操作も行えるようにする。

【０１０８】図１の天候指定１２において天候を入力す
る。この天候の指定により、基本空画像を生成する天空
半球モデルの天空上の色を算出する関数を天候に合わせ
て選択する。晴天，曇天のときの太陽位置による天空光
算出方法は既に述べたように引例１，２で述べられてい
る。青空のベースの上に雲が存在するような場合は、雲
が多くても晴天の関数を使用する。

【０１０９】図１の時刻入力１３において、変更したい
時刻を入力する。

【０１１０】図１の太陽位置決定１４において、入力時
刻に合わせて太陽の位置を決定する。

【０１１１】図１の基本空画像生成１５では、既に選択
された天空算出関数とモデル対応画像により基本空画像
を生成する。基本空画像はモデル画像より抽出したもの
を用いたり、変更後の空領域として、モデル画像の空領
域を合成してもよい。このとき、図１の１２，１３，１
４，１６，１７において、天候，時刻，太陽位置，太陽
光色，天空光色はモデル画像から推定したものを用いる
。

【０１１２】図１の太陽光色生成１６では、太陽の高さ
から、太陽の色を求めるテーブルをあらかじめ用意して
おき、このテーブルにより太陽光色を決定する。このテ
ーブルは、例えば、太陽光の低いときは赤っぽくなるよ
うに定義しておく。太陽の高さと色の関係については、
文献「深澤正大，大気の散乱を考慮した太陽高度による
色彩変化，情報処理学会　　グラフィクスとＣＡＤ研究
会　　４０−７（１９８９．８）」で報告されている。天空モデル上で、太陽位置に雲の部分画像が存在する場
合には、太陽光の色のＲＧＢ値に１以下の定数を乗じる
ことにより太陽光の大きさを減じる。

【０１１３】図１の天空光色生成１７では、図１の時刻
入力１２と太陽位置決定１４で選択されている天空関数
と太陽位置から、天空モデルの天空上の各点の色がわか
るから、この色の平均をとることにより代表となる天空
光色を決定する。

【０１１４】図１の色ベクトル変更１８では、物体領域
を生成する色ベクトルのうち、太陽光色により光源色Ｃ
ｓを、天空光色によりＣａｐを変更する。これら、２色
を変更後、図１の物体領域変更１９において、色デザイ
ンも行いたい領域１４７については、反射率Ｃｏも変更
して物体自身の色も変更した後で、数式４，５，６によ
り変更する。物体自体の色は、変えず光環境の変更によ
る物体の見え方だけを変更したい領域１４５については
、数式４，５，６または、７，８，９，１０のいずれか
一方を用いて、変更後の三原色値を求める。

【０１１５】図１の空領域の変更１１０において、基本
空画像とテクスチャ画像を画素毎にその和を算出するこ
とにより変更空画像のベースを求める。

【０１１６】図１の雲の変更１１１では、合成した雲の
３Ｄ構造，モデル対応画像から求める雲の天空内の位置
，太陽の色，太陽の位置，天空光色から、太陽光を主光
源Ｃｓ＝Ｉｅ＝（Ｒｅ，Ｇｅ，Ｂｅ）、天空光色を環境
色Ｃａｐ＝Ｉａ＝（Ｒａ，Ｇａ，Ｂａ）とおき、太陽と
雲の表面の法線方向との成す角をθとしたとき、例えば
、ＣＧにおける簡易なシェーディング法を用いて、数式
１４のようにシェーディングを行う。

【０１１７】

【数１４】

【０１１８】図１の雲の合成１１２では、変更した雲画
像を空領域に合成する。

【０１１９】図１の影の変更１１３では、天空モデル上
の太陽位置により影の向きを変更し、影の色を天空光と
同じＲＧＢ比を持つ色に変える。また、曇の天候のとき
、あるいは、太陽光と天空光の大きさの比が小さい場合
には、影の境界線と境界付近の画素の平均化を行うこと
により、影をぼかす処理を行う。

【０１２０】同様に曇の天候の場合には、画像全体のコ
ントラストを小さくするため、画素値の色のダイナミッ
クレンジを狭める等して、画素値の分散を減少するよう
にする。

【０１２１】図１の照明ＯＮ１１５では、太陽の高度が
０以下であるか、すなわち、夜であるか判断して、夜の
場合は、既に作用で図１４により、説明したように照明
領域の照明を照明色に変更し、周囲画素との平均化を行
う。

【０１２２】図１の画像表示１１６で画像を表示後、１
１７，１１８において、それぞれ、時刻，天候を再び変
更するかどうかを選択し、再変更する場合にはそれぞれ
、空の編集１１，天候指定１２に戻る。

【０１２３】

【発明の効果】以上に述べた方法により、カラー自然画
画像において、空の領域，物体の領域の両方に対して、
天候，時刻等の環境変化を、簡単に、視覚でシミュレー
トできる。商品のセールス等のプレゼンテーション分野
や、建築物の景観シミュレーション、商品デザインにお
いて、対象物の使用環境まで考慮することができる。

【図面の簡単な説明】

【図１】本発明の実施例である時刻天候変更シミュレー
ションのフローチャートである。

【図２】本発明の実施例である時刻天候変更シミュレー
ションのデータ抽出処理のフローチャートである。

【図３】物体の反射特性を説明する従来技術の説明図で
ある。

【図４】反射モデルを説明する従来技術の説明図である
。

【図５】環境光を説明する従来技術の説明図である。

【図６】反射モデルを説明する従来技術の説明図である
。

【図７】本発明の原理を説明する図である。

【図８】天空モデルを説明する図である。

【図９】空領域変更を説明する図である。

【図１０】雲の変更と合成を説明する図である。

【図１１】時刻天候シミュレーションの全体像を説明す
る図である。

【図１２】照明フィルタを説明する図である。

【図１３】本発明の実施例を実現するハードウェア構成
を示す図である。

【図１４】領域の分離を説明する図である。

【図１５】色ベクトルの抽出法を説明する図である。

【図１６】雲の三次元構造生成を説明する図である。

【符号の説明】

図面の中で、発明の主要な部分を表す符号の説明を記述
する。

Claims

【特許請求の範囲】

【請求項１】自然画の色彩変更処理において、光源，時
，天候等に関する共通のパラメータを与えることにより
、変更対象である自然画の空領域を変更する処理と、遠
景，物体，物体の影，地面等の上記空領域以外の領域を
変更する処理との少なくともいずれか一方を行い、対象
自然画の色を変更することを特徴とする色彩画像変更方
法。
【請求項２】上記空領域を変更する処理は、画像中の主
光源の色を表すパラメータと、上記主光源の位置を表す
パラメータと、時刻，季節などの時を表すパラメータと
、雲の量などの天候を表すパラメータのうち少なくとも
一つを変更する処理、あるいは、別の画像の空領域を与
えることにより空領域を生成する処理の少なくともいず
れか一方からなる請求項１項の色彩画像処理方法。
【請求項３】上記空領域以外の領域を変更する処理は、
画像中の主光源の色を表すパラメータと、主光源位置を
表すパラメータと、面光源の色を表すパラメータのうち
少なくともいずれかを変更する処理を含む請求項１項の
色彩画像処理方法。
【請求項４】上記空領域以外の領域を変更する処理は、
面光源の色を、空領域の色から求める処理を含む請求項
３項の色彩画像処理方法。
【請求項５】上記空領域を変更する処理は、変更画像中
の主光源の色を表すパラメータと、主光源位置を表すパ
ラメータと、時刻や季節等の時を表すパラメータと、雲
の量等の天候を表すパラメータとのうち、少なくとも一
つを変更する処理を含む請求項２項の色彩画像処理方法
。
【請求項６】上記空領域以外の領域を変更する処理は、
変更画像中の主光源の色を表すパラメータと、主光源位
置を表すパラメータと、面光源の色を表すパラメータと
、時刻や季節等の時を表すパラメータと、雲の量等の天
候を表すパラメータとのうち、少なくとも一つを変更す
る処理を含む請求項３項の色彩画像処理方法。
【請求項７】上記パラメータの少なくとも一つを変更す
る処理は、別の画像より推定したパラメータを用いて変
更する処理からなる請求項５項の色彩画像処理方法。
【請求項８】上記変更する処理は、変更画像中の主光源
の色を表すパラメータと、主光源位置を表すパラメータ
と、面光源の色を表すパラメータの少なくとも一つを別
の画像より推定した主光源，主光源位置，面光源の色を
表すパラメータの少なくとも一つを用いて変更する処理
を含む請求項６項の色彩画像処理方法。
【請求項９】上記空領域を変更する処理は、変更対象画
像から、雲，煙霧等の情報を表すテクスチャ画像と、そ
れ以外の基本空画像を分離し、上記テクスチャ画像と基
本空画像の少なくともいずれか一方を変更後、前記２画
像の画素値の演算により、変更空領域を生成する処理か
らなる請求項１項の色彩画像処理方法。
【請求項１０】上記空領域以外の領域を変更する処理は
、変更対象画像から、雲，煙霧等の情報を表すテクスチ
ャ画像と、それ以外の画像を分離し、上記テクスチャ画
像とそれ以外の画像の少なくともいずれか一方を変更後
、前記２画像の画素値の演算により変更する処理からな
る請求項１項の色彩画像処理方法。
【請求項１１】上記空領域を変更する処理は、空領域を
、雲の部分画像と、それ以外の部分画像に分離し、その
うちの少なくともいずれか一方を変更した後で、上記２
つの部分画像を合成することにより変更する処理からな
る請求項１項の色彩画像処理方法。
【請求項１２】上記空領域以外の領域を変更する処理は
、自然画中の物体の色を、物体の反射率と、主光源と、
面光源の色のうち、少なくとも一つを変更することによ
り変更する処理を含む請求項１項の色彩画像処理方法。
【請求項１３】上記物体の色を変更する処理は、色空間
における物体領域の各画素の色を一次式で表現する、鏡
面反射を表す光源色ベクトル，拡散反射を表す物体色ベ
クトル，物体領域の分布の原点からのずれを表す環境色
ベクトルを抽出後、物体の反射率と、主光源の色と、面
光源の色のうち少なくとも一つを変更することにより、
上記ベクトルを変更し、物体領域の各画素の色を再構成
する処理からなる請求項１２項の色彩画像変更方法。
【請求項１４】上記ベクトルを変更する処理は、変更前
の物体領域の各画素値を、Ｃ＝ＣｓＭｓ＋ＣｂＭｂ＋Ｃａで表し、主光源の変更により、光源ベクトルＣｓと物体
色ベクトルＣｂを変更する処理と、面光源の変更により
、環境光ベクトルＣａを変更する処理の少なくとも一方
からなる請求項１３項の色彩画像変更方法。
【請求項１５】上記空領域以外の領域を変更する処理は
、変更対象領域の変更前の色をＣ＝（Ｒ，Ｇ，Ｂ）、変
更後の色をＣ′＝（Ｒ′，Ｇ′，Ｂ′）、色空間におけ
る変更対象領域の画素値の分布の原点からの距離を表す
ベクトルをＣａ＝（Ｒａ，Ｇａ，Ｂａ）としたときに、
Ｋｓ＝（ｒｋｓ，ｇｋｓ，ｂｋｓ），Ｋａ＝（ｒｋａ，
ｇｋａ，ｂｋａ）を与え、Ｒ′＝ｒｋｓ＊（Ｒ−Ｒａ）＋ｒｋａ＊ＲａＧ′＝ｇｋ
ｓ＊（Ｇ−Ｇａ）＋ｇｋａ＊ＧａＢ′＝ｂｋｓ＊（Ｂ−
Ｂａ）＋ｂｋａ＊Ｂａにより、変更画素値を算出する処
理からなる請求項１項の色彩画像変更方法。
【請求項１６】上記Ｋｓは、変更前の主光源の色ベクト
ルをＳ＝（Ｒｓ，Ｇｓ，Ｂｓ）、変更後の色ベクトルを
Ｓ′＝（Ｒｓ′，Ｇｓ′，Ｂｓ′）としたときに、ｒｋ
ｓ＝Ｒｓ′／Ｒｓｇｋｓ＝Ｇｓ′／Ｇｓｂｋｓ＝Ｂｓ′／Ｂｓにより求める請求項１５項の色彩画像変更方法。
【請求項１７】上記Ｋａは、変更前の天空光の色をＣａ
ｐ＝（Ｒａｐ，Ｇａｐ，Ｂａｐ）、変更後の天空光の色
をＣａｐ′＝（Ｒａｐ′，Ｇａｐ′，Ｂａｐ′）とした
ときに、ｒｋａ＝Ｒａｐ′／Ｒａｐｇｋａ＝Ｇａｐ′／Ｇａｐｂｋａ＝Ｂａｐ′／Ｂａｐなる式により求める請求項１５項の色彩画像変更方法。
【請求項１８】上記Ｋａは、変更前の天空光の色をＣａ
ｐ＝（Ｒａｐ，Ｇａｐ，Ｂａｐ）、変更後の天空光の色
をＣａｐ′＝（Ｒａｐ′，Ｇａｐ′，Ｂａｐ′）、各画
素の物体上の位置に起因する変数をｇとしたときに、ｒ
ｋａ＝Ｒａｐ′／Ｒａｐ＊ｇｇｋａ＝Ｇａｐ′／Ｇａｐ＊ｇｂｋａ＝Ｂａｐ′／Ｂａｐ＊ｇなる式により求める請求項１５項の色彩画像変更方法。
【請求項１９】上記変数ｇは、空方向と成す角、または
、地面と成す角を基準として物体を複数の領域に分割し
て得られる分割領域ごとに値を異ならせる請求項１８項
の色彩画像変更方法。
【請求項２０】上記環境光ベクトルＣａは、空方向と成
す角、または、地面と成す角を基準として物体を複数の
領域に分割して得られる分割領域ごとに値を異ならせる
請求項１４項の色彩画像変更方法。
【請求項２１】上記主光源は太陽光とする請求項２項ま
たは３項の色彩画像変更方法。
【請求項２２】上記空領域を変更する処理は、空領域の
画像を表わす空画像に対して画像の撮影地点の天空をモ
デル化した天空モデルを対応づける処理を含む請求項２
項の色彩画像変更方法。
【請求項２３】上記空画像に対して天空モデルを対応づ
ける処理は、天空モデルにおける方角を表す角と高度を
、空画像に対応づけるモデル対応画像を用いる請求項２
２項の色彩画像変更方法。
【請求項２４】上記空領域以外の領域を変更する処理は
、主光源の位置，主光源色，面光源色，雲の量等の天候
を表す量，時刻，季節等の時を表すパラメータのうち少
なくとも一つにより自然画中の影を変更する処理を含む
請求項３項の色彩画像変更方法。
【請求項２５】上記影を変更する処理は、雲の量等の天
候を表す量を変更することにより、影の境界線において
、平均化処理を行う処理を含む請求項２４項の色彩画像
変更方法。
【請求項２６】上記影を変更する処理は、影の色は、面
光源色，雲の量等の天候を表す量のうち少なくとも一つ
を変更することにより色変更する処理を含む請求項２４
項の色彩画像変更方法。
【請求項２７】上記雲の部分画像を変更する処理は、雲
の形状と天空モデルにおける位置の少なくとも一方を決
め、上記、雲の形状と天空モデルにおける雲の位置の少
なくとも一つを用いて雲画像を変更する処理を含む請求
項１１項の色彩画像変更方法。
【請求項２８】上記雲の部分画像を変更する処理は、主
光源色と、面光源色と、主光源の位置の少なくとも一方
を決め、上記、主光源色と、面光源色と、主光源の位置
の少なくとも一つを用いて雲の領域を変更する処理を含
む請求項１１項の色彩画像変更方法。
【請求項２９】上記空領域を変更する処理は、上記主光
源位置と雲の位置を用いて主光源色を変更する処理を含
む請求項２項の色彩画像変更方法。
【請求項３０】上記空領域以外の領域を変更する処理は
、上記主光源位置と雲の位置を用いて主光源色を変更す
る処理を含む請求項３項の色彩画像変更方法。
【請求項３１】上記雲の部分画像を合成する処理は、天
候の指定に応じて、雲を合成する処理からなる請求項１
１項の色彩画像変更方法。
【請求項３２】上記空領域以外の領域を変更する処理は
、時刻と、太陽高度の少なくとも一方の変更により、照
明の機能を持つ物体の領域を照明色に色変更する処理を
含む請求項３項の色彩画像変更方法。
【請求項３３】上記照明の機能を持つ物体領域の色変更
は、画像上の色変更領域の周囲の画素値と、上記照明色
との平均化処理を行う処理を含む請求項３２項の色彩画
像変更方法。
【請求項３４】上記色変更処理は、天候の指定に応じて
、画像の画素値のとるダイナミックレンジを変更する処
理を含む請求項１項の色彩画像変更方法。
【請求項３５】上記色変更処理は、天候の指定に応じて
、前記対象画像の画素値のとる分散値を変更することに
より色変更を行う処理を含む請求項１項の色彩画像変更
方法。
【請求項３６】上記色変更処理は、別の画像の空領域を
合成することにより対象画像の空領域を変更する処理、
上記別の画像より、推定した主光源色，主光源位置，面
光源色のうち、少なくとも一つを用いて、空領域以外の
領域を変更する処理からなる請求項１項の色彩画像変更
方法。