JP2786261B2

JP2786261B2 - 色彩画像処理方法

Info

Publication number: JP2786261B2
Application number: JP1175463A
Authority: JP
Inventors: 由里瀧澤; 伸一郎宮岡; 誠加藤; 誠能見
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-07-10
Filing date: 1989-07-10
Publication date: 1998-08-13
Anticipated expiration: 2013-08-13
Also published as: JPH0341570A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、カラー画像の色変更を行う色彩画像処理方
法に係り、特に自然画像において実世界の天候、時刻等
の環境変化、または、同一環境での物体色変更をシミユ
レートする機能により、商品のセールスプレゼンテーシ
ヨンや、建築物の景観シミユレーシヨン、工業製品の色
デザイン等に好適な色彩画像処理方法に関する。

〔従来の技術〕

従来、カラー画像の色変更を行う色彩画像処理方法に
おいてよく行われるものとしては、HSV,HSI,HSLモデル
による色変更（各種HSIカラーモデルの特性評価福江
ら日本写真測量学会講演 1986年10月）や、単純に色
の変換ルツキングテーブルを設定する色変更（文献オ
ープラスイー（O plus E）No.110 フルカラーイメ
ージプロセツサSHIPとその応用1989年１月）等がある。

カラー画像の画素値をプロツトした三次元三原色空間
において色変更を行う方法、特に本発明と同様に、三原
色空間内に複数の色ベクトルを推定し、プロツトされた
各画素値の該色ベクトルの分解成分を求めた後に、色ベ
クトルを変更し、該分解成分と該変更後色ベクトルを用
いて各画素の色変更を行う方法としては、特開昭63−23
7172号公報に記載された方法がある。

これは、第12図に示すように、カラー画像の対象とな
る色領域中の各画素の三原色値を三次元の色空間におい
て、黒色（原点）、物体色ベクトル光源色ベクトルの三色が張る平面上の色を示すと仮定した場合、各画素
を上記２ベクトルの成分に分解し、これを各画素の二次
元の中間座標とし、次に中間座標値と光源色ベクトルと、新たに与えられた第二の物体色ベクトルから、変更された三原色値を計算することにより、色領
域を所望の色に変更する方法である。この方法は光源色
と物体色を分離したことにより、上記仮定が成立する場
合に限り、これ以前の色変更方法では困難であつた照り
返し部分のある画像の物体色変更についても可能にし
た。つまり、照り返しの光は各画素値の光源色ベクトル
に対する成分として三原色空間内に現れ、その他の光は
物体色ベクトルに対する成分として現れるので、物体色
ベクトルを変更することにより照り返し部分のある画像
に対しての色変更が可能となる。

また、物体の色変更を行う処理ではないが、カラー画
像の画素値をプロツトした三次元三原色空間において、
複数の色ベクトルを推定し、プロツトされた各画素値の
色ベクトルの分解成分を求めることを用いる色彩画像処
理方法としては、ジー．ジエイ．クリンカー（G.J.Klin
ker）らが文献「インターナシヨナルジヤーナルオ
ブコンピユータビジヨン No.1 Vol.2（1988年６
月）」（Internatinal Journal of Computer Vision N
o.1,Vol.2（1988.6））で述べた方法がある。この文献
内でクリンカーらは、１点光源だけが物体に対する光源
として影響を与える特殊な撮影環境でCCDカメラを用い
て艶のある色つきの物体（プラスチツク）の撮影を行
い、得られたカラー画像の画素値をプロツトした三原色
空間を分析する実験を行つた。クリンカーらは、画素値
の分布から、特に画素値の密集状態から物体色ベクトル
と光源色ベクトルを抽出する方法と、同一物体領域の各
画素値は上記２ベクトルの成す平行四辺形内とその近傍
に分布していることを示した。さらに、クリンカーら
は、同一物体領域中の各画素値を上記２ベクトルの成す
平行四辺形内の点として近似した場合、画素値の平行四
辺形内の位置は画素の物体領域の位置に依存し、その他
の要素には依存しない固有の特徴量であることを提唱し
た。クリンカーらは、同一物体領域の各画素値を上記２
ベクトルの成分に分解し、鏡面反射成分（光源色ベクト
ル成分）を除去することにより、カラー画像よりハイラ
イト成分を除去することに成功した。

〔発明が解決しようとする課題〕

上記従来技術において三次元三原色色空間における色
変更方法は、色変更の自然さにおいて他の従来技術より
優れた方法であるが、以下のような限界があつた。

第１に、上記色変更方法は一般的なカラー画像に適用
するには不十分である。該方法は、対象となる色領域中
の各画素の三原色値を三次元の色空間において、黒色、
物体色ベクトル、光源色ベクトルの三色が張る平面上の
色を示すと仮定したが、このよう仮定はきわめて特殊な
撮影環境で撮影された画像であるか、スキヤナやカラー
カメラで入力した画像の色を、TVカメラ（モノクロ）で
得られた陰影に応じて変更する回路を用いて得られた画
像には適用できるが一般的な画像には適用できない。一
般的なカラー画像においては画像中の物体領域の色は主
光源の色、量だけの影響でその色を呈しているのではな
く画像の撮影されたシーンにおいて、物体の周囲に存在
する物質（例えば空等）が発する光（前記空ならば、青
色光）の影響により生じる色も物体の色に加味されてい
る。また、画像を撮影、または、画像入力装置より入力
する際には、現実の色にそれらの特性による色が加えら
れる。画素値をプロツトした三原色空間において、上記
の物体の周囲に存在する物質が発する光の影響による色
と撮影、入力装置による色の線形和が、物体色ベクトル
の始点と原点（すなわち黒色）を結ぶベクトルとして現
れる。従つて、一般的なカラー画像では、各画素を黒
色、物体色ベクトル、光源色ベクトルの三色が張る平面
上の色として近似することは困難である。

本発明の第１の目的は、上記の物体の周囲に存在する
物質が発する光の影響による色と、撮影、入力装置によ
る色とを考慮して、一般的なカラー画像に対して、ま
た、特別な回路がなくとも一般に用いられる計算機シス
テムがあれば適用できる色変更を行う色彩画像処理方法
を提供することである。

第２に、上記従来技術の色変更方法は、原画像に忠実
な色変更ができない。該方法は各画素値を物体色ベクト
ルと光源色ベクトルの成す二次元平面上の点と仮定し
て、各画素に対して該ベクトルの成分を算出し、物体色
ベクトル変更後、該成分と変更後ベクトルにより色変更
を行うが、実際の画素値は該二次元平面だけに分布して
いるのではなく、その近傍にも分布している。この近傍
に存在する画素値と該平面との距離はノイズばかりでは
なく原画像において、物体領域のテクスチヤ、材質感の
原因となつているので除去せずに残すことが望ましい。
該方法ではこの物体領域のテクスチヤ、材質感の情報が
失われるので、原画像に忠実な色変更ができない。

本発明の第２の目的は、物体領域のテクスチヤ、材質
感の等の原画像の色情報をすべて失うことなく、原画像
に忠実に色変更を行う色彩画像処理方法を提供すること
である。

第３に上記従来技術の色変更方法は、各画素値もプロ
ツトした三原色空間において乱反射成分として現れるベ
クトルを物体色とし、該物体色に対して色変更を行つた
が、該物体色は光源の影響を受けているために、カラー
画像の物体領域の色変更を行うに際し、とりわけ色変更
機能により自然環境に工業製品を置いたときの風量に調
和した製品の色をデザインする際に、不都合または不自
然な色変更を生じる。例えば、既存の製品色を持つ製品
を撮影した画像を元に、製品の新たな色をデザインする
とき、該画像の撮影時に光源色が白色よりある程度はな
れている場合（例をあげると夕暁けの風景等、空は赤色
で、光源色も赤色）、製品は光源光の色味を帯びる。製
品の候補色があるとき、変更後の物体領域の色として該
候補色を用いると、背景の風景（上記例では夕暁けの風
景）とそぐわなくなり不自然であるし、実際にその環境
に該候補色の製品を置いたとき製品は該候補色の色には
見えない（上記例において白色製品を置けば赤色を帯び
る）。

本発明の第３の目的は、任意の光源下で撮影した物体
の画像から物体の色変更が自然に容易にでき、任意の光
源下で既存の製品色を撮影した画像から、新たに色デザ
インした製品色が該画像の光源下で何色に見えるか知つ
たり、任意の背景風景と調和した製品の画像を得る色変
更を行う色彩画像処理方法を提供することである。

第４に、上記従来技術の色変更方法は、光源色、光源
量が変更できないという問題がある。

本発明の第４の目的は、光源色ベクトルを変更するこ
とにより光源色を任意に変更し、さらに光源色ベクトル
を変更後、変更光源色にふさわしい色に物体領域の色を
変更して、自然な光源色変更画像を得ることにより、色
デザインした製品色が変更光源下でどのような色に見え
るかチエツクすることができる色変更を行う色彩画像処
理方法を提供することである。

第５に、上記従来技術の色変更方法は、物体の周囲に
存在する物質が発する光の影響により生じる色が変更で
きないという問題がある。

本発明の第５の目的は、この画像固有の物体の周囲に
存在する物質が発する環境光色を任意に変更し、さらに
該変更環境比光色にふさわしい色に物体領域の色を変更
して、自然な環境光色変更画像を得ることにより、色デ
ザインした製品色が変更環境光色下でどのような色に見
えるかチエツクすることができる方法を提供することで
ある。

本発明の第６の目的は、一般的な画像入力により得ら
れた画像の入力特性も考慮した上で、物体色、光源色、
環境光色を任意に変更して、実世界の天候、時刻等の環
境変化または同一環境での物体色変更をシミユレートす
る色変更を行う方法を提供することである。

〔課題を解決するための手段〕

本発明は、バイアスベクトルと、バイアスベクトル分
だけ原点より移動した点を始点とする光源色ベクトル、
物体色ベクトル、色テクスチヤベクトルを推定し、各画
素値に対し光源色ベクトル、物体色ベクトル、色テクス
チヤベクトルが成す３次元空間上の位置座標を求め、該
４ベクトルを複数個同時に、または単独に変更し、該位
置座標と、変更後の該４ベクトルを用いて色変更を行う
ものである。

また、バイアスベクトルを環境光色ベクトルと入力装
置バイアスベクトルの線形和と仮定し、該２ベクトルを
推定して、複数個同時に、または単独に変更することに
より色変更を行うものである。

また、色テクスチヤベクトルは、光源色ベクトルと物
体色ベクトルが成す平面に直行するものである。

また、カラー画像の各画素値をプロツトした三次元の
三原色色空間から、まず、光源色ベクトル、物体色ベク
トルを抽出し、その後、バイアスベクトルと色テクスチ
ヤベクトル推定するものである。

また、光源色ベクトル物体色ベクトル色テクスチヤベクトルの成す３次元位置座標において、任意の画素値の位置座
標が、それぞれMs,Mb,Mdとすると、該画素値の三次元三
原色空間における色ベクトルを、（但し、はそれぞれ、環境光色ベクトル、入力装置バイアスベク
トル）で表現し、光源色ベクトル物体色ベクトル色テクスチヤベクトル環境光色ベクトル色を変更した後に、画素値を色ベクトル表現を用いて色変
更を行うものである。

また、物体色ベクトルから、光源色ベクトルの影響を
取り除いた純粋物体色ベクトルを抽出し、該純粋物体色
ベクトルを用いて色変更を行うものである。

また、純粋物体色ベクトルを変更して、カラー画像の
シーンの物体色を変更した画像を得る色変更を行うもの
である。

また、光源色ベクトルまたは純粋物体色ベクトルを、
複数または単独に変更後、光源色ベクトルを用いて、純
粋物体色ベクトルを光源の影響を受けた物体色ベクトル
に変換するものである。

また、純粋物体色ベクトルの抽出、または純粋物体色
ベクトルを光源の影響を受けた物体色ベクトルに変換す
る際に、物体色ベクトルの各RGB成分がそれぞれ、光源
色ベクトルと純粋物体色ベクトルの各RGB成分を乗じた
ものとなる関係を用いるものである。

また、環境光色ベクトルおよび純粋物体色ベクトルか
ら、純粋物体色ベクトルの影響を取り除いた純粋環境光
色ベクトルを抽出し、該純粋環境光色ベクトルを用いて
色変更を行うものである。

また、純粋環境光色ベクトルを変更して、カラー画像
のシーンにおいて、雰囲気を変えた画像を得る色変更を
行うものである。

また、純粋物体色ベクトルまたは純粋環境光色ベクト
ルを、複数または単独に変更後、純粋物体色ベクトルを
用いて、純粋環境光色ベクトルを物体色の影響を受けた
環境光色ベクトルに変換するものである。

また、純粋環境光色ベクトルの抽出、または純粋環境
光色ベクトルを物体の影響を受けた環境光色ベクトルに
変換する際に、環境光色ベクトルの各RGB成分が、それ
ぞれ純粋環境光色ベクトルと純粋物体色ベクトルのRGB
成分を乗じたものとなる関係を用いるものである。

また、色変更方法として、モデルカラー画像より複数
または単独のベクトルを推定し、該ベクトルを用いて、
色変更対象カラー画像の物体色または環境の雰囲気を変
更するものである。

また、変更対象ベクトルを変更する方法として、変更
対象のベクトル中に代表点を決め、代表点に対して変更
後の標本色を与え、三次元の三原色色空間においての代
表点と標本色の各RGB成分比で、変更対象ベクトル中の
点を線形に変換することにより、ベクトルを変更するも
のである。

また、ベクトルの変更に際し、変更対象ベクトルを変
更する方法として、該ベクトルの長さを指定した比率で
伸縮することにより、ベクトルを変更するものである。

〔作用〕

本発明の作用を、以下に第7,8,9図を参照しながら説
明する。第７図において、主光源から物体に当たつた光
は、物体表面で反射する光（鏡面反射成分と呼ばれるこ
とが多い）と物体内に入り物体の物質内の色粒子と衝突
を繰り返した後、物体外に出る光（同様に乱反射成分）
に分けられる。鏡面反射成分は入射角と物体の表面方向
により決まる角度で反射され、乱反射成分は全方向に照
射される。この鏡面反射成分は主光源と三原色成分比が
同じと見なしてよく、乱反射成分は主光源と物体の固有
の反射率とで決まる三原色成分値を持つ。従つて、鏡面
反射節分を光源色、乱反射成分を物体色と呼ぶ。また、
物体の固有の反射率を物体色から光源の影響を取り除い
たという意味で純粋物体色と呼ぶことにする。

主光源だけが物体に対する光源として存在する場合に
は上記モデルで良いが、一般的には、主光源より発せら
れた光は第８図に示すように物体の周りに存在する物質
に当り、反射して物体に当る。幾何学的に主光源の光が
当たらない影の部分も黒色ではなくて色を持つのはこの
理由による。この背景物質からの光を純粋環境光色と呼
び、純粋環境光色が物体表面で物体固有の反射率（純粋
物体色）で反射した光を環境光色と呼ぶことにする。

純粋環境光色は背景からの光なので全方角から物体に
光をあてていると仮定すると、環境光色は物体の表面方
向や視点の位置等の幾何学的位置関係には全く依存しな
い。

以上よりカラーより得られた画像の三原色値は次式で表すことができる。

ここで、は光源色でであり、は物体色では純粋物体色（物体の固有の反射率）である。

は環境光色では純粋環境光色（背景からの光）である。

また、MsとMbはスカラー量で、光源色（鏡面反射）の
量を示すMsは各画素に対する物体中の点に対する主光源
の位置と物体の表面方向と視点（カメラ）の位置による
幾何学的角度の関係より決定され、物体色（乱反射成
分）の量を表すMbは主光源の位置と物体表面との幾何学
的角度の関係より決定される。（視点（カメラ）の位置
とは無関係）すなわち、MsとMbは各画素の画像中の対象物体中領域
中の位置に依存し他の要因には、無関係な物体領域固有
の値である。各画素の三原色値はベクトルの成す平面上に射影したときMsとMbにより決まる位置に
存在していると見なすことができる。

しかし、実際の画像では画素値は上記平面上だけに存
在するのでなく、平面から離れた点にも存在する。この
画素値と平面との距離は物体領域のテクスチヤ等の重要
な情報も含んでいるので、それを表すことが必要であ
る。このためさらに、色テクスチヤベクトルを導入している。

とスカラー量Mdとの積は画素値とベクトルの成す平面上との距離を表す。MdもMsとMbと同様物体領
域に固有の値である。

以上より、各画素の三原色値はベクトルの成す三次元空間上にMsとMbとMdにより決まる位置に存
在していると見なすことができ、各画素の三原色値は、
入力装置のバイアス色も考慮して、で、表すことができる。MsとMbとMdは、各画素に対応す
る物体領域固有の値だから、ベクトル変更後、前記（８）式を用いることによつて、色変更後
の画素値を求めることができる。

ベクトル変更は、光源色ベクトル純粋物体色ベクトル純粋環境光色ベクトルをまず変更し、それから（３），（５）式により物体色
ベクトル環境光色ベクトルを変更する。光源色ベクトル、純粋環境光色ベクトルを
その画像特有の環境要因と考え、上記２ベクトルを固定
したまま純粋物体色ベクトルを変更すれば、同一環境で
の物体の色変更がシミユレートできる。また、純粋物体
色ベクトルを固定したまま天候、時刻等で変化する環境
要因として光源色ベクトル、純粋環境光色ベクトルを変
更すれば、物体の色が光環境が変化したときにどのよう
に見えるかをシミユレートできる。

第９図に一般的なカラー画像の各画素値を三次元の三
原色空間にプロツトしたものを示す。画素値は物体色ベ
クトルと光源色ベクトルに密集していることから、この
２ベクトルを分離することが可能であり、上記２ベクト
ルより他のベクトルを抽出することができる。

〔実施例〕

以下、本発明の１実施例である工業製品の任意環境で
の色デザインシステム第１図から第６図と第10,11図に
基づいて詳細に説明する。

第１図は本発明を実現するためのフローチヤート、第
２図は第１図のステツプ15、18によるベクトル分離の詳
細フローチヤート、第３図は第１図のステツプ113によ
るモデルベクトル調整の詳細フローチヤート、第４図は
第１図のステツプ115による物体色変更の詳細フローチ
ヤート、第５図は第１図のステツプ119による光原色変
更の詳細フローチヤート、第６図は第１図のステツプ12
3による環境光色変更の詳細フローチヤート、第10図は
本発明を実現するための処理システムの全体構成図、第
11図は画像中の物体領域と三原色空間内における画素値
との対応を示す説明図である。

第10図の109はカラー原画像1011とカラーモデル画像1
012入力のためのカラースキヤナ、1010は物体1013、モ
デル物体1014を撮影するためのカメラ、108はA/D変換
器、104は画像を格納するメモリ、101はCPU、105は主記
憶、106は原画像、モデル画像変更画像と三原色空間を
表示するカラーデイスプレイ、102,107は処理コマンド
を入力するための入力装置を示している。

次に、本発明の処理手順を第１図に従つて説明する。
第１図のステツプ11は第10図のスキヤナ109またはカメ
ラ1010からそれぞれ、製品の写つたカラー画像が入力ま
たは製品を撮影し、第10図のA/D変換器108でデイジタル
化してメモリ104に格納された後、バスライン103を通じ
て主記憶105にも格納される。第１図のステツプ12で、
モデル画像を用いた色変更を行うと判断された場合には
第１図のステツプ13でステツプ11と同様にモデル画像を
入力し、ステツプ14,15,16ではモデル画像に対してステ
ツプ17,18,19の変更対象画像に対するものとそれぞれ同
じ処理を行う。ステツプ17では対象画像の物体色領域の
セグメンテーシヨンを行い、ステツプ18では色ベクトル
を求め、ステツプ19では求めたベクトルの代表点を決定
する。

ステツプ14,17のセグメンテーシヨンでは、第11図に
示すように画像を画像中の各画素値をプロツトした三原
色空間において、同一物体領域の画素値ごとに処理でき
るように、三原色空間の画素値を分類する。このセグメ
ンテーシヨン法は、種々あるが、本実施例は画像中で各
物体領域に対してのマスク画像を用意し、マスクに対応
する画素の三原色値を三原色空間で切り出す方法を行
う。

ステツプ15,18によるベクトル分離は、光源色ベクト
ル、物体色ベクトル、色テクスチヤベクトル、バイアス
ベクトル、環境光色ベクトル、入力装置バイアスベクト
ル、純粋物体色ベクトル、純粋環境光色ベクトルを求め
る。詳細なフローチヤートを第２図に示す。まず、第２
図のステツプ21,22で、画像中の各画素値をプロツトし
た三原色空間において画素値は光源色ベクトル、物体色
ベクトル腹筋に密集するのでこれを用いて前記文献（G.
J.Klinker et al）で述べた方法で光源色ベクトル、物
体色ベクトルを分離する。次に第２図のステツプ23で、
物体色ベクトルから光源色ベクトルを用いて純粋物体色
ベクトルを前記（３）式を用いて分離する。純粋物体色
の色と製品のカタログ色を比較して、物体色ベクトルを
修正することも可能である。

原点から物体色ベクトルの始点までを結ぶベクトルが
バイアスベクトルとなる。第２図のステツプ24で、バイ
アスベクトルから環境光色ベクトルと入力装置バイアス
ベクトルを分離するのは種々の方法が考えられる。以下
に３つ例をあげる。

（１）２つ以上異なる物体色領域が存在するならば、画
素値をプロツトした三原色空間において、クリンカーら
が物体色ベクトル、光源色ベクトルを求めるのに用いた
方法で、環境光色ベクトルの向きが特定できるほどに環
境光色ベクトル付近に画素値が存在するときに限り、２
つの異なる物体領域の環境光ベクトルの延長線の交点を
求めそれが入力装置バイアスベクトルの終点となる。

（２）原画像の各画素値をプロツトした三原色空間にお
ける物体色ベクトルの始点、すなわちバイアスベクトル
が高精度で高まつた場合、バイアスベクトルをとすると、（ただし、はそれぞれ環境光色ベクトル、入力装置バイアスベクト
ル）であるから、とすると、［作用］式５より、となる。２つ以上異なる物体色領域が存在するならば、
もう１つの物体領域に対しても（12）式が成り立つ。

純粋物体色ベクトルとは前記（３）式より求められるから、（12）式と（13）
式を解くことにより、純粋環境光色ベクトルと入力装置バイアスベクトルを求めることができる。

（３）画像入力装置のバイアス色の特性はある程度経験
的に特定できる。この方法で実際上は問題がない場合が
多く、簡易である。

本実施例では上記のいずれかの方法を用いて、第２図
のステツプ24で、入力装置バイアスベクトルと環境光色
ベクトルを求める。それから、第２図のステツプ25で、
環境光色ベクトルから純粋物体色ベクトルを用いて純粋
環境光色ベクトルを前記（５）式を用いて分離する。

第２図のステツプ26で、色テクスチヤベクトルを光源
ベクトルと物体色ベクトルとの成す平面に直交するよう
に定める。その長さは適当な値で良い。

第１図のステツプ16,19の代表点の決定では、ステツ
プ15,18で求めた各ベクトルにそれぞれ代表点を求め
る。代表点の機能は以下のようなものである。第１は、
ベクトル中の１点を決めることでその点の色を第10図の
カラーデイスプレイ106で見ることができベクトル変更
をするときに便利である。第２図に、代表点に対し変更
後の標本色を与え、三原色空間内において代表点と標本
色点の各RGB成分比で、変更対象ベクトルを線形に変換
することにより簡単にベクトル変更でき、また、このと
き標本色を代表点色の変更後の色としてカラーデイスプ
レイ106で代表点色と比較しながらシステム使用者が見
れば、なおさら便利である。以上の代表点の機能より代
表点はベクトルとその近傍画素値の三原色値の平均的値
を持つことが必要である。本実施例ではこの条件を満た
す代表点としてベクトル近傍の画素値をベクトル上に正
射影しその密度がもつとも高い点を代表点とする。

第１図のステツプ110のベクトル成分分解では、光源
色ベクトル物体色ベクトル色テクスチヤベクトルの成分それぞれ、Ms,Mb,Mdに物体領域中の各画素値を分
解する。Ms,Mb,Mdは以下のようにして求める。前記
（８）式に示す画素値について、と置き、と置いたとき、 Ms・a1＋Mb・a4＋Md・a6＝b1 …（15） Ms・a4＋Mb・a2＋Md・a5＝b2 …（16） Ms・a6＋Mb・a5＋Md・a3＝b3 …（17）を、解くことによりMs,Mb,Mdを求めることができる。M
s,Mb,Mdは色変更処理に際して不変の物体領域固有の値
である。これを第10図の画像メモリ104に各画素に対す
る画素値として格納する。

第１図のステツプ111の三原色空間表示では画像の各
画素値をプロツトした三原色空間を第10図のカラーデイ
スプレイ106に表示してその後のステツプではこれを参
照しながらベクトルの色変更を行う。

第１図のステツプ112では、モデルベクトルを用いた
対象ベクトルの変更をするときモデルベクトルの調整を
するかを判定し、調整する場合には、第１図のステツプ
113では、ステツプ15で抽出したモデルベクトルの長さ
や向きを調整する。この詳細フローチヤートを第３図に
示す。モデル画像のベクトルを調整するのは、そのまま
のモデル画像のベクトルでは対象画像の変更後のベクト
ルとして不適である場合である。例えば、モデル画像の
光源色ベクトルを対象画像の変更ベクトルとして使いた
いが、モデル画像の光源色ベクトルが対象画像の光源色
ベクトルに比べて明るすぎるなどの場合には、モデルベ
クトルの長さを縮小する。第３図のステツプ31で、光源
色ベクトル、純粋物体色ベクトル、純粋環境光色ベクト
ルのうちどのベクトルを調整するかを選択し、ステツプ
32から38で、選択されたモデルベクトルを調整する。ス
テツプ32から38のモデルベクトルの調整方法は第１図の
ステツプ115,119,123のそれぞれ物体色変更、光源色変
更、環境光色変更における標本点、比率を用いたベクト
ル変更法と同様である。変更したモデルベクトルは新た
なモデルベクトルとして、第10図の主記憶105上に格納
される。

次に対象画像のベクトル変更を説明する。第１図のス
テツプ114,118,122でそれぞれ物体色、光源色、環境光
色のうちどのベクトルを変更するか判定する。判定に従
つて、ステツプ115,119,123でそれぞれ物体色変更、光
源色変更、環境光色変更と、変更にともなつて他のベク
トルの変更が必要な場合にはその変更を行う。ベクトル
変更後、ステツプ116,120,124でステツプ10で求めた各
画素についてのMs,Mb,Mdを第10図の画像メモリ104より
バスライン103を通じて主記憶105に読み込み、前記
（８）式を用いて各画素に対して変更画素値を求め、ス
テツプ117,121,125で色変更画像を第10図のカラーデイ
スプレイ106に表示する。システム使用者は色変更画像
をみた後、色変更処理を終了する場合は第１図のステツ
プ126で終了判定の後に、必要ならば変更画像を第10図
の画像メモリ104にセーブしたのち本実施例のシステム
を終了させる。

第１図のステツプ115による物体色変更の詳細フロー
チヤートを第４図に示す。第４図のステツプ41,42でそ
れぞれ、第10図のデイスプレイ106上に三原色空間とそ
の原点から始まる純粋物体色のベクトルを表示し、ま
た、純粋物体色ベクトルの代表点の色も表示する。

次に、第４図のステツプ43,45,47で標本色、比率、モ
デルベクトルのうち何を用いて純粋物体色を変更するか
判定する。判定に従つてそれぞれ、ステツプ44,46,48で
第10図のカラーデイスプレイ106上に三原色空間内の純
粋物体色のベクトル、純粋物体色ベクトルの代表点の色
をみながら純粋物体色を変更する。

第４図のステツプ44では、標本色を用いた純粋物体色
の変更を行う。標本色の指定は、第10図のカラーデイス
プレイ106上の純粋物体色の表示された三原色空間内
に、第10図のマウス102で指し示してもよいし、第10図
のカラーデイスプレイ106上に用意した色のパレツトか
ら１色を選んでもよいし、RGB値で指定してもよい。ど
の指定法であつても三原色空間内に標本色の位置を表示
し、同時に標本色を表示しながら行う。標本色決定後
は、代表点と標本点の各RGB成分比で、純粋物体色ベク
トルを線形に変換する。

第４図のステツプ46では比率を用いた純粋物体色の変
更を行う。第10図のキーボード107から数値を入力しそ
の比率で純粋物体色ベクトルを伸長または縮小する。第
10図のカラーディスプレイ106上に三原色空間内の伸縮
した純粋物体色ベクトルを示し、同時に純粋物体色ベク
トルの代表点に対応する伸縮後純粋物体色ベクトル上の
点の色を表示しながら行う。

第４図のステツプ47では、第１図のステツプ15でモデ
ル画像から抽出し、第１図のステツプ113で調整をした
モデル画像の純粋物体色ベクトルを用いて純粋物体色ベ
クトルを変更する。すなわち、モデル画像の調整済み純
粋物体色ベクトルを、変更後の純粋物体色ベクトルとす
る。この処理によつて、モデル画像の物体の色に製品の
色を合わせることができる。

純粋物体色ベクトル変更後、第４図のステツプ410で
光源色ベクトルを用いて変更後純粋物体色ベクトルから
前記（３）式に従つて物体色ベクトルを求め、第４図の
ステツプ411で変更後純粋物体色ベクトルと純粋環境光
色ベクトルから前記（５）式に従つて環境光色ベクトル
を求める。第４図のステツプ412で、物体ベクトル変更
に伴い、色テクスチヤベクトルを、長さは変えずに変更
後得られた光源色ベクトルと物体色ベクトルの成す平面
に対して直交するように変更する。

第１図のステツプ119による光源色変更の詳細フロー
チヤートを第５図に、第１図のステツプ123による環境
光色変更の詳細フローチヤートを第６図にそれぞれ示
す。光源色変更、環境光色変更ともそれぞれ第４図のス
テツプ41から49までの処理を純粋物体色ベクトルではな
くそれぞれ光源色ベクトル、純粋環境光色ベクトルに対
してそれぞれステツプ51から59、ステツプ61から69まで
で行う。第５図のステツプ510では、純粋物体色ベクト
ルと変更後光源色ベクトルから前記（３）式に従つて物
体色ベクトルを求める。第５図のステツプ511で、光源
色ベクトルと物体ベクトルの変更に伴い、色テクスチヤ
ベクトルを、長さは変えずに変更後得られた光源色ベク
トルと物体色ベクトルの成す平面に対して直交するよう
に変更する。また画像中に物体領域が複数個あれば光源
色ベクトルの変更に伴いそれらの物体色ベクトルも変更
の必要が生じることがあるが、その場合は同様に前記
（３）式に従つて他の物体領域の物体色ベクトルを変更
する。第６図のステツプ610では、純粋物体色ベクトル
と変更後純粋環境光色ベクトルから前記（５）式に従つ
て環境光色ベクトルを求める。画像中に物体領域が複数
個あれば純粋環境光色ベクトルの変更に伴いそれらの環
境光色ベクトルも変更の必要が生じることがあるが、そ
の場合は同様に（５）式に従つて他の物体領域の環境光
色ベクトルを変更する。

以上の処理により、本発明の１実施例である工業製品
の色デザインシステムでは次のようなことができる。あ
る色の製品の画像を１枚システムに入力した後、それを
用いて光源の光の色を変化させたり、背景の空などの環
境の光を変化させたりした時に、その製品の色がどのよ
うに見えるか、また原画像の光環境（光源，背景光）に
デザインした他の色の製品を置いたときデザイン色はど
のように見えるか、そのデザイン色は光環境を変えると
どのように見えるかを、実世界の環境そのままに知るこ
とができる。

〔発明の効果〕

以上説明した方法により、一般的な画像に対し通常の
計算機システムを用いて、画像入力装置から入力した１
枚の画像を、入力装置の特性も考慮したうえで、実世界
の天候、時刻等で変わる環境の変化や、同一環境での物
体色変更をシミユレートできる特に、本発明を工業製品の色デザインに用いる際に
は、天候、時刻等で変わる環境の変化で製品の色がどの
ように見えるか知ることができ、また、同じ環境を保つ
たまま製品の色を自由に変えることができるので、実際
に製品の色を作らなくとも、十分かつ簡単に、製品の色
を検討でき非常に便利である。

また、製品のカラーカタログ等を作成する際に、どの
ような環境に製品を置けば製品の色が映えるか知るのに
役立つ。

さらに、環境の設定はモデル画像を用いてできるの
で、非常に容易であり、かつ効果的な環境を迅速に設定
できる。

【図面の簡単な説明】

第１図は本発明を実現するためのフローチヤート、第２
図はそのステツプ5,8によるベクトル分離の詳細フロー
チヤート、第３図は第１図のステツプ113によるモデル
ベクトル調整の詳細フローチヤート、第４図は第１図の
ステツプ115による物体色変更の詳細フローチヤート、
第５図は第１図のステツプ119による光源色変更の詳細
フローチヤート、第６図は第１図のステツプ123による
環境光色変更の詳細フローチヤート、第７図は色の反射
成分の説明図、第８図は環境光の説明図、第９図はカラ
ー画像の画素値をプロツトした三原色空間の説明図、第
10図は本発明を実現するための処理システムの全体構成
図、第11図は画像中の物体領域と三原色空間内における
画素値との対応を示す説明図、第12図は従来方式の説明
図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者加藤誠神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者能見誠神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (56)参考文献特開平１−251284（ＪＰ，Ａ) 特開昭63−237172（ＪＰ，Ａ) 田島譲二ほか ”カラーデザインのための色変更アルゴリズム”，情報処理学会研究報告（1989年３月）．Ｖｏｌ. 89，Ｎｏ．29，59−６（59−ＣＶ−59 −６) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 5/00 - 5/50 ＪＩＣＳＴ

Claims

(57)【特許請求の範囲】

【請求項１】画像入力装置から入力されたカラー画像の
各画素値を、三次元の三原色色空間にプロットし、該プ
ロットデータの原点からのバイアス分を表すバイアスベ
クトルと、バイアスベクトル分だけ原点より移動した点
を始点とする光源色ベクトル、物体色ベクトル、色テク
スチャベクトルを推定し、各画素値に対し光源色ベクト
ル、物体色ベクトル、色テクスチャベクトルが成す３次
元空間上の位置座標を求め、該４ベクトルを複数個同時
に、または単独に変更し、該位置座標と、変更後の該４
ベクトルを用いて、物体色変更をシミュレートする色変
更を行うことを特徴とする色彩画像処理方法。
【請求項２】上記バイアスベクトルの変更方法として、
バイアスベクトルを環境光色ベクトルと入力装置バイア
スベクトルの線形和と仮定し、該２ベクトルを推定し
て、複数値同時に、または単独に変更することにより色
変更を行うことを特徴とする請求項１記載の色彩画像処
理方法。
【請求項３】前記色テクスチャベクトルは、光源色ベク
トルと物体色ベクトルが成す平面に直交することを特徴
とする請求項１記載の色彩画像処理方法。
【請求項４】前記バイアスベクトル、前記光源色ベクト
ル、前記物体色ベクトル、前記色テクスチャベクトルの
推定は、カラー画像の各画素値をプロットした三次元の三原色色
空間から、まず、光源色ベクトル、物体色ベクトルを推
定し、その後、バイアスベクトルと色テクスチャベクト
ル推定することを特徴とする請求項１記載の色彩画像処
理方法。
【請求項５】前記光源色ベクトルをCs、前記物体色ベク
トルをCb、前記色テクスチャベクトルをCdとした場合、
前記Cs、前記Cbおよび前記Cdの成す３次元位置座標にお
いて、任意の画素値の位置座標がそれぞれMs,Mb,Md、環
境光色ベクトル、入カ装置バイアスベクトルがそれぞれ
Ca、Ｂとすると、該画素値の三次元三原色空間における
色ベクトルＣを、Ｃ＝MsCs＋MbCb＋MdCd＋Ca＋Ｂで、表現し、該表現を用いて色変更を行うことを特徴とする請求項１
記載の色彩画像処理方法。
【請求項６】前記光源色ベクトルCs、物体色ベクトルC
b、色テクスチャベクトルCd、環境光色ベクトル色Caを
変更した後に、前記任意の画素値の三次元三原色空間に
おける該色ベクトル表現を用いて色変更を行うことを特
徴とする請求項５記載の色彩画像処理方法。
【請求項７】前記光源色ベクトルを変更して、カラー画
像のシーンにおいて、光源色を変更した画像を得る色変
更を行うことを特徴とする請求項１記載の色彩画像処理
方法。
【請求項８】前記物体色ベクトルから、光源色ベクトル
の影響を取り除いた純粋物体色ベクトルを抽出し、該純
粋物体色ベクトルを用いて色変更を行うことを特徴とす
る請求項１記載の色彩画像処理方法。
【請求項９】前記純粋物体色ベクトルを変更して、カラ
ー画像のシーンの物体色を変更した画像を得る色変更を
行うことを特徴とする請求項８記載の色彩画像処理方
法。
【請求項１０】前記光源色ベクトルまたは純粋物体色ベ
クトルを、複数またば単独に変更後、光源色ベクトルを
用いて、純粋物体色ベクトルを光源の影響を受けた物体
色ベクトルに変換することにより、カラー画像のシーン
において、光源色を考慮した物体色である画像を得るこ
とを特徴とする請求項７または９記載の色彩画像処理方
法。
【請求項１１】前記純粋物体色ベクトルの抽出、または
純粋物体色ベクトルを光源の影響を受けた物体色ベクト
ルに変換する際に、物体色ベクトルの各RGB成分がそれ
ぞれ、光源色ベクトルと純粋物体色ベクトルの各RGB成
分を乗じたものとなる関係を用いることを特徴とする前
記請求項８または10記載の色彩画像処理方法。
【請求項１２】前記環境光色ベクトルおよび純粋物体色
ベクトルから、純粋物体色ベクトルの影響を取り除いた
純粋環境光色ベクトルを抽出し、該純粋環境光色ベクト
ルを用いて色変更を行うことを特徴とする請求項２また
は８記載の色彩画像処理方法。
【請求項１３】前記純粋環境光色ベクトルを変更して、
カラー画像のシーンにおいて、色変更を行うことを特徴
とする請求項12記載の色彩画像処理方法。
【請求項１４】前記純粋物体色ベクトルまたは純粋環境
光色ベクトルを、複数または単独に変更後、純粋物体色
ベクトルを用いて、純粋環境光色ベクトルを物体色の影
響を受けた環境光色ベクトルに変換することにより、カ
ラー画像のシーンにおいて、物体色を考慮した環境光色
である画像を得ることを特徴とする請求項９または13記
載の色彩画像処理方法。
【請求項１５】前記純粋環境光色ベクトルの抽出、また
は純粋環境光色ベクトルを物体の影響を受けた環境光色
ベクトルに変換する際に、環境光色ベクトルの各RGB成
分が、それぞれ純粋環境光色ベクトルと純粋物体色ベク
トルのRGB成分を乗じたものとなる関係を用いることを
特徴とする請求項12またば14記載の色彩画像処理方法。
【請求項１６】前記色変更方法として、モデルカラー画
像より推定された前記バイアスベクトル、前記光源色ベ
クトル、前記物体色ベクトル、前記色テクスチャベクト
ルのうち少なくとも１つのベクトルを用いて、色変更対
象カラー画像の物体色を変更することを特徴とする請求
項１または２記載の色彩画像処理方法。
【請求項１７】色変更対象カラー画像の物体色を変更す
る方法として、モデルカラー面像の光源色ベクトル、純
粋環境光色ベクトルのいずれか、または両方を用いて、
色変更対象カラー画像の光源色ベクトルまたは純粋環境
光色ベクトルを変更することを特徴とする請求項16記載
の色彩画像処理方法。
【請求項１８】前記ベクトルの変更に際し、変更対象ベ
クトルを変更する方法として、変更対象のベクトル中に
代表点を決め、代表点に対して変更後の標本色を与え、
三次元の三原色色空間において、代表点と標本色の各RG
B成分比で、変更対象ベクトルを線形に変換することに
より、ベクトルを変更することを特徴とする請求項１、
２、９および13いずれか１項に記載の色彩画像処理方
法。
【請求項１９】前記ベクトルの変更に際し、変更対象ベ
クトルを変更する方法として、該ベクトルの長さを指定
した比率で伸縮することにより、ベクトルを変更するこ
とを特徴とする請求項１、２、９および13のうちいずれ
か１項に記載の色彩画像処理方法。
【請求項２０】前記変更対象ベクトルを変更する方法
を、光源色ベクトル、純粋環境光色ベクトル、純粋物体
色ベクトルに適用することを特徴とする請求項18または
19記載の色彩面像処理方法。