JP3149297B2 - カラーバランス調整装置および調整方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、カラービデオ
カメラ、カラーテレビ等に用いられるカラー画像の色温
度またはカラーバランスの調整技術に係り、特に光応答
センサのような種々の測光手段より得られる色に関する
情報値を、照明光源の変動による影響が取り除かれた情
報値に調整することのできるようにするカラーバランス
調整装置および調整方法に関するものである。

【０００２】

【従来の技術】人の視覚によって促えられる色感覚に対
して、カラー映像等の呈する色あいは隔たりがあること
が多い。例えば、白昼の戸外で見る白い紙と、室内での
照明下で見る上述の白い紙、そして、同じ白い紙を夕日
のもとで見る場合とで、人の目には同じ白に見えるが、
カラービデオカメラの映像は白昼の戸外での色にホワイ
トバランスを設定すれば、室内での照明下では黄色味の
かかった（白熱球）、あるいは青味かかった（蛍光灯）
白に見え、夕日のもとでは赤味かかった白に見える。こ
れでは視覚的に不自然である。

【０００３】そこで、カラー画像のカラーバランスを調
整する必要が生じる。従来から、例えばカラービデオカ
メラ等に用いられるカラー画像のカラーバランスを調整
する方法としては、いくつかあった。

【０００４】一つは、色温度を外部センサで測光し、そ
こから得られる色温度によって、赤・青・緑の信号の調
整量を求め、カラーバランスを調整するようにするもの
である。

【０００５】また、他の一つは、画面全体を平均すれば
無彩色を示す値となる場合が多いと仮定し、平均値が上
記無彩色を示す値となるように、カラーバランスを調整
するようにするものである。

【０００６】しかしながら、カメラなどのような、対象
物から反射される光のスペクトル組成に忠実なセンシン
グデバイスを用いた場合、このような調整をしたとして
も、夕日の下での適正値に調整すれば、蛍光灯の下では
一層青色に偏ってしまい、蛍光灯の下での適正値に調整
すれば、夕日の下や白昼の下での色あいが全く別のもの
になってしまう。

【０００７】すなわち、カメラなどのセンシングデバイ
スからの入力信号は、照明光源の変動による影響で本来
人間が見る色と異なった色あいの画像を出力していた。
さらに云えば、上記方式では、被写体を照明している照
明光と、測光している部分に照射されている光とが異な
る場合、例えば薄暗い室内から明るい屋外を撮影したよ
うな場合には、薄暗い室内の照明光でのカラーバランス
に調整されてしまう。そのため、照明光が変わる毎にカ
ラーバンランスの調整をしなければならず、また、せっ
かくこのような調整をしても、薄暗い室内から明るい屋
外を撮影したような場合には調整が全く用を成さないと
云ったこともある。

【０００８】

【発明が解決しようとする課題】このように、対象物か
ら反射される光のスペクトル組成に忠実な例えば、カラ
ーテレビカメラなどのようなセンシングデバイスを用い
た場合、例えば、夕日の下では対象物の色が赤に偏り、
蛍光灯の下では青色に偏ってしまう。すなわち、カメラ
などのセンシングデバイスは照明光源の反射光を捕らえ
るために、照明光の持つ波長成分の影響を受ける。

【０００９】従って、上述のようなセンシングデバイス
からのカラー映像信号は、照明光源の変動による影響で
本来人間が見る色と異なった色あいの画像を出力してい
た。そして、そのために、照明光の条件が変われば、そ
の都度、カラーバランスの調整をし直す必要があり、ま
た、上記方式では、被写体を照明している照明光と、測
光している部分に照射されている光とが異なる場合、例
えば薄暗い室内から明るい屋外を撮影したような場合に
は、せっかくカラーバランス調整しても薄暗い室内の照
明光でのカラーバランスに調整されてしまい、得られる
画像の色あいは非常に不自然な調整になると云う問題が
あった。

【００１０】そこで、この発明の目的とするところは、
照明光に関係なく、人間が対象物を見るときと同じ色あ
いでカラー像を再現できるようにしたカラーバランス調
整装置および調整方法を提供することにある。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明はつぎのようにした。すなわち、被写体を
光学的に読取り、被写体画像の色情報を色成分別に分解
して抽出することにより色に関する情報値を得るセンシ
ング手段により、任意の照明光源下での被写体の呈する
色に関する情報値を得て、これを色恒常性を保持した情
報値に変換する場合に、白色光を照明光とした場合の被
写体からの色成分別表面反射率を複数種の標準色見本の
色成分別反射率から得た反射率基底関数と、白色光の照
射条件変化に基づく照明光のスペクトル組成の変化を表
わした照明光スペクトル基底関数をそれぞれ複数種用意
し、被写体を照明する照明光を白色光として仮定した場
合の擬似照明光スペクトル組成をこれらの照明光スペク
トル基底関数の和により求め、また、色成分別の被写体
表面反射率は上記センシング手段からの情報値と推定表
面反射率基底関数と照明光スペクトル基底関数の和と被
写体表面反射率係数より決めると共に、対象物表面反射
率係数はコントラスト値に変換した上記被写体画像のエ
ッジ領域のコントラスト値および局所的平均値の情報に
基づいて推定し、エッジ領域内部の反射率係数はエッジ
領域の情報をもとに充填し、被写体表面反射率係数はそ
の平均値がグレーとなるように色成分別に推定して、こ
の推定した色成分別の被写体表面反射率係数によりセン
サからの応答量に基づく色情報を補正し、補正済み色情
報を得るようにする。

【００１２】

【作用】このように、被写体の表面反射率の平均値がグ
レーになると云うグレイワールド仮定に関する制約から
なる色恒常性理論を利用し、また、照明光は白色光の主
要なスペクトル基底関数に近似されることを利用して照
明光は白色光として扱い、被写体表面反射率係数はセン
シング手段（センサ）からの応答量と推定表面反射率基
底関数と照明光スペクトル基底関数の和と被写体表面反
射率係数より決めるようにし、被写体の表面反射率の平
均値がグレーになるように各色別の被写体表面反射率係
数を調整することにより、各色別の被写体表面反射率係
数を得、センサからの応答量に基づく色情報を当該被写
体表面反射率係数で補正して出力するようにしたから、
照明光が変化しても色恒常性を保持した色情報を得るこ
とができ、従って、色恒常性を維持した画像の再現を可
能にする。

【００１３】従って本発明によれば、任意の照明光源下
でセンシング手段により光電的に得た被写体の色成分別
の情報値を使用して、照明光源の影響が取り除かれた情
報値に調整することができるようになり、被写体を観測
するに当たり使用される光源がどのような種類であって
も、光源の影響が取り除かれた情報値を得ることができ
るようになるものである。

【００１４】具体的には、予め、昼光のスペクトル組成
に対し主成分分析を行い導き出された照明光のスペクト
ルの３つ以上の基底関数と、異なる色を呈する複数資料
の表面反射率の主成分分析を行い導き出された表面反射
率の３つ以上の基底関数と、該被写体の画像を入力する
センシング装置の既知の光特性と、照明光が白色と仮定
した場合の照明光の３つ以上の基底関数に対する照明光
係数の積によるマトリクスを作成し、該マトリクスの逆
行列と、入力センシング装置からのセンサー応答値を乗
ずることにより前記被写体に照射している光が白色であ
る場合の該被写体の反射率係数を求め、被写体に呈する
色に関する複数の情報値を入力とし、前記神経回路網の
第１の神経回路において、変化の急な画像エッジ部分以
外の緩やかな変動成分である照明光の空間変動を除去す
るとともに、エッジ付近の値を用いて領域内部の反射率
係数を推定する作用と、前記第２の神経回路において、
被写体画像の局所的な平均値を用いて、表面反射率を推
定する作用と、前記第３の神経回路において、被写体画
像の平均値が灰色（Hurlbertによるグレーワールド仮定
として記載されている；HurlbertA.C.(1989)The comput
ation of color,MITAILab.Tec.Rep.,No.1154 ）になる
反射率係数を推定する作用により、被写体の表面反射率
係数を算出し、該表面反射率係数を用いて被写体固有の
性質である表面反射率を決定する。これにより、人間が
知覚する色のごとく、照明光源の変動による影響が取り
除かれた情報値に前記情報値を調整することができる。

【００１５】従って本発明は、いかなる照明光に対して
も、同じ効果を得ることができ、いかなる照明条件下で
あっても、また、いかなる被写体であっても、常に同じ
状態の出力画像を得ることができるようになる。また、
本発明は、照明光源の影響が取り除かれた出力値を利用
して、異なる照明光源下での被写体の色に関する情報値
を作成することもできる。

【００１６】

【実施例】以下、本発明の一実施例について、図面を参
照して説明する。この発明は、人間が対象物を見ると
き、対象物から照射される光のスペクトル組成がその時
々の条件によって大きく変化するにも関わらず、光受容
器が直面する物理情報の変化に忠実には対応せず、対象
物固有の性質つまり、表面反射率に依存して、対象物の
色はほぼ一定に見えると云う色恒常性と呼ばれる現象を
実現することにより、入力された画像から被写体撮影時
の照明光源の影響を除去して、画像の色を恒常的に好ま
しい標準光源下で撮影した場合とほぼ同等に保つことが
可能な極めて信頼性の高いカラーバランスの調整方法を
提供する。

【００１７】本発明は色恒常性を再現するに当たり、ラ
ンド（Ｌａｎｄ）が発見した理論を利用する。この理論
は、知覚される色がセンサ応答量によるものではなく、
対象物からのスペクトル別表面反射率に依存すると云う
ものである。

【００１８】色恒常性と云うのは、対象物から放射され
る光のスペクトル組成がそのときどきの条件によって大
きく変化するにもかかわらず、人の知覚では対象の色は
ほぼ一定に見えると云う性質である。色恒常性が再現さ
れるためには、環境に依存して変動するセンサ応答量
が、対象物固有の不変量に変換される必要がある。そこ
で知覚神経系においてランドの見出した“知覚される色
はセンサ応答量によるものではなく、対象物からのスペ
クトル別表面反射率に依存する”と云う事実を本発明は
利用する。

【００１９】センサ応答量から、直接、対象物の表面反
射率関数を求めるアルゴリズムは種々提案されている
が、これらのアルゴリズムはおよそ自然界の物体の表面
反射率が少数の基底関数の重み付き和で表現される点に
着目したものであり、センサ応答量からこれら基底関数
に対する重み係数（以下、反射率係数と呼ぶ）を推定す
る方法を与えている。

【００２０】しかしながら、センサ応答量のみからでは
こうした表面反射係数を一意に求めることができないた
め、入力画像に対していくつかの仮定を設ける必要が生
じる。これがライトネス（ｌｉｇｈｔｎｅｓｓ）仮定と
呼ばれるものであり、中でもグレイワールド（ｇｒａｙ
‐ｗｏｒｌｄ）仮定は、こうした色恒常性アルゴリズム
において重要である。

【００２１】ここでグレイワールド仮定と云うのは、画
面上の全ての色を混ぜ合わせた平均値がグレーになるよ
うな反射率係数を求めると、色恒常性が確保できると云
う理論であり、ヒューベルト．Ａ．Ｃ．により１９８９
年に発表されている（Hurlbert A.C.(1989)The computa
tion of color,MIT AILab.Tec.Rep.,No.1154 参照）。

【００２２】本発明では照明光、表面反射率関数を少数
の基底関数の和として表現することにより、色恒常性を
定式化し、エネルギ最小化処理により色恒常性を確保す
るように制御する。

【００２３】（本発明の原理）はじめに本発明の原理を
説明する。人は照明光のスペクトル組成や、空間的な強
度の変動によらず、対象物固有の色を知覚する能力を有
している。このような色恒常性を実現するためには、セ
ンサ応答量から対象の表面反射率を推定する不良設定問
題を解かねばならない。ここでは画像のコントラスト
値、局所平均値のフィッテング、およびグレイワールド
に関する制約からなる色恒常性のエネルギ関数を提案
し、このエネルギを最小化することにより、対象の表面
反射率関数を推定する神経回路網モデルを提案する。

【００２４】当該提案モデルは表面反射率関数の推定に
入力画像のエッジ付近の情報を用い、それ以外の領域は
これらの情報を基に充填するように働く。さらに当該提
案モデルが照明光のスペクトル組成や強度の変動を除去
し、対象の表面反射率を推定できることを示す。

【００２５】はじめに、センサが反射光を捉える仮定と
色恒常性の問題を考えて見る。今、ある２次元平面をあ
る単一光源によって照射し、その反射光をセンサが捉え
る過程を考える。反射光測定対象の２次元平面である物
体表面Ｆが鏡面反射成分を持たない場合、上記センサに
届く上記物体表面Ｆ上の位置（ｘ，ｙ）からの反射光の
スペクトル組成は、当該物体表面Ｆを照明する照明光の
スペクトル組成Ｅ（ｘ，ｙ，λ）と、当該物体表面Ｆ上
の上記位置（ｘ，ｙ）における表面反射率関数Ｓ（ｘ，
ｙ，λ）との積、すなわち、Ｅ（ｘ，ｙ，λ）・Ｓ
（ｘ，ｙ，λ）で表わされる。

【００２６】ここでＲ_k （λ）なるスペクトル感度特性
を有するｋ種類のセンサを考え、上記物体表面Ｆにおけ
る上記位置（ｘ，ｙ）からの反射光に対するｋ番目のセ
ンサ応答量ρ_k （ｘ，ｙ）が次式で表わされるものとす
る。

【００２７】

【数１】

【００２８】ランドの理論によれば、色恒常性を実現す
るためには、スペクトル別に物体表面Ｆの表面反射率Ｓ
（ｘ，ｙ，λ）が求められれば良いわけである。そし
て、式（１）において、左辺のセンサ応答量ρ_k （ｘ，
ｙ）は既知であるから、これより右辺の表面反射率Ｓ
（ｘ，ｙ，λ）を求めれば良い。

【００２９】すなわち、色恒常性の問題は、積分変換の
逆変換を求める逆問題として定式化できる。しかしなが
ら、一般に照明光のスペクトル組成も未知であり、式
（１）は不良設定問題となってしまう。従って、このま
までは表面反射率Ｓ（ｘ，ｙ，λ）を求めることができ
ない。

【００３０】そこで、本発明ではまず、積分形式の表現
とした式（１）を波長軸で離散化すると共に、表面反射
率関数Ｓ（ｘ，ｙ，λ）、物体表面Ｆを照明する照明光
のスペクトル組成Ｅ（ｘ，ｙ，λ）を、少数の基底関数
の和で表現し、推定すべき未知のパラメータを削減する
ことにする。

【００３１】そのために、有限次元線形モデルを導入す
る。表面反射率関数Ｓ（ｘ，ｙ，λ）を求めるには照明
光のスペクトル組成Ｅ（ｘ，ｙ，λ）を求める必要があ
るが、当該Ｅ（ｘ，ｙ，λ）はＪｕｄｄ等の研究成果を
利用して次のように表わす。

【００３２】すなわち、Ｊｕｄｄ等は昼光のスペクトル
組成６２２標本に対して主成分分析を行った結果、その
平均と４つの主成分ベクトルを求め、平均ベクトルと最
初の２つの主成分ベクトルを用いれば、昼光のスペクト
ル組成変化の殆どを表わせることを示した。ここではこ
うした知見に基づき照明光のスペクトル組成Ｅ（ｘ，
ｙ，λ）を式（２）のように記述する。

【００３３】

【数２】 ここで、ε_i (x,y) は係数、Ｅ_i （λ）は図１に示す如
き照明光のスペクトル組成に対するｉ番目の基底関数で
あり、Ｊｕｄｄ等が求めた平均ベクトルおよび第１，第
２主成分ベクトルを用いている。定性的には第１基底関
数Ｅ₁ （λ）は曇り具合と直射日光の影響を表わすＹ‐
Ｂ（黄‐青）成分の変動、第２基底関数Ｅ₂ （λ）は煙
霧質の影響を表わすＲ‐Ｇ（青‐緑）成分の変動を表わ
している。これで照明光のスペクトル組成Ｅ（ｘ，ｙ，
λ）を表わすことができた。

【００３４】次に表面反射率関数Ｓ（ｘ，ｙ，λ）はコ
ーエン（Ｃｏｈｅｎ）の研究に従い、次のように表わ
す。すなわち、物体色の表面反射率関数に対する基底関
数はコーエンにより検討されているが、最初、コーエン
は４３３のマンセル色票から１５０色票をランダムに選
び、それら色票の色の主成分ベクトルを求め、これより
分光反射率を表面反射率関数の基底関数として表現し
た。しかし、用いたデータ数が少ないことが問題とな
り、改めてマンセル色票１５６９色全てを用い、それぞ
れの分光反射率について色の主成分ベクトルを求めた。

【００３５】その結果、第３主成分までの累積寄与率
は、９８．８％となり、この求めた主成分ベクトルから
色成分別の表面反射率関数は図２に示すように、およそ
３つの基底関数Ｓ₁ （λn ）〜Ｓ₃ （λn ）で表現でき
ることを確認した。そこで、図２に示すこれら３つの基
底関数を用い、表面反射率を照明光のスペクトル組成と
同様に以下のように記述する。

【００３６】

【数３】

【００３７】ここで、σ_i （ｘ，ｙ，λ）は反射率係
数、Ｓ_j （λn ）はｊ番目の表面反射率の基底関数を表
わす。図２からわかるように、第１基底関数Ｓ₁ （λn
）は波長に対してほぼフラットなＷｈ‐Ｂｋ（白‐
黒）成分を表わし、第２基底関数Ｓ₂ （λn ）は２相性
のＲ‐Ｇ成分、第３基底関数Ｓ₃ （λn ）はＹ‐Ｂ成分
を表わしている。これで被写体の表面反射率関数Ｓ
（ｘ，ｙ，λ）を表わすことができた。

【００３８】次にこれらから有限次元線形モデルを導
く。つまり、照明光のスペクトル組成の記述式である
（２）式と表面反射率の記述式である（３）式を（１）
式に代入すれば、

【００３９】

【数４】 を得ることができる。

【００４０】ここで、テンソルΛ_i,j,k は基底関数とセ
ンサの感度特性のみに依存し、既知である。また、Λ_E
j,k （ｘ，ｙ）は照明光のスペクトル組成に依存し、反
射率係数とセンサ応答量を関係づけるマトリクスある。

【００４１】式（４）をマトリクス形式で表わせば ρ＝Λ_E σ …（７） ここで、 ρ＝（ρ₁ (x,y) ，ρ₂ (x,y) ，ρ₃ (x,y) ）^t ， …（８） σ＝（σ₁ (x,y) ，σ₂ (x,y) ，σ₃ (x,y) ）^t ， …（９）

【００４２】

【数５】

【００４３】以上、色恒常性問題は左辺のセンサ応答量
ρから、右辺の色成分別の反射率係数ベクトルσを求め
る逆問題として定式化された。そして、物体表面Ｆを照
明する照明光のスペクトル組成Ｅ（ｘ，ｙ，λ）は未知
数ではあるものの、擬似的に白色光としてあるので、求
める未知数は白物体表面Ｆの表面反射率関数Ｓ（ｘ，
ｙ，λ）であり、マトリクスΛ_E は当該照明光のスペク
トル組成に依存するので、本質的には２種の未知数を抱
えているものの、これはエネルギ最小化により解くこと
が可能である。

【００４４】次にこの不良設定問題を、照明光を擬似的
に白色光としてあるための誤差をエネルギ最小化により
最小限にして解くアルゴリズムについて述べる。 本発明で用いた色恒常性の計算理論 この発明で使用する色恒常性の計算理論の基本的考え方
は次の４つである。すなわち、 １．知覚色は与えられた色成分別のセンサ応答量ρから
推定した対象の色成分別表面反射率係数により決まる ２．各色成分別の上記反射率係数は、入力画像のエッジ
領域のコントラスト値および局所的な平均値の情報に基
づいて推定され、エッジ領域内部の反射率係数は、エッ
ジ領域に情報を基に充填される ３．各色成分別の上記反射率係数は、それらを合わせた
平均値がグレー（灰色）となるように推定される（グレ
イワールド仮定） ４．各色成分別の反射率係数は、照明光が白色に近いも
のとして推定される の４点である。これらのうち、上記１．は色恒常性が対
象物の表面反射率を推定した結果であると云う基本仮定
である。また、上記２．は視覚神経系の空間微分特性お
よび充填過程の存在を仮定したものであり、反射率推定
には入力画像のコントラスト値の高い領域の情報だけを
用いる。また、３．および４．はライトネス（ｌｉｇｈ
ｔｎｅｓｓ）仮定であり、これにより入力画像の平均的
な特性および照明光と云う外界の事前知識を導入してい
る。

【００４５】色恒常性のエネルギ関数Ｊ 上述の考え方に基づいてデ−タフィッテングと外界の物
理的制約に関する色恒常性のエネルギ関数Ｊ、すなわ
ち、被写体（物体表面Ｆ）の表面反射率係数を決定する
ためのエネルギ関数Ｊとして次式を提案する。

【００４６】 Ｊ＝Ｊ_C ＋λ₁ Ｊ_D ＋λ₂ Ｊ_G …(11) 但し、（１１）式中、λ₁ ，λ₂ は係数であり、また、
Ｊ_C ，Ｊ_D ，Ｊ_G は次のように表わされる。

【００４７】

【数６】

【００４８】

【数７】

【００４９】

【数８】 ここでＴ（ｘ）は閾値関数であって、ｘが閾値より大き
いときは値として“ｘ”をとり、ｘがそれ以外のときは
値として“０”をとる。つまり

【００５０】

【数９】 また、

【００５１】

【数１０】 なお、式（１２）〜式（１４）において、

【００５２】

【数１１】 である。ところで上述のエネルギ関数Ｊの式における第
１項目のＪ_C は、入力画像のコントラスト値と、推定し
た反射率係数のコントラスト値が近づくことを要請する
項である。コントラスト値を求めるために本アルゴリズ
ムではラプラシアン操作

【００５３】

【数１２】 と閾値操作（Ｔ）を用いている。これは、変化の急なエ
ッジ部分以外の穏やかな変動成分である照明光の空間変
動を除去する効果（文献 Horn, B.K.P (1974) Determi
ng lightness from an image, In: Computer Graphics
and Image Processing,Vol.3,Academic Press, pp.277-
299 参照）と共に、同時対比効果を導入したことにな
る。

【００５４】エネルギ関数Ｊの式における第２項目であ
るＪ_D は、局所平均値のフィッテング項である。この局
所平均値のフィッテング項Ｊ_D は、センサ応答量ρのコ
ントラスト値がある程度大きいところでは、ゲート関数
Ｇ（ｘ）の値が“１”となり、入力画像の局所平均値と
推定反射率の間でデータフィッテングが行われるが、コ
ントラスト値が小さいところではゲート関数Ｇ（ｘ）の
値が“０”となってフィッテングが行われないことを表
わしている。なお、ここでは入力画像をガウスフィルタ
リングしたものを局所平均値として用いた。

【００５５】これらコントラスト値および局所平均値は
入力である推定応答量からでなく、対象物（被写体）に
照射している光が白色に近いと仮定した場合の擬似的な
反射率係数

【００５６】

【数１３】 から計算される。すなわち、白色光分光分布を

【００５７】

【数１４】 と表わしたときの係数ε^white を用いて

【００５８】

【数１５】 を計算し、このマトリクスの逆行列を用いることによ
り、照明光を白色と仮定した場合の擬似反射係数σ_j
(x,y) ^white を次式より求めることができる。

【００５９】

【数１６】

【００６０】この擬似反射係数σ_j (x,y) ^white に対
し、データフィッテングを行うことで、入力画像と推定
値の矛盾を小さくすると同時に、「照明光が白色に近
い」とする事前知識を考慮したものとすることができ
る。

【００６１】また擬似反射係数σ_j (x,y) ^white を求め
る過程は、図２に示した色成分別の基底関数の形状から
もわかるように、基本的には反対色生成機構に対応する
ものとなっている。なお、コントラスト値からの反射率
係数の再構成には逆ラプラシアン操作（Ｌ^-1）を用い
る。逆ラプラシアンはガウス‐ザイデル（Gauss-Seida
l）法により行う。これはコントラスト画像（ビデオカ
メラなどのような入力センシング装置からの色成分別画
像データ（センサ応答値）を乗ずることにより、前記被
写体に照射している光が白色である場合の該被写体の色
成分別反射率係数を求め、この反射率係数に対してラプ
ラシアン操作及び閾値操作を施して得られたコントラス
ト画像）のエッジ付近の値を用いて領域内部の色成分別
反射率を推定するもので、充填過程に対応する。

【００６２】また、エネルギ関数Ｊの式における第３項
目であるＪ_G は外界の物理的制約に関する項である。当
該外界の物理的制約に関する項Ｊ_G はグレイワールド仮
定に基づき、照明光を白色と仮定した場合の被写体の色
成分別推定反射率の全てを合わせた平均値が灰色に近付
くようにすることを要請するものである。

【００６３】以上で色恒常性のエネルギ関数Ｊが定義で
きた。このエネルギ関数Ｊに関する式をエネルギ最小化
により解くための色恒常性の神経回路網モデルを考えて
見る。

【００６４】ここでは前述のエネルギ関数Ｊを最小化す
るようにその出力を変化させるための神経回路モデルを
提案する。すなわち、ここで必要な神経回路の動作は

【００６５】

【数１７】 により与えられる。（１２）〜（１４）式について、照
射光が白色に近いと仮定した場合の擬似的な反射率係数
σ＾_j (x,y) ^white ［前述の数１３］ に関する最急
降下方向を求めれば、

【００６６】

【数１８】

【００６７】

【数１９】

【００６８】

【数２０】 なお、

【００６９】

【数２１】

【００７０】

【数２２】 となる。なお、ｅｒｒｏｒ^contrastは誤差であり、入力
データであるコントラスト値（被写体の疑似反射率σ_j
(x,y) ^white に対してラプラシアン操作と閾値操作
（Ｔ）を行って得たコントラスト値）に対して、当該コ
ントラスト値を逆ラプラシアン操作し、これをさらにラ
プラシアン操作したものとの差を示し、ｅｒｒｏｒ^LDC
は誤差であって、σ^LDC と対象物（被写体）に照射して
いる光が白色に近いと仮定した場合の擬似的な反射率係
数との差を示し、また、σ^LDC は被写体の局所平均値を
示す。

【００７１】次にこのような計算を行うための神経回路
モデルを実現するための構造について、考察する。まず
式（２１）に示すように

【００７２】

【数２３】 は照射光が白色であると仮定した場合の擬似推定値σ_j
(x,y) ^white に対し、ラプラシアン操作および閾値操作
を適用した値と、推定反射率係数

【００７３】

【数２４】 に対し、ラプラシアン操作のみを適用した値との誤差ｅ
ｒｒｏｒ^contrastを計算し、それを初期推定値に加えれ
ば良く、神経回路網（ニューロン）の形で書けば、誤差
をフィードバック結合をモデルに持たせる図３（ａ）の
ような構造とすれば良いことがわかる。また、式（２
２）に示すように

【００７４】

【数２５】 は局所平均値を伝送するニューロンの出力を、コントラ
スト値

【００７５】

【数２６】 を計算するニューロンでゲートする形にすれば良く、図
３（ｂ）のような結合となる。一方、式（２３）に示す
ように

【００７６】

【数２７】 は推定反射率係数と全ての推定値の平均値の誤差を計算
すれば良く、この場合、図３（ｃ）のような側抑制結合
により計算が可能である。

【００７７】こうしたモデル全体を神経回路の形で書き
直したものを図４に示す。この図に従ってモデルの動作
を説明する。まず、画像が入力された場合(Input) 、こ
の入力画像データについて反射率係数の擬似推定値であ
る照明光が白色あると仮定した場合のσ_j (x,y) ^white
が計算され、ａプレーン(a-plane) にセットされる。そ
して、ａプレーン(a-plane)にセットされたデータに対
してラプラシアン操作と閾値操作によって緩やかな照明
光空間強度変化が取り除かれ、ｂプレーン(b-plane) お
よびｃプレーン(c-plane) にセットされる。さらに逆ラ
プラシアン操作によってｂプレーンにおいて領域内部が
充填される。これと同時に逆方向結合によって推定値の
コントラスト値

【００７８】

【数２８】 が戻され、ａプレーンから出力されるコントラスト値

【００７９】

【数２９】 と比較されて誤差が計算され、再び逆ラプラシアン操作
が適用され、ｄプレーン(d-plane) の初期推定値に加え
られる。

【００８０】また、エッジ領域については、ｃプレーン
に表現されている局所平均値とｂプレーンの間の誤差が
求められ、それが推定値に加えられる。さらに側抑制結
合に従ってグレイワールドを満たすように操作される。
なお、それぞれのプレーンは解剖学的には錐体視細胞、
網膜２次ニューロン、視覚大脳皮質下位中枢、上位中枢
に対応し、生理学的あるいは心理学的には三原色応答、
二重対立型受容野、充填過程に対応する。

【００８１】（カラーバランス調整装置としての実施
例）次にこのような原理を用いた本発明によるカラーバ
ランス調整装置の実施例を説明する。

【００８２】上述したように本発明においては、任意の
照明光源下での被写体の呈する色に関する複数の情報値
から、表面反射率を規定する色成分別の３つ以上の基底
関数に乗ずる被写体の表面反射率係数を決定することに
より、被写体の色成分別表面反射率を推定し、これを用
いて被写体の色成分別の情報値を補正することにより、
照明光源の変動による影響が取り除かれた情報値に前記
情報値を調整するようにする。

【００８３】この場合に、昼光のスペクトル組成に対し
主成分分析を行い導き出した照明光のスペクトルの少な
くとも３つ以上の基底関数（照明光スペクトル基底関
数）と、マンセル色票などの異なる色を呈する複数資料
の表面反射率の主成分分析を行い導き出した色成分別表
面反射率の少なくとも３つ以上の基底関数（色成分別表
面反射率基底関数）と、被写体の画像を入力するセンシ
ング装置の既知の光特性情報と、照明光が白色と仮定し
た場合の照明光のスペクトルの少なくとも３つ以上の基
底関数に対する照明光係数と、ビデオカメラ等の入力セ
ンシング装置からのセンサ応答値である複数の情報値と
を用い、照射している光が白色である場合の該被写体の
色成分別の反射率係数を求め、この求めた反射率係数に
対してエッジ強調をする操作を施し得られた第１のコン
トラスト画像と、被写体の推定反射率係数に対してエッ
ジ強調をする操作を施し得られた第２のコントラスト画
像との差を上記被写体の推定反射率係数を調整すること
で小さくする誤差フィードバック結合を有する第１の神
経回路と、照明光が白色である場合の前記色成分別反射
率係数に対してフィルタリング操作を施し得られた反射
率係数の局所的な平均値と、被写体の色成分別推定反射
率の差を選択的に小さくするゲートを有する第２の神経
回路と標準灰色の反射率係数と、前記推定反射率係数の
平均との差を小さくする側抑制結合を有する第３の神経
回路を用いて構成する。

【００８４】このような３つの神経回路の結合より構成
した神経回路網は、予め、昼光のスペクトル組成に対し
主成分分析を行い導き出された照明光のスペクトルの３
つ以上の基底関数と、異なる色を呈する複数資料の表面
反射率の主成分分析を行い導き出された色成分別表面反
射率の３つ以上の基底関数と、該被写体の画像を入力す
るセンシング装置の既知の光特性と、照明光が白色と仮
定した場合の照明光の色成分別の３つ以上の基底関数に
対する照明光係数の積によるマトリクスを作成し、該マ
トリクスの逆行列と、入力センシング装置からのセンサ
応答値を乗ずることにより前記被写体に照射している光
が白色である場合の該被写体の色成分別反射率係数を求
め、被写体の呈する色に関する複数の情報値に対して、
前記神経回路網の第１の神経回路において、変化の急な
部分である画像エッジ部分以外の緩やかな変動成分であ
る照明光の空間変動を除去するとともに、エッジ付近の
値を用いて領域内部の色成分別反射率係数を推定し、ま
た、前記第２の神経回路において、被写体画像の局所的
な平均値を用いて、表面反射率を推定し、前記第３の神
経回路において、被写体画像の平均値が灰色になる（ヒ
ューベルト（Hurlbert）によるグレーワールド（gray-w
orld）仮定として記載されている。；HurlbertA.C.(198
9)The computation of color,MIT AILab.Tec.Rep.,No.1
154 参照）反射率係数を推定することにより、被写体の
色成分別表面反射率係数を算出し、該表面反射率係数を
用いて被写体固有の性質である色成分別表面反射率を決
定して上記情報値を補正することにより、人間が知覚す
る色のごとく、照明光源の変動による影響が取り除かれ
た情報値に前記情報値を調整する。

【００８５】前記第１の神経回路の処理は数６に示す式
（１２）で表現され、図５に示す誤差フィードバック結
合を有する神経回路１０で表現される。式（１２）は、
照明光が白色である場合の被写体の疑似反射率σ_j (x,
y) ^white に対し、ラプラシアン操作と閾値操作（Ｔ）
を行って得たコントラスト値と、推定した反射率係数
（反射率係数推定値）である数１３に対し、ラプラシア
ン操作と閾値操作（Ｔ）を行って得たコントラスト値と
が近付くことを要請する項であり、これは変化の急なエ
ッジ部分以外の緩やかな変動成分である照明光の空間変
動を除去する効果をもたらす。

【００８６】当該式（１２）の処理を実現するために該
第１の神経回路１０は、加算部１１、逆ラプラシアン操
作部１２、ラプラシアン操作部１３とより構成する。そ
して、入力データであるコントラスト値（被写体の疑似
反射率σ_j (x,y) ^white に対してラプラシアン操作と閾
値操作（Ｔ）を行って得たコントラスト値）に対して加
算部１１ではラプラシアン操作部１３の出力とを入力と
して両者の差をとり、これを誤差ｅｒｒｏｒ^contrastと
して逆ラプラシアン操作部１２に与え、誤差ｅｒｒｏｒ
^contrastに対して逆ラプラシアン操作を行い、画素位置
毎の色成分別反射率係数推定値を得る。

【００８７】得られた反射率係数推定値は、ラプラシア
ン操作部１３にも与えてラプラシアン操作させ、加算部
１１にフィードバックさせる。このフィードバックによ
る処理はｅｒｒｏｒ^contrastが、予め設定した値に収ま
るようになることをメドに、これが小さくなるように行
われる。値が収斂した段階で逆ラプラシアン操作部１２
の最終結果とする。

【００８８】第１の神経回路１０の出力としては、この
最終結果について１画面分を集計したのものをＪ_C とす
るので、最終段には集計演算部１４を設ける。そして、
集計演算部１４の出力がｂプレーン（b-plane ）のデー
タとなる。

【００８９】ここで、式（１２）においてＴ(X) は、Ｘ
が閾値より大きい場合“Ｘ”、それ以外の場合“０”と
なる閾値関数である。また、逆ラプラシアン操作Ｌ
^-1（＝（ラプラシアン操作）^-1）は、前記エッジ強調操
作の逆を行う操作であって、コントラスト値から反射率
係数の再構成を行うもので、本実施例ではガウス‐ザイ
デル（Ｇａｕｓｓ‐Ｓｅｉｄａｌ）法を用いている。

【００９０】次に前記第２の神経回路２０の処理は数７
に示す式（１３）で示され、図６に符号２０を付して示
すように、ゲートＧを有する神経回路で表現できる。数
７の式は照明光が白色である場合の被写体の疑似反射率
推定値σ_j (x,y) ^white に対し、ラプラシアン操作（▽
² ）と閾値操作（Ｔ）を行い，これにより得たコントラ
スト値が、ある程度大きいところでは、ゲート関数Ｇ
(x) の値が“１”となり、被写体の局所平均値σ_j (x,
y) ^LDC と推定反射率数推定値

【００９１】

【数３０】 の差を小さくするように数３０に示す当該推定反射率数
推定値の調整が行われるが、コントラスト値が小さいと
ころではゲート関数Ｇ(x) の値が“０”となって調整が
行われないようにすることを表している。

【００９２】該第２の神経回路２０においては、このよ
うな処理を行うために、ゲート２１、加算部２２、乗算
部２３、集計演算部２４が設けてあり、第１の神経回路
１０からの入力データであるコントラスト値（被写体の
疑似反射率σ_j (x,y) ^whiteに対してラプラシアン操作
と閾値操作（Ｔ）を行って得たコントラスト値で、逆ラ
プラシアン操作部１２の出力）に対してゲート２１では
その大きさにより“１”または“０”のゲート信号をつ
くり、乗算部２３に与える。

【００９３】また、一方、被写体の局所平均値σ_j (x,
y) ^LDC を入力として上記第１の神経回路１０における
逆ラプラシアン操作部１２からの出力信号との差を取る
加算部２２の出力を乗算部２３に与え、ゲート信号に応
じて当該差信号を抽出するようにし、これを集計演算部
２４により１画面分、加算してＪ_D として取出す。そし
て、これがｃプレーン(c-plane) のデータとなる。

【００９４】式（１３）において、Ｇ(X) は、Ｘが閾値
より大きい場合“１”、それ以外は“０”となるゲート
関数であり、また、被写体の局所平均値σ_j (x,y) ^LDC
は、σ_j (x,y) ^white の式の局所的な平均値であり、本
実施例では被写体をガウスフィルタリングしたものを局
所平均値とした。

【００９５】また、図７は前記第３の神経回路３０の機
能ブロック図であり、側抑制結合を有する神経回路を用
いて構成されていて、処理機能は数８の式（１４）で表
現されたものである。該第３の神経回路３０において、
表面反射率の平均値がグレー（灰色）になると云うグレ
イワールド仮定に基づき、推定反射率の平均値を標準灰
色反射率σ_j ^grayに近付けることを要請する項である。

【００９６】画像の色成分別の反射率係数推定値３１全
てについて、平均値演算部３２により平均値を取り、得
られた反射率係数推定値の平均値から標準灰色の反射率
係数σ_j ^grayとの差を取る。標準灰色の反射率係数σ_j
^grayは別途演算されて入力され、加算部３３によりこれ
と平均値演算部３２の出力とから両者の差を求める。こ
れを集計演算部３４により、１画面分のデータについて
の和を得、これを第３の神経回路３０の出力であるＪ_G
として出力する。これがｄプレーン(d-plane)での処理
である。

【００９７】図８は、カラービデオカメラ等のセンシン
グデバイスより得た被写体画像のデータから推定反射率
画像のデータを得るための神経回路網の機能ブロック図
であり、前記第１〜第３の３つの神経回路１０，２０，
３０の結合により構成される神経回路網である。

【００９８】上述のようにして求めたＪ_C ，Ｊ_D ，Ｊ_G
について、Ｊ_C ＋λ1 Ｊ_D ＋λ2 Ｊ_G なる計算を行い、
その答えであるエネルギ関数Ｊが最小になる推定表面反
射率係数を求める。

【００９９】なお、該神経回路網の出力を最小とする被
写体の表面反射率係数を決定するためのエネルギ関数Ｊ
は、Ｊ＝Ｊ_C ＋λ１Ｊ_D ＋λ２Ｊ_G としたが、これに限
るものではない。

【０１００】前述のエネルギ関数Ｊを最小化する神経回
路網の動作は、数１７の式（２０）により与えられる。
Ｊ_C ，Ｊ_D ，Ｊ_G についてσ_j (x,y) ^LDC （被写体の局
所平均値）に関する最急降下方向を求める式は、数１８
の式（２１）、数１９の式（２２）、数２０の式（２
３）のようになる。

【０１０１】なお、数１８の式（２１）におけるｅｒｒ
ｏｒ^contrastは数２１の式（２４）、 数１９の式（２
２）の式におけるｅｒｒｏｒ^LDC は数２２の式（２５）
となる。

【０１０２】図１０を参照して、本発明のカラーバラン
ス調整のための神経回路網の動作をさらに説明する。図
において、１は光源、２ａ〜２ｃは測光部、３は調整
部、４はメモリ部、５は制御部、６は会話型入力部、７
は表示部である。

【０１０３】測光部２ａ〜２ｃは被写体Ｐの色の情報値
を測定するもので、例えば分光測光器を用いており、被
写体Ｐを測光して色分解し、色の絶対値情報であるＬＭ
Ｓ値やＸＹＺ値に変換して情報値として出力するもので
あるが、カラービデオカメラ等を用いて被写体Ｐ像を撮
像し、ｒｇｂ値として出力するものであっても良い。調
整部３は測光部２ａ〜２ｃからの出力値（情報値）に対
して、図４で説明した原理で反射率係数に変換し、照明
光のスペクトル変動による影響が取り除かれたカラー出
力画像を得るものである。

【０１０４】調整部３は用いる色成分別にａプレーン
（a-plane ）、ｂプレーン（b-plane）、ｃプレーン（c
-plane ）、ｄプレーン（d-plane ）の４種のプレーン
のデータを保持することができ、光センシング手段２ａ
〜２ｃより入力された色成分別の画像データをもとに、
調整部３はこの入力画像データについて反射率係数の擬
似推定値である照明光が白色あると仮定した場合のσ_j
(x,y) ^white を計算し、ａプレーン(a-plane) にセット
する。そして、ａプレーン(a-plane) にセットしたデー
タに対してラプラシアン操作と閾値操作を行って緩やか
な照明光空間強度変化を取り除き、ｂプレーン(b-plan
e) およびｃプレーン(c-plane) にセットする。

【０１０５】さらに逆ラプラシアン操作によってｂプレ
ーン(b-plane) において領域内部を充填すると同時に逆
方向結合によって推定値のコントラスト値（数２８）が
戻され、ａプレーン(a-plane) から得られるコントラス
ト値（数２９）と比較して誤差を計算し、再び逆ラプラ
シアン操作を行ってｄプレーン(d-plane) に加えると云
った処理を行う。

【０１０６】調整部３はまた、エッジ領域について、ｃ
プレーン(c-plane) に表現されている局所平均値とｂプ
レーン(b-plane) の間の誤差を求め、それがｃプレーン
(c-plane) 上の推定値に加える。さらにｄプレーン(d-p
lane) 上で側抑制結合に従ってグレイワールドを満たす
ように操作し、これによって照明光のスペクトル変動に
よる影響が取り除かれた出力画像を得る。

【０１０７】制御部５は制御の中枢を担うものであっ
て、カラーバランス調整装置１の各構成要素の必要な制
御や、演算処理実行の中枢を担うものであり、例えば、
マイクロプロセッサを用いてソフトウェアにより、各種
制御や演算処理を実現している。また、制御部５は調整
部３で調整された色彩値信号を、この出力端子に接続さ
れている表示部７に出力すると云った機能をも有する。

【０１０８】なお、制御部３に接続されたメモリ部４
は、推定反射率を保存すると共に神経回路網の各パラメ
ータを記載するもので、カラーバランス調整時にこれを
読み出して利用する機能を制御部５に持たせてある。

【０１０９】会話型の入力部６は、例えば、キーボード
やマウス等のマンマシンインタフェイスで構成されてお
り、コマンドやメニューに対する指示、データの入力、
編集操作等を可能にする。入力部６の操作情報は制御部
５に入力される。表示部７は制御部５により制御されて
各種表示を行うものである。

【０１１０】このような構成において、被写体の像を光
センシング手段２ａ〜２ｃより検出して調整部３に入力
すると、調整部３はこの入力された色成分別の画像デー
タをもとに、図４、図９に示すような処理を行って照明
光のスペクトル変動による影響が取り除かれた出力画像
を得る。

【０１１１】すなわち、調整部３はこの入力された色成
分別の画像データをもとに、照射光が白色であると仮定
した場合の擬似推定値σ_j (x,y) ^white を求めてａプレ
ーン（a-plane ）に格納する。

【０１１２】そして、つぎに調整部３はａプレーン(a-p
lane) にセットしたデータに対してラプラシアン操作と
閾値操作を行って緩やかな照明光空間強度変化を取り除
き、ｂプレーン(b-plane) およびｃプレーン(c-plane)
にセットする。そして、さらに逆ラプラシアン操作によ
ってｂプレーン(b-plane) において領域内部を充填する
と同時に逆方向結合によって推定値のコントラスト値
（数２８）を戻し、ａプレーン(a-plane) から得られる
コントラスト値（数２９）と比較して誤差を計算し、再
び逆ラプラシアン操作を行ってｄプレーン(d-plane) に
加える。さらに調整部３は、エッジ領域について、ｃプ
レーン(c-plane) に表現されている局所平均値とｂプレ
ーン(b-plane) の間の誤差を求め、それがｃプレーン(c
-plane) 上の推定値に加える。さらにｄプレーン(d-pla
ne) 上で側抑制結合に従ってグレイワールドを満たすよ
うに操作し、これによって照明光のスペクトル変動によ
る影響が取り除かれた出力画像を得る。

【０１１３】制御部５はこの出力画像を表示部７に与
え、カラー画像として再現させる。このカラー画像は照
明光の変化やセンシング手段の特性に係わりなく、色恒
常性を持たせるように補正されたカラー画像であるか
ら、人の目に写る色と同じ色合いのカラー画像となる。

【０１１４】すなわち、当該実施例で調整部３に用いて
いる神経回路網モデルは、画像のコントラスト値、局所
的な平均値のフィッティング及び、被写体の表面反射率
の平均値がグレーになると云うグレイワールド仮定に関
する制約からなる色恒常性のエネルギ関数値を最小化す
るようにその出力を変化させ、被写体Ｐの色成分別表面
反射率を推定する。

【０１１５】これらのうち、測光部２ａ〜２ｃは被写体
Ｐのカラー画像情報を読み込み、それぞれ色に関する情
報値例えば、ＸＹＺ値、ｒｇｂ値、ＬＭＳ値のような色
に関する情報値の組み合わせに変換するものである。測
光部２ａ〜２ｃとしては光センシング手段を使用してい
る。

【０１１６】ここで光センシング手段とは、色を数値で
表示するための手段であり、物体からの反射光や透過光
の強さを光電的原理を利用して計測するものであって、
計測した値を所定の演算方法で計算して３つの数値を１
組にした色の情報値で表示する。

【０１１７】上記調整部３は、既に詳細を説明した如き
神経回路網を使用している。そして、上記神経回路網と
しては、測光部２ａ〜２ｃからの色の情報値のエネルギ
関数Ｊを最小化するため、被写体Ｐのコントラスト値と
推定した反射率のコントラスト値が近付くよう誤差フィ
ードバック結合及び、被写体の局所的な平均値と推定し
た反射率の選択的なフィッティングを行うようゲートＧ
及び、推定反射率と全ての推定値の平均値の誤差を小さ
くするよう側抑制結合を持つ神経回路網を用いている。
そして、当該神経回路網モデルは画像のコントラスト
値、局所的な平均値のフィッティング及び、被写体の表
面反射率の平均値がグレーになると云うグレイワールド
仮定に関する制約からなる色恒常性のエネルギ関数値を
最小化するようにその出力を変化させ、被写体Ｐの表面
反射率関数を推定するモデルであり、最急降下法などを
用いて出力する。

【０１１８】従って、このような構成の本装置は、被写
体Ｐを測光部２ａ〜２ｃで測光し、得られた情報値（Ｌ
ＭＳ値、勿論、ＸＹＺ値、ｒｇｂ値でも良い）を調整部
３に入力すると、調整部３では測光部２ａ〜２ｃからの
色の情報値に対して、そのエネルギ関数Ｊを最小化する
ため、被写体Ｐのコントラスト値と推定した反射率のコ
ントラスト値が近付くよう誤差フィードバック結合及
び、被写体の局所的な平均値と推定した反射率の選択的
なフィッティングを行うようゲートＧ及び、推定反射率
と全ての推定値の平均値の誤差を小さくするよう側抑制
結合を持つ神経回路網を用いている。そして、当該神経
回路網モデルは画像のコントラスト値、局所的な平均値
のフィッティング及び、被写体の表面反射率の平均値が
グレーになると云うグレイワールド仮定に関する制約か
らなる色恒常性のエネルギ関数値を最小化するようにそ
の出力を変化させ、当該エネルギ関数値を最小とするよ
うな、被写体Ｐの色成分別表面反射率係数を推定する。

【０１１９】そして、求めた色成分別の推定表面反射率
係数による画像（推定表面反射率画像）を得てこれを測
光部２ａ〜２ｃからの色の情報値に対する補正に利用
し、補正により得られた情報値による画像を最終出力画
像として表示部７に表示する。

【０１２０】以上のように本発明は、白色光を照明光と
した場合の被写体からの色成分別表面反射率を複数種の
標準色見本の色成分別反射率から得た反射率基底関数
と、白色光の照射条件変化に基づく照明光のスペクトル
組成の変化を表わした照明光スペクトル基底関数をそれ
ぞれ３つずつ用意し、被写体を照明する照明光を白色光
として仮定した場合の擬似照明光スペクトル組成をこれ
らの照明光スペクトル基底関数の和により求め、また、
色成分別の被写体表面反射率は被写体の色情報を色成分
別に分解して抽出するセンサからの応答量と推定表面反
射率基底関数と照明光スペクトル基底関数の和と被写体
表面反射率係数より決めると共に、対象物表面反射率係
数はコントラスト値に変換した入力画像のエッジ領域の
コントラスト値および局所的平均値の情報に基づいて推
定し、エッジ領域内部の反射率係数はエッジ領域の情報
をもとに充填し、被写体表面反射率係数はその平均値が
グレーとなるように色成分別に推定して、この推定した
色成分別の被写体表面反射率係数によりセンサからの応
答量に基づく色情報を補正し、補正済み色情報を得るよ
うにした。

【０１２１】このように、被写体の表面反射率の平均値
がグレーになると云うグレイワールド仮定に関する制約
からなる色恒常性理論を利用し、また、照明光は白色光
の主要なスペクトル基底関数に近似されることを利用し
て照明光は白色光として扱い、被写体表面反射率係数は
センサからの応答量と推定表面反射率基底関数と照明光
スペクトル基底関数の和と被写体表面反射率係数より決
めるようにし、被写体の表面反射率の平均値がグレーに
なるように各色別の被写体表面反射率係数を調整するこ
とにより、各色別の被写体表面反射率係数を得、センサ
からの応答量に基づく色情報を当該被写体表面反射率係
数で補正して出力するようにしたから、照明光が変化し
ても色恒常性を保持した色情報を得ることができ、従っ
て、色恒常性を維持した画像の再現を可能にする。

【０１２２】従って本装置は、任意の照明光源下での被
写体Ｐに対する光応答装置による検出情報値を使用し
て、照明光源の変動による影響を取り除かれた情報値に
調整することができるようになり（信号適合処理）、被
写体のを照明する光源がどのような種類であっても、光
源の影響が取り除かれた情報値を得ることができるよう
になるものである。なお、本発明は上述した実施例に限
定することなく、その要旨を変更しない範囲内で適宜変
形して実施し得るものである。

【０１２３】

【発明の効果】以上詳述したように、本発明によれば、
測光手段から入力された画像に関係なく、入力された画
像から被写体撮影時の照明光源の影響を除去して、画像
の色を恒常的に好ましい標準光源下で撮影した場合とほ
ぼ同等に保つことが可能な極めて信頼性の高いカラーバ
ランスの調整装置および調整方法を提供することができ
る。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための図であって、
照明光のスペクトル組成に対する基底関数を示す図。

【図２】本発明の実施例を説明するための図であって、
マンセル色票１５６９色全てを用い、それぞれの分光反
射率について色の主成分ベクトルを求めて得た色成分別
の表面反射率関数の基底関数を示す図。

【図３】本発明の実施例を説明するための図であって、
本発明に使用する処理機能を神経回路網（ニューロン）
の形で表わした図。

【図４】本発明の実施例を説明するための図であって、
本発明に使用するモデル全体を神経回路の形で表わした
図。

【図５】本発明の実施例を説明するための図であって、
式（１２）で表現される第１の神経回路の構成例を示す
ブロック図。

【図６】本発明の実施例を説明するための図であって、
式（１３）で表現される第２の神経回路の構成例を、第
１の神経回路の構成例との関連付けて示すブロック図。

【図７】本発明の実施例を説明するための図であって、
式（１４）で表現される第３の神経回路の構成例を示す
ブロック図。

【図８】本発明の実施例を説明するための図であって、
センシングデバイスより得た被写体画像のデータから推
定反射率画像のデータを得るための神経回路網の機能ブ
ロック図。

【図９】本発明の実施例を説明するための図であって、
カラーバランス調整装置に適用した場合の構成を示すブ
ロック図。

【符号の説明】

１…カラーバランス調整部 ２ａ〜２ｃ…測光部 ３…調整部 ４…メモリ部 ５…制御部 ６…会話型入力部 ７…表示部 １１…被写体 １０…第１の神経回路 １１，２２，３３…加算部 １２…逆ラプラシアン操作部 １３…ラプラシアン操作部 １４，２４，３４…集計演算部 ２０…第２の神経回路 ２１…ゲート ２３…乗算部 ３０…第３の神経回路 ３２…平均値演算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 臼井 支朗 愛知県豊橋市弥生町西豊和10−２−804 (56)参考文献 特開 昭63−203082（ＪＰ，Ａ) 特開 平１−269385（ＪＰ，Ａ) 特開 平５−191825（ＪＰ，Ａ) 特開 平５−68259（ＪＰ，Ａ) 特開 平４−371088（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 9/44 - 9/78 H04N 1/46

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 被写体を光学的に読取り、被写体画像の
   色情報を色成分別に分解して抽出することにより色に関
   する情報値を得るセンシング手段により、任意の照明光
   源下での被写体の呈する色に関する情報値を得て、これ
   を色恒常性を保持した情報値に変換する装置として、 白色光を照明光とした場合の被写体からの色成分別表面
   反射率を複数種の標準色見本の色成分別反射率から得た
   反射率基底関数と、白色光の照射条件変化に基づく照明
   光のスペクトル組成の変化を表わした照明光スペクトル
   基底関数をそれぞれ複数種用意し、被写体を照明する照
   明光を白色光として仮定した場合の擬似照明光スペクト
   ル組成をこれらの照明光スペクトル基底関数の和により
   求め、また、色成分別の被写体表面反射率は上記センシ
   ング手段からの情報値と推定表面反射率基底関数と照明
   光スペクトル基底関数の和と被写体表面反射率係数より
   決めると共に、対象物表面反射率係数はコントラスト値
   に変換した上記被写体画像のエッジ領域のコントラスト
   値および局所的平均値の情報に基づいて推定し、エッジ
   領域内部の反射率係数はエッジ領域の情報をもとに充填
   し、被写体表面反射率係数はその平均値がグレーとなる
   ように色成分別に推定して、この推定した色成分別の被
   写体表面反射率係数によりセンサからの応答量に基づく
   色情報を補正し、補正済み色情報を得るようにした調整
   手段を具備することを特徴とするカラーバランス調整装
   置。
2. 【請求項２】 任意の照明光源下での被写体の呈する色
   に関する情報値から、色成分別の表面反射率を規定する
   複数種の基底関数に乗ずる被写体の表面反射率係数を決
   定することにより、被写体の色成分別表面反射率を推定
   し、この推定色成分別表面反射率にて前記情報値を補正
   することにより、照明光源による影響を除いた情報値に
   前記情報値を調整する装置であって、 昼光のスペクトル組成に対し主成分分析を行い導き出さ
   れた照明光スペクトルの少なくとも３つ以上の基底関
   数、異なる色を呈する複数資料の表面反射率の主成分分
   析を行い導き出された表面反射率の少なくとも３つ以上
   の基底関数、被写体の画像情報を入力するセンシング装
   置の既知の光特性、照明光が白色と仮定した場合の当該
   照明光のスペクトルの少なくとも３つ以上の基底関数に
   対する照明光係数および入力センシング装置から出力さ
   れる情報値とから照明光が白色である場合の該被写体の
   反射率係数を求め、また照明光が白色である場合のこの
   反射率係数に対してエッジ強調をする操作を施し得られ
   たコントラスト画像と、被写体の推定反射率係数に対し
   てエッジ強調をする操作を施し得られたコントラスト画
   像との差を前記被写体の推定色成分別表面反射率を調整
   することで小さくする第１の神経回路と、 照明光が白色である場合の前記反射率係数に対してフィ
   ルタリング操作を施し得られた反射率係数の局所的な平
   均値と、被写体の推定色成分別表面反射率の差を選択的
   に小さくすべく処理するゲート手段を有する第２の神経
   回路と、標準灰色の反射率係数と、前記推定色成分別表
   面反射率係数の平均との差を小さくすべく処理する第３
   の神経回路とを具備することを特徴とするカラーバラン
   ス調整装置。
3. 【請求項３】 任意の照明光源下での被写体の呈する色
   に関する情報値から、色成分別の表面反射率を規定する
   複数種の基底関数に乗ずる被写体の表面反射率係数を決
   定することにより、被写体の色成分別表面反射率係数を
   推定し、この推定色成分別表面反射率係数にて前記情報
   値を補正することにより、照明光源による影響を除いた
   情報値に前記情報値を調整する装置であって、 昼光のスペクトル組成に対し主成分分析を行い導き出さ
   れた照明光スペクトルの複数種の基底関数、異なる色を
   呈する複数の資料の表面反射率の主成分分析を行い導き
   出された色成分別表面反射率の複数種の基底関数、被写
   体の画像を入力するセンシング装置の既知の光特性、照
   明光が白色と仮定した場合の照明光のスペクトルの複数
   種の基底関数に対する照明光係数の積によるマトリクス
   を作成し、該マトリクスの逆行列、前記被写体の呈する
   色に関する情報値を出力するセンシング装置からの上記
   情報値とを乗ずることにより前記被写体に照射している
   光が白色である場合の該被写体の前記推定色成分別表面
   反射率係数を求めると共に、また、照射している光が白
   色である場合の前記推定色成分別表面反射率係数に対し
   てラプラシアン操作及び閾値操作を施したコントラスト
   画像と、被写体の推定反射率係数に対してラプラシアン
   操作を施したコントラスト画像との差を被写体の推定反
   射率係数を調整することで小さくすると同時に、該コン
   トラスト画像のエッジ強調の逆の操作を行うことで反射
   率係数の再構成を行う第１の神経回路と、 前記照明光が白色である場合の反射率係数に対してフィ
   ルタリング操作を施し得られた反射率係数の局所的な平
   均値と被写体の推定反射率の差を小さくする際に、前記
   反射率係数のコントラスト値が閾値より大きい場合１
   を、それ以下の場合０となるゲート関数との乗算によ
   り、前記フィルタリング操作を施し、得られた反射率係
   数の局所的な平均値と前記被写体の推定反射率係数の差
   を小さくする操作を選択的に行う第２の神経回路と、 標準灰色の反射率係数と前記推定反射率係数の平均との
   差を小さくすべく前記第２の神経回路で使用する反射率
   係数値を処理する第３の神経回路とを具備して構成する
   ことを特徴とするカラーバランス調整装置。
4. 【請求項４】 前記照明光のスペクトル組成は、昼光の
   スペクトル組成に対し主成分分析を行い導かれた平均ベ
   クトルと第２主成分までの２つの主成分ベクトルの該３
   つの基底関数と照明光係数との積和による線形結合で表
   されると共に、前記被写体の表面反射率は、マンセル色
   票の表面反射率に対し主成分分析を行い導かれた第３主
   成分までの３つの主成分ベクトルの該３つの基底関数と
   反射率係数との積和による線形結合で表されることを特
   徴とする請求項１乃至３記載のカラーバランス調整装
   置。
5. 【請求項５】 被写体を光学的に読取り、被写体画像の
   色情報を色成分別に分解して抽出することにより色に関
   する情報値を得るセンシング手段により、任意の照明光
   源下での被写体の呈する色に関する情報値を得て、これ
   を色恒常性を保持した情報値に変換する方法として、 白色光を照明光とした場合の被写体からの色成分別表面
   反射率を複数種の標準色見本の色成分別反射率から得た
   反射率基底関数と、白色光の照射条件変化に基づく照明
   光のスペクトル組成の変化を表わした照明光スペクトル
   基底関数をそれぞれ複数種用意し、被写体を照明する照
   明光を白色光として仮定した場合の擬似照明光スペクト
   ル組成をこれらの照明光スペクトル基底関数の和により
   求め、また、色成分別の被写体表面反射率は上記センシ
   ング手段からの情報値と推定表面反射率基底関数と照明
   光スペクトル基底関数の和と被写体表面反射率係数より
   決めると共に、対象物表面反射率係数はコントラスト値
   に変換した上記被写体画像のエッジ領域のコントラスト
   値および局所的平均値の情報に基づいて推定し、エッジ
   領域内部の反射率係数はエッジ領域の情報をもとに充填
   し、被写体表面反射率係数はその平均値がグレーとなる
   ように色成分別に推定して、この推定した色成分別の被
   写体表面反射率係数によりセンサからの応答量に基づく
   色情報を補正し、補正済み色情報を得るようにすること
   を特徴とするカラーバランス調整方法。
6. 【請求項６】 任意の照明光源下での被写体の呈する色
   に関する情報値から、色成分別の表面反射率を規定する
   複数種の基底関数に乗ずる被写体の表面反射率係数を決
   定することにより、被写体の色成分別表面反射率を推定
   し、この推定色成分別表面反射率にて前記情報値を補正
   することにより、照明光源による影響を除いた情報値に
   前記情報値を調整する方法であって、 昼光のスペクトル組成に対し主成分分析を行い導き出さ
   れた照明光スペクトルの少なくとも３つ以上の基底関数
   と、異なる色を呈する複数資料の表面反射率の主成分分
   析を行い導き出された表面反射率の少なくとも３つ以上
   の基底関数、被写体の画像情報を入力するセンシング装
   置の既知の光特性、照明光が白色と仮定した場合の当該
   照明光のスペクトルの少なくとも３つ以上の基底関数に
   対する照明光係数および入力センシング装置から出力さ
   れる情報値とから照明光が白色である場合の該被写体の
   反射率係数を求め、また照明光が白色である場合のこの
   反射率係数に対してエッジ強調をする操作を施し得られ
   たコントラスト画像と、被写体の推定反射率係数に対し
   てエッジ強調をする操作を施し得られたコントラスト画
   像との差を前記被写体の推定色成分別表面反射率を調整
   することで小さくする第１ステップと、 照明光が白色である場合の前記反射率係数に対してフィ
   ルタリング操作を施し得られた反射率係数の局所的な平
   均値と、被写体の推定色成分別表面反射率の差を選択的
   に小さくすべく処理する第２ステップと、 標準灰色の反射率係数と、前記推定色成分別表面反射率
   係数の平均との差を小さくすべく処理する第３ステップ
   とを具備することを特徴とするカラーバランス調整方
   法。
7. 【請求項７】 任意の照明光源下での被写体の呈する色
   に関する情報値から、色成分別の表面反射率を規定する
   複数種の基底関数に乗ずる被写体の表面反射率係数を決
   定することにより、被写体の色成分別表面反射率係数を
   推定し、この推定色成分別表面反射率係数にて前記情報
   値を補正することにより、照明光源による影響を除いた
   情報値に前記情報値を調整する方法であって、 昼光のスペクトル組成に対し主成分分析を行い導き出さ
   れた照明光スペクトルの複数種の基底関数と、異なる色
   を呈する複数の資料の表面反射率の主成分分析を行い導
   き出された色成分別表面反射率の複数種の基底関数と、
   被写体の画像を入力するセンシング装置の既知の光特性
   と、照明光が白色と仮定した場合の照明光のスペクトル
   の複数種の基底関数に対する照明光係数の積によるマト
   リクスを作成し、該マトリクスの逆行列と、前記被写体
   の呈する色に関する情報値を出力するセンシング装置か
   らの上記情報値を乗ずることにより前記被写体に照射し
   ている光が白色である場合の該被写体の前記推定色成分
   別表面反射率係数を求めると共に、また、照射している
   光が白色である場合の前記推定色成分別表面反射率係数
   に対してラプラシアン操作及び閾値操作を施したコント
   ラスト画像と、被写体の推定反射率係数に対してラプラ
   シアン操作を施したコントラスト画像との差を被写体の
   推定反射率係数を調整することで小さくすると同時に、
   該コントラスト画像のエッジ強調の逆の操作を行うこと
   で反射率係数の再構成を行う第１ステップと、 前記照明光が白色である場合の反射率係数に対してフィ
   ルタリング操作を施し得られた反射率係数の局所的な平
   均値と被写体の推定反射率の差を小さくする際に、前記
   反射率係数のコントラスト値が閾値より大きい場合１
   を、それ以下の場合０となるゲート関数との乗算によ
   り、前記フィルタリング操作を施し、得られた反射率係
   数の局所的な平均値と前記被写体の推定反射率係数の差
   を小さくする操作を選択的に行う第２ステップと、 標準灰色の反射率係数と前記推定反射率係数の平均との
   差を小さくすべく前記第２ステップで使用する反射率係
   数値を処理する第３ステップとを具備して構成すること
   を特徴とするカラーバランス調整方法。
8. 【請求項８】 前記照明光のスペクトル組成は、昼光の
   スペクトル組成に対し主成分分析を行い導かれた平均ベ
   クトルと第２主成分までの２つの主成分ベクトルの該３
   つの基底関数と照明光係数との積和による線形結合で表
   されると共に、前記被写体の表面反射率は、マンセル色
   票の表面反射率に対し主成分分析を行い導かれた第３主
   成分までの３つの主成分ベクトルの該３つの基底関数と
   反射率係数との積和による線形結合で表されることを特
   徴とする請求項５乃至７記載のカラーバランス調整方
   法。