JPH10173941A

JPH10173941A - 自然画像の色ずれ修正方法および装置

Info

Publication number: JPH10173941A
Application number: JP8335218A
Authority: JP
Inventors: Yoshifumi Arai; 佳文荒井
Original assignee: Toyo Ink Mfg Co Ltd
Current assignee: Toyo Ink Mfg Co Ltd
Priority date: 1996-12-16
Filing date: 1996-12-16
Publication date: 1998-06-26

Abstract

(57)【要約】（修正有）【課題】撮影時の照明光に関係なく、任意の光源下にお
いて撮影された任意の物体の色と昼白色光源下での色と
が一致するように色ずれ修正を行う。【解決手段】色ずれ修正部２０は、撮像部１０からＲＧ
Ｂ値等の色彩値を入力する。制御部２１による制御の
下、任意の光源の分光分布に基づいて予め学習されたニ
ューラルネットワークにより構成される第１変換部２２
の出力が、前記色彩値と所定の条件を満足するように前
記第１変換部２２の入力が制御される。所定の条件を満
足する、第１変換部２２のニューラルネットワークの出
力である分光反射率から昼白色光源下での色彩値が計算
され、画像出力部３０に送られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラや
ＣＣＤカメラ等の撮像装置により撮影された物体の光源
の影響による色ずれ修正を行う方法および装置に関し、
色の物理的（分光測色的）な特性を正確に表現する分光
反射率を用い、特に自然界に存在するほとんど全ての分
光反射率を包含しているとされるマンセル色票の分光反
射率を色の表現として用いることによって、いかなる光
源下で撮影が行われた場合であっても、また、対象がど
のような物体であっても、さらに、いかなる特性を有す
る撮像装置であっても、撮像された色が昼白色光源下で
の物体の色となるような色合わせを行う自然画像の色ず
れ修正方法および装置に関する。

【０００２】

【従来の技術】通常、人間の目で物を見たり、カメラな
どの撮像装置で物体を撮影する場合、対象物の色の見え
や写真等で再生される対象物の色は、光源の種類（分光
分布）によって影響を受ける。例えば、白熱電球や蛍光
灯下で撮影された写真は、昼白色光源下で撮影された写
真に比べ、全体が赤味や青味をおび、非常に違和感のあ
る再生画像になる。以降、このような物体の撮影時や観
察時における、光源の種類、即ち、光源の分光分布の違
いを光源変動と称する。

【０００３】一方、最近では、カラーDTP(Desk-Top Pub
lishing)が個人出版や社内印刷などの用途で一般に用い
られるようになり、また、デジタルカメラなどの普及に
よって、撮影したデジタル画像をそのままコンピュータ
上で編集・修正することが可能となってきていることか
ら、こうした光源変動による画像の色ずれが大きな問題
となっている。

【０００４】例えば、人間の目によって認識される物体
の色、または撮像装置によって撮像された物体の色は、
光源の分光分布と物体の分光反射率とを乗じた特性に、
更に人間の目の特性または撮像装置のセンサ・フィルタ
の特性（等色関数）がかけられた特性（色彩値、応答
量）に従って定量化されている。しかしながら、人間の
視覚系は人間の目で定量化された色に更に様々な情報処
理を行うことによって、どのような光源下であっても見
ている対象物が同じであれば色が常に同じに見える（感
じられる）という、いわゆる色恒常性を実現する機能を
有している。一方、撮像装置にはそうした機能がないた
め、光源変動の影響を受け、光源の分光分布の違いによ
って同じ物体を撮影しても色が全く異なった画像が再生
される。このため、一般の撮像装置で撮影された自然画
像の色が光源変動によって色ずれするという問題が生
じ、実際に目で見る場合と全く異なる色の画像が得られ
るため、非常に違和感を感じる。

【０００５】このような、撮像された画像の光源変動に
よる色ずれを修正するための技術として、ビデオカメラ
等で一般に用いられているホワイトポイント調整 (Whit
e Point Maping : WPM) 法がある。これは、光源変動に
よる参照白色のずれを計測し、そのずれ分だけ画像全体
の色を移動させる方法である。この方法は、単純に白色
だけを昼白色光源のそれと一致させるため、画像のカラ
ーバランスを修正することはできない。これに対し、バ
ーエル（Vrhel ）らは、光源変動による色ずれの問題を
分光反射率を推定する問題として捉え、推定した分光反
射率を用いた色ずれ修正法を提案している（M.J.Vrhel,
H.J.Trussell: Color Correction Using Principal Co
mponents, Color research and application, Vol.17,
No.5 pp328-338 (1992)を参照）。

【０００６】

【発明が解決しようとする課題】しかしながら、この方
法による色ずれ修正の精度では、まだ不十分であり、ま
た、この方法を適用できる対象は特定の色再現装置の再
現色に制限され、対象が自然物のような場合は分光反射
率を再現色の分光反射率で近似するため、非常に多くの
種類の物体を撮影した一般の自然画像を満足できる精度
で色修正することは困難であるという問題があった。

【０００７】以上、説明したように、従来の光源変動に
よる色ずれを修正する技術では、自然画像の光源変動に
よる色ずれを十分な精度で修正することは困難であり、
非常に広範囲にわたる光源や対象物の種類が考えられる
一般の環境下（照明下）で、撮像装置で撮影した自然画
像の光源変動による色ずれを修正する技術が要求されて
いる。本発明は、前記実情を鑑みてなされたものであ
り、撮影時の照明の種類、撮影対象の種類に関係なく、
任意の光源下における任意の物体の撮影画像の色を昼白
色光源での色と一致するように、極めて信頼性の高い光
源変動による色ずれの修正を行う方法及び装置を提供す
ることを目的とする。

【０００８】

【課題を解決するための手段】本発明に係わる色ずれ修
正方法は、種々の光源下で撮像される自然画像の光源の
影響による色ずれを修正する方法であって、分光反射率
を中間表色系として、マンセル色票の分光反射率の次元
圧縮によって得られる少なくとも３つの値から前記中間
表色系への変換を学習させられたニューラルネットを用
い、マンセル色票の分光反射率の次元圧縮によって得ら
れる少なくとも３つの値から前記中間表色系へ変換する
変換ステップと、前記中間表色系から所定の光源におけ
る色彩値を算出するステップと、前記色彩値と所定の色
彩値から前記ニューラルネットワークにより変換される
マンセル色票の分光反射率の次元圧縮によって得られる
少なくとも３つの値を最適化するステップとを具備する
ことを特徴とする。ニューラルネットを用いればマンセ
ル色票の分光反射率を高精度で低次元化できることが臼
井らによって示されている（Shiro Usui, Shigeki Naka
uchi, and Masae Nakano :Reconstruction of Munsell
color space by a five-layer neural network, J. Op
t. Soc.Am A, Vol.9, No.4, pp.516-520 (1992)を参
照）。

【０００９】本発明では、こうしたニューラルネットの
高い次元圧縮能力を用いて圧縮して得られた少なくとも
３つの値を有効に利用することによって色ずれ修正を実
現するようにしている。

【００１０】即ち、光源に依存しない分光反射率を中間
表色系とし、マンセル色票の分光反射率の次元圧縮によ
って得られる少なくとも３つの値から前記中間表色系へ
の変換を学習させられたニューラルネットによる非線形
変換を用いて、マンセル色票の分光反射率の次元圧縮に
よって得られる少なくとも３つの値から前記中間表色系
への変換を行い、変換によって得られた分光反射率から
計算される指定された光源における色彩値と指定された
光源において撮影された画像の色彩値との間の関係に関
する拘束条件のもとでの最適化を行い、それによって求
められた分光反射率から計算される昼白色光源での画像
の色彩値を計算することによって撮影装置で得られる自
然画像の光源変動による色ずれ修正を実現するようにし
ている。

【００１１】ここで、前記色彩値は、カラー画像を構成
するＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）値の
加法混色の三原色、または、カラー画像を構成するＣＩ
Ｅ（Commission Internationale de I'Eclairage）が色
彩値として規定するX 、Y 、Z 三刺激値とするようにし
ている。

【００１２】更に、前記のニューラルネットは、学習機
能を有し、分光反射率の恒等写像を予め学習させられた
３または５層の砂時計型フィードフォワードニューラル
ネットの上半分の２または３層のニューラルネットを用
いるようにしている。又、前記拘束条件として、指定さ
れた光源において撮影された画像の色彩値と前記ニュー
ラルネットによって求められた分光反射率から計算され
る指定された光源における色彩値との間の二乗誤差（二
乗ノルム）、または、平均色差を最適化手法によって最
小化することを条件とするようにしている。

【００１３】又、前記最適化手法に極値探索の一般的手
法である非線形最適化手法を用いるようにしている。
又、前記昼白色光源として、ＣＩＥ（Commission Inte
rnationale de I'Eclairage ）が規定するC 光源、及
び、色温度が４０００[K] から７５００[K] を有するD
光源もしくは、それらと等価な分光分布を持つ光源を用
いるようにしている。

【００１４】前記指定された光源としては、CIE （Comm
ission Internationale de I'Eclairage）が規定する A
光源、B 光源、C 光源、任意の色温度のD 光源、F1から
F12光源もしくはそれらと等価な分光分布を持つ任意の
光源を用いることが可能であることようにしている。

【００１５】又、本発明に係わる自然画像の色ずれ修正
装置は、物体を撮像し、少なくとも３つの色彩値を生成
する撮像手段と、マンセル色票の分光反射率の次元圧縮
によって得られる少なくとも３つの値を多層フィードフ
ォワード型のニューラルネットワークによって分光反射
率に変換する変換手段と、前記変換手段により求められ
る分光反射率を用い、所定の光源下の色彩値と前記撮像
手段により生成される色彩値組との二乗誤差および平均
色差の少なくとも一方を最小化するように前記マンセル
色票の分光反射率の次元圧縮によって得られる少なくと
も３つの値を最適化する最適化手段とを具備することを
特徴とする。

【００１６】即ち、撮像装置で得られる画像の色彩値に
対応する分光反射率の変換を行うことによって光源変動
による色ずれを修正する装置では、前記少なくとも３つ
の色彩値を適当な電気信号、あるいは光信号に変換する
入力手段と、マンセル色票の分光反射率の次元圧縮によ
って得られる少なくとも３つの値を、予め学習させられ
たニューラルネットによって分光反射率に変換し、電気
信号として出力する変換手段と、予め学習させられたニ
ューラルネットの結合係数、および、CIE 等色関数、ま
たは、R 、G 、B の各ＣＣＤセンサの分光特性、さらに
また、用いる可能性のある光源の分光分布を記憶してお
く記憶装置と、前記入力手段からの電気信号と前記変換
手段から出力された分光反射率から計算される色彩値と
の間の関係に関する拘束条件のもとでの最適化によって
色ずれ修正された色彩値に変換する変換手段と変換手段
から出力される電気信号を任意の出力信号として出力す
る出力手段を含み、前記変換手段はマンセル色票の分光
反射率の恒等写像を実行することのできる学習機能を有
する３または５層の砂時計型フィードフォワードニュー
ラルネットの上半分の２または３層のニューラルネット
ワークであり、前記砂時計型フィードフォワードニュー
ラルネットはマンセル色票の分光反射率の恒等写像を行
うように学習させられており、学習後の砂時計型フィー
ドフォワードニューラルネットの上半分のニューラルネ
ットは、マンセル色票の分光反射率の次元圧縮によって
得られる少なくとも３つの値を対応するマンセル色票の
分光反射率に変換することが可能であり、そしてまた、
入力手段の出力である指定された光源下で撮影された画
像の色の色彩値と第１変換部の出力から記憶装置に記憶
されている等色関数、または、CCD センサの分光特性を
用いて計算される指定された光源下での色彩値間の２乗
誤差（二乗ノルム）、または、平均色差を最小化すると
いう条件のもとで第１変換部の入力を最適化手法を用い
て最適化し、最適化された第１変換部の入力に対応する
第１変換部の出力と、記憶装置に記憶されている昼白色
光源の分光分布、等色関数、または、CCD センサの分光
特性を用いて色彩値を計算する第二の変換手段によって
光源変動による色ずれの修正を実現するようにしてい
る。

【００１７】従って、本発明の光源に依存しない分光反
射率を用いた光源変動による色ずれの修正方法および装
置においては、砂時計型フィードフォワードニューラル
ネットワークの学習機能と次元圧縮能力を有効に利用す
ることにより、対象物をどのような光源下で撮影した場
合であっても、マンセル色票の分光反射率の次元圧縮に
よって得られる少なくとも３つの値と分光反射率との間
の変換を高精度に実現する事ができる。

【００１８】また、マンセル色票の分光反射率の次元圧
縮によって得られる少なくとも３つの値と分光反射率と
の間の変換に学習機能を有するニューラルネットワーク
を用いるため、十分に学習させられたニューラルネット
はその汎化能力によって、入力に学習に用いなかった未
知のデータが入力された場合であっても、入力データに
対する適切な出力を得ることができる。

【００１９】更に、指定した光源下での色彩値もしく
は、光学フィルタやCCD センサの応答量、あるいは、指
定された光源下で撮像された画像の色彩値と、ニューラ
ルネットによって求められた分光反射率から計算される
指定された光源下での色彩値間の２乗誤差（２乗ノル
ム）、または、平均色差を最小とすることを拘束条件と
する非線形最適化手法によって、装置にも光源にも、更
に撮影される対象物にも依存しない非常に信頼性の高い
色ずれ修正を実現することが可能となる。従って、分光
反射率を色の中間的な表現として用いることにより、単
にデバイスインディペンデントなだけでなく、イルミナ
ントインディペンデントさらにオブジェクトインディペ
ンデントな色ずれ修正法を実現できる。

【００２０】

【発明の実施の形態】先ず、本発明に係わる色ずれ修正
装置の基本的な考え方について説明する。色は測色学的
には、光源の分光分布、物体の分光反射率、等色関数の
積を全可視光領域で積分した値、即ち、色彩値として定
義される。この定義に従えば、ある光源下での物体の色
彩値が分かっている場合に、物体が持つ普遍的な色（周
辺の照明光に関係ない物体が本来持っている色）を求め
るためには、得られた色彩値から物体の分光測色学的特
性を表す分光反射率を求める必要がある。本発明は、こ
うした色の基本的な考え方に基づくものである。即ち、
任意の光源で撮影された色を、常に昼白色光源下での色
に修正するためには、先ず、撮影された色の色彩値から
物体の分光反射率を推定し、推定された分光反射率、昼
白色光源の分光分布、等色関数を用いて改めて色彩値の
計算をすることによって、色ずれの修正が実現される。

【００２１】本発明に係わる色ずれを修正する装置で
は、マンセル色票の分光反射率の次元圧縮によって得ら
れる少なくとも３つの値と撮影された画像の色の分光反
射率との間の変換を学習したニューラルネットを用いて
行う。さらに、その出力値（分光反射率）を用いて計算
された指定光源下での色彩値と、標準の画像出力部およ
び、指定光源下での撮像のＲＧＢ、ＣＩＥＸＹＺ値のよ
うな色彩値との間の関係に係わる所定条件を満足する最
適化によって色ずれを修正した色彩値に変換する。最適
化には、光学フィルタやＣＣＤセンサの応答量の二乗誤
差（二乗ノルム）、あるいは、平均色差を最小にすると
いう条件が含まれるが詳細は後述する。

【００２２】以下、図面を参照して本発明の実施の形態
に係わる色ずれを修正する装置を説明する。本発明の実
施の形態である色ずれを修正する装置の機能構成を図１
に示す。図１に示されるように色ずれを修正する装置
は、撮像部１０、色ずれ修正部２０、画像出力部３０に
より構成される。撮像部１０は、デジタルカメラやＣＣ
Ｄカメラ等、光学フィルタやＣＣＤセンサを用いて対象
物体の色をＲＧＢ値やＸＹＺ値等の色彩値に変換し電気
信号として出力する撮像装置が適用される。画像出力部
３０は、入力される色彩値に従ってディスプレーや紙に
画像を出力するカラーＤＴＰ(DeskTop Publishing)にお
ける電子写真式プリンタ等の画像出力装置が適用され
る。色ずれ修正部２０は、色ずれ修正処理全体の制御を
司る制御部２１、ニューラルネットワークで構成される
第１変換部２２、所定の条件の下で変換処理を行う第２
変換部２３、第一及び第２変換部に係わる各種パラメー
タを記憶するメモリ２４により構成される。

【００２３】第１変換部２２に用いるニューラルネット
には、予め５層の砂時計型フィードフォワードニューラ
ルネットをマンセル色票の分光反射率の恒等写像を実現
するように学習させ、学習後の上半分の３層ニューラル
ネットワークを用いる。これにより第１変換部２２のニ
ューラルネットワークは後述する変換機能を有するよう
になる。第２変換部２３は、制御部２１による制御の
下、後述するように指定された光源下での撮像された画
像の色彩値、または、光学フィルタやＣＣＤセンサの応
答量を、第１変換部２２の出力である分光反射率、およ
び、メモリ２４に記憶されている等色関数、光学フィル
タやＣＣＤセンサの分光特性に従って、指定された光源
の分光分布から計算される色彩値に変換する。この際、
光学フィルタやＣＣＤセンサの応答量間の二乗誤差（二
乗ノルム）、あるいは、平均色差を最小にするという条
件のもとで最小化が行われ、最小化によって決定された
分光反射率、メモリ２４に記憶されている等色関数、ま
たは、光学フィルタやＣＣＤセンサの分光特性、およ
び、昼白色光源の分光分布を用いた計算に従って色ずれ
修正された色彩値が求められる。

【００２４】また、第１変換部２２は、適当な値を持つ
初期値の電気信号を、分光反射率に変換する。この変換
部２２に用いられるニューラルネットワークの一例を図
２に示す。同図に示されるように、中間層は出力関係が
シグモイド関数によって表される神経回路素子により構
成され、入・出力層は線形の神経回路素子であっても良
い。このニューラルネットワークは、マンセル色票の分
光反射率の次元圧縮によって得られる少なくとも３つの
値を分光反射率に変換する機能を有し、この機能は図３
に示す５層の砂時計型フィードフォワードニューラルネ
ットワークによって恒等写像を学習させることによって
実現される。図３のネットワークは３層の砂時計型フィ
ードフォワードニューラルネットワークであっても良
い。図２のニューラルネットワークは学習後の図３に示
す５層の砂時計型フィードフォワードニューラルネット
ワークの四角で囲んだ上半分の３層ニューラルネットで
ある。図２に示すニューラルネットは、離散化された分
光反射率の点数に対応する出力ユニットU1、 U2 、・・
・・Unを有しており、入力層のユニット数は３、中間層
ユニット数は１５、出力層ユニット数は３１個で構成さ
れる。

【００２５】制御部２１は、第２変換部２３を用い、第
１変換部２２から出力される電気信号、即ち、指定され
た光源下での色彩値や光学フィルタやＣＣＤセンサの応
答量と、撮像部１０から送られるくる指定された光源下
での色彩値や光学フィルタやＣＣＤセンサの応答量との
二乗誤差（二乗ノルム）または、平均色差を最小にする
という条件のもとで最適化を行い、これにより定められ
た分光反射率を用いて色ずれ修正された色彩値を求め
る。

【００２６】メモリ２４は、学習を終えた５層の砂時計
型フィードフォワードニューラルネットワークの上半分
の３層ニューラルネットワークの結合係数や、使用され
る可能性のある光源の分光分布、等色関数、撮像部１０
に適用される光学フィルタやＣＣＤセンサの分光特性等
を記憶する。

【００２７】次に、ニューラルネットワークで構成され
る第１変換部２２と、第２変換部２３について詳細に説
明する。図１に示される撮像部１０により、撮像された
色に関する少なくとも３つの色彩値がそれに対応する電
気信号に変換される。即ち、色情報の変換を行うべき元
の色のＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、
または、ＸＹＺ三刺激値のような色彩値を示す電気信号
として出力される。

【００２８】第１変換手段２２では、マンセル色票の分
光反射率を次元圧縮して得られる少なくとも３つの値が
適当な初期値として与えられると、図２に示すような構
造を持つニューラルネットワークの中間層ユニットの出
力 Hi は以下の式に従って出力される。

【００２９】

【数１】

【００３０】ここで、W ^(h)ijはｊ番目の入力ユニット
とｉ番目の中間ユニットの結合係数を表し、またＩi は
中間ユニットの出力、ｂj はバイアス値を表す。また、
出力層ユニットの出力 Oi も同様に次式に従って出力さ
れる。

【００３１】

【数２】

【００３２】但し、W ^(o) _ijはｊ番目の中間ユニットと
ｉ番目の出力ユニットの結合係数を表し、またHiは前記
（１）式で定義される i 番目の中間ユニットの出力値
である。また、ｎ、ｍ、ｋはそれぞれ入力層、中間層、
出力層のユニット数である。この時、入力層のユニット
の特性は入力をそのまま出力するような特性であり、ま
た、中間層ユニットの関数 f(x) は次式で定義される
[0, 1]の間で単調増加なシグモイド関数で表される特性
である。

【００３３】ｆ（ｘ）＝１／｛１＋ｅ^-x｝

【００３４】また、出力ユニットはシグモイド関数ある
いは線形関数で表される特性である。ただし、出力層は
バイアスユニットからの入力があってもよい。前述のよ
うにこのニューラルネットは、５層の砂時計型ニューラ
ルネットワークの上半分の３層ニューラルネットワーク
である。この５層の砂時計型ニューラルネットワークの
結合係数は、各出力ユニットの出力と教師信号として与
えられる分光反射率との２乗誤差を最小にするように予
め学習・修正される。学習には、Rumelhert が提案した
バックプロパゲーション学習則が用いられ、マンセル色
票の分光反射率の恒等写像（即ち、入力された分光反射
率と同じ分光反射率を出力させるような変換）を学習す
る。そして学習を終えた５層の砂時計型ニューラルネッ
トワークの上半分の３層ニューラルネットの結合係数が
記憶装置３に記憶される。

【００３５】一方、第２変換部２３では、学習を終えた
ニューラルネットによって得られる、第１変換部２２の
出力である、分光反射率R （β１, β2,β3 ）、等色関
数、または、撮像系の光学フィルタ、あるいは、CCD の
分光特性M 、指定された光源の分光分布 Lから

【００３６】ｔ＝Ｍ^TＬＲ（β₁，β₂，β₃）

【００３７】で計算される色彩値、あるいは、光学フィ
ルタやCCD センサの応答量と、入力手段から送られてく
る指定された光源での色彩値、あるいは、光学フィルタ
やCCDセンサの応答量との２乗誤差（２乗ノルム）、あ
るいは、平均色差を最小にするという条件のもとで第１
変換部２１の入力の最適化によって得られる分光反射率
Rd（β１, β2,β3 ）を用いて下記の（５）式によって
計算される色ずれ修正した色彩値に変換する。

【００３８】ｔ_d＝Ｍ^TＬ₀Ｒ_d（β₁，β₂，β₃）

【００３９】ここで、Ｌ0 は昼白色光源の分光分布であ
る。第２変換部２３における最適化によって変換された
色ずれ修正された色彩組は、出力手段４に送られ、電気
信号や光信号等任意の信号に変換される。

【００４０】図４に、図３に示した５層の砂時計型フィ
ードフォワードニューラルネットワークの学習処理を示
す。前述したようにこの学習処理は、予め装置構成時に
行われる。尚、ＣＣＤの分光特性には、ＣＩＥの等色関
数を用いて簡略化を図る。また、ニューラルネットワー
クの学習に用いるマンセル色票の分光反射率データに
は、分光測色器で測色した４００nmから７００nmまでの
可視光領域を１０nm間隔でサンプリングした３１点のデ
ータを用いる。

【００４１】先ず、５層の砂時計型フィードフォワード
ニューラルネットワークの入力層にマンセル色票の分光
反射率を入力する（ステップＳ１０）。同時に、入力層
と同じマンセル色票の分光反射率が出力層に対して教師
信号として与えられる（ステップＳ１１）。次にバック
プロパゲーション学習則に基づく学習処理が施される
（ステップＳ１２）。ステップＳ１２における学習処理
が、全マンセル色票に対し行われる。即ち、出力層より
出力される値が教師信号である分光反射率に近づくよう
にニューラルネットワーク内のユニットの結合の強さ
（結合係数）が変更される。この後、マンセル色票全部
に対し行われたかどうか判断される（ステップＳ１
３）。もし、全部終了していなければ、分光反射率を次
の色票のデータに変更し、ステップＳ１０から再度学習
する（ステップＳ１３、NO）。全部終了したら次のステ
ップへ進む（ステップＳ１３、YES ）。

【００４２】この後、ステップＳ１２における学習が、
所定の学習条件、例えば、結合係数を変更した回数が所
定回数に達しているかや、出力層から出力される値と教
師信号である分光反射率との誤差が所定の誤差範囲内で
あるかどうか等が判定される（ステップＳ１4 ）。所定
の学習条件を満たしている場合には、５層の砂時計型フ
ィードフォワードニューラルネットワークの上半分（３
層目から５層目）の結合係数がメモリ２４に保存され、
学習処理が終了する（ステップＳ１３、YES ）。又、学
習条件が満たされていない場合、再びステップＳ１０か
ら学習処理が実行される（ステップＳ１３、NO）。

【００４３】次に、この実施の形態における、色ずれ修
正処理を図５のフローチャートを参照して説明する。前
述の学習処理により求められた結合係数を用いて、指定
された光源下で撮像部１０により撮影された画像の色ず
れ修正処理が行われる。これらの色ずれ修正処理は、前
述したように制御部２１の制御の下で実施される。

【００４４】先ず、撮像部１０により指定された光源下
で撮影された物体の色彩値（ＲＧＢ値）が色ずれ修正部
２０に送られる（ステップ２０）。また、同時に第２変
換部２３において初期値の設定として乱数入力がおこな
われる。この後、予めメモリ２４に保存されている指定
された光源Ｌの分光分布、等色関数、前記学習処理によ
り定められたニューラルネットワークの結合係数が第１
変換部２２に設定される（ステップＳ２１）。第１変換
部２２では、乱数入力されたマンセル色票の分光反射率
を次元圧縮して得られる３つの値β1 、β2 、β3が対
応する分光反射率に変換される（ステップＳ２２）。更
に、ここで、得られた分光反射率と、メモリに記憶され
ているＣＣＤセンサの分光特性と、指定された光源の分
光特性とからＣＣＤセンサの応答量が前記式（４）式に
よって求められる。

【００４５】この後、第２変換部２３において、第１変
換部により求められた応答量と、撮像部１０から送られ
た色彩値（ＲＧＢ値）とを用いて最適化処理が行われる
（ステップＳ２３）。この最適化処理は、２つの応答量
間の二乗誤差（二乗ノルム）、または、平均色差を最小
にするという条件を満足するように実施され、第１変換
部２２に入力されるマンセル色票の分光反射率を次元圧
縮して得られる３つの値β1 、β2 、β3 が更新される
（ステップ２４）。

【００４６】次に、更新されたβ1 、β2 、β3 が最適
化の条件、例えば、二乗誤差（二乗ノルム）または平均
色差が所定の値以下である条件を満足しているか否かが
判断される（ステップＳ２５）。この最適化条件を満足
していない場合には（ステップＳ２５、NO）再びステッ
プＳ２２からの処理が更新されたβ1 、β2 、β3 に従
っておこなわれる。最適化条件を満足している場合（ス
テップＳ２５、YES ）、この処理によって得られる分光
反射率Rdから前記（５）式を用いて色ずれが修正された
色彩値が計算される（ステップＳ２６）。図６に前記ス
テップＳ２３，Ｓ２４における処理の流れの略を示す。
尚、ここでは、２つの応答量の最適化に非線形最適化の
一般的な手法であるＢＦＧＳ法を用いる。こうした処理
によって、撮影された自然画像の光源の影響による色ず
れが修正を行う。

【００４７】

【発明の効果】以上詳記したように本発明によれば、光
源に依存しない分光反射率を用い、更に、ニューラルネ
ットワークの学習機能および次元圧縮能力を有効に利用
することにより、自然界に存在するほとんど全ての分光
反射率を包含するとされるマンセル色票の分光反射率を
次元圧縮して得られる少なくとも３つの値と実際の分光
反射率の間の変換を高精度に実現することができる。ま
た、マンセル色票の分光反射率を次元圧縮して得られる
少なくとも３つの値と分光反射率との間の変換に学習機
能を有するニューラルネットワークを用いるため、十分
に学習されたニューラルネットはその汎化能力によっ
て、入力に学習に用いなかった未知のデータが入力され
た場合であっても、入力データに対する適切な出力をえ
ることができる。

【００４８】更に、指定された光源下で撮像された画像
の色彩値、または、光学フィルタやＣＣＤセンサの応答
量と、ニューラルネットによって求められた分光反射率
から計算される色彩値、または、光学フィルタやＣＣＤ
センサの応答量間の二乗誤差（二乗ノルム）、または、
平均色差を最小とすることを条件とする非線形最適化手
法によって、自然画像の各ピクセルの分光反射率を高精
度に求めることが可能であり、また、それによって装置
にも光源にも依存しない非常に信頼性の高い色ずれ修正
を実現することが可能となる。従って、分光反射率を色
の中間的な表現として用いることにより、単に装置独立
なだけでなく、光源にも独立な色ずれの修正が可能とな
る。

【００４９】

【図面の簡単な説明】

【００５０】

【図１】本発明に係わる実施の形態における撮像画像の
光源変動による色ずれを修正する装置の概略構成を示す
ブロック図である。

【００５１】

【図２】本発明に係わる実施の形態における第１変換部
に用いるフィードフォワード型のニューラルネットの一
構成例を示す概略図である。

【００５２】

【図３】本発明に係わる実施の形態における第１変換部
に用いるニューラルネットにマンセル色票の分光反射率
を次元圧縮して得られる少なくとも３つの値と分光反射
率との間の変換を学習させるために用いる５層砂時計型
フィードフォワードニューラルネットワークの一構成例
を示す概略図である。

【００５３】

【図４】前記実施の形態における５層砂時計型フィード
フォワードニューラルネットワークにマンセル色票の分
光反射率の恒等写像を学習させる処理を示すフローチャ
ート。

【００５４】

【図５】本発明に係わる実施の形態における色ずれ修正
処理を示すフローチャート。

【００５５】

【図６】本発明の実施の形態の色ずれ修正処理における
最適化処理を示す模式図。

【００５６】

【符号の簡単な説明】

１０・・・撮像部２０・・・色ずれ修正部３０・・・画像出力部４０・・・入力部５１・・・制御部２２・・・第１変換部２３・・・第２変換部２４・・・メモリ

Claims

【特許請求の範囲】

【請求項１】種々の光源下で撮像される自然画像の光源
の影響による色ずれを修正する方法において、光源に依
存しない分光反射率を中間表色系として、マンセル色票
の分光反射率の次元圧縮によって得られる少なくとも３
つの値から前記中間表色系への変換を学習させられたニ
ューラルネットを用い、マンセル色票の分光反射率の次
元圧縮によって得られる少なくとも３つの値から前記中
間表色系へ変換する変換ステップと、前記中間表色系か
ら所定の光源における色彩値を算出するステップと、前
記色彩値と所定の色彩値から前記ニューラルネットワー
クにより変換されるマンセル色票の分光反射率の次元圧
縮によって得られる少なくとも３つの値を最適化するス
テップとを具備することを特徴とする自然画像の色ずれ
修正方法。
【請求項２】前記最適化するステップには、前記算出ス
テップにより求められる色彩値と、前記所定の色彩値と
の２乗誤差及び平均色差の少なくとも一方を最小とする
ように、前記マンセル色票の分光反射率の次元圧縮によ
って得られる少なくとも３つの値を最適化することを特
徴とする請求項１記載の自然画像の色ずれ修正方法。
【請求項３】前記変換ステップにおけるマンセル色票の
分光反射率の次元圧縮には、砂時計型フィードフォワー
ドニューラルネットを用い、予めマンセル色票の分光反
射率の恒等写像を学習した前記砂時計型フィードフォワ
ードニューラルネットの上半分のニューラルネットをマ
ンセル色票の分光反射率の次元圧縮によって得られる少
なくとも３つの値から前記中間表色系への変換を行う前
記ニューラルネットとして用いることを特徴とする請求
項１記載の自然画像の色ずれ修正方法。
【請求項４】前記色彩値は、カラー画像を構成するＲ
（レッド）、Ｇ（グリーン）、Ｂ（ブルー）値の加法混
色の三原色であることを特徴とする請求項１記載の自然
画像の色ずれ修正方法。
【請求項５】前記色彩値は、カラー画像を構成するＣＩ
Ｅ（Commission Internationale deI'Eclairage ）が色
彩値として規定するX 、Y 、Z 三刺激値であることを特
徴とする請求項１記載の自然画像の色ずれ修正方法。
【請求項６】前記マンセル色票の分光反射率の次元圧縮
を行う砂時計型フィードフォワードニューラルネット
は、３または５層いずれか一方のニューラルネットワー
クであることを特徴とする請求項１または３記載の自然
画像の色ずれ修正方法。
【請求項７】前記最適化ステップは、非線形最適化を行
うことを特徴とする請求項１記載の自然画像の色ずれ修
正方法。
【請求項８】前記所定の光源はＣＩＥ（Commission Int
ernationale de I'Eclairage）が規定するA 光源、B 光
源、C 光源、任意の色温度のD 光源、F1からF12光源、
及び、分光測色器による計測によって得られる任意の光
源のいずれか一つであることを特徴とする請求項１記載
の自然画像の色ずれ修正方法。
【請求項９】前記所定の光源はＣＩＥ（Commission Int
ernationale de I'Eclairage）が規定するC 光源、及
び、色温度が４０００[K] から７５００[K] を有するD
光源のいずれか一方であることを特徴とする請求項１記
載の自然画像の色ずれ修正方法。
【請求項１０】物体を撮像し、少なくとも３つの色彩値
を生成する撮像手段と、マンセル色票の分光反射率の次
元圧縮によって得られる少なくとも３つの値を多層フィ
ードフォワード型のニューラルネットワークによって分
光反射率に変換する変換手段と、前記変換手段により求
められる分光反射率を用い、所定の光源下の色彩値と前
記撮像手段により生成される色彩値組との二乗誤差およ
び平均色差の少なくとも一方を最小化するように前記マ
ンセル色票の分光反射率の次元圧縮によって得られる少
なくとも３つの値を最適化する最適化手段とを具備する
ことを特徴とする自然画像の色ずれ修正装置。