WO2007007788A1

WO2007007788A1 - 色補正方法および色補正装置

Info

Publication number: WO2007007788A1
Application number: PCT/JP2006/313863
Authority: WO
Inventors: Masato Tsukada
Original assignee: Nec Corporation
Priority date: 2005-07-13
Filing date: 2006-07-12
Publication date: 2007-01-18
Also published as: CN101263721B; US20090141976A1; US8023736B2; JPWO2007007788A1; EP1906674A4; EP1906674A1; JP4288530B2; CN101263721A

Abstract

　入力画像を補正して入力画像とは異なる照明条件での出力画像を生成する色補正方法は、入力画像から特定の対象物の領域を検出してその領域の色情報を抽出するステップと、抽出された色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元するステップと、復元された照明の分光分布と指定された目標照明の分光分布とを用いて、出力画像での照明の分光分布を算出するステップと、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出するステップと、を備える。

Description

色補正方法および色補正装置

技術分野

[0001] 本発明は、カラー画像の色補正を行う方法および装置に関し、特に、カラー画像中の対象物の領域力も得られる色情報に基づいて、そのカラー画像のホワイトバランス補正を行うことを含む色補正方法および色補正装置に関する。

背景技術

[0002] デジタル画像の画質改善を実現するために、画像の色補正方法が提案されている。特に、デジタルカラー画像の色補正においては、ホワイトバランスの調整は重要であり、ホワイトバランスの調整を含む色補正方法として、様々な手法が提案されている。例えば、特開 2001— 148863号公報 (特許文献 1)には、画像のヒストグラムを利用してあら力じめ算出したホワイトバランスのパラメータを画像中の肌色領域に適用し、好ま、肌色になるかどうかを基準にパラメータを決定する方法が記載されて、る。なお、好ましい肌色にならない場合については、未処理すなわち色補正を行わないこととなる。特開平 11— 289548号公報 (特許文献 2)、特開平 3— 148989号公報（特許文献 3)、特開昭 62— 265885号公報 (特許文献 4)においても、画像のヒストグラムを利用してホワイトバランスの補正を実現する方法が記載されて、る。

[0003] 特開 2003— 224867号公報 (特許文献 5)には、画像のヒストグラムを利用してカラ一画像中のグレイの領域のみを抽出し、あるいは肌色の領域のみを抽出し、あるいはグレイの領域と肌色の領域を抽出し、抽出された領域の色情報を用いて光源の色温度を推定し、推定された色温度に基づいて、以下の補正式を用いてカラー画像の画像信号のホワイトバランスを補正する方法が記載されている。

[0004] R， = a R •••(A1)

G， = j8 G •••(A2)

' = y β 〜（Α3)

[0005] ここで、 R, G, Bは入力画像の画素での RGB値を示し、 R，， G，， B，は出力画像の画素での RGB値を示し、 α , β , γは補正に用いる係数である。 [0006] 同様に特開 2003— 333616号公報 (特許文献 6)には、画像中の肌色などの有彩色の領域や、本来白色であったであろう領域を、画像のヒストグラム解析によって求め、その領域の色情報を 1つあるいは複数組み合わせて光源の色温度を推定し、ホワイトバランス補正を実現する方法が記載されて、る。

[0007] 上記の従来技術では、画像中の肌色などの有彩色の領域と、グレイや白の無彩色の領域とに着目して、ホワイトバランスを補正する際に使用するパラメータを決定するために必要となる画像中の注目領域を、画像のヒストグラム解析によって求めている。

[0008] さらに、画像中の注目領域として顔領域を検出することにより画質を補正する手法が提案されている。例えば、特開 2004— 320285号公報 (特許文献 7)では、デジタルスチルカメラの撮影画像の画質を向上させる手法として、画像中の顔領域の大きさや数に応じて、デジタルカメラのシャッタースピードや AF (Auto focus)の動作を制御する方法が記載されるとともに、顔領域の輪郭強調処理や肌色処理について触れられている。しかし、肝心の肌色処理については、具体的な処理方法が開示されていない。

[0009] 特開 2004— 180114号公報 (特許文献 8)には、カラー画像中の色情報のみをもとに検出した顔領域において、肌色を良く見せるための色補正方法が記載されている。特開 2003— 216936号公報 (特許文献 9)には、入力画像から人物の顔部品を検出して配置情報を取得し、人物領域とその他の領域との境界を設定し、それぞれの領域毎に適したホワイトバランスおよび彩度の補正を施す手法が記載されて 1ヽる。特開 2003— 189325号公報 (特許文献 10)には、顔領域の色情報をホワイトバランス演算に使用しな、と、う方法が記載されて、る。

[0010] 特開 2005— 27277号公報 (特許文献 11)には、画像中の人の顔領域の場所を決定し、決定した顔領域から得られる肌色が、既知の肌色の範囲とほぼ一致するように、画像から得られた肌色を変更するための補正係数を決定し、この補正係数を用いて画像のホワイトバランス調整を行う方法が記載されている。しかし、特開 2005— 27 277号公報では、肝心の補正方法については、グレイワールド仮説や白色点推定などの方法を用いるとの記載がされて、るが、具体的な手法にっ、ては説明されてヽない。 [0011] なお、特開 2003— 317084号公報 (特許文献 12)には、画像中から目を検出する方法が記載されている。また、特許 3264273号公報 (特許文献 13)には、ヒストグラムを利用して肌色を判定する方法が記載されて、る。

[0012] 以下、本明細書中に引用した参考文献を列挙する。

特許文献 1 :日本国：特開 2001— 148863号公報

特許文献 2 :日本国：特開平 11— 289548号公報

特許文献 3 :日本国：特開平 3— 148989号公報

特許文献 4:日本国：特開昭 62— 265885号公報

特許文献 5 :日本国：特開 2003— 224867号公報

特許文献 6 :日本国：特開 2003— 333616号公報

特許文献 7 :日本国：特開 2004— 320285号公報

特許文献 8 :日本国：特開 2004— 180114号公報

特許文献 9 :日本国：特開 2003— 216936号公報

特許文献 10 :日本国：特開 2003— 189325号公報

特許文献 11 :日本国：特開 2005— 27277号公報

特許文献 12 :日本国：特開 2003— 317084号公報

特許文献 13 :日本国：特許 3264273号公報

非特許文献 1 :細井利憲、鈴木哲明、佐藤敦，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会， 2003年， Vol. 102, No. 651, p p. 47- 52

非特許文献 2 :田島譲二著，「画像工学シリーズ 10 カラー画像複製論カラーマネジメントの基礎」，丸善株式会社，平成 8年 9月 30日， pp. 33- 39

非特許文献 3 :日本色彩学会編，「新編色彩科学ハンドブック」，第 2版，財団法人東京大学出版会， 1998年 6月 10日， pp. 69- 71

発明の開示

発明が解決しょうとする課題

[0013] 画質向上を目的として画像のホワイトバランスを補正する際、ホワイトバランス補正のパラメータを決定するために、画像中の注目領域の色情報を把握する必要がある。これを実現するために、従来技術では、画像中の肌色などの有彩色の領域およびグレイや白の無彩色の領域を、ヒストグラム解析によって求める方法を用いて、る。

[0014] し力しながら、ヒストグラム解析による肌色などの有彩色の領域とグレイや白の無彩色の領域の特定方法は、その正確性に問題がある。画像中から肌色の領域を検出する場合、照明色の変動などを考慮し、ある程度広い範囲の肌色領域を許容する必要がある。そのため、肌色に似た色を有する人物以外の物体が画像中に占める領域が大きければ、画像中の実際の人物の顔領域における色情報よりも、その物体の領域から得られる色情報が、人物の肌色として誤検出されてしまい、その結果、所望の色補正を行うことができなくなる。また、ひどい色かぶりとなっている画像から、本来ならば白色ある、はグレイであったであろう領域を、画像データのみを手がかりに検出することは困難である。さら〖こ、画像の撮影時にカメラのダイナミックレンジを超えたことによって明るく白飛びした領域が画像に発生することがあるが、このような白飛びが存在する画像から白色あるいはグレイであったであろう領域を検出するためには、白飛びした領域を排除するための閾値処理をヒストグラム解析時に導入することになる。しかしながら、白飛びした領域を排除するための閾値を自動的に設定することは困難であるため、白飛びが発生している任意の画像に対して自動で良好なホワイトバランス補正を実現することは困難である。

[0015] このように、ヒストグラム解析を用いて画像中の注目領域を特定する場合には、ホヮイトバランス補正に必要な補正パラメータを算出する際に必要となる画像中の注目領域の色情報を的確に把握することができないという原因により、ホワイトバランス補正が所望の通りに作用しな、と、う課題がある。

[0016] さらに、従来技術におけるホワイトバランス補正では、画像を RGBの三原色で表現したときに R成分、 G成分、 B成分のバランスを整えることを目的として、式 (A1)〜(A 3)にしたがって R, G, B独立にそれぞれの比率を補正する処理が用いられている。しかし、この場合、補正の自由度に限界があるため、満足なホワイトバランスの補正を実現できな、と、う課題がある。

[0017] そこで本発明の目的は、上述した各課題を同時に解決し、 1枚の入力画像に基づいてこの入力画像に対して自動的に効果的な色補正を実現する色補正方法を提供することにある。

[0018] 本発明の別の目的は、 1枚の入力画像に基づいてこの入力画像に対して自動的に効果的な色補正を実現する色補正装置を提供することにある。

[0019] すなわち本発明は、画像のヒストグラム解析によって画像中の注目領域の色情報を取得しホワイトバランスを補正する方法における上述した課題を克服し、ホワイトバランス補正を含む色補正の精度向上を実現するとともに、従来のホワイトバランス補正方法における、補正の自由度に限界があるため満足なホワイトバランスの補正を実現できないという課題を克服し、所望の通り作用する色補正方法および色補正装置を提供する。

課題を解決するための手段

[0020] 本発明の第 1の目的は、入力画像を補正して入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正方法であって、入力画像から特定の対象物の領域を検出してその領域の色情報を抽出するステップと、抽出された特定の対象物の領域の色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元するステップと、復元された入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像での照明の分光分布を算出するステップと、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出するステップと、を備える、色補正方法によって達成される。

[0021] 本発明の第 2の目的は、入力画像を補正して入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正装置であって、入力画像から特定の対象物の領域を検出してその領域の色情報を抽出する対象領域色情報抽出手段と、対象領域色情報抽出手段によって抽出された特定の対象物の領域の色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像での照明の分光分布を復元する分光分布復元手段と、分光分布復元手段によって復元された入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像での照明の分光分布を算出する分光分布計算手段と、入力画像の各画素の色情報と、復元された入力画像での照明の分光分布と、算出された出力画像での照明の分光分布とに基づいて、出力画像の各画素の色情報を算出する出力画像生成手段と、を備える色補正装置によって達成される。

[0022] 本発明の範疇には、前述した本発明による各画像識別方法をコンピュータに実施させるためのプログラムや、そのようなプログラムからなるプログラムプロダクト、そのようなプログラムを格納した記録媒体、そのようなプログラムを伝送する伝送媒体も含まれる。

[0023] 本発明によれば、ホワイトバランス補正を含む色補正に必要な補正パラメータの算出精度が向上する。これにより、色補正の精度が向上するだけでなぐ色補正の自由度の限界が緩和され、所望の通りに作用する色補正が実現できる。

図面の簡単な説明

[0024] [図 1]本発明の第 1の実施形態の色補正方法を示すフローチャートである。

[図 2]平均的な日本人の顔領域の分光特性 (表面反射率)を示すグラフである。

[図 3]対象物の領域を自動検出し、色情報を求める処理の概略を示す図である。

[図 4]CIE昼光の平均および第 1、第 2主成分ベクトルを示すグラフである。

[図 5]物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。

[図 6]本発明の第 2の実施形態の色補正方法を示すフローチャートである。

[図 7]本発明による色補正装置の第 1の例を示すブロック図である。

[図 8]本発明による色補正装置の第 2の例を示すブロック図である。

[図 9]制御部によって表示される、値 adjを設定するための GUIの例を示す図である。

[図 10]制御部によって表示される、関数 adjw( λ )を設定するための GUIの例を示す図である。

[図 11]本発明による色補正装置の第 3の例を示すブロック図である。

符号の説明

[0025] 1 入力画像

2 出力画像

3 対象領域検出部 4 対象領域色情報抽出部

5 分光分布復元部

6 対象物表面反射率メモリ

7 表面反射率復元部

8 分光分布計算部

9 分光分布メモリ

10 画像補正部

11 制御部

12 行列変換画像補正部

20 スライドバー

21 制御点

100へ -102 色補正装置

発明を実施するための最良の形態

[0026] 図 1は、本発明の第 1の実施形態での色補正方法の処理手順を示している。ここでは、説明の便宜上、画像の表色系は RGB表色系であるものとする。すなわち、画像の色は、 R (赤）、 G (緑)、 B (青）の組み合わせで表わされるものとし、色情報 RGBと表記するものとする。

[0027] 本実施形態の色補正方法は、入力画像が与えられたときに、その入力画像から特定領域を自動的に抽出し、その抽出された特定領域の色情報と指定された目標照明とに基づいて入力画像を補正して、入力画像における照明条件とは異なる照明条件での出力画像を生成し、出力するものである。

[0028] 色補正の補正精度を高めるためには、色補正のためのパラメータをより精度よく決定する必要がある。本実施形態の方法では、まず、ステップ S1において、任意に与えられた入力画像から、色を大まかに特定できる対象物の領域を自動検出する。ここで、色を大まかに特定できる対象物としては、色の変動がないかまたは小さいものであって、人間の可視光領域 (波長 400ηπ！〜 700nm)において分光情報を有するものであるものが望ましい。さらに、色だけでなぐ形状や模様などに特徴を有するものが望ましい。以下の説明において、対象物の領域として検出された領域のことを、単に対象領域と呼ぶことがある。

[0029] このような特徴を有する対象物として、例えば、人間の顔を利用することができる。

図 2は、平均的な日本人の顔領域の分光特性 (表面反射率)を示すグラフである。図 2に示すように、人間の顔領域における分光特性は、可視光領域全般にわたって分光的に情報を有する。また、人間の顔領域の色に関しては、個人差はあるものの比較的安定していると言える。

[0030] 当然であるが、顔領域は、目、鼻、口などの形状特徴を有する。入力画像から顔領域を検出する方法として、特開 2003— 317084号公報に、画像中から目を検出する方法が提案されている。目の位置が検出されれば、顔領域を推定することは容易である。また顔検出方法として、細井利憲、鈴木哲明、佐藤敦，「一般化学習ベクトル量子化による顔検出」，信学技法，社団法人電子情報通信学会， 2003年， Vol. 102 , No. 651 , pp. 47— 52 (非特許文献 1)に記載された、一般化学習ベクトル量子化を用いた Image— based型と目の検出を行う Feature— based型とを組み合わせた方法なども利用できる。

[0031] 上記 2つの手法において、モノクロ情報を利用して顔検出を行い、さらにその検出結果である顔領域が肌色であるかの判定を追加することによって、顔領域の検出精度を向上させることも可能である。肌色の判定方法については、特許 3264273号公報に記載の画像ヒストグラムを利用した手法を利用することができる。本実施形態で利用できる顔検出方法は、上記の 2つの手法に限ったものではなぐ別の手法を利用してちょい。

[0032] 上記の説明では、任意に与えられた入力画像から自動検出する対象物を、顔とした場合について述べた力顔以外のものを対象物とすることも可能である。顔以外の対象物を自動検出するためには、例えば、あら力じめ記憶されている対象物の視覚的特徴情報と、画像データの視覚的特徴情報とを比較することによって対象物を自動検出する方法などを利用することができる。

[0033] 次に、ステップ S2において、入力画像から自動検出された対象物の領域の色情報を求める。図 3は、入力画像中の対象物の領域を自動検出し、色情報を求める処理の概略を示している。ここでは、入力画像の中から顔の部分を領域を抽出し、抽出された領域カゝら色情報を得ることが示されている。対象物の領域の色情報として、対象物が占める領域内に存在する画素の平均色、中央色 (メジアン）、最頻色 (モード)などを利用することができる。

[0034] ステップ S2では、対象物の領域の色情報 RGBを取得し、取得した RGBに基づいて、 XYZ表色系での三刺激値 XYZを求める。入力画像の各画素は RGB値によって表わされている力入力画像を表示するための RGB各色の蛍光体の色度および白色の色度はあら力じめ指定されており、 RGB値データと表示機器の発光出力との関係が線形であるものとして説明する。この場合、入力画像の RGB値と三刺激値 XYZ との関係は、以下の式（1)で表わされる。

[0035] [数 1]

[0036] ここで、 RXは 3 X 3の変換行列である。変換行列 RXは、 RGBの各色の蛍光体の色度と白色の色度が決まれば一意に計算できる。変換行列 RXの算出方法として、例えば、田島譲二著，「画像工学シリーズ 10 カラー画像複製論カラーマネジメントの基礎」，丸善株式会社，平成 8年 9月 30日， pp. 33— 39 (非特許文献 2)に開示された方法を用いることができる。この文献には、入力画像の RGBと三刺激値 XYZとの関係式における変換行列 RXの算出方法が記載されている。

[0037] 次に、ステップ S3において、入力画像中の対象領域の色情報、すなわちステップ S 2で算出した三刺激値 XYZと、その対象領域が一般的に有する色情報とから、画像情景中の照明の分光特性を復元する。対象領域が一般的に有する色情報としては、後述するように、特定の対象物にっ、てあら力じめ指定されて、る表面反射率が用いられる。また、画像情景中の照明とは、その画像中の物体を照射する照明（光源）である。 XYZ表色系に基づく物体の色を示す三刺激値 XYZは、その物体の表面反射率、その物体を照射する照明の分光分布および人間視覚の等色関数から、以下の式（2)〜 (4)で表現される。

[0038] [数 2] X = jl( )R(A)x(A)dA … (2)

Y = jl(A)R(A)y(AdA ■■■ (3)

[0039] ここで、 λは波長、 Ι(λ)は入力画像での照明の分光分布、 R( )は物体の表面反射率である。 χ(λ), γ(λ), ζ(λ)は等色関数であって、既知の関数である。積分は可視光の波長領域にわたって行われる。

[0040] ステップ S2において既に算出してある三刺激値 ΧΥΖを式（2)〜（4)の左辺に代入すると、式（2)〜 (4)は、未知特性 I ( λ )および R ( λ )につ、ての観測方程式となる。しかしながら、このままでは、未知特性 Ι(λ)および R( )を式（3)から計算することはできない。

[0041] ある程度の誤差を含んだ状態であっても、対象物の色を示す表面反射率 R( λ )をあら力じめ限定あるいは決定できるのであれば、 R( )は既知の値となり、式（2)〜（ 4)は I ( λ )のみの観測方程式となる。例えば、対象物を日本人の顔とした場合には、図 2に例示する平均的な肌色を有する日本人の顔領域の表面反射率 R' ( λ )を、式 (2)〜 (4)の R( )として用いることができる。対象物が顔以外の場合であっても、その平均的または代表的な表面反射率をあら力じめ求めておき、式（2)〜 (4)の R( λ ) に代入すればよい。

[0042] 本来、照明の分光分布 Ι(λ)は、可視光領域において無限次元の波形で表わされるため、 I ( λ )を式（2)〜 (4)から解析的に計算することはできな!、。

[0043] ところで、 CIE昼光は、 CIE (国際照明委員会； International Commission on

Illumination)が相対分光分布によって規定した測色用の光源であって、平均と 2 つの主成分との線形和でよく近似されることが知られている。図 4は、 CIE昼光の平均および第 1、第 2主成分ベクトルを示すグラフである。このことから、照明の分光分布 I ( λ )を以下のように表わすことができる。

[0044] [数 3]

Ι(Λ) = Ι₀(λ) + α₁Ι₁(λ) + α₂Ι₂(λ) … （5)

[0045] 式（5)に示す I ( λ ) (i=0〜2)は、図 4に示す照明の平均および基底ベクトルである。 ^(ί=1〜2)は、各基底ベクトルの重み係数であって、照明の色を表現する特性ノラメータとなる。

[0046] 式 (5)に示す I ( λ )を式 (2)〜 (4)に代入すると、照明の色を表現する未知の特性ノラメータ aおよび aに関する 2元一次連立方程式となり、容易に a , aを計算するこ

1 2 1 2

とができる。得られた照明の色を表現する特性パラメータ a , aを式（5)に代入するこ

1 2

とによって、画像情景中の照明の分光分布が得られる。以上の手順にて得られた画像情景中の照明の分光分布を I (λ)

org とする。

[0047] 次に、ステップ S4において、補正の目標としてあら力じめ設定された目標照明の分光分布 I ( λ )と、画像情景中の照明として推定された分光分布 I ( λ )とから、実 target org

際に画像の色を補正する際に用いる照明の分光分布 I (λ)

adj を算出する。ここで、補正の目標としてあらかじめ設定する目標照明の分光分布 I (λ)

target として、標準光源

D65や D55などの分光分布や、経験的に補正結果がよくなることがわ力つている照明の分光分布や、ホワイトバランスではなく画像全体の色変更の効果を目的とした照明色を有する分光分布などを用いることができ、さらにはこれら以外の分光分布を用いることもできる。目標照明の分光分布は、利用者によって所望の分光分布として定められることができるものである

[0048] I (λ)

ad] には、目標照明の分光分布 I (λ)

target をそのまま用いてもよい。さらに、以下の式 (6)に示すように、画像情景中の照明として推定された分光分布 I ( λ )と、目

org

標照明の分光分布 I ( λ )

target とを混合して、実際に画像の色を補正する際に用いる照明の分光分布 I (λ)

aa] を算出してもよい。

[0049] [数 4]

W = (1 - x I_org (A) + adj x /_{(arg e(} (λ) - (6)

[0050] 式 (6)において、 adjは、 I (λ)と I ( λ )の混合量を制御するための実数係数

org target

である。さらに、画像情景中の照明として推定された分光分布 I (λ)

org と、目標照明の分光分布 I ( λ )との

target 混合量を各波長ごとに制御できるように、

[0051] [数 5] ^) = {F{ )-adjw{X)) I_org{ )+adjw{ ) I_tasM … （フ） [0052] としてもよい。ここで、 F( λ )は可視光領域で 1. 0となる定波形であり、 adjw(l )は、各波長で I (λ)と I (λ)の混合量を制御するための実数値を有する可視光領 org target

域における関数である。

[0053] 次に、ステップ S5において、入力画像の各画素における物体の表面反射率を求める。式（1)にしたがって、画像の各画素の RGB値力三刺激値 XYZを計算し、式（2 )〜 (4)の左辺に代入する。そして、ステップ S3において計算された画像情景中の照明の分光分布 I ( λ )を式 (2)〜 (4)の右辺に代入すると、式 (2)〜 (4)は表面反射 org

率 R ( λ )に関する観測方程式となる。

[0054] 物体の仮想表面反射率 R" ( λ )も、照明の分光分布と同様に可視光領域において無限次元の波形で表わされるため、これを式 (2)〜 (4)力も解析的に計算することはできない。そこで、物体の仮想表面反射率 R" ( λ )について、低次元の基底ベクトルの加重和で表わす有限次元線形モデルを用いて以下のようにモデル化する。

[0055] [数 6]

R" ( ) = r₀ (ス) + b,r_x (λ) + b₂r₂ (λ) + b (λ) (8)

[0056] 図 5は、物体の表面反射率を集め、それらを主成分分析して得られる基底ベクトルの例を示すグラフである。式 (8)に示す r ( λ ) (i=0〜3)は、多くの物体の表面反射率を集め、それを主成分分析して得られる基底ベクトルであり、それぞれ平均、第 1 〜第 3主成分ベクトルを表わしており、すべて既知である。 b (i=0〜3)は、各基底べタトルの重み係数であり、物体の色を表現する未知の特性パラメータとなる。

[0057] 式 (8)に示す R"( )を、表面反射率 R( )に関する観測方程式に代入すると、物体の色を表現する未知の特性パラメータ b〜bに関する以下の 3元一次連立方程式

1 3

(9)を得ることができ、 b〜bを求めることができる。

1 3

[0058] [数 7]

'M{x,r_x) M(x,r₂)

b₂ - -- M{y _x) M(y,r₂) … (9)

、、 (ζ, ) M{z,r₂)

[0059] ：で、 M(x, r) (i=0〜3)は、 il ( )r (λ)Χ(λΜえの積分項を表わす。 y, zについても同様である。画像中の全ての画素に対し、以上の処理を施すことによつて、画像情景中全ての物体の表面反射率が求められる。

[0060] 次に、ステップ S6において、入力画像の各画素における補正後の色を算出する。

式（2)〜(4)に、ステップ S4において既に算出した補正時に用いる照明の分光分布 I ( λ )を代入することにより、補正後の三刺激値 X， Υ，Ζ，およびステップ S5におい adj

て既に算出した物体の仮想表面反射率 R" ( λ )についての式（10)〜（12)を得る。

[0061] [数 8]

X'= jl_aci.(A)R"(A)x(A dA … (1 0)

[0062] 式（1)における変換行列 RXの逆行列を RX^_1とすると、補正後の三刺激値 X' Y' Z ，は、以下のようにカラー画像の色情報 R' G' B'に変換することができる。

[0063] [数 9]

[0064] 入力画像中の全画素に対して上記の処理を行うことによって、所望の色に補正された出力画像を得ることができる。

[0065] 第 2の実施形態：

次に、図 6を用いて、本発明の第 2の実施形態の色補正方法を説明する。第 2の実施形態における色補正方法は、第 1の実施形態の色補正方法のステップ S5, S6で行われる三刺激値 ΧΥΖ力も X' Y' Z'への補正処理 (変換処理)をステップ S7に示す行列変換に置き換えることによって、第 1の実施形態の色補正方法と同等の補正結果をもたらす方法である。図 6において、ステップ S1〜S4の処理は、第 1の実施形態の場合と同様の処理であるので説明を省略し、ステップ S7について説明する。

[0066] ステップ S4の終了後、ステップ S7では、まず、物体の仮想表面反射率 R" ( λ )につ V、て、低次元の基底ベクトルの加重和で表わす有限次元線形モデルを用いてモデル化し、上述の式（8)を得る。

[0067] 式 (8)に示す R" ( λ )を、表面反射率 R ( λ )に関する観測方程式に代入すると、物体の色を表現する未知の特性パラメータ b〜bに関する 3元一次連立方程式 (上述

1 3

の式（9))を得ることができ、 b〜bを求めることができる。

1 3

[0068] 次に、式（2)〜(4)に、ステップ S4において既に算出してある補正時に用いる照明の分光分布 I ( λ )を代入することにより、補正後の三刺激値 X' Υ'Ζ'および物体の ad]

仮想表面反射率 R" ( λ )につ、ての式（ 10)〜（ 12)を得る。そして、式（ 10)〜（ 12) に、式 (8)に示す R"( )を代入して、式（14)を得る。

[0069] [数 10]

,、 (N(x,r) N(x,r₂) N(x,r,)

7* NO^) N ， r₂) N(y,r₃) (14) ノ Ν(Ζ,Γ,) N(z,r₂) N(z,r₃)

[0070] ここで、 Ν(χ, r) (i=0〜3)は、 il ( )r (λ)Χ(λΜえの積分項を表わす。 y, z l ad] l

についても同様である。さらに、式（14)に式（9)を代入すると、式（15)を得る。

[0071] [数 11]

Γ

Ζ'

… (15)

[0072] 式（15)は、次の式（16)のようにまとめることができる。

[0073] [数 12]

+ B (16)

[0074] ここで、行列 Aは、以下の式（17)で表わされる 3X3行列であり、行列 Bは、以下の式（18)で表わされる 3 X 1行列であって、いずれも定数行列となる。

[0075] [数 13] (N(x,_ri ) N(x,r₂) N(x,r₃) V M{x,r_x ) M(x,r₂) (x,r₃)

A = Ν(γ^ ) N(y,r₂ ) N(y,r₃) M{y,r, ) M(y,r₂) M(y, r₃ ) ( 1 7) N{z,r_x ) N(z,r₂) N(z, r₃) M(z, r, ) M(z,r₂) M(z, r₃)

[0076] [数 14]

( 1 8)

[0077] ステップ S7では、入力画像中の全画素に対して式（16)による色補正処理を施し、さら〖こ、デバイス依存カラ変換したものを出力画像として出力する。なお、デバイス依存カラーとは、出力先のデバイスに依存する色空間を意味する。

[0078] 以上は、入力画像および出力画像のデバイス依存カラーカ¾^ である場合にっヽて説明した力デバイス依存カラーが CMYや CMYKなどの RGB以外のデバイス依存カラーであったとしても、そのデバイス依存カラーとデバイス非依存カラーの三刺激値 XYZとの対応関係が得られれば、 RGB以外の画像にっヽても本発明の色補正方法を適用できる。

[0079] 色補正装置：

次に、本発明に基づく色補正装置について説明する。図 7は、本発明による色補正装置の第 1の例を示している。図示される色補正装置 100は、上述の第 1の実施形態の色補正方法に基づ!/、て入力画像 1に対して色補正を実施し、出力画像 2を出力する装置である。具体的には、色補正装置 100は、入力画像 1を補正して、入力画像 1における照明条件とは異なる照明条件での出力画像 2を生成し、出力するものである。

[0080] 色補正装置 100は、入力画像 1から特定の対象物の領域を検出する対象領域検出部 3と、検出された領域の色情報を抽出する対象領域色情報抽出部 4と、抽出された色情報とあらかじめ指定された特定の対象物の表面反射率とを用いて、入力画像 1での照明の分光分布を復元する分光分布復元部 5と、対象物表面反射率メモリ 6と、入力画像の各画素の色情報と分光分布復元部 5によって復元された照明の分光分布とを用いて、各画素における表面反射率を復元する表面反射率復元部 7と、分光分布復元部 5によって復元された照明の分光分布と目標照明として指定された照明の分光分布とを用いて、出力画像 2での照明の分光分布を算出する分光分布計算部 8と、目標照明の分光分布があらかじめ格納される分光分布メモリ 9と、表面反射率復元部 7によって復元された各画素における表面反射率と、分光分布計算部 8によって算出された出力画像 2での照明の分光分布とを用いて、出力画像 2の各画素の色情報を算出する画像補正部 10と、を備えている。ここで、入力画像 1中の特定の対象物としては、上記のように、人の顔など、その対象の色がある程度限定できるものが用いられる。この特定の対象物に関しては、その表面反射率があら力じめ色補正装置 100に与えられており、与えられた表面反射率は、対象物表面反射率メモリ 6 内に格納されている。

[0081] 次に、この色補正装置 100の動作を説明する。

[0082] 対象領域検出部 3は、入力画像 1が与えられると、その入力画像 1を解析し、あらかじめ想定された特定の対象物を検出し、画像中におけるその対象物の領域を示す情報を出力する。検出方法については、既に述べた手法を用いればよい。なお、入力画像 1から目的とする対象物が検出されない場合には、この色補正装置 100は、入力画像 1を出力画像 2としてそのまま出力する。

[0083] 次に、対象領域色情報抽出部 4は、対象領域検出部 3によって検出された対象領域における色情報を、上述した方法にしたがって抽出する。

[0084] 分光分布復元部 5は、対象領域色情報抽出部 4によって得られた対象領域の色情報と、対象物表面反射率メモリ 6に記憶されている対象領域の典型的あるいは代表的な表面反射率と、照明の分光特性をモデルィ匕する基底ベクトルとを用いて、入力画像の情景中の照明の分光分布を入力画像 1での照明の分光分布として復元する

[0085] 次に、分光分布計算部 8は、補正画像を生成する際に必要となる出力画像での照明の分光分布を計算する。分光分布計算部 8は、分光分布復元部 5によって復元された入力画像の照明の分光分布と、分光分布メモリ 9にあらかじめ記憶されている目標照明の分光分布とを用いて、出力画像での照明の分光分布を式 (6) , (7)によつて計算する。 [0086] 一方、表面反射率復元部 7は、復元された入力画像での照明の分光分布と、入力画像データの画素値とから、画像上の各画素における物体の表面反射率を復元する。分光分布復元部 5および表面反射率復元部 7における、それぞれの分光特性の復元方法としては、上述の第 1の実施形態において説明した手法を用いればよい。

[0087] そして、画像補正部 10は、画像上の各画素における物体の表面反射率と出力画像での照明の分光分布とを用いて、式（10)〜（12)によって三刺激値 XYZを計算する。そして、画像補正部 10は、出力画像をデバイス依存カラー（例えば RGBなど）に変換し、出力画像 2として出力する。

[0088] この色補正装置において、対象領域検出部 3、対象領域色情報抽出部 4、分光分布復元部 5、対象物表面反射率メモリ 6、表面反射率復元部 7、分光分布計算部 8、分光分布メモリ 9および画像補正部 10は、それぞれ個別の装置として設けてもよいし、あるいは、プログラムにしたがって動作する CPUによって実現されるようにしてもよい。その場合、プログラムは、 CPUに接続する記憶装置内に格納される。すなわち、記憶装置を備えたコンピュータを用いて、この色補正装置を構成することができる。

[0089] 図 8は、本発明に基づく色補正装置の第 2の例を示している。

[0090] 図 8に示される色補正装置 101は、図 7に示した色補正装置 100に対して、制御部 11を付加したものである。制御部 11は、値 adjまたは関数 adjw ( )を利用者に指定させるための制御を行うとともに、利用者によって指定された adjの値または adjw ( λ ) の関数を、分光分布計算部 8に出力する。値 adjまたは関数 adjw ( λ )は、分光分布計算部 8が出力画像の照明の分光分布を計算する際に、入力画像の照明の分光分布と所望の目標照明の分光分布の混合量をコントロールするために使用される値または関数である。

[0091] 図 9は、利用者に対して値 adjの設定を行わせるために、制御部 10が利用者に対して表示する GUI (Graphical User Interface)の例を示している。利用者は、表示されたスライドバー 20をマウスなどのポインティングデバイスを用いて動かすことによつて、 adjの値を調整することができる。

[0092] 同様に図 10は、利用者に対して関数 adjw ( )の設定を行わせるために、制御部 1 1が利用者に対して表示する GUIの例を示している。利用者は、表示された制御点 2 1をマウス操作などを用いて上下に動かすことによって、その制御点 21を通る adjw ( λ )の波形を調整することができる。制御点 21を通る adjw ( λ )に関して、制御点以外の波長における関数値は、スプライン補間やラグランジェ補間を用いることにより容易に計算できる。なお、図 10に示した例においては、制御点 21は 5点である力この制御点の数は任意である。また、制御点 21の追加や削除ができるようにしてあってもよい。

[0093] 図 9および図 10の例において、 adjおよび adjw ( λ )は、 0〜1. 0の範囲で指定できるようになっているが、設定できる範囲は 0〜1. 0に限定されるものではなぐ実数値で指定できるようになっていればよい。制御部 11は、利用者によって調整された adj または adjw ( λ )を、分光分布計算部 8に反映させる。

[0094] さらに、制御部 11は、目標照明として利用者の所望の照明の色を、その利用者が指定できる機能を有する。目標照明の色を指定する場合、例えば、相関色温度が用いられるようにしてもよい。 CIE昼光の相関色温度から、その分光分布を計算することができる。相関色温度力分光分布を計算する方法は、日本色彩学会編，「新編色彩科学ノヽンドブック」，第 2版，財団法人東京大学出版会， 1998年 6月 10日， pp. 6 9 - 71 (非特許文献 3)に記載されている。なお、 CIE昼光の分光分布の計算途中において、相関色温度から、色度が一旦計算されるので、制御部 11では、目標照明の色を色度で与えるようにしてもよい。さらに、制御部 11は、目標照明の分光分布を各波長におけるパワーを指定したファイルで与えるようにしてもよ、。

[0095] 図 8に示した色補正装置も、図 7に示した色補正装置と同様に、プログラムによって制御されるコンピュータによって構成することができる。

[0096] 図 11は、本発明に基づく色補正装置の第 3の例を示している。図示される色補正装置 102は、上述の第 2の実施形態の色補正方法に基づいて入力画像 1に対して色補正を実施し、出力画像 2を出力する装置である。色補正装置 102は、図 7に示した色補正装置 100における表面反射率復元部 7および画像補正部 10の代わりに、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された入力画像 1での照明の分光分布と、出力画像での照明の分光分布とから計算される定数行列を用いて、出力画像の各画素の色情報を算出する行列変換画像補正部 12を設けたものである。

[0097] 次に、この色補正装置 102の動作を説明する。

[0098] 分光分布復元部 5による入力画像での照明の分光分布の復元、および分光分布計算部 8による出力画像での照明の分光分布の計算までは、図 7に示した色補正装置 100の場合と同様に行なわれる。次に、行列変換画像補正部 12は、分光分布復元部 5によって復元された入力画像での照明の分光分布と分光分布計算部 8によつて計算された出力画像での照明の分光分布と入力画像 1とが与えられると、図 6のステツプ S5を実行して、式（16)を計算する。そして、入力画像 1の全画素に対して、式 (16)による色補正処理を施し、デバイス依存カラーに変換して出力画像 2を出力する。

[0099] この色補正装置 102についても、対象領域検出部 3、対象領域色情報抽出部 4、分光分布復元部 5、対象物表面反射率メモリ 6、分光分布計算部 8、分光分布メモリ 9 および行列変換画像補正部 12は、それぞれ個別の装置として設けてもよいし、あるいは、プログラムにしたがって動作する CPUによって実現されるようにしてもよい。したがって、コンピュータを用いて、この色補正装置を構成することができる。

[0100] さらに、本発明に基づく色補正装置の第 4の例として、図 8に示した色補正装置 10 1の表面反射率復元部 7および画像補正部 10を、行列変換画像補正部 12に置き換えた色補正装置も容易に実現可能である。この色補正装置もプログラムによって制御されるコンピュータによって構成することができる。

産業上の利用可能性

[0101] 本発明は、カラー画像の入出力装置においてホワイトバランスを含む色補正を実行する用途に適用できる。また、本発明は、コンピュータシステムで動作するプログラムの形態とすることで、任意のカラー画像に対する色補正ソフトウェアあるいはユーティリティとしても利用可能である。

Claims

請求の範囲

[1] 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正方法であって、

前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出するステツプと、

抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元するステツプと、

復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出するステップと、前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出するステップと、

を備える、色補正方法。

[2] 前記色情報を算出するステップは、

前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元するステップと、

復元された各画素における表面反射率と算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出するステップと、を備える、請求項 1に記載の方法。

[3] 前記色情報を算出するステップは、各画素における表面反射率をモデルィ匕する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出するステップとを備える、請求項 1に記載の方法。

[4] 前記分光分布を算出するステップにおいて、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合することによって、前記出力画像での照明の分光分布が算出される、請求項 1乃至 3のいずれか 1項に記載の方法。

[5] 前記分光分布を算出するステップにおいて、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合することによって、前記出力画像での照明の分光分布が算出される、請求項 1乃至 3のいずれ力 1項に記載の方法。

[6] 前記一定の割合は、利用者によって設定される、請求項 4に記載の方法。

[7] 前記波長に依存する関数は、利用者によって設定される、請求項 5に記載の方法。

[8] 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する色補正装置であって、

前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出する対象領域色情報抽出手段と、

前記対象領域色情報抽出手段によって抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する分光分布復元手段と、

前記分光分布復元手段によって復元された前記入力画像での照明の分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出する分光分布計算手段と、

前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する出力画像生成手段と、

を備える色補正装置。

[9] 前記出力画像生成手段は、

前記入力画像の各画素の色情報と、前記分光分布復元手段によって復元された前記入力画像の照明での分光分布とを用いて、各画素における表面反射率を復元する表面反射率復元手段と、

前記表面反射率復元手段によって復元された各画素における表面反射率と、前記分光分布計算手段によって算出された前記出力画像での照明の分光分布とを用いて、前記出力画像の各画素の色情報を算出する画像補正手段と、

を備える、請求項 8に記載の色補正装置。

[10] 前記出力画像生成手段は、各画素における表面反射率をモデルィ匕する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出する行列変換画像補正手段を備える、請求項 8に記載の装置。

[11] 前記分光分布計算手段は、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたつて波長によらず一定の割合で混合して、前記出力画像での照明の分光分布を算出する、請求項 8乃至 10のいずれか 1項に記載の装置。

[12] 前記分光分布計算手段は、前記分光分布復元手段によって復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたつて波長に依存する関数に基づいて混合して、前記出力画像での照明の分光分布を算出する、請求項 8乃至 10のいずれか 1項に記載の装置。

[13] 前記一定の割合を利用者に設定させ、前記分光分布計算手段に出力する制御部をさらに備える、請求項 11に記載の装置。

[14] 前記波長に依存する関数を利用者に設定させ、前記分光分布計算手段に出力する制御部をさらに備える、請求項 12に記載の装置。

[15] 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する処理をコンピュータに実行させる色補正プログラムであって、前記コンピュータに、

前記入力画像から特定の対象物の領域を検出して該領域の色情報を抽出する処理と、

抽出された前記特定の対象物の領域の色情報とあらかじめ指定された前記特定の対象物の表面反射率とを用いて、前記入力画像での照明の分光分布を復元する処理と、

復元された前記入力画像の照明での分光分布と目標照明として指定された照明の分光分布とを用いて、前記出力画像での照明の分光分布を算出する処理と、前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布と、算出された前記出力画像での照明の分光分布とに基づいて、前記出力画像の各画素の色情報を算出する処理と、

を実行させるための色補正プログラム。

[16] 前記色情報を算出する処理は、

前記入力画像の各画素の色情報と、復元された前記入力画像での照明の分光分布とを用いて、各画素における表面反射率を復元する処理と、

復元された各画素における表面反射率と算出された前記出力画像での照明の分光分布とを用いて、出力画像の各画素の色情報を算出する処理と、

を含む、請求項 15に記載のプログラム。

[17] 前記色情報を算出する処理は、各画素における表面反射率をモデル化する際に使用する基底ベクトルと、復元された前記入力画像での照明の分光分布と、前記出力画像での照明の分光分布とから計算される定数行列を用いて、前記出力画像の各画素の色情報を算出する処理を含む、請求項 15に記載のプログラム。

[18] 前記分光分布を算出する処理において、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長によらず一定の割合で混合することによって、前記出力画像での照明の分光分布が算出される

、請求項 15乃至 17のいずれ力 1項に記載のプログラム。

[19] 前記分光分布を算出する処理において、復元された前記入力画像での照明の分光分布および前記目標照明の分光分布を、可視光領域にわたって波長に依存する関数に基づいて混合することによって、前記出力画像での照明の分光分布が算出される、請求項 15乃至 17のいずれ力 1項に記載のプログラム。

[20] 入力画像を補正して前記入力画像における照明条件とは異なる照明条件での出力画像を生成する処理を実行可能なコンピュータが読み取り可能な記録媒体であつて、

前記コンピュータに、

を実行させる色補正プログラムを格納した記録媒体。