JP6395428B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、画像の撮影時の光源の違いを補正する画像処理に関する。

観察光源と異なる撮影光源の下で撮影された画像の色を、観察光源の下で撮影された画像の色とマッチさせる場合、撮影光源下の色データを観察光源下の色データに変換する光源変換処理を行う。光源変換処理を行うために色補正条件を算出するが、金属光沢のような光沢を含む被写体の色補正条件を算出する場合、次の問題がある。

光沢部は撮影条件に依存して色の変化が大きく、光沢部の撮影データを用いて光源変換処理の色補正条件を算出すると高精度な色補正条件が得られない。

特許文献1は、光源の違いを補正するわけではないが、色空間変換用の色補正条件の算出方法を記載する。特許文献1の算出方法によれば、カラーチャートを撮影して得たRGB信号値と、カラーチャートの測色値から求めた目標RGB信号値を一致させるための色変換マトリクスが最小二乗法によって算出される。

また、特許文献2は、原稿に金属光沢部が含まれるか否かの判定方法を記載する。特許文献2の判定方法によれば、通常の状態で原稿をスキャンした画像と、金属光沢部の反射光を増加させた状態で原稿をスキャンした画像の二種類の画像を取得する。そして、それら画像間の差分を算出して閾値と比較することで、原稿に金属光沢部が含まれるか否かを判定する。

特許文献2の判定方法は、異なるスキャン条件によって取得した二種類の画像間の差分に基づく判別を行うが、光源の違いに依存して色が大きく変化する領域があると、本来検出すべきではない領域を金属光沢領域と誤判定する可能性がある。言い替えれば、二種類の画像間の差分を用いた閾値判定のみでは、高精度な光源変換処理の色補正条件に必要な色値を適切に抽出することができない。

特開2005-79834号公報 特許第4024737号公報

本発明は、撮影画像に適した光源変換処理用の色補正条件を高精度に生成することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本願発明にかかる画像処理は、第一の照明条件で被写体を撮影した第一の画像データ、および、前記第一の照明条件と異なる第二の照明条件で前記被写体を撮影した第二の画像データを入力し、第一の画像データの各領域から色データを抽出し、前記第一の画像データの各領域に対応する前記第二の画像データの各領域から色データを抽出し、前記第一の画像データの領域から抽出された色データと、前記第二の画像データの対応する領域から抽出された色データの間の相関性および差分に基づき、前記第一の画像データの領域から抽出された色データおよび前記第二の画像データの対応する領域から抽出された色データから前記第一の画像データの代表色および前記第二の画像データの代表色を設定し、前記第一の画像データの代表色および前記第二の画像データの代表色を用いて前記第一の照明条件に依存する前記第一の画像データを前記第二の照明条件に依存する画像データに変換するための色補正条件を作成する。

本発明によれば、撮影画像に適した光源変換処理用の色補正条件を高精度に生成することができる。

本発明にかかる画像処理装置を文化財や絵画の複製に適用した際の処理の概要を説明する図。 撮影光源画像および観察光源画像の撮影の概要を説明する図。 実施例の画像処理装置の構成例を説明するブロック図。 画像処理装置が実行する光源変換処理を説明するフローチャート。 UIの一例を示す図。 抽出色追加ウィンドウの一例を示す図。 色データの抽出処理を説明するフローチャート。 抽出位置の決定処理を説明するフローチャート。 色抽出ファイルの更新を説明する図。 抽出範囲の決定処理を説明するフローチャート。 抽出範囲が記録された色抽出ファイルを説明する図。 色データの抽出処理を説明するフローチャート。 相関の解析処理を説明するフローチャート。 光源変換処理を説明するフローチャート。 実施例2における差分の解析処理を説明するフローチャート。

［光源変換処理の概要］
まず、光源変換処理の代表的な適用先である文化財複製の事例を説明する。一般に、文化財の複製は、文化財をディジタルカメラで撮影し、撮影画像をプリンタで出力することにより行われる。文化財の複製物は、当該文化財が展示されている観察光源下において本物と同等の色を再現することが要求されるため、撮影は観察光源下で行うことが望ましい。

しかし、観察光源では照度が不足することが多く、観察光源下でディジタルカメラにより文化財を撮影すると、撮影画像にノイズが発生することがあり、エレクトロニックフラッシュ（以下、フラッシュ）を発光させる撮影が行われる。そのため、撮影した画像（以下、撮影光源画像）の色を、観察光源の下で観察される画像（以下、観察光源画像）と同等の色に変換する光源変換処理が必要になる。従って、光源変換処理用のパラメータは、撮影光源画像を観察光源画像と同等の画像に変換するように作成される。

図1により本発明にかかる画像処理装置を文化財や絵画の複製に適用した際の処理の概要を説明する。

画像処理装置101は、文化財や絵画の原作（以下、原作）をフラッシュ1011を発光させて撮影した撮影光源画像1001を入力する。そして、撮影光源画像1001に光源変換処理1014を施して、実際に複製品を観察する観察光源1012の下で原作を撮影した観察光源画像1002と同等の色を有する補正画像1003を出力する。

補正画像1003にプリンタ用の色変換1016を施した色変換画像1004をプリント出力1017して複製品1005が生成される。複製品1005には、ノイズの少ない高精細な画像、かつ、原作が置かれている観察光源1012の下で原作と同じ色を再現することが要求されるため、光源変換処理1014が必要である。

図2により撮影光源画像1001および観察光源画像1002の撮影の概要を説明する。

図2(A)に示すように、被写体である原作1021の周囲に複数のフラッシュ1011を配置して光量を充分に確保して撮影を行い、高精細な撮影光源画像1001が取得される。一方、図2(B)に示すように、原作1021とカメラ1016の位置関係を撮影光源画像1001の撮影時と同一にした上で、観察光源1012の下で撮影を行うことによって、観察光源画像1002が取得される。

そして、撮影光源画像1001と観察光源画像1002から色抽出1013が行われ、色補正係数算出1015によって得られる色補正条件を用いることで、高精度な光源変換処理1014が可能になる。その結果、観察光源1012の下で原作1021と同じ色を再現する複製品1005が得られる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、光源変換処理1014を高精度に行うために、詳細は後述するが、次のように色補正条件を作成する。撮影光源画像1001と観察光源画像1002を取得し、それら画像から、色抽出1013に関する処理によって代表的な色を抽出し、抽出した色の対応関係を解析し、解析結果に基づき色補正係数算出1015において色補正条件を作成する。

図3のブロック図により実施例の画像処理装置101の構成例を説明する。

中央処理装置(CPU)112は、メモリ110をワークメモリとして、装置全体の制御を行うとともに、メモリ110に格納されたプログラムを実行して後述する画像処理を実現する。なお、メモリ110は、後述する画像処理のプログラムや各種データを格納するROMやハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)などの不揮発性メモリ、および、ワークメモリとして使用されるRAMを備える。

CPU112は、例えばタッチパネルであるUI部109にユーザ指示を入力するためのユーザインタフェイス(UI)を提供する。そして、USBインタフェイスなどの入出力部103を制御して、例えばメモリカードのような記録媒体である画像データ保持部102から、ユーザ指示に従い照明条件が異なる二つの撮影画像の画像データを入力する。なお、二つの撮影画像の一方は撮影光源画像1001であり、他方は観察光源画像1002である。

抽出位置決定部104は、撮影画像において、色データを抽出する画像位置を決定する。抽出範囲決定部105は、撮影画像から色データを抽出する際の撮影画像上の範囲を決定する。色抽出部106は、撮影画像の画像データから、決定された位置および範囲の色データを抽出する。相関解析部107は、撮影画像から抽出された色データに基づき、二つの撮影画像の間の相関を解析する。なお、CPU112は、抽出された色データの解析結果をUIに表示する。また、色補正部108は、撮影画像の画像データに色補正を施す。

上記の構成（抽出位置決定部104、抽出範囲決定部105、色抽出部106、相関解析部107、色補正部108）は、その機能を実現するプログラムをコンピュータ装置に供給し、CPU112が当該プログラムを実行することにより実現される。あるいは、上記の構成をハードウェアとして画像処理装置101に組み込み、CPU112がそれら構成の動作を制御することで後述する画像処理が実現されてもよい。

●光源変換処理
図4のフローチャートにより画像処理装置101が実行する光源変換処理を説明する。

CPU112は、画像処理に必要な情報を示すユーザ指示を入力するためのUIをUI部109に表示する(S11)。

図5によりUIの一例を示す。入力部301は撮影光源画像1001の画像データを指示するための入力部、入力部303は観察光源画像1002の画像データを指示するための入力部である。画像表示部302は入力部301の指示に従い入力された撮影光源画像1001を表示し、画像表示部304は入力部303の指示に従い入力された観察光源画像1002を表示する。また、入力部308は、補正画像1003の画像データを保存する際のファイル名を指示するための入力部である。

画像表示部302、304は、画像を複数の領域に分割した状態の画像を表示する。なお、図5には、画像を3×3の領域に分割した分割画像を表示するUI例を示すが、縦横の分割数は任意である。

UIには、抽出対象選択ボタン305、色抽出処理を指示する色抽出ボタン306、色補正係数作成ボタン307、色補正係数を用いる色補正処理の実行を指示する光源変換ボタン309などが備わる。なお、各ボタンが押された場合の処理の詳細は後述する。

入力部301、302にファイル名が入力されると、CPU112は、それらファイル名に基づき、入出力部103を介して画像データ保持部102から撮影光源画像1001の画像データと観察光源画像1002の画像データを取得する(S12)。なお、取得された画像データはメモリ110の所定領域に格納される。

撮影光源画像1001と観察光源画像1002は、図2に示すように、原作1021とカメラ1016の位置関係を同一にして、フラッシュ1011を発光させる第一の照明条件と、観察光源1012による第二の照明条件で撮影された画像である。なお、観察光源1012は、例えば、天井や壁など所定の位置に固定された蛍光灯やスポットライトなどの光源である。なお、第一の照明条件は、第二の照明条件よりも大きな光量が得られればよく、第二の照明条件に、さらにフラッシュ1011の発光を加えて第一の照明条件としてもよい。つまり、図2(A)に示す第一の照明条件における撮影には、観察光源1012があってもよいし、なくても構わない。

次に、CPU112は、詳細は後述するが、各分割画像に対応する撮影光源画像1001の領域と観察光源画像1002の領域から色データを抽出する(S13)。そして、抽出した色データに基づき、それら領域の間の相関を解析し、撮影光源画像1001の代表色と観察光源画像1002の代表色を設定する(S14)。

次に、CPU112は、相関の解析結果に基づき、分割画像に対応する各領域が代表色の抽出対象領域か否かを判定する(S15)。そして、抽出対象領域と判定した分割画像を提示する(S16)。例えば、抽出対象領域と判定された分割画像の提示は当該分割画像の近傍に配置されたチェックボックスにチェックマークを表示することで行われる。抽出対象領域ではないと判定された領域（以下、抽出非対象領域）に対応する分割画像の近傍に配置されたチェックボックスは空のままであり、ユーザは、抽出対象領域と判定された分割画像と抽出非対象領域と判定された分割画像を区分可能である。

抽出対象領域か否かの判定(S15)は、例えば、撮影光源画像1001と観察光源画像1002の対応する各領域について、色データの解析(S14)において後述する相関係数Rの算出を行い、相関係数Rが所定の閾値を超える領域を抽出対象領域と判定する。また、相関係数Rが所定の閾値以下の領域は抽出非対象領域である。

次に、CPU112は、抽出非対象領域があるか否かを判定し(S17)、抽出非対象領域がない場合は処理をステップS22に進める。また、抽出非対象領域がある場合、CPU112は、抽出非対象領域に特徴色があるか否かを判定し(S18)、特徴色がない場合は処理をステップS22に進める。また、抽出非対象領域に特徴色がある場合、CPU112は、抽出色追加ウィンドウをUIに表示する(S19)。

特徴色があるか否かの判定(S18)は、ステップS13で抽出した色データを用いて、撮影光源画像1001の抽出対象領域の色データと抽出非対象領域の色データの間の色差を算出し、色差に基づき行われる。色差の算出には後述する式(1)が使用され、色差が所定の閾値（例えば5）を超える場合は抽出非対象領域に特徴色があると判定され、色差が所定の閾値以下であれば抽出非対象領域に特徴色がないと判定される。

図6により抽出色追加ウィンドウの一例を示す。抽出色追加ウィンドウの特徴色表示部311には検出された特徴色が表示され、画像表示部312には抽出非対象領域の画像が表示される。ユーザは、抽出色追加ウィンドウを参照して、抽出色の追加が必要と判断した場合、ポインタ313を操作して、画像表示部312に表示された画像において抽出色を指定し、抽出色追加ボタン314を押すかタッチする（以下「押す」と表現）。また、ユーザは、抽出色の追加が不要と判断した場合、または、抽出色の追加が終了したと判断した場合、OKボタン315を押す。

このように、ユーザは、特徴色表示部311に表示された特徴色を参照して、画像表示部312に表示された抽出非対象領域の画像から抽出色を指定することができる。抽出色の指定方法は、例えば、タップにより表示される矩形枠を抽出色に対応する領域に移動し、ピンチにより矩形枠の大きさを調整する方法を用いればよい。あるいは、ポインティングデバイスやキーボードによってポインタ313を移動して抽出色に対応する領域の一点を指定し、ポインタ313を移動して領域の他点を指定することで矩形領域を指定する方法を用いてもよい。勿論、抽出色の領域を効率的に指定可能な方法であればどのような方法を用いても構わない。

CPU112は、抽出色追加ボタン314が押されたか、OKボタン315が押されたかを判定する(S20)。抽出色追加ボタン314が押された場合、詳細は後述するが、CPU112は、ユーザが指定した領域の色データを抽出色に追加し(S21)、処理をステップS20に戻す。また、OKボタン315が押された場合は処理をステップS22に進める。

次に、CPU112は、詳細は後述するが、ステップS14で設定された代表色の色データ（追加された抽出色の色データを含む）を用いて、撮影光源1011に依存する色を観察光源1012に依存する色に光源変換する色補正係数を作成する。そして、作成した色補正係数に基づく光源変換処理を撮影光源画像1001に施す(S22)。

●色データの抽出(S13)
図7のフローチャートにより色データの抽出処理(S13)を説明する。

CPU112は、撮影光源画像1001から例えばラスタ順に注目画素のRGB値と位置座標(x, y)を取得し(S131)、それらデータを抽出位置決定部104に供給し、抽出位置決定部104に抽出位置の決定処理を実行させる(S132)。抽出位置の決定処理の詳細は後述する。

次に、撮影画像取得部103は、撮影光源画像1001のすべての画素について抽出位置の決定処理を実施したか否かを判定し(S133)、未実施の画素があれば処理をステップS131に戻す。

抽出位置の決定処理が終了すると、CPU112は、抽出範囲決定部105に、決定された抽出位置の周囲の色データに基づく抽出範囲の決定処理を実施させる(S134)。抽出範囲の決定処理の詳細は後述する。

抽出範囲の決定処理が終了すると、CPU112は、色抽出部106に、決定された抽出位置と決定された抽出範囲に基づく色データの抽出処理を実施させる(S135)。色データの抽出処理の詳細は後述する。

●抽出位置の決定処理(S132)
図8のフローチャートにより抽出位置の決定処理(S132)を説明する。

抽出位置決定部104は、注目画素のデータ（RGB値と位置座標(x, y)）を入力すると(S1321)、色補正ファイル11が空か否かを判定し(S1322)、空の場合は入力データに基づき色補正ファイル11を更新する(S1329)。なお「色補正ファイル11が空」は、色補正ファイル11に抽出色が記録されていないことを意味する。

色補正ファイル11は、メモリ110に格納されていて、データとして抽出色の数を示す抽出数M、各抽出色のRGB値、各抽出色の位置座標(x, y)、度数fなどが記述されている。度数fは、後述する色差に基づき色空間の同じ領域に属すと判定された色の累積数である。

色補正ファイル11に抽出色の記録がある場合、抽出位置決定部104は、色抽出ファイル11から注目抽出色のRGB値を取得し(S1323)、注目画素の色と注目抽出色の間の色差ΔEを算出する(S1324)。

色差ΔEは、注目画素のRGB値と注目抽出色のRGB値をそれぞれCIELab値などの色値に変換し、式(1)を用いて算出される。
ΔE = √{(L₀-L₁)²+(a₀-a₁)²+(b₀-b₁)²}； …(1)
ここで、L₀a₀b₀は注目画素のLab値、
L₁a₁b₁は注目抽出色のLab値。

色値への変換は、画像データがAdobeRGB値であればAdobeRGB変換式とCIELab変換式を用い、画像データがsRGB値であればsRGB変換式とCIELab変換式を利用する。また、CIELab値などの色値の代わりに、CIECAM02などの変換式により得られるカラーアピアランス値を用いて色差を算出してもよい。

次に、抽出位置決定部104は、色抽出ファイル11に記録されたすべての抽出色について、注目画素の色との間の色差ΔEを算出したか否かを判定し(S1325)、色差ΔEを未算出の抽出色があれば処理をステップS1323に戻す。

色抽出ファイル11に記録されたすべての抽出色について色差ΔEの算出が終了すると、抽出位置決定部104は、算出した色差ΔEの中で最小の色差ΔEminと所定の閾値Ethの大小関係を判定する(S1326)。最小の色差が閾値以上（ΔEmin≧Eth）の場合は、注目画素のデータを色抽出ファイル11に追加して(S1329)、注目画素に対する抽出位置の決定処理を終了する。なお、色差判定の閾値として例えばEth=5を用いるが、閾値Ethの値はこれに限定されない。

図9により色抽出ファイル11の更新を説明する。図9(A)は注目画素のRGB値および位置座標(x, y)を示し、図9(B)は色抽出ファイル11の記録例を示す。最小の色差ΔEmin≧Ethの場合、図9(C)に示すように、ステップS1329において注目画素のデータが色抽出ファイル11に追加され、抽出数Mがインクリメントされ、度数f=1が設定される。

一方、最小の色差が閾値未満（ΔEmin＜Eth）の場合、抽出位置決定部104は、最小の色差ΔEminに対応する抽出色（以下、色差最小抽出色）のデータを更新する(S1327)。この更新において、色差最小抽出色の度数fがインクリメントされ、色差最小抽出色の位置座標が注目画素の位置座標に更新される。さらに、抽出位置決定部104は、式(2)により、撮影光源画像1001の注目画素を中心とする所定の画素範囲（以下、局所範囲）のRGB値の標準偏差σを算出し、標準偏差σが最小になる画素値によって色差最小抽出色のRGB値を更新する。つまり、ステップS1328において色抽出ファイル11に記録されるRGB値は、度数fに対応するRGB代表値である。
Rm = Σ_xΣ_yR(x, y)/N；
Gm = Σ_xΣ_yG(x, y)/N；
Bm = Σ_xΣ_yB(x, y)/N；
σ_R = √{Σ_i(Ri-Rm)²/(N-1)}；
σ_G = √{Σ_i(Gi-Gm)²/(N-1)}；
σ_B = √{Σ_i(Bi-Bm)²/(N-1)}； …(2)
ここで、RmGmBmは局所範囲の画素の平均RGB値、
RiGiBiは局所範囲の画素のRGB値、
Nは局所範囲の画素数（サンプル数）。

式(2)において、局所範囲は例えば五画素（X座標についてx±2、かつ、Y座標についてy±2）の範囲であるが、局所範囲はこれに限定されない。

図9(D)は注目画素のRGB値および位置座標(x, y)を示し、図9(E)は色抽出ファイル11の記録例を示す。注目画素の色値と色抽出ファイル11に記録された各抽出色の色値の間の最小の色差ΔEmin＜Ethの場合、図9(F)に示すように、注目画素のデータに基づき色差最小抽出色のデータが更新され、度数fがインクリメントされる。

次に、抽出位置決定部104は、ステップS1327で更新した度数fと所定の閾値Fthの大小関係を判定する(S1328)。更新後の度数が閾値以下（f≦Fth）の場合は注目画素に対する抽出位置の決定処理を終了する。また、更新後の度数が閾値を超える（f＞Fth）場合は、注目画素のデータを色抽出ファイル11に追加し(S1329)、注目画素に対する抽出位置の決定処理を終了する。なお、度数判定の閾値として例えば撮影光源画像1001の総画素数の1%に相当する値を用いるが、閾値Fthの値はこれに限定されない。

図9(G)は注目画素のRGB値および位置座標(x, y)を示し、図9(H)は色抽出ファイル11の記録例を示す。色差最小抽出色の更新後の度数f＞Fthの場合、図9(I)に示すように、注目画素のデータが色抽出ファイル11に追加され、抽出数Mがインクリメントされ、度数f=1が設定される。なお、図9(I)において色差最小抽出色は三番目のデータであり、図9(I)は度数判定の閾値Fth=2000の例を示している。このように、色空間の同じ領域に属すデータであっても、度数fが閾値Fthを超える場合は注目画素のデータが色抽出ファイル11に追加される。

●抽出範囲の決定処理(S134)
図10のフローチャートにより抽出範囲の決定処理(S134)を説明する。

抽出範囲決定部105は、撮影光源画像1001から画素値を抽出する際に用いる抽出範囲の初期値を取得する(S1341)。抽出範囲の初期値として、例えば10×10画素の正方形範囲が設定されている。

次に、抽出範囲決定部105は、色抽出ファイル11から注目抽出色の位置座標(x, y)を取得する(S1342)。そして、注目抽出色の位置座標(x, y)および抽出範囲の初期値に基づき、撮影光源画像1001から抽出範囲の画素値を取得し、それら画素値の標準偏差Dsを算出する(S1343)。

注目抽出色の位置座標(x, y)を略中心とする抽出範囲の画素値を取得すればよいが、位置座標(x, y)が画像の頂点や辺の近傍に位置する場合は、位置座標(x, y)を頂点または辺上とする抽出範囲の画素値を取得する。また、抽出範囲の色のばらつきを表す統計量に標準偏差を用いている例を説明するが、分散などの他の統計量を用いてもよい。

次に、抽出範囲決定部105は、所定の閾値Dthに基づき、算出した標準偏差Dsが判定条件（Ds＜Dth）を満たすか否かを判定する(S1344)。標準偏差Dsが判定条件を満たさない場合（Ds≧Dth）、抽出範囲決定部105は、抽出範囲を一画素分狭め（例えば10×10を9×9にする）(S1345)、処理をステップS1343に戻して再び抽出範囲の画素値の標準偏差Dsを算出する。

標準偏差Dsが判定条件（Ds＜Dth）を満たすと、抽出範囲決定部105は、判定条件を満たした抽出範囲を注目抽出色に関連付けて色抽出ファイル11に記録する(S1346)。図11により抽出範囲が記録された色抽出ファイル11を説明する。図11に示すように、色抽出ファイル11には抽出数M、各抽出色のRGB値、位置座標(x, y)、度数fに加えて、抽出範囲（画素数）が記録される。

次に、抽出範囲決定部105は、色抽出ファイル11に記録されたすべての抽出色について抽出範囲を決定したか否かを判定する(S1347)。そして、抽出範囲が未決の抽出色があれば処理をステップS1341に戻して、すべての抽出色について抽出範囲を決定するまでステップS1341からS1346の処理を繰り返す。

●色データの抽出処理(S135)
図12のフローチャートにより色データの抽出処理(S135)を説明する。

色抽出部106は、色抽出ファイル11から注目抽出色の位置座標(x, y)および抽出範囲を取得する(S1351)。そして、位置座標(x, y)と抽出範囲に基づき、撮影光源画像1001と観察光源画像1002のそれぞれから抽出範囲内のRGB値を取得する(S1352)。

注目抽出色の位置座標(x, y)を略中心とする抽出範囲のRGB値を取得すればよいが、位置座標(x, y)が画像の頂点や辺の近傍に位置する場合は、位置座標(x, y)を頂点または辺上とする抽出範囲のRGB値を取得する。

次に、色抽出部106は、撮影光源画像1001から抽出したRGB値の代表値（代表色）、および、観察光源画像1002から抽出したRGB値の代表値（代表色）を算出する(S1353)。代表色の算出には例えば式(3)を用いてRGB値の平均値を計算すればよいが、平均値の代わりに中心値などの他の統計量を代表色に用いてもよい。算出された代表色は、撮影光源画像1001、観察光源画像1002ごとに、位置座標(x, y)に関連付けられてメモリ110の抽出色ファイル12に格納される。
Rsr = Σ_xΣ_yRs(x, y)/n；
Gsr = Σ_xΣ_yGs(x, y)/n；
Bsr = Σ_xΣ_yBs(x, y)/n；
Rvr = Σ_xΣ_yRv(x, y)/n；
Gvr = Σ_xΣ_yGv(x, y)/n；
Bvr = Σ_xΣ_yBv(x, y)/n； …(3)
ここで、RsGsBsは撮影光源画像1001から抽出したRGB値、
RvGvBvは観察光源画像1002から抽出したRGB値、
RsrGsrBsrは撮影光源画像1001における代表色、
RvrGvrBvrは観察光源画像1002における代表色、
nは抽出範囲の画素数（サンプル数）。

次に、色抽出部106は、色抽出ファイル11に記録されたすべての抽出色について代表色の算出（色データの抽出）を実行したか否かを判定する(S1354)。色データの抽出が未了の抽出色がある場合は処理をステップS1351に戻し、すべての抽出色について色データの抽出が終了した場合は色データの抽出処理を終了する。

●相関の解析処理(S14)
図13のフローチャートにより相関の解析処理(S14)を説明する。

相関解析部107は、抽出色ファイル12に記録された代表色のデータを画像表示部302、304の分割画像に対応するデータ群に分類する(S141)。つまり、代表色に関連付けられた位置座標(x, y)に基づき、当該代表色のデータを分割画像それぞれに対応するデータ群に分類する。なお、データ群は相関解析の対象単位であるが、相関解析の対象単位は、分割画像単位にに限らず、画像単位でもよいし、画素単位にすることもできる。

次に、相関解析部107は、撮影光源画像1001と観察光源画像1002の対応するデータ群の一つについて、相関係数Rを下式により算出する(S142)。
Gsm = Σ_iGsr_i/m；
Gvm = Σ_iGvr_i/m；
R = Σ_i(Gsr_i-Gsm)(Gvr_i-Gvm)/{√Σ_i(Gsr_i-Gsm)²√Σ_i(Gvr_i-Gvm)²}； …(4)
ここで、Gsrは撮影光源画像1001における代表色のG成分、
Gvrは観察光源画像1002における代表色のG成分、
mはデータ群に含まれる代表色の数。

式(4)はG成分が輝度値を代表するとして相関係数Rを算出する例を示すが、代表色のRGB値から輝度値を算出して、算出した輝度値によって相関係数Rを算出してもよい。

次に、相関解析部107は、算出した相関係数Rと所定の閾値Rthの大小関係を判定する(S143)。相関係数が閾値を超える（R＞Rth）場合、当該データ群に対応する分割画像の領域が前述した抽出対象領域であり、当該データ群をメモリ110の色補正ファイル13に格納する(S144)。なお、相関係数Rの判定用の閾値として例えばRth=0.95を用いるが、閾値Rthの値をこれに限らない。

次に、相関解析部107は、すべてのデータ群について相関係数Rの算出と判定を実施したか否かを判定し(S145)、未実施のデータ群があれば処理をステップS142に戻して、すべてのデータ群について相関係数Rの算出と判定を繰り返す。

色データの解析処理(S14)が終了すると、色補正ファイル13には、抽出対象領域の分割画像ごとに色補正係数を作成するための抽出色の色データが記録されている。また、前述したように、抽出非対象領域に特徴色がある場合、ステップS21において、ユーザが指定する領域の色データが、抽出色の色データとして色補正ファイル13に追加される場合がある。

相関の解析処理(S14)によれば、撮影光源画像1001の分割画像と観察光源画像1002の分割画像の間の色の関係性から光沢部を含む領域を抽出非対象領域に分類することができる。その結果、光沢部を含む領域の色を、色補正係数の算出に用いる代表色から除外することができる。

●光源変換処理(S22)
図14のフローチャートにより光源変換処理(S22)を説明する。

色補正部108は、色補正ファイル13から代表色の色データ（追加された抽出色の色データを含む）を取得する(S221)。そして、撮影光源画像1001の代表色の色データと観察光源画像1002の代表色の色データから、下式に基づき、撮影光源1011に依存するRGB値を観察光源1012に依存するRGB値に変換するための色補正係数を算出する(S222)。
┌ ┐┌ ┐┌ ┐
│Rv_i││m₁₁ m₁₂ m₁₃ m₁₄││Rs_i│
│Gv_i││m₂₁ m₂₂ m₂₃ m₂₄││Gs_i│
│Bv_i││m₃₁ m₃₂ m₃₃ m₃₄││Bs_i│
└ ┘└ ┘│ 1 │
└ ┘ …(5)
ここで、RsGsBsは撮影光源画像1001の代表色の色データ、
RvGvBvは観察光源画像1002の代表色の色データ。

式(5)におけるマトリクス係数m₁₁-m₃₄が色補正係数に相当する。最適なマトリクス係数は、各代表色の色データを式(5)に適用し、最小二乗法などを用いて算出することができる。なお、式(5)にはマトリクス係数として3×4のマトリクスを用いる例を示すが、異なる次数のマトリクスを用いてもよい。

次に、色補正部108は、変換元画像である撮影光源画像1001の画像データを入力し(S223)、撮影光源画像1001の画像データに色補正係数を用いる光源変換処理を施し、観察光源1012に依存する画像データを算出する(S224)。そして、光源変換によって得られた画像データを補正画像1003（観察光源1012に依存する撮影画像）の画像データとしてメモリ110に格納する(S225)。

このように、撮影画像から複数の代表色を抽出し、撮影光源1011に依存する撮影光源画像1001を観察光源1012に依存する撮影画像（補正画像1003）に変換するための色補正係数を算出して、光源変換に適した色補正条件を作成することができる。

また、相関の解析処理(S14)によって撮影光源画像1001と観察光源画像1002の間の色の関係性を解析して、光沢部の色を、色補正係数の算出に用いる代表色から予め除外し、高精度な色補正条件を作成することができる。

さらに、ステップS17からS21の処理によって、抽出非対象領域に特徴色がある場合は、特徴色を提示して特徴色の抽出の要否をユーザに判断させることで、代表色の抽出漏れを防ぎ、色補正条件の精度低下を防ぐことができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、抽出色のデータに光沢部に起因するデータが含まれるか否かを撮影光源画像1001の分割画像と観察光源画像1002の分割画像の間の色の関係性から判定する方法を説明した。実施例2においては、同様の判定を撮影光源画像1001の代表色と観察光源画像1002の代表色の間の差分と相関に基づき判定する方法を説明する。

●差分の解析処理
図15のフローチャートにより実施例2における差分の解析処理を説明する。なお、差分の解析処理は、図4に示す相関の解析処理(S14)の一部として実施される。

相関解析部107は、抽出色ファイル12に記録された代表色のデータを画像表示部302、304の分割画像に対応するデータ群に分類する(S151)。つまり、代表色に関連付けられた位置座標(x, y)に基づき、当該代表色を分割画像それぞれに対応するデータ群に分類する。

次に、相関解析部107は、撮影光源1011の基準白色と観察光源1012の基準白色を取得する(S152)。例えば、基準白色のデータとして、撮影画像のExif情報を参照して撮影時の色温度を取得する。また、撮影画像の画素値と色温度の対応関係を保持するテーブルを用意して、撮影画像のハイライト部から色温度を推定する方法を用いることもできる。

次に、相関解析部107は、取得した基準白色に基づき差分判定に用いる閾値Thを設定する(S153)。基準白色に基づき閾値thを設定する理由は、光源の違いによって撮影画像の間の画素値の差分が大きくなるため、差分判定用の閾値Thを光源の違いに応じて適切に設定し、光沢部から色データを抽出ることを防ぐためである。例えば、閾値Thの基準値に10を設定し、撮影光源1011の色温度と観察光源1012の色温度が500K異なるごとに閾値Thに5を加えて、閾値Thを増加させる。勿論、基準値、色温度のステップ、閾値のステップはこれら値に限定されない。

次に、相関解析部107は、一つのデータ群について、撮影光源画像1001と観察光源画像1002の対応する各代表色の間の差分d_iを算出し(S154)、算出した差分d_iそれぞれと閾値Thを比較する(S155)。そして、すべての差分が閾値未満（d_i＜Th）の場合、当該データ群に対応する分割画像の領域が抽出対象領域であり、当該データ群を色補正ファイル13に格納する(S156)。また、閾値以上の差分d_iが一つでもある場合、当該データ群に対応する分割画像の領域は抽出非対象領域である。なお、差分d_iは、例えばRGB空間における代表色の間のユークリッド距離として算出すればよい。

次に、相関解析部107は、すべてのデータ群について差分d_iの算出と差分判定を実施したか否かを判定し(S157)、未実施のデータ群があれば処理をステップS154に戻して、すべてのデータ群について差分d_iの算出と差分判定を繰り返す。

実施例2の差分の解析処理によれば、撮影光源画像1001の分割画像と観察光源画像1002の分割画像の間の代表色の差分から光沢部を含む領域を判定することができる。その結果、光沢部を含む領域の色を、色補正係数の算出に用いる代表色から除外することができる。

CPU112は、上記の差分の解析処理によって色補正ファイル13を作成し、相関の解析処理に基づき抽出対象領域と抽出非対象領域を判定し(S14、S15)、UIに抽出対象領域を提示する(S16)。そして、抽出非対象領域がない場合は処理をステップS22へ進める。つまり、実施例2においては、差分の解析処理により閾値Thよりも大きい差分d_iが一つでもあると判定された分割画像について、さらに相関の解析処理を行い、相関係数Rが閾値Rthよりも小さい分割画像を抽出非対象領域と判定する。

このように、代表色の間の差分により撮影画像の領域に光沢部が含まれるか否かを判定し、光沢部を含むと判定された領域について、さらに、代表色の相関に基づき抽出非対象領域を判定する。これにより、色補正条件を高精度に作成するための色データを高精度に抽出することができる。

本発明は、上述した各実施例の構成に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

104 … 抽出位置決定部、105 … 抽出範囲決定部、106 … 色抽出部106、107 … 相関解析部、108 … 色補正部

Claims (13)

1. 第一の照明条件で被写体を撮影した第一の画像データ、および、前記第一の照明条件と異なる第二の照明条件で前記被写体を撮影した第二の画像データを入力する入力手段と、
   前記第一の画像データの各領域から色データを抽出し、前記第一の画像データの各領域に対応する前記第二の画像データの各領域から色データを抽出する抽出手段と、
   前記第一の画像データの領域から抽出された色データと、前記第二の画像データの対応する領域から抽出された色データの間の相関性および差分に基づき、前記第一の画像データの領域から抽出された色データおよび前記第二の画像データの対応する領域から抽出された色データから前記第一の画像データの代表色および前記第二の画像データの代表色を設定する解析手段と、
   前記第一の画像データの代表色および前記第二の画像データの代表色を用いて前記第一の照明条件に依存する前記第一の画像データを前記第二の照明条件に依存する画像データに変換するための色補正条件を作成する作成手段とを有する画像処理装置。
2. さらに、前記色補正条件を用いて、前記第一の画像データに光源変換処理を施す変換手段を有する請求項1に記載された画像処理装置。
3. 前記解析手段は、前記相関性として、前記第一の画像データの領域と前記第二の画像データの対応する領域の間の相関係数を算出し、前記相関係数が所定の第一の閾値を超える抽出対象領域から抽出された色データを前記代表色の色データに設定する請求項1または請求項2に記載された画像処理装置。
4. さらに、前記抽出対象領域と、前記相関係数が前記第一の閾値以下の抽出非対象領域を区分可能に提示するユーザインタフェイスを有する請求項3に記載された画像処理装置。
5. 前記解析手段は、前記第一の照明条件の基準白色および前記第二の照明条件の基準白色に基づき第二の閾値を設定し、前記差分が前記第二の閾値未満の領域から抽出された色データを前記代表色の色データに設定する請求項1または請求項2に記載された画像処理装置。
6. 前記基準白色は色温度であり、前記解析手段は、前記第一の照明条件の色温度と前記第二の照明条件の色温度の差が大きいほど前記第二の閾値を増加させる請求項5に記載された画像処理装置。
7. 前記解析手段は、前記抽出された色データに基づき、前記第一の画像データの領域と前記第二の画像データの対応する領域の間の相関係数を算出し、
   さらに、前記相関係数が所定の第一の閾値を超える抽出対象領域と前記相関係数が前記第一の閾値以下の抽出非対象領域を区分可能に提示するユーザインタフェイスを有する請求項5または請求項6に記載された画像処理装置。
8. 前記抽出非対象領域に特徴色があるか否かを判定し、前記特徴色がある場合、前記ユーザインタフェイスに前記特徴色を前記代表色に追加するためのウィンドウを提供する手段を有する請求項4または請求項7に記載された画像処理装置。
9. 前記第一の照明条件は、前記第二の照明条件よりも光量が大きい請求項1から請求項8の何れか一項に記載された画像処理装置。
10. 前記第一の照明条件は、前記第一の画像データの撮影におけるフラッシュの発光を含み、前記第二の照明条件は、前記被写体の観察光に対応する請求項1から請求項9の何れか一項に記載された画像処理装置。
11. 第一の照明条件で被写体を撮影した第一の画像データ、および、前記第一の照明条件と異なる第二の照明条件で前記被写体を撮影した第二の画像データを入力し、
    前記第一の画像データの各領域から色データを抽出し、前記第一の画像データの各領域に対応する前記第二の画像データの各領域から色データを抽出し、
    前記第一の画像データの領域から抽出された色データと、前記第二の画像データの対応する領域から抽出された色データの間の相関性および差分に基づき、前記第一の画像データの領域から抽出された色データおよび前記第二の画像データの対応する領域から抽出された色データから前記第一の画像データの代表色および前記第二の画像データの代表色を設定し、
    前記第一の画像データの代表色および前記第二の画像データの代表色を用いて前記第一の照明条件に依存する前記第一の画像データを前記第二の照明条件に依存する画像データに変換するための色補正条件を作成する画像処理方法。
12. コンピュータを請求項1から請求項10の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
13. 請求項12に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。

Images