JP5458776B2 - 画像処理装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理プログラムに関する。

異なる視環境における色の見えを予測するモデルとして、ＣＩＥＣＡＭ９７ｓを用いた色処理を行う画像処理装置が知られている（特許文献１）。

一般に、人は、所定の明るさ以上の視環境で色を知覚し、所定の明るさに満たない視環境では明暗のみを知覚する。これは、人の視細胞が錐体および桿体を含み、明るい視環境では錐体が支配的になり、暗い視環境では桿体が支配的になるからである。

特開２０００−４０１４０号公報

従来の色の見えモデルは、人が色を知覚することを前提に開発された技術であるので、色の知覚に不十分な視環境（たとえば、所定の明るさに満たない場合）では、上記見えモデルによって予測された色の見えに違和感を感じてしまうという問題があった。

本発明による画像処理装置は、入力画像における所定の記憶色に近似する領域を前記記憶色に補正する第１の画像変換処理と、前記入力画像の視環境と出力画像の視環境とを比較し、該比較結果に応じて前記入力画像を色順応変換する第２の画像変換処理とを行う画像変換処理手段と、前記入力画像の視環境を構成する明るさ情報を取得する情報取得手段と、前記取得された明るさ情報に基づいて前記第１の画像変換処理および前記第２の画像変換処理の少なくとも一方を行うように前記画像処理手段を制御する制御手段と、を備えることを特徴とする。

本発明によれば、異なる視環境間における色の見えを適切に再現できる。

本発明の第一の実施形態による画像処理装置の構成を例示する図である。 色の見えモデルに基づく画像変換処理の流れを説明する図である。 色の見えモデルに基づく簡略化した画像変換処理の流れを説明する図である。 入力画像の視環境の周囲の明るさと、出力画像の視環境の周囲の明るさと、階調補正曲線との組合わせを例示する図である。 階調補正曲線を例示する図である。 画像処理装置が実行する処理の流れを説明するフローチャートである。 変形例４の画像処理装置が実行する処理の流れを説明するフローチャートである。 変形例５の画像処理装置が実行する処理の流れを説明するフローチャートである。 第二の実施形態によるデジタルカメラの構成例を説明するブロック図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像処理装置の構成を例示する図である。本実施形態では、画像処理装置１としてパーソナルコンピュータ（以下パソコンと呼ぶ）を用いる例を説明する。この場合の画像処理装置１は、パソコンに備えられている操作部材（不図示のキーボード、ポインティングデバイス）と、接続インターフェースと、ディスクドライブ装置と、ストレージ装置（たとえばハードディスクドライブ）と、モニタ６とを備える。

画像処理装置１は、接続インターフェースを介してデジタルカメラ２や他のパソコン４などの外部装置と接続される。接続インターフェースは、たとえば、有線接続を行うＵＳＢインターフェースや、無線接続を行う無線ＬＡＮモジュールを含む。本実施の形態では、接続インターフェース経由で外部装置２，４から画像処理装置１へ画像データが取り込まれる。図１は、画像処理装置１とデジタルカメラ２との間を有線接続し、画像処理装置１と他のパソコン４との間を無線通信回線５で接続した例を図示したものである。

画像処理装置１が実行する画像処理プログラムの供給は、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体３を画像処理装置１のディスクドライブ装置にセットして行ってもよいし、無線通信回線５などを経由する方法で画像処理装置１へローディングしてもよい。無線通信回線５を経由する場合は、無線通信回線５を経由して接続されたサーバー（パソコン）４側のハードディスク装置などにプログラムを格納しておく。プログラムは、記録媒体３や通信回線５を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

モニタ６は、たとえば液晶ディスプレイによって構成され、画像処理装置１が画像処理した後の表示用データに基づく再生画像を表示する。

本実施の形態の画像処理装置１は、撮影時の視環境（撮影シーンの照明条件）下でデジタルカメラ２を用いて撮影された画像データを、人間の視覚特性を考慮して、撮影時の視環境とは異なる画像観察時の視環境に応じた色の見えを再現した画像データに変換する。

たとえば、異なる視環境における色の見えを予測するモデルとしては、ＣＩＥＣＡＭ９７ｓやその改良モデルであるＣＩＥＣＡＭ０２が知られている。これらは、相対的な色の見えパラメータであるＪ、Ｃ、およびＨを一定にして、入力画像の視環境（入力画像の観察視環境、もしくは撮影画像の撮影視環境）における色の見えから出力画像の視環境（出力画像の観察視環境）における色の見えに変換するものである。

従来の色の見えモデル（ＣＡＭ）に基づく画像変換処理の流れについて、図２を参照して簡単に説明する。ここでは、画像処理装置１（パソコンの演算ユニット）が処理を実行するものとして説明する。ステップＳ１において、画像処理装置１は、入力画像の視環境（入力画像の観察視環境、もしくは撮影画像の撮影視環境）を読み込み、入力画像の視環境からＥ光源に色順応変換を行う。その後、ステップＳ２へ進んだ画像処理装置１は、非線形応答変換を行い、視環境に依存しない見えのパラメータ（相対的もしくは絶対的）に変換する。

ステップＳ３において、画像処理装置１は、見えのパラメータを保ちつつ出力画像の視環境（出力画像の観察視環境）に応じて非線形変換の逆変換を行って、ステップＳ４へ進む。ステップＳ４において、画像処理装置１は、Ｅ光源から出力画像の視環境に色順応変換して、出力画像を作成する。

上述したステップＳ２からステップＳ３の非線形応答、および見えのパラメータ算出には、視環境に応じて異なるパラメータを用いて非線形計算を行う必要がある。この計算は累乗計算を多用するため処理が複雑になることから、色の見えモデルを画像に正確に適用しようとすると、演算ユニットの処理負担が重くなる。

そこで、本実施形態では、色の見えに大きく影響を与える視環境として、照明の色温度、照明輝度、周囲の明るさ等が寄与することに着目して、色の見え予測を簡略化する方法をとる。具体的には、色順応変換と視環境に応じた階調補正とを組み合わせるものである。以下、色の見えモデル（ＣＡＭ）に基づく画像変換処理を簡略化した処理の流れについて、図３を参照して説明する。

図３において、画像処理装置１は、入力画像と入力画像の視環境（入力画像の観察視環境、もしくは撮影画像の撮影視環境）、出力画像の視環境（出力画像の観察視環境）を読み込んでステップＳ１１へ進む。ステップＳ１１において、画像処理装置１は、画像の全画素について、入力画像の視環境から出力画像の視環境に色順応変換を行う。

色順応変換では、まずそれぞれの視環境への順応度合いを示す順応ファクタＤとＤ’とを、次式（１）および（２）を用いてそれぞれの視環境における照明輝度と周囲の明るさから算出する。

ここで、上式（１）および（２）における順応輝度ＬＡとＬＡ’は、入力画像、および出力画像の視環境において順応している輝度で、たとえば通常照明輝度の１／５を用いる。またＦ、Ｆ’は入力画像、および出力画像の視環境における照明輝度と周囲輝度の比に応じて決まるパラメータである。

本実施形態では、入力画像はデバイス依存の色空間ＲＧＢで記述されているものとし、画像処理装置１は、色空間ＲＧＢからデバイスに依存しない色空間であるＣＩＥ １９３１ ＸＹＺ色空間へ色変換する。たとえば、入力画像が撮影画像であれば、撮影を行ったデジタルカメラ２の分光感度で決まる固有の色空間ＲＧＢで記述されているので、画像処理装置１は、予め決まっているカメラＲＧＢ→ＸＹＺ変換マトリックスＭ_{ＲＧＢ→ＸＹＺ}を使用して、デバイスに依存しないＸＹＺ色空間へ色変換する。

もしくは、入力画像が標準の色空間（たとえばｓＲＧＢ等）にエンコーディングされている場合には、画像処理装置１は、標準の色変換マトリックスＭ_{ＲＧＢ→ＸＹＺ}を使用して、デバイスに依存しないＸＹＺ色空間へ色変換する。さらに、ＸＹＺ色空間から錐体応答ＬＭＳ色空間へマトリックスＭ_{ＣＡＴ０２}を用いて色変換する。そして、画像処理装置１は、ＬＭＳ色空間で入力画像の視環境における照明白色点（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）、および出力画像の視環境における照明白色点（Ｘ_Ｗ’，Ｙ_Ｗ’，Ｚ_Ｗ’）と順応ファクタを用いてｖｏｎ Ｋｒｉｅｓの色順応変換を行い、ＬＭＳ色空間からＸＹＺ色空間への逆変換、および、ＸＹＺ色空間からＲＧＢ色空間への逆変換を行う。

すなわち、画像処理装置１は、次式（３）から式（８）で表される色変換を各画素について画素順次に行う。

画像処理装置１は、入力画像の全ての画素について色順応変換が終了したらステップＳ１２へ進む。ステップＳ１２において、画像処理装置１は、入出力画像の周囲の明るさに応じて、予め用意した複数の階調補正カーブの中から所定のカーブを選択し、選択した階調補正カーブに基づいて階調補正を行う。

ＣＩＥＣＡＭ９７ｓやＣＩＥＣＡＭ０２では、周囲の明るさが大きく３タイプ（平均的な明るさ、薄暗い、暗い）に定義されている。入力画像の視環境と出力画像の視環境とを考慮する場合、周囲の明るさ条件は、それぞれの組み合わせで６通りある。周囲の明るさが変化すると、図２のステップＳ２およびステップＳ３の処理において無視できない階調変化が生じる。周囲の明るさの変化は、見え方の変化としてコントラストに影響を与えるからである。そこで、本実施形態では、周囲の明るさの変化に応じて複数の階調補正曲線を予め用意しておく。周囲の明るさは、照明輝度と周囲輝度との比で判断する。

たとえば、図４に示すように、入力画像の視環境の周囲の明るさ４ａと、出力画像の視環境の周囲の明るさ４ｂとの各組み合わせごとに階調補正曲線４ｃを設定しておき、画像処理装置１は、そのときの入力画像の視環境の周囲の明るさ４ａと、出力画像の視環境の周囲の明るさ４ｂとに基づいて、階調補正曲線４ｃを選択する。図４に示す階調補正曲線Ａ〜Ｅとしては、図５に例示した曲線が用意されているものとする。たとえば、入力画像の視環境の周囲の明るさ４ａが「平均的な明るさ」であり、出力画像の視環境の周囲の明るさ４ｂが「暗い」であれば、階調補正曲線４ｃとして「Ａ」を選択する。

また、入力画像の視環境の周囲の明るさの判定結果と、出力画像の視環境の周囲の明るさの判定結果とが一致する場合は、階調補正曲線４ｃとして「Ｃ」を選択する。階調補正曲線Ｃは、入力および出力間の値が同じであって階調補正しない場合に相当する。

画像処理装置１は、階調補正後の画像を出力画像として出力し、図３による処理を終了する。以上の説明では、図３を参照して、ＣＩＥＣＡＭ９７ｓやその改良モデルであるＣＩＥＣＡＭ０２に倣った色の見えモデルに基づいた予測を行う画像変換を説明した。

本実施形態では、実際には、入力画像の視環境（デジタルカメラ２で撮影された画像の場合は撮影視環境）の明るさを判断し、その判断結果に基づいて図３に示した処理と、記憶色に基づいた色再現を行う画像変換処理とのいずれか一方を行う。ここで、記憶色に基づいた色再現を行う画像変換処理とは、画像の中に含まれる、いわゆる記憶色に近い色を記憶色そのものに補正する公知（たとえば、特開２００３−２１６９４１号公報）の画像変換処理をいう。また、一般に好ましく思われる色再現を行うことから、「好ましい色再現」とも呼ばれる。

記憶色としては、人間の肌の色、空の青色、および草木の緑色など、人の記憶に残る色を用いる。これらの記憶色に対する観察者の目は敏感であるため、観察者にとっては、撮影して得られた画像そのままよりも、記憶色に補正した画像の方が見栄えのよい画像として認識しやすいという考え方に基づいて、記憶色に補正する画像変換が行われる。

以下、図６に例示するフローチャートを参照して、画像処理装置１が実行する画像処理装置１の処理の流れを説明する。なお、図６による処理プログラムを実際に実行するのは画像処理装置１を構成するパソコンの演算ユニットである。

図６のステップＳ２１において、画像処理装置１は、デジタルカメラ２から（または不図示のストレージ装置から）入力画像（撮影画像）のデータを取得してステップＳ２２へ進む。なお、撮影画像は複数画素のデータから構成され、デジタルカメラ２の分光感度に固有の色空間ＲＧＢで記述されているものとする。

ステップＳ２２において、画像処理装置１は、撮影シーンの照明に関する情報を取得する。撮影シーンの照明に関する情報とは、撮影時の照明白色点(Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ)と、撮影時の照明輝度Ｙ_Ｗ０と、撮影時の周囲輝度Ｙ_ＳＷ０とを意味する。たとえば、撮影時にユーザが分光放射輝度計などを用いて測定した撮影時の照明白色点(Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ)、および輝度Ｙ_Ｗ０を、ユーザがキーボードを用いてそれぞれ入力し、画像処理装置１が入力された値を読み込む構成にする。

あるいは、デジタルカメラ２が算出した撮影時の照明白色点（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）および撮影時の照明輝度Ｙ_Ｗ０を画像ファイルのヘッダ部に記録しておき、画像処理装置１が画像ファイルのヘッダ部からこれらの値を読み込むことによって照明に関する情報を取得するようにしてもよい。この場合のデジタルカメラ２は、オートホワイトバランス機能によって撮影時の照明白色点（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）を算出するとともに、露出を自動調整する為に用いる測光機能の結果を解析して撮影時の照明輝度Ｙ_Ｗ０を算出し、これらの算出結果を画像ファイルのヘッダ部に記録する。

また、デジタルカメラ２は、測光範囲を広げて測光した結果を用いて周囲輝度Ｙ_ＳＷ０を算出し、算出した周囲輝度Ｙ_ＳＷ０を画像ファイルのヘッダ部に記録しておいてもよい。この場合の画像処理装置１は、画像ファイルのヘッダ部から周囲輝度Ｙ_ＳＷ０を読み込むことによって照明に関する情報を取得する。また、ユーザがキーボードを用いて入力した値を画像処理装置１が読み込む構成にしてもよい。

ステップＳ２３において、画像処理装置１は、出力画像観察時の視環境に関する情報を取得する。たとえば、ｓＲＧＢ標準視環境にてモニタ６で観察することを前提とすれば、ｓＲＧＢ標準視環境（白色点＝Ｄ６５、輝度Ｙ_{ｄｅｖｉｃｅ０}’＝８０Ｃｄ／ｍ^２、周囲輝度Ｙ_ＳＷ０’＝４．１Ｃｄ／ｍ^２）が取得されることになる。あるいは、ｓＲＧＢ標準視環境と異なる視環境で観察する場合や、画像をプリントした印刷物を観察する場合には、画像処理装置１は、ユーザがキーボード等で入力した画像観察に使用するデバイスの白色点（Ｘ_{ｄｅｖｉｃｅ}’，Ｙ_{ｄｅｖｉｃｅ}’，Ｚ_{ｄｅｖｉｃｅ}’）、輝度Ｙ_{ｄｅｖｉｃｅ０}’、および周囲照明白色点（Ｘ_ＳＷ’，Ｙ_ＳＷ’，Ｚ_ＳＷ’）、周囲照明輝度Ｙ_ＳＷ０’を読み込み、デバイス白色点と周囲照明白色点の混合として画像観察視環境における照明白色点（Ｘ_Ｗ’，Ｙ_Ｗ’，Ｚ_Ｗ’）、輝度Ｙ_Ｗ０’を決定する。

ステップＳ２４において、画像処理装置１は、撮影時の照明輝度Ｙ_Ｗ０が所定値以下か否かを判定する。画像処理装置１は、照明輝度Ｙ_Ｗ０が所定値（たとえば１０Ｃｄ／ｍ^２）以下の場合にステップＳ２４を肯定判定してステップＳ２５へ進む。画像処理装置１は、照明輝度Ｙ_Ｗ０が所定値以下でない場合には、ステップＳ２４を否定判定してステップＳ２６へ進む。

ステップＳ２６へ進む場合は、人の視細胞の錐体が支配的になる視環境に相当し、観察者が色を知覚する場合である。この場合の画像処理装置１は、ステップＳ２６において、色の見えモデル（ＣＡＭ）を用いた画像変換処理（上述したステップＳ１１およびＳ１２による処理）を行ってステップＳ２７へ進む。

ステップＳ２５へ進む場合は、人の視細胞の桿体が支配的になる視環境に相当し、観察者が明暗のみを知覚する場合である。この場合の画像処理装置１は、ステップＳ２５において、記憶色に基づいた色再現を行う画像変換処理（上述した公知処理）を行ってステップＳ２７へ進む。

ステップＳ２７において、画像処理装置１は、画像変換後の画像を出力先、たとえばモニタ６へ出力して（画像変換後の画像の再生表示に必要な表示用信号をモニタ６へ送出する）図６による処理を終了する。

以上説明した第一の実施形態によれば、以下のような作用効果を得ることができる。
（１）画像処理装置１は、入力画像の視環境を構成する明るさ情報を取得し、入力画像における所定の記憶色に近似する領域を記憶色に補正する第１の画像変換処理と、入力画像の視環境と出力画像の視環境とを比較し、該比較結果に応じて入力画像を色順応変換する第２の画像変換処理とのうち、取得した明るさ情報に基づいて少なくとも一方を行うようにしたので、異なる視環境間における色の見えを適切に再現できる。

（２）画像処理装置１は、取得した明るさ情報が第１の判定閾値より明るいことを示す場合に第２の画像変換処理を行い、取得された明るさ情報が第１の判定閾値より暗いことを示す場合に第１の画像変換処理を行うように制御するので、第１の判定閾値を境に異なる画像変換処理を行える。

（３）上記（２）の第１の判定閾値は、人の視細胞の錐体および桿体のうち錐体のみが働く明るさに対応させるので、人の視覚特性に適合するように異なる画像変換処理を行える。

（４）出力画像の視環境を構成する明るさ情報をさらに取得し、第２の画像変換処理は、視環境の比較に明るさ情報を含めるようにしたので、明るさが異なる視環境間において色の見えを適切に再現できる。

（５）入力画像の視環境を撮影時に撮影被写体を観察する視環境としたので、デジタルカメラで撮影した画像を入力画像とする場合に好適である。

（変形例１）
上記実施形態では、出力画像の視環境における照明白色点として（Ｘ_Ｗ’，Ｙ_Ｗ’，Ｚ_Ｗ’）を用いたが、出力画像観察時のデバイスの白色点（Ｘ_{ｄｅｖｉｃｅ}’，Ｙ_{ｄｅｖｉｃｅ}’，Ｚ_{ｄｅｖｉｃｅ}’）と周囲照明白色点（Ｘ_ＳＷ’，Ｙ_ＳＷ’，Ｚ_ＳＷ’）が異なっている場合、デバイスの白色点と周囲照明白色点の混合として出力画像の視環境における照明白色点（Ｘ_Ｗ’，Ｙ_Ｗ’，Ｚ_Ｗ’）と照明輝度Ｙ_Ｗ０’を決定するとよい。具体的には、デバイス輝度Ｙ_{ｄｅｖｉｃｅ０}’、周囲照明輝度Ｙ_ＳＷ０’、画像観察に使用するデバイス光源と周囲照明光源の影響の比率Ｒ_ｍｉｘを用いて、次式（９）から式（１２）で表される色変換を各画素について画素順次に行う。

変形例１の内容は、上記実施形態における式（６）で算出される（Ｌ_Ｗ’，Ｍ_Ｗ’，Ｓ_Ｗ’）の代わりに、式（９）から式（１２）で算出された値（Ｌ_Ｗ’，Ｍ_Ｗ’，Ｓ_Ｗ’）を用いるものである。変形例１によれば、出力画像観察時のデバイスの白色点（Ｘ_{ｄｅｖｉｃｅ}’，Ｙ_{ｄｅｖｉｃｅ}’，Ｚ_{ｄｅｖｉｃｅ}’）と周囲照明白色点（Ｘ_ＳＷ’，Ｙ_ＳＷ’，Ｚ_ＳＷ’）が異なっている場合にも、明るさによらず適切に、異なる視環境間における色の見えを再現できる。

（変形例２）
上述した階調補正は色空間ＲＧＢに適用する例を説明したが、輝度−色差成分ＹＣｒＣｂ成分に変換後、輝度成分Ｙに対して処理してもよい。または、他の色空間において行得構成にしてもよい。

（変形例３）
また、上記実施形態では、撮影画像を入力画像とする場合を例に説明したが、モニタ６に表示させた場合の表示画像観察時の見えを、プリンタ（不図示）で印刷した場合の印刷画像観察時の見えに再現するような場合、すなわち、入力画像観察時の見えを出力画像観察時の見えに再現する場合にも同様に適用できる。この場合、図６のステップＳ２１では、撮影画像の代わりに入力画像観察時の画像を読み込み、ステップＳ２２では、撮影時の視環境の代わりに、入力画像観察時の視環境を読み込めばよい。

（変形例４）
上記実施形態においては、撮影時の照明輝度Ｙ_Ｗ０が所定値（たとえば１０Ｃｄ／ｍ^２）以下か否かに応じて２通りの画像変換処理を２者択一で切り替えるようにした。この代わりに、図６に例示するフローチャートのように、３通りの処理を３者択一で切り替える構成にしてもよい。図７は、変形例４の画像処理装置１が実行する処理の流れを説明するフローチャートである。

図７のフローチャートは、図６のフローチャートと比べてステップＳ２４ＢおよびステップＳ２８を有する点が異なるので、これら相違点を中心に説明する。ステップＳ２４Ｂにおいて、画像処理装置１は、撮影時の照明輝度Ｙ_Ｗ０が所定範囲内か、それ以上か、それ以下かを判定する。画像処理装置１は、照明輝度Ｙ_Ｗ０が所定範囲（たとえば１〜１００Ｃｄ／ｍ^２）以下の場合にステップＳ２５へ進む。ステップＳ２５へ進む場合は、人の視細胞の桿体が支配的になる視環境に相当し、観察者が明暗のみを知覚する場合である。

ステップＳ２４Ｂにおける画像処理装置１は、照明輝度Ｙ_Ｗ０が所定範囲以上の場合にステップＳ２６へ進む。ステップＳ２６へ進む場合は、人の視細胞の錐体が支配的になる視環境に相当し、観察者が色を知覚する場合である。

ステップＳ２４Ｂにおける画像処理装置１は、照明輝度Ｙ_Ｗ０が所定範囲内の場合にステップＳ２８へ進む。ステップＳ２８へ進む場合は、人の視細胞の錐体および桿体の双方が働く視環境に相当する。この場合の画像処理装置１は、ステップＳ２８において、色の見えモデル（ＣＡＭ）を用いた画像変換処理と、記憶色に基づいた色再現を行う画像変換処理との双方を行い、双方の処理でそれぞれ得られた画像の中間の処理結果を示す画像を出力画像とする。

変形例４によれば、色の見えモデル（ＣＡＭ）を用いた画像変換処理による出力画像と、記憶色に基づいた色再現を行う画像変換処理による出力画像とで色再現が大きく異なる場合に、両画像変換処理を切り替える境界部分において色再現結果を段階的に変化させることができる。

（変形例５）
上記実施形態において、撮影時の照明輝度Ｙ_Ｗ０が所定値（たとえば１０Ｃｄ／ｍ^２）以下の場合に、ステップＳ２５において記憶色に基づいた色再現を行う画像変換処理を行うようにした。この代わりに、図８に例示するフローチャートのように、所定の視環境下に適した色再現を行う画像変換処理を行ってもよい。図８は、変形例５の画像処理装置１が実行する処理の流れを説明するフローチャートである。

図８のフローチャートは、図６のフローチャートと比べてステップＳ２９およびステップＳ３０を有する点が異なる。ステップＳ２９において、画像処理装置１は、所定の視環境下で好ましい色再現となるように色変換処理を行う。所定の視環境下で好ましい色再現とは、たとえば、出力画像観察視環境が、ある所定の視環境として、標準視環境から色の見えモデル（ＣＡＭ）を用いた画像変換処理を行った色再現をいう。所定の視環境は、色順応変換において完全順応とみなせる視環境を用いてもよい。

ステップＳ３０において、画像処理装置１は、所定の視環境下における画像の見えを実際の出力画像観察時の視環境下における画像の見えに近づけるように、画像変換処理を行う。

変形例５によれば、人の視細胞の桿体が働く視環境において、所定の視環境下に適した色再現をすることができる。

（第二の実施形態）
以上の説明では、デジタルカメラ２で撮影された画像に対して画像処理装置１で画像変換処理を行う例を説明した。この代わりに、デジタルカメラ２自身が画像処理変換をした上で、画像処理変換後の画像のデータを記録媒体に記録するようにしてもよい。

図９は、第二の実施形態によるデジタルカメラ２の構成例を説明するブロック図である。図９において、デジタルカメラ２は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、タイミングジェネレータ(TG)１５と、ＬＣＤモニタ１７と、バッファメモリ１８と、フラッシュメモリ１９と、ＣＰＵ２０と、メモリカードインターフェース(I/F)２１と、操作部材２２と、外部インターフェース(I/F)２３と、を備える。

ＣＰＵ２０、バッファメモリ１８、フラッシュメモリ１９、メモリカードインターフェース２１、外部インターフェース２３、画像処理回路１４、およびＬＣＤモニタ１７は、それぞれがバス１６を介して接続されている。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図９を簡単にするため、撮影光学系１１を単レンズとして図示している。

ＴＧ１５は、ＣＰＵ２０から送出される指示に応じて所定のタイミング信号を発生し、撮像素子１２、ＡＦＥ回路１３、画像処理回路１４へそれぞれのタイミング信号を供給する。タイミング信号によって撮像素子１２等が駆動制御されることにより、撮像素子１２による撮像タイミングや撮像素子１２からのアナログ画像信号の読出しタイミングが制御される。

撮像素子１２は、撮影光学系１１を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。本実施形態の撮像素子１２は、たとえば、画素に対応する複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサによって構成される。

ＡＦＥ回路１３は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（画素補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を施す。また、上述した画像変換処理も行う。

ＬＣＤモニタ１７は液晶パネルによって構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。バッファメモリ１８は、画像処理回路１４によって画像処理される前、画像処理中、画像処理された後のデジタル画像データを一時的に記憶する。フラッシュメモリ１９は、ＣＰＵ２０に実行させるプログラムを記憶する。

ＣＰＵ２０は、フラッシュメモリ１９が記憶するプログラムを実行することによってデジタルカメラ２が行う動作を制御する。ＣＰＵ２０は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。

メモリカードインターフェース２１はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記録媒体５１が接続される。メモリカードインターフェース２１は、接続された記録媒体５１に対するデータの書き込みや、記録媒体５１からのデータの読込みを行う。記録媒体５１は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

操作部材２２は、レリーズボタンやメニュースイッチなどを含む。操作部材２２は、各操作に応じた操作信号をＣＰＵ２０へ送出する。外部インターフェース２３はコネクタ（不図示）を有し、該コネクタに外部装置が接続される。外部装置は、パソコンやプリンタなどを含む。

以上説明した第二の実施形態によれば、デジタルカメラ２が撮影時の視環境（撮影シーンの照明条件）下で撮影した画像データを、画像観察時の視環境に応じた色の見えを再現するように画像変換処理を施した上で、画像データファイルを記録媒体５１に記録する。これにより、たとえば、記録媒体５１に記録された画像をパソコンのモニタ６に再生表示させる場合には、観察者は、記録媒体５１内の画像データをパソコンで読出してモニタ６に表示させるだけで、パソコン側で上述した画像変換処理を行わなくても、画像観察時の視環境に適した色再現が施された表示画像を観察できる。

上記実施の形態では、複数の画像変換処理を切り替える撮影時の照明輝度Ｙ_Ｗ０の所定値として、たとえば１０Ｃｄ／ｍ^２を例にあげたが、これらの値に限定されない。また、周囲の明るさが照明輝度と異なる場合には、視覚が実際に順応している順応輝度を算出し、順応輝度の大きさで切り替えてもよい。なお、上記実施の形態では複数の変換処理として、記憶色に基づいた色再現を行う処理と、ＣＡＭに基づいた処理を用いたが、これらに限らず輝度に応じて、適した色再現モデルを切り替えて使ってもよい（たとえば、暗所視用モデル、薄明視用モデル、明所視用モデルなど）。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１…画像処理装置
２…デジタルカメラ
６…モニタ
１４…画像処理回路
２０…ＣＰＵ

Claims (8)

1. 入力画像における所定の記憶色に近似する領域を前記記憶色に補正する第１の画像変換処理と、前記入力画像の視環境と出力画像の視環境とを比較し、該比較結果に応じて前記入力画像を色順応変換する第２の画像変換処理とを行う画像変換処理手段と、
   前記入力画像の視環境を構成する明るさ情報を取得する情報取得手段と、
   前記取得された明るさ情報に基づいて前記第１の画像変換処理および前記第２の画像変換処理の少なくとも一方を行うように前記画像処理手段を制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記制御手段は、前記情報取得手段によって取得された明るさ情報が第１の判定閾値より明るいことを示す場合に前記第２の画像変換処理を行い、前記取得された明るさ情報が前記第１の判定閾値より暗いことを示す場合に前記第１の画像変換処理を行うように前記画像処理手段を制御することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記第１の判定閾値は、人の視細胞の錐体および桿体のうち錐体のみが働く明るさに対応することを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記情報取得手段はさらに、前記出力画像の視環境を構成する明るさ情報を取得し、
   前記第２の画像変換処理は、前記視環境の比較に前記明るさ情報を含めることを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記入力画像の視環境は、撮影時に撮影被写体を観察する視環境であることを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記制御手段は、前記情報取得手段によって取得された明るさ情報が第１の判定閾値より明るいことを示す場合に前記第２の画像変換処理を行い、前記取得された明るさ情報が前記第１の判定閾値より暗い第２の判定閾値より暗いことを示す場合に前記第１の画像変換処理を行い、前記取得された明るさ情報が前記第２の判定閾値より明るく前記第１の判定閾値より暗いことを示す場合には、前記第１の画像変換処理による処理画像と、前記第２の画像変換処理による処理画像との中間色再現画像を得る第３の画像変換処理を行うように制御することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記画像変換処理手段は、前記第２の画像変換処理の際に前記入力画像の視環境と所定の視環境とを比較し、該比較結果に応じて前記入力画像を色順応変換することを特徴とする画像処理装置。
8. 画像を入力する処理と、
   前記入力した画像の視環境を構成する明るさ情報を取得する情報取得処理と、
   前記入力した画像における所定の記憶色に近似する領域を前記記憶色に補正する第１の画像変換処理と、
   前記入力した画像の視環境と出力する画像の視環境とを比較する比較処理と、
   前記比較結果に応じて前記入力した画像を色順応変換する第２の画像変換処理と、
   前記情報取得処理で取得した明るさ情報に基づいて、前記第１の画像変換処理および前記第２の画像変換処理の少なくとも一方を行うように制御する制御処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images