JP4850966B2 - 画像処理装置、画像処理装置の制御方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Description

本発明は、特にデジタルカメラなどの撮像装置により撮影して得られた画像データの保存を行う際に用いられる画像処理装置、画像処理方法、コンピュータプログラム、及び記憶媒体に関する。

現在、一眼レフタイプのデジタルカメラを中心として、撮像した画像データを保存のために記録する際、以下の２種類のデータを選択できるデジタルカメラが一般的である。すなわち、閲覧用画像とするための一通りの画像処理（以下現像処理と呼ぶ）と圧縮処理を全て行った汎用画像データとしてのＪＰＥＧデータ、及び一般的にＲＡＷデータと呼ばれる撮像素子からの生データの２種類のデータが選択可能に構成されている。

前者のＪＰＥＧデータには以下のメリットがある。すなわち、ＪＰＥＧデータは画像データの圧縮率がＲＡＷデータと比べて高いため、保存のために記録するデータ量が少ない画像データである。したがって、半導体のメモリカードなどの記録媒体に多くのＪＰＥＧデータである画像データを保存できる。またＪＰＥＧデータは、一般に使用されているＰＣ（パーソナルコンピュータ）やデジタルテレビ等の多くのプラットフォーム上でデコードし、閲覧のために表示することが可能な汎用性の高いデータである。

一方、ＲＡＷデータは保存のために記録するデータ量は大きいが、以下のメリットがある。すなわちＲＡＷデータは、撮像素子からの生データを忠実に保存する画像データである。したがって、撮像素子で直接得られた画像データの階調（ビット深度）をそのまま活かして記録し、保存することが可能である。たとえばＪＰＥＧデータでは、例えば１２ビットで量子化された撮像素子からの画像データを８ビットにまで階調圧縮してしまうが、ＲＡＷデータでは、１２ビットのまま保存して記録するデータである。

単にＲＡＷデータを電気的に現像処理して表示装置に表示する場合、ＪＰＥＧデータとの差は判別が難しい。しかしＲＡＷデータでは、印刷をする場合、使用するプリンタの色域に合わせた現像処理をすることで、より階調性が高く色域の高いプリント結果を得ることができる。さらに画像処理を行った場合に画像劣化による影響が少なく、画像情報としての耐性が強いといえる。そのため、画像処理によるトーンジャンプや階調つぶれなどが発生し難いという大きなメリットを有する。

デジタルカメラメーカによっては、デジタルカメラと基本的に同じ現像処理をＰＣで実現する専用ソフトを販売している。このような専用ソフトを使用することにより、デジタルカメラで撮影時に設定される各種現像用のパラメータ（以下、現像パラメータと呼ぶ）をＰＣ上で設定し直してＲＡＷデータの現像処理をすることが可能である。したがって、例えば、撮影時に現像パラメータ設定を誤っていても、ＲＡＷデータ形式で撮影していればＰＣ上で適切な現像パラメータを用いて現像処理することが可能である。このためＲＡＷデータ形式は、特に、撮影して得られた画像データをＰＣ上で加工して利用することを前提とするプロカメラマンを中心に、現在広く使用されている。

ところが、一般のプラットフォーム（ＰＣやデジタルテレビ）は、ＲＡＷデータを閲覧用画像とするための手段を有していない。その意味では、ＲＡＷデータは汎用性の低いデータともいえる。従って、通常は、ユーザがＰＣにＲＡＷデータ専用のアプリケーションソフトをインストールし、専用アプリケーションがＲＡＷデータの現像処理を実行した後にしか閲覧することができない。そのため、ユーザにとっては、ＲＡＷデータを閲覧するのに手間が掛かるという問題があった。

各ＯＳや各レタッチソフトなどで現像処理機能を持てば、専用アプリケーションをインストールする手間は省略することができる。しかし、高画質の現像処理結果を得るためには、現像処理機能をデジタルカメラの機種ごと（または似かよった特性を持つ機種グループごと）に開発する必要がある。そのため開発コストが大きくなってしまう問題がある。

この問題への対策として特許文献１では、現像処理機能を、機種（または機種グループ）に固有な処理を行う部分（機種固有の現像処理部）と、機種に依存しない処理を行う部分（汎用の現像処理部）に分割する。そして、機種固有の現像処理部の処理結果を中間形式の画像データ（以下、「中間ＲＡＷデータ」と呼ぶ。）として出力し、この結果を汎用の現像処理部への入力とする構成を開示している。

この構成により、ＰＣの各ＯＳやレタッチソフトの開発元では、一旦汎用の現像処理部を開発してしまえば、機種固有の現像処理部のみの開発で各デジタルカメラの高画質な現像処理を実現することが可能となる。または、機種固有の現像処理部分のみを各デジタルカメラメーカが提供し、各ＯＳやレタッチソフトに組み込むことが可能になる。これにより機種固有の現像処理部分を使用して、より各デジタルカメラに特化した画像処理を行い、この結果を汎用の現像処理部で処理することで、高画質な画像処理結果を得ることができる。

このように構成することにより、ユーザにとっては使い慣れた汎用の画像処理アプリケーションのみを使用して、各社の各機種のデジタルカメラからのＲＡＷデータの高画質な現像処理を行うことができる。

ＲＡＷデータに対するＰＣ上でのデータ加工は、ユーザが現像処理可能な画像処理アプリケーションソフト（以下、現像処理ソフトと呼ぶ）上で、現像パラメータを変更することによって行う。たとえば、撮影して得られた画像データのコントラストが足りない場合には、ユーザが現像処理ソフトのユーザインターフェース（以下ＵＩと呼ぶ）上でコントラストの値を増加させる。すると、現像処理ソフトが更新されたコントラストのパラメータを用いてＲＡＷデータに対して現像処理を行い、結果をＵＩ上に表示する。そして現像処理結果に満足した際には、ＴＩＦＦやＪＰＥＧなどの汎用的な画像データで現像処理結果を保存できるのが一般的である。なお、現像処理ソフトで任意に撮影して得られたＲＡＷデータを最初に表示する際には、デジタルカメラ側で設定された現像パラメータを使用して現像処理を行い、結果を表示するのが一般的である。

このような設定可能な現像パラメータは現像処理ソフトによって多少異なるが、一例としては以下のようなパラメータを設定可能である。

［現像パラメータ項目名: 選択可能な項目値］で以下記載すると、
［ホワイトバランス : オート設定、太陽光、くもり、電球、蛍光灯、ストロボ］
［トーンカーブ : Ｘ、Ｙ軸上にスプライン曲線上の点を指定するなど］
［コントラスト : −５〜＋５］（０がデフォルト、値が大きいほど強いコントラストとなる）
［シャープネス : −５〜＋５］（０がデフォルト、値が大きいほど強く輪郭強調される）
［色の濃さ : −５〜＋５］（０がデフォルト、値が大きいほど彩度が高くなる）。

これらのパラメータを想定した場合、トーンカーブ、コントラスト、シャープネス、色の濃さ等は処理すべき内容が比較的明確であり、機種ごとの依存性が低く、汎用化しやすい処理内容である。また、処理内容としても現像処理後段で閲覧用ＲＧＢデータに対する後処理として処理しても、ビット深度さえ確保できていれば画質への影響も少ない処理内容である。このような機種依存性の低い画像処理内容については、特許文献１に開示された構成を備える汎用の現像処理部において処理されるべき処理内容である。

一方、ホワイトバランス処理については、機種ごとの特性を利用することにより、より高精度なホワイトバランス調整が行え、また、ホワイトバランスの精度がデジタルカメラの性能の重要なファクタでもある。従って、各デジタルカメラメーカのアルゴリズム研究開発の結果が数多く組み込まれており、各デジタルカメラメーカが提供する機種固有の現像処理部において処理されることで、より高画質な現像処理結果を得ることができる。

各デジタルカメラメーカによりさまざまな機種固有の特性の吸収や、より良いアルゴリズムの組み込みがなされているが、ホワイトバランスの調整処理の基本的な流れとしては、以下が一例となる。

まず、必要に応じてオプティカルブラックの値をＲＡＷデータから減算する。次に、デジタルカメラに固体ごとの色ゲインのばらつきがある場合には、調整値を参照して色ゲインのばらつきを正規化する。

次にＲＡＷデータを所定の幅と高さを持った複数のブロックに分割し、以下の式１に示すように、各ブロックで色評価値を算出する。尚、以下の１式は、原色信号の場合の変換式の例である。

Ｃｘ＝（Ｒ−Ｂ）／Ｙ
Ｃｙ＝（Ｒ＋Ｂ−２Ｇ）／Ｙ・・・式１
Ｙ ＝（Ｒ＋Ｇ＋Ｂ）／２
ここで、「光源ごとに予め設定した白検出エリア」に色評価値（Ｃｘ、Ｃｙ）が含まれる場合に、そのブロックが白であると仮定する。そして、白と仮定されたブロックのそれぞれの色画素の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）を算出する。算出した積分値から、以下に示す式２を用いてホワイトバランスゲイン（ホワイトバランス係数値）ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ、ｋＷＢ＿Ｂを算出する。

ｋＷＢ＿Ｒ＝ｋ×（ＳｕｍＲ＋ＳｕｍＧ＋ＳｕｍＢ）／ＳｕｍＲ
ｋＷＢ＿Ｇ＝ｋ×（ＳｕｍＲ＋ＳｕｍＧ＋ＳｕｍＢ）／ＳｕｍＧ・・・式２
ｋＷＢ＿Ｂ＝ｋ×（ＳｕｍＲ＋ＳｕｍＧ＋ＳｕｍＢ）／ＳｕｍＢ
ここで、k は全体のゲインが好ましくなる値とすれば良い。

なお、「光源ごとに予め設定した白検出エリア」とは、太陽光、蛍光灯、電球等の光源ごとに定められた、一つまたは複数の色温度の範囲から算出されるエリアである。

光源ごとに予め定められた色温度の範囲は、デジタルカメラメーカ毎により良い値を模索すべきアルゴリズムの開発内容であり、現像処理パラメータのチューニングの内容である。また、たとえばデジタルカメラで「太陽光」と設定されていても、光源の色温度は、以下のように時間や方向や天候などの状況により異なる。

天空光 ：１８０００〜１２０００Ｋ（Ｋはケルビン）
晴天の北側の空 ：１２０００Ｋ
正午の太陽光 ：５３００Ｋ
日の出または日没：３５００Ｋ〜２７００Ｋ
つまり「太陽光」という光源の設定時、上記の複数の色温度範囲から算出される複数の白検出エリアについて白検出を行い、上記の中で最も確からしい色温度を求めた後、対応する白検出エリアについて、ＳｕｍＲ、ＳｕｍＧ及びＳｕｍＢを算出する必要がある。

なお、図１は、「光源＝オート」の設定時の白検出エリアの例を示す図である。このオートの設定時においては、あらゆる色温度にまたがって白検出をする必要がある。そのため、高色温度から低色温度の光源下で任意の色温度ステップ毎に白を撮影し、撮像素子から得られた信号値より色評価値を算出し、それをプロットする。これにより図１で示すように、高色温度から低色温度までの白の判定ライン（白検出軸）が作られる。実際には白でも分光に若干のばらつきがあるため、求めた白の判定ラインから若干の幅をもたせた点線で囲まれた範囲がオート設定時の白検出エリアとなる。光源がオート設定時以外の場合には、図１のうち、対応する一つまたは複数の色温度の範囲を白検出エリアとする。

上記のホワイトバランス係数値の算出方法の例より、精度の高いホワイトバランス調整を行う場合には、光源ごとに予め定められたホワイトバランス係数値を用いるのではなく、画像データの内容を参照した結果からホワイトバランス係数値を求める必要がある。

また、ホワイトバランスは、デジタルカメラ機種（または機種グループ）ごとの実測値から白検出エリアを求めることが必要である。したがって、各デジタルカメラメーカがその性能をデジタルカメラの重要のフィーチャとし、アルゴリズムおよびチューニングパラメータの研究開発を進めている。この意味においても、より高精度のホワイトバランス調整を行う上で、ホワイトバランス係数値の算出処理は、前述の特許文献１の構成における「機種固有の現像処理部」とすることが望ましい。

特開２００４−３０４７１２号公報

しかしながらホワイトバランス（以下ＷＢとする）処理を機種固有の現像処理部で処理し、中間ＲＡＷデータとして出力した画像データについて、高精度のＷＢが調整処理済みでも、汎用の現像処理部でＷＢの再調整を行いたい要求がある。

たとえばその理由として、
１）オート設定で撮影し現像処理したが色かぶりを起こしているので、撮影時の実際の光源に再設定したい。すなわち、昨今のＷＢ処理は精度が向上しており、多くの画像データに対して適切なＷＢ調整が可能であるが、画像データ中に白い部分が全く存在しない場合などに、オート設定での画像データの処理結果が色かぶりを起こす可能性がある。デジタルカメラの光源の設定をオート設定として撮影し、機種固有の現像処理部がオート設定で処理を行った結果が色かぶりを起こしている場合などに、汎用の現像処理部でＷＢ再調整の要求が生じる。

２）オート設定で撮影し現像処理したが、雰囲気を残したいので、太陽光へ再設定したい。たとえば、ろうそくの炎を光源として撮影を行った場合など、オート設定でのＷＢ調整結果が写真の雰囲気として物足りない場合がある。ろうそくの雰囲気を残して白い被写体をより暖色系にシフトした色合いとして再生したい場合などに、再度太陽光の設定などでＷＢの再調整の必要が生じる。

３）撮影時の光源設定にミスがあったので、撮影時の実際の光源に再設定したい。たとえばユーザが、不注意で実際の光源と異なる光源をデジタルカメラに対して設定したまま撮影を行ってしまう場合がある。このような場合、機種固有の現像処理部で自動処理されたＷＢ結果に対し、実際の撮影時の光源に設定し直して再度汎用の現像処理部でＷＢの再調整を行う必要が生じる。

しかしながら、機種固有の現像処理部のＷＢアルゴリズム及びチューニングパラメータは、従来の汎用の現像処理部には存在しない。そのため、従来技術においては、機種固有の現像処理部のアルゴリズム及びチューニングパラメータを活かしたＷＢ再調整の処理を行うことができなかった。

したがって本発明は、既にＷＢ補正済みの中間ＲＡＷデータに対して、高画質のＷＢの再調整処理を可能ならしめる画像処理装置の提供を目的とする。

上記の目的を達成するため、本願の実施形態に係る画像処理装置は、
複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の前記第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出手段と、
前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出手段と、
前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用して中間ＲＡＷデータを生成する中間ＲＡＷデータ生成処理手段と、
前記第２ホワイトバランス係数値を特定可能な情報を、ホワイトバランス情報として前記中間ＲＡＷデータと関連付けて記憶する記憶手段と、を備えることを特徴とする。

上記の目的を達成するため、本願の他の実施形態に係る画像処理装置の制御方法は、
複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出工程と、
前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出工程と、
前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用して中間ＲＡＷデータを生成する中間ＲＡＷデータ生成処理手段と、
前記第２ホワイトバランス係数値を特定可能な情報を、ホワイトバランス情報として前記中間ＲＡＷデータと関連付けて記憶する記憶手段と、を備えることを特徴とする。

上記の各構成及び／又は工程を備えた本願の実施形態によれば、例えば撮像装置を画像処理装置とし、またはパーソナルコンピュータを画像処理装置として、後で光源設定を変更してホワイトバランスの再調整を可能とする中間ＲＡＷデータ及びホワイトバランス情報を記憶手段に記憶することが可能となる。

上記の目的を達成するため、本願のさらに他の実施形態に係る画像処理装置は、
複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の前記第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出手段と、
前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出手段と、
前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用したデータと前記第２ホワイトバランス係数値を特定可能な情報とを含むファイルを生成し記録媒体に記憶する制御手段と、を備えることを特徴とする。

上記の目的を達成するため、本願のさらに他の実施形態に係る画像処理装置の制御方法は、
複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出工程と、
前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出工程と、
前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用したデータと前記第２ホワイトバランス係数値を特定可能な情報とを含むファイルを生成し記録媒体に記憶する制御工程と、を備えることを特徴とする。

上記の構成を備えた本願のさらに他の実施形態によれば、例えばパーソナルコンピュータを画像処理装置とし、光源設定選択手段により選択された新たな光源設定にしたがい、中間ＲＡＷデータに対し選択された光源設定に対するホワイトバランス情報にしたがって汎用画像データを得ることが可能となる。

本発明によれば、既にホワイトバランス補正済みの中間ＲＡＷデータに対して、高画質なホワイトバランスの再調整処理を行うことが可能になる。

本発明の実施形態に係る画像処理装置における、オート設定時の白検出エリアの例を示す図である。 本発明の実施形態に係る画像処理装置における、中間ＲＡＷ生成手順を説明する概念図である。 本発明の実施形態に係る画像処理装置における、ＷＢ再調整手順を説明する概念図である。 本発明の実施形態に係る画像処理装置の、全体のシステムの構成を示す図である。 本発明の実施形態に係る画像処理装置における、中間ＲＡＷファイルの生成手順を示す図である。 本発明の実施形態に係る画像処理装置における、中間ＲＡＷファイルのファイルフォーマットを示す図である。 本発明の他の実施形態に係る画像処理装置における、中間ＲＡＷファイルの生成手順を示す図である。 本発明の他の実施形態に係る画像処理装置における、中間ＲＡＷファイルのファイルフォーマットを示す図である。 本発明の実施形態に係る画像処理装置における、線形後処理時のＷＢ再調整の処理手順を示す図である。 本発明の実施形態に係る画像処理装置における、線形後処理時のＷＢ再調整の処理手順を回路構成と共に説明する図である。 本発明の実施形態に係る画像処理装置における、線形後処理時のＷＢ再調整の処理手順（ガンマ＝１／２．２の場合）を回路構成と共に説明する図である。 本発明の実施形態に係る画像処理装置における、非線形後処理時のＷＢ再調整処理手順（ガンマ＝１／２．２の場合）を示す図である。 本発明の実施形態に係る画像処理装置における、ユーザインターフェースの１例を示す図である。

本発明の実施形態に係る画像処理装置は、図２および図３に示される構成により、機種固有の画像処理ユニットにおいて、デフォルト光源によるＷＢ係数値のみならず、全ＷＢ係数値を算出し、算出した結果を中間ＲＡＷデータと関連づけて記憶する。そして、汎用の画像処理ユニットにおいてＷＢ再調整を行う際には、ユーザが光源選択部により光源設定の変更を指示する。すると選択された光源に対応するＷＢ係数値を中間ＲＡＷデータに関連づけされた全ＷＢ係数値の中から読み込んで、記憶された中間ＲＡＷデータに適用する。これにより、機種固有の画像処理のアルゴリズムおよびチューニングパラメータを活かした高精度なＷＢの再調整を可能とするものである。

以下、図２と図３を用いて、本発明の実施形態の概念をより詳しく説明する。

図２は、本発明の実施形態１に係る画像処理装置で実行される機種固有現像処理ユニットにおける中間ＲＡＷ生成手順２００を概念的に示す。

図において、２０１のＲＡＷデータ読み込み工程では、中間ＲＡＷデータを生成するための元となる原ＲＡＷデータの読み込みを行う。２０２のデフォルトＷＢ係数値算出工程では、読み込まれた原ＲＡＷデータの内容を参照し、デフォルトの光源設定によるＷＢ係数値の算出処理を行う。ここでデフォルトＷＢ係数値算出工程２０２でのデフォルトの光源設定としては、デジタルカメラで撮影した際に設定されていた光源などがデフォルトの光源設定として用いられる。撮影した際の光源設定情報が存在しない場合には、「オート」の設定をデフォルト設定とすることが望ましい。

また、２０３の全ＷＢ係数値算出工程では、読み込まれた原ＲＡＷデータの内容を参照し、中間ＲＡＷ生成手順２００が算出可能な全ての光源設定についてＷＢ係数値を算出する。ここでデフォルトＷＢ係数値以外のＷＢ係数値については、原ＲＡＷデータ又は中間ＲＡＷデータの各色コンポーネントに対して乗算するゲインとは限らない。これらは、デフォルトＷＢ係数値とその他各ＷＢ係数値との比であっても良く、本件でＷＢ係数値と呼ぶ場合には、何らかの値との比も含めることとする。

次に、２０４のＷＢ係数値適用工程では、ＲＡＷデータ読み込み工程２０１により読み込まれた原ＲＡＷデータに対して、デフォルトＷＢ係数値を適用する。

中間ＲＡＷフォーマット工程２０５は、デフォルトＷＢ係数値算出工程２０２で算出されたデフォルトＷＢ係数値と、全ＷＢ係数値算出工程２０３で算出された全ＷＢ係数値、及びＷＢ係数値適用工程２０４により生成された中間ＲＡＷデータとを関連づける。そしてこれらを記憶媒体に中間ＲＡＷファイルとして記憶することで処理を終える。

次に、本発明の実施形態２に係る画像処理装置が備える汎用現像処理ユニットの動作について、図３を使用して詳しく説明する。図３は汎用現像処理ユニットにおけるＷＢ再調整手順３００を概念的に示す。図において、３０１の中間ＲＡＷデータ読み込み工程では、ＷＢ再調整の対象となる中間ＲＡＷデータの読み込みを行う。３０２の光源選択工程では、ユーザがＷＢ光源設定値を変更するための新たな光源設定を選択する工程であって、そのためのユーザインターフェースを含む。光源選択工程３０２でユーザが設定した光源を変更すると、選択ＷＢ係数値読み込み工程３０３で、中間ＲＡＷデータと関連づけて記憶されている全ＷＢ係数値の中から、選択されて設定した光源に対応したＷＢ係数値（選択ＷＢ係数値）を選択し、取得する。

次に、３０４の選択ＷＢ係数値適用工程では、選択されたＷＢ係数値に対して必要に応じて所定の変換を行った後に中間ＲＡＷデータに適用し、ＷＢの再調整を実行するものである。

以上説明したような本発明の実施形態に係る画像処理装置の構成によって、機種固有の現像処理アルゴリズムおよびチューニングパラメータを活かした高精度のＷＢの再調整を行うことが可能となる。

以下、本発明の実施形態に係る画像処理装置につき、さらに詳しく説明する。

図４は、本発明の実施形態に係る画像処理装置としてのパーソナルコンピュータ（以下ＰＣと呼ぶ）及びデジタルカメラを、ＵＳＢなどの通信媒体４０６で接続したシステムとして示すブロック構成図である。

図４において、４０１はデジタルカメラであり、レンズ４０２、ＣＣＤ４０３及びＡ／Ｄ変換回路４０４を含み、その他図示されていないが、デジタルカメラ４０１を構成する機構構成要素については、現在一般的なデジタルカメラと同様である。

４０５は着脱式の、例えば半導体のメモリカードであり、撮像して得られた中間ＲＡＷデータなどの画像データが所定の処理を行った後に保存される記憶媒体である。記憶媒体４０５に保存された画像データは、またＵＳＢケーブルなどの通信媒体４０６を介してＰＣ４０７へと転送できるものとする。

記憶媒体４０５に記憶されたデータにおいて、４０８はＲＡＷデータ（原ＲＡＷデータ）４１６を所定の種類でファイル保存したＲＡＷファイルである。ＲＡＷファイル４０８は、Ａ／Ｄ変換回路４０４によりＡ／Ｄ変換された画像データに対して不図示の手段を用いて可逆圧縮処理や属性情報付与等の所定の処理を行ったＲＡＷデータ４１６を、ＦＡＴ３２などのファイルシステムで保存したものである。

また、ユーザは撮影する画像データの種類を予めデジタルカメラ４０１のメニューで設定可能とされている。この設定により、ＲＡＷファイル４０８、中間ＲＡＷファイル４０９、ＪＰＥＧファイル４１０等のように、ユーザの設定に従って保存するファイルの種類を切り替えることが可能である。尚、ＪＰＥＧファイル４１０は、先に説明したように、汎用の装置で閲覧可能なデータであり、汎用画像データである。

＜実施形態１＞
４１１は、図２で説明した本発明の実施形態１に係る画像処理装置で実行される、中間ＲＡＷ生成手順２００を実行する機種固有現像処理ユニットに対応する第１カメラ画像処理ユニットである。第１カメラ画像処理ユニット４１１には、Ａ／Ｄ変換回路４０４からのＲＡＷデータ４１６が供給される。このＲＡＷデータ４１６は、前処理回路４１２で前処理が行われる。そして前処理回路４１２で前処理を行って得られた前処理済み画像データ４１７がホワイトバランス（ＷＢ）処理回路４１３に供給される。そしてこの前処理済み画像データ４１７に対し、ホワイトバランス（ＷＢ）処理回路４１３でＷＢ処理を行う。そしてＷＢ処理回路４１３は、その結果をＷＢ調整済み画像データ４１８として出力する。ＷＢ処理回路４１３でＷＢ処理を行った後、ＷＢ調整済み画像データ４１８は、後処理回路４１４で後処理を行うことにより後処理済み画像データ４１９として出力される。

なお、前処理回路４１２としては、ＣＣＤ４０３がベイヤー配列のフィルタ配列の場合には、補間処理を行ってＲ、Ｇ及びＢの３プレーンの画像データへと変換する処理などが望ましい実施形態であるが、これに限らない。また第１カメラ画像処理ユニット４１１では、前処理回路４１２が省略されたものであっても構わない。

また、後処理回路４１４としては、中間ＲＡＷ画像データとして定められたビット深度（たとえば１２ビットなど）が規定されているものとする。そしてＷＢ処理回路４１３での処理の結果、得られた画像データがこれと異なる場合（たとえば１４ビット）には、ビットシフトを行うビットシフト処理などが考えられるが、これも、これに限られるものではない。

４１５は第２カメラ画像処理ユニットであり、汎用の画像データフォーマットとして閲覧可能なＪＰＥＧファイル２１０を生成するための画像処理を行うものである。

第２カメラ画像処理ユニット４１５の画像処理内容としては、輪郭強調処理、高輝度部の色曲がり処理、ｓＲＧＢ色空間とするためのガンマ処理等を含み、さらに、より記憶色に近づけるための色変換処理などを含むことが好ましい。ただし、この第２カメラ画像処理ユニット４１５は、従来より知られている回路で構成され、この第２カメラ画像処理ユニット４１５では、本発明の実施形態に係るＷＢの再調整は実行できない。

なお本実施形態１においては、閲覧用画像とするための画像処理結果として得られるＲＧＢデータに対するＪＰＥＧ圧縮のための処理は、第２カメラ画像処理ユニット４１５で処理されるのではなく、図示されていない他の回路により処理されることとする。

次に、図５に示す「中間ＲＡＷファイル生成手順」と、図６に示す「中間ＲＡＷファイルの内部構造」を用いて、第１の実施形態における中間ＲＡＷファイル４０９の生成手順とファイル構造について詳しく説明する。

図５は、デジタルカメラ４０１によって撮影が行われ、中間ＲＡＷファイル４０９を生成する、本発明の第１の実施形態の処理手順を示すフローチャートである。以下、図４及び図５を参照して、第１の実施形態の処理手順を説明する。

まず、処理の開始後デジタルカメラ４０１において、不図示のシャッタボタンがユーザによって押されると、ステップＳ５０１において、レンズ４０２を通して得られる被写体像がＣＣＤ４０３で光電変換される。そしてＡ／Ｄ変換回路４０４によってＡ／Ｄ変換され、第１カメラ画像処理ユニット４１１にＲＡＷ画像データ４１６が入力される。

次に、ステップＳ５０２では、前処理回路４１２による前処理が行われる。本実施形態１においては、ＣＣＤ４０３はベイヤー配列であることとし、前処理として補間処理を行うことにより、Ｒ、Ｇ及びＢの３プレーンのデータを前処理済み画像データ４１７として出力するものとする。

さらに本実施形態１の前処理回路４１２では、デジタルカメラ４０１の固体ごとの色ゲインのばらつきに対して、不図示のＲＯＭに記憶された調整値を参照して色ゲインのばらつきを正規化する処理と、オプティカルブラックの減算処理も行うこととする。

次に、ステップＳ５０３では、デジタルカメラ４０１で設定可能な全てのＷＢ光源設定に対してのＷＢ係数値をＷＢ処理回路４１３で算出する。つまり、ＷＢ処理回路４１３は全てのＷＢ光源設定値を算出する。すなわち、「オート設定(auto)」、「太陽光(day)」、「くもり(cloud)」、「電球(tungsten)」、「蛍光灯(fluorescent)」及び「ストロボ(strobe)」のＷＢ係数値を算出する。各光源設定に対するＷＢ係数値の算出方法は、本件の従来例で説明したと同様に、まず前処理済み画像データ４１７を所定の幅と高さを持った複数のブロックに分割し、ブロックごとに、先に示した式１を用い、色評価値を算出する。

次に、ＷＢ処理回路４１３は、「光源ごとに予め設定した白検出エリア」に色評価値（Ｃｘ、Ｃｙ）が含まれる場合にそのブロックが白であると仮定し、白と仮定されたブロックそれぞれの色画素の積分値（ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢ）を算出する。その積分値から先に示した式２を用いてＲ、Ｇ及びＢの各色成分に対するＷＢゲイン、即ちＷＢ係数値ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ及びｋＷＢ＿Ｂを算出するものとする。

なお、本実施形態１においては、発明の理解を容易にするため、単純なＷＢ係数値の算出アルゴリズムを実施形態として説明する。しかしながら、撮影時のさまざまな情報（Ｔｖ値、Ａｖ値、ストロボの発光／非発光）を参照する実施形態としても良い。さらに画像データの内容から撮像シーン判別を行った結果などを利用して「光源ごとに予め設定した白検出エリア」のシフトなどにより、より高精度なＷＢ係数値の算出アルゴリズムを実行しても良い。

ステップＳ５０３において、全ての光源設定に対するＷＢ係数値が算出されると、処理をステップＳ５０４へと進める。ＷＢ処理回路４１３は、ステップＳ５０４において、ＷＢの再調整時に用いられるＷＢ係数値の比率ｗｂＲａｔｉｏを全てのＷＢ設定に対して算出する。

ｗｂＲａｔｉｏとは、各光源設定に対するＷＢ係数値と、デフォルト光源設定に対するＷＢ係数値の比であり、ＷＢの再調整時に中間ＲＡＷ画像データに乗算することにより、各設定光源に対するＷＢの再調整が可能となるものである。たとえば「デフォルト光源設定値＝オート」の場合に、「光源設定値＝太陽光」に対するＷＢ係数比ｗｂＲａｔｉｏ＿ｄａｙは、以下の式３のように求められる。

ｗｂＲａｔｉｏ＿ｄａｙ＿Ｒ＝ｋＷＢ＿ｄａｙ＿Ｒ／ｋＷＢ＿ａｕｔｏ＿Ｒ
ｗｂＲａｔｉｏ＿ｄａｙ＿Ｇ＝ｋＷＢ＿ｄａｙ＿Ｇ／ｋＷＢ＿ａｕｔｏ＿Ｇ・・・式３
ｗｂＲａｔｉｏ＿ｄａｙ＿Ｂ＝ｋＷＢ＿ｄａｙ＿Ｂ／ｋＷＢ＿ａｕｔｏ＿Ｂ
より具体的には、オート設定と太陽光設定のＷＢ係数値がそれぞれ、
ｋＷＢ＿ａｕｔｏ＿ＲＧＢ（１．０５、１．１５、０．８０）及びｋＷＢ＿ｄａｙ＿ＲＧＢ（０．９８、１．０２、１．００）の場合には、ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢは以下のように求められる。

ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢ＝（０．９８／１．０５、１．０２／１．１５、１．００／０．８０）＝（０．９３、０．８９、１．２５）・・・式４
上記、式４と同様に、他の光源設定の 「オート」、「太陽光」、「くもり」、「電球」、「蛍光灯」及び「ストロボ」についてもｗｂＲａｔｉｏを算出する。以下はその一例である。

ｗｂＲａｔｉｏ＿ａｕｔｏ＿ＲＧＢ ＝（１．００、１．００、１．００）
ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢ ＝（０．９３、０．８９、１．２５）
ｗｂＲａｔｉｏ＿ｃｌｏｕｄ＿ＲＧＢ ＝（１．１０、０．９０、１．００）
ｗｂＲａｔｉｏ＿ｔｕｎｇ＿ＲＧＢ ＝（１．１０、１．００、０．９０）
ｗｂＲａｔｉｏ＿ｆｌｕｏｒｅ＿ＲＧＢ＝（０．８０、１．１０、１．１０）
ｗｂＲａｔｉｏ＿ｓｔｒｏｂｅ＿ＲＧＢ＝（０．９９、１．０１、１．００）
次に、ステップＳ５０５では、ＷＢ処理回路４１３は、デフォルトの光源設定のＷＢ係数値ｋＷＢ＿Ｄｅｆａｕｌｔを前処理済み画像データ４１７に施す。

ここでの説明では、あえて図示はしないが、デジタルカメラ４０１本体に設けられる操作ボタン等から「オート」をユーザが選択した状態であるものとし、「デフォルト光源設定＝オート」であるものとする。

このとき、ｋＷＢ＿Ｄａｆａｕｌｔ＝ｋＷＢ＿ａｕｔｏ＿ＲＧＢ＝（１．０５、１．１５、０．８０）となる。したがってＷＢ処理回路４１３は、前処理済み画像データ４１７に対して、Ｒプレーンの各画素値には１．０５を、Ｇプレーンの各画素値には１．１５を、またＢプレーンの各画素値には０．８０を乗算してＷＢ調整済み画像データ４１８を出力するものとする。

次に、ステップＳ５０６では後処理回路４１４による後処理を行う。本実施形態１では、後処理としてノイズ除去処理、輪郭強調処理及びビット深度調整処理を行うこととするが、必要に応じ他の処理を含んでもよい。なお、ＷＢ調整済み画像データ４１８は、例えば１４ビットのビット深度を有するデータであり、一方中間ＲＡＷファイル４０９の画像データの格納形式は１２ビットであるとする。さらに、後処理回路４１４では、ＷＢ調整済み画像データ４１８に対して２ビット左シフト処理を行い、後処理済み画像データ４１９を出力することとする。

次に、図６に示すように、また後処理回路４１４はステップＳ５０７で示すように、記憶媒体４０５上に、所定のファイル命名規則に従って後処理済み画像データ４１９を含む中間ＲＡＷファイル４０９を生成する。その後ＲＡＷ中間ファイル識別子ＩＤ６５０、その他各種撮影情報ＩＤ６５１の書き込みを行った後、後段のファイルに書き込み可能な状態とする。

なお、ＲＡＷ中間ファイル識別子ＩＤ６５０は、このファイルが中間ＲＡＷ画像データであることを示す識別子（たとえば、「中間ＲＡＷ」などとテキストで書き込む）を伴って図示しない書込み回路により、中間ＲＡＷファイル４０９に書き込む。また各種撮影情報ＩＤ６５１では、現在一般的なデジタルカメラがファイル属性として書き込んでいる撮影情報を使用しも問題はないが、好ましい実施形態としては、Ｅｘｉｆ規格で規定されている撮影情報を書き込むことが望ましい。

次に、図５のステップＳ５０８では、ステップＳ５０４にて算出されたＷＢ係数比ｗｂＲａｔｉｏを全の光源設定について中間ＲＡＷファイル４０９に書き込む。図６のＩＤ６５３乃至ＩＤ６５８は、ステップＳ５０８により書き込まれたＷＢ係数比の様子を示すものである。なお、本実施形態１においては、ＷＢ係数比を中間ＲＡＷファイル４０９に書き込むとした。しかしながらこれに限らず、各光源設定値におけるＷＢ係数値自体を中間ＲＡＷファイル４０９に書き込んでおき、ＰＣ４０７などの画像処理装置側でＷＢの再調整を行うときにＷＢ係数比を算出することも可能である。

次に、ステップＳ５０９では、後処理回路４１４にて行われた後処理に関する情報を後処理情報ＩＤ６５２として中間ＲＡＷファイル４０９に、先の図示しない書込み回路で書き込む。なお、後処理情報の中間ＲＡＷファイル４０９への書き込みは、本実施形態１においては必須ではない。すなわち、ＰＣ４０７などの画像処理装置側でＷＢの再調整を行う際に後処理情報が無い場合には、後処理回路４１４にて線形処理が行われたものとして処理を行って構わない。

なお、後処理情報ＩＤ６５２としては、後処理で行われた処理が線形処理なのか、又は非線形処理なのかを示す情報と、非線形処理である場合には、その処理内容と使用されたパラメータに関する情報が中間ＲＡＷファイル４０９へ書き込まれることが望ましい。

ここで、線形処理とは、ＷＢ処理回路４１３と後処理回路４１４との処理順序を入れ替えたとしても画像処理上では大きな違いが無いことを示すものとする。たとえば、演算処理上の丸め誤差による処理上の違いは、違いがないものとして扱うこととする。

本実施形態１における後処理の一つは、左２ビットのビットシフトであるが、ビットシフトを行った後にＷＢ係数値を乗算しても、丸め誤差を除けば結果は一致するので、後処理情報としては「線形処理」と書き込むこととする。

また、輪郭強調処理及びノイズ除去処理は、厳密には線形処理とは言えない。しかし、輪郭強調処理やノイズ除去処理などの解像度系の処理は、ＰＣ４０７などの画像処理装置側でＷＢの再調整を行う際に、処理の入れ替わりが生じたとしてもＷＢ再調整の結果画像の画質への影響が少ない。したがって本実施形態１では、この場合は線形処理として扱うこととする。

輪郭強調処理やノイズ除去処理を線形処理として扱うか、又は非線形処理として扱うかなど、処理順序の入れ替えによる画質劣化の各程度に対して、これを許容するか否かは、中間ＲＡＷファイルの生成処理を実装する際の設計指針によって決めることになる。

次に、ステップＳ５１０にて後処理済み画像データ４１９を中間ＲＡＷファイル４０９に中間ＲＡＷ画像データとしてＩＤ６５９の領域に書き込んだ後、所定のファイルのクローズ処理を行い、図５で示される中間ＲＡＷファイル生成手順を終了する。以上により、本発明の実施形態１に係る画像処理装置では、ＲＡＷデータをデフォルトの光源設定で処理した中間ＲＡＷデータと、ＲＡＷデータのデフォルトの設定以外の光源設定に係るＷＢ計数値に関する情報とを含む中間ＲＡＷファイルとして生成する。これにより、このＲＡＷデータ撮影後に、一度ＷＢ処理された中間ＲＡＷデータのＷＢの再調整が可能となる。

＜実施形態１の変形例１＞
次に、図７及び図８を用いて、本発明の実施形態１の変形例１における中間ＲＡＷファイル４０９の生成手順とファイル構造について詳しく説明する。図７の太線のステップＳ７０１、及び図８の太線のＩＤ８０１以外のステップ及び構造は、実施形態１と同じであり、同じ参照番号が使用される。

実施形態１の変形例１において、図７の後処理ステップＳ７０１では、非線形処理の一例としてガンマ処理を行うこととする。本実施形態においては、好ましい実施形態として、一般のＣＲＴモニタ上でそのまま画像データを表示した際に好ましいｓＲＧＢ色空間で規定されているガンマ値１／２．２なるガンマ処理を行うこととする。

この場合、ステップＳ５０９の後処理情報書き込みのステップでは、後処理情報として「非線形処理、処理内容ガンマ、処理パラメータ１／２．２」と書き込む。図８のＩＤ８０１には、後処理情報として、「非線形処理、処理内容ガンマ、処理パラメータ２．２」の情報が書き込まれている様子が示されている。

一般にガンマ処理は、各画素値に対して以下の式５のような演算を行う。

Ｙ（出力値）＝Ｘ（入力値）^γ・・・式５
ここで入力値ＸおよびＹは、画素値として取り得る最大値を１．０として正規化した際の値を用いる。本実施形態２においては、式５のγをγ＝１／２．２とした処理を行うものである。

なお、本実施形態における後処理回路４１４で行われるガンマ処理とＷＢの適用処理は、処理順序の入れ替えを行った際に、ＩＤ６５９に書き込まれた中間ＲＡＷ画像データの値は大きく異なってしまう。

ＷＢ処理後にガンマ処理を行う場合、前処理済み画像データ４１７における画素値をＤ１、ＷＢ係数値をｋＷＢとした場合、ＩＤ６５９の中間ＲＡＷ画像データにおける同画素の画素値をＤ２とすると、画素値Ｄ２は式６のようになる。

Ｄ２＝（Ｄ１ｘｋＷＢ）^{１／２．２}・・・式６
一方、ガンマ処理後にＷＢ処理を行う場合、前処理済み画像データ４１７における画素値をＤ１、ＷＢ係数値をｋＷＢとする。この場合、ＩＤ６５９の中間ＲＡＷ画像データにおける同画素の画素値をＤ３とすると、画素値Ｄ３は式７に示す様になり、画素値Ｄ２と画素値Ｄ３の値は一致しない。

Ｄ３＝ｋＷＢｘ（Ｄ１）^{１／２．２}・・・式７
たとえば、Ｄ１＝０．５、ｋＷＢ＝１．２として式６及び式７に代入する。この場合、画素値Ｄ２は約０．７９、一方画素値Ｄ３は約０．８８となり、ＩＤ６５９の中間ＲＡＷ画像データにおける同画素の画素値が大きく異なってしまうため、非線形処理として扱うこととする。

＜実施形態１の変形例２＞
実施形態１の変形例２は、ＰＣ４０７を画像処理装置として、図２の中間ＲＡＷ生成手順２００を実行する機種固有現像処理ユニットをＰＣ４０７側に設けた実施形態である。再度、図４を用いて説明する。なお、図４における各部や各画像処理内容は、ハードディスク４２０にインストールされたアプリケーションプログラムが図示されていないＤＲＡＭ等の一時記憶媒体に読み込まれ、図示されていないＣＰＵにより逐次処理されることで実行されるものとする。

先に説明したように、図４においてＰＣ４０７はＵＳＢケーブルなどの通信媒体４０６を介してデジタルカメラ４０１とデータ送受信が可能である。ＰＣ４０７はデジタルカメラ４０１で生成されたＲＡＷファイル４０８、中間ＲＡＷファイル４０９等を、通信媒体４０６を介して受信する。そしてハードディスク４２０にＲＡＷ画像ファイル４２１や中間ＲＡＷファイル４２２として記憶することができる。

なお図示してはいないが、ＪＰＥＧファイル４１０の画像データも同様にハードディスク４２０に記憶することも可能である。この場合、ＪＰＥＧファイル４１０は汎用的なファイルである。そのため、ＰＣ４０７に標準的に組み込まれている画像処理ソフトにより、表示装置４３６の出力形式（本実施形態では、例えばＲＧＢデータ）へと変換し、表示装置４３６で閲覧用画像として表示することができる。

４５０は、図２で説明した本願の実施形態に係る画像処理装置で実行される機種固有現像処理ユニットに相当する第１ＰＣ画像処理ユニットであり、デジタルカメラ４０１に含まれる第１カメラ画像処理ユニット４１１と同じ画像処理を実行可能である。すなわち、ＲＡＷファイル４２１に対して第１ＰＣ画像処理ユニット４５０により画像処理を行って中間ＲＡＷファイル４２２を生成する。第１ＰＣ画像処理ユニット４５０は、前処理回路４５１、ＷＢ調整回路４５２及び後処理回路４５３の機能を備える。

デジタルカメラ４０１のメニュー設定により、画像データをＲＡＷファイルで保存したユーザが、あとから中間ＲＡＷファイルに変換することを希望したとする。この場合、この第１ＰＣ画像処理ユニット４５０を用いて中間ＲＡＷファイル４２２を得ることができる。この第１ＰＣ画像処理ユニット４５０においても、デジタルカメラ４０１に含まれる第１カメラ画像処理ユニット４１１と同様に動作する。すなわち、中間ＲＡＷファイル４２２として、ＲＡＷデータをデフォルトの光源設定で処理した中間ＲＡＷデータと、ＲＡＷデータのデフォルトの設定以外の光源設定に係るＷＢ計数値に関する情報とを含む中間ＲＡＷファイルを生成する。

＜実施形態２＞
次に、本発明の実施形態２に係る画像処理装置を説明する。４２３は、メーカ提供画像処理ユニットであり、デジタルカメラ４０１の第２カメラ画像処理ユニット４１５と同様の画像処理を行う第２画像処理部４２９を有する従来技術における処理回路を示す。従来、一般的なＰＣ上の専用現像処理ソフトウェアでは、ＲＡＷファイル４２１に対してコンバータの役割を果たす第１ＰＣ画像処理ユニット４５０と、メーカ提供画像処理ユニット４２３の第２画像処理部４２９により処理を行う。これにより、ＲＡＷファイル４２１からＪＰＥＧファイル４１０と同画質の汎用画像への変換処理を行っていた。データの流れを示す点線４２４は、このような従来例の処理フローを示すものである。

一方、本発明の実施形態２に係る画像処理ユニットでは、ＷＢの再調整を行う回路が組み込まれる。すなわち、図３の汎用現像処理ユニットに相当するメーカ提供画像処理ユニット４２６が設けられ、図３のＷＢ再調整手順３００が実行される。

すなわち、本発明の実施形態２に係る画像処理装置では、たとえばデジタルカメラ４０１のメーカが提供するメーカ提供画像処理ユニット４２６が設けられる。このメーカ提供画像処理ユニット４２６には、ＷＢ再調整回路４２７とともに、デジタルカメラ４０１の第２カメラ画像処理ユニット４１５と同様の画像生成処理を行う第２画像処理部４２８を備える。これらにより、中間ＲＡＷファイル４２２からＪＰＥＧファイル４１０と同画質の汎用画像データを出力することが可能となる。さらにメーカ提供画像処理ユニット４２６はＷＢ再調整回路４２７を備えるため、必要に応じて中間ＲＡＷファイル４２２に対してＷＢの再調整を行うことができる。

なお、メーカ提供画像処理ユニット４２３及び４２６の画像処理内容は、デジタルカメラ４０１の画質を決める重要なフィーチャであるため、通常デジタルカメラメーカによってその処理内容が公開されることは無い。したがってメーカ提供画像処理ユニット４２３及び４２６に関する情報は、サードパーティ（いわゆるＩＳＶ：Independent Software Vender）からは提供され得ないものとして本実施形態では扱うこととする。

＜実施形態２の変形例１＞
本願の実施形態２の変形例１においては、実施形態２とは異なり、サードパーティが開発した画像レタッチソフトウェアで実施される第２ＰＣ画像処理ユニット４２５が設けられる。この第２ＰＣ画像処理ユニット４２５は、本願の図３で説明した汎用現像処理ユニットに相当するものである。この第２ＰＣ画像処理ユニット４２５は、ＷＢ再調整回路４３０、明度調整回路４３１、階調調整回路４３２、色補正回路４３３及びＡＰＣ系処理回路４３４の機能を備える。したがって、中間ＲＡＷファイル４２２に対してＷＢ再調整、明度調整、階調調整、色補正などの画質調整とともに所定の画像処理を行って汎用画像データを出力する。そして、メーカ提供画像処理ユニット４２６とは異なる画像処理アルゴリズムおよび処理方法を持つものである。

第２ＰＣ画像処理ユニット４２５は、デジタルカメラ４０１のメーカが開発したソフトウェアでも構わないが、本実施形態においては、ソフトウェアの開発／販売を行うサードパーティが開発した画像レタッチソフトウェアで実施するものとする。したがって、図示するように、ソフトウェアの開発／販売を行うサードパーティ毎に複数設けることも可能である。

サードパーティが開発した画像レタッチソフトウェアの場合、サードパーティが中間ＲＡＷファイルを解釈できるためには、図６の中間ＲＡＷファイル内部構造が、公開された構造であることを前提としている。また、第２ＰＣ画像処理ユニット４２５は画像閲覧機能などが備わっていても構わないが、少なくともＷＢに関する再調整が行えるソフトウェアで構成されることが必要である。

図１３の１３０１は、図４の表示装置４３６に表示されているＵＩ（ユーザインターフェース）の一例の画質調整パネルである。画質調整パネル１３０１の「光源設定」のチェックボックスをユーザが操作し、たとえば、デフォルトの「オート」から他の光源へと設定を変更する。すると第２ＰＣ画像処理ユニット４２５において、ＷＢ再調整回路４３０は後述のＷＢの再調整処理を行う。そしてその後、画質調整パネル１３０１のその他のコントロールの状態に応じて、明度調整、階調調整、色補正、さらにＡＰＣ（輪郭強調）系処理等を行った後に汎用の画像データを出力する。

以下、図９及び図１０を用いて第２ＰＣ画像処理ユニット４２５を使用した本願の実施形態２の変形例１における画像処理装置に係るＷＢ再調整の処理手順（線形後処理時）について説明する。ここでは、ユーザがＷＢの設定を、撮影時設定の「オート」から「太陽光」に再調整する場合を例として詳しく説明する。なお、以下は、実施形態２の変形例１として説明するが、先の実施形態２でも同様な考え方で、実行することが可能である。

図１０において、ＩＤ１００１は中間ＲＡＷファイルの内部構造を示すものであり、図６と全く同様のものである。ユーザがＷＢの設定を「オート」から「太陽光」への再調整をコマンド入力すると、本実施形態に係るＰＣ４０７は、中間ＲＡＷファイル４２２を解析する。そして太陽光におけるＲＧＢＷＢ係数比ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢの値を参照し、この値をＩＤ６５９の「中間ＲＡＷデータ」に、図１０の乗算回路１００２で乗算し、ＷＢ再調整済みのデータとして１００３の「中間ＲＡＷデータ２」を得る。

ＷＢ再調整回路４３０の出力として得られた「中間ＲＡＷデータ２」は、後段の処理回路１００４へと送られ、図４の明度調整回路４３１、階調調整回路４３２、色補正回路４３３、ＡＰＣ系処理回路４３４での各処理を行った後に表示装置４３６で表示される。

以下、この処理手順を図９のフローチャートを用いてより詳しく説明する。なお、図９のフローチャートの中で、ステップＳ９０５で示される部分がＷＢ再調整回路４３０の処理内容とする。

ユーザが、画質調整パネル１３０１を操作し、ＷＢの光源設定値を「オート(Auto)」から「太陽光(daylight)」へと変更したとする。すると、ステップＳ９０１にて第２ＰＣ画像処理ユニット４２５は、中間ＲＡＷファイル４２２をハードディスク４２０から読み込む。さらに読み込んだ中間ＲＡＷファイル４２２の内容を解析し、後処理情報ＩＤ６５２、太陽光のＷＢ係数比ＩＤ６５４、およびＩＤ６５９の「中間ＲＡＷデータ」を参照可能な状態とする。

つぎに、ステップＳ９０２にて後処理情報を参照し、これが線形処理か又は非線形処理かの判定を行う。本実施形態においては、中間ＲＡＷファイルの内部構造ＩＤ９０１が示すように「線形」であるので、ステップＳ９０３へと処理を進める。一方、後処理情報が「非線形」の場合には、ステップＳ９０４で非線形のＷＢ演算処理を行う。

ステップＳ９０３では、ＩＤ６５９の「中間ＲＡＷデータ」の全画素値に対して、太陽光におけるＷＢ係数比（ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢ＝［０．９３、０．８９、１．２５］）を乗算し、図１０の１００３で示す「中間ＲＡＷデータ２」を出力する。ステップＳ９０５では、「中間ＲＡＷデータ２」に対して、明度調整、階調調整、色補正、ＡＰＣ系処理などの後段の処理を行った後、ステップＳ９０６にて表示装置４３６に処理結果を表示し、本処理手順を終了する。

以上、この実施形態によれば、中間ＲＡＷファイル４２２に対し、ＰＣ４０７を使用して、サードパーティが提供するデジタルカメラ４０１の機種固有の現像処理アルゴリズムおよびパラメータを活用した高精度なＷＢの再調整処理が実行できる。

＜実施形態２の変形例２＞
実施形態２の変形例２に係る画像処理装置は、実施形態２の変形例１に係る画像処理装置と同様の構成において、中間ＲＡＷファイル４２２に書き込まれる後処理情報ＩＤ６５２が「非線形」である場合のＷＢ再調整回路４３０による処理内容について説明する。

非線形処理の場合、本実施形態２の変形例２における画像処理装置であるＰＣ４０７では、中間ＲＡＷファイル４２２の後処理情報ＩＤ６５２を得る。そして、非線形処理の内容とパラメータを参照して、その逆演算処理を「中間ＲＡＷデータ」に施す。この逆演算処理により得られた「第２の中間ＲＡＷデータ」は、デジタルカメラ４０１におけるＷＢ調整回路４１３の処理結果となる。したがって、「第２の中間ＲＡＷデータ」に対してＷＢ係数比を乗算することにより、ＷＢ再調整結果である「第３の中間ＲＡＷデータ」を得ることができる。

次に本実施形態２の変形例２に係る画像処理装置おいて、本来実施すべきガンマ処理をかけ直すことにより「第４の中間ＲＡＷデータ」を得る。得られた「第４の中間ＲＡＷデータ」を入力として、後段の処理（明度調整、階調調整、色補正及びＡＰＣ系処理）を行った結果を表示装置４３６に出力し、表示するものである。

図１１及び１２は、デジタルカメラ４０１の後処理回路４１４として、非線形であるガンマ処理が行われた場合の、ＷＢ再調整の処理手順（図９中のステップＳ９０４）を示すものである。以下、図９及び図１０を用いて、後処理情報ＩＤ６５２が「非線形」であった場合の、ＷＢ再調整処理ステップＳ９０４の処理手順を詳しく説明する。

非線形なガンマ処理が行われた場合、中間ＲＡＷファイルの後処理情報ＩＤ６５２には、図１１に示すように、「後処理情報＝非線形：ガンマ：１／２．２」と記載されている。この場合、まず中間ＲＡＷデータ４２２に対して、逆ガンマ処理回路１１０２にて逆ガンマ処理（ガンマ値２．２）の処理を行って、１０１３で示す「中間ＲＡＷデータ２」を得る。次に乗算回路１１０４にて、ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢとの乗算処理を行って、１１０５に示す「中間ＲＡＷデータ３」を得る。さらに、「中間ＲＡＷデータ３」に対して、デジタルカメラ４０１の後処理回路４１４の処理内容と同様の処理を行うガンマ処理回路１１０６でガンマ（１／２．２）処理を行う。そして明度調整回路４３１の入力データとなる、１１０７で示す「中間ＲＡＷデータ４」を得るものである。この「中間ＲＡＷデータ４」は、その後第２ＰＣ画像処理ユニット４２５において、明度調整、階調調整、色補正、ＡＰＣ系処理などの後段の処理が行なわれることとなる。

以下、図１２のフローチャートを用いて、本実施形態２の変形例２に係る画像処理装置の動作をさらに詳しく説明する。まず、ステップＳ１２０１では、ＩＤ６５９の「中間ＲＡＷデータ」に対して、以下の式８で示されるような逆ガンマ処理を行い、１１０３で示す「中間ＲＡＷデータ２」を得る。

「中間ＲＡＷデータ２」の画素値＝（「中間ＲＡＷデータ」の画素値）^２．２・・・式８
次に、ステップＳ１２０２で、１１０３で示す「中間ＲＡＷデータ２」に対して、ｗｂＲａｔｉｏ＿ｄａｙ＿ＲＧＢのＷＢ係数比の乗算処理を行い、１１０５で示す「中間ＲＡＷデータ３」を得る。次に、ステップＳ１２０３では、１１０５で示す「中間ＲＡＷデータ３」に対して、以下の式で示されるようなガンマ処理を行い、１１０７で示す「中間ＲＡＷデータ４」を得る。

「中間ＲＡＷデータ４」の画素値＝（「中間ＲＡＷデータ３」の画素値）^{１／２．２}・・・式９
式９で示されるガンマ処理により得られる１１０７で示す「中間ＲＡＷデータ４」を、後段の処理回路の入力画像データとして、図９におけるステップＳ９０５の処理を行った後、処理結果が表示装置４３６に表示される。

以上説明した本願の実施形態２の変形例２に係る画像処理装置によれば、デジタルカメラ４０１の後処理回路４１４がガンマ処理のような非線形処理であっても、ＰＣ４０７において、高精度なＷＢの再調整処理が実行可能となる。なお、非線形な後処理に対する有効な逆処理が無い場合、光源の設定を選択する段階で、選択を不可能とする事は当然有効となる。

当然のことながら、上記した実施形態１及び２、更にそれらの変形例に係る画像処理装置は、適宜組み合わせて実施することが可能である。

＜他の実施形態＞
また、本発明における各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給してもよい。その場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。そして、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行ってもよい。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込むことで実施してもよい。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明に係る実施形態を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (14)

1. 複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の前記第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出手段と、
   前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出手段と、
   前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用して中間ＲＡＷデータを生成する中間ＲＡＷデータ生成処理手段と、
   前記第２ホワイトバランス係数値を特定可能な情報を、ホワイトバランス情報として前記中間ＲＡＷデータと関連付けて記憶する記憶手段と、を備えることを特徴とする画像処理装置。
2. 前記ホワイトバランス情報は、前記第１ホワイトバランス係数値と前記第２ホワイトバランス係数値との比であることを特徴とする請求項１に記載の画像処理装置。
3. 前記ホワイトバランス情報は、前記第２ホワイトバランス係数値であることを特徴とする請求項１に記載の画像処理装置。
4. 前記中間ＲＡＷデータ生成処理手段は、前記ＲＡＷデータに前記第１ホワイトバランス係数値を乗算した後、予め定められた後処理をさらに適用して前記中間ＲＡＷデータを生成し、
   前記記憶手段は、前記後処理の処理内容に関する情報を、後処理情報としてさらに記憶することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記後処理情報が、線形処理か非線形処理かを示す情報を含むことを特徴とする請求項４に記載の画像処理装置。
6. 複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の前記第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出手段と、
   前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出手段と、
   前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用したデータと前記第２ホワイトバランス係数値を特定可能な情報とを含むファイルを生成し記録媒体に記憶する制御手段と、を備えることを特徴とする画像処理装置。
7. 前記ホワイトバランス情報は、前記第１ホワイトバランス係数値と前記第２ホワイトバランス係数値との比であることを特徴とする請求項６に記載の画像処理装置。
8. 前記ホワイトバランス情報は、前記第２ホワイトバランス係数値であることを特徴とする請求項６に記載の画像処理装置。
9. 前記制御手段は、前記ＲＡＷデータに前記第１ホワイトバランス係数値を乗算した後、予め定められた後処理をさらに適用して前記データを生成し、前記後処理の処理内容に関する情報を、後処理情報として含むファイルを生成することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記後処理情報が、線形処理か非線形処理かを示す情報を含むことを特徴とする請求項９に記載の画像処理装置。
11. 複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出工程と、
    前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出工程と、
    前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用して中間ＲＡＷデータを生成する中間ＲＡＷデータ生成処理工程と、
    前記第２ホワイトバランス係数値を特定可能な情報を、ホワイトバランス情報として前記中間ＲＡＷデータと関連付けて記憶する記憶工程と、を備えることを特徴とする画像処理装置の制御方法。
12. 複数の色画素からなるＲＡＷデータに関して設定された第１光源についての第１ホワイトバランス係数値を、色評価値が所定の色空間上の第１光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第１ホワイトバランス係数値算出工程と、
    前記ＲＡＷデータに関して前記第１光源以外の光源についての第２ホワイトバランス係数値を、色評価値が前記色空間上の前記第１光源以外の光源に対応する白検出エリアに含まれる、前記ＲＡＷデータの色画素の積分値より算出する第２ホワイトバランス係数値算出工程と、
    前記ＲＡＷデータに前記第１ホワイトバランス係数値を適用したデータと前記第２ホワイトバランス係数値を特定可能な情報とを含むファイルを生成し記録媒体に記憶する制御工程と、を備えることを特徴とする画像処理装置の制御方法。
13. 請求項１１又は１２に記載の画像処理装置の制御方法の各工程を、コンピュータに実行させるためのプログラム。
14. 請求項１１又は１２に記載の画像処理装置の制御方法の各工程を、コンピュータに実現させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images