JP4273108B2 - 色処理方法、色処理装置及び記憶媒体 - Google Patents

Description

撮像装置によって撮像された画像に対して行う色処理に用いられる色処理条件を生成する色処理方法、色処理装置及び記憶媒体に関する。

従来のデジタルカメラ等の撮像装置においては、デジタルカメラの内部に予め複数の色処理パラメータを保持し、複数のモードの選択が可能である。そして、ユーザがその中からモードを選択すると、デジタルカメラでは、選択されたモードに応じた１つの色処理パラメータを使用して、撮像した画像データの色処理を行っていた。

しかし、従来のデジタルカメラにおいては、予め用意されているモードのみが選択可能であり、それ以外の例えばユーザの好みの色再現を実現するような色処理パラメータを使用することができない。

これに対し、本出願人は、デジタルカメラの色再現をユーザの好みによって自由に設定できるような装置を提供することを目的として、色処理パラメータカスタマイズ装置を提案した（特許文献１参照。）。特許文献１では、肌色や空・草の色、原色等を含むカラーチャートをデジタルカメラで撮像する。そして、その撮像データをカラーチャートの本来の色、又は肌色や空・草の色、原色等を自分が好ましいと思う色（ターゲットデータ）に近づくような最適な色処理パラメータを求めることができる。
特開２００４−３４１９２３号公報

しかしながら、特許文献１に記載の装置は、撮像データ取得時にカラーチャートに照射された照明による照明ムラを起こしていないことを前提に処理しており、これは実際の撮像時には非常に精密な調整が必要であり、簡易な手法が求められている。

本願発明は、このような事情を考慮してなされたものであり、画像撮像時の照明ムラの有無にかかわらず、簡易に精密な色合わせを行なうことができる色処理方法、色処理装置及び記憶媒体を提供することを目的とする。

上記課題を解決するために、本願発明は、撮像手段によって撮像された画像を色処理する際に用いられる色処理条件を生成するための色処理方法であって、
複数の色パッチを有するカラーチャート及び該カラーチャートと異なるチャートであり均一色を有する照明ムラ補正用チャートを、前記撮像手段を用いて同一照明下で撮像し、前記カラーチャートを撮像した第１の画像の色データ及び前記照明ムラ補正用チャートを撮像した第２の画像の色データを入力する色データ入力工程と、
前記第１の画像の色データを、該第１の画像の色データの前記カラーチャートにおける位置に対応する位置の前記照明ムラ補正用チャートの前記第２の画像の色データを用いて、補正する補正工程と、
補正された前記第１の画像の色データに対応する目標色データを入力する目標色データ入力工程と、
補正された前記第１の画像の色データを前記目標色データに変換するための色処理条件を生成する生成工程と
を有することを特徴とする。

本願発明に係る装置は、 撮像手段によって撮像された画像を色処理する際に用いられる色処理条件を生成するための色処理装置であって、
前記撮像手段によって、複数の色パッチを有するカラーチャート及び該カラーチャートと異なるチャートであり均一色を有する照明ムラ補正用チャートを同一照明下で撮像し、前記カラーチャートを撮像した第１の画像の色データ及び前記照明ムラ補正用チャートを撮像した第２の画像の色データを入力する色データ入力手段と、
前記第１の画像の色データを、該第１の画像の色データの前記カラーチャートにおける位置に対応する位置の前記照明ムラ補正用チャートの前記第２の画像の色データを用いて、補正する補正手段と、
補正された前記第１の画像の色データに対応する目標色データを入力する目標色データ入力手段と、
補正された前記第１の画像の色データを前記目標色データに変換するための色処理条件を生成する生成手段と
を有することを特徴とする。

本発明によれば、画像撮像時の照明ムラの有無にかかわらず、簡易に精密な色合わせを行うことができる。

以下、図面を参照して、本発明の一実施形態に係る画像処理システムについて詳細に説明する。

＜第１の実施形態＞
［画像処理システムの構成］
図１は、本発明の第１の実施形態に係る画像処理システムの構成を示す図である。図１に示す画像処理システムは、撮像装置であるデジタルカメラ１と色処理パラメータ編集装置２とが備わっており、デジタルカメラ１は色票３を撮像する。

デジタルカメラ１は、撮像レンズとＣＣＤ等の画像センサよりなる撮像部１０１と、画像データ及び色処理パラメータの外部装置とのインタフェースであるデータ入出力部１０２を備える。また、デジタルカメラ１は、色処理パラメータを保持する色処理パラメータ保持部１０４と、撮像中／撮像済の画像を表示する液晶ディスプレイ等の表示部１０５を備える。さらに、デジタルカメラ１０１は、撮像部１０１で取得した被写体像から色処理パラメータ保持部１０４に格納された色処理パラメータを用いて処理を行って画像データを形成する画像処理部１０３を備える。

次に、色処理パラメータ編集装置２（以下、「画像処理装置２」とも称す。）は、画像データ、色処理パラメータ及びターゲットデータの外部装置とのインタフェースであるデータ入出力部２０１を備える。また、画像処理装置２は、デジタルカメラ１の色処理パラメータを保持する色処理パラメータ保持部２０６と、入力データ及びターゲットデータを保持する入力データ／ターゲットデータ保持部２０７を備える。さらに、画像処理装置２は、デジタルカメラ１の撮像部１０１で取得した被写体像から、色処理パラメータ保持部２０６に格納された色処理パラメータを用いて処理を行って画像データを形成する画像処理部２０２を備える。さらにまた、画像処理装置２は、データ入出力部２０１から入力した画像データの各パッチのＲＧＢ平均値を算出する平均値算出部２０３と、入力されたＲＧＢ平均値を補正する補正部２０４を備える。さらにまた、画像処理装置２は、色処理パラメータ保持部２０６に格納されている色処理パラメータを、例えばＤＬＳ法等を用いて最適化し、色処理条件を生成するパラメータ最適化部２０５を備える。

［画像処理システム内での各処理］
ユーザがデジタルカメラ１を用いて被写体を撮像する場合、ユーザは不図示の電源スイッチをＯＮにする。次いで、撮像部１０１を通して取得した画像データから色処理パラメータ保持部１０４に格納されたパラメータを使用して、画像処理部１０３で表示用画像を生成し、表示部１０５に表示する。ここで、ユーザは、表示部１０５に表示された画像を見てカメラの構図を決め、不図示のシャッターボタンを押下して画像の撮像を行う。

シャッターボタンが押下されると、撮像部１０１で取得した画像データから色処理パラメータ保持部１０４に格納されたパラメータを使用して、画像処理部１０３により色、明るさの処理等が行われる。さらに、データ入出力部１０２を通して処理後の画像データが出力される。尚、画像データの出力は、ケーブル等を介して色処理パラメータ編集装置２に直接データを出力しても良いし、コンパクトフラッシュ（登録商標）等の可搬可能な記憶媒体に出力しても良い。

尚、色処理パラメータ保持部１０４に、撮像部１０１から取得した画像データをそのままデータ入出力部１０２に出力するようなパラメータを設定することにより、撮像部１０１を通して取得した画像データそのものを画像処理装置２は取得できる。

図２は、本実施形態でデジタルカメラ１で撮像される色票３の一例を示す図である。色票３としては、例えば、グレタグマクベス社のＣｏｌｏｒＣｈｅｃｋｅｒ ｆｏｒ ＤＣ（２４０色）、同社のＣｏｌｏｒＣｈｅｃｋｅｒ（２４色）等の色設計に用いるチャートを使用するとよい。

図５は、本実施形態でデジタルカメラ１で撮像される照明ムラ補正用チャート４の一例を示す図である。照明ムラ補正用チャート４は、均一な白色チャート、例えばグレタグマクベス社特注のＮ８均一ホワイトチャート等を使用するとよい。

図３は、本発明の第１の実施形態に係る色処理パラメータ編集装置２における画像処理手順を説明するためのフローチャートである。まず、色処理パラメータを最適化する（ステップＳ１）。尚、ステップＳ１の動作の詳細については、図４を用いて後述する。次いで、最適化して生成された３ＤＬＵＴ等の色処理条件をデータ入出力部２０１から出力し、デジタルカメラ１にアップロードする（ステップＳ２）。

図４は、図３のフローチャートにおける色処理パラメータ最適化処理（ステップＳ１）の詳細な処理手順を説明するためのフローチャートである。

まず、色処理パラメータ編集装置（画像処理装置）２は、画像入出力部２０１を介して画像データを読み込む（ステップＳ１１）。尚、当該読み込み処理は、ケーブル等を介してデジタルカメラ１から直接読み込んでも良いし、コンパクトフラッシュ（登録商標）等の記憶媒体から読み込むようにしても良い。ステップＳ１１で読み込まれる画像データは、色票３及び照明ムラ補正用チャート４を同一照明下で撮像した画像である。

次いで、平均値算出部２０３において読み込んだ上記２つの画像のそれぞれについて各パッチのＲＧＢ平均値を求める（ステップＳ１２）。そして、補正部２０４においてステップＳ１２で求めた各パッチのＲＧＢ平均値を補正する（ステップＳ１３）。本実施形態では、次のような補正処理を行う。

まず、色票３の任意のパッチのＲＧＢ平均値をＲ_org、Ｇ_org、Ｂ_orgとする。また、色票３の任意のパッチと同じ範囲の照明ムラ補正用チャート４上のパッチのＲＧＢ平均値をＲ_w、Ｇ_w、Ｂ_wとする。さらに、照明ムラ補正用チャート４上の測定したＲＧＢ平均値の最大値をＲ_max、Ｇ_max、Ｂ_maxとする。そして、式（１）を用いて補正後のＲＧＢ平均値Ｒ_aft、Ｇ_aft、Ｂ_aftを算出する。

ステップＳ１３での補正処理後、入力データを算出する（ステップＳ１４）。本実施形態では、画像処理部２０２において予め色処理パラメータ保持部２０６に設定されている色処理パラメータを使用して、先に補正したＲＧＢ平均値に対して色処理を行うようにする。ここで、色処理パラメータは、３×３のマトリックス、３×９のマトリックス、或いは３×１９のマトリックス等が考えられる。そして、処理後のＲＧＢデータをＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定し、ＣＩＥＬＡＢに変換したものを入力データとする。

次いで、ターゲットデータ（目標色データ）を入力する（ステップＳ１５）。本実施形態では、ターゲットデータとして、色票３の各色パッチ自体をグレタグマクベス社のＳｐｅｃｔｒｏＬｉｎｏ等で測色したＣＩＥＸＹＺ値を使用する。

そして、パラメータ最適化部２０５において、色処理パラメータの最適化を行う（ステップＳ１６）。最適化処理に際して、まず、各入力ＲＧＢデータをＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定する。そして、ＣＩＥＬＡＢに変換したデータを（Ｌ^* _i，ａ^* _i，ｂ^* _i）とする。また、ステップＳ１５において算出した対応する各ターゲットデータを（Ｌ^* _Ti，ａ^* _Ti，ｂ^* _Ti）とする。そして、ＤＬＳ法等を用いて、全ての色処理後の入力データが対応するターゲットデータになるべく近くなるように色処理パラメータを最適化する。例えば、各色パッチの評価関数をＥ_i、全体の評価関数をＥとし、式（２）に示すＥを最小にするような色処理パラメータを算出するようにする。

また、各色パッチに重みを個別に設定しても良い。そのときの評価関数は重み値をｗ_iとして、式（３）を用いて算出する。

そして、ステップＳ１６において最適化された色処理パラメータを使用して、色処理条件となる３ＤＬＵＴを作成する（ステップＳ１７）。例えば、デジタルカメラ１による入力ＲＧＢデータが以下に示すような１０ビット（０〜１０２３）で、３ＤＬＵＴのスライス数が１７であると仮定する。すなわち、（Ｒ，Ｇ，Ｂ）は、
（０，０，０），(０，０，６４)，（０，０，１２８），…，（０，０，１０２３)，（０，６４，０），（０，６４，６４），…，（０，６４，１０２３），（０，１２８，０），（０，１２８，６４），…，（１０２３，１０２３，１０２３）
の値をとる。

まず、上記（Ｒ，Ｇ，Ｂ）の４９１３個（＝１７×１７×１７個）のデータを順番に入力する。次いで、先に最適化された色処理パラメータを用いてＲ’Ｇ’Ｂ’値を算出する。その後、Ｒ’Ｇ’Ｂ’値をＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定してＣＩＥＬＡＢに変換したＬ^*ａ^*ｂ^*値を算出する。そして、算出された４９１３組の（Ｒ、Ｇ、Ｂ）−（Ｌ^*、ａ^*、ｂ^*）の組を３ＤＬＵＴとして色処理パラメータ保持部２０６に格納する。

ここで、ステップＳ１４、Ｓ１５、Ｓ１６、Ｓ１７におけるＲ’Ｇ’Ｂ’値の算出方法、及びＲＧＢ→ＣＩＥＸＹＺ、ＣＩＥＸＹＺ→ＣＩＥＬＡＢへの変換式について説明する。

［Ｒ’Ｇ’Ｂ’値の算出方法］
色処理パラメータには、たとえば３×３のマトリックス、３×９のマトリックス、或いは３×１９のマトリックス等が考えられる。そして、以下の式に従ってそれぞれＲ’Ｇ’Ｂ’値を算出する。

まず、入力ＲＧＢ値を正規化する。正規化は入力ＲＧＢ値が１０ビットの場合には各値を１０２３（＝２¹⁰−１）で割る。次に、以下に示す式（４）〜（６）のいずれかを用いてＲ’Ｇ’Ｂ’を算出する。

但し、Ｍ１：３×３マトリックス、Ｍ２：３×９マトリックス、Ｍ３：３×１９マトリックスである。

［ＲＧＢ→ＣＩＥＸＹＺへの変換方法］
以下に示す式（７）〜（１０）を用いて変換する。

［ＣＩＥＸＹＺ→ＣＩＥＬＡＢへの変換方法］
以下に示す式（１１）〜（１６）を用いて変換する。

但し、Ｘｎ、Ｙｎ、Ｚｎは撮像時の照明の色温度から算出した値である。

＜その他の実施形態＞
前述した実施形態においては、２枚の画像データを入力し、装置内で各画像各パッチのＲＧＢ平均値を求めて、入力データ、照明ムラ補正用データを使用していた。これに対し、ステップＳ１１、ステップＳ１２及びステップＳ１５の処理を外部の装置で行い、図６に示すようなテキストデータを入力するようにしても良い。すなわち、図６は、入力データ、照明ムラ補正用データ及びターゲットデータをテキストファイルから読み込む場合のテキストデータの一例を示す図である。

また、前述した実施形態においては、照明ムラ補正用チャートを１枚使用していたが、明度の異なる複数の照明ムラ補正用チャートを使用しても良い。この場合、例えば白、灰、黒の３枚のチャートを用意し、色票３と同一照明下で撮像する。そして、補正の際に色票３の任意のパッチのＲＧＢ平均値をＲ_org、Ｇ_org、Ｂ_orgとする。また、照明ムラ補正用チャート４上の色票３の任意のパッチと同じ範囲のＲＧＢ平均値を
Ｒ_w、Ｇ_w、Ｂ_w（白）、
Ｒ_g、Ｇ_g、Ｂ_g（灰）、
Ｒ_k、Ｇ_k、Ｂ_k（黒）とする。さらに、照明ムラ補正用チャート４上の測定したＲＧＢ平均値の最大値を
Ｒ_wm、Ｇ_wm、Ｂ_wm（白）、
Ｒ_gm、Ｇ_gm、Ｂ_gm（灰）、
Ｒ_km、Ｇ_km、Ｂ_km（黒）とする。さらにまた、補正後のＲＧＢ平均値をＲ_aft、Ｇ_aft、Ｂ_aftとし、以下の式（１７）〜（２１）を用いて算出する。

さらに、前述した実施形態においては、評価関数として式（１）又は式（２）を使用していたが、下記の式（２２）又は式（２３）で表される△Ｅ₉₄を使用しても良いことは言うまでもない。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

本発明の第１の実施形態に係る画像処理システムの構成を示す図である。 本実施形態でデジタルカメラ１で撮像される色票３の一例を示す図である。 本発明の第１の実施形態に係る色処理パラメータ編集装置２における画像処理手順を説明するためのフローチャートである。 図３のフローチャートにおける色処理パラメータ最適化処理（ステップＳ１）の詳細な処理手順を説明するためのフローチャートである。 本実施形態でデジタルカメラ１で撮像される照明ムラ補正用チャート４の一例を示す図である。 入力データ、照明ムラ補正用データ及びターゲットデータをテキストファイルから読み込む場合のテキストデータの一例を示す図である。

符号の説明

１ デジタルカメラ
２ 色処理パラメータ編集装置
３ 色票
１０１ 撮像部
１０２、２０１ データ入出力部
１０３、２０２ 画像処理部
１０４、２０６ 色処理パラメータ保持部
１０５ 表示部
２０３ 平均値算出部
２０４ 補正部
２０５ パラメータ最適化部
２０７ 入力データ／ターゲットデータ保持部

Claims (8)

1. 撮像手段によって撮像された画像を色処理する際に用いられる色処理条件を生成するための色処理方法であって、
   複数の色パッチを有するカラーチャート及び該カラーチャートと異なるチャートであり均一色を有する照明ムラ補正用チャートを、前記撮像手段を用いて同一照明下で撮像し、前記カラーチャートを撮像した第１の画像の色データ及び前記照明ムラ補正用チャートを撮像した第２の画像の色データを入力する色データ入力工程と、
   前記第１の画像の色データを、該第１の画像の色データの前記カラーチャートにおける位置に対応する位置の前記照明ムラ補正用チャートの前記第２の画像の色データを用いて、補正する補正工程と、
   補正された前記第１の画像の色データに対応する目標色データを入力する目標色データ入力工程と、
   補正された前記第１の画像の色データを前記目標色データに変換するための色処理条件を生成する生成工程と
   を有することを特徴とする色処理方法。
2. 前記生成工程は、補正された前記第１の画像の色データを前記目標色データに近づけるように前記色処理条件を最適化することを特徴とする請求項１に記載の色処理方法。
3. 前記照明ムラ補正用チャートは、均一な白色面を有するチャートであることを特徴とする請求項１または２に記載の色処理方法。
4. 前記補正工程は、
   前記第１の画像内における、前記カラーチャートの第１色パッチに対応する色データに対して、
   前記第２の画像内における前記第１色パッチと同じ位置の色データと、前記第２の画像内における色データの最大値と、を用いて補正処理を加えることを特徴とする請求項１から３のいずれか１項に記載の色処理方法。
5. 前記生成工程により生成された前記色処理条件を前記撮像手段が撮像した画像を色処理する際に用いる色処理条件として前記撮像手段を備える撮像装置にアップロードするアップロード工程をさらに有することを特徴とする請求項１から４までのいずれか１項に記載の色処理方法。
6. 撮像手段によって撮像された画像を色処理する際に用いられる色処理条件を生成するための色処理装置であって、
   前記撮像手段によって、複数の色パッチを有するカラーチャート及び該カラーチャートと異なるチャートであり均一色を有する照明ムラ補正用チャートを同一照明下で撮像し、前記カラーチャートを撮像した第１の画像の色データ及び前記照明ムラ補正用チャートを撮像した第２の画像の色データを入力する色データ入力手段と、
   前記第１の画像の色データを、該第１の画像の色データの前記カラーチャートにおける位置に対応する位置の前記照明ムラ補正用チャートの前記第２の画像の色データを用いて、補正する補正手段と、
   補正された前記第１の画像の色データに対応する目標色データを入力する目標色データ入力手段と、
   補正された前記第１の画像の色データを前記目標色データに変換するための色処理条件を生成する生成手段と
   を有することを特徴とする色処理装置。
7. 前記補正手段は、前記第１の画像の色データに対応する前記第２の画像の色データおよび前記第２の画像の色データの最大値を用いて、該第１の画像の色データを補正することを特徴とする請求項６に記載の色処理装置。
8. 請求項１〜５の何れか１項に記載の色処理方法の各工程をコンピュータに実行させるプログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。