JP5248849B2 - 撮像装置、情報処理装置及びそれらの画像処理方法 - Google Patents

Description

本発明は、撮像装置、情報処理装置及びそれらの画像処理方法に関する。特に、画像処理用のパラメータを選択して設定することが可能なデジタルカメラ等の撮像装置及びその制御方法や、そのような撮像装置に設定可能な画像処理用のパラメータを生成する情報処理装置及び方法に関する。

一般に、デジタルカメラ内部の画像処理における各種変換処理（例えば、ガンマ変換等）の手法として、３×３のマトリクス演算や１次元のルックアップテーブルが用いられている。これら変換処理は、ハードウエアのメモリやゲート数を削減してチップ自身を小さくしたり、省エネルギーのために規模を小さくしたりするためには、好適な手法である。しかしながら、近年、ハードウエアの微細化が進み、ＩＣの電源電圧も下げられたことによって、チップ自身の小サイズ化、より強力な省エネルギー化を実現することが可能になった。その結果、複雑な回路や大量のメモリをＩＣ内に搭載することが可能となっている。そのため、デジタルカメラにおいて、３次元のルックアップテーブル（３次元格子点データテーブル）や高次のマトリクス演算等を搭載し、カメラ内部の画像処理において複雑な画像処理を実行できる可能性が出てきている（特許文献１を参照）。

しかしながら、デジタルカメラ内では、ユーザインターフェースの制約やハードウエアリソースの制約から、実行可能な画像処理は限られている。例えば、デジタルカメラ内の画像処理の調整は、予め決められた複数の画像特性から１つを選択し、選択した画像特性の彩度の増減もしくは一部の色相の回転を可能とする程度に限られている。そのため、ユーザが本当に望む色再現をユーザ自身で得ることができない場合があった。従って、デジタルカメラが生成するＪＰＥＧ画像もしくはＲＡＷデータ[raw data]から現像された画像は、パーソナルコンピュータ等の情報処理装置上で稼動する画像処理アプリケーションを用いて、好みの画像に調整される必要が生じる。このため、好みの色再現による画像を得ようとすると、ワークフロー的に時間がかかってしまう。画像処理アプリケーションを用いた場合、比較的自由に画像特性を調整することができる。特に、３次元の格子点データテーブルや２次以上の高次のマトリクス演算処理は色再現の細かい調整を可能とし、画像特性の調整に大きく寄与している。
米国特許第５０７３８１８号

しかしながら、このような３次元の格子点データテーブルや２次以上の高次のマトリクス演算処理は、万能な調整機構と思われがちだが、元の画像からの変更量が大きいとトーンジャンプ等を生じ、画像の破綻を招いてしまう。

また、ＩＣ内のハードウエアでは、格子点データテーブルの格子点の数やビット数に制約があり、アプリケーションで行うような、高精度の画像処理は行うことが出来ないことが多い。また、例えばアプリケーションでＲＡＷ画像データの現像処理を行う場合、撮影ファイルにルックアップテーブルのデータを記録しておく必要がある。このため、ＲＡＷ画像のファイルサイズが大きくなってしまう。例えば、ｍグリッドの３次元格子点データテーブルでは、１次元あたりのグリッド数がｍ個であるので、全グリッド数はｍ３個となる。従って、各グリッドに３つのｎバイト値が割り当てられたｍグリッドの３次元ルックアップテーブルは、ｍ３×ｎ×３バイトの容量を必要とする。具体的には、９グリッドの８ビット（１バイト）の３次元格子点データアップテーブルには、２１８７（＝９×９×９×３）バイトの容量が必要になる。これに対して、３３グリッド１６ビット（２バイト）の３次元格子点データテーブルでは、２１５６２２（＝３３×３３×３３×２×３）バイトの容量が必要となり、実に１００倍の容量が必要となる。また、例えばユーザによって選択可能な３次元ルックアップテーブルを複数持っている場合は、後の現像処理のために、全ての３次元ルックアップテーブルをファイルに記録しておくことが望ましい。そのため、ファイルサイズは更に膨大になり、メモリに記録するのに時間がかかってしまう。結果として、カメラの連続撮影枚数が制限されてしまう。

特許文献１には、画像処理を行うためのルックアップテーブル回路を持つプリンタが記載されている。特許文献１によれば、ルックアップデータを全て格納するとファイルサイズが大きくなるため、補正関数から実際に画像を変換するためのルックアップテーブルが作成されることが記載されている。

しかしながら、画像処理をビット精度よく行うために、ルックアップテーブルで全てのデータを作り上げようとすると、ルックアップテーブルのデータサイズが膨大になり、回路規模も大きくなってしまう。また、画像処理をビット精度よく行うために、高次のマトリクス演算を用いて画像処理を行なおうとすれば、掛け算器が大量に必要となり、ビット数が多くなるとゲート規模が著しく増大してしまう。実際には２次のマトリクス演算まで使われるとしても、３次元格子点データテーブルを用いた処理よりも画像処理の自由度が制限されてしまう。

また、高次のマトリクス演算を使う場合、目標となる画像に対してパラメータが非常に多く、実際には最小二乗法などを用いて画像全体の最適化を行うために、部分的には入力画像データを所望の目標色に出来ないことがある。更に、マトリクスによっては、次数を上げることによって、目標に対する出力される色の精度を向上させることが出来る。しかしながら、次数をあげることによって、入力画像データが存在しない色域では逆に思わぬ方向に色が変更されてしまい、うまく色再現の最適化が行えないことがある。このような課題を解決するためには、結局マトリクスの次数を下げて最適化を行い、目標値との差を大きくする以外に良い解決方法は得られないことが多かった。つまり、マトリクス演算は、情報量は少ないが、３次元格子点テーブルの処理よりは、画像処理の自由度が制限されてしまう。

また、カメラ内の画像処理と異なるアルゴリズムの画像処理をアプリケーションで行う場合、あらかじめ、同じような処理結果になる係数をカメラ内にも持っておく必要がある。この場合、カメラ内の画像処理には用いない３次元格子点データテーブルのデータを大量にカメラ内のＲＯＭに記憶しておかなければならず、メモリの利用効率を著しく低下させてしまう。

本発明は上記の課題に鑑みてなされたものであり、マトリクス係数による保持を可能としながら、画像処理の自由度を向上可能とすることを目的とする。

上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
３次元格子点データテーブルの元となるマトリクス係数と、３次元格子点データテーブルの格子点データを編集する編集データを保持する保持手段と、
前記マトリクス係数を用いたマトリクス演算を行うことによって、前記３次元格子点データテーブルの格子点データを算出する算出手段と、
前記編集データに基づいて前記算出手段で算出された前記３次元格子点データテーブルの格子点データを編集する編集手段と、
前記編集手段により編集された前記３次元格子点データテーブルを用いて、撮影により取得された画像データを処理する処理手段と、
前記画像データ、前記編集データ及び前記マトリクス係数を含む画像ファイルを生成する生成手段とを備える。

また、本発明によれば、マトリクス係数による保持を可能としながら、画像処理の自由度を向上することが可能となる。即ち、３次元格子点データテーブルより情報量の少ない、高次のマトリクス係数の利点と、部分的に３次元格子点データテーブルを編集するための手段によって得られる目標の色再現の精度の両方を実現することが出来る。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

［第１実施形態］
図１は第１実施形態に係るデジタルカメラの構成を示すブロック図である。図１において、撮影レンズ１を通ってきた光は、赤外カットフィルタ２、光学ＬＰＦ３を通過して撮像素子４に結像する。撮像素子４としては、ＣＣＤやＣＭＯＳセンサ等が挙げられる。一般に撮像素子４の受光面にはフォトダイオードによるセンサが平面的に配置されている。そして、例えば、Ｒ（赤）・Ｇ(緑)・Ｂ（青）の各原色カラーフィルタが所定の配列で配置されたカラーフィルタにより、各センサに１色のカラーが割り当てられる。或いは、撮像素子４を原色の数だけ用意して、各撮像素子に１色ずつ割り当てる形態でもよい。

撮像素子４に結像された光は、各センサにおいて入射光量に応じた量の電荷に変換される。タイミングジェネレータ１６が発生する信号は、水平駆動用ドライバ１７と垂直駆動用ドライバ１８に供給される。水平駆動用ドライバ１７と垂直駆動用ドライバ１８はタイミングジェネレータ１６からの信号に従って撮像素子４に駆動信号を供給する。この駆動信号に従って撮像素子４からセンサに蓄積された電荷が伝送され、順次電圧信号に変換される。ＣＰＵ１５はシャッターボタン１９の押下操作に応じて撮像素子４による撮像が実行されるように、タイミングジェネレータ１６を制御する。

変換された電圧信号は、相関二重サンプリング／ゲイン調整部５（以下ＣＤＳ／ＡＧＣと呼ぶ）でサンプリングされ、ゲイン調整された後、Ａ／Ｄ変換器６でデジタル信号に変換される。Ａ／Ｄ変換器６でデジタル信号に変換された画像データは、画像処理ＩＣ７に入力される。画像処理ＩＣ７は、ＷＢ回路７ａ、画像処理部７ｂ、サムネイル生成部７ｃ、可逆圧縮部７ｄ、３ＤＧＴ部７ｅ、ＪＰＥＧ圧縮部７ｆを有する。画像処理ＩＣ７では、まず、ＷＢ回路７ａが入力された画像データに対してホワイトバランスのためのデータを算出する。ホワイトバランスのためのデータと画像データはいったんメモリ８に格納される。

メモリ８に格納された画像データは、再び画像処理ＩＣ７に入力され、次の３つの処理が施される。
（１）デジタル信号に変換された画像データは、そのまま可逆圧縮部７ｄにおいてロスレス圧縮（可逆圧縮）され、ＲＡＷデータとしてＣＰＵバス１０に送り出される。
（２）デジタル信号に変換された画像データは、サムネイル生成部７ｃで間引き処理等のダウンサンプリングにより元の画像サイズより小さいサムネイル画像に変換され、ＣＰＵバス１０に送られる。なお、間引き処理では、例えばＲＡＷデータに周知のブロック内平均処理を施すことによりダウンサンプリングがなされる。
（３）ＪＰＥＧ圧縮するための画像を作るために、まず、画像処理部７ｂ（詳細は図２により後述する）において、上記デジタル信号に変換された画像データに画像処理が施される。その結果として出力されるＹＣｂＣｒ色空間の画像データは３次元格子点データテーブル７ｅに入力される。３次元格子点データテーブル７ｅにより変換された画像データは、ＪＰＥＧ圧縮部７ｆでラスタブロック変換されてＪＰＥＧ圧縮され、ＣＰＵバス１０に送られる。

なお、本実施形態において３次元ルックアップテーブルと３次元格子点データテーブルとは異なるテーブルとして定義している。ただし、例外的に、３次元ルックアップテーブルと３次元格子点データテーブルの格子点数が同一である場合は、２つのテーブルは同義である。

可逆圧縮されたＲＡＷデータとＪＰＥＧ圧縮された画像データはＣＰＵバス１０を経てメモリ９に格納される。ＣＰＵ１５はメモリ９に格納されたＲＡＷデータにＪＰＥＧ圧縮画像を付帯させてＲＡＷファイル[raw file]を生成する。本実施形態では、ＣＰＵ１５は、ＪＰＥＧ圧縮画像をＲＡＷデータのプレビュー用のデータとして付帯させている。生成されたＲＡＷファイルはインターフェース１３を介して着脱可能に接続されている外部メモリ１４に格納される。以上の構成において、３次元格子点データテーブル７ｅは、ＲＡＷデータと一緒に撮影時に生成されるものであり、ＪＰＥＧ画像を生成するために用いられる。ＲＡＷデータを出力する場合には、ＲＡＷファイルに付帯されるプレビュー用のＪＰＥＧ画像を生成するために、３次元格子点データテーブル７ｅは用いられる。

なお、以上のＣＰＵ１５による処理を実現するための制御プログラムはメモリ８或いはメモリ９に格納されているものとする。

次に、画像処理部７ｂで行わる画像処理について、図２を参照してさらに詳しく説明をする。図２は画像処理部７ｂの構成の詳細を示すブロック図である。

図２において、メモリ８から入力された画像データは、まずホワイトバランス処理部７ｂ１に供給される。ホワイトバランス処理部７ｂ１は、ホワイトバランス係数を用いて画像データにホワイトバランス処理を施す。なお、ホワイトバランス係数は、ＷＢ回路７ａで算出されたホワイトバランスのためのデータに基づいてＣＰＵ１５が算出したものであり、メモリ８に格納されており、必要に応じてＩＣ７のレジスタにセットされる。もしくは、予め設定されているホワイトバランス係数（例えばデイライト、タングステン、蛍光灯等の光源に応じて予め設けられたホワイトバランス係数）を用いて入力された画像データに対してホワイトバランス処理が施されてもよい。ホワイトバランス処理された画像データは、色補間部７ｂ２に入力され、色補間処理が施される。図３に示す様にＲＧＢが格子状に配列されたパターン図３の（ａ），（ｂ））のデータから、Ｒ、Ｇ、Ｂの３プレーン（図３の（ｃ））が作り出される。

次に、ＲＧＢ３プレーンそろった画像データは、マスキング処理部７ｂ３において、例えば、３×３のマトリクス演算（式１）等で色の最適化が行われる。
Ｒ’＝ｍ11×Ｒ ＋ ｍ12×Ｇ ＋ m13×Ｂ
Ｇ’＝ｍ21×Ｒ ＋ ｍ22×Ｇ ＋ m23×Ｂ
Ｂ’＝ｍ31×Ｒ ＋ ｍ32×Ｇ ＋ m33×Ｂ …式（１）
画像データはマスキング処理部７ｂ３を経て、ガンマ変換部７ｂ４に供給される。ガンマ変換部７ｂ４は、画像データにガンマ変換を施す。ＹＵＶ変換部７ｂ５は、ガンマ変換部７ｂ４でガンマ変換されたＲＧＢ信号の画像データを、輝度と色差成分からなるＹＵＶ信号に変換し、図３の（ｄ）に示すＹ，Ｃｂ，Ｃｒの３プレーンを生成する。ＹＵＶ信号に変換するのは、偽色処理や、エッジ強調処理を行なうためである。

ＪＰＥＧ画像を作成する場合、ＹＵＶ信号のうちの輝度信号（Ｙ）は、エッジ強調回路７ｂ９でエッジ強調される。また、ＹＵＶ信号のうちの色差成分信号（ＵＶ）は、メディアンフィルタ７ｂ８で雑音処理が施される。

エッジ強調されたＹ信号と、雑音処理されたＵＶ信号は、次に３次元格子点データテーブル７ｅに入力され、色変換される。３次元格子点データテーブル７ｅから出力されるＹＵＶのデータはＪＰＥＧ圧縮部７ｆでＪＰＥＧ圧縮処理される。
ここで、３次元格子点データテーブル７ｅは、ＪＰＥＧ等の画像データの圧縮処理より前であり、少なくともホワイトバランス処理後に配置されることが好ましい。あるいは、上述のようにホワイトバランス処理、色補間処理、マスキング処理、ガンマ変換処理、ＹＵＶ変換処理、エッジ強調処理、メディアンフィルタ等で処理された最後に行われることが望ましい。なぜならば、出力される画像の３次元格子点データテーブル７ｅによって施されたユーザの意図する局所的に変換された色が各処理によって変化してしまうことなく、維持されるからである。

次に、３次元格子点データテーブル７ｅについて詳細に説明する。図４は３次元格子点データテーブルの一部を示す図である。ここでは、入力をＲＧＢ信号として説明しているが、図１、図２においては入力はＹＵＶ信号となっている。３次元格子点データテーブル７ｅ内でＹＵＶ信号からＲＧＢ信号に変換しなおしても良いし、３次元格子点データテーブル自体をＹＵＶで持つことも可能である。

入力データが〔R1, G1, B1〕＝〔155，155，140〕の場合、格子点数が９個（９グリッド）の３次元格子点データテーブルにおける位置は、図４のような８個の格子点に囲まれた位置となる。この場合、上記入力データについて単純な線形補間をすると、Ｒｅｄの値はＰ１とＰ２の位置のデータの補間と、Ｐ３とＰ４の位置のデータの補間と、Ｐ５とＰ６の位置のデータの補間と、Ｐ７とＰ８の位置のデータの補間を用いて算出することが出来る。なお、Ｐ１＝〔128，128，128〕、Ｐ２＝〔160，128，128〕である。また、Ｐ３＝〔128，160，128〕、Ｐ４＝〔160，160，128〕である。また、Ｐ５＝〔128，128，160〕、Ｐ６＝〔160，128，160〕である。また、Ｐ７＝〔128，160，160〕、Ｐ８＝〔160，160，160〕である。

〔128，128，128〕の格子点（Ｐ１）の値が〔130，120，120〕で、〔160，128，128〕の格子点（Ｐ２）の値が〔165，120，120〕であったとすると、〔155，128，128〕の位置の値は、
（165−130）÷（160−128）×（155−128）＋130＝159.5 …式（２）
となる。同様に他の３ヶ所による補間（Ｐ３−Ｐ４、Ｐ５−Ｐ６、Ｐ７−Ｐ８）も行い、それらの結果から〔155，155，140〕の点のＲｅｄの値が確定する。これらの計算をＧｒｅｅｎとＢｌｕｅに関しても行い、〔155，155，140〕におけるＲＧＢ値が決定する。

以上の計算は、非常に単純な計算であり、高次のマトリクス演算を行うよりはるかに回路規模を小さくすることが出来る。

例えば、３次の項までマトリクス演算をするとすると、
Ｒｅｄ＝ｍ01×Ｒ＋ｍ02×Ｇ＋ｍ03×Ｂ
＋ｍ04×Ｒ×Ｒ ＋ ｍ05×Ｇ×Ｇ ＋ ｍ06×Ｂ×Ｂ
＋ｍ07×Ｒ×Ｇ ＋ ｍ08×Ｒ×Ｂ ＋ ｍ09×Ｇ×Ｂ
＋ｍ10×Ｒ×Ｒ×Ｇ＋ｍ11×Ｒ×Ｒ×Ｂ＋ｍ12×Ｒ×Ｒ×Ｒ
＋ｍ13×Ｒ×Ｇ×Ｇ＋ｍ14×Ｇ×Ｇ×Ｂ＋ｍ15×Ｇ×Ｇ×Ｇ
＋ｍ16×Ｒ×Ｂ×Ｂ＋ｍ17×Ｇ×Ｂ×Ｂ＋ｍ18×Ｂ×Ｂ×Ｂ
＋ｍ19×Ｒ×Ｇ×Ｂ …式（３）
となり、１９個の係数、４５回の掛け算、１８回の足し算を要する計算処理になってしまう。また、更にＧｒｅｅｎとＢｌｕｅも同様の回路が必要になる。

以上のマトリクス演算をハードウエアで実現することは可能であるが、回路規模はかなり大きくなる。しかしながら、一つの画像特性のパラメータ量を比較すると、格子点の数９×９×９のデータ量よりもマトリクス係数セットのデータ量の方がはるかに少なくてすむ。従って、メモリ使用量の観点からは、マトリクス演算のほうが有利である。

そこで、本実施形態では、３次元の格子点データテーブルを直接格納するのではなく、３次元格子点データテーブルの元になる高次のマトリクス係数セットをカメラ内に格納しておく。そして、この高次のマトリクス係数セットを用いて３次元格子点データテーブルを生成するように構成する。例えば、上記のｍ01〜ｍ19のマトリクス係数セットを格納しておき、現像処理に先立って、３次元格子点データテーブルの各格子点のＲ，Ｇ，Ｂ値を式（３）に代入して各格子点のＲｅｄ値を求める。同様に、Ｇｒｅｅｎ，Ｂｌｕｅの値を各格子点について求める。このようにして、３次元格子点データが生成され、生成されたデータは３次元格子点データテーブル７ｅに設定される。

上述のように、上記のマトリクス演算をハードウエアで構成することは可能であるが、回路規模はかなり大きくなってしまう。また、アプリケーションにおいて、高次のマトリクス演算をすることは可能であるが、計算に時間がかかってしまう。本実施形態によれば、マトリクス係数のセットを格納してメモリを節約すると共に、画像処理時にはマトリクス係数のセットから３次元の格子点テーブルを作ることによって、その演算時間を短縮する。

より具体的には、図５の様に、３次元の格子点テーブルデータを直接格納するのではなく、３次元の格子点テーブルデータの元になる高次のマトリクスデータ（マトリクス係数）をカメラ内に格納しておく。そして、カメラで使うパラメータを現像処理する前にマトリクス係数を３次元格子点データテーブルに変換し、更に、当該マトリクス係数と対になって保持されている編集データに従って、当該テーブルの局所的な格子点データの置き換えを行う。編集データは、例えば、編集対象とする色度点と色相の範囲、そして、色相角度の変化量を示しており、詳細は後述する。編集データに従って３次元格子点データテーブルの局所領域を書き換え、得られた格子点データを３次元格子点データテーブル７ｅとして用いる。

以上のように、本実施形態のデジタルカメラでは、ＲＡＷデータを画像処理部７ｂによって現像し、現像された画像データに３次元格子点データテーブル７ｅによる調整を施して、最終的な画像データ（ＪＰＥＧ圧縮対象の画像データ）を得る。

以上のような構成のデジタルカメラの動作について説明する。図５は本実施形態によるデジタルカメラにおける現像処理から画像圧縮までの処理の流れを説明するブロック図である。

選択部５１はデジタルカメラが有するディスプレイに、画像特性保持部５０（例えばメモリ８に構成される）が保持している画像特性の選択画面を提示する。この選択画面により、画像処理部７ｂに設定すべき画像処理パラメータと３次元格子点データテーブル７ｅのためのマトリクス係数及び編集データをユーザに選択させる。尚、本明細書では、画像特性が有するパラメータのうち、画像処理部７ｂに設定されるパラメータを画像処理パラメータと称する。また、画像特性には、３次元格子点データテーブル７ｅを生成するためのマトリクス係数及び編集データが含まれているものとする。

選択部５１は、選択指示された画像特性から画像処理パラメータ、マトリクス係数及び編集データを抽出し、画像処理パラメータを画像処理部７ｂに、マトリクス係数と編集データを展開部５２にそれぞれ提供する。展開部５２は選択部５１から提供されたマトリクス係数５０１と編集データ５０３を用いて展開処理を実行し、３次元格子点データテーブル７ｅを決定する。

３ＤＧＴ展開部５０２は、カメラ内のメモリ８に設けられた画像特性保持部５０に格納から取得された高次のマトリクス係数５０１を用いて３次元格子点データを生成する。３ＤＧＴ編集部５０４は、選択されたマトリクス係数に対応して保持されている編集データ（編集データ５０３）を取得する。編集データは、３次元格子点データテーブルの局所部分の格子点データを編集するための編集内容を示すデータである。３ＤＧＴ編集部５０４は、編集データ５０３に従って、３ＤＧＴ展開部５０２によって先に展開された３次元格子点データテーブルの局所部分の格子点データを編集する。

例えば、編集データ５０３が、色相角２０度の所の色、もしくは、色相角２０度の所に対応づけられている所定の色（色度点）を中心に、±５度の色相範囲を＋３度回転させる編集を指示していた場合を説明する。この場合、３次元格子点データテーブルにおいて、色相角２０度に相当する格子点を中心に±５度の範囲を選択し、選択された格子点のデータを色相角で＋方向に３度回転させるべく書き換える。尚、このとき、編集による変更量（色相角の回転量）が隣の格子点データの色相角を越えてしまうと、画像に不連続性が生じてしまい、階調が反転した画像を生成してしまう。このような場合、例えば、選択範囲の外側の当該選択範囲に最も近い格子点データに対しても、中心点（指定された色度）が＋５度回転できるように線形的に置き換えていくといった工夫が必要である。なお、調整対象の色の指定方法としては、上記の他にも、色相、彩度、輝度に関して全てを指定して調整対象の色を特定する、色相のみを指定してその色相を含む全ての色を調整対象の色とすることなど、種々の方法を用いることができる。

以上のように、編集データ５０３は、編集対象の色を示す色空間における目標値（色度点）、編集の影響が及ぶ色空間における範囲を示す影響範囲（色相角の範囲）、編集処理による変更の色空間における方向及び大きさ（色相角の回転量）を示す変更量を含む。そして、３ＤＧＴ編集部５０４は、目標値（色度値）を中心とした色相角の範囲内の色（影響範囲の色）が、変更量（色相角の回転量）で示されるように変化するように、３次元格子点データテーブルの格子点データを編集する。

尚、上記編集データは、目標値を色度点によって、影響範囲を色相角の範囲によって示し、変更量を色相角度の変化量で示しているが、これに限られるものではない。例えば、変更量として、彩度の増減量や、明度の増減量を用いることも可能である。

以上のようにして、３次元格子点データテーブル７ｅが生成される。撮像処理によって得られた画像信号５０６は、画像処理部７ｂによって画像処理が施され、３次元格子点データテーブル７ｅで変換される。そして、ＪＰＥＧ圧縮部７ｆにより圧縮処理が施され、圧縮画像が得られる。

尚、本実施形態のデジタルカメラは、ＲＡＷデータを含むＲＡＷファイルを出力することができる。そして、このＲＡＷファイルには、画像特性保持部５０から予め選択されたマトリクス係数と編集データがそのヘッダ部に記録される。

以上の処理を図８のフローチャートを参照して説明する。図８に示される処理はＣＰＵ１５がメモリ８に格納された制御プログラムを実行することにより実行される。

ステップＳ８０１において、選択部５１は、デジタルカメラが有する表示画面（不図示）にパラメータの選択画面を表示し、ユーザに所望のパラメータ（マトリクス係数及び編集データのペア）を選択させる。「夜景」「遠景」等の予め設定されたパラメータが選択されると、３ＤＧＴ展開部５０２は選択されたマトリクス係数を用いて３次元格子点データテーブルの各格子点データを算出する（ステップＳ８０２、Ｓ８０３）。そして、ステップＳ８０４において、３ＤＧＴ編集部５０４は、ステップＳ８０１で選択された編集データを用いて、ステップＳ８０３で計算された格子点データを編集する。ステップＳ８０５では、画像処理部７ｂ及び編集された３次元格子点データテーブル７ｅを用いて画像信号（ＲＡＷデータ）５０６を処理し、画像を得る。得られた画像はＪＰＥＧ圧縮部７ｆで圧縮処理が施され外部メモリ１４に記録される。或いは画像はデジタルカメラの表示画面（不図示）に、撮影内容の確認のために表示される。

ＲＡＷファイルを作成する場合は、ステップＳ８０６からステップＳ８０７へ処理が進み、ステップＳ８０１で選択されたマトリクス係数と編集データがＲＡＷファイルのヘッダに格納される。そして、ステップＳ８０９において、ＲＡＷデータを格納し、ＲＡＷファイルが形成される。

以上、デジタルカメラ側の３次元格子点データテーブルについて説明したが、上記のマトリクス係数から３次元格子点データテーブルを生成する構成は、パーソナルコンピュータ等の情報処理装置上で動作するアプリケーションにも適用することができる。この場合、上述した画像処理部７ｂ及び３次元格子点データテーブル７ｅに対応する処理がアプリケーションによって実行されることになる。

図６は本実施形態による情報処理装置の構成を説明するブロック図である。情報処理装置としては一般的なパーソナルコンピュータを用いることができる。図６において、ＣＰＵ６０１はＲＯＭ６０２或いはＲＡＭ６０３に保持されたプログラムを実行することにより各処理を実現する。ＲＯＭ６０２は情報処理装置における基本入出力システムやブートプログラム等が格納されている。ＲＡＭ６０３はＣＰＵ６０１のメインメモリとして機能する。ＲＡＭ６０３には、外部記憶装置６０４にインストールされているプログラムがＣＰＵ６０１による実行のためにロードされる。ディスプレイ６０５はＣＰＵ６０１の制御下で各種表示を行う。入力装置６０６はキーボードやポインティングデバイスで構成される。インターフェース６０７は例えば、デジタルカメラの外部メモリ１４を装着可能とし、外部メモリ１４に記録されているＲＡＷファイルをＲＡＭ６０３や外部記憶装置６０４に取り込むことができる。或いは、インターフェース６０７はＵＳＢ等の通信インターフェースを備えても良い。この場合、インターフェース６０７を介してデジタルカメラと接続し、情報処理装置はデジタルカメラの外部メモリ１４に格納されているデータを取得することができる。或いは、インターフェース６０７を介して、後述する設定データをデジタルカメラに送信することができる。

各種アプリケーションは外部記憶装置６０４にインストールされて、実行時にＲＡＭ６０３にロードされる。なお、外部記憶装置６０４としてはハードディスクが一般的である。以下では、上述のデジタルカメラによって生成されたＲＡＷファイルを処理し、デジタルカメラにおける画像処理動作のための設定パラメータを生成するアプリケーション（以下、画像処理アプリケーションという）を説明する。

図７は、本実施形態による画像処理アプリケーションの機能構成例を説明するブロック図である。尚、図７に示される各機能は、ＣＰＵ６０１がＲＡＭ６０３にロードされた所定の制御プログラムを実行することにより実現されるものである。画像処理アプリケーションにおいても、高次のマトリクス演算処理を実行することは可能であるが、その計算（処理）に時間がかかってしまう。そこで、本実施形態では、画像処理アプリケーションにおいても、マトリクス係数から上述したような３次元の格子点データテーブル（３ＤＧＴ７１３）を作成することによって、その処理時間を短縮する。

さて、このような３次元の格子点データテーブルを用いて画像特性を作成する前に、目標となる画像特性に対して、画像処理部７ｂに相当する画像処理部７１２において画像特性を追い込んでおくことは重要である。３次元格子点データテーブル７１３を用いれば、画像処理部７１２の処理特性を１通りに固定し、全て３次元格子点データテーブルで対応することも可能である。しかしながら、元のデータに対して、３次元格子点データテーブル７１３による変化量が大きいと、その部分の画像にトーンジャンプ等の破綻をきたしてしまうおそれがある。そこで、本実施形態では、以下の方法により３次元格子点データテーブルを調整し、決定する。

インターフェース６０７を介して情報処理装置内に取り込まれたＲＡＷファイル７０１がＲＡＭ６０３に格納されているとする。選択部７０２は、所望の画像特性をユーザに選択させるためのユーザインターフェースを提供する。例えば、画像特性保持部７００に保持されている複数の画像処理特性の名称をディスプレイ６０５にリスト表示し、ユーザに所望の画像処理パラメータを選択させる。ユーザによる選択操作に応じて、選択部７０２は、選択された画像処理特性から画像処理部７１２に設定されるべき画像処理パラメータを抽出し、画像処理部７１２に設定する。また、選択部７０２は選択された画像処理パラメータからマトリクス係数と編集データを抽出して、これを展開部７１１に提供する。

展開部７１１は、選択部７０２によって提供されたマトリクス係数を展開し、３次元格子点データテーブル７１３を生成する。展開部７１１の動作は図５の展開部５２と同様である。即ち、３ＤＧＴ展開部７１１Ａは、高次のマトリクス係数を用いて３次元格子点データを生成する。そして、３ＤＧＴ編集部７１１Ｂは、編集データに従って、３ＤＧＴ展開部７１１Ａによって先に展開された３次元格子点データテーブルの局所部分の格子点データを編集する。こうして、３次元格子点データテーブル７１３が取得される。

ＲＡＷデータ取得部７０３は、ＲＡＷファイル７０１よりＲＡＷデータを取得する。画像処理部７１２は、選択部７０２によって設定された画像処理パラメータを用いて、ＲＡＷデータ取得部７０３が取得したＲＡＷデータを現像処理する。画像処理部７１２の処理内容は、画像処理部７ｂに関して説明した処理と同等である。画像処理部７１２によって現像された画像データの各画素値は、３次元格子点データテーブル７１３により変換される。画像表示部７１４は、３次元格子点データテーブル７１３による変換結果の画像データをディスプレイ６０５に表示する。

調整操作部７１５は、画像表示部７１４により表示された画像に対して画像特性の調整を行うためのユーザインターフェースを提供する。このユーザインターフェースを用いて、ユーザはディスプレイ６０５に表示された画像をみながら所望の色再現を得るべく、例えば、特開２００６−１５７８９２号公報に示されるようなユーザインターフェースを用いて画像特性を調整する。例えば、ユーザは、画像表示部７１４によって表示された画像が好みの画像になるように、インターフェース上で任意の色相や、彩度、コントラストを色度図座標や数値で入力し、部分的な調整を行うことができる。

調整操作部７１５は、ユーザインターフェースを用いて行われたユーザによる上記調整操作を反映するべく３次元格子点データテーブルの格子点データを変更する。３次元格子点データテーブル７１３は画像処理部７１２から出力される画像データについて常時変換処理を行っており、その変換出力は画像表示部７１４により表示される。このため、ユーザは調整操作による画像の変化をリアルタイムで観察することができる。

設定データ生成部７１６は、以上のようにして調整された３次元格子点データテーブルと画像処理部７１２に設定された画像処理パラメータを組み合わせて、デジタルカメラに設定することが可能な設定パラメータ（ユーザ設定パラメータ）を生成する。

図９は、第１実施形態による画像処理アプリケーションの処理を説明するフローチャートである。

ステップＳ９０１において、選択部７０２は、例えばディスプレイ６０５、入力装置６０６を用いて、画像特性を選択するためのユーザインターフェースを提供する。そして、選択部７０２は、ユーザ操作に応じて選択された画像特性から画像処理パラメータとマトリクス係数と編集データを抽出する。そして、画像処理パラメータを画像処理部７１２に設定し、マトリクス係数と編集データを展開部７１１に提供する。展開部７１１は提供されたマトリクス係数を展開して３次元格子点データテーブルを生成する。生成された３次元格子点データテーブルは編集データに従って局所的に編集され、３次元格子点データテーブル７１３が設定される。このように、選択部７０２により所望の画像特性を選択できるようにしたので、ユーザは自分の好みに近い画像特性によって画像処理された画像を得ることができる。

次に、ステップＳ９０２において、ＲＡＷデータ取得部７０３は、編集対象のＲＡＷデータを画像処理部７１２へ提供する。編集対象のＲＡＷデータは、例えばＲＡＷデータ取得部７０３がディスプレイ６０５にＲＡＷファイルの一覧を表示させ、ユーザによって選択されたＲＡＷファイルからＲＡＷデータを取得することにより得られる。画像処理部７１２は、ＲＡＷデータ取得部７０３から提供されたＲＡＷデータに画像処理部７ｂと同様の現像処理を施す。画像処理部７１２で現像処理されて得られた画像データは、３次元格子点データテーブル７１３で画素毎に変換処理が施される。３次元格子点データテーブル７１３から出力された変換後の画像データは画像表示部７１４によりディスプレイ６０５に表示される。こうして、選択された画像特性に応じて画像処理された画像がディスプレイ６０５に表示されることになる。

次に、ステップＳ９０３において、調整操作部７１５は、ステップＳ９０２で表示された画像が目標とする画像特性となるように編集するためのユーザインターフェースを提供する。このユーザインターフェースを用いてユーザによってなされた画像調整の結果は３次元格子点データテーブル７１３の格子点データへの変更として反映される。或いは、必要に応じて画像処理部７１２の画像処理パラメータが調整される。上述したように、３次元更新データテーブル及び画像処理部７１２の調整の結果はリアルタイムでディスプレイ６０５に表示中の画像に反映される。尚、画像調整では、表示中の画像が好みの画像になるように、色相や、彩度、コントラストなどの調整が部分的に行われる。こうして、ユーザは所望の画像特性の画像を得るまで編集操作を行う。

ステップＳ９０４では、上記編集操作の完了をユーザが指示したか否かを判定する。編集操作の完了が指示された場合は、ステップＳ９０５に進む。ステップＳ９０５において、設定データ生成部７１６は、変更された３次元格子点データテーブル７１３を生成するためのマトリクス係数と編集データや画像処理部７１２の画像処理パラメータを取得する。尚、編集データを取得する構成としては、第３実施形態により後述する編集データ生成部１１１９（図１１）が挙げられる。また、画像処理部７１２の画像処理パラメータについては、設定データ生成部７１６が画像処理部７１２のレジスタから画像処理パラメータを読み取ることで取得できる。そして、ステップＳ９０６において、設定データ生成部７１６は、ステップＳ９０５で取得された画像処理パラメータと、ステップＳ９０５で取得されたマトリクス係数及び編集データを１セットにすることにより新たな画像特性（設定データ）を生成する。尚、画像処理パラメータに変更が無いのであれば、設定データ生成部７１６はステップＳ９０１で選択された画像処理パラメータをそのまま用いるようにしてもよい。

ステップＳ９０７において、設定データ生成部７１６は、以上のように生成された画像特性をデジタルカメラで利用可能とすべく、当該画像特性をデジタルカメラに送信し、設定する。例えば、図５のユーザ設定としてデジタルカメラに登録（画像特性保持部５０に登録）され、上述した手順でデジタルカメラ内の画像処理に適用される。こうして、ユーザの好みの画像をカメラ内現像のＪＰＥＧ画像で得ることができる。

尚、上記では画像特性を画像特性保持部７００に保持されている画像特性から選択するが、これに限られるものではない。例えば、ＲＡＷファイルのヘッダ部に画像特性が記述されている場合に、これを利用するように構成しても良い。

以上をまとめると、本実施形態の画像処理アプリケーションを実行する情報処理装置は、ＲＡＷデータを処理するための第１処理部（７１２）、第２処理部（７１３）、表示部（７１４）、変更部（７１５）、生成部（７１６）を有する。第１処理部（画像処理部７１２）はユーザによって選択されたパラメータ（上記実施形態では、画像特性のうちの画像処理パラメータ）に従って、ＲＡＷデータを画像データへ現像する。また、第２処理部（７１３）は、第１処理部から出力された画像データに対して３次元格子点データテーブル或いは２次以上のマトリクス演算を施す。画像表示部７１４は、この第２処理手段を経た画像データを表示器であるところのディスプレイ６０５に表示する。変更部（調整操作部７１５）は、表示されている画像データに対するユーザの編集操作に応じて第２処理部の３次元格子点データテーブルを生成するためのマトリクス係数及び編集データを変更する。また、変更部は第１処理部の処理パラメータを変更可能としてもよい。そして、生成部（設定データ生成部７１６）は、第１処理部に設定された処理パラメータと上記変更部で変更されたパラメータにより、デジタルカメラへ設定可能な設定パラメータ（画像特性）を生成する。ここで、変更部によって第１の処理部の処理パラメータを変更されるのは、第２の処理部の２次元格子点データテーブルによる変化量が増加することに起因したトーンジャンプの発生を防止するためである。

即ち、上記の第１の実施形態によれば、あらかじめ好みの画像特性に近い設定を選択してから、その画像に対して画像調整が行われ、その結果が高次のマトリクス係数や編集データに反映される。このように、ユーザの好みに応じて画像処理パラメータとマトリクス係数及び編集データが設定されるので、無理な画像調整を行って画像が破綻してしまう（トーンジャンプ等を招く）といった不具合を防ぐことができる。即ち、好みの色再現を実現するべくユーザが画像処理のパラメータを調整した場合に、トーンジャンプ等の不具合が生じることを防止可能な画像処理装置及び方法を提供することができる。

また、画像特性保持部７００は撮影シーンに対応した複数種類のパラメータセット（画像特性）を記憶しており、選択部７０２は、これら複数種類のパラメータから選択されたパラメータを第１処理部及び第２処理部に設定する。これにより、所望の画像特性をユーザが容易に選択することが可能となる。

また、選択部７０２が、ＲＡＷデータを含むＲＡＷファイルのヘッダ部よりパラメータを取得し、これを前記第１処理手段に設定するように構成しても良い。ＲＡＷデータのヘッダ部に処理パラメータとマトリクス係数と編集データが保持されている場合は、これらを用いて３次元格子点データテーブル７１３や画像処理部７１２等の設定を行うようにしてもよい。撮影時に設定されたユーザの所望の画像特性が自動的に設定されるので操作性が向上する。

また、画像処理部７１２に設定される処理パラメータは、少なくとも画像の輝度特性（ガンマ変換部７ｂ４による処理）を決定するものである。このアプリケーションでは、各々の色の色相、彩度、輝度が編集できるため、各々の色において輝度を調整することも可能だが、ガンマ変換で全体の輝度の特性を変更することも可能である。例えば、少しコントラストの高い画像に調整したい場合に予め前段のガンマ変換部の輝度特性でコントラストが少し上がっているものを選択しておけば、後段の３次元格子点データテーブルで行う修正量が少なくて済むためトーンジャンプが発生する確率が低くなる。このように予め、画像処理部７１２による輝度特性を所望の輝度特性に近づけておくことで、調整量を効果的に低減でき、３次元格子点データテーブルによるトーンジャンプ等の発生をより効果的に防止できる。

また、第１実施形態によれば、マトリクス係数と編集データのペアを保持することにより、マトリクス係数による保持を可能としながら、画像処理の自由度を向上することが可能となる。即ち、３次元格子点データテーブルより情報量の少ない、高次のマトリクス係数の利点と、部分的に３次元格子点データテーブルを編集するための手段によって得られる目標の色再現の精度の両方を実現することが出来る。

［第２実施形態］
上述したように、デジタルカメラは、カメラ自身で現像処理をし、ＪＰＥＧデータを生成する場合と、ＲＡＷデータと呼ばれる、主だった画像処理を行わず、ＣＣＤやＣＭＯＳセンサが出力する配列のままデータ化したものとがある。第１実施形態では、このＲＡＷデータに対するアプリケーション側の現像処理や画像処理は、デジタルカメラ内の現像処理や画像処理と全く同じものとしている。しかしながら、特にその必要は無く、ハードウエアではできない画像処理をアプリケーション上で達成させ、よりよい画像を提供するようにしてもよい。この場合、画像特性保持部５０は、ディジタルカメラ用とアプリケーション用の２種類の画像特性（例えば２組のマトリクス係数と編集データ）を対にして保持する。そして、３次元格子点データテーブル７ｅにはディジタルカメラ用のマトリクス係数及び編集データを用いて画像特性がセットされる。そして、ＲＡＷファイルのヘッダには当該マトリクス係数の対として保持されているアプリケーション用のマトリクス係数及び編集データが記述される。アプリケーション側では、ＲＡＷフィルのヘッダに記述されたマトリクス係数と編集データが利用される。これにより、ディジタルカメラとアプリケーションで同様の画像処理結果を得ることが可能となる。

例えば、デジタルカメラにおける３次元格子点データテーブル７ｅの格子点数が９×９×９×８ビットであるのに対し、画像処理アプリケーションにおける３次元格子点データテーブル７１３の格子点数を３３×３３×３３×１６ビットとするようにできる。その場合、上述したステップＳ９０５、Ｓ９０６において、設定データ生成部７１６は、デジタルカメラに合わせた３次元格子点データテーブルを生成するためのマトリクス係数及び編集データを生成する。即ち、３３×３３×３３×１６ビットの編集された格子点データテーブルから、９×９×９×８ビットの格子点データテーブルを生成するためのマトリクス係数と編集データを生成してデジタルカメラのための画像特性に用いるようにする。なお、マトリクス係数は２つの格子点テーブルに共通して利用することも可能であるのに対し、編集データは格子点数に応じて用意する必要が生じる可能性があるが、上記手法によれば、任意の格子点数に対応できる。

また、画像処理アプリケーションソフトでは、ビット精度は簡単に上げられるが、処理速度は、明らかにハードウエアより遅くなる。そこで、ハードウエアとは別の手段で高速化を行い、さらに不具合を対策するといった手段を施すことによって、カメラ内部の画像処理と異なる画像処理を行うことができる。この場合、カメラ内部に格納しているマトリクス係数及び編集データから生成された３次元の格子点データテーブルを用いると、カメラと画像処理アプリケーションとで違った結果になってしまう可能性がある。

そこで、カメラは、デジタルカメラ本体で取得されたＪＰＥＧ画像と同じ画像をアプリケーション側で得るために、カメラ内部用のマトリクス係数及び編集データと、画像処理アプリケーションソフト用のマトリクス係数及び編集データを合わせて格納しておく。そして、ＲＡＷファイルのヘッダに、画像処理アプリケーションソフト用の高次のマトリクス係数と編集データを含む画像特性を記述する。画像処理アプリケーションソフトは、画像処理アプリケーション用の高次のマトリクス係数と編集データをＲＡＷファイルのヘッダから抽出し、これを用いて３次元格子点データテーブルを生成する。このように構成することで、デジタルカメラと画像処理アプリケーションで画像処理が異なる場合にも、同じ色再現の画像を得ることが可能になる。尚、画像処理部７ｂと画像処理部７１２の画像処理パラメータについても、それぞれに応じて用意するようにしても良い。

一方、上記の場合、画像処理アプリケーションにより調整された３次元格子点データテーブルは、ステップＳ９０５においてデジタルカメラの画像処理に応じた３次元格子点データテーブルに変換する必要がある。この場合、画像処理アプリケーションの画像処理の特性とデジタルカメラの画像処理の特性の違いを吸収するように、３次元格子点データテーブルをデジタルカメラ用に変換すればよい。例えば、画像処理アプリケーションによる出力画像とデジタルカメラによる出力画像との差を解消するための各格子点毎の倍率係数等を保持した補償用３次元格子点データテーブルを用意する。そして、調整された３次元格子点データテーブルを、補償用３次元格子点データテーブルにより変換して、デジタルカメラの画像処理に適応した３次元格子点データテーブルに変換する。このように変換された３次元格子点データテーブルを生成するためのマトリクス係数及び編集データを生成し、デジタルカメラ用の画像処理特性とする。そして、デジタルカメラには、上述したようにデジタルカメラ用の画像処理特性とアプリケーション用の画像処理特性が対として登録される。

以上のように、第２実施形態によれば、変更されたパラメータ（例えば３次元格子点データ）が、デジタルカメラが有する処理精度（分解能）のパラメータに変換される。上記例では、３３×３３×３３×１６ビットの精度の３次元格子点データが、デジタルカメラ内の画像処理精度に応じた９×９×９×８ビットの精度の３次元格子点データに変換される。そして、この変換されたパラメータを用いて新たな設定パラメータが生成される。従って、アプリケーション側の画像処理精度にかかわらず、デジタルカメラに適した精度のパラメータを生成することができる。

［第３実施形態］
次に、第３実施形態を説明する。第１、第２実施形態では、画像処理特性として画像処理パラメータ、マトリクス係数及び編集データを登録しておき、画像処理部７ｂの設定、３次元格子点データテーブルの生成を行う構成を説明した。第３実施形態では、マトリクス係数と編集データを画像処理特性として有する構成を説明する。
図１０は、第３実施形態に係るデジタルカメラの画像処理を説明する図である。図１０において、画像特性保持部１０００は、図５の画像特性保持部５０と比して、画像処理パラメータを有していない。選択部（不図示）により所望の画像処理特性（マトリクス係数と編集データのペア）が選択されると、３ＤＧＴ展開部５０２、３ＤＧＴ編集部５０４により３次元格子点データテーブル７ｅが生成される。そして、画像処理部７ｂとこの３次元格子点データテーブル７ｅを用いてＲＡＷデータ（画像信号５０６）から画像データ５０８が生成される。処理の詳細は、図５により上述したとおりである。図５との相違点は、画像処理パラメータによる画像処理部７ｂの設定が省略されている点である。
図１１は、第３実施形態による画像処理アプリケーションの機能構成例を説明するブロック図である。尚、図１１に示される各機能は、図６に示したＣＰＵ６０１がＲＡＭ６０３にロードされた所定の制御プログラムを実行することにより実現されるものである。上述したように、画像処理アプリケーションにおいても、高次のマトリクス演算処理を実行することは可能であるが、その計算（処理）に時間がかかってしまう。そこで、本実施形態においても、画像処理アプリケーションにおいても、マトリクス係数１１１０から上述したような３次元の格子点データテーブル（３ＤＧＴ１１１４）を作成することによって、その処理時間を短縮する。

例えば、３３格子点の格子点テーブルならば、３３×３３×３３＝３５９３７ポイント分の計算をＲＧＢで行うことによって３次元格子点テーブルを作り出すことが出来る。１０００万画素のデータを全てマトリクス演算することを考えると、３００分の１の時間で終わる。その後、３次元格子点テーブルによって変換を行っていくことによって、計算時間を短くすることが出来る。

しかしながら、３次元の格子点テーブルをデータとして持とうとした場合、１６Ｂｉｔ精度で格納すると、２１０ＫＢｙｔｅを超えてしまう。そして、このようなデータを複数個カメラ内のメモリに保存しておき、撮影データごとに全て書き込んでおくとすると、画像ファイルの書き込みに非常に時間がかってしまう。

そこで、３ＤＧＴ展開部１１１１は、ＲＡＷファイル１１０９のヘッダに格納されている高次のマトリクス係数１１１０を用いて３次元格子点データテーブルの各格子点データを算出する。又、３ＤＧＴ編集部１１１３は、ＲＡＷファイル１１０９のヘッダに格納されている編集データ１１１２に基づいて、３次元格子点データテーブルの局所的な格子点データの書き換え（編集）を行う。デジタルカメラの３ＤＧＴ編集部５０４と同様に、編集データが示す色度点、色相角の範囲、色相角の変化量に従って、３次元格子点データテーブルの格子点データを編集する。尚、編集データは、色度点、色相の範囲、色相角の変化量の組（編集指示）を複数含んでいてもよい。この場合、３ＤＧＴ編集部１１１３は、編集データに含まれる複数の編集指示を順次取り出し、格子点データを編集していく。

こうして３次元格子点データテーブル１１１４が生成されると、画像処理部１１１６はＲＡＷファイル１１０９に含まれているＲＡＷデータ１１１５に対して上記画像処理部７ｂと同様の現像処理を施す。そして、得られた画像データは３次元格子点データテーブル１１１４によって処理され、処理された画像１１１７が得られる。

尚、本実施形態の情報処理装置は、画像調整のためのユーザインタフェースを提供し、ユーザによる画像調整の指示を受け付けることができる。

画像調整部１１１８は、画像１１１７をディスプレイ６０５に表示すると共に、画像調整用（編集操作用）のユーザインターフェースを表示する。ユーザはこのユーザインターフェースにより、編集すべき所望の色とその変換後の色、及び当該調整を影響させるべき色範囲を指定することができる。色の指定の手段としては、色度点を指定し、色相、彩度、輝度に関して全ての属性で指定をすることも可能であれば、色相のみを指定して、その色相を含む全ての色を調整することも可能である。画像調整部１１１８は、ユーザインターフェースを介して入力されたユーザの調整操作に応じて、３次元格子点データテーブル１１１４を変更する。３次元格子点データテーブル１１１４が変更されると、ＲＡＷデータ１１１５に対する画像処理に直ちに反映され、調整結果としての画像１１１７がリアルタイムに得られる。この調整後の画像１１１７をディスプレイ６０５に表示させることにより、ユーザは直ちに編集結果を把握できる。

画像調整部１１１８は更に編集データ生成部１１１９に調整内容を通知する。編集データ生成部１１１９は、通知された調整内容に基づいて編集データを生成する。そして、画像調整を終えると、編集データ生成部１１１９は、今回の調整操作に応じて生成された編集データを、編集データ１１１２に追加し、新たな編集データを生成する。そして、マトリクス係数１１１０と新たな編集データを対にして保持する。このマトリクス係数１１１０と新たな編集データの対は、デジタルカメラの画像特性保持部１０００に登録し、利用することができる。尚、編集データの存在しない状態であれば、今回の調整操作に応じて生成された編集データが、マトリクス係数１１１０に対応付けて登録されることになる。

以上の画像処理アプリケーションの動作を図１２のフローチャートを用いて説明する。

ステップＳ１２０１において、画像処理アプリケーションは、ＲＡＷファイルを選択させるためのユーザインターフェースを提供し、ユーザに所望のＲＡＷファイルを選択させる。そして、選択されたＲＡＷファイル１１０９のヘッダからマトリクス係数１１１０と編集データ１１１２を取得する。

ステップＳ１２０２では、３ＤＧＴ展開部１１１１が取得されたマトリクス係数１１１０を用いて３次元格子点データテーブルの格子点データを算出する。ステップＳ１２０３で、３ＤＧＴ編集部１１１３は、ステップＳ１２０１で取得された編集データ１１１２を用いて、ステップＳ１２０２で算出された３次元格子点データテーブルの格子点データを書き換え、３次元格子点データテーブル１１１４をセットする。ステップＳ１２０４において、画像処理部１１１６は、ＲＡＷファイルからＲＡＷデータ１１１５を取得し、ＲＡＷデータ１１１５に対してデジタルカメラ内の画像処理部７ｂと同様の処理を施し、画像データを出力する。そして、３次元格子点データテーブル１１１４によって、画像処理部１１１６から得られた画像データに変換処理を加えることにより、画像１１１７が得られる。画像１１１７は、例えばディスプレイ６０５に表示される。

次に、ユーザにより調整操作が指示されると、処理はステップＳ１２０５からステップＳ１２０６へ進む。ステップＳ１２０６において、画像調整部１１１８は３次元格子点データテーブル１１１４に、指示された調整内容を反映させる。また、ステップＳ１２０７において、その調整内容を編集データ生成部１１１９に通知する。編集データ生成部１１１９は、通知された調整内容を示す編集データを生成する。

その後、ユーザから調整操作の完了が指示されると、処理はステップＳ１２０８からステップＳ１２０９へ進む。ステップＳ１２０９では、編集データ生成部１１１９が、ＲＡＷファイル１１０９から取得した編集データ１１１２に、ステップＳ１２０７で生成した編集データをマージして新たな編集データを生成する。そして、ステップＳ１２１０において、ＲＡＷファイル１１０９から取得されたマトリクス係数１１１０と、ステップＳ１２０９で生成した新たな編集データをペアにして、新たなパラメータとして保持する。

以上のように、第３実施形態によれば、３次元格子点データテーブルの元となるマトリクス係数と、３次元格子点データテーブルの格子点データの書き換えを可能にする編集データとの組が保持される。そして、編集データに基づいて３次元格子点データの編集を行うので、カメラ内のメモリ使用量を減らすとともに、目標に対し精度の良い色再現が可能になる。

尚、マトリクス係数からは、必要に応じた格子点数の格子点テーブルを作り出すことが出来る。例えば、カメラ内の３次元格子点テーブルは９×９×９格子点しかない場合でも、アプリケーションでは精度を下げる必要はなく、３３×３３×３３格子点で３次元格子点テーブルを作り出すことが出来る。色再現に精度の差は現れることにはなるが、マトリクス係数の有効な使い方である。

［第４実施形態］
次に、第４実施形態を説明する。図１３は、第４実施形態に係るデジタルカメラの画像処理を説明するブロック図である。

デジタルカメラは、カメラ自身で現像処理をし、ＪＰＥＧデータを生成する場合と、ＲＡＷデータと呼ばれる、主だった画像処理を行わず、ＣＣＤやＣＭＯＳセンサの出力の画素配列のままデータ化したものがある。このＲＡＷデータに対する画像処理アプリケーションの処理は、カメラ内の画像処理とまったく同じである場合もあるが、特にその必要は無い。デジタルカメラのハードウエアでは実現できない画像処理をアプリケーション上で達成させ、よりよい画像を提供することができる。第３実施形態で述べた、アプリケーションソフトでは３次元格子点データの格子点数をカメラのハードウエアと同じにする必要がないこともその一つとしてあげられる。

しかしながら、アプリケーションソフトでは、ビット精度は簡単に上げられるが、処理速度は、明らかにハードウエアより遅くなる。そこで、ハードウエアとは別の手法で高速化を行い、さらに不都合を改善するといった処置を施すことによって、デジタルカメラ内部の画像処理と異なる画像処理を行うことができる。このように、画像処理アプリケーションとデジタルカメラ内部の画像処理が異なる場合、デジタルカメラ内部に格納している３次元格子点データテーブルもしくは高次のマトリクス係数をそのまま用いたのでは異なった画像処理結果となってしまう可能性がある。

そこで、デジタルカメラ本体で撮影され、画像処理処理されたＪＰＥＧ画像と同じ画像を得るために、第４実施形態では、図１３に示すように、画像特性保持部１３００を用いる。画像特性保持部１３００は、デジタルカメラ内部用の３次元格子点テーブルデータとアプリケーションソフト用の３次元格子点テーブルデータの元になる高次のマトリクス係数と編集データを関連付けて格納している。デジタルカメラでは、３ＤＧＴ編集部５０４が、画像特性保持部１３００から選択された３次元格子点データ（３ＤＧＴデータ１３１０）に対し、対応する編集データ１３０３に従って編集を加える。そして、編集された格子点データを用いて３次元格子点データテーブル７ｅが決定される。

また、ＲＡＷファイルを生成する場合は、デジタルカメラは、上記選択された３ＤＧＴデータ１３１０に対応するマトリクス係数と編集データをヘッダに格納する。情報処理装置は、第３実施形態で説明したように、ＲＡＷファイルのヘッダから取得されたマトリクス係数と編集データにより格子点データテーブルを生成し、画像処理に用いる。

以上のように、第４実施形態によれば、異なる画像処理方法に対しても、一対になった３次元格子点データと高次のマトリクス係数と、３次元格子点データテーブルの局所的な編集を示す編集データから同じ色再現の画像を得ることが可能になる。

尚、デジタルカメラ内の画像処理と画像処理アプリケーションによる画像処理との差を吸収するために編集データを用いることも可能である。この場合、画像特性保持部１３００が保持する画像特性はマトリクス係数と編集データの対となる。そして、デジタルカメラ側では、編集データを用いることなく、マトリクス係数から算出された３次元格子点データテーブルをそのまま用いる。一方、画像処理アプリケーションでは、当該マトリクス係数から算出された３次元格子点データテーブルに編集データによる編集処理を施す。このような構成において、編集データによる編集内容を、デジタルカメラ内の画像処理と画像処理アプリケーションによる画像処理との差を吸収するためのものとすれば、両画像処理の差異を吸収することが可能となる。

尚、上記各実施形態において、３次元格子点データテーブルのデータは、「Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ」、「Ｙ．Ｕ．Ｖ」、「L*、a*、b*」、「Ｘ、Ｙ、Ｚ」等のいかなる色空間を対象としたものであっても良い。

また、上記実施形態では、１組のマトリクス係数と１組の編集データを対にしたがこれに限られるものではない。即ち、１組のマトリクス係数に複数の編集データを対応付けるようにしてもよいし、１つの編集データに複数のマトリクス係数を対応付けるようにしてもよい。
また、上記実施形態では、情報処理装置において稼動する画像処理アプリケーション（画像調整部７１８、編集データ生成部７１９）により編集データを作成したが、これに限られるものではない。例えば、上記画像処理アプリケーションと同じ機能をデジタルカメラに搭載することによって、デジタルカメラ本体の背面液晶を用いて色の調整等を行い、編集データを生成するように構成しても良い。

［他の実施形態］
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態に係るデジタルカメラの構成例を示すブロック図である。 第１実施形態に係るデジタルカメラにおける画像処理部の詳細を示すブロック図である。 第１実施形態に係る画像処理の色補間を示す図である。 第１実施形態の格子点データテーブルにおける格子点データを説明する図である。 第１実施形態のデジタルカメラによるＲＡＷデータ処理の流れを示すブロック図である。 第１実施形態の情報処理装置の構成例を示すブロック図である。 第１実施形態の情報処理装置におけるＲＡＷデータ処理の流れを示すブロック図である。 第１実施形態によるデジタルカメラの画像処理を説明するフローチャートである。 第１実施形態による画像特性の生成処理を説明するフローチャートである。 第３実施形態に係るデジタルカメラの画像処理を説明する図である。 第３実施形態に係る情報処理装置による画像処理を説明する図である。 第３実施形態による画像処理アプリケーションの画像処理を説明するフローチャートである。 第４実施形態に係るデジタルカメラの画像処理を説明する図である。

Claims (20)

1. ３次元格子点データテーブルの元となるマトリクス係数と、３次元格子点データテーブルの格子点データを編集する編集データを保持する保持手段と、
   前記マトリクス係数を用いたマトリクス演算を行うことによって、前記３次元格子点データテーブルの格子点データを算出する算出手段と、
   前記編集データに基づいて前記算出手段で算出された前記３次元格子点データテーブルの格子点データを編集する編集手段と、
   前記編集手段により編集された前記３次元格子点データテーブルを用いて、撮影により取得された画像データを処理する処理手段と、
   前記画像データ、前記編集データ及び前記マトリクス係数を含む画像ファイルを生成する生成手段とを備えることを特徴とする撮像装置。
2. 前記編集データは、編集対象の色を示す色空間における目標値と、編集処理の影響が及ぶ色空間における範囲を示す影響範囲と、編集処理による色空間における変更の方向及び大きさを示す変更量を含み、
   前記編集手段は、前記色空間において、前記目標値を中心とした前記影響範囲の色が、前記変更量で示されるように変化するように、前記３次元格子点データテーブルの格子点データを編集することを特徴とする請求項１に記載の撮像装置。
3. 前記目標値は色度点によって示され、前記影響範囲は色相角の範囲によって示され、前記変更量は色相角度の変化量、彩度の増減量及び明度の増減量の少なくともいずれかによって示されることを特徴とする請求項２に記載の撮像装置。
4. 前記３次元格子点データテーブルは、前記処理手段のホワイトバランス処理後で、圧縮処理の前に位置することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像データはＲＡＷデータであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. ＲＡＷデータを画像データへ現像するための画像処理手段を更に有し、
   前記保持手段は、更に、前記画像処理手段に設定する画像処理パラメータを保持することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記保持手段は、マトリクス係数と編集データと画像処理パラメータを１つのパラメータセットとした複数のパラメータセットを保持し、
   前記３次元格子点データテーブルの生成と前記画像処理手段の設定に用いるべきパラメータセットを、前記保持手段に保持された複数のパラメータセットから、ユーザに選択させる選択手段を更に備えることを特徴とする請求項６に記載の撮像装置。
8. 前記画像処理手段に設定される前記画像処理パラメータは、少なくとも前記画像処理手段によって得られる画像の輝度特性を決定することを特徴とする請求項６または７に記載の撮像装置。
9. マトリクス係数と、３次元格子点データと、３次元格子点データテーブルの格子点データを編集する編集データとを関連付けて保持する保持手段と、
   前記３次元格子点データを用いて３次元格子点データテーブルを設定する設定手段と、
   前記編集データに基づいて前記設定手段で設定された前記３次元格子点データテーブルの格子点データを編集する編集手段と、
   前記編集手段により編集された前記３次元格子点データテーブルを用いて、撮影により取得された画像データを処理する処理手段と、
   前記画像データ、前記編集手段により編集された前記３次元格子点データに関連付けられている前記マトリクス係数および前記編集データを含む画像ファイルを生成する生成手段とを備えることを特徴とする撮像装置。
10. 前記画像データはＲＡＷデータであり、前記画像ファイルは前記ＲＡＷデータを含むＲＡＷファイルであることを特徴とする請求項９に記載の撮像装置。
11. 画像データを含む画像ファイルから３次元格子点データテーブルの元となるマトリクス係数と、３次元格子点データテーブルの格子点データを編集する編集データを取得する取得手段と、
    前記マトリクス係数を用いたマトリクス演算を行うことによって、３次元格子点データテーブルの格子点データを算出する算出手段と、
    前記編集データに基づいて前記算出手段で算出された前記３次元格子点データテーブルの格子点データを編集する編集手段と、
    前記編集手段により編集された前記３次元格子点データテーブルを用いて、前記画像ファイル内の画像データを画像処理する処理手段とを備えることを特徴とする情報処理装置。
12. 前記画像データはＲＡＷデータであり、前記画像ファイルは前記ＲＡＷデータを含むＲＡＷファイルであることを特徴とする請求項１１に記載の情報処理装置。
13. 前記処理手段は、ＲＡＷデータを画像データへ現像する現像手段を更に有し、
    前記取得手段は、更に、前記現像手段に設定する画像処理パラメータを取得することを特徴とする請求項１１に記載の情報処理装置。
14. マトリクス係数と編集データと画像処理パラメータを１つのパラメータセットとした複数のパラメータセットを保持する保持手段を更に備え、
    前記取得手段は、取得すべきパラメータセットを、前記保持手段に保持された複数のパラメータセットから、ユーザに選択させる選択手段を有することを特徴とする請求項１１に記載の情報処理装置。
15. 前記現像手段に設定される前記画像処理パラメータは、少なくとも前記処理手段によって得られる画像の輝度特性を決定することを特徴とする請求項１３に記載の情報処理装置。
16. 撮像装置による画像処理方法であって、
    保持手段が、３次元格子点データテーブルの元となるマトリクス係数と、３次元格子点データテーブルの格子点データを編集する編集データをメモリに保持する保持工程と、
    算出手段が、前記マトリクス係数を用いたマトリクス演算を行うことによって、前記３次元格子点データテーブルの格子点データを算出する算出工程と、
    編集手段が、前記編集データに基づいて前記算出工程で算出された前記３次元格子点データテーブルの格子点データを編集する編集工程と、
    処理手段が、前記編集工程により編集された前記３次元格子点データテーブルを用いて、撮影により取得された画像データを処理する処理工程と、
    生成手段が、前記画像データ、前記編集データ及び前記マトリクス係数を含む画像ファイルを生成する生成工程とを備えることを特徴とする画像処理方法。
17. 撮像装置による画像処理方法であって、
    保持手段が、マトリクス係数と、３次元格子点データと、３次元格子点データテーブルの格子点データを編集する編集データとを関連付けてメモリに保持する保持工程と、
    設定手段が、前記３次元格子点データを用いて３次元格子点データテーブルを設定する設定工程と、
    編集手段が、前記編集データに基づいて前記設定工程で設定された前記３次元格子点データテーブルの格子点データを編集する編集工程と、
    処理手段が、前記編集工程により編集された前記３次元格子点データテーブルを用いて、撮影により取得された画像データを処理する処理工程と、
    生成手段が、前記画像データ、前記編集手段により編集された前記３次元格子点データに関連付けられている前記マトリクス係数および前記編集データを含む画像ファイルを生成する生成工程とを備えることを特徴とする画像処理方法。
18. 情報処理装置の画像処理方法であって、
    取得手段が、画像データを含む画像ファイルから３次元格子点データテーブルの元となるマトリクス係数と、３次元格子点データテーブルの格子点データを編集する編集データを取得する取得工程と、
    算出手段が、前記マトリクス係数を用いたマトリクス演算を行うことによって、３次元格子点データテーブルの格子点データを算出する算出工程と、
    編集手段が、前記編集データに基づいて前記算出工程で算出された前記３次元格子点データテーブルの格子点データを編集する編集工程と、
    処理手段が、前記編集工程により編集された前記３次元格子点データテーブルを用いて、前記画像ファイル内の画像データを画像処理する処理工程とを備えることを特徴とする画像処理方法。
19. 請求項１６乃至１８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
20. 請求項１９に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images