JP6178590B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、画像の質感を調整する画像処理技術に関する。

近年、人物等の被写体を撮像し、動画像として記録するデジタルカメラ等の撮像装置がデジタルシネマの制作現場で使用されるようになってきている。このようなデジタルシネマの制作現場においては、カット編集とともに、撮影した画像を所望の質感に画質を調整するカラーグレーディングを行うことが一般的である。このカラーグレーディング処理は撮影後に、編集スタジオなどにおいてカラーグレーディング機材を用いて行われる。一方で、撮影現場において、撮影時に大まかなカラーグレーディングを行っておき、撮影後には細かなカラーグレーディングのみを行うワークフローも用いられている。このように予め大まかなカラーグレーディングをしておくことにより、撮影後に行うカラーグレーディングの負荷を減らすことができる。

カラーグレーディングを行う場合、ゼロからスタートして全て手作業でカラーグレーディング処理を行い、所望の質感に近づけていく作業は非常に時間が掛かってしまう。特に撮影現場でのカラーグレーディングにおいては、刻々と被写体の状況が変化する場合もあるため、素早くカラーグレーディングを行い、所望の質感に画質を調整することが必要である。

そこで、所望の質感を再現するカラーグレーディングのパラメータを読み込み、ある程度、目標とする質感に近づけた上で、最終調整を手作業で行うといったワークフローが知られている。このカラーグレーディング処理では、ＡＳＣ−ＣＤＬと呼ばれるパラメータを使用することが一般的である。ＡＳＣ−ＣＤＬ（以下、ＣＤＬ（Ｃｏｌｏｒ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ）とも呼ぶ）とは、ＡＳＣ（Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｃｉｎｅｍａｔｏｇｒａｐｈｅｒｓ、米国撮影監督協会）技術委員会によって作成・推奨されており、現在では多くのカラーグレーディングに用いられている。ＣＤＬは基本的なカラーグレーディング処理としてゲインやガンマ等の算出方法を規定している。従って、所望の質感を再現するＣＤＬを予め作成しておき、それを用いてカラーグレーディングを行うことにより、カラーグレーディングの処理工数を大幅に削減することができる。

例えば、特許文献１には、上述したＣＤＬのような画像編集情報を用い、所望の質感の画像を得るための技術が開示されている。

特開２００３−１８９２２９号公報

前述したように、所望の質感に近づけるようなＣＤＬを予め作成しておき、それを用いてカラーグレーディングを行うことにより、処理工数を大幅に削減することができる。しかしながら、予め作成されたＣＤＬを用いてカラーグレーディングを行ったとしても、そのＣＤＬから想定される質感にはならない場合もある。例えば、寒い質感を表現するために、全体的に寒色系の質感にカラーグレーディングする場合、被写体を照らす光源の色温度によって、ＣＤＬの値を変更する必要がある。同じ寒色系の質感にカラーグレーディングするとしても、光源の色温度が低い暖色系のシーンを所望の寒色系の質感にするのと、光源の色温度がそもそも高い寒色系のシーンを所望の寒色系の質感にするのとでは、色補正の補正量が異なるためである。そのため、カラーグレーディングを行う画像に適したＣＤＬを用いて処理を行わなければ、ＣＤＬから想定される所望の質感に近づけることはできない。

本発明は、上記課題に鑑みてなされ、その目的は、カラーグレーディング等の画像の質感を調整する処理に用いるパラメータを、画像から得られる環境情報と関連付けて記録できる画像処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像を入力する入力手段と、前記入力手段により入力された第１の画像に対して、画質を調整するためのパラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成する画像生成手段と、前記入力手段により入力された第３の画像に対して、前記画像生成手段により前記第２の画像を生成したときのパラメータを適用した画像を生成する場合に、前記第２の画像を生成したときのパラメータの基準となる第１の画像の撮影時の環境を示す撮影時環境情報と、前記第３の画像の撮影時の環境を示す撮影時環境情報とを取得する取得手段と、前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異に基づき、前記第３の画像に対して、前記第２の画像を生成したときのパラメータを適用した画像が生成できるか否かを判定する判定手段と、を有する。

本発明によれば、カラーグレーディング等の画像の質感を調整する処理に用いるパラメータを、画像から得られる環境情報と関連付けて記録できるため、画像に適したパラメータを選択し、所望の質感の画像を高速に作成することができる。

本実施形態の撮像装置の構成を示すブロック図。 実施形態１の画像処理部の構成を示すブロック図。 カラーグレーディング情報の記録処理を示すフローチャート。 カラーグレーディング情報のデータ構成を例示する図。 新規にカラーグレーディング情報を記録する処理を示すフローチャート。 新規にカラーグレーディング情報を生成する方法を説明する図。 本実施形態のカラーグレーディング処理を示すフローチャート。 図７のカラーグレーディング処理時に表示される警告画面を例示する図。 実施形態２のシステム構成を示すブロック図。 実施形態２のカラーグレーディング装置の構成を示すブロック図。 実施形態２のカラーグレーディング情報の記録処理を示すフローチャート。 実施形態２のカラーグレーディング処理を示すフローチャート。 実施形態３の画像処理部の構成を示すブロック図。 実施形態３のパラメータ補正処理を示すフローチャート。 実施形態３のパラメータ補正処理を説明する図。 実施形態４のパラメータ補正処理を説明する図。 実施形態４のパラメータ補正処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の画像処理装置を、例えば、デジタルカメラ等の撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

本実施形態の撮像装置１００は、画像を所望の質感に調整するためのカラーグレーディングを行う際に作成されたカラーグレーディングパラメータ（ＣＤＬ）を、処理対象の画像の撮影時の環境情報と関連付けて記録する機能を有する。

図１において、撮影レンズ１０１はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０２は絞り機能を備えるシャッターである。撮像部１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器１０４は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ信号をデジタル信号に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からのデータ、又は、メモリ制御部１０７からのデータに対し所定の画素補間、リサイズ処理、色処理やガンマ処理を行い、ベイヤーＲＧＢデータ、ＡＣＥＳ＿ＲＧＢ信号、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙのいずれかを出力する（詳細は後述する）。また、画像処理部１０５では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１０５では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器１０４からの出力データは、画像処理部１０５及びメモリ制御部１０７を介して、或いは、メモリ制御部１０７を介して画像メモリ１０６に直接書き込まれる。画像メモリ１０６は、撮像部１０３によって得られＡ／Ｄ変換器１０４によりデジタルデータに変換された画像データや、表示部１０９に表示するための画像データを格納する。画像メモリ１０６は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、画像メモリ１０６は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。こうして、画像メモリ１０６に書き込まれた表示用の画像データはＤ／Ａ変換器１０８を介して表示部１０９により表示される。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０４によって一度Ａ／Ｄ変換され画像メモリ１０６に蓄積されたデジタル信号をＤ／Ａ変換器１０８においてアナログ変換し、表示部１０９に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。

コーデック部１１０は、画像メモリ１０６に書き込まれた画像データをＭＰＥＧ等の規格に基づき圧縮符号化・復号処理を行う。

カラーグレーディング部１１３は、操作部１２０を介してユーザが設定するＣＤＬに基づき、画像処理部１０５から画像メモリ１０６に書き込まれた画像データに対して、カラーグレーディング処理を行う。カラーグレーディング処理は、例えば、３次元のＬＵＴ処理やトーンカーブの調整により、ユーザが所望する質感になるように画像にカラーグレーディングを行う。カラーグレーディング部１１３から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。

記録媒体Ｉ／Ｆ１１２は、記録媒体１１１へのアクセスを制御するインターフェースである。記録媒体１１１は、撮影された画像データや後述する環境情報（以下、カラーグレーディング情報）を記録するための内蔵および／または外付けのメモリカードやＨＤＤ（ハードディスクドライブ）等である。

操作部１２０は、電源スイッチ、シャッター（録画開始）ボタン、タッチパネル等の操作部材を含み、システム制御部１５０に各種の動作指示を入力する。

操作部１２０の各操作部材は、表示部１０９に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０９に表示される。ユーザは、表示部１０９に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源部１２２は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源部１２２は、その検出結果及びシステム制御部１５０からの制御指令に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１１１を含む各部へ供給する。

電源部１２２は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

不揮発性メモリ１２３は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１２３には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは主として、後述するフローチャートを実行するためのプログラムのことである。

通信部１２６は、外部機器と通信するためのＵＳＢなどのインターフェースであり、外部機器は、例えばプリンタやパーソナルコンピュータ（カラーグレーディング装置）、他の撮像装置などである。通信部１２６は、外部機器が接続されたことを検知でき、検知信号をシステム制御部１５０に通知することができる。また、接続された外部機器が何であるか、及び、接続された状態から非接続となったこと（抜かれたこと）も検知してシステム制御部１５０に通知することができる。外部機器が、通信部１２６を介してカラーグレーディング部１１３の制御（ＣＤＬの指示等）を行うように構成しても良い。

システム制御部１５０は、不揮発性メモリ１２３に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。

１２５はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１２５には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１２３から読み出したプログラム等を展開する。また、システム制御部１５０は画像メモリ１０６、Ｄ／Ａ変換器１０８、表示部１０９等を制御することにより表示制御も行う。システムタイマ１２４は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

＜画像処理部の構成＞次に、図２を参照して、本実施形態の画像処理部の構成及び機能について説明する。

図２において、画像処理部１０５は、色信号生成部１０５１、ＷＢ（ホワイトバランス）増幅部１０５２、色補正処理部１０５３、ガンマ処理部１０５４、輝度・色差信号生成部１０５５、色空間変換部１０５６、スイッチ１０５７を備える。

次に、上記構成を備える画像処理部１０５での処理について説明する。

図１のＡ／Ｄ変換器１０４から画像処理部１０５に入力された画像データは、ベイヤーＲＧＢのＲＡＷ形式をしており、ベイヤーＲＧＢ信号が色信号生成部１０５１に入力される。

色信号生成部１０５１は入力されたベイヤーＲＧＢの画像データに対して同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。色信号生成部１０５１は、生成した色信号ＲＧＢをＷＢ増幅部１０５２へ出力する。

ＷＢ増幅部１０５２は、システム制御部１５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。

色補正処理部１０５３は、ＲＧＢの色信号に対して、３×３のマトリクス処理や３次元のＬＵＴ処理を行い、色調を補正する。

ガンマ処理部１０５４は、例えば、Ｒｅｃ．７０９などの規格に沿ったガンマやログ特性のガンマを掛けるなどのガンマ補正を行う。

輝度・色差信号生成部１０５５は、ＲＧＢ信号から輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成し、メモリ制御部１０７を介して画像メモリ１０６へ出力する。

一方、ＷＢ増幅部１０５２は、ホワイトバランス処理後の画像を色空間変換部１０５６へも出力する。色空間変換部１０５６は撮影された画像データのＲＧＢ値を所定の規格のＲＧＢ値に変換する。

本実施形態では、基準となるＲＧＢ信号として、例えば、映画芸術科学アカデミー（ＡＭＰＡＳ）が提案しているＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）規格を用いる。すなわち、入力されたＲＧＢ信号をＡＣＥＳ規格の色空間ＡＣＥＳ_ＲＧＢに変換する処理を行う。このＡＣＥＳ＿ＲＧＢ信号は、被写体に忠実な色再現特性を持つという特性がある。ＡＣＥＳ＿ＲＧＢ信号への変換は、色再現性の補正処理として、ＲＧＢ信号に対して３×３のマトリクス演算を行うことで可能である。

システム制御部１５０は、光源やレンズの色味など、カラーバランスが変化する要因となる情報を参照し、色再現性の補正処理のパラメータを決定する。例えば、光学情報を利用する場合、日中太陽光下や、Ａ光源下など複数の光源毎にＡＣＥＳ規格に基づく色再現となるパラメータを予め用意しておく。そして、システム制御部１５０が、光学情報に対応する色補正パラメータを選択し、色空間変換部１０５６に出力する。色空間変換部１０５６は、色補正パラメータに基づき色再現性の補正処理を行い、変換後のＡＣＥＳ＿ＲＧＢ信号を出力する。

スイッチ１０５７は、ベイヤーＲＧＢデータ、ＡＣＥＳ＿ＲＧＢ信号、もしくは、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙを選択し、出力する。出力された画像データは、一旦、画像メモリ１０６に書き込まれた後、記録Ｉ／Ｆ１１２を介して、記録媒体１１１に記録される。

＜カラーグレーディング処理＞次に、図３及び図４を参照して、撮影と同時にカラーグレーディングを行い、フレーム毎にカラーグレーディング情報を記録する処理について説明する。

なお、図３の処理は、不揮発性メモリ１２３に格納されたプログラムをシステムメモリ１２５に展開してシステム制御部１５０が実行することにより実現する。

図３において、ユーザにより電源スイッチ１２１がオンされると、撮像装置１００が起動し、カラーグレーディングが可能な状態となる。

ステップＳ３０１では、システム制御部１５０は被写体情報を取得する。ここで、被写体情報とは、例えば、被写体に照射している光源の情報や所定反射率を持つ被写体の画素値、被写体のコントラストといった撮影被写体に関連する情報であり、撮影画像の色味や階調特性に影響を及ぼす情報である。システム制御部１５０は、画像メモリ１０６に保持されている画像データを解析し、被写体情報を取得する。例えば、色温度であれば、画像処理部１０５で画像解析により行われる光源推定により算出された光源の色温度を取得する。

なお、図１に示されていないが、被写体情報は専用センサを用い測定することにより取得しても良い。例えば、色温度計や露出計の数値を取得しても良い。取得方法は、ユーザが色温度計や露出計の数値を、操作部１２０を介して撮像装置１００に入力しても良いし、色温度計や露出計と通信部１２６によりデータ通信することにより取得しても良い。

ステップＳ３０２では、システム制御部１５０は光学情報を取得する。ここで、光学情報とは、例えば、レンズの機種名、レンズの色味、レンズのＭＴＦ（解像力やコントラスト）、カラーフィルタといった撮像装置１００の光学系に関連する情報であり、撮影画像の色味や階調特性に影響を及ぼす情報である。

ステップＳ３０３では、システム制御部１５０は画像処理情報を取得する。ここで、画像処理情報とは、画像処理部１０５で行われる画像処理を示す情報であり、撮影画像の色味や階調特性に影響を及ぼす情報である。具体的には、例えば、以下に示す画像処理内容とそのパラメータを表す。

・ＷＢ増幅部１０５２によるホワイトバランス調整処理とＲ、Ｇ、Ｂ信号に対するゲイン値
・色補正処理部１０５３による色調補正処理と３ｘ３マトリクスの係数
・ガンマ処理部１０５４によるガンマ補正処理とガンマカーブ特性値
・色空間変換部１０５６による色空間変換処理と色補正パラメータ
・画像処理部１０５が出力する画像データの種類。（輝度・色差、ＡＣＥＳ＿ＲＧＢ、ベイヤーＲＧＢ）
ステップＳ３０４では、画像処理部１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、システム制御部１５０から出力される画像処理のパラメータに基づき、各種画像処理を行う。

ステップＳ３０５では、システム制御部１５０は、操作部１２０または通信部１２６を介してユーザや外部機器から設定されるＣＤＬを取得する。ＣＤＬとは、例えば、カラーグレーディング部１１３で行う３次元のＬＵＴ処理の係数やトーンカーブの特性を表すパラメータを含む。

ステップＳ３０６では、カラーグレーディング部１１３は、Ｓ３０５で設定されたＣＤＬに基づき、画像処理部１０５が出力し画像メモリ１０６に保持されている画像データに対しカラーグレーディングを行う。画像処理部１０５が出力し画像メモリ１０６に保持されている画像データとは、ベイヤーＲＧＢデータ、ＡＣＥＳ＿ＲＧＢ信号、もしくは、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙの中からスイッチ１０５７が選択した画像データである。このようにカラーグレーディングを行った画像データを表示部１０９に表示する。ユーザは、表示部１０９に表示されているカラーグレーディング済みの画像を確認しながら、所望の質感に近づくようにＣＤＬを設定し直すことができる。

ステップＳ３０７では、システム制御部１５０は図４に示すようなカラーグレーディング情報４００を記録媒体１１１に記録する。カラーグレーディング情報４００は、図４に示すようなメタ情報であり、ＣＤＬ４０１、被写体情報４０２、光学情報４０３、画像処理情報４０４の少なくともいずれかが関連付けられた情報を含む。これら情報は、システム制御部１５０がステップＳ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０５で取得した情報である。ここでパラメータとは、画像データに施すことで画像データの色及び階調調整を行うマトリクス等の変数である。

ステップＳ３０８では、ステップＳ３０１〜Ｓ３０７までの処理を動画のフレーム毎に撮影終了まで繰り返す。

これにより、フレーム枚数分のカラーグレーディング情報が記録媒体１１１に記録される。

なお、前述のように動画のフレーム毎にカラーグレーディング情報を記録媒体１１１に記録すると、大量の情報を記録することになり、その後のカラーグレーディング情報の取り扱いが煩雑になると考えられる。そのため、有用なカラーグレーディング情報のみを最終的に記録する構成が望ましい。そこで、以下に有用なカラーグレーディング情報を記録する処理について説明する。

なお、本例では撮影と同時にカラーグレーディングを行い、フレーム毎にカラーグレーディング情報を記録する処理について説明した。これに対して、画像の再生時等のように撮影後のカラーグレーディングにおいて設定されたＣＤＬを被写体情報や光学情報、画像処理情報等と関連付けて記録しても良い。

図５は、動画のフレーム毎に記録したカラーグレーディング情報を元に、新たに有用なカラーグレーディング情報を生成し記録する処理を示している。なお、図５の処理は、不揮発性メモリ１２３に格納されたプログラムをシステムメモリ１２５に展開してシステム制御部１５０が実行することにより実現する。

図５において、ステップＳ５０１では、システム制御部１５０は、記録媒体１１１に記録されているフレーム毎のカラーグレーディング情報を取得する。このカラーグレーディング情報は、図３の処理によって記録媒体１１１に記録されている。

ステップＳ５０２では、システム制御部１５０はフレーム毎のカラーグレーディング情報を元に、有用なカラーグレーディング情報を抽出、加工し、新たなカラーカラーグレーディング情報を生成する。この新規カラーグレーディング情報の生成について、図６を参照して説明する。

図６は、ある１カットにおける、フレーム毎のカラーグレーディング情報（色温度及びＣＤＬ）の時間的な変化を示している。図６の例では、被写体の色温度は、時間的に変化している。また、期間Ｔ０〜Ｔ１の間は常にパラメータＡが、期間Ｔ１〜Ｔ２の間は常にパラメータＢが、カラーグレーディング情報に記述されている。

新規のカラーグレーディング情報は、上記ＣＤＬ毎に生成される。これは、後処理として、カラーグレーディング情報を用いて、所望の質感に迅速に近づけるために、ＣＤＬが最も重要な要素となるからである。図６の例では、２つのＣＤＬが存在し、時間Ｔ０とＣＤＬが変化した時間Ｔ１のＣＤＬに対して、それぞれカラーグレーディング情報が新規に生成される。

なお、カラーグレーディングを行い、所望の質感に近づけるためには試行錯誤を繰り返すため、ある程度の時間を要すると考えられる。試行錯誤中のＣＤＬは最終的に決定されたパラメータではないため有用ではない。そのため、最終的に決定されたＣＤＬをカラーグレーディング情報として新規に生成することが望まれる。これを実現するために、所定の期間以上ＣＤＬが変化しない場合にのみカラーグレーディング情報を新規に生成するようにしても良い。

次に、上述したように新規生成されるカラーグレーディング情報に記述される、被写体情報、光学情報、画像処理情報について、被写体情報の色温度を例に説明する。

図６において、システム制御部１５０は、ＣＤＬが変化しない期間Ｔ０〜Ｔ１、Ｔ１〜Ｔ２におけるフレーム毎の色温度の平均値、最大値、最小値をそれぞれ算出する。そして、カラーグレーディング情報Ａには、色温度情報として、平均値（ＡＶＧ＿Ａ）、最大値（ＭＡＸ＿Ａ）、最小値（ＭＩＮ＿Ａ）が記述される。また、カラーグレーディング情報Ｂには、色温度情報として、平均値（ＡＶＧ＿Ｂ）、最大値（ＭＡＸ＿Ｂ）、最小値（ＭＩＮ＿Ｂ）が記述される。

図５に戻り、ステップＳ５０３では、システム制御部１５０は、ステップＳ５０２で新規に生成されたカラーグレーディング情報を記録Ｉ／Ｆ１１２を介して記録媒体１１１に記録する。

なお、新規のカラーグレーディング情報を記録した場合は、フレーム毎のカラーグレーディング情報は削除しても良い。

このように記録されたカラーグレーディング情報は、以後、カラーグレーディングを行う際に、所望の質感に近づけるためのベースとして用いられる。つまり、ユーザは、例えば、暖色系や寒色系といった複数の質感を再現するカラーグレーディング情報を予め作成しておく。そして、カラーグレーディングを行う際に、予め作成したカラーグレーディング情報を用いることにより迅速に所望の質感に近づけることが可能となる。

しかしながら、予め作成されたカラーグレーディング情報を用いて、カラーグレーディングを行ったとしても、そのカラーグレーディング情報から想定される質感にならない場合もある。例えば、同じ寒色系の質感にするとしても、光源の色温度が低い暖色系のシーンを所望の寒色系の質感にするのと、光源の色温度がそもそも高い寒色系のシーンを所望の寒色系の質感にするのとでは、色補正処理における補正量が異なるためである。つまり、カラーグレーディングを行う処理対象の画像に適したカラーグレーディング情報を選択する必要がある。

次に、図７を参照して、撮像装置１００が予め作成されたカラーグレーディング情報を取得し、カラーグレーディングを行う例について説明する。

ユーザが操作部１２０を介して撮像装置１００に対して作成済みのカラーグレーディング情報を取得するように指示を行うと（Ｓ７０１）、図７の処理が開始される。

ステップＳ７０２では、システム制御部１５０は、指示を受けた作成済カラーグレーディング情報を通信部１２６を介して取得する。

ステップＳ７０３では、システム制御部１５０は、作成済カラーグレーディング情報を表示部１０９に表示する。ここで、ユーザは、表示された作成済カラーグレーディング情報を確認し、これからカラーグレーディングを行う画像には不適切であると判断した場合は、再度ステップＳ７０１で、別の作成済カラーグレーディング情報を取得する指示を行っても良い。

ステップＳ７０４では、システム制御部１５０は、図３の処理を用いて現在の処理対象の画像撮影時の被写体情報、光学情報及び画像処理情報を取得する。

ステップＳ７０５では、システム制御部１５０は、ステップＳ７０３で取得したカラーグレーディング情報に記述されている被写体情報、光学情報、画像処理情報と、ステップＳ７０４で取得した被写体情報、光学情報、画像処理情報との差異を検出する。これらの情報に差異がある場合は、作成済カラーグレーディング情報に記述されているＣＤＬでカラーグレーディングを行ったとしても、所望の質感にはならない可能性があるためである。

ステップＳ７０５で差異が検出された場合は、ステップＳ７０６に進み、システム制御部１５０は、表示部１０９に図８に示すような警告表示を行う。図８の例では、ステップＳ７０４で取得した被写体情報に記述されている色温度は３０００Ｋであるのに対し、作成済カラーグレーディング情報に記述されている色温度は５５００Ｋであり、差異があることをユーザに報知するための表示である。ユーザは、この警告表示を確認し、このままカラーグレーディングを続行するか、それとも中止するかを選択する。

ステップＳ７０７では、システム制御部１５０は、ユーザによるカラーグレーディングの続行もしくは中止の指示を、操作部１２０を介して入力する。ユーザによる指示が、「続行」であれば、ステップＳ７０８において、カラーグレーディング部１１３が、作成済カラーグレーディング情報に記述されているＣＤＬに基づいてカラーグレーディングを行う。ユーザによる指示が、「中止」であれば、カラーグレーディングを行わずに終了する。

なお、ステップＳ７０５で差異が検出されない場合は、警告表示をすることなく、ステップＳ７０８において、カラーグレーディング部１１３が、作成済カラーグレーディング情報に記述されているＣＤＬに基づいてカラーグレーディングを行う。

ステップＳ７０９では、ステップＳ７０４〜Ｓ７０８までの処理をカラーグレーディングが終了するまで繰り返す。

なお、ステップＳ７０５での処理において、被写体情報、光学情報、画像処理情報の差異が所定以上でなければ差異として検出しなくても良い。

ここで、ステップＳ７０５での差異検出方法について、色温度を例として説明する。作成済カラーグレーディング情報に、色温度の最大値及び最小値が記述されている場合には、撮影中の画像の被写体情報の色温度が最大値から最小値の範囲内にある場合は、差異として検出しない。これにより、カラーグレーディングが行われた画像の質感に影響する大きな差異のみを検出し、警告表示を行うことが可能となる。

［実施形態２］次に、実施形態２について説明する。

本実施形態では、撮像装置２００とカラーグレーディング装置３００とが通信可能に接続されており、撮像装置２００は画像の撮影と同時に画像データとその環境情報を記録する。カラーグレーディング装置３００は、撮像装置２００から撮影された画像データと撮影時の環境情報を取得し、カラーグレーディングを行い、ＣＤＬと撮影時の環境情報とを関連付けて記録する。

以下、図９を参照して、本実施形態の撮像装置２００及びカラーグレーディング装置３００の構成について説明するが、実施形態１の図１と同様の構成については同一の符号を付して説明は省略する。

まず、撮像装置２００の構成について説明する。

図９において、記録媒体２０１は、メモリカードやハードディスク等であり、画像データ及び撮影時の環境情報を記録する。通信部２０２は、カラーグレーディング装置３００と通信を行うインターフェース部である。外部出力Ｉ／Ｆ２０３は、画像データ及び撮影時の環境情報をカラーグレーディング装置３００に出力するインターフェース部である。その他の構成については図１と同様である。

次に、図１０を参照して、カラーグレーディング装置３００の構成及び機能について説明する。

カラーグレーディング装置３００は、通信部２０２を介して記録媒体２０１に記録された画像データ及び撮影時の環境情報を取得し、カラーグレーディングを行う。そして、カラーグレーディング装置３００は、ＣＤＬに被写体情報、光学情報及び画像処理情報を関連付けてカラーグレーディング情報として記録する。

図１０において、カラーグレーディング装置３００は、撮像装置２００と外部モニタ４５０が接続されている。

外部モニタＩ／Ｆ３０５は外部モニタ４５０への出力を制御するインターフェース部である。通信部３２６は撮像装置２００と通信を行うインターフェース部である。外部入力Ｉ／Ｆ３２７は撮像装置２００から画像データ及び撮影時の環境情報を取得するインターフェース部である。その他の構成については、図１の同一の名称を有するブロックと同様であるため、説明を省略する。

次に、上記構成のカラーグレーディング装置３００における基本的な動作について説明する。ここでは、外部入力Ｉ／Ｆ３２７を介して撮像装置２００から入力された画像データに対してカラーグレーディングを行う例を説明する。

システム制御部３５０は、外部入力Ｉ／Ｆ３２７を介して撮像装置２００から入力された画像データを画像メモリ３０３に記憶する。

システム制御部３５０は、操作部３２０を介したユーザ操作によってＣＤＬを取得し、カラーグレーディング部１１３に出力する。カラーグレーディング部１１３は、設定されたＣＤＬに従ってカラーグレーディングを行い、カラーグレーディングを行った画像データを画像メモリ３０３に記憶する。また、システム制御部３５０は、カラーグレーディング済みの画像データを画像メモリ３０３から読み出し、外部モニタＩ／Ｆ３０５を介して外部モニタ４５０へ出力する。

ここで、図１１を参照して、撮像装置２００が、撮影と同時に画像データ及び撮影時の環境情報を記録する処理について説明する。

なお、図１１の処理は、不揮発性メモリ１２３に格納されたプログラムをシステムメモリ１２５に展開してシステム制御部１５０が実行することにより実現する。

図１１において、ユーザが操作部１２０を介して電源スイッチ１２１をオンすると、撮像装置２００が起動され、撮影が可能な状態となる。

なお、ステップＳ３０１〜Ｓ３０４の処理は、実施形態１の図３の処理と同様であるため説明を省略する。

ステップＳ１１０１では、システム制御部１５０は、画像処理部１０５から出力された画像処理後の画像データを記録Ｉ／Ｆ１１２を介して記録媒体２０１に記録する。

ステップＳ１１０２では、システム制御部１５０は、ステップＳ３０１〜Ｓ３０３で取得した被写体情報、光学情報及び画像処理情報を記録Ｉ／Ｆ１１２を介して記録媒体２０１に記録する。被写体情報、光学情報及び画像処理情報は、ステップＳ１１０１にて記録された画像データと関連付けて記録される。

ステップＳ１１０３では、ステップＳ３０１〜ステップＳ３０４及びステップＳ１１０１〜ステップＳ１１０２までの処理を画像のフレーム毎に撮影終了まで繰り返す。

次に、図１２を参照して、カラーグレーディング装置３００が、撮像装置２００から画像データ及び撮影時の環境情報を取得し、カラーグレーディングを行い、カラーグレーディング情報を記録する処理について説明する。

なお、図１２の処理は、不揮発性メモリ３２３に格納されたプログラムをシステムメモリ３２５に展開してシステム制御部３５０が実行することにより実現する。

図１２において、ユーザが操作部３２０を介して電源スイッチ３２１をオンすると、カラーグレーディング装置３００が起動され、カラーグレーディングが可能な状態となる。

ステップＳ１２０１〜Ｓ１２０３では、システム制御部３５０は外部入力Ｉ／Ｆ３２７を介して撮像装置２００の記録媒体２０１に記録されている被写体情報、光学情報及び画像処理情報を取得する。

ステップＳ１２０４では、システム制御部３５０は外部入力Ｉ／Ｆ３２７を介して撮像装置２００の記録媒体２０１に記録されている画像データを取得する。

ステップＳ１２０５では、システム制御部３５０は操作部３２０を介したユーザ操作に応じて、カラーグレーディングの処理対象のフレームの画像データを選択する。

ステップＳ１２０６では、システム制御部３５０は、操作部３２０を介したユーザ操作に応じてＣＤＬを取得する。ＣＤＬとは、例えば、カラーグレーディング部１１３で行う３次元のＬＵＴ処理の係数やトーンカーブの特性を表すパラメータである。

ステップＳ１２０７では、カラーグレーディング部１１３がＣＤＬに基づいて、ステップＳ１２０４で取得した画像データに対してカラーグレーディングを行い、システム制御部３５０は、カラーグレーディングを行った画像を外部モニタ４５０に表示する。ユーザは、外部モニタ４５０に表示されているカラーグレーディング処理済みの画像を確認しながら、所望の質感に近づくようにＣＤＬを設定し直すことができる。所望の質感になった場合は、ステップＳ１２０８において、システム制御部３５０は、操作部３２０を介したユーザ操作に応じて、カラーグレーディングパラメータの決定指示を取得する。

ステップＳ１２０９では、システム制御部３５０は、カラーグレーディング情報を記録媒体３０４に記録する。カラーグレーディング情報とは、図４に示すようなメタ情報であり、ステップＳ１２０８で決定されたＣＤＬ、被写体情報、光学情報、画像処理情報が関連付けられた情報である。これらの情報は、システム制御部３５０がステップＳ１２０１〜Ｓ１２０３、Ｓ１２０６で取得した情報である。

なお、ステップＳ１２０８において、カラーグレーディングを行った画像が所望の質感にならず、ＣＤＬが決定されない場合は、ステップＳ１２０６及びＳ１２０７の処理を繰り返し行う。

なお、本実施形態では、カラーグレーディング装置３００は、撮像装置２００の外部出力Ｉ／Ｆ２０３を介して画像データや環境情報を取得する構成であったが、撮像装置２００の記録媒体２０１を介して取得しても良い。例えば、撮像装置２００の記録媒体２０１がメモリカードであった場合、撮像装置２００からメモリカードを取り外し、カラーグレーディング装置３００に記録媒体３０４として装着する。これにより、カラーグレーディング装置３００のシステム制御部３５０は、画像データ及び環境情報を記録Ｉ／Ｆ３０２を介して取得することができる。

なお、本実施形態では、カラーグレーディング処理として、ゲインやガンマ等の算出方法が規定されているＣＤＬを前提に説明を行ったが、算出方法が規定されていないカラーグレーディングであっても本発明は適用可能である。カラーグレーディング処理が規定されていない場合は、カラーグレーディング情報として、カラーグレーディング処理方法についても記録される。具体的には、ゲインやガンマ等の算出方法が挙げられる。

また、本実施形態では、画像全体に一様のカラーグレーディングを行う方法について説明したが、例えば、空の領域のみに対してカラーグレーディングを行うような領域毎のカラーグレーディングを行っても良い。領域毎にカラーグレーディングを行う場合は、領域毎のＣＤＬに対して環境情報を関連付けて記録する。被写体情報として、例えば、「空」といったような被写体の種類も記録しても良い。

また、本実施形態では、カラーグレーディング情報として、ＣＤＬ、被写体情報、光学情報及び画像処理情報を１ファイルとして関連付けて記録した。これに対して、例えば、それぞれ別ファイルとして記録し、複数のファイルを管理する管理ファイルを作成することにより関連付けを行っても良い。

［実施形態３］次に、実施形態３について説明する。

本実施形態は、上述した実施形態１の撮像装置１００や実施形態２のカラーグレーディング装置３００によって作成、記録されたＣＤＬを補正する処理を行う。

よって、本実施形態の装置構成は、実施形態１の撮像装置１００であっても、実施形態２の撮像装置２００とカラーグレーディング装置３００とが通信可能に接続された構成であっても良い。

まず、図１３を参照して、本実施形態の画像処理部１０５の構成及び機能について説明するが、実施形態１の図１と同様の構成については同一の符号を付して説明は省略する。

図１３において、本実施形態の画像処理部１０５が実施形態１の図２の構成と異なる点は、スイッチ１０５７を有さず、色空間変換部１０５６の後段に、第２の色補正部１０５８、第２のガンマ処理部１０５９を備える点である。その他の色信号生成部１０５１、ＷＢ増幅部１０５２、色補正処理部１０５３、ガンマ処理部１０５４、輝度・色差信号生成部１０５５は実施形態１の図２で説明した通りである。

色空間変換部１０５６は、上述した映画芸術科学アカデミー（ＡＭＰＡＳ）が提案しているＡＣＥＳ規格の色空間へ変換し、変換後のＡＣＥＳ＿ＲＧＢ信号を第２の色補正部１０５８へ出力する。ＡＣＥＳ色空間への変換はＲＧＢ信号に対して、３×３のマトリクス演算を行うことで可能である。この３×３のマトリクスをＭ１と表す。ただし、ＡＣＥＳ色空間は浮動小数点で表現されるため、ここでは、例えば値を１０００倍するなどして、整数値で処理する。

色空間変換部１０５６は変換後のＡＣＥＳ＿ＲＧＢ信号を第２の色補正部１０５８へ出力する。第２の色補正部１０５８は、ＡＣＥＳ＿ＲＧＢ信号に対して、３×３のマトリクス処理を行う。ここでは、第２の色補正部１０５８でかける３×３のマトリクスをＭ２と表す。このマトリクスＭ２は、カラーグレーディングの処理内容によって決定される。例えば、ユーザが手動で設定したり、カラーグレーディング情報に記述されたマトリクスを実現する。第２のガンマ処理部１０５９は、設定されたガンマパラメータγ１に従ってＲＧＢ信号に対してガンマ処理を施し、ガンマ処理後の画像信号を外部モニタＩ／Ｆ３０５を介して外部モニタ４５０へ出力する。このガンマ処理の特性についても、ユーザ操作やカラーグレーディング情報によって決定される。

＜ＣＤＬの補正処理＞次に、図１４を参照して、図１０のカラーグレーディング装置３００のシステム制御部３５０がＣＤＬ作成時の環境情報と撮影時の環境情報とを比較し、カラーグレーディング情報に記述されたＣＤＬを補正する処理について説明する。

なお、図１４の処理は、不揮発性メモリ３２３に格納されたプログラムをシステムメモリ３２５に展開してシステム制御部３５０が実行することにより実現する。

図１４において、ステップＳ１４０１では、システム制御部３５０は、記録Ｉ／Ｆ１１２を介して撮像装置２００の記録媒体２０１から画像データと撮影時の環境情報（以下、撮影時環境情報）を取得し、画像メモリ３０３に記録する。この撮影時環境情報とは、図４の被写体情報４０２、光学情報４０３、画像処理情報４０４である。

ステップＳ１４０２では、ステップＳ１４０１と同様に、システム制御部３５０は、記録媒体２０１に記録されたカラーグレーディング情報４００とカラーグレーディング情報作成時の環境情報（以下、作成時環境情報）を取得し、画像メモリ３０３に記憶する。

ステップＳ１４０３では、システム制御部３５０は、撮影時環境情報と作成時環境情報との差異を検出する。具体的には、比較対象の環境情報は、大きく分けて被写体情報、光学情報、画像処理情報の３つ項目がある。具体的には、被写体情報としては、光源の色温度、明るさの基準値がある。光学情報としては、レンズの色味、レンズのＭＴＦ、カラーフィルタ等がある。画像処理情報としては、ガンマ処理、色補正処理、色空間変換処理がある。

ステップＳ１４０４では、システム制御部３５０は、撮影時環境情報と作成時環境情報の差異が検出された場合、現在の画像データに対してＣＤＬの補正が必要か判定する。ここで、図１５を参照して、被写体情報の中の被写体の色温度を比較して環境情報の差を検出し、ＣＤＬを補正する必要があるか判定処理について説明する。まず、図４の被写体情報４０２からカラーグレーディング情報４００に記述されている色温度情報（５５００Ｋ）を取得する。一方、撮影時環境情報では図１５（ａ）から被写体の色温度が５６００Ｋである。この場合、ステップＳ１４０３にてカラーグレーディング情報４００に記述されている色温度と、撮影時の被写体の色温度との間に差異が発生したことが分かる。

そこで、ステップＳ１４０４において、システム制御部３５０は、環境情報の差異がカラーグレーディング情報に記述されているＣＤＬを補正せずに許容できるレベルであるか判定する。例えば、図４において、被写体情報４０２に着目すると、光源色温度として５５００Ｋ（５０００〜６０００Ｋ）と記述されている。これは、カラーグレーディング情報４００に記述されているＣＤＬ４０１は、光源の色温度の変化として５０００〜６０００Ｋの範囲まで許容できることを表している。ここで、環境情報の差異が、ＣＤＬ４０１を補正する必要があるレベルであるか否かを判定する方法について図１５（ｃ）を用いて説明する。

図１５（ｃ）では横軸がカラーグレーディングを行う画像データを撮像したフレームの時間を示し、縦軸は画像の撮影時の被写体の光源色温度を示し、それぞれ、図４の被写体情報４０２での光源色温度、許容上限色温度と許容下限色温度を示している。図１５（ｃ）から撮影したフレーム毎に被写体の光源色温度が変化していることが分かる。図１５（ａ）の場合、被写体の光源色温度は５６００Ｋ（図１５（ｃ）のＴ０）であるため、許容上限色温度の５０００〜６０００Ｋの範囲に収まっていることが分かる。

従って、ステップＳ１４０４での判定結果としてカラーグレーディング情報４００に記述されているＣＤＬ４０１は、環境情報の差異によって画像の質感に影響を与えないレベルであり、ＣＤＬを補正する必要はないと判定する。一方、画像データが図１５（ｂ）の場合、被写体の色温度は７０００Ｋであり、図１５（ｃ）の時間Ｔ１から許容上限色温度である６０００Ｋを超えていることが分かる。このようにＣＤＬが許容色温度の範囲を超えている場合にはカラーグレーディング情報４００に記述されているＣＤＬ４０１でカラーグレーディングを行っても、所望の質感にならないため、ＣＤＬを補正する必要があると判定し、ステップＳ１４０５に進む。

なお、変形例として、ステップＳ１４０３で検出された差異によりＣＤＬを補正する必要がある場合に、その旨を警告画面で表示したり、さらに環境情報の差異が画像の質感に与える影響度（色味や明るさへの影響度等）を示すような警告画面を表示しても良い。

ステップＳ１４０５では、システム制御部３５０は、ステップＳ１４０４でＣＤＬの補正が必要であるので、カラーグレーディング情報４００に記述されているＣＤＬ４０１を補正する。ＣＤＬの補正方法は既存の画像処理方法を行うことで実現できるが、一例として、ＷＢ値を変更することでＣＤＬを補正する方法について説明する。図１５（ｂ）の被写体の色温度は７０００Ｋであるので、ＷＢのＲＧＢの係数比を変更して補正する。図４の被写体情報４０２の光源色温度５５００Ｋに近づけるために、Ｒの係数の重みを大きくするようにＣＤＬ４０１を補正することで実現できる。その際、単純にＷＢの係数を変更するだけでは、所望の質感にならない場合がある。例えば、曇りの日に撮影した画像データを用いてより曇りの味わいを出すようなＣＤＬを設定したとする。この場合、晴れた日の画像のＷＢ係数を補正して同じ所望の色味になったとしても、被写体のコントラストや彩度等が異なってしまうため、所望の質感にはならない。そのため、例えば色温度差に応じて彩度やコントラストの強度を調整する等のパラメータを予め用意してＷＢ係数を補正すると同時に調整を行っても良い。

最後に、ステップＳ１４０６では、システム制御部３５０は、カラーグレーディング情報４００に記述されているＣＤＬ４０１を、補正したＣＤＬに上書きして記録媒体３０４に記録する。

上述したように、カラーグレーディング情報４００に記述されているＣＤＬを補正する必要があるか判定し、必要がある場合にＣＤＬを補正することができる。

本実施形態では、撮影時環境情報と作成時環境情報の差異を比較してＣＤＬの補正を行うか判定する構成とした。従って、予めカラーグレーディング情報を作成するときに使用する画像データと、カラーグレーディングを行う画像の撮影時の環境情報に関わらず、撮影時のカラーグレーディング処理負荷を軽減することを可能にする。

また、本実施形態では、光源色温度の違いによってＣＤＬを補正する処理について説明したが、これに限らず、様々な環境情報について比較を行ってＣＤＬを補正しても良い。例えば、被写体情報に関する環境情報として、基準となる被写体の画素値の補正、光学情報として、レンズの機種名、レンズの色味、レンズのＭＴＦ等を比較し、環境情報の差異が許容できないレベルの場合にＣＤＬを補正するようにしても良い。

また、本実施形態では、元のＣＤＬに補正したＣＤＬを上書きする処理を説明したが、必ずしも上書きする必要はない。例えばカラーグレーディング情報に記述されている元のＣＤＬと補正後のＣＤＬとの差分情報を追記しても良い。また、補正後のＣＤＬを元のＣＤＬと別ファイルとして記録しても良い。

また、上記ステップＳ１４０５でＣＤＬを補正できない場合には、補正できなかったパラメータや差異情報に関してログを表示するようにしても良い。ＣＤＬを補正できない場合とは、カラーグレーディングを行う画像データとカラーグレーディング情報を作成するための画像データの色空間（ＹＵＶ空間とＲＧＢ空間）が違う場合や、ガンマカーブ（ＲＥＣ．７０９ガンマや、ｌｏｇガンマ）が違う場合等である。

また、本実施形態では、環境情報の差異に基づいてＣＤＬを補正する処理を説明したが、カラーグレーディング処理内容が記述されている場合には、処理内容に記述されたパラメータを補正しても良い。この場合は、カラーグレーディング処理内容に差異があるかを判定し、差異が発生する場合にはＣＤＬとカラーグレーディング処理を行う画像データの環境情報に応じて補正を行えば良い。

［実施形態４］次に、実施形態４について説明する。

本実施形態は、カラーグレーディング情報を作成するときに使用する画像の色空間やガンマカーブの形状等の画像処理情報に関する環境情報と、カラーグレーディングを行う画像データの画像処理情報を含む環境情報との差異に基づいてＣＤＬを補正する。

本実施形態において、カラーグレーディング装置の構成は、上記実施形態２の図１０と同様である。

以下に、図１６を参照して本実施形態の概要を説明する。

図１６では、カラーグレーディングを行う画像データをカメラＡが撮像した画像データとする。また、第２のカラーグレーディング装置Ｂ（構成は図１０と同様）はカメラＢで撮像した画像データを用いてカラーグレーディング情報を作成し、作成したカラーグレーディング情報を第１のカラーグレーディング装置Ａに送信する。そして、第１のカラーグレーディング装置Ａでは、カメラＡからの画像データと第２のカラーグレーディング装置Ｂから受信した第２のカラーグレーディング情報を用いてカラーグレーディング処理を行う。

この場合、カメラが異なるのでカメラＡから送信される画像データとカメラＢから送信される画像データのフォーマットが異なる場合や、第２のカラーグレーディング装置Ｂでカラーグレーディング情報を作成する処理の中で色空間を変換するなど様々なフォーマットの変換が発生する。例えば、第２のカラーグレーディング装置Ｂでカラーグレーディング情報を作成する際にカメラＢから受信した画像データは、外部モニタ４５０に表示された画像を見ながらユーザが操作部３２０により、所望の質感に近づくようにマトリクスＭ２およびガンマγ１を設定する。また、カラーグレーディング情報を作成する際に、カメラＢから送信された画像データの色空間を変更した場合にはマトリクスＭ１も設定される。この場合、操作部３２０は、直接マトリクスＭ１、Ｍ２およびガンマγ１の数値入力を受け付けることも可能であるし、予め用意されたマトリクスＭ２およびガンマγ１を表示し、ユーザによる選択操作を受け付けることも可能である。

このようにして、第２のカラーグレーディング装置Ｂを用いてカラーグレーディング情報を作成する際に、図１３の色空間変換部１０５６で行う色変換のマトリクスＭ１や、第２のガンマ処理部１０５９のガンマγ１の形状がカラーグレーディング情報作成時のカメラＢの画像データとカメラＡの画像データとの間で異なることが発生する。

したがって、本実施形態では、作成時環境情報と撮影時環境情報の差異に関し、特に画像データの色空間やガンマ等の画像処理情報に関する差異を検出してＣＤＬの補正を行い、カラーグレーディング処理負荷を軽減する。

以下に、本実施形態のＣＤＬの補正処理について図１７を参照して説明するが、図１７のステップＳ１４０１〜Ｓ１４０４、Ｓ１４０６での処理は、図１４と同様であるため説明を省略する。

ステップＳ１７０１では、システム制御部３５０は、ステップＳ１４０３で差異が検出された画像処理情報のうち、ガンマ処理（γ１の設定値又はガンマの形状情報）、色補正処理（マトリクスＭ１に含まれたマトリクスで表現されていることが多い）、色空間変換処理（マトリクスＭ１又は色変換情報）のいずれかに差異が存在するか判定する。これらに差異が発生する場合には、画像処理情報を補正した上で、ＣＤＬを補正する必要があるためである。ステップＳ１７０１で画像処理情報に差異が検出された場合にはステップＳ１７０２に進み、差異が検出されなかった場合には、図１４のステップＳ１４０４と同様の処理を行う。

ステップＳ１７０２では、システム制御部３５０は、画像処理情報のうち、特にガンマ処理、色空間変換処理の差異を補正するマトリクスを算出する。具体例としてガンマの設定値が異なる場合について説明する。図１６において、カメラＡで撮像した画像データ（画像データα）のガンマ値γ１αとし、カメラＢで撮像した画像データ（画像データβ）のガンマ値γ１βとする。ガンマの設定値が異なる画像データに同じＣＤＬ（マトリクスＭ２）でカラーグレーディングを行っても所望の質感にすることができない。従って、画像データβのガンマの設定値を画像データαのガンマの設定値に合わせた後で同じＣＤＬを掛ければ良い。つまり、γ１α＝Ζ×γ１βとなるようなマトリクスＺを算出する。同様に、色空間処理が異なった場合にも画像データαと画像データβの色空間を合わせるマトリクスＺを算出すれば良い。

その後、ステップＳ１４０４では、ステップＳ１４０３で検出された環境情報の差異によってＣＤＬを補正する必要があるか判定し、補正の必要がある場合、ステップＳ１７０３の処理に進む。

ステップＳ１７０３では、システム制御部３５０は、図１４のステップＳ１４０５と同様にＣＤＬを補正する。ここで算出されるＣＤＬは、ＣＤＬの補正分をマトリクスＹとすると、Ｙ×Ｍ２となる。このパラメータにステップＳ１７０２で算出したマトリクスＺをかけ合わせたパラメータを最終的なカラーグレーディング補正パラメータとする。画像データにかけ合わせるマトリクスの式は、Ｚ×γ１β×Ｙ×Ｍ２となる。従って、ガンマの設定値（第２のガンマ処理部１０５９の入力パラメータ）となるＣＤＬはＺ×γ１βとなり、色補正（図１３の第２の色補正部１０５８の入力パラメータ）となるＣＤＬはＹ×Ｍ２となる。

最後に、ステップＳ１４０６では、システム制御部３５０は、元のＣＤＬを補正後のＣＤＬに上書きして記録媒体３０４に記録する。

上述した処理を行うことで、カラーグレーディング情報作成時に、カラーグレーディングを行う画像データの色空間処理やガンマ処理等に関わらず、カラーグレーディング情報に記述されているＣＤＬを補正することができる。

本実施形態では、撮影時環境情報と作成時環境情報として特に色空間変換処理やガンマ処理等の画像処理情報の差異を比較してＣＤＬの補正を行う構成とした。しかしながら、異なる色空間やガンマ設定を行ったＣＤＬを用いた場合でも、実際に撮影する画像データに対する撮影時のカラーグレーディング処理負荷を軽減することが可能である。

これにより、カラーグレーディング情報を作成する場合に使用するカラーグレーディング装置に適した色空間変換処理やガンマ処理等を行うことができる。

本実施形態では、色空間の差異（図１３の色空間変換部１０５６のマトリクス）に応じて１つのマトリクスＭ１に対する補正パラメータを算出したが、色空間変換のマトリクスは複数のマトリクスの構成にしても良い。例えば、図１３の色空間変換部１０５６はＡＣＥＳ規格の色空間へ変換された画像データを扱うこととする。ＡＣＥＳ色空間では、基準状態（ＡＣＥＳ規格の色空間および色目標値）に変換することで、カメラやカラーグレーディング装置の個体差に関わらず同じパラメータを用いて画像が作成できることを目標としている。これを実現するために、装置の個体差を取り除くＩＤＴ処理と呼ばれる処理を行って色空間変換を行っている。主なＩＤＴ処理の内容は、ガンマ処理、光源の補正、目標値へのカラーバランス補正、ＡＣＥＳ空間への変換処理である。そのため、１つのマトリクスＭ１ではなく、複数のマトリクスに分けて図１３の色空間変換部１０５６でマトリクス処理をし、画像データの色空間を変更することができる。この場合、複数の色変換のマトリクスのうちどのマトリクスで処理したかという情報が、カラーグレーディング情報に環境情報として記述されている。そのため、ＡＣＥＳでの色空間変換の際に割り当てたマトリクス情報に応じて、環境情報に差異が発生してもＣＤＬを補正しないと判定しても良い。例えば、光源の補正のＩＤＴ処理に関するマトリクスを掛けて画像データＢにＡＣＥＳ変換を行った場合には、撮影時環境情報と作成時環境情報との間には光源の色温度が異なる場合でも、ＣＤＬには光源の色温度に関する補正を行わない。これは、ＡＣＥＳ空間では画像データＡと画像データＢの間での光源の色温度による影響を既に受けないようになっているからである。つまり、各空間によってＣＤＬを補正する環境情報を変えても良い。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (16)

1. 画像を入力する入力手段と、
   入力された第１の画像に対して、画質を調整するためのパラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成する画像生成手段と、
   入力された第３の画像に対して、前記画像生成手段により前記第２の画像を生成したときのパラメータを適用した画像を生成する場合に、前記第２の画像を生成したときのパラメータの基準となる第１の画像の撮影時の環境を示す撮影時環境情報と、前記第３の画像の撮影時の環境を示す撮影時環境情報とを取得する取得手段と、
   前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異に基づき、前記第３の画像に対して、前記第２の画像を生成したときのパラメータを適用した画像が生成できるか否かを判定する判定手段と、を有することを特徴とする画像処理装置。
2. 前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異が所定の範囲に収まらない場合に警告を行う警告手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異が所定の範囲に収まらない場合に、前記パラメータを補正する補正手段をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異に基づき、前記パラメータが補正できるか否かを判定し、前記パラメータが補正できないと判定された場合にその旨を通知する通知手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
5. 前記補正手段により補正されたパラメータを記録する記録手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
6. 前記撮影時環境情報は、色温度に関する情報であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像を入力する入力手段と、
   入力された第１の画像に対して、画質を調整するためのパラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成する画像生成手段と、
   入力された第３の画像に対して、前記画像生成手段により前記第２の画像を生成したときのパラメータを適用した画像を生成する場合に、前記第２の画像を生成したときのパラメータの基準となる第１の画像の撮影時の環境を示す撮影時環境情報と、前記第３の画像の撮影時の環境を示す撮影時環境情報とを取得する取得手段と、
   前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異が所定の範囲に収まるように前記パラメータを補正する補正手段と、を有することを特徴とする画像処理装置。
8. 前記撮影時環境情報は、色温度に関する情報であることを特徴とする請求項７に記載の画像処理装置。
9. 撮影手段と、
   画質を調整するためのパラメータと、前記撮影手段で得られた第１の画像に対して前記パラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成する場合の基準となる撮影時環境情報とを設定する設定手段と、
   前記設定手段で設定された前記パラメータと前記撮影時環境情報とを、前記第１の画像に関連付けて記録媒体に記録する記録手段と、を有することを特徴とする画像処理装置。
10. 前記第１の画像の撮影時の環境を示す撮影時環境情報を取得する取得手段をさらに有し、
    前記記録手段は、前記撮影時環境情報を、前記第１の画像に関連付けて記録することを特徴とする請求項９に記載の画像処理装置。
11. 前記撮影時環境情報は、色温度に関する情報であることを特徴とする請求項１０に記載の画像処理装置。
12. 入力手段が、画像を入力するステップと、
    画像生成手段が、入力された第１の画像に対して、画質を調整するためのパラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成するステップと、
    取得手段が、入力された第３の画像に対して、前記画像生成手段により前記第２の画像を生成したときのパラメータを適用した画像を生成する場合に、前記第２の画像を生成したときのパラメータの基準となる第１の画像の撮影時の環境を示す撮影時環境情報と、前記第３の画像の撮影時の環境を示す撮影時環境情報とを取得するステップと、
    判定手段が、前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異に基づき、前記第３の画像に対して、前記第２の画像を生成したときのパラメータを適用した画像が生成できるか否かを判定するステップと、を有することを特徴とする画像処理方法。
13. 入力手段が、画像を入力するステップと、
    画像生成手段が、入力された第１の画像に対して、画質を調整するためのパラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成するステップと、
    取得手段が、入力された第３の画像に対して、前記画像生成手段により前記第２の画像を生成したときのパラメータを適用した画像を生成する場合に、前記第２の画像を生成したときのパラメータの基準となる第１の画像の撮影時の環境を示す撮影時環境情報と、前記第３の画像の撮影時の環境を示す撮影時環境情報とを取得するステップと、
    補正手段が、前記第１の画像の撮影時環境情報と前記第３の画像の撮影時環境情報との差異が所定の範囲に収まるように前記パラメータを補正するステップと、を有することを特徴とする画像処理方法。
14. 設定手段が、画質を調整するためのパラメータと、第１の画像に対して前記パラメータを適用して前記第１の画像とは異なる画質の第２の画像を生成する場合の基準となる撮影時環境情報とを設定するステップと、
    記録手段が、前記設定された前記パラメータと前記撮影時環境情報とを、前記第１の画像に関連付けて記録媒体に記録するステップと、を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納した記憶媒体。