図面を参照して、本発明によるカメラの実施の形態を説明する。図1は、電子カメラ100のブロック図である。電子カメラ100は、図1に示すように、入力スイッチ101、レンズ102、撮像素子103、システム制御部104、RAM105、内蔵メモリ106、LCD駆動回路107、LCD108、メモリカードスロット109および外部インタフェース111を有する。
入力スイッチ101は使用者によって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号をシステム制御部104へ出力する。操作部材は、たとえばレリーズボタンや、各種の設定等を選択操作する時に操作される十字キーや、十字キーにより選択された設定等を決定するための決定ボタン、撮影モードと再生モードとの間で電子カメラ100の動作を切替えるモード切替ボタン等を含む。
レンズ102は、複数の光学レンズ群から構成される。なお、図1ではレンズ102を1枚のレンズで代表して表している。撮像素子103は、例えばCCDやCMOS等により構成される。撮像素子103は、後述するシステム制御部104の制御に応じて駆動してレンズ102を通して入力される被写体像を撮像し、撮像して得た画像信号をシステム制御部104へ出力する。撮像素子103の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子103がカラーフィルタを通して被写体像を撮像するため、撮像素子103から出力される画像信号はRGB表色系の色情報を有する。
メモリカードスロット109は、メモリカード109aが着脱可能なインタフェースである。メモリカードスロット109は、システム制御部104の制御に基づいて、画像ファイルをメモリカード109aに書き込んだり、メモリカード109aに記録されている画像ファイルを読み出すインタフェース回路である。メモリカード109aはコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
LCD駆動回路107は、システム制御部104の命令に基づいてLCD108を駆動する回路である。LCD108はアスペクト比が、たとえば縦3:横4の液晶表示パネルである。LCD108は、液晶ビューファインダとして用いられるとともに、メモリカード109aや後述する内蔵メモリ106に記録されている画像データに基づいてシステム制御部104で作成された表示画像データに対応する画像の表示を行う。また、LCD108は、画像ファイルに関連する各種情報(シャッタ速度、絞り値、ISO感度、ファイル名など)の表示を行う。また、LCD108は、入力スイッチ101の操作に基づき、電子カメラ100の各種設定メニュー画面の表示を行う。
設定メニューの内容としては、撮影モードの設定、ホワイトバランスの設定、画質(ファイン、ノーマル等)の設定等がある。画質がファインに設定された場合、後述するように画像データに対して圧縮処理が施されていないRAWデータファイルが記録される。また、ホワイトバランスの設定として、マニュアルモード(MWB)、自動調整モード(AWB)、プリセットモード(PWB)等を含む。マニュアルモードにおいては、システム制御部104は、選択された光源条件(屋外、日陰、照明の種類)に応じた固定のゲインデータを使用して、画像データに対してホワイトバランス調整処理を施す。自動調整モードにおいては、システム制御部104は、たとえば図示しない測光素子等により得られる画像信号に基づいて光源の色温度を推定し、推定した色温度に応じたゲインデータを使用して、画像データに対してホワイトバランス調整処理を施す。
プリセットモードにおいては、システム制御部104は、本撮影によりRAWデータファイルが取得される前もしくは後に、参考画像ファイルを取得する。そして、システム制御部104は、本撮影により取得されたRAWデータファイルに参考画像ファイルに含まれる参考画像データを付加して付加画像ファイルを生成する。参考画像は、本撮影にて撮像画像を取得する光源環境とほぼ同一の光源環境下において、使用者がグレーや白等の無彩色のチャートや一様な壁面、青空等の均一面を撮影することにより取得される。後述する画像処理装置200は、この参考画像データに基づいて算出したホワイトバランス調整値(ゲイン)を使用して、RAWデータに対してホワイトバランス処理を施す。なお、プリセットモードにおける処理については詳細を後述する。
RAM105は、画像処理、画像圧縮処理の途中や処理後のデータを一時的に格納するバッファメモリとして使用される揮発性記憶媒体である。内蔵メモリ106は、参考画像ファイルを記録する不揮発性記憶媒体である。なお、内蔵メモリ106の内部には、参考画像ファイルを格納するための参考画像用フォルダが設けられている。
外部インタフェース111は、システム制御部104の指令により、たとえばUSBインタフェースケーブル(不図示)等の所定のケーブルや無線伝送路を介して接続される他の画像処理装置200(たとえば、パーソナルコンピュータ)との間で、双方向通信によるデータの送受を行う。
システム制御部104は、CPUやメモリその他の周辺回路によって構成され、電子カメラ100を構成する各部に対して制御信号を出力して、電子カメラ100の動作を制御する。また、システム制御部104は、画像取得部104a、画像処理部104b、ファイル生成部104c、参考画像取得部104d、参考画像付加部104e、画像再生部104fおよび画像送信部104gを機能的に備えている。
画像取得部104aは、入力スイッチ101からの操作信号に基づいて、使用者によってレリーズボタンが全押しされたことを検出すると、撮像素子103を制御して被写体像を撮像した画像信号を出力させる。画像取得部104aは、取得した画像信号に対してA/D変換等を施してデジタル画像信号を生成する。そして、画像取得部104aは、生成したデジタル画像信号をRAM105に格納する。
画像処理部104bは、画像取得部104aにより生成されたデジタル画像信号に対して、色補間処理、間引き処理などの公知の画像処理を施して原画像データを生成する。そして、画像処理部104bは、生成した原画像データに対して圧縮処理を行い、所定の画像形式、例えばJpeg形式に圧縮して画像データを生成する。画像データは、画像処理部104bによりRAM105に格納される。なお、上述した画質がファインに設定されている場合やプリセットモードが設定されている場合は、画像処理部104bは、本撮影により取得されたデジタル画像信号を用いて、圧縮処理の施されていないRAWデータ(本画像データ)を生成する。
ファイル生成部104cは、画像データに種々の付加情報を付加して撮像画像ファイルを生成する。例えば、ファイル生成部104cは、RAM105に格納された画像データを用いて、付加情報を付加情報部に格納したExif形式の撮像画像ファイルを生成する。また、画質がファインに設定されている場合やプリセットモードが設定されている場合は、ファイル生成部104cは、RAWデータについても同様に、付加情報を付加してRAWデータファイルを生成する。ここで、付加情報部に付加される付加情報には、一般的には、画像撮影日時に関する情報や画像の撮影条件に関する情報、ホワイトバランス調整値(ゲイン)が含まれる。ファイル生成部104cは、上述のようにして生成した撮像画像ファイルまたはRAWデータファイルを、内蔵メモリ106またはメモリカードスロット109に挿入されているメモリカード109a内に記録する。
参考画像取得部104dは、後述するように、プリセットモードにおける参考画像ファイルの取得処理を制御する。参考画像付加部104eは、後述するプリセットモードにおいて取得された参考画像データとRAWデータファイルとの関連付けを行い、付加画像ファイルを生成する。
画像再生部104fは、LCD駆動回路107に対して各種画像データを出力して、LCD108に再生画像を表示させる。使用者によるモード切替ボタンの操作により再生モードが設定されると、画像再生部104fは、メモリカード109aに記録された画像データを読み出す。画像再生部104fは、読み出した画像データを原画像データに伸張し、必要に応じてLCD108の表示解像度にリサイズしてLCD駆動回路107に出力する。画像送信部104gは、使用者による送信ボタンの操作に応じて入力スイッチ101から送信を指示する信号(送信指示信号)を入力すると、メモリカード109a内の撮像画像ファイルや後述する付加画像ファイルを、外部インタフェース111を介して画像処理装置200へ送信する。
以下、プリセットモードが設定された場合の電子カメラ100の動作について説明する。プリセットモードは、参考画像ファイルを取得するための参考画像取得モードと、本撮影によりRAWデータファイルを取得するRAWデータ取得モードとを有する。以下、参考画像取得モードが設定された場合と、RAWデータ取得モードが選択された場合とに分けて説明する。
(1)参考画像取得モード
参考画像取得モードにおいては、使用者がグレーや白等の無彩色のチャートや一様な壁面、青空等の均一面の被写体を撮影すると、参考画像取得部104dは参考画像データを取得して、参考画像ファイルを生成する。参考画像データは、ホワイトバランス調整値として用いられるゲインを算出するための画像データである。
参考画像取得モードの設定時に、画像取得部104aは、入力スイッチ101からの操作信号に基づいてレリーズボタンの全押し操作を検出すると、上述のようにして、撮像素子103を制御してデジタル画像信号を取得する。デジタル画像信号がRAM105に格納されると、参考画像取得部104dは、デジタル画像信号に対して、色補間処理および間引き処理を施して原画像データを生成する。そして、参考画像取得部104dは、生成された原画像データに含まれる色情報(R信号、G信号、B信号)基づいて、公知の技術を用いてホワイトバランス調整値であるRゲイン(=G平均値/R平均値)およびBゲイン(=G平均値/B平均値)を算出する。参考画像取得部104dは、原画像データおよび算出されたホワイトバランス調整値を内蔵メモリ106に記録する。
参考画像取得部104dは、RAM105に格納されている原画像データに対して圧縮処理を施して参考画像データを生成する。そして、参考画像取得部104dは、参考画像データに、撮影日時等を記録した付加情報部を付加して参考画像ファイルを生成して内蔵メモリ106へ記録する。
図2のフローチャートを用いて、参考画像ファイルの取得処理について説明する。図2の処理を行うプログラムはシステム制御部104内の図示しないメモリに格納されており、使用者により参考画像取得モードが設定された状態で、レリーズボタンが操作され入力スイッチ101から操作信号がシステム制御部104に入力されると起動される。
ステップS101においては、システム制御部104は撮影処理を行う。すなわち、画像取得部104aは、撮像素子103を制御して被写体像を撮像したデジタル画像信号を取得してステップS102へ進む。
ステップS102においては、参考画像取得部104dは、デジタル画像信号に対して公知の色補間処理を施し、ステップS103においては、参考画像取得部104dは、公知の間引き処理を施して原画像データを生成してステップS104へ進む。ステップS104においては、参考画像取得部104dは、原画像データに含まれる色情報を用いてホワイトバランス調整値、すなわちゲインを算出する。そして、参考画像取得部104dは、算出したゲインを内蔵メモリ106に記録してステップS105へ進む。
ステップS105においては、参考画像取得部104dは、生成された原画像データを圧縮して参考画像データを生成してステップS106へ進む。ステップS106においては、参考画像取得部104dは、付加情報部を参考画像データに付加して参考画像ファイルを生成する。参考画像取得部104dは、ステップS104で算出されたホワイトバランス調整値を付加情報部に記録する。そして、参考画像取得部104dは、生成した参考画像ファイルを内蔵メモリ106に記録して処理を終了する。
(2)RAWデータ取得モード
RAWデータ取得モードにおいては、本撮影によりRAWデータファイルが取得され、このRAWデータファイルと上述した参考画像取得モードで取得された参考画像データとが関連付けされて付加画像ファイルが生成される。すなわち、参考画像データと、参考画像データが取得されたときの光源環境とほぼ同一の光源環境下で本撮影により取得されたRAWデータファイルとが関連付けされて付加画像ファイルが生成される。以下、次の(2−1)、(2−2)の場合に分けて説明する。
(2−1)本撮影によりRAWデータファイルが取得されるごとに、予め内蔵メモリ106に記録されている参考画像データを関連付ける場合
(2−2)既に内蔵メモリ106またはメモリカード109aに記録されているRAWデータファイルに、後から取得された参考画像データを関連付ける場合
使用者は、上記の(2−1)の場合にRAWデータ取得モードに含まれる第1モードを選択し、(2−2)の場合にRAWデータ取得モードに含まれる第2モードを選択することにより、RAWデータファイルに参考画像データを関連付けることができる。なお、第1モードおよび第2モードは、LCD108に表示されるメニュー画面から使用者により選択される。
(2−1)RAWデータファイルが取得されるごとに、RAWデータファイルと参考画像データとを関連付ける場合(第1モード)
第1モードが選択されている場合に、画像取得部104aは、入力スイッチ101からの操作信号に基づいて、レリーズボタンの全押し操作を検出すると、上述のようにして、撮像素子103を制御して取得した画像信号を用いてRAWデータファイルを生成する。参考画像付加部104eは、内蔵メモリ106に記録されている参考画像ファイルを読み出す。そして、参考画像付加部104eは、画像取得部104aで取得したRAWデータファイルに、参考画像ファイルに含まれる参考画像データと、付加情報部とを付加して付加画像ファイルを生成する。図3に付加画像ファイルのデータ構造の一例を模式的に示す。図3に示すように、付加画像ファイルには、RAWデータファイルが主画像、参考画像データが副画像として含まれることになる。付加画像ファイルの付加情報部には、参考画像ファイルの付加情報部に記録されているホワイトバランス調整値と、付加画像ファイル内における参考画像データのアドレス情報等が含まれている。参考画像付加部104eは、生成した付加画像ファイルをメモリカード109aに記録する。
図4のフローチャートを用いて、付加画像ファイルの生成処理について説明する。図4の処理を行うプログラムはシステム制御部104内の図示しないメモリに格納されている。このプログラムは、使用者によりRAWデータ取得モードに含まれる上記第1モードが設定された状態で、レリーズボタンの操作に応じて入力スイッチ101からの操作信号がシステム制御部104に入力されると起動される。
ステップS201においては、システム制御部104は撮影処理を行う。すなわち、画像取得部104aは、撮像素子103を制御して被写体像を撮像した画像信号に基づいてRAWデータファイルを生成してステップS202へ進む。
ステップS202においては、参考画像付加部104eは、内蔵メモリ106に記録されている参考画像ファイルを読み出す。そして、参考画像付加部104eは、ステップS201で生成されたRAWデータファイルに、参考画像データと、ホワイトバランス調整値および参考画像データのアドレス情報が記録された付加情報部とを付加して付加画像ファイルを生成してステップS203へ進む。ステップS203においては、参考画像付加部104eは、生成した付加画像ファイルをメモリカード109aに記録して処理を終了する。
(2−2)予め記録されているRAWデータファイルに後から取得した参考画像データを関連付ける場合(第2モード)
使用者により第2モードが選択されているときに、レリーズボタンの全押し操作を検出すると、上述した参考画像取得モードの場合と同様にして、参考画像取得部104dは、参考画像ファイルを取得し、内蔵メモリ106に記録する。参考画像ファイルが記録されると、参考画像付加部104eは、参考画像データを付加する対象としてのRAWデータファイル(対象画像ファイル)を使用者に選択させるための処理を行う。参考画像付加部104eは、予めメモリカード109aに記録されているRAWデータファイルを読み出して、ファイル内に含まれるサムネイル画像データをLCD駆動回路107へ出力して、LCD108にサムネイル画像データに対応するサムネイル画像を表示させる。なお、メモリカード109aに予め記録されているRAWデータファイルのファイル名を、たとえば「DCS.0001.nef」〜「DSC.0006.nef」として説明する。
LCD108にサムネイル画像が表示されると、参考画像付加部104eは、使用者に付加画像ファイルを生成するための対象画像ファイル、すなわちRAWデータファイルの選択を促すメッセージをLCD駆動回路107を介してLCD108に表示させる。図5に、モニタ108の表示の一例を示す。図5(a)には、画面1として、サムネイル画像SP1〜SP6と、それぞれのサムネイル画像SP1〜SP6と、選択用カーソルCRと、上述したメッセージとが表示されている様子を表している。LCD108には、メッセージとして、たとえば「最初の対象画像を選択してください」等の文面が表示される。なお、サムネイル画像SP1〜SP6のそれぞれは、ファイル名が上述した「DSC.0001.nef」〜「DSC.0006.nef」のRAWデータファイルに対応するものである。
使用者は、図5(a)のように表示されたサムネイル画像SP1〜SP6の中から、付加画像ファイル生成の対象として所望する画像に対応するサムネイル画像を、十字キーを操作して選択用カーソルCRを移動させることにより選択する。そして、使用者の決定ボタン操作に応じて入力スイッチ101から決定操作信号を入力すると、参考画像付加部104eは、十キー操作により選択されたサムネイル画像のファイル名をRAM105に格納する。図5(a)においては、サムネイル画像SP2、すなわちファイル名「DSC.0002.nef」のRAWデータファイルが使用者により選択された場合を示している。すなわち、参考画像付加部104eは、選択されたサムネイル画像に対応するファイル名「DSC.0002.nef」をRAM105に格納する。
次に、参考画像付加部104eは、図5(b)に示すような画面(画面2)をLCD駆動回路107を介してLCD108に表示させる。画面2においては、RAWデータファイルの選択を促すメッセージとして、たとえば「最後の対象画像を選択してください」等の文面が表示される。そして、上述したように使用者の十字キー操作により画像の選択、および決定ボタン操作が行われ、入力スイッチ101から決定操作信号を入力すると、参考画像付加部104eは、十キー操作により選択されたサムネイル画像のファイル名をRAM105に格納する。図5(b)においては、サムネイル画像SP5、すなわちファイル名「DSC.0005.nef」のRAWデータファイルが使用者により選択された場合を示している。そして、参考画像付加部104eは、RAM105に格納されたファイル名に基づいて、ファイル名「DSC.0002.nef」〜「DSC.0006.nef」までの5個のRAWデータファイルを、付加画像ファイルを生成する際に参考画像データを付加する対象のファイルとして決定する。
上述したようにして対象画像ファイルが決定されると、参考画像付加部104eは、メモリカード109aに記録されている、対象画像ファイルに対応するRAWデータファイルを読み出して、RAM105へ格納する。ここでは、参考画像付加部104eは、ファイル名「DSC.0002.nef」のRAWデータファイルを読み出したものとする。なお、参考画像付加部104eは、たとえばRAWデータファイルのファイル名に基づいて、「DSC.0002.nef」→「DSC.0003.nef」→・・・→「DSC.0006.nef」の順序でRAWデータファイルを選択して読み出す。
参考画像付加部104eは、内蔵メモリ106から参考画像ファイルを読み出す。そして、参考画像付加部104eは、RAWデータファイルに参考画像データと、ホワイトバランス調整値および参考画像データのアドレス情報が記録された付加情報部とを付加して付加画像ファイルを生成する。参考画像付加部104eは、ファイル名「DSC.0002.nef」のRAWデータファイルに、参考画像ファイルの参考画像データを付加して、たとえばファイル名「DSC.0002.mig」の付加画像ファイルを生成する。この付加画像ファイルは、参考画像付加部104eにより、メモリカード109aに記録される。
図6のフローチャートを用いて、付加画像ファイルの生成処理について説明する。図6の処理を行うプログラムはシステム制御部104内の図示しないメモリに格納されている。このプログラムは、使用者によりRAWデータ取得モードに含まれる第2モードが設定された状態で、レリーズボタンの操作に応じて入力スイッチ101からの操作信号がシステム制御部104に入力されると起動される。
ステップS301において、システム制御部104は、使用者のレリーズボタンの全押し操作の有無を判定する。全押し操作に応じて入力スイッチ101から操作信号を入力した場合は、システム制御部104によりステップS301が肯定判定されてステップS302へ進む。入力スイッチ101から操作信号を入力しない場合は、システム制御部104によりステップS301が否定判定されて、当該判定処理を繰り返す。
ステップS302(撮影処理)からステップS306(圧縮処理)までの各処理は、図2のステップS101(撮影処理)からステップS105(圧縮処理)までの各処理と同様である。ステップS307においては、参考画像取得部104dは、参考画像ファイルの取得が終了したか否かを判定する。この場合、参考画像取得部104dは、LCD駆動回路107を介してLCD108に、たとえば「参考画像として記録してもよいですか?Yes/No」等のメッセージを表示させる。使用者による「Yes」を選択する操作に応じて入力スイッチ101から操作信号を入力すると、参考画像取得部104dは、参考画像ファイルの取得が終了したと判定し、ステップS307を肯定判定してステップS308へ進む。使用者による「No」を選択する操作に対応して入力スイッチ101から操作信号を入力すると、参考画像取得部104dは、参考画像ファイルの取得が終了していないと判定し、ステップS307を否定判定してステップS301へ戻る。ステップS308においては、参考画像取得部104dは、生成した参考画像ファイルを内蔵メモリ106に記録してステップS309へ進む。
ステップS309においては、参考画像付加部104eは、RAWデータファイルを読み出してステップS310へ進む。ステップS310においては、参考画像付加部104eは、読み出したRAWデータファイルのサムネイル画像データをLCD駆動回路107へ出力して、LCD108にサムネイル画像データに対応するサムネイル画像を表示させる。さらに、参考画像付加部104eは、LCD駆動回路107を介してRAWデータファイルの選択を促すメッセージをLCD108に表示させる。その結果、図5(a)に示す画面1がLCD108に表示される。
ステップS311では、参考画像付加部104eは、使用者による決定ボタン操作の有無を判定する。決定ボタンの操作に応じて入力スイッチ101から操作信号を入力した場合は、参考画像付加部104eによりステップS311が肯定判定されてステップS312へ進む。このとき、参考画像付加部104eは、使用者により選択されたサムネイル画像のファイル名をRAM105に格納する。決定ボタンが操作されず入力スイッチ101から操作信号を入力しない場合は、参考画像付加部104eによりステップS311が否定判定されて、当該判定処理を繰り返す。
ステップS312では、参考画像付加部104eは、LCD駆動回路107に指令して、LCD108に図5(b)に示す画面2を表示させてステップS313へ進む。ステップS313においては、参考画像付加部104eは、ステップS311と同様にして、使用者による決定ボタン操作の有無を判定する。決定ボタンの操作に応じて入力スイッチ101から操作信号を入力した場合は、参考画像付加部104eによりステップS313が肯定判定されてステップS314へ進む。このとき、参考画像付加部104eは、使用者により選択されたサムネイル画像のファイル名をRAM105に格納する。決定ボタンが操作されず入力スイッチ101から操作信号を入力しない場合は、参考画像付加部104eによりステップS313が否定判定されて、当該判定処理を繰り返す。
ステップS314では、参考画像付加部104eは、ステップS311とステップS313でRAM105に格納したファイル名に基づいて、対象画像ファイルとして選択されたRAWデータファイルを決定する。そして、参考画像付加部104eは、決定されたRAWデータファイルをメモリカード109aから読み出して、ステップS315へ進む。ステップS315においては、参考画像付加部104eは、ステップS314で決定したRAWデータファイルの付加情報部に含まれるホワイトバランス調整値を参考画像ファイルに含まれるホワイトバランス調整値に置き換えて上書きする。そして、参考画像付加部104eは、RAWデータファイルに参考画像ファイルに含まれる参考画像データを付加して付加画像ファイルを生成し、メモリカード109aに記録してステップS316へ進む。
ステップS316においては、参考画像付加部104eは、ステップS314で対象画像ファイルとして決定した全てのRAWデータファイルに対して処理が済んだか否かを判定する。全てのRAWデータファイルに対して処理が済んでいる場合は、参考画像付加部104eによりステップS316が肯定判定されて処理を終了する。全てのRAWデータファイルに対して処理が済んでいない場合は、参考画像付加部104eによりステップS316が否定判定されてステップS314へ戻る。
上述のようにして電子カメラ100で生成された付加画像ファイルは、画像送信部104gにより画像処理装置200に送信される。そして、画像処理装置200は、付加画像ファイルに含まれるRAWデータに対して、同一の付加画像ファイルに含まれる参照画像データに基づくホワイトバランス調整値を用いてホワイトバランス調整処理を施す。さらに、本実施の形態の画像処理装置200は、使用者の操作に応じて、参考画像データのうちホワイトバランス調整値の算出に用いる領域を領域画像データとして設定し、この領域画像データを用いて新たなホワイトバランス調整値を算出する。
図7は画像処理装置200(たとえばパーソナルコンピュータ)の一例を示す概略制御ブロック図である。画像処理装置200は、電子カメラ100で撮像した被写体像の画像データの表示や編集、画像データの保存を行う。画像処理装置200は、制御回路201、HDD202、モニタ制御回路203、モニタ204、メモリ205、入力装置206、メモリカードインタフェース207、および外部インタフェース212を備える。外部インタフェース212は、所定のケーブルや無線伝送路を介して電子カメラ100等の外部装置とデータ通信を行う。
入力装置206は、使用者によって操作され、たとえばキーボードやマウスなどで構成される。HDD202には、たとえば電子カメラ100で撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース212は、たとえば画像処理装置200に電子カメラ100などの外部機器を接続するUSBインタフェースである。画像処理装置200は、メモリカードインタフェース207や外部インタフェース212を介してメモリカード109aや外部機器から画像ファイルなどを読み込む。読み込まれた画像ファイルは、制御回路201によりHDD202に記録される。上述した電子カメラ100で生成された付加画像ファイルも、同様にHDD202に記録される。
制御回路201は、画像処理装置200の制御を行うマイクロコンピュータであり、CPUやROMその他周辺回路により構成される。制御回路201は、再生部201a、参考画像再生部201b、領域抽出部201c、ホワイトバランス算出部201d、および記録部201eを機能的に備える。メモリ205は制御回路201のワーキングメモリであり、たとえばSDRAMにより構成される。モニタ204は、たとえば液晶モニタやCRTモニタである。モニタ204には、モニタ制御回路203に制御されて、表示用の画像データに対応する画像および各種設定を行うためのメニュー画面などが表示される。
次に、画像処理装置200による付加画像ファイルに対応する画像の表示処理について説明する。画像処理装置200により画像を表示する場合、使用者により画像表示ソフトを起動して実行する。この画像表示ソフトは、画像処理装置200の制御回路201内の不図示メモリに記録されている。使用者による入力装置206の操作に応じて画像表示ソフトの起動が指示されると、制御回路201は画像表示ソフトを起動する。画像表示ソフトが起動されると、制御回路201の再生部201aは、HDD202に記録された付加画像ファイルをメモリ205に読み出す。
再生部201aは、読み出した付加画像ファイルに含まれるRAWデータファイルのRAWデータに対して、公知の色補間処理を施す。再生部201aは、色補間処理を施したRAWデータの複製を生成し、付加画像ファイルに含まれていたRAWデータとは別に複製RAWデータとしてメモリ205に格納する。そして、再生部201aは、付加画像ファイルの付加情報部に記録されたホワイトバランス調整値、すなわちゲインを読み出す。再生部201aは、読み出したホワイトバランス調整値を用いて、色補間処理の施されたRAWデータに対してホワイトバランス調整処理を施して画像データを生成する。すなわち、再生部201aは、赤色光、青色光および緑色光に対応するRAWデータのうち、赤色光および青色光に対応するRAWデータのそれぞれに対して、ホワイトバランス調整用のRゲイン(=G平均値/R平均値)およびBゲイン(=G平均値/B平均値)をかけ合わせる。さらに、再生部201aは、ホワイトバランス調整の施された画像データに対して、たとえばコントラストの調整等の色補正処理を施して表示用画像データを生成し、モニタ制御回路203に出力してモニタ204に表示用画像データに対応する画像を表示させる。
本実施の形態の画像処理装置200においては、上記のようにして表示された画像に対応するRAWデータファイルと関連付けられた参考画像データに対応する参考画像を表示することができる。さらに、画像処理装置200は、表示された参考画像に基づいて、ホワイトバランス調整値の算出に用いる領域を、使用者の所望する位置に設定できる。参考画像に影等がかかっていたり、複数光源によるミックス光が照射されている場合、適正なホワイトバランス調整値が算出されていないことがある。このような場合、使用者は、参考画像のうち影等がかかっていない領域やミックス光の影響を受けていない領域を、ホワイトバランス調整値を算出するための領域(ホワイトバランス設定領域)として設定できる。そして、画像処理装置200は、ホワイトバランス設定領域に対応する参考画像データを領域画像データとして設定し、領域画像データを用いて新たにホワイトバランス調整値を算出することができる。以下、詳細に説明する。
参考画像再生部201bは、使用者の入力装置206の操作に応じて参考画像の表示を指示する信号(参考画像表示指示信号)を入力すると、モニタ204に表示中の画像に対応する付加画像ファイルの参考画像データに基づいて、表示用参考画像データを生成する。そして、参考画像再生部201bは、生成した表示用参考画像データをモニタ制御回路203に出力し、図8(a)に示すように、モニタ204に表示用参考画像データに対応する参考画像を表示させる。なお、参考画像の表示指示は、たとえばモニタ204に表示された画像に重畳して表示されたコマンドボタンを、入力装置206のマウス等を用いて使用者がクリック等の操作をすることで行われる。
図8(a)に示すように表示された参考画像においては、領域R1に影がかかっているものとして説明する。このような場合に、使用者は、領域R1を避けるようにして、領域R2のうちの任意領域、たとえば矩形R3で示す領域(以後、ホワイトバランス設定領域)を選択し、確定したものとする。なお、矩形R3の選択は、使用者が入力装置206のマウスをクリックアンドドラッグ操作することにより行うものとする。そして、使用者が矩形R3の領域を選択してからマウスをクリック操作すると矩形R3の領域がホワイトバランス設定領域として確定される。
入力装置206からホワイトバランス設定領域が確定されたことを示す信号(領域確定信号)を入力すると、領域抽出部201cは、ホワイトバランス設定領域の位置を特定する。すなわち、領域抽出部201cは、モニタ204における矩形R3の左上端の座標(X1,Y1)および矩形R3の右下端の座標(X2,Y2)のそれぞれを、参照画像データ上の座標(x1,y1)および(x2,y2)に換算して、位置情報としてメモリ205に格納する。すなわち、位置情報は参考画像上においてホワイトバランス設定領域が占有する領域を示す。そして、参考画像再生部201bは、モニタ制御回路203を介して、モニタ204における参照画像の表示を終了させる。
ホワイトバランス算出部201dは、参照画像データのうち、上記の座標(x1,y1)および(x2,y2)により規定される領域に含まれるデータ(領域画像データ)を用いて、ホワイトバランス調整値、すなわちゲインを算出する。ホワイトバランス算出部201dは、新たに算出したホワイトバランス調整値をメモリ205に格納する。そして、再生部201aは、新たに算出したホワイトバランス調整値を用いて、複製RAWデータに対して、ホワイトバランス調整処理を施して画像データを生成する。そして、再生部201aは、画像データに基づいて表示用画像データを生成し、モニタ制御回路203に出力してモニタ204に表示用画像データに対応する画像を表示させる。このとき、再生部201aは、モニタ204に、図8(b)に示すようにホワイトバランス確定指示のためのコマンドボタンC1、C2を画像に重畳して表示させる。
使用者が、マウス等を用いて、図8(b)のコマンドボタンC1、すなわち「YES」をクリックすると、入力装置206は制御回路201へ確定信号を出力する。確定信号を入力すると、記録部201eは、付加画像ファイルの付加情報部に記録されているホワイトバランス調整値を、ホワイトバランス算出部201dにより新たに算出されたホワイトバランス調整値に更新して記録する。さらに、記録部201eは、ホワイトバランス設定領域の座標(x1,y1)、(x2,y2)を位置情報として付加画像ファイルの付加情報部に記録する。なお、付加画像ファイルの付加情報部に既に位置情報が記録されている場合は、記録部201eは、新たなホワイトバランス設定領域に対応する位置情報に更新して記録する。
使用者が、マウス等を用いて、図8(b)のコマンドボタンC2、すなわち「NO」をクリックすると、入力装置206は制御回路201へ非確定信号を出力する。非確定信号を入力すると、参考画像再生部201bは、表示用参考画像データを生成してモニタ制御回路203に出力し、モニタ204に表示用参考画像データに対応する参考画像を表示させる。このとき、参考画像再生部201bは、メモリ205に格納した参考画像データ上の座標(x1,y1)および(x2,y2)を座標(X1,Y1)および座標(X2,Y2)にそれぞれ換算する。そして、参考画像再生部201bは、座標(X1,Y1)および座標(X2,Y2)をモニタ制御回路203に出力する。その結果、図8(a)に示す矩形R3が、参考画像上において位置情報に対応する領域、すなわちホワイトバランス設定領域を表す指標として、モニタ204に表示された参考画像に重畳して表示される。
図9のフローチャートを用いて、画像の表示処理について説明する。図9の処理を行うプログラムは制御回路201内の図示しないメモリに格納されている。このプログラムは、使用者による入力装置206の操作に応じて画像表示ソフトの起動が指示されると起動され、制御回路201により実行される。
ステップS401においては、再生部201aは、HDD201に記録された付加画像ファイルをメモリ205に読み出してステップS402へ進む。ステップS402においては、再生部201aは、RAWデータファイルのRAWデータに対して色補間処理を施してステップS403へ進む。このとき、再生部201aは、複製RAWデータを生成してメモリ205に格納する。ステップS403においては、再生部201aは、付加画像ファイルの付加情報部に記録されたホワイトバランス調整値を読み出す。そして、再生部201aは、このホワイトバランス調整値を用いて、色補間処理の施されたRAWデータに対してホワイトバランス調整処理を施して画像データを生成し、ステップS404へ進む。
ステップS404においては、再生部201aは、画像データに対してたとえばコントラスト調整等の色補正処理を施して、ステップS405へ進む。ステップS405においては、再生部201aは、色補正処理の施された表示用画像データを生成してモニタ制御回路203へ出力し、モニタ204に表示用画像データに対応する画像を表示させてステップS406へ進む。ステップS406においては、参考画像再生部201bは、使用者による参考画像表示指示の有無を判定する。参考画像表示の指示があった場合、すなわち入力装置206から参考画像表示指示信号を入力した場合は、参考画像再生部201bによりステップS406が肯定判定されてステップS407へ進む。参考画像表示指示信号を入力しない場合は、参考画像再生部201bによりステップS406が否定判定されて、参考画像表示指示信号を入力するまで待機する。
ステップS407においては、参考画像再生部201bは、モニタ204に表示中の画像に対応する付加画像ファイルの参考画像データに基づいて、表示用参考画像データを生成する。そして、参考画像再生部201bは、生成した表示用参考画像データをモニタ制御回路203に出力し、モニタ204に表示用参考画像データに対応する参考画像を表示させてステップS408へ進む。このとき、付加画像ファイルの付加情報部に位置情報が記録されている場合は、参考画像再生部201bは、位置情報をモニタ制御回路203へ出力し、ホワイトバランス設定領域に対応する指標を参考画像に重畳して表示させる。
ステップS408においては、領域抽出部201cは、ホワイトバランス設定領域の確定操作が行われたか否かを判定する。使用者によりホワイトバランス設定領域が選択され確定操作が行われた場合、すなわち入力装置206から領域確定信号を入力した場合は、領域抽出部201cによりステップS408が肯定判定されてステップS409へ進む。このとき、領域抽出部201cは、設定されたホワイトバランス設定領域の位置を特定し、位置情報をメモリ205に格納する。入力装置206から領域確定信号を入力しない場合は、領域抽出部201cによりステップS408が否定判定されて、領域確定信号を入力するまで待機する。
ステップS409においては、参考画像再生部201bは、モニタ制御回路203を介して、モニタ204における参考画像の表示を終了させてステップS410へ進む。ステップS410においては、ホワイトバランス算出部201dは、領域画像データを用いて、新たにホワイトバランス調整値を算出する。そして、ホワイトバランス算出部201dは、新たに算出されたホワイトバランス調整値をメモリ205に格納してステップS411へ進む。
ステップS411においては、再生部201aは、ステップS410においてホワイトバランス算出部201dにより算出されたホワイトバランス調整値を用いて、複製RAWデータに対してホワイトバランス調整処理を施してステップS412へ進む。ステップS412(色補正処理)およびステップS413(画像表示)の各処理は、ステップS404(色補正処理)およびステップS405(画像表示)の各処理と同様である。
ステップS414においては、記録部201eは、ホワイトバランス確定操作の有無を判定する。ホワイトバランス確定操作があった場合、すなわち入力装置206から確定信号を入力した場合、記録部201eによりステップS414が肯定判定されてステップS415へ進む。入力装置206から非確定信号を入力した場合は、記録部201eによりステップS414が否定判定されてステップS407へ戻る。ステップS415においては、記録部201eは、ステップS410でホワイトバランス算出部201dにより算出されたホワイトバランス調整値を付加画像ファイルの付加情報部に更新して記録する。さらに、記録部201eは、ホワイトバランス設定領域を示す位置情報、すなわち座標値を付加画像ファイルの付加情報部に記録して、処理を終了する。
以上で説明した実施の形態によれば、以下の作用効果が得られる。
(1)画像処理装置200の外部インタフェース212は、電子カメラ100により取得されたRAWデータファイルに参考画像データが付加された付加画像ファイルを読み込みむようにした。再生部201aは、付加画像ファイルの付加情報部に記録された参考画像データに基づくホワイトバランス調整値を用いて、RAWデータに対して画像処理を施し、表示用画像データを生成するようにした。さらに、画像処理装置200の参考画像再生部201bは、参考画像データに対応する参考画像をモニタ204に表示する。入力装置206は、モニタ208に表示された参考画像上の任意の領域をホワイトバランス設定領域として指定するための指定操作を受け付ける。そして、領域抽出部201cは、参考画像データから、ホワイトバランス設定領域に対応する領域画像データを抽出し、ホワイトバランス算出部201dは、領域画像データに基づいて、ホワイトバランス調整のためのホワイトバランス調整値を算出するようにした。そして、再生部201aは、ホワイトバランス算出部201dにより算出された新たなホワイトバランス調整値に基づいて、RAWデータに対してホワイトバランス調整処理を施し、表示用画像データを生成するようにした。参考画像に影等がかかっていたり、複数光源によるミックス光が照射されている場合、適正なホワイトバランス調整値が算出されていないことがある。このような場合、付加画像ファイルには参考画像データが含まれているので、使用者は、参考画像に基づいて、適正なホワイトバランス調整値が算出されていない原因を認識できるので利便性が高まる。さらに、使用者は、参考画像のうち影等がかかっていない領域やミックス光の影響を受けていない領域をホワイトバランス設定領域として設定することができる。その結果、適正なホワイトバランス調整値が得られていない場合には、新たに適正なホワイトバランス調整値を算出し、ホワイトバランス調整処理を施すことができるので、画質を向上させることができる。
(2)記録部201eは、ホワイトバランス算出部201dにより算出されたホワイトバランス調整値を保存するようにした。したがって、次回以降に画像を表示する際に、修正済のホワイトバランス調整値を用いてホワイトバランス調整処理が施されるので、高画質の画像を得ることができる。
(3)記録部201eは、参考画像上において指定操作により指定されたホワイトバランス設定領域が占有する位置を示す位置情報を保存するようにした。そして、参考画像再生部201bは、位置情報に基づいて、ホワイトバランス設定領域を示す指標を参考画像に重畳してモニタ204に表示するようにした。したがって、使用者は、現在のホワイトバランス調整値の算出に用いられているホワイトバランス設定領域を画面上で確認できるので、ホワイトバランス設定領域を変更する際の利便性が向上する。
以上で説明した実施の形態を以下のように変形できる。
(1)ホワイトバランス設定領域の位置情報を付加画像ファイルの付加情報部に記録するものに代えて、領域画像データを記録してもよい。この場合、記録部201eは、領域抽出部201cにより参考画像データから抽出された領域画像データを、RAWデータファイルと参考画像データとが含まれる付加画像ファイルに付加すればよい。このときの付加画像ファイルのデータ構造の一例を図10に模式的に示す。図10に示すように、付加画像ファイルには、RAWデータファイルが主画像、参考画像データが第1副画像、領域画像データが第2副画像として含まれることになる。
(2)色補間および圧縮処理が施された参考画像データを用いて付加画像ファイルを生成するものに代えて、色補間処理が施された非圧縮の参考画像データを用いてもよい。さらに、色補間処理の施されていないRAWデータを参考画像データとして用いてもよい。
(3)記録部201eは、予め付加画像ファイルの付加情報部に記録されていたホワイトバランス調整値を更新し上書き保存するごとに、それ以前に記録されていたホワイトバランス調整値の更新履歴を記録してもよい。この場合、記録部201eは、更新履歴と新たに算出したホワイトバランス調整値を付加画像ファイルの付加情報部に記録する。
(4)参考画像付加部104eは、付加画像ファイルを生成するものに代えて、関連付けされたRAWデータファイルおよび参考画像ファイルの少なくとも一方に、関連付けがされていることを示す情報(関連付け情報)を付加するようにしてもよい。この場合、参考画像付加部104eは、RAWデータファイルの付加情報部に、関連付けされている参考画像ファイルのパス、ファイル名等を関連付け情報として書き込めばよい。なお、参考画像付加部104eは、参考画像ファイルの付加情報部に、関連付けされているRAWデータファイルのパス、ファイル名等を関連付け情報として書き込んでもよいし、RAWデータファイルと参考画像ファイルの両者の付加情報部に関連付け情報を書き込んでもよい。
(5)参考画像付加部104eは、付加画像ファイルを生成するものに代えて、RAWデータファイルと参考画像ファイルのそれぞれに対して、関連付けがされていることを示すファイル名を付与してもよい。この場合、参考画像付加部104eは、たとえばファイル名「DSC.0004.nef」のRAWデータファイルと「DSC.0002s.jpg」の参考画像ファイルとを関連付ける際に、それぞれのファイル名に共通する名称として、たとえば「・・・_r1」等を付与すればよい。すなわち、参考画像付加部104eは、RAWデータファイルのファイル名を「DSC.0004_r1.nef」とし、参考画像ファイルのファイル名を「DSC.0002s_r1.jpg」とすればよい。
(6)参考画像付加部104eは、付加画像ファイルを生成するものに代えて、RAWデータファイルと参考画像ファイルが関連付けされていることを示す関連付け情報を作成し、この関連付け情報をメモリカード109aに記録してもよい。この場合、参考画像付加部104eは、関連付け情報として、たとえば図11に示すように、関連付けされたRAWデータファイルと参考画像ファイルとを対応付けたデータベース等を作成すればよい。
(7)画像処理装置200に代えて、電子カメラ100で参考画像の表示、ホワイトバランス設定領域に対応する領域画像データの抽出、および領域画像データを用いたホワイトバランス調整値の算出を行うようにしてもよい。この場合、システム制御部104に、参考画像再生部、領域抽出部、ホワイトバランス算出部を機能的に備えるようにする。そして、この参考画像再生部、領域抽出部、ホワイトバランス算出部が、上述した画像処理装置200の参考画像再生部201b、領域抽出部201c、ホワイトバランス算出部201dと同様にして図9のフローチャートに示す処理を実行すればよい。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。