JPWO2015118788A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JPWO2015118788A1
JPWO2015118788A1 JP2015561184A JP2015561184A JPWO2015118788A1 JP WO2015118788 A1 JPWO2015118788 A1 JP WO2015118788A1 JP 2015561184 A JP2015561184 A JP 2015561184A JP 2015561184 A JP2015561184 A JP 2015561184A JP WO2015118788 A1 JPWO2015118788 A1 JP WO2015118788A1
Authority
JP
Japan
Prior art keywords
image
bracket
white balance
gain
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015561184A
Other languages
English (en)
Other versions
JP6195633B2 (ja
Inventor
慎也 藤原
慎也 藤原
上田　徹
徹 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2015118788A1 publication Critical patent/JPWO2015118788A1/ja
Application granted granted Critical
Publication of JP6195633B2 publication Critical patent/JP6195633B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

画像特性に応じたホワイトバランスブラケッティングを行う画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体を提供する。画像処理部３１は、ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する。この画像処理部３１は、色分布取得部４６、第１ゲイン取得部４１及び第２ゲイン取得部４２を含む。色分布取得部４６は、入力画像データの色分布情報を取得する。第１ゲイン取得部４１は、ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する。第２ゲイン取得部４２は、色分布情報に基づいて、ベース画像用ホワイトバランスゲインを基準に、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する。

Description

本発明は画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体に係り、特にホワイトバランスブラケティング技術に関する。
デジタルカメラ等の撮像装置において、オートブラケット機能の一種であるホワイトバランスブラケティングが知られている。ホワイトバランスブラケティングは、異なるホワイトバランスゲインを処理対象画像に適用することで、一度の撮影でホワイトバランスの異なる複数の画像を取得する機能である。例えば「ベース画像」、「ベース画像よりもブルー寄りの色相を持つ第１のブラケット画像」及び「ベース画像よりもアンバー寄りの色相を持つ第２のブラケット画像」の計３つの画像を、ホワイトバランスブラケティング機能によって取得することが可能である。ユーザは、適切なホワイトバランス処理が施された画像を、より確実に、ベース画像及びブラケット画像の中から得ることができる。
通常のホワイトバランス処理では、撮影条件や被写体特性によっては、過補正や補正残りなどのカラーフェリア（Ｃｏｌｏｒ Ｆａｉｌｕｒｅ）を生じることがある。しかしながらホワイトバランスブラケティングによれば、カラーフェリアが生じうる環境下で撮影が行われても、ホワイトバランスの異なる複数の画像が取得される。ユーザは、ホワイトバランスの異なる複数の画像の中から所望の画像を選択することで、カラーフェリアが解消された又は低減された画像を得られる。
ホワイトバランスブラケティングに関し、特許文献１は、２つの撮影条件に基づくブラケット撮影が可能な電子カメラを開示する。この電子カメラでは、第１の撮影条件（露光）及び第２の撮影条件（色バランス）のそれぞれを変えながらブラケット撮影が行われる。ブラケット撮影画像の表示画面には、「第１の撮影条件が同じであるが第２の撮影条件が異なる複数の画像」が縦方向に並べられ、「第１の撮影条件が異なるが第２の撮影条件が同じである複数の画像」が横方向に並べられる。
特許文献２は、どの方向にどの程度の補正を行っているかを直感的に分かり易くするための撮像装置を開示する。この撮像装置では、背面表示部において、横方向にブルー方向とアンバー方向の座標軸が表示され、縦方向にグリーン方向とマゼンタ方向の座標軸が表示され、これらの２軸の座標原点を補正値０として補正量が表される。
特許文献３は、ホワイトバランス制御ゲインを様々な色に変化させて連続撮影を行うことができるカメラを開示する。このカメラでは、撮影者が設定した任意数の色に基づいてホワイトバランス処理が行われる。
特開２００２−５１２５０号公報 特開２００６−２０１９４号公報 特開２００２−３０５７５０号公報
＜補正方向が一定であることに起因する課題＞
例えば特許文献１に開示の電子カメラでは、予め定められた条件下で露光及び色バランスが変更されながら撮影が行われ、画像データが撮影取得された環境（撮影シーン）とは無関係にブラケット撮影による画像が作成される。そのため撮影シーンによっては、ブラケット撮影によって作成された画像の中に「撮影シーンに応じた適切なホワイトバランス処理が施された画像」が存在しない場合もある。
特にオートホワイトバランスモード（ＡＷＢモード：Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅモード）では、ホワイトバランス処理による補正方向に依存して画像の色相がシフトする傾向がある。例えば日陰やタングステン光下で撮影された画像をオートホワイトバランスモードでホワイトバランス処理を行う場合、画像の色相はアンバー・ブルー方向にシフトする傾向がある。一方、白色蛍光灯下で撮影された画像や木々の緑を主とする画像をオートホワイトバランスモードでホワイトバランス処理を行う場合、画像の色相はグリーン・マゼンタ方向にシフトする傾向がある。
したがって「ホワイトバランス処理による色相の補正方向」が予めアンバー・ブルー方向に定められていると、例えば白色蛍光灯下で撮影された画像や木々の緑を主とする画像のホワイトバランス処理では、適切な色相を有する画像を得られない場合がある。
このようにホワイトバランスの補正方向が予め固定されている場合、適切な色相を有する画像（ベース画像及びブラケット画像）を必ずしも得られない。
＜ユーザが処理パラメータを決めることに起因する課題＞
特許文献２の撮像装置では、ユーザが多方向入力スティックやサブ電子ダイアルを操作することで、ホワイトバランスの補正及びホワイトバランスブラケットが設定される。また特許文献３のカメラでは、ユーザがブラケットの種類の選択後に撮影時の所望色を選択することで、ホワイトバランスの単色ブラケット又は複色ブラケットが行われる。
このようにユーザがホワイトバランスの処理パラメータを選定することが求められる場合、その選定作業がユーザの手間及び負担になるだけではなく、ユーザは処理パラメータの厳密な選定の判断に迷う場合がある。特にホワイトバランスの原理を適切に理解していないユーザにとっては、ホワイトバランスの処理パラメータの選定を適切に行うことが難しい。
＜ホワイトバランスブラケティングが複数方向に行われることに起因する課題＞
特許文献１の電子カメラでは、露出と色バランスを変えたブラケット撮影により９枚の画像を取得し、取得した９枚の画像を並べて同時に画面に表示する。したがってこの電子カメラでは、１度の撮影によって同一シーンに関する９枚の画像が撮影取得されてメモリに記憶されるため、ホワイトバランスブラケティングを行わない通常撮影時に比べて撮影可能シーン数が９分の１（１／９）に減少する。
同様に、ベース画像に加えて、例えばアンバー方向、ブルー方向、グリーン方向、マゼンタ方向及びアンバー・ブルー方向とグリーン・マゼンタ方向との間の２方向に関するブラケット画像を作成する場合にも、同一シーンに関して合計で９つの画像が作成される。一方、ユーザが適切だと感じる画像は基本的にはそれらの９つの画像のうちの１つ画像であるため、残りの８つの画像は本来的には不要な画像となり無駄になる。
このようにホワイトバランスブラケティングによって作成されるブラケット画像の枚数が増えるほど、画像記録メモリの記憶容量が浪費されて撮影可能シーン数が減少し、またユーザにとっては選択肢が増えるため所望画像の選択の手間が増大する。
＜ホワイトバランスブラケティングの補正量に関する課題＞
ホワイトバランスブラケティングにおいて、ベース画像とブラケット画像との間におけるホワイトバランスの差（ブラケット量）は、撮影シーンに依存せずに一定であることが一般的である。例えば、ＲＧＢ画素値によって構成される処理対象画像を１ステップ分だけアンバー方向にシフトさせるホワイトバランス処理を行う場合、撮影シーンによらず、Ｒゲインをベース画像のＲゲインに対して１．２倍にすると共に、Ｂゲインをベース画像のＢゲインに対して０．８倍にするホワイトバランスゲインが処理対象画像に適用される。
一方、画像の視覚的印象は、画像の彩度、特に「本来は白色である被写体」の画像彩度に依存して変動する（マクアダムの法則）。したがって撮影シーンが異なる複数の処理対象画像に、ベース画像のホワイトバランスゲインに対してＲゲインを１．２倍及びＢゲインを０．８倍にする同一の比率で変動させたホワイトバランスゲインを適用しても、ホワイトバランス処理後の画像の視覚的印象は撮影シーンに応じて異なる。例えばタングステン光下で取得された処理対象画像から作成されたベース画像であったとしても、例えば「本来的な彩度がグレー（無彩色）である被写体像を完全グレーになるようにホワイトバランス処理したベース画像」及び「本来的な彩度がグレー（無彩色）である被写体像をアンバー気味になるようにホワイトバランス処理したウォーム（Ｗａｒｍ）で彩度が高いベース画像」が存在しうる。彩度の異なるこれらのベース画像の各々に関して同一のブラケット方向及び同一のブラケット量を持つブラケット画像を作成する場合を想定する。この場合、「本来的な彩度がグレーである被写体像を完全グレーになるようにホワイトバランス処理を行ったベース画像」のブラケット画像の方が「本来的な彩度がグレーである被写体像をアンバー気味になるようホワイトバランス処理したウォーム（Ｗａｒｍ）で彩度が高いベース画像」のブラケット画像よりも、視覚的印象として、ベース画像に対するホワイトバランスの相違が相対的に大きく見える。
このように従来のホワイトバランスブラケティングでは、ブラケット方向及び／又はブラケット量に対して画像特性が十分に反映されていないため、色かぶり等の不具合を解消した画像（ベース画像及びブラケット画像）をユーザに提供できない場合があった。
本発明は上述の事情に鑑みてなされたものであり、画像特性に応じたホワイトバランスブラケット画像を作成する手法を提供することを目的とする。
本発明の一態様は、ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する画像処理装置であって、入力画像データの色分布情報を取得する色分布取得部と、ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する第１ゲイン取得部と、色分布情報に基づいて、ベース画像用ホワイトバランスゲインを基準に、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する第２ゲイン取得部とを備える画像処理装置に関する。
本態様によれば、入力画像データの色分布情報に応じたブラケット画像用ホワイトバランスゲインが取得されるため、「入力画像データの色分布情報に応じたホワイトバランス処理特性」に基づくブラケット画像を得ることが可能である。
ここでいう「色分布情報」は、入力画像データの色分布を表す情報であれば特に限定されず、例えば入力画像データのＲＧＢ（赤緑青）の分布比率に基づいて「色分布情報」が定められてもよい。
なお、ホワイトバランスゲインが適用される「原画像データ」と上述の「入力画像データ」とは、同じデータであってもよいし、異なるデータであってもよい。例えば後述のオートホワイトバランスモードのように、ホワイトバランスゲインが予め記憶されず、「ホワイトバランスゲインの取得処理」と「ベース画像及びブラケット画像の取得処理」とが一連の処理として同時的に行われる場合には、「原画像データ」と「入力画像データ」とが同じデータとなりうる。一方、後述のカスタムホワイトバランスモードのように、ホワイトバランスゲインが予め記憶され、「ホワイトバランスゲインの取得処理」と「ベース画像及びブラケット画像の取得処理」とが別個の処理として行われる場合には、「原画像データ」と「入力画像データ」とが異なるデータとなりうる。
望ましくは、第２ゲイン取得部は、色分布情報に基づいて色空間上でのブラケット方向を決定し、ベース画像用ホワイトバランスゲインを基準にブラケット方向に基づいてブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、入力画像データの色分布情報に基づいてブラケット方向が決定されるため、ブラケット方向に関してより適切なブラケット画像を得ることが可能である。また本実施形態では入力画像データの色分布情報に基づいてブラケット方向が限定されるため、ブラケット方向が不適切な状態でブラケット画像が作成されることを防ぐことができる。
ここでいう「色空間上でのブラケット方向」とは、色空間上におけるベース画像の位置からブラケット画像の位置に向かう方向である。ベース画像及びブラケット画像の色空間上における位置は、ベース画像及びブラケット画像の色分布を表す任意のデータに基づいて表され、例えばベース画像及びブラケット画像の色分布から導き出される代表色によって色空間上の位置が決められてもよい。
またここでいう「色空間」は特に限定されず、例えばＲＧＢ表色系色空間、ｘｙＹ表色系色空間、ＸＹＺ表色系色空間、Ｌ*ｕ*ｖ*表色系色空間、Ｌ*ａ*ｂ*表色系色空間、或いはＹＣｒＣｂ色空間、等であってもよい。
なお、第２ゲイン取得部は、ブラケット画像用ホワイトバランスゲインの色間の比率を定めることによって、ブラケット方向を決定してもよい。
望ましくは、第２ゲイン取得部は、色分布情報に基づいてブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準にブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、入力画像データの色分布情報に基づいてブラケット量の絶対値が決定されるため、ブラケット量に関してより適切なブラケット画像を得ることが可能である。
ここでいう「ブラケット量」は、色空間上におけるベース画像の位置からブラケット画像の位置までの距離に対応しており、ベース画像に対するブラケット画像のホワイトバランスの変化量を表す。
なお第２ゲイン取得部は、色分布情報に基づいて色毎にブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準に色毎のブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを算出してもよい。
望ましくは、第２ゲイン取得部は、色分布情報から光源色を推定し、色分布情報から推定される光源色に応じて、ブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、ブラケット画像用ホワイトバランスゲインは、入力画像データの色分布情報から推定される光源色に応じて取得されるため、光源色の特性に応じたブラケット画像を得ることが可能である。
なお「光源色」は、入力画像データの撮影取得時において被写体を照らす光や被写体自身から発せられる光の色特性に基づいて定められる。
望ましくは、第２ゲイン取得部は、色分布情報から推定される光源色の相関色温度に応じて、ブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、推定される光源色の相関色温度に応じてブラケット画像用ホワイトバランスゲインが取得されるため、相関色温度に基づくホワイトバランス特性を反映したブラケット画像を作成することが可能である。
ここでいう「相関色温度」は、光源色と最も近い色に見える黒体放射特性（黒体放射軌跡）の色（温度）で表されており、光色を表す尺度として使用可能である。
望ましくは、第２ゲイン取得部は、色分布情報から推定される光源色の相関色温度に応じてブラケット量の絶対値を決定し、ブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、推定される光源色の相関色温度に応じてブラケット量の絶対値が決定されるため、相関色温度に基づくホワイトバランスの変化量特性を反映したブラケット画像を作成することが可能である。
望ましくは、第２ゲイン取得部は、色空間上における黒体放射特性と色分布情報から推定される光源色との距離に応じてブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、黒体放射特性（黒体放射軌跡）と光源色との距離に基づくホワイトバランス特性を反映したブラケット画像を作成することが可能である。
ここでいう「黒体放射特性と色分布情報から推定される光源色との距離」は、「色空間上において、黒体放射特性を表す黒体放射軌跡の法線のうち、推定される光源色を通過する法線上の、光源色と黒体放射軌跡との距離」を意味する。なお、黒体放射軌跡の同一法線上の光源色は、同一の相関色温度となる。
望ましくは、第２ゲイン取得部は、黒体放射特性と色分布情報から推定される光源色との距離が小さいほど色空間上でのブラケット方向をアンバー・ブルー方向に近づけ、距離が大きいほど色空間上でのブラケット方向をグリーン・マゼンタ方向に近づけてブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、黒体放射特性（黒体放射軌跡）と光源色との距離に応じてブラケット方向が定められるため、適切なブラケット方向のブラケット画像を得ることが可能である。
黒体放射特性（黒体放射軌跡）は、色空間上ではアンバー・ブルー方向に延在する。したがって、光源色が黒体放射特性に近いほどホワイトバランス処理後のベース画像はアンバー・ブルー方向にずれやすく、また光源色が黒体放射特性から遠くなるに従ってホワイトバランス処理後のベース画像はグリーン・マゼンタ方向にずれやすい。したがって本態様によれば、ベース画像の光源色に基づく色ずれ特性に応じてブラケット方向が決定される。
望ましくは、第２ゲイン取得部は、色分布情報から推定される光源色とベース画像用ホワイトバランスゲインとに基づいてベース画像の彩度情報を取得し、彩度情報に基づいてブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、ベース画像の彩度情報に基づいてブラケット画像用ホワイトバランスゲインが取得されるため、彩度に基づくホワイトバランス特性を反映したブラケット画像を得ることが可能である。
望ましくは、第２ゲイン取得部は、無彩色に対するベース画像の相対的な彩度に基づいて彩度情報を取得し、彩度情報に基づいてブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準にブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。
望ましくは、画像処理装置は、ベース画像及びブラケット画像のうち少なくとも１つを表示する表示部の表示特性情報を取得する表示特性取得部を更に備え、第２ゲイン取得部は、表示特性取得部から取得した表示特性情報に基づいて表示無彩色情報を取得し、表示無彩色情報から得られる表示無彩色に対するベース画像の相対的な彩度に基づいて彩度情報を取得し、彩度情報に基づいてブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準にブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。
望ましくは、第２ゲイン取得部は、彩度情報に基づいて、無彩色とベース画像との彩度の差が大きいほどブラケット量の絶対値を大きくしてブラケット画像用ホワイトバランスゲインを取得する。
これらの態様によれば、ベース画像の無彩色（表示無彩色）に対する相対的な彩度に基づいてブラケット量の絶対値が決定されるため、彩度に基づくホワイトバランスのブラケット量特性を反映したブラケット画像を得ることが可能である。
一般に人間は視覚特性上、無彩色に近い色の変化には敏感であるが、高彩度の色の変化には鈍感である（マクアダムの法則）。したがって、ベース画像の彩度が低く無彩色（表示無彩色）に近い場合にはブラケット量の絶対値を小さく設定し、ベース画像の彩度が高く無彩色（表示無彩色）から遠い場合にはブラケット量の絶対値を大きく設定することで、ベース画像とブラケット画像との間における彩度の視覚上の相違を均一化することが可能である。
なおここでいう「表示特性情報」は、表示部の表示特性（例えば色の表示再現性）に関する情報である。また「表示無彩色情報」は、表示部の表示特性（例えば色温度）が考慮された色情報であって、表示部で無彩色を表示再現するための色に関する情報である。
本発明の他の態様は、ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する画像処理装置であって、ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する第１ゲイン取得部と、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する第２ゲイン取得部と、入力画像データにおけるフラッシュの影響度を示すフラッシュ影響度を取得するフラッシュ特定部とを備え、第１ゲイン取得部は、フラッシュ影響度に基づいてベース画像用ホワイトバランスゲインを取得し、第２ゲイン取得部は、ベース画像用ホワイトバランスゲインの取得に用いるフラッシュ影響度とは異なるフラッシュの影響度に基づいてブラケット画像用ホワイトバランスゲインを取得する画像処理装置に関する。
本態様によれば、異なるフラッシュの影響度に基づいてベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインが取得されるため、画像におけるフラッシュの影響のばらつきを補償するブラケット画像を作成することが可能である。
なお、入力画像データはフラッシュを発光して撮影取得され、フラッシュ特定部は、入力画像データと、フラッシュを発光せずに撮影取得された参照画像データとからフラッシュ影響度を算出することが好ましい。フラッシュ発光画像（入力画像データ）とフラッシュ非発光画像（参照画像データ）とを用いることで、フラッシュ影響度を簡単に求めることができる。入力画像データと参照画像データとは撮影される被写体像が同じ又は可能な限り近いことが好ましい。したがって参照画像データは、入力画像データの撮影取得の直前又は直後に撮影取得されたデータであることが好ましく、例えばライブビュー用画像等に基づいて参照画像データを取得してもよい。
なお、ホワイトバランスの設定モードがオートホワイトバランスモードである場合に、上述の「フラッシュ影響度に基づくベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインの取得」の処理を行ってもよい。
望ましくは、第２ゲイン取得部は、色分布情報とブラケット画像の作成の要否との関係を定めるブラケティング要否データを参照して、入力画像データの色分布情報に基づきブラケット画像の作成の要否を決定し、ブラケット画像の作成が必要であると決定された場合はブラケット画像用ホワイトバランスゲインを取得し、ブラケット画像の作成が不要であると決定された場合はブラケット画像用ホワイトバランスゲインを取得しない。
本態様によれば、ブラケティング要否データによってブラケット画像の作成の要否が定められ、ブラケット画像の作成が必要である場合にのみブラケット画像用ホワイトバランスゲインが取得され、ブラケット画像を作成することが可能である。
ブラケティング要否データによって色分布情報とブラケット画像の作成の要否とを適切に定めることによって、ホワイトバランスブラケティングを効率良く行うことができる。
ブラケティング要否データは、ベース画像用ホワイトバランスゲインが不適切になる可能性が高い色分布情報に対してブラケット画像の作成が必要であると定めることが好ましい。
本態様によれば、作成されるベース画像のホワイトバランスが適切でない可能性が高い場合にのみ、ブラケット画像用ホワイトバランスゲインが取得され、ブラケット画像を作成することが可能である。ここでいう「ベース画像用ホワイトバランスゲインが不適切になる可能性が高い」場合は特に限定されず、ブラケティング要否データは、例えば複数種類の光源色によって実現されうる色分布情報に対しては「ベース画像用ホワイトバランスゲインが不適切になる可能性が高い」と定めてもよい。
したがってブラケティング要否データは、少なくとも緑及び赤の色分布情報に対してブラケット画像の作成が必要であると定めてもよい。一般に、太陽光下で撮影された木々の緑等のデータを多く含む画像データと緑成分の占める割合が高い光を発する人工光源下で撮影された画像データとは、両者共に緑成分の占める割合が高くなる。また太陽光下で撮影された夕焼けの画像データと赤成分の占める割合が高い光を発する人工光源下で撮影された画像データとは、両者共に赤成分の占める割合が高くなる。したがって、入力画像データの色分布情報がこれらの緑や赤を示す場合には光源色を１つに限定することが難しいため、ブラケティング要否データはこれらの色分布情報に対して「ベース画像用ホワイトバランスゲインが不適切になる可能性が高い」と定めてもよい。
なお、ホワイトバランスの設定モードがオートホワイトバランスモードである場合に、上述の「ブラケティング要否データに基づくブラケット画像用ホワイトバランスゲインの取得」の処理を行ってもよい。
望ましくは、画像処理装置は、原画像データにベース画像用ホワイトバランスゲインを適用してベース画像を得て、原画像データにブラケット画像用ホワイトバランスゲインを適用してブラケット画像を得るホワイトバランス処理部を更に備える。
本態様によれば、ベース画像及びブラケット画像が取得される。
なお、入力画像データと原画像データとは、同じデータであってもよいし、異なるデータであってもよい。
ホワイトバランス処理部は、ベース画像に対してメイン画であることを示す分類情報を付加し、ブラケット画像に対してサブ画であることを示す分類情報を付加してもよい。またホワイトバランス処理部は、ベース画像に対してサブ画であることを示す分類情報を付加し、ブラケット画像の１つに対してメイン画であることを示す分類情報を付加してもよい。
これらの態様によれば、ベース画像及びブラケット画像をメイン画及びサブ画に分類することができる。
望ましくは、画像処理装置は、表示部と、表示部を制御し、ベース画像及びブラケット画像のうち少なくとも１つの画像を表示部に表示させる表示制御部とを更に備える。
本態様によれば、得られたベース画像及びブラケット画像のうち少なくとも１つの画像が表示部に表示され、ユーザは表示部に表示される画像を確認することができる。
望ましくは、表示制御部は、ベース画像及びブラケット画像のうち少なくともメイン画の分類情報が付加されている画像を表示部に表示させる。
本態様によれば、ユーザは、優先度が高いメイン画の分類情報が付加されている画像を、表示部を介して確認することができる。
望ましくは、画像処理装置は、ベース画像及びブラケット画像に付加されている分類情報の決定指示がユーザによって入力される指示受付部と、指示受付部に入力された決定指示に基づいて、ベース画像及びブラケット画像に付加されている分類情報を書き換え可能な分類情報書換部とを更に備える。
本態様によれば、ユーザの決定指示に応じて、ベース画像及びブラケット画像に付加されている分類情報を書き換えることができ、メイン画の分類情報が付加される画像を切り換えることができる。
なお指示受付部には、ベース画像及びブラケット画像のうちメイン画とする画像を指定する決定指示がユーザによって入力され、分類情報書換部は、ベース画像及びブラケット画像のうち、指示受付部に入力された決定指示によって指定される画像の分類情報をメイン画とし、他の画像の分類情報をサブ画としてもよい。
またベース画像及びブラケット画像のうち、表示部に表示される１又は複数の画像から１つの画像を関心画像としてユーザが選択可能とし、ユーザが関心画像を選択したことを示す決定指示が指示受付部に入力され、分類情報書換部が、指示受付部に入力されたこの決定指示が指定する関心画像の分類情報をメイン画としてもよい。
また表示制御部は、ベース画像及びブラケット画像のうち少なくともいずれか１つの分類情報が分類情報書換部によって書き換えられた場合には、書き換え後の分類情報に従ってベース画像及びブラケット画像のうち１又は複数の画像を表示部に表示させてもよい。
望ましくは、画像処理装置は、ベース画像とブラケット画像とを相互に関連付けて記憶する画像記憶部を更に備える。
本態様によれば、ベース画像及びブラケット画像を、関連性を維持した状態で画像記憶部に保存することができる。
なお画像処理装置は、ベース画像及びブラケット画像の各々に、他の画像との関連付けを示すグループ情報データを付加するグループ情報付加部を更に備え、画像記憶部には、ベース画像及びブラケット画像の各々と共に、付加されたグループ情報データが記憶されてもよい。この場合、グループ情報データに基づいてベース画像及びブラケット画像の関連性が維持される。
望ましくは、画像処理装置は、ベース画像とブラケット画像とを相互に関連付けて記憶する画像記憶部と、ベース画像の作成時からの時間が第１の時間よりも長い場合に、ベース画像及びブラケット画像のうちサブ画の分類情報が付加された画像を画像記憶部から削除する記憶制御部とを更に備える。
望ましくは、画像処理装置は、ベース画像とブラケット画像とを相互に関連付けて記憶する画像記憶部と、分類情報書換部によってベース画像及びブラケット画像のうち少なくともいずれか１つの分類情報が書き換えられた場合には、分類情報の書き換え時からの時間が第２の時間よりも長い場合に、ベース画像及びブラケット画像のうちサブ画の分類情報が付加された画像を画像記憶部から削除する記憶制御部とを更に備える。
これらの態様によれば、時間の経過に伴って、ベース画像及びブラケット画像のうちサブ画の分類情報が付加された画像が画像記憶部から削除されるため、画像記憶部に保存可能な撮影可能シーン数の減少を抑えることができる。撮影可能シーン数とは、ベース画像及びブラケット画像の作成の基礎になっている原画像データの種類数に対応する。
なお画像処理装置は、日時情報を提供するクロックデバイスと、ベース画像及びブラケット画像に編集日時情報を付加する日時情報付加部とを更に備え、記憶制御部は、クロックデバイスから得られる日時情報と、ベース画像及びブラケット画像のうちメイン画及び／又はサブ画の分類情報が付加された画像の編集日時情報（画像作成日時情報及び／又は分類情報書き換え最新日時情報）とに応じて、画像記憶部からサブ画の分類情報が付加された画像を削除してもよい。
望ましくは、表示制御部は、色空間座標を表示部に表示させて、ベース画像及びブラケット画像のうち表示部に表示させる画像の少なくともいずれかの色分布情報を表示部に表示される色空間座標上に表す。
本態様によれば、ユーザは、表示部に表示されるベース画像及び／又はブラケット画像の色空間座標上の位置を容易に確認することができる。
望ましくは、表示制御部は、ベース画像及びブラケット画像のうちメイン画の分類情報が付加された画像の色分布情報を表示部に表示される色空間座標上に表す。
本態様によれば、ユーザは、優先度の高いメイン画の分類情報が付加された画像の色空間座標上の位置を容易に確認することができる。
なお表示制御部は、ベース画像の色分布情報を色空間座標の原点上に表してもよい。
望ましくは、表示制御部は、ベース画像及びブラケット画像の各々を経時的に順次、表示部の同じ領域に表示させる。
本態様によれば、ベース画像及びブラケット画像が表示部の同じ領域に表示されるため、ユーザはベース画像とブラケット画像との相違を容易に確認することができる。
なお画像処理装置は、ユーザから表示部に表示させる画像の切り換えの指示が入力される画像切換受付部を更に備え、表示制御部は、画像切換受付部に入力される画像の切り換えの指示に応じて、ベース画像及びブラケット画像のうち表示部の同じ領域に表示させる画像を切り換えてもよい。
望ましくは、第１ゲイン取得部は、設定モードに応じて、ベース画像用ホワイトバランスゲインを取得する。
望ましくは、設定モードは、ベース画像用ホワイトバランスゲインが予め定められているプリセットホワイトバランスモード、入力画像データの色分布情報に基づいて入力画像データに適用されるベース画像用ホワイトバランスゲインが決定されるオートホワイトバランスモード、及び入力画像データの色分布情報に基づいて入力画像データとは異なる原画像データに適用されるベース画像用ホワイトバランスゲインが決定されるカスタムホワイトバランスモードのうちのいずれかである。
望ましくは、設定モードが、入力画像データの色分布情報に基づいて入力画像データに適用されるベース画像用ホワイトバランスゲインが決定されるオートホワイトバランスモードの場合、第１ゲイン取得部は、入力画像データの色分布情報に基づいてベース画像用ホワイトバランスゲインを取得し、第２ゲイン取得部は、第１ゲイン取得部がベース画像用ホワイトバランスゲインの取得の基礎に用いた色分布情報に基づいて、ブラケット画像用ホワイトバランスゲインを取得する。
本態様によれば、オートホワイトバランスモードでは同じ色分布情報に基づいて、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを精度良く取得することができる。
なお第１ゲイン算出部は、入力画像データとは異なる画像データに基づいてベース画像用ホワイトバランスゲインを算出してもよい。
本発明の他の態様は、被写体像を受光して画像データを生成する撮像素子と、撮像素子が生成する画像データを入力画像データとして用いる上記の画像処理装置とを備える撮像装置に関する。
なお撮像装置は、ユーザからの撮影指示を受け付ける撮影指示部を更に備え、撮影指示部が受け付ける１回の撮影指示によって、第１ゲイン算出部はベース画像用ホワイトバランスゲインを算出し、第２ゲイン算出部はブラケット画像用ホワイトバランスゲインを算出してもよい。
本発明の他の態様は、ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する画像処理方法であって、入力画像データの色分布情報を取得し、ベース画像を得るためのベース画像用ホワイトバランスゲインを取得し、色分布情報に基づいて、ベース画像用ホワイトバランスゲインを基準に、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する画像処理方法に関する。
本発明の他の態様は、ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得するプログラムであって、入力画像データの色分布情報を取得する手順と、ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する手順と、色分布情報に基づいて、ベース画像用ホワイトバランスゲインを基準に、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する手順と、をコンピュータに実行させるためのプログラムに関する。
本発明の他の態様は、ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得するプログラムであって、入力画像データの色分布情報を取得する手順と、ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する手順と、色分布情報に基づいて、ベース画像用ホワイトバランスゲインを基準に、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する手順と、をコンピュータに実行させるためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体に関する。
本発明によれば、入力画像データの色分布情報又はフラッシュ影響度に基づいてブラケット画像用ホワイトバランスゲインが取得される。このブラケット画像用ホワイトバランスゲインを処理対象画像である原画像データに適用してホワイトバランス処理を行うことで、適切なブラケット画像を作成することできる。
デジタルカメラの正面斜視図である。 デジタルカメラの背面斜視図である。 デジタルカメラの制御処理系を示すブロック図である。 Ｌ*ａ*ｂ*表色系の色度図である。 第１実施形態に係るホワイトバランス画像処理部（画像処理装置）の機能構成例を示すブロック図である。 第１実施形態に係るホワイトバランス処理のフローチャートである。 第２実施形態に係るホワイトバランス画像処理部の機能構成例を示すブロック図である。 第２実施形態に係るホワイトバランス処理のフローチャートである。 黒体放射軌跡が表されたＲＧＢ表色系の２次元色空間座標系を示し、光源色と黒体放射軌跡との関係を示す。 黒体放射軌跡が表されたＲＧＢ表色系の２次元色空間座標系を示し、黒体放射軌跡と相関色温度との関係を示す。 黒体放射軌跡が表されたＲＧＢ表色系の２次元色空間座標系を示し、黒体放射軌跡とブルー、マゼンタ、アンバー及びグリーンの方向との関係を示す 第３実施形態に係るホワイトバランス画像処理部の機能構成例を示すブロック図である。 第３実施形態に係るホワイトバランス処理のフローチャートである。 第４実施形態における「光源色と黒体放射軌跡との距離Ｌ」と「ブラケット方向」との関係例を示す図である。 第４実施形態に係るホワイトバランス処理のフローチャートである。 第５実施形態に係るホワイトバランス処理のフローチャートである。 第４実施形態のホワイトバランス処理と第５実施形態のホワイトバランス処理とを組み合わせた処理の一例を示すフローチャートである。 第６実施形態に係るホワイトバランス画像処理部の機能構成例を示すブロック図である。 第６実施形態に係るホワイトバランス処理のフローチャートである。 第７実施形態に係るホワイトバランス処理のフローチャートである。 第８実施形態に係るホワイトバランス画像処理部の機能構成例を示すブロック図である。 第８実施形態に係るホワイトバランス処理のフローチャートである。 第９実施形態に係るホワイトバランス画像処理部の機能構成例を示すブロック図である。 色分布情報とブラケット画像作成の要否との関係例を示す図である。 第９実施形態に係るホワイトバランス処理のフローチャートである。 第１０実施形態に係るＷＢ処理部の機能構成例を示すブロック図である。 ベース画像及びブラケット画像の各々に関するデータ構造例を示す図である。 １つの入力画像データに関して作成されたベース画像及びブラケット画像の各々を別ファイルデータとする場合のデータ構造例を示す。 １つの入力画像データに関して作成されたベース画像及びブラケット画像を１つのファイルとする場合のデータ構造例を示す。 第１０実施形態におけるホワイトバランス処理に関するフローチャートである。 図３に示すデジタルカメラの機能ブロックのうち、主として画像表示処理に関連する処理部を示す。 表示部における画像再生表示の一例を示す図である。 ブラケット画像がメイン画として選択及び決定された場合の表示部の表示例を示す図である。 表示部（選択画像表示部）における画像の切り換えに関するフローチャートである。 分類情報の書き換え処理のフローチャートである。 表示部の他の表示例を示す。 表示部の他の表示例を示す。 表示部の他の表示例を示す。 表示部の他の表示例を示す。 ベース画像及びブラケット画像の作成時からの時間に基づいて画像を削除する処理の一例を示すフローチャートである。 分類情報の書き換え時からの時間に基づいて画像を削除する処理の一例を示すフローチャートである。 「ベース画像及びブラケット画像の作成時からの時間」及び「分類情報の書き換え時からの時間」に基づいて画像を削除する処理の一例を示すフローチャートである。 カスタムホワイトバランスモードにおけるベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインの取得例を示すフローチャートである。 ＲＡＷ形式の画像データを出力するデジタルカメラの機能構成例を示すブロック図である。 デジタルカメラに接続されるサーバ及びコンピュータを示すブロック図である。 スマートフォンの外観を示す図である。 図４１に示すスマートフォンの構成を示すブロック図である。
図面を参照して本発明の実施形態について説明する。以下の実施形態では、デジタルカメラ（撮像装置）に本発明を適用した例について説明する。ただし、デジタルカメラ以外の画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体にも本発明を適用することが可能である。
以下の説明及び図面において、「ＷＢ」の表記は「ホワイトバランス（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）」を意味する。
図１はデジタルカメラ２の正面斜視図であり、図２はデジタルカメラ２の背面斜視図である。
デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４及びカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。
カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６及び電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮影指示を受け付ける撮影指示部であり、電源スイッチ７は、デジタルカメラ２の電源のオン及びオフの切り換え指示をユーザから受け付ける電源切換部である。
カメラ本体３の背面には表示部８及び操作部９が設けられている。表示部８は、撮影待機状態ではライブビュー画像（スルー画）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記録画像の再生時には再生画像表示部として機能する。
操作部９は、モード切換スイッチ、十字キー及び実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード及び画像を再生表示する再生モード等がある。また他の撮影モードとして、オートフォーカスを行うＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）モード及びマニュアルフォーカス操作を行うＭＦ（Ｍａｎｕａｌ Ｆｏｃｕｓ）モードがある。一方、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。またユーザは操作部９を操作して、後述のホワイトバランスブラケッティングモードと、通常のホワイトバランスモードとを切り換えることもできる。
カメラ本体３の底部（図示省略）には、メインメモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。メインメモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。メインメモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記録方式の記録媒体をメインメモリ１０として用いることが可能である。
図３は、デジタルカメラ２の制御処理系を示すブロック図である。
被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。撮像素子２１は、被写体像を受光して画像データを生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路等によってプロセス処理が施され、その後ＡＤ変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはバッファメモリ２４に保存される。
バッファメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成される。ＡＤ変換部２３から送られてきてバッファメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部（画像処理装置）３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス処理、ガンマ補正処理及びデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びバッファメモリ２４に保存する。
画像処理部３１において画像処理が施されてバッファメモリ２４に保存された画像データは、表示制御部３５及び圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、バッファメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮影確認画像として表示部８にポストビュー画像として表示される。
一方、圧縮伸張部３２は、バッファメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、メインメモリ１０へのデータ記録処理及びメインメモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、メインメモリ１０に記録される。なおメインメモリ１０に画像データ等のデータ類を記録する場合、記憶制御部３３は、後述のクロックデバイス３４から取得される日時情報に基づいて、そのデータ類に編集日時情報（更新日時情報）等の撮影情報やその他の関連情報を付加する。この撮影情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）形式を採用可能である。
メインメモリ１０に保存されている画像データを再生する再生モードにおいて、メインメモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にバッファメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってバッファメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。
システム制御部２５は、上述のようにバッファメモリ２４、画像処理部３１及び記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部もコントロールする。例えば、システム制御部２５は、レンズ駆動部２７を制御してレンズ部１２の駆動をコントロールし、シャッタ駆動部２６を制御してメカニカルシャッタ２０の駆動をコントロールする。またシステム制御部２５は、フラッシュ発光部５を制御してフラッシュの発光及び非発光をコントロールし、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類及び電池残量の検出等を行う。またシステム制御部２５は、クロックデバイス３４においてカウントされる日時情報を取得して各種の処理に利用する。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。
さらにシステム制御部２５は、シャッタボタン６、電源スイッチ７及び操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理及びデバイス制御を行う。例えば、システム制御部２５は、シャッタボタン６から受信したレリーズ信号に応じてシャッタ駆動部２６を制御し、メカニカルシャッタ２０の開閉をコントロールする。またシステム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオン及びオフをコントロールする。
システム制御部２５で行われる各種の処理及びデバイス制御に必要なプログラムやデータ類は、制御メモリ３０に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また新たなプログラムやデータ類を制御メモリ３０に保存することができる。例えば設定されたホワイトバランスモードの種類やホワイトバランスゲイン等の条件データを、システム制御部２５は制御メモリ３０に書き込むことができる。またシステム制御部２５は、表示制御部３５を制御して、各部から取得した各種情報を表示部８に表示させることができる。なおシステム制御部２５は、ユーザがユーザインタフェース３６を介して入力する操作信号に応じて、表示部８に表示させる各種情報を変更することができる。
次に、画像処理部３１におけるホワイトバランス処理について説明する。
図４は、Ｌ*ａ*ｂ*表色系の色度図である。
Ｌ*ａ*ｂ*表色系において、アンバー・ブルー方向は図４の矢印「Ａ−Ｂ」で表され、グリーン・マゼンタ方向は図４の矢印「Ｇ−Ｍ」で表される。したがって色相がアンバー・ブルー方向に偏った画像の代表色は、図４の座標の原点から矢印「Ａ−Ｂ」方向に関してずれた位置にプロットされる。一方、色相がグリーン・マゼンタ方向に偏った画像の代表色は、図４の座標の中心から矢印「Ｇ−Ｍ」方向に関してずれた位置にプロットされる。
「画像の代表色」は任意の手法で定められる。例えば画像の色度分布の統計量に基づいて代表色を決定してもよく、色空間において画像の色が分布している領域だけを線分に分割して代表色を決定する色空間線形分割法等を用いて代表色を決定してもよい。なお画像データの「色分布情報」及び「光源色」は、この「画像の代表色」に基づいて定められてもよい。
通常のホワイトバランス処理は、画像の色相の偏りを解消し、画像の代表色を図４の色度図の原点に戻すための処理となる。
以下、ホワイトバランス処理の具体的な実施形態について説明する。
以下の各実施形態のホワイトバランス処理は画像処理部３１（図３参照）において行われるが、画像処理部３１ではホワイトバランス処理以外の画像処理（例えばガンマ補正処理及びデモザイク処理等）も行われる。したがって各実施形態のホワイトバランス処理の前及び／又は後において、他の画像処理が行われてもよい。またホワイトバランスブラケティングによって作成されるブラケット画像の数は、１以上であればよい。以下の各実施形態では、１つのベース画像に加えて２つのブラケット画像を作成するホワイトバランスブラケティングの例について説明する。
＜第１実施形態＞
本実施形態では、シャッタボタン６を介した１度のレリーズ操作によって、ホワイトバランスが異なる複数の画像（ベース画像及びブラケット画像）を取得するホワイトバランスブラケティングにおいて、入力画像データの色分布に応じてブラケット画像用ホワイトバランスゲインが自動的に算出される。
図５は、第１実施形態に係るホワイトバランス画像処理部４０（画像処理装置）の機能構成例を示すブロック図である。
画像処理部３１におけるホワイトバランス画像処理部４０は、画像データ取得部４４と、色分布取得部４６と、第１ゲイン取得部４１と、第２ゲイン取得部４２と、ホワイトバランス処理部（以下「ＷＢ処理部」と称する）５４とを有する。このホワイトバランス画像処理部４０は、ベース画像及びブラケット画像を得るために原画像データ（処理対象画像データ）に適用されるホワイトバランスゲインを取得し、原画像データ（処理対象画像データ）にホワイトバランスゲインを適用する画像処理装置である。
画像データ取得部４４は、ホワイトバランス画像処理部４０に送られてくる入力画像データを受信し、受信した入力画像データを色分布取得部４６及びＷＢ処理部５４に送信する。
色分布取得部４６は、画像データ取得部４４から送られてくる入力画像データを解析し、入力画像データの色分布情報を取得する。この色分布情報は、入力画像データに基づくものであれば任意の手法で定められる。例えば、入力画像データの代表色を色分布情報としてもよく、シャッタボタン６を介したレリーズ操作によって撮像素子２１から送られてくる画像データを構成する画素値の積算値に基づくデータを色分布情報としてもよい。
第１ゲイン取得部４１は、ホワイトバランス設定判別部（以下「ＷＢ設定判別部」と称する）４８及びベースホワイトバランスゲイン設定部（以下「ベースＷＢゲイン設定部」と称する）５０を有し、ベース画像を得るためのベース画像用ホワイトバランスゲインをホワイトバランスの設定モードに応じて取得する。
ＷＢ設定判別部４８は、ホワイトバランスの設定モードに関する情報データがシステム制御部２５によって入力され、ホワイトバランスの設定モードを認定する。このホワイトバランスの設定モードに関する情報データは、制御メモリ３０に記憶されており、システム制御部２５によって読み出し及び書き換え可能となっている。ホワイトバランスの設定モードは予め定められていてもよいし、ユーザインタフェース３６（図３参照）を介してユーザがホワイトバランスの設定モードを任意のモードに設定可能であってもよい。
例えばプリセットホワイトバランスモード、オートホワイトバランスモード及びカスタムホワイトバランスモードのうちのいずれかを、ホワイトバランスの設定モードとしてユーザが任意に選択可能であってもよい。プリセットホワイトバランスモードでは、ベース画像用ホワイトバランスゲインが予め定められており、このベース画像用ホワイトバランスゲインは制御メモリ３０に記憶されている。オートホワイトバランスモードでは、入力画像データの色分布情報に基づいて、この入力画像データに適用されるベース画像用ホワイトバランスゲインが決定される。カスタムホワイトバランスモードでは、入力画像データの色分布情報に基づいて、この入力画像データとは異なる処理対象画像データに適用されるベース画像用ホワイトバランスゲインが決定される。
すなわちカスタムホワイトバランスモードでは、ユーザが無彩色（白又はグレー）の被写体を撮影して撮像素子２１から出力される画像データが、入力画像データとして取得される。そして、この被写体が適切な無彩色を示すために必要とされるホワイトバランスゲインが算出されてベース画像用ホワイトバランスゲインに設定される。そのためカスタムホワイトバランスモードでは、入力画像データの色分布情報に基づいて決定されたベース画像用ホワイトバランスゲインが制御メモリ３０に記憶される。そして、ベース画像を作成するホワイトバランス処理において制御メモリ３０から読み出されたベース画像用ホワイトバランスゲインが処理対象画像データに適用される。したがってカスタムホワイトバランスモードでは、「ベース画像用ホワイトバランスゲインを決定するために使用される入力画像データ」と「ベース画像を得るためにベース画像用ホワイトバランスゲインが適用される処理対象画像データ」とは異なるデータとなる。なおオートホワイトバランスモードでは、「ベース画像用ホワイトバランスゲインを決定するために使用される入力画像データ」と、「ベース画像を得るためにベース画像用ホワイトバランスゲインが適用される処理対象画像データ」とを、同じデータとすることができる。
プリセットホワイトバランスモード及びカスタムホワイトバランスモードでは、制御メモリ３０に記憶されているベース画像用ホワイトバランスゲインが、ホワイトバランスの設定モードに関する情報データと共に、システム制御部２５によってＷＢ設定判別部４８に送信される。
なお図５には、ホワイトバランス画像処理部４０にＷＢ設定判別部４８が設けられる例が示されているが、ＷＢ設定判別部４８をシステム制御部２５の一部として設けてもよいし、ＷＢ設定判別部４８の処理をシステム制御部２５が行ってＷＢ設定判別部４８が省略されてもよい。
ベースＷＢゲイン設定部５０は、ＷＢ設定判別部４８によって認定されたホワイトバランスの設定モードに関する情報データを取得し、ホワイトバランスの設定モードに応じてベース画像用ホワイトバランスゲインを取得する。
プリセットホワイトバランスモードやカスタムホワイトバランスモードのように予めベース画像用ホワイトバランスゲインが定められているモードを設定モードとする場合には、制御メモリ３０に記憶されているベース画像用ホワイトバランスゲインがシステム制御部２５及びＷＢ設定判別部４８を介してベースＷＢゲイン設定部５０に供給される。
一方、オートホワイトバランスモードのようにベース画像用ホワイトバランスゲインが予め定められていないモードを設定モードとする場合には、ベースＷＢゲイン設定部５０は、色分布取得部４６から送られてくる入力画像データの色分布情報に基づいてベース画像用ホワイトバランスゲインを取得する。ベース画像用ホワイトバランスゲインの具体的な算出手法は特に限定されない。例えば、入力画像データの代表色を、図４に示すＬ*ａ*ｂ*表色系の色度図の座標原点によって示される無彩色とするためのホワイトバランスゲインを、ベース画像用ホワイトバランスゲインとして採用してもよい。
そしてベースＷＢゲイン設定部５０は、取得したベース画像用ホワイトバランスゲインを、システム制御部２５、ＷＢ処理部５４及び第２ゲイン取得部４２（ブラケットＷＢゲイン設定部５２）に送信する。
一方、第２ゲイン取得部４２は、ブラケットホワイトバランスゲイン設定部（以下「ブラケットＷＢゲイン設定部」と称する）５２を有し、ブラケット画像用ホワイトバランスゲインを取得する。ブラケット画像用ホワイトバランスゲインはブラケットＷＢゲイン設定部５２からＷＢ処理部５４に送信されると共に、ブラケットＷＢゲイン設定部５２からシステム制御部２５に送信される。
ブラケット画像用ホワイトバランスゲインは、ベース画像に対するブラケット画像の色空間上の方向（補正方向：ブラケット方向）と、ベース画像に対するブラケット画像の色空間上における絶対距離（補正量：ブラケット量）とを規定する。
ブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、色分布取得部４６から送られてくる入力画像データの色分布情報に基づいて色空間上でのブラケット方向を決定し、ベース画像用ホワイトバランスゲインを基準にそのブラケット方向に基づいてブラケット画像用ホワイトバランスゲインを取得する。ブラケット方向は、ブラケット画像用ホワイトバランスゲインの色間の比率によって定まるため、ブラケットＷＢゲイン設定部５２は、入力画像データの色分布情報に基づいてブラケット画像用ホワイトバランスゲインの色間の比率を定めることによって、ブラケット方向を決定することができる。
またブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、入力画像データの色分布情報に基づいてブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準にそのブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。したがってブラケットＷＢゲイン設定部５２は、色分布情報に基づいて色毎にブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準にその色毎のブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを算出することができる。
ブラケットＷＢゲイン設定部５２におけるブラケット方向及びブラケット量の決定は別個に行われてもよいし、同時的に行われてもよい。例えば入力画像データの色分布情報に応じて色毎のブラケット量が予め定められている場合、ブラケットＷＢゲイン設定部５２は、色分布取得部４６からの色分布情報に対応する予め定められた「色毎のブラケット量」を取得することで、実質的にブラケット方向及びブラケット量を同時的に決定することができる。
上述のようにブラケットＷＢゲイン設定部５２は、入力画像データの色分布情報に基づいて、ベース画像用ホワイトバランスゲインを基準に、ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する。したがってオートホワイトバランスモードの場合、第２ゲイン取得部４２（ブラケットＷＢゲイン設定部５２）は、第１ゲイン取得部４１（ＷＢ設定判別部４８及びベースＷＢゲイン設定部５０）がベース画像用ホワイトバランスゲインの取得の基礎に用いた色分布情報と同じ情報に基づいて、ブラケット画像用ホワイトバランスゲインを取得する。
なお、ブラケット画像用ホワイトバランスゲインの取得手法の具体例については、後述の他の実施形態において詳述する。
ＷＢ処理部５４は、画像データ取得部４４から送られてくる入力画像データ（原画像データ）にベース画像用ホワイトバランスゲインを適用して、ベース画像を得る。またＷＢ処理部５４は、画像データ取得部４４から送られてくる入力画像データ（原画像データ）にブラケット画像用ホワイトバランスゲインを適用して、ブラケット画像を得る。ＷＢ処理部５４で作成されたベース画像及びブラケット画像の画像データは、後段の処理部に送信される。
なおシステム制御部２５に送られたベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインは、システム制御部２５によって制御メモリ３０に保存される。
図５において図示が省略されているが、ホワイトバランス画像処理部４０のうち、第１ゲイン取得部４１（ＷＢ設定判別部４８及びベースＷＢゲイン設定部５０）及び第２ゲイン取得部４２（ブラケットＷＢゲイン設定部５２）以外の各部（画像データ取得部４４、色分布取得部４６、ＷＢ処理部５４等）もシステム制御部２５によって制御される。
図６は、第１実施形態に係るホワイトバランス処理のフローチャートである。
本例の画像処理方法では、入力画像データの色分布情報が取得され、設定モードに応じてベース画像用ホワイトバランスゲインが取得され、ベース画像用ホワイトバランスゲインを基準に色分布情報に基づいてブラケット画像用ホワイトバランスゲインが取得される。
すなわち、まず画像データ取得部４４によって入力画像データが取得され（図６のＳ１０）、その入力画像データの色分布情報が色分布取得部４６によって取得される（Ｓ１１）。
そしてＷＢ設定判別部４８によって、制御メモリ３０及びシステム制御部２５を介して送られてくる「ホワイトバランスの設定モードに関する情報データ」から、ホワイトバランスの設定モードが判別される。図６に示す例では、カスタムホワイトバランスモード、オートホワイトバランスモード及びプリセットホワイトバランスモードの３種類のモードの中からホワイトバランスの設定モードが選ばれる。
ＷＢ設定判別部４８によって設定モードがカスタムホワイトバランスモードであると判別される場合（Ｓ１２のＹｅｓ）、制御メモリ３０、システム制御部２５及びＷＢ設定判別部４８を介して送られてくるカスタムホワイトバランスモード用のベース画像用ホワイトバランスゲインがベースＷＢゲイン設定部５０によって取得される（Ｓ１３）。
一方、設定モードがカスタムホワイトバランスモードではなくオートホワイトバランスモードであると判別される場合（Ｓ１２のＮｏ、Ｓ１６のＹｅｓ）、ベースＷＢゲイン設定部５０では、色分布取得部４６から送られてくる色分布情報に基づいてオートホワイトバランスモード用のホワイトバランスゲインが算出される（Ｓ１７）。そして、そのオートホワイトバランスモード用のホワイトバランスゲインがベース画像用ホワイトバランスゲインとされる（Ｓ１８）。
設定モードがカスタムホワイトバランスモードでもオートホワイトバランスモードでもないと判別される場合（Ｓ１６のＮｏ）、ホワイトバランスの設定モードはプリセットホワイトバランスモードであると推定される。この場合、制御メモリ３０、システム制御部２５及びＷＢ設定判別部４８を介して送られてくるプリセットホワイトバランスモード用のベース画像用ホワイトバランスゲインがベースＷＢゲイン設定部５０によって取得される（Ｓ１９）。
その後、ブラケットＷＢゲイン設定部５２によって、ベースＷＢゲイン設定部５０から送られてくるベース画像用ホワイトバランスゲインと色分布取得部４６から送られてくる色分布情報に応じてブラケット画像用ホワイトバランスゲインが取得される（Ｓ１４）。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ１５）。
ＷＢ処理部５４から出力されるベース画像データ及びブラケット画像データは、必要に応じて他の画像処理（ガンマ補正処理及びデモザイク処理等）を受けた後に、バッファメモリ２４及び圧縮伸張部３２を介して記憶制御部３３に送信され、メインメモリ１０に保存される。メインメモリ１０におけるベース画像及びブラケット画像の保存手法の具体例は、後述の第１０実施形態及び第１１実施形態において説明する。
上述のように本例のデジタルカメラ２では、シャッタボタン６が受け付ける１回の撮影指示によって、第１ゲイン取得部４１はベース画像用ホワイトバランスゲインを取得し、第２ゲイン取得部４２はブラケット画像用ホワイトバランスゲインを取得し、ＷＢ処理部５４はベース画像及びブラケット画像を作成する。
以上説明したように本実施形態によれば、入力画像データの色分布情報に基づいてブラケット画像用ホワイトバランスゲインが設定されるため、ベース画像のホワイトバランスがずれやすい色空間上の方向及びずれ量を加味したブラケット画像を作成することができる。したがって本実施形態のホワイトバランス画像処理部４０では、入力画像データの色分布情報に基づいて、ベース画像のホワイトバランスがずれやすい色空間上の方向が判別され、ブラケット画像用ホワイトバランスゲイン及びブラケット画像が取得される。したがって例えば「アンバー・ブルー方向にホワイトバランスがずれやすい撮影シーン」や「グリーン・マゼンタ方向にホワイトバランスがずれやすい撮影シーン」の画像データであっても、撮影シーンに応じた適切なブラケット方向及びブラケット量のブラケット画像を得ることができる。
また本実施形態では、入力画像データの色分布情報に基づいて自動的に、適切なブラケット方向及び適切なブラケット量が定められてブラケット画像用ホワイトバランスゲインが取得される。したがってユーザはブラケット方向の指定などの操作を行う必要がなくなり、ブラケット方向やブラケット量の設定に迷うことなく、簡便にベース画像及びブラケット画像を作成することができる。また、ブラケット方向が適切に定められるため、入力画像データの色分布情報とは無関係にブラケット方向を多方向としてブラケット画像を作成する場合に比べ、画像記録枚数を低減してメモリ容量の浪費を防ぐことができる。またユーザは、少ない画像（ベース画像及びブラケット画像）の中から適切なホワイトバランス処理が施された画像を簡便に選択することできる。
またオートホワイトバランスモードでは、「ベース画像用ホワイトバランスゲイン」及び「ブラケット画像用ホワイトバランスゲイン」が、同じ入力画像データの色分布情報に基づいて取得される。この場合、入力画像データの撮影取得タイミングの相違に起因する画角ハンチング（画角の不安定化）の影響が排除され、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを精度良く求めることができる。
なおオートホワイトバランスモードであっても、「ベース画像用ホワイトバランスゲイン」の取得の基礎に用いられる画像データの色分布情報と、「ブラケット画像用ホワイトバランスゲイン」の取得の基礎に用いられる画像データの色分布情報とは異なっていてもよい。すなわちオートホワイトバランスモードにおいて、ベースＷＢゲイン設定部５０は、入力画像データとは異なる画像データに基づいてベース画像用ホワイトバランスゲインを算出してもよい。例えば、ベースＷＢゲイン設定部５０は、撮影画像（入力画像データ）の取得前（取得直前）に取得されたライブビュー用の画像データの色分布情報に基づいてベース画像用ホワイトバランスゲインを取得してもよい。一方、ブラケットＷＢゲイン設定部５２は撮影画像（入力画像データ）の色分布情報に基づいてブラケット画像用ホワイトバランスゲインを取得してもよい。この場合、ベース画像用ホワイトバランスゲインの取得処理が迅速化され、ホワイトバランスブラケティング処理全体の処理時間を短縮化できる。
＜第２実施形態＞
本実施形態において、上述の実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では上述の第１実施形態の処理構成が具体化されており、入力画像データの色分布情報から入力画像データの光源色が推定され、推定された光源色に応じてブラケット画像用ホワイトバランスゲインが取得される。ここでいう「光源色」は入力画像データを取得する際に被写体を照らす光源及び／又は被写体から発せられる光を、撮像素子が受光（感光）した時の色比（カラーバランス：Ｃｏｌｏｒ Ｂａｌａｎｃｅ）である。色比は例えばＲＧＢ比やＣｒＣｂ比（色差比）などで表すことができる。
図７は、第２実施形態に係るホワイトバランス画像処理部４０の機能構成例を示すブロック図である。
本実施形態のホワイトバランス画像処理部４０は光源色推定部５６を更に有する。光源色推定部５６は、色分布取得部４６から送られてくる色分布情報に基づいて入力画像データの光源色を推定する。光源色の推定手法は特に限定されず、例えば入力画像データの色分布の平均に基づいて光源色が推定されてもよい。推定された光源色を示す光源色データは、光源色推定部５６からベースＷＢゲイン設定部５０及びブラケットＷＢゲイン設定部５２に送信される。
ベースＷＢゲイン設定部５０は、ホワイトバランスの設定モードがオートホワイトバランスモードの場合、光源色推定部５６から送られてくる光源色データに基づいてベース画像用ホワイトバランスゲインを取得する。「色分布情報から推定される光源色に基づいてホワイトバランスゲインを取得する手法」は特に限定されず、公知の手法に基づいて、推定される光源色の影響を低減するためのホワイトバランスゲインをベース画像用ホワイトバランスゲインとしうる。
第２ゲイン取得部４２（光源色推定部５６及びブラケットＷＢゲイン設定部５２）は、入力画像データの色分布情報から光源色を推定し、その色分布情報から推定される光源色に応じてブラケット画像用ホワイトバランスゲインを取得する。すなわちブラケットＷＢゲイン設定部５２は、ベースＷＢゲイン設定部５０から送られてくるベース画像用ホワイトバランスゲインを基準に、光源色推定部５６から送られてくる光源色データに基づいてブラケット画像用ホワイトバランスゲインを取得する。この「色分布情報から推定される光源色に基づいてブラケット画像用ホワイトバランスゲインを取得する手法」の具体例については、後述の第３実施形態〜第７実施形態において詳述する。
このように光源色推定部５６は、ベース画像用ホワイトバランスゲインを取得する第１ゲイン取得部４１の一部として機能するだけではなく、ブラケット画像用ホワイトバランスゲインを取得する第２ゲイン取得部４２の一部としても機能する。
図７に示すホワイトバランス画像処理部４０の他の機能構成は、上述の第１実施形態と同様である。
図８は、第２実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、第１実施形態（図６のＳ１０及びＳ１１参照）と同様の手順で、入力画像データが取得され（図８のＳ２０）、この入力画像データの色分布情報が取得される（Ｓ２１）。ただし本実施形態では、光源色推定部５６によって、入力画像データの色分布情報から入力画像データの光源色が推定される（Ｓ２２）。
そしてホワイトバランスの設定モードがカスタムホワイトバランスモードの場合（Ｓ２３のＹｅｓ）及びプリセットホワイトバランスモードの場合（Ｓ２７のＮｏ）には、第１実施形態（図６のＳ１２〜Ｓ１３及びＳ１９参照）と同様の手順で、カスタムホワイトバランスモード用のベース画像用ホワイトバランスゲインが取得され（Ｓ２４）、プリセットホワイトバランスモード用のベース画像用ホワイトバランスゲインが取得される（Ｓ３０）。
一方、ホワイトバランスの設定モードがオートホワイトバランスモードの場合（Ｓ２７のＹｅｓ）、ベースＷＢゲイン設定部５０では、光源色推定部５６から送られてくる光源色データに基づいてオートホワイトバランスモード用のホワイトバランスゲインが算出される（Ｓ２８）。そして、そのオートホワイトバランスモード用のホワイトバランスゲインがベース画像用ホワイトバランスゲインとされる（Ｓ２９）。
上述の各ステップ（Ｓ２４、Ｓ２９及びＳ３０）でベース画像用ホワイトバランスゲインが取得されると、ブラケットＷＢゲイン設定部５２では、ベースＷＢゲイン設定部５０から送られてくるベース画像用ホワイトバランスゲインと、光源色推定部５６から送られてくる光源色データとに基づいて、ブラケット画像用ホワイトバランスゲインが取得される（Ｓ２５）。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ２６）。
以上説明したように本実施形態によれば、入力画像データの色分布情報から推定される光源色に基づいてブラケット画像用ホワイトバランスゲインが取得される。したがって、簡便且つ高精度にベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを取得することができ、光源色による影響を低減したベース画像及びブラケット画像を得ることが可能である。
特にオートホワイトバランスモードにおける光源色データは、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインの算出処理においても使用される情報であり、ブラケット方向及びブラケット量を決める要素である。そのためブラケットＷＢゲイン設定部５２は、オートホワイトバランスモードのベース画像において「光源色に起因してホワイトバランス処理で過補正や補正不足が生じ易い色空間上における方向」を判別し、その「過補正や補正不足が生じ易い色空間上における方向」が反映されたブラケット画像を作成することができる。
＜第３実施形態＞
本実施形態において、上述の実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では、上述の第２実施形態の処理構成が具体化されており、光源色（光源色特性）と黒体放射軌跡（黒体放射特性）との距離が算出され、この距離に応じてブラケット画像用ホワイトバランスゲインが算出される。
図９Ａ〜図９Ｃは、黒体放射軌跡（黒体放射曲線）が表されたＲＧＢ表色系の２次元色空間座標系を示し、原点を「０」として、縦軸は「Ｂ／Ｇ（青／緑）」を表し、横軸は「Ｒ／Ｇ（赤／緑）」を表す。図９Ａは光源色と黒体放射軌跡との関係を示し、図９Ｂは黒体放射軌跡と相関色温度との関係を示し、図９Ｃは黒体放射軌跡とブルー、マゼンタ、アンバー及びグリーンの方向との関係を示す。図９Ａ〜図９Ｃにおいて、黒体放射軌跡が符号「Ｂ」で表され、光源色が符号「Ｉ」で表され、黒体放射軌跡Ｂと光源色Ｉとの距離が符号「Ｌ」で表されている。
黒体放射軌跡Ｂは黒体（完全放射体）の放射軌跡を示し、色空間上における黒体放射軌跡Ｂと光源色Ｉとの距離Ｌは、光源色Ｉを通過する黒体放射軌跡Ｂの法線上での「光源色Ｉと黒体放射軌跡Ｂとの間の長さ（距離）」に相当する。
光源色と最も近い黒体放射軌跡上の位置（図９Ａの符号「Ｃ」参照）の示す色温度が、その光源色の相関色温度と呼ばれる。相関色温度は光源色と最も近い色に見える黒体放射の色（温度）を表すため、黒体放射軌跡上に存在しない光源色であって黒体放射軌跡の同一法線上に位置する光源色は、同一の相関色温度を持つ。例えば図９Ｂに示す１００００Ｋ（ケルビン）の法線上の光源色、５０００Ｋの法線上の光源色及び２５００Ｋの法線上の光源色の各々は同一の相関色温度を持つ。
図４のＬ*ａ*ｂ*表色系の色度図に示した「アンバー・ブルー方向」及び「グリーン・マゼンタ方向」は、「Ｂ／Ｇ」及び「Ｒ／Ｇ」で表される色空間座標系では図９Ｃに示す方向となる。図９Ｃからも明らかなように、黒体放射軌跡Ｂはアンバー・ブルー方向に沿った曲線となり、アンバー・ブルー方向と直交するグリーン・マゼンタ方向は、黒体放射軌跡Ｂの法線方向と一致する。
なお黒体放射軌跡と光源色との距離を表すための色空間は、特に限定されない。例えばｘｙＹ表色系空間、ＸＹＺ表色系色空間、Ｌ*ｕ*ｖ*表色系色空間、Ｌ*ａ*ｂ*表色系色空間、或いはＹＣｒＣｂ色空間などに基づいて、黒体放射軌跡と光源色との距離が表されてもよい。
図１０は、第３実施形態に係るホワイトバランス画像処理部４０の機能構成例を示すブロック図である。
本実施形態のホワイトバランス画像処理部４０は、光源色推定部５６に加え、光源色特性取得部５８及び黒体特性記憶部６０を更に有する。黒体特性記憶部６０は、色温度に関する黒体放射特性を記憶し、具体的には図９Ａ〜図９Ｃに示す黒体放射軌跡を記憶し、この黒体放射特性（黒体放射軌跡）は光源色特性取得部５８によって適宜読み出される。光源色特性取得部５８は、光源色推定部５６から送られてくる光源色データと黒体特性記憶部６０から読み出した黒体放射特性データとに基づいて、黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ（図９Ａ参照）を取得する。
本実施形態の第２ゲイン取得部４２は、色空間上における「黒体放射特性（黒体放射軌跡）Ｂ」と「入力画像データの色分布情報から推定される光源色Ｉ」との距離Ｌに応じてブラケット画像用ホワイトバランスゲインを取得する。すなわちブラケットＷＢゲイン設定部５２は、ベースＷＢゲイン設定部５０から送られてくる「ベース画像用ホワイトバランスゲイン」と光源色特性取得部５８にから送られてくる「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」とに基づいて、ブラケット画像用ホワイトバランスゲインを取得する。ブラケット画像用ホワイトバランスゲインの取得手法の具体例については、後述の第４実施形態において説明する。
図１０に示すホワイトバランス画像処理部４０の他の機能構成は、上述の第２実施形態と同様である。
上述のように、ブラケット画像用ホワイトバランスゲインの取得の基礎となる「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」を色分布情報及び光源色から取得する光源色特性取得部５８及び黒体特性記憶部６０は、第２ゲイン取得部４２の一部として機能する。
図１１は、第３実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、第２実施形態（図８のＳ２０〜Ｓ２４及びＳ２７〜Ｓ３０参照）と同様の手順で、入力画像データが取得され（図１１のＳ４０）、この入力画像データの色分布情報が取得され（Ｓ４１）、この色分布情報から光源色が取得され（Ｓ４２）、設定モードに応じてベース画像用ホワイトバランスゲインが取得される（Ｓ４３〜Ｓ４４及びＳ４８〜Ｓ５１）。
そして光源色特性取得部５８によって、光源色推定部５６から送られてくる光源色データと黒体特性記憶部６０から読み出した黒体放射特性データとから「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」が取得される（Ｓ４５）。ブラケットＷＢゲイン設定部５２では、「ベース画像用ホワイトバランスゲイン」と「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」とに応じてブラケット画像用ホワイトバランスゲインが取得される（Ｓ４６）。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ４７）。
以上説明したように本実施形態では、入力画像データの色分布情報から推定される光源色と黒体放射軌跡との距離に応じてブラケット画像用ホワイトバランスゲインが定められる。
黒体放射軌跡はアンバー・ブルー方向に延在する曲線である（図９Ｃ参照）ため、例えば光源色が黒体放射軌跡上に存在して光源色と黒体放射軌跡との距離が０の場合、ブラケットＷＢゲイン設定部５２は、ブラケット画像用ホワイトバランスゲインによる補正方向（ブラケット方向）を「アンバー・ブルー方向」に設定することが好ましい。一方、光源色と黒体放射軌跡との距離が大きい場合、ブラケットＷＢゲイン設定部５２は、ブラケット画像用ホワイトバランスゲインによる補正方向（ブラケット方向）を「グリーン・マゼンタ方向」に設定することが好ましい。ブラケット画像用ホワイトバランスゲインによる補正方向（ブラケット方向）の設定に関する詳細は、後述の第４実施形態において説明する。
このようにベース画像に対するブラケット方向を「光源色と黒体放射軌跡との距離」に応じて決定してブラケット画像用ホワイトバランスゲインを取得することにより、「ホワイトバランス処理で過補正や補正不足が生じ易い色空間上における方向」をブラケット方向とするブラケット画像を作成することができる。
なお「ホワイトバランス処理で過補正や補正不足が生じ易い色空間上における方向」をブラケット方向とするブラケット画像の作成は、ホワイトバランスの設定モードによらずに行われる。例えば電球色のプリセットホワイトバランスゲインは、一般に、黒体放射軌跡上において２８００Ｋ〜３４００Ｋ程度に設定されることが多い。ところが電球色の光源として実際に使用される「ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）」や「蛍光灯」の光源色は、黒体放射軌跡からやや離れた位置にある。黒体放射軌跡から離れた位置の光源色下で撮影された画像データのホワイトバランスブラケティングにおいて、ブラケット方向をアンバー・ブルー方向としても、ベース画像及びブラケット画像の中に適切なホワイトバランス処理が施された画像が存在しない場合が多い。しかしながら本実施形態によれば、プリセットホワイトバランスモードであっても、ブラケット方向が「光源色と黒体放射軌跡との距離」に応じて定められ、「ホワイトバランス処理で過補正や補正不足が生じ易い色空間上における方向」をブラケット方向とするベース画像を作成することができる。
＜第４実施形態＞
本実施形態において、上述の実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では、上述の第３実施形態の処理構成が具体化されている。
本実施形態のホワイトバランス画像処理部４０の機能構成は、上述の第３実施形態（図１０参照）と同じである。ただしブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、「黒体放射軌跡（黒体放射特性）」と「入力画像データの色分布情報から推定される光源色」との距離が小さいほど、色空間上でのブラケット方向をアンバー・ブルー方向に近づけてブラケット画像用ホワイトバランスゲインを取得する。一方、「黒体放射軌跡（黒体放射特性）」と「入力画像データの色分布情報から推定される光源色」との距離が大きいほど、色空間上でのブラケット方向をグリーン・マゼンタ方向に近づけてブラケット画像用ホワイトバランスゲインを取得する。
図１２は、第４実施形態における「光源色と黒体放射軌跡との距離Ｌ」と「ブラケット方向」との関係例を示す図である。図１２の横軸は「光源色と黒体放射軌跡との距離Ｌ」を表し、この横軸の原点は「距離Ｌ＝０」を表す。図１２の縦軸は「ブラケット方向」を表し、縦軸の原点は「ブラケット方向＝アンバー・ブルー方向」を表し、原点から離れるに従ってブラケット方向がグリーン・マゼンタ方向に近づくことを表す。
図１２に示す例において、入力画像データの色分布情報から推定される光源色と黒体放射軌跡との距離Ｌが第１の閾値（図１２の符号「ｔｈ１」参照）と比べて小さい場合、ブラケットＷＢゲイン設定部５２は、ブラケット方向がアンバー・ブルー方向となるブラケット画像用ホワイトバランスゲインを算出する（図１２の符号「Ａ」参照）。また光源色と黒体放射軌跡との距離Ｌが第１の閾値（ｔｈ１）よりも大きい第２の閾値（図１２のｔｈ２）と比べて大きい場合、ブラケットＷＢゲイン設定部５２は、ブラケット方向がグリーン・マゼンタ方向となるブラケット画像用ホワイトバランスゲインを算出する（図１２の符号「Ｃ」参照）。そして光源色と黒体放射軌跡との距離Ｌが第１の閾値（ｔｈ１）以上であって第２の閾値（ｔｈ２）以下の場合、ブラケットＷＢゲイン設定部５２は、ブラケット方向がアンバー・ブルー方向とグリーン・マゼンタ方向との中間方向となるブラケット画像用ホワイトバランスゲインを算出する（図１２の符号「Ｂ」参照）。
図１２に示す例では、光源色と黒体放射軌跡との距離Ｌが第１の閾値（ｔｈ１）以上であって第２の閾値（ｔｈ２）以下の場合、ブラケット方向はアンバー・ブルー方向とグリーン・マゼンタ方向との間で距離Ｌに応じて連続的（比例的）に変えられるが、これに限定されない。例えば任意のメンバシップ関数に基づいて「光源色と黒体放射軌跡との距離Ｌ」からブラケット方向が定められてもよい。ブラケット方向がメンバシップ関数に基づく場合、光源色推定部５６により推定される光源色の相関色温度に応じて、使用されるメンバシップ関数が決められることが望ましい。またブラケット方向を定める上記の「第１の閾値（ｔｈ１）」及び「第２の閾値（ｔｈ２）」は、光源色推定部５６により推定される光源色の相関色温度に応じて決められることが望ましい。
なおブラケットＷＢゲイン設定部５２は、「第１の閾値（ｔｈ１）」及び「第２の閾値（ｔｈ２）」に基づく上述の手法に代えて、光源色と黒体放射軌跡との距離Ｌが第３の閾値以下の場合にはブラケット方向をアンバー・ブルー方向とし、第３の閾値よりも大きい場合にはブラケット方向をグリーン・マゼンタ方向としてもよい。ただしこの場合、ショットハンチング等のために、作成されるブラケット画像の色相が必ずしも適切にはならない。より適切な色相のブラケット画像を得る観点からは、メンバシップ関数等を用いて「アンバー・ブルー方向とグリーン・マゼンタ方向との中間方向」をブラケット方向として採用しうる手法の方が好ましい。
図１３は、第４実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、第３実施形態（図１１のＳ４０〜Ｓ４５及びＳ４８〜Ｓ５１）と同様の手順で「ベース画像用ホワイトバランスゲイン」及び「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」が取得される（図１３のＳ４０〜Ｓ４５及びＳ４８〜Ｓ５１）。
そしてブラケットＷＢゲイン設定部５２では、「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」に応じたブラケット方向（図１２参照）のブラケット画像用ホワイトバランスゲインが、ベース画像用ホワイトバランスゲインを基準に求められる（Ｓ４６ａ）。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ４７）。
以上説明したように本実施形態によれば、「黒体放射軌跡Ｂと光源色Ｉとの距離Ｌ」に応じて、適切なブラケット方向のブラケット画像を得られる。
＜第５実施形態＞
本実施形態において、上述の実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では、第２ゲイン取得部４２が、入力画像データの色分布情報から推定される光源色の「黒体放射特性に基づく相関色温度」に応じてブラケット画像用ホワイトバランスゲインを取得する。
本実施形態のホワイトバランス画像処理部４０の機能構成は、上述の第３実施形態（図１０参照）と同じである。ただしブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、入力画像データの色分布情報から推定される光源色の相関色温度に応じてブラケット量の絶対値を決定し、このブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。
図９Ｃに示すように、同じアンバー・ブルー方向（又はグリーン・マゼンタ方向）であっても、光源色の色温度によって、アンバー・ブルー方向（又はグリーン・マゼンタ方向）の示す色空間上での具体的な方向が異なる。したがって、入力画像データの光源色の相関色温度に応じて、ブラケット量（絶対値）が変えられることが好ましい。
例えば、光源色の相関色温度が１００００Ｋのシーンと２５００Ｋのシーンとでは、ブラケット方向が同じアンバー・ブルー方向であっても、色空間上での具体的な方向は異なり、「Ｒ／Ｇ」及び「Ｂ／Ｇ」の変化率も変わる。したがってブラケットＷＢゲイン設定部５２は、色分布情報から推定される光源色の相関色温度に応じてブラケット量の絶対値を決定し、相関色温度に応じてブラケット画像用ホワイトバランスゲインを変える。例えば、ＲＧＢ画素値によって構成される画像データのうちＲ画素値及びＢ画素値にのみホワイトバランスゲインを適用するホワイトバランス処理の場合、ブラケットＷＢゲイン設定部５２は、Ｒ画素値やＢ画素値に適用するブラケット画像用ホワイトバランスゲインを、光源色の相関色温度に応じて調整する。
ブラケットＷＢゲイン設定部５２は、色分布情報から推定される光源色の相関色温度が高くなるに従って、徐々にブラケット量の絶対値が大きくなるようにブラケット画像用ホワイトバランスゲインを定めることが好ましい。
図１４は、第５実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、第３実施形態（図１１のＳ４０〜Ｓ４４及びＳ４８〜Ｓ５１）と同様の手順でベース画像用ホワイトバランスゲインが取得される（図１４のＳ６０〜Ｓ６４及びＳ６８〜Ｓ７１）。
そして光源色特性取得部５８は、光源色推定部５６によって推定された光源色の光源色データと黒体特性記憶部６０から読み出した黒体放射特性データとに基づいて、この光源色の相関色温度を取得する（Ｓ６５）。
そしてベースＷＢゲイン設定部５０が取得した「ベース画像用ホワイトバランスゲイン」と、光源色特性取得部５８が取得した「光源色の相関色温度」とに基づいて、ブラケットＷＢゲイン設定部５２によりブラケット画像用ホワイトバランスゲインが取得される（Ｓ６６）。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ６７）。
以上説明したように本実施形態によれば、入力画像データの光源色の相関色温度に応じてブラケット画像用ホワイトバランスゲインが取得されるため、精度良く適切なブラケット画像を作成することができる。
なお本実施形態は、上述の第３実施形態又は第４実施形態と組み合わされてもよい。図１５は、第４実施形態のホワイトバランス処理と第５実施形態のホワイトバランス処理とを組み合わせた処理の一例を示すフローチャートである。
本例では、第４実施形態（図１３のＳ４０〜Ｓ４４及びＳ４８〜Ｓ５１）及び第５実施形態（図１４のＳ６０〜Ｓ６４及びＳ６８〜Ｓ７１）と同様の手順でベース画像用ホワイトバランスゲインが取得される（図１５のＳ４０〜Ｓ４４及びＳ４８〜Ｓ５１）。そして光源色特性取得部５８によって、「黒体放射軌跡と光源色との距離Ｌ」及び「光源色の相関色温度」が取得される（図１５のＳ４５及びＳ６５）。そしてブラケットＷＢゲイン設定部５２によって、「黒体放射軌跡と光源色との距離Ｌに応じたブラケット方向」及び「光源色の相関色温度に応じたブラケット量」に基づくブラケット画像用ホワイトバランスゲインが、ベース画像用ホワイトバランスゲインを基準に取得される（図１５のＳ４６ｂ）。そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（図１５のＳ４７）。
このように第３実施形態及び第４実施形態の各々のホワイトバランス処理と第５実施形態のホワイトバランス処理とを組み合わせることによって、適切なブラケット方向及びブラケット量のブラケット画像を作成することができる。
＜第６実施形態＞
本実施形態において、上述の第２実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では、光源色にベース画像用ホワイトバランスゲインを適用することでベース画像の彩度情報が算出され、このベース画像の彩度情報に応じてブラケット画像用ホワイトバランスゲインが算出される。
図１６は、第６実施形態に係るホワイトバランス画像処理部４０の機能構成例を示すブロック図である。
本実施形態のホワイトバランス画像処理部４０の第２ゲイン取得部４２は、ベース画像の彩度情報を取得する彩度特定部６２を更に有する。
彩度特定部６２（第２ゲイン取得部４２）は、光源色推定部５６から送られてくる「色分布情報から推定される光源色の光源色データ」とベースＷＢゲイン設定部５０から送られてくる「ベース画像用ホワイトバランスゲイン」とに基づいて、ベース画像の彩度情報を取得する。ブラケットＷＢゲイン設定部５２は、彩度特定部６２から送られてくる「ベース画像の彩度情報」に基づいて、ブラケット画像用ホワイトバランスゲインを取得する。
より具体的には、彩度特定部６２は、無彩色に対する「ベース画像の相対的な彩度」に基づいて彩度情報を取得する。ブラケットＷＢゲイン設定部５２は、この彩度情報に基づいてブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準に、このブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得する。
例えば、入力画像データの光源色をＲＧＢ値（ＲＬ，ＧＬ，ＢＬ）によって（ＲＬ／ＧＬ，ＢＬ／ＧＬ）により表し、またＲ画素値、Ｇ画素値及びＢ画素値のそれぞれに適用されるホワイトバランスゲインをＢａｓｅＷＢＲ、ＢａｓｅＷＢＧ、ＢａｓｅＷＢＢによって表す。この場合、ベース画像の色比（カラーバランス：Ｃｏｌｏｒ Ｂａｌａｎｃｅ）をＲＧＢ値（ＲＢ，ＧＢ，ＢＢ）によって（ＲＢ／ＧＢ，ＢＢ／ＧＢ）と表すと、このベース画像の色比（ＲＢ／ＧＢ，ＢＢ／ＧＢ）は下記式によって表される。
このベース画像の色比（ＲＢ／ＧＢ，ＢＢ／ＧＢ）が（１，１）となる場合、ベース画像のＲＧＢ値は相互に等しくベース画像の彩度は無彩色になり、ベース画像には適切なホワイトバランス処理が施されている。すなわち、適切なベース画像用ホワイトバランスゲインによるホワイトバランス処理によって得られるベース画像の色比（ＲＢ／ＧＢ，ＢＢ／ＧＢ）は（１，１）となり、無彩色となる。そのためオートホワイトバランスモードによって得られるベース画像の色比（ＲＢ／ＧＢ，ＢＢ／ＧＢ）は通常（１，１）となり、無彩色となる。
しかしながら、プリセットホワイトバランスモードやカスタムホワイトバランスモードにおいて予め記憶されているベース画像用ホワイトバランスゲインが適切に設定されていない場合、ベース画像の色比（ＲＢ／ＧＢ，ＢＢ／ＧＢ）は（１，１）にはならない。したがって、上記式に基づいて求められるベース画像の色比（ＲＢ／ＧＢ，ＢＢ／ＧＢ）と（１，１）との距離は、無彩色に対する相対的な彩度を表す。
本実施形態では、無彩色に対する「ベース画像の相対的な彩度」を表す彩度情報が彩度特定部６２により特定されてブラケットＷＢゲイン設定部５２に送信され、ブラケットＷＢゲイン設定部５２がその彩度情報に基づいてブラケット量の絶対値を決定する。なおこのブラケット量の絶対値の決定手法の具体例については、後述の第７実施形態において説明する。
図１７は、第６実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、第２実施形態（図８のＳ２０〜Ｓ２４及びＳ２７〜Ｓ３０）と同様の手順でベース画像用ホワイトバランスゲインが取得される（図１７のＳ８０〜Ｓ８４及びＳ８８〜Ｓ９１）。
そして彩度特定部６２によってベース画像の彩度情報が取得され（Ｓ８５）、ブラケットＷＢゲイン設定部５２によって、ベース画像の彩度情報及びベース画像用ホワイトバランスゲインからブラケット画像用ホワイトバランスゲインが取得される（Ｓ８６）。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ８７）。
以上説明したように本実施形態によれば、「ベース画像の彩度情報」に基づいてブラケット画像用ホワイトバランスゲインが調整される。これにより、ホワイトバランスの設定モードにかかわらず、また入力画像データの光源色にかかわらず、「視覚的に」ほぼ均等なブラケット量のブラケット画像を得ることが可能である。
＜第７実施形態＞
本実施形態において、上述の第６実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では上述の第６実施形態の処理構成が具体化されており、人間の視覚特性が反映されたブラケット画像用ホワイトバランスゲインが取得される。
人間の視覚的印象は、画像の彩度、特に白い物の彩度に依存して変動する。またマクアダムの法則によれば、人間は視覚的に、画像の彩度が完全グレー（無彩色）に近い場合には彩度（ホワイトバランス）の違いに敏感になるが、画像の彩度が完全グレーから遠ざかると彩度（ホワイトバランス）の違いに鈍感になる。
したがってベース画像の彩度が低く、彩度の変化が視覚的に敏感に感じられる場合には、ブラケット量を相対的に小さく設定し、またベース画像の彩度が高く、彩度の変化が視覚的に鈍感に感じられる場合には、ブラケット量を相対的に大きく設定することが好ましい。
本実施形態ではこの視覚特性が考慮されており、ベース画像の彩度が高く完全グレーから離れるほど、ベース画像に対してホワイトバランスを大きくずらしたブラケット画像が作成される。より具体的には、ブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、ベース画像の彩度情報に基づいて、無彩色とベース画像との彩度の差が大きいほどブラケット量の絶対値を大きくしてブラケット画像用ホワイトバランスゲインを取得する。ベース画像の彩度に応じてブラケット画像用ホワイトバランスゲインを調整することで、ベース画像の彩度によらず、ベース画像とブラケット画像との間のホワイトバランスの「視覚上」の相違を均一にすることが可能である。
なお、ここでいう「無彩色」は、絶対的な無彩色であってもよいし、表示部８の表示特性を考慮して表示部８上で無彩色を再現するための色（以下、「表示無彩色」とも称する）であってもよい。すなわち、画像を表示するデバイスの表示特性によってユーザが視覚的に無彩色に感じる色は異なり、例えば６５００Ｋの色温度を有する液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）は５０００Ｋの色温度を有する液晶ディスプレイよりも全体的に表示が青く見える。
したがってブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、表示部８の表示特性を示す表示特性情報を表示特性取得部から取得し、その表示特性情報に基づいて表示無彩色情報を取得してもよい。この場合、ブラケットＷＢゲイン設定部５２は、表示無彩色情報から表示無彩色を推定し、その表示無彩色に対するベース画像の相対的な彩度に基づいて彩度情報を取得してもよい。そしてブラケットＷＢゲイン設定部５２は、この彩度情報に基づいてブラケット量の絶対値を決定し、ベース画像用ホワイトバランスゲインを基準にこのブラケット量の絶対値に基づいてブラケット画像用ホワイトバランスゲインを取得してもよい。
本実施形態のホワイトバランス画像処理部４０の機能構成は、上述の第６実施形態（図１６参照）と基本的に同じである。
なお表示部の表示特性情報を取得してブラケットＷＢゲイン設定部５２にその表示特性情報を供給する「表示特性取得部」は特に限定されず、例えば図１６に示す例では彩度特定部６２が表示特性取得部として機能してもよいし、独立した表示特性取得部（図示省略）が設けられてもよい。
図１８は、第７実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、第６実施形態（図１７のＳ８０〜Ｓ８５及びＳ８８〜Ｓ９１）と同様の手順で「ベース画像用ホワイトバランスゲイン」及び「ベース画像の彩度情報」が取得される（図１８のＳ８０〜Ｓ８５及びＳ８８〜Ｓ９１）。
そしてブラケットＷＢゲイン設定部５２は、彩度特定部６２から送られてくる「ベース画像の彩度情報」が示すベース画像の彩度に応じてブラケット量（絶対値）が調整されたベース画像用ホワイトバランスゲインを取得する（Ｓ８６ａ）。具体的には、ベース画像の彩度が低い場合にはブラケット量を小さくし、ベース画像の彩度が高い場合にはブラケット量が大きくしたベース画像用ホワイトバランスゲインが取得される。なおブラケットＷＢゲイン設定部５２は、任意の手法で「ベース画像の彩度」に基づいてブラケット画像用ホワイトバランスゲインを取得することができ、例えばメンバシップ関数や参照テーブルを利用してもよい。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ８７）。
以上説明したように本実施形態によれば、視覚特性が考慮されて「ベース画像の彩度」に応じて「ブラケット量」が調整されるため、ベース画像の彩度によらず、ベース画像とブラケット画像との間のホワイトバランスの「視覚上」の相違を、均一にすることが可能である。
＜第８実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では、オートホワイトバランスモードにおいてフラッシュが発光されて撮影取得された入力画像データのホワイトバランス処理において、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインが、相互に異なるフラッシュ影響度に基づいて取得される。
フラッシュが発光されて撮影が行われる場合、被写体は環境光に加えてフラッシュの影響を受けるため、フラッシュの影響を考慮したホワイトバランス処理が行われることが好ましい。ただしフラッシュの発光は必ずしも安定的には行われず、撮影毎にフラッシュ発光量（フラッシュ到達量）がばらつくことがある。また被写体の光学特性に応じて、撮影画像におけるフラッシュの影響度は異なる。そのため「推定したフラッシュ影響度」と「入力画像データにおける実際のフラッシュ影響度」とが一致せず、適切なホワイトバランス処理を行うことができない場合がある。
本実施形態では、撮影画像のフラッシュ影響度のばらつきを補償するため、ホワイトバランスブラケティングにおいて相互に異なるフラッシュの影響度に基づき、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインが取得される。
図１９は、第８実施形態に係るホワイトバランス画像処理部４０の機能構成例を示すブロック図である。
本実施形態のホワイトバランス画像処理部４０（画像処理装置）は、画像データ取得部４４、ベースＷＢゲイン設定部５０（第１ゲイン取得部４１）及びブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）に接続されるフラッシュ特定部６４を更に有する。フラッシュ特定部６４は、画像データ取得部４４から入力画像データを受信し、その入力画像データにおけるフラッシュの影響度を示すフラッシュ影響度を取得する。取得されたフラッシュ影響度は、フラッシュ特定部６４からベースＷＢゲイン設定部５０及びブラケットＷＢゲイン設定部５２に送信される。
フラッシュ特定部６４におけるフラッシュ影響度の取得手法は特に限定されず、任意の手法によってフラッシュ影響度を取得可能である。例えば、フラッシュを発光して入力画像データが撮影取得される場合、フラッシュ特定部６４は、その入力画像データ（フラッシュ発光画像）と、フラッシュを発光せずに撮影取得された参照画像データ（フラッシュ非発光画像）とからフラッシュ影響度を算出することができる。フラッシュ特定部６４は、入力画像データ（フラッシュ発光画像）と参照画像データ（フラッシュ非発光画像）との差分データを算出する。この差分データは、環境光の影響が取り除かれた「フラッシュのみの影響を受けた画像データ」となる。したがってフラッシュ特定部６４は、この「フラッシュのみの影響を受けた画像データ」に基づいてフラッシュ影響度を取得することができる。
ベースＷＢゲイン設定部５０（第１ゲイン取得部４１）は、フラッシュ影響度に基づいてベース画像用ホワイトバランスゲインを取得する。そしてブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は、ベース画像用ホワイトバランスゲインの取得に用いるフラッシュ影響度とは異なるフラッシュの影響度に基づいてブラケット画像用ホワイトバランスゲインを取得する。特に本実施形態では、設定モードがオートホワイトバランスモードの場合に、異なるフラッシュ影響度に基づいてベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインが算出される。
ベースＷＢゲイン設定部５０及びブラケットＷＢゲイン設定部５２における「フラッシュ影響度に基づくベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインの取得」は任意の手法で行うことができる。例えば、入力画像データにおけるフラッシュと環境光との影響の比率がフラッシュ影響度に基づいて算出されてもよい。その比率に応じて「環境光の色温度に応じたホワイトバランスゲイン（環境光の影響をキャンセルするホワイトバランスゲイン）」と「フラッシュの色温度に応じたホワイトバランスゲイン（フラッシュの影響をキャンセルするホワイトバランスゲイン）」とを加重平均することで、「フラッシュ影響度に基づくベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインの取得」が可能である。
なおブラケットＷＢゲイン設定部５２、ＷＢ処理部５４及びフラッシュ特定部６４は、ＷＢ設定判別部４８からホワイトバランスの設定モードに関する情報データが送られ、この情報データに基づいてホワイトバランスの設定モードを判定して処理を行う。
撮影時のフラッシュの発光及び非発光は、システム制御部２５がフラッシュ発光部５を制御することで切り換え自在となっている。システム制御部２５は、ユーザインタフェース３６を介したユーザの指示に応じてフラッシュの発光及び非発光を切り換えてもよいし、図示しない測光センサによって測定された被写体の明るさに応じてフラッシュの発光及び非発光を自動的に切り換えてもよい。
図２０は、第８実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、上述の第１実施形態（図６のＳ１０及びＳ１１）と同様の手順で、入力画像データが取得され（図２０のＳ１００）、入力画像データの色分布情報が取得される（Ｓ１０１）。
そしてシステム制御部２５及びＷＢ設定判別部４８によって、ホワイトバランスの設定モード及びフラッシュ発光の有無が判定される。オートホワイトバランスモードであって（Ｓ１０２のＹｅｓ）、フラッシュの発光有りと判定される場合（Ｓ１０３のＹｅｓ）、フラッシュ特定部６４はシステム制御部２５により制御されて入力画像データのフラッシュ影響度を取得する（Ｓ１０４）。そしてベースＷＢゲイン設定部５０では、色分布情報及びフラッシュ影響度に基づいてベース画像用ホワイトバランスゲインが取得される（Ｓ１０５）。またブラケットＷＢゲイン設定部５２では、ベース画像用ホワイトバランスゲインとはフラッシュの影響度が異なるブラケット画像用ホワイトバランスゲインが取得される（Ｓ１０６）。
一方、オートホワイトバランスモードであって（Ｓ１０２のＹｅｓ）、フラッシュが非発光であると判定される場合（Ｓ１０３のＮｏ）、ベースＷＢゲイン設定部５０は、入力画像データの色分布情報に基づいてベース画像用ホワイトバランスゲインを取得する（Ｓ１０８）。またブラケットＷＢゲイン設定部５２は、入力画像データの色分布情報に基づいてブラケット画像用ホワイトバランスゲインを取得する（Ｓ１０９）。
一方、オートホワイトバランスモードではない場合（Ｓ１０２のＮｏ）、ベースＷＢゲイン設定部５０は、制御メモリ３０に予め保存されているベース画像用ホワイトバランスゲインを、システム制御部２５及びＷＢ設定判別部４８を介して取得する。またブラケットＷＢゲイン設定部５２は、入力画像データの色分布情報に基づいてブラケット画像用ホワイトバランスゲインを取得する（Ｓ１０９）。
なおベースＷＢゲイン設定部５０及びブラケットＷＢゲイン設定部５２は、上述の各実施形態のホワイトバランス画像処理部４０と同様の手法で、入力画像データの色分布情報に基づいてベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを取得することができる。
そしてＷＢ処理部５４では、ベース画像用ホワイトバランスゲイン及び入力画像データに基づいてベース画像が取得され、またブラケット画像用ホワイトバランスゲイン及び入力画像データに基づいてブラケット画像が取得される（Ｓ１０７）。
以上説明したように本実施形態によれば、オートホワイトバランスモードにおいてフラッシュ発光状態で入力画像データが撮影された場合、フラッシュ影響度の異なるホワイトバランスゲインに基づいてベース画像及びブラケット画像が作成される。そのためベース画像用ホワイトバランスゲインの取得時に考慮したフラッシュ影響度が適切でなかったとしても、ブラケット画像用ホワイトバランスゲインが適切なフラッシュ影響度に基づいている可能性がある。したがってユーザは、より確実に、適切なフラッシュ影響度に基づくホワイトバランス処理が施された画像を得ることができる。
なお上述の説明では、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインが入力画像データの色分布情報に基づいて取得される例が示されているが、これに限定されない。すなわち、任意の手法でベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを取得可能である。ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインは、異なるフラッシュ影響度に基づけばよく、必ずしも入力画像データの色分布情報に基づかなくてもよい。
＜第９実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態では、ブラケット画像の作成の要否が、ユーザによる設定に基づくのではなく、自動的に決定される。すなわち入力画像データの色分布情報に基づいて、オートホワイトバランスモードでのホワイトバランス処理が不適切になる可能性が高いか否かが判別される。ホワイトバランス処理が不適切になる可能性が高い入力画像データのホワイトバランス処理では、ブラケット画像が自動的に作成される。
図２１は、第９実施形態に係るホワイトバランス画像処理部４０の機能構成例を示すブロック図である。
本実施形態の第２ゲイン取得部４２は、ブラケット判定部６６及びブラケットデータ記憶部６８を更に有する。ブラケットデータ記憶部６８は、色分布情報とブラケット画像作成の要否との関係を定めるブラケティング要否データを記憶する。
図２２は、色分布情報とブラケット画像作成の要否との関係例を示す図である。図２２において、原点を「０」として、縦軸は「Ｂ／Ｇ（青／緑）」を表し、横軸は「Ｒ／Ｇ（赤／緑）」を表す。
ブラケティング要否データは、ベース画像用ホワイトバランスゲインが不適切になる可能性が高い色分布情報を持つ入力画像データに対して「ブラケット画像の作成が必要である」と定める。
一般に、木々の緑等のデータを多く含む画像データと、緑成分の占める割合が高い光を発する人工光源（蛍光灯等）下で撮影された画像データとは、両者共に緑成分の占める割合が高くなるため、色空間上では同一又は近接した位置に配置されることが多い（図２２の符号「Ａ１」参照）。同様に、夕焼けを撮影シーンとする画像データと赤成分の占める割合が高い光を発する人工光源（電球及びＬＥＤ等）下で撮影された画像データとは、両者共に赤成分の占める割合が高くなるため、色空間上では同一又は近接した位置に配置されることが多い（図２２の符号「Ａ２」参照）。このように、撮影シーンの異なる画像データが同一又は近接した位置に配置される傾向が高い色空間上の領域（以下「ホワイトバランスエラー領域」とも称する；図２２の「Ａ１」及び「Ａ２」参照）に位置する画像データは、ホワイトバランス処理が不適切になる可能性が高い。
したがってブラケティング要否データは、ホワイトバランスエラー領域（Ａ１、Ａ２）内に存在する画像データ（色分布情報）に対しては「ブラケット画像の作成が必要とされる」ことを定める。またブラケティング要否データは、ホワイトバランスエラー領域（Ａ１、Ａ２）外に存在する画像データ（色分布情報）に対しては「ブラケット画像の作成が不要とされる」ことを定める。特にブラケティング要否データは、少なくとも緑及び赤の色分布情報を持つ入力画像データに対してブラケット画像の作成が必要であると定めることが好ましい。
ブラケット判定部６６（第２ゲイン取得部４２）は、色分布取得部４６が取得する入力画像データの色分布情報に基づき、ブラケットデータ記憶部６８から読み出したブラケティング要否データを参照して、ブラケット画像の作成の要否を決定する。ブラケット判定部６６によって決定されるブラケット画像作成の要否情報は、ブラケットＷＢゲイン設定部５２及びＷＢ処理部５４に送信される。
ブラケット画像の作成が必要であると決定された場合、ブラケットＷＢゲイン設定部５２（第２ゲイン取得部４２）は色分布情報及びベース画像用ホワイトバランスゲインに基づいてブラケット画像用ホワイトバランスゲインを取得する。そしてＷＢ処理部５４は、このブラケット画像用ホワイトバランスゲインに基づいてブラケット画像を作成する。
特に本実施形態では、ホワイトバランスの設定モードがオートホワイトバランスモードであって、ブラケット判定部６６によってブラケット画像の作成が必要であると決定された場合に、ブラケット画像用ホワイトバランスゲインが取得されてブラケット画像が作成される。
ブラケット判定部６６によってブラケット画像の作成が必要であると決定された場合は、可能性があると想定される光源色に応じて、ブラケット画像用ホワイトバランスゲイン及びブラケット画像が作成されることが好ましい。例えば入力画像データの色分布情報が緑に偏っている場合（図２２のＡ１参照）、ブラケットＷＢゲイン設定部５２は、光源色が自然光（太陽光）であると仮定した場合の第１のブラケット画像用ホワイトバランスゲインと、光源色が人工光源（蛍光灯等）であると仮定した場合の第２のブラケット画像用ホワイトバランスゲインとを取得することが望ましい。またＷＢ処理部５４は、第１のブラケット画像用ホワイトバランスゲインに基づく第１のブラケット画像と、第２のブラケット画像用ホワイトバランスゲインに基づく第２のブラケット画像とを作成することが好ましい。これによりユーザは、より確実に、適切なホワイトバランス処理が施された画像をベース画像及びブラケット画像の中から得ることができる。
一方、ブラケット判定部６６においてブラケット画像の作成が不要であると決定された場合、ブラケットＷＢゲイン設定部５２はブラケット画像用ホワイトバランスゲインを取得せず、ＷＢ処理部５４はブラケット画像を作成せずにベース画像のみを作成する。
ブラケットＷＢゲイン設定部５２及びＷＢ処理部５４は、ＷＢ設定判別部４８から送られてくるホワイトバランスの設定モードがオートホワイトバランスモードであり、且つブラケット判定部６６から送られてくるブラケット画像作成の要否情報がブラケット画像の作成が必要であることを示す場合にのみ、ブラケット画像用ホワイトバランスゲイン及びブラケット画像を取得する。一方、ＷＢ設定判別部４８から送られてくるホワイトバランスの設定モードがオートホワイトバランスモードではない場合、又はブラケット判定部６６から送られてくるブラケット画像作成の要否情報がブラケット画像の作成が不要であることを示す場合には、ブラケットＷＢゲイン設定部５２及びＷＢ処理部５４はブラケット画像用ホワイトバランスゲイン及びブラケット画像を取得しない。
他の構成は、第１実施形態のホワイトバランス画像処理部４０（図５参照）と同一である。
図２３は、第９実施形態に係るホワイトバランス処理のフローチャートである。
本実施形態では、上述の第１実施形態（図６のＳ１０及びＳ１１）と同様の手順で、入力画像データが取得され（図２３のＳ１２０）、入力画像データの色分布情報が取得される（Ｓ１２１）。
そして、ＷＢ設定判別部４８によってホワイトバランスの設定モードが判定される。
オートホワイトバランスモードの場合（Ｓ１２２のＹｅｓ）、ベースＷＢゲイン設定部５０は、色分布取得部４６からの色分布情報に基づいてベース画像用ホワイトバランスゲインを取得する（Ｓ１２３）。そしてブラケット判定部６６によって、入力画像データの色分布情報がホワイトバランスエラー領域内（図２２のＡ１及びＡ２参照）に存在するか否かが判定される（Ｓ１２４）。入力画像データの色分布情報がホワイトバランスエラー領域内に存在する場合（Ｓ１２４のＹｅｓ）、ブラケットＷＢゲイン設定部５２は色分布情報に基づいてブラケット画像用ホワイトバランスゲインを取得する（Ｓ１２５）。そしてＷＢ処理部５４によって、ベース画像及びブラケット画像が作成される（Ｓ１２６）。一方、入力画像データの色分布情報がホワイトバランスエラー領域内に存在しない場合（Ｓ１２４のＮｏ）、ブラケット画像用ホワイトバランスゲイン及びブラケット画像は取得されず、ＷＢ処理部５４ではベース画像のみが作成される（Ｓ１２８）。
なおホワイトバランスの設定モードがオートホワイトバランスモードではない場合（Ｓ１２２のＮｏ）、ベースＷＢゲイン設定部５０は、制御メモリ３０に記憶されているベース画像用ホワイトバランスゲインを、システム制御部２５及びＷＢ設定判別部４８を介して取得する（Ｓ１２７）。そして、ブラケット画像用ホワイトバランスゲイン及びブラケット画像は取得されず、ＷＢ処理部５４ではベース画像のみが作成される（Ｓ１２８）。
以上説明したように本実施形態によれば、オートホワイトバランスモードにおいてホワイトバランス処理が不適切になる可能性が高い色分布情報を持つ入力画像データに関しては、ベース画像に加えてブラケット画像が自動的に作成される。したがって、入力画像データの色分布情報が光源色の判定ミスを起こしやすく、ホワイトバランス処理によってカラーフェリアが発生しうる場合であっても、ユーザは再撮影をすることなく、ブラケット画像から適切なホワイトバランス処理が施された画像を取得しうる。
＜第１０実施形態＞
本実施形態において、上述の実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態は、ホワイトバランスブラケティングにより１つの入力画像データに関して作成されたベース画像及びブラケット画像の記録手法及び表示手法に関する。以下に説明する記録手法及び表示手法は、上述の実施形態で作成されるベース画像及びブラケット画像だけではなく、他のホワイトバランスブラケティング手法に基づいて作成されるベース画像及びブラケット画像にも適用可能である。
本実施形態では、ベース画像及びブラケット画像の各々にメイン画又はサブ画であることを示す分類情報が付加され、その分類情報はユーザの指示に応じて書き換え可能となっている。また本実施形態では表示部８に色空間表示がなされ、ベース画像及びブラケット画像の対応位置がその色空間表示上に表示され、ユーザはベース画像及びブラケット画像の色空間上における関係を容易に把握することができる。
図２４は、第１０実施形態に係るＷＢ処理部５４の機能構成例を示すブロック図である。本実施形態のＷＢ処理部５４は、ホワイトバランス演算処理部（以下「ＷＢ演算処理部」と称する）５５及び情報付加部５７を有する。
ＷＢ演算処理部５５は、ベース画像用ホワイトバランスゲインを入力画像データに適用してベース画像データを算出し、またブラケット画像用ホワイトバランスゲインを入力画像データに適用してブラケット画像データを算出する。情報付加部５７は、このＷＢ演算処理部５５で作成されたベース画像及びブラケット画像に分類情報を付加する。
図２５は、ベース画像及びブラケット画像の各々に関するデータ構造例を示す図である。
ベース画像及びブラケット画像の各々に関する画像情報データ８３は、ＷＢ演算処理部５５で作成されるホワイトバランス処理後の画像に関する画像データ部８４と、情報付加部５７で付加される分類情報に関する分類情報部８５とを含む。
情報付加部５７で付加される分類情報は、メイン画及びサブ画に関する情報である。１つの入力画像データに関して作成されたベース画像及びブラケット画像のうちの１つにメイン画の分類情報が割り当てられ、他に対してはサブ画の分類情報が割り当てられる。本例の情報付加部５７（ＷＢ処理部５４）は、ベース画像にメイン画であることを示す分類情報を付加し、ブラケット画像にサブ画であることを示す分類情報を付加する。なお情報付加部５７は、いずれか１つのブラケット画像にメイン画であることを示す分類情報を付加し、ベース画像及び他のブラケット画像にサブ画であることを示す分類情報を付加してもよい。
１つの入力画像データに関して作成されたベース画像及びブラケット画像のファイル形態として、ベース画像及びブラケット画像の各々を別ファイルとする方式と、ベース画像及びブラケット画像を１つのファイルとする方式とがある。
図２６は、１つの入力画像データに関して作成されたベース画像及びブラケット画像の各々を別ファイルデータとする場合のデータ構造例を示す。ベース画像及びブラケット画像の各々を別々のファイルデータ８７とする場合、各ファイルデータ８７は、画像データ部８４及び分類情報部８５に加えてグループ情報部８６を含む。
グループ情報部８６は、いずれの入力画像データに関するものであるかを示すグループ情報データを表す部分である。グループ情報データは、同一の入力画像データに基づいて作成されたベース画像及びブラケット画像同士を関連付けてグループ化する。したがってベース画像及びブラケット画像によって構成されるグループが入力画像データ毎に形成され、同じ入力画像データから作られたベース画像及びブラケット画像は同一グループを構成する。本例では、画像データ部８４及び分類情報部８５に対するグループ情報部８６の付加が、情報付加部５７で行われるが、他の処理部で行われてもよく、例えば記憶制御部３３において行われてもよい。
図２７は、１つの入力画像データに関して作成されたベース画像及びブラケット画像を１つのファイルとする場合のデータ構造例を示す。ベース画像及びブラケット画像を１つのファイルとする場合、これらの画像（画像データ部８４）及び分類情報（分類情報部８５）を含む１つのファイルデータ８７が作成される。したがって１つのファイルデータ８７内に、ベース画像に関する画像情報データ８３と、ブラケット画像に関する画像情報データ８３とが存在する。この場合、グループ情報部８６（図２６参照）は付加されなくてもよい。
上述のファイルデータ８７の作成は、図２４に示す情報付加部５７において行われてもよいし、図３に示す記憶制御部３３において行われてもよい。情報付加部５７でファイルデータ８７の作成を行う場合、作成されたファイルデータ８７は圧縮伸張部３２において圧縮処理が施されて、記憶制御部３３のコントロール下でメインメモリ１０に保存される。一方、記憶制御部３３でファイルデータ８７の作成を行う場合、分類情報部８５及びグループ情報部８６を構成するデータ類がシステム制御部２５から記憶制御部３３に送信され、また圧縮処理を受けた画像データ（ベース画像及びブラケット画像）が圧縮伸張部３２から記憶制御部３３に送信される。記憶制御部３３は、システム制御部２５から送られてくるデータ類及び圧縮伸張部３２から送られてくる画像データに基づいて、ファイルデータ８７を作成してメインメモリ１０に保存する。
なお記憶制御部３３は、ベース画像及びブラケット画像のデータ（ファイルデータ８７）に、更に撮影日時情報や編集日時情報等のメタデータを付加し、その後、ベース画像とブラケット画像とを相互に関連付けてメインメモリ１０に保存する。記憶制御部３３におけるメタデータの付加処理は、例えばＥｘｉｆ形式に則って行われうる。
メインメモリ１０には、画像データ部８４及び分類情報部８５（及びグループ情報部８６）を含む画像情報データ８３が記憶制御部３３によって保存され、ベース画像とブラケット画像とが相互に関連付けられて記憶される。
図２８は、第１０実施形態におけるホワイトバランス処理に関するフローチャートである。本実施形態では、ＷＢ演算処理部５５によってベース画像及びブラケット画像が作成され（図２８のＳ１３０）、情報付加部５７によって、ＷＢ演算処理部５５により作成されたベース画像及びブラケット画像の各々に分類情報が付加される（Ｓ１３１）。
次に、分類情報の書き換えについて説明する。
図２９は、デジタルカメラ２の機能ブロックのうち、主として画像表示処理に関連する処理部を示す。
表示制御部３５は、表示部８を制御し、ベース画像及びブラケット画像のうち少なくとも１つの画像を表示部８に表示させる。特に本実施形態の表示制御部３５は、ベース画像及びブラケット画像のうち少なくともメイン画の分類情報が付加されている画像を表示部８に表示させる。
また、本実施形態の画像処理部３１は分類情報書換部７２を有する。分類情報書換部７２は、システム制御部２５に制御され、バッファメモリ２４に保存されている画像データを取得して分類情報を書き換える。
すなわちユーザインタフェース３６（操作部９：指示受付部）には、ユーザによって、ベース画像及びブラケット画像に付加されている分類情報の決定指示が入力される。分類情報書換部７２は、このユーザインタフェース３６に入力された分類情報の決定指示に基づいて、ベース画像及びブラケット画像に付加されている分類情報を書き換える。具体的には、ユーザインタフェース３６を介して分類情報の決定指示が入力されると、システム制御部２５は分類情報書換部７２を制御し、ベース画像及びブラケット画像の分類情報を分類情報書換部７２に書き換えさせる。
なお本実施形態において、１つの入力画像データから作成されるベース画像及びブラケット画像において、メイン画の分類情報が付加される画像は１つである。したがって「メイン画の画像を変更する」という決定指示がユーザによってユーザインタフェース３６に入力されると、分類情報書換部７２は、１つの入力画像データから作成されるベース画像及びブラケット画像のうち、新たにメイン画として選択及び決定された画像に付加されている分類情報をサブ画からメイン画に変更すると共に、決定指示の入力までメイン画の分類情報が付加されていた画像の分類情報をメイン画からサブ画に変更する。
次に、画像表示例について説明する。
撮影直後に撮影画像の確認のための画像再生を行う場合、撮像素子２１から出力されてプロセス処理部２２、ＡＤ変換部２３及び画像処理部３１で処理を受けた画像データは、バッファメモリ２４に一時的に記憶される。表示制御部３５は、バッファメモリ２４に記憶されたその画像データを読み出して、表示部８に表示させる。一方、記録画像の再生を行う場合、記憶制御部３３によってメインメモリ１０から画像データが読み出されて圧縮伸張部３２で伸張処理を受けた画像データは、バッファメモリ２４に一時的に記憶される。表示制御部３５は、バッファメモリ２４に記憶されたその画像データを読み出して、表示部８に表示させる。
図３０は、表示部８における画像再生表示の一例を示す図である。なお図３０には一例が示されているに過ぎず、表示部８に表示される各部の大きさや配置は特に限定されない。また「画像再生」とは、撮影直後に撮影画像を確認するための撮影画像再生であってもよいし、メインメモリ１０に記録された画像の確認のための記録画像再生であってもよい。
本例の画像再生時の表示部８には、選択画像表示部７４、選択カーソル７５、縮小画像７６、分類表示部７７及び色空間表示部７８が表示される。選択カーソル７５は、ベース画像及びブラケット画像の縮小画像７６のうちのいずれかを選択するための表示であり、ユーザがユーザインタフェース３６（操作部９）を操作することで、選択カーソル７５によって選択される縮小画像７６を切り換えることができる。
縮小画像７６は、ベース画像及びブラケット画像を縮小した画像である。分類表示部７７には、各縮小画像７６の分類情報（メイン画又はサブ画）が示される。図３０に示す分類表示部７７は、メイン画（ベース画像）の縮小画像７６に対して「Ｍ」を表示し、サブ画（ブラケット画像）の縮小画像７６に対しては「Ｓ１」又は「Ｓ２」の表示をする。
なお縮小画像７６及び分類表示部７７のうちいずれか一方の表示は省略されてもよい。縮小画像７６が省略される場合、選択カーソル７５によって分類表示部７７のいずれかの表示が選択され、選択された画像が選択画像表示部７４に表示されてもよい。
選択画像表示部７４には、ベース画像及びブラケット画像のうち選択カーソル７５によって選択されている１つの画像のみが表示され、ユーザが関心を示す画像が表示される。特に再生モードに切り換わった後、選択画像表示部７４に最初に表示される画像は、ベース画像及びブラケット画像のうちメイン画の分類情報が付された画像である。
表示制御部３５は、色空間座標（図３０に示す例ではＬ*ａ*ｂ*表色系の色度図）を表示部８の色空間表示部７８に表示させて、ベース画像及びブラケット画像のうち表示部８に表示させる画像の少なくともいずれかの色分布情報を、表示部８に表示される色空間座標上に表す。本例の表示制御部３５は、ベース画像及びブラケット画像のうちメイン画の分類情報が付加された画像の色分布情報及びサブ画の分類情報が付加された画像の色分布情報の両方の位置を、表示部８に表示される色空間座標上に表す。図３０に示す例では、色空間表示部７８において、メイン画の分類情報が付加される画像の色分布情報（代表色）が「Ｍ」の表示によって示され、サブ画の分類情報が付加される画像の色分布情報（代表色）が「Ｓ１」及び「Ｓ２」の表示によって示される。
図３０に示す例ではベース画像（メイン画）の色分布情報が色空間座標の原点上に表されているが、ベース画像の色分布情報に従って色空間座標の原点以外の位置に、ベース画像（メイン画）の色分布情報が表されてもよい。
ベース画像にメイン画の分類情報が付加されている状態（図３０参照）から、ユーザがユーザインタフェース３６（操作部９）を操作して選択カーソル７５を移動させ、選択カーソル７５による縮小画像７６の選択対象を変えることができる。この場合、表示制御部３５は表示部８を制御して、選択カーソル７５によって新たに選択された画像を選択画像表示部７４に表示させる。このようにユーザインタフェース３６（操作部９）は、表示部８に表示させる画像の切り換え指示がユーザによって入力される画像切換受付部としても機能する。表示制御部３５は、ユーザインタフェース３６に入力される画像の切り換え指示に応じて、ベース画像及びブラケット画像のうち、表示部８の同じ領域である選択画像表示部７４に表示させる画像を切り換える。
図３１は、ブラケット画像がメイン画として選択及び決定された場合の表示部８の表示例を示す図である。
ベース画像にメイン画の分類情報が付加されている状態（図３０参照）から、ユーザがユーザインタフェース３６（操作部９）を操作して選択カーソル７５を移動させ、ユーザインタフェース３６を操作してブラケット画像をメイン画として選択及び決定すると、表示部８は例えば図３１に示す表示となる。図３１において、選択カーソル７５を使ってユーザによりブラケット画像がメイン画として選択されると、選択された縮小画像７６に対する分類表示部７７にはメイン画を示す「Ｍ」が表示され、他の縮小画像７６に対する分類表示部７７にはサブ画を示す「Ｓ１」又は「Ｓ２」が表示される。そして色空間表示部７８では、ユーザによる選択決定後のメイン画及びサブ画の分類に従って、ベース画像及びブラケット画像の色分布情報が色空間座標上に表示される。
このようにユーザは、ユーザインタフェース３６（操作部９）を介し、表示部８に表示される複数の画像（ベース画像及びブラケット画像）の中から１つの画像を関心画像として選択することができる。この場合、ユーザが関心画像を選択したことを示す決定指示がユーザインタフェース３６（操作部９）に入力される。関心画像の選択に関する決定指示がユーザインタフェース３６に入力されると、システム制御部２５は分類情報書換部７２を制御してその関心画像の分類情報をメイン画とする。すなわち分類情報書換部７２は、１つの入力画像データに基づいて作成されたベース画像及びブラケット画像のうち、ユーザインタフェース３６（操作部９）に入力された決定指示によって指定される関心画像の分類情報をメイン画とし、他の画像の分類情報をサブ画とする。
分類情報書換部７２によって分類情報が書き換えられた場合、表示制御部３５は表示部８を制御して、書き換え後の分類情報に従ってベース画像及びブラケット画像のうち１又は複数の画像を表示部８に表示させる。
図３２は、表示部８（選択画像表示部７４）における画像の切り換えに関するフローチャートである。
まずシステム制御部２５によって、再生モードか否かが判定され（図３２のＳ１４０）、再生モードになるまでこの判定が続行される（Ｓ１４０のＮｏ）。「再生モードか否かの判定」は任意の手法で行うことができる。例えば、システム制御部２５は、ユーザインタフェース３６（操作部９）を介してユーザが再生モードを選択したか否かを判定したり、撮影画像の確認用の再生を行うモードに設定されているか否かを判定したりすることで「再生モードか否かの判定」を行うことができる。
再生モードであると判定される場合（Ｓ１４０のＹｅｓ）、システム制御部２５の制御下で表示制御部３５が表示部８をコントロールし、表示部８の選択画像表示部７４にはメイン画の分類情報が付加された画像が表示される（Ｓ１４１；図３０参照）。
ベース画像及びブラケット画像のうちメイン画の分類情報が付加された画像を選択画像表示部７４に表示した後、ユーザによってサブ画の分類情報が付加された画像の表示指示があるか否かがシステム制御部２５によって判定され、ユーザからその表示指示があるまでこの判定が続行される（Ｓ１４２のＮｏ）。本例では、ユーザがユーザインタフェース３６を介して選択カーソル７５をメイン画の画像から移動させた場合に「サブ画の分類情報が付加された画像の表示指示がある」と判定される。「サブ画の分類情報が付加された画像の表示指示がある」と判定される場合（Ｓ１４２のＹｅｓ）、システム制御部２５の制御下で表示制御部３５が表示部８をコントロールして、表示部８の選択画像表示部７４には選択カーソル７５によって新たに選択された画像が表示される（Ｓ１４３）。
図３３は、分類情報の書き換え処理のフローチャートである。
まずシステム制御部２５によって、メイン画の切り換え指示があるか否かが判定され（図３３のＳ１５０）、メイン画の切り換え指示があるまでこの判定が続行される（Ｓ１５０のＮｏ）。本例では、ユーザがユーザインタフェース３６（操作部９）を介して選択カーソル７５を移動させて、サブ画の分類情報が付加された縮小画像７６を新たなメイン画として決定する指示がユーザインタフェース３６（操作部９）に入力された場合が「メイン画の切り換え指示がある」場合となる。
メイン画の切り換え指示があると判定された場合（Ｓ１５０のＹｅｓ）、切り換え指示の対象となっているグループのベース画像及びブラケット画像の分類情報の書き換えが、システム制御部２５の制御下で分類情報書換部７２によって行われる（Ｓ１５１）。これによりベース画像及びブラケット画像のうち、ユーザがメイン画として決定した画像に付加される分類情報が「メイン画」となるように、また他の画像に付加される分類情報が「サブ画」となるように、分類情報（図２５の「分類情報部８５」参照）の書き換え処理が行われる。
分類情報書換部７２によって分類情報の書き換えが行われた場合、ベース画像及びブラケット画像は、圧縮伸張部３２を介して記憶制御部３３に送られ、記憶制御部３３によって書き換え後の分類情報と共にメインメモリ１０に保存される（Ｓ１５２）。
以上説明したように本実施形態によれば、表示部８の選択画像表示部７４にはベース画像及びブラケット画像のうちの１つの画像のみが表示され、ユーザインタフェース３６を介したユーザの表示指示に応じて選択画像表示部７４に表示する画像を切り換えることができる。したがって、同じ入力画像データに基づいて作成されるベース画像及びブラケット画像の数が増えても、ユーザは選択画像表示部７４に表示される画像を切り換えながら確認することで、これらのベース画像及びブラケット画像を簡便に把握することができ、ユーザの画像管理の手間を軽減することができる。
ベース画像及びブラケット画像が同時に表示部８（選択画像表示部７４）に表示され、各画像が表示部８の異なる場所に表示される場合、表示部８の色むら等の影響で表示画像同士の比較が難しく、表示画像間のホワイトバランスの相違をユーザが認識し難い場合がある。しかしながら本実施形態では、選択カーソル７５を介したユーザの選択によって、ベース画像及びブラケット画像は表示部８の同じ領域である選択画像表示部７４に表示される。ベース画像及びブラケット画像の表示は同一位置で切り換わるため、画像同士の比較が容易になり、画像間のホワイトバランスの相違をユーザは認識し易くなる。
また表示部８の色空間表示部７８において、色空間座標上におけるベース画像及びブラケット画像の対応位置が示されるので、ユーザは、ブラケット方向及びブラケット量を一目で直感的に確認することができる。
なお上述の実施形態では、ユーザインタフェース３６を介したユーザの操作に応じて選択画像表示部７４に表示される画像が切り換えられるが、これに限定されない。例えば表示制御部３５は、ベース画像及びブラケット画像の各々を自動的に且つ経時的に、表示部８の同じ領域である選択画像表示部７４に順次表示させてもよい。すなわち選択画像表示部７４に表示される画像の切り換えが表示制御部３５によって行われ、ユーザ操作によらずに、時間経過と共に自動的に選択画像表示部７４に表示される画像が切り換えられる。選択画像表示部７４に表示される画像の切り換えタイミングは、ユーザがベース画像及びブラケット画像のホワイトバランスの相違を認識することが可能なタイミングであることが好ましい。
また表示部８の表示は図３０及び図３１に示す例に限定されず、例えば縮小画像７６及び分類表示部７７が表示部８に表示されなくてもよい。図３４Ａ〜図３４Ｄは、表示部８の他の表示例を示す。図３４Ａ〜図３４Ｄに示すように、表示部８に選択画像表示部７４及び色空間表示部７８は表示されるが、縮小画像７６及び分類表示部７７（図３０及び図３１参照）は表示されなくてもよい。また図３４Ａ〜図３４Ｃに示すように、選択画像表示部７４の一部に色空間表示部７８が設けられてもよい。また図３４Ａ〜図３４Ｃに示すように、色空間表示部７８に表示される選択カーソル７５によって対応位置が選択された画像（ベース画像又はブラケット画像）のみが選択画像表示部７４に表示されてもよい。また図３４Ａ〜図３４Ｂに示すようにメイン画又はサブ画の分類情報が付されたベース画像及びブラケット画像のすべての色分布情報が色空間表示部７８に表示されてもよいし、図３４Ｃに示すようにベース画像及びブラケット画像のうち選択画像表示部７４に表示されている画像の色分布情報のみが色空間表示部７８に表示されてもよい。また図３４Ｄに示すように、表示部８に複数の選択画像表示部７４を設けて、ベース画像及びブラケット画像のうち複数の画像（すべての画像）が複数の選択画像表示部７４の各々に表示されてもよい。この場合、選択カーソル７５によって選択された画像（図３４Ｄの「Ｍ」参照）に対応する選択画像表示部７４の画像が、強調カーソル７９等によって強調表示されてもよい。
上述の表示部８における表示内容は、システム制御部２５によって制御される表示制御部３５が表示部８をコントロールすることで適宜切り換えられる。したがってシステム制御部２５は、予め設定されたモードに応じて表示制御部３５を制御し、表示部８の表示内容を適宜切り換えてもよい。またシステム制御部２５は、ユーザによってユーザインタフェース３６を介して入力される操作信号に応じて表示制御部３５を制御し、表示部８上の表示（選択カーソル７５等）を移動させたり切り換えたりできる。
＜第１１実施形態＞
本実施形態において、上述の実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。
本実施形態は、ベース画像及びブラケット画像のデータ保存手法及びデータ削除手法に関する。以下に説明する本実施形態のデータ保存手法及びデータ削除手法は、ベース画像及びブラケット画像にメイン画又はサブ画の分類情報を付加することによってベース画像とブラケット画像とが相互に関連付けられてメインメモリ（画像記憶部）１０に記憶される場合に適用される。以下のデータ保存手法及びデータ削除手法は、上述の実施形態によってメイン画及びサブ画の分類情報がベース画像及びブラケット画像に割り当てられる場合だけではなく、他のホワイトバランスブラケティング手法に基づいてメイン画及びサブ画の分類情報がベース画像及びブラケット画像に割り当てられる場合にも適用可能である。
本実施形態では、ベース画像及びブラケット画像のうちサブ画の分類情報が付加された画像データが、撮影時から或いは分類情報の変更時から、ある時間（例えば１週間）以上経過した後に記録媒体（メインメモリ１０）から自動的に消去される。
本実施形態のシステム構成は、上述の第１０実施形態（図２９参照）とほぼ同じである。ただし本実施形態の記憶制御部３３は、ベース画像及び／又はブラケット画像の作成時からの時間が第１の時間よりも長い場合に、ベース画像及びブラケット画像のうちサブ画の分類情報が付加された画像をメインメモリ（画像記憶部）１０から削除する。また記憶制御部３３は、分類情報書換部７２によってベース画像及びブラケット画像のうち少なくともいずれか１つの分類情報が書き換えられた場合には、その分類情報の書き換え時からの時間が第２の時間よりも長い場合に、ベース画像及びブラケット画像のうちサブ画の分類情報が付加された画像をメインメモリ１０から削除する。
本実施形態の記憶制御部３３は、クロックデバイス３４から得られる日時情報と、メインメモリ１０に記憶されているベース画像及びブラケット画像のうちメイン画の分類情報が付加された画像の編集日時情報（更新日時情報）とに基づいて、サブ画の分類情報が付加された画像をメインメモリ１０から削除する。クロックデバイス３４から得られる日時情報と、メインメモリ１０に記憶されているベース画像及びブラケット画像のうちメイン画の分類情報が付加された画像の編集日時情報とは、システム制御部２５によって取得される。ここでいう編集日時情報は、分類情報の書き換えが行われていない場合にはベース画像及びブラケット画像の作成日時を示し、分類情報の書き換えが行われた場合には分類情報の最新の書き換え日時を示す。
なお「ベース画像及びブラケット画像の作成時に関する日時情報」と「分類情報の書き換え時に関する日時情報」とは、別々のデータとして保存されてもよいし、両日時情報が「更新日時情報」という単一のデータとして保存されてもよい。また上述の「第１の時間」及び「第２の時間」は任意の時間であり、第１の時間及び第２の時間は同じであってもよいし、異なっていてもよい。
本実施形態のシステム制御部２５及び記憶制御部３３は、ユーザが電源スイッチ７を操作して電源がオンにされた場合に、上述の画像削除に関する一連の処理を行う。
図３５は、ベース画像及びブラケット画像の作成時からの時間に基づいて画像を削除する処理の一例を示すフローチャートである。
本例では、まず電源スイッチ７（ユーザインタフェース３６）を介して電源オンにされたか否かが、システム制御部２５によって判定される（図３５のＳ１６０）。
電源がオンである場合（Ｓ１６０のＹｅｓ）、サブ画の分類情報が付加された画像データ（画像情報データ８３；図２５〜図２７参照）がメインメモリ１０に保存されているか否かが、記憶制御部３３を介してシステム制御部２５により判定される（Ｓ１６１）。この判定は任意の手法で行われ、例えば記憶制御部３３は、メインメモリ１０に記憶されている画像データのメタデータのみを読み出して、システム制御部２５はメインメモリ１０にサブ画の分類情報が付加された画像データが保存されているか否かを判定してもよい。
サブ画の分類情報が付加された画像データがメインメモリ１０に保存されていると判定される場合（Ｓ１６１のＹｅｓ）、システム制御部２５によって、そのサブ画の分類情報を持つ画像データの作成日時に関する日時情報が記憶制御部３３を介して取得され（Ｓ１６２）、またクロックデバイス３４から現在日時に関する日時情報が取得される（Ｓ１６３）。
そして、現在日時が、そのサブ画の分類情報が付加された画像データの作成日時から第１の時間以上経過しているか否かが、システム制御部２５によって判定される（Ｓ１６４）。現在日時がその作成日時より第１の時間以上経過していると判定される場合（Ｓ１６４のＹｅｓ）、記憶制御部３３はシステム制御部２５の制御下で、そのサブ画の分類情報が付加された画像データをメインメモリ１０から削除する（Ｓ１６５）。
なお電源がオフの場合（Ｓ１６０のＮｏ）、サブ画の分類情報が付加された画像がメインメモリ１０に保存されていない場合（Ｓ１６１のＮｏ）及び現在日時が画像データの作成日時より第１の時間以上経過していない場合（Ｓ１６４のＮｏ）は、メインメモリ１０に記憶されている画像の削除処理は行われない。
図３６は、分類情報の書き換え時からの時間に基づいて画像を削除する処理の一例を示すフローチャートである。
図３６に示す例では、図３５に示す例（図３５のＳ１６０及びＳ１６１）と同様の手順で、電源のオン及びオフが判定され（図３６のＳ１７０）、メインメモリ１０にサブ画の分類情報が付加された画像が保存されているか否かが判定される（Ｓ１７１）。
電源がオンであり（Ｓ１７０のＹｅｓ）、サブ画の分類情報が付加された画像がメインメモリ１０に保存されていると判定される場合（Ｓ１７１のＹｅｓ）、システム制御部２５によって、そのサブ画の分類情報を持つ画像データの分類情報の書き換え最新日時に関する日時情報が記憶制御部３３を介して取得され（Ｓ１７２）、またクロックデバイス３４から現在日時に関する日時情報が取得される（Ｓ１７３）。
そして、現在日時が「そのサブ画の分類情報を持つ画像データの分類情報の書き換え最新日時」より第２の時間以上経過しているか否かが、システム制御部２５によって判定される（Ｓ１７４）。現在日時がその書き換え最新日時より第２の時間以上経過していると判定される場合（Ｓ１７４のＹｅｓ）、記憶制御部３３はシステム制御部２５の制御下で、そのサブ画の分類情報が付加された画像データをメインメモリ１０から削除する（Ｓ１７５）。
なお電源がオフの場合（Ｓ１７０のＮｏ）、サブ画の分類情報が付加された画像がメインメモリ１０に保存されていない場合（Ｓ１７１のＮｏ）及び現在日時が画像データの書き換え最新日時より第２の時間以上経過していない場合（Ｓ１７４のＮｏ）は、メインメモリ１０に記憶されている画像の削除処理は行われない。
図３７は、「ベース画像及びブラケット画像の作成時からの時間」及び「分類情報の書き換え時からの時間」に基づいて画像を削除する処理の一例を示すフローチャートである。
本例では、図３５及び図３６に示す例と同様に、電源のオン及びオフが判定され（図３７のＳ１８０）、メインメモリ１０にサブ画の分類情報が付加された画像が保存されているか否かが判定される（Ｓ１８１）。
電源がオンであり（Ｓ１８０のＹｅｓ）、メインメモリ１０にサブ画の分類情報が付加された画像が保存されていると判定される場合（Ｓ１８１のＹｅｓ）、システム制御部２５は、そのサブ画の分類情報の書き換えがあったか否かを、記憶制御部３３を介して判定する（Ｓ１８２）。
サブ画の分類情報の書き換えがあったと判定される場合（Ｓ１８２のＹｅｓ）、図３６に示す例（図３６のＳ１７２〜Ｓ１７５）と同様の手順で処理が行われる。すなわち、分類情報の書き換え最新日時が取得され（Ｓ１８３）、現在日時が取得され（Ｓ１８４）、現在日時がその書き換え最新日時より第２の時間以上経過していると判定される場合（Ｓ１８５のＹｅｓ）、記憶制御部３３はシステム制御部２５の制御下で、そのサブ画の分類情報が付加された画像データを削除する（Ｓ１８６）。
一方、サブ画の分類情報の書き換えがなかったと判定される場合も（Ｓ１８２のＮｏ）、図３５に示す例（図３５のＳ１６２〜Ｓ１６５）と同様の手順で処理が行われる。すなわち、そのサブ画の分類情報が付加された画像データの作成日時に関する日時情報が取得され（Ｓ１８７）、現在日時が取得され（Ｓ１８８）、現在日時がその作成日時より第１の時間以上経過していると判定される場合（Ｓ１８９のＹｅｓ）、記憶制御部３３はシステム制御部２５の制御下で、そのサブ画の分類情報が付加された画像データを削除する（Ｓ１８６）。
なお電源がオフの場合（Ｓ１８０のＮｏ）、サブ画の分類情報が付加された画像がメインメモリ１０に保存されていない場合（Ｓ１８１のＮｏ）、現在日時が画像データの作成日時より第１の時間以上経過していない場合（Ｓ１８９のＮｏ）及び現在日時が画像データの書き換え最新日時より第２の時間以上経過していない場合（Ｓ１８５のＮｏ）は、メインメモリ１０に記憶されている画像の削除処理は行われない。
以上説明したように本実施形態によれば、メインメモリ１０の記憶容量の浪費を効果的に防ぐことができる。
例えば上述の各実施形態で作成された「同一の入力画像データから作成される複数の画像（ベース画像及びブラケット画像）」のすべてをメインメモリ１０に記録すると、撮影シーン毎の記録枚数及び記録データ量が増え、記録媒体の記憶可能容量が浪費される。
しかしながら本実施形態によれば、画像作成日時又は分類情報の書き換え日時から時間（第１の時間又は第２の時間）が経過すると、サブ画の分類情報が付加された画像データがメインメモリ１０から削除される。すなわち、１つの入力画像データに基づいて作成されたベース画像及びブラケット画像のうちメイン画の分類情報が割り当てられた１つの画像以外は、時間経過に伴って削除される。これによりメインメモリ１０の記憶容量の浪費が防がれ、より多くの撮影シーンの画像をメインメモリ１０に保存することが可能になる。
＜他の変形例＞
なお上述の実施形態及び変形例のうち任意の形態同士が組み合わされてもよい。また上述の実施形態は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。
＜カスタムホワイトバランスモード＞
例えば上述の実施形態では、カスタムホワイトバランスモードにおいて、ベース画像用ホワイトバランスゲインのみが事前に取得されて制御メモリ３０に記憶されているが、ブラケット画像用ホワイトバランスゲインも事前に取得されて制御メモリ３０に記憶されていてもよい。
図３８は、カスタムホワイトバランスモードにおけるベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインの取得例を示すフローチャートである。
ホワイトバランスの設定モードとしてカスタムホワイトバランスモードが設定された場合、所望画像の撮影に先立って、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを取得するための前処理がホワイトバランス画像処理部４０（図５参照）において行われてもよい。
この前処理では、ユーザが無彩色（白又はグレー）の被写体を撮影して撮像素子２１から出力される画像データが、画像データ取得部４４によって入力画像データとして取得される（図３８のＳ１９０）。この入力画像データの色分布情報が色分布取得部４６によって取得され（Ｓ１９１）、この色分布情報に基づいてベース画像用ホワイトバランスゲインがベースＷＢゲイン設定部５０によって取得される（Ｓ１９２）。そして、ベース画像用ホワイトバランスゲイン及び色分布情報に基づいてブラケット画像用ホワイトバランスゲインがブラケットＷＢゲイン設定部５２によって取得される（Ｓ１９３）。取得されたベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインは、ベースＷＢゲイン設定部５０及びブラケットＷＢゲイン設定部５２の各々からシステム制御部２５に送られ、システム制御部２５によって制御メモリ３０に記憶される（Ｓ１９４）。
なお、本例における「ブラケットＷＢゲイン設定部５２によるブラケット画像用ホワイトバランスゲイン」の取得は、上述の各実施形態におけるブラケットＷＢゲイン設定部５２と同様の手順で実行しうる。また上述の第８実施形態と同様に、「フラッシュ影響度」に基づいて、制御メモリ３０に予め保存しておくベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインが取得されてもよい。
＜サーバ又はコンピュータにおけるホワイトバランス処理＞
上述の実施形態ではデジタルカメラ２においてホワイトバランス処理が行われる例について説明したが、サーバやコンピュータにおいて上述の各実施形態と同様の処理が行われてもよい。
図３９は、ＲＡＷ形式の画像データを出力するデジタルカメラ２の機能構成例のブロック図である。例えば図３に示すシステム構成を有するデジタルカメラ２において、撮像素子２１から出力されてプロセス処理部２２及びＡＤ変換部２３を経た入力画像データ（ＲＡＷデータ）は、画像処理部３１のホワイトバランス画像処理部４０においてホワイトバランスゲインが取得される。ただし本例では、この取得されたホワイトバランスゲインは、入力画像データ（ＲＡＷデータ）に適用されず、入力画像データに付加される。
すなわちベースＷＢゲイン設定部５０及びブラケットＷＢゲイン設定部５２は、上述の各実施形態と同様の処理を行い、入力画像データの色分布情報及び／又は入力画像データのフラッシュ影響度に基づいて、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインを取得する。ただしＷＢ処理部５４は、ホワイトバランスゲインを入力画像データに適用するホワイトバランス処理は行わず、取得した「ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲイン」を「入力画像データ（ＲＡＷデータ）」に付加してＲＡＷファイルデータ８０を作成する。このＲＡＷファイルデータ８０は、入力画像データ（ＲＡＷデータ）に関するＲＡＷ画像部８１と、ベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインに関するＷＢゲイン情報部８２とを含む。
画像処理部３１から出力されるＲＡＷファイルデータ８０はバッファメモリ２４に保存され、バッファメモリ２４に保存されたＲＡＷファイルデータ８０は圧縮伸張部３２によって圧縮処理が行われて、記憶制御部３３によってメインメモリ１０に記憶される。
なお上述の例ではＷＢ処理部５４によってＲＡＷファイルデータ８０が作成されるが、他の処理部においてＲＡＷファイルデータ８０が作成されてもよく、例えばシステム制御部２５によって制御される記憶制御部３３によってＲＡＷファイルデータ８０が作成されてもよい。この場合、ＲＡＷ画像部８１を構成するＲＡＷ画像データは圧縮伸張部３２から記憶制御部３３に送信される。またＷＢゲイン情報部８２を構成するベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインは、制御メモリ３０に記憶されており、システム制御部２５から記憶制御部３３に送信される。
図４０は、デジタルカメラ２に接続されるサーバ９０及びコンピュータ９４を示すブロック図である。デジタルカメラ２は、デジタルカメラ接続部８９及びサーバ接続部９１を介してサーバ９０に接続可能であってもよいし、デジタルカメラ接続部８９及びコンピュータ接続部９５を介してコンピュータ９４に接続可能であってもよい。これらの接続態様は特に限定されず、有線接続であってもよいし、無線接続であってもよい。
システム制御部２５は、メインメモリ１０に記憶されている上述のＲＡＷファイルデータ８０を、記憶制御部３３を介して読み出して、デジタルカメラ接続部８９から出力する。デジタルカメラ接続部８９から出力されたＲＡＷファイルデータ８０は、サーバ接続部９１を介してサーバ９０によって受信されてサーバコントロールシステム９２に送られ、或いはコンピュータ接続部９５を介してコンピュータ９４によって受信されてコンピュータコントロールシステム９６に送られる。サーバコントロールシステム９２及びコンピュータコントロールシステム９６は、ＲＡＷファイルデータ８０に含まれるＷＢゲイン情報部８２が示すベース画像用ホワイトバランスゲイン及びブラケット画像用ホワイトバランスゲインをＲＡＷ画像部８１が示す画像データに適用することで、ベース画像及びブラケット画像を取得することが可能である。
なお上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（ホワイトバランス画像処理部４０等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
＜スマートフォンの構成＞
図４１は、スマートフォン１０１の外観を示す図である。図４１に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。
図４２は、図４１に示すスマートフォン１０１の構成を示すブロック図である。図４２に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部１１０は、主制御部１００の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。
表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
図４１に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図４１に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図４１に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ及び有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。
ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。
電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記録し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図４１に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り換えて単独にて撮影してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影してもよい。
また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。
上述の画像処理部３１（ホワイトバランス画像処理部４０；図３参照）は、例えば主制御部１００によって実現可能である。
２…デジタルカメラ、３…カメラ本体、４…レンズ鏡筒、５…フラッシュ発光部、６…シャッタボタン、７…電源スイッチ、８…表示部、９…操作部、１０…メインメモリ、１２…レンズ部、２０…メカニカルシャッタ、２１…撮像素子、２２…プロセス処理部、２３…ＡＤ変換部、２４…バッファメモリ、２５…システム制御部、２６…シャッタ駆動部、２７…レンズ駆動部、２８…電源制御部、２９…電源、３０…制御メモリ、３１…画像処理部、３２…圧縮伸張部、３３…記憶制御部、３４…クロックデバイス、３５…表示制御部、３６…ユーザインタフェース、４０…ホワイトバランス画像処理部、４１…第１ゲイン取得部、４２…第２ゲイン取得部、４４…画像データ取得部、４６…色分布取得部、４８…ＷＢ設定判別部、５０…ベースＷＢゲイン設定部、５２…ブラケットＷＢゲイン設定部、５４…ＷＢ処理部、５５…ＷＢ演算処理部、５６…光源色推定部、５７…情報付加部、５８…光源色特性取得部、６０…黒体特性記憶部、６２…彩度特定部、６４…フラッシュ特定部、６６…ブラケット判定部、６８…ブラケットデータ記憶部、７２…分類情報書換部、７４…選択画像表示部、７５…選択カーソル、７６…縮小画像、７７…分類表示部、７８…色空間表示部、７９…強調カーソル、８０…ＲＡＷファイルデータ、８１…ＲＡＷ画像部、８２…ＷＢゲイン情報部、８３…画像情報データ、８４…画像データ部、８５…分類情報部、８６…グループ情報部、８７…ファイルデータ、８９…デジタルカメラ接続部、９０…サーバ、９１…サーバ接続部、９２…サーバコントロールシステム、９４…コンピュータ、９５…コンピュータ接続部、９６…コンピュータコントロールシステム、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (32)

  1. ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する画像処理装置であって、
    入力画像データの色分布情報を取得する色分布取得部と、
    前記ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する第１ゲイン取得部と、
    前記色分布情報に基づいて、前記ベース画像用ホワイトバランスゲインを基準に、前記ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する第２ゲイン取得部とを備える画像処理装置。
  2. 前記第２ゲイン取得部は、前記色分布情報に基づいて色空間上でのブラケット方向を決定し、前記ベース画像用ホワイトバランスゲインを基準に当該ブラケット方向に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する請求項１に記載の画像処理装置。
  3. 前記第２ゲイン取得部は、前記色分布情報に基づいてブラケット量の絶対値を決定し、前記ベース画像用ホワイトバランスゲインを基準に当該ブラケット量の絶対値に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する請求項１又は２に記載の画像処理装置。
  4. 前記第２ゲイン取得部は、前記色分布情報から光源色を推定し、当該色分布情報から推定される光源色に応じて、前記ブラケット画像用ホワイトバランスゲインを取得する請求項１〜３のいずれか一項に記載の画像処理装置。
  5. 前記第２ゲイン取得部は、前記色分布情報から推定される前記光源色の相関色温度に応じて、前記ブラケット画像用ホワイトバランスゲインを取得する請求項４に記載の画像処理装置。
  6. 前記第２ゲイン取得部は、前記色分布情報から推定される前記光源色の相関色温度に応じてブラケット量の絶対値を決定し、当該ブラケット量の絶対値に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する請求項５に記載の画像処理装置。
  7. 前記第２ゲイン取得部は、色空間上における黒体放射特性と前記色分布情報から推定される前記光源色との距離に応じて前記ブラケット画像用ホワイトバランスゲインを取得する請求項５又は６に記載の画像処理装置。
  8. 前記第２ゲイン取得部は、前記黒体放射特性と前記色分布情報から推定される前記光源色との前記距離が小さいほど色空間上でのブラケット方向をアンバー・ブルー方向に近づけ、前記距離が大きいほど色空間上での前記ブラケット方向をグリーン・マゼンタ方向に近づけて前記ブラケット画像用ホワイトバランスゲインを取得する請求項７に記載の画像処理装置。
  9. 前記第２ゲイン取得部は、前記色分布情報から推定される前記光源色と前記ベース画像用ホワイトバランスゲインとに基づいて前記ベース画像の彩度情報を取得し、当該彩度情報に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する請求項４に記載の画像処理装置。
  10. 前記第２ゲイン取得部は、無彩色に対する前記ベース画像の相対的な彩度に基づいて前記彩度情報を取得し、当該彩度情報に基づいてブラケット量の絶対値を決定し、前記ベース画像用ホワイトバランスゲインを基準に当該ブラケット量の絶対値に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する請求項９に記載の画像処理装置。
  11. 前記ベース画像及び前記ブラケット画像のうち少なくとも１つを表示する表示部の表示特性情報を取得する表示特性取得部を更に備え、
    前記第２ゲイン取得部は、
    前記表示特性取得部から取得した前記表示特性情報に基づいて表示無彩色情報を取得し、
    前記表示無彩色情報から得られる表示無彩色に対する前記ベース画像の相対的な彩度に基づいて前記彩度情報を取得し、
    当該彩度情報に基づいてブラケット量の絶対値を決定し、前記ベース画像用ホワイトバランスゲインを基準に当該ブラケット量の絶対値に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する請求項９に記載の画像処理装置。
  12. 前記第２ゲイン取得部は、前記彩度情報に基づいて、無彩色と前記ベース画像との彩度の差が大きいほど前記ブラケット量の絶対値を大きくして前記ブラケット画像用ホワイトバランスゲインを取得する請求項１０又は１１に記載の画像処理装置。
  13. ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する画像処理装置であって、
    前記ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する第１ゲイン取得部と、
    前記ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する第２ゲイン取得部と、
    入力画像データにおけるフラッシュの影響度を示すフラッシュ影響度を取得するフラッシュ特定部とを備え、
    前記第１ゲイン取得部は、前記フラッシュ影響度に基づいて前記ベース画像用ホワイトバランスゲインを取得し、
    前記第２ゲイン取得部は、前記ベース画像用ホワイトバランスゲインの取得に用いる前記フラッシュ影響度とは異なるフラッシュの影響度に基づいて前記ブラケット画像用ホワイトバランスゲインを取得する画像処理装置。
  14. 前記第２ゲイン取得部は、色分布情報と前記ブラケット画像の作成の要否との関係を定めるブラケティング要否データを参照して、前記入力画像データの色分布情報に基づき前記ブラケット画像の作成の要否を決定し、前記ブラケット画像の作成が必要であると決定された場合は前記ブラケット画像用ホワイトバランスゲインを取得し、前記ブラケット画像の作成が不要であると決定された場合は前記ブラケット画像用ホワイトバランスゲインを取得しない請求項１〜１３のいずれか一項に記載の画像処理装置。
  15. 前記原画像データに前記ベース画像用ホワイトバランスゲインを適用して前記ベース画像を得て、前記原画像データに前記ブラケット画像用ホワイトバランスゲインを適用して前記ブラケット画像を得るホワイトバランス処理部を更に備える請求項１〜１４のいずれか一項に記載の画像処理装置。
  16. 前記ホワイトバランス処理部は、前記ベース画像に対してメイン画であることを示す分類情報を付加し、前記ブラケット画像に対してサブ画であることを示す分類情報を付加する請求項１５に記載の画像処理装置。
  17. 表示部と、
    前記表示部を制御し、前記ベース画像及び前記ブラケット画像のうち少なくとも１つの画像を前記表示部に表示させる表示制御部とを更に備える請求項１６に記載の画像処理装置。
  18. 前記表示制御部は、前記ベース画像及び前記ブラケット画像のうち少なくとも前記メイン画の分類情報が付加されている画像を前記表示部に表示させる請求項１７に記載の画像処理装置。
  19. 前記ベース画像及び前記ブラケット画像に付加されている分類情報の決定指示がユーザによって入力される指示受付部と、
    前記指示受付部に入力された前記決定指示に基づいて、前記ベース画像及び前記ブラケット画像に付加されている分類情報を書き換え可能な分類情報書換部とを更に備える請求項１６〜１８のいずれか一項に記載の画像処理装置。
  20. 前記ベース画像と前記ブラケット画像とを相互に関連付けて記憶する画像記憶部を更に備える請求項１５〜１９のいずれか一項に記載の画像処理装置。
  21. 前記ベース画像と前記ブラケット画像とを相互に関連付けて記憶する画像記憶部と、
    前記ベース画像の作成時からの時間が第１の時間よりも長い場合に、前記ベース画像及び前記ブラケット画像のうち前記サブ画の分類情報が付加された画像を前記画像記憶部から削除する記憶制御部と、を更に備える請求項１６〜１９のいずれか一項に記載の画像処理装置。
  22. 前記ベース画像と前記ブラケット画像とを相互に関連付けて記憶する画像記憶部と、
    前記分類情報書換部によって前記ベース画像及び前記ブラケット画像のうち少なくともいずれか一つの分類情報が書き換えられた場合には、当該分類情報の書き換え時からの時間が第２の時間よりも長い場合に、前記ベース画像及び前記ブラケット画像のうち前記サブ画の分類情報が付加された画像を前記画像記憶部から削除する記憶制御部と、を更に備える請求項１９に記載の画像処理装置。
  23. 前記表示制御部は、色空間座標を前記表示部に表示させて、前記ベース画像及び前記ブラケット画像のうち前記表示部に表示させる画像の少なくともいずれかの色分布情報を前記表示部に表示される前記色空間座標上に表す請求項１７又は１８に記載の画像処理装置。
  24. 前記表示制御部は、前記ベース画像及び前記ブラケット画像のうちメイン画の分類情報が付加された画像の色分布情報を前記表示部に表示される前記色空間座標上に表す請求項２３に記載の画像処理装置。
  25. 前記表示制御部は、前記ベース画像及び前記ブラケット画像の各々を経時的に順次、前記表示部の同じ領域に表示させる請求項１７又は１８に記載の画像処理装置。
  26. 前記第１ゲイン取得部は、設定モードに応じて、前記ベース画像用ホワイトバランスゲインを取得する請求項１〜２５のいずれか一項に記載の画像処理装置。
  27. 前記設定モードは、前記ベース画像用ホワイトバランスゲインが予め定められているプリセットホワイトバランスモード、前記入力画像データの色分布情報に基づいて当該入力画像データに適用される前記ベース画像用ホワイトバランスゲインが決定されるオートホワイトバランスモード、及び前記入力画像データの色分布情報に基づいて当該入力画像データとは異なる原画像データに適用される前記ベース画像用ホワイトバランスゲインが決定されるカスタムホワイトバランスモードのうちのいずれかである請求項２６に記載の画像処理装置。
  28. 前記設定モードが、前記入力画像データの色分布情報に基づいて当該入力画像データに適用される前記ベース画像用ホワイトバランスゲインが決定されるオートホワイトバランスモードの場合、
    前記第１ゲイン取得部は、前記入力画像データの前記色分布情報に基づいて前記ベース画像用ホワイトバランスゲインを取得し、
    前記第２ゲイン取得部は、前記第１ゲイン取得部が前記ベース画像用ホワイトバランスゲインの取得の基礎に用いた前記色分布情報に基づいて、前記ブラケット画像用ホワイトバランスゲインを取得する請求項２６又は２７に記載の画像処理装置。
  29. 被写体像を受光して画像データを生成する撮像素子と、
    前記撮像素子が生成する画像データを入力画像データとして用いる請求項１〜２８のいずれか一項に記載の画像処理装置とを備える撮像装置。
  30. ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得する画像処理方法であって、
    入力画像データの色分布情報を取得し、
    前記ベース画像を得るためのベース画像用ホワイトバランスゲインを取得し、
    前記色分布情報に基づいて、前記ベース画像用ホワイトバランスゲインを基準に、前記ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する画像処理方法。
  31. ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得するプログラムであって、
    入力画像データの色分布情報を取得する手順と、
    前記ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する手順と、
    前記色分布情報に基づいて、前記ベース画像用ホワイトバランスゲインを基準に、前記ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する手順と、をコンピュータに実行させるためのプログラム。
  32. ベース画像及びブラケット画像を得るために原画像データに適用されるホワイトバランスゲインを取得するプログラムであって、
    入力画像データの色分布情報を取得する手順と、
    前記ベース画像を得るためのベース画像用ホワイトバランスゲインを取得する手順と、
    前記色分布情報に基づいて、前記ベース画像用ホワイトバランスゲインを基準に、前記ブラケット画像を得るためのブラケット画像用ホワイトバランスゲインを取得する手順と、をコンピュータに実行させるためのプログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体。
JP2015561184A 2014-02-07 2014-12-24 画像処理装置及び画像処理方法 Active JP6195633B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014022615 2014-02-07
JP2014022615 2014-02-07
PCT/JP2014/084072 WO2015118788A1 (ja) 2014-02-07 2014-12-24 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2015118788A1 true JPWO2015118788A1 (ja) 2017-03-23
JP6195633B2 JP6195633B2 (ja) 2017-09-13

Family

ID=53777604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015561184A Active JP6195633B2 (ja) 2014-02-07 2014-12-24 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US10070112B2 (ja)
JP (1) JP6195633B2 (ja)
CN (1) CN105940673B (ja)
WO (1) WO2015118788A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134189B (zh) * 2014-03-31 2019-03-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
JP6778602B2 (ja) * 2016-12-14 2020-11-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置、画像データ生成方法および画像データ生成プログラム
CN106488140B (zh) * 2016-12-30 2019-06-07 维沃移动通信有限公司 一种相机拍摄参数的设置方法及移动终端
CN107370910B (zh) * 2017-08-04 2019-09-24 西安邮电大学 基于最优曝光的最小包围曝光集合获取方法
US11212500B2 (en) * 2017-12-05 2021-12-28 Nikon Corporation Image capture apparatus, electronic apparatus, and recording medium suppressing chroma in white balance correction performed based on color temperature
CN110121064B (zh) * 2019-05-15 2021-07-30 深圳市道通智能航空技术股份有限公司 一种图像色彩调节方法、装置及无人机
CN111918004B (zh) * 2020-09-16 2023-07-04 Oppo广东移动通信有限公司 图像传感器、终端、数据处理方法、装置及存储介质
TWI763074B (zh) * 2020-10-12 2022-05-01 宏碁股份有限公司 動態調整顯示螢幕色彩的方法
US20230070353A1 (en) * 2021-09-09 2023-03-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN114845094B (zh) * 2022-07-06 2022-09-30 深圳思谋信息科技有限公司 色彩校正方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333432A (ja) * 2000-03-15 2001-11-30 Asahi Optical Co Ltd 電子スチルカメラ
JP2002152772A (ja) * 2000-08-28 2002-05-24 Fuji Photo Film Co Ltd ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体
JP2006020194A (ja) * 2004-07-05 2006-01-19 Canon Inc 撮像装置
JP2006186931A (ja) * 2004-12-28 2006-07-13 Casio Comput Co Ltd カメラ装置、ホワイトバランスブラケティング撮影方法
JP2009213150A (ja) * 2007-01-15 2009-09-17 Panasonic Corp 撮像装置
JP2010187113A (ja) * 2009-02-10 2010-08-26 Nikon Corp 撮像装置およびホワイトバランスブラケティング撮影プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010030694A1 (en) * 2000-03-15 2001-10-18 Asahi Kogaku Kogyo Kabushiki Kaisha Digital still camera performing white balance adjustment
JP4499258B2 (ja) * 2000-08-04 2010-07-07 オリンパス株式会社 電子カメラ
JP4940506B2 (ja) 2001-04-06 2012-05-30 ソニー株式会社 カメラの連続撮影方法及びカメラ
GB2379296B (en) * 2001-09-01 2005-05-25 Ibm A data storage system having a unified container layer for an active data store
US20040085459A1 (en) * 2002-02-12 2004-05-06 Nikon Corporation Image processing device, image processing program, and image processing method
CN1918919A (zh) * 2004-02-10 2007-02-21 松下电器产业株式会社 白平衡调整装置及图像显示装置
JP4471373B2 (ja) * 2004-12-27 2010-06-02 キヤノン株式会社 撮像装置及びその制御方法
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
JP5305937B2 (ja) * 2009-01-16 2013-10-02 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
US20110187891A1 (en) * 2010-02-04 2011-08-04 Buyue Zhang Methods and Systems for Automatic White Balance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333432A (ja) * 2000-03-15 2001-11-30 Asahi Optical Co Ltd 電子スチルカメラ
JP2002152772A (ja) * 2000-08-28 2002-05-24 Fuji Photo Film Co Ltd ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体
JP2006020194A (ja) * 2004-07-05 2006-01-19 Canon Inc 撮像装置
JP2006186931A (ja) * 2004-12-28 2006-07-13 Casio Comput Co Ltd カメラ装置、ホワイトバランスブラケティング撮影方法
JP2009213150A (ja) * 2007-01-15 2009-09-17 Panasonic Corp 撮像装置
JP2010187113A (ja) * 2009-02-10 2010-08-26 Nikon Corp 撮像装置およびホワイトバランスブラケティング撮影プログラム

Also Published As

Publication number Publication date
WO2015118788A1 (ja) 2015-08-13
US10070112B2 (en) 2018-09-04
CN105940673A (zh) 2016-09-14
JP6195633B2 (ja) 2017-09-13
US20160295189A1 (en) 2016-10-06
CN105940673B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
JP6195633B2 (ja) 画像処理装置及び画像処理方法
JP6302554B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6272486B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6063092B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6302555B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10484598B2 (en) System and method for controlling capture of images
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
JP6921972B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
JP6911135B2 (ja) 撮像装置、撮像方法、およびプログラム
CN104144286A (zh) 拍摄装置和拍摄方法
JP2016144006A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
JP2010154365A (ja) 色補正装置、カメラ、色補正方法および色補正用プログラム
JP7191980B2 (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170815

R150 Certificate of patent or registration of utility model

Ref document number: 6195633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250