WO2015151748A1

WO2015151748A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム

Info

Publication number: WO2015151748A1
Application number: PCT/JP2015/057276
Authority: WO
Inventors: 慎也藤原
Original assignee: 富士フイルム株式会社
Priority date: 2014-03-31
Filing date: 2015-03-12
Publication date: 2015-10-08
Also published as: US20190230329A1; US20170013242A1; JPWO2015151748A1; CN106134189A; US10298899B2; JP6063093B2; CN106134189B

Abstract

　事後的にマルチエリアホワイトバランス処理を行う場合であっても、自由度の高いホワイトバランス調整を行うことを可能にする画像処理装置、撮像装置、画像処理方法及びプログラムを提供する。原画像データの光源の数及び種類が判定され（Ｓ１１）、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインが取得される（Ｓ１２）。原画像データの画素毎に、光源の種類毎の影響率が取得され、この影響率に基づいて基準ホワイトバランスゲインの混合比率が取得される（Ｓ１３）。基準ホワイトバランスゲイン及び混合比率が原画像データと関連付けられて記憶媒体に記憶される（Ｓ１４）。記憶媒体に記憶された基準ホワイトバランスゲイン及び混合比率から、原画像データのマルチエリアホワイトバランス処理に必要な画素毎のホワイトバランスゲインを事後的に取得可能である。

Description

画像処理装置、撮像装置、画像処理方法及びプログラム

　本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特にマルチエリアホワイトバランス処理技術に関する。

　マルチエリアホワイトバランス処理（以下、「マルチエリアＷＢ処理」と称する）とは、１枚の画像を構成する画素毎或いはエリア毎に、異なるホワイトバランスゲイン（以下、「ＷＢゲイン」と称する）を適用するホワイトバランス処理（以下、「ＷＢ処理」と称する）である。マルチエリアＷＢ処理によれば、複数の光源からの光が画素毎（エリア毎）に異なる比率で被写体に照射されている画像であっても、各画素（各エリア）の色相（カラーバランス）を適正に補正することができる。

　例えばフラッシュを発光させて人物夜景シーンを撮影した場合、人物はフラッシュ光（例えば青色波長を多く含む光）の影響を受けて撮像されるが、撮影画像中の背景（夜景）はフラッシュ光の影響を実質的に受けずにナトリウムランプ（赤色波長を多く含む光）などの他の環境光の影響を受けて撮像される。この場合、ＷＢ処理によって人物画像の色相（カラーバランス）を良好にするにはフラッシュ光の影響をキャンセルするＷＢゲインを人物画像に適用することが求められる一方で、背景の色相（カラーバランス）を良好にするには他の環境光の影響をキャンセルするＷＢゲインを背景画像に適用することが求められる。したがって画像を構成する全画素に関して共通のＷＢゲインを適用する場合には、人物の色相（カラーバランス）と背景の色相（カラーバランス）とを両立することが難しい。

　しかしながらマルチエリアＷＢ処理によれば、１つの画像に含まれる人物部分に適用するＷＢゲインと背景部分に適用するＷＢゲインとを変えられる。したがって、例えばフラッシュ光の到達量に応じて、適用するＷＢゲインを画素毎に最適化することで、人物の色相（カラーバランス）と背景の色相（カラーバランス）とを両立することができる。

　特許文献１は、被写体領域から得られる色情報を用いて算出されるホワイトバランス制御値のばらつきを抑制することが可能なホワイトバランス制御装置を開示する。このホワイトバランス制御装置は、画像から被写体領域を検出し、画像を複数の領域に分割し、被写体領域と重複している領域の各々について領域の代表色を表す色情報を算出すると共に重みを決定する。そしてホワイトバランス制御装置は、色情報の各々に、被写体領域と重複している領域について決定された重みを適用して積算し、色情報の積算結果と予め定められた目標色の情報とから、代表色が目標色となるようなホワイトバランス制御値を算出する。

　また特許文献２は、ユーザが所望する色温度に調整された画像を取得することができる撮像装置を開示する。この撮像装置では、フラッシュ非発光で撮影された予備画像に基づき背景光に対するＷＢゲインが算出され、予備画像の撮影直後にフラッシュ発光で撮影された本画像と予備画像との輝度が比較され、その輝度差が閾値を超える本画像中の領域の画像データに基づき被写体光に対するＷＢゲインが算出される。そして、背景光に対するＷＢゲイン及び被写体光に対するＷＢゲインと、フラッシュ光のための予め定められたＷＢゲインとを基準にして、値の異なる複数のＷＢゲインが算出され、これらの複数のＷＢゲインを本画像に個別に適用することで、色温度の異なる複数枚のブラケット画像が生成される。

　また画像のホワイトバランス調整を画像データ保存後に実施可能とするために、画像データと共にＷＢゲインが保存される場合がある。

　例えば特許文献３に記載の撮像装置は、現像処理に必要となる付帯情報と共に本画像のＲＡＷ画像データを記憶媒体に記憶しておき、ＲＡＷ画像データの現像処理の際にオートホワイトバランス調整を行うことを可能にしている。

特開２０１２－１６５０７７号公報特開２０１０－１８７１１３号公報特開２００９－４８９５号公報

　上述のように、ＲＡＷ画像データと共に現像処理に必要となる付帯情報を保存しておくことで、ＲＡＷ画像データのホワイトバランスを事後的に調整することが可能である。

　しかしながら、ＲＡＷ画像データ等の画像データのホワイトバランスを事後的に調整する場合、ホワイトバランスの調整に関する自由度は低い。

　例えば人物夜景シーンでフラッシュを発光させた撮影により取得される画像において、「人物部分だけを少し赤い方向に修正したい」とユーザが望む場合がある。この場合、画面全体のホワイトバランスをシフトしてしまうと、人物部分だけではなく人物以外の背景部分の色相（カラーバランス）も変わってしまうため、ユーザの要望を満たすことができない。

　一方、事後的にホワイトバランスの調整を行う際にユーザがマニュアルで画素毎にＷＢゲインを設定する場合には、「人物部分だけを少し赤い方向に修正したい」というユーザの要望を満たすことは可能である。しかしながら、画素毎にマニュアルでＷＢゲインを設定する作業は、非常に手間がかかり非効率的である。

　このように、マルチエリアＷＢ処理を行うために画素毎に設定された個別的なＷＢゲインの情報をＲＡＷ画像データ等の画像データと共に保存する場合には、事後的にマルチエリアＷＢ処理の実行の有無を切り換えることはできるが、例えば「人物部分だけを少し赤い方向に修正したい」というユーザの要望を簡便に満たすことはできない。

　本発明は上述の事情に鑑みてなされたものであり、事後的にマルチエリアＷＢ処理を行う場合であっても、自由度の高いホワイトバランスの調整を行うことを可能にする技術を提供することを目的とする。

　本発明の一態様は、原画像データの光源の数及び種類を判定する光源種判定部と、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインを取得するゲイン取得部と、原画像データの画素毎に、光源の種類毎の影響率を取得し、影響率に基づいて基準ホワイトバランスゲインの混合比率を取得する混合比取得部と、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けて記憶媒体に記憶する記録部と、を備える画像処理装置に関する。

　本態様によれば、基準ホワイトバランスゲイン及び混合比率が原画像データと関連付けられて記憶される。したがって、記憶媒体に記憶されている原画像データを読み出してマルチエリアＷＢ処理を事後的に行う場合であっても、基準ホワイトバランスゲイン及び混合比率を記憶媒体から読み出して使用することで適切にマルチエリアＷＢ処理を行うことができる。また事後的にマルチエリアＷＢ処理を行う際に、基準ホワイトバランスゲイン及び混合比率を調整することができるため、自由度の高いホワイトバランスの調整を行うことが可能である。

　望ましくは、光源種判定部は、原画像データの光源をフラッシュ光及び環境光として判定し、ゲイン取得部は、フラッシュ光を光源種とした場合に定められるフラッシュ光用基準ホワイトバランスゲインと、環境光を光源種とした場合に定められる環境光用基準ホワイトバランスゲインとを取得し、混合比取得部は、原画像データの画素毎に、フラッシュ光及び環境光の各々の影響率を取得し、当該影響率に基づいて、フラッシュ光用基準ホワイトバランスゲインと環境光用基準ホワイトバランスゲインとの混合比率を取得し、記録部は、フラッシュ光用基準ホワイトバランスゲイン、環境光用基準ホワイトバランスゲイン及び混合比率を、原画像データと関連付けて記憶媒体に記憶する。

　本態様によれば、フラッシュ光を発光して撮影取得された原画像データに関し、事後的にマルチエリアＷＢ処理を適切に行うことができ、また自由度の高いホワイトバランス調整を行うことが可能である。

　望ましくは、画像処理装置は、フラッシュを発光して撮影されたフラッシュ発光画像データとフラッシュを発光せずに撮影されたフラッシュ非発光画像データとを取得するフラッシュ画像取得部を更に備え、混合比取得部は、フラッシュ発光画像データ及びフラッシュ非発光画像データからフラッシュ光及び環境光の各々の影響率を取得し、影響率に基づいてフラッシュ光用基準ホワイトバランスゲインと環境光用基準ホワイトバランスゲインとの混合比率を取得する。

　本態様によれば、フラッシュ光及び環境光の影響率を考慮したマルチエリアＷＢ処理を事後的に行うことができる。

　望ましくは、混合比取得部は、フラッシュ非発光画像データの画素毎の第１の輝度値を取得し、フラッシュ発光画像データの画素毎の第２の輝度値を取得し、第１の輝度値及び第２の輝度値に基づいてフラッシュ光及び環境光の各々の影響率を取得し、影響率に基づいてフラッシュ光用基準ホワイトバランスゲインと環境光用基準ホワイトバランスゲインとの混合比率を取得する。

　本態様によれば、フラッシュ発光画像データ及びフラッシュ非発光画像データの輝度値（第１の輝度値及び第２の輝度値）に基づいて、フラッシュ光用基準ホワイトバランスゲイン及び環境光用基準ホワイトバランスゲインの混合比率を精度良く求めることができる。

　望ましくは、原画像データはフラッシュ発光画像データである。

　本態様によれば、フラッシュ発光画像データのマルチエリアＷＢ処理を事後的に行うことができる。

　望ましくは、画像処理装置は、第１の光源種の影響を示す第１の画像データを取得し、第２の光源種の影響を示す第２の画像データを取得する光源種データ取得部を更に備え、光源種判定部によって判定される原画像データの光源の種類が第１の光源種及び第２の光源種を含む場合、ゲイン取得部は、第１の光源種に定められる基準ホワイトバランスゲインと第２の光源種に定められる基準ホワイトバランスゲインとを取得し、混合比取得部は、第１の画像データ及び第２の画像データから第１の光源種及び第２の光源種の影響率を取得し、影響率に基づいて、第１の光源種に定められる基準ホワイトバランスゲインと第２の光源種に定められる基準ホワイトバランスゲインとの混合比率を取得し、記録部は、第１の光源種に定められる基準ホワイトバランスゲイン、第２の光源種に定められる基準ホワイトバランスゲイン及び混合比率を、原画像データと関連付けて記憶媒体に記憶する。

　本態様によれば、第１の光源種及び第２の光源種の影響率を考慮したマルチエリアＷＢ処理を事後的に行うことができる。

　望ましくは、原画像データを取得した際のホワイトバランス設定モードにかかわらず、光源種判定部は、原画像データの光源の数及び種類を判定し、ゲイン取得部は、光源の種類毎に定められる基準ホワイトバランスゲインを取得し、混合比取得部は、原画像データの画素毎に、光源の種類毎の影響率を取得し、影響率に基づいて基準ホワイトバランスゲインの混合比率を取得し、記録部は、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けて記憶媒体に記憶する。

　本態様によれば、原画像データを取得した際のホワイトバランス設定モードにかかわらず、基準ホワイトバランスゲイン及び混合比率が原画像データと関連付けられて記憶媒体に記憶される。したがってユーザは、原画像データを取得した際のホワイトバランス設定モードにかかわらず、原画像データにマルチエリアＷＢ処理を事後的に施すことが可能である。

　望ましくは、画像処理装置は、原画像データを取得した際のホワイトバランス設定モードを判定する設定モード判定部を更に備え、設定モード判定部によって判定されたホワイトバランス設定モードが、原画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるオートホワイトバランスモードの場合のみ、光源種判定部は、原画像データの光源の数及び種類を判定し、ゲイン取得部は、光源の種類毎に定められる基準ホワイトバランスゲインを取得し、混合比取得部は、原画像データの画素毎に、光源の種類毎の影響率を取得し、影響率に基づいて基準ホワイトバランスゲインの混合比率を取得し、記録部は、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けて記憶媒体に記憶する。

　本態様によれば、原画像データを取得した際のホワイトバランス設定モードがオートホワイトバランスモードの場合にのみ、事後的に原画像データのマルチエリアＷＢ処理を行うことができる。

　ここでいう「オートホワイトバランスモード」は、原画像データを解析することによってホワイトバランスゲインが決定されるモードであり、ホワイトバランスゲインの決定手法は特に限定されない。

　本発明の他の態様は、原画像データと、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインと、原画像データの画素毎に定められる基準ホワイトバランスゲインの混合比率とを、記憶媒体から取得する処理データ取得部と、原画像データの画素毎に、基準ホワイトバランスゲインから混合比率に応じて適用ホワイトバランスゲインを算出するゲイン算出部と、を備える画像処理装置に関する。

　本態様によれば、原画像データに適用される適用ホワイトバランスゲインを精度良く求めることができ、原画像データに対して事後的にマルチエリアＷＢ処理を行うことができる。

　望ましくは、処理データ取得部によって取得される基準ホワイトバランスゲインは、フラッシュ光を光源種とした場合に定められるフラッシュ光用基準ホワイトバランスゲインと、環境光を光源種とした場合に定められる環境光用基準ホワイトバランスゲインとを含み、処理データ取得部によって取得される混合比率は、原画像データの画素毎に定められるフラッシュ光用基準ホワイトバランスゲインと環境光用基準ホワイトバランスゲインとの混合比率であり、ゲイン算出部は、原画像データの画素毎に、フラッシュ光用基準ホワイトバランスゲインと環境光用基準ホワイトバランスゲインとから混合比率に応じて適用ホワイトバランスゲインを算出する。

　本態様によれば、フラッシュ光及び環境光の影響を考慮したマルチエリアＷＢ処理を事後的に行うことが可能である。

　望ましくは、画像処理装置は、原画像データを取得した際のホワイトバランス設定モードの情報を取得する設定モード取得部と、原画像データのホワイトバランス処理モードの情報を取得する処理モード取得部と、を更に備え、ゲイン算出部は、ホワイトバランス設定モードの情報及びホワイトバランス処理モードの情報に基づいて、ホワイトバランス処理モードがホワイトバランス設定モードと同じであると判定される場合には、記憶媒体から取得される基準ホワイトバランスゲインに基づいて適用ホワイトバランスゲインを算出し、ホワイトバランス処理モードがホワイトバランス設定モードと異なると判定される場合には、ホワイトバランス処理モードに基づいて定められる基準ホワイトバランスゲインを取得し、基準ホワイトバランスゲインに基づいて適用ホワイトバランスゲインを算出する。

　本態様によれば、原画像データを取得した際のホワイトバランス設定モードと、原画像データのマルチエリアＷＢ処理を実行する際に意図されるホワイトバランス処理モードとが異なる場合であっても、意図されたホワイトバランス処理モードが反映されたマルチエリアＷＢ処理を実施することが可能である。

　なお「ホワイトバランス処理モード」は任意の手法で決められ、ユーザがホワイトバランス処理モードを決めてもよいし、画像処理装置において各種の条件等に基づいてホワイトバランス処理モードが決められてもよい。

　望ましくは、画像処理装置は、ユーザによって指定される光源種を受け付ける光源種指定部と、光源種指定部が受け付けたユーザによって指定される光源種に定められる基準ホワイトバランスゲインを取得する指定ゲイン取得部と、を更に備え、ゲイン算出部は、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインの少なくとも一部を、指定ゲイン取得部によって取得される基準ホワイトバランスゲインに置き換えて、混合比率に応じて適用ホワイトバランスゲインを算出する。

　本態様によれば、ユーザが指定する光源種を反映したマルチエリアＷＢ処理の実行が可能である。

　望ましくは、画像処理装置は、原画像データに適用ホワイトバランスゲインを適用してホワイトバランス調整画像データを取得するホワイトバランス処理部を更に備える。

　本態様によれば、マルチエリアＷＢ処理が施されたホワイトバランス調整画像データを取得することができる。

　望ましくは、画像処理装置は、表示制御部と、表示制御部によってコントロールされる表示部と、を更に備え、表示制御部は、ホワイトバランス調整画像データに基づく画像を表示部に表示させる。

　本態様によれば、ユーザは、ホワイトバランス調整画像データに基づく画像を、表示部を介して簡便に確認することができる。

　望ましくは、表示制御部は、ユーザによって操作される操作部に接続され、原画像データの光源の種類を示す光源表示を表示部に表示させ、原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の光源表示を表示部に表示させ、複数の光源表示が表示部に表示される場合、操作部を介したユーザの操作に応じて複数の光源表示のいずれかが指定されると、表示部に表示される画像の一部又は全部を、操作部を介して指定された光源表示に対応する光源の影響率に応じて強調表示する。

　本態様によれば、ユーザは、表示部に表示される画像の強調表示によって、所望光源の影響率の大きさを簡便に確認することができる。

　望ましくは、表示制御部は、画像の画素のうち、ユーザにより操作部を介して指定された光源表示に対応する光源の影響率が、原画像データの光源のうち他の種類の光源の影響率よりも高い画素を、表示部において強調表示する。

　本態様によれば、ユーザは、表示部に表示される画像の強調表示によって、所望光源の影響率が他の光源の影響率よりも大きい画像部分を簡便に確認することができる。

　望ましくは、表示制御部は、画像の画素のうち、ユーザにより操作部を介して指定された光源表示に対応する光源の影響率が第１の率よりも高い画素を、表示部において強調表示する。

　本態様によれば、ユーザは、表示部に表示される画像の強調表示によって、所望光源の影響率が大きい画像部分を簡便に確認することができる。

　なおここでいう「第１の率」は特に限定されず、例えば「５０％」等の所定値としてもよいが、原画像データの光源の数及び種類等に応じて適応的に定められてもよい。

　望ましくは、画像処理装置は、画像のホワイトバランスを調整するホワイトバランス調整部を更に備え、表示制御部は、ユーザによって操作される操作部に接続され、原画像データの光源の種類を示す光源表示を表示部に表示させ、原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の光源表示を表示部に表示させ、複数の光源表示が表示部に表示される場合、操作部を介したユーザの操作に応じて、複数の光源表示のいずれかが指定されると、操作部を介して指定された光源表示に対応する光源に基づくホワイトバランスの変更を受け付ける変更表示を表示部に表示させ、操作部を介したユーザの操作に応じて、画像におけるホワイトバランスの変更を、変更表示を介して受け付け、ホワイトバランス調整部は、表示制御部によってホワイトバランスの変更が受け付けられると画像のホワイトバランスを調整して変更を画像に反映し、表示制御部は、ホワイトバランス調整部によってホワイトバランスが調整された画像を、表示部に表示させる。

　本態様によれば、表示部に表示される光源表示を介してユーザにより指定された光源に関するホワイトバランスの変更調整後の画像を、ユーザは表示部を介して簡便に確認することができる。

　望ましくは、画像処理装置は、画像のホワイトバランスを調整するホワイトバランス調整部を更に備え、表示制御部は、ユーザによって操作される操作部に接続され、原画像データの光源の種類を示す光源表示を表示部に表示させ、原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の光源表示を表示部に表示させ、複数の光源表示が表示部に表示される場合、操作部を介したユーザの操作に応じて、複数の光源表示のいずれかが指定されると、操作部を介して指定された光源表示に対応する光源の画像における影響率の変更を受け付ける変更表示を表示部に表示させ、操作部を介したユーザの操作に応じて、画像における影響率の変更量を、変更表示を介して受け付け、ホワイトバランス調整部は、画像のホワイトバランスを調整して、表示制御部が変更表示を介して受け付けた影響率の変更量を画像に反映し、表示制御部は、ホワイトバランス調整部によってホワイトバランスが調整された画像を、表示部に表示させる。

　本態様によれば、ユーザにより指定された光源に関するホワイトバランスの変更調整後の画像を、ユーザは表示部を介して簡便に確認することができる。

　望ましくは、ホワイトバランス設定モードは、ホワイトバランスゲインが予め定められているプリセットホワイトバランスモード、原画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるオートホワイトバランスモード、及び原画像データとは異なる参照画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるカスタムホワイトバランスモードのうちのいずれかである。

　望ましくは、原画像データは、ＲＡＷ画像データである。

　本態様によれば、例えば原画像データ（ＲＡＷ画像データ）の現像の際に、ホワイトバランス調整画像データを得ることができる。

　望ましくは、原画像データは、無圧縮画像データである。

　望ましくは、原画像データは、可逆圧縮画像データである。

　望ましくは、原画像データは、非可逆圧縮画像データである。

　これらの原画像データからホワイトバランス調整画像データを取得することが可能である。

　本発明の他の態様は、撮像素子と、上記の画像処理装置と、を備え、原画像データは撮像素子によって取得される撮像装置に関する。

　本発明の他の態様は、原画像データの光源の数及び種類を判定し、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインを取得し、原画像データの画素毎に、光源の種類毎の影響率を取得し、影響率に基づいて基準ホワイトバランスゲインの混合比率を取得し、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けて記憶媒体に記憶する画像処理方法に関する。

　本発明の他の態様は、原画像データと、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインと、原画像データの画素毎に定められる基準ホワイトバランスゲインの混合比率とを、記憶媒体から取得し、原画像データの画素毎に、基準ホワイトバランスゲインから混合比率に応じて適用ホワイトバランスゲインを算出する画像処理方法に関する。

　本発明の他の態様は、原画像データの光源の数及び種類を判定する手順と、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインを取得する手順と、原画像データの画素毎に、光源の種類毎の影響率を取得し、影響率に基づいて基準ホワイトバランスゲインの混合比率を取得する手順と、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けて記憶媒体に記憶する手順と、をコンピュータに実行させるためのプログラムに関する。

　本発明の他の態様は、原画像データと、原画像データの光源の種類毎に定められる基準ホワイトバランスゲインと、原画像データの画素毎に定められる基準ホワイトバランスゲインの混合比率とを、記憶媒体から取得する手順と、原画像データの画素毎に、基準ホワイトバランスゲインから混合比率に応じて適用ホワイトバランスゲインを算出する手順と、をコンピュータに実行させるためのプログラムに関する。

　本発明によれば、記憶媒体に記憶される基準ホワイトバランスゲイン及び混合比率を使用することで、原画像データのマルチエリアＷＢ処理を事後的に精度良く行うことができる。また事後的にマルチエリアＷＢ処理を行う際に、基準ホワイトバランスゲイン及び混合比率を調整することができるため、自由度の高いホワイトバランスの調整を行うことが可能である。

デジタルカメラの正面斜視図である。デジタルカメラの背面斜視図である。デジタルカメラの制御処理系を示すブロック図である。第１実施形態に係る画像処理部の機能構成例を示すブロック図である。第１実施形態に係る画像処理フローを示すフローチャートである。第２実施形態に係る画像処理部の機能構成例を示すブロック図である。第２実施形態に係る画像処理フローを示すフローチャートである。第３実施形態に係る画像処理部の機能構成例を示すブロック図である。第３実施形態に係る画像処理フローを示すフローチャートである。第４実施形態に係る画像処理フローを示すフローチャートである。デジタルカメラ、コンピュータ、サーバ及びポータブル端末のネットワーク接続を示す概念図である。第５実施形態に係るデータ処理部（画像処理部）の機能構成例を示すブロック図である。第５実施形態に係る画像処理フローを示すフローチャートである。第６実施形態に係るデータ処理部（画像処理部）の機能構成例を示すブロック図である。第６実施形態に係る画像処理フローを示すフローチャートである。第７実施形態に係るデータ処理部（画像処理部）の機能構成例を示すブロック図である。第７実施形態に係る画像処理フローを示すフローチャートである。第８実施形態に係る画像処理部の機能構成例を示すブロック図である。表示部における画像表示例を示す図である。ユーザが強調表示を指定するモードにおける表示部の表示例を示す図である。ユーザが強調表示を指定した場合の表示部における画像表示例を示す図である。第９実施形態に係る画像処理部の機能構成例を示すブロック図である。第９実施形態に係る表示部における画像表示例を示す図である。スマートフォンの外観を示す図である。図２４に示すスマートフォンの構成を示すブロック図である。

　図面を参照して本発明の実施形態について説明する。以下の実施形態では、デジタルカメラ（撮像装置）に本発明を適用する例について説明する。ただし、デジタルカメラ以外の画像処理装置、撮像装置、画像処理方法及びプログラムにも本発明を適用することが可能である。

　図１は、デジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。

　デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４及びカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱自在に設けられてもよい。

　カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６及び電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮影指示を受け付ける撮影指示部であり、電源スイッチ７は、デジタルカメラ２の電源のオン及びオフの切り換え指示をユーザから受け付ける電源切換部である。

　カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮影待機状態ではライブビュー画像（スルー画）を表示して電子ビューファインダとして機能し、撮影画像やメモリ記憶画像の再生時には再生画像表示部として機能する。

　操作部９は、モード切換スイッチ、十字キー及び実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮影画像を得るための撮影モード、及び画像を再生表示する再生モード、等がある。また他の撮影モードとして、オートフォーカスを行うＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）モード及びマニュアルフォーカス操作を行うＭＦ（Ｍａｎｕａｌ　Ｆｏｃｕｓ）モードがある。一方、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、メニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。

　カメラ本体３の底部（図示省略）には、メインメモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。メインメモリ１０は、カメラ本体３に着脱自在に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。メインメモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されるものではなく、磁気媒体等の任意の記憶方式の記憶媒体をメインメモリ１０として用いることが可能である。

　図３は、デジタルカメラ２の制御処理系を示すブロック図である。

　被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。撮像素子２１は、被写体像を受光して画像データを生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）回路等によってプロセス処理が施され、その後ＡＤ変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはバッファメモリ２４に保存される。

　バッファメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等によって構成される。ＡＤ変換部２３から送られてきてバッファメモリ２４に蓄えられた画像データは、システム制御部２５により制御されるデータ処理部３１によって読み出される。データ処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ガンマ補正処理及びデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びバッファメモリ２４に保存する。

　データ処理部３１において画像処理が施されてバッファメモリ２４に保存された画像データは、表示制御部３５及び圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、バッファメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力されデータ処理部３１において画像処理を受けた画像データは、撮影確認画像として表示部８に表示（ポストビュー）される。

　一方、圧縮伸張部３２は、バッファメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、メインメモリ（記憶媒体）１０へのデータ記憶処理及びメインメモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、メインメモリ１０に記憶される。なおメインメモリ１０に画像データ等のデータ類を記憶する場合、記憶制御部３３は、後述のクロックデバイス３４から取得される日時情報に基づいて、そのデータ類に編集日時情報（更新日時情報）等の撮影情報やその他の関連情報を付加する。この撮影情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）形式を採用可能である。

　メインメモリ１０に保存されている画像データを再生する再生モードにおいて、メインメモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にバッファメモリ２４に保存される。そして撮影画像の確認表示と同様の手順で、表示制御部３５によってバッファメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。

　システム制御部２５は、上述のようにバッファメモリ２４、データ処理部３１及び記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部もコントロールする。例えば、システム制御部２５は、レンズ駆動部２７を制御してレンズ部１２の駆動をコントロールし、シャッタ駆動部２６を制御してメカニカルシャッタ２０の駆動をコントロールし、撮像素子２１を制御して画像データの出力をコントロールする。またシステム制御部２５は、フラッシュ発光部５を制御してフラッシュの発光及び非発光をコントロールし、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類及び電池残量の検出等を行う。またシステム制御部２５は、クロックデバイス３４においてカウントされる日時情報を取得して各種の処理に利用する。またシステム制御部２５は、データ処理部３１を構成する各種の処理部を制御する。

　さらにシステム制御部２５は、シャッタボタン６、電源スイッチ７及び操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理及びデバイス制御を行う。例えば、システム制御部２５は、シャッタボタン６から受信したレリーズ信号に応じてシャッタ駆動部２６を制御し、メカニカルシャッタ２０の開閉をコントロールする。またシステム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオン及びオフをコントロールする。

　システム制御部２５で行われる各種の処理及びデバイス制御に必要なプログラムやデータ類は、制御メモリ３０に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また新たなプログラムやデータ類を制御メモリ３０に保存することができる。例えば設定されたホワイトバランスモード（以下、「ＷＢモード」と称する）の種類やホワイトバランスゲイン等の条件データを、システム制御部２５は制御メモリ３０に書き込むことができる。またシステム制御部２５は、表示制御部３５を制御して、各部から取得した各種情報を表示部８に表示させることができる。なおシステム制御部２５は、ユーザがユーザインタフェース３６を介して入力する操作信号に応じて、表示部８に表示させる各種情報を変更することができる。

　次に、撮像素子２１によって取得される原画像データのホワイトバランス処理に関し、具体的な画像処理例について説明する。

　なお以下の各実施形態では、撮像素子２１から出力されプロセス処理部２２（プロセス処理）及びＡＤ変換部２３（ＡＤ変換処理）を経た「ＲＡＷ画像データ」が、バッファメモリ２４を介してデータ処理部３１に入力され原画像データとして使用される例について説明する。したがってデータ処理部３１におけるデモザイク処理は、以下の原画像データ（ＲＡＷ画像データ）に関してはスキップされる。なお原画像データは「ＲＡＷ画像データ」に限定されず、ＪＰＥＧ形式或いはＴＩＦＦ形式等の他の任意のフォーマットを有する画像データに対しても同様の画像処理を行うことができる。

　一般にデジタルカメラには、画質処理が施されたＪＰＥＧ画像等の処理画像の代わりに或いはそのような処理画像に加えて、「画質処理が施される前の画像データ」或いは「撮像系に起因する画質処理（例えばレンズシェーディング補正等）のみが施された画像データ」であるＲＡＷ画像データを記憶媒体（メインメモリ１０）に記憶できる機種がある。ＲＡＷ画像データを記憶しておくことにより、ユーザは、後日、ＲＡＷ現像ソフトなどを使ってＲＡＷ画像データの画質処理及び現像処理を行うことができ、再撮影することなく画質違いの画像を得ることができる。デジタルカメラは、ＲＡＷ画像データを記憶媒体に記憶する場合、ＲＡＷ画像データの現像に必要な情報（撮影条件及び機種情報等）も併せて記憶媒体に記憶する。「ＲＡＷ画像データ」及び「現像に必要な情報データ」の記憶方式は特に限定されないが、「ＲＡＷ画像データ」に対して現像に必要な情報データや他の情報をタグ情報（メタデータ）として付加した状態のデータを記憶媒体に保存してもよい。以下の実施形態では、ＲＡＷ画像データにタグ情報（メタデータ）を付加したデータを「ＲＡＷデータ」と呼ぶ。

　またメインメモリ１０に保存される原画像データの圧縮形式は特に限定されず、原画像データは、無圧縮画像データであってもよいし、可逆圧縮画像データであってもよいし、非可逆圧縮画像データであってもよい。なお原画像データがＲＡＷ画像データの場合には、ＷＢ処理（後述の「ホワイトバランス処理部（ＷＢ処理部）６４」参照）の前に現像処理が行われてもよいし、ＷＢ処理の後に現像処理が行われてもよい。また原画像データが圧縮画像データ（可逆圧縮画像データ又は非可逆圧縮画像データ）の場合には、ＷＢ処理（後述の「ＷＢ処理部６４」参照）の前に伸張処理が行われていることが好ましい。これらの現像処理及び伸張処理は、例えば後述の処理データ取得部６０において行われてもよい。

　＜第１実施形態＞
　本実施形態は、複数のＷＢゲイン（基準ホワイトバランスゲイン（以下、「基準ＷＢゲイン」と称する））を画素毎に異なる混合比率で混合することで、画素毎に適したＷＢゲイン（適用ホワイトバランス（以下、「適用ＷＢゲイン」と称する））を取得するマルチエリアＷＢ処理を実現するための処理構成に関する。特に本実施形態では、「画素毎に適したＷＢゲイン（適用ＷＢゲイン）」ではなく、「画素毎に適したＷＢゲイン（適用ＷＢゲイン）」を取得するために使用される「複数のＷＢゲイン（基準ＷＢゲイン）」と「画素毎の混合比率」とがメインメモリ（記憶媒体）１０に記憶される。

　図４は、第１実施形態に係る画像処理部３８の機能構成例を示すブロック図である。

　本実施形態の画像処理部３８はデータ処理部３１及び記憶制御部３３を含み、データ処理部３１は、光源種判定部４０、ゲイン取得部４２及び混合比取得部４４を有する。

　光源種判定部４０は、原画像データの光源の数及び種類を判定する。原画像データの光源の数及び種類を判定の手法は特に限定されない。例えば光源種としてフラッシュ光及び環境光が想定される場合、光源種判定部４０は、フラッシュ発光部５を制御するシステム制御部２５からフラッシュ発光の有無に関する情報を取得することで、原画像データの光源の数及び種類を判定してもよい。フラッシュ発光の有無は、ユーザインタフェース３６を介したユーザの設定によって決められたり、或いは撮影シーンの明るさを検出する測光センサ（図示省略）の検出結果に応じてシステム制御部２５により決められたりするが、いずれにしてもシステム制御部２５はフラッシュ発光の有無の情報を有する。したがって光源種として環境光及びフラッシュ光が想定される場合、光源種判定部４０は、システム制御部２５が把握しているフラッシュ発光の有無の情報を取得することで、原画像データの光源の数及び種類を判定してもよい。

　ゲイン取得部４２は、原画像データの光源の種類毎に定められる基準ＷＢゲインを取得する。例えばフラッシュ光の光源種については、フラッシュ光に関するＷＢゲインを予め定めておき制御メモリ３０等のメモリに保存可能であるため、ゲイン取得部４２はメモリから予め定められたフラッシュ光用のＷＢゲインを基準ＷＢゲインとして取得してもよい。また環境光の光源種については、ゲイン取得部４２は、例えば原画像データを解析して色分布情報や輝度分布情報を取得して、その色分布情報や輝度分布情報から環境光に適したＷＢゲインを推定し、そのＷＢゲインを基準ＷＢゲインとして取得してもよい。

　混合比取得部４４は、原画像データの画素毎に、光源の種類毎の影響率を取得し、その影響率に基づいて基準ＷＢゲインの混合比率を取得する。ここでいう「影響率」は任意の手法によって求められ、例えば原画像データを解析することで「影響率」を求めることができる。なお後述の第２実施形態では、画像データを解析して得られる「輝度値」に基づいて影響率を取得し、この影響率に基づいて基準ＷＢゲインの混合比率が取得される。

　記憶制御部３３は、基準ＷＢゲイン及び混合比率を原画像データと関連付けてメインメモリ（記憶媒体）１０に記憶する記録部として機能する。なお原画像データは、混合比取得部４４（データ処理部３１）から出力され、バッファメモリ２４及び圧縮伸張部３２（図３参照）を介して記憶制御部３３に送られて、メインメモリ１０に保存される。メインメモリ１０に保存する原画像データが、圧縮画像データ（可逆圧縮画像データ又は非可逆圧縮画像データ）の場合には圧縮伸張部３２において圧縮形式に応じた圧縮処理が行われるが、無圧縮画像データの場合には圧縮伸張部３２における圧縮処理はスキップされる。

　図５は、第１実施形態に係る画像処理フローを示すフローチャートである。以下のフローチャートの説明では、一例として、被写体にフラッシュ光及び環境光が照射された状態で取得される画像データを原画像データとするケースについて説明する。

　まず光源種判定部４０によって、原画像データの光源の数及び種類が判定され（図５のＳ１１）、本例ではフラッシュ光及び環境光が２種類の光源種として判定される。

　そしてゲイン取得部４２によって、環境光を光源種とした場合に定められる「環境光に適したＷＢゲインＷＢ１（以下、「環境光用基準ＷＢゲインＷＢ１」と称する）」と、フラッシュ光を光源種とした場合に定められる「フラッシュ光に適したＷＢゲインＷＢ２（以下、「フラッシュ光用基準ＷＢゲインＷＢ２」と称する）」とが取得される（Ｓ１２）。

　そして混合比取得部４４によって、原画像データの画素毎に、フラッシュ光及び環境光の各々の影響率が取得され、その影響率に基づいて、フラッシュ光用基準ＷＢゲインと環境光用基準ＷＢゲインとの混合比率「Ｒａｔｉｏ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」が取得される（Ｓ１３）。

　そして記憶制御部３３によって、環境光用基準ＷＢゲインＷＢ１、フラッシュ光用基準ＷＢゲインＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊが、原画像データと関連付けられてメインメモリ１０に記憶される（Ｓ１４）。

　以上説明したように本実施形態によれば、マルチエリアＷＢ処理で使用するＷＢゲインの算出の基礎となる「光源種毎の基準ＷＢゲイン」及び「混合比率」が原画像データと関連付けられて記憶される。これにより、記憶されている「光源種毎の基準ＷＢゲイン」及び「混合比率」を使って画素毎に適したＷＢゲインを簡便に取得することができるため、ユーザの要望に応じて、原画像データに対してマルチエリアＷＢ処理を事後的に実行することが可能である。例えばＲＡＷ画像データを原画像データとして「光源種毎の基準ＷＢゲイン」及び「混合比率」と共にメインメモリ１０に記憶しておくことで、ユーザはＲＡＷ画像データの現像処理を行う際に、併せてマルチエリアＷＢ処理の実行の有無を決めることができる。

　また事後的にマルチエリアＷＢ処理を行う場合、ユーザの要望に応じて、「光源種毎の基準ＷＢゲイン」及び「混合比率」の一部又は全部を変更することも可能であるため、自由度の高いホワイトバランス調整を行うことができる。したがってユーザは、例えば「フラッシュ光の影響率が高い人物像等の画像部分」と「フラッシュ光の影響率が低い背景像等の画像部分」とのホワイトバランスを事後的に別々に調整することも可能である。

　＜第２実施形態＞
　本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、第１実施形態の具体的態様に関し、フラッシュ発光シーンを撮影することで得られるフラッシュ発光画像データを原画像データとした場合について示す。

　図６は、第２実施形態に係る画像処理部３８の機能構成例を示すブロック図である。

　本実施形態のデータ処理部３１（画像処理部３８）は、光源種判定部４０、ゲイン取得部４２及び混合比取得部４４に加え、フラッシュ画像取得部４６を更に有する。フラッシュ画像取得部４６は、フラッシュを発光した撮影により得られるフラッシュ発光画像データと、フラッシュ発光画像データの被写体と同一の被写体をフラッシュ非発光で撮影することで得られるフラッシュ非発光画像データとを取得する。すなわち本実施形態では、ユーザがフラッシュ発光画像データを取得しようとシャッタボタン６（図１及び図２参照）を押すと、システム制御部２５はフラッシュ発光部５の発光をコントロールしつつ撮像素子２１等を制御して、フラッシュ非発光撮影及びフラッシュ発光撮影が自動的に連続的に行われる。フラッシュ画像取得部４６は、これらの撮影により得られるフラッシュ発光画像データ及びフラッシュ非発光画像データを取得する。

　なおメインメモリ１０に記憶される処理対象の原画像データはフラッシュ発光画像データであるが、フラッシュ非発光画像データもフラッシュ発光画像データと共にメインメモリ１０に記憶されてもよい。

　フラッシュ発光画像データ及びフラッシュ非発光画像データはフラッシュ画像取得部４６から混合比取得部４４に送られ、またフラッシュ非発光画像データはゲイン取得部４２にも送られる。

　フラッシュ非発光画像データはフラッシュ光の影響を受けずに環境光を主要光源として撮影された画像データであるため、ゲイン取得部４２は、フラッシュ非発光画像データを解析することで、環境光用基準ＷＢゲインを取得する。具体的には、ゲイン取得部４２は、オートホワイトバランスモード用のＷＢゲイン（以下、「ＡＷＢゲイン」と称する）を算出し、このＡＷＢゲインを環境光用基準ＷＢゲインとして設定してもよい。なおＡＷＢゲインは任意の手法に基づいて算出可能である。ゲイン取得部４２は、例えばフラッシュ非発光画像データを解析してＲＧＢの画素値から色分布情報を求めて、平均値を無彩色にするゲインをＡＷＢゲイン（環境光用基準ＷＢゲイン）として設定してもよい。またゲイン取得部４２は、フラッシュ非発光画像データの輝度値から輝度分布情報を求めて、この輝度分布情報に基づいてＡＷＢゲイン（環境光用基準ＷＢゲイン）を決めてもよい。また複数の環境光の種別毎に定められるＷＢゲインを予め制御メモリ３０等のメモリに記憶しておき、ゲイン取得部４２は、フラッシュ非発光画像データを解析することで環境光の種別を判定し、判定された環境光の種別に関するＷＢゲインをメモリから取得して環境光用基準ＷＢゲインとして設定してもよい。

　一方、フラッシュ光用基準ＷＢゲインは、フラッシュ光の特性に基づいて予め求められて制御メモリ３０等のメモリに記憶されており、ゲイン取得部４２によってメモリから読み出されて取得される。

　混合比取得部４４は、フラッシュ画像取得部４６が取得したフラッシュ発光画像データ及びフラッシュ非発光画像データから、フラッシュ光及び環境光の各々の影響率を取得し、この影響率に基づいて、フラッシュ光用基準ホワイトバランスゲインと環境光用基準ホワイトバランスゲインとの混合比率を取得する。

　具体的には、本例の混合比取得部４４は、フラッシュ非発光画像データの画素毎の輝度値（以下、「第１の輝度値」と称する）を取得し、フラッシュ発光画像データの画素毎の輝度値（以下、「第２の輝度値」と称する）を取得し、第１の輝度値及び第２の輝度値に基づいてフラッシュ光及び環境光の各々の影響率を取得する。

　第１の輝度値及び第２の輝度値の取得手法は特に限定されない。例えばフラッシュ発光画像データ及びフラッシュ非発光画像データの各々におけるＲ画素値を「Ｒ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」によって表し、Ｇ画素値を「Ｇ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」、Ｂ画素値を「Ｂ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」で表した場合、フラッシュ非発光画像データの各画素の輝度値（第１の輝度値）「Ｙ１＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」及びフラッシュ発光画像データの各画素の輝度値（第２の輝度値）「Ｙ２＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」は、下記の式１及び式２によって表すことができる。なお、以下の式１及び式２では係数として「０．２９９」、「０．５８７」及び「０．１１４」が使用されているが、他の係数が使用されてもよい。

　式１　　　Ｙ１＿ｉｊ
　　　　　＝Ｒ＿ｉｊ×０．２９９＋Ｇ＿ｉｊ×０．５８７＋Ｂ＿ｉｊ×０．１１４
　式２　　　Ｙ２＿ｉｊ
　　　　　＝Ｒ＿ｉｊ×０．２９９＋Ｇ＿ｉｊ×０．５８７＋Ｂ＿ｉｊ×０．１１４
　混合比取得部４４は、第１の輝度値Ｙ１＿ｉｊ及び第２の輝度値Ｙ２＿ｉｊを使って下記の式３により、フラッシュ影響率「Ｆｌａｓｈ＿ｉｊ」及び混合比率「Ｒａｔｉｏ＿ｉｊ」を取得することができる。

　式３　　　Ｒａｔｉｏ＿ｉｊ
　　　　　＝Ｆｌａｓｈ＿ｉｊ
　　　　　＝１－（Ｙ１＿ｉｊ／Ｙ２＿ｉｊ）
　このようにして取得された環境光用基準ＷＢゲイン、フラッシュ光用基準ＷＢゲイン及び混合比率は、第１実施形態と同様に記憶制御部３３によって、原画像データ（フラッシュ発光画像データ）と関連付けられてメインメモリ１０に記憶される。なお混合比率Ｒａｔｉｏ＿ｉｊは、本例のようにフラッシュ影響率Ｆｌａｓｈ＿ｉｊと等価であってもよい（上記の式３参照）が、フラッシュ影響率Ｆｌａｓｈ＿ｉｊと異なる比率であってもよく、フラッシュ影響率Ｆｌａｓｈ＿ｉｊが反映された値であればよい。

　図７は、第２実施形態に係る画像処理フローを示すフローチャートである。

　まず光源種判定部４０によって、原画像データの光源が２種類（フラッシュ光及び環境光）の光源種として判定され（図７のＳ２１）、フラッシュ画像取得部４６によって、フラッシュ発光画像データ及びフラッシュ非発光画像データが取得される（Ｓ２２）。

　そしてゲイン取得部４２によって、フラッシュ非発光画像データから環境光用基準ＷＢゲインＷＢ１が取得され（Ｓ２３）、またメモリからフラッシュ光用基準ＷＢゲインＷＢ２が取得される（Ｓ２４）。

　そして混合比取得部４４によって、フラッシュ非発光画像データの画素毎の輝度値（第１の輝度値）Ｙ１＿ｉｊが取得され（Ｓ２５）、またフラッシュ発光画像データの画素毎の輝度値（第２の輝度値）Ｙ２＿ｉｊが取得される（Ｓ２６）。そして混合比取得部４４によって、第１の輝度値Ｙ１＿ｉｊ及び第２の輝度値Ｙ２＿ｉｊから、フラッシュの影響率Ｆｌａｓｈ＿ｉｊが原画像データ（フラッシュ発光画像データ）の画素毎に取得され、このフラッシュの影響率に基づいて混合比率Ｒａｔｉｏ＿ｉｊが設定される（Ｓ２７）。

　そして記憶制御部３３によって、環境光用基準ＷＢゲインＷＢ１、フラッシュ光用基準ＷＢゲインＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊが、原画像データ（フラッシュ発光画像データ）と関連付けられてメインメモリ１０に記憶される（Ｓ２８）。

　以上説明したように本実施形態によれば、フラッシュ撮影によって取得される原画像データ（フラッシュ発光画像データ）の画素毎に定められるＷＢゲインの算出の基礎となる「環境光用基準ＷＢゲイン」、「フラッシュ光用基準ＷＢゲイン」及び「混合比率」が原画像データと関連付けられて記憶される。したがって画像のホワイトバランスの調整を事後的に行う場合、記憶されているこれらの「環境光用基準ＷＢゲイン」、「フラッシュ光用基準ＷＢゲイン」及び「混合比率」を使うことで、「フラッシュ光の影響が支配的な画像部分」と「環境光の影響が支配的な画像部分」とを別個にホワイトバランスの調整を行うことが可能である。

　例えばユーザが「フラッシュ光の影響率が大きい人物の画像部分だけ少し赤い方向に修正したい」と望む場合、フラッシュ光に適したフラッシュ光用基準ＷＢゲインＷＢ２を少し赤い方向にずらせばよい。この場合、フラッシュ光用基準ＷＢゲインＷＢ２の比率が高い画素だけ色相（カラーバランス）が赤い方向にシフトし、フラッシュ光用基準ＷＢゲインＷＢ２の比率が低く環境光用基準ＷＢゲインＷＢ１の比率が高い画素の色相（カラーバランス）は影響を受け難い。結果として、フラッシュ光用基準ＷＢゲインＷＢ２の比率が高い人物の画像部分の色相が赤い方向に修正される一方で、環境光用基準ＷＢゲインＷＢ１の比率が高い背景の画像部分の色相はほぼ維持され、ユーザの要望を満たしたホワイトバランス調整を行うことができる。

　なお上述の図６及び図７に示す第２実施形態では、フラッシュ光及び環境光のそれぞれを、原画像データにおける第１の光源種及び第２の光源種として扱う例について説明したが、第１の光源種及び第２の光源種は特に限定されない。フラッシュ発光画像データ及びフラッシュ非発光画像データの代わりに、光源種データ取得部（図６参照）によって第１の光源種の影響を示す第１の画像データを取得し、第２の光源種の影響を示す第２の画像データを取得してもよい。すなわち、光源種判定部によって判定される原画像データの光源の種類が第１の光源種及び第２の光源種を含む場合、ゲイン取得部４２は、第１の光源種に関して定められる第１の光源種に適した基準ホワイトバランスゲインと、第２の光源種に関して定められる第２の光源種に適した基準ホワイトバランスゲインとを取得してもよい。この場合、混合比取得部４４は、第１の画像データ及び第２の画像データから原画像データにおける第１の光源種及び第２の光源種の影響率を取得し、この影響率に基づいて、第１の光源種に関して定められる基準ホワイトバランスゲインと第２の光源種に関して定められる基準ホワイトバランスゲインとの混合比率を取得する。そして記憶制御部３３は、第１の光源種に関して定められる基準ホワイトバランスゲイン、第２の光源種に関して定められる基準ホワイトバランスゲイン及び混合比率を、原画像データと関連付けて記憶媒体に記憶することができる。

　＜第３実施形態＞
　本実施形態において、上述の第１実施形態及び第２実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、原画像データを取得した際のホワイトバランス設定モード（以下、「ＷＢ設定モード」と称する）がＡＷＢモードである場合のみ、上述の第１実施形態における基準ＷＢゲイン及び混合比率の取得処理及び記憶処理を行う。ＷＢ設定モードがプリセットホワイトバランスモード（以下、「プリセットＷＢモード」と称する）、カスタムホワイトバランスモード（以下、「カスタムＷＢモード」と称する）及びマニュアルホワイトバランスモード（以下、「マニュアルＷＢモード」と称する）等のＡＷＢモード以外の場合には、上述の第１実施形態における基準ＷＢゲイン及び混合比率の取得処理及び記憶処理は実施されない。

　原画像データを取得する際に選択可能なＷＢ設定モードは特に限定されず、予め定められた１種類のＷＢモードのみがＷＢ設定モードとして選択可能であってもよいし、多種類のＷＢモードの中からユーザの指定に応じたモードや撮影条件に応じたモードがＷＢ設定モードとして選択可能であってもよい。

　したがって例えば、予め想定される光源種（晴れ（太陽光）、蛍光灯及び電球等）に応じてホワイトバランスゲインが予め定められているプリセットＷＢモード、原画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるＡＷＢモード、及び原画像データとは異なる参照画像データの色分布情報に基づいて原画像データに適用されるホワイトバランスゲインが決定されるカスタムＷＢモードのうちのいずれか一つがＷＢ設定モードとして選択可能であってもよい。またユーザがマニュアルで個別的にＷＢゲインを決定するマニュアルＷＢモードを、ＷＢ設定モードとして選択可能であってもよい。

　以下では、ＷＢ設定モードがＡＷＢモードの場合には第１実施形態と同様の処理が行われる例について説明するが、これに限定されず、例えば第１実施形態と同様の処理の代わりに第２実施形態と同様の処理が行われてもよい。

　図８は、第３実施形態に係る画像処理部３８の機能構成例を示すブロック図である。

　本実施形態のデータ処理部３１（画像処理部３８）は、光源種判定部４０、ゲイン取得部４２及び混合比取得部４４に加え、設定モード判定部４８を更に有する。設定モード判定部４８は、原画像データを取得した際のＷＢ設定モードを判定する。このＷＢ設定モードの判定手法は特に限定されない。システム制御部２５がＷＢ設定モードの情報を有する場合、設定モード判定部４８はシステム制御部２５からＷＢ設定モードの情報を取得してもよい。

　なお図８に示す例では、設定モード判定部４８とシステム制御部２５とが別体として示されているが、システム制御部２５が設定モード判定部４８の役割を果たしてもよく、システム制御部２５も画像処理部３８に含まれうる。

　データ処理部３１に含まれる設定モード判定部４８、光源種判定部４０、ゲイン取得部４２及び混合比取得部４４はシステム制御部２５によってコントロールされ、各部における処理の実行及び非実行はシステム制御部２５によって決定可能である。特に本実施形態では、設定モード判定部４８によって判定されたＷＢ設定モードがＡＷＢモードの場合にのみ、第１実施形態と同様の処理が画像処理部３８において行われる。

　すなわちＷＢ設定モードがＡＷＢモードの場合にのみ、光源種判定部４０は原画像データの光源の数及び種類を判定し、ゲイン取得部４２は光源の種類毎に定められる基準ホワイトバランスゲインを取得する。また混合比取得部４４は原画像データの画素毎に、光源の種類毎の影響率を取得し、この影響率に基づいて基準ホワイトバランスゲインの混合比率を取得する。そして記憶制御部３３は、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けてメインメモリ１０に記憶する。

　図９は、第３実施形態に係る画像処理フローを示すフローチャートである。なお以下の説明では、フラッシュ光及び環境光を光源種とするフラッシュ発光画像データを原画像データとする例について併せて示す。

　まず設定モード判定部４８によって、原画像データを取得した際のＷＢ設定モードが判定され（図９のＳ３１）、システム制御部２５によってＷＢ設定モードがＡＷＢモードか否かが判定される（Ｓ３２）。

　ＷＢ設定モードがＡＷＢモードであると判定される場合（Ｓ３２のＹ）、光源種判定部４０によって、原画像データの光源の数及び種類（例えばフラッシュ光及び環境光）が判定される（Ｓ３３）。そしてゲイン取得部４２によって、光源の種類毎に定められる基準ホワイトバランスゲイン（環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）が取得される（Ｓ３４）。

　そして混合比取得部４４によって、原画像データの画素毎に、光源の種類毎の影響率が取得され、この影響率に基づいて基準ホワイトバランスゲイン（環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）の混合比率が取得される（Ｓ３５）。そして記憶制御部３３によって、基準ホワイトバランスゲイン（環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）及び混合比率が原画像データと関連付けられてメインメモリ１０に記憶される（Ｓ３６）。

　一方、ＷＢ設定モードがＡＷＢモードではないと判定される場合（Ｓ３２のＮ）、上述の処理ステップＳ３３～Ｓ３６はスキップされる。

　以上説明したように本実施形態によれば、ＡＷＢモードで取得される原画像データに対しては基準ホワイトバランスゲイン及び混合比率がメインメモリ１０に記憶されるため、第１実施形態と同様に、ユーザは高い自由度で事後的に画像のホワイトバランスの調整を行うことができる。一方、ＡＷＢモード以外で撮影して取得される原画像データに対しては上述の一連の処理ステップＳ３３～Ｓ３６がスキップされるため、原画像データの撮影からメインメモリ１０への記憶までの処理が高速化される。

　＜第４実施形態＞
　本実施形態において、上述の第１実施形態～第３実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　上述の第３実施形態ではＷＢ設定モードがＡＷＢモードの場合にのみ第１実施形態又は第２実施形態と同様の処理が行われるが、本実施形態では原画像データを取得する際のＷＢ設定モードにかかわらず第１実施形態又は第２実施形態と同様の処理が行われる。

　マルチエリアＷＢ処理を実行するには、上述のように特殊な処理や情報が必要である。ユーザが原画像データの撮影取得の際にマルチエリアＷＢ処理を実施したい場合には、原画像データを取得した際に、そのようなマルチエリアＷＢ処理のための特殊な処理を行ったり情報を取得することができる。しかしながら、撮影後に例えばＲＡＷ画像データを現像する段階になってからユーザがマルチエリアＷＢ処理を実施したくなった場合には、撮影の際に行う必要があるマルチエリアＷＢ処理のための特殊な処理が行われておらず、また撮影の際に取得することが必要な情報が取得されていないため、マルチエリアＷＢ処理の実現が困難である。

　例えば人物夜景シーンでフラッシュを発光させて撮影して取得した画像データを原画像データとしてマルチエリアＷＢ処理を行う場合、フラッシュ非発光画像データを併せて取得し、フラッシュ発光画像データとフラッシュ非発光画像データとの画素値の差分から画素毎にフラッシュ影響率を取得し、フラッシュ影響率に応じて環境光用基準ＷＢゲインとフラッシュ光用基準ＷＢゲインとの混合比率を画素毎に取得することが必要とされる。しかしながら、ＲＡＷ画像データ（原画像データ）の現像段階でこれらの処理を実行しようとしても、ＲＡＷ画像データとして記憶されているのはフラッシュ発光画像データのみであり、マルチエリアＷＢ処理に必要なフラッシュ非発光画像データが無いため、マルチエリアＷＢ処理を実施するための「画素毎に適したＷＢゲイン」を取得することができない。

　したがって本実施形態のように原画像データを取得する際のＷＢ設定モードにかかわらず、上述の第１実施形態又は第２実施形態のように基準ホワイトバランスゲイン及び混合比率をメインメモリ１０に記憶しておくことで、マルチエリアＷＢ処理を行うことをユーザが事後的に望んだ場合であっても、適切なマルチエリアＷＢ処理が施されたホワイトバランス調整画像データ（以下、「ＷＢ調整画像データ」と称する）を取得することが可能である。

　本実施形態における画像処理部３８は、上述の第１実施形態（図４参照）や第２実施形態（図６参照）と基本的には同じである。すなわち原画像データを取得した際のＷＢ設定モードにかかわらず、光源種判定部４０は、原画像データの光源の数及び種類を判定し、ゲイン取得部４２は、光源の種類毎に定められる基準ホワイトバランスゲインを取得し、混合比取得部４４は、原画像データの画素毎に、光源の種類毎の影響率を取得し、影響率に基づいて基準ホワイトバランスゲインの混合比率を取得し、記憶制御部３３は、基準ホワイトバランスゲイン及び混合比率を原画像データと関連付けてメインメモリ１０に記憶する。

　図１０は、第４実施形態に係る画像処理フローを示すフローチャートである。本実施形態では、第３実施形態の処理フローのうち、ＷＢ設定モードの判定に関する上述の処理ステップＳ３１～Ｓ３２（図９参照）は省略され、上述の処理ステップＳ３３～Ｓ３６が行われる。

　すなわち原画像データを取得した際のＷＢ設定モードにかかわらず、光源種判定部４０によって、原画像データの光源の数及び種類（例えばフラッシュ光及び環境光）が判定される（Ｓ３３）。そしてゲイン取得部４２によって、光源の種類毎に定められる基準ホワイトバランスゲイン（例えば環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）が取得される（Ｓ３４）。

　そして混合比取得部４４によって、原画像データの画素毎に、光源の種類毎の影響率が取得され、この影響率に基づいて基準ホワイトバランスゲイン（例えば環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）の混合比率が取得される（Ｓ３５）。そして記憶制御部３３によって、基準ホワイトバランスゲイン（例えば環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）及び混合比率が原画像データと関連付けられてメインメモリ１０に記憶される（Ｓ３６）。

　以上説明したように本実施形態によれば、原画像データを取得した際のＷＢ設定モードにかかわらず、常にマルチエリアＷＢ処理のための演算が実施されて基準ホワイトバランスゲイン及び混合比率が原画像データと関連付けられてメインメモリ１０に記憶される。したがってユーザは、原画像データを取得した際のＷＢ設定モードにかかわらず、原画像データに対するマルチエリアＷＢ処理のオン及びオフを事後的に決定することができる。

　＜第５実施形態＞
　本実施形態において、上述の第１実施形態～第４実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、上述の原画像データに加えて基準ＷＢゲイン及び混合比率がメインメモリ１０から読み出されて、その原画像データに対してマルチエリアＷＢ処理を施してＷＢ調整画像データを得る処理に関する。

　すなわち本実施形態のデータ処理部３１は、原画像データに関連付けられて記憶されている基準ＷＢゲイン及び混合比率をメインメモリ１０から取得して、原画像データのＷＢ処理を行う。したがって本実施形態で使用されるメインメモリ１０には、例えば上述の第１実施形態～第４実施形態の原画像データのように、基準ＷＢゲイン及び混合比率が原画像データと関連付けられて記憶されている。

　なお本実施形態に係る下述のデータ処理部３１（図１２参照）は、上述の第１実施形態～第３実施形態で説明した「光源種判定部４０、ゲイン取得部４２及び混合比取得部４４」を含むデータ処理部３１（図４、図６及び図８参照）と一体的に設けられてもよいし、別体として設けられてもよい。したがって、例えば図４、図６及び図８に示すデータ処理部３１をデジタルカメラ２に設ける場合に、図１２に示す本実施形態に係るデータ処理部３１は、同様にデジタルカメラ２に設けられてもよいし、図１１に示すようにデジタルカメラ２に有線又は無線のネットワーク９４を介して接続されるコンピュータ９１やサーバ９２に設けられてよい。また下述の図１２に示すデータ処理部３１は、デジタルカメラ２から取り外されたメインメモリ１０に接続可能なコンピュータ９１等に設けられてもよい。またデジタルカメラ２、コンピュータ９１又はサーバ９２に接続されるポータブル端末９６であって、原画像データを受信可能なスマートフォン或いはタブレット端末等のポータブル端末９６に、下述の図１２に示すデータ処理部３１が設けられてもよい。

　図１２は、第５実施形態に係るデータ処理部３１（画像処理部３８）の機能構成例を示すブロック図である。

　本実施形態のデータ処理部３１は、処理データ取得部６０、ゲイン算出部６２及びＷＢ処理部６４を有する。

　処理データ取得部６０は、原画像データと、原画像データの光源の種類毎に定められる基準ＷＢゲインと、原画像データの画素毎に定められる基準ＷＢゲインの混合比率とを、メインメモリ１０から取得する。基準ＷＢゲイン及び混合比率が原画像データのタグ情報に含まれる場合には、処理データ取得部６０は取得した原画像データのタグ情報から基準ＷＢゲイン及び混合比率を取得することができる。

　ゲイン算出部６２は、原画像データの画素毎に、基準ＷＢゲインから混合比率に応じて適用ＷＢゲインを算出する。

　ＷＢ処理部６４は、原画像データに適用ＷＢゲインを適用してＷＢ調整画像データを取得する。例えば原画像データの画素値を「Ｖ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」で表し、適用ＷＢゲインを「ＷＢ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」で表す場合、ＷＢ調整画像データの各画素値「Ｑ＿ｉｊ（但し「ｉ」は画素位置をＸ軸値及びＹ軸値で表した場合のＸ軸値を表し、「ｊ」はＹ軸値を表す）」は、下記の式４によって表される。

　式４　　　Ｑ＿ｉｊ＝Ｖ＿ｉｊ×ＷＢ＿ｉｊ
　以下では、処理データ取得部６０によって取得される基準ＷＢゲインが、フラッシュ光を光源種とした場合に定められるフラッシュ光用基準ＷＢゲインと、環境光を光源種とした場合に定められる環境光用基準ＷＢゲインとを含む場合について説明する。処理データ取得部６０によって取得される混合比率は、原画像データの画素毎に定められるフラッシュ光用基準ＷＢゲインと環境光用基準ＷＢゲインとの混合比率である。またゲイン算出部６２は、原画像データの画素毎に、フラッシュ光用基準ＷＢゲインと環境光用基準ＷＢゲインとから混合比率に応じて適用ホワイトバランスゲインを算出する。

　このデータ処理部３１によれば、原画像データがＲＡＷ画像データである場合、ユーザは、ＲＡＷ画像データの現像処理を行う際に、メインメモリ１０に記憶されている「基準ＷＢゲイン（環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）」と「混合比率」とを使ってマルチエリアＷＢ処理を併せて行うことができる。

　図１３は、第５実施形態に係る画像処理フローを示すフローチャートである。

　まず処理データ取得部６０によって、原画像データ、環境光用基準ＷＢゲインＷＢ１、フラッシュ光用基準ＷＢゲインＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊがメインメモリ１０から取得される（図１３のＳ４１）。

　そしてゲイン算出部６２によって、原画像データの画素毎に、環境光用基準ＷＢゲインＷＢ１、フラッシュ光用基準ＷＢゲインＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊから適用ＷＢゲインＷＢ＿ｉｊが取得される（Ｓ４２）。

　そしてＷＢ処理部６４によって、原画像データに適用ＷＢゲインＷＢ＿ｉｊが適用されてＷＢ調整画像データが取得される（Ｓ４３）。

　以上説明したように本実施形態によれば、原画像データのマルチエリアＷＢ処理を適切に行うことができる。

　またマルチエリアＷＢ処理に使用する基準ＷＢゲイン（環境光用基準ＷＢゲイン及びフラッシュ光用基準ＷＢゲイン）が光源種毎に用意されているため、ユーザは光源種の一部の影響を個別的に変更したＷＢ処理を行うことも可能である。例えばユーザが「フラッシュが当たっている画像部分（人物像等）だけを少し赤い方向に修正したい」と望む場合、ＷＢ処理部６４は、ＷＢ処理で使用するフラッシュ光用基準ＷＢゲインを少し赤い方向にずらせばよい。この場合、ＷＢ調整画像データのうちフラッシュ光用基準ＷＢゲインの比率が高い人物像等の画像部分のみ色相（カラーバランス）を赤い方向にシフトさせることができ、フラッシュ光用基準ＷＢゲインの比率が低く環境光用基準ＷＢゲインの比率が高い背景画像部分に対する影響は小さい。このように本実施形態の画像処理部３８によれば、ホワイトバランスの調整に関する自由度が高く、ユーザの要望を満たしたＷＢ調整画像データを簡便に得ることが可能である。

　＜第６実施形態＞
　本実施形態において、上述の第１実施形態～第５実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　図１４は、第６実施形態に係るデータ処理部３１（画像処理部３８）の機能構成例を示すブロック図である。

　本実施形態のデータ処理部３１は、処理データ取得部６０、ゲイン算出部６２及びＷＢ処理部６４に加え、設定モード取得部６６及び処理モード取得部６８を更に有する。

　設定モード取得部６６は、原画像データを取得した際のＷＢ設定モードの情報を取得する。ＷＢ設定モードの情報の取得手法は特に限定されず、原画像データのタグ情報にＷＢ設定モードの情報が含まれている場合、設定モード取得部６６は、処理データ取得部６０によって取得された原画像データのタグ情報から、ＷＢ設定モードの情報を読み出して取得してもよい。

　処理モード取得部６８は、原画像データのホワイトバランス処理モード（以下、「ＷＢ処理モード」と称する）の情報を取得する。本例の「ＷＢ処理モード」はユーザが希望するＷＢモードであり、ユーザは原画像データの実際のＷＢ処理として希望するＷＢモードを「ＷＢ処理モード」として処理モード入力部７０に入力する。

　処理モード入力部７０の具体的な形態は特に限定されず、処理モード入力部７０がデジタルカメラ２に搭載される場合には、例えば「操作部９（図２参照）」によって処理モード入力部７０を構成することができる。また処理モード入力部７０がコンピュータ９１、サーバ９２又はポータブル端末９６に搭載される場合には、それらの機器類に搭載又は接続されるキーボード、マウス或いはタッチパネル等の任意の操作部によって処理モード入力部７０を構成することができる。

　処理モード取得部６８によって取得された「原画像データのＷＢ処理モードの情報」はゲイン算出部６２に送られる。またゲイン算出部６２には、設定モード取得部６６が取得した「原画像データのＷＢ設定モードの情報」が送られる。

　ゲイン算出部６２は、ＷＢ設定モードの情報及びＷＢ処理モードの情報に基づいて、ＷＢ処理モードがＷＢ設定モードと同じであると判定される場合には、メインメモリ１０から処理データ取得部６０を介して取得される基準ＷＢゲインに基づいて適用ＷＢゲインを算出する。一方、ＷＢ処理モードがＷＢ設定モードと異なると判定される場合には、ゲイン算出部６２は、ＷＢ処理モードに基づいて定められる基準ＷＢゲインを取得し、この基準ＷＢゲインに基づいて適用ＷＢゲインを算出する。

　例えば、ＷＢ設定モードがＡＷＢモードであるのに対してＷＢ処理モードがプリセットＷＢモードである場合、ゲイン算出部６２は、プリセットＷＢモード用に定められたＷＢゲインを取得し、このプリセットＷＢモード用基準ＷＢゲインに基づいて新たな基準ＷＢゲイン（例えば環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２）を設定する。ＷＢ処理モードに基づいて定められる基準ＷＢゲインの取得手法は限定されず、メインメモリ１０に原画像データのタグ情報として「ＷＢ処理モードに基づいて定められる基準ＷＢゲイン」が保存されている場合には、ゲイン算出部６２は、保存された情報を読み出して「ＷＢ処理モードに基づいて定められる基準ＷＢゲイン」を取得してもよい。

　なおＷＢ処理モードがＷＢ設定モードと異なると判定される場合、ゲイン算出部６２における適用ＷＢゲインの算出に使用する複数の基準ＷＢゲインの全部が変えられてもよいし、複数の基準ＷＢゲインの一部のみが変えられてもよい。例えば処理モード入力部７０は、基準ＷＢゲイン（例えば環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２）のうちＷＢ設定モードからＷＢゲインを変えたい対象及び具体的な変更後のＷＢゲインを示す情報がユーザによって入力されてもよい。この場合、処理モード取得部６８は、ユーザにより処理モード入力部７０に入力された「ＷＢ設定モードからＷＢゲインを変えたい基準ＷＢゲイン」及び「具体的な変更後のＷＢゲイン」の情報を取得してゲイン算出部６２に送信してもよい。ゲイン算出部６２は、ユーザによって入力された「ＷＢ設定モードからＷＢゲインを変えたい基準ＷＢゲイン」を「具体的な変更後のＷＢゲイン」に変更し、変更後の基準ＷＢゲインと混合比率とに基づいて適用ＷＢゲインを取得する。

　図１５は、第６実施形態に係る画像処理フローを示すフローチャートである。なお以下の例では、基準ＷＢゲインとして環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２がメインメモリ１０に記憶されている場合について説明する。

　まず処理データ取得部６０によって、原画像データ、環境光用基準ＷＢゲインＷＢ１、フラッシュ光用基準ＷＢゲインＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊがメインメモリ１０から取得される（図１５のＳ５１）。

　そして設定モード取得部６６によって、原画像データが取得された際のＷＢ設定モードの情報が取得され、また処理モード取得部６８によってユーザによって処理モード入力部７０に入力されるＷＢ処理モードの情報が取得される。そしてゲイン算出部６２によって、ＷＢ設定モードとＷＢ処理モードとが同じか否かが判定される（Ｓ５２）。

　ＷＢ設定モードとＷＢ処理モードとが同じ場合（Ｓ５２のＹ）、メインメモリ１０から処理データ取得部６０を介して取得された基準ＷＢゲイン（環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２）及び混合比率Ｒａｔｉｏ＿ｉｊから、原画像データの画素毎の適用ＷＢゲインＷＢ＿ｉｊがゲイン算出部６２によって取得される（Ｓ５３）。

　一方、ＷＢ設定モードとＷＢ処理モードとが同じではない場合（Ｓ５２のＮ）、ゲイン算出部６２によって、ＷＢ処理モードに応じた基準ＷＢゲインが取得され、取得された基準ＷＢゲインがＷＢ処理に使用される新たな基準ＷＢゲイン（環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２）に設定される（Ｓ５５）。そしてゲイン算出部６２では、新たに設定された基準ＷＢゲイン及び混合比率Ｒａｔｉｏ＿ｉｊから、原画像データの画素毎に定められる適用ＷＢゲインＷＢ＿ｉｊが取得される（Ｓ５３）。

　そしてＷＢ処理部６４によって、原画像データに適用ＷＢゲインＷＢ＿ｉｊが適用されてＷＢ調整画像データが取得される（Ｓ５４）。

　以上説明したように本実施形態によれば、ホワイトバランスを調整する際のユーザの嗜好を反映したマルチエリアＷＢ処理を行うことができる。

　＜第７実施形態＞
　本実施形態において、上述の第１実施形態～第６実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、基準ＷＢゲインの一部又は全部を、ユーザが指定した光源種に対応するＷＢゲインに置き換えて原画像データのＷＢ処理を行うことが可能な例に関する。

　図１６は、第７実施形態に係るデータ処理部３１（画像処理部３８）の機能構成例を示すブロック図である。

　本実施形態のデータ処理部３１は、処理データ取得部６０、ゲイン算出部６２、ＷＢ処理部６４、設定モード取得部６６及び処理モード取得部６８に加え、光源種指定部７２及び指定ゲイン取得部７４を更に有する。

　光源種指定部７２は、光源種入力部７６を介してユーザにより指定される光源種の情報を受け付ける。光源種入力部７６の具体的な形態は特に限定されず、処理モード入力部７０と同様に、光源種入力部７６がデジタルカメラ２に搭載される場合には、例えば「操作部９（図２参照）」によって光源種入力部７６を構成することができる。また光源種入力部７６がコンピュータ９１、サーバ９２又はポータブル端末９６に搭載される場合には、それらの機器類に搭載又は接続されるキーボード、マウス或いはタッチパネル等の任意の操作部によって光源種入力部７６を構成することができる。

　指定ゲイン取得部７４は、光源種入力部７６に入力され光源種指定部７２が受け付けた「ユーザによって指定される光源種」に関して定められる基準ＷＢゲインを取得する。

　ゲイン算出部６２は、原画像データの光源の種類毎に定められる基準ＷＢゲインの少なくとも一部を、指定ゲイン取得部７４によって取得される基準ＷＢゲインに置き換えて、混合比率に応じて適用ＷＢゲインを算出する。

　したがってユーザは、基準ＷＢゲイン（例えば環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２）のうちの一部又は全部を他の光源に関して定められる基準ＷＢゲインに置き換えて、原画像データのＷＢ処理を行うことができる。

　なお処理モード入力部７０及び光源種入力部７６が一体的に設けられ、また処理モード取得部６８及び光源種指定部７２が一体的に設けられてもよい。この場合、例えばユーザが光源種入力部７６に基準ＷＢゲインの置換を意図して新たな基準ＷＢゲインを定めるための光源種を入力した場合には、ゲイン算出部６２は、ＷＢ設定モードとＷＢ処理モードとが異なると判定してもよい。

　図１７は、第７実施形態に係る画像処理フローを示すフローチャートである。以下のフローチャートの説明では、一例として、原画像データの基準ＷＢゲインが環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２であるケースについて説明する。

　まず処理データ取得部６０によって、原画像データ、環境光用基準ＷＢゲインＷＢ１、フラッシュ光用基準ＷＢゲインＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊがメインメモリ１０から取得される（図１７のＳ６１）。

　そして設定モード取得部６６によって、原画像データが取得された際のＷＢ設定モードの情報が取得され、また処理モード取得部６８によってユーザによって入力されるＷＢ処理モードの情報が取得され、ゲイン算出部６２によってＷＢ設定モードとＷＢ処理モードとが同じか否かが判定される（Ｓ６２）。

　ＷＢ設定モードとＷＢ処理モードとが同じ場合（Ｓ６２のＹ）、メインメモリ１０から処理データ取得部６０を介して取得された基準ＷＢゲイン（環境光用基準ＷＢゲインＷＢ１及びフラッシュ光用基準ＷＢゲインＷＢ２）及び混合比率Ｒａｔｉｏ＿ｉｊから、原画像データの画素毎に定められる適用ＷＢゲインＷＢ＿ｉｊがゲイン算出部６２によって取得される（Ｓ６３）。

　一方、ＷＢ設定モードとＷＢ処理モードとが同じではない場合（Ｓ６２のＮ）、ユーザは、新たに設定する基準ＷＢゲインＷＢ１、ＷＢ２を定めるための光源種に関する情報を光源種入力部７６に入力する。光源種入力部７６に入力された光源種のデータは光源種指定部７２によって取得され、指定ゲイン取得部７４によって、入力された光源種に応じて定められる新たな基準ＷＢゲインＷＢ１、ＷＢ２が取得される（Ｓ６５）。そして、新たな基準ＷＢゲインＷＢ１、ＷＢ２及び混合比率Ｒａｔｉｏ＿ｉｊから、原画像データの画素毎に定められる適用ＷＢゲインＷＢ＿ｉｊがゲイン算出部６２によって取得される（Ｓ６３）。

　そしてＷＢ処理部６４によって、原画像データに適用ＷＢゲインＷＢ＿ｉｊが適用されてＷＢ調整画像データが取得される（Ｓ６４）。

　以上説明したように本実施形態によれば、ホワイトバランスを調整する際のユーザの光源種に関する嗜好を反映したマルチエリアＷＢ処理を行うことができる。

　なお上述の実施形態では、ＷＢ処理モードがＷＢ設定モードと異なるか否かを判定した後にユーザが基準ＷＢゲインの光源種が変更される例について説明したが、ＷＢ処理モードがＷＢ設定モードと異なるか否かを判定することなく、必要に応じてユーザが基準ＷＢゲインの光源種を変更可能としてもよい。この場合、例えば図１６に示す例において処理モード入力部７０及び処理モード取得部６８が不要になる。

　＜第８実施形態＞
　本実施形態において、上述の第１実施形態～第７実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態は、表示部８における調整画像データの表示態様及びホワイトバランス調整に関する。以下では、一例として、上述の第５実施形態（図１２参照）に係る画像処理部３８（データ処理部３１）において生成されるＷＢ調整画像データに基づく画像を表示部８に表示させる場合について説明する。

　図１８は、第８実施形態に係る画像処理部３８の機能構成例を示すブロック図である。

　本実施形態に係る画像処理部３８は、データ処理部３１に加え、表示制御部３５と、表示制御部３５によってコントロールされる表示部８とを更に含む。表示制御部３５は、システム制御部２５（図２参照）を介して操作部９に接続され、ＷＢ調整画像データに基づく画像を表示部８に表示させる。

　図１９は、表示部８における画像表示例を示す図である。

　図１９に示す例では、表示制御部３５は表示部８を制御して、調整画像データに基づく画像を表示部８の画像表示部８０に表示する。また表示制御部３５は原画像データの光源の種類を示す光源表示８２を表示部８に表示させ、原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の光源表示８２を表示部８に表示させる。したがって例えば原画像データの光源として環境光及びフラッシュ光が想定される場合には、環境光に関する光源表示８２ａ（図１９に示す例では「ＷＢ１設定」）とフラッシュ光に関する光源表示８２ｂ（図１９に示す例では「ＷＢ２設定」）とが表示部８に表示される。

　図１９に示す例ではフラッシュ発光画像データを原画像データとして調整画像データが生成されており、調整画像データに基づく画像が、人物像と、建物を含む背景とによって構成されている。したがって、調整画像データに基づく画像のうち人物像部分はフラッシュ光の影響が大きく、背景部分は環境光の影響が大きい。

　また本実施形態では、ユーザが原画像データの光源のいずれかを指定して、指定された光源の影響が大きい画像部分（画素）が画像表示部８０において強調表示される。

　図２０は、ユーザが強調表示を指定するモードにおける表示部８の表示例を示す図である。図２１は、ユーザが強調表示を指定した場合の表示部８における画像表示例を示す図である。

　表示制御部３５は、複数の光源表示８２が表示部８に表示される場合、操作部９を介したユーザの操作に応じて複数の光源表示８２のいずれかを強調表示指定部８４によって指定可能とする。また表示制御部３５は、操作部９を介して強調表示指定部８４により指定された光源表示８２に対応する光源の影響率に応じて、表示部８の画像表示部８０に表示される画像の一部又は全部を強調表示部８６とする。なお光源の影響率は混合比率に基づいて決定可能であるため、表示制御部３５は、メインメモリ１０から処理データ取得部６０を介して取得された混合比率に基づいて、画像表示部８０に表示される画像の各画素に関して光源の影響率を取得する。

　具体的には、表示制御部３５は、画像表示部８０に表示される調整画像データに基づく画像の画素のうち、ユーザにより操作部９を介して強調表示指定部８４により指定された光源表示８２に対応する光源の影響率が、原画像データの光源のうち他の種類の光源の影響率よりも高い画素を、表示部８の画像表示部８０において強調表示部８６として強調表示してもよい。例えば原画像データの光源種が環境光（図２１の「光源表示８２ａ」に対応）及びフラッシュ光（「光源表示８２ｂ」に対応）である場合に、ユーザが操作部９を操作して図２０に示すようにフラッシュ光に関する光源表示８２ｂを強調表示指定部８４によって指定すると、図２１に示すように環境光の影響率よりもフラッシュ光の影響率が高い人物画像部分の画素が画像表示部８０における強調表示部８６の対象となる。

　なお強調表示部８６の判定基準は特に限定されず、表示制御部３５は、原画像データの光源間の影響率を比較する代わりに、ユーザによって指定された光源の影響率の絶対値に応じて強調表示部８６の対象画素を決定してもよい。すなわち表示制御部３５は、画像表示部８０に表示される調整画像データに基づく画像のうち、ユーザにより操作部９を介して指定された光源表示８２に対応する光源の影響率が第１の率よりも高い画素を、表示部８において強調表示してもよい。ここでいう「第１の率」は任意の値に設定することができ、例えば５０％等の比率に設定可能である。

　また強調表示部８６の強調表示手法も特に限定されず、例えば強調表示の対象となる画素によって構成されるエリアを太枠で囲う等によって強調表示部８６の強調表示が行われてもよい。

　以上説明したように本実施形態によれば、ユーザによる光源表示８２の指定に応じて、特定の光源の影響率が高い画像部分（画素）が強調表示部８６として画像表示部８０に表示される。したがってユーザは、画像表示部８０に表示される画像のうち、特定の光源種の影響が大きい部分を容易に確認することができる。

　＜第９実施形態＞
　本実施形態において、上述の第８実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

　本実施形態では、ユーザが指定した光源の種類を変更したり、影響率を変えたりすることが可能である。以下では、ユーザが指定した光源の種類を変更可能な例について説明する。

　図２２は、第９実施形態に係る画像処理部３８の機能構成例を示すブロック図である。

　本実施形態の画像処理部３８は、データ処理部３１、表示制御部３５及び表示部８に加え、画像のホワイトバランスを調整するホワイトバランス調整部（以下、「ＷＢ調整部」と称する）９０を更に含む。

　画像処理部３８の他の構成は、上述の第８実施形態に係る画像処理部３８（図１８参照）と同様である。

　すなわち表示制御部３５は、ユーザによって操作される操作部９にシステム制御部２５を介して接続されている（図３参照）。表示制御部３５は、図１９に示すように、調整画像データに基づく画像を表示部８の画像表示部８０に表示させ、また原画像データの光源の種類を示す光源表示８２を表示部８に表示させ、原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の光源表示８２を表示部８に表示させる。

　そして複数の光源表示８２が表示部８に表示される場合、表示制御部３５は、操作部９を介したユーザの操作に応じて、複数の光源表示８２のいずれかが強調表示指定部８４（図２０参照）によって指定可能とする。そして、複数の光源表示８２のいずれかが強調表示指定部８４によって指定されると、表示制御部３５は、図２３に示すように、表示部８に変更表示８８を表示させる。変更表示８８は、操作部９を介して強調表示指定部８４により指定された光源表示８２に対応する光源に基づくホワイトバランスの変更を受け付ける。

　表示制御部３５は、操作部９を介したユーザの操作に応じて、画像におけるホワイトバランスの変更を、変更表示８８を介して受け付ける。図２３に示す例では、ユーザは、「ＷＢ２設定」を表示する光源表示８２ｂに対応する光源（フラッシュ光）の代わりに採用する光源を、変更表示８８に表示される他の光源（「晴れ」、「日陰」、「蛍光灯」及び「電球」等）の中から操作部９を介して指定することができる。

　表示制御部３５によってホワイトバランスの変更が受け付けられると、ＷＢ調整部９０は、画像表示部８０に表示されていた調整画像データに基づく画像のホワイトバランスを変更調整し、ユーザが指定した新たな光源への変更を反映した画像データ（以下、「変更画像データ」と称する）を生成する。

　そして表示制御部３５は、ＷＢ調整部９０によってホワイトバランスが変更調整された変更画像データに基づく画像を、表示部８の画像表示部８０に表示させる。

　なお光源を変更する代わりに、ユーザが指定した光源の影響率を変えてもよい。すなわち表示制御部３５は、複数の光源表示８２が表示部８に表示される場合、操作部９を介したユーザの操作に応じて、複数の光源表示８２のいずれかが指定されると、操作部９を介して指定された光源表示８２に対応する光源の画像における影響率の変更を受け付ける変更表示８８を表示部に表示させてもよい。そして表示制御部３５は、操作部９を介したユーザの操作に応じて、画像における「指定された光源表示８２に対応する光源の影響率」の変更量を、変更表示を介して受け付けてもよい。図２３に示す例において表示制御部３５は、変更表示８８における「晴れ」、「日陰」、「蛍光灯」及び「電球」等の表示の代わりに、例えば「０％」～「１００％」の範囲の比率を表示部８に任意の態様で表示させてもよい。この場合、ユーザは操作部９を介して変更表示８８に表示されるいずれかの比率を選択可能として、ユーザが選択した比率を「指定された光源表示８２に対応する光源の影響率の変更量」としてもよい。

　この場合、ＷＢ調整部９０（図２２参照）は、調整画像データに基づく画像のホワイトバランスを調整して、表示制御部３５が光源表示８２を介して受け付けた影響率の変更量を画像に反映して変更画像データを生成する。そして表示制御部３５は、ＷＢ調整部９０によってホワイトバランスが変更調整された変更画像データに基づく画像を、表示部８の画像表示部８０に表示させる。

　以上説明したように本実施形態によれば、ユーザは画像のホワイトバランスを光源単位で変更することができる。特に、変更対象として指定した光源の影響率の大きい画素が表示部８（画像表示部８０）で強調表示されるため、ユーザは画像のどの部分の色相（カラーバランス）を変更するかを容易に判別することができる。

　＜変形例＞
　上述の実施形態及び変形例のうち任意の形態同士が組み合わされてもよい。また上述の実施形態は例示に過ぎず、他の構成に本発明を適用してもよい。また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（データ処理部３１等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

　また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

　＜スマートフォンの構成＞
　図２４は、スマートフォン１０１の外観を示す図である。図２４に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。

　図２５は、図２４に示すスマートフォン１０１の構成を示すブロック図である。図２５に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

　表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）或いはＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　図２４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式及び静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図２４に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２４に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）及びＩＥＥＥ（Ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．）が定めるＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、及びジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及び有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。

　ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。

　電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

　さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０及び操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２４に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り換えて単独にて撮影してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影してもよい。

　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。

　上述の画像処理部３８（図４、６、８、１２、１４、１６、１８及び２２参照）は、例えば主制御部１００によって実現可能である。

　２…デジタルカメラ、３…カメラ本体、４…レンズ鏡筒、５…フラッシュ発光部、６…シャッタボタン、７…電源スイッチ、８…表示部、９…操作部、１０…メインメモリ、１２…レンズ部、２０…メカニカルシャッタ、２１…撮像素子、２２…プロセス処理部、２３…ＡＤ変換部、２４…バッファメモリ、２５…システム制御部、２６…シャッタ駆動部、２７…レンズ駆動部、２８…電源制御部、２９…電源、３０…制御メモリ、３１…データ処理部、３２…圧縮伸張部、３３…記憶制御部、３４…クロックデバイス、３５…表示制御部、３６…ユーザインタフェース、３８…画像処理部、４０…光源種判定部、４２…ゲイン取得部、４４…混合比取得部、４６…フラッシュ画像取得部、４８…設定モード判定部、６０…処理データ取得部、６２…ゲイン算出部、６４…ＷＢ処理部、６６…設定モード取得部、６８…処理モード取得部、７０…処理モード入力部、７２…光源種指定部、７４…指定ゲイン取得部、７６…光源種入力部、８０…画像表示部、８２…光源表示、８４…強調表示指定部、８６…強調表示部、８８…変更表示、９０…ＷＢ調整部、９１…コンピュータ、９２…サーバ、９４…ネットワーク、９６…ポータブル端末、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims

　原画像データの光源の数及び種類を判定する光源種判定部と、
　前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインを取得するゲイン取得部と、
　前記原画像データの画素毎に、光源の種類毎の影響率を取得し、当該影響率に基づいて前記基準ホワイトバランスゲインの混合比率を取得する混合比取得部と、
　前記基準ホワイトバランスゲイン及び前記混合比率を前記原画像データと関連付けて記憶媒体に記憶する記録部と、を備える画像処理装置。
　前記光源種判定部は、前記原画像データの光源をフラッシュ光及び環境光として判定し、
　前記ゲイン取得部は、前記フラッシュ光を光源種とした場合に定められるフラッシュ光用基準ホワイトバランスゲインと、前記環境光を光源種とした場合に定められる環境光用基準ホワイトバランスゲインとを取得し、
　前記混合比取得部は、前記原画像データの画素毎に、前記フラッシュ光及び前記環境光の各々の前記影響率を取得し、当該影響率に基づいて、前記フラッシュ光用基準ホワイトバランスゲインと前記環境光用基準ホワイトバランスゲインとの前記混合比率を取得し、
　前記記録部は、前記フラッシュ光用基準ホワイトバランスゲイン、前記環境光用基準ホワイトバランスゲイン及び前記混合比率を、前記原画像データと関連付けて前記記憶媒体に記憶する請求項１に記載の画像処理装置。
　フラッシュを発光して撮影されたフラッシュ発光画像データとフラッシュを発光せずに撮影されたフラッシュ非発光画像データとを取得するフラッシュ画像取得部を更に備え、
　前記混合比取得部は、前記フラッシュ発光画像データ及び前記フラッシュ非発光画像データから前記フラッシュ光及び前記環境光の各々の前記影響率を取得し、当該影響率に基づいて前記フラッシュ光用基準ホワイトバランスゲインと前記環境光用基準ホワイトバランスゲインとの前記混合比率を取得する請求項２に記載の画像処理装置。
　前記混合比取得部は、前記フラッシュ非発光画像データの画素毎の第１の輝度値を取得し、前記フラッシュ発光画像データの画素毎の第２の輝度値を取得し、前記第１の輝度値及び前記第２の輝度値に基づいて前記フラッシュ光及び前記環境光の各々の前記影響率を取得し、当該影響率に基づいて前記フラッシュ光用基準ホワイトバランスゲインと前記環境光用基準ホワイトバランスゲインとの前記混合比率を取得する請求項３に記載の画像処理装置。
　前記原画像データは前記フラッシュ発光画像データである請求項３又は４に記載の画像処理装置。
　第１の光源種の影響を示す第１の画像データを取得し、第２の光源種の影響を示す第２の画像データを取得する光源種データ取得部を更に備え、
　前記光源種判定部によって判定される前記原画像データの光源の種類が前記第１の光源種及び前記第２の光源種を含む場合、
　前記ゲイン取得部は、前記第１の光源種に定められる前記基準ホワイトバランスゲインと前記第２の光源種に定められる前記基準ホワイトバランスゲインとを取得し、
　前記混合比取得部は、前記第１の画像データ及び前記第２の画像データから前記第１の光源種及び前記第２の光源種の前記影響率を取得し、当該影響率に基づいて、前記第１の光源種に定められる前記基準ホワイトバランスゲインと前記第２の光源種に定められる前記基準ホワイトバランスゲインとの前記混合比率を取得し、
　前記記録部は、前記第１の光源種に定められる前記基準ホワイトバランスゲイン、前記第２の光源種に定められる前記基準ホワイトバランスゲイン及び前記混合比率を、前記原画像データと関連付けて前記記憶媒体に記憶する請求項１に記載の画像処理装置。
　前記原画像データを取得した際のホワイトバランス設定モードにかかわらず、
　前記光源種判定部は、前記原画像データの光源の数及び種類を判定し、
　前記ゲイン取得部は、光源の種類毎に定められる前記基準ホワイトバランスゲインを取得し、
　前記混合比取得部は、前記原画像データの画素毎に、光源の種類毎の前記影響率を取得し、当該影響率に基づいて前記基準ホワイトバランスゲインの前記混合比率を取得し、
　前記記録部は、前記基準ホワイトバランスゲイン及び前記混合比率を前記原画像データと関連付けて前記記憶媒体に記憶する請求項１～６のいずれか一項に記載の画像処理装置。
　前記原画像データを取得した際のホワイトバランス設定モードを判定する設定モード判定部を更に備え、
　前記設定モード判定部によって判定されたホワイトバランス設定モードが、前記原画像データの色分布情報に基づいて当該原画像データに適用されるホワイトバランスゲインが決定されるオートホワイトバランスモードの場合のみ、
　前記光源種判定部は、前記原画像データの光源の数及び種類を判定し、
　前記ゲイン取得部は、光源の種類毎に定められる前記基準ホワイトバランスゲインを取得し、
　前記混合比取得部は、前記原画像データの画素毎に、光源の種類毎の前記影響率を取得し、当該影響率に基づいて前記基準ホワイトバランスゲインの前記混合比率を取得し、
　前記記録部は、前記基準ホワイトバランスゲイン及び前記混合比率を前記原画像データと関連付けて前記記憶媒体に記憶する請求項１～６のいずれか一項に記載の画像処理装置。
　原画像データと、前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインと、前記原画像データの画素毎に定められる前記基準ホワイトバランスゲインの混合比率とを、記憶媒体から取得する処理データ取得部と、
　前記原画像データの画素毎に、前記基準ホワイトバランスゲインから前記混合比率に応じて適用ホワイトバランスゲインを算出するゲイン算出部と、を備える画像処理装置。
　前記処理データ取得部によって取得される前記基準ホワイトバランスゲインは、フラッシュ光を光源種とした場合に定められるフラッシュ光用基準ホワイトバランスゲインと、環境光を光源種とした場合に定められる環境光用基準ホワイトバランスゲインとを含み、
　前記処理データ取得部によって取得される前記混合比率は、前記原画像データの画素毎に定められる前記フラッシュ光用基準ホワイトバランスゲインと前記環境光用基準ホワイトバランスゲインとの混合比率であり、
　前記ゲイン算出部は、前記原画像データの画素毎に、前記フラッシュ光用基準ホワイトバランスゲインと前記環境光用基準ホワイトバランスゲインとから前記混合比率に応じて前記適用ホワイトバランスゲインを算出する請求項９に記載の画像処理装置。
　前記原画像データを取得した際のホワイトバランス設定モードの情報を取得する設定モード取得部と、
　前記原画像データのホワイトバランス処理モードの情報を取得する処理モード取得部と、を更に備え、
　前記ゲイン算出部は、
　前記ホワイトバランス設定モードの前記情報及び前記ホワイトバランス処理モードの前記情報に基づいて、前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと同じであると判定される場合には、前記記憶媒体から取得される前記基準ホワイトバランスゲインに基づいて前記適用ホワイトバランスゲインを算出し、
　前記ホワイトバランス処理モードが前記ホワイトバランス設定モードと異なると判定される場合には、前記ホワイトバランス処理モードに基づいて定められる前記基準ホワイトバランスゲインを取得し、当該基準ホワイトバランスゲインに基づいて前記適用ホワイトバランスゲインを算出する請求項９又は１０に記載の画像処理装置。
　ユーザによって指定される光源種を受け付ける光源種指定部と、
　前記光源種指定部が受け付けたユーザによって指定される光源種に定められる基準ホワイトバランスゲインを取得する指定ゲイン取得部と、を更に備え、
　前記ゲイン算出部は、前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインの少なくとも一部を、前記指定ゲイン取得部によって取得される前記基準ホワイトバランスゲインに置き換えて、前記混合比率に応じて前記適用ホワイトバランスゲインを算出する請求項９又は１０に記載の画像処理装置。
　前記原画像データに前記適用ホワイトバランスゲインを適用してホワイトバランス調整画像データを取得するホワイトバランス処理部を更に備える請求項９～１２のいずれか一項に記載の画像処理装置。
　表示制御部と、
　前記表示制御部によってコントロールされる表示部と、を更に備え、
　前記表示制御部は、前記ホワイトバランス調整画像データに基づく画像を前記表示部に表示させる請求項１３に記載の画像処理装置。
　前記表示制御部は、
　ユーザによって操作される操作部に接続され、
　前記原画像データの光源の種類を示す光源表示を前記表示部に表示させ、前記原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の前記光源表示を前記表示部に表示させ、
　複数の前記光源表示が前記表示部に表示される場合、前記操作部を介したユーザの操作に応じて複数の前記光源表示のいずれかが指定されると、前記表示部に表示される前記画像の一部又は全部を、前記操作部を介して指定された前記光源表示に対応する光源の影響率に応じて強調表示する請求項１４に記載の画像処理装置。
　前記表示制御部は、前記画像の画素のうち、ユーザにより前記操作部を介して指定された前記光源表示に対応する光源の影響率が、前記原画像データの光源のうち他の種類の光源の影響率よりも高い画素を、前記表示部において強調表示する請求項１５に記載の画像処理装置。
　前記表示制御部は、前記画像の画素のうち、ユーザにより前記操作部を介して指定された前記光源表示に対応する光源の影響率が第１の率よりも高い画素を、前記表示部において強調表示する請求項１５に記載の画像処理装置。
　前記画像のホワイトバランスを調整するホワイトバランス調整部を更に備え、
　前記表示制御部は、
　ユーザによって操作される操作部に接続され、
　前記原画像データの光源の種類を示す光源表示を前記表示部に表示させ、前記原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の前記光源表示を前記表示部に表示させ、
　複数の前記光源表示が前記表示部に表示される場合、前記操作部を介したユーザの操作に応じて、複数の前記光源表示のいずれかが指定されると、前記操作部を介して指定された前記光源表示に対応する光源に基づくホワイトバランスの変更を受け付ける変更表示を前記表示部に表示させ、
　前記操作部を介したユーザの操作に応じて、前記画像におけるホワイトバランスの変更を、前記変更表示を介して受け付け、
　前記ホワイトバランス調整部は、前記表示制御部によってホワイトバランスの変更が受け付けられると前記画像のホワイトバランスを調整して当該変更を前記画像に反映し、
　前記表示制御部は、前記ホワイトバランス調整部によってホワイトバランスが調整された前記画像を、前記表示部に表示させる請求項１４に記載の画像処理装置。
　前記画像のホワイトバランスを調整するホワイトバランス調整部を更に備え、
　前記表示制御部は、
　ユーザによって操作される操作部に接続され、
　前記原画像データの光源の種類を示す光源表示を前記表示部に表示させ、前記原画像データの光源の種類が複数ある場合には光源の種類毎に設けられる複数の前記光源表示を前記表示部に表示させ、
　複数の前記光源表示が前記表示部に表示される場合、前記操作部を介したユーザの操作に応じて、複数の前記光源表示のいずれかが指定されると、前記操作部を介して指定された前記光源表示に対応する光源の前記画像における影響率の変更を受け付ける変更表示を前記表示部に表示させ、
　前記操作部を介したユーザの操作に応じて、前記画像における前記影響率の変更量を、変更表示を介して受け付け、
　前記ホワイトバランス調整部は、前記画像のホワイトバランスを調整して、前記表示制御部が変更表示を介して受け付けた前記影響率の変更量を前記画像に反映し、
　前記表示制御部は、前記ホワイトバランス調整部によってホワイトバランスが調整された前記画像を、前記表示部に表示させる請求項１４に記載の画像処理装置。
　前記ホワイトバランス設定モードは、ホワイトバランスゲインが予め定められているプリセットホワイトバランスモード、前記原画像データの色分布情報に基づいて当該原画像データに適用されるホワイトバランスゲインが決定されるオートホワイトバランスモード、及び前記原画像データとは異なる参照画像データの色分布情報に基づいて前記原画像データに適用されるホワイトバランスゲインが決定されるカスタムホワイトバランスモードのうちのいずれかである請求項７、８及び１１のいずれか一項に記載の画像処理装置。
　前記原画像データは、ＲＡＷ画像データである請求項１～２０のいずれか一項に記載の画像処理装置。
　前記原画像データは、無圧縮画像データである請求項１～２１のいずれか一項に記載の画像処理装置。
　前記原画像データは、可逆圧縮画像データである請求項１～２１のいずれか一項に記載の画像処理装置。
　前記原画像データは、非可逆圧縮画像データである請求項１～２２のいずれか一項に記載の画像処理装置。
　撮像素子と、
　請求項１～２４のいずれか一項に記載の画像処理装置と、を備え、
　前記原画像データは前記撮像素子によって取得される撮像装置。
　原画像データの光源の数及び種類を判定し、
　前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインを取得し、
　前記原画像データの画素毎に、光源の種類毎の影響率を取得し、当該影響率に基づいて前記基準ホワイトバランスゲインの混合比率を取得し、
　前記基準ホワイトバランスゲイン及び前記混合比率を前記原画像データと関連付けて記憶媒体に記憶する画像処理方法。
　原画像データと、前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインと、前記原画像データの画素毎に定められる前記基準ホワイトバランスゲインの混合比率とを、記憶媒体から取得し、
　前記原画像データの画素毎に、前記基準ホワイトバランスゲインから前記混合比率に応じて適用ホワイトバランスゲインを算出する画像処理方法。
　原画像データの光源の数及び種類を判定する手順と、
　前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインを取得する手順と、
　前記原画像データの画素毎に、光源の種類毎の影響率を取得し、当該影響率に基づいて前記基準ホワイトバランスゲインの混合比率を取得する手順と、
　前記基準ホワイトバランスゲイン及び前記混合比率を前記原画像データと関連付けて記憶媒体に記憶する手順と、をコンピュータに実行させるためのプログラム。
　原画像データと、前記原画像データの光源の種類毎に定められる基準ホワイトバランスゲインと、前記原画像データの画素毎に定められる前記基準ホワイトバランスゲインの混合比率とを、記憶媒体から取得する手順と、
　前記原画像データの画素毎に、前記基準ホワイトバランスゲインから前記混合比率に応じて適用ホワイトバランスゲインを算出する手順と、をコンピュータに実行させるためのプログラム。