JP6873688B2 - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Description

本発明は、画像データの階調処理技術に関する。

撮像装置の撮像素子により取得される画像データには、現像処理を含む画像処理が施されて、記録用または表示用画像のデータが生成される。撮像された未現像データを現像する際、ホワイトバランス調整後に色信号ごとのレベルを調整することで飽和レベルでのクリップにより捨てられてしまうダイナミックレンジのデータを現像後の画像データに反映する処理がある（特許文献１）。以下、この階調処理を、第１の高輝度改善処理と呼ぶ。

瞳分割型の撮像素子では、未現像の画像データから、第１画素と第２画素のうち一方の画素のみで得られた第１画像データと、第１画素および第２画素から得られる各データを加算した第２画像データを得ることができる。第１画像データと第２画像データでは、画素の開口率が異なるため、２種類の露出画像が得られる。２種類の異なる露出の画像を合成することでダイナミックレンジを拡大する方法がある（特許文献２）。

特開２０１５−１５６６１５号公報 特開２０１６−５８９９３号公報

従来の技術では、現像時に反映可能な高輝度側階調の分布が複数である場合に、階調処理を適応的に行える画像処理装置の開示がなかった。
本発明の目的は、複数の画像処理が可能な画像領域に対して、階調処理を適応的に行える画像処理装置および画像処理方法を提供することである。

本発明の一実施形態の画像処理装置は、撮影された画像データおよび視点の異なる複数の視点画像データを取得する取得手段と、前記複数の視点画像データを用いることなく第１の階調処理を行う第１の処理手段と、前記複数の視点画像データを用いて第２の階調処理を行う第２の処理手段と、前記第１または第２の処理手段により階調処理を行える画像領域、または前記第１および第２の処理手段により階調処理を行える画像領域を出力する制御を行う制御手段と、前記制御手段の指示によって、前記第１または第２の階調処理に対応する画像調整に用いる表示画面を変更し、前記第１または第２の処理手段により高輝度階調の改善が可能な画像領域、または前記第１および第２の処理手段により高輝度階調の改善が可能な画像領域を表示する表示手段と、を備える。前記制御手段は、前記第１の階調処理に対応する第１の表示画面に切り替える指示と、前記第２の階調処理に対応する第２の表示画面に切り替える指示を前記表示手段に出力し、前記表示手段は前記第２の表示画面にて、前記第１または第２の処理手段により高輝度階調の改善が可能な領域を表示する。

本発明によれば、複数の画像処理が可能な画像領域に対して、階調処理を適応的に行える画像処理装置および画像処理方法を提供することができる。

本発明の第１実施形態の構成例を説明する図である。 第１実施形態のＵＩ表示画面例を示す図である。 第１実施形態の処理を説明するフローチャートである。 第１実施形態の表示処理を説明するフローチャートである。 図４に続く処理を説明するフローチャートである。 第１実施形態の表示処理例の説明図である。 第２実施形態に係る撮像装置の機能構成を示すブロック図である。 第２実施形態に係る画像処理部の構成を説明する図である。 図８の画像合成部の動作を説明する図である。 第２実施形態に係る画像処理部の動作を説明する図である。 瞳強度分布と撮像素子の入射角感度特性を説明する図である。 シェーディング特性の説明図である。 露出の異なる２つの画像の取得について説明する図である。 シェーディング補正係数を説明する図である。 図８のＷＢ調整部が行うＷＢ調整処理の一例を示す図である。 図８の信号置換部が行う処理の一例を説明するフローチャートである。 図１６の置換処理によって生成されたデータの説明図である。 第１実施例に係る撮像装置が備える処理部を示す図である。 第１実施例に係る撮像装置にて実行される処理のフローチャートである。 第２実施例に係る画像処理部の構成例を示すブロック図である。 第２実施例に係る撮像装置が備える処理部を示す図である。 第２実施例に係る撮像装置にて実行される処理のフローチャートである。 デジタルカメラへの適用例を示す斜視図である。 デジタルカメラへの適用例を示すブロック図である。

以下、本発明の実施形態について、図面に示す各実施形態を参照して詳細に説明する。各実施形態では、複数の視点画像データを取得して複数の階調処理が可能な画像処理装置の例を説明する。なお、複数の視点画像データは、異なる視点で取得され、互いに視差をもつ画像データである。

[第１実施形態]
本実施形態では、ＲＡＷ画像データを処理する画像処理装置として、ＲＡＷ現像装置の例を示す。ＲＡＷ画像データは、現像処理等の画像加工が施される前の画像データである。図１（Ａ）は、本実施形態のＲＡＷ現像装置１００の構成を示すブロック図である。ＲＡＷ現像装置１００は、例えばパーソナルコンピュータ（ＰＣ）等のハードウェア、およびソフトウェアにより実現される。

図１（Ａ）において制御部１０１はＲＡＷ現像装置１００全体を制御する中枢部であり、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）を備える。第１のメモリ１０２はプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）であり、変更を必要としないコードやデータ等を記憶する。第２のメモリ１０３は外部装置等から供給されるプログラムやデータを一時的に記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。外部記憶装置１０４は、例えば、ＲＡＷ現像装置１００に固定して設置されたハードディスクやフラッシュメモリである。あるいはＲＡＷ現像装置１００から着脱可能なフレキシブルディスク（ＦＤ）、コンパクトディスク（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を使用可能である。

操作部１０５はユーザの操作を受け付けて操作指示信号を制御部１０１に出力する。操作部１０５は、データ入力用のキーボード、またはポインティングデバイスを有する。表示部１０６は、ＲＡＷ現像装置１００の保持するデータや供給されたデータを画面に表示する。システムバス１０７は、各部（符号１０１〜１０６）を通信可能に接続する。なお、ＲＡＷ現像装置１００が撮像機能を有する場合には撮像部１０８を備える。撮像部１０８は、レンズや絞り等の光学部材を有する撮像光学系と、撮像光学系を通して結像される光像を光電変換する撮像素子を備える。制御部１０１は撮像部１０８から取得される画像データに対し、現像等の画像処理を行う。

以上のように構成されたＲＡＷ現像装置１００の動作例を説明する。
ＲＡＷ現像装置は、読み込んだＲＡＷ画像データが、一般的な撮像装置により撮像されたＲＡＷ画像であるか、瞳分割画素を有する撮像素子（以下、瞳分割型撮像素子ともいう）により撮像されたＲＡＷ画像であるかを判断する。本実施形態で扱うＲＡＷ画像データのビット数は、１４ビットとする。一般的な撮像装置で撮像されたＲＡＷ画像であるか、瞳分割型撮像素子で撮像されたＲＡＷ画像であるかについては、例えばファイルのヘッダを解析することで判断できる。ファイル構造については、本発明に関して本質的な事項ではないので、説明を省略する。図１（Ｂ）を参照して、瞳分割型撮像素子の構成については説明する。

図１（Ｂ）は、瞳分割型撮像素子における画素の配置例を模式的に示す図である。図１（Ｂ）の紙面に垂直な方向をｚ方向として、ｚ方向に直交する横方向（左右方向）をｘ方向として、ｘ方向およびｚ方向に直交する縦方向（上下方向）をｙ方向と定義する。図１（Ｂ）は、画素がｘ方向に４画素でｙ方向に４画素配列された領域を代表的に示している。瞳分割型撮像素子は、撮影光学系の瞳領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく信号から複数の画像信号を生成可能である。具体的には、各画素の光電変換部が水平方向（瞳分割方向）に２分割されており、各光電変換部が副画素部として機能する。図１（Ｂ）では、副画素部がｘ方向に８画素でｙ方向に４画素配列された領域を例示する。

図１（Ｂ）の左上の２行２列の画素群２１０は、撮像素子に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。また、図１（Ｂ）の右上の画素に代表的に示すように、各画素は、ｘ方向にて２つに等分割された光電変換部を有しており、左半分の光電変換部が第１副画素部２１１、右半分の光電変換部が第２副画素部２１２として利用可能である。副画素部２１１の出力を取得して得られる１つの画像と、副画素部２１２の出力を取得して得られる１つの画像とが、１組の視点画像を構成する。したがって、１回の撮影によって２つの視点画像データを生成することができる。また、各画素の第１副画素部２１１と第２副画素部２１２で得られる信号を加算することで、加算信号を瞳分割がなされていない１つの通常画素の画素信号として利用することができる。本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電荷蓄積部（フローティングデフュージョン部：ＦＤ部）を有する。ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素部からの電荷に基づく画素信号および各副画素部からの電荷が混合されて出力された画素信号とが出力可能である。例えば、各副画素部に入射される異なる瞳部分領域を通過した光束に基づく光学像としてのＡ像およびＢ像と、各副画素部からの信号が混合された信号をもつ（Ａ＋Ｂ）像を取得することができる。なお、各画素における光電変換部については４分割、９分割等、任意の分割が可能である。

ＲＡＷ現像装置１００は、読み込んだＲＡＷ画像データが、瞳分割型撮像素子で撮像されたＲＡＷ画像データの場合、複数の高輝度階調改善処理に対応したＵＩ（ユーザ・インタフェース）画面の表示処理を行う。制御部１０１のＣＰＵはアプリケーションプログラムを実行することでＵＩ画面の表示処理が行われる。図２を参照して画像調整用表示画面の具体例を説明する。

図２（Ａ）のＵＩ画面２００１は、ＲＡＷ現像装置１００が一般的な撮像装置で撮像されたＲＡＷ画像データを読み込んだあとに、表示部１０６に表示される画面である。本実施形態にて、一般的な撮像装置として、瞳分割型撮像素子以外の撮像手段を有する撮像装置、または瞳分割型撮像素子と等価な複数の撮像手段を有していない撮像装置を想定する。瞳分割型撮像素子と等価な複数の撮像手段を有することにより複数の視点画像データの取得が可能な撮像装置については、瞳分割型撮像素子を有する撮像装置と同等であるとみなす。ＵＩ画面２００１では、指標２００５のホワイトポイントを動かすことで、第１の高輝度改善処理を行うことが可能である。高輝度改善処理は、ヒストグラム上に表示されるホワイトポイントの指標（以下、ＷＰ指標という）２００５をユーザが左右に動かすことで行われる。ホワイトポイントとは、一般的な撮像装置で撮像されたＲＡＷ画像データの場合には、Ｒ（赤色）信号とＧ（緑色）信号とＢ（青色）信号の値がＲＡＷ画像のビット数と同じ１４ビットでクリップが行われるポイントである。

操作領域２００２は、本実施形態の処理を終了するための閉ボタンである。画像２００３は、一般的な撮像装置で撮像されたＲＡＷ画像を、撮影時に設定されたホワイトバランス（以下、ＷＢとも表記する）で現像した画像である。図２の表示領域２００４は、読み込んだ画像データのヒストグラムとＷＰ指標２００５を表示するエリアである。ユーザは、ＷＰ指標２００５を左右に動かすことでガンマ調整の操作を行うことができる。ＷＰ指標２００５は、この場合、現像処理後の画像のホワイトポイントの位置を示している。つまり、最初に表示されるＷＰ指標２００５の位置は、高輝度階調改善処理を行わない場合のホワイトポイントを示す。ユーザは、例えばＷＰ指標２００５を右にずらした場合、より高輝度側の階調を表現可能な画像にする処理が行われる。

図２（Ａ）のグラフ２００６は、表示画像２００３に対応するヒストグラムである。ヒストグラムにて、横軸は画像の明るさ（輝度）を表し、縦軸は明るさに対応する量（ピクセル数、相対度数等）を表している。アプリケーションプログラムの起動直後にヒストグラムが表示され、ＷＰ指標２００５より右側の範囲において高輝度階調改善処理で改善可能な高輝度側のデータが表示される。ユーザは、表示されるヒストグラムを見することで、高輝度側に改善の余地があることを一目で把握できる。一般的な撮像装置で撮像されたＲＡＷ画像の場合、ＵＩ画面２００１は、単一の高輝度階調改善処理用の画面としてユーザに提示される。高輝度階調改善処理の詳細は、後述する。

図２（Ｂ）のＵＩ画面２１０１は、ＲＡＷ現像装置１００が瞳分割型撮像素子で撮像されたＲＡＷ画像を読み込んだあとに、表示部１０６に表示される画面である。ユーザは、ＵＩ画面２１０１において、第１の高輝度改善処理を行うのか、ダイナミックレンジ拡張による高輝度階調改善処理（以下、第２の高輝度改善処理という）を行うのかの選択可能である。また、ユーザはＷＰ指標２１０５を操作することにより、選択された高輝度階調改善法を指示できる。瞳分割型撮像素子で撮像されたＲＡＷ画像の場合、ホワイトポイントは、瞳分割画素を合成した画素のＲ信号とＧ信号とＢ信号の値がＲＡＷ画像のビット数と同じ１４ビットでクリップされるポイントとなる。ユーザがＷＰ指標２１０５を右に動かすことで、現像時に１４ビットを超えているデータを画像に反映させる高輝度階調改善処理が行われる。また、ユーザは高輝度階調改善領域の表示方法を選択することで、複数の階調処理ごとに画像上のどのエリアで高輝度階調改善が可能であるかを表示させる操作指示を行える。第２の高輝度改善処理の詳細については後述する。

図２（Ｂ）のＵＩ画面２１０１にて、操作領域２１０２は本実施形態の処理を終了するための閉ボタンである。画像２１０３は、瞳分割型撮像素子で撮像されたＲＡＷ画像に対して、撮影時のホワイトバランス設定で現像が行われた画像である。表示領域２１０４は、読み込んだ画像のヒストグラムとホワイトポイントを表示するエリアであり、ユーザはＷＰ指標２１０５を左右に動かすことでガンマ調整の操作を行える。現像後の画像のＷＰ指標２１０５は、最初に表示される位置が、高輝度階調改善処理を行わない場合のホワイトポイントを示しており、ＷＰ指標２１０５を右にずらすことで、より高輝度側の階調を表現可能な画像にする処理が行われる。グラフ２１０６は、表示画像２１０３に対応するヒストグラムである。ヒストグラムの座標設定については、図２（Ａ）のグラフ２００６と同じである。

図２（Ｂ）の表示エリア２１０７は、高輝度階調改善法の選択に用いるラジオボタンを有する領域である。瞳分割型撮像素子で撮像されたＲＡＷ画像の場合、複数の高輝度階調改善の方法があるので、ユーザは、どの方法で高輝度階調改善を行うのかをラジオボタンで選択可能である。ラジオボタン２１０８がＯＮに設定された場合には、瞳分割画素を利用しない選択肢が有効となる。この場合、ガンマ調整の表示領域２１０４に、高輝度階調改善法に対応するヒストグラムとＷＰ指標が表示される。瞳分割画素を利用しない場合の高輝度階調改善法は、第１の高輝度改善処理となる。一方、ラジオボタン２１０９がＯＮに設定された場合には、瞳分割画素を利用する選択肢が有効となる。この場合、ガンマ調整の表示領域２１０４に、瞳分割画素を利用する高輝度階調改善法に対応するヒストグラムとＷＰ指標が表示される。瞳分割画素を利用する高輝度階調改善法は、第２の高輝度改善処理となる。

図２（Ｂ）のチェックボックス２１１０は、画像２１０３上にガンマ調整で高輝度階調改善が行われる領域を表示する機能を有効にするための操作領域である。チェックボックス２１１０にてチェックが有効に設定された場合、ラジオボタン２１１１から２１１３で選択される方法で画像２１０３上に高輝度階調改善領域の表示が行われる。ラジオボタン２１１１が選択された場合、高輝度階調改善法ごとに区別して輝度改善領域の表示が行われる。ラジオボタン２１１２が選択された場合、表示エリア２１０７のラジオボタン２１０８または２１０９により選択されている高輝度階調改善法で高輝度改善が可能な領域の表示が行われる。つまり、ユーザは、ラジオボタン２１０８または２１０９の操作により、所望の高輝度階調改善法を選択しており、選択済みの方法で高輝度階調改善できる領域が表示される。ラジオボタン２１１３が選択された場合、２つ以上の高輝度階調改善法を使用可能な領域の表示が行われる。本実施形態の場合、瞳分割画素を利用する方法と、瞳分割画素を利用しない方法のそれぞれで高輝度階調改善できる領域を表示することができる。この設定は、高輝度階調改善処理ごとに画質変化を選択できる場所の確認に利用できる。またラジオボタン２１１４が選択された場合、１つ以上の高輝度階調改善法を使用可能な領域の表示が行われる。本実施形態の場合、瞳分割画素を利用する方法で改善できる領域と、瞳分割画素を利用しない方法で改善できる領域の双方の領域を区別せずに表示する処理が行われる。この設定は、どのエリアが高輝度階調改善可能なエリアになっているのかをユーザが確認するために利用できる。

画像２１０３上に示す領域２１１５は、瞳分割画素を利用する方法（第２の高輝度改善処理）で高輝度階調改善可能な画像領域を示している。画像２１０３上に示す領域２１１６は、瞳分割画素を利用しない方法（第１の高輝度改善処理）で高輝度階調改善可能な画像領域を示している。ラジオボタン２１１１が選択されている場合、高輝度階調改善法ごとに、つまり第１および第２の高輝度改善処理をそれぞれ区別して、高輝度階調改善可能な画像領域の表示が行われる。

本実施形態では、瞳分割画素として常に左側の画素（図１（Ｂ）：第１副画素部２１１）を利用することとする。複数の瞳分割画素を合成することにより、一般的な撮像素子で撮像した画素（撮像画素）と同等に扱うことができる。以下では複数の瞳分割画素を合成した画素を瞳分割合成画素という。図１（Ｂ）の例では、瞳分割合成画素は左右の瞳分割画素を合成した画素に相当する。このため、瞳分割合成画素による画像は、瞳分割画素よりも明るい露出の画像となる。

本実施形態では、瞳分割画素を利用しない第１の高輝度改善処理と、瞳分割画素を利用する第２の高輝度改善処理の２種類を説明する。図３から図６を用いて、画像の種類に応じて高輝度階調改善処理用のＵＩ画面を切り替える例、および瞳分割型撮像素子で撮像されたＲＡＷ画像の高輝度階調改善用ＵＩ画面を説明する。

図３は高輝度階調改善処理用ＵＩ画面の切り替え処理を説明するフローチャートである。ユーザが操作部１０５を操作してＲＡＷ画像を選択し、画像の読み込み指示を行うことで処理が開始する。以下の処理は制御部１０１のＣＰＵがメモリからプログラムを読み出して実行することにより実現される。プログラムは、ＣＰＵが読み取り可能なプログラムコードとしてＲＯＭ１０２に格納されており、例えばＣＰＵを以下の手段として機能させる。
・高輝度階調改善法に応じてＵＩ表示画面を切り替える手段
・高輝度階調改善法が複数である場合、高輝度階調改善に用いる調整方法を選択する手段
・高輝度階調改善に用いる調整方法に対応する調整用ＵＩ表示を表示させる手段
・高輝度階調改善可能な領域の表示を切り替える手段。

Ｓ３０１０で制御部１０１は、操作部１０５による指示を受け付けて、入力画像データを外部記憶装置１０４から読み込む。Ｓ３０２０で制御部１０１は、Ｓ３０１０で読み込んだ画像ファイルのヘッダを解析する。Ｓ３０３０で制御部１０１はＳ３０２０の解析結果に基づき、ＲＡＷ画像に瞳分割画素の情報を含まれるかどうかを判断する。つまり、瞳分割型撮像素子で撮像されたＲＡＷ画像であるか否かについて判断処理が行われる。以下では、瞳分割型撮像素子で撮像されたＲＡＷ画像を第１のＲＡＷ画像といい、第１のＲＡＷ画像以外のＲＡＷ画像を、第２のＲＡＷ画像という。制御部１０１は第１のＲＡＷ画像と判断した場合、Ｓ３０４０に処理を進める。第２のＲＡＷ画像であると判断された場合には、Ｓ３１５０へ移行する。

Ｓ３０４０で制御部１０１は、第１および第２の高輝度改善処理を設定できるＵＩ表示処理を行う。表示部１０６には、図２（Ｂ）のＵＩ画面２１０１が表示される。Ｓ３０５０で制御部１０１は、瞳分割画素から得られる画像のホワイトバランス調整を行う。Ｓ３０６０で制御部１０１は、Ｓ３０５０のＷＢ調整の結果であるＲＧＢ出力値を、瞳分割ＲＧＢ出力値として取得し、画素と対応付けてメモリに保持する。

Ｓ３０７０で制御部１０１は、瞳分割画素を合成した得られる画像のＷＢ調整を行う。Ｓ３０８０で制御部１０１は、Ｓ３０７０のＷＢ調整の結果であるＲＧＢ出力値を、瞳分割合成ＲＧＢ出力値として取得し、画素と対応付けてメモリに保持する。Ｓ３０９０で制御部１０１は、Ｓ３０８０で取得された瞳分割合成ＲＧＢ出力値が、入力画像のビット数を超える出力値になっている画素を取得する。本実施形態では、ＲＡＷ画像のビット数を１４ビットとする。よって、１４ビットを超える出力値である画素が取得される。

Ｓ３１００で制御部１０１は、Ｓ３０９０の取得結果である画素の出力値に対し、入力画像のビット数でクリップを行う。本実施形態の場合、１４ビットでクリップが行われる。Ｓ３１１０で制御部１０１は、Ｓ３１００で出力値がクリップされた画素に対応する瞳分割画素の出力値を取得する。瞳分割画素は、瞳分割合成画素に比べて露出が低く、暗くなっている画素である。このため、瞳分割合成画素ではクリップされていたとしても、瞳分割画素ではクリップされず、高階調の部分が残っていることがある。残存する高階調の部分がＳ３１１０で取得される。

Ｓ３１２０で制御部１０１は、Ｓ３１１０で取得した瞳分割ＲＧＢ値をゲインアップして出力する。ゲインアップ処理は、瞳分割画素と瞳分割合成画素とが同じ露出状態になるように利得係数が設定されて実行される。Ｓ３１２０での出力値は、高輝度階調改善処理によって出力可能となる階調部分に相当する。Ｓ３１３０で制御部１０１は、Ｓ３１２０の出力値を、ＨＤＲ高輝度改善のＲＧＢ出力値として画素と対応付けてメモリに保持する。Ｓ３１４０で制御部１０１は、ヒストグラム、ホワイトポイント、高輝度階調改善領域の表示処理を行う。表示処理の詳細は後述する。

Ｓ３０３０からＳ３１５０に移行する場合、つまり、制御部１０１が入力画像を第２のＲＡＷ画像と判断した場合には、第１の高輝度改善処理用のＵＩ表示が行われる。表示部１０６には、図２（Ａ）のＵＩ画面２００１が表示される。Ｓ３１６０で制御部１０１は、入力画像のＷＢ調整を行い、Ｓ３１７０では、Ｓ３１６０のＷＢ調整の結果であるＲＧＢ出力値を、画素と対応付けてメモリに保持する。Ｓ３１８０で制御部１０１は、Ｓ３１７０で取得したＲＧＢ出力値からヒストグラムを作成して表示部１０６の画面上に表示する処理を行う。表示結果は図２のグラフ２００６であり、表示画像２００３に対応するヒストグラムを表す。

Ｓ３１９０で制御部１０１は、Ｓ３１７０で保持したＲＧＢ出力値から、ホワイトポイントがＳ３１８０のヒストグラム上のどの位置であるかを算出する。算出されたホワイトポイントの位置は図２のＷＰ指標２００５により、表示部１０６に表示される。グラフ２００６においてホワイトポイントの位置よりも右側の部分は、ホワイトバランスの調整後にＲＧＢ出力値が所定のビット数（閾値）を超えている部分である。この部分は、入力画像のビット数である１４ビットを超えるビットになっている個所を表している。ＷＰ指標２００５を右側に動かす操作により、ホワイトポイントを変更することで、第１の高輝度改善処理が行われる。Ｓ３２００で制御部１０１は、表示部１０６の画面上に現像処理の結果である画像を表示する。表示結果は、図２の表示画像２００３としてユーザに提示される。Ｓ３２００の後、処理を終了する。

次に、図４および図５のフローチャートを参照して、図３のＳ３１４０で行うサブルーチン処理について説明する。Ｓ４０１０で制御部１０１は、ユーザが操作部１０５を操作し、図２（Ｂ）のラジオボタン２１０８，２１０９の設定情報を取得する。つまり、ユーザがラジオボタン２１０８（瞳分割画素を利用しない）とラジオボタン２１０９（瞳分割画素を利用する）のうち、どちらを操作して高輝度階調改善処理方法を選択しているかを示す情報が取得される。Ｓ４０２０で制御部１０１はＳ４０１０の設定情報に基づき、瞳分割画素を利用するという選択が行われたかどうかを判断する。ラジオボタン２１０９のＯＮ設定により、瞳分割画素を利用する処理（第２の高輝度改善処理）が選択されていると判断された場合、Ｓ４０３０へ移行する。また、ラジオボタン２１０８のＯＮ設定により、瞳分割画素を利用しない処理（第１の高輝度改善処理）が選択されていると判断された場合には、Ｓ４０５０へ移行する。図２（Ｂ）のＵＩ画面２１０１の例では、第１の高輝度改善処理が選択されている状態である。ここでの選択によって、グラフ２１０６に示すヒストグラムと、ＷＰ指標２１０５による描画が、選択された方法に応じた描画へと切り替わる。

Ｓ４０３０で制御部１０１は、図３のＳ３０８０で取得した瞳分割合成ＲＧＢ出力値から入力画像のビット数（１４ビット）でクリップしていない出力値を、画素と対応付けてメモリに保持する。Ｓ３０７０で瞳分割合成した入力画像に対してＷＢ調整を行った後に階調部分が残っている画素の出力値が保持される。この保持された画像がホワイトポイントの初期位置の左側に示すヒストグラム部のデータに相当する。ＷＢ調整後に入力画像のビット数を超えた画素の出力値については、保持されずに捨てられることとなる。

Ｓ４０４０で制御部１０１は、Ｓ４０３０で保持された、瞳分割合成ＲＧＢ出力値でクリップしていない出力値と、Ｓ３１３０で保持されたＨＤＲ高輝度改善ＲＧＢ出力値に基づいて、ヒストグラムを生成する。生成後のヒストグラムは表示部１０６の画面上に表示される。ＨＤＲ高輝度改善ＲＧＢ出力値は、瞳分割合成ＲＧＢの出力値にて階調の残っていなかった部分の瞳分割ＲＧＢ出力値をゲインアップした出力値である。このため、瞳分割合成ＲＧＢの出力値で階調の残っていなかった部分を補った出力値となっている。表示結果は、図２（Ｂ）のグラフ２１０６としてユーザに提示される。ＨＤＲ高輝度改善ＲＧＢ出力値は、ＷＰ指標２１０５に示す初期位置よりも、右側の部分のデータである。Ｓ４０４０の次にＳ４０６０の処理に進む。

Ｓ４０２０からＳ４０５０へ進む場合に制御部１０１は、Ｓ３０８０で保持された瞳分割合成ＲＧＢ出力値からヒストグラムを生成して表示部１０６の画面上に表示する。表示結果は、図２（Ｂ）のグラフ２１０６としてユーザに提示される。入力画像に対してＷＢ調整が行われた後、入力画像のビット数でクリップしていない出力値がそのままヒストグラムに表示される。その次にＳ４０６０の処理に進む。

Ｓ４０６０で制御部１０１は、ヒストグラムからホワイトポイントの位置を算出して表示する処理を行う。表示結果は、図２（Ｂ）のＷＰ指標２１０５によりユーザに提示される。Ｓ４０４０でヒストグラムが表示される場合、ホワイトポイントの右側領域では瞳分割画素を利用した第２の高輝度改善処理が行われる。一方、Ｓ４０５０でヒストグラムが表示される場合、ホワイトポイントの右側領域では瞳分割画素を利用しない第１の高輝度改善処理が行われる。Ｓ４０７０では、表示部１０６の画面上に現像結果である画像が表示される。図２（Ｂ）の画像２１０３に示す例は、現像結果である画像上に、高輝度階調改善の可能な領域が区別されて表示された領域が重畳表示されている状態を示す。

Ｓ４０８０で制御部１０１は、高輝度階調改善領域の表示についての設定情報を取得する。この設定情報は、図２のチェックボックス２１１０におけるチェックの状態を示す情報である。ユーザがチェックボックス２１１０内のラジオボタン２１１１、２１１２、２１１３、２１１４のうち、どれを選択してチェックしたのかを示す情報が取得される。次に図５のＳ４０９０に進み、制御部１０１は、チェックボックス２１１０にてチェックが有るかどうかを判断する。チェックが有ると判断された場合、Ｓ４１００へ移行し、チェックがないと判断された場合にはサブルーチン処理を終了する。

Ｓ４１００で制御部１０１は第２の高輝度改善処理で改善可能な領域のデータを取得する。その際には、Ｓ３１３０で保持されたＨＤＲ高輝度改善ＲＧＢ出力値と対応付けられている画素情報が使用される。Ｓ４１００で取得される領域は、図２の画像２１０３上に示す領域２１１５に対応する第１の画像領域である。Ｓ４１１０で制御部１０１は第１の高輝度改善処理で改善可能な領域のデータを取得する。その際には、Ｓ３０９０で取得された瞳分割合成ＲＧＢ出力値で入力画像の画素ビット数を超える出力値となっている画素情報が使用される。Ｓ４１１０で取得される領域は、図２の画像２１０３上に示す領域２１１６に対応する第２の画像領域である。

Ｓ４１２０で制御部１０１が、Ｓ４０８０で取得した設定情報から、図２（Ｂ）のラジオボタン２１１１が選択されているかどうかを判断する。ラジオボタン２１１１のＯＮ設定は、方法ごとに区別して領域を表示する選択肢に相当する。つまり方法ごとに区別して表示するという選択が行われる場合、Ｓ４１３０へ移行し、当該選択が行われていない場合にはＳ４１４０へ移行する。Ｓ４１３０で制御部１０１は、Ｓ４１００で取得された第１の領域とＳ４１１０で取得した第２の領域を画像上に区別して表示させる処理を行う。表示画面上には第２の高輝度改善処理で改善可能な領域２１１５と、第１の高輝度改善処理で改善可能な領域２１１６が区別されて表示される。本実施形態では、領域の網掛け表示の濃淡で区別する表示方法を行っているが、任意の表示方法を採用可能であり、色分けによる表示方法で領域を区別してもよい。

Ｓ４１４０で制御部１０１は、Ｓ４０８０で取得した設定情報から、図２のラジオボタン２１１２が選択されているかどうかを判断する。ラジオボタン２１１２のＯＮ設定は、現時点で選択されている方法により領域を表示する選択肢に相当する。ラジオボタン２１１２が選択されている場合、Ｓ４１５０へ移行し、ラジオボタン２１１２が選択されていない場合にはＳ４１８０へ移行する。

Ｓ４１５０で制御部１０１は、Ｓ４０８０で取得した設定情報から、図２のラジオボタン２１０９が選択されているかどうかを判断する。ラジオボタン２００９のＯＮ設定は、瞳分割画素を利用する選択肢に相当する。ラジオボタン２００９が選択されている場合、Ｓ４１６０へ移行し、ラジオボタン２００９が選択されていない場合にはＳ４１７０へ移行する。Ｓ４１６０で制御部１０１は、Ｓ４１００で取得した瞳分割画素を利用する方法、つまり第２の高輝度改善処理で改善可能な領域を表示させる処理を行う。この領域として、図２の領域２１１５のみが表示される。一方、Ｓ４１７０で制御部１０１は、Ｓ４１１０で取得した瞳分割画素を利用しない方法、つまり第１の高輝度改善処理で改善可能な領域を表示させる処理を行う。この領域として、図２の領域２１１６のみが表示される。

Ｓ４１８０で制御部１０１は、Ｓ４０８０で取得した設定から、図２（Ｂ）のラジオボタン２１１３が選択されているかどうかを判断する。ラジオボタン２１１３のＯＮ設定は、２つ以上の方法が使える領域を表示する選択肢に相当する。ラジオボタン２１１３が選択されている場合、Ｓ４１９０へ移行し、ラジオボタン２１１３が選択されていない場合にはＳ４２００へ移行する。Ｓ４１２０、Ｓ４１４０、Ｓ４１８０の判断結果から、Ｓ４２００へ移行する場合はラジオボタン２１４が選択され場合である。ラジオボタン２１１４のＯＮ設定は、１つ以上の方法が使える領域を表示する選択肢に相当する。

Ｓ４１９０で制御部１０１は、Ｓ４１８０の判断結果から２種類の高輝度階調改善が可能な領域を表示させる処理を行う。Ｓ４１００で取得された第２の高輝度改善処理で改善可能な領域は、図２の領域２１１５に相当する。また、Ｓ４１１０で取得された第１の高輝度改善処理で改善可能な領域は、図２の領域２１１６の領域に相当する。２つの領域のうち、重なり合っている領域が表示される。

Ｓ４２００で制御部１０１は、Ｓ４１４０およびＳ４１８０の判断結果から高輝度階調改善が可能な１つ以上の領域を表示させる処理を行う。この場合、第２の高輝度改善処理で改善可能である、図２の領域２１１５と、第１の高輝度改善処理で改善可能である、図２の領域２１１６は、区別されずに表示される。Ｓ４１３０、Ｓ４１６０、Ｓ４１７０、Ｓ４２００の処理後、サブルーチン処理を終了する。

図６を参照して、高輝度階調改善が可能な画像領域の表示処理およびヒストグラムについて具体例を説明する。図６（Ａ１）、（Ｂ１）、（Ｃ１）は画像例を示し、図６（Ａ２）、（Ｂ２）、（Ｃ２）は各画像例に対応するヒストグラムを示す。図６（Ａ１）および（Ａ２）は、高輝度側の階調調整が可能な領域を、高輝度階調改善法ごとに区別して表示する場合を示す。図６（Ａ１）の画像にて、第１の領域６０１は、第１の高輝度改善法で調整可能な領域を示す。第２の領域６０２は、第２の高輝度改善法で調整可能な領域を示す。第１の領域６０１および第２の領域６０２は、ユーザが視覚的に区別して認識可能である。図６（Ａ２）に示すヒストグラムの高輝度領域において、第２の高輝度改善法で調整可能な範囲１６０２は、第１の高輝度改善法で調整可能な範囲１６０１よりも広い範囲である。

図６（Ｂ１）および（Ｂ２）は、高輝度側の階調調整が可能な領域を、高輝度階調改善法ごとに区別せずに表示する場合を示す。図６（Ｂ１）の画像上に示す領域６０３は、第１または第２の高輝度改善法で調整可能な領域を示す。つまり、領域６０３は、２つの調整可能な領域について論理和（ＯＲ）演算を行うことで得られる領域に相当する。この場合、領域６０３についてユーザが高輝度階調改善法による相違を視覚的に区別することはできない。図６（Ｂ２）に示すヒストグラムの高輝度領域に示す範囲１６０２は第２の高輝度改善法で調整可能な範囲である。

図６（Ｃ１）および（Ｃ２）は、高輝度側の階調調整が可能な領域として、２つの高輝度階調改善法で重なり合っている領域を表示する場合を示す。図６（Ｃ１）の画像上に示す領域６０４は、第１の高輝度改善法で調整可能な領域と、第２の高輝度改善法で調整可能な領域とが重なり合う領域である。つまり、領域６０４は、２つの調整可能な領域について論理積（ＡＮＤ）演算を行うことで得られる領域に相当する。領域６０４についてユーザが高輝度階調改善法による相違を視覚的に区別することはできない。図６（Ｃ２）に示すヒストグラムの高輝度領域に示す範囲１６０１は第１の高輝度改善法で調整可能な範囲である。

本実施形態によれば、現像時に反映できる高輝度側階調の分布が複数である場合に、階調処理を適応的に行える画像処理装置および画像処理方法を提供することができる。なお、本実施形態では、１つの画像に対して適用できる高輝度階調改善法をユーザが選択する際、高輝度改善処理（階調処理）でそれぞれ操作するヒストグラムを切り替える例を説明した。これに限らず、高輝度階調改善法ごとのヒストグラムを重ねて画面に表示し、ホワイトポイントの設定値、処理による偽色やノイズの出方等に応じて画像処理装置が自動で最適な高輝度階調改善処理を選択するように構成してもよい。またユーザが所望のホワイトポイントの位置にて、自動で最適な高輝度階調改善法を選択した場合、選択された結果を表示する通知領域をＵＩ画面に設けてもよい。１つの画像に対して適用できる高輝度階調改善法については２種類の方法に限定されず、３種類以上の高輝度階調改善法がある場合でも本発明を適用可能である。

［第２実施形態］
次に、本発明の第２実施形態を説明する。
瞳分割型撮像素子によって同時に撮影された露出の異なる画像を用いて、高輝度領域のダイナミックレンジ拡張処理を行う方法がある。この方法では、高輝度領域の階調を表現可能にするため、低露出の画像に対してゲインアップを行っており、ノイズが増加してしまう可能性がある。また、撮像された各画素の各色信号の飽和レベルを算出し、各色信号の飽和レベルを比較して画素値を置換することで、高輝度領域の階調を失うことなく現像する方法がある。この方法では、画素値を推定する際に、推定精度が低いと現像後の画像の色づき等が発生する可能性がある。本実施形態では、ノイズの増加や色づきを抑制しつつ、ダイナミックレンジ拡張処理を行うことを可能とする画像処理装置について説明する。

図７は、本実施形態に係る画像処理装置をデジタルカメラ１１００に適用した場合の機能構成を示すブロック図である。制御部１１０１はＣＰＵ（中央演算処理装置）を備える。ＣＰＵは、デジタルカメラ１１００が備える各ブロックの動作プログラムをＲＯＭ１１０２より読み出し、ＲＡＭ１１０３に展開して実行することによりデジタルカメラ１１００が備える各構成要素の動作を制御する。ＲＯＭ１１０２は書き換え可能な不揮発性メモリであり、各構成要素の動作プログラムと動作に必要なパラメータ等を記憶する。ＲＡＭ１１０３は書き換え可能な揮発性メモリであり、各構成要素の動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１１０４は、被写体からの光を撮像部１１０５に結像する撮像光学系である。撮像部１１０５は、ＣＣＤ（電荷結合素子）型やＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等の撮像素子を備える。本実施形態の撮像素子は瞳分割型撮像素子であり、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する。１つのマイクロレンズの下に配置される主画素は、光学系１０４の異なる瞳領域をそれぞれ通過した光を受光する複数の副画素から構成されている。例えば、主画素が２分割の光電変換部により構成される場合、１つの主画素は２つの副画素から成る。本実施形態においては、各副画素において画像撮影時のシャッター秒時が同じ設定であるものとする。

撮像部１１０５は、撮像光学系を通して形成される光学像を光電変換して得たアナログ画像信号をＡ（アナログ）／Ｄ（デジタル）変換部１１０６に出力する。Ａ／Ｄ変換部１１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を行い、得られたデジタル画像データをＲＡＭ１１０３に出力して記憶させる。

画像処理部１１０７は、ＲＡＭ１１０３に記憶されている画像データに対して所定の画像処理（現像処理、補正処理等）を行う。記録媒体１１０８は着脱可能なメモリカード等である。記録媒体１１０８には、ＲＡＭ１１０３に記憶されている、画像処理部１１０７が処理した画像データや、Ａ／Ｄ変換部１１０６によるＡ／Ｄ変換された画像データ等が記録される。入力部１１０９は操作部材やタッチパネル等を備え、ユーザによる操作指示を受け付け、操作指示信号を制御部１１０１に送信する。

次に、本実施形態の画像処理の詳細を説明する。図８は画像処理部１１０７の構成例を示すブロック図である。図９は本実施形態の画像合成処理を説明するための図である。図１０は画像処理部１１０７の動作を説明するための図である。まず図１０を参照して、撮像部１１０５により取得される入力画像について説明する。

図１０は、２つの異なる露出の画像を取得する手順を説明するための図である。横軸Ｘは画素位置を表し、縦軸は画素値を表す。撮像部１１０５が備える瞳分割型撮像素子の画素配置は、第１実施形態で説明した図１（Ｂ）に示す通りであり、複数の光電変換部によりＡ像、Ｂ像、（Ａ＋Ｂ）像の各画像データを取得可能である。図１０のグラフ線Ｊ２０１ａは、瞳分割画像（Ａ像）を示し、グラフ線Ｊ２０１ｂは瞳分割画像（Ｂ像）を示し、グラフ線４０１ａｂは（Ａ＋Ｂ）像を示す。本発明にて適用可能な瞳分割画像の取得方法には２種類の方法がある。
（１）Ａ像およびＢ像を取得し、（Ａ＋Ｂ）像を生成する第１の方法。
（２）Ａ像（またはＢ像）と（Ａ＋Ｂ）像を取得し、Ｂ像（またはＡ像）を生成する第２の方法。

第１の方法では、例えば、焦点検出用の非加算読み出しモードが設定され、撮像部１１０５から同じ露出状態でＡ像とＢ像のデータがそれぞれ独立に読み出される。画像処理部１１０７はＡ像およびＢ像のデータを加算し、より高い露出状態の（Ａ＋Ｂ）像を生成する。

第２の方法では、例えば撮像部１１０５からＡ像と（Ａ＋Ｂ）像のデータがそれぞれ独立に読み出される。非加算読み出しモードでＡ像の読み出し後にＢ像の読み出しが行われる場合を想定する。この場合、Ｂ像の読み出しの直前にＦＤ（フローティング・ディフュージョン）領域のリセット命令を発行しないことで、Ｂ像の信号をＦＤ領域に転送した時にＡ像の信号と加算することができる。よって、Ｂ像の代わりに（Ａ＋Ｂ）像を読み出すことができる。（Ａ＋Ｂ）像のデータは画素レベルでの信号加算により得られるため、加算時にアンプノイズの影響を受けることはない。Ａ／Ｄ変換後の画像を加算することでは得られない高いＳ／Ｎ比（信号対ノイズ比）の画像を取得できる。

（Ａ＋Ｂ）像に対してＡ像は画素の開口が１段分露出アンダーの画像となるため、画像処理部１１０７にてＡ像と（Ａ＋Ｂ）像を画像合成してダイナミックレンジ拡張処理を行う。これにより、１段分のダイナミックレンジ拡張効果を得ることができる。図１０にてグラフ線Ｊ２０１ａで示すＡ像をアンダー露出画像４０３とし、グラフ線４０１ａｂで示す（Ａ＋Ｂ）像を適正露出画像４０２とする。アンダー露出画像４０３をシェーディング補正することで、補正後のアンダー露出画像４０４が生成される。本実施形態では、生成されたＡ像および（Ａ＋Ｂ）像を入力画像として用いる。

本実施形態では、撮影条件に応じて複数のダイナミックレンジ拡張処理を切り替える制御を行う。図１１から図１６を参照して、第１のＤＲ拡張処理を説明する。図１１は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。複数の副画素から得られる瞳分割画像ごとに瞳強度分布が異なること、および、それに基づくシェーディング特性について詳述する。

図１１は、左側に瞳強度分布例を示し、中央に撮像光学系の模式図を示し、左側に入射角感度の特性例を示す。中央図において左側から順にセンサ瞳面Ｊ１０７、マイクロレンズアレイＪ１０８、画素アレイＪ１０９が配置される。撮像素子を構成する主画素Ｊ１１１は、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。副画素Ｊ１１０ａはＡ像の画素に対応し、副画素Ｊ１１０ｂはＢ像の画素に対応する。瞳強度分布にて、Ｘ軸は画素位置を表し、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布は実線に示すグラフ線Ｊ１０１ａとなり、副画素Ｊ１１０ｂの瞳強度分布は点線で示すグラフ線Ｊ１０１ｂとなる。

瞳強度分布を示すグラフ線Ｊ１０１ａ、Ｊ１０１ｂにそれぞれ対応する像面中央での入射角感度特性を、グラフ線Ｊ１０３ａ、Ｊ１０３ｂで示す。入射角感度特性は角度軸に対する感度を表す特性である。グラフ線Ｊ１０３ａは副画素Ｊ１１０ａの入射角感度特性を示し、グラフ線Ｊ１０３ｂは副画素Ｊ１１０ｂの入射角感度特性を示す。範囲Ｊ１１２は絞り等で制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。

また瞳強度分布を示すグラフ線Ｊ１０１ａ、Ｊ１０１ｂにそれぞれ対応する像面端での入射角感度特性を、グラフ線Ｊ１０５ａ、Ｊ１０５ｂで示す。グラフ線Ｊ１０５ａは副画素Ｊ１１０ａの入射角感度特性を示し、グラフ線Ｊ１０５ｂは副画素Ｊ１１０ｂの入射角感度特性を示す。像面端と像面中央とで結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため像面端では、副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量の方が多くなる。

図１２を参照して、シェーディング特性を説明する。横軸Ｘは像面上の画素位置を表し、縦軸は画素値を表す。図１２のシェーディング特性において、グラフ線Ｊ２０１ａは副画素Ｊ１１０ａのシェーディング特性を示し、グラフ線Ｊ２０１ｂは副画素Ｊ１１０ｂのシェーディング特性を示す。図１１の像面中央の位置は、図１２にてＸ＝０に対応し、図１１の像面端の位置は、図１２にてＸ＝５００に対応する。

図１３は、図１１の副画素Ｊ１１０ａとＪ１１０ｂにより取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する処理を説明するための図である。座標軸の設定については図１２と同じである。グラフ線Ｊ３０３は、副画素Ｊ１１０ｂを適正露出にして撮像した場合の瞳分割画像を表す。副画素Ｊ１１０ａを１段（１ＥＶ）アンダー露出にして撮像した瞳分割画像を、グラフ線Ｊ３０２で表す。それぞれ図１２のシェーディング特性の逆特性に基づくシェーディング補正係数として乗算することでシェーディング補正が行われる。つまり、Ｊ３０３はＪ３０５のように補正され、Ｊ３０２はＪ３０４のように補正される。

図１４はシェーディング補正係数を例示する。横軸Ｘは画素位置を表し、縦軸はシェーディング補正係数値を表す。グラフ線Ｊ４０１ａは副画素Ｊ１１０ａの瞳分割画像に適用され、グラフ線Ｊ４０１ｂは副画素Ｊ１１０ｂの瞳分割画像に適用される。最終的には、図１３のグラフ線Ｊ３０５で示す適正露出画像と、グラフ線Ｊ３０４で示すアンダー露出画像が取得され、像面の全面で１段分（１ＥＶ分）の露出差を得ることができる。異なる瞳分割画像はそれぞれシェーディング補正が行われた後に、ダイナミックレンジ拡張合成処理が行われる。

次に、図８から図１０を参照して、第１のＤＲ拡張処理に係わる画像処理部１１０７の構成と動作を説明する。アンダー露出画像の入力部が取得する第１の画像データ１２０１（図８）は、副画素Ｊ１１０ａ、Ｊ１１０ｂ（図１１）のうち一方の画素から取得されるアンダー露出画像（Ａ像またはＢ像に対応する瞳分割画像）である。また、適正露出画像の入力部が取得する第２の画像データ１２０２（図８）は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像データである。

図８のシェーディング補正部１２０３は、分割瞳のケラレ量ムラによる明暗ムラを補正する。例えば、図１０のアンダー露出画像（グラフ線４０３）のデータに対して、図１４のシェーディング補正係数（グラフ線Ｊ４０１ａ）を乗算することで、シェーディング補正が行われる。このシェーディング補正に用いるシェーディング補正係数のデータは、図７のＲＯＭ１１０２から読み出される。

図８のダイナミックレンジ拡張部（以下、ＤＲ拡張部という）１２０４は、図１０の補正後のアンダー露出画像（グラフ線４０４）と、適正露出画像（グラフ線４０２）を画像合成して、ＤＲ拡張処理を行う。すなわち、階調表現レンジの拡張された合成画像が生成される。ＤＲ拡張部１２０４は、被写体の明るさに応じて、補正後のアンダー露出画像（詳細には、後述のゲインアップ後のアンダー露出画像）と適正露出画像４０２とを合成して合成画像を生成する。図９を参照して具体例を説明する。

図９は、ＤＲ拡張部１２０４の動作を説明するための図である。縦軸は画素値、横軸は被写体の明るさを表す。被写体の明るさは、例えばシェーディング補正後のアンダー露出画像の画素値を参照することで取得できる。グラフ線３０１は補正後のアンダー露出画像を表し、グラフ線３０３は適正露出画像を表す。閾値ＴＨ２は画素の飽和レベルに相当する。撮像部１１０５が明るい被写体を適正露出で撮像した場合、画素値は閾値ＴＨ２でクリップされる。閾値ＴＨ１は、閾値ＴＨ２に対応する被写体の明るさを示す。点線で示すグラフ線３０２は補正後のアンダー露出画像（グラフ線３０１）を１段ゲインアップした後のアンダー露出画像を表す。補正後のアンダー露出画像は適正露出より１段アンダーの画像であり、１段のゲインアップによって、適正露出画像３０３と明るさを合わせることができる。

ＤＲ拡張部１２０４は、補正後のアンダー露出画像（グラフ線３０１）と、適正露出画像（グラフ線３０３）を比較して、領域ごとに以下の処理を行う。
・輝度に基づき、差分絶対値和等を利用して最も類似している画素位置からシフト量を算出する演算処理。
・算出されたシフト量を用いて位置合わせを行う処理。

図８のＤＲ拡張部１２０４内に示す位置補正部１２０４ａは、算出されたシフト量を用いて位置合わせ処理を実行する。判定部１２０４ｂは、所定の画素位置における被写体の明るさを閾値（図９：ＴＨ１）と比較する。判定部１２０４ｂは、所定の画素位置における被写体の明るさが閾値以上であるか否かを判定し、判定結果を選択部１２０４ｃに出力する。選択部１２０４ｃは、判定部１２０４ｂの判定結果に応じて補正後のアンダー露出画像（グラフ線３０１）と適正露出画像（グラフ線３０３）のいずれかを選択する。つまり、選択部１２０４ｃは、被写体の明るさが閾値未満である場合、適正露出画像を選択し、被写体の明るさが閾値以上である場合、補正後のアンダー露出画像を選択する。そして、ＤＲ拡張部１２０４は、選択部１２０４ｃにより補正後のアンダー露出画像が選択された場合、補正後のアンダー露出画像３０１に対してゲインアップ処理を行う。被写体の明るさが閾値未満である画素位置では、適正露出画像のデータが出力され、それ以外の画素位置ではゲインアップ処理後のアンダー露出画像（図９：グラフ線３０２）のデータが出力される。ＤＲ拡張部１２０４はＤＲ拡張された画像データを、ＷＢ（ホワイトバランス）調整部１２０５に出力する。

以下、第１のＤＲ拡張処理を説明する。この処理は、ＲＯＭ１１０２に格納されているプログラムをＲＡＭ１１０３に展開し、制御部１１０１のＣＰＵが実行することにより実現される。
［手順１］ ＤＲ拡張部１２０４は、シェーディング補正部１２０３から補正後のアンダー露出画像（図９：グラフ線３０１）のデータを取得する。
［手順２］ ＤＲ拡張部１２０４は、適正露出画像入力部２０５を介して、適正露出画像（図９：グラフ線３０３）のデータを取得する。
［手順３］ 位置補正部１２０４ａは、所定の画素位置における補正後のアンダー露出画像と適正露出画像に対して位置合わせを行う。
［手順４］ 判定部１２０４ｂは、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。被写体の明るさが閾値以上である場合、次の［手順５］に進み、閾値未満である場合には［手順６］に進む。
［手順５］ 選択部１２０４ｃは、取得した補正後のアンダー露出画像および適正露出画像のうち、補正後のアンダー露出画像を選択する。
［手順６］ 選択部１２０４ｃは、取得した補正後のアンダー露出画像および適正露出画像のうち、適正露出画像を選択する。
［手順７］ ＤＲ拡張部１２０４は、［手順５］、［手順６］で選択された画像データに基づいて合成画像を生成する。このとき、被写体の明るさが閾値以上である画素位置（すなわち、選択部１２０４ｃにより補正後のアンダー露出画像が選択された場合）にて、補正後のアンダー露出画像３０１をゲインアップする処理が実行される。ゲインアップ後のアンダー露出画像（図９：グラフ線３０２）が生成される。

次に、本実施形態の第２のＤＲ拡張処理について詳述する。図８の画像処理部１１０７は、アンダー露出画像の入力部からアンダー露出画像（第１の画像データ）１２０１を取得し、適正露出画像入力部から適正露出画像（第２の画像データ）１２０２を取得する。ＷＢ調整部１２０５と信号置換部１２０６が用いられる。ＷＢ調整部１２０５は、色信号の各々の信号値にホワイトバランス係数（ＷＢ係数と記す）を乗算する。ＷＢ調整部１２０５は色信号のレベルを調整する。例えばグレー色の被写体画像を例にすると、画像信号は各色信号のレベルが揃ったグレー色の信号として出力される。ここでは、第２の画像データの一部領域から色信号の信号値を抽出してＷＢ係数を求め、撮像部１１０５が第２の画像データとともにＷＢ係数を画像処理部１１０７に送るものとする。なお、撮像部１１０５が、測光部の測光結果等に基づく公知の方法によってＷＢ係数を求めてもよい。ＷＢ係数は、色信号ごとに算出される、各色信号に対するゲイン量を示す値である。色信号の信号値にＷＢ係数を乗算すると、グレー色の被写体画像において各色信号が同一の信号値となる。撮像部１１０５により第２の画像データとともにＷＢ係数を画像処理部１１０７に送る処理以外の方法として、標準的な光源下の撮影におけるＷＢ係数を予め画像処理部１１０７に設定してもよい。さらには、ユーザが入力した色温度に基づいて、ＷＢ調整部１２０５がＷＢ係数を算出してもよい。あるいは、ＷＢ調整部１２０５は、第２の画像データに付加されたＷＢ係数を用いることなく、現像の際にユーザが指定した方法でＷＢ係数を算出してもよい。この場合、ユーザの操作入力は入力部１１０９が受け付けるものとする。図８に例示する２つのＷＢ調整部１２０５は同等の処理を行うが、これらのＷＢ調整部１２０５を１つにまとめた構成した実施形態も可能である。

図１５を参照して、ＷＢ調整部１２０５が実行するＷＢ調整処理の一例を説明する。図１５の縦軸は、各色信号（Ｒ，Ｇ，Ｂ）の信号値の大きさを示し、ＲＡＷデータとＷＢ調整後のデータを比較して示している。第２の画像データは色信号Ｒ，Ｇ，およびＢを有しており、撮像素子（イメージセンサ）のセンサ飽和値２１を示す。センサ飽和値２１は撮像素子の分光感度特性、撮像部１１０５の処理精度、および所定の閾値によって定まる色信号の信号値の上限値である。なお、図示の例では、各色信号についてセンサ飽和値２１を同一とするが、センサ飽和値２１は色信号ごとに異なっていてもよい。

図１５にて、ＷＢ調整部１２０５がＷＢ係数を乗算した結果をＷＢ調整後の信号値として右側に例示する。ＷＢ係数の乗算によって、色信号ごとの上限値が変化する。ＲＡＷデータでは、色信号Ｒ，Ｇ，およびＢの各信号値が揃っているが、ＷＢ調整後のデータは色信号ごとに信号値が異なる。図１５の例では、色信号Ｒ（２３参照）に係るＷＢ係数が”２”、色信号Ｂ（２４参照）に係るＷＢ係数が”１．５”、色信号Ｇ（２５参照）のＷＢ係数が”１”である。つまり、色信号Ｒに係る飽和レベル２３はセンサ飽和値２１の２倍となる。色信号Ｂに係る飽和レベル２４はセンサ飽和値２１の１．５倍となる。色信号Ｇに係る飽和レベル２５はセンサ飽和値２１と等しい。

図１６は、図８の信号置換部１２０６が実行する置換処理の一例を説明するためのフローチャートである。以下の処理では、ＷＢ調整後の信号値において、色信号Ｇの飽和レベルが最小であり、色信号Ｒの飽和レベルが最大又は２番目であるものとして説明を行う。このように、色信号における飽和レベルを規定すると、撮像部１１０５の特性によって起こりえない処理を省いて処理を高速化できる。

図１６（Ａ）にて信号置換部１２０６は、第２の画像データにおいて色信号ごとの飽和レベルを算出する（Ｓ１）。例えば、第２の画像データに応じてセンサ飽和値２１（図１５）が算出される。そして、信号置換部１２０６は、ＷＢ調整部１２０５で用いられるＷＢ係数をセンサ飽和値２１に乗算する。色信号Ｒの飽和レベル２３の値を“Ｍｒ”、色信号Ｂの飽和レベル２４の値を“Ｍｂ”、色信号Ｇの飽和レベル２５の値を“Ｍｇ”と表記する。続いて、信号置換部１２０６は、第２の画像データにおいて第１番目の画素の信号値（色信号値）である、ｒ（赤）、ｇ（緑）、およびｂ（青）を取得する（Ｓ２）。色補間処理においてデベイヤー処理が事前に行われていない場合には、信号置換部１２０６は不足分の色信号値を周囲の画素を参照して算出する。

次に、信号置換部１２０６は、第２の画像データの画素ごとにＳ３、Ｓ４、Ｓ６のステップで示す判定処理を行う。まず、Ｓ３で信号置換部１２０６は、色信号Ｒの飽和レベルＭｒと色信号Ｂの飽和レベルＭｂとを比較し、「飽和レベルＭｂ＜飽和レベルＭｒ」であるか否かを判定する。「飽和レベルＭｂ＜飽和レベルＭｒ」である場合（Ｓ３において、Ｙｅｓ）、Ｓ４の処理に進む。また、「飽和レベルＭｂ≧飽和レベルＭｒ」である場合（Ｓ３において、Ｎｏ）にはＳ６の処理に進む。

Ｓ４で信号置換部１２０６は、色信号値ｂが飽和レベルＭｂに到達し（つまり、Ｍｂ≦ｂ）、かつ、色信号値ｒが色信号値ｂより大きい（つまり、ｂ＜ｒ）か否かを判定する。「飽和レベルＭｂ≦色信号値ｂ」、かつ「色信号値ｂ＜色信号値ｒ」である場合（Ｓ４において、Ｙｅｓ）、Ｓ５の処理に進む。「飽和レベルＭｂ＞色信号値ｂ」、または「色信号値ｂ≧色信号値ｒ」である場合（Ｓ４において、Ｎｏ）、Ｓ８の処理に進む。Ｓ５で信号置換部１２０６は、色信号値ｂ（置換対象）を色信号値ｒ（置換元）で置換する。つまり、信号置換部１２０６は、「信号値ｂ＝信号値ｒ」に設定する。そしてＳ８に進む。

Ｓ６で信号置換部１２０６は、色信号値ｒが飽和レベルＭｒに到達し（つまり、Ｍｒ≦ｒ）、かつ、色信号値ｂが色信号値ｒより大きい（つまり、ｒ＜ｂ）か否かを判定する。「飽和レベルＭｒ≦色信号値ｒ」、かつ「色信号値ｒ＜色信号値ｂ」である場合（Ｓ６において、Ｙｅｓ）、Ｓ７の処理に進む。「飽和レベルＭｒ＞色信号値ｒ」、または「色信号値ｒ≧色信号値ｂ」である場合（Ｓ６において、Ｎｏ）、Ｓ８の処理に進む。Ｓ７で信号置換部１２０６は、色信号値ｒを色信号値ｂで置換する。つまり、信号置換部１２０６は、「信号値ｒ＝信号値ｂ」に設定する。そしてＳ８に進む。

Ｓ８で信号置換部１２０６は、第１の画像データを用いて置換候補値を算出する。つまり、色信号値ｇを置換する置換候補値（ｇ^＊と記す）が算出される。置換候補値ｇ^＊の算出処理（図１６（Ｂ）のサブルーチン）の詳細については後述する。続いて、信号置換部１２０６は、色信号値ｇが飽和レベルＭｇに到達し（つまり、Ｍｇ≦ｇ）、かつ置換候補値ｇ^＊が色信号値ｇより大きい（つまり、ｇ＜ｇ^＊）か否かを判定する（Ｓ９）。「飽和レベルＭｇ≦色信号値ｇ」、かつ「色信号値ｇ＜置換候補値ｇ^＊」である場合（Ｓ９において、Ｙｅｓ）、Ｓ１０の処理に進む。「飽和レベルＭｇ＞色信号値ｇ」、または「色信号値ｇ≧置換候補値ｇ^＊」である場合（Ｓ９において、Ｎｏ）、Ｓ１１の処理に移行する。

Ｓ１０で信号置換部１２０６は、色信号値ｇを置換候補値ｇ^＊で置換する。つまり、信号置換部１２０６は「色信号値ｇ＝置換候補値ｇ^＊」に設定する。次にＳ１１で信号置換部１２０６は、第２の画像データの全ての画素について置換処理が終了したか否かを判定する。信号置換部１２０６は、最終画素まで置換処理が終了していないと判定した場合（Ｓ１１において、Ｎｏ）、Ｓ２の処理に戻る。次の位置の画素について色信号値ｒ，ｇ，およびｂを取得して処理が続行する。一方、最終画素まで置換処理が終了したと判定された場合（Ｓ１１において、Ｙｅｓ）、信号置換部１２０６は、第２の画像データに係る置換処理を終了する。

図１６（Ｂ）を参照して、Ｓ８の算出処理について説明する。
まず信号置換部１２０６は、シェーディング補正部１２０３が生成したシェーディング補正後のアンダー露出画像３０１のデータを取得する（Ｓ２１）。次に、信号置換部１２０６は、シェーディング補正後のアンダー露出画像の各画素値に対してＷＢ調整を行い、更に各画素値を２倍することで輝度調整を行う（Ｓ２２）。信号置換部１２０６は、置換を行う対象画素と同位置の、輝度調整後の画像の画素値から色差情報を取得する（Ｓ２３）。次に、信号置換部１２０６は、Ｓ２３で取得した色差と色信号値ｒ，ｇ^＊，ｂの色差の差が最小となる色信号値ｇ^＊を求める（Ｓ２４）。図１６（Ａ）のＳ５において色信号値ｂの置換が行われている場合には、置換処理後の色信号値ｂを置換候補値ｇ^＊の算出に用いることになる。つまり置換処理後の色信号値ｂを置換候補値ｇ^＊の算出に用いることで、置換処理後の色信号値ｇの飽和レベルを、色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。

図１６（Ａ）のＳ５において、色信号値ｂの置換を行う前に色信号値ｂの飽和レベルＭｂが飽和レベルＭｒとなるよう正規化した上で、Ｓ８において置換候補値を「ｇ^＊＝（ｒ＋ｂ・Ｍｒ／Ｍｂ）／２」と設定してもよい。飽和レベルＭｂを飽和レベルＭｒに正規化した色信号値ｂを置換候補値ｇ^＊の算出に用いることで、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。

同様にして、図１６（Ａ）のＳ７において色信号値ｒの置換が行われている場合には、置換処理後の色信号値ｒを置換候補値ｇ^＊の算出に用いることになる。つまり置換処理後の色信号値ｒを置換候補値ｇ^＊の算出に用いることで、置換処理後の色信号値ｇの飽和レベルを色信号値ｂおよび置換処理後の色信号値ｒの飽和レベルに統一することができる。この場合も、Ｓ７において色信号値ｒの置換を行う前に色信号値ｒの飽和レベルＭｒが飽和レベルＭｂとなるよう正規化した上で、Ｓ８において置換候補値を「ｇ^＊＝（ｂ＋ｒ・Ｍｒ／Ｍｂ）／２」と設定してもよい。

図１６における置換候補値ｇ^＊の算出方法については、上記の方法（平均値）に限定されない。例えば、置換候補値として「ｇ^＊＝ｒ・ｂ／（ｒ＋ｂ）」と設定する方法がある。あるいは、色信号値ｒまたは色信号値ｂの大きい方を選択する大値選択によって求める方法がある。ただし、置換候補値が「ｇ^＊＞＞色信号値ｒ」または「ｇ^＊＞＞色信号値ｂ」となりうる算出方法を採用することもできる。この場合には、Ｓ１０において色信号値ｒまたは色信号値ｂの小さい方に対し、「置換候補値ｇ^＊−色信号値ｇ」に所定の係数を乗算した値を加算する処理が行われる。色信号値ｇに加算した値を他の信号値にも加算することで、置換による色比の変化を抑制できる。

図１７を参照して、図１６で説明した置換処理によって生成された置換処理後の第２の画像データを具体的に説明する。図１７において、縦軸は信号値（つまり、色信号値）の大きさを示す。左側にＷＢ調整後のデータを示し、右側にＤＲ拡張後のデータを示す。図１７（Ａ）はＷＢ調整後において、色信号Ｒ，Ｇ，およびＢの全てが飽和レベルに到達している状態を示す図である。図１７（Ｂ）はＷＢ調整後において色信号ＧおよびＢが飽和レベルに到達している状態を示す図である。図１７（Ｃ）はＷＢ調整後において色信号ＲおよびＧが飽和レベルに到達している状態を示す図である。図１７（Ｄ）はＷＢ調整後において色信号Ｇのみが飽和レベルに到達している状態を示す図である。

図１７（Ａ）に示す例では、ＷＢ調整後の色信号Ｒ，Ｇ，およびＢの信号値の全てがそれぞれ飽和レベル２３、２５、および２４に到達している。色信号Ｒ，Ｇ，およびＢについて、図１６で説明した置換処理が行われ、Ｓ５にて色信号Ｂが色信号Ｒで置換される。さらに、Ｓ１０にて色信号Ｇが置換候補値ｇ^＊で置換される。この結果、ＤＲ拡張された色信号Ｒ，Ｇ，およびＢの信号値は飽和レベル２３に達することになる。

図１７（Ｂ）に示す例では、ＷＢ調整後の色信号ＧおよびＢの信号値がそれぞれ飽和レベル２５および２４に到達している。色信号Ｒ，Ｇ，およびＢについて、図１６で説明した置換処理が行われ、Ｓ４にて、色信号Ｒが色信号Ｂより小さいので、色信号Ｂの置換は行われない。一方、Ｓ１０では色信号Ｇが置換候補値ｇ^＊で置換される。この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となる。置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。

図１７（Ｃ）に示す例では、ＷＢ調整後の色信号ＲおよびＧの信号値がそれぞれ飽和レベル２３および２５に到達している。色信号Ｒ，Ｇ，およびＢについて、図１６で説明した置換処理が行われ、Ｓ４にて、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、Ｓ１０では色信号Ｇが置換候補値ｇ^＊で置換される。この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となる。置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。

図１７（Ｄ）に示す例では、ＷＢ調整後の色信号Ｇの信号値が飽和レベル２５に到達している。色信号Ｒ，Ｇ，およびＢについて、図１６で説明した置換処理が行われ、Ｓ４にて、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、Ｓ９では置換候補値ｇ^＊が色信号Ｇの信号値よりも小さいので、色信号Ｇについても置換は行われない。この結果、置換後の色信号Ｒ，Ｇ，およびＢの信号値はそれぞれ、ＷＢ調整後の色信号Ｒ，Ｇ，およびＢの信号値と同一となる。

以上のように本実施形態では、信号置換部１２０６が行う置換処理によって画像の高輝度領域における階調の改善効果が得られる。図８の画像合成部１２０７は、信号置換部１２０６により処理されたデータと、ＷＢ調整部１２０５によるＷＢ調整後のデータを取得して、後述の画像合成処理を実行する。

図１８は、デジタルカメラ１１００に適用した第１実施例の構成を示す機能ブロック図である。図１８に示す各処理部は、制御部１１０１が記録媒体１１０８から読み出した所定のプログラム等をＲＡＭ１１０３に展開して実行し、デジタルカメラ１１００が備える各部が制御部１１０１からの指令にしたがって処理を行うことにより実現される。

第１取得部３０００は、アンダー露出画像（第１の画像データ）を撮像部１１０５から取得する。取得された第１の画像データは、アンダー露出画像の入力部を経由して、画像処理部１１０７に受け渡されて処理される。第２取得部３００１は、適正露出画像（第２の画像データ）を撮像部１１０５から取得する。取得された第２の画像データは、適正露出画像の入力部を経由して、画像処理部１１０７に受け渡されて処理される。

第１のＤＲ拡張処理部３００２は、第１のＤＲ拡張処理を画像処理部１１０７において行い、ＤＲ拡張後の画像（第１の拡張画像という）を生成する。第２のＤＲ拡張処理部３００３は、第２のＤＲ拡張処理を画像処理部１１０７において行い、ＤＲ拡張後の画像（以降、第２の拡張画像という）を生成する。

撮影情報取得部３００４は、第１および第２の画像データに付加された撮影情報を取得する。撮影情報とは、画像を撮影した際の撮像装置の設定情報等である。本実施形態ではＩＳＯ感度の設定値が取得される。これに限定されず、撮影時の設定に関する情報を取得可能である。
ノイズ量算出部３００５は、撮影情報取得部３００４により取得されたＩＳＯ感度を用いて、下記式（１）によりノイズ量を算出する。
ノイズ量 ＝ ＩＳＯ感度÷１００ 式（１）
ノイズ量の値は、０〜１００の範囲内であり、上下限でのクリップを行うものとする。また、ノイズ量の算出処理方法には種々の公知の技術があり、上述した方法に限定するものではない。

ゲイン値算出部３００６は、第１のＤＲ拡張処理にて用いたシェーディング補正係数、およびアンダー露出画像に適用したゲイン値を画素ごとに取得し、それらを乗算したゲイン値を算出する。ゲイン値は１を等倍として算出される。画像合成比率決定部３００７は、ノイズ量算出部３００５で算出されたノイズ量と、ゲイン値算出部３００６で算出されたゲイン値を用いて、下記式（２）、（３）から合成比率を決定する。第１および第２の拡張画像の各合成比率については百分率で表すこととする。
第１の拡張画像の合成比率（％）＝ １００−（ノイズ量×ゲイン値） 式（２）
第２の拡張画像の合成比率（％）＝ １００−（第１の拡張画像の合成比率） 式（３）

画像合成比率決定部３００７が行う計算方法については、上記の計算式に限定されない。第１のＤＲ拡張処理部３００２は、アンダー露出画像に対してゲインアップを行うため、第１の拡張画像のノイズが適正露出画像に対して相対的に多くなる傾向がある。そのため、ＩＳＯ感度が高いほどノイズが増えること、および、ゲインアップの度合いが大きいほどアンダー露出画像のノイズ比率が高いことを考慮して、第１の拡張画像の合成比率が決定される。

画像合成部３００８は、第１のＤＲ拡張処理部３００２、および第２のＤＲ拡張処理部３００３でそれぞれ生成された画像データを入力とし、画像合成比率決定部３００７で決定された合成比率を用いて画像合成処理を行う。合成画像データが生成され、ユーザ操作指示等にしたがって制御部１１０１は画像表示制御や画像ファイルの記録処理等を行う。

図１９のフローチャートを参照して、デジタルカメラ１１００の動作を説明する。Ｓ１００で第１取得部３０００および第２取得部３００１は、第１の画像データおよび第２の画像データをそれぞれ取得する。Ｓ１０１にて第１のＤＲ拡張処理部３００２および第２のＤＲ拡張処理部３００３は、取得された第１の画像データおよび第２の画像データを用いてそれぞれのＤＲ拡張処理を行い、複数のＤＲ拡張画像（第１および第２の拡張画像）を生成する。

Ｓ１０２で撮影情報取得部３００４は、撮影時のＩＳＯ感度の設定値を取得する。Ｓ１０１で取得される第１の画像データと第２の画像データは同時に撮影された画像データであるため、ＩＳＯ感度の設定値は同等となる。Ｓ１０３ではノイズ量算出部３００５が式（１）により、ノイズ量を算出する。Ｓ１０４でゲイン値算出部３００６はゲイン値を取得する。

Ｓ１０５では、画像合成比率決定部３００７が式（２）および（３）を用いて、Ｓ１０２で生成された第１および第２の拡張画像の合成比率を決定する。Ｓ１０６で画像合成部３００８は、Ｓ１０２で生成された第１および第２の拡張画像のデータと、Ｓ１０５で決定された合成比率を用いて画像同士の加重加算処理を行う。第１および第２の拡張画像にはそれぞれ対応する合成比率が乗算された上で加算されることで合成画像データが生成され、生成後の合成画像データが出力される。
以上の構成により、ノイズ増加や色づきの発生を抑えつつ、ＤＲ拡張処理を行うことができる。

本実施形態では、第２のＤＲ拡張処理部は、ＷＢ調整後の画像に対して処理を行うため、第１のＤＲ拡張処理部と同時に適用可能である。よって、２つの処理を併用することでより広いダイナミックレンジ拡張処理を行うことができる。

次に図２０から図２２を参照して、第２実施例の構成を説明する。図２０に示す画像処理部１１０７が、図８に示す画像処理部の構成と相違する箇所は以下の通りである。
・ＤＲ拡張部１２０４は、ＤＲ拡張された画像データをＷＢ調整部１２０５に出力し、ＷＢ調整部１２０５がＷＢ調整を行い、ＷＢ調整後のデータを信号置換部１２０６に出力すること。
・信号置換部１２０６は信号置換処理を行い、その出力が画像処理部１１０７の出力となること。

図２１はデジタルカメラ１１００への適用例を示す機能ブロック図である。第１取得部４０００と第２取得部４００１はそれぞれ、図１８の第１取得部３０００と第２取得部３００１に相当する。また、第１のＤＲ拡張処理部４００２、第２のＤＲ拡張処理部４００３はそれぞれ、図１８の第１のＤＲ拡張処理部３００２、第２のＤＲ拡張処理部３００３に相当する。ただし、第２のＤＲ拡張処理部４００３は、入力画像として第１の拡張画像を用いて、第２のＤＲ拡張処理を画像処理部１１０７において行う。

図２２のフローチャートを参照し、デジタルカメラの動作について第１実施例との相違点を説明する。Ｓ２００では、第１取得部４０００および第２取得部４００１は、第１の画像データおよび第２の画像データをそれぞれ取得する。Ｓ２０１で第１のＤＲ拡張処理部４００２は、第１の拡張画像のデータを生成する。Ｓ２０２で第２のＤＲ拡張処理部４００３は、第１の拡張画像に対して第２のＤＲ拡張処理を行い、ＤＲ拡張画像を出力する。
第１および第２のＤＲ拡張処理部を用いて、より広いダイナミックレンジ拡張処理を行うことができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

[適用例]
次に第１実施形態、第２実施形態を撮像装置に適用した場合の例を説明する。
図２３はデジタルカメラ１の一例を示す背面斜視図である。表示部２８はカメラ本体部の背面に設けられ、撮像された画像や各種情報を表示する。接眼ファインダ１６はフォーカシングスクリーンを観察することで、レンズ装置を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダである。

モード切替スイッチ６０は各種モードを切り替えるための操作部材である。電源スイッチ７２はデジタルカメラ１の電源のＯＮおよびＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は選択枠の移動や画像送り等の行うための回転操作部材である。十字キー７４は上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。ＳＥＴボタン７５は押しボタンであり、主に選択項目の決定等に用いられる。ライブビューボタン７６は、ライブビューのＯＮとＯＦＦを切り替えるボタンである。動画撮影モードにおいては、動画撮影（記録）の開始、停止の指示に用いられる。拡大ボタン７７は、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦおよび拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン７８は拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるためのボタンである。再生ボタン７９は撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９が押下されることで再生モードに移行し、記録媒体に記録された画像のうち最新の画像を表示部２８に表示させることができる。蓋２０２は記録媒体を格納するスロットの開閉蓋である。

図２４は、デジタルカメラ１の構成例を示すブロック図である。レンズユニット１５０をカメラ本体部に装着して使用する形態を例示する。レンズユニット１５０はレンズ１５３を備える。撮像光学系は複数枚のレンズから構成されるが、図には一枚のレンズのみ示す。通信端子６はレンズユニット１５０がデジタルカメラ１の本体部と通信を行う為の通信端子である。通信端子１０はデジタルカメラ１の本体部がレンズユニット１５０と通信を行う為の通信端子である。レンズ制御部４は通信端子６，１０を介して本体部のカメラ制御部５０と通信する。レンズ制御部４は絞り駆動回路２を介して絞り１５１の制御を行い、ＡＦ（オートフォーカス）駆動回路３を介して、フォーカスレンズを移動させて焦点調節を行う。

カメラ本体部はクイックリターンミラー（以下、単にミラーという）１２を備える。ミラー１２は、露光、ライブビュー撮影、動画撮影の際にアクチュエータによりアップ状態またはダウン状態に駆動される。ミラー１２は、撮像光学系を通して入射した光束をファインダ１６側と撮像部２２側とに切り替える可動反射部材である。ミラー１２はダウン状態にて、ファインダ１６へと光束を導くよう反射させ、アップ状態で撮像部２２へ光束を導くように待避する。またミラー１２はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部が焦点検出部１１に入射する。焦点検出部１１は、焦点検出処理を行ってデフォーカス量情報をカメラ制御部５０に出力する。カメラ制御部５０は位相差検出方式のＡＦ処理を行い、レンズユニット１５０の焦点調節制御を行う。

ダウン状態のミラー１２で反射された光は、フォーカシングスクリーン１３、ペンタプリズム１４、ファインダ１６へ導かれる。ユーザは、ペンタプリズム１４とファインダ１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像のピント状態や構図を確認できる。ＡＥ（自動露出）センサ１７は、２次元配列された光電変換素子で構成され、レンズユニット１５０を通して取得した光から被写体の輝度を測定する。例えばＡＥセンサ１７は、Ｂａｙｅｒ配列のＲ（ＩＲ）ＧＢ画素の配列となっており、測色や被写体検出、測距等も行うことができる。

シャッタ２１は、カメラ制御部５０の制御指示にしたがって、撮像部２２の露光時間を制御可能なフォーカルプレーンシャッタである。撮像部２２は、図１（Ａ）の撮像部１０８や図７の撮像部１１０５に相当し、光学像を電気信号に変換するＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等を用いた撮像素子を有する。撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する画素構成の瞳分割型撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から取得されるアナログ信号をデジタル信号に変換する。

画像処理部２４は、図７の画像処理部１１０７に相当し、カメラ制御部５０の制御指示にしたがって所定の処理を行う。所定の処理とは、Ａ／Ｄ変換器２３からのデータ、または、メモリ制御部１５からのデータに対して行われる、補正処理、デモザイキング処理、ＷＢ調整処理、ガンマ補正処理等を含む現像処理、色変換処理、符号化・圧縮処理等である。画像処理部２４は、瞳分割型撮像素子から取得される複数の視点画像データを用いて、視差を利用したリフォーカス処理や視点変更処理、ＤＲ拡張処理を行う。さらに、画像処理部２４は、複数の視点画像間の位相差に基づいて像ずれ量を算出する。算出された像ずれ量は画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報に相当する。必要に応じて像ずれ量に対し、撮像素子１１０やレンズ１５３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算することができる。

カメラ制御部５０は、図１（Ａ）の制御部１０１や図７の制御部１１０１に相当し、撮像システムを構成する各部の動作を制御する。例えば、画像処理部２４が所定の演算処理を行うことで得られた演算結果に基づいてカメラ制御部５０は露光制御、焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ処理、ＥＦ（フラッシュプリ発光）処理が行われる。なお、本例ではカメラ制御部５０と画像処理部２４とを別の処理手段とする構成を説明するが、カメラ制御部５０が画像処理プロセッサを有する場合には、１つの処理手段で制御および画像処理を行うことができる。

メモリ制御部１５は、Ａ／Ｄ変換器２３からの出力データ、または画像処理部２４が処理したデータをメモリ３２に記憶する処理を行う。メモリ３２は、Ａ／Ｄ変換器２３によるデジタルデータや、表示部２８に表示するための画像データを格納する。メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５によって読み出され、Ｄ／Ａ変換器１９を介して表示部２８の画面に表示される。表示部２８は、液晶表示パネル等の表示デバイスを備え、カメラ制御部５０の制御指示にしたがって図２のＵＩ画面２００１、２１０１等をユーザに提示する。またスルー画像表示（ライブビュー表示）モードでは、Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号がＤ／Ａ変換器１９においてアナログ変換され、表示部２８に逐次転送されて画像が表示される。

ファインダ内液晶表示部４１は、フォーカシングスクリーン１３とペンタプリズム１４との間に配置され、ファインダ内表示部駆動回路４２により、ＡＦ枠（焦点検出枠）やカメラの設定状態を表すアイコン等を表示する。ファインダ外液晶表示部４３には、ファインダ外表示部駆動回路４４を介して、シャッタ速度や絞り等の設定値が表示される。

不揮発性メモリ５６は、電気的に消去および記憶可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。カメラ制御部５０のＣＰＵは不揮発性メモリ５６に記憶されたプログラムを実行することで、本発明の実施形態の各処理を実現する。システムメモリ５２にはＲＡＭ（Random Access Memory）が用いられる。カメラ制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等がシステムメモリ５２に展開される。システムタイマ５３は各種制御に用いる時間を計測する計時部である。

ユーザは各種の操作部材を用いてカメラ制御部５０に指示が可能である。図２４ではモード切替スイッチ６０、第１シャッタスイッチ６２、第２シャッタスイッチ６４を示す。モード切替スイッチ６０によって切り替えが可能なモードは、静止画記録モード、動画撮影モード、再生モード等である。第１シャッタスイッチ６２は、シャッタボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタスイッチ信号ＳＷ１を発生する。第１シャッタスイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作が開始する。第２シャッタスイッチ６４は、シャッタボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタスイッチ信号ＳＷ２を発生する。第２シャッタスイッチ信号ＳＷ２により、一連の撮影動作が開始する。操作部７０は、その他の操作部材、例えば、表示部２８に表示される種々の機能アイコン、操作オブジェクトを含む。操作オブジェクトは、図２に示すラジオボタンやチェックボックス（２１０８から２１１４）、ＷＰ指標（２００５、２１０５）等であり、指定の画面ごとに適宜機能が割り当てられた各種機能ボタンである。ユーザは、表示部２８に表示されたＵＩ画面を見ながら、操作オブジェクトや操作部材を用いて設定および調整の操作を行うことができる。操作部７０は、図１（Ａ）の操作部１０５や図７の入力部１１０９に相当する。

電源スイッチ７２は、ユーザがカメラ電源のオン・オフ操作に使用する。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量を検出する。電源部３０は、一次電池または二次電池、ＡＣアダプター等からなる。電源制御部８０はカメラ制御部５０の指示にしたがってＤＣ−ＤＣコンバータを制御し、記録媒体２００を含む各部へ電源供給を行う。

記録媒体Ｉ/Ｆ部１８は、メモリカードやハードディスク等の記録媒体２００とのインタフェース部である。撮影された画像データ等は記録媒体Ｉ/Ｆ部１８を介して記録媒体２００に記録される。また記録媒体２００に記録されたデータは、記録媒体Ｉ/Ｆ部１８によりメモリ３２に格納される。記録媒体２００は、図１（Ａ）の外部記憶装置１０４や図７の記録媒体１１０８に相当する。

通信部５４は、無線ＬＡＮ（Local Area Network）やインターネットと接続可能である。通信部５４は撮像部２２による撮像画像データや、記録媒体２００に記録された画像データを送信可能であり、また、外部機器から画像データ等の各種情報を受信可能である。姿勢検知部５５は加速度センサやジャイロセンサ等を有し、重力方向に対するカメラの姿勢を検知する。カメラ制御部５０は姿勢検知部５５により検知された姿勢に基づいて、ユーザがカメラを横に構えて撮影したのか、またはカメラを縦に構えて撮影したのかを判別する。カメラ制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を画像ファイルに付加し、あるいは画像を回転して記録する処理を行う。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 制御部
１０５ 操作部
１０６ 表示部

Claims (11)

1. 撮影された画像データおよび視点の異なる複数の視点画像データを取得する取得手段と、
   前記複数の視点画像データを用いることなく第１の階調処理を行う第１の処理手段と、
   前記複数の視点画像データを用いて第２の階調処理を行う第２の処理手段と、
   前記第１または第２の処理手段により階調処理を行える画像領域、または前記第１および第２の処理手段により階調処理を行える画像領域を出力する制御を行う制御手段と、
   前記制御手段の指示によって、前記第１または第２の階調処理に対応する画像調整に用いる表示画面を変更し、前記第１または第２の処理手段により高輝度階調の改善が可能な画像領域、または前記第１および第２の処理手段により高輝度階調の改善が可能な画像領域を表示する表示手段と、を備え、
   前記制御手段は、前記第１の階調処理に対応する第１の表示画面に切り替える指示と、前記第２の階調処理に対応する第２の表示画面に切り替える指示を前記表示手段に出力し、
   前記表示手段は前記第２の表示画面にて、前記第１または第２の処理手段により高輝度階調の改善が可能な領域を表示する
   ことを特徴とする画像処理装置。
2. 前記第１の処理手段は画像データのホワイトバランス調整を行った後に色信号ごとのレベルを調整することで高輝度階調の改善処理を行い、
   前記第２の処理手段は露出の異なる前記複数の視点画像データを合成することで、ダイナミックレンジの拡張により高輝度階調の改善処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、取得された画像が、撮像光学系の異なる瞳領域をそれぞれ通過して複数の光電変換部で受光された瞳分割画像であると判断した場合、前記第２の階調処理に対応する第２の表示画面に切り替える指示を前記表示手段に出力し、取得された画像が前記瞳分割画像でないと判断した場合、前記第１の階調処理に対応する第１の表示画面に切り替える指示を前記表示手段に出力する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記表示手段は、前記第１または第２の表示画面にて、画像の明るさの分布を表わすヒストグラムを表示し、色信号の値がクリップされる位置を示すホワイトポイントの指標を前記ヒストグラムに表示する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記表示手段は前記第２の表示画面にて、前記第１の処理手段により高輝度階調の改善が可能な第１の画像領域と、前記第２の処理手段により高輝度階調の改善が可能な第２の画像領域とを区別して表示する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の階調処理または前記第２の階調処理を選択する選択手段を備え、
   前記選択手段により前記第１の階調処理が選択された場合、前記表示手段は前記第２の表示画面にて、前記第１の処理手段により高輝度階調の改善が可能な第１の画像領域を表示し、
   前記選択手段により前記第２の階調処理が選択された場合、前記表示手段は前記第２の表示画面にて、前記第２の処理手段により高輝度階調の改善が可能な第２の画像領域を表示する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記表示手段は前記第２の表示画面にて、前記第１および第２の処理手段により高輝度階調の改善が可能な領域を表示する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置と、
   被写体を撮像する撮像素子を備える撮像装置。
9. 前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
   前記各マイクロレンズに対応する前記複数の光電変換部より出力される信号から前記複数の視点画像データが生成されることを特徴とする請求項８に記載の撮像装置。
10. 撮影された画像データおよび視点の異なる複数の視点画像データを取得して複数の画像処理を行う画像処理装置にて実行される画像処理方法であって、
    前記複数の視点画像データを用いることなく第１の階調処理を行う第１の処理工程、および前記複数の視点画像データを用いて第２の階調処理を行う第２の処理工程と、
    前記第１または第２の処理工程により階調処理を行える画像領域、または前記第１および第２の処理工程により階調処理を行える画像領域を出力する制御を制御手段が行う制御工程と、
    前記制御手段の指示によって、前記第１または第２の階調処理に対応する画像調整に用いる表示画面を変更し、前記第１または第２の処理工程により高輝度階調の改善が可能な画像領域、または前記第１および第２の処理工程により高輝度階調の改善が可能な画像領域を表示手段が表示する表示工程と、を有し、
    前記制御工程にて前記制御手段は、前記第１の階調処理に対応する第１の表示画面に切り替える指示と、前記第２の階調処理に対応する第２の表示画面に切り替える指示を前記表示手段に出力し、
    前記表示工程にて前記表示手段は前記第２の表示画面にて、前記第１または第２の処理工程により高輝度階調の改善が可能な領域を表示する
    ことを特徴とする画像処理方法。
11. 請求項１０に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。
    

Images