JP5469769B2 - デジタルカメラの動作方法およびデジタルカメラ - Google Patents

Description

本発明は、デジタルカメラの動作方法およびデジタルカメラに関する技術であり、たとえば、複数の参照画像を合成することによりハイダイナミックレンジ画像を生成するデジタルカメラにおいて、当該参照画像の露出条件算出の際等に適用することができる。

同一の被写体を複数の露出で撮影することにより複数の参照画像を取得し、当該複数の参照画像を合成することよりハイダイナミックレンジ画像を生成する技術が存在する（たとえば、特許文献１参照）。

特許文献１に関する技術では、カメラの自動露出機能で得られた露出を基準露出として、当該基準露出とその上下露出にて、同一の被写体を複数回撮影している。ここで、特許文献１には、基準露出から上下露出への変化量が同等である旨が開示されている。

特開２００８−１１８３８９号公報

特許文献１のように、基準露出から上下露出への変化量が同等である場合には、撮像される参照画像は、ハイダイナミックレンジ画像生成の観点から有効的なものとなるとは限らない。

また、当該有効的な参照画像を撮像する方法としては、全露出パターンで同一の被写体を撮影する方法が考えられる。しかしながら、このような方法を採用した場合には、当該全露出パターンでの撮影が終了するまでに長時間を要する。したがって、被写体の時間的変化や画角のズレが発生する可能性が高くなり、良質のハイダイナミックレンジ画像を得ることができなくなる。

そこで、本発明は、ハイダイナミックレンジ画像を生成するために使用される参照画像の撮影において、当該生成に有効的な参照画像を必要最低限の撮影回数で取得することができる、デジタルカメラの動作方法およびデジタルカメラを提供することを目的とする。

上記の目的を達成するために、請求項１に記載のデジタルカメラの動作方法は、（Ａ）所定の被写体を撮像することにより、第一の参照画像を得るステップと、（Ｂ）前記第一の参照画像から輝度値の度数分布を取得するステップと、（Ｃ）前記度数分布から特徴量を取得するステップと、（Ｄ）前記特徴量から求められる露出条件で前記所定の被写体を撮像することにより、第二の参照画像を得るステップと、（Ｅ）前記第一の参照画像と前記第二の参照画像とを合成することにより、ダイナミックレンジ画像を生成するステップとを備え、前記ステップ（Ｄ）は、（Ｄ−１）前記第二の参照画像の輝度値に関する特徴量が所望の値となるように、過去に撮像された複数の前記第一の参照画像の各々から得られる複数の前記特徴量と、過去に撮像された複数の前記第一の参照画像の各過去露出条件と、前記所望の値とを用いて、前記露出条件を求めるステップを有する。

また、請求項２に記載のデジタルカメラは、請求項１に記載のデジタルカメラの動作方法を実施する。

本発明では、参照画像の撮像において、撮像される被写体に応じて（換言すれば撮影した画像に応じて）、次に撮像するべき露出条件が適応的に決定することができる。よって、少ない撮像回数で、ハイダイナミックレンジ画像生成の際に使用される有効的な参照画像群を得ることができる。さらに、事前に取得された情報（テーブルの係数）を用いて、適切な露出条件を簡単に求めることができる。

本発明に係るデジタルカメラの内部構成を示すブロック図である。 参照画像から特徴量を取得するまでの動作を説明するための図である。 輝度度数分布を例示する図である。 平滑処理後の輝度度数分布を示す図である。 参照画像のグループ判別動作を説明するための図である。 １枚目の参照画像が第二のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 １枚目の参照画像が第六のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 １枚目の参照画像が第三のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 １枚目の参照画像が第五のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 １枚目の参照画像が第四のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 １枚目の参照画像が第四のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 １枚目の参照画像が第四のグループに属する場合の２枚目以降の参照画像の撮像動作を説明するための図である。 ２枚目以降の参照画像の撮像の際の露出条件算出動作を説明するための図である。 テーブルで規定されている係数を用いた露出条件算出動作を説明するための図である。 過去に撮像された参照画像の露出条件および特徴量を用いた露出条件算出動作を説明するための図である。 係数格納部に格納されるテーブルの一例を示す図である。

以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。

＜実施の形態＞
図１は、本実施の形態に係るデジタルカメラ１００の構成の一例を示すブロック図である。

図１に示すように、デジタルカメラ１００は、撮像部１、画像処理部２、参照画像格納部３およびハイダイナミックレンジ画像生成部４から構成されている。ここで、画像処理部２は、輝度値分布抽出部２１、特徴量抽出部２２、グループ判別部２３、露出条件算出部２４および係数格納部２５から構成されている。

なお、ハイダイナミックレンジ画像生成部４では、同一被写体を異なる露出条件で撮像した複数の参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。本実施の形態では、当該ハイダイナミックレンジ画像生成部４は、デジタルカメラ１００内に配設されている。しかしながら、当該ハイダイナミックレンジ画像の生成は、デジタルカメラ１００外のたとえばパーソナルコンピュータ（ＰＣ）等で実施しても良い。この場合には、デジタルカメラ１００の参照画像格納部３から、所定の参照画像をＰＣが読み出した後、当該読み出した参照画像を合成することにより、ＰＣはハイダイナミックレンジ画像を生成する。

次に、本実施の形態に係るデジタルカメラ１００の動作について説明する。なお、当該デジタルカメラ１００の動作の説明を通じて、デジタルカメラ１００内の各ブロック１〜４，２１〜２５の機能・動作も明らかになる。

＜１枚目の参照画像より特徴量取得＞
まず、図２に示すように、撮像部１は、所定の被写体を、予め設定された所定の露出条件にて撮像する（ステップＳ１）。当該撮像部１における撮像により、１枚目の参照画像（第一の参照画像と把握できる）がデジタルデータとして得られる。当該１枚目の参照画像は、撮像部１から出力され、参照画像格納部３へ送信される（ステップＳ２）。そして、当該１枚目の参照画像は、参照画像格納部３内に格納されると共に、画像処理部２内の輝度値分布抽出部２１へ送信される（ステップＳ２）。

次に、輝度値分布抽出部２１では、１枚目の参照画像を構成する全画素から輝度値を各々抽出する。そして、輝度値分布抽出部２１は、抽出した各輝度値を用いて、図３に例示するような輝度値分布を取得する（ステップＳ３）。図３に例示するように、ステップＳ３で得られる輝度値分布は、折れ線グラフとして表記される。ここで、図３の横軸は輝度値であり、図面右方向に進むに連れて輝度値が高くなる。また、図３の縦軸は度数であり、図面上方向に進むに連れて度数が高くなる。さらに、輝度値分布抽出部２１では、ステップＳ３で求めた輝度値分布の折れ線に対して平滑化処理を施し、図４に示すように平滑処理後の輝度値分布を取得する。

次に、輝度値分布抽出部２１は、図３または図４に示す輝度値分布を、特徴量抽出部２２へ送信する。そして、特徴量抽出部２２では、受信した輝度値分布より特徴量を取得する（ステップＳ４）。ここで、特徴量とは、輝度値分布より得られる統計量である。本実施の形態では、特徴量として、輝度値の平均値（ａｖｅｒａｇｅ）、輝度値の分散値（ｖａｒｉａｎｃｅ）、輝度値の最小極大値（ｌｏｃａｌ ｍａｘ_min）および輝度値の最大極大値（ｌｏｃａｌ ｍａｘ_max）である。ここで、最小極大値とは、輝度値分布における全ての極大値において、輝度値が最小となる極大値である。また、最大極大値とは、輝度値分布における全ての極大値において、輝度値が最大となる極大値である。たとえば、図４に例示する輝度値分布では、点Ａが最小極大値となり、点Ｂが最大極大値となる。

本実施の形態では、当該特徴量から求められる露出条件にて、上記と同じ所定の被写体を撮像することにより、２枚目以降の参照画像（第二の参照画像と把握できる）を得る。以下、２枚目以降の参照画像を得る動作を具体的に説明する。

＜１枚目の参照画像のグループ判別＞
まず、取得した特徴量に基づいて、１枚目の参照画像が複数のグループの内の何れかのグループに属するのかの判別を行う。ここで、各グループには個別に、処理フローが規定されている。当該処理フローは、２枚目以降の参照画像撮像の露出条件を求めるためのフローである。１枚目の参照画像がどのグループに属するかにより、当該処理フローが異なる。

本実施の形態では、複数のグループとして、第一のグループから第七のグループが存在する。ここで、第一のグループには、黒潰れ過多部分を有する参照画像（予め定める領域以上が黒潰れである参照画像）が属する。第二のグループには、アンダー露出の参照画像が属する。第三のグループには、白飛び部分を有するアンダー露出の参照画像が属する。第四のグループには、アンダー露出とオーバ露出との間の露出（ベース露出と称する）の参照画像が属する。第五のグループには、黒潰れ部分を有するオーバ露出の参照画像が属する。第六のグループには、オーバ露出の参照画像が属する。そして、第七のグループには、白飛び過多部分を有する参照画像（予め定める領域以上が白飛びである参照画像）が属する。

なお、本実施の形態では、１枚目の参照画像が上記第二乃至六のグループの何れかに属する場合に、２枚目以降の参照画像撮像のための露出条件を求める。

図５のフローチャートを用いて、１枚目の参照画像のグループ分けの動作について説明する。なお、図５の各大小関係判断フローに示されている数値は一例であり、ユーザにおいて任意の値を採用できる。

特徴量抽出部２２は、１枚目の参照画像の輝度値分布から取得した各特徴量を、グループ判別部２３へと送信する。グループ判別部２３は、受信した１枚目の参照画像の特徴量（輝度値、分散値、最小極大値および最大極大値）を用いた、１枚目の参照画像のグループ判別をスタートする。

グループ判別部２３は、図５に示すように、平均値が「８５」以上であるか否かを判断する（ステップＳ１１）。

平均値が「８５」よりも小さい場合には（ステップＳ１１で「ｎｏ」）、次にグループ判別部２３は、分散値が「１６００」より小さいか否かを判断する（ステップＳ１２）。ここで、分散値が「１６００」より小さい場合には（ステップＳ１２で「ｙｅｓ」）、グループ判別部２３は、１枚目の参照画像が第一のグループに属すると判断する（ステップＧ１）。他方、分散値が「１６００」以上である場合には（ステップＳ１２で「ｎｏ」）、グループ判別部２３は、最大極大値が「２５０」より小さいか否かを判断する（ステップＳ１３）。

最大極大値が「２５０」よりも小さい場合には（ステップＳ１３で「ｙｅｓ」）、次にグループ判別部２３は、当該最大極大値が「１２７．５」以上であるか否かを判断する（ステップＳ１４）。他方、最大極大値が「２５０」以上である場合には（ステップＳ１３で「ｎｏ」）、グループ判別部２３は、１枚目の参照画像が第三のグループに属すると判断する（ステップＧ３）。

なお、最大極大値が「１２７．５」以上である場合には（ステップＳ１４で「ｙｅｓ」）、グループ判別部２３は、１枚目の参照画像が第二のグループに属すると判断する（ステップＧ２）。他方、最大極大値が「１２７．５」よりも小さい場合には（ステップＳ１４で「ｎｏ」）、グループ判別部２３は、１枚目の参照画像が第一のグループに属すると判断する（ステップＧ１）。

ステップＳ１１に話を戻す。平均値が「８５」以上である場合には（ステップＳ１１で「ｙｅｓ」）、次にグループ判別部２３は、輝度値が「１７０」より小さいか否かを判断する（ステップＳ１５）。ここで、輝度値が「１７０」より小さい場合には（ステップＳ１５で「ｙｅｓ」）、グループ判別部２３は、１枚目の参照画像が第四のグループに属すると判断する（ステップＧ４）。他方、輝度値が「１７０」以上である場合には（ステップＳ１５で「ｎｏ」）、グループ判別部２３は、分散値が「１６００」より小さいか否かを判断する（ステップＳ１６）。

分散値が「１６００」より小さい場合には（ステップＳ１６で「ｙｅｓ」）、グループ判別部２３は、１枚目の参照画像が第七のグループに属すると判断する（ステップＧ７）。他方、分散値が「１６００」以上である場合には（ステップＳ１６で「ｎｏ」）、グループ判別部２３は、最小極大値が「１５」以上であるか否かを判断する（ステップＳ１７）。

最小極大値が「１５」以上である場合には（ステップＳ１７で「ｙｅｓ」）、次にグループ判別部２３は、当該最小極大値が「１２７．５」より小さいか否かを判断する（ステップＳ１８）。他方、最小極大値が「１５」より小さい場合には（ステップＳ１７で「ｎｏ」）、グループ判別部２３は、１枚目の参照画像が第五のグループに属すると判断する（ステップＧ５）。

なお、最小極大値が「１２７．５」より小さい場合には（ステップＳ１８で「ｙｅｓ」）、グループ判別部２３は、１枚目の参照画像が第六のグループに属すると判断する（ステップＧ６）。他方、最小極大値が「１２７．５」以上である場合には（ステップＳ１８で「ｎｏ」）、グループ判別部２３は、１枚目の参照画像が第七のグループに属すると判断する（ステップＧ７）。

＜１枚目の参照画像が第二のグループに属する場合＞
次に、１枚目の参照画像が第二のグループに属する場合における、２枚目以降の参照画像（第二の参照画像）の撮像動作について図６を用いて説明する。

ここで、図６のステップＧ２１〜Ｇ２４のフローを１度実施或いは複数回繰り返し実施することにより、オーバ露出の参照画像または黒潰れ部分を含むオーバ露出の参照画像を得ることが可能となる。また、図６のステップＧ２６〜Ｇ２８のフローを１度実施或いは複数回繰り返し実施することにより、ベース露出の参照画像を得ることが可能となる。

まず、輝度値の平均値が予め設定された第一の値（任意の値を採用できるが、ここでは「１７０」）となるような露出条件で、上記所定の被写体を撮像する（ステップＧ２１）。当該撮像により、２枚目の参照画像を得る。また、当該第一の値は、たとえば、オーバ露出方向のグループと判断する図５のステップＳ１５の値を目安とされ決定される。ステップＧ２１の詳細な動作は以下の通りである。

まず、露出条件算出部２４は、輝度値の平均値が「１７０」（より具体的には、「１７０」または「１７０」を超える輝度値の平均値で最も「１７０」に近い輝度値の平均値）となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。

なお、露出条件を段階的に変化させた場合には、輝度値の平均値は離散的に変化する。たとえば、輝度値の平均値が「１７０」となる露出条件を算出できた場合には、露出条件算出部２４は採用する露出条件を、当該算出した露出条件に決定する。これに対して、ｎ番目の露出条件の場合に輝度値の平均値が「１６０」で、ｎ＋１番目の露出条件の場合に輝度値の平均値が「１６８」で、ｎ＋２番目の露出条件の場合に輝度値の平均値が「１７４」で、ｎ＋３番目の露出条件の場合に輝度値の平均値が「１７９」であったとする。このような場合には、露出条件算出部２４は、採用する露出条件を、「１７０」を超える輝度値の平均値で最も「１７０」に近い輝度値の平均値「１７４」の露出条件である、ｎ＋２番目の露出条件に決定する。

露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する。当該撮像により、２枚目の参照画像が取得される。なお、取得された参照画像は、ステップＳ２と同様に、参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、２枚目の参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、２枚目の参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ２２）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、図５と同様のフローにより、２枚目の参照画像が属するグループの判別を行う（ステップＧ２３）。

ステップＧ２３において、２枚目の参照画像が第七のグループに属すると判断されたとする。この場合には、デジタルカメラ１００は、ステップＧ２１のフローに戻り、３枚目の参照画像を撮像し、３枚目の参照画像に対してステップＧ２２，Ｇ２３を実施する。

ステップＧ２３において、２枚目の参照画像が第二乃至四のグループに属すると判断されたとする。この場合には、デジタルカメラ１００は、撮像部１の露出の上昇が不可能か否かを判断する（ステップＧ２４）。露出の上昇が不可能と判断された場合には（ステップＧ２４で「ｙｅｓ」）、これ以降の参照画像の取得を行わず、動作は終了する。他方、露出の上昇が可能と判断された場合には（ステップＧ２４で「ｎｏ」）、デジタルカメラ１００は、ステップＧ２１のフローに戻り、３枚目の参照画像を撮像し、３枚目の参照画像に対してステップＧ２２，Ｇ２３を実施する。露出上昇可能と判断された場合には、オーバ露出の参照画像または黒潰れ部分を含むオーバ露出の参照画像を取得できるまで、ステップＧ２１〜Ｇ２４を繰り返し実施する。

ステップＧ２３において、２枚目の参照画像が第五または六のグループに属すると判断されたとする。この場合には、今までに、上記と同じ被写体のベース露出である参照画像を未撮影か否かを、デジタルカメラ１００は判断する（ステップＧ２５）。既にベース露出の参照画像を撮影し取得している場合には（ステップＧ２５で「ｎｏ」）、これ以降の参照画像の取得を行わず、動作は終了する。他方、未だ、ベース露出の参照画像を撮影していない場合には（ステップＧ２５で「ｙｅｓ」）、ベース露出の参照画像取得のために、ステップＧ２６に移行する。

まず、輝度値の平均値が予め設定された第二の値（任意の値を採用できるが、ここでは「１２７．５」）となるような露出条件で、上記所定の被写体を撮像する（ステップＧ２６）。当該撮像により、参照画像を得る。また、当該第二の値は、たとえば、アンダー露出方向のグループと判断する図５のステップＳ１１の値とオーバ露出方向のグループと判断する図５のステップＳ１５の値との中間値を目安とされ決定される。ステップＧ２６の詳細な動作は以下の通りである。

まず、露出条件算出部２４は、輝度値の平均値が「１２７．５」（より具体的には、「１２７．５」または「１２７．５」を超える輝度値の平均値で最も「１２７．５」に近い輝度値の平均値）となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する。当該撮像により、参照画像が取得される。なお、取得された参照画像は、ステップＳ２と同様に、参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、ステップＧ２６で取得した参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、ステップＧ２６で取得した参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ２７）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、図５と同様のフローにより、ステップＧ２６で取得された参照画像が第四のグループに属するか否かを判別する（ステップＧ２８）。

ステップＧ２８において、ステップＧ２６で取得された参照画像が第四のグループに属さないと判断されたとする（ステップＧ２８で「ｎｏ」）。この場合には、デジタルカメラ１００は、ステップＧ２６のフローに戻り、さらに参照画像を撮像し、撮像した参照画像に対してステップＧ２７，Ｇ２８を実施する。ベース露出の参照画像が取得されるまで、ステップＧ２６〜Ｇ２８を繰り返し実施する。

ステップＧ２８において、ステップＧ２６で取得された参照画像が第四のグループに属すると判断したとする（ステップＧ２８で「ｙｅｓ」）。この場合には、これ以降の参照画像の取得を行わず、動作は終了する。

図６のフロー結果、アンダー露出の参照画像、オーバ露出の参照画像（または、黒潰れ部分を含むオーバ露出の参照画像）およびベース露出の参照画像が得られたとする。この場合には、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されているこれらの参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。

＜１枚目の参照画像が第六のグループに属する場合＞
次に、１枚目の参照画像が第六のグループに属する場合における、２枚目以降の参照画像（第二の参照画像）の撮像動作について図７を用いて説明する。

ここで、図７のステップＧ６１〜Ｇ６４のフローを１度実施或いは複数回繰り返し実施することにより、アンダー露出の参照画像または白飛び部分を含むアンダー露出の参照画像を得ることが可能となる。また、図７のステップＧ６６〜Ｇ６８のフローを１度実施或いは複数回繰り返し実施することにより、ベース露出の参照画像を得ることが可能となる。

まず、輝度値の平均値が予め設定された第一の値（任意の値を採用できるが、ここでは「８５」より小さい値で、当該「８５」に最も近い値）となるような露出条件で、上記所定の被写体を撮像する（ステップＧ６１）。当該撮像により、２枚目の参照画像を得る。また、当該第一の値は、たとえば、アンダー露出方向のグループと判断する図５のステップＳ１１の値を目安とされ決定される。ステップＧ６１の詳細な動作は以下の通りである。

まず、露出条件算出部２４は、輝度値の平均値が「８５」よりも小さい値で当該「８５」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。

なお、露出条件を段階的に変化させた場合には、輝度値の平均値は離散的に変化する。たとえば、ｎ番目の露出条件の場合に輝度値の平均値が「８０」で、ｎ＋１番目の露出条件の場合に輝度値の平均値が「８４」で、ｎ＋２番目の露出条件の場合に輝度値の平均値が「８９」であったとする。このような場合には、露出条件算出部２４は、採用する露出条件を、「８５」より小さい値で当該「８５」に最も近い値の平均値「８４」の露出条件である、ｎ＋１番目の露出条件に決定する。

露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する。当該撮像により、２枚目の参照画像が取得される。なお、取得された参照画像は、ステップＳ２と同様に、参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、２枚目の参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、２枚目の参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ６２）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、図５と同様のフローにより、２枚目の参照画像が属するグループの判別を行う（ステップＧ６３）。

ステップＧ６３において、２枚目の参照画像が第一のグループに属すると判断されたとする。この場合には、デジタルカメラ１００は、ステップＧ６１のフローに戻り、３枚目の参照画像を撮像し、３枚目の参照画像に対してステップＧ６２，Ｇ６３を実施する。

ステップＧ６３において、２枚目の参照画像が第四乃至六のグループに属すると判断されたとする。この場合には、デジタルカメラ１００は、撮像部１の露出の下降が不可能か否かを判断する（ステップＧ６４）。露出の下降が不可能と判断された場合には（ステップＧ６４で「ｙｅｓ」）、これ以降の参照画像の取得を行わず、動作は終了する。他方、露出の下降が可能と判断された場合には（ステップＧ６４で「ｎｏ」）、デジタルカメラ１００は、ステップＧ６１のフローに戻り、３枚目の参照画像を撮像し、３枚目の参照画像に対してステップＧ６２，Ｇ６３を実施する。露出下降可能と判断された場合には、アンダー露出の参照画像または白飛び部分を含むアンダー露出の参照画像を取得できるまで、ステップＧ６１〜Ｇ６４を繰り返し実施する。

ステップＧ６３において、２枚目の参照画像が第二または三のグループに属すると判断されたとする。この場合には、今までに、上記と同じ被写体のベース露出である参照画像を未撮影か否かを、デジタルカメラ１００は判断する（ステップＧ６５）。既にベース露出の参照画像を撮影し取得している場合には（ステップＧ６５で「ｎｏ」）、これ以降の参照画像の取得を行わず、動作は終了する。他方、未だ、ベース露出の参照画像を撮影していない場合には（ステップＧ６５で「ｙｅｓ」）、ベース露出の参照画像取得のために、ステップＧ６６に移行する。

まず、輝度値の平均値が予め設定された第二の値（任意の値を採用できるが、ここでは「１２７．５」より小さい値で「１２７．５」に最も近い値）となるような露出条件で、上記所定の被写体を撮像する（ステップＧ６６）。また、当該第二の値は、たとえば、アンダー露出方向のグループと判断する図５のステップＳ１１の値とオーバ露出方向のグループと判断する図５のステップＳ１５の値との中間値を目安とされ決定される。当該撮像により、参照画像を得る。ステップＧ６６の詳細な動作は以下の通りである。

まず、露出条件算出部２４は、輝度値の平均値が「１２７．５」より小さい値で「１２７．５」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する。当該撮像により、参照画像が取得される。なお、取得された参照画像は、ステップＳ２と同様に、参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、ステップＧ６６で取得した参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、ステップＧ６６で取得した参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ６７）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、図５と同様のフローにより、ステップＧ６６で取得された参照画像が第四のグループに属するか否かを判別する（ステップＧ６８）。

ステップＧ６８において、ステップＧ６６で取得された参照画像が第四のグループに属さないと判断されたとする（ステップＧ６８で「ｎｏ」）。この場合には、デジタルカメラ１００は、ステップＧ６６のフローに戻り、さらに参照画像を撮像し、撮像した参照画像に対してステップＧ６７，Ｇ６８を実施する。ベース露出の参照画像が取得されるまで、ステップＧ６６〜Ｇ６８を繰り返し実施する。

ステップＧ６８において、ステップＧ６６で取得された参照画像が第四のグループに属すると判断したとする（ステップＧ６８で「ｙｅｓ」）。この場合には、これ以降の参照画像の取得を行わず、動作は終了する。

図７のフロー結果、アンダー露出の参照画像（または、白飛び部分を含むアンダー露出の参照画像）、オーバ露出の参照画像およびベース露出の参照画像が得られたとする。この場合には、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されているこれらの参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。

＜１枚目の参照画像が第三のグループに属する場合＞
次に、１枚目の参照画像が第三のグループに属する場合における、２枚目以降の参照画像（第二の参照画像）の撮像動作について図８を用いて説明する。

ここで、図８のステップＧ３０１〜Ｇ３０５のフローを１度実施或いは複数回繰り返し実施することにより、白飛び部分を補正する参照画像を得ることが可能となる。また、図８のステップＧ３０８〜Ｇ３１２のフローを１度実施或いは複数回繰り返し実施することにより、黒潰れ部分を補正する参照画像を得ることが可能となる。さらに、図８のステップＧ３１３〜Ｇ３１７のフローを１度実施或いは複数回繰り返し実施することにより、オーバ露出の参照画像を得ることが可能となる。

ステップＧ３０１〜Ｇ３０５により、輝度値の最大極大値が所定の範囲内（任意に設定可能であるが、ここでは１７０≦最大極大値＜２５０）となるような露出条件で撮像を行い、白飛び部分を補正する参照画像を得る。なお、ステップＧ３０１〜Ｇ３０４の各値は、白飛び部分を補正する最適な参照画像を得るという観点から、事前に実験的に決定された値である。

具体的にまず、露出条件算出部２４は、輝度値の最大極大値が「２１０」よりも小さい値で当該「２１０」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する（ステップＧ３０１）。当該撮像により、２枚目の参照画像が取得される。なお、取得された参照画像は、ステップＳ２と同様に、参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、２枚目の参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、２枚目の参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ３０２）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、ステップＧ３０３，Ｇ３０４において、受信した特徴量（具体的には最大極大値）を用いて、当該最大極大値が予め設定された上記所定の範囲内（１７０≦最大極大値＜２５０）となるか否かを判断する。

具体的に、グループ判別部２３は、まずステップＧ３０２で取得した最大極大値が「１７０」以上であるか否かを判断する（ステップＧ３０３）。

最大極大値が「１７０」より小さい場合には（ステップＳ３０３で、「ｎｏ」）、デジタルカメラ１００は、ステップＧ３０１のフローに戻り、輝度値の最大極大値が「１７０」以上となるような参照画像を取得するまで、ステップＧ３０１〜Ｇ３０３のフローを繰り返し実施する。これに対して、最大極大値が「１７０」以上である場合には（ステップＳ３０３で、「ｙｅｓ」）、グループ判別部２３は、まずステップＧ３０２で取得した最大極大値が「２５０」より小さいか否かを判断する（ステップＧ３０４）。

最大極大値が「２５０」より小さい場合には（ステップＳ３０４で、「ｙｅｓ」）、デジタルカメラ１００は、最大極大値が上記所定の範囲内（１７０≦最大極大値＜２５０）となるような参照画像（換言すれば、白飛び部分を補正する参照画像）を取得したことになるので、ステップＧ３０６に移行する。これに対して、最大極大値が「２５０」以上である場合には（ステップＳ３０４で、「ｎｏ」）、デジタルカメラ１００は、撮像部１の露出の下降が不可能か否かを判断する（ステップＧ３０５）。

露出の下降が不可能と判断された場合には（ステップＧ３０５で「ｙｅｓ」）、白飛び部分を補正する参照画像の取得を中止し、ステップＧ３０６へ移行する。他方、露出の下降が可能と判断された場合には（ステップＧ３０５で「ｎｏ」）、デジタルカメラ１００は、ステップＧ３０１のフローに戻り、露出下降可能と判断される限り、最大極大値が上記所定の範囲内（１７０≦最大極大値＜２５０）となるような参照画像（換言すれば、白飛び部分を補正する参照画像）を取得できるまで、ステップＧ３０１〜Ｇ３０５を繰り返し実施する。

さて、ステップＧ３０６では、グループ判別部２３は、１枚目の参照画像の特徴量を再度読み込む。当該ステップＧ３０６のフローを可能せしめるためには、１枚目の参照画像の特徴量を、たとえば特徴量抽出部２２が格納していることが必要である。

次に、グループ判別部２３は、再度読み込んだ最小極大値を用いて、当該最小極大値が第一の値（当該値は任意に設定できるが、ここでは「４８」）より小さいか否かの判断を行う（ステップＧ３０７）。当該最小極大値を用いたステップＧ３０７のフローは、１枚目の参照画像に黒潰れ部分を有するか否かの判断ステップである。なお、ステップＧ３０７の値は、参照画像に黒潰れ部分を有すると判断できる或いはできないという閾値的値であり、当該観点から事前に実験的に決定された値である。

最小極大値が「４８」より小さいと判断した場合には（ステップＧ３０７で「ｙｅｓ」）、１枚目の参照画像に黒潰れ部分を有するので、ステップＧ３０８〜Ｇ３１２のフローを実施する。当該ステップＧ３０８〜Ｇ３１２では、輝度値の最小極大値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは４８≦最小極大値＜１２８）となるような露出条件で撮像を行い、１枚目の参照画像における黒潰れ部分を補正する参照画像を得る。なお、ステップＧ３０８〜Ｇ３１１の各値は、黒潰れ部分を補正する最適な参照画像を得るという観点から、事前に実験的に決定された値である。

具体的にまず、露出条件算出部２４は、輝度値の最小極大値が「８８」または「８８」より大きい値で「８８」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する（ステップＧ３０８）。当該撮像により参照画像が取得され、取得された参照画像は、ステップＳ２と同様に参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、ステップＧ３０８で取得した参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、ステップＧ３０８で取得した参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ３０９）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、ステップＧ３１０，Ｇ３１１において、受信した特徴量（具体的には最小極大値）を用いて、当該最小極大値が上記所定の範囲内（４８≦最小極大値＜１２８）となるか否かを判断する。

具体的に、グループ判別部２３は、まずステップＧ３０９で取得した最小極大値が「１２８」より小さいか否かを判断する（ステップＧ３１０）。

最小極大値が「１２８」以上である場合には（ステップＳ３１０で、「ｎｏ」）、デジタルカメラ１００は、ステップＧ３０８のフローに戻り、輝度値の最小極大値が「１２８」より小さくなるような参照画像を取得するまで、ステップＧ３０８〜Ｇ３１０のフローを繰り返し実施する。これに対して、最小極大値が「１２８」より小さい場合には（ステップＳ３１０で、「ｙｅｓ」）、グループ判別部２３は、まずステップＧ３０９で取得した最小極大値が「４８」以上であるか否かを判断する（ステップＧ３１１）。

最小極大値が「４８」以上である場合には（ステップＳ３１１で、「ｙｅｓ」）、デジタルカメラ１００は、最小極大値が上記所定の範囲内（４８≦最小極大値＜１２８）となるような参照画像（換言すれば、黒潰れ部分を補正する参照画像）を取得したことになるので、これ以降の参照画像の取得を行わず、動作は終了する。これに対して、最小極大値が「４８」より小さい場合には（ステップＳ３１１で、「ｎｏ」）、デジタルカメラ１００は、撮像部１の露出の上昇が不可能か否かを判断する（ステップＧ３１２）。

露出の上昇が不可能と判断された場合には（ステップＧ３１２で「ｙｅｓ」）、黒潰れ部分を補正する参照画像の取得を中止し、これ以降の参照画像の取得を行わず、動作は終了する。他方、露出の上昇が可能と判断された場合には（ステップＧ３１２で「ｎｏ」）、デジタルカメラ１００は、ステップＧ３０８のフローに戻り、露出上昇可能と判断される限り、最小極大値が上記所定の範囲内（４８≦最小極大値＜１２８）となるような参照画像（換言すれば、黒潰れ部分を補正する参照画像）を取得できるまで、ステップＧ３０８〜Ｇ３１２を繰り返し実施する。

ステップＧ３０７に話を戻す。最小極大値が「４８」以上であると判断した場合には（ステップＧ３０７で「ｎｏ」）、１枚目の参照画像に黒潰れ部分が無いと判断できるので、ステップＧ３１３〜Ｇ３１７のフローを実施する。当該ステップＧ３１３〜Ｇ３１７では、輝度値の平均値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１２７．５≦平均値＜１７０）となるような露出条件で撮像を行い、オーバ露出の参照画像を得る。なお、ステップＧ３１３〜Ｇ３１６の各値は、オーバ露出の参照画像を得るという観点から、事前に実験的に決定された値である。ステップＧ３１５およびＧ３１６の各値は、たとえば図５のステップＳ１１の値、ステップＳ１５の値を参考に決定することもできる（ステップＧ３１６の値は、たとえばステップＳ１１の値とステップＳ１５の値との中間値）。

具体的にまず、露出条件算出部２４は、輝度値の平均値が「１４８．７５」または「１４８．７５」より大きい値で「１４８．７５」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する（ステップＧ３１３）。当該撮像により参照画像が取得され、取得された参照画像は、ステップＳ２と同様に参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、ステップＧ３１３で取得した参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、ステップＧ３１３で取得した参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ３１４）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、ステップＧ３１５，Ｇ３１６において、受信した特徴量（具体的には平均値）を用いて、当該平均値が上記所定の範囲内（１２７．５≦平均値＜１７０）となるか否かを判断する。

具体的に、グループ判別部２３は、まずステップＧ３１４で取得した平均値が「１７０」より小さいか否かを判断する（ステップＧ３１５）。

平均値が「１７０」以上である場合には（ステップＳ３１５で、「ｎｏ」）、デジタルカメラ１００は、ステップＧ３１３のフローに戻り、輝度値の平均値が「１７０」より小さくなるような参照画像を取得するまで、ステップＧ３１３〜Ｇ３１５のフローを繰り返し実施する。これに対して、平均値が「１７０」より小さい場合には（ステップＳ３１５で、「ｙｅｓ」）、グループ判別部２３は、まずステップＧ３１４で取得した平均値が「１２７．５」以上であるか否かを判断する（ステップＧ３１６）。

平均値が「１２７．５」以上である場合には（ステップＳ３１６で、「ｙｅｓ」）、デジタルカメラ１００は、平均値が上記所定の範囲内（１２７．５≦平均値＜１７０）となるような参照画像（換言すれば、オーバ露出の参照画像）を取得したことになるので、これ以降の参照画像の取得を行わず、動作は終了する。これに対して、輝度値が「１２７．５」より小さい場合には（ステップＳ３１６で、「ｎｏ」）、デジタルカメラ１００は、撮像部１の露出の上昇が不可能か否かを判断する（ステップＧ３１７）。

露出の上昇が不可能と判断された場合には（ステップＧ３１７で「ｙｅｓ」）、オーバ露出の参照画像の取得を中止し、これ以降の参照画像の取得を行わず、動作は終了する。他方、露出の上昇が可能と判断された場合には（ステップＧ３１７で「ｎｏ」）、デジタルカメラ１００は、ステップＧ３１３のフローに戻り、露出上昇可能と判断される限り、平均値が上記所定の範囲内（１２７．５≦平均値＜１７０）となるような参照画像（換言すれば、オーバ露出の参照画像）を取得できるまで、ステップＧ３１３〜Ｇ３１７を繰り返し実施する。

図８のフロー結果、白飛び部分を補正することができる参照画像、黒潰れ部分を補正することができる参照画像およびオーバ露出の参照画像の内の何れか１以上が得られたとする。この場合には、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されている前記得られた参照画像および１枚目の参照画像である白飛び部分を含むアンダー露出の参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。

＜１枚目の参照画像が第五のグループに属する場合＞
次に、１枚目の参照画像が第五のグループに属する場合における、２枚目以降の参照画像（第二の参照画像）の撮像動作について図９を用いて説明する。

ここで、図９のステップＧ５０１〜Ｇ５０５のフローを１度実施或いは複数回繰り返し実施することにより、黒潰れ部分を補正する参照画像を得ることが可能となる。また、図９のステップＧ５０８〜Ｇ５１２のフローを１度実施或いは複数回繰り返し実施することにより、白飛び部分を補正する参照画像を得ることが可能となる。さらに、図９のステップＧ５１３〜Ｇ５１７のフローを１度実施或いは複数回繰り返し実施することにより、アンダー露出の参照画像を得ることが可能となる。

ステップＧ５０１〜Ｇ５０５により、輝度値の最小極大値が所定の範囲内（任意に設定可能であるが、ここでは１５≦最小極大値＜８５）となるような露出条件で撮像を行い、黒潰れ部分を補正する参照画像を得る。なお、ステップＧ５０１〜Ｇ５０５の各値は、黒潰れ部分を補正する最適な参照画像を得るという観点から、事前に実験的に決定された値である。

具体的にまず、露出条件算出部２４は、輝度値の最小極大値が「５０」あるいは「５０」よりも大きい値で当該「５０」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する（ステップＧ５０１）。当該撮像により、２枚目の参照画像が取得される。なお、取得された参照画像は、ステップＳ２と同様に、参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、２枚目の参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、２枚目の参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ５０２）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、ステップＧ５０３，Ｇ５０４において、受信した特徴量（具体的には最小極大値）を用いて、当該最小極大値が予め設定された上記所定の範囲内（１５≦最小極大値＜８５）となるか否かを判断する。

具体的に、グループ判別部２３は、まずステップＧ５０２で取得した最小極大値が「８５」より小さいか否かを判断する（ステップＧ５０３）。

最小極大値が「８５」以上である場合には（ステップＳ５０３で、「ｎｏ」）、デジタルカメラ１００は、ステップＧ５０１のフローに戻り、輝度値の最小極大値が「８５」より小さくなるような参照画像を取得するまで、ステップＧ５０１〜Ｇ５０３のフローを繰り返し実施する。これに対して、最小極大値が「８５」より小さい場合には（ステップＳ５０３で、「ｙｅｓ」）、グループ判別部２３は、まずステップＧ５０２で取得した最小極大値が「１５」以上であるか否かを判断する（ステップＧ５０４）。

最小極大値が「１５」以上である場合には（ステップＳ５０４で、「ｙｅｓ」）、デジタルカメラ１００は、最小極大値が上記所定の範囲内（１５≦最小極大値＜８５）となるような参照画像（換言すれば、黒潰れ部分を補正する参照画像）を取得したことになるので、ステップＧ５０６に移行する。これに対して、最小極大値が「１５」より小さい場合には（ステップＳ５０４で、「ｎｏ」）、デジタルカメラ１００は、撮像部１の露出の上昇が不可能か否かを判断する（ステップＧ５０５）。

露出の上昇が不可能と判断された場合には（ステップＧ５０５で「ｙｅｓ」）、黒潰れ部分を補正する参照画像の取得を中止し、ステップＧ５０６へ移行する。他方、露出の上昇が可能と判断された場合には（ステップＧ５０５で「ｎｏ」）、デジタルカメラ１００は、ステップＧ５０１のフローに戻り、露出上昇可能と判断される限り、最小極大値が上記所定の範囲内（１５≦最小極大値＜８５）となるような参照画像（換言すれば、黒潰れ部分を補正する参照画像）を取得できるまで、ステップＧ５０１〜Ｇ５０５を繰り返し実施する。

さて、ステップＧ５０６では、グループ判別部２３は、１枚目の参照画像の特徴量を再度読み込む。当該ステップＧ５０６のフローを可能せしめるためには、１枚目の参照画像の特徴量を、たとえば特徴量抽出部２２が格納していることが必要である。

次に、グループ判別部２３は、再度読み込んだ最大極大値を用いて、当該最大極大値が第一の値（当該値は任意に設定できるが、ここでは「２０８」）以上であるか否かの判断を行う（ステップＧ５０７）。当該最大極大値を用いたステップＧ５０７のフローは、１枚目の参照画像に白飛び部分を有するか否かの判断ステップである。なお、ステップＧ５０７の値は、参照画像に白飛び部分を有すると判断できる或いはできないという閾値的値であり、当該観点より事前に実験的に決定された値である。

最大極大値が「２０８」以上であると判断した場合には（ステップＧ５０７で「ｙｅｓ」）、１枚目の参照画像に白飛び部分を有するので、ステップＧ５０８〜Ｇ５１２のフローを実施する。当該ステップＧ５０８〜Ｇ５１２では、輝度値の最大極大値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１２８≦最大極大値＜２０８）となるような露出条件で撮像を行い、１枚目の参照画像における白飛び部分を補正する参照画像を得る。なお、ステップＧ５０８〜Ｇ５１２の各値は、白飛び部分を補正する最適な参照画像を得るという観点から、事前に実験的に決定された値である。

具体的にまず、露出条件算出部２４は、輝度値の最大極大値が「１６８」より小さい値で「１６８」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する（ステップＧ５０８）。当該撮像により参照画像が取得され、取得された参照画像は、ステップＳ２と同様に参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、ステップＧ５０８で取得した参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、ステップＧ５０８で取得した参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ５０９）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、ステップＧ５１０，Ｇ５１１において、受信した特徴量（具体的には最大極大値）を用いて、当該最大極大値が上記所定の範囲内（１２８≦最大極大値＜２０８）となるか否かを判断する。

具体的に、グループ判別部２３は、まずステップＧ５０９で取得した最大極大値が「１２８」以上であるか否かを判断する（ステップＧ５１０）。

最大極大値が「１２８」より小さい場合には（ステップＳ５１０で、「ｎｏ」）、デジタルカメラ１００は、ステップＧ５０８のフローに戻り、輝度値の最大極大値が「１２８」以上となるような参照画像を取得するまで、ステップＧ５０８〜Ｇ５１０のフローを繰り返し実施する。これに対して、最大極大値が「１２８」以上である場合には（ステップＳ５１０で、「ｙｅｓ」）、グループ判別部２３は、まずステップＧ５０９で取得した最大極大値が「２０８」より小さいか否かを判断する（ステップＧ５１１）。

最大極大値が「２０８」より小さい場合には（ステップＳ５１１で、「ｙｅｓ」）、デジタルカメラ１００は、最大極大値が上記所定の範囲内（１２８≦最大極大値＜２０８）となるような参照画像（換言すれば、白飛び部分を補正する参照画像）を取得したことになるので、これ以降の参照画像の取得を行わず、動作は終了する。これに対して、最大極大値が「２０８」以上である場合には（ステップＳ５１１で、「ｎｏ」）、デジタルカメラ１００は、撮像部１の露出の下降が不可能か否かを判断する（ステップＧ５１２）。

露出の下降が不可能と判断された場合には（ステップＧ５１２で「ｙｅｓ」）、白飛び部分を補正する参照画像の取得を中止し、これ以降の参照画像の取得を行わず、動作は終了する。他方、露出の下降が可能と判断された場合には（ステップＧ５１２で「ｎｏ」）、デジタルカメラ１００は、ステップＧ５０８のフローに戻り、露出下降可能と判断される限り、最大極大値が上記所定の範囲内（１２８≦最大極大値＜２０８）となるような参照画像（換言すれば、白飛び部分を補正する参照画像）を取得できるまで、ステップＧ５０８〜Ｇ５１２を繰り返し実施する。

ステップＧ５０７に話を戻す。最大極大値が「２０８」より小さいと判断した場合には（ステップＧ５０７で「ｎｏ」）、１枚目の参照画像に白飛び部分が無いと判断できるので、ステップＧ５１３〜Ｇ５１７のフローを実施する。当該ステップＧ５１３〜Ｇ５１７では、輝度値の平均値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは８５≦平均値＜１２７．５）となるような露出条件で撮像を行い、アンダー露出の参照画像を得る。なお、ステップＧ５１３〜Ｇ５１６の各値は、アンダー露出の参照画像を得るという観点から、事前に実験的に決定された値である。ステップＧ５１５およびＧ５１６の各値は、たとえば図５のステップＳ１１の値、ステップＳ１５の値を参考に決定することもできる（ステップＧ５１６の値は、たとえばステップＳ１１の値とステップＳ１５の値との中間値）。

具体的にまず、露出条件算出部２４は、輝度値の平均値が「１０６．２５」より小さい値で「１０６．２５」に最も近い値となるような露出条件を算出する。ここで、具体的な露出条件算出方法については、図１３〜１５を用いて後述する。露出条件算出部２４が露出条件を決定すると、当該決定された露出条件により、撮像部１は、上記と同じ所定の被写体を撮像する（ステップＧ５１３）。当該撮像により参照画像が取得され、取得された参照画像は、ステップＳ２と同様に参照画像格納部３に格納される。

次に、ステップＳ３と同様の動作により、輝度値分布抽出部２１は、ステップＧ５１３で取得した参照画像における輝度値分布を取得する。そして、ステップＳ４と同様の動作により、特徴量抽出部２２は、ステップＧ５１３で取得した参照画像の輝度値の特徴量（平均値、分散値、最小極大値および最大極大値）を取得する（ステップＧ５１４）。当該取得された特徴量は、グループ判別部２３に送信される。

グループ判別部２３では、ステップＧ５１５，Ｇ５１６において、受信した特徴量（具体的には平均値）を用いて、当該平均値が上記所定の範囲内（８５≦平均値＜１２７．５）となるか否かを判断する。

具体的に、グループ判別部２３は、まずステップＧ５１４で取得した平均値が「８５」以上であるか否かを判断する（ステップＧ５１５）。

平均値が「８５」より小さい場合には（ステップＳ５１５で、「ｎｏ」）、デジタルカメラ１００は、ステップＧ５１３のフローに戻り、輝度値の平均値が「８５」以上となるような参照画像を取得するまで、ステップＧ５１３〜Ｇ５１５のフローを繰り返し実施する。これに対して、平均値が「８５」より小さい場合には（ステップＳ５１５で、「ｙｅｓ」）、グループ判別部２３は、まずステップＧ５１４で取得した平均値が「１２７．５」より小さいか否かを判断する（ステップＧ５１６）。

平均値が「１２７．５」より小さい場合には（ステップＳ５１６で、「ｙｅｓ」）、デジタルカメラ１００は、平均値が上記所定の範囲内（８５≦平均値＜１２７．５）となるような参照画像（換言すれば、アンダー露出の参照画像）を取得したことになるので、これ以降の参照画像の取得を行わず、動作は終了する。これに対して、輝度値が「１２７．５」以上である場合には（ステップＳ５１６で、「ｎｏ」）、デジタルカメラ１００は、撮像部１の露出の下降が不可能か否かを判断する（ステップＧ５１７）。

露出の下降が不可能と判断された場合には（ステップＧ５１７で「ｙｅｓ」）、アンダー露出の参照画像の取得を中止し、これ以降の参照画像の取得を行わず、動作は終了する。他方、露出の下降が可能と判断された場合には（ステップＧ５１７で「ｎｏ」）、デジタルカメラ１００は、ステップＧ５１３のフローに戻り、露出下降可能と判断される限り、平均値が上記所定の範囲内（８５≦平均値＜１２７．５）となるような参照画像（換言すれば、アンダー露出の参照画像）を取得できるまで、ステップＧ５１３〜Ｇ５１７を繰り返し実施する。

図９のフロー結果、黒潰れ部分を補正することができる参照画像、白飛び部分を補正することができる参照画像およびアンダー露出の参照画像の内の何れか１以上が得られたとする。この場合には、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されている前記得られた参照画像および１枚目の参照画像である黒飛び部分を含むオーバ露出の参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。

＜１枚目の参照画像が第四のグループに属する場合＞
次に、１枚目の参照画像が第四のグループに属する場合における、２枚目以降の参照画像（第二の参照画像）の撮像動作については、図１０，１１，１２に示す。

まず、図１０において、グループ判別部２３は、１枚目の参照画像から取得した輝度値の平均値が「１２７．５（他の値であっても良い）」以上であるか否かを判断する（ステップＧ４０１）。当該平均値が「１２７．５」以上である場合には（ステップＧ４０１で「ｙｅｓ」）、図１１のフローチャートへと移行する。他方、当該平均値が「１２７．５」より小さい場合には（ステップＧ４０１で「ｎｏ」）、図１２のフローチャートへと移行する。

次に、図１１のフローチャートについて説明する。

グループ判別部２３は、１枚目の参照画像から取得した輝度値の最大極大値が第一の値（当該値は任意に設定できるが、ここでは「２０８」）以上であるか否かの判断を行う（ステップＧ４０２）。当該最大極大値を用いたステップＧ４０２のフローは、図９のステップＧ５０７と同様に、１枚目の参照画像に白飛び部分を有するか否かの判断ステップである。

最大極大値が「２０８」以上であると判断した場合には（ステップＧ４０２で「ｙｅｓ」）、１枚目の参照画像に白飛び部分を有するので、ステップＧ４０３〜Ｇ４０７のフローを実施する。当該ステップＧ４０３〜Ｇ４０７では、輝度値の最大極大値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１２８≦最大極大値＜２０８）となるような露出条件で撮像を行い、１枚目の参照画像における白飛び部分を補正する参照画像を得る。なお、当該ステップＧ４０３〜Ｇ４０７のフローは、図９のステップＧ５０８〜Ｇ５１２のフローと同じである。したがって、当該ステップＧ４０３〜Ｇ４０７のフローの詳細な説明は、省略する。

他方、最大極大値が「２０８」より小さいと判断した場合には（ステップＧ４０２で「ｎｏ」）、１枚目の参照画像に白飛び部分が無いと判断できるので、ステップＧ４０８〜Ｇ４１２のフローを実施する。当該ステップＧ４０８〜Ｇ４１２では、輝度値の平均値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは５５≦平均値＜８５）となるような露出条件で撮像を行い、アンダー露出の参照画像を得る。なお、当該ステップＧ４０８〜Ｇ４１２のフローは、図９のステップＧ５１３〜Ｇ５１７のフローと、各フロー内の数値は異なるものの、フローの内容は同様である。したがって、当該ステップＧ４０８〜Ｇ４１２のフローの詳細な説明は、省略する。

ステップＧ４１３では、グループ判別部２３は、１枚目の参照画像から取得した特徴量を再度読み込む。そして、グループ判別部２３は、当該読み込んだ特徴量の一つである輝度値の最小極大値が第二の値（当該値は任意に設定できるが、ここでは「１５」）より小さいか否かの判断を行う（ステップＧ４１４）。当該最小極大値を用いたステップＧ４１４のフローは、図８のステップＧ３０７と同様に、１枚目の参照画像に黒潰れ部分を有するか否かの判断ステップである。

最小極大値が「１５」より小さいと判断した場合には（ステップＧ４１４で「ｙｅｓ」）、１枚目の参照画像に黒潰れ部分を有するので、ステップＧ４１５〜Ｇ４１９のフローを実施する。当該ステップＧ４１５〜Ｇ４１９では、輝度値の最小極大値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１５≦最小極大値＜８５）となるような露出条件で撮像を行い、１枚目の参照画像における黒潰れ部分を補正する参照画像を得る。なお、当該ステップＧ４１５〜Ｇ４１９のフローは、図９のステップＧ５０１〜Ｇ５０５のフローと同じである。したがって、当該ステップＧ４１５〜Ｇ４１９のフローの詳細な説明は、省略する。

他方、最小極大値が「１５」以上であると判断した場合には（ステップＧ４１４で「ｎｏ」）、１枚目の参照画像に黒潰れ部分が無いと判断できるので、ステップＧ４２０〜Ｇ４２４のフローを実施する。当該ステップＧ４２０〜Ｇ４２４では、輝度値の平均値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１７０≦平均値＜２００）となるような露出条件で撮像を行い、オーバ露出の参照画像を得る。なお、当該ステップＧ４２０〜Ｇ４２４のフローは、図８のステップＧ３１３〜Ｇ３１７のフローと、各フロー内の数値は異なるものの、フローの内容は同様である。したがって、当該ステップＧ４２０〜Ｇ４２４のフローの詳細な説明は、省略する。

図１１のフロー結果、黒潰れ部分を補正することができる参照画像、白飛び部分を補正することができる参照画像、オーバ露出の参照画像およびアンダー露出の参照画像の内の何れか１以上が得られたとする。この場合には、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されている前記得られた参照画像および１枚目の参照画像であるベース露出の参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。

次に、図１２のフローチャートについて説明する。

グループ判別部２３は、１枚目の参照画像から取得した輝度値の最大極大値が第一の値（当該値は任意に設定できるが、ここでは「２５０」）以上であるか否かの判断を行う（ステップＧ４３０）。当該最大極大値を用いたステップＧ４３０のフローは、図９のステップＧ５０７と同様に、１枚目の参照画像に白飛び部分を有するか否かの判断ステップである。

最大極大値が「２５０」以上であると判断した場合には（ステップＧ４３０で「ｙｅｓ」）、１枚目の参照画像に白飛び部分を有するので、ステップＧ４３１〜Ｇ４３５のフローを実施する。当該ステップＧ４３１〜Ｇ４３５では、輝度値の最大極大値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１７０≦最大極大値＜２５０）となるような露出条件で撮像を行い、１枚目の参照画像における白飛び部分を補正する参照画像を得る。なお、当該ステップＧ４３１〜Ｇ４３５のフローは、図８のステップＧ３０１〜Ｇ３０５のフローと同じである。したがって、当該ステップＧ４３１〜Ｇ４３５のフローの詳細な説明は、省略する。

他方、最大極大値が「２５０」より小さいと判断した場合には（ステップＧ４３０で「ｎｏ」）、１枚目の参照画像に白飛び部分が無いと判断できるので、ステップＧ４３６〜Ｇ４４０のフローを実施する。当該ステップＧ４３６〜Ｇ４４０では、輝度値の平均値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは５５≦平均値＜８５）となるような露出条件で撮像を行い、アンダー露出の参照画像を得る。なお、当該ステップＧ４３６〜Ｇ４４０のフローは、図９のステップＧ５１３〜Ｇ５１７のフローと、各フロー内の数値は異なるものの、フローの内容は同様である。したがって、当該ステップＧ４３６〜Ｇ４４０のフローの詳細な説明は、省略する。

ステップＧ４４１では、グループ判別部２３は、１枚目の参照画像から取得した特徴量を再度読み込む。そして、グループ判別部２３は、当該読み込んだ特徴量の一つである輝度値の最小極大値が第二の値（当該値は任意に設定できるが、ここでは「４８」）より小さいか否かの判断を行う（ステップＧ４４２）。当該最小極大値を用いたステップＧ４４２のフローは、図８のステップＧ３０７と同様に、１枚目の参照画像に黒潰れ部分を有するか否かの判断ステップである。

最小極大値が「４８」より小さいと判断した場合には（ステップＧ４４２で「ｙｅｓ」）、１枚目の参照画像に黒潰れ部分を有するので、ステップＧ４４３〜Ｇ４４７のフローを実施する。当該ステップＧ４４３〜Ｇ４４７では、輝度値の最小極大値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは４８≦最小極大値＜１２８）となるような露出条件で撮像を行い、１枚目の参照画像における黒潰れ部分を補正する参照画像を得る。なお、当該ステップＧ４４３〜Ｇ４４７のフローは、図８のステップＧ３０８〜Ｇ３１２のフローと同じである。したがって、当該ステップＧ４４３〜Ｇ４４７のフローの詳細な説明は、省略する。

他方、最小極大値が「４８」以上であると判断した場合には（ステップＧ４４２で「ｎｏ」）、１枚目の参照画像に黒潰れ部分が無いと判断できるので、ステップＧ４４８〜Ｇ４５２のフローを実施する。当該ステップＧ４４８〜Ｇ４５２では、輝度値の平均値が、予め設定された所定の範囲内（任意に設定可能であるが、ここでは１７０≦平均値＜２００）となるような露出条件で撮像を行い、オーバ露出の参照画像を得る。なお、当該ステップＧ４４８〜Ｇ４５２のフローは、図８のステップＧ３１３〜Ｇ３１７のフローと、各フロー内の数値は異なるものの、フローの内容は同様である。したがって、当該ステップＧ４４８〜Ｇ４５２のフローの詳細な説明は、省略する。

図１２のフロー結果、黒潰れ部分を補正することができる参照画像、白飛び部分を補正することができる参照画像、オーバ露出の参照画像およびアンダー露出の参照画像の内の何れか１以上が得られたとする。この場合には、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されている前記得られた参照画像および１枚目の参照画像であるベース露出の参照画像を合成することにより、ハイダイナミックレンジ画像を生成する。

＜露出条件の算出＞
ステップＧ２１、Ｇ２６，Ｇ６１，Ｇ６６，Ｇ３０１，Ｇ３０８，Ｇ３１３，Ｇ５０１，Ｇ５０８，Ｇ５１３，Ｇ４０３，Ｇ４０８，Ｇ４１５，Ｇ４２０，Ｇ４３１，Ｇ４３６，Ｇ４４３，Ｇ４４８の各撮像（撮影）ステップでは、露出条件の算出を行う。以下、露出条件算出部２４で実施される当該露出条件の算出方法の具体的な説明を、図１３，１４，１５を用いて行う。

まず、図１３のフローチャートについて説明する。

上記列記の各撮像ステップにおいて、露出条件算出部２４は、当該撮像ステップにおいて撮像することとなる所定の被写体に関する参照画像の枚数が２枚目となるか否かを判断する（ステップＳ５１）。

露出条件算出部２４が、当該撮像ステップにおいて撮像される参照画像が２枚目となると判断したとする。換言すれば、露出条件算出部２４が、当該撮像ステップ到達時までに、既に１枚目の参照画像のみを撮像していると判断したとする。この場合には（ステップＳ５１で「ｙｅｓ」）、ステップＳ５２に移行して、露出条件算出部２４は図１４に示す動作を開始する。

他方、露出条件算出部２４が、当該撮像ステップにおいて撮像される参照画像が３枚目以降となると判断したとする。換言すれば、露出条件算出部２４が、当該撮像ステップ到達時までに、既に、少なくとも１枚目の参照画像および２枚目の参照画像を撮像していると判断したとする。この場合には（ステップＳ５１で「ｎｏ」）、露出条件算出部２４は、当該撮像ステップにおける露出条件算出の際に用いられる特徴量が、輝度値の平均値であるか否かを判断する（ステップＳ５３）。

たとえば、図６のステップＧ２１，Ｇ２６や図７のステップＧ６１，Ｇ６６などにおける各撮像ステップでは、露出条件算出の際に用いられる特徴量は、輝度値の平均値であった。また、図８のステップＧ３０１や図９のステップＧ５０８などにおける各撮像ステップでは、露出条件算出の際に用いられる特徴量は、輝度値の最大極大値であった。さらに、図８のステップＧ３０８や図９のステップＧ５０１などにおける各撮像ステップでは、露出条件算出の際に用いられる特徴量は、輝度値の最小極大値であった。

露出条件算出の際に用いられる特徴量が輝度値の平均値であると判断した場合には（ステップＳ５３で「ｙｅｓ」）、ステップＳ５４に移行して、露出条件算出部２４は図１５に示す動作を開始する。他方、露出条件算出の際に用いられる特徴量が輝度値の平均値以外（たとえば、輝度値の最小極大値や最大極大値）であると判断した場合には（ステップＳ５３で「ｎｏ」）、露出条件算出部２４は、２枚目の参照画像の特徴量が所望通りの値となったか否かを判断する（ステップＳ５５）。

たとえば、図８のステップＧ３０１において２枚目の参照画像を撮像し、当該２枚目の参照画像から取得される輝度値の最大極大値が、所望の範囲である１７０≦最大極大値＜２５０であったとする。この場合は、２枚目の参照画像の撮像の際の露出条件算出ではステップＳ５２を用いており、事前学習の係数の利用が当該露出条件算出の際にうまく適合していた場合である。したがって、当該場合には、ステップＳ５５で「ｙｅｓ」となり、ステップＧ３０８では、露出条件算出部２４は図１４に従い露出条件を算出する（ステップＳ５２）。他方、当該２枚目の参照画像から取得される輝度値の最大極大値が、所望の範囲である１７０≦最大極大値＜２５０でなかったとする。この場合は、２枚目の参照画像の撮像の際の露出条件算出ではステップＳ５２を用いており、事前学習の係数の利用が当該露出条件算出の際にうまく適合していなかった場合である。したがって、この場合には、ステップＳ５５で「ｎｏ」となり、ステップＧ３０１などの撮像ステップにおける３枚目以降の参照画像の撮像では、露出条件算出部２４は図１５に従い露出条件を算出する（ステップＳ５４）。当該ステップＳ５５の判断および当該判断後の動作を図８を例にして説明したが、図９，１１，１２においても同様の動作が成立する。

＜係数を用いた露出条件の算出＞
次に、図１４のフロー（図１３のステップＳ５２）の動作を具体的に説明する。

ここで、動作の説明の前に、図１に示す係数格納部２５の構成について説明する。係数格納部２５には、図１６に例示するようなテーブルが格納されている。当該テーブルは、輝度値の各特徴量の各値と、当該各値に対応する係数（α、β）とから構成されている。当該テーブルは、予め同一シーンに対する複数の露出画像を複数のシーンで撮影することにより、作成される。図１６に例示するテーブルでは、たとえば輝度値の平均値Ａ２に対応して係数（αＡ２、βＡ２）が格納されている。また、たとえば輝度値の最大極大値ＭＡ１に対応して係数（αＭＡ１、βＭＡ２）が格納されている。

さて、ステップＳ５２においてまずはじめに、露出条件算出部２４は、直前に撮像された参照画像の特徴量（Ｉｎｉｔ）を取得する（ステップＳ５２１）。

次に、露出条件算出部２４は、これから撮像する予定の参照画像の特徴量が幾らとなるべきかを取得する（ステップＳ５２２）。たとえば、図７のステップＧ６１の撮像ステップでは、ステップＳ５２２において露出条件算出部２４は、輝度値の平均値である「８５（＝Ｓｅｔ）」を取得する。また、たとえば図９のステップＧ５０１の撮像ステップでは、ステップＳ５２２において露出条件算出部２４は、輝度値の最小極大値である「５０（＝Ｓｅｔ）」を取得する。また、たとえば図１２のステップＧ４３１の撮像ステップでは、ステップＳ５２２において露出条件算出部２４は、輝度値の最大極大値である「２１０（＝Ｓｅｔ）」を取得する。

次に、露出条件算出部２４は、係数格納部２５に格納されているテーブルから、ステップＳ５２１の特徴量の値に対応する係数（α、β）を取得する（ステップＳ５２３）。

次に、露出条件算出部２４は、ｙ＝Ｓｅｔ−Ｉｎｉｔを求める（ステップＳ５２４）。当該ｙは、特徴量の変化量（直前に撮像された参照画像の特徴量から、これから撮像する予定の参照画像の所望の特徴量までの変化量）を示している。

さらに、露出条件算出部２４は、ｙ＝αｘ＋βの一次関数を、ステップＳ５２３で取得した係数（α、β）を用いて求める（ステップＳ５２５）。ここで、ｘは、特徴量をｙだけ変化させたときの露出条件の変化量（直前に撮像された参照画像の露出条件から、これから撮像する予定の参照画像の露出条件までの変化量）である。さらに、露出条件算出部２４は、ステップＳ５２４で求めたｙ（直前に撮像された参照画像の特徴量から、これから撮像する予定の参照画像の所望の特徴量までの変化量）を、前記で求めた１次関数のｙに代入し、ｘ（直前に撮像された参照画像の露出条件から、これから撮像する予定の参照画像の露出条件までの変化量）を求める（ステップＳ５２５）。

次に、露出条件算出部２４は、当該撮像ステップにおいてステップＳ５２２で求めた特徴量以上の特徴量を所望しているか否かを判断する（ステップＳ５２６）。そして、ステップＳ５２２で求めた特徴量以上の特徴量を所望していると判断した場合には（ステップＳ５２６で「ｙｅｓ」）、露出条件算出部２４は、ステップＳ５２５で求めたｘの小数点以下を切り上げる（ステップＳ５２７）。他方、ステップＳ５２２で求めた特徴量より小さい特徴量を所望していると判断した場合には（ステップＳ５２６で「ｎｏ」）、露出条件算出部２４は、ステップＳ５２５で求めたｘの小数点以下を切り捨てる（ステップＳ５２８）。

その後、露出条件算出部２４は、ステップＳ５２７またはステップＳ５２８で求めた値（＝ｘ’）を直前に撮像された参照画像の露出条件に加えることにより、これから撮像する予定の参照画像の露出条件を決定する。なお、ｘ’の値がマイナスの場合には、−ｘ’を直前に撮像された参照画像の露出条件に加えることになる（換言すれば、ｘ’を直前に撮像された参照画像の露出条件から差分する）。また、当該決定された露出条件を正式な露出条件として、当該正式な露出条件の下、撮像部１は、所定の被写体の参照画像を撮像する。

図１４の動作を、たとえば図８のステップＳ３０８（当該撮像ステップでは、対象となる特徴量は最小極大値である）の場面に当て嵌めて考察する。この場合には、直前に撮像された参照画像から輝度値の最小極大値（Ｉｎｉｔ）が取得される（ステップＳ５２１）。当該取得した最小極大値は、図１６のＭＩ２であるとする。次に、「８８（＝Ｓｅｔ）」が取得される（ステップＳ５２２）。次に、係数格納部２５に格納されているテーブルから、最小極大値ＭＩ２に対応する係数（αＭＩ２，βＭＩ２）が取得される（ステップＳ５２３）。次に、ｙ＝８８−ＭＩ２が求められる（ステップＳ５２４）。次に、ｘ＝｛（８８−ＭＩ２）−βＭＩ２｝／αＭＩ２が、求められる（ステップＳ５２５）。ステップＧ３０８では最小極大値≧８８となるような撮像を目的としている。したがって、「８８（Ｓｅｔ）」以上の特徴量を所望していることとなり（ステップＳ５２６で「ｙｅｓ」）、ステップＳ５２７が実施される。

また、図１４の動作を、たとえば図９のステップＳ５０８（当該撮像ステップでは、対象となる特徴量は最大極大値である）の場面に当て嵌めて考察する。この場合には、直前に撮像された参照画像から輝度値の最大極大値（Ｉｎｉｔ）が取得される（ステップＳ５２１）。当該取得した最大極大値は、図１６のＭＡｓであるとする。次に、「１６８（＝Ｓｅｔ）」が取得される（ステップＳ５２２）。次に、係数格納部２５に格納されているテーブルから、最大極大値ＭＡｓに対応する係数（αＭＡｓ，βＭＡｓ）が取得される（ステップＳ５２３）。次に、ｙ＝１６８−ＭＡｓが求められる（ステップＳ５２４）。次に、ｘ＝｛（１６８−ＭＡｓ）−βＭＡｓ｝／αＭＡｓが、求められる（ステップＳ５２５）。ステップＧ５０８では最大極大値＜８８となるような撮像を目的としている。したがって、「１６８（Ｓｅｔ）」より小さい特徴量を所望していることとなり（ステップＳ５２６で「ｎｏ」）、ステップＳ５２８が実施される。

＜過去の参照画像の撮像の露出条件および特徴量を用いた露出条件の算出＞
次に、図１５のフロー（図１３のステップＳ５４）の動作を具体的に説明する。

ステップＳ５４においてまずはじめに、露出条件算出部２４は、過去に撮像された複数の参照画像の全ての特徴量と、当該複数の参照画像の撮像時の全ての露出条件との関係を取得する（ステップＳ５４１）。たとえば、第一の露出条件により所定の被写体を撮像したとき、当該撮像により第一の特徴量を有する参照画像が得られたとする。また、第二の露出条件により所定の被写体を撮像したとき、当該撮像により第二の特徴量を有する参照画像が得られたとする。また、第Ｎの露出条件により所定の被写体を撮像したとき、当該撮像により第Ｎの特徴量を有する参照画像が得られたとする。この場合には、露出条件算出部２４は、（第一の露出条件、第一の特徴量）、（第二の露出条件、第二の特徴量）および（第Ｎの露出条件、第Ｎの特徴量）の対の関係（ｘ、ｙ）を各々取得する。当該取得可能せしめるためには、各参照画像撮像の際に、露出条件と当該露出条件で撮像されたとき得られる参照画像の特徴量との関係を、随時デジタルカメラ１００は記憶していることが要される。

次に、露出条件算出部２４は、ステップＳ５４１で取得された複数の対の関係（ｘ、ｙ）を、ｘ（露出条件）−ｙ（特徴量）平面にプロットする。そして、当該プロットの結果において最小自乗法を実施することにより、線形近似１次関数（ｙ＝φｘ＋π）を取得する（ステップＳ５４２：前記φ、πの決定ステップと把握できる）。

次に、露出条件算出部２４は、これから撮像する予定の参照画像の特徴量が幾らとなるべきかを取得する（ステップＳ５４３）。たとえば、図６のステップＧ２１の撮像ステップでは、ステップＳ５４３において露出条件算出部２４は、輝度値の平均値である「１７０（＝Ｏｍ）」を取得する。また、たとえば図８のステップＧ３０１の撮像ステップでは、ステップＳ５４３において露出条件算出部２４は、輝度値の最大極大値である「２１０（＝Ｏｍ）」を取得する。また、たとえば図１１のステップＧ４１５の撮像ステップでは、ステップＳ５４３において露出条件算出部２４は、輝度値の最小極大値である「５０（＝Ｏｍ）」を取得する。

次に、露出条件算出部２４は、ステップＳ５４２で求めたｙ＝φｘ＋πの一次関数のｙに、ステップＳ５４３で取得したＯｍを代入することにより、ｘ（これから撮像する参照画像の露出条件）を取得する（ステップＳ５４４）。

次に、露出条件算出部２４は、当該撮像ステップにおいてステップＳ５４３で求めた特徴量以上の特徴量を所望しているか否かを判断する（ステップＳ５４５）。そして、ステップＳ５４３で求めた特徴量以上の特徴量を所望していると判断した場合には（ステップＳ５４５で「ｙｅｓ」）、露出条件算出部２４は、ステップＳ５４４で求めたｘの小数点以下を切り上げる（ステップＳ５４６）。他方、ステップＳ５４３で求めた特徴量より小さい特徴量を所望していると判断した場合には（ステップＳ５４５で「ｎｏ」）、露出条件算出部２４は、ステップＳ５４４で求めたｘの小数点以下を切り捨てる（ステップＳ５４７）。

その後、露出条件算出部２４は、ステップＳ５４６またはステップＳ５４７で求めた値（＝ｘ’）を正式な露出条件として決定する。そして、当該正式な露出条件により、撮像部１は所定の被写体の参照画像を撮像する。

図１５の動作を、たとえば図６のステップＧ２６（当該撮像ステップでは、対象となる特徴量は平均値である）の場面に当て嵌めて考察する。ステップＧ２６に至るまでに、１枚目の参照画像（露出条件Ｄ１、輝度値の平均値Ｔ１）と２枚目の参照画像（露出条件Ｄ２，輝度値の平均値Ｔ２）とを撮像されていたとする。この場合には、（露出条件Ｄ１、輝度値の平均値Ｔ１）および（露出条件Ｄ２，輝度値の平均値Ｔ２）が取得される（ステップＳ５４１）。次に、（露出条件Ｄ１、輝度値の平均値Ｔ１）および（露出条件Ｄ２，輝度値の平均値Ｔ２）から、最小自乗法により１次関数ｙ＝φ１ｘ＋π１が取得される（ステップＳ５４２）。次に、「１２７．５（＝Ｏｍ）」が取得される（ステップＳ５４３）。次に、ｘ１＝｛（１２７．５−π１｝／φ１が、求められる（ステップＳ５４４）。ステップＧ２６では平均値≧１２７．５となるような撮像を目的としている。したがって、「１２７．５（Ｏｍ）」以上の特徴量を所望していることとなり（ステップＳ５４５で「ｙｅｓ」）、ステップＳ５４６が実施される。

また、図１５の動作を、たとえば図９のステップＧ５１３（当該撮像ステップでは、対象となる特徴量は平均値である）の場面に当て嵌めて考察する。ステップＧ５１３に至るまでに、１枚目の参照画像（露出条件Ｄ１１、輝度値の平均値Ｔ１１）と２枚目の参照画像（露出条件Ｄ１２，輝度値の平均値Ｔ１２）とを撮像されていたとする。この場合には、（露出条件Ｄ１１、輝度値の平均値Ｔ１１）および（露出条件Ｄ１２，輝度値の平均値Ｔ１２）が取得される（ステップＳ５４１）。次に、（露出条件Ｄ１１、輝度値の平均値Ｔ１１）および（露出条件Ｄ１２，輝度値の平均値Ｔ１２）から、最小自乗法により１次関数ｙ＝φ１１ｘ＋π１１が取得される（ステップＳ５４２）。次に、「１０６．２５（＝Ｏｍ）」が取得される（ステップＳ５４３）。次に、ｘ１１＝｛（１０６．２５−π１１｝／φ１１が、求められる（ステップＳ５４４）。ステップＧ５１３では平均値＜１０６．２５となるような撮像を目的としている。したがって、「１０６．２５（Ｏｍ）」より小さい特徴量を所望していることとなり（ステップＳ５４５で「ｎｏ」）、ステップＳ５４７が実施される。

以上のように、本実施の形態にかかわるデジタルカメラの動作方法では、過去に撮像された参照画像の輝度値の度数分布より特徴量を取得し、当該特徴量を用いて露出条件を決定し、当該露出条件により次の参照画像を撮像する。ここで、前記において撮像に係る被写体は、同一の被写体である。

したがって、参照画像の撮像において、撮像される被写体に応じて（換言すれば撮影した画像に応じて）、次に撮像するべき露出条件が適応的に決定することができる。よって、少ない撮像回数で、ハイダイナミックレンジ画像生成の際に使用される有効的な参照画像群を得ることができる。

また、本実施の形態では、図５に示したように１枚目の参照画像（第一の参照画像）のグループ判別を行っており、各グループ毎に露出条件算出のためのフローが規定されている。

このように、第一の参照画像の撮像結果に応じて異なる露出条件算出フローが実施されるので、最低限の撮像回数で、有効的な参照画像群を得ることができる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第二のグループに属する場合には、輝度値の平均値が予め設定された値となるような露出条件で撮像を行い、２枚目以降の参照画像（第二の参照画像）を得る。そして、当該第二の参照画像から輝度値の度数分布を取得し、当該度数分布から特徴量を取得し、当該取得した特徴量に基づいて、第二の参照画像のグループ判別を行っている（図６のステップＧ２１〜Ｇ２３参照）。

したがって、アンダー露出である第一の参照画像が得られたときに、第二の参照画像が、ハイダイナミックレンジ画像の生成で有効的となるオーバ露出の参照画像または黒潰れ部分を含むオーバ露出の参照画像であるかの判別が可能となる。または、露出条件を変えた更なる第二の参照画像の撮像が必要であるかの判別が可能となる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第二のグループに属する場合には、輝度値の平均値が予め設定された値となるような露出条件で撮像を行い、２枚目以降の参照画像（第二の参照画像）を得る。そして、当該第二の参照画像から輝度値の度数分布を取得し、当該度数分布から特徴量を取得し、当該取得した特徴量に基づいて、第二の参照画像が第四のグループに属するか否かの判断を行っている（図６のステップＧ２６〜Ｇ２８参照）。

したがって、アンダー露出である１枚目の参照画像が得られたときに、第二の参照画像が、ハイダイナミックレンジ画像の生成で有効的となるベース露出の参照画像であるかの判別が可能となる。または、露出条件を変えた更なる第二の参照画像の撮像が必要であるかの判別が可能となる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第六のグループに属する場合には、輝度値の平均値が予め設定された値となるような露出条件で撮像を行い、２枚目以降の参照画像（第二の参照画像）を得る。そして、当該第二の参照画像から輝度値の度数分布を取得し、当該度数分布から特徴量を取得し、当該取得した特徴量に基づいて、第二の参照画像のグループ判別を行っている（図７のステップＧ６１〜Ｇ６３参照）。

したがって、オーバ露出である第一の参照画像が得られたときに、第二の参照画像が、ハイダイナミックレンジ画像の生成で有効的となるアンダー露出の参照画像または白飛び部分を含むアンダー露出の参照画像であるかの判別が可能となる。または、露出条件を変えた更なる第二の参照画像の撮像が必要であるかの判別が可能となる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第六のグループに属する場合には、輝度値の平均値が予め設定された値となるような露出条件で撮像を行い、２枚目以降の参照画像（第二の参照画像）を得る。そして、当該第二の参照画像から輝度値の度数分布を取得し、当該度数分布から特徴量を取得し、当該取得した特徴量に基づいて、第二の参照画像が第四のグループに属するか否かの判断を行っている（図７のステップＧ６６〜Ｇ６８参照）。

したがって、オーバ露出である１枚目の参照画像が得られたときに、第二の参照画像が、ハイダイナミックレンジ画像の生成で有効的となるベース露出の参照画像であるかの判別が可能となる。または、露出条件を変えた更なる第二の参照画像の撮像が必要であるかの判別が可能となる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第三のグループに属する場合には、輝度値の最大極大値が予め設定された所定の範囲となるような露出条件で撮像を行い、白飛び部分を補正する２枚目以降の参照画像（第二の参照画像）を得る（図８のステップＧ３０１〜Ｇ３０５参照）。

したがって、白飛び部分を有するアンダー露出である第一の参照画像が得られたときに、当該白飛び部分を補正することができる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第三のグループに属する場合には、第一の参照画像から得られる最小極大値が、所定の値より小さいか否かの判断を行う（図８のステップＧ３０７参照）。

したがって、第一の参照画像が黒潰れ部分を有するか否かが判明し、その後で必要とされる第二の参照画像の種類が把握できる。

また、本実施の形態では、前記において最小極大値が所定の値より小さいと判断したときには、輝度値の最小極大値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、黒潰れ部分を補正する第二の参照画像を得る（図８のステップＧ３０８〜Ｇ３１２）。

したがって、簡易な数値比較により第一の参照画像が黒潰れ部分を有すると判明でき、さらに当該黒潰れ部分を補正することができる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、前記において最小極大値が所定の値以上であると判断したときには、輝度値の平均値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、オーバ露出となる第二の参照画像を得る（図８のステップＧ３１３〜Ｇ３１７）。

したがって、簡易な数値比較により第一の参照画像が黒潰れ部分を有さないと判明でき、さらにオーバ露出となる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第五のグループに属する場合には、輝度値の最小極大値が予め設定された所定の範囲となるような露出条件で撮像を行い、黒潰れ部分を補正する２枚目以降の参照画像（第二の参照画像）を得る（図９のステップＧ５０１〜Ｇ５０５参照）。

したがって、黒潰れ部分を有するオーバ露出である第一の参照画像が得られたときに、当該黒潰れ部分を補正することができる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第五のグループに属する場合には、第一の参照画像から得られる最大極大値が、所定の値以上であるか否かの判断を行う（図９のステップＧ５０７参照）。

したがって、第一の参照画像が白飛び部分を有するか否かが判明し、その後で必要とされる第二の参照画像の種類が把握できる。

また、本実施の形態では、前記において最大極大値が所定の値以上であると判断したときには、輝度値の最大極大値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、白飛び部分を補正する第二の参照画像を得る（図９のステップＧ５０８〜Ｇ５１２）。

したがって、簡易な数値比較により第一の参照画像が白飛び部分を有すると判明でき、さらに当該白飛び部分を補正することができる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、前記において最大極大値が前記所定の値より小さいと判断したときには、輝度値の平均値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、アンダー露出となる第二の参照画像を得る（図９のステップＧ５１３〜Ｇ５１７）。

したがって、簡易な数値比較により第一の参照画像が白飛び部分を有さないと判明でき、アンダー露出となる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第四のグループに属する場合には、第一の参照画像から得られる最大極大値が、所定の値以上であるか否かの判断を行う（図１１のステップＧ４０２および図１２のステップＧ４３０参照）。

したがって、第一の参照画像が白飛び部分を有するか否かが判明し、その後で必要とされる第二の参照画像の種類が把握できる。

また、本実施の形態では、前記において最大極大値が所定の値以上であると判断したときには、輝度値の最大極大値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、白飛び部分を補正する第二の参照画像を得る（図１１のステップＧ４０３〜Ｇ４０７および図１２のステップＧ４３１〜Ｇ４３５）。

したがって、簡易な数値比較により第一の参照画像が白飛び部分を有すると判明でき、さらに当該白飛び部分を補正することができる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、前記において最大極大値が前記所定の値より小さいと判断したときには、輝度値の平均値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、アンダー露出となる第二の参照画像を得る（図１１のステップＧ４０８〜Ｇ４１２および図１２のステップＧ４３６〜Ｇ４４０）。

したがって、簡易な数値比較により第一の参照画像が白飛び部分を有さないと判明でき、アンダー露出となる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、１枚目の参照画像（第一の参照画像）が第四のグループに属する場合には、第一の参照画像から得られる最小極大値が、所定の値より小さいか否かの判断を行う（図１１のステップＧ４１４および図１２のステップＧ４４２参照）。

したがって、第一の参照画像が黒潰れ部分を有するか否かが判明し、その後で必要とされる第二の参照画像の種類が把握できる。

また、本実施の形態では、前記において最小極大値が所定の値より小さいと判断したときには、輝度値の最小極大値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、黒潰れ部分を補正する第二の参照画像を得る（図１１のステップＧ４１５〜Ｇ４１９および図１２のステップＧ４４３〜Ｇ４４７）。

したがって、簡易な数値比較により第一の参照画像が黒潰れ部分を有すると判明でき、さらに当該黒潰れ部分を補正することができる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、前記において最小極大値が前記所定の値以上である判断したときには、輝度値の平均値が、予め設定された所定の範囲内となるような露出条件で撮像を行い、オーバ露出となる第二の参照画像を得る（図１１のステップＧ４２０〜Ｇ４２４および図１２のステップＧ４４８３６〜Ｇ４５２）。

したがって、簡易な数値比較により第一の参照画像が黒潰れ部分を有さないと判明でき、オーバ露出となる最適な第二の参照画像を、必要最小限の撮像回数で得ることができる。

また、本実施の形態では、特徴量を入力として予め格納されているテーブルから当該入力に対応する係数を取得し、第二の参照画像の輝度値に関する特徴量が所望の値となるように、当該所望の値と前記係数とを用いて露出条件を求めている（図１４参照）。

したがって、事前に取得された情報（テーブルの係数）を用いて、適切な露出条件を簡単に求めることができる。

また、本実施の形態では、参照画像の輝度値に関する特徴量が所望の値となるように、過去に撮像された複数の参照画像の各々から得られる複数の特徴量と、過去に撮像された複数の参照画像の各過去露出条件と、前記所望の値とを用いて、露出条件を求める（図１５参照）。

したがって、過去の参照画像から得られる情報（露出条件、特徴量）を用いて、適切な露出条件を簡単に求めることができる。

また、本実施の形態では、デジタルカメラ１００内において、同一の被写体に対する複数の参照画像を合成することにより、ハイダイナミックレンジ画像を生成することができる。

したがって、参照画像の撮像を行ったデジタルカメラ１００自身において、余分な装置を用いる事無く、ハイダイナミックレンジ画像を生成することができる。

なお、上記では、所望する参照画像が得られたときに、ハイダイナミックレンジ画像生成部４は、参照画像格納部３に格納されている当該所望する参照画像を合成し、ハイダイナミックレンジ画像を生成する、場合について言及した。

ここで、図６，７，８，９，１１，１２の各フローにおいて、所望する参照画像が得られずに当該各フローが終了することもある。このように所望する参照画像が得られない場合には、次のパターンを実施する。第一のパターンは、合成処理は行わず、ハイダイナミックレンジ画像は生成しない。第二のパターンは、撮影した参照画像の中で、最もベースな画像を、結果画像とする。第三のパターンは、撮影した参照画像を用いて強制的に合成を実行し、当該合成画像を結果画像とする。なお、上記３パターンの中から、ユーザが事前にどのパターンを選択するかを決定することができる。ここで、「最もベースな画像」とは、輝度値分布の平均値が最も中間的な(つまり１２７．５に近い)値である画像を指す。

１ 撮像部
２ 画像処理部
３ 参照画像格納部
４ ハイダイナミックレンジ画像生成部
２１ 輝度値分布抽出部
２２ 特徴量抽出部
２３ グループ判別部
２４ 露出条件算出部
２５ 係数格納部
１００ デジタルカメラ

Claims (2)

1. （Ａ）所定の被写体を撮像することにより、第一の参照画像を得るステップと、
   （Ｂ）前記第一の参照画像から輝度値の度数分布を取得するステップと、
   （Ｃ）前記度数分布から特徴量を取得するステップと、
   （Ｄ）前記特徴量から求められる露出条件で前記所定の被写体を撮像することにより、第二の参照画像を得るステップと、
   （Ｅ）前記第一の参照画像と前記第二の参照画像とを合成することにより、ダイナミックレンジ画像を生成するステップと
   を備え、
   前記ステップ（Ｄ）は、
   （Ｄ−１）前記第二の参照画像の輝度値に関する特徴量が所望の値となるように、過去に撮像された複数の前記第一の参照画像の各々から得られる複数の前記特徴量と、過去に撮像された複数の前記第一の参照画像の各過去露出条件と、前記所望の値とを用いて、前記露出条件を求めるステップを有する、デジタルカメラの動作方法。
2. 請求項１に記載のデジタルカメラの動作方法を実施するデジタルカメラ。

Images