JP6925827B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年の撮像装置の機能の１つとして、例えば特許文献１において提案されているようなハイダイナミックレンジ（ＨＤＲ）機能が知られている。ＨＤＲ機能は、露出値の異なる複数回の撮像によって得られた画像データを合成することによって、撮像装置の本来の仕様よりも広いダイナミックレンジの画像を得るＨＤＲ処理を行う機能である。このようなＨＤＲ機能を用いることにより、例えば明暗差の大きいシーンにおける黒潰れ及び白飛びを抑制することができる。

特開２０１２−２０５２４４号公報

従来のＨＤＲ処理では、黒潰れ領域又は白飛び領域と同程度の輝度の領域については一律に処理が行われてしまう。このため、ユーザが意図していない箇所も処理が行われて、ＨＤＲ処理後に得られる画像は必ずしもユーザの望むものとならないことがある。画像内の一部の領域のみの輝度を調整するための手法として、ハーフＮＤフィルタを装着して撮影を行う手法もある。しかしながら、ハーフＮＤフィルタであっても必ずしもユーザの意図した領域だけの輝度を調整することができるとは限らない。

本発明は、前記の事情に鑑みてなされたものであり、より自由度の高いＨＤＲ処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、第１の画像データの座標毎にＨＤＲ処理の際の合成比を対応付けた合成比マップを生成する合成比マップ生成部と、前記第１の画像データと露出の異なる少なくとも１つの第２の画像データとを前記合成比マップに従って座標毎に合成するＨＤＲ処理を行う画像処理部と、前記第１の画像データに基づく画像を表示する表示部と、前記表示部に表示された画像上の座標をタッチによって指定するように構成されたタッチパネルとを具備し、前記合成比マップ生成部は、第１のモードのときには、前記タッチパネルによって指定された座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標に対する前記合成比を算出し、第２のモードのときには、前記タッチパネルによって指定された座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標を除いた領域に対する前記合成比を算出し、第３のモードのときには、前記タッチパネルによって指定された開始座標と終了座標とを含む領域において前記開始座標から前記終了座標の間で徐々に変化するように前記合成比を算出する。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、第１の画像データの座標毎にＨＤＲ処理の際の合成比を対応付けた合成比マップを生成することと、前記第１の画像データと露出の異なる少なくとも１つの第２の画像データとを前記合成比マップに従って座標毎に合成するＨＤＲ処理を行うこととを具備し、前記合成比マップは、第１のモードのときには、タッチパネルによって指定された画像上の座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標に対する前記合成比を算出することにより生成され、第２のモードのときには、前記タッチパネルによって指定された座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標を除いた領域に対する前記合成比を算出することにより生成され、第３のモードのときには、前記タッチパネルによって指定された開始座標と終了座標とを含む領域において前記開始座標から前記終了座標の間で徐々に変化するように前記合成比を算出することで生成される。

本発明によれば、より自由度の高いＨＤＲ処理を行うことができる画像処理装置及び画像処理方法を提供することができる。

本発明の一実施形態に係る画像処理装置の適用例としての撮像装置の構成を示すブロック図である。 撮像装置の基本的な動作を示すフローチャートである。 撮像装置の基本的な動作を示すフローチャートである。 撮像装置の基本的な動作を示すフローチャートである。 一実施形態における合成比マップの生成処理について示すフローチャートである。 焼き込みモードにおける合成比の設定について示した図である。 グラデーションモードにおける合成比の設定の第１の例について示した図である。 グラデーションモードにおける合成比の設定の第２の例について示した図である。 一実施形態におけるＨＤＲ処理の具体例について説明するための図である。 一実施形態におけるＨＤＲ処理の具体例について説明するための図である。 マスクパターンについて説明するための図である。 マスクパターンについて説明するための図である。 マスクタッチモードについて説明するための図である。 マスクタッチモードについて説明するための図である。 変形例２における合成比マップの生成処理について示すフローチャートである。 変形例２における合成比マップの生成処理について示すフローチャートである。 学習によって自動的に合成比マップを生成する変形例について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る画像処理装置の適用例としての撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、例えばレンズ交換式のデジタルカメラであって、交換レンズ１００と、本体２００とを有する。交換レンズ１００は、本体２００に対して着脱できるように構成されている。本体２００に交換レンズ１００が装着されると、交換レンズ１００と本体２００とは通信できるようになる。これにより、交換レンズ１００は、本体２００の制御に従って動作する。なお、図１に示す撮像装置１は、レンズ交換式のデジタルカメラである。しかしながら、撮像装置１は、必ずしもレンズ交換式でなくてもよい。例えば、撮像装置１は、レンズ一体式のデジタルカメラであってもよい。また、レンズ自体が撮像機能を有しているものであってもよい。この場合、レンズと本体との無線通信によって情報の伝達が行われるように構成されていてもよい。さらに、本実施形態の技術は必ずしも撮像装置に適用しなくてもよい。すなわち、本実施形態においては撮像機能は必須の機能ではない。

図１に示すように、交換レンズ１００は、撮像光学系１０２と、駆動部１０４と、位置検出部１０６と、レンズ制御部１０８と、記録部１１０と、操作部１１２と、通信部１１４とを有している。ここで、交換レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、交換レンズ１００の一部のブロックは、ソフトウェアによって、又はハードウェアとソフトウェアの組み合わせによって構成されていてもよい。

撮像光学系１０２は、レンズ及び絞りを有し、図示しない被写体からの光束を本体２００の撮像素子２０２に入射させる。撮像光学系１０２のレンズは、フォーカスレンズを含んでいてもよい。また、撮像光学系１０２は、ズームレンズを含んでいてもよい。

駆動部１０４は、撮像光学系１０２のレンズ及び絞りを駆動するためのモータ等の駆動機構を有する。駆動部１０４は、レンズ制御部１０８の制御の下、撮像光学系１０２のレンズ及び絞りを駆動する。

位置検出部１０６は、例えばエンコーダであり、撮像光学系１０２のフォーカスレンズの位置、ズームレンズの位置を検出する。また、位置検出部１０６は、撮像光学系の絞りの開口量を検出する。位置検出部１０６の検出結果は、レンズ制御部１０８によって取得される。

レンズ制御部１０８は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、交換レンズ１００の動作を制御する。レンズ制御部１０８と同等の機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。

記録部１１０は、例えばフラッシュＲＯＭによって構成されている。この記録部１１０には、交換レンズ１００の特性情報が記録されている。この特性情報は、例えば撮像光学系１０２の焦点距離の情報を含む。

操作部１１２は、フォーカスリング及びズームリングといった、ユーザが交換レンズ１００に対する操作をするための操作部材を含む。操作部１１２の操作内容は、レンズ制御部１０８によって検出される。レンズ制御部１０８は、操作部１１２の操作内容に従った処理を行う。

通信部１１４は、交換レンズ１００と本体２００との通信をするための交換レンズ１００の側のインターフェイスである。例えば、通信部１１４は、電気接点を含み、交換レンズ１００と本体２００との間を有線接続する。前述したように、通信部１１４は、交換レンズ１００と本体２００とは無線通信によって両者の通信を行うものであってもよい。

本体２００は、撮像素子２０２と、記憶部２０４と、表示部２０６と、タッチパネル２０８と、操作部２１０と、記録部２１２と、顔検出部２１４と、制御部２１６と、通信部２１８と、外部通信部２２０とを有している。

撮像素子２０２は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データを取得する。撮像素子２０２は、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。

記憶部２０４は、例えばＤＲＡＭであり、撮像素子２０２で取得された画像データを一時的に記憶する。この他、記憶部２０４は、制御部２１６における各種の処理結果を一時的に記憶する。

表示部２０６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、各種の画像を表示する。

タッチパネル２０８は、例えば表示部２０６の表示画面に重ねて配置されている。このタッチパネル２０８は、ユーザの表示画面上でのタッチ操作を検出する。ここで、タッチパネル２０８は、ユーザの表示画面上でのタッチ操作として、タッチされた座標を検出するだけでなく、タッチの強さを検出できるように構成されていてもよい。また、タッチパネル２０８は、必ずしも表示部２０６の表示画面に重ねて配置されていなくてもよい。

操作部２１０は、タッチパネル２０８以外のボタン、スイッチ、ダイヤル等の操作部材を含む。操作部２１０には、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンが含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。設定ボタンは、撮像装置１の設定画面を表示させるための操作部材である。選択キーは、例えば設定画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置１の電源をオン又はオフするための操作部材である。なお、タッチパネル２０８によって前述したレリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンと同等の操作ができるように構成されていてもよい。さらに、操作部２１０は、前述した以外の他の操作部材を有していてもよい。

記録部２１２は、例えばフラッシュＲＯＭで構成されている。記録部２１２には、制御部２１６で生成される画像ファイルが記録される。また、記録部２１２には、本体２００の制御のために用いられる各種のプログラム及び設定値が記録されていてもよい。

顔検出部２１４は、画像データから人物の顔を検出する。顔の検出手法としては、例えばテンプレートマッチングが用いられる。ただし、本実施形態においては顔の検出手法は特に限定されない。また、顔検出部２１４は、人物の顔の表情等を検出できるように構成されていてもよい。さらに、顔検出部２１４は、人物の顔以外も検出できるように構成されていてもよい。

制御部２１６は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、本体２００の動作を統括的に制御する。制御部２１６は、撮像制御部２１６１と、表示制御部２１６２と、輪郭検出部２１６３と、合成比マップ生成部２１６４と、画像処理部２１６５とを有している。制御部２１６の各ブロックの機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、制御部２１６の一部のブロックの機能は、制御部２１６と別個に設けられていてもよい。

撮像制御部２１６１は、撮像素子２０２による撮像（露出）動作を制御する。撮像制御部２１６１は、例えば撮像素子２０２の露出時間を制御する。また、撮像制御部２１６１は、撮像光学系１０２の絞りの開口量を制御する。後で詳しく説明するが、ＨＤＲ処理の際に、撮像制御部２１６１は、異なる露出値で撮像素子２０２による複数回の撮像が行われるように撮像素子２０２を制御する。

表示制御部２１６２は、表示部２０６に各種の画像を表示する際の制御をする。例えば、表示制御部２１６２は、記録部２１２に記録されている画像ファイルを読み出して表示部２０６に再生する。

輪郭検出部２１６３は、例えばハイパスフィルタ（ＨＰＦ）処理によって画像データから輪郭を検出する。輪郭は、例えば後で説明するマスクパターンを特定するために用いられる。

合成比マップ生成部２１６４は、ＨＤＲ処理のための合成比マップを生成する。合成比マップは、ＨＤＲ画像を生成するための露出の異なる複数の画像データの合成比を画像データの座標と対応づけて記録したマップである。ＨＤＲ処理の際には、合成比マップに従って画像データの合成が行われる。詳細については後で説明する。

画像処理部２１６５は、画像データに対して各種の画像処理を施す。この画像処理は、ホワイトバランス補正、色補正といった画像データを表示や記録に用いるための基本的な画像処理を含む。さらに、本実施形態においては、画像処理は、ＨＤＲ処理を含む。前述したように、本実施形態におけるＨＤＲ処理は、合成比マップに従って行われる。

通信部２１８は、交換レンズ１００と本体２００との通信をするための本体２００の側のインターフェイスである。例えば、通信部２１８は、電気接点を含み、交換レンズ１００と本体２００との間を有線接続する。前述したように、通信部２１８は、交換レンズ１００と本体２００との通信は無線通信によって行うものであってもよい。

外部通信部２２０は、撮像装置１の外部機器と通信するための本体２００の側のインターフェイスである。外部通信部２２０は、例えば無線通信によって外部機器と通信する。

以下、本実施形態の撮像装置１の動作について説明する。図２Ａ、図２Ｂ、図２Ｃは、撮像装置１の基本的な動作を示すフローチャートである。図２Ａ−図２Ｃのフローチャートの動作は、本体２００の制御部２１６によって制御される。

ステップＳ１において、制御部２１６は、現在の撮像装置１の動作モードが撮影モードであるか否かを判定する。撮像装置１は、動作モードとして撮影モードと、再生モードと、通信モードとを有している。撮影モードは、静止画又は動画を記録する処理を行う動作モードである。再生モードは、記録部２１２に記録されている画像ファイルを表示部２０６に再生する処理を行う動作モードである。通信モードは、記録部２１２に記録されている画像ファイルを外部機器に送信したり、外部機器から画像ファイルを受信したりといった通信を行うためのモードである。動作モードは、例えばユーザによるタッチパネル２０８の操作よって設定される。ステップＳ１において、現在の撮像装置１の動作モードが撮影モードであると判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、現在の撮像装置１の動作モードが撮影モードでないと判定されたときには、処理はステップＳ２８に移行する。

ステップＳ２において、制御部２１６は、交換レンズ１００が交換されたか否かを判定する。ステップＳ２において、交換レンズ１００が交換されたと判定されたときには、処理はステップＳ３に移行する。ステップＳ２において、交換レンズ１００が交換されていないと判定されたときには、処理はステップＳ４に移行する。

ステップＳ３において、制御部２１６は、通信部２１８を介して交換レンズ１００のレンズ制御部１０８と通信を行い、記録部１１０に記録されている特性情報を取得する。その後、処理はステップＳ４に移行する。これ以降、制御部２１６は、取得した特性情報を必要に応じて参照する。

ステップＳ４において、制御部２１６は、スルー画表示のための撮像動作を開始させる。スルー画表示のための撮像動作として、制御部２１６は、撮像素子２０２による撮像動作を所定のフレームレートで実行させる。このとき、制御部２１６は、顔が検出されているときには、顔の露出値が予め定められた基準値となるように撮像素子２０２の撮像動作を制御する。また、顔が検出されていないときには、制御部２１６は、画面中央部の露出値が基準値となるように撮像素子２０２の撮像動作を制御する。この他、制御部２１６は、画面全体の露出値の平均値が基準値となるように撮像素子２０２の撮像動作を制御するように構成されていてもよい。

ステップＳ５において、制御部２１６は、撮像素子２０２の撮像動作によって逐次に得られる画像データに基づく画像をリアルタイムで表示部２０６に表示させることでスルー画表示を行う。

ステップＳ６において、制御部２１６は、現在の撮影モードがＨＤＲ撮影モードであるか否かを判定する。撮像装置１は、撮影モードとして通常撮影モードとＨＤＲ撮影モードとを有している。通常撮影モードは、ＨＤＲ処理を伴わない撮影モードである。ＨＤＲ撮影モードは、ＨＤＲ処理を伴う撮影モードである。なお、前述したように、本実施形態におけるＨＤＲ処理は、合成比マップに従って露出の異なる複数の画像データを合成する処理である。撮影モードは、例えばユーザによるタッチパネル２０８の操作よって設定される。ステップＳ６において、現在の撮影モードがＨＤＲ撮影モードであると判定されたときには、処理はステップＳ７に移行する。ステップＳ６において、現在の撮影モードがＨＤＲ撮影モードでないと判定されたときには、処理はステップＳ１４に移行する。

ステップＳ７において、制御部２１６は、タッチパネル２０８の出力からユーザによる画面タッチ操作が検出されたか否かを判定する。ステップＳ７において、画面タッチ操作が検出されたと判定されたときには、処理はステップＳ８に移行する。ステップＳ７において、画面タッチ操作が検出されていないと判定されたときには、処理はステップＳ９に移行する。

ステップＳ８において、制御部２１６は、タッチパネル２０８の出力に応じて合成比マップを生成する。その後、処理はステップＳ９に移行する。ここで、合成比マップの生成処理について説明する。図３は、本実施形態における合成比マップの生成処理について示すフローチャートである。

ステップＳ１０１において、制御部２１６は、現在の合成比マップの生成モードが焼き込みモードであるか否かを判定する。本実施形態においては、制御部２１６は、合成比マップの生成モードとして焼き込みモードと、覆い焼きモードと、グラデーションモードとを有している。焼き込みモードは、ユーザによって指定された部分の露出を変えるようにＨＤＲ処理を行うモードである。覆い焼きモードは、ユーザによって指定された部分以外の露出を変えるようにＨＤＲ処理を行うモードである。焼き込みモード及び覆い焼きモードは、フィルム写真における焼き込み及び覆い焼きと同様の表現を画像処理によって実現するためのモードである。一方、グラデーションモードは、ユーザによって指定された方向に向けて露出を徐々に変えるようにＨＤＲ処理を行うモードである。合成比マップの生成モードは、例えばユーザによるタッチパネル２０８の操作よって設定される。他にも、スイッチやダイヤルで設定する方法もあるが、ユーザの操作履歴を記録しておいて嗜好を参考にしたり、シーン解析で一般的に行われる方を優先するようにしたりして、特定の判断プログラムに応じて判定するようにしてもよい。ステップＳ１０１において、現在の合成比マップの生成モードが焼き込みモードであると判定されたときには、処理はステップＳ１０２に移行する。ステップＳ１０１において、現在の合成比マップの生成モードが焼き込みモードでないと判定されたときには、処理はステップＳ１０７に移行する。

ステップＳ１０２において、制御部２１６は、タッチされている座標に対するタッチ時間を取得する。なお、制御部２１６は、タッチ時間の代わりに、タッチ強さ、タッチ回数等を取得するように構成されていてもよい。このようなタッチ操作であれば、タッチの変化やタッチのバリエーションに応じて、座標的にも、合成する画像の画質的にも、直感的かつ、感覚的な多様なアナログ的な変更を行うことができる。これにより、一律なＨＤＲ処理技術とは一線を画した制御を行うことができる。つまり、従来のＨＤＲ処理技術では、画面全体に予め決められた合成が行われる場合が多く、ユーザのこだわりの絵作りには十分対応できなかった。

ステップＳ１０３において、制御部２１６は、タッチされている座標における合成比を設定する。その後、処理はステップＳ１０４に移行する。図４は、焼き込みモードにおける合成比の設定について示した図である。図４においては、暗い部分ほど、合成比が大きいことを示している。図４に示すように、合成比は、タッチ時間に比例するように設定される。すなわち、タッチ時間は長くなるほどに合成比は大きくなる。このような制御が可能となることから、座標的にも合成の比率的にも制御を行っていくことができる。さらにずっとタッチが継続されると、合成する画像の露出等までを変更することもできる。このとき、後のＨＤＲ処理において得られるＨＤＲ画像のタッチされている座標における、顔部や中央部以外に露出が合わせられた画像データの合成される割合が大きくなる。なお、合成比は、例えば初期値が０で、０から１の値をとるものとする。そして、設定された合成比は、リセットされるまでは保持される。したがって、焼き込みモードにおいては、タッチされた座標の合成比だけが０よりも大きい値を持ち、それ以外の座標の合成比は０である合成比マップが生成される。このようにして生成された合成比マップは例えば記憶部２０４に記憶される。

また、合成比は、タッチ時間ではなく、タッチ強さ又はタッチ回数に比例するように設定されてもよいし、タッチ時間、タッチ強さ、タッチ回数に比例しないように設定されてもよい。例えば、タッチの初期においては合成比の変化量を小さくし、タッチ時間が長くなるにつれて合成比の変化量を大きくするように設定されてもよい。

ステップＳ１０４において、制御部２１６は、合成比が限界であるか否かを判定する。合成比が０から１の値をとるものとしたとき、合成比が１を超える時間までタッチがされていたときには、合成比が限界であると判定される。ステップＳ１０４において、合成比が限界であると判定されたときには、処理はステップＳ１０５に移行する。ステップＳ１０４において、合成比が限界でないと判定されたときには、処理はステップＳ１０６に移行する。

ステップＳ１０５において、制御部２１６は、これ以上のタッチをしてもタッチしている座標の明るさが変わらないことをユーザに対して警告する。その後、処理はステップＳ１０６に移行する。ステップＳ１０５における警告は、例えば表示部２０６にメッセージを表示することで行われる。この他、ステップＳ１０５における警告は、音声等で行われてもよい。

ステップＳ１０６において、制御部２１６は、ユーザによるタッチが終了されたか否かを判定する。例えば、ユーザの指がタッチパネル２０８から離れた状態であることが検出されたときユーザによるタッチが終了されたと判定される。一方、ユーザの指がタッチパネル２０８から離れておらずに座標だけが変わったときには（ユーザの指がタッチパネル２０８の上をスライド等しているときには）、ユーザによるタッチが終了されていないと判定される。ステップＳ１０６において、ユーザによるタッチが終了されていないと判定されたときには、処理はステップＳ１０１に戻る。この場合、現在の座標において合成比が再設定される。ステップＳ１０６において、ユーザによるタッチが終了されたと判定されたときには、図３の処理は終了する。

ステップＳ１０１において現在の合成比マップの生成モードが焼き込みモードでないと判定されたときのステップＳ１０７において、制御部２１６は、現在の合成比マップの生成モードが覆い焼きモードであるか否かを判定する。ステップＳ１０７において、現在の合成比マップの生成モードが覆い焼きモードであると判定されたときには、処理はステップＳ１０８に移行する。ステップＳ１０７において、現在の合成比マップの生成モードが覆い焼きモードでないと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０８において、制御部２１６は、タッチされている座標に対するタッチ時間を取得する。なお、制御部２１６は、タッチ時間の代わりに、タッチ強さ、タッチ回数等を取得するように構成されていてもよい。

ステップＳ１０９において、制御部２１６は、タッチされている座標以外の座標における合成比を設定する。その後、処理はステップＳ１０４に移行する。焼き込みモードのときと同様、覆い焼きモードにおいても、合成比は、タッチ時間に比例するように設定される。ただし、焼き込みモードのときは、タッチされている座標だけの合成比を設定するのに対し、覆い焼きモードのときは、タッチされている座標以外の座標の合成比を設定する点が異なる。なお、焼き込みモードのときと同様、覆い焼きモードにおいても、合成比は、例えば初期値が０で、０から１の値をとるものとする。そして、設定された合成比は、リセットされるまでは保持される。したがって、覆い焼きモードにおいては、タッチされた座標の合成比だけが０であり、それ以外の座標の合成比は０よりも大きい値を有する合成比マップが生成される。このようにして生成された合成比マップは例えば記憶部２０４に記憶される。このような制御が可能となることから、座標的にも合成の比率的にも制御を行っていくことができる。さらにずっとタッチ操作が継続されると、合成する画像の露出等までを変更することも可能である。例えば、基準画像との露出差をタッチの時間を含むタッチパターンで変更すればよい。近年では、タッチパネルの接触前からの情報が得られるパネルもあり、こうしたパネル上の空中での指の動きなどを反映させてもよい。つまり、このような工夫、改良が出来る点が本願の特徴であって、タッチパネルを有する画像関連機器には広く応用できる。当該タッチパネルの操作の位置とタッチパターンによって、第１の画像データの座標毎にＨＤＲ処理の際の合成比又はＨＤＲ処理時の合成画像の露出差を対応付けた合成比マップを生成する合成比マップ生成部と、第１の画像データと前述の露出差の第２の画像データとを前記合成比マップに従って座標毎に合成するＨＤＲ処理を行う画像処理部とを具備する画像処理装置とすることによって、これまでの一様なＨＤＲ処理とは異なる、ユーザの嗜好を反映した絵作りがなされた画像を取得することができる。

ステップＳ１０７において現在の合成比マップの生成モードが覆い焼きモードでないと判定されたときのステップＳ１１０において、制御部２１６は、現在の合成比マップの生成モードがグラデーションモードであるか否かを判定する。ステップＳ１１０において、現在の合成比マップの生成モードがグラデーションモードであると判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１１０において、現在の合成比マップの生成モードがグラデーションモードでないと判定されたときには、処理はステップＳ１０１に戻る。

ステップＳ１１１において、制御部２１６は、ユーザによるタッチが終了されたか否かを判定する。ステップＳ１１１における判定は、ステップＳ１０６における判定と同様に行われる。ステップＳ１１１において、ユーザによるタッチが終了されていないと判定されたときには、処理はステップＳ１１０に戻る。ステップＳ１１１において、ユーザによるタッチが終了されたと判定されたときには、処理はステップＳ１１２に移行する。

ステップＳ１１２において、制御部２１６は、タッチの開始座標と終了座標とを含む領域においてグラデーションを有する合成比を算出する。生成された合成比マップは例えば記憶部２０４に記憶される。その後、図３の処理は終了する。

図５Ａは、グラデーションモードにおける合成比の設定の第１の例について示した図である。ここで、図５Ａの矢印Ａは、タッチパネル２０８の上でのユーザの指の動きを示している。すなわち、図５Ａにおいて、ユーザの指はタッチパネル２０８の中央部から右方向に向けてスライドしている。グラデーションモードでは、ユーザの指のタッチの始点の座標と終点の座標とを含む矩形の領域Ｒに対して合成比が設定される。図５Ａでは、領域Ｒの水平方向の長さはタッチの始点の座標と終点の座標であり、垂直方向の長さはタッチパネル２０８の垂直方向の長さ（すなわち表示部２０６の画面の垂直方向の長さ）と一致している。領域Ｒの垂直方向の長さはタッチパネル２０８の垂直方向の長さと一致させる必要はない。

第１の例においては、合成比は、始点の座標で０になり、始点の座標から終点の座標に向けて徐々に大きくなって終点の座標で１になるように設定される。始点の座標と終点の座標との間の合成比の階調数は例えば２５６階調である。この場合、始点の座標から終点の座標にかけて合成比が２５６段階で変化する。

図５Ｂは、グラデーションモードにおける合成比の設定の第２の例について示した図である。ここで、図５Ｂの矢印Ｂは、タッチパネル２０８の上でのユーザの指の動きを示している。すなわち、図５Ｂにおいて、ユーザの指はタッチパネル２０８の左端中央部から上下に動きながらタッチパネル２０８の右端中央部までスライドしている。

第２の例においては、合成比は、垂直方向の位置に応じて設定される。すなわち、合成比は、タッチされた座標がタッチパネルの下方になるほどに０に近づき、上方になるほどに１に近づくように設定される。この場合も指の動きに伴ってグラデーションを有する合成比が設定される。

なお、合成比マップが生成された後、再度の合成比マップの生成処理が行われた場合には、前回の合成比マップをリセットしてから合成比マップを生成するようにしてもよいし、前回の合成比マップに重ねる形で合成比マップを生成するようにしてもよい。また、合成比マップの生成手法は、前述した手法に限るものではない。すなわち、合成比マップは、焼き込みモード、覆い焼きモード、グラデーションモード以外の各種の手法によって生成され得る。

ここで、図２Ａ−図２Ｃの説明に戻る。合成比マップ生成処理の後のステップＳ９において、制御部２１６は、ＨＤＲ処理のための撮像動作を開始させる。その後、処理はステップＳ１０に移行する。ステップＳ９の撮像動作として、制御部２１６は、例えばスルー画表示のための撮像動作に対して予め定められた段数だけ低い又は高い露出値（例えば基準値に対して＋３段又は−３段）となるように撮像素子２０２の撮像動作を制御する。なお、低い露出値と高い露出値の何れで撮像動作を行うかは例えばユーザによって予め設定される。

また、ステップＳ９の撮像動作として、制御部２１６は、例えばユーザによって合成比マップの生成開始時点でタッチされた画像データ上の座標（すなわち最初にタッチされた座標）の露出値が予め定められた基準値となるように２回目の撮像素子２０２の撮像動作を制御するように構成されていてもよい。さらに、ＨＤＲ処理のための撮像動作は２回以上行われてもよい。例えば、制御部２１６は、スルー画表示のための撮像動作に対して予め定められた段数だけ低い露出値の撮像動作（例えば基準値に対して−３段）と高い露出値の撮像動作（例えば基準値に対して＋３段）とを制御するように構成されていてもよい。この場合、３枚の画像データを用いてＨＤＲ処理が行われる。なお、３枚の画像データを用いてＨＤＲ処理を行うように構成されているときには、１枚目の画像データと２枚目の画像データとの合成に用いられる合成比マップに対して１枚目の画像データと２枚目の画像データとの合成結果と３枚目の画像データとの合成に用いられる合成比マップを変えることができるように構成されていてもよい。

ステップＳ１０において、制御部２１６は、ＨＤＲ処理を行う。その後、処理はステップＳ１１に移行する。ステップＳ１０において、合成比マップが生成されていないときには、制御部２１６は、通常のＨＤＲ処理を行う。通常のＨＤＲ処理として、制御部２１６は、例えばスルー画表示のための撮像動作で得られた画像データ（すなわち顔又は画面中央部が適正露出となっている画像データ）における白飛び又は黒潰れ領域にＨＤＲ処理のための撮像動作で得られた画像データを合成する。一方、ステップＳ１０において、合成比マップが生成されているときには、制御部２１６は、画面タッチ操作がなされる直前のスルー画表示のための撮像動作で得られた画像データ（すなわち顔又は画面中央部が適正露出となっている画像データ）とＨＤＲ処理のための撮像動作で得られた画像データとを合成比マップに従って合成する。

例えば、スルー画表示のための撮像動作で得られた画像データの座標（ｘ，ｙ）の画素の値をＩ１（ｘ，ｙ）とし、ＨＤＲ処理のための撮像動作で得られた画像データの座標（ｘ，ｙ）の画素の値をＩ２（ｘ，ｙ）とし、座標（ｘ，ｙ）における合成比がａ（０≦ａ≦１）であるとすると、座標（ｘ，ｙ）に合成画像データの画素の値Ｉ３（ｘ，ｙ）は、以下の式によって得られる。以下の処理を画像データのすべての座標に対して行うことによってＨＤＲ画像データが生成される。
Ｉ３（ｘ，ｙ）＝（１−ａ）×Ｉ１（ｘ，ｙ）＋ａ×Ｉ２（ｘ，ｙ）

以下、具体的に本実施形態のＨＤＲ処理を説明する。例えば、ユーザは、焼き込みモードにおいて、スルー画表示されている画像Ｉ１上（実際には画像Ｉ１の各座標と対応するタッチパネル２０８上）を、タッチ時間を徐々に長くしながら指Ｆを図６の上段に示す矢印Ｃの方向にスライドしたとする。このときの矢印Ｃの方向に沿った合成比マップは、図６の下段に示すような合成比マップになる。

一方、スルー画のための撮像で得られた画像データが図７に示す画像データＩ１であり、その後のＨＤＲ処理のための撮像で得られた画像データが図７に示す画像データＩ２であるとする。なお、画像データＩ１は、顔に対して露出が合わせられている画像データである。このため、画像データＩ１においては、背景は白飛びしている。また、画像データＩ２は、背景に対して露出が合わせられている画像データである。このため、顔については黒潰れしている。

画像データＩ１と画像データＩ２とを図６に示す合成比マップに従って合成すると図７に示すＨＤＲ画像データＩ３が生成される。なお、図７においては、矢印Ｃに沿った方向だけの合成が行われた状態のＨＤＲ画像データＩ３が模式的に示されている。図７に示すように、ＨＤＲ画像データＩ３の左端の明るさは、合成が行われていないために画像データＩ１の明るさである。一方、ＨＤＲ画像データＩ３の左端から右端に向かうにしたがって画像データＩ２の合成の割合が大きくなって、画像データＩ２に写っている背景が表示され始める。そして、ＨＤＲ画像データＩ３の右端の明るさは、画像データＩ２の明るさになって適正な露出の背景が表示される。

なお、図では示していないが、覆い焼きモードでは、図６の矢印Ｃで示した部分以外の明るさが左端から右端にかけて徐々に変化するＨＤＲ画像データが生成される。グラデーションモードでは、画像全体の明るさが左端から右端にかけて徐々に変化するＨＤＲ画像データが生成される。グラデーションモードでは、所謂ハーフＮＤフィルタを装着して撮影が行われたのと同様の効果を画像処理によって表現することもできる。

このように本実施形態では画像データの座標毎にＨＤＲ処理の合成比を変えることができる。これにより、本実施形態では種々の表現のＨＤＲ画像データを生成することができる。このようにして本実施形態ではＨＤＲ処理の自由度を高めることができる。

ここで、図２Ａ−図２Ｃの説明に戻る。ステップＳ１１において、制御部２１６は、ＨＤＲ処理によって得られた画像データに基づくスルー画像を表示部２０６に表示させる。

ステップＳ１２において、制御部２１６は、シーン変化があったか否かを判定する。シーン変化とは、明るさの変化、コントラストの変化、被写体の変化等を含む。これらの変化が予め定めた所定値以上であるときには、シーン変化があったと判定される。ステップＳ１２において、シーン変化があったと判定されたときには、処理はステップＳ１３に移行する。ステップＳ１２において、シーン変化がないと判定されたときには、処理はステップＳ１４に移行する。

ステップＳ１３において、制御部２１６は、合成比マップをリセットする。その後、処理はステップＳ１４に移行する。シーン変化前の合成比マップに従ってＨＤＲ処理がされてしまうと、ユーザの意図とは異なった処理がなされてしまう可能性が高い。したがって、シーン変化があったときには、合成比マップをリセットしている。なお、ステップＳ１３の処理は省略されてもよい。すなわち、シーン変化があったとしても合成比マップが保持されるようにしてもよい。

ステップＳ１４において、制御部２１６は、ユーザによる撮影操作がなされたか否かを判定する。撮影操作は、例えばユーザによるレリーズボタンの操作又は動画ボタンの操作である。ステップＳ１４において、ユーザによる撮影操作がなされたと判定されたときには、処理はステップＳ１５に移行する。ステップＳ１４において、ユーザによる撮影操作がなされていないと判定されたときには、処理はステップＳ２５に移行する。

ステップＳ１５において、制御部２１６は、現在の撮影モードがＨＤＲ撮影モードであるか否かを判定する。ステップＳ１５において、現在の撮影モードがＨＤＲ撮影モードであると判定されたときには、処理はステップＳ１６に移行する。ステップＳ１５において、現在の撮影モードがＨＤＲ撮影モードでないと判定されたときには、処理はステップＳ２６に移行する。

ステップＳ１６において、制御部２１６は、ＨＤＲ画像データの記録のための撮像動作を開始させる。その後、処理はステップＳ１７に移行する。ステップＳ１６の撮像動作として、制御部２１６は、顔又は画面中央部の露出値が予め定められた基準値となるように撮像素子２０２の撮像動作を制御する。その後、制御部２１６は、顔又は画面中央部の露出値が予め定められた基準値よりも予め定められた段数だけ低い又は高い露出値となるように撮像素子２０２の撮像動作を制御する。前述したように、制御部２１６は、３回以上の撮像動作を行うように構成されていてもよい。

ステップＳ１７において、制御部２１６は、合成比マップがあるか否かを判定する。ステップＳ１７において、合成比マップがあると判定されたときに、処理はステップＳ１８に移行する。ステップＳ１７において、合成比マップが無いと判定されたときに、処理はステップＳ１９に移行する。

ステップＳ１８において、制御部２１６は、合成比マップに従ってＨＤＲ処理を行う。その後、処理はステップＳ２０に移行する。ＨＤＲ処理の手法は、ステップＳ１０と同様でよい。

ステップＳ１９において、制御部２１６は、通常のＨＤＲ処理を行う。その後、処理はステップＳ２０に移行する。通常のＨＤＲ処理として、制御部２１６は、例えば１枚目の画像データにおける白飛び又は黒潰れ領域に２枚目の画像データを合成する。

ステップＳ２０において、制御部２１６は、ＨＤＲ処理によって得られた画像データに基づく画像を表示部２０６に表示させる。

ステップＳ２１において、制御部２１６は、ユーザによって決定操作がされたか否かを判定する。決定操作は、例えばステップＳ２０においてＨＤＲ画像とともに表示される決定ボタンへのタッチ操作である。ステップＳ２１において、制御部２１６は、ユーザによって決定操作がされていないと判定されたときには、処理はステップＳ２２に移行する。ステップＳ２１において、制御部２１６は、ユーザによって決定操作がされたと判定されたときには、処理はステップＳ２４に移行する。

ステップＳ２２において、制御部２１６は、タッチパネル２０８の出力からユーザによる画面タッチ操作が検出されたか否かを判定する。ステップＳ２２において、画面タッチ操作が検出されたと判定されたときには、処理はステップＳ２３に移行する。ステップＳ２２において、画面タッチ操作が検出されていないと判定されたときには、処理はステップＳ１７に移行する。

ステップＳ２３において、制御部２１６は、タッチパネル２０８の出力に応じて合成比マップを生成する。その後、処理はステップＳ１７に移行する。なお、合成比マップの生成処理は、図３でと同様でよい。ステップＳ２３において合成比マップの生成処理が行われた場合、再度のＨＤＲ画像の表示の際にはステップＳ２３で生成された合成比マップに従ってステップＳ１８においてＨＤＲ処理が行われる。すなわち、本実施形態では、撮影時においてもＨＤＲ処理の調整を行うことができる。

ステップＳ２４において、制御部２１６は、ＨＤＲ画像データを画像ファイル（ＨＤＲ画像ファイル）として記録部２１２に記録する。その後、処理はステップＳ２５に移行する。ここで、本実施形態では、ＨＤＲ画像データの生成に用いられた画像データも１つのＨＤＲ画像ファイルとして記録される。これにより、画像ファイルの再生時の編集処理によってもＨＤＲ処理の調整を行うことができる。なお、ＨＤＲ画像データとその生成に用いられた画像データとは別個のファイルに記録されていてもよい。この場合、例えばファイル名によって両ファイルの関連付けがされている必要がある。

ステップＳ２５において、制御部２１６は、本体２００の電源がオフされたか否かを判定する。ステップＳ２５において、本体２００の電源がオフされたと判定されたときには、図２Ａ−図２Ｃの処理は終了する。ステップＳ２５において、本体２００の電源がオフされていないと判定されたときには、処理はステップＳ１に戻る。

ステップＳ１５において現在の撮影モードがＨＤＲ撮影モードでないと判定されたときのステップＳ２６において、制御部２１６は、通常の記録のための撮像動作を開始させる。その後、処理はステップＳ２７に移行する。ステップＳ２６の撮像動作として、制御部２１６は、顔又は画面中央部の露出値が予め定められた基準値となるように撮像素子２０２の撮像動作を制御する。なお、ステップＳ２６であっても、連写時又は動画撮影時においてはユーザによって終了が指示されるまでは記録のための撮像動作が繰り返し行われる。

ステップＳ２７において、制御部２１６は、画像データを画像ファイルとして記録部２１２に記録する。その後、処理はステップＳ２５に移行する。

ステップＳ１において現在の撮像装置１の動作モードが撮影モードでないと判定されたときのステップＳ２８において、制御部２１６は、現在の撮像装置１の動作モードが再生モードであるか否かを判定する。ステップＳ２８において、現在の撮像装置１の動作モードが再生モードであると判定されたときには、処理はステップＳ２９に移行する。ステップＳ２８において、現在の撮像装置１の動作モードが再生モードでないと判定されたときには、処理はステップＳ４１に移行する。

ステップＳ２９において、制御部２１６は、記録部２１２に記録されている画像ファイルの一覧を表示部２０６に表示させる。その後、処理はステップＳ３０に移行する。

ステップＳ３０において、制御部２１６は、ユーザによって画像ファイルが選択されたか否かを判定する。ステップＳ３０において、ユーザによって画像ファイルが選択されたと判定されたときには、処理はステップＳ３１に移行する。ステップＳ３０において、ユーザによって画像ファイルが選択されていないと判定されたときには、処理はステップＳ４０に移行する。

ステップＳ３１において、制御部２１６は、選択された画像ファイルを表示部２０６に再生する。なお、選択された画像ファイルがＨＤＲ画像ファイルであるときには、制御部２１６は、ＨＤＲ画像データを再生する。

ステップＳ３２において、制御部２１６は、再生中の画像ファイルがＨＤＲ画像ファイルであるか否かを判定する。ステップＳ３２において、再生中の画像ファイルがＨＤＲ画像ファイルであると判定されたときには、処理はステップＳ３３に移行する。ステップＳ３２において、再生中の画像ファイルがＨＤＲ画像ファイルでないと判定されたときには、処理はステップＳ３９に移行する。

ステップＳ３３において、制御部２１６は、タッチパネル２０８の出力からユーザによる画面タッチ操作が検出されたか否かを判定する。ステップＳ３３において、画面タッチ操作が検出されたと判定されたときには、処理はステップＳ３４に移行する。ステップＳ３３において、画面タッチ操作が検出されていないと判定されたときには、処理はステップＳ３９に移行する。

ステップＳ３４において、制御部２１６は、タッチパネル２０８の出力に応じて合成比マップを生成する。その後、処理はステップＳ３５に移行する。なお、合成比マップの生成処理は、図３で示したものと同様にして行われる。

ステップＳ３５において、制御部２１６は、合成比マップに従ってＨＤＲ処理を行う。その後、処理はステップＳ３６に移行する。ステップＳ３５において、制御部２１６は、現在再生中の画像ファイルに記録されているＨＤＲ画像データの作成に用いられた露出の異なる複数の画像データを用いてＨＤＲ処理を行う。ＨＤＲ処理の手法は、ステップＳ１０と同様でよい。

ステップＳ３６において、制御部２１６は、ＨＤＲ処理によって得られた画像データに基づく画像を表示部２０６に表示させる。

ステップＳ３７において、制御部２１６は、ユーザによって決定操作がされたか否かを判定する。ステップＳ３７において、制御部２１６は、ユーザによって決定操作がされていないと判定されたときには、処理はステップＳ３９に移行する。ステップＳ３７において、制御部２１６は、ユーザによって決定操作がされたと判定されたときには、処理はステップＳ３８に移行する。

ステップＳ３８において、制御部２１６は、ステップＳ３５において変更された後のＨＤＲ画像データをＨＤＲ画像ファイルとして記録部２１２に記録する。その後、処理はステップＳ３９に移行する。ステップＳ３８においても、ＨＤＲ画像データの生成に用いられた画像データもＨＤＲ画像ファイルとして記録される。なお、ＨＤＲ画像データの生成に用いられた画像データがＨＤＲ画像データと別のファイルになっているときには、改めてＨＤＲ画像データの生成に用いられた画像データを記録する必要はない。

ステップＳ３９において、制御部２１６は、画像ファイルの再生を終了するか否かを判定する。ステップＳ３９においては、例えばユーザによる操作部２１０の操作によって画像ファイルの再生の終了が指示されたときに、画像ファイルの再生を終了すると判定される。ステップＳ３９において、画像ファイルの再生を終了しないと判定されたときには、処理はステップＳ３１に戻る。この場合には、画像ファイルの再生は継続される。ステップＳ３９において、画像ファイルの再生を終了すると判定されたときには、処理はステップＳ２９に戻る。

ステップＳ３０においてユーザによって画像ファイルが選択されていないと判定されたときのステップＳ４０において、制御部２１６は、再生モードの処理を終了するか否かを判定する。ステップＳ４０において、再生モードの処理を終了しないと判定されたときには処理はステップＳ２９に戻る。ステップＳ４０において、再生モードの処理を終了すると判定されたときには処理はステップＳ２５に移行する。

ステップＳ２８において、現在の撮像装置１の動作モードが再生モードでないと判定されたときのステップＳ４１において、制御部２１６は、通信モードの処理を行う。通信モードにおいては、制御部２１６は、ユーザによって指定された画像ファイルを外部機器に送信したり、外部機器から画像ファイル等を受信したりする処理を行う。通信モードの処理の終了後、処理はステップＳ２５に移行する。

以上説明したように本実施形態では、ユーザの操作に従ってＨＤＲ処理のための合成比マップを生成している。この合成比マップに従ってＨＤＲ処理を行うことにより、種々の表現のＨＤＲ画像データを生成することができる。これにより、ＨＤＲ処理の自由度を高めることができる。

ここで、前述した実施形態においては、ユーザのタッチパネル２０８の操作に従って合成比を設定する座標が指定されている。しかしながら、座標を指定できるのであれば、必ずしもタッチパネル２０８の操作でなくてもよい。

［変形例１］
以下、本実施形態の変形例を説明する。前述した実施形態では、タッチされた座標に対して合成比が設定される例を説明している。これに対し、タッチされた座標だけでなく、タッチされた座標を含むマスクパターンに対して合成比が設定されるように構成されていてもよい。例えば、図８Ａに示す人物Ｏの領域内の座標へのタッチがあったときに、制御部２１６は、図８Ｂに示すように、タッチされた座標を含む輪郭を検出し、検出した輪郭をマスクパターンＭとする。そして、制御部２１６は、マスクパターンＭに対して合成比を設定する。例えば、焼き込みモードの場合には、制御部２１６は、マスクパターンＭに含まれる各座標の合成比をタッチ時間、タッチ強さ、タッチ回数等に応じて設定する。また、覆い焼きモードの場合には、制御部２１６は、マスクパターンＭを除く各座標の合成比をタッチ時間、タッチ強さ、タッチ回数等に応じて設定する。さらに、グラデーションモードの場合には、制御部２１６は、マスクパターンＭの中でグラデーションを有するように合成比を設定する。このようにマスクパターンＭに基づいて合成比を設定することで、ユーザの操作回数を減らすことが可能である。

［変形例２］
前述した実施形態では基本的にはタッチされた座標に対しては合成比が設定される。これに対し、タッチされた座標であっても合成比の設定を禁止できるようにしてもよい。例えば、前述した例では、焼き込みモードにおいて図６のような顔を含むスライド操作がされたときには、顔もＨＤＲ処理の対象となる。この場合、露出値が基準値に合わせられた顔の画像に基準値よりも低い露出値の顔の画像が合成されるので、顔の露出値は基準値よりも低くなる。変形例２は、図６と同様のスライド操作がなされた場合であっても、顔の露出値を変えずにその他の部分のみの露出値を変えるように構成した例である。以下、このような画像データの一部をＨＤＲ処理の対象から除外できるようにしたモードをマスクタッチモードと言う。マスクタッチモードのときには、例えば図９に示すようにマスクタッチモードであることを示す表示Ｄがなされてもよい。

マスクタッチモードのときに、ユーザは、複数本の指によってタッチパネル２０８を操作する。ユーザは、図９に示すように、指Ｆ１によってＨＤＲ処理の対象から除外したい座標をタッチする。さらに、ユーザは、図９に示すように、もう１本の指Ｆ２によって前述したようなスライド操作をする。このとき、制御部２１６は、指Ｆ１によってタッチされた座標を含む輪郭によって囲まれる各座標をＨＤＲ処理の対象から除外して合成比マップを生成する。そして、このようにして生成された合成比マップに従ってＨＤＲ処理が行われることにより、図１０に示すように顔はＨＤＲ処理の対象から除外され、顔の露出値は基準値のままになる。

図１１Ａ及び図１１Ｂは、変形例２における合成比マップの生成処理について示すフローチャートである。ここで、図１１Ａ及び図１１Ｂにおいて、図３と同一の処理については図３と同一の符号を付している。したがって、同一の符号を付している処理については説明を適宜省略する。

ステップＳ１０１において、制御部２１６は、現在の合成比マップの生成モードが焼き込みモードであるか否かを判定する。ステップＳ１０１において、現在の合成比マップの生成モードが焼き込みモードであると判定されたときには、処理はステップＳ１０２に移行する。ステップＳ１０１において、現在の合成比マップの生成モードが焼き込みモードでないと判定されたときには、処理はステップＳ１０７に移行する。

ステップＳ１０２において、制御部２１６は、タッチされている座標を含むマスクパターンに対するタッチ時間を取得する。なお、制御部２１６は、タッチ時間の代わりに、タッチ強さ、タッチ回数等を取得するように構成されていてもよい。その後、処理はステップＳ１１３に移行する。

ステップＳ１１３において、制御部２１６は、マスクタッチがされているか否かを判定する。例えば、同一のマスクパターンに含まれる２か所以上の座標へのタッチが検出されたときにはマスクタッチがされていると判定される。ステップＳ１１３において、マスクタッチがされていないと判定されたときには、処理はステップＳ１０３に移行する。ステップＳ１１３において、マスクタッチがされていると判定されたときには、処理はステップＳ１１４に移行する。

ステップＳ１１４において、制御部２１６は、マスクタッチがされている座標を含むマスクパターンを合成比の設定対象から除外する。その後、処理はステップＳ１０４に移行する。

ステップＳ１０３−Ｓ１０６の処理は図３のステップＳ１０３−Ｓ１０６の処理と同一である。したがって、説明を省略する。

ステップＳ１０１において現在の合成比マップの生成モードが焼き込みモードでないと判定されたときのステップＳ１０７において、制御部２１６は、現在の合成比マップの生成モードが覆い焼きモードであるか否かを判定する。ステップＳ１０７において、現在の合成比マップの生成モードが覆い焼きモードであると判定されたときには、処理はステップＳ１０８に移行する。ステップＳ１０７において、現在の合成比マップの生成モードが覆い焼きモードでないと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０８において、制御部２１６は、タッチされている座標に対するタッチ時間を取得する。なお、制御部２１６は、タッチ時間の代わりに、タッチ強さ、タッチ回数等を取得するように構成されていてもよい。その後、処理はステップＳ１１４に移行する。

ステップＳ１１５において、制御部２１６は、マスクタッチがされているか否かを判定する。例えば、同一のマスクパターンに含まれる２か所以上の座標へのタッチが検出されたときにはマスクタッチがされていると判定される。ステップＳ１１５において、マスクタッチがされていないと判定されたときには、処理はステップＳ１０９に移行する。ステップＳ１１５において、マスクタッチがされていると判定されたときには、処理はステップＳ１１６に移行する。

ステップＳ１１６において、制御部２１６は、マスクタッチがされている座標を含むマスクパターンを合成比の設定対象から除外する。その後、処理はステップＳ１０４に移行する。

ステップＳ１０７において現在の合成比マップの生成モードが覆い焼きモードでないと判定されたときのステップＳ１１０において、制御部２１６は、現在の合成比マップの生成モードがグラデーションモードであるか否かを判定する。ステップＳ１１０において、現在の合成比マップの生成モードがグラデーションモードであると判定されたときには、処理はステップＳ１１１に移行する。ステップＳ１１０において、現在の合成比マップの生成モードがグラデーションモードでないと判定されたときには、処理はステップＳ１０１に戻る。

ステップＳ１１１において、制御部２１６は、ユーザによるタッチが終了されたか否かを判定する。ステップＳ１１１において、ユーザによるタッチが終了されていないと判定されたときには、処理はステップＳ１１０に戻る。ステップＳ１１１において、ユーザによるタッチが終了されたと判定されたときには、処理はステップＳ１１７に移行する。

ステップＳ１１７において、制御部２１６は、マスクタッチがされていたか否かを判定する。ステップＳ１１７において、マスクタッチがされていないと判定されたときには、処理はステップＳ１１２に移行する。ステップＳ１１７において、マスクタッチがされていたと判定されたときには、処理はステップＳ１１８に移行する。

ステップＳ１１８において、制御部２１６は、マスクタッチがされている座標を含むマスクパターンを合成比の設定対象から除外する。その後、図１１Ａ及び図１１Ｂの処理は終了する。

以上説明したようなマスクタッチモードを搭載することにより、よりユーザの意図したＨＤＲ画像データを生成することができる。

［変形例３］
前述した実施形態及び変形例ではユーザの画面タッチ操作があったときに合成比マップが生成される。これに対し、ユーザの画面タッチ操作の傾向とシーンとの関係を例えば機械学習によって学習することにより、以前に合成比マップを生成したシーンと同様のシーンであることが判定されたときに、自動的に以前に生成した合成比マップを生成するように制御部２１６が構成されてもよい。例えば、制御部２１６は、ＡＩを搭載しており、図１２の画像データＩ１と画像データＩ２とが得られるシーンにおいて、ＨＤＲ画像データＩ３が生成されることを学習した後の撮影時において画像データＩ１が得られるシーンであることを判定したときには、ユーザの画面タッチ操作を待たずに合成比マップＭＰを生成してＨＤＲ処理を行うように構成されてもよい。なお、このときには、合成比マップが自動的に生成されたことをユーザに通知してもよい。このような構成により、ユーザの操作回数を減らすことが期待される。

以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述した実施形態で示した撮像装置は、レンズ交換式のデジタルカメラである。しかしながら、本実施形態で想定される撮像装置は、デジタルカメラ以外の撮像機能を有する各種の装置、例えば内視鏡、顕微鏡、監視カメラ、車載カメラといった装置も含まれる。さらに、前述したように、本実施形態におけるＨＤＲ処理は再生モード中にも行われ得る。すなわち、本実施形態の技術においては必ずしも撮像動作は必要なく、露出の異なる複数の画像データが入力される各種の画像処理装置に対して本実施形態の技術は適用可能である。近年では、撮像時に様々な露出やピント位置の情報を取得しておき、画像合成用に記録しておく機器が増加しているからである。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、前述した実施形態による各処理は、コンピュータである制御部２１６に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部２１６は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、前述した処理を実行することができる。

本発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、前記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
例えば、本願出願の当初の特許請求の範囲に記載された発明の他に以下の発明が抽出され得る。
［１］ タッチパネルを有し、当該タッチパネルの操作の位置とタッチパターンによって、第１の画像データの座標毎にＨＤＲ処理の際の合成比又はＨＤＲ処理時の合成画像の露出差を対応付けた合成比マップを生成する合成比マップ生成部と、
前記第１の画像データと前述の露出差の第２の画像データとを前記合成比マップに従って座標毎に合成するＨＤＲ処理を行う画像処理部と、
を具備する画像処理装置。

１ 撮像装置、１００ 交換レンズ、１０２ 撮像光学系、１０４ 駆動部、１０６ 位置検出部、１０８ レンズ制御部、１１０ 記録部、１１２ 操作部、１１４ 通信部、２００ 本体、２０２ 撮像素子、２０４ 記憶部、２０６ 表示部、２０８ タッチパネル、２１０ 操作部、２１２ 記録部、２１４ 顔検出部、２１６ 制御部、２１８ 通信部、２２０ 外部通信部、２１６１ 撮像制御部、２１６２ 表示制御部、２１６３ 輪郭検出部、２１６４ 合成比マップ生成部、２１６５ 画像処理部。

Claims (6)

1. 第１の画像データの座標毎にＨＤＲ処理の際の合成比を対応付けた合成比マップを生成する合成比マップ生成部と、
   前記第１の画像データと露出の異なる少なくとも１つの第２の画像データとを前記合成比マップに従って座標毎に合成するＨＤＲ処理を行う画像処理部と、
   前記第１の画像データに基づく画像を表示する表示部と、
   前記表示部に表示された画像上の座標をタッチによって指定するように構成されたタッチパネルと、
   を具備し、
   前記合成比マップ生成部は、
   第１のモードのときには、前記タッチパネルによって指定された座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標に対する前記合成比を算出し、
   第２のモードのときには、前記タッチパネルによって指定された座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標を除いた領域に対する前記合成比を算出し、
   第３のモードのときには、前記タッチパネルによって指定された開始座標と終了座標とを含む領域において前記開始座標から前記終了座標の間で徐々に変化するように前記合成比を算出する、
   画像処理装置。
2. 前記合成比マップ生成部は、前記第１のモードのときには、前記タッチパネルによって指定された座標を含む輪郭によって囲まれる座標についての前記合成比を算出する請求項１に記載の画像処理装置。
3. 前記合成比マップ生成部は、前記第２のモードのときには、前記タッチパネルによって指定された座標を含む輪郭によって囲まれる座標については前記ＨＤＲ処理を行わない座標とする請求項１に記載の画像処理装置。
4. 前記合成比マップ生成部は、前記第３のモードのときには、前記開始座標において前記合成比を最小値にし、前記終了座標において前記合成比を最大値にする請求項１に記載の画像処理装置。
5. 前記合成比マップ生成部は、前記第３のモードのときには、前記開始座標から前記終了座標までの垂直方向の座標の変化に応じて前記合成比を算出する請求項１に記載の画像処理装置。
6. 第１の画像データの座標毎にＨＤＲ処理の際の合成比を対応付けた合成比マップを生成することと、
   前記第１の画像データと露出の異なる少なくとも１つの第２の画像データとを前記合成比マップに従って座標毎に合成するＨＤＲ処理を行うことと、
   を具備し、
   前記合成比マップは、
   第１のモードのときには、タッチパネルによって指定された画像上の座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標に対する前記合成比を算出することにより生成され、
   第２のモードのときには、前記タッチパネルによって指定された座標に対するタッチ時間、タッチの強さ、タッチの回数の少なくとも何れかに応じて前記指定された座標を除いた領域に対する前記合成比を算出することにより生成され、
   第３のモードのときには、前記タッチパネルによって指定された開始座標と終了座標とを含む領域において前記開始座標から前記終了座標の間で徐々に変化するように前記合成比を算出することで生成される、
   画像処理方法。

Images