JP7214407B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、ＨＤＲ画像を生成する画像処理装置及び画像処理方法に関する。

異なるセンサ感度で時分割に繰り返し撮像した画像をＨＤＲ（ハイダイナミックレンジ）合成する際に、センサ感度の違いや合成時の露出補正により、ＨＤＲ画像内の明部と暗部のノイズ特性に差異が生じ、明暗部の境界にノイズの段差が発生する場合がある。従来から、明暗部に生じる画質劣化を低減する様々な方法が提案されている。特許文献１には、撮像画像から暗部を検出し、暗部領域の平均輝度が撮像画像の露出と適正露出との中間値になるように露出設定し、再撮像して得られた画像を合成することで、暗部のノイズを低減する方法が記載されている。

特開２０１５－５０７３３号公報

しかし、特許文献１に記載の方法では、暗部については撮像時の露出と適正露出との中間となる露出で撮像した画像を合成しているため、撮像画像と比べて明部と暗部とのノイズ特性に差異が生じる可能性がある。したがって、特許文献１に記載の方法を用いてＨＤＲ合成した場合でも、ＨＤＲ画像内の明暗部の境界においてノイズ段差が発生する可能性がある。そこで、本発明は、時分割で撮像した画像をＨＤＲ合成する際に、明暗部の境界に生じるノイズ段差を低減させることができる画像処理装置を提供することを目的とする。

本発明による画像処理装置は、被写体を異なるＳＮ比特性を有する露出条件で撮像した複数の撮像画像を取得する取得手段と、前記複数の撮像画像を合成してハイダイナミックレンジ画像を生成する合成手段と、生成された前記ハイダイナミックレンジ画像を複数の領域に分割する分割手段と、前記分割して得られた分割領域間におけるノイズ段差量を導出する導出手段と、前記ノイズ段差量に基づき、前記露出条件のうち少なくとも１つの露出条件を更新する更新手段と、を備えることを特徴とする。

本発明によれば、時分割で撮像した画像をＨＤＲ合成する際に、明暗部の境界に生じるノイズ段差を低減させることができる。

暗部と明部とを有する被写体を撮像装置で撮像する様子を示す図である。 時分割撮像を説明するための図である。 図１に示す撮像装置のシステム構成を示す図である。 第１実施形態にかかる撮像装置の画像処理部の機能を示すブロック図である 第１実施形態における画像処理部が実行する処理のフローチャートである。 第２のセンサ感度で撮像した画像を合成して得られるＨＤＲ画像を模式的に示す図である。 領域分割処理を示すフローチャートである。 領域分割を説明するための図である。 ノイズ段差量導出処理を示すフローチャートである。 ノイズ段差量を説明するための図である。 ＳＮ比特性を示すグラフである。 第１のセンサ感度で撮像した画像を合成して得られるＨＤＲ画像を模式的に示す図である。 空間周波数特性成分に基づき領域を分割する方法を説明するための図である。 時分割撮像の他の例を説明するための図である。 ノイズ段差量が大きい領域を強調表示するユーザインターフェースの一例を示す図である。 暗部の分割領域の画素値ヒストグラムの一例を示す図である。 第２実施形態における画像処理部が実行する処理のフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［第１実施形態］
本実施形態では、図１に示すように、暗部１０１及び明部１０２を有するダイナミックレンジが広い静止被写体を、撮像装置１０３を用いて異なる露出条件（本実施形態ではセンサ感度）で連続撮像を行って、時分割画像を撮像する場合を例にする。図２は、時分割撮像及び時分割撮像により取得される時分割画像を説明するための図である。図２（ａ）には、時分割撮像した各フレーム画像の露光開始及び終了タイミングを表すタイムラインが示されている。ｉ－１番目のフレーム画像（以下、フレーム画像ｉ－１と記す。）は、低いセンサ感度（ＩＳＯ感度とも呼ぶ。）ＩＳＯ_S及び露光時間Ｔ_Sで撮像されている。一方、ｉ番目のフレーム画像（以下、フレーム画像ｉと記す。）は、センサ感度ＩＳＯ_Sより高いセンサ感度ＩＳＯ_L、露光時間Ｔ_Lで撮像されている。また、各フレーム画像は、時間間隔Ｔ_FPSで連続撮像されている。図２（ｂ）には、撮像画像内のフレーム画像ｉ－１が示されている。フレーム画像ｉ－１は、露光量が少ないセンサ感度ＩＳＯ_Sで撮像した低露光画像であるため、明部１０２は適切な露出レベルで撮像される一方、暗部１０１に対応する領域は暗く、ノイズが大きくなっている。図２（ｃ）には、撮像画像内のフレーム画像ｉが示されている。フレーム画像ｉは、露光量が多いセンサ感度ＩＳＯ_Lで撮像した高露光画像であるため、明部１０２に対応する画素値は飽和する一方、暗部１０１は適切な露出レベルで撮像されるので、暗部１０１に対応する領域はノイズが小さくなっている。

図３は、図１に示す撮像装置１０３のシステム構成を示す図である。撮像装置１０３は、撮像部３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＣＰＵ３０４、撮像制御部３０５、操作部３０６、表示部３０７、及び外部メモリ制御部３０８を備える。これらの構成要素は、データ転送経路であるバス３１１により互いに接続されている。撮像部３０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサを有する。撮像部３０１は、被写体から反射される反射光の光量を検知し、Ａ／Ｄ変換を経てバス３１１にデジタルデータを出力する。ＲＯＭ３０２とＲＡＭ３０３は、撮像や画像処理に必要なプログラム、データ、作業領域などをＣＰＵ３０４に提供する。ＣＰＵ３０４は、ＲＡＭ３０３をワークメモリとして、ＲＯＭ３０２やＲＡＭ３０３に格納されたプログラムを読み出して実行し、バス３１１を介して各構成を制御する。これにより、後述する様々な処理（例えば、図５、図７、図９及び図１７に示す処理）が実行される。撮像制御部３０５は、撮像部３０１に対してフォーカスを合わせたり、シャッタを開いたり、絞りを調節したりする制御を行う。操作部３０６は、例えば、ボタンやモードダイヤルである。ユーザは、操作部３０６を介して、電源の起動や処理パラメータの設定など各種の指示を撮像装置１０３に対して入力することができる。表示部３０７は、例えば液晶ディスプレイであって、画像処理部３１０から受け取った撮像画像や文字情報を表示する。なお、表示部３０７は、タッチスクリーン機能を有していてもよい。そして、表示部３０７が、ユーザ指示を入力する操作部３０６として機能してもよい。外部メモリ制御部３０８は、ＰＣ（パーソナルコンピュータ）や外部メモリ３０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）と接続するためのインターフェースである。画像処理部（以下、画像処理装置と呼ぶ場合がある。）３１０は、撮像部３０１から得られたデジタル画像に対して画像処理を施して新たな画像を生成し、生成した画像をバス３１１に出力する。

図４は、第１実施形態にかかる撮像装置１０３の画像処理部３１０の機能を示すブロック図である。センサ感度設定部４０１は、バス３１１を介して被写体を撮像する複数のセンサ感度を撮像部３０１に設定する。センサ感度設定部４０１は、設定したセンサ感度を撮像画像取得部４０３とＨＤＲ合成部４０４とに出力する。露光時間設定部４０２は、バス３１１を介して被写体を撮像する複数の露光時間を設定する。露光時間設定部４０２は、設定した露光時間を撮像画像取得部４０３に出力する。撮像画像取得部４０３は、センサ感度設定部４０１が設定したセンサ感度で被写体を連続して撮像した画像（撮像画像）を撮像部３０１から取得する。撮像画像取得部４０３は、取得した撮像画像を、ＨＤＲ合成部４０４とノイズ段差量導出部４０６とに出力する。ＨＤＲ合成部４０４は、撮像画像とセンサ感度とに基づき、撮像画像を合成してＨＤＲ画像を生成し、該ＨＤＲ画像をノイズ段差量導出部４０６とバス３１１とに出力する。領域分割部４０５は、撮像画像とハイダイナミックレンジ画像（ＨＤＲ画像）とを複数の領域に分割し、分割した領域（以下、分割領域と呼ぶ。）に関する情報（例えば、座標）をノイズ段差量導出部４０６に出力する。ノイズ段差量導出部４０６は、撮像画像とＨＤＲ画像と分割領域に関する情報とから、ＨＤＲ合成により分割領域間に生じるノイズ段差量を導出し、導出したノイズ段差量をセンサ感度導出部４０７に出力する。センサ感度導出部４０７は、ノイズ段差量から、ＨＤＲ画像において生じるノイズ段差を低減するセンサ感度を導出し、導出したセンサ感度をセンサ感度設定部４０１に出力する。

（画像処理部３１０の動作）
図５は、第１実施形態における画像処理部３１０が実行する処理のフローチャートである。図５に示すフローを記述したプログラムを、ＣＰＵ３０４がＲＯＭ３０２から読み出してＲＡＭ３０３上に書き込み、該プログラムを実行することによって当該処理が実施される。

まず、センサ感度設定部４０１が、第１のセンサ感度がＲＯＭ３０２またはＲＡＭ３０３等の記憶領域（以下、所定の記憶領域と呼ぶ。）に記憶されているか判定する（Ｓ５０１）。第１のセンサ感度は、ノイズ段差を低減するセンサ感度であって、後述するＳ５１１で導出される。

第１のセンサ感度が記憶されていない場合は（Ｓ５０１のＮＯ）、センサ感度設定部４０１が、所定の記憶領域に記憶されたユーザ指定の第２のセンサ感度を、後述するＳ５０６で取得される撮像画像のセンサ感度に設定する（Ｓ５０２）。本実施形態では、第２のセンサ感度として、ＩＳＯ_S2＝８００，ＩＳＯ_L2＝１２８００が設定されているものとする。次いで、露光時間設定部４０２が、所定の記憶領域に記憶されたユーザ指定の第２の露光時間を、後述するＳ５０６で取得される撮像画像の露光時間に設定する。本実施形態では、第２の露光時間としてＴ_S2＝１／１２０（ｓｅｃ）、Ｔ_L2＝１／１２０（ｓｅｃ）が設定されているものとする。なお、第２のセンサ感度及び第２の露光時間は、予め、ユーザによって操作部３０６を介してセンサ感度設定部４０１に対して指定されるものとする。また、センサ感度設定部４０１は、ユーザ指定の第２のセンサ感度及び第２の露光時間を所定の記憶領域に記憶させておくものとする。

一方、第１のセンサ感度が記憶されている場合は（Ｓ５０２のＹＥＳ）、センサ感度設定部４０１が、第１のセンサ感度を、後述するＳ５０６で取得される撮像画像のセンサ感度に設定する。本実施形態では、後述するＳ５１１にて第１のセンサ感度としてＩＳＯ_S1＝２００，ＩＳＯ_L1＝１２８００が導出され、導出された各値が所定の記憶領域に記憶されるものとする。次いで、露光時間設定部４０２が、第１のセンサ感度ＩＳＯ_S1，ＩＳＯ_L1と、第二のセンサ感度ＩＳＯ_S2，ＩＳＯ_L2と、第二の露光時間Ｔ_S2，Ｔ_L2とから、以下の式（１）に従い、露光時間Ｔ_S1、Ｔ_L1を設定する。

Ｔ_S1，Ｔ_L1は、第１のセンサ感度ＩＳＯ_S1，ＩＳＯ_L1でフレーム画像ｉ－１，ｉを撮像する際に設定される露光時間である。本実施形態では、上述したように、第１のセンサ感度としてＩＳＯ_S1＝２００，ＩＳＯ_L1＝１２８００が設定されていて、第２のセンサ感度としてＩＳＯ_S2＝８００、ＩＳＯ_L2＝１２８００が設定されている。従って、Ｔ_S2＝１／１２０（ｓｅｃ），Ｔ_L2＝１／１２０（ｓｅｃ），Ｔ_L1＝１／１２０（ｓｅｃ）すると、式（１）よりＴ_S1＝１／３０（ｓｅｃ）となる。設定された露光時間Ｔ_S1，Ｔ_L1は所定の記憶領域に記憶される。

次いで、撮像画像取得部４０３が、Ｓ５０２，Ｓ５０３、又はＳ５０４，Ｓ５０５で設定されたセンサ感度及び露光時間で被写体を撮像し、撮像画像を取得する（Ｓ５０６）。取得された撮像画像は、所定の記憶領域に記憶される。次いで、ＨＤＲ合成部４０４が、フレーム画像ｉ－１，ｉから、公知のトーンマッピングアルゴリズムを用いてＨＤＲ画像を合成する（Ｓ５０７）。本実施形態では、ユーザ指定の第２のセンサ感度で撮像して得られた画像をＨＤＲ合成した場合、ＨＤＲ画像の左側領域（被写体の暗部１０１が写る領域）には、フレーム画像ｉを露出補正して得られる画像が貼り付けられる。そのため、ＨＤＲ画像の左側領域は、フレーム画像ｉ－１の左側領域よりもノイズが小さくなっている。一方、ＨＤＲ画像の右側領域（明部１０２が写る領域）は、フレーム画像ｉ－１の画像がそのまま貼り付けられるため、フレーム画像ｉ－１の右側領域と同じノイズ特性を有するＨＤＲ画像が得られる。ＨＤＲ合成して得られた画像（ＨＤＲ画像）は、所定の記憶領域に記憶される。

次いで、領域分割部４０５が、第１のセンサ感度が所定の記憶領域に記憶されているか判定する（Ｓ５０８）。第１のセンサ感度が記憶されている場合（Ｓ５０８のＹＥＳ）、領域分割部４０５は、ノイズ段差が低減されたＨＤＲ画像がＳ５０７にて取得できていると判断する。そして、処理は終了する。なお、被写体を動画撮像する場合には、図５に示すフローが繰り返し実行される。第１のセンサ感度が記憶されていない場合（Ｓ５０８のＮＯ）、領域分割部４０５は、分割領域、ノイズ段差量、及びノイズ段差を低減するセンサ感度の導出処理（後述するＳ５０９、Ｓ５１０、及びＳ５１１の処理）が行われていないと判断する。そして、領域分割部４０５は、Ｓ５０９の処理に移行する。

領域分割部４０５は、図２（ｂ）（ｃ）に示すフレーム画像ｉ－１，ｉと、フレーム画像ｉ－１，ｉとをＨＤＲ合成した画像（図６に示すＨＤＲ画像）とを、図７に示すフローに従って複数の領域に分割する（Ｓ５０９）。なお、Ｓ５０９の処理（領域分割処理）の詳細は後述する。本実施形態では、Ｓ５０９において、被写体の暗部１０１と明部１０２とがそれぞれ、後述する図８（ａ）（ｂ）に示す領域Ｒ_kAと領域Ｒ_kBとして導出される。領域分割処理により得られた各領域を特定可能な情報（座標など）が所定の記憶領域に記憶される。

次いで、ノイズ段差量導出部４０６が、図２（ｂ）に示す低露光のフレーム画像ｉ－１に対するＨＤＲ合成画像のノイズ段差量を、図９に示すフローに従って導出する（Ｓ５１０）。ノイズ段差量導出処理の詳細は後述する。図１０は、平均画素値Ｉ_kを有する分割領域Ｒ_kの標準偏差の差分Δσ（Ｉ_k）をプロットしたグラフである。横軸は領域Ｒ_kの平均画素値Ｉ_k、縦軸は領域Ｒ_kの標準偏差の差分Δσ（Ｉ_k）である。ｔｈ₁、ｔｈ₂はＨＤＲ合成される画素値範囲である。Ｉ_k＜ｔｈ₁の画素領域には、フレーム画像ｉが貼り付けられ、Ｉ_k＞ｔｈ₂である画素領域には、フレーム画像ｉ－１が貼り付けられる。ｔｈ₁≦Ｉ_k≦ｔｈ₂である画素領域には、フレーム画像ｉ－１とフレーム画像ｉとを画素値に応じた重み付けでαブレンディングされた画像が貼り付けられる。点線で示される曲線は、センサ感度から導出される、平均画素値Ｉを有する領域Ｒで生じる標準偏差の差分Δσ（Ｉ）を表している。図１０に示されるように、Ｉ＜ｔｈ₁である場合、露出補正したフレーム画像ｉが貼り付けられる。そのため、フレーム画像ｉ－１とフレーム画像ｉとのセンサ感度の違いと、フレーム画像ｉに対する露出補正とに伴い、標準偏差の差分Δσ（Ｉ）は画素値Ｉに対し単調減少する。Ｉ＞ｔｈ₂である場合、フレーム画像ｉ－１が貼り付けられるため、標準偏差の差分Δσ（Ｉ）は０となる。ｔｈ₁≦Ｉ_k≦ｔｈ₂である場合、フレーム画像ｉ－１とフレーム画像ｉとをαブレンディングするため、標準偏差の差分Δσ（Ｉ）は画素値Ｉに対し単調増加し、０に近づく。本実施形態では、ＨＤＲ画像内の領域Ｒ_kAにおいてはＩ_kA＜ｔｈ₁であり、フレーム画像ｉの対応する領域が露出補正されて貼り付けられるため、フレーム画像ｉ－１の領域Ｒ_kAよりもノイズが小さくなっている。従って、後述する式（４）より、標準偏差の差分Δσ（Ｉ_kA）＜０となる。また、ＨＤＲ画像内の領域Ｒ_kBにおいてはＩ_kB＞ｔｈ₂であり、フレーム画像ｉ－１の画像が貼り付けられるため、標準偏差の差分Δσ（Ｉ_kB）＝０となる。ノイズ段差量導出部４０６は、導出したノイズ段差量Δσ（Ｉ）を所定の記憶領域に記憶する。

次いで、センサ感度導出部４０７が、ノイズ段差を低減する第１のセンサ感度として、以下の式（２）に従うＳＮ比特性を有するセンサ感度を導出する（Ｓ５１１）。

Ｉ_kAとσ_kA（Ｉ_kA）は、後述するＳ９０２で導出されるフレーム画像ｉ－１の領域Ｒ_kにおける平均画素値とノイズ量である。Δσ（Ｉ_kA）は、後述するＳ９０５で導出される領域Ｒ_kにおけるノイズ段差量である。図１１は、ノイズ段差量と第２のセンサ感度とから第１のセンサ感度が導出される際に用いられる、ＳＮ比特性を示すグラフである。横軸は画素値Ｉ、縦軸は画素値Ｉに対するＳＮ比である。点線ＩＳＯ_S2，ＩＳＯ_L2は、第２のセンサ感度から導出されるフレーム画像ｉ－１，ｉにおけるＳＮ比特性を示す曲線である。実線は、フレーム画像ｉ－１，ｉを合成したＨＤＲ画像におけるＳＮ比特性の曲線である。Ｉ＜ｔｈ₁である画素領域では、露出補正したフレーム画像ｉが貼り付けられるため、曲線ＩＳＯ_L2に対し、横軸方向にＩＳＯ_L2／ＩＳＯ_S2倍だけ縮小したＳＮ比特性となる。Ｉ＞ｔｈ₂である画素領域では、フレーム画像ｉ－１が貼り付けられるため、ＩＳＯ_S2のＳＮ比特性を有する。ｔｈ₁＜Ｉ＜ｔｈ₂である画素領域では、フレーム画像ｉ－１とフレーム画像ｉとがαブレンディングされるため、ＩＳＯ_L2を横軸方向にＩＳＯ_L2／ＩＳＯ_S2倍だけ縮小した曲線と曲線ＩＳＯ_S2とを補間する曲線に沿ったＳＮ比特性となる。点線ＩＳＯ_S1，ＩＳＯ_L1は、式（２）に従って導出されるフレーム画像ｉ－１、ｉのセンサ感度である。本実施形態では、第２のセンサ感度にはＩＳＯ_S2＝８００、ＩＳＯ_L2＝１２８００が設定されている。よって、ＩＳＯ_L1を１２８００に設定した場合、式（２）を満たすフレーム画像ｉ－１のセンサ感度として、ＩＳＯ_L2を横軸方向にＩＳＯ_L2／ＩＳＯ_S2倍だけ縮小した曲線と同じＳＮ比特性を有するＩＳＯ_S1＝２００が導出される。センサ感度導出部４０７は、導出したセンサ感度を第１のセンサ感度として所定の記憶領域に記憶する。Ｓ５１１の後、処理はＳ５０１に戻る。

（領域分割部４０５の動作）
図７を用いて、Ｓ５０９の領域分割処理について説明する。まず、領域分割部４０５が、分割領域の番号ｋを１に初期化する（Ｓ７０１）。次いで、領域分割部４０５が、以下の式（３）に従い、ｋ番目の分割領域に指定する画素値の範囲ΔＩ_kを設定する（Ｓ７０２）。

Ｎは分割領域の合計数である。領域分割部４０５は、設定した画素値範囲ΔＩ_kを、所定の記憶領域に記憶する。次いで、領域分割部４０５は、Ｓ５０７で合成されたＨＤＲ画像から、ΔＩ_kの範囲内の画素値を有する領域Ｒ_kを導出する（Ｓ７０３）。領域分割部４０５は、導出した領域Ｒ_kの情報（例えば、領域Ｒ_kの座標情報）を所定の記憶領域に記憶する。次いで、領域分割部４０５は、分割領域の番号ｋを１インクリメント（ｋ＝ｋ＋１）して更新する（Ｓ７０４）。最後に、領域分割部４０５は、全分割領域の情報を導出し終えたか判定する（Ｓ７０５）。具体的には、領域分割部４０５は、分割領域の番号ｋがＮより大きいか判定する。ｋ＞Ｎを満たす場合は（Ｓ７０５のＹＥＳ）、領域分割部４０５は、全分割領域の情報を導出し終えたと判断し、処理を終了する。ｋ＞Ｎを満たさない場合は（Ｓ７０５のＮＯ）、領域分割部４０５は、Ｓ７０２の処理に戻る。本実施形態では、図８に示すように、被写体の暗部１０１に対応する領域が、図８（ａ）に示す領域Ｒ_kA（白色の部分）として導出される。また、被写体の明部１０２に対応する領域が、図８（ｂ）に示す領域Ｒ_kB（白色の部分）として導出される。

（ノイズ段差量導出部４０６の動作）
図９を用いて、Ｓ５１０のノイズ段差量導出処理について説明する。まず、ノイズ段差量導出部４０６が、分割領域の番号ｋを１に初期化する（Ｓ９０１）。次いで、ノイズ段差量導出部４０６が、低いセンサ感度を設定した低露光画像であるフレーム画像ｉ－１内の領域Ｒ_kの平均画素値Ｉ_kを導出する（Ｓ９０２）。導出した平均画素値Ｉ_kは所定の記憶領域に記憶される。次いで、ノイズ段差量導出部４０６が、フレーム画像ｉ－１内の領域Ｒ_kの標準偏差σ_kを導出する（Ｓ９０３）。導出された標準偏差σ_kは所定の記憶領域に記憶される。次いで、ノイズ段差量導出部４０６が、ＨＤＲ画像内の領域Ｒ_kの標準偏差σ_Hkを導出する（Ｓ９０４）。導出された標準偏差σ_Hkは、所定の記憶領域に記憶される。次いで、ノイズ段差量導出部４０６が、以下の式（４）に従い、ＨＤＲ画像内の領域Ｒ_kの標準偏差σ_Hkとフレーム画像ｉ－１内の領域Ｒ_kの標準偏差σ_kとの差分Δσ（Ｉ_k）を導出する（Ｓ９０５）。

導出された領域Ｒ_kの標準偏差の差分Δσ（Ｉ_k）は、所定の記憶領域に記憶される。
次いで、ノイズ段差量導出部４０６は、分割領域の番号ｋを１インクリメント（ｋ＝ｋ＋１）して更新する（Ｓ９０６）。次いで、ノイズ段差量導出部４０６は、全分割領域についてノイズ段差量を導出し終えたか判定する（Ｓ９０７）。具体的には、ノイズ段差量導出部４０６は、分割領域の番号ｋがＮより大きいか判定する。ｋ＞Ｎを満たす場合は（Ｓ９０７のＹＥＳ）、ノイズ段差量導出部４０６は、全分割領域のノイズ段差量を導出したと判定し、処理を終了する。ｋ＞Ｎを満たさない場合は（Ｓ９０７のＮＯ）、ノイズ段差量導出部４０６は、Ｓ９０２の処理に戻る。図１０を用いて前述したように、本実施形態では、ＨＤＲ画像内の領域Ｒ_kAにおいてはＩ_kA＜ｔｈ₁であり、フレーム画像ｉの対応する領域が露出補正されて貼り付けられる。そのため、ＨＤＲ画像内の領域Ｒ_kAは、フレーム画像ｉ－１の領域Ｒ_kAよりもノイズが小さくなっている。従って、式（４）より、標準偏差の差分Δσ（Ｉ_kA）＜０となる。また、ＨＤＲ画像内の領域Ｒ_kBにおいてはＩ_kB＞ｔｈ₂であり、フレーム画像ｉ－１の画像が貼り付けられるため、標準偏差の差分Δσ（Ｉ_kB）＝０となる。

以上説明した画像処理を行うことにより、ＨＤＲ画像に生じるノイズ段差を低減するセンサ感度（第１のセンサ感度）を導出できる。図１２は、第１のセンサ感度で撮像した画像を合成して得られるＨＤＲ画像を示す図である。本実施形態では、フレーム画像ｉ－１の第１のセンサ感度として、ＩＳＯ_L2を横軸方向にＩＳＯ_L2／ＩＳＯ_S2倍だけ縮小した曲線と同じＳＮ比特性を有するＩＳＯ_S1＝２００を導出することにより、明部と暗部とのノイズ特性の差異を低減している。よって、本実施形態によれば、図１２に示すような暗部と明部間のノイズ段差が低減されたＨＤＲ画像を生成することができる。

なお、本実施形態では、撮像画像とＨＤＲ画像との画素値に応じて領域を分割した。しかし、撮像画像とＨＤＲ画像とをフーリエ変換し、空間周波数特性成分を図１３（ａ）に示す公知のＤａｌｙのＣｏｒｔｅｘフィルタに従い、複数の周波数帯に分割しても良い。その場合、ノイズ段差量導出部４０６は、分割した複数の周波数帯における撮像画像とＨＤＲ画像との空間周波数特性の差分に対し、図１３（ｂ）に示す公知のＤａｌｙのマスクコントラストに従い、周波数に応じて重みづけ加算した値Ｖを導出する。そして、ノイズ段差量導出部４０６は、図１３（ｃ）に示す、Ｖと標準偏差の差分Δσとのルックアップテーブルから、ノイズ段差量を導出しても良い。

また、本実施形態では、式（２）に示すＳＮ比特性を有するセンサ感度を設定可能な撮像装置を例にして、センサ感度の導出方法を説明した。しかし、撮像装置に対して上記ＳＮ比特性を有するセンサ感度を設定できない場合は、撮像装置で設定できるセンサ感度と加算平均する撮像画像の枚数とを導出しても良い。具体的には高フレームレートで連続撮像できる高速度カメラにて同じセンサ感度で撮像した画像を複数枚で加算平均することにより、撮像装置にて設定できるセンサ感度よりも高いＳＮ比特性を有する画像を取得することができる。図１４には、低いセンサ感度ＩＳＯ_S、露光時間Ｔ_Sで３枚のフレーム画像ｉ―１１，ｉ―１２，ｉ―１３を撮像する場合の、露光の開始及び終了のタイミングを表すタイムラインが示されている。このとき、３枚のフレーム画像ｉ―１１，ｉ―１２，ｉ―１３を加算平均して得られる画像が、Ｓ５０７，Ｓ５０９～Ｓ５１０等の処理で用いられることになる。なお、ユーザがノイズ段差の低減を優先するモードを設定した場合に、ノイズ段差を低減するセンサ感度と加算平均する撮像画像の枚数とを導出するようにしても良い。一方、ユーザが複数枚の撮影画像を加算平均した場合に、動体上に生じる二重像の低減を優先するモードを設定した場合には、撮像画像の枚数を１枚に設定して露光時間を長く設定できるようにしても良い。

また、各分割領域Ｒ_kの領域内での平均画素値Ｉ_kに対するノイズ段差量が所定の閾値より大きい分割領域をユーザインターフェース上に強調表示する表示制御を行うようにしてもよい。つまり、画像処理部３１０は、そのようなユーザインターフェースを表示部３０７に表示する表示制御部を有していてもよい。図１５は、ノイズ段差量が所定の閾値より大きい分割領域Ｒ_kAの境界を点線で囲んで強調表示した例である。

また、本実施形態では、Ｓ５０８の判定において、第１のセンサ感度が所定の記憶領域に記憶されていると判断した場合にはＳ５０９～Ｓ５０８の処理をスキップするようにしている。しかし、第１のセンサ感度が所定の記憶領域に記憶されている場合であっても、第１のセンサ感度を設定し直す必要があると判定した場合には、Ｓ５０９～Ｓ５０８の処理を実行するようにしてもよい。例えば、ＨＤＲ画像全体における最大画素値と最小画素値との変化を検出した場合に、Ｓ５０９～Ｓ５０８の処理を実行するようにしてもよい。そのような形態を実現するには、例えば、Ｓ５０８でＹＥＳと判定された後に、前回のＨＤＲ画像と今回のＨＤＲ画像とにおける最大画素値及び最小画素値を比較して、第１のセンサ感度を設定し直す必要があるかを判定すればよい。

また、本実施形態では、Ｓ５１１でノイズ段差量を低減するセンサ感度を導出しているが、ノイズ段差量が所定の閾値以下の場合は、処理をスールし、第２のセンサ感度を第１のセンサ感度として設定してもよい。

［第２実施形態］
第１実施形態では、撮像画像とＨＤＲ画像とを領域分割し、分割領域の標準偏差の差分から、ノイズ段差量を導出する方法について説明した。しかし、暗部の分割領域にて黒潰れが生じる場合は、図１６に示すにように、暗部の分割領域の画素値ヒストグラムが正規分布に従わないため、ノイズ段差量の導出精度が低下する可能性がある。本実施形態では、暗部の分割領域にて黒潰れが生じる場合でも、高精度にノイズ段差量を導出する方法について説明する。

図１７は、第２実施形態におけるノイズ段差量導出処理を示すフローチャートである。なお、図１７に示すＳ１７０１，Ｓ１７０２、及びＳ１７０４～Ｓ１７１０の処理は、図９に示すＳ９０１，Ｓ９０２，Ｓ９０３～Ｓ９０７の処理と同様であるため説明を省略する。

Ｓ１７０２の後、ノイズ段差量導出部４０６が、Ｓ１７０２で導出したフレーム画像ｉ－１の領域Ｒ_kの平均画素値Ｉ_kが閾値Ｉ_thより大きいか判定する（Ｓ１７０３）。Ｉ_k＞Ｉ_thを満たす場合は（Ｓ１７０３のＹＥＳ）、ノイズ段差量導出部４０６は、領域Ｒ_kで黒潰れが生じていないと判断し、Ｓ１７０４の処理に移行する。Ｉ_k＞Ｉ_thを満たさない場合は（Ｓ１７０３のＮＯ）、ノイズ段差量導出部４０６は、領域Ｒ_kで黒潰れが生じていると判断する。そして、ノイズ段差量導出部４０６は、フレーム画像ｉ内の領域Ｒ_kの平均画素値Ｉ´_kを導出する（Ｓ１７０５）。導出された平均画素値Ｉ´_kは、所定の記憶領域に記憶される。次いで、ノイズ段差量導出部４０６が、第２のセンサ感度と平均画素値Ｉ´_kとから、以下の式（５）に従い、フレーム画像ｉ－１内の領域Ｒ_kで黒潰れが起きない場合における仮想的な標準偏差σ_kを推定する（Ｓ１７０６）。

カメラのノイズは、センサ感度により決まるショットノイズパラメータｐと暗電流ノイズσ_darkとから、式（５）に従い導出できるものとする。ここでは、ＩＳＯ_S2＝８００におけるショットノイズパラメータｐ＝０．６３、暗電流ノイズσ_dark＝０．７２とする。推定した標準偏差σ_kは、所定の記憶領域に記憶される。

以上のように、本実施形態におけるノイズ段差量導出処理では、平均輝度が閾値以下である分割領域、すなわち黒潰れが生じる可能性がある分割領域については、該分割領域の標準偏差をセンサ感度から推定する。それにより、暗部の分割領域にて黒潰れが生じる場合でも、高精度にノイズ段差量を導出することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

センサ感度設定部４０１
撮像画像取得部４０３
ＨＤＲ合成部４０４
領域分割部４０５
ノイズ段差量導出部４０６
センサ感度導出部４０７

Claims (20)

1. 被写体を異なるＳＮ比特性を有する露出条件で撮像した複数の撮像画像を取得する取得手段と、
   前記複数の撮像画像を合成してハイダイナミックレンジ画像を生成する合成手段と、
   生成された前記ハイダイナミックレンジ画像を複数の領域に分割する分割手段と、
   前記分割して得られた分割領域間におけるノイズ段差量を導出する導出手段と、
   前記ノイズ段差量に基づき、前記露出条件のうち少なくとも１つの露出条件を更新する更新手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記露出条件は、ＩＳＯ感度であることを特徴とする請求項１に記載の画像処理装置。
3. 前記更新手段は、
   前記ハイダイナミックレンジ画像の各画素値に対するＳＮ比を、前記ノイズ段差量に応じて増加させるように、前記露出条件のうち少なくとも１つの露出条件を更新する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 更新された前記露出条件は、記憶装置に記憶され、
   前記更新手段は、
   更新された前記露出条件が前記記憶装置にすでに記憶されている場合には、該露出条件の更新を行なわない
   ことを特徴とする請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
5. 前記露出条件を更新する必要があるか否かを判定する判定手段をさらに備え、
   前記更新手段は、
   更新された前記露出条件が前記記憶装置にすでに記憶されている場合であっても、前記判定手段により前記露出条件を更新する必要があると判定された場合には、前記導出された前記ノイズ段差量に基づき、前記露出条件のうち少なくとも１つの露出条件を更新する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記更新手段は、
   前記合成手段によって生成された前記ハイダイナミックレンジ画像の最大画素値及び最小画素値が変化した場合に、前記露出条件を更新する必要があると判定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記導出手段は、
   前記分割領域ごとに、前記ハイダイナミックレンジ画像と前記複数の撮像画像それぞれとの間における画素値の標準偏差の差分を導出し、
   前記導出した標準偏差の差分に基づき、前記分割領域間における前記ノイズ段差量を導出する
   ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
8. 前記複数の撮像画像には、低露光画像と、該低露光画像よりも露光量が多い高露光画像とが含まれ、
   前記導出手段は、
   前記分割領域の各々に対応する前記低露光画像の各領域から、平均画素値が所定の閾値以下である領域が検出された場合には、検出された前記領域の画素値の標準偏差については、該領域に対応する前記高露光画像の領域の平均画素値と、前記露出条件とから推定して導出する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記分割手段は、前記ハイダイナミックレンジ画像を画素値に基づき前記複数の領域に分割する
   ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の画像処理装置。
10. 前記分割手段は、前記ハイダイナミックレンジ画像を空間周波数の特性に応じて複数の周波数帯に分割し、
    前記導出手段は、
    前記複数の周波数帯における前記ハイダイナミックレンジ画像と前記複数の撮像画像それぞれとの間における空間周波数の特性の差分を前記複数の周波数帯に応じて重みづけ加算した値を、前記ノイズ段差量として導出する
    ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の画像処理装置。
11. 前記更新手段は、
    前記露出条件のうち一の露出条件が、前記複数の撮像画像を撮像した撮像装置に設定できない露出条件である場合には、前記一の露出条件を更新する代わりに、前記撮像装置に設定可能ないずれかの露出条件と該露出条件で撮像した画像を加算平均する枚数とを設定する
    ことを特徴とする請求項１から請求項１０のうちのいずれか１項に記載の画像処理装置。
12. 前記更新手段は、
    前記導出手段が導出した前記ノイズ段差量が所定の閾値以下である場合には、前記露出条件を更新しない
    ことを特徴とする請求項１から請求項１１のうちのいずれか１項に記載の画像処理装置。
13. 前記ノイズ段差量が所定の閾値より大きい分割領域を特定可能な情報を、前記ハイダイナミックレンジ画像とともにユーザインターフェース上に表示させる表示制御手段をさらに備える
    ことを特徴とする請求項１から請求項１２のうちのいずれか１項に記載の画像処理装置。
14. 前記複数の撮像画像は、所定の時間間隔で連続撮影された画像であることを特徴とする請求項１から請求項１３のうちのいずれか１項に記載の画像処理装置。
15. 前記取得手段は、被写体を動画撮像することで得られる複数の撮像画像を、順次取得し、
    前記合成手段、前記分割手段、前記導出手段、および前記更新手段による処理を繰り返す
    ことを特徴とする請求項１から請求項１４のうちのいずれか１項に記載の画像処理装置。
16. 前記露出条件は、露光時間を含むことを特徴とする請求項１から請求項１５のうちのいずれか１項に記載の画像処理装置。
17. 前記取得手段は、低露光画像と高露光画像を前記複数の撮像画像として取得することを特徴とする請求項１から請求項１６のうちのいずれか１項に記載の画像処理装置。
18. 前記ノイズ段差量に応じて画像を表示する表示制御手段をさらに備えることを特徴とする請求項１から請求項１７のうちのいずれか１項に記載の画像処理装置。
19. 被写体を異なるＳＮ比特性を有する露出条件で撮像した複数の撮像画像を取得する取得ステップと、
    前記複数の撮像画像を合成してハイダイナミックレンジ画像を生成する合成ステップと、
    生成された前記ハイダイナミックレンジ画像を複数の領域に分割する分割ステップと、
    前記分割して得られた分割領域間におけるノイズ段差量を導出する導出ステップと、
    前記ノイズ段差量に基づき、前記露出条件のうち少なくとも１つの露出条件を更新する更新ステップと、を含む
    ことを特徴とする画像処理方法。
20. コンピュータを、請求項１から請求項１８のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images