JP6873679B2 - 撮像装置、撮像装置の制御方法及びプログラム - Google Patents

Description

本発明は、画像を撮影する撮像装置、撮像装置の制御方法及びプログラムに関する。

従来、好ましい明るさ、コントラストの画像を得るために、画像の階調補正を行う技術が知られている。特に、主被写体の明るさが背景の明るさに比べて著しく暗いような逆光シーンで撮影された画像には、画素信号値が飽和するいわゆる「白飛び」が発生し易く、その白飛びを補正する技術として、例えば特許文献１に開示されているような技術が知られている。特許文献１に記載の技術では、先ず、撮像素子を露光する段階では、白飛びの発生を抑えるように、適正露出よりも暗めの露出で撮像が行われる。そして、適正露出より暗めの露出で撮影された領域の輝度値を、適正レベルまで上げて明るくするような出力輝度変換が行われる。以下、このような露出制御及びレベル補正の処理をダイナミックレンジ拡大補正（Ｄレンジ拡大補正）と表記する。また、特許文献２に開示されているように、撮影により得られた画像の中に生じている白飛び領域を検出して、その白飛び領域の信号値を下げるような補正技術も知られている。以下、このような補正の処理をテカリ補正と表記する。

特開２０１０-１８３４６１号公報 特許第４８０３１７８号公報

しかしながら、特許文献１のように、暗めの露出で撮影した画像を明るくするＤレンジ拡大補正処理を行うと、画像のノイズ成分も増幅させてしまい、Ｓ／Ｎが低下することがある。また特許文献２のように、白飛び領域の信号値を下げる、テカリ補正処理を行った場合、白飛び領域の階調は既に情報として失われているため、白飛び領域がある程度大きいと、補正された領域がいわゆるベタ塗りのように見える不自然な画像になることがある。

そこで、本発明は、Ｓ／Ｎの低下を抑えつつ自然な階調補正を実現可能にすることを目的とする。

本発明は、撮影した画像の画素信号値の飽和を抑制する階調補正を行う撮像装置であって、適正露出よりも低い露出で撮影を行い、当該撮影で得られた画像の低輝度部の輝度を増加させるゲイン制御を行う第１の階調補正を行う第１の補正手段と、前記画像の画素信号値が所定値よりも高い領域の画素信号値を低減する第２の階調補正を行う第２の補正手段と、撮影条件に応じて、前記第１の階調補正に用いる第１の補正量と前記第２の階調補正に用いる第２の補正量とをそれぞれ決定する決定手段と、を有し、前記決定手段は、前記画像の本撮影が行われる前の撮影待機状態で取得した画像を基に仮露出値を決定し、前記仮露出値の撮影待機状態で取得される画像の輝度に基づいて前記本撮影に対する前記第１の補正量を仮決定し、前記仮決定した第１の補正量が、前記撮影条件のＩＳＯ感度に応じて設定された上限値を超えている場合には、前記上限値まで下げた補正量を、本決定した前記第１の補正量とし、前記第１の補正手段は、前記本決定された第１の補正量に基づき前記第１の階調補正を行うことを特徴とする。

本発明によれば、Ｓ／Ｎの低下を抑えつつ自然な階調補正が実現可能となる。

デジタルカメラの構成例を示すブロック図である。 階調補正の流れを示すフローチャートである。 Ｄレンジ拡大補正量決定処理の流れを示すフローチャートである。 テカリ補正処理の流れを示すフローチャートである。 逆光シーンで撮影された画像の一例を示す図である。 撮影条件に応じたＤレンジ拡大補正量の上限値の一例を示す図である。 補正量算出に使用する閾値面積の設定例を示す図である。

以下、本発明の一実施形態を、添付の図面に基づいて詳細に説明する。本実施形態の撮像装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。本実施形態では、デジタルカメラを例に挙げて説明する。

＜デジタルカメラの構成＞
図１は、本実施形態に係るデジタルカメラ１００の概略構成を示すブロック図である。デジタルカメラ１００は、撮像機構として、撮影レンズ１０１と、絞り及びシャッタ１０２と、自動露出（ＡＥ）処理部１０３と、フォーカスレンズ１０４と、オートフォーカス（ＡＦ）処理部１０５と、撮像素子１０６と、Ａ／Ｄ変換部１０７とを備える。また、デジタルカメラ１００は、画像処理部１０８と、画像認識部１０９と、フォーマット変換部１１０と、ＤＲＡＭ１１１とを備えている。さらに、デジタルカメラ１００は、画像記録部１１２と、システム制御部１１３と、ＶＲＡＭ１１４と、表示部１１５と、操作部１１６と、メインスイッチ（メインＳＷ）１１７と、撮影スイッチ（撮影ＳＷ）１１８をも備えている。

撮影レンズ１０１は、ズーム機構を有する。絞り及びシャッタ１０２は、ＡＥ処理部１０３からの指示にしたがって、撮像素子１０６への入射光量と撮像素子１０６への光の入射時間の長さとを調整し、これにより露出制御が実現される。ＡＥ処理部１０３は、絞り及びシャッタ１０２の動作を制御する。フォーカスレンズ１０４は、ＡＦ処理部１０５からの制御信号にしたがって、撮像素子１０６の受光面上に焦点を合わせて光学像を結像させる。また、ＡＦ処理部１０５は、デジタルカメラ１００から被写体までの距離情報についても算出可能となされている。

撮像素子１０６は、ＣＣＤ素子或いはＣＭＯＳ素子等の光電変換素子を有し、光電変換素子の受光面に結像された光学像を、電気信号に変換してＡ／Ｄ変換部１０７へ出力する。Ａ／Ｄ変換部１０７は、撮像素子１０６から入力された電気信号（アナログ信号）をデジタル信号に変換する。また、Ａ／Ｄ変換部１０７は、撮像素子１０６から入力された電気信号からノイズを除去するＣＤＳ回路や、アナログ信号をデジタル信号に変換する前に非線形増幅するための非線形増幅回路等も含む。

画像処理部１０８は、Ａ／Ｄ変換部１０７から入力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理と色変換処理とを行って画像データを出力する、いわゆる現像処理を行う。

また、画像処理部１０８は、入力されたデジタル信号に対して信号レベルの増減などの処理により階調補正を行うことで、撮影画像の画質を調節するような機能も有している。例えば、画像の信号レベルを調整する階調補正機能として、画像処理部１０８は、画像全体に一律の増幅率で信号レベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するいわゆるトーンカーブ（ガンマ）機能等を有する。本実施形態のデジタルカメラ１００は、この階調補正機能により、後述するダイナミックレンジ拡大補正処理（Ｄレンジ拡大補正処理）のうちレベル補正（ゲイン補正）に係る処理を実現可能となっている。さらに、画像処理部１０８は、画像内の所定の領域について、色輝度信号値に対し加算、減算、乗算、置換等の処理を施す階調補正機能も有している。本実施形態のデジタルカメラ１００は、このような画像内の所定の領域に対する階調補正機能により、後述するテカリ補正処理を実現可能となっている。

画像認識部１０９は、画像処理部１０８にて適切に処理された後の画像データが入力される。画像認識部１０９は、入力された画像の明るさ状況や合焦状況を認識する機能を有する。画像認識部１０９により認識された画像の明るさ状況を表す情報はＡＥ処理部に送られ、合焦状況を表す情報はＡＦ処理部１０５に送られる。これにより、ＡＥ処理部１０３では、明るさ状況を表す情報に基づく露出制御が実現され、ＡＦ処理部１０５では、合焦状況を表す情報に基づくＡＦ制御が実現される。また、画像認識部１０９は、入力された画像内の例えば人物の顔の認識、その顔の表情等を認識する機能をも有している。さらに、画像認識部１０９による明るさ状況や合焦状況、顔等の認識結果を示す情報は、システム制御部１１３にも送られ、後述する撮影シーンの解析処理や後述するテカリ補正処理やＤレンジ補正処理等の階調補正処理の際に利用される。

フォーマット変換部１１０は、画像データをＤＲＡＭ１１１に記憶するために、画像処理部１０８で処理された画像データのフォーマット変換を行う。
ＤＲＡＭ１１１は、高速書き込み・読み出し処理が可能な内蔵メモリの一例であり、画像データの一時的な記憶を行う高速バッファとして、或いは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。
画像記録部１１２は、撮影画像（静止画や動画等）を記録するメモリカード等の記録媒体とそのインターフェースを有する。
ＶＲＡＭ１１４は画像表示用のメモリである。

表示部１１５は、例えば、ＬＣＤ（液晶ディスプレイ）等であり、画像の表示や操作補助のための表示、カメラの動作モード等のカメラ状態の表示等を行う他、撮影時には撮影画面と測距領域をも表示可能となされている。この表示部１１５には、デジタルカメラ１００の筐体背面等に設けられているモニタや電子ビューファインダ（ＥＶＦ）が含まれる。

メインスイッチ１１７は、ユーザがデジタルカメラ１００の電源のオン／オフを行う際に操作されるスイッチである。デジタルカメラ１００は、ユーザによりメインスイッチ１１７を介して電源オンの指示が入力されると、各部に電源を供給する。
撮影スイッチ１１８は、レリーズボタンであり、ボタンを押し込む深さに応じた２段階の操作を検出可能となされている。撮影スイッチ１１８の操作信号は、システム制御部１１３に送られる。そして、システム制御部１１３は、撮影スイッチ１１８のボタンが浅く押し込まれたときには、撮影準備動作として、ＡＥ処理部１０３にＡＥ処理を行わせ、またＡＦ処理部１０５にＡＦ処理を行わせる。以下、撮影スイッチ１１８のボタンが浅く押し込まれる操作がなされた状態をＳＷ１押下と表記する。撮影スイッチ１１８のボタンがＳＷ１押下よりもさらに深く押し込まれた場合、システム制御部１１３は、各部を制御して本撮影を実行させる。以下、撮影スイッチ１１８のボタンがＳＷ１押下よりもさらに深く押し込まれる操作がなされた状態を、ＳＷ２押下と表記する。

ここで、本実施形態のデジタルカメラ１００の電源オンから撮影がなされるまでの一例の処理を簡単に説明する。先ず、メインスイッチ１１７に対する電源オンの操作により電源が入ると、デジタルカメラ１００は、撮像素子１０６による撮像を３３ｍｓ周期等により周期的に行い、その周期的な撮像による撮影画像を表示部１１５に順次表示させる撮影待機状態となる。その後、撮影スイッチ１１８へのＳＷ１押下を経てＳＷ２押下による撮影指示がなされると、デジタルカメラ１００は、撮像素子１０６による本撮影処理を行う。そして、デジタルカメラ１００は、その本撮影処理による撮影画像データに対して画像処理部１０８による画像処理を行い、その画像処理後の画像データを画像記録部１１２に記録させる。その後、デジタルカメラ１００は、再び本撮影待機状態に戻る。そして、メインスイッチ１１７に対する電源オフの操作がなされると、デジタルカメラ１００は、各部への電源供給を停止する。

操作部１１６は、ユーザにより操作されるボタンやスイッチ、タッチパネル等と、それらボタンやスイッチ、タッチパネル等の操作に応じた信号を生成するインターフェース回路とを有する。具体的には、操作部１１６は、画像撮影時の露出補正値や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、動作モードの選択スイッチ等を有する。
動作モード選択スイッチは、ユーザが撮影モードと再生モードの切り換え選択を行う際に操作されるスイッチである。撮影モードの中には、例えば全自動モード、風景モード、ポートレートモード、マクロモード、スポーツモードなどの各種撮影モードがあり、ユーザは動作モード選択スイッチの操作を介して、これらの中から所望の撮影モードを選択可能である。これら各種撮影モードの中から所望の撮影モードが選択された場合、システム制御部１１３は、その選択された撮影モードに応じた撮影条件を設定する。また、システム制御部１１３は、全自動モードにおいては、例えば画像認識部１０９による画像認識結果等を基に撮影シーンを解析し、逆光撮影や夜景撮影、風景撮影、ポートレート撮影、マクロ撮影、スポーツ撮影などに適した撮影条件の自動設定を行う。

システム制御部１１３は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭを有する。システム制御部１１３のＣＰＵは、ＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開して実行することにより、デジタルカメラの全体的な動作制御を行う。また、システム制御部１１３は、撮像素子１０６の有する複数の撮像駆動モードから何れのモードを使用するかの制御や、前述した各種撮影モードに応じた撮影条件の設定をも行う。

撮影モードに応じた撮影条件の設定例として、例えば逆光撮影が行われるような場合、システム制御部１１３は、例えば光源を背にして立つ人物を撮影する場合のような逆光シーンに適したＩＳＯ感度等の撮影条件を設定する。また例えば、スポーツ撮影が行われるような場合、システム制御部１１３は、素早く動いている人物等を撮影する場合のようなスポーツシーンに適したシャッタ速度等の撮影条件を設定する。また例えば、ポートレート撮影やマクロ撮影等が行われる場合、システム制御部１１３は、主被写体にピントを合わせて背景等のボケを多くするようなポートレートシーンやマクロシーンに適した絞り等の撮影条件を設定する。本実施形態によれば、これら撮影条件は、後述するＤレンジ拡大補正処理の補正値、テカリ補正処理の補正値を決定する際等にも使用される。

また、システム制御部１１３は、画像認識部１０９による画像認識結果を基に撮影シーンを解析する際には、例えば後述するように、画像の中で画素信号値が飽和する領域の位置又は面積の何れかを求めるような処理を行う。そして、画素信号値が飽和する領域の位置又は面積は、後述するＤレンジ拡大補正処理の補正値、テカリ補正処理の補正値を決定する際等に使用される。

次に、前述の図１に示した構成を有するデジタルカメラ１００において実行される、本実施形態に係る階調補正処理について説明する。本実施形態のデジタルカメラ１００は、以下に説明する第１の階調補正処理と第２の階調補正処理の２種類の処理の何れか、又はそれら両方を組み合わせた階調補正を実行可能となされている。

＜第１の階調補正処理＞
第１の階調補正処理は、低輝度の被写体と高輝度の被写体とが混在しているシーンの撮影が行われる場合、露出制御とトーンカーブの設定制御を行うことで、高輝度側が飽和するいわゆる白飛びを抑制するような階調補正処理である。本実施形態では、このような階調補正をダイナミックレンジ拡大補正（Ｄレンジ拡大補正、又はＤ＋補正）と表記している。また、低輝度の被写体と高輝度の被写体とが混在するシーンは、一例として逆光シーンなどがある。以下、第１の階調補正処理（Ｄレンジ拡大補正処理）について具体的に説明する。

通常、本撮影前には、撮影条件として、絞り値、シャッタ速度、ＩＳＯ感度等が決定される。このとき、デジタルカメラ１００は、本撮影待機状態での撮影画像の輝度情報や画像内の人物の顔の有無等に応じて露出を決定する。ただし、撮像素子のダイナミックレンジは限りがあり、どのように絞り、シャッタ速度、ゲインが設定されても、例えば、光源を背にして立つ人物を撮影する場合のような逆光シーンでは、人物が暗すぎる、あるいは背景が明るすぎる、といったことが起こる。本実施形態では、このように背景が明るすぎる現象を軽減するための処理としてＤレンジ拡大補正処理を行う。

図５（ａ）は、例えば窓際に立つ人物を撮影するような典型的な逆光シーンで撮影が行われた場合の画像５００の一例を示した図である。図５（ａ）のような逆光シーンの画像５００の場合、窓の外の景色の領域５０１の明るさが、人物の領域５０２に対して明るすぎるため、例えば人物に露出を合わせると、窓の外の領域５０１（つまり高輝度部分）に白飛びが発生することになる。このため、Ｄレンジ拡大補正処理では、高輝度部分に白飛びが発生しないように、露出アンダーとなる露出を設定して本撮影を行い、得られた撮影画像データの低輝度部分の輝度を持ち上げるように設定されたトーンカーブ（ガンマ）を用いたガンマ処理を行う。なお、図５（ａ）の領域５０３〜５０５と図５（ｂ）の説明は後述する。

＜第２の階調補正処理＞
第２の階調補正処理は、本撮影後の画像の中の飽和領域（白飛び領域）に対して選択的に、画素信号値を低減する階調補正を行うテカリ補正処理である。以下、第２の階調補正処理（テカリ補正処理）について具体的に説明する。

第１の階調補正処理の説明で述べたような撮像素子のダイナミックレンジの限界により、本撮影された画像の被写体領域等には、部分的に白飛びが発生することがある。例えば、太陽光や照明光の直射を受けた人物の顔では、頬や額等で光が強く反射するいわゆるテカリが発生し、その部分が白飛びしてしまう、といったことが起こる。このようなテカリ現象を軽減するのがテカリ補正処理である。

例えば図５（ａ）の画像５００の場合、照明光等により人物の領域５０２の中で頬の領域５０４，５０５と額の領域５０３とにテカリが発生している様子が示されている。テカリ補正処理では、先ず、撮影画像から顔等の補正対象領域が選定され、その補正対象領域内の輝度値から白飛びが発生し得る輝度値の領域（白飛び領域）を求める。そして、テカリ補正処理では、その領域の周辺画素の色成分比率を基に、白飛び領域の色成分比率が推定され、その色推定比率に近づくように、白飛び領域の画素信号値を減算する。このような処理によって、白飛びが発生した領域の輝度が下がり、色の階調が復元されて、テカリが軽減されることになる。

＜階調補正処理の流れ＞
次に、本実施形態のデジタルカメラ１００において、上述した第１、第２の階調補正処理を用いて、より適切な階調の画像を得るための全体の流れを、図２〜図４のフローチャートを参照しながら説明する。
図２は、デジタルカメラ１００において画像の撮影が行われて記録（保存）されるまでの全体の処理の流れを示したフローチャートである。図２のフローチャートに示す各ステップの処理は、例えばシステム制御部１１３がプログラムに基づいてデジタルカメラ１００の各部を制御することにより実現される。以下、図２のフローチャートのステップＳ２０１〜Ｓ２０９をＳ２０１〜Ｓ２０９と略記する。このことは後述する他のフローチャートにおいても同様とする。

図２のフローチャートの処理は、メインスイッチ１１７にユーザから電源オンの指示が入力され、各部に電源が投入されてデジタルカメラ１００が起動し、各種デバイスの初期化及び起動を経たことでスタートする。このときのデジタルカメラ１００は、表示部１１５におけるＥＶＦ画像表示等のような撮影準備作業が行われて、前述した撮影待機状態となる。

図２のフローチャートの処理がスタートすると、システム制御部１１３は、Ｓ２０１において、ユーザにより撮影スイッチ１１８のＳＷ１押下がなされたか否かを判定する。システム制御部１１３は、ＳＷ１押下がなされていない間（Ｎｏ）はＳ２０１の判定を続け、ＳＷ１押下がなされたと判定（Ｙｅｓ）した場合にはＳ２０２に処理を進める。

Ｓ２０２に進むと、システム制御部１１３は、画像認識部１０９による画像認識処理の結果（明るさ状況の認識結果）を基に、ＡＥ処理部１０３を介して仮露出値を決定する。このときの仮露出値は、Ｄレンジ拡大補正処理を考慮しない露出値として決定される。ここで、画像認識部１０９は、先ず、撮像素子１０６により得られた撮影画像を、縦方向が２４画素で横方向が１６画素程度の細かさで複数のブロックに分割し、それぞれのブロック毎の輝度値を求める。次に、画像認識部１０９は、ブロック毎の輝度値に対し、各ブロックの位置ごとに設定された重みを加重した平均値（加重平均値）を算出する。そして、ＡＥ処理部１０３は、その加重平均値が所定値に近づくような露出値を求め、それを仮露出値として決定する。このような処理によって、画面全体の平均輝度に近い明るさの被写体にとっては適切な露出値が決定されることになる。ただし、例えば前述した逆光シーンのように、被写体が暗く、背景等が明るいシーンの撮影が行われる場合、前述のように決定された仮露出値は、高輝度領域にとっては高すぎる露出値となり、白飛びが発生することがある。Ｓ２０２の後、システム制御部１１３は、Ｓ２０３に処理を進める。

Ｓ２０３に進むと、システム制御部１１３は、Ｄレンジ拡大補正処理のための補正量を決定する。Ｄレンジ拡大補正量を決定する際の具体的な処理の内容については、図３のフローチャートにおいて後述する。Ｓ２０３の後、システム制御部１１３は、Ｓ２０４に処理を進める。

Ｓ２０４に進むと、システム制御部１１３は、ＡＥ処理部１０３を介して本露出値を決定する。本露出値は、Ｓ２０２にて決定した仮露出値に対して、Ｓ２０３にて決定したＤレンジ拡大補正量に相当する分だけ下げた露出値として決定される。Ｓ２０４の後、システム制御部１１３は、Ｓ２０５に処理を進める。

Ｓ２０５に進むと、システム制御部１１３は、ユーザから撮影スイッチ１１８のＳＷ２押下がなされたか否かを判定する。システム制御部１１３は、ＳＷ２押下がなされていない間（Ｎｏ）はＳ２０５の判定を続け、ＳＷ２押下がなされたと判定（Ｙｅｓ）した場合にはＳ２０６に処理を進める。

Ｓ２０６に進むと、システム制御部１１３は、Ｓ２０４で決定された本露出値に基づく本撮影を行うように各部を制御する。これにより、撮像素子１０６からＡ／Ｄ変換部１０７を介して、本撮影による画像が取得される。例えば、前述した逆光シーンの撮影が行われた場合には、被写体が露出アンダーとなった本撮影画像が取得されることになる。Ｓ２０６の後、システム制御部１１３は、Ｓ２０７に処理を進める。

Ｓ２０７に進むと、システム制御部１１３は、画像処理部１０８にＤレンジ拡大補正処理に基づくゲイン補正を行わせる。具体的には、例えば前述した逆光シーンの撮影が行われた場合、画像処理部１０８では、第１の階調補正処理の説明で述べたように、露出アンダーとなった低輝度領域の輝度を持ち上げるようなトーンカーブを用いたガンマ処理が行われる。Ｓ２０７の後、システム制御部１１３は、Ｓ２０８に処理を進める。

Ｓ２０８に進むと、システム制御部１１３は、画像処理部１０８を介してテカリ補正処理を行う。テカリ補正処理の具体的な内容については、図４のフローチャートにおいて後述する。Ｓ２０８の後、システム制御部１１３は、Ｓ２０９に処理を進める。

Ｓ２０９に進むと、システム制御部１１３は、Ｓ２０１〜Ｓ２０８までの処理により最終的に得られた本撮影による画像データを、画像記録部１１２に記録させる。Ｓ２０９の後、システム制御部１１３は、Ｓ２０１に処理を戻し、次の撮影のための処理に移行する。

＜Ｄレンジ拡大補正量決定フロー＞
以下、図２のＳ２０３において行われるＤレンジ拡大補正量の決定処理について説明する。図３は、システム制御部１１３による制御の下で行われるＤレンジ拡大補正量の決定処理の流れを示すフローチャートである。図２のＳ２０３の処理に進むと、システム制御部１１３は、図３に示すフローチャートの処理をスタートさせる。

Ｓ３０１に進むと、システム制御部１１３は、画像認識部１０９による画像認識処理の結果（明るさ状況の認識結果）を基に、白飛びが発生するかどうかの判定処理を行う。このときの画像認識部１０９は、本撮影待機状態において図２のＳ２０２で決定された仮露出値により周期的に撮影された画像毎に、縦方向が２４画素で横方向が１６画素程度の細かさで複数のブロックに分割する処理を行う。さらに、画像認識部１０９は、それぞれのブロック毎に、ブロック内の各画素の輝度値の分布（各輝度値の累積頻度）を求める。そして、画像認識部１０９は、ブロック毎に求めた輝度値の分布において、累積頻度が所定値より多い輝度値が、予め定めた閾値以上の輝度値になっているブロックを、白飛びブロックと判定する。Ｓ３０１の後、システム制御部１１３は、Ｓ３０２に処理を進める。

Ｓ３０２に進むと、システム制御部１１３は、Ｄレンジ補正量（Ｄ＋補正量）を決定する。具体的には、システム制御部１１３は、先ず、Ｓ３０１で白飛びブロックと判定された各ブロックの面積を合計した面積ＨＬ＿Ａｒｅａ１を求め、その合計面積ＨＬ＿Ａｒｅａ１を、予め設定されている閾値面積と比較する。本実施形態では、Ｄレンジ補正量決定の際に用いる閾値面積として、下限の面積ＴＨ＿ＤｐＡｒｅａＬと上限の面積ＴＨ＿ＤｐＡｒｅａＨとが予め設定されている。下限の面積ＴＨ＿ＤｐＡｒｅａＬは、上限の面積ＴＨ＿ＤｐＡｒｅａＨより小さい面積として設定されている。本実施形態では、下限の面積ＴＨ＿ＤｐＡｒｅａＬと上限の面積ＴＨ＿ＤｐＡｒｅａＨを用い、下記の式（１）のように合計面積ＨＬ＿Ａｒｅａ１と比較する。
ＴＨ＿ＤｐＡｒｅａＬ＜ＨＬ＿Ａｒｅａ１＜ＴＨ＿ＤｐＡｒｅａＨ 式（１）

そして、システム制御部１１３は、式（１）を満たすとき、Ｓ３０１で白飛びブロックと判定された各ブロックの平均輝度値を基にＤレンジ拡大補正量を仮決定する。なお、各ブロックの平均輝度値を基にＤレンジ拡大補正量を求める具体的な処理については、特許文献１等に記載されている公知の技術を用いることができ、ここではその詳細な説明は省略する。

また、本実施形態の場合、システム制御部１１３は、例えば合計面積ＨＬ＿Ａｒｅａ１が上限の面積ＴＨ＿ＤｐＡｒｅａＨ以上であるときにはＤレンジ拡大補正量をゼロ（０）とする。同様に、システム制御部１１３は、合計面積ＨＬ＿Ａｒｅａ１が下限の面積ＴＨ＿ＤｐＡｒｅａＬ以下であるときにもＤレンジ拡大補正量をゼロ（０）とする。なお、Ｄレンジ拡大補正量がゼロ（０）とは、言い換えるとＤレンジ拡大補正処理が行われないことを意味する。これら下限の面積ＴＨ＿ＤｐＡｒｅａＬ、上限の面積ＴＨ＿ＤｐＡｒｅａＨの具体例については後述する図７において説明する。Ｓ３０２の後、システム制御部１１３は、Ｓ３０３に処理を進める。

Ｓ３０３に進むと、システム制御部１１３は、撮影条件の判定を行う。具体的には、システム制御部１１３は、図２のＳ２０２で決定した仮露出値に基づくＩＳＯ感度、シャッタ速度、絞りの各値を判定する。Ｓ３０３の後、システム制御部１１３は、Ｓ３０４に処理を進める。

Ｓ３０４に進むと、システム制御部１１３は、Ｓ３０３で求めた撮影条件に基づいて、Ｄレンジ拡大補正量を本決定する。具体的には、システム制御部１１３は、Ｓ３０２で仮決定したＤレンジ拡大補正量が、図６に示す撮影条件毎に設けたＤレンジ拡大補正量の上限値を超えている場合、その上限値まで下げた補正量を、本決定したＤレンジ拡大補正量として決定する。そして、Ｓ３０４の後、システム制御部１１３は、図２のＳ２０４に処理を進める。

ここで、図６の例は、撮影条件のＩＳＯ感度とＡＰＥＸ（Ａｄｄｉｔｉｖｅ Ｓｙｓｔｅｍ ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｓｕｒｅ）表記のＤレンジ拡大補正量（Ｄ＋補正量）との関係を表した図である。一例としてＩＳＯ感度が「〜１００」の場合、Ｄ＋補正量（ＡＰＥＸ段数）の「２．０」が上限値に相当し、Ｓ３０２で仮決定されたＤレンジ拡大補正量が「２．０」より大きい場合には「２．０」に下げた値がＤレンジ拡大補正量として本決定される。したがってこの例の場合、図２のＳ２０４の本露出決定処理では、ＩＳＯ感度を「〜１００」に設定した上で、シャッタ速度と絞り値の少なくとも一方が調整されることによりＡＰＥＸ表記で「２．０」に相当する補正量が決定される。さらに、図２のＳ２０７では、Ｄ＋拡大補正量（ＡＰＥＸ段数）の「２．０」に応じて予め決められているトーンカーブを用いたゲイン制御による補正処理が行われることになる。

＜テカリ補正処理フロー＞
続いて、図２のＳ２０８において行われるテカリ補正処理について説明する。図４は、システム制御部１１３による制御の下で行われるテカリ補正処理の流れを示すフローチャートである。図２のＳ２０８の処理に進むと、システム制御部１１３は、図４に示すフローチャートの処理をスタートさせる。

Ｓ４０１に進むと、システム制御部１１３は、画像認識部１０９による本撮影画像の顔認識結果を基に、本撮影画像中に人物の顔に相当する部分領域（以下、顔領域とする。）があるか否かを判定する。システム制御部１１３は、Ｓ４０１において、顔領域がないと判定（Ｎｏ）した場合には図４のテカリ補正処理を終了して、図２のＳ２０９に処理を進める。一方、システム制御部１１３は、Ｓ４０１において、顔領域があると判定（Ｙｅｓ）した場合にはＳ４０２に処理を進める。

Ｓ４０２に進むと、システム制御部１１３は、画像認識部１０９を制御して、顔領域の輝度値を算出させる。このときの画像認識部１０９は、本撮影画像の中の顔領域に含まれる各画素の輝度値を算出する。Ｓ４０２の後、システム制御部１１３は、Ｓ４０３に処理を進める。

Ｓ４０３に進むと、システム制御部１１３は、顔領域の輝度値によるラベリング処理を行う。具体的には、システム制御部１１３は、Ｓ４０２にて算出された顔領域の各画素について、輝度値が所定値を超えている画素を判定し、その画素を白飛び画素とする。さらに、システム制御部１１３は、その白飛び画素の上下左右に隣接する各画素についても白飛び画素であるかどうかを判定する。そして、システム制御部１１３は、それら白飛び画素であると判定された各画素が纏まって存在している領域を、白飛び連結領域として判定してラベリングを行う。Ｓ４０３の後、システム制御部１１３は、Ｓ４０４に処理を進める。

Ｓ４０４に進むと、システム制御部１１３は、Ｓ４０３でそれぞれラベリングされた複数の白飛び連結領域について各々の面積を算出する。すなわち、Ｓ４０３の処理とＳ４０４の処理によれば、例えば画面全体に散らばった位置関係の各白飛び画素の合計の面積が算出されるのではなく、それぞれが連なって一塊となる位置関係を有した各白飛び画素からなる連結領域毎の面積が求められる。そして、システム制御部１１３は、それぞれ面積が求められた各白飛び連結領域の中で、面積が最大の領域を選出する。ここでは、この最大の領域の面積をＨＬ＿Ａｒｅａ２とする。例えば前述の図５（ａ）の画像５００の場合、人物の領域５０２の中で頬の領域５０４，５０５と額の領域５０３とが、それぞれラベリングされた白飛び連結領域（つまりテカリ領域）として求められる。図５（ｂ）には、図５（ａ）の画像５００の中の人物の領域５０２を抜き出して示した図である。そして、図５（ｂ）において、白飛び連結領域（テカリ領域）である頬の領域５０４，５０５及び額の領域５０３の三つの領域のうち、面積が最大の領域は、額の領域５０３である。Ｓ４０４の後、システム制御部１１３は、Ｓ４０５に処理を進める。

Ｓ４０５に進むと、システム制御部１１３は、テカリ補正量を決定する。具体的には、システム制御部１１３は、先ず、Ｓ４０４で求めた最大領域の面積ＨＬ＿Ａｒｅａ２を、予め設定されている閾値面積と比較する。本実施形態では、テカリ補正量決定の際に用いる閾値面積として、下限の面積ＴＨ＿ＳｈＡｒｅａＬと上限の面積ＴＨ＿ＳｈＡｒｅａＨとが予め設定されている。下限の面積ＴＨ＿ＳｈＡｒｅａＬは、上限の面積ＴＨ＿ＳｈＡｒｅａＨよりも小さい面積となされている。本実施形態では、下限の面積ＴＨ＿ＳｈＡｒｅａＬと上限の面積ＴＨ＿ＳｈＡｒｅａＨとを用い、下記の式（２）のように最大領域の面積ＨＬ＿Ａｒｅａ２と比較する。
ＴＨ＿ＳｈＡｒｅａＬ＜ＨＬ＿Ａｒｅａ２＜ＴＨ＿ＳｈＡｒｅａＨ 式（２）

そして、システム制御部１１３は、式（２）を満たすとき、白飛び連結領域の平均輝度値を基にテカリ補正量を決定する。なお、白飛びしている領域の輝度値に基づくテカリ補正量は、特許文献２等に記載されている公知の技術を用いて求めることができ、ここではその詳細な説明は省略する。

また、本実施形態の場合、システム制御部１１３は、例えば最大領域の面積ＨＬ＿Ａｒｅａ２が上限の面積ＴＨ＿ＳｈＡｒｅａＨ以上であるときにはテカリ補正量をゼロ（０）とする。同様に、システム制御部１１３は、最大領域の面積ＨＬ＿Ａｒｅａ２が下限の面積ＴＨ＿ＳｈＡｒｅａＬ以下であるときにもテカリ補正量をゼロ（０）とする。テカリ補正量がゼロ（０）とは、言い換えるとテカリ補正処理が行われないことを意味する。これら下限の面積ＴＨ＿ＳｈＡｒｅａＬ、上限の面積ＴＨ＿ＳｈＡｒｅａＨの具体例については後述する図７において説明する。

ここで、本実施形態の場合、前述したように、Ｄレンジ拡大補正量の算出時には、閾値面積として下限の面積ＴＨ＿ＤｐＡｒｅａＬと上限の閾値ＴＨ＿ＤｐＡｒｅａＨとが用いられている。また、テカリ補正量の算出時には、閾値面積として下限の面積ＴＨ＿ＳｈＡｒｅａＬと上限の面積ＴＨ＿ＳｈＡｒｅａＨとが用いられている。本実施形態において、これらＤレンジ拡大補正量とテカリ補正量の算出時に使用される各閾値面積は、下記の式（３）のような関係を有している。
ＴＨ＿ＳｈＡｒｅａＬ＜ＴＨ＿ＤｐＡｒｅａＬ
ＴＨ＿ＳｈＡｒｅａＨ＜ＴＨ＿ＤｐＡｒｅａＨ
ＴＨ＿ＤｐＡｒｅａＬ＜ＴＨ＿ＳｈＡｒｅａＨ 式（３）

図７は、これらＤレンジ拡大補正量とテカリ補正量の算出時に使用される各閾値面積の関係を説明する図である。なお、図７では、各閾値面積の大小関係を判り易くするため、それぞれの閾値面積は、画像全体における面積比率に換算して表している。図７に示すように、テカリ補正処理が行われる範囲は、下限の面積ＴＨ＿ＳｈＡｒｅａＬから上限の面積ＴＨ＿ＳｈＡｒｅａＨまでの範囲であり、画像全体の面積比率に換算すると例えば１％から５％までの範囲となされている。また、Ｄレンジ拡大補正処理が行われる範囲は、下限の面積ＴＨ＿ＤｐＡｒｅａＬから上限の面積ＴＨ＿ＤｐＡｒｅａＨまでの範囲であり、画像全体の面積比率に換算すると例えば３％から３０％までの範囲となされている。このように、テカリ補正量算出時の下限の面積ＴＨ＿ＳｈＡｒｅａＬは、Ｄレンジ拡大補正量算出時の下限の面積ＴＨ＿ＤｐＡｒｅａＬよりも、面積比率に換算して小さい値となされている。一方、テカリ補正量算出時の上限の面積ＴＨ＿ＳｈＡｒｅａＨは、Ｄレンジ拡大補正量算出時の下限の面積ＴＨ＿ＤｐＡｒｅａＬよりも、面積比率に換算して大きい値となされている。さらに、テカリ補正量算出時の上限の面積ＴＨ＿ＳｈＡｒｅａＨは、Ｄレンジ拡大補正量算出時の上限の面積ＴＨ＿ＤｐＡｒｅａＨよりも、面積比率に換算して小さい値となされている。これらのことから、画像全体の面積比率に換算した１％から３％までの範囲ではテカリ補正処理のみが行われ、５％から３０％までの範囲ではＤレンジ拡大補正処理のみが行われる。一方、画像全体の面積比率に換算した３％から５％までの範囲ではＤレンジ拡大補正処理とテカリ補正処理の双方が行われる。なお、画像全体の面積比率に換算した０％から１％以下の範囲、及び、３０％以上から１００％までの範囲では、テカリ補正処理とＤレンジ拡大補正処理の双方とも補正量はゼロ（０）となされ、何れの補正処理も行われない。

図４のフローチャートに説明を戻す。Ｓ４０５の後、システム制御部１１３は、Ｓ４０６に処理を進める。
Ｓ４０６に進むと、システム制御部１１３は、画像処理部１０８を制御し、テカリ補正処理を行わせる。この場合、画像処理部１０８では、第２の階調補正処理の説明で述べたように、飽和領域（白飛び領域）に対して選択的に画素信号値を低減する階調補正、つまりテカリ補正処理を行う。そして、Ｓ４０６の後、システム制御部１１３は、図２のＳ２０９に処理を進める。

＜シャッタ速度の撮影条件に応じたＤレンジ拡大補正量の決定処理例＞
前述した図６では、ＩＳＯ感度の撮影条件に応じたＤレンジ拡大補正量の決定例を説明したが、例えばシャッタ速度の撮影条件に応じて、Ｄレンジ拡大補正量とテカリ補正量を決定してもよい。一般的に、シャッタ速度が遅くなるほど、被写体像がブレやすくなる。被写体像にブレがある場合、図４で説明したテカリ補正におけるＳ４０１の顔認識結果の精度が落ち、顔とは異なる位置が顔領域として検出されたり、所望の顔が検出されなかったりする場合があり、テカリ補正の補正精度が落ちる可能性がある。一方で、Ｄレンジ拡大補正では画像全体に対する処理が行われ、テカリ補正の場合のような領域処理は行われないため、被写体像にブレがあっても所望の補正が可能である。したがって、撮影条件のシャッタ速度が遅くなるほど、Ｄレンジ拡大補正による補正量を大きく設定し、一方、テカリ補正による補正量を小さく設定する、という決定方法をとってもよい。なお、この例の場合、シャッタ速度の撮影条件に応じたテカリ補正の補正量の決定は、例えば図４のＳ４０５において行われる。この方法を用いた場合、シャッタ速度が遅く、被写体像にブレが生じる可能性がある場合に、顔とは異なる位置の領域に対してテカリ補正処理を施してしまうような誤補正が生ずるのを抑制可能となる。

＜絞りの撮影条件に応じたＤレンジ拡大補正量の決定処理例＞
また、Ｄレンジ拡大補正量は、絞り値の撮影条件に応じて決定されてもよい。一般的に、絞り値を開放側に設定するほど、被写界深度が浅くなり、ピント合焦位置以外の被写体はボケ易くなる。ピント合焦位置が被写体から外れている場合、図４で説明したテカリ補正におけるＳ４０１の顔認識結果の精度が落ち、顔とは異なる位置が顔領域として検出されたり、所望の顔が検出されなかったりする場合があり、テカリ補正の補正精度が落ちる可能性がある。一方で、Ｄレンジ拡大補正においては、テカリ補正の場合のような領域処理は行われないため、被写体像がボケていても所望の補正が可能である。したがって、撮影条件の絞り値が開放側に設定されるほど、Ｄレンジ拡大補正による補正量を大きく設定し、一方、テカリ補正による補正量を小さく設定する、という決定方法をとってもよい。なお、この例の場合、絞り値の撮影条件に応じたテカリ補正の補正量の決定は、例えば図４のＳ４０５において行われる。この方法を用いた場合、絞りのｆ値が小さく（開放側の絞り値）、被写界深度が浅くなって、被写体からピントが外れる可能性が高くなる場合に、顔とは異なる位置の領域に対してテカリ補正処理を施してしまうような誤補正が生ずるのを抑制可能となる。

以上説明したように、本実施形態のデジタルカメラ１００においては、撮影条件に応じて、Ｄレンジ拡大補正とテカリ補正の少なくとも何れかの補正量を決定している。例えば、Ｄレンジ拡大補正量は、ＩＳＯ感度に応じて設けた上限を超えない範囲の補正量として決定可能である。本実施形態の場合、例えば図６に示したように、Ｓ／Ｎの低下が顕著であるＩＳＯ感度が高い場合に、Ｄレンジ拡大補正量が低くなるように設定されていることで、ノイズの増加を抑制することができる。一方、Ｄレンジ拡大補正量が低くなると、本撮影画像の輝度は高くなる。この場合は、前述したように、白飛び連結領域の平均輝度が高くなるため、テカリ補正の補正量が高くなり、白飛びを抑制した画像が得られることになる。

また、本実施形態においては、前述したように、撮影画像の認識処理結果に基づいてＤレンジ拡大補正量とテカリ補正量が決定されており、特にテカリ補正については、白飛び連結領域の面積が所定の面積を超えない範囲で、処理が行われるようになっている。本実施形態では、前述したように、テカリ補正処理を行う白飛び連結領域に対する面積の閾値範囲を小さめに設定し、Ｄレンジ拡大補正を行う際の面積の閾値範囲を大きめに設定していることで、以下のような効果が得られる。すなわち、白飛び連結領域の面積が比較的小さい場合には、テカリ補正処理が優先的に行われるため、Ｄレンジ拡大補正によるノイズの増加を抑制できる。一方、白飛び連結領域の面積が比較的大きい場合は、テカリ補正処理は行われず、Ｄレンジ拡大補正処理が優先的に行われるため、テカリ補正処理を大きな領域に対して行うことによる不自然な処理跡が目立たない、自然な階調補正を実現することができる。

なお、前述した例以外の条件を用いて、Ｄレンジ拡大補正量とテカリ補正量を決定する方法も考えられる。例えば、テカリ補正では、前述の通り、白飛びしている画素の連結を判定し、各画素の信号値を減算する処理を行うため、補正対象領域が大きいほど処理時間が長くなる。そのため、顔などの重要度の高い特定の領域のみを処理対象とするような方法を用いるようにする。この方法によれば、処理時間の短縮が可能となる。一方で、Ｄレンジ拡大補正処理は、露出制御と画像全体で一律のガンマ処理を行う処理であるため、補正領域の大小は処理時間に影響しない。そこで、顔を除く他の領域に白飛びが多く発生しているほど、Ｄレンジ拡大補正量を大きくし、一方で、テカリ補正量を小さく設定する方法を用いるようにする。このように白飛びが多く発生している領域の位置に応じて補正量を設定することによって、必要な階調補正を行いつつ、Ｄレンジ拡大補正による過大なＳ／Ｎの低下を抑制する効果が得られる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１０２ 絞り及びシャッタ、１０３ ＡＥ処理部、１０４ フォーカスレンズ、１０５ ＡＦ処理部、１０６ 撮像素子、１０８ 画像処理部、１０９ 画像認識部、１１３ システム制御部、１１６ 操作部、１１８ 撮影スイッチ

Claims (5)

1. 撮影した画像の画素信号値の飽和を抑制する階調補正を行う撮像装置であって、
   適正露出よりも低い露出で撮影を行い、当該撮影で得られた画像の低輝度部の輝度を増加させるゲイン制御を行う第１の階調補正を行う第１の補正手段と、
   前記画像の画素信号値が所定値よりも高い領域の画素信号値を低減する第２の階調補正を行う第２の補正手段と、
   撮影条件に応じて、前記第１の階調補正に用いる第１の補正量と前記第２の階調補正に用いる第２の補正量とを決定する決定手段と、
   を有し、
   前記決定手段は、
   前記画像の本撮影が行われる前の撮影待機状態で取得した画像を基に仮露出値を決定し、
   前記仮露出値の撮影待機状態で取得される画像の輝度に基づいて前記本撮影に対する前記第１の補正量を仮決定し、
   前記仮決定した第１の補正量が、前記撮影条件のＩＳＯ感度に応じて設定された上限値を超えている場合には、前記上限値まで下げた補正量を、本決定した前記第１の補正量とし、
   前記第１の補正手段は、前記本決定された第１の補正量に基づき前記第１の階調補正を行うことを特徴とする撮像装置。
2. 前記撮影条件は、前記ＩＳＯ感度に加え、シャッタ速度、絞り値のうち少なくとも何れかを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記ＩＳＯ感度に応じて設定された上限値は、前記ＩＳＯ感度が高いほど補正量が小さく設定されていることを特徴とする請求項１または２に記載の撮像装置。
4. 撮影した画像の画素信号値の飽和を抑制する階調補正を行う撮像装置の制御方法であって、
   撮影条件に応じて、第１の階調補正に用いる第１の補正量と、第２の階調補正に用いる第２の補正量とを、決定する決定工程と、
   適正露出よりも低い露出で撮影を行い、当該撮影で得られた画像の低輝度部の輝度を増加させるゲイン制御を行う前記第１の階調補正を、前記第１の補正量を用いて行う第１の補正工程と、
   前記画像の画素信号値が所定値よりも高い領域の画素信号値を低減する前記第２の階調
   補正を、前記第２の補正量を用いて行う第２の補正工程と、
   を有し、
   前記決定工程では、
   前記画像の本撮影が行われる前の撮影待機状態で取得した画像を基に仮露出値を決定し、
   前記仮露出値の撮影待機状態で取得される画像の輝度に基づいて前記本撮影に対する前記第１の補正量を仮決定し、
   前記仮決定した第１の補正量が、前記撮影条件のＩＳＯ感度に応じて設定された上限値を超えている場合には、前記上限値まで下げた補正量を、本決定した前記第１の補正量とし、
   前記第１の補正工程では、前記本決定された第１の補正量に基づき前記第１の階調補正を行うことを特徴とする制御方法。
5. 撮像装置が有するコンピュータを、請求項１乃至３の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images