JP5268823B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラなどの電子的撮像装置において、撮像素子の性能によってはダイナミックレンジが狭いことがある。この場合、低輝度から高輝度までの明暗差のある被写体などを撮影すると、いわゆる「白飛び」が撮影画像に発生してしまう。

そこで、ダイナミックレンジを拡大する技術として、露出をアンダー又はオーバーに設定して連続撮影した画像を合成する方法が知られている。しかし、この技術では複数回の撮影が必要になるため、撮影時間が長くなるという問題がある。

このため、特許文献１では、本撮像時に最適露出よりも露出をアンダーに設定して１回撮影し、広ダイナミックレンジ用のγ変換テーブルを使用して階調変換処理を施す。これによって、人物撮影時に撮影画像の画質が劣化することを防止する技術が開示されている。

また、特許文献２では、デジタルカメラに設けられた表示部に映像を表示する時（ライブビュー時）に適正露出よりもアンダー／オーバーで撮影した低解像度画像を複数枚保持しておく。そして、低解像度画像のヒストグラムを本撮像画像と合成することにより、見かけ上のダイナミックレンジを向上させる方法が開示されている。

特開２００７−２７９６７号公報 特開２００８−２９４５２４号公報

しかし、特許文献１では、広ダイナミックレンジ用のγ変換テーブルを使用した階調変換処理を施すためのアンダー露出値の求め方が言及されていない。また、実施例においても、露出値は固定値となっているため、被写体の輝度分布によっては露出値の設定が不適切となる場合があり、適切な画像処理ができないという問題がある。

また、特許文献２では、ライブビュー時の低解像度画像の露出値を変えて複数のヒストグラムを取得するが、適正露出でないライブビュー時の画像は表示に使用されない。そのため、ライブビュー表示に用いることが可能な画像数は減少するため、ライブビュー表示のフレームレートが低下するという問題がある。更に、特許文献２では、複数の画像を位置合わせして合成するなど複雑であり、処理負担がかかる。また、合成による画質の劣化を招く恐れがあるという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影時間を延ばすことなく、被写体の輝度分布に応じて高画質な画像を迅速に取得することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、第一の画像を本撮像し、第一の画像と解像度が異なる第二の画像を撮影する撮像部と、第一の画像を本撮像する前に第二の画像を画面に表示する表示部と、第二の画像の輝度分布を取得する輝度分布取得部と、第二の画像の被写体輝度に基づいて適正露出値を算出する適正露出算出部と、適正露出値に基づいて適正露出による撮影がされたときの輝度分布の高輝度側の分布に基づいてアンダー露出による撮影の要否を判断する露出判断部と、アンダー露出による撮影が必要と判断されたとき、適正露出値に基づいて適正露出による撮影がされたときの輝度分布の低輝度側の分布に基づいて第一の露出補正値を算出する第一の露出算出部と、適正露出値と第一の露出補正値に基づいてアンダー露出による第二の画像の撮影がされたときの輝度分布の低輝度側の分布に基づいて第二のアンダー露出補正値を算出する第二の露出算出部とを備え、撮像部は、適正露出値と第二の露出補正値に基づいてアンダー露出による第一の画像を本撮像することを特徴とする撮像装置が提供される。

この構成により、第一の画像を本撮像する前に撮像される第二の画像をアンダー露出で撮像し、高輝度側の分布の情報を通常よりも多く取得できる。その結果、本撮像時に適切な露出補正を行って、適応的に白飛びの抑制ができる。

上記適正露出値と第二の露出補正値に基づいてアンダー露出による第一の画像を本撮像したとき、第二の露出補正値に基づいて階調変換特性を決定し、階調変換特性に基づいて第一の画像を階調変換する。これにより、適切な露出補正がされた本撮像画像に対して階調変換を施すことによって適応的に白飛びの抑制ができる。

上記アンダー露出による第二の画像の撮影がされたとき、第二の画像を輝度補正する輝度補正部を更に備え、表示部は輝度補正された第二の画像を表示する。これにより、アンダー露出で撮像された第二の画像もライブビュー表示することができ、フレーム数を減らすことなく維持できる。

上記第一の露出算出部は、適正露出値に基づいて適正露出による撮影がされたときの輝度分布において低輝度側の分布が少ないほど、よりアンダー露出がされるように第一の露出補正値を算出する。これにより、アンダーの露出補正値が被写体像に応じて適応的に決定できる。

上記アンダー露出による第二の画像の撮影がされたときの輝度分布の高輝度側の分布が大きいとき、撮像部はアンダー露出による本撮像をせず、適正露出値に基づいて適正露出による本撮像をする。これにより、逆光が強いときなどはアンダー露出によって低輝度側の情報をつぶすことなく、撮像画像を取得できる。

また、上記課題を解決するために、本発明の別の観点によれば、撮影部が第一の画像を本撮像する前に表示部が画面に表示する第一の画像と解像度が異なる第二の画像の輝度分布を取得するステップと、第二の画像の被写体輝度に基づいて適正露出値を算出するステップと、適正露出値に基づいて適正露出による撮影がされたときの輝度分布の高輝度側の分布に基づいてアンダー露出による撮影の要否を判断するステップと、アンダー露出による撮影が必要と判断されたとき、適正露出値に基づいて適正露出による撮影がされたときの輝度分布の低輝度側の分布に基づいて第一の露出補正値を算出するステップと、第一の露出補正値に基づいてアンダー露出による第二の画像の撮影がされたときの輝度分布の低輝度側の分布に基づいて第二のアンダー露出補正値を算出するステップと、撮像部が、適正露出値と第二の露出補正値に基づいてアンダー露出による第一の画像を本撮像するステップとを備えることを特徴とする撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第一の画像を本撮像し、第一の画像と解像度が異なる第二の画像を撮影する撮像部と、第一の画像を本撮像する前に第二の画像を画面に表示する表示部と、第二の画像の輝度分布を取得する輝度分布取得部と、第二の画像の被写体輝度に基づいて適正露出値を算出する適正露出算出部と、適正露出値に基づいて適正露出による撮影がされたときの輝度分布に基づいてアンダー露出による撮影の要否を判断する露出判断部と、アンダー露出による撮影が必要と判断されたとき、適正露出値に基づいて適正露出による撮影がされたときの輝度分布に基づいて第一の露出補正値を算出する第一の露出算出部と、第一の露出補正値に基づいてアンダー露出による第二の画像の撮影がされたときの輝度分布に基づいて第二のアンダー露出補正値を算出する第二の露出算出部とを備えることを特徴とする撮像装置が提供される。

本発明によれば、撮影時間を延ばすことなく、被写体の輝度分布に応じて高画質な画像を迅速に取得することができる。

本発明の一実施形態に係る撮像装置の構成及び動作を示す相関図である。 同実施形態に係る撮像装置１００を示すブロック図である。 同実施形態に係る撮像装置１００の動作を示すフローチャートである。 適正露出による撮影時の輝度ヒストグラム情報を示す説明図である。 適正露出による撮影時の輝度ヒストグラム情報を示す説明図である。 輝度分布解析の動作を示すフローチャートである。 Ｙｂの算出を示すフローチャートである。 ライブビュー時のフレーム処理を示す概念図である。 ライブビュー画面表示用の輝度変換例を示すグラフである。 アンダー露出補正によって取得された輝度ヒストグラムを示す概念図である。 アンダー露出補正によって取得された輝度ヒストグラムを示す概念図である。 本撮像露出の算出動作を示すフローチャートである。 階調変換特性を示すグラフである。 Ｙｂと露出補正値Ｅｃｍｐの関係、Ｙｂと輝度値Ｐｓの関係を示す表（表１）である。 輝度比Ｒｓと本撮像露出補正値Ｅｃｍｐ＿ｍの関係を示す表（表２）である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（１．撮像装置１００の構成）
まず、本発明の一実施形態に係る撮像装置１００の構成について説明する。図２は、本実施形態に係る撮像装置１００を示すブロック図である。撮像装置１００は、例えば、コンパクトデジタルスチルカメラであるが、本発明の撮像装置は、これに限定されず、静止画が撮影可能なビデオカメラなどであってもよい。

撮像装置１００は、例えば、光学系２と、ドライバ１３、１４、１５、１６と、ＣＣＤイメージセンサ２０と、アナログ処理部３０と、ＣＰＵ４０と、タイミングジェネレータ４２と、ＬＣＤ４４と、ＲＡＭ４６と、ＲＯＭ４８と、信号処理部５０と、操作部６２と、シャッターボタン６４と、媒体制御部６６と、記録媒体６８などからなる。撮像装置１００は、光学系２とＣＣＤイメージセンサ２０を通して被写体像が入力される。被写体像像の画像を確認するためにＬＣＤ４４にライブビュー画像を表示する。そして、ユーザーによる所望のタイミングでシャッターボタン６４を押圧することにより本撮像を行い、信号処理部５０により画像処理を施した後、撮像した画像データを記録媒体６８に保存する。本実施形態では、Ａ／Ｄ変換後の輝度の階調幅は１０ｂｉｔ、γ変換処理後の輝度の階調幅は８ｂｉｔとする。

光学系２は、例えば、ズームレンズ３、フォーカスレンズ４、絞り５、メカニカルシャッター６などからなる。光学系２は、外部の光情報をＣＣＤイメージセンサ２０に結像させる光学系システムであり、被写体からの光をＣＣＤイメージセンサ２０まで透過させる。ズームレンズ３は、焦点距離を変化させて画角を変えるレンズである。フォーカスレンズ４は、光軸方向に移動することでＣＣＤイメージセンサ２０の撮像面に被写体像を合焦させる。絞り５は、透過する光量を調節する機構であり、モータによって駆動される。メカニカルシャッター６は、ＣＣＤイメージセンサ２０の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように駆動する。ズームレンズ３、フォーカスレンズ４、絞り５、メカニカルシャッター６は、それぞれドライバ１３、１４、１５、１６から駆動信号を受けて駆動する。

ＣＣＤ（charge coupled device）イメージセンサ２０は、光電変換素子の一例であり、光学系２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光に応じた電気信号を生成する。なお、ＣＣＤイメージセンサ２０に代えて、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等の撮像素子を適用することもできる。

なお、メカニカルシャッター６に限定されず、電子シャッター（図示せず。）を適用してもよい。なお、メカニカルシャッター６又は電子シャッターの動作は、ＣＰＵ４０に接続されたシャッターボタン６４のスイッチによって行われる。

アナログ処理部３０は、更にＣＤＳ部３２とＡＭＰ部３４とＡ／Ｄ変換部３６を有する。ＣＤＳ（相関二重サンプリング回路（correlated double sampling）部３２は、ＣＣＤイメージセンサ２０から出力された電気信号に含まれる低周波ノイズを除去し、ＡＭＰ部３４は、増幅器（amplifier）であり、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部３６は、ＡＭＰ部３６から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部３６は、生成したデジタル信号を信号処理部５０に出力する。

ＣＰＵ４０は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。ＣＰＵ４０は、例えば、フォーカス制御や露出制御に基づいてドライバ１３、１４、１５、１６に信号を出力して光学系２を駆動させる。また、ＣＰＵ４０は、操作部６２からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、ＣＰＵ４０が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

ＣＰＵ４０は、ＣＣＤイメージセンサ２０で受光した被写体像に応じた画像信号の色情報に基づいて、ＷＢ制御値を算出する。ＣＰＵ４０は、例えば、被写体に応じた適正なホワイトバランス（ＷＢ）が得られるようにＷＢ制御値を算出する。ＣＰＵ４０は、算出したＷＢ制御値を信号処理部５０に送る。

ＣＰＵ４０は、信号処理部５０で算出されたＡＦ（auto focus：自動焦点）評価値に基づいて、フォーカスレンズ４の合焦位置を算出する。なお、ＡＦ評価値は、画像信号の輝度値に基づいて信号処理部５０で算出されたものである。ＡＦ評価値は、例えば画像のコントラスト値であり、コントラスト値がピークとなったとき、被写体像がＣＣＤイメージセンサ２０の撮像面で合焦していると判断する（コントラスト検出方式）。

ＣＰＵ４０は、フォーカス制御開始の操作信号を受けると、フォーカスレンズ４を一方向に移動する制御信号を生成して、生成した制御信号をドライバ１４に出力する。ドライバ１４は、ＣＰＵ４０から受けた制御信号に基づいて駆動信号を生成する。

ＣＰＵ４０は、信号処理部５０で算出されたＡＥ（auto exposure：自動露光）評価値に基づいて、絞り５の絞り量やメカニカルシャッター６のシャッター速度を算出する。なお、ＡＥ評価値は、画像信号の輝度値に基づいて信号処理部５０で算出されたものである。ＣＰＵ４０は、取得した絞り量を制御信号としてドライバ１５に出力する。

タイミングジェネレータ４２は、ＣＣＤイメージセンサ２０やアナログ処理部３０にタイミング信号を出力し、ＣＣＤイメージセンサ２０を構成している各画素の露光期間の制御や、電荷の読み出し制御を行う。

ＬＣＤ（液晶ディスプレイ）４４は、表示部の一例であり、撮像装置１００本体に設けられる。ＬＣＤ４４が表示する画像は、例えば、撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、本撮像して記録された本撮像画像などである。表示部は、ＬＣＤ４４に限定されず、例えば有機ＥＬディスプレイなどでもよい。

ＲＡＭ４６は、画像表示用のメモリであり、複数のチャネルを有する。ＲＡＭ４６は、ＳＤＲＡＭ１６４からの画像表示用の画像データの入力と、ＬＣＤドライバ１５６への画像データの出力を同時に実行できる。ＬＣＤ４４の解像度や最大発色数はＲＡＭ４６の容量に依存する。ＲＯＭ４８は、ＣＰＵ４０の動作プログラムを保存する。

信号処理部５０は、更にＡＥ処理部５１、ＡＦ処理部５２、ＡＷＢ処理部５３、画像補正処理部５４、階調変換処理部５５、γ変換処理部５６等を有する。信号処理部５０は、アナログ処理部３０から画像信号を受け、ＷＢ制御値、輪郭強調制御値、階調変換特性値、γ値などに基づいて、画像処理された画像信号を生成する。信号処理部５０は、画像信号に基づいてＡＥ評価値及びＡＦ評価値を算出して、それぞれをＣＰＵ４０に送る。

操作部６２は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアルなどである。操作部６２は、ユーザーによる操作に基づいて操作信号をＣＰＵ４０等に送る。

シャッターボタン６４は、ユーザーによる半押し（ハーフシャッター）、全押し、解除が可能である。シャッターボタン６４は、半押し（Ｓ１操作）されたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、シャッターボタン６４は、全押し（Ｓ２操作）されたとき、撮影開始の操作信号を出力する。

媒体制御部６６は、記録媒体６８への画像データの書き込み、又は記録媒体６８に記録された画像データや設定情報などの読み出しを制御する。記録媒体６８は、例えば、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などであり、撮影された画像データを記録する。媒体制御部６６、記録媒体６８は、撮像装置１００から着脱可能に構成されてもよい。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

（２．撮像装置１００の動作）
図１は、本実施形態に係る撮像装置の構成及び動作を示す相関図である。
撮像装置１００は、ライブビューなどの本撮像前に連続して撮像される画像を露出アンダーで撮像し、ハイライト側の輝度ヒストグラム情報を通常よりも多く保持しておく。その結果、撮影時間を長引かせることなく、本撮像時に適切な露出補正を行って、階調変換を施すことによって、適応的に白飛びの抑制ができる。また、アンダー露出で撮像されたライブビュー画像には輝度変換処理を施して表示することにより、フレームを維持することができる。

［ライブビュー表示について］
撮像部１１２によって撮像されたライブビュー画像は、輝度分布取得部１２６に入力され、輝度分布取得部１２６によって輝度ヒストグラム情報が取得される。取得された輝度ヒストグラム情報は輝度分布記憶部１３４に記憶される。輝度分布解析部１２８は、取得された輝度ヒストグラム情報を分析し、白飛びの有無とその程度を判定する。

露出算出部１３２は、白飛びの有無の結果とシャドウ側の輝度ヒストグラム情報に応じてライブビュー画像撮像のための仮露出補正値を算出する。露出算出部１３２は、アンダー露出が必要なときは、次のライブビュー画像撮像のためのアンダー露出補正値を決定する。また、露出算出部１３２は、ライブビュー画像の被写体輝度に基づいて適正露出値を算出する。なお、（ＢＶ＋ＳＶ）＝（ＡＶ＋ＴＶ）が成立する場合を適正露出という。ＢＶは被写体輝度、ＳＶは撮像感度、ＡＶは絞り値、ＴＶはシャッター速度である。

アンダー露出が必要なときは、露出補正がされていない適正露出値やライブビュー画像撮像のための仮露出補正値を、適正露出記憶部１３６に記憶しておく。その後、アンダー露出で撮像するように露出制御部１１４が指示され、撮像部１１２は、アンダー露出によってライブビュー画像を撮像する。その結果、ライブビュー画像の輝度が変化する。

アンダー露出によって撮影されたライブビュー画像は、ライブビュー画像輝度補正部１２２によって適正露出相当の輝度レベルに補正され、補正された画像がライブビュー画像表示部１２４によって画面に表示される。

撮像装置１００がライブビュー表示状態にあるときは、上記処理が繰り返される。

［本撮像について］
シャッターボタンの半押し（ハーフシャッター）などによって、本撮像（capture）動作の要求が発生したときには、輝度分布記憶部１３４から輝度ヒストグラム情報を取得し、適正露出記憶部１３６から適正露出値や仮露出補正値を取得する。そして、本撮像露出算出部１３８が本撮像時の本露出補正値を算出する。

階調変換特性算出部１４２は、上記により取得された輝度ヒストグラム情報と本露出補正値に基づいて、この後に撮像される本撮像画像に対する階調変換特性を算出する。階調変換特性記憶部１５４は、階調変換特性を記憶する。

その後、アンダー露出が必要なときは、本露出補正値に基づいて撮像するように露出制御部１１４が指示され、撮像部１１２は、本撮像時の露出を設定し、本撮像画像を取得する。本撮像された画像に対しては、階調変換部１５２が、階調変換特性記憶部１５４に記録されている階調変換特性を使用して階調性を変換する。

次に、本実施形態に係る撮像装置１００の動作についてさらに詳細に説明する。図３は、本実施形態に係る撮像装置１００の動作を示すフローチャートである。
［輝度分布取得］
まず、被写体輝度に基づいて適正露出値が算出される（ステップＳ１１）。
次に、撮像部１１２がライブビュー画像を取得し（ステップＳ１２）、さらに輝度分布取得部１２６が、図４に示すような当該ライブビュー画像の輝度ヒストグラム情報を取得する（ステップＳ１３）。図４は、適正露出による撮影時の輝度ヒストグラム情報を示す説明図である。例えば、撮像装置１００の画面中央から８０％面積の矩形領域を有効評価領域とする。輝度ヒストグラム情報は、取得したライブビュー画像の有効評価領域に対して、横軸が画像中の各画素のとりうる輝度値（１０ｂｉｔの画素値）を、縦軸が各輝度値の発生頻度を示している。なお、横軸のｂｉｎは一定の範囲の輝度値としてもよい。

取得された輝度ヒストグラム情報は、記録に適した形式に変換されて輝度分布記憶部１３４に記憶される（ステップＳ１４）。このとき、本実施形態によるアンダー露出補正がなされていれば、その露出補正値も同時に記録される。記憶される輝度ヒストグラム情報と露出補正値の個数は、それぞれ最新の２個分とする。２個とする理由は、後述するように、アンダー露出補正が必要な場合、適正露出と露出補正による撮像が交互に発生するためである。

［輝度分布解析］
図６は、輝度分布解析の動作を示すフローチャートである。
（白飛び有無の判断）
輝度分布解析部１２８は、上記により取得された輝度ヒストグラム情報を分析し、白飛びの有無を判断する（ステップＳ１５、ステップＳ４１〜ステップＳ４３）。

まず、露出補正が不要となり適正露出による撮影となる場合を考慮して、露出補正値Ｅｃｍｐ＝０に設定する（ステップＳ４１）。

次に、図５のように、輝度ヒストグラムの輝度最大値（１０２３）から、白飛び判定の閾値として設定された輝度値Ｙｗまでの輝度値の範囲について、下記の式１に基づいて、出現頻度を積分しその面積Ｓｗを求める。図５は、適正露出による撮影時の輝度ヒストグラム情報を示す説明図である。また、式２に基づいて、有効評価領域全体の輝度面積Ｓａｌｌを求める（ステップＳ４２）。そして、面積Ｓｗの値が、有効評価領域全体の輝度面積Ｓａｌｌに対して５％以上の比率を占める場合に、白飛びが発生していると判断する（ステップＳ４３）。

なお、Ｆ（ｙ）は、ヒストグラムにおいて輝度ｙの出現頻度を意味する。

（シャドウ領域の重み算出）
次に、白飛びが発生している判断された場合は、過度なアンダー露出補正によってシャドウ領域の階調が失われるのを軽減するために、シャドウ領域の重みを算出する。図５の輝度ヒストグラムにおいて、輝度０からの頻度値を積分していき、その面積Ｓｂを加算していく。Ｓｂが全輝度面積Ｓａｌｌに対して３％以上の比率を占めるときの最小の輝度値Ｙｂを求める（ステップＳ４４）。

式３を用いて、Ｓｂ／Ｓａｌｌ≧０．０３となるようなＹｂを求める。

図７は、Ｙｂの算出を示すフローチャートである。
まず、シャドウ面積Ｓｂ＝０、輝度ｙ＝０から開始し（ステップＳ５１）、ｙ＝０のときのヒストグラムにおける輝度ｙの出現頻度Ｆ（０）を算出する（ステップＳ５２）。次に、ｙをインクリメントして（ステップＳ５３）、Ｓｂ／Ｓａｌｌ≧０．０３を判断する（ステップＳ５４）。

Ｓｂ／Ｓａｌｌ≧０．０３を満たす場合は、その時のｙの値（ｙ＝１）を、Ｓｂが全輝度面積Ｓａｌｌに対して３％以上の比率を占めるときの最小の輝度値Ｙｂとして決定する（ステップＳ５５）。一方、ステップＳ５４でＳｂ／Ｓａｌｌ＜０．０３であると判断されたときは、ステップＳ５２に戻り、ｙ＝１のときのヒストグラムにおける輝度ｙの出現頻度Ｆ（１）を算出し（ステップＳ５２）。以下同様に、Ｓｂ／Ｓａｌｌ≧０．０３を満たすまで繰り返され、最小の輝度値Ｙｂを決定する。

［ライブビュー露出算出］
露出算出部１３２は、前回の露出（取得されたライブビュー画像が露光されたときの露出）が適正露出であった場合には、まず適正露出値を算出し、その値を適正露出記憶部１３６に記録する。

適正露出をして、白飛びが発生していると判断された場合（ステップＳ１５）には、適正露出よりもアンダーの露出補正値を算出する（ステップＳ１６）。そして、適正露出値とアンダーの露出補正値が保存される（ステップＳ１７）。露出補正値Ｅｃｍｐは、輝度分布解析部１２８によって算出されたＹｂの値に応じて、図１４に示す表１のように決定する（ステップＳ４５）。図１４は、Ｙｂと露出補正値Ｅｃｍｐの関係、Ｙｂと輝度値Ｐｓの関係を示す表（表１）である。

なお、露出補正値Ｅｃｍｐはライブビュー時に輝度ヒストグラム情報を取得するための仮補正値であり、本撮像時の露出補正値は後述する方法で別途算出する。算出された露出補正値Ｅｃｍｐは露出制御部１１４に指示され、次のフレームの撮像露出が設定される（ステップＳ１８）。

Ｙｂの値が高いと低輝度側に輝度分布が少ない。そのため、表１に示すように、露出補正値Ｅｃｍｐは、Ｙｂの値が高い場合黒潰れしにくいためアンダー露出に設定する値を多めに設定できる。このように、白飛びと判定された場合に、後述する拡張輝度ヒストグラム情報を取得するためのアンダー露出の値を、シャドウ領域の重みによって動的に決定することによって、被写体に応じた適度な露出補正値Ｅｃｍｐを得ることができる。

また、前回の露出がアンダーに補正されていて適正露出でなくアンダー露出がされた場合は、次の露出は、適正露出記憶部１３６に記録されている適正露出を使用する。そして、算出された適正露出は露出制御部１１４に指示され、次のフレームの撮像露出を設定される。これによって、ライブビュー画像は、常に適正露出か、図８に示されるような適正露出とアンダー露出の交互の露出で露光されることになる。図８は、ライブビュー時のフレーム処理を示す概念図である。

［ライブビュー表示］
ライブビュー画像をＬＣＤ４４に表示する場合は、適正露出の画像（フレーム）については通常の方法でライブビュー画像表示部１２４に表示する。一方、露出補正された画像の場合には、ライブビュー画像輝度補正部１２２によって、例えば図９（１Ｅｖアンダー露出時の例）のように、アンダー露出のために輝度が不足している分をゲイン補正してから、ライブビュー画像表示部１２４に表示する（ステップＳ１９）。図９は、ライブビュー画面表示用の輝度変換例を示すグラフである。

［本撮像露出算出］
ハーフシャッター処理要求が発生すると（ステップＳ２０）、本撮像露出算出部１３８によって本撮像時の露出補正値を算出する（ステップＳ２１）。

本撮像露出算出部１３８は、輝度分布記憶部１３４から直前の２フレーム分の輝度ヒストグラム情報と、そのときの露出補正値Ｅｃｍｐを取得する。

このとき、露出補正値Ｅｃｍｐの値が二つとも０であれば、白飛びが発生していない状況であるので、本撮像露出補正値は適正露出と等しくし、本露出補正値Ｅｃｍｐ＿ｍ＝０とする。

一方、二つの露出補正値Ｅｃｍｐの値に０以外の値がある場合は、アンダー露出されたときの輝度ヒストグラム情報を利用して、以下に示す方法で本撮像用の本露出補正値Ｅｃｍｐ＿ｍを算出する。

以下に、本露出補正値Ｅｃｍｐ＿ｍの算出方法を述べる。図１０は、アンダー露出補正によって取得された輝度ヒストグラムを示す概念図である。図１２は、本撮像露出の算出動作を示すフローチャートである。まず、本撮像時の露出補正値Ｅｃｍｐ＿ｍ＝０に設定する（ステップＳ１２）。

輝度値Ｐｓ以上の輝度値のヒストグラム情報が、アンダー露出補正によってハイライトの階調が拡大された部分である。この輝度値Ｐｓ以上の範囲を抽出して、別グラフとしたものが図１１である。図１１は、アンダー露出補正によって取得された輝度ヒストグラムを示す概念図であり、図１０の輝度値Ｐｓ以上の範囲を抽出したものである。ここで、輝度値Ｐｓの値は、表１より補正値の値に応じて導出される。即ち、Ｙｂの値が高いほど、よりアンダー露出が可能であるので、抽出する範囲を広げることができる。

図１１の輝度ヒストグラムにおいて、輝度値Ｐｓからの頻度値を積分していき、下記の式４のとおり、その面積Ｓｓｔを加算していく。また、下記の式５の通り、輝度値Ｐｓから輝度最大値（１０２３）までの頻度値を積分して輝度面積Ｓｅｘｔを算出する。そして、面積Ｓｓｔが、輝度面積Ｓｅｘｔに対して９５％以上の比率を占めるときの最小の輝度値Ｐｔを求める（ステップＳ６２〜ステップＳ６６）。

これにより、輝度値Ｐｔ以上の輝度領域は露出補正後もなお白飛びしていると判断し、この領域は本撮像時には補正の範囲外にする。不要な過度のアンダー補正を減らすことでシャドウ部の階調を極力維持することができる。従って、本撮像用の本露出補正値Ｅｃｍｐ＿ｍはＥｃｍｐよりも小さな値となる。

式４及び式５を用いて、Ｓｓｔ／Ｓｅｘｔ≧０．９５となるような輝度値Ｐｔを求める。ここで、輝度値Ｐｔと輝度値Ｐｓの輝度比Ｒｓを式６により算出する（ステップＳ６８）。

輝度比Ｒｓの値が最適な本撮像の本露出補正値となる。しかし、個々の露出に対応した階調変換特性の決定を容易にするため、図１５に示した表２を用いて、輝度比Ｒｓの値を４種類の本露出補正値Ｅｃｍｐ＿ｍにクリップしてもよい（ステップＳ６９）。そして、本露出補正値Ｅｃｍｐ＿ｍに応じて、定義済みの階調変換特性を選択するようにする。図１５は、輝度比Ｒｓと本撮像露出補正値Ｅｃｍｐ＿ｍの関係を示す表（表２）である。

［逆光時の本撮像露出補正値Ｅｃｍｐ＿ｍについて］
なお、極度の逆光時など、アンダー補正によっても白飛びの状態がほとんど変わらない場合には、シャドウ側の階調が失われてしまうだけで、補正が逆効果となってしまう。これを防ぐために、白飛びの閾値として設定された輝度値Ｐｗから輝度最大値までの下記の式７で算出される面積Ｓｗ２に対して、Ｓｓｔ≦Ｓｗ２のときは、Ｅｃｍｐ＿ｍ＝０とする（ステップＳ６７）。

本撮像時の露出は、適正露出に本露出補正値Ｅｃｍｐ＿ｍを加算することで求められる。

［階調変換特性算出］
階調変換特性算出部１４２は、図１５の表２を用いて決定した本撮像時の本露出補正値Ｅｃｍｐ＿ｍの値に応じて、図１３に示すような階調変換特性を選択する（ステップＳ２２）。図１３は、階調変換特性を示すグラフである。階調変換特性記憶部１５４は、選択された階調変換特性を記憶する。

階調変換特性は、露出目標輝度Ｔ付近の出力輝度値が本露出補正量に関わらず一定となるようにし、露出アンダー補正によって生じる輝度差を補完できる。

なお、より適切な階調補正を行うために、図１３に示すような本露出補正値別の定義済み階調変換特性を動作時に線形補完しておいてもよい。そして、図１５の表２のような輝度比Ｒｓのクリップは行わず、本露出補正値Ｅｃｍｐ＿ｍ＝Ｒｓとして、本露出補正値Ｅｃｍｐ＿ｍ（＝Ｒｓ）に対して無段階に階調変換特性を決定できるようにしてもよい（図１２のステップＳ６９）。

［本撮像・階調変換］
以上により本撮像露出が設定されると（ステップＳ２３）、ハーフシャッター状態においてもライブビュー表示が有効であるので、ライブビュー画像の撮像に上記本撮像露出と階調変換特性を適用することで、シャッター前に本撮像画像の画質イメージを確認できるようにしてもよい（ステップＳ２４）。

最後に、シャッター処理要求が発生すると（ステップＳ２５、ステップＳ２６）、本撮像時の露出が露出制御部１１４に指示され、撮像装置によって本撮像画像を取得できる（ステップＳ２７）。本撮像された画像に対しては、階調変換部１５２が、階調変換特性記憶部１５４に記録されている階調変換特性を使用して階調性を変換する（ステップＳ２８）。そして、階調補正後の画像が記録媒体６８などに出力される（ステップＳ２９）。

（３．本実施形態の効果）
以上説明したとおり、本実施形態は、撮影時間を延ばすことなく、撮影画像の白飛びをその程度に応じて適応的に補正することができる。また、画像合成などを用いた方法に比べて簡易に構成できるため、従来の階調補正方式よりも高速な撮像装置を提供できる。

撮影画像の白飛びを減らすため、（１）被写体の輝度分布に応じて適切な階調補正を行うこと、（２）画質を劣化させることなく簡易な方法で階調補正を行うこと、（３）ライブビュー時のフレームレートを落とすことなく広範囲なヒストグラムを取得し、階調補正に利用すること、という要求がある。

上記（１）、（２）の要求を満たすために、ライブビュー画像を利用して広範な輝度分布を取得しておき、その情報を利用して本撮像画像の階調変換特性を変化させるという手法が考えられる。しかしながら、この手法では、白飛び部分の階調情報は本撮像画像では失われているため、白飛びの抑制には効果がないという問題がある。

また、上記（３）の要求を満たすために、通常よりも高速なフレームレートでライブビューを行うことが考えられるが、この方法では、より高性能なハードウェア装置が必要になるという問題がある。

一方、本実施形態によれば、フレームレートを維持したまま、ライブビュー画像などの本撮像前に取得される複数の画像の輝度分布情報を利用して、本撮像時の白飛びを抑制し、適応的な階調補正を高速で簡易に行うことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１１０ ハードウェア部
１１２ 撮像部
１１４ 露出制御部
１２０ ライブビュー表示処理部
１２２ ライブビュー画像輝度補正部
１２４ ライブビュー画像表示部
１２６ 輝度分布取得部
１２８ 輝度分布解析部
１３２ 露出算出部
１３４ 輝度分布記憶部
１３６ 適正露出記憶部
１３８ 本撮像露出算出部
１４２ 階調変換特性算出部
１５０ 本撮像後処理部
１５２ 階調変換部
１５４ 階調変換特性記憶部

Claims (7)

1. 第一の画像を本撮像し、前記第一の画像と解像度が異なる第二の画像を撮影する撮像部と、
   前記第一の画像を本撮像する前に前記第二の画像を画面に表示する表示部と、
   前記第二の画像の輝度分布を取得する輝度分布取得部と、
   前記第二の画像の被写体輝度に基づいて適正露出値を算出する適正露出算出部と、
   前記適正露出値に基づいて適正露出による撮影がされたときの前記輝度分布の高輝度側の分布に基づいてアンダー露出による撮影の要否を判断する露出判断部と、
   前記アンダー露出による撮影が必要と判断されたとき、前記適正露出値に基づいて適正露出による撮影がされたときの前記輝度分布の低輝度側の分布に基づいて第一の露出補正値を算出する第一の露出算出部と、
   前記適正露出値と前記第一の露出補正値に基づいて前記アンダー露出による前記第二の画像の撮影がされたときの前記輝度分布の高輝度側の分布に基づいて第二のアンダー露出補正値を算出する第二の露出算出部と、
   を備え、
   前記撮像部は、前記適正露出値と前記第二のアンダー露出補正値に基づいて前記アンダー露出による前記第一の画像を本撮像することを特徴とする、撮像装置。
2. 前記適正露出値と前記第二のアンダー露出補正値に基づいて前記アンダー露出による前記第一の画像を本撮像したとき、前記第二のアンダー露出補正値に基づいて階調変換特性を決定し、前記階調変換特性に基づいて前記第一の画像を階調変換することを特徴とする、請求項１に記載の撮像装置。
3. 前記アンダー露出による前記第二の画像の撮影がされたとき、前記第二の画像を輝度補正する輝度補正部を更に備え、
   前記表示部は輝度補正された前記第二の画像を表示することを特徴とする、請求項１又は２に記載の撮像装置。
4. 前記第一の露出算出部は、前記適正露出値に基づいて適正露出による撮影がされたときの前記輝度分布において低輝度側の分布が少ないほど、よりアンダー露出がされるように前記第一の露出補正値を算出することを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記アンダー露出による前記第二の画像の撮影がされたときの前記輝度分布の高輝度側の分布が大きいとき、前記撮像部は前記アンダー露出による本撮像をせず、前記適正露出値に基づいて適正露出による本撮像をすることを特徴とする、請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記第二の露出算出部は、前記第一の露出補正値に応じて、前記第二の画像の撮影がされたときの前記輝度分布の高輝度側の分布を特定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 撮像部が第一の画像を本撮像する前に表示部が画面に表示する前記第一の画像と解像度が異なる第二の画像の輝度分布を取得するステップと、
   前記第二の画像の被写体輝度に基づいて適正露出値を算出するステップと、
   前記適正露出値に基づいて適正露出による撮影がされたときの前記輝度分布の高輝度側の分布に基づいてアンダー露出による撮影の要否を判断するステップと、
   前記アンダー露出による撮影が必要と判断されたとき、前記適正露出値に基づいて適正露出による撮影がされたときの前記輝度分布の低輝度側の分布に基づいて第一の露出補正値を算出するステップと、
   前記第一の露出補正値に基づいて前記アンダー露出による前記第二の画像の撮影がされたときの前記輝度分布の高輝度側の分布に基づいて第二のアンダー露出補正値を算出するステップと、
   前記撮像部が、前記適正露出値と前記第二のアンダー露出補正値に基づいて前記アンダー露出による前記第一の画像を本撮像するステップと、
   を備えることを特徴とする、撮像方法。