JP5803873B2 - 露出装置、露出方法、およびプログラム - Google Patents

Description

本発明は、露出装置、露出方法、およびプログラムに関する。

野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花のディジタル画像より、クラスタリング法を用いて対象物である花の画像を抽出し、その抽出された花の画像より得られる情報を特徴量とする単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の花の特徴量とを統計的手法を用いて解析して花の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。

また、花等、被写体中の主要オブジェクトを含む画像をＧｒａｐｈ Ｃｕｔｓ法を用いて主要オブジェクト領域と背景領域とを分割して主要オブジェクトの領域を切り抜いて、例えば花の画像として抽出する従来技術が知られている（例えば非特許文献１、特許文献２に記載の技術）。

特開２００２−２０３２４２号公報 特開２０１１−３５６３６号公報

Ｙ．Ｂｏｙｋｏｖ ａｎｄ Ｇ．Ｆｕｎｋａ−Ｌｅａ："Ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ ｆｏｒ Ｏｐｔｉｍａｌ Ｂｏｕｎｄａｒｙ ＆ Ｒｅｇｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｏｂｊｅｃｔｓ ｉｎ Ｎ−Ｄ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ "Ｉｎｔｅｒｎａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，ｖｏｌ．Ｉ，ｐ．１０５−１１２，Ｊｕｌｙ ２００１．

例えば花を撮影する場合、撮影した画像全体に比例して被写体中の主要オブジェクトである花の彩度が高いため、従来の自動露出方法では花の部分が露出オーバーになるという問題点を有していた。

本発明は、被写体中の主要オブジェクトに対して適切な露出設定を行うことを目的とする。

態様の一例では、設定露出で被写体に対する画像データを取得する画像データ取得手段と、取得した画像データから被写体中の主要オブジェクトの領域を切り抜く切抜き手段と、設定露出を変化させて画像データの取得と主要オブジェクトの領域の切抜きを繰り返させ、切り抜かれた主要オブジェクトの領域の面積が最大になったときの設定露出を被写体に対する露出として決定する露出制御手段とを備える。

本発明によれば、撮影される被写体中の主要オブジェクトに対して適切な露出設定を行うことが可能となる。

本発明の一実施形態に係る露出装置の機能的構成を示す機能ブロック図である。 本実施形態に係る露出装置の動作説明図である。 本実施形態に係る露出装置を組み込んだデジタルカメラのハードウェア構成例を示すブロック図である。 露出決定処理の第１の実施形態を示すフローチャートである。 露出決定処理の第２の実施形態を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
尚、以下の実施形態において、主要オブジェクトとは撮影した被写体中の主被写体である花を指すが、主被写体は必ずしも花である必要はない。

図１は、本発明の一実施形態に係る露出装置の機能的構成を示す機能ブロック図である。本実施形態は、デジタルカメラまたは写真編集ソフトウェア等において写真中の被写体に対する露出８を決定するための露出装置を前提とする。

画像データ取得手段１は、設定露出５で被写体４に対する画像データ６を取得する。

この画像データ取得手段１は例えば、被写体４を撮影して画像データ６を出力するデジタルカメラ等の撮像装置と、撮像装置における絞り、シャッタ速度、またはＩＳＯ感度のいずれかを、設定露出５に対応する露出になるように制御する露出調整装置とを含んでよい。この場合さらに、撮像装置は、被写体に対する露出８の決定前に、設定露出５で被写体４に対して所定のフレームレートでプレビュー用の低解像度画像を画像データ６として撮影し、被写体に対する露出８の決定後の本番の撮影時等に、被写体に対する露出８で被写体４に対して高解像度画像を撮影するように構成されてよい。

あるいは、画像データ取得手段１は例えば、被写体４が写ったＲＡＷデータを取得し、取得した画像データ６の輝度値を、設定露出５に対応するように変換する手段として構成されてよい。

切抜き手段２は、取得した画像データ６から被写体４中の主要オブジェクトの領域７を切り抜く。

切抜き手段２は例えば、画像データ６内の各画素に付与する主要オブジェクトの領域７またはそれ以外の背景領域を示す領域ラベル値を更新しながら、その領域ラベル値と各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、主要オブジェクトらしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数の最小化処理により、画像データ６で主要オブジェクトの領域７を切り抜いて背景領域から分割する。

露出制御手段３は、設定露出５を変化させて画像データ取得手段１による画像データ６の取得と切抜き手段２による主要オブジェクトの領域７の切抜きを繰り返させ、切り抜かれた主要オブジェクトの領域７の面積が最大になったときの設定露出５を被写体に対する露出８として決定する。

露出制御手段３は例えば、切り抜かれた主要オブジェクトの領域７の輝度のヒストグラムを作成し、そのヒストグラムにおいて、白飛びの割合が規定値に比較して大きい場合には設定露出５を下げ、黒飛びの割合が規定値に比較して大きい場合には設定露出５を上げるように制御して、画像データ取得手段１による画像データ６の取得と切抜き手段２による主要オブジェクトの領域７の切抜きを繰り返させる。そして、露出制御手段３は、白飛びの割合および黒飛びの割合が適正値の範囲に入ったときに、切り抜かれた主要オブジェクトの領域７の面積が最大になったと判定して、そのときの設定露出５を被写体に対する露出８として決定する。

あるいは、露出制御手段３は例えば、切り抜かれた主要オブジェクトの領域７の面積を算出し、その切り抜かれた主要オブジェクトの領域７中の最も明るい部分付近に設定露出５を合わせるように制御して、画像データ取得手段１による画像データ６の取得と切抜き手段２による主要オブジェクトの領域７の切抜きを繰り返させる。そして、露出制御手段３は、切り抜かれた主要オブジェクトの領域７の面積が最大になったときの設定露出５を被写体に対する露出８として決定する。

図２は、図１に示される本実施形態に係る露出装置の動作説明図である。

画像データ取得手段１を構成する例えばデジタルカメラの撮像装置の露出調整装置において、絞り、シャッタ速度、またはＩＳＯ感度等について通常の自動露出を行うと、主要オブジェクトである例えば花の彩度が高いため、一部分が露出オーバーとなる。

今、一つの応用例として、撮影された花の写真から花の切抜きを行って、その切り抜かれた花と花データベース中の各花の画像と照合して花の種類を決定するような花検索装置を考える。、切抜き手段２によって花の切抜きを行なうと、例えば図２に示されるＡ１、Ａ２、Ａ３、およびＡ４の部分からなる花の領域が主要オブジェクトの領域７として切り抜かれる。しかしこの場合、特にＡ１の領域において、露出オーバーのため、Ｂの部分の本来の花の領域の画素情報が失われてしまっている。このような花の領域の一部の画素情報が失われた切抜き画像で花の検索を行うと、正しい検索が行われない可能性がある。
また、一般的な花等の被写体の撮影においても、花の領域の一部において露出オーバーがあると、花等の主要オブジェクトに対して適切な露出が決定できずに撮影が行われてしまう。

そこで、本実施形態では例えば、デジタルカメラのシャッタキーの半押しによって画像データ取得手段１を構成する例えば撮像装置から、所定のフレームレートでプレビュー用のスルー画像として得られている低解像度画像を対象として、露出制御手段３が次のような露出制御を行う。露出制御手段３は、設定露出５を変化させて画像データ取得手段１による例えばスルー画像である画像データ６の取得と切抜き手段２による主要オブジェクトの領域７の切抜きを繰り返し実行させ、切り抜かれた主要オブジェクトの領域７の面積が最大になったときの設定露出５を被写体に対する露出８として決定する。この制御処理により、Ｂの明るい部分付近に露出が合わせ直され、その結果、露出が適正になれば、Ｂの部分の画素情報まで正しく画素情報が得られるようになる。

このようにして、本実施形態によれば、露出オーバーによる主要オブジェクトの領域７の欠落を察知することができ、これを利用することにより、主要オブジェクトの領域７の切抜きの精度を向上させたり、主要オブジェクトの領域７を適正露出で撮影できる露出設定を行うことが可能となる。

図３は、図１に示される本実施形態に係る露出装置の機能を組み込んだデジタルカメラのハードウェア構成例を示すブロック図である。

本実施形態に係るデジタルカメラ１は、ＣＣＤ１１と、レンズ光学系１２と、モータ１３と、ストロボ１４と、ストロボ駆動部１５と、ドライバ１６と、タイミング発生器（ＴＧ）１７と、自動利得制御回路（ＡＧＣ）１８と、サンプルホールド回路（Ｓ／Ｈ）１９と、Ａ／Ｄ変換器（Ａ／Ｄ）２０と、カラープロセス回路２１と、ＤＲＡＭ２２と、ＤＲＡＭインタフェース（Ｉ／Ｆ）２３と、ＤＭＡコントローラ２４と、画像処理部２５と、ＶＲＡＭ２６と、ＶＲＡＭコントローラ２７と、デジタルビデオエンコーダ２８と、キー入力部２９と、マイクロホン３０と、スピーカ３１と、音声処理部３２と、メモリカード３３と、表示部３４と、制御部３５と、を備える。

ＣＣＤ１１は、受光（撮影）範囲内のすべてのものを被写体（図１の被写体４に対応）として、この被写体からの光を受光し、この光信号を電気信号に変換してＲＧＢ信号を出力するものである。

ＣＣＤ１１は、光電変換部と走査部と出力部とを備える（いずれも図示せず）。光電変換部は、複数のフォトダイオードが平面状（２次元）に配列されて構成される。各フォトダイオードは、光信号を光電変換して電荷を生成し、電荷を蓄積するものである。

走査部は、光電変換部の各フォトダイオードに蓄積された電荷を順次転送することにより電荷による電気信号を読み出すものである。出力部は、走査部が読み出した電気信号をＲＧＢ信号として出力するものである。ＣＣＤ１１は、制御部３５から、駆動信号が供給されて動作する。

レンズ光学系１２は、ＣＣＤ１１の撮像面上に、被写体からの光による画像を結像させるためのものである。レンズ光学系１２は、この撮影レンズ、フォーカスレンズ、（図示せず）、ズームレンズ（図示せず）によって構成される。

モータ１３は、制御部３５からモータ制御信号が供給され、供給された制御信号に従ってレンズ光学系１２の撮影レンズ等を移動させて、焦点、絞りを設定し、ズーミングを行うためのものである。

ストロボ１４は、被写体に向けてストロボ光を照射するものである。

ストロボ駆動部１５は、ストロボ１４を閃光駆動するものであり、大容量のコンデンサ（図示せず）を備える。ストロボ駆動部１５は、制御部３５から発光指示信号が供給されてこのコンデンサを充電し、撮影時にストロボ１４に電流を供給してストロボ１４を閃光駆動する。

ドライバ１６は、ＣＣＤ１１を駆動するものである。ドライバ１６は、ＴＧ１７から供給されるタイミング信号に従ってフレームシフトパルス信号及びライン転送パルス信号を生成する。

フレームシフトパルス信号及びライン転送パルス信号は、ＣＣＤ１１内の光電変換・蓄積期間及び蓄積電荷の転送タイミング等の動作を制御するための信号である。

ドライバ１６は、生成したフレームシフトパルス信号及びライン転送パルス信号ＣＣＤ１１に供給することにより、ＣＣＤ１１を駆動する。ドライバ１６がこのフレームシフトパルス信号及びライン転送パルス信号により、ＣＣＤ１１内の蓄積期間を制御することにより、露光量を設定することが可能となり、ＣＣＤ１１は、電子シャッタとして機能する。

ＴＧ（タイミング発生器）１７は、制御部３５から、シャッタ速度を示すシャッタ速度信号が供給され、供給されたシャッタ速度に基づいてタイミング信号を生成し、生成したタイミング信号をドライバ１６に供給するものである。タイミング信号は、映像信号を取り込むための信号である。

自動利得制御回路１８は、制御部３５から、利得を示す利得信号が供給され、供給された利得信号に基づいて現露光量ＬＶ_xが目標露光量ＬＶ０となるようにＣＣＤ１１の出力信号の利得を制御するものである。なお、露光量ＬＶは、ＣＣＤ１１の撮像面における照度の時間積分値である。

サンプルホールド回路１９は、自動利得制御回路１８が出力したアナログのＲＧＢ信号をサンプリングして保持するものである。

Ａ／Ｄ変換器２０は、アナログのＲＧＢ信号をデジタルのＲＧＢ信号に変換するものであり、変換したデジタル信号をカラープロセス回路２１に出力する。

カラープロセス回路２１は、Ａ／Ｄ変換回路２０から出力されたデジタルのＲＧＢ信号に対して画素補間処理及び補正処理を含むカラープロセス処理を施すものである。

カラープロセス回路２１は、カラープロセス処理として、Ａ／Ｄ変換器２０から出力されたＲＧＢ信号に対して、ホワイトバランス補正、γ補正を行い、このような補正が行われたＲＧＢ信号から、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成する。カラープロセス回路２１は、このように生成した輝度信号Ｙ及び色差信号Ｃｂ、ＣｒをＤＭＡコントローラ２４と制御部３５とに供給する。

ＤＲＡＭ２２は、バッファメモリとして使用されるものであり、映像信号を一時記憶する。ＤＲＡＭインタフェース（Ｉ／Ｆ）２３は、データの受け渡しを行うものである。

ＤＭＡコントローラ２４は、カラープロセス回路２１から供給された輝度信号Ｙ及び色差信号Ｃｂ、ＣｒをＤＲＡＭ２２にＤＭＡ転送するものである。ＤＭＡコントローラ２４は、内部にバッファを備え、カラープロセス回路２１から出力された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、一旦、バッファに書込む。

そして、ＤＭＡコントローラ２４は、バッファに書き込んだ輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、ＤＲＡＭインタフェース２３を介してＤＲＡＭ２２に転送する。

上述の１１〜１３、１６〜２４よりなる部分は、図１の画像データ取得手段１の機能を実現するものである。

画像処理部２５は、輝度及び色差信号である画像データの圧縮、伸長を行うものである。

ＶＲＡＭ２６は、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを記憶するものであり、ＶＲＡＭコントローラ２７は、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒの記録／再生を制御するものである。ＶＲＡＭコントローラ２７は、輝度信号Ｙと色差信号Ｃｂ、ＣｒをＤＲＡＭインタフェース２３を介してＤＲＡＭ２２から読み出し、ＶＲＡＭ２６に書き込む。

デジタルビデオエンコーダ２８は、輝度信号Ｙ及び色差信号Ｃｂ、ＣｒをＶＲＡＭコントローラ２７を介してＶＲＡＭ２６より定期的に読み出し、これらのデータに基づいてビデオ信号を生成するものである。デジタルビデオエンコーダ２８は、生成したビデオ信号を表示部３４に供給する。

制御部３５は、キー入力部２９からの各種キー入力に基づいて、デジタルカメラ１全体を制御するものであり、積分器１０１と、ＲＯＭ（リードオンリーメモリ）１０２と、ＲＡＭ（ランダムアクセスメモリ）１０３と、ＣＰＵ（中央演算処理装置）１０４とを備える。

積分器１０１は、露出制御を行うために、カラープロセス回路２１から供給された輝度信号Ｙを積分するものである。積分器１０１は、画面全体を複数のウィンドウに分割し、供給された輝度信号Ｙをウィンドウ毎に積分する。

ＲＯＭ１０２は、プログラムデータや、露出値−露光量換算表や、ＥＶ表のデータの表データ等を記憶するメモリである。特に、本実施形態では、ＲＯＭ１０２は、後述する露出決定処理プログラムデータを記憶する。

ＲＡＭ１０３は、ＣＰＵ１０４が作業に必要なデータを記憶するためのメモリである。

ＣＰＵ１０４は、ＲＡＭ１０３をワークメモリとして使いながら、ＲＯＭ１０２に記憶された各種プログラムを実行することにより、デジタルカメラ全体の動作を制御する。

キー入力部２９は、動作モードや各種設定値を設定するためのスイッチ、キー等によって構成されたものである。

キー入力部２９は、このようなスイッチ、キーとして、電源キー、シャッタキーと、撮影モードキーと、再生モードキーと、ズームキーと、マクロキーと、ストロボキーと、リングキーと、セットキーと、メニューキー等を備える。

シャッタキーは、例えばデジタルカメラ本体の上面に設けられ、撮影を実行するためのキーであり、例えば２段階のストローク操作で動作するように構成されている。

シャッタキーにおける第１のストロークは、一般に「半押し」、「ハーフシャッタ」と呼ばれる状態のストロークであり、ＡＦ処理、ＡＥ処理を実行して合焦状態と露出状態とをロックするためのストロークである。

本実施形態の場合、シャッタキーの半押しにより撮影準備状態になると、図１の露出装置の機能が動作することにより、花等の主要オブジェクトに対して適切な露出設定となるように被写体に対する露出８（図１）が決定される。より具体的には、図１の露出制御手段３の機能を実現する制御部３５が、後述する露出決定処理を実行することにより、設定露出５（図１）を変化させて露出状態を制御しながら、図１の画像データ取得手段１の機能を実現する図３の１１〜１３、１６〜２４よりなる撮像装置による例えばスルー画像である画像データ６（図１）のＤＲＡＭ２２への取得を繰り返し実行させる。その繰り返しごとに、図１の切抜き手段２の機能を実現する図３の制御部３５が、画像データ６上での主要オブジェクトの領域７（図１）の切抜きを繰り返し実行する。そして、制御部３５は、切り抜かれた主要オブジェクトの領域７の面積が最大になったときの設定露出５を被写体に対する露出８（図１）として決定する。

なお、シャッタキーの半押し状態では、上述の露出決定処理の動作に加えて、ＤＲＡＭ２２に順次得られる低解像度のプレビュー画像が、ＶＲＡＭコントローラ２７を介してＶＲＡＭ２６に順次転送される。そして、デジタルビデオエンコーダ２８が、そのプレビュー画像をＶＲＡＭコントローラ２７を介してＶＲＡＭ２６より所定のフレームレートで定期的に読み出し、表示部３４にビデオ表示させる。

シャッタキーにおける第２のストロークは、「全押し」と呼ばれる状態のストロークであり、第１のストロークでロックされた合焦状態と露出状態とで撮影を行うためのストロークである。

本実施形態の場合、シャッタキーの半押し状態で被写体に対する露出８（図１）が決定され、さらにシャッタキーが全押し状態にされたときに、シャッタキーの半押し状態で決定された被写体に対する露出８（図１）に基づいて露出状態が制御される。そして、図１の画像データ取得手段１の機能を実現する図３の１１〜１３、１６〜２４よりなる撮像装置が、被写体に対して高解像度画像を撮影し、図３のＤＲＡＭに保存する。これにより、適切に設定された露出で主要オブジェクトを撮影することが可能となる。さらに、応用モードとして、この高解像度画像に対して、例えば制御部３５による本番の切抜き処理が実行され、例えば花の画像が切り抜かれる。このようにして切り抜かれた花の画像を用いて、例えば花の検索処理が実行される。

図３において、マイクロホン３０は、周囲の音声を集音して音声入力するためのものであり、例えば、デジタルカメラの前面に設けられ、入力した音声を音声信号に変換して音声処理部３２に供給する。

スピーカ３１は、音声処理部３２から供給された音声データを音声に変換して、この音声を拡散、放音するものであり、音声付き動画を再生するときに用いられる。スピーカ３１は、例えばデジタルカメラの背面に設けられる。

音声処理部３２は、音声録音時には、マイクロホン３０に音声入力された音声信号をデジタル化し、データ圧縮して音声データファイルを作成してメモリカード３３等に送出する。

また、音声処理部３２は、音声の再生時、メモリカード３３等から供給された音声データファイルの圧縮を解いてアナログ化し、スピーカ３１に音声データを供給する。

メモリカード３３は、画像データ、音声データファイルを記憶するための外部記録媒体である。メモリカード３３は、画像データ、音声データファイルを記憶する。

なお、デジタルカメラの底面には、特には図示しないが、このメモリカード３３を着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等を備える。

図４は、露出決定処理の第１の実施形態を示すフローチャートである。この処理は、シャッタキーが半押し状態にされたときに、図３の制御部３５において、ＣＰＵ１０４が、ＲＯＭ１０２に記憶された図４のフローチャートに対応する露出決定処理プログラムを読み出して、ＲＡＭ１０３をワークメモリとして使用しながら実行する処理として、実現される。

まず、初回自動露出が実行される（図４のステップＳ４０１）。ここでは、図１の画像データ取得手段１の機能を実現する図３の１１〜１３、１６〜２４よりなる撮像装置が、花を含む被写体を撮影したスルー画像である画像データ６（図１）をＤＲＡＭ２２へ最初に取り込むときに、ＣＰＵ１０４が、そのときの露出を自動制御する。

具体的には、図３において、ＣＰＵ１０４は、ＣＣＤ１１に駆動信号を供給してＣＣＤ１１を駆動する。そして、ＣＰＵ１０４は、ＣＣＤ１１が出力した信号に基づいて、表示部３４が画像を表示するように各部を制御する。この場合、ＣＰＵ１０４は、オートフォーカス制御を行うとともに、撮影対象の測光を行う。ＣＰＵ１０４は、ＣＣＤ１１に駆動信号を供給したときに撮影対象からの光を受光したときの明るさ（輝度信号Ｙ）を測定することにより測光を実施し、測光結果に基づいて露出制御を実施する。

より具体的には、ＣＰＵ１０４は、測光時、積分器１０１から輝度信号Ｙの積分値を取得する。この輝度信号Ｙの積分値は露光量に対応するため、ＣＰＵ１０４は、取得した輝度信号Ｙの積分値を現露光量として取得する。

ＣＰＵ１０４は、ＲＯＭ１０２に記憶されている露出値−露光量換算表を参照し、積分器１０１から取得した現露光量を露出値に換算し、露出値に別途設定・算出されているＥＶ補正値を加算する。ＣＰＵ１０４は、ＲＯＭ１０２に記憶された露出値−露光量換算表を参照することにより、加算した値に対応する目標露光量を取得する。

目標露光量を取得すると、ＣＰＵ１０４は、現露光量が目標露光量となるように利得信号、シャッタ速度信号を、それぞれ、自動利得制御回路１８、タイミング発生器１７に供給する。

以上のようにし、初回の画像取込みおよび自動露出が実行される。

次に、ＣＰＵ４０１は、ステップＳ４０１でＤＲＡＭ２２に取り込まれたスルー画像に対して、花の切抜き処理を実行する。ＣＰＵ４０１は、切抜き処理として例えば、スルー画像データ内の各画素に付与する花の領域（図１の主要オブジェクトの領域７）またはそれ以外の背景領域を示す領域ラベル値を更新しながら、その領域ラベル値と各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、花の領域らしさまたは背景らしさと隣接画素間の画素値の変化を評価するエネルギー関数の最小化処理により、スルー画像データ上で花の領域を切り抜いて背景領域から分割する。ＣＰＵ４０１は、その結果切り抜かれた花の領域について、輝度のヒストグラムを算出し、ＲＡＭ１０３上に配列変数データＨ１として保持する（以上、図４のステップＳ４０２）。

次に、ＣＰＵ４０１は、現在の露出値をＲＡＭ１０３上に変数データＥとして保存する（図４のステップＳ４０３）。

次に、ＣＰＵ４０１は、データＨ１上の白飛び値（輝度の上限の飽和値）の頻度（Ｈ１：Ｗ）が、規定値頻度Ｗ’％よりも多いか否かを判定する（図４のステップＳ４０４）。

ステップＳ４０４の判定がＹＥＳの場合、ＣＰＵ４０１はさらに、データＨ１上の黒飛び値（輝度の下限の飽和値）の頻度（Ｈ１：Ｂ）が、規定値頻度Ｂ’％よりも多いか否かを判定する（図４のステップＳ４０５）。

ステップＳ４０５の判定がＮＯならば、すなわち、スルー画像から切り取られた花の領域において、白飛び値の領域が多く、黒飛び値の領域が少なければ、ＣＰＵ４０１は、前述した図２のＡ１のような切取り状態が発生していると判定し、露出値を下げるように制御を行う（図４のステップＳ４０６）。露出値の制御方法としては、前述したステップＳ４０１の場合と同様である。この結果、図１の画像データ取得手段１の機能を実現する図３の１１〜１３、１６〜２４よりなる撮像装置が、下げられた露出値により、切抜き対象となる花を含む被写体を撮影したスルー画像である画像データ６（図１）を、ＤＲＡＭ２２へ再度取り込む。

その後、再度ステップＳ４０２以降の処理が繰り返し実行され、上述と同様の制御が実施される。やがて、データＨ１上の白飛び値の頻度（Ｈ１：Ｗ）が規定値頻度Ｗ’％よりも多くはなくなって、ステップＳ４０４の判定がＮＯになる。この結果、ＣＰＵ４０１は、データＨ１上の黒飛び値の頻度（Ｈ１：Ｂ）が規定値頻度Ｂ’％よりも多いか否かを判定する（図４のステップＳ４０７）。

その結果、ステップＳ４０７の判定がＮＯ、すなわち、スルー画像から切り取られた花の領域において、白飛び値の領域が少なくなり、黒飛び値の領域も少なければ、ＣＰＵ４０１は、ＲＡＭ１０３上にデータＥとして記憶されている現在の露出値を本撮影のための被写体に対する露出８（図１）の値として採用し（ステップＳ４０９）、露出制御を終了する。

なお、データＨ１上の白飛び値の頻度（Ｈ１：Ｗ）が規定値頻度Ｗ％よりも多くはなくなってステップＳ４０４の判定がＮＯになった後、データＨ１上の黒飛び値の頻度（Ｈ１：Ｂ）が規定値頻度Ｂ’％よりも多くステップＳ４０７の判定がＹＥＳ、すなわち、スルー画像から切り取られた花の領域において、白飛び値の領域は少ないが、黒飛び値の領域は多いと判定された場合には、ＣＰＵ４０１は、黒つぶれしている領域が多いと判定して、ステップＳ４０６の場合とは逆に、露出値を上げるように制御を行う（図４のステップＳ４０８）。

また、データＨ１上の白飛び値の頻度（Ｈ１：Ｗ）が、規定値頻度Ｗ’％よりも多くステップＳ４０４の判定がＹＥＳであるが、黒飛び値の頻度（Ｈ１：Ｂ）も規定値頻度Ｂ’％よりも多くステップＳ４０６の判定がＹＥＳの場合には、ＣＰＵ４０１は、現在の露出値を変更しないほうがよいと判定し、データＥとして記憶されている現在の露出値を本撮影のための被写体に対する露出８（図１）の値として採用し（ステップＳ４０９）、露出制御を終了する。

以上、図４の露出決定処理の第１の実施形態に示されるように、花として切り抜かれた領域の輝度のヒストグラムを作成し、白飛びが規定値以上なら露出を下げて切り抜きを行う制御を繰り返すことにより、実際の花と認識される領域の露出を最適にすることが可能となる。

図５は、露出決定処理の第２の実施形態を示すフローチャートである。この処理は、図４の第１の実施形態の場合と同様に、シャッタキーが半押し状態にされたときに、図３の制御部３５において、ＣＰＵ１０４が、ＲＯＭ１０２に記憶された図５のフローチャートに対応する露出決定処理プログラムを読み出して、ＲＡＭ１０３をワークメモリとして使用しながら実行する処理として、実現される。

まず、初回自動露出が実行される（図５のステップＳ５０１）。この処理は、図４のステップＳ４０１の処理と同様である。この結果、初回のＤＲＡＭ２２への画像取込みおよび自動露出が実行される。

次に、ＣＰＵ４０１は、ステップＳ５０１でＤＲＡＭ２２に取り込まれたスルー画像に対して、花の切抜き処理を実行する。この処理は、図４のステップＳ４０２の切抜き処理と同様である。ＣＰＵ４０１は、その結果切り抜かれた花の領域について、その面積（例えば総画素数）を算出し、ＲＡＭ１０３上に変数データＳ１として保持する（以上、図４のステップＳ５０２）。

次に、ＣＰＵ４０１は、現在の露出値をＲＡＭ１０３上に変数データＥとして保存する（図５のステップＳ５０３）。

次に、ＣＰＵ４０１は、ステップＳ５０２で切り抜かれた花の領域の部分で最も明るい部分付近に露出を合わせる。すなわち、ＣＰＵ４０１は、露出を下げるように制御を行う（図５のステップＳ５０４）。露出値の制御方法としては、前述したステップＳ４０１の場合と同様である。この結果、図１の画像データ取得手段１の機能を実現する図３の１１〜１３、１６〜２４よりなる撮像装置が、下げられた露出値により、花を含む被写体を撮影したスルー画像である画像データ６（図１）を、ＤＲＡＭ２２へ再度取り込む。なお、ＣＰＵ４０１は、下げた露出値を、図３のＲＡＭ１０３上の変数データＥ’に保持する。

そして、ＣＰＵ４０１は、ステップＳ５０４で下げられた露出値のもとでＤＲＡＭ２２に取り込まれたスルー画像に対して、花の切抜き処理を再度実行する。この処理は、図４のステップＳ４０２の切抜き処理と同様である。ＣＰＵ４０１は、その結果切り抜かれた花の領域について、その面積（例えば総画素数）を算出し、ＲＡＭ１０３上に変数データＳ２として保持する（以上、図５のステップＳ５０５）。

ＣＰＵ４０１は、今回のステップＳ５０５の切抜き処理で変数データＳ２に得られた花の領域の面積の値が、前回の切抜き処理で得られ変数データＳ１に保持された花の領域の面積の値と等しくなった否かを判定する（図４のステップＳ５０６）。変数データＳ１の内容は、初回実行時は、ステップＳ５０２で変数データＳ１に取り込まれた値であり、２回目以降実行時は前回のステップＳ５０５で変数データＳ２に取り込まれステップＳ５０９で変数データＳ１から変数データＳ２にコピーされた値である。

ステップＳ５０６の判定がＹＥＳならば、ＣＰＵ４０１は、今回の切抜き処理で切り抜かれた花の領域の面積の値が最大値であると判定する。このため、ＣＰＵ４０１はまず、ＲＡＭ１０３上の変数データＥにステップＳ５０４で変数データＥ’に保持された今回制御された露出値の内容がコピーされる（図４のステップＳ５０７）。その後、ＣＰＵ４０１は、ＲＡＭ１０３上に変数データＥとして記憶された今回の露出値を、本撮影のための被写体に対する露出８（図１）の値として採用し（ステップＳ５１０）、露出制御を終了する。

ステップＳ５０６の判定がＮＯならば、ＣＰＵ４０１は、今回のステップＳ５０５の切抜き処理で変数データＳ２に得られた花の領域の面積の値が、前回の切抜き処理で得られ変数データＳ１に保持された花の領域の面積の値よりも大きいか否かを判定する（図５のステップＳ５０８）。

ステップＳ５０８の判定がＹＥＳならば、ＣＰＵ４０１は、ＲＡＭ１０３上の変数データＳ２に記憶された今回の花の領域の面積の値を前回の花の領域の面積を示す変数データＳ１にコピーした後、ステップＳ５０３の処理に戻り、さらに露出を制御する。

ステップＳ５０３からＳ５０９までの処理が繰り返し実行された結果、今回のステップＳ５０５の切抜き処理で変数データＳ２に得られた花の領域の面積の値が、前回の切抜き処理で得られ変数データＳ１に保持された花の領域の面積の値よりも小さくなりステップＳ５０８の判定がＮＯになると、ＣＰＵ４０１は、前回の切抜き処理で切り抜かれた花の領域の面積の値が最大値であると判定する。このため、ＣＰＵ４０１は、ＲＡＭ１０３上に変数データＥとして保持されている前回の露出値を、本撮影のための被写体に対する露出８（図１）の値として採用し（ステップＳ５１０）、露出制御を終了する。

以上、図５の露出決定処理の第２の実施形態に示されるように、露出を変えながら花切り抜きを複数回行い、花を切り抜いた面積が最大になったときの露出値を、花に対する最適な露出値として決定することが可能となる。

以上説明した実施形態では、図１において、画像データ取得手段１としては、デジタルカメラやスマートフォン等の内臓カメラの撮像装置（図３の１１〜１３、１６〜２４よりなる部分）における露出値（絞り、シャッタ速度、またはＩＳＯ感度のいずれか）を都度制御して撮影する構成が採用された。
これに対して、画像データ取得手段１は例えば、被写体４が写ったＲＡＷデータを取得し、取得した画像データ６の輝度値を、設定露出５に対応するようにソフトウェア処理によって変換する手段として構成されてよい。この場合には、本実施形態は、必ずしもデジタルカメラとして実現される必要はなく、例えばパーソナルコンピュータやいわゆるスマートフォン等の携帯情報端末上のアプリケーションとして実施されてもよい。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
設定露出で被写体に対する画像データを取得する画像データ取得手段と、
前記取得した画像データから前記被写体中の主要オブジェクトの領域を切り抜く切抜き手段と、
前記設定露出を変化させて前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する露出制御手段と、
を備えることを特徴とする露出装置。
（付記２）
前記露出制御手段は、
前記切り抜かれた主要オブジェクトの領域の輝度のヒストグラムを作成し、
前記ヒストグラムにおいて、白飛びの割合が規定値に比較して大きい場合には前記設定露出を下げ、黒飛びの割合が規定値に比較して大きい場合には前記設定露出を上げるように制御して、前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
前記白飛びの割合および前記黒飛びの割合が適正値の範囲に入ったときに、前記切り抜かれた主要オブジェクトの領域の面積が最大になったと判定して、そのときの前記設定露出を前記被写体に対する露出として決定する、
ことを特徴とする付記１に記載の露出装置。
（付記３）
前記露出制御手段は、
前記切り抜かれた主要オブジェクトの領域の面積を算出し、
前記切り抜かれた主要オブジェクトの領域中の最も明るい部分付近に前記設定露出を合わせるように制御して、前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する、
ことを特徴とする付記１に記載の露出装置。
（付記４）
前記画像データ取得手段は、
前記被写体を撮影して前記画像データを出力する撮像装置と、
前記撮像装置における絞り、シャッタ速度、またはＩＳＯ感度のいずれかを、前記設定露出に対応する露出になるように制御する露出調整装置と、
を含むことを特徴とする付記１ないし３のいずれかに記載の露出装置。
（付記５）
前記撮像装置は、
前記被写体に対する露出の決定前に、前記設定露出で前記被写体に対して所定のフレームレートでプレビュー用の低解像度画像を前記画像データとして撮影し、
前記被写体に対する露出の決定後の本番の切抜き処理時に、前記被写体に対する露出で前記被写体に対して高解像度画像を前記本番の切抜き処理のために撮影する、
ことを特徴とする付記４に記載の露出装置。
（付記６）
前記画像データ取得手段は、前記被写体を撮影して得た画像データの輝度値を、前記設定露出に対応するように変換する手段である、
ことを特徴とする付記１ないし３のいずれかに記載の露出装置。
（付記７）
前記切抜き手段は、前記画像データ内の各画素に付与する前記主要オブジェクト領域または該主要オブジェクトの領域以外の背景領域を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記画像データで前記主要オブジェクト領域を切り抜いて前記背景領域から分割する、
ことを特徴とする付記１ないし６のいずれかに記載の露出装置。
（付記８）
設定露出で被写体に対する画像データを取得し、
前記取得した画像データから前記被写体中の主要オブジェクトの領域を切り抜き、
前記設定露出を変化させて前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する、
ことを備えることを特徴とする露出方法。
（付記９）
コンピュータに、
設定露出で被写体に対する画像データを取得し、
前記取得した画像データから前記被写体中の主要オブジェクトの領域を切り抜き、
前記設定露出を変化させて前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する、
処理を実行させるためのプログラム。

１ 画像データ取得手段
２ 切抜き手段
３ 露出制御手段
４ 被写体
５ 設定露出
６ 画像データ
７ 主要オブジェクトの領域
８ 被写体に対する露出
１１ ＣＣＤ
１２ レンズ光学系
１３ モータ
１４ ストロボ
１５ ストロボ駆動部
１６ ドライバ
１７ タイミング発生器（ＴＧ）
１８ 自動利得制御回路（ＡＧＣ）
１９ サンプルホールド回路（Ｓ／Ｈ）
２０ Ａ／Ｄ変換器（Ａ／Ｄ）
２１ カラープロセス回路
２２ ＤＲＡＭ
２３ ＤＲＡＭインタフェース（Ｉ／Ｆ）
２４ ＤＭＡコントローラ２４
２５ 画像処理部
２６ ＶＲＡＭ
２７ ＶＲＡＭコントローラ
２８ デジタルビデオエンコーダ
２９ キー入力部
３０ マイクロホン
３１ スピーカ
３２ 音声処理部
３３ メモリカード
３４ 表示部
３５ 制御部３５
１０１ 積分器
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＣＰＵ

Claims (9)

1. 設定露出で被写体に対する画像データを取得する画像データ取得手段と、
   前記取得した画像データから前記被写体中の主要オブジェクトの領域を切り抜く切抜き手段と、
   前記設定露出を変化させて前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する露出制御手段と、
   を備えることを特徴とする露出装置。
2. 前記露出制御手段は、
   前記切り抜かれた主要オブジェクトの領域の輝度のヒストグラムを作成し、
   前記ヒストグラムにおいて、白飛びの割合が規定値に比較して大きい場合には前記設定露出を下げ、黒飛びの割合が規定値に比較して大きい場合には前記設定露出を上げるように制御して、前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
   前記白飛びの割合および前記黒飛びの割合が適正値の範囲に入ったときに、前記切り抜かれた主要オブジェクトの領域の面積が最大になったと判定して、そのときの前記設定露出を前記被写体に対する露出として決定する、
   ことを特徴とする請求項１に記載の露出装置。
3. 前記露出制御手段は、
   前記切り抜かれた主要オブジェクトの領域の面積を算出し、
   前記切り抜かれた主要オブジェクトの領域中の最も明るい部分付近に前記設定露出を合わせるように制御して、前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
   前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する、
   ことを特徴とする請求項１に記載の露出装置。
4. 前記画像データ取得手段は、
   前記被写体を撮影して前記画像データを出力する撮像装置と、
   前記撮像装置における絞り、シャッタ速度、またはＩＳＯ感度のいずれかを、前記設定露出に対応する露出になるように制御する露出調整装置と、
   を含むことを特徴とする請求項１ないし３のいずれかに記載の露出装置。
5. 前記撮像装置は、
   前記被写体に対する露出の決定前に、前記設定露出で前記被写体に対して所定のフレームレートでプレビュー用の低解像度画像を前記画像データとして撮影し、
   前記被写体に対する露出の決定後の本番の切抜き処理時に、前記被写体に対する露出で前記被写体に対して高解像度画像を前記本番の切抜き処理のために撮影する、
   ことを特徴とする請求項４に記載の露出装置。
6. 前記画像データ取得手段は、前記被写体を撮影して得た画像データの輝度値を、前記設定露出に対応するように変換する手段である、
   ことを特徴とする請求項１ないし３のいずれかに記載の露出装置。
7. 前記切抜き手段は、前記画像データ内の各画素に付与する前記主要オブジェクト領域または該主要オブジェクトの領域以外の背景領域を示す領域ラベル値を更新しながら、該領域ラベル値と前記各画素の画素値とに基づいて、Ｇｒａｐｈ Ｃｕｔｓ法により、前記主要オブジェクトらしさまたは前記背景らしさと隣接画素間の前記画素値の変化を評価するエネルギー関数の最小化処理により、前記画像データで前記主要オブジェクト領域を切り抜いて前記背景領域から分割する、
   ことを特徴とする請求項１ないし６のいずれかに記載の露出装置。
8. 設定露出で被写体に対する画像データを取得し、
   前記取得した画像データから前記被写体中の主要オブジェクトの領域を切り抜き、
   前記設定露出を変化させて前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
   前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する、
   ことを備えることを特徴とする露出方法。
9. コンピュータに、
   設定露出で被写体に対する画像データを取得し、
   前記取得した画像データから前記被写体中の主要オブジェクトの領域を切り抜き、
   前記設定露出を変化させて前記画像データの取得と前記主要オブジェクトの領域の切抜きを繰り返させ、
   前記切り抜かれた主要オブジェクトの領域の面積が最大になったときの前記設定露出を前記被写体に対する露出として決定する、
   処理を実行させるためのプログラム。