JP2024077118A - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】 本発明は、画面全体における最大出力の測光値を基に測光するハイライト測光において、被写体以外の高輝度部の影響で暗く撮影してしまうことを抑制する。
【解決手段】 画像を取得する取得手段と、設定された測光モードに応じて、前記画像に対して測光を行う測光手段と、前記画像から被写体を検出する検出手段と、を有し、前記測光モードには少なくとも測光領域内で相対的に高い測光値をもつ領域について相対的に低い測光値の領域よりも重みを付けて露出を決定する第１の測光モードが含まれ、前記測光手段は、前記第１の測光モードが選択された状態で前記検出手段が前記画像にて被写体を検出した場合に、前記被写体の領域内を前記測光領域として前記第１の測光モードによる測光を行う画像処理装置。
【選択図】 図６

Description

本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。

従来からデジタルカメラ等を用いた撮影において、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）の機能を用いた自動の露出制御が行われている。この際、画面全体を適正露出とする制御が一般的である。しかし、画面が全体的に暗く、部分的に明るい領域が存在するような状況では暗所部分を含めた画面全体を適正露出とした結果、明るい領域が白飛びしてしまうという課題があった。この課題を解決するために、画面内で高輝度の領域を重点的に測光する「ハイライト測光」という方式が知られている。一般にハイライト測光では画面全体における最大出力の測光値を基に測光を行い、高輝度領域での白飛びを抑えるように露出設定が行われる。ただし、ハイライト測光時に画面内に極端に輝度の高い物体が存在すると、当該領域での白飛びを抑えるために他の領域が必要以上に暗くなるような露出設定になる可能性がある。そこで特許文献１では画面全体の平均輝度を基に、輝度値が極端に高い領域を判別し、その領域を測光演算に含めないことで、極端な高輝度領域の影響を抑える方式が提案されている。

特開２０１５－１６６７６７号公報

しかしながら、特許文献１の方式では極端な高輝度部しか除外することができず、例えば、人物の顔が被写体である場合に白い衣装を着ていると、高輝度な衣装の領域を重点的に測光されるため、顔は必要以上に暗く撮影されてしまうことになる。

本発明は上記問題点を鑑みてなされたものであり、ハイライト測光時に高輝度領域の影響で、被写体がユーザの意図に反して暗く撮影されてしまうことを防ぐことを目的とする。

上記目的を達成するために、本発明の画像処理装置は画像を取得する取得手段と、設定された測光モードに応じて、前記画像に対して測光を行う測光手段と、前記画像から被写体を検出する検出手段と、を有し、前記測光モードには少なくとも測光領域内で相対的に高い測光値をもつ領域について相対的に低い測光値の領域よりも重みを付けて露出を決定する第１の測光モードが含まれ、前記測光手段は、前記第１の測光モードが選択された状態で前記検出手段が前記画像にて被写体を検出した場合に、前記被写体の領域内を前記測光領域として前記第１の測光モードによる測光を行うことを特徴とする。

本発明によれば、測光領域内の最大出力の測光値に基づいて露出を決定する測光方式において、被写体以外の高輝度部の影響でユーザが意図せず暗く撮影されてしまうことを防ぐことが可能な画像処理装置を提供することができる。

画面全体を適正露出とする測光方式とハイライト測光を用いたときの撮影画像のイメージ図。 図１の構図に高輝度体が含まれる場合のイメージ図。 本発明の実施例における撮像装置の構成を示すブロック図。 図２の構図における評価値のイメージ図。 本発明の各実施例における静止画撮影のフローチャート。 本発明の各実施例におけるハイライト測光のフローチャート。 図２の構図において、検出被写体が人物頭部の場合の検出被写体領域、および評価値のイメージ図。 検出被写体が乗り物の場合の検出被写体領域のイメージ図。 図８における評価値のイメージ図。 図９における被写体検出領域の最大評価値の時間変化、および平均化したときの最大評価値の時間変化の図。 検出被写体が空の場合の検出被写体領域、評価値、および太陽領域の最大評価値でハイライト測光を行った場合のイメージ図。 ハイライト測光の被写体選択におけるメニュー画面のイメージ図。 第３の実施例における、ハイライト測光のフローチャート。 図１２のメニュー選択例に対応する被写体検出領域、および評価値のイメージ図。 ＡＦ機能における被写体選択のメニュー画面のイメージ図。 ＡＦ機能とハイライト測光における検出被写体枠表示のイメージ図。

［第１の実施形態］
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は特許請求に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴が全て発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

まず、画面全体（画像全体、全域）を適正露出とする測光方式とハイライト測光の違いについて図１、２を用いて簡単に説明する。

暗所で人物のみが照明で照らされた場合に、画面全体を適正露出とする測光方式で撮影した場合のイメージ図を図１（ａ）に示す。図１（ａ）では、画面の大部分を占める背景領域１１が暗く、人物領域１２が明るい構図となっている。画面全体を適正露出とする測光方式では、大部分を占める背景１１を適正露出に近づけるために露出が高く設定される。その結果として人物領域１２は明るく撮影され、白飛びしてしまう可能性が高い。

次に、同条件の撮影でハイライト測光を用いた場合のイメージ図を図１（ｂ）に示す。図１（ａ）と同じく背景領域１３が暗く、人物領域１４が明るい構図である。一般にハイライト測光では画面全体における最大出力の測光値を基に測光するため、最大測光値となる人物領域１４が白飛びしないように、図１（ａ）の場合よりも露出を抑えた撮影ができる。このように、ハイライト測光を用いることで、画面全体を適正露出とする測光方式では被写体が白飛びしてしまうような構図でも、白飛びを抑制した撮影ができる。

ここで図１（ａ）（ｂ）と同条件の構図で、さらに照明などの高輝度被写体が含まれる場合に、ハイライト測光を行ったときの撮影画像のイメージ図を図２に示す。図２では、高輝度被写体として照明領域２２が構図に含まれている。ハイライト測光では画面全体における最大出力の測光値を基に測光するため、照明領域２２の白飛びを抑えるように露出設定が行わる。そのため、照明領域２２と比較して輝度値が低い人物領域２２は図１（ｂ）の人物領域１４よりも暗い状態で撮影されることになってしまう。すなわち、ユーザが撮影したい被写体が人物領域２１の場合は、必要以上に暗く撮影されてしまうことになる。

そこで、本実施形態では、ハイライト測光モードにおいて、検出された被写体の領域内で測光を行うことで、被写体領域外の高輝度領域の影響を受けにくくする。

図３は、本発明の実施形態における撮像装置の一例として、カメラの構成を説明するブロック図である。本実施形態のカメラは、カメラ本体１０００とカメラ本体１０００に対して取り外しができるレンズユニット２０００によって構成されている。レンズユニット２０００はカメラ本体１０００に対応する光学系を構成している。なお、カメラ本体１０００とレンズユニット２０００が一体となっているような構成でもよい。以下、図３を参照して、カメラ本体１０００にレンズユニット２０００が取り付けられた状態のカメラの構成について説明する。

カメラシステム制御部１００１は、カメラ本体１０００の各部を統括的に制御する制御手段である。メモリ１００２は、カメラシステム制御部１００１に接続されているＲＡＭやＲＯＭ等のメモリである。撮像素子１００３は、ＣＭＯＳ等の電荷蓄積型の撮像素子であり、光学系であるレンズユニット２０００を介して撮像素子１０００３上に結像した被写体像を光電変換してアナログ画像データを出力する。シャッター１００４は、カメラシステム制御部１００１からの信号により駆動を制御する。シャッター１００４は、レンズユニット２０００を介して入射した光束から撮像素子１００３を遮光する遮光状態、及び、レンズユニット２０００を介して入射した被写体の光学像を撮像素子１００３に導く退避状態となるように動作できる。

Ａ／Ｄ変換部１００５は、撮像素子１００３から出力されるアナログ画像データをデジタル画像データに変換する変換手段であって、変換されたデジタル画像データはメモリ１００２に記録される。

画像処理部１００６は、Ａ／Ｄ変換器１００５からのデータ、または、メモリ制御部１００７からのデータに対し画素補間処理や色変換処理等の各種処理を行う。他にもリサイズ処理や変換処理、飽和画素や黒潰れ画素などの画像信号の補正処理などを行う。処理して得られた画像データは、メモリ制御部１００７を介して再びメモリ１００２に保持される。

Ｄ／Ａ変換部１００８は、メモリ１００２に記録されたデジタル画像データを表示用のアナログ画像信号に変換する。表示部１００９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）などで構成され、表示用のアナログ画像信号に基づいて画像を表示することができる。また、表示部１００９は、撮像して得られた画像データをＤ／Ａ変換部１００８を介して逐次表示することで、ライブビュー表示を行うこともできる。なお、表示部１００９には、取得した画像データ以外の種々の情報を表示することもできる。表示部１００９にて表示する画像データや種々の情報はカメラシステム制御部１００１によって表示制御することができる。

タイミングジェネレータ（以下、ＴＧと称す）１０１０は、撮像素子１００３の露光のタイミングやフレームレートの変更、シャッター１００４による遮蔽のタイミングなど、カメラ内の動作に関わるタイミングをカメラの各部に送信する。

レリーズボタン１０１１、操作部１０１２は、ユーザがカメラシステム制御部１００１に各種の動作指示を入力するための操作手段である。レリーズボタン１０１１は、撮像準備動作と撮像動作の開始を指示するための指示手段である。ユーザがレリーズボタンをＳＷ１状態に変更（例えば、半押し）することで撮像準備動作の開始が指示され、測距演算処理、測光演算処理などが開始される。また、ユーザがレリーズボタンをＳＷ２状態に変更（例えば、全押し）することで撮像動作の開始が指示され、被写体を撮像して画像を取得するまでの一連の処理が開始される。

操作部１０１２は、スイッチ、ボタン、ダイヤルなど、カメラ本体１０００に対して、ユーザが各種の指示や設定を行うための操作部材からなり、電源スイッチやメニューボタン、方向指示ボタンなどが含まれる。なお、表示部１００９が静電容量式のタッチパネルであって、表示部１００９に表示されたＵＩを操作することで、操作部１０１２を操作した際と同様の情報入力ができるような構成であっても良い。

検出部１０１３では、画像処理部１００６から得られた画像データを用いて、特定の被写体の検出処理を行う。検出部１０１３が実行する検出処理には公知の技術を利用すれば良い。例えば機械学習されたＣＮＮや、サポートベクタマシンや決定木等の機械学習により生成される学習済みモデルが利用可能である。また、機械学習を用いない任意の被写体検出手法が適用されてもよい。

測光部１０１４では、画像処理部１００６から得られた画像データを用いて、測光演算を行う。測光演算の詳細については後述するが、設定された測光方式に従って、画面内の所定の領域（測光枠）での輝度値（測光値）を算出し、露出制御値を決定する。測光方式としては、前述のハイライト測光のほか、設定された特定の位置で測光するスポット測光やシーンに応じてカメラが自動で測光枠の位置を決める評価測光、画面中央部に重点を置いて画面全体で平均的に測光する中央部重点平均測光等の測光方式を選択できる。

また、測距部１０１５では、画像処理部１００６から得られた画像データを用いて、測距演算を行う。測距演算の方法としては、例えば像面位相差方式などが知られている。本構成では、カメラシステム制御部１００１が画像処理部１００６から得られる画像データを用いて、撮像素子１００３にて取得される被写体像のずれ量を算出する。算出された被写体像のずれ量をもとに、後述するレンズシステム制御部２００１がレンズユニット２０００を制御することで被写体にピントを合わせ、測距（合焦処理）が完了する。なお、測距演算の方法はこれに限らず既存の方法を用いてもよい。

なお、上述した測距部１０１３、測光部１０１４は、カメラシステム制御部１００１と一体的に設けられているような構成であってもよい。この場合、カメラシステム制御部１００１が、上述した各種の処理を実行する。

レンズシステム制御部２００１は、レンズユニット２０００の動作を統括的に制御する制御手段である。なお、カメラ本体１０００にレンズユニット２０００が取り付けられている状態で、レンズシステム制御部２００１とカメラシステム制御部１００１と不図示のインターフェースを介して通信が可能である。例えば、カメラシステム制御部１０１からの指示に応じて、カメラ本体１０００に取り付けられているレンズユニット２０００に関する情報がカメラシステム制御部１００１に出力される。撮影レンズ群２００２は、光軸シフトレンズやズームレンズ、フォーカスレンズなどを含む複数のレンズからなるレンズ群である。絞り２００３は、撮影レンズ群２００２の内部を透過した光束の光量を調節するための光量調節部材であって、レンズシステム制御部２００１によって駆動が制御される。なお、レンズユニット２０００にレンズシステム制御部２００１が設けられていない構成の場合は、カメラシステム制御部１００１からの指示によって撮影レンズ群２００２および絞り２００３の動作が制御される。

記録媒体３０００は、メモリ１００２に記録された画像データの記録が可能なメモリーカードやハードディスクなどの記録媒体である。なお、記録媒体３０００としては、カメラ本体１０００に対して挿抜可能なメモリーカード等に限定されるものではなく、ＤＶＤ－ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。さらに、記録媒体３０００が取り外し可能ではなく、予めカメラ本体１０００に内蔵されているような構成であってもよい。

以上が、本実施形態のカメラの基本構成である。

続いて、図４を用いてハイライト測光方式の手法、およびハイライト測光方式以外の測光方式の例として平均測光方式の手法について説明する。まず、測光部１０１４は撮像素子１００３から得られた画像データを用いて評価値を算出する。

図４は図２のような構図に対して測光部１０１４が評価値を演算する際のイメージ図である。測光部１０１４は図４（ａ）で示すように特定の大きさに分割された画像の、各領域内に含まれる画素の輝度値の平均値を評価値として算出する。図４（ａ）では例として１０×１０の領域に画像を分割した場合を示しているが、分割数や分割方法はこれに限られるものではない。また、図４（ｂ）の４１は画面全体の評価値領域を示しており、４２は照明２２が含まれる分割された１つの評価値領域である。この例では分割された領域のうち評価値領域４２が画面内で最も明るく、評価値が最大の領域となっている。

次に、測光部１０１４は得られた評価値を用いて、各測光方式における測光値の演算を行う。ハイライト測光方式では、図４（ｂ）の領域４２のような画面内の最大評価値を基に測光部１０１４が測光演算を行い、最大評価値の領域４２が適正な露出となるように露出設定が行われる。平均測光方式では、画面全体領域４１の評価値の平均値を基に測光部１０１４が測光演算を行い、画面全体の平均的な明るさが適正となるように露出設定が行われる。

続いて、通常のライブビュー静止画撮影の流れについて図５を用いて説明する。図５は通常のライブビュー静止画撮影の測距、測光を表すフローチャートであり、カメラ１０００が起動した状態で、ユーザがあらかじめ測光方式を設定した状態から開始されることを想定している。本フローチャートの各ステップは、カメラシステム制御部１００１あるいはカメラシステム制御部１００１の指示によりカメラ１０００の各部が実行する。

初めに、Ｓ５０１では、あらかじめユーザによって設定された測光方式をカメラシステム制御部１００１が判別する。測光方式は操作部１０１２等を介してユーザが設定できるような構成としてよい。また、ユーザは設定した測光方式を、表示部１００９等を介して確認できるようにカメラシステム制御部１００１が表示部１００９の表示を制御してもよい。カメラシステム１００１による測光方式の判別の結果、平均測光が設定されていた場合はＳ５０２に進み、測光部１０１４は画面全体の平均輝度を基にした測光を行う。一方、Ｓ５０１でハイライト測光が設定されていると判定された場合は、Ｓ５０３に進み、測光部１０１４は画面全体における最大輝度を基に測光（ハイライト測光）を行う。なお、本実施形態では最大輝度をもとに測光を行っているが、これに限らない。画面内で相対的に高い輝度値に基づいていれば本発明の課題は少なからず解決するので、画面内で相対的に高い輝度値（例えば輝度ヒストグラムを生成したときの上位５パーセントの平均輝度値）に基づいて測光を行ってもよい。

また、本実施形態では、ハイライト測光以外の測光方式として画面全体の輝度値に基づく平均測光を主として説明しているが、測光方式としてはこれに限らない。例えば、検出された特定の被写体の露出を優先的に適正になるように制御する被写体優先測光でもよい。被写体優先測光の場合、検出された被写体領域の輝度を他の領域の輝度に比べて重視した測光が行われる。すなわち、検出された被写体領域の平均輝度値と画面全体の平均輝度値を算出し、被写体領域の平均輝度値の方により大きい重みをつけて両者の重みづけ平均を算出し、得られた輝度値に基づいて測光を行う。

Ｓ５０４以降は測距から撮影までの流れがフローチャートとして記載されている。なお、Ｓ５０１からＳ５０４のループは所定の周期で回っており、前述したＳ５０２やＳ５０３の測光処理が繰り返されている。Ｓ５０４でレリーズボタン１０１１がＳＷ１状態になると、Ｓ５０５に進み、測距部１０１５による測距（焦点検出）が開始される。

Ｓ５０６では測距部１０１５がＳ５０５における測距の結果判定を行う。検出部１０１３で検出された被写体や、焦点検出可能な範囲内で最もカメラに近い物体に対して合焦できなかった場合はＳ５０４に戻って再びＳＷ１状態になるまで測光処理を繰り返しながら待機する。Ｓ５０６で合焦の判定がされた場合はＳ５０７に進み、レリーズボタン１０１１がＳＷ２になるとＳ５０８で撮影処理が行われる。以上が、通常のライブビュー静止画撮影の一連の流れである。

次に、本発明の第１の実施例のハイライト測光の流れと手法について図６を用いて説明する。図６に、第１の実施例におけるハイライト測光の流れを示しており、これは図５のＳ５０３の処理内で行われるフローである。図５のＳ５０１で測光方式がハイライト測光であると判別された場合にＳ５０３に対応する図６のフローに入る。

まずＳ６０１において、検出部１０１３はいずれかの被写体が検出されたかどうかを判断する。いずれかの被写体というのは、検出部１０１３で検出可能な被写体のうちの一つ、または複数の被写体のことを表している。検出可能な被写体は例えば人物頭部、人物胴体、乗り物、空、などが挙げられるが、これらに限定されない。

Ｓ６０１で検出部１０１３が被写体を検出したと判断した場合はＳ６０２に進み、測光部１０１４が検出した被写体に対応する領域（検出被写体領域）内の輝度値のみを用いてハイライト測光を行う。

このときの検出被写体領域内のハイライト測光の手法について図７を用いて説明する。図７（ａ）は、図２と同様の構図において、検出被写体として人物頭部を検出している状態を示しており、７１が検出被写体領域を示している。このときの評価値のイメージ図を図７（ｂ）に示す。Ｓ６０２における検出被写体領域内のハイライト測光では、測光部１０１４が検出被写体領域を含む評価値の分割範囲７２の範囲内のみの評価値を用いて測光演算を行う。７２内における最大評価値が７３だったとすると、７３の評価値を基に測光演算を行い、７３が適正な露出となるように露出設定が行われる。

Ｓ６０１にて検出部１０１３が被写体を検出していないと判定した場合は、Ｓ６０３において画面全体でハイライト測光を行う。Ｓ６０３では、図４を用いて上述したように、画面全体４１の範囲内における最大の評価値領域を基に測光演算を行う。

以上が、第１の実施例におけるハイライト測光の流れと手法である。ここで、従来のハイライト測光では、図６のように検出被写体領域内でのハイライト測光は行わず、常に画面全体における最大評価値を基にハイライト測光が行われていた。そのため、例えば図２のような構図で、ユーザが人物２１を被写体として撮影している場合でも被写体ではない照明２２の明るさを適正にするような露出とり、人物２１は暗く撮影されていた。これに対して、図６のように検出被写体領域内でのハイライト測光を行うと、人物２１の領域内における最大評価値に対して明るさが適正になるような露出となる。

以上のように、第１の実施例によれば、ハイライト測光モードにおいて、検出された被写体領域内で測光を行うことで、被写体領域外の高輝度領域の影響で露出が暗くなりすぎることを防ぐことができる。

（第２の実施形態）
本実施形態では検出した被写体によってはハイライト測光の結果が不安定となり、急激な露出の変動が起こることに鑑み、検出被写体領域内でハイライト測光を行うとき、検出した被写体の種別によって測光の処理を変更する。なお、第１の実施形態と同じ符号のものは第１の実施形態と同様の動作、処理を行うものとし、説明は省略する。

以下、図５、図６のフローチャートと図８を用いて本発明の第２の実施例の静止画撮影の流れについて説明する。本フローチャートの各ステップは、カメラシステム制御部１００１あるいはカメラシステム制御部１００１の指示によりカメラ１０００の各部が実行する。

第２の実施例におけるライブビュー静止画撮影の流れは図５のフローチャートの通りであり第１の実施例と同一である。また、Ｓ５０１で測光方式がハイライト測光であると判別された場合に図６のフローに入る。これも第１の実施例と同一であるため、ここでは説明を省略する。

第２の実施例では、図６のフローチャートのＳ６０２において検出被写体領域内でハイライト測光を行うとき、検出被写体の種別によって測光の処理を変える。

一つ目の例として、検出部１０１３が検出した被写体が乗り物の場合を説明する。被写体が乗り物の場合、高速で動いていることが考えられる。例えば車が右方向へ動いており、車より手前に高輝度の障害物がある場合のイメージ図を図８に示す。なお、図８は（ａ）（ｂ）（ｃ）の順で時間の経過を表している。

まず図８（ａ）では、車８１が右方向に進行しており、車を被写体として領域８２が検出されている。また、車８１よりも手前（撮影者側）に白い障害物や電灯など、高輝度な障害物が存在している。図８（ｂ）では図８（ａ）の車８１が右方向に進行して車８４の位置に移動している。このとき、高輝度障害物８６が検出被写体領域８５に含まれている。図８（ｃ）では図８（ｂ）の車８４がさらに進行して車８７の位置に移動している。このとき、高輝度障害物８９は検出被写体領域８８には含まれていない。

このように乗物の移動に伴って構図が変化した場合に測光部１０１４にて算出される評価値の変化を図９に示す。図９の（ａ）～（ｃ）は図８の（ａ）～（ｃ）に対応しており、領域９１、９２、９３は（ａ）～（ｃ）における被写体検出領域を表している。図９（ａ）および（ｃ）では被写体検出領域９１、９３内の評価値は、車８１、８７の領域に対応しているが、図９（ｂ）では被写体検出領域９２内には車８４に加え高輝度障害物８６の領域に対応する評価値が含まれている。

図９のような評価値において、被写体検出領域内の最大評価値の動きを図１０（Ａ）に示す。図１０（Ａ）の縦軸は被写体領域内の最大評価値、横軸は時間を表している。また、横軸の（ａ）～（ｃ）は図８（ａ）～（ｃ）が取得された時刻に対応する。図１０（Ａ）の時刻（ａ）から（ｂ）の間に最大評価値が大きく変化した場合、ハイライト測光に基づいて急激に露出が変動する。その結果、取得する画像の明るさが急激に変化し、表示する画像のちらつきに繋がる。

このちらつきを防ぐため、被写体が乗り物の場合は露出の追従速度を遅くし、急激な露出変動を抑えるという手法が考えられる。具体的な最大評価値の計算例としては、過去ｎ回分の最大評価値を保持しておき、その平均値を現在の最大評価値とする方法が考えられる。計算結果の最大評価値をＭ_{ａｖｅｒａｇｅ}とし、ｉ回過去の最大評価値をＭ_ｉとすると以下の式となる。

図１０（Ａ）に示した最大評価値に対応する、平均化した最大評価値の動きを図１０（Ｂ）に示す。図１０（Ｂ）の点線１０１は図１０（Ａ）と同様のグラフを示しており、実線１０２は平均化した最大評価値を示している。実線１０２のように、平均化を行うことで最大評価値の変化が小さくなる。その結果、露出の変動量が抑制され、急激な変動が抑えられるので、表示する画像の明るさの変化によるちらつきを抑えることができる。

なお、図８（ｂ）のように、被写体である車８４が高輝度障害物８６に隠れている状態では、検出部１０１３による被写体の検出ができない場合がある。例えば図８において、図８（ａ）では検出部１０１３が車８１を検出できているが、図８（ｂ）では車８４を検出できていない状態となり、図８（ｃ）では車８７が再検出される、という場合が考えられる。このとき、図８（ｂ）では車８４の検出がされないため画面全体でのハイライト測光となり、高輝度障害物８６の評価値を基にした露出設定が行われてしまう。すなわち、図１０（ａ）と同じような最大評価値の変化となってしまい、急激な露出変動の原因となる。このように被写体の検出が途中で途切れる状況は、上述のように、すぐに被写体の検出が復帰する場合もあるが、実際に被写体が画角外へ移動して、元の被写体を再検出できない場合も考えられる。そのため、被写体の検出が途中で途切れた場合は画面全体でのハイライト測光を行うが、そのときの露出の下げ量を制限する。例えば、露出の下げ量を－１段までとすることで、被写体が画角外へ移動して復帰しない場合を考慮して、画面全体のハイライト測光を行いつつ、すぐに被写体が再検出されるような場合も考慮して、画面のちらつきを抑制することができる。なお、ここでは被写体を乗り物（車）としたが、例えば被写体が移動する動物や鳥の場合でも同様の状況が発生しうる。

二つ目の例として、検出する被写体が「空」の場合を説明する。被写体が空の場合のイメージ図を図１１に示す。図１１は上部に空、下部に山がある状態のイメージ図を示しており、図１１（ａ）の１１１は空の検出被写体領域を示している。図１１（ａ）に対応する評価値を図１１（ｂ）に示しており、１１２は空の検出被写体領域に対応して評価値が算出されている領域である。１１２の中で最大評価値となる分割された評価値領域が太陽の位置に対応する１１３である。このとき、検出被写体領域内のハイライト測光では、最大評価値をもつ評価値領域１１３が適切な露出となるように露出設定を行うが、太陽が強い光源であるため、露出を下げていっても評価値領域１１３が適切な露出とならない場合がある。そのため、通常のハイライト測光のように最大評価値を持つ評価値領域１１３をもとに露出設定を行うと図１１（ｃ）のように、太陽の領域が白飛びしたまま、その他の領域が暗い状態で撮影されてしまうことになる。これを防ぐため、検出した被写体が空の場合は露出の下げ量に制限値を持たせる。例えば、画面全体から求めた平均測光値から－３段を制限値として、それ以上は露出を下げないようにする方法が考えられる。露出の下げ量を制限することで、検出した被写体の領域内の最大評価値を考慮しつつ、最大評価値を有する領域以外が極端に暗く撮影されてしまうことを抑制することができる。

以上のように、第２の実施例によれば、ハイライト測光の領域となる検出被写体の種別毎に測光の処理を変えることで、検出被写体の種別毎に生じる課題を抑制して撮影することができる。

（第３の実施形態）
本実施形態では検出した被写体がユーザの意図に沿っていない場合に、適切な露出制御が実行されない可能性があるという課題に鑑み、被写体検出領域内でハイライト測光を行う場合の被写体についてユーザが選択を行う。なお、第１の実施形態と同じ符号のものは第１の実施形態と同様の動作、処理を行うものとし、説明は省略する。

第３の実施例では、被写体検出領域内でハイライト測光を行う場合の被写体についてユーザが選択を行う。例えばカメラの表示部１０９にて表示されるメニュー設定画面等を通じて選択可能であるが、選択方法はこれに限らない。図１２にメニュー設定画面で選択する場合のイメージ図を示す。図１２では、被写体の選択肢として、人物頭部、人物胴体、乗り物、空がある場合を表している。選択肢の数は図１２の例に限らず、検出部１２で検出可能な被写体を表示することが好ましい。図１２の１２１はユーザの被写体選択状態を示しており、チェックマークの付いている項目が選択されていることを表している。つまり、図１２は人物頭部と乗り物が選択されている状態である。なお、被写体選択は図１２のように複数を選択してもよいし、全て選択しないことも可能である。全て選択しない場合は画面全体でのハイライト測光を行うこととし、このときのフローは後述する。

第３の実施例におけるライブビュー静止画撮影の流れは図５のフローチャートの通りであり、第１の実施例と同一であるため説明を省略する。第３の実施例では、図５のＳ５０１で測光方式がハイライト測光であるとカメラシステム制御部１００１が判別した場合に図１３のフローに入る。図１３は、第３の実施例におけるハイライト測光の流れを示している。本フローチャートの各ステップは、カメラシステム制御部１００１あるいはカメラシステム制御部１００１の指示によりカメラ１０００の各部が実行する。

まずＳ１３０１において、カメラシステム制御部１００１はあらかじめユーザが被写体を選択（設定）しているかどうかを判別している。Ｓ１３０１で被写体が選択されていた場合はＳ１３０２へ進み、被写体が選択されていなかった場合はＳ１３０４において画面全体でハイライト測光を行う。

Ｓ１３０２では検出部１１３がユーザに選択された被写体が検出されたかどうかを判定する。Ｓ１３０２でユーザが選択した被写体が検出されたと判定された場合は、Ｓ１３０３で測光部１０１４が検出被写体領域内の評価値のみを用いてハイライト測光を行う。一方、被写体が検出されていないと判定された場合はＳ１３０４において測光部１０１４が画面全体でハイライト測光を行う。

次に、図１４を用いて図１３のＳ１３０３における検出領域内でのハイライト測光について説明する。図１４（ａ）は、図１２に示したメニュー選択の例に対応するハイライト測光のイメージ図である。図１４（ａ）の１４１は人物頭部の検出領域を示しており、１４２は乗り物の検出領域を示している。図１４（ａ）に対応する評価値を図１４（ｂ）に示す。図１４（ｂ）の１４３、および１４４は、それぞれ人物頭部の検出領域、乗り物の検出領域に対応する評価値を表している。ここでＳ１３０１においてユーザが「人物頭部」および「乗り物」を選択していることが分かっている。そこでＳ１３０３における検出領域内でのハイライト測光では、測光部１０１４はユーザが選択した被写体に対応する評価値１４３と１４４を合わせた領域における最大評価値を基にしてハイライト測光を行う。

以上のように、第３の実施例によれば、測光領域内の最大出力の測光値に基づいて露出を決定するハイライト測光モードにおいて、ユーザが指定した被写体の領域内で測光を行う。これにより、ユーザが指定した被写体については白飛びが抑制されるような露出制御が実現され、ユーザの意図に沿った露出制御を行うことができる。

（第４の実施形態）
本実施形態では検出した被写体がユーザの意図に沿っていない場合に、適切な露出制御が実行されない可能性があるという課題に鑑みたものである。本実施形態ではユーザがハイライト測光領域となる被写体種別を選択するとき、他の機能で検出被写体を選択している場合は、ハイライト測光の被写体選択のデフォルト値を、他の機能で選択している被写体種別に合わせる。

以下、図５、図１３のフローチャートと図１５を用いて本発明の第４の実施例の静止画撮影の流れについて説明する。本フローチャートの各ステップは、カメラシステム制御部１００１あるいはカメラシステム制御部１００１の指示によりカメラ１０００の各部が実行する。

第４の実施例におけるライブビュー静止画撮影の流れは図５のフローチャートの通りであり、図５のＳ５０１で測光方式がハイライト測光であると判別された場合に図１３のフローに入る。これは、第３の実施例と同一のフローであるため説明を省略する。また、被写体検出領域内でハイライト測光を行う場合の被写体についてユーザが選択を行うが、これも第３の実施例と同様であるため説明を省略する。

第４の実施例では、ユーザがハイライト測光領域となる被写体種別を選択するとき、他の機能で検出被写体を選択している場合は、ハイライト測光の被写体選択のデフォルト値を、他の機能で選択している被写体種別に合わせる。例えば、カメラ側で自動的に焦点を合わせるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能において、焦点を合わせる被写体をユーザが事前に選択（設定）できるような仕様が。ＡＦ機能で人物頭部が選択されている場合のメニュー選択画面のイメージ図を図１５（ａ）に示す。

図１５（ａ）のようにユーザがＡＦ対象とする被写体として人物頭部を選択した場合、ユーザが撮影しようとしている対象が人物頭部であると考えることができる。このときの、デフォルトのハイライト測光の被写体選択のメニュー画面を図１５（ｂ）に示す。図１５（ｂ）は、図１５（ａ）のようにＡＦ対象として人物頭部が選択されている場合に、ハイライト測光の被写体のデフォルト設定も人物頭部となることを表している。このように、第４の実施例では、ユーザが撮影しようとしている被写体にハイライト測光の被写体を合わせるため、ハイライト測光の被写体選択のデフォルト設定を他の機能で選択されている検出被写体種別に合わせる。

なお、ハイライト測光の被写体選択は、ユーザによってデフォルト設定から変更される場合があり、ＡＦ等の他の機能における被写体の選択（設定）と異なる被写体が選択（設定）されることも考えられる。図１６にＡＦの検出対象の被写体を人物頭部に設定し、かつハイライト測光の検出被写体を空とした場合の検出枠表示のイメージ図を示す。図１６の１６１はＡＦ機能における検出枠を示しており、１６２はハイライト測光における検出枠を示している。図１６のように、他の機能における検出被写体とハイライト測光の検出被写体が異なる場合、その検出枠を重畳表示してもよい。また、重畳する枠１６１および１６２はそれぞれ異なる色としてもよい。これにより、ユーザはＡＦ等の他の機能で選択した被写体と、ハイライト測光用に選択した被写体の種別が異なることを確認することが可能となる。

以上のように、第４の実施例によれば、測光領域内の最大出力の測光値に基づいて露出を決定するハイライト測光モードにおいて、ＡＦなど他機能で選択された検出被写体種別にハイライト測光の被写体選択のデフォルト設定を合わせる。これにより、ユーザの意図に沿った被写体の設定を容易に行うことができる。

＜他の実施形態＞
本発明は上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してスステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００ 撮像装置本体
１００１ カメラシステム制御部
１００２ メモリ
１００３ 撮像素子
１００４ シャッター
１００５ Ａ／Ｄ変換部
１００６ 画像処理部
１００７ メモリ制御部
１００８ Ｄ／Ａ変換部
１００９ 表示部
１０１０ ＴＧ
１０１１ レリーズボタン
１０１２ 操作部
１０１３ 検出部
１０１４ 測光部
１０１５ 測距部
２０００ レンズユニット
２００１ レンズシステム制御部
２００２ レンズ群
２００３ 絞り
３０００ 記録媒体

Claims (18)

1. 画像を取得する取得手段と、
   設定された測光モードに応じて、前記画像に対して測光を行う測光手段と、
   前記画像から被写体を検出する検出手段と、を有し、
   前記測光モードには少なくとも測光領域内で相対的に高い測光値をもつ領域について相対的に低い測光値の領域よりも重みを付けて露出を決定する第１の測光モードが含まれ、
   前記測光手段は、前記第１の測光モードが選択された状態で前記検出手段が前記画像にて被写体を検出した場合に、前記被写体の領域内を前記測光領域として前記第１の測光モードによる測光を行うことを特徴とする画像処理装置。
2. 前記測光手段は、前記検出手段が検出した前記被写体の種別に応じて測光処理を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記測光手段は、前記検出手段が乗り物を検出した場合に、第１の画像の測光値と前記第１の画像より後に取得された第２の画像の測光値および前記第１の画像より前に取得された１つ以上の画像の測光値の平均値を用いて露出を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記測光手段は、前記検出手段が空に対応する領域を検出した場合に、空に対応する領域を検出していない場合に比べて前記第１の測光モードに基づく測光による露出の下げ量を小さくすることを特徴とする請求項２に記載の画像処理装置。
5. 前記第１の測光モードにおいて前記検出手段が第１の画像において被写体を検出し、前記第１の画像より後に取得された第２の画像にて前記被写体の検出できなかった場合に、前記測光手段は露出の変動量を制限することを特徴とする請求項１に記載の画像処理装置。
6. 前記測光手段は前記第１の画像の測光値と前記第２の画像の測光値、および前記第１の画像より前に取得された１つ以上の画像の測光値の平均値を用いて露出を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段はユーザが選択した被写体種別に基づいて前記画像から前記被写体の検出を行うことを特徴とする請求項１に記載の画像処理装置。
8. 前記被写体種別はＡＦの対象として選択される被写体の種別であることを特徴とする請求項７に記載の画像処理装置。
9. 前記画像を表示する表示制御手段をさらに有し、
   前記表示制御手段は前記検出手段が検出した前記被写体に対応する領域に検出枠を重畳した画像を表示することを特徴とする請求項１に記載の画像処理装置。
10. 前記測光モードには前記第１の測光モードとは異なる、第２の測光モードが含まれることを特徴とする請求項１に記載の画像処理装置。
11. 前記第２の測光モードは、前記画像全体の輝度値に基づいて前記画像の全体を適正露出とする測光を行う測光モードであることを特徴とする請求項１０に記載の画像処理装置。
12. 前記第２の測光モードは、前記検出手段により検出した被写体の領域内の平均の輝度値に、前記画像の他の領域の輝度値よりも大きな重みをつけて測光を行う測光モードであることを特徴とする請求項１０に記載の画像処理装置。
13. 光学系を介して結像された被写体像を撮像する撮像手段と、
    請求項１乃至１２のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
14. 画像を取得する取得工程と、
    設定された測光モードに応じて、前記画像に対して測光を行う測光工程と、
    前記画像から被写体を検出する検出工程と、を有し、
    前記測光モードには少なくとも測光領域内で相対的に高い測光値をもつ領域について相対的に低い測光値の領域よりも重みを付けて露出を決定する第１の測光モードが含まれ、
    前記測光工程は、前記第１の測光モードが選択された状態で、前記検出工程にて前記画像で被写体を検出した場合に、前記被写体の領域内を前記測光領域として前記第１の測光モードによる測光を行うことを特徴とする画像処理装置の制御方法。
15. コンピュータを請求項１乃至１２いずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータに請求項１４に記載の制御方法の各工程を実行させるためのプログラム。
17. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能なプログラム。
18. 請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能なプログラム。

Images