JP4831175B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラやビデオカメラ等の撮像装置には、受光した光量に基づいて露出を制御する自動露出（ＡＥ：auto exposure）機能を有するものがある。これにより、撮像装置は、被写体像の明るさを調整することができる。そして、被写体像全体を基準に明るさを調整するのか、又は被写体像の一部、例えば人物の顔を基準に明るさを調整するのかによって、被写体像の明るさが変化する。例えば、被写体像全体を基準に明るさを調整するとき、人物の周囲に照明や窓などの高輝度の光源が存在すると、人物が暗くなり、撮影者が期待する適正な明るさに調整できないことがあった。

そこで、人物を対象として露出制御するため、例えば顔認識技術を用いることが考えられる。しかし、従来の顔認識技術は画像のエッジ情報に基づいているため、演算量が多くなり、回路規模が大きくなる傾向にある。

一方、被写体の色に着目して、特定の色を有する被写体を対象として露出制御する技術がある。例えば、特許文献１には、光源を判定して肌色条件を設定し、画像内から肌色の色相を有する領域を検出する技術が開示されている。そして、検出された領域に基づいて、人物の顔が適正な明るさ及び色で再現されるように、明るさ補正、ホワイトバランス補正などが行われる。また、特許文献２には、光学像に含まれる色成分を検出して、検出された色成分から適正露出値を算出する技術が開示されている。

特開２００４−１９２１２９号公報 特開２０００−６９４９０号公報

ところで、特定の色を有する被写体を検出して露出制御する場合、まず、画面の全体面積に占める特定の色を有する被写体像の面積を検出し、検出された面積が所定面積（閾値）より広いときに、対象とする被写体が検出されたと判断する。そして、対象被写体が検出されたと判断されたとき、対象被写体を基準として明るさの調整をし、対象被写体が検出されていないと判断されたとき、画面全体を基準として明るさの調整をする。

しかし、このように、閾値を基準として明るさを調整すると、対象被写体の面積が閾値近傍にあり、閾値を挟んで面積値が上下したとき、対象被写体を基準に明るさが調整されたり、画面全体を基準に明るさを調整されたりという動作が繰り返される。そのため、露出制御されて表示された画面が急に明るくなったり、急に暗くなったりして、画面がちらつく現象が生じる。そのため、画面がちらついてユーザーにとって画面が見にくくなるという問題があった。また、ハンチングのような動作が生じるため、露出制御が不安定になるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、特定の色を有する被写体像の面積を検出しながら、露出制御を安定化し、露出制御されて表示された画面の明るさをちらつかせずに滑らかに変化させることが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、対象とする被写体の色成分と同一又は近似する色成分を有する領域を被写体像の画像データから検出する色成分領域検出部と、検出された領域の面積を算出する面積算出部と、被写体像全体の輝度及び検出された領域の輝度を算出する輝度算出部と、被写体像全体の輝度及び検出された領域の輝度を用いて、検出された領域の面積に応じて現在の輝度レベルを決定する現在輝度レベル決定部と、現在輝度レベルが目標輝度レベルになるように露出量を算出する露出量算出部とを有する撮像装置が提供される。

上記現在輝度レベル決定部は、検出された領域の面積が第１の所定面積以下であるとき、検出された領域の面積に応じて被写体像全体の輝度と検出された領域の輝度がそれぞれ寄与する比率を決定し、比率と被写体像全体の輝度及び検出された領域の輝度とによって現在の輝度レベルを決定してもよい。

上記現在輝度レベル決定部は、検出された領域の面積が第１の所定面積以上であるとき、検出された領域の輝度を現在の輝度レベルに決定してもよい。

上記現在輝度レベル決定部は、検出された領域の面積が減少するにつれて、被写体像全体の輝度が高く寄与するように、比率を決定してもよい。

上記現在輝度レベル決定部は、検出された領域の面積が第１の所定面積より狭い第２の所定面積以下であるとき、被写体像全体の輝度を現在の輝度レベルに決定してもよい。

上記検出された領域の輝度の分布に基づいて、検出された領域を限定する領域限定部を更に有し、現在輝度レベル決定部は、検出された領域の面積が第１の所定面積以上であり、かつ第１の所定面積より広い第３の所定面積以上であるとき、限定された領域の輝度を現在の輝度レベルに決定してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、対象とする被写体の色成分と同一又は近似する色成分を有する領域を被写体像の画像データから検出するステップと、検出された領域の面積を算出するステップと、被写体像全体の輝度及び検出された領域の輝度を算出するステップと、被写体像全体の輝度及び検出された領域の輝度を用いて、検出された領域の面積に応じて現在の輝度レベルを決定するステップと、現在輝度レベルが目標輝度レベルになるように露出量を算出するステップとを有する撮像方法が提供される。

本発明によれば、特定の色を有する被写体像の面積を検出しながら、露出制御を安定化し、露出制御されて表示された画面の明るさをちらつかせずに滑らかに変化させることができる。

本発明の第１の実施形態に係る撮像装置を示すブロック図である。 同実施形態に係るカメラブロック、システムブロックを示すブロック図である。 同実施形態に係る撮像装置のＡＥ処理動作を示すフローチャートである。 同実施形態に係る撮像装置の色検出ＡＥ処理動作を示すフローチャートである。 被写体像を示す説明図である。 被写体像を示す説明図である。 被写体像を示す説明図である。 被写体像を示す説明図である。 ある輝度における色相・彩度図を示す説明図である。 検出された色領域の輝度が現在の輝度レベルの算出に寄与する割合と、検出された色領域が被写体像全体の面積に占める割合との関係を示すグラフである。 画枠及び画枠内の検波エリアを示す説明図である。 画枠及び画枠内の検波エリアを示す説明図である。 画枠及び画枠内の検波エリアを示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本実施形態に係る撮像装置１００の構成
２．本実施形態に係る撮像装置１００の動作

＜１．撮像装置１００の構成＞
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。図２は、本実施形態に係るカメラブロック１３０、システムブロック１６０を示すブロック図である。本実施形態に係る撮像装置１００は、例えばデジタルスチルカメラ、デジタルビデオカメラなどであり、被写体像をデジタルデータとして記録することができる。

撮像装置１００は、例えば、レンズ１１０と、撮像素子１２０と、カメラブロック１３０と、システムブロック１６０と、映像ディスプレイ１７０と、リモートコントローラ１８０などからなる。

レンズ１１０は、被写体からの光を透過させて、撮像装置１２０に被写体像を結像させる。レンズ１１０は、例えば、ＮＤフィルタ機構１１２と、ズームレンズ１１４と、絞り機構１１６と、フォーカスレンズ１１８などからなる。

ＮＤフィルタ機構１１２は、例えばズームレンズ１１４よりも被写体側に設置される。ＮＤフィルタ機構１１２は、レンズ１１０に入射される光量を減少させる。ＮＤフィルタ機構１１２は、カメラマイコン１３４からの制御信号を受けて、ＮＤフィルタの位置を変化させる。

ズームレンズ１１４は、レンズ１１０の焦点距離を変化させて、被写体像をズームインしたり、ズームアウトしたりする。絞り機構１１６は、被写体からの光を遮断して、撮像素子１２０に到達する光量を調整する。絞り機構１１６は、カメラマイコン１３４からの制御信号を受けて、開口径を変化させる。フォーカスレンズ１１８は、撮像素子１２０に被写体像を合焦させる。

撮像素子１２０は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子などの固体撮像素子であり、レンズ１１０を通じて被写体から入射された光を電気信号に変換する。また、撮像素子１２０は、電子シャッター機構１２２を有する。電子シャッター機構１２２は、カメラマイコン１３４からの制御信号を受けて、シャッター速度を変化させる。

カメラブロック１３０は、例えば、ＤＳＰ（Digital Signal Processor）１３２と、カメラマイコン１３４などからなる。カメラマイコン１３４は、例えばＣＰＵであり、メモリに格納されたプログラムを実行することにより、ＤＳＰ１３２及び撮像装置１００全体を統括的に制御し、また、その制御のための各種演算を実行する。カメラマイコン１３４は、現在輝度レベル決定部の一例であり、被写体像全体の輝度及び検出された領域の輝度を用いて、検出された領域の面積に応じて現在の輝度レベルを決定する。また、カメラマイコン１３４は、露出量算出部の一例であり、現在輝度レベルが目標輝度レベルになるように露出量を算出する。

ＤＳＰ１３２は、例えば、マスターゲイン調整部１３６と、ＷＢゲイン調整部１３８と、色領域検出器１４０と、検波器１５０などからなる。マスターゲイン調整部１３６は、カメラマイコン１３４において露出量に基づいて算出されたマスターゲイン値を取得する。マスターゲイン調整部１３６は、マスターゲイン値に基づいて、被写体像の明るさ等を調整する。ＷＢゲイン調整部１３８は、カメラマイコン１３４において画像データの色成分に基づいて算出されたＷＢゲイン値を取得する。ＷＢゲイン調整部１３８は、ＷＢゲイン値に基づいて、画像データを調整する。

色領域検出器１４０は、検出色領域表示部１４２と、色成分設定部１４４と、検出色領域生成部１４６などからなる。検出色領域表示部１４２は、設定された色成分と同一又は近似する色成分を有する領域を明確にするため、画面に検出色領域を表示できるように映像信号を生成する。色成分設定部１４４は、ユーザーが検出したい対象とする被写体が有する色成分を設定する。色成分は、例えば、色彩値、彩度値、明度値及びそれぞれの範囲からなる。検出色領域生成部１４６は、色成分領域検出部の一例であり、画像データから、設定された色成分と同一又は近似する色成分を有する部分を検出する。そして、検出色領域生成部１４６は、検出された部分を検出色領域信号として生成し、検波器１５０の積分処理部１５２とカウンタ処理部１５４に出力する。

検波器１５０は、積分処理部１５２と、カウンタ処理部１５４などからなる。検波器１５０は、例えばＡＥ（auto exposure：自動露出）のための検波を行う。積分処理部１５２は輝度算出部の一例であり、検出色領域信号の輝度値に基づいて、検出された色領域の輝度積分値を算出する。積分処理部１５２は、算出した輝度積分値をカメラマイコン１３４に出力する。カウンタ処理部１５４は面積算出部の一例であり、検出色領域信号に基づいて、検出された色領域の画素数をカウントする。これにより、検出色領域の積分面積が算出される。カウンタ処理部１５４は、算出した積分面積をカメラマイコン１３４に出力する。

システムブロック１６０は、ＦＰＧＡ（Field Programmable Gate Array）１６２と、ビデオエンコーダ１６６と、システムマイコン１６８などからなる。ＦＰＧＡ１６２には、ＧＵＩ部１６４が含まれる。ＧＵＩ部１６４は、ＯＳＤ（オンスクリーンディスプレイ）情報を生成する。

ビデオエンコーダ１６６は、画像データを基に、モニタ表示用の映像信号を生成し、映像ディスプレイ１７０に出力する。システムマイコン１６８は、例えばＣＰＵであり、メモリに格納されたプログラムを実行することにより、システムブロック１６０全体を統括的に制御し、また、その制御のための各種演算を実行する。

映像ディスプレイ１７０は、例えば撮像装置１００に設けられた液晶ディスプレイ、有機ＥＬディスプレイなどであり、映像信号による映像を表示する。映像ディスプレイ１７０は、被写体像を表示するだけでなく、例えばメニュー画面の表示や、検出された色領域の表示などをする。

リモートコントローラ１８０は、ユーザーによって操作され、操作内容に応じた制御信号を生成する。そして、リモートコントローラ１８０は、生成した制御信号をシステムマイコン１６８に出力する。

＜２．撮像装置１００の動作＞
次に、図３を参照して、本実施形態に係る撮像装置１００のＡＥ処理動作について説明する。図３は、本実施形態に係る撮像装置１００のＡＥ処理動作を示すフローチャートである。

撮像装置１００のＡＥ（auto exposure：自動露出制御）は、被写体を撮影する際、被写体像の明るさを適切にするために行われる。まず、撮像装置１００では、目標輝度レベルが決定される（ステップＳ１０１）。目標輝度レベルは、対象とする被写体像をどの程度明るくするかによって、値が異なる。目標輝度レベルは、一定としてもよいし、撮影シーンに応じて決定されるとしてもよい。撮影シーンは、ユーザーによって選択されてもよいし、取得された画像データから判断されてもよい。

次に、画像データから輝度値を取得し、取得した輝度値に基づいて、ＡＥ検波値を算出する。ＡＥ検波値は、被写体像全体の輝度を基準に算出される。このとき、算出された被写体像全体のＡＥ検波値は正規化されて、現在の輝度レベルとしてまず算出される（ステップＳ１０２）。ここで、ＡＥ検波値の正規化とは、検波面積に依存しない輝度レベルを算出することである。つまり、画素ごとに輝度を積算した積分値を、積分した画素数で除算し、検波エリアの面積、積分している画素数に依存せず、輝度レベルを同様に比較できるようにすることである。ＡＥの動作モードの違い、たとえばスポットライトを探してＡＥするモードでは、通常の検波エリアの９分の１の面積でＡＥ検波値を得る。後述する色検出ＡＥでは、色領域の面積でＡＥ検波値を得る。また、映像信号フォーマットが異なる場合、たとえば、１９２０×１０８０モードと、１２８０×７２０モードでは、モニタ上での検波エリアの面積が同じ用に見えても得られるＡＥ検波値の積分している画素数は異なる。このようなＡＥ検波値が正規化されることによって、ＡＥ動作モードによる検波面積の違いや、映像信号フォーマットの違いに関わらず、ＡＥ検波値を同様に扱うことができる。

その後、色検出ＡＥ処理を行う（ステップＳ１０３）。色検出ＡＥ処理は、画像データから特定の色成分を有する領域を検出し、その検出された色領域の輝度レベルや被写体像全体の輝度レベルを用いて、現在の輝度レベルを算出する。特定の色成分とは、対象としたい被写体の色成分であり、例えば、顔検出をする場合は肌色の色成分などである。色検出ＡＥ処理の詳細は、後述する。なお、検出された色領域の面積値によっては、色検出ＡＥ処理が行われない場合もある。このときは、ステップＳ１０２で算出された現在の輝度レベルが維持される。

そして、ステップＳ１０３で算出された現在の輝度レベルがステップＳ１０１で決定された目標輝度レベルになるように露出制御がされる（ステップＳ１０４）。露出制御では、例えば、算出された目標輝度レベルとなるように、ゲイン、絞りの開口値、シャッター速度が調整される。

以上の動作によって、被写体像の画像データに基づいて、ＡＥ処理動作が行われる。また、本実施形態では、特定の色成分を有する領域を参照した色検出ＡＥ処理が実行される。

次に、図４を参照して、本実施形態に係る撮像装置１００の色検出ＡＥ処理動作について説明する。図４は、本実施形態に係る撮像装置１００の色検出ＡＥ処理動作を示すフローチャートである。

まず、色検出ＡＥ処理が実行されるか否かが判断される（ステップＳ１１１）。色検出ＡＥ処理が実行されない場合は、被写体像全体の輝度レベルが現在の輝度レベルとなり、被写体像全体の輝度レベルが目標輝度レベルになるように露出制御がされる。色検出ＡＥ処理が実行される場合は、対象とする被写体の色成分が設定されている。例えば、人物の顔を対象とする場合、肌色の色成分が設定されている。図９に設定された色成分の例を示す。図９は、ある輝度における色相・彩度図１９０を示す説明図である。色成分は、色相値、彩度値、輝度値によって特定される。ある色成分は、色相・彩度図１９０において、例えば、色成分１９２のように表される。

また、色検出ＡＥ処理が実行される場合は、設定された色成分に新たに影響を与える色制御が行われる否かが判断される（ステップＳ１１２）。色制御は、例えば、撮像装置１００が有する機能であり、被写体の色を調整する制御である。色制御が行われる場合は、例えば、初めに設定された色成分の彩度、色相が調整されて、新たな色成分が設定される（ステップＳ１１３）。色成分の彩度や色相が調整されると、色相・彩度図では、図９に示すように、色成分１９２が他の色成分に移行する。例えば、色成分１９２の緑（Ｇ）成分が強められると、色成分１９２は、色相、彩度の分布が緑（Ｇ）の方向に移行して、色成分１９３となる。あるいは、色成分１９６の緑（Ｇ）成分が強められると、色成分１９６は、彩度の分布が緑（Ｇ）の方向に移行して、色成分１９７となる。

ステップＳ１１３において、色成分の彩度、色相が調整された後は、再びステップＳ１１１に戻って、再び色検出ＡＥ処理が実行されるか判断され（ステップＳ１１１）、設定された色成分に新たに影響を与える色制御が行われる否かが判断される（ステップＳ１１２）。

次に、設定された色成分と同一又は近似する色成分を有する色領域を被写体像の画像データから検出する。そして、検出された色領域の輝度レベルと、検出された色領域の面積を算出する（ステップＳ１１４）。例えば、図９に示した色成分１９２が設定されているときは、色成分１９２と同一の色相値、彩度値の範囲を有する色成分が画像データから検出され、検出された色成分を有する部分が色領域として検出される。そして、その色領域の輝度レベルと面積が算出される。

そして、検出された色領域について、被写体像全体の面積に占める割合が所定の閾値（ここではＨ％）以上であるか否かが判断される（ステップＳ１１５）。検出された色領域がＨ％未満であるときは、被写体像全体の輝度及び検出された色領域の輝度を用いて算出される補間値を現在の輝度レベルとする（ステップＳ１１６）。補間値は、検出された色領域について、被写体像全体の面積に占める割合に応じて決定される。補間値の算出については、後述する。

一方、検出された色領域について、被写体像全体の面積に占める割合がＨ％以上であるときは、検出された色領域の面積は、被写体像全体の面積に占める割合が背景回避モードに遷移するレベル（ここではＡ％）未満であるか否かが判断される（ステップＳ１１７）。

背景回避モード遷移レベルＡ％未満であるときは、背景回避モードに移行せず、検出された色領域の輝度レベルを現在の輝度レベルとする（ステップＳ１１８）。

一方、背景回避モード遷移レベルＡ％以上であるときは、色成分領域の検出がＯＲモードであるか又はＡＮＤモードであるかが判断される（ステップＳ１１９）。ここで、ＯＲモードとは、設定された色成分が複数あるとき、いずれかの色成分に該当する色領域を検出するモードである。一方、ＡＮＤモードとは、設定された色成分が複数あるとき、全ての色成分に該当する色領域を検出するモードである。

ステップＳ１１９において、ＯＲモードではないと判断されたときは、ＡＮＤモードであり、ＡＮＤモードで色領域を検出する（背景回避モード）。そして、ＡＮＤモードで検出された色領域の輝度レベルを現在の輝度レベルとする（ステップＳ１１８）。

例えば、ＡＮＤモードによって、設定された色成分のうち輝度の範囲が狭められることで、輝度の異なる被写体を区別できる。例えば、検出したい被写体が人物の顔である場合、人物の顔に近い色成分が背景にあると、検出される領域の面積が広くなる。そこで、本実施形態では、検出された色領域について、被写体像全体の面積に占める割合がＡ％以上であれば、背景回避モードに移行する。そして、人物の顔と背景の輝度が異なれば、設定された色成分のうち輝度の範囲を狭めることで、人物の顔を検出することができる。なお、ＡＮＤモードによって、設定された色成分のうち色相と彩度の範囲が狭められるとしてもよい。背景回避モードについては、更に後述する。

ステップＳ１１８の後は、ＡＮＤモードからＯＲモードに移行する（ステップＳ１２０）。

一方、ステップＳ１１９において、ＯＲモードであると判断されたときは、背景回避モードに移行するために、ＡＮＤモードに移行する（ステップＳ１２１）。その後、再びステップＳ１１１に戻って、ステップＳ１１５において、検出された色領域の面積が、被写体像全体の面積に占める割合がＨ％以上であるとき、ＡＮＤモードで色領域を検出できる。

（補間値の算出について）
次に、図１０を参照して、上述したステップＳ１１６における補間値の算出について説明する。図１０は、検出された色領域の輝度が現在の輝度レベルの算出に寄与する割合と、検出された色領域が被写体像全体の面積に占める割合との関係を示すグラフである。縦軸は、検出された色領域の輝度が輝度レベルの算出に寄与する割合を表し、横軸は、検出された色領域が被写体像全体の面積に占める割合を表す。

まず、図１０中の（１）の関係について説明する。
検出された色領域について、被写体像全体の面積に占める割合がＬ％以下であるときは、被写体像全体の輝度（１００％）が現在の輝度レベルに決定される。このとき、検出された色領域の輝度は現在の輝度レベルに全く寄与しない（０％）。これにより、検出対象とする被写体像（例えば人物の顔）が、被写体像全体においてある程度小さくなったとき、対象とする被写体を基準にしたＡＥが行なわれるのではなく、被写体像全体を基準としたＡＥが行なわれる。

また、検出された色領域について、被写体像全体の面積に占める割合がＨ％以上であるときは、検出された色領域の輝度（１００％）が現在の輝度レベルに決定される。このとき、被写体像全体の輝度は現在の輝度レベルに全く寄与しない（０％）。これにより、検出対象とする被写体像が、被写体像全体においてある程度大きくなったとき、被写体像全体を基準としたＡＥが行なわれるのではなく、対象とする被写体を基準にしたＡＥが行なわれる。

そして、検出された色領域がＬ％以上Ｈ％以下であるときは、被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）を用いて現在の輝度レベルが決定される。被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）が現在の輝度レベルの決定に寄与する割合は、検出された色領域が被写体像全体の面積に占める割合に応じて決定され、次式で表される。

現在の輝度レベル＝全面積ＡＥ検波値×（１−α）＋色ＡＥ検波値×α

ここで、αは、検出された色領域が被写体像全体の面積に占める割合に関係した係数であり、次式で表される。

α＝｛ＣＳ−（ＴＳ×Ｌ÷１００）｝÷（ＴＳ×Ｈ÷１００） （０≦α≦１）

即ち、αは、ＡＥ検波エリア全面積ＴＳのＨ％の面積（＝ＴＳ×Ｈ÷１００）に対して、検出された色領域の面積ＣＳからＴＳのＬ％の面積（＝ＴＳ×Ｌ÷１００）を差し引いた面積が占める割合である。

これにより、検出された色領域の面積が増加するにつれて、現在レベルの輝度の決定において、検出された色領域の輝度が寄与する割合が増加していく。

次に、図１０中の（２）の関係について説明する
図１０中の（２）は、（１）の関係におけるＬが０％のときである。検出された色領域が被写体像全体の面積に占める割合がＨ％以上であるときは、上述した（１）の関係と同様である。

そして、検出された色領域が０％以上Ｈ％以下であるときは、被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）を用いて現在の輝度レベルが決定される。被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）が現在の輝度レベルの決定に寄与する割合は、検出された色領域が被写体像全体の面積に占める割合に応じて決定され、次式で表される。

現在の輝度レベル＝全面積ＡＥ検波値×（１−α）＋色ＡＥ検波値×α

ここで、αは、検出された色領域が被写体像全体の面積に占める割合に関係した係数であり、次式で表される。

α＝ＣＳ÷（ＴＳ×Ｈ÷１００） （０≦α≦１）

次に、図１０中の（３）、（４）の関係について説明する。
図１０中の（１）、（２）では、検出された色領域の輝度が現在の輝度レベルの算出に寄与する割合と、検出された色領域が被写体像全体の面積に占める割合とが線形関係にある場合について説明したが、非線形関係であってもよい。図１０中の（３）、（４）は、Ｌが０％のときである。

検出された色領域が０％以上Ｈ％以下であるときは、被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）を用いて現在の輝度レベルが決定される。被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）が現在の輝度レベルの決定に寄与する割合は、検出された色領域が被写体像全体の面積に占める割合に応じて決定され、次式で表される。

現在の輝度レベル＝全面積ＡＥ検波値×（１−β）＋色ＡＥ検波値×β

βは次式で表される。図１０中の（３）は、

β＝α×α

であり、図１０中の（４）は、
である。上記のαは次式で表される。

α＝ＣＳ÷（ＴＳ×Ｈ÷１００） （０≦α≦１）

これにより、（３）の例では、検出された色領域が被写体像全体の面積に占める割合が、０から増加するにつれて、徐々に検出された色領域の輝度が現在の輝度レベルの算出に寄与する。また、（４）の例では、検出された色領域が被写体像全体の面積に占める割合が、０から増加すると、すぐに検出された色領域の輝度が現在の輝度レベルの算出に寄与する。

（背景回避モードについて）
次に、図１１〜図１３を参照して、本実施形態の背景回避モードについて説明する。図１１〜図１３は、画枠１７２及び画枠１７２内の検波エリア１７４を示す説明図である。

まず、図１１に示すように、網掛け部分に同一色成分が分布している場合を想定する。このとき、網掛け部分の色成分が、対象とする被写体の色成分の色相、彩度と同一範囲又は近似する範囲であるとすると、網掛け部分が検出できれば、その部分について輝度を算出することで色検出ＡＥ処理を実行できる。

また、網掛け部分の面積を算出して、被写体像全体の面積に占める割合が背景回避モードに遷移するレベル（ここではＡ％）未満であれば、対象とする被写体（例えば人物の顔）の色成分と同じ色成分を有する被写体（例えば壁紙等）が背景にないと判断する。

一方、網掛け部分の面積を算出して、被写体像全体の面積に占める割合が背景回避モードに遷移するレベル（ここではＡ％）以上であれば、対象とする被写体（例えば人物の顔）の色成分と同じ色成分を有する被写体（例えば壁紙等）が背景にある可能性があると判断する。そこで、背景回避モードにおいて、ＯＲモードからＡＮＤモードに移行する。ＡＮＤモードによって、設定された色成分のうち輝度の範囲が狭められることで、輝度の異なる被写体を区別できる。

例えば、図１２（Ａ）に示すように、網掛け部分に同一色成分が分布している場合を想定する。ＯＲモードでは、同一色成分の分布は図１２（Ａ）に示すように検出される。そして、ＡＮＤモードに移行して輝度の範囲を限定することよって、図１２（Ｂ）に示すように、濃い網掛け部分に被写体像を特定することができる。これによって、対象とする被写体（例えば人物の顔）の色成分と同じ色成分を有する被写体（例えば壁紙等）が背景にある場合でも、対象とする被写体を輝度の異なる背景と区別できる。

その後、図１２（Ｃ）に示す網掛け部分の面積を算出して、被写体像全体の面積に占める割合が背景回避モードに遷移するレベル（ここではＡ％）未満であれば、背景回避モードに再び移行することなく、検出された色領域の輝度レベルを現在の輝度レベルとすることができる。

また、図１３（Ａ）に示すように、網掛け部分に同一色成分が分布している場合を想定する。

そして、ＯＲモードでは、同一色成分の分布は図１３（Ａ）に示すように検出される。そして、ＡＮＤモードに移行して輝度の範囲を限定することよって、図１３（Ｂ）に示すように、濃い網掛け部分に被写体像が特定されることがある。これは、例えば、被写体の人物の顔がアップで写されている場合や、人物の顔と背景が同一色成分かつ輝度も近い場合である。

その後、本実施形態では、ＡＮＤモードで検出された色領域の輝度レベルを現在の輝度レベルとする。これにより、被写体の人物の顔がアップで写されている場合でも、色検出ＡＥ処理が実行される。また、人物の顔と背景がＡＮＤモードで同一色成分かつ輝度が近い場合でも、色検出ＡＥ処理が実行される。背景の輝度が人物の顔の輝度と大きく異ならないならば、人物の顔と背景を一緒に検出して、色検出ＡＥ処理をしても問題は生じないため、上述した一連の動作によって適正なＡＥ処理を行なうことができる。

（画面表示）
次に、図５〜図８を参照して、露出制御された結果、画面に表示される明るさのイメージを説明する。図５〜図８は、被写体像を示す説明図である。

図５は、被写体全体の輝度を基準にＡＥ処理したときのイメージである。人物の背景にある窓が高輝度であるため、被写体全体を暗くしようと露出制御されるため、人物の顔が暗くなってしまう。

図６〜図８は、被写体の色成分（例えば人物の顔の色（肌色））を基準にＡＥ処理したときのイメージである。人物が画面（検波エリア）内で移動することで、対象とする被写体の色成分と同一又は近似する色成分を有する領域の面積が変化する。

まず、図７を参照して、設定された色成分の範囲が標準的な広さである場合について説明する。図７（Ａ）は、検出された色領域について、被写体像全体の面積に占める割合がＨ％以上であるときの例である。このとき、人物の顔領域の輝度が、現在の輝度レベルとされる。そして、人物の顔領域の輝度が目標輝度レベルとなるように露出制御されるため、人物が適正な明るさに調整される。

図７（Ｂ）は、検出された色領域について、被写体像全体の面積に占める割合がＬ％以上Ｈ％以下であるときの例である。このとき、被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）を用いた補間値によって、現在の輝度レベルが決定される。そして、図７（Ｃ）は、検出された色領域について、被写体像全体の面積に占める割合がＬ％以下であるときの例である。このとき、被写体像全体の輝度が現在の輝度レベルに決定される。窓が高輝度であるため、被写体像は全体的に暗くなる。

このように、本実施形態によれば、検出された色領域の面積が上下する場合でも、補間値を用いて現在の輝度レベルが決定されるため、対象被写体を基準に明るさが調整されたり、画面全体を基準に明るさを調整されたりという動作が繰り返されることがなくなる。その結果、露出制御されて表示された画面が急に明るくなったり、急に暗くなったりすることはなく、画面のちらつきを抑制することができる。また、露出制御を安定化させることができる。

次に、図６を参照して、設定された色成分の範囲が標準的な広さより広い場合について説明する。また、図８を参照して、設定された色成分の範囲が標準的な広さより狭い場合について説明する。図６及び図８の例でも、図示しないが、検出された色領域について、被写体像全体の面積に占める割合がＬ％以上Ｈ％以下であるとき、被写体像全体の輝度（全面積ＡＥ検波値）と検出された色領域の輝度（色ＡＥ検波値）を用いた補間値によって、現在の輝度レベルが決定される。

但し、設定された色成分の範囲が標準的な広さより広ければ、対象とする被写体（例えば人物の顔）が小さくなった場合でも、設定された色成分の範囲が標準的な広さであるときに比べて、対象とする検出できる面積が広い。従って、図７（Ｂ）と図６（Ｂ）は、人物の顔の見え方が同じであるが、図６（Ｂ）の方が検出できる面積が依然として広い。そのため、図６（Ｂ）は、図６（Ａ）と同様に、検出された色領域について、被写体像全体の面積に占める割合がＨ％以上であるときの例である。その結果、図６（Ａ）、図６（Ｂ）ともに、人物の顔領域の輝度が目標輝度レベルとなるように露出制御されるため、人物が適正な明るさに調整される。

一方、設定された色成分の範囲が標準的な広さより狭ければ、対象とする被写体（例えば人物の顔）が小さくなると、設定された色成分の範囲が標準的な広さであるときに比べて、対象とする検出できる面積が狭い。従って、図７（Ｂ）と図８（Ｂ）は、人物の顔の見え方が同じであるが、図８（Ｂ）の方が検出できる面積が狭い。そのため、図８（Ｂ）は、図８（Ｃ）と同様に、検出された色領域について、被写体像全体の面積に占める割合がＬ％以下であるときの例である。その結果、図８（Ｂ）、図８（Ｃ）ともに、被写体像全体の輝度が現在の輝度レベルに決定される。窓が高輝度であるため、被写体像は全体的に暗くなる。

なお、図６（Ｃ）では、図７（Ｃ）と同様に、窓が高輝度であるため、被写体像は全体的に暗くなり、背景の壁も十分に暗くなっている例を示した。しかし、例えば、背景の壁に設定した色成分（例えば人物の顔の肌色）に近い色が少し含まれており、設定された色成分の範囲が標準的な広さより広い場合、壁の色の一部を検出できる。その結果、背景の壁の明るさは、図６（Ｃ）ほど暗くなく、図６（Ｂ）と図６（Ｃ）の間の明るさになる。色検出ＡＥによって、高輝度な窓の影響を少し回避できるため、少し明るくなるからである。

また、背景の壁に設定した色成分（例えば人物の顔の肌色）に近い色が含まれていない場合でも、全体的に蛍光灯でホワイトバランスがとれているときに、壁の色が白色で、壁が白熱灯に照らされている環境では、映像は赤みがかって表示される。このとき、設定された色成分の範囲が標準的な広さより広い場合、窓のような局所的な高輝度な光源がある状況で、人物が画面（検波エリア）内を移動して、画面内（検波エリア）に人物が入ったり出たりした場合にも画面の明るさの変動を軽減することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮像装置
１１０ レンズ
１１０ レンズ
１１２ ＮＤフィルタ機構
１１４ ズームレンズ
１１６ 絞り機構
１１８ フォーカスレンズ
１２０ 撮像素子
１２２ 電子シャッター機構
１３０ カメラブロック
１３２ ＤＳＰ
１３４ カメラマイコン
１３６ マスターゲイン調整部
１３８ ＷＢゲイン調整部
１４０ 色領域検出器
１４２ 検出色領域表示部
１４４ 色成分設定部
１４６ 検出色領域生成部
１５０ 検波器
１５２ 積分処理部
１５４ カウンタ処理部
１６２ ＦＰＧＡ
１６４ ＧＵＩ部
１６６ ビデオエンコーダ
１６８ システムマイコン
１７０ 映像ディスプレイ
１８０ リモートコントローラ

Claims (5)

1. 対象とする被写体の色成分と同一又は近似する色成分を有する領域を被写体像の画像データから検出する色成分領域検出部と、
   前記検出された領域の面積を算出する面積算出部と、
   被写体像全体の輝度及び前記検出された領域の輝度を算出する輝度算出部と、
   前記被写体像全体の輝度及び前記検出された領域の輝度を用いて、前記検出された領域の面積に応じて現在の輝度レベルを決定する現在輝度レベル決定部と、
   前記現在輝度レベルが目標輝度レベルになるように露出量を算出する露出量算出部と、
   前記色成分領域検出部が検出した前記領域が所定面積以上である場合に、前記検出された領域の輝度の分布に基づいて、前記検出された領域を前記対象とする被写体の輝度レベルの領域に限定する領域限定部と、
   を有し、
   前記現在輝度レベル決定部は、前記検出された領域の面積が第１の所定面積未満であるとき、前記検出された領域の面積に応じて前記被写体像全体の輝度と前記検出された領域の輝度がそれぞれ寄与する比率を決定し、前記比率と前記被写体像全体の輝度及び前記検出された領域の輝度とによって前記現在の輝度レベルを決定し、前記検出された領域の面積が前記第１の所定面積以上であり、かつ前記第１の所定面積より広い第３の所定面積以上であるとき、前記限定された領域の輝度を前記現在の輝度レベルに決定する、撮像装置。
2. 前記現在輝度レベル決定部は、
   前記検出された領域の面積が前記第１の所定面積以上であるとき、前記検出された領域の輝度を前記現在の輝度レベルに決定する、請求項１に記載の撮像装置。
3. 前記現在輝度レベル決定部は、前記検出された領域の面積が減少するにつれて、前記被写体像全体の輝度が高く寄与するように、前記比率を決定する、請求項１又は２に記載の撮像装置。
4. 前記現在輝度レベル決定部は、前記検出された領域の面積が前記第１の所定面積より狭い第２の所定面積以下であるとき、前記被写体像全体の輝度を前記現在の輝度レベルに決定する、請求項１〜３のいずれかに記載の撮像装置。
5. 対象とする被写体の色成分と同一又は近似する色成分を有する領域を被写体像の画像データから検出するステップと、
   前記検出された領域の面積を算出するステップと、
   被写体像全体の輝度及び前記検出された領域の輝度を算出するステップと、
   前記被写体像全体の輝度及び前記検出された領域の輝度を用いて、前記検出された領域の面積に応じて現在の輝度レベルを決定するステップと、
   前記現在輝度レベルが目標輝度レベルになるように露出量を算出するステップと、
   前記検出するステップが検出した前記領域が所定面積以上である場合に、前記検出された領域の輝度の分布に基づいて、前記検出された領域を前記対象とする被写体の輝度レベルの領域に限定する領域限定ステップと、
   を有し、
   前記現在の輝度レベルを決定するステップは、前記検出された領域の面積が第１の所定面積未満であるとき、前記検出された領域の面積に応じて前記被写体像全体の輝度と前記検出された領域の輝度がそれぞれ寄与する比率を決定し、前記比率と前記被写体像全体の輝度及び前記検出された領域の輝度とによって前記現在の輝度レベルを決定し、前記検出された領域の面積が前記第１の所定面積以上であり、かつ前記第１の所定面積より広い第３の所定面積以上であるとき、前記限定された領域の輝度を前記現在の輝度レベルに決定する、撮像方法。