JP6415106B2 - 撮像装置及びその制御方法、並びに、プログラム - Google Patents

Description

本発明は、被写体の撮影を行って画像を撮像する撮像装置及びその制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルビデオカメラ等の撮像装置において、画像全体を複数のメッシュ枠に分割し、各枠の彩度や色差等の色情報平均値から画像全体における色分布傾向を評価して撮影シーンを判定し、判定した撮影シーンに応じて適切な画像補正を行うものがある。例えば、彩度が所定の閾値以上となるメッシュ枠の数の割合に応じて、鮮やかな被写体であるかを判定し、鮮やかさを強調するために彩度を上げる画像補正を行う技術が知られている。また、下記の特許文献１には、画像領域ごとに、輝度、彩度、色相の変化量を抽出し、当該変化量によってシーン判定することにより、シーン判定の精度向上を図る技術が開示されている。

特開２０１２−１６１０４６号公報

しかしながら、例えば、上述の背景技術で示したメッシュ枠内の色情報平均値を取得し、閾値以上の彩度であれば該当シーン枠と判定する際に、メッシュ枠内に彩度が高い被写体と無彩色の被写体とがそれぞれ存在する場合、無彩色領域の影響で彩度の色情報平均値が下がるため、該当シーン枠と判定されないという問題があった。これにより、彩度が高い被写体の撮影における撮影シーンの判定精度を向上させることが困難であるという問題があった。

本発明は、このような問題点に鑑みてなされたものであり、彩度が高い被写体の撮影における撮影シーンの判定精度の向上を実現する仕組みを提供することを目的とする。

本発明の撮像装置は、被写体の撮影を行って画像を撮像する撮像装置であって、前記画像における第１の領域の色情報に係る値を第１の色情報値として取得する第１の色情報取得手段と、前記第１の領域内の領域のうち、彩度が所定の閾値以下で且つ所定の明度範囲である第２の領域を取得する領域取得手段と、前記第２の領域の色情報に係る値を第２の色情報値として取得する第２の色情報取得手段と、前記第１の色情報値と前記第２の色情報値とを用いて、前記第１の領域において当該第１の領域の色情報から前記第２の領域の色情報を除いた色評価値を算出する算出手段と、を有する。
また、本発明は、上述した撮像装置の制御方法、及び、当該制御方法をコンピュータに実行させるためのプログラムを含む。

本発明によれば、彩度が高い被写体の撮影における撮影シーンの判定精度を向上させることができる。

本発明の実施形態に係る撮像装置の概略構成の一例を示す図である。 比較例に係る撮像装置の概略構成の一例を示す図である。 図１の色評価値算出部の動作を説明するための図である。 本発明の実施形態を示し、図１の映像信号処理部から出力された映像信号（画像信号）に基づく画像の一例を示す図である。 本発明の実施形態を示し、図１の第１の色情報取得部による処理を説明するための図である。 本発明の実施形態を示し、図１の無彩色領域取得部の処理手順の一例を示すフローチャートである。 本発明の実施形態を示し、図４に示す画像の分割領域ごとに得られた無彩色領域の明度及び色差の平均値と無彩色画素数の情報の一例を示す図である。 本発明の実施形態を示し、図１の色評価値算出部で算出された色評価値の一例を示す図である。 本発明の実施形態を示し、図１のシーン判定部の処理手順の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

図１は、本発明の実施形態に係る撮像装置１００の概略構成の一例を示す図である。ここで、撮像装置１００は、被写体の撮影を行って画像を撮像する装置であり、例えば、デジタルビデオカメラを用いることができる。

図１に示すように、撮像装置１００は、レンズ部１０１、絞り１０２、イメージセンサ部１０３、ＣＤＳ／ＡＧＣ部１０４、ホワイトバランス制御部１０５、映像信号処理部１０６を有して構成されている。さらに、撮像装置１００は、第１の色情報取得部１０７、無彩色領域取得部１０８、第２の色情報取得部１０９、色評価値算出部１１０、シーン判定部１１１、記録部１１２、表示部１１３、システム制御部１１４を有して構成されている。

レンズ部１０１は、被写体からの入射光をイメージセンサ部１０３に結像させる光学系であり、フォーカスレンズ群も具備している。

絞り１０２は、イメージセンサ部１０３に到達する光の光量を調整する機能を備える光学系である。

イメージセンサ部１０３は、結像した被写体の光学像を電気信号として検出する撮像デバイスである。このイメージセンサ部１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等で構成されている。

ＣＤＳ／ＡＧＣ部１０４は、アナログ映像信号のノイズを相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）により削減し、自動利得制御（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）によりその信号レベルを自動制御する。

ホワイトバランス制御部１０５は、Ｒゲイン、Ｇゲイン、Ｂゲインを制御して、白いものが白く映るように画像補正を行う。

映像信号処理部１０６は、映像信号（画像信号）に対して輪郭強調や色処理等の周知のカメラ信号処理を行う。映像信号処理部１０６は、色差変換係数等を変えることにより、映像信号（画像信号）の色相、彩度を制御することができる。

第１の色情報取得部１０７は、映像信号処理部１０６からの映像信号（画像信号）に基づく画像を複数の領域に分割し、各分割領域（第１の領域）の色情報に係る値を第１の色情報値として取得する。具体的に、本例では、第１の色情報取得部１０７は、第１の色情報値として、各分割領域の画素における色差平均値を取得する。

無彩色領域取得部１０８は、上述した分割領域（第１の領域）ごとに、当該分割領域内の領域であって彩度が所定の閾値以下の領域である無彩色領域（第２の領域）を取得する第２の領域取得手段である。具体的に、本例では、無彩色領域取得部１０８は、映像信号処理部１０６からの映像信号（画像信号）に基づく画像を第１の色情報取得部１０７と同一の複数の領域に分割して、上述した分割領域（第１の領域）を得る。そして、本例では、無彩色領域取得部１０８は、分割領域ごとに、彩度が所定の閾値以下で且つ所定の明度範囲となる無彩色画素の領域（第２の領域）を取得する。また、本例では、無彩色領域取得部１０８は、分割領域ごとに、無彩色画素数をカウントすることが可能に構成されている。

第２の色情報取得部１０９は、分割領域ごとに、無彩色領域取得部１０８で取得された無彩色領域（第２の領域）の色情報に係る値を第２の色情報値として取得する。具体的に、本例では、第２の色情報取得部１０９は、第２の色情報値として、分割領域ごとに、無彩色領域の画素における色差平均値を取得する。

色評価値算出部１１０は、第１の色情報取得部１０７で取得された第１の色情報値と第２の色情報取得部１０９で取得された第２の色情報値とを用いて、各分割領域において当該分割領域の色情報から無彩色領域の色情報を除いた色評価値を算出する。

シーン判定部１１１は、色評価値算出部１１０で算出された色評価値に基づいて被写体の撮影における撮影シーンを判定する。具体的に、本例では、シーン判定部１１１は、分割領域ごとに色評価値算出部１１０で算出された色評価値が所定の閾値を超える該当領域であるか否かを判定し、当該該当領域の数に応じて被写体の撮影における撮影シーンを判定する。

記録部１１２は、映像信号処理部１０６からの映像信号（画像信号）を画像データとして記録媒体に記録する。

表示部１１３は、映像信号処理部１０６からの映像信号（画像信号）に基づく画像を表示するものである。表示部１１３は、例えば、液晶パネルやＬＥＤパネル等で構成されている。

システム制御部１１４は、撮像装置１００における動作を統括的に制御する。例えば、システム制御部１１４は、図１に示す各構成部（１０１〜１１３）の情報を読み取り、これらの情報を基に各構成部（１０１〜１１３）の動作を制御する。このシステム制御部１１４は、所定のデータ等を登録・保存しておくメモリを有している。

図２は、比較例に係る撮像装置２００の概略構成の一例を示す図である。
図２において、構成部２０１〜２０９，２１１〜２１４は、それぞれ、図１の構成部１０１〜１０９，１１１〜１１４に相当するものである。即ち、比較例に係る撮像装置２００は、図１に示す本発明の実施形態に係る撮像装置１００に対して色評価値算出部１１０が無い装置である。この比較例に係る撮像装置２００では、無彩色領域の色情報は考慮されずに、シーン判定部２１１において撮影シーンの判定が行われることになる。

次に、本実施形態に係る撮像装置１００の制御方法における処理手順について説明する。

レンズ部１０１によって結像される被写体からの光学像は、絞り１０２によって光量が調節された後、イメージセンサ部１０３において電気信号として検出される。イメージセンサ部１０３は、いわゆる電荷蓄積時間を調整可能であり、これにより電子シャッター機能が実現される。

続いて、ＣＤＳ／ＡＧＣ部１０４では、イメージセンサ部１０３からの電気信号であるアナログ映像信号（アナログ画像信号）のノイズを相関二重サンプリングにより削減し、自動利得制御によりその信号レベルを自動制御する。ここで、本実施形態では、例えば、ＣＤＳ／ＡＧＣ部１０４から出力される映像信号（画像信号）に基づく画像は、水平１９２０画素、垂直１０８０画素の１９２０×１０８０のサイズである。ＣＤＳ／ＡＧＣ部１０４において、ノイズ削減がなされ、信号レベルが自動制御された映像信号（画像信号）は、ホワイトバランス制御部１０５に供給される。ホワイトバランス制御部１０５は、ＣＤＳ／ＡＧＣ部１０４から出力される映像信号（画像信号）に対して、自動制御を含んだホワイトバランス処理を実行し、映像信号処理部１０６に出力する。

映像信号処理部１０６は、ホワイトバランス制御部１０５から出力される映像信号（画像信号）に対して、輪郭強調や色相、彩度の変更等の周知のカメラ信号処理を実行する。

その後、第１の色情報取得部１０７は、映像信号処理部１０６からの映像信号（画像信号）に基づく画像を複数の領域に分割し、各分割領域（第１の領域）の色情報に係る値を第１の色情報値として取得する。具体的に、本例では、各分割領域において、第１の色情報値として、当該分割領域の画素におけるＲ−Ｙの色差平均値及びＢ−Ｙの色差平均値を取得するものとする。この第１の色情報取得部１０７で取得された第１の色情報値は、色評価値算出部１１０へ送られる。

また、無彩色領域取得部１０８は、まず、映像信号処理部１０６からの映像信号（画像信号）に基づく画像を第１の色情報取得部１０７と同一の複数の領域に分割して、上述した分割領域（第１の領域）を得る。そして、本例では、無彩色領域取得部１０８は、分割領域ごとに、彩度が所定の閾値以下で且つ所定の明度範囲となる無彩色画素を判定して当該無彩色画素の領域（第２の領域）を取得する。

その後、第２の色情報取得部１０９は、分割領域ごとに、無彩色領域取得部１０８で取得された無彩色領域（第２の領域）の色情報に係る値を第２の色情報値として取得する。具体的に、本例では、第２の色情報取得部１０９は、第２の色情報値として、分割領域ごとに、無彩色領域の画素におけるＲ−Ｙの色差平均値及びＢ−Ｙの色差平均値を取得する。この第２の色情報取得部１０９で取得された第２の色情報値は、色評価値算出部１１０へ送られる。さらに、第２の色情報取得部１０９で取得された第２の色情報値は、システム制御部１１４にも送られる。システム制御部１１４は、第２の色情報値が目標無彩色となるような周知のホワイトバランス処理が行われるように、ホワイトバランス制御部１０５を制御する。

その後、色評価値算出部１１０は、第１の色情報取得部１０７で取得された第１の色情報値と第２の色情報取得部１０９で取得された第２の色情報値とを用いて、各分割領域において当該分割領域の色情報から無彩色領域の色情報を除いた色評価値を算出する。

ここで、色評価値算出部１１０について詳しく説明を行う。
図３は、図１の色評価値算出部１１０の動作を説明するための図である。
色評価値算出部１１０には、色評価値演算部３０１が設けられている。色評価値演算部３０１には、第１の色情報取得部１０７からは各分割領域における第１の色情報値３１１が入力され、第２の色情報取得部１０９からは各分割領域の無彩色領域における第２の色情報値３１２が入力され、無彩色領域取得部１０８からは各分割領域の無彩色領域における画素数を含む無彩色領域情報３１３が入力され、システム制御部１１４からは各分割領域における画素数を含む第１の領域情報３１４が入力される。そして、色評価値演算部３０１は、これらの入力情報に基づいて、各分割領域において当該分割領域の色情報から無彩色領域の色情報を除いた色評価値を算出する。そして、色評価値演算部３０１は、分割領域ごとに算出した色評価値３１５をシーン判定部１１１に出力する。

その後、シーン判定部１１１は、色評価値算出部１１０で算出された色評価値に基づいて被写体の撮影における撮影シーンを判定する。具体的に、本例では、シーン判定部１１１は、分割領域ごとに色評価値算出部１１０で算出された色評価値が所定の閾値を超える該当領域であるか否かを判定し、当該該当領域の数に応じて被写体の撮影における撮影シーンを判定する。このシーン判定部１１１によるシーン判定の詳細については後述する。そして、シーン判定部１１１によるシーン判定の結果は、システム制御部１１４に送られる。

その後、システム制御部１１４は、シーン判定部１１１によるシーン判定の結果得られた撮影シーンに応じた所定の映像補正（画像補正）が行われるように映像信号処理部１０６を制御する。例えば、シーン判定部１１１により撮影シーンが鮮やかな被写体がある鮮やかシーンであると判定された場合には、映像信号処理部１０６は、システム制御部１１４の制御に基づいて、鮮やかさを強調するために彩度を高める映像補正（画像補正）を行う。また、システム制御部１１４は、シーン判定部１１１により判定された撮影シーンによっては、絞り部１０２やイメージセンサ部１０３、ＣＤＳ／ＡＧＣ部１０４の露出パラメータ等を制御して、明るさを補正等するよう各構成部を制御する。

また、映像信号処理部１０６は、カメラ信号処理の施された映像信号（画像信号）を画像データとして記録部１１２に出力する。記録部１１２は、画像データを記録処理して記録媒体に記録する。ここで、記録媒体の例としては、ＳＤカードや光ディスクまたはハードディスク等が挙げられる。

また、映像信号処理部１０６は、カメラ信号処理の施された映像信号（画像信号）を画像データとして、液晶パネルやＬＥＤパネル等で構成される表示部１１３に出力し、表示部は、当該画像データに基づく画像を表示する。そして、ユーザーは、表示部１１３に表示された画像を見ることにより、画角や映像効果を確認することができる。

以下に、本実施形態における第１の色情報取得部１０７、無彩色領域取得部１０８、第２の色情報取得部１０９、色評価値算出部１１０、及び、シーン判定部１１１の具体的な処理例について説明する。

図４は、本発明の実施形態を示し、図１の映像信号処理部１０６から出力された映像信号（画像信号）に基づく画像４００の一例を示す図である。
図４に示す画像４００は、赤い被写体４０１や青い被写体４０２が複数存在するとともに、無彩色の背景４０３が存在している。そして、本例の場合、シーン判定部１１１による撮影シーンの判定としては、鮮やかな被写体であるかを判定する「鮮やかシーン」の判定を行う場合を例として説明する。

図５は、本発明の実施形態を示し、図１の第１の色情報取得部１０７による処理を説明するための図である。
第１の色情報取得部１０７は、映像信号処理部１０６から映像信号（画像信号）に基づく画像４００が出力されると、図４に示す画像４００を複数の領域に分割し、図５（ａ）に示すように、複数の分割領域５０１を得る。具体的に、図５（ａ）に示す例では、図４に示す画像４００を、水平６枠、垂直４枠に分割した分割領域５０１が示されている。次いで、第１の色情報取得部１０７は、図５（ｂ）に示すように、各分割領域５０１の色情報に係る値を第１の色情報値として取得する。具体的に、図５（ｂ）には、各分割領域５０１において、第１の色情報値として、当該分割領域の画素におけるＲ−Ｙの色差平均値（ＲＹ）及びＢ−Ｙの色差平均値（ＢＹ）の色差平均値５０２を取得する例が示されている。また、本例の場合、図５（ｃ）に示すように、Ｒ−Ｙの色差平均値（ＲＹ）及びＢ−Ｙの色差平均値（ＢＹ）が１２８を中心としてその前後の所定の値の範囲に含まれる場合、無彩色の範囲５０３に属することになる。これにより、図５（ｂ）では、Ｒ−Ｙの色差平均値（ＲＹ）及びＢ−Ｙの色差平均値（ＢＹ）が１２８である分割領域は、無彩色（図５（ｂ）では白）で示されている。また、図５（ｂ）において、Ｒ−Ｙの色差平均値（ＲＹ）及びＢ−Ｙの色差平均値（ＢＹ）が図５（ｃ）に示す無彩色の範囲５０３に属しない分割領域については、色差平均値の大きさに応じて濃度が異なる灰色で示されている。

また、無彩色領域取得部１０８は、図４に示す画像４００を第１の色情報取得部１０７と同一の分割領域５０１に分割し、当該分割領域ごとに、彩度が所定の閾値以下で且つ所定の明度範囲となる無彩色画素を判定する。そして、無彩色領域取得部１０８は、分割領域５０１ごとに、無彩色画素の領域（第２の領域）を取得する。

ここで、本実施形態における無彩色領域取得部１０８の処理について説明を行う。
図６は、本発明の実施形態を示し、図１の無彩色領域取得部１０８の処理手順の一例を示すフローチャートである。この図６に示す処理は、１つの分割領域に対する処理を示しているため、無彩色領域取得部１０８は、分割領域の数だけ、図６に示すフローチャートの処理を繰り返し行うことになる。

まず、ステップＳ６０１において、無彩色領域取得部１０８は、処理対象の分割領域内（以下、「当該枠内」と称する）の１つの画素を判定対象画素として設定する。

続いて、ステップＳ６０２において、無彩色領域取得部１０８は、判定対象画素の明度（Ｐ＿明度）が所定の閾値Ｔｈ＿Ｙ１よりも大きく所定の閾値Ｔｈ＿Ｙ２（Ｔｈ＿Ｙ２＞Ｔｈ＿Ｙ１）よりも小さい範囲内に属するか否かを判断する。

ステップＳ６０２の判断の結果、判定対象画素の明度（Ｐ＿明度）が所定の閾値Ｔｈ＿Ｙ１よりも大きく所定の閾値Ｔｈ＿Ｙ２よりも小さい範囲内に属する場合には（Ｓ６０２／ＹＥＳ）、ステップＳ６０３に進む。
ステップＳ６０３に進むと、無彩色領域取得部１０８は、判定対象画素のＲ−Ｙの色差情報（Ｐ＿Ｒ−Ｙ）が所定の閾値Ｔｈ＿Ｒ１よりも大きく所定の閾値Ｔｈ＿Ｒ２（Ｔｈ＿Ｒ２＞Ｔｈ＿Ｒ１）よりも小さい範囲内に属するか否かを判断する。

ステップＳ６０３の判断の結果、判定対象画素のＲ−Ｙの色差情報（Ｐ＿Ｒ−Ｙ）が所定の閾値Ｔｈ＿Ｒ１よりも大きく所定の閾値Ｔｈ＿Ｒ２よりも小さい範囲内に属する場合には（Ｓ６０３／ＹＥＳ）、ステップＳ６０４に進む。
ステップＳ６０４に進むと、無彩色領域取得部１０８は、判定対象画素のＢ−Ｙの色差情報（Ｐ＿Ｂ−Ｙ）が所定の閾値Ｔｈ＿Ｂ１よりも大きく所定の閾値Ｔｈ＿Ｂ２（Ｔｈ＿Ｂ２＞Ｔｈ＿Ｂ１）よりも小さい範囲内に属するか否かを判断する。

ステップＳ６０４の判断の結果、判定対象画素のＢ−Ｙの色差情報（Ｐ＿Ｂ−Ｙ）が所定の閾値Ｔｈ＿Ｂ１よりも大きく所定の閾値Ｔｈ＿Ｂ２（Ｔｈ＿Ｂ２＞Ｔｈ＿Ｂ１）よりも小さい範囲内に属する場合には（Ｓ６０４／ＹＥＳ）、ステップＳ６０５に進む。
ここで、上述したＲ−Ｙの色差情報及びＢ−Ｙの色差情報は、彩度の指標となるものであり、ステップＳ６０３及びＳ６０４でＹＥＳとなる場合とは、彩度が所定の閾値以下のいわゆる無彩色である場合である。なお、図６のフローチャートの処理において、上述した各所定の閾値は、無彩色と思われる被写体の評価値の結果から事前にシステム制御部１１４に登録されているものとする。

ステップＳ６０５に進むと、無彩色領域取得部１０８は、当該判定対象画素のＲ−Ｙの色差情報（Ｐ＿Ｒ−Ｙ）及びＢ−Ｙの色差情報（Ｐ＿Ｂ−Ｙ）を、第２の色情報取得部１０９に送り、それぞれの色差平均値に加味して反映させる。

続いて、ステップＳ６０６において、無彩色領域取得部１０８は、当該判定対象画素を無彩色画素としてカウントする。

ステップＳ６０６の処理が終了した場合、ステップＳ６０２でＮＯと判断された場合、ステップＳ６０３でＮＯと判断された場合、或いは、ステップＳ６０４でＮＯと判断された場合には、ステップＳ６０７に進む。
ステップＳ６０７に進むと、無彩色領域取得部１０８は、当該枠内の全画素について判定を終了したか否かを判断する。

ステップＳ６０７の判断の結果、当該枠内の全画素については未だ判定を終了していない場合には（Ｓ６０７／ＮＯ）、ステップＳ６０８に進む。
ステップＳ６０８に進むと、無彩色領域取得部１０８は、未だ判定を行っていない未判定画素のうちの１つの画素を判定対象画素として設定する。その後、ステップＳ６０２に戻り、当該判定対象画素についてステップＳ６０２以降の処理を行う。

一方、ステップＳ６０７の判断の結果、当該枠内の全画素について判定を終了した場合には（６０７／ＹＥＳ）、図６に示すフローチャートの処理を終了する。

図６に示すフローチャートの処理が終了すると、ステップＳ６０６の処理により、各枠内の無彩色画素数が得られるとともに無彩色領域が取得できる。また、ステップＳ６０５の処理により、第２の色情報取得部１０９は、各枠内の無彩色領域の画素（無彩色画素）におけるＲ−Ｙの色差平均値及びＢ−Ｙの色差平均値を取得することができる。

上述した図６のフローチャートの処理を分割領域ごとに行うと、分割領域ごとに図７に示すような情報が得られる。
図７は、本発明の実施形態を示し、図４に示す画像の分割領域ごとに得られた無彩色領域の明度及び色差の平均値と無彩色画素数の情報の一例を示す図である。
図７において、各枠内（各分割領域内）のＲＹ及びＢＹは、それぞれ、第２の色情報取得部１０９により取得された、各枠内の無彩色領域の画素におけるＲ−Ｙの色差平均値及びＢ−Ｙの色差平均値である。また、各枠内（各分割領域内）のＹは、各枠内の無彩色領域の画素における明度の平均値を示しており、必要に応じて、第２の色情報取得部１０９により、無彩色領域取得部１０８からの明度の情報に基づき算出されて取得される。また、各枠内（各分割領域内）のＰｉｘｅｌは、無彩色領域取得部１０８により取得された、各枠内の無彩色画素数である。

本例の場合、図３に示す色評価値算出部１１０（色評価値演算部３０１）には、第１の色情報取得部１０７で取得された図５（ｂ）に示す各枠内のＲ−Ｙの色差平均値（ＲＹ）及びＢ−Ｙの色差平均値（ＢＹ）の第１の色情報値３１１と、第２の色情報取得部１０９で取得された図７に示す各枠内の無彩色領域のＲ−Ｙの色差平均値（ＲＹ）及びＢ−Ｙの色差平均値（ＢＹ）の第２の色情報値３１２と、無彩色領域取得部１０８で取得された図７に示す各枠内の無彩色画素数を含む無彩色領域情報３１３と、システム制御部１１４が保有している１枠当たりの画素数を含む第１の領域情報３１４が送られる。ここで、本実施形態では、図４に示す画像４００は、全体で１９２０画素×１０８０画素からなるため、１枠あたりの画素数は８６，４００である。

色評価値算出部１１０は、以下の（１）式により、各分割領域（第１の領域）において当該分割領域の色情報から無彩色領域（第２の領域）の色情報を除いた色評価値を算出する。

・第１の色情報値に、１枠当たりの画素数を乗じた値 ・・・[1]
・第２の色情報値に、無彩色画素数を乗じた値 ・・・[2]
・１枠の画素数と無彩色画素数の差分値 ・・・[3]
色評価値＝（[1]−[2]）÷[3] ・・・（１）

即ち、色評価値算出部１１０は、第１の色情報値に分割領域における画素数の値を乗じて得た第１の積算値（上記[1]）と第２の色情報値に無彩色領域における画素数の値を乗じて得た第２の積算値（上記[2]）との差分値である第１の差分値（（１）式における（[1]−[2]））を、分割領域における画素数の値と無彩色領域における画素数の値との差分値である第２の差分値（上記[3]）で除した値（上記（１）式）に基づいて、色評価値を算出している。

例えば、図５（ｂ）及び図７に示す一番左上の赤い被写体が一部含まれている分割領域について、上述した（１）式を用いて色評価値を算出すると、以下のようになる。
・ＲＹの色評価値：（（１６０×８６４００）−（１２８×６４８００））／（８６４００−６４８００）＝２５６
・ＢＹの色評価値：（（１２８×８６４００）−（１２８×６４８００））／（８６４００−６４８００）＝１２８

本例では、上述した（１）式を用いて色評価値を算出することにより、各分割領域（第１の領域）において当該分割領域の色情報から無彩色領域（第２の領域）の色情報を除いた色評価値を算出することができる。

図８は、本発明の実施形態を示し、図１の色評価値算出部１１０で算出された色評価値の一例を示す図である。
具体的に、図８には、分割領域ごとに、無彩色領域の色情報を除いた彩度が高い被写体の色差平均値８０１に係るＲＹの色評価値及びＢＹの色評価値が示されている。また、図８には、ＲＹの色評価値及びＢＹの色評価値のうちの少なくともいずれか一方の値が所定の閾値よりも大きい鮮やか分割領域（以下、「鮮やか枠」と称する）が灰色で示されている。

ここで、図５（ｂ）の色差平均値と図８の色差平均値を比較すると、図８では無彩色領域の影響を除去しているため、彩度が高い被写体が含まれる分割領域の色差平均値が高い値となっている。

さらに、本実施形態においては、色評価値算出部１１０は、１枠当たりの無彩色画素数が所定の閾値Ｔｈ＿Ｐを超える場合には、上述した（１）式で算出した値よりも小さい値（例えば０）を、色評価値として算出する。これにより、１つの分割領域において、極めて小さい被写体を検出して鮮やかシーンと判定してしまうことを防ぐことができる。さらに、色評価値算出部１１０において、１枠当たりの無彩色画素数が少ないほど色評価値を上げる補正を行って、誤検出を防ぐようにしてもよい。

次いで、シーン判定部１１１による具体的な処理例について説明する。
シーン判定部１１１には、色評価値算出部１１０によって算出された各分割領域の彩度が高い被写体の色評価値が送られる。

図９は、本発明の実施形態を示し、図１のシーン判定部１１１の処理手順の一例を示すフローチャートである。シーン判定部１１１では、図９に示すフローチャートの処理を行うことで、被写体の撮影における撮影シーンが鮮やかシーンであるか、鮮やかシーンでは無い通常シーンであるかを判定する。また、図９のフローチャートにおいては、分割領域を「枠」と称して記載する。

まず、ステップＳ９０１において、シーン判定部１１１は、画像を複数の領域に分割した際の１つの枠を判定対象枠として設定する。

続いて、ステップＳ９０２において、シーン判定部１１１は、判定対象枠の色評価値が所定の閾値Ｔｈ＿Ａよりも大きいか否かを判断する。この際、本例では、色評価値として、ＲＹの色評価値及びＢＹの色評価値が算出されるため、ここでは、例えば、ＲＹの色評価値及びＢＹの色評価値のうちの少なくともいずれか一方の値が所定の閾値Ｔｈ＿Ａよりも大きいか否かを判断する。

ステップＳ９０２の判断の結果、判定対象枠の色評価値が所定の閾値Ｔｈ＿Ａよりも大きい場合には（Ｓ９０２／ＹＥＳ）、ステップＳ９０３に進む。
ステップＳ９０３に進むと、シーン判定部１１１は、判定対象枠を該当領域である鮮やか枠としてカウントする。

ステップＳ８０３の処理が終了した場合、或いは、ステップＳ９０２でＮＯと判断された場合には、ステップＳ９０４に進む。
ステップＳ９０４に進むと、シーン判定部１１１は、画像を複数の領域に分割した際の全ての枠の判定を終了したか否かを判断する。

ステップＳ９０４の判断の結果、画像を複数の領域に分割した際の全ての枠については未だ判定を終了していない場合には（Ｓ９０４／ＮＯ）、ステップＳ９０５に進む。
ステップＳ９０５に進むと、シーン判定部１１１は、未だ判定を行っていない未判定枠のうちの１つの枠を判定対象枠として設定する。その後、ステップＳ９０２に戻り、当該判定対象枠についてステップＳ９０２以降の処理を行う。

一方、ステップＳ９０４の判断の結果、画像を複数の領域に分割した際の全ての枠について判定を終了した場合には（Ｓ９０４／ＹＥＳ）、ステップＳ９０６に進む。
ステップＳ９０６に進むと、シーン判定部１１１は、鮮やか枠と判定された数（鮮やか枠数）が所定の閾値Ｔｈ＿Ｂよりも大きいか否かを判断する。

ステップＳ９０６の判断の結果、鮮やか枠数が所定の閾値Ｔｈ＿Ｂよりも大きい場合には（Ｓ９０６／ＹＥＳ）、ステップＳ９０７に進む。
ステップＳ９０７に進むと、シーン判定部１１１は、被写体の撮影における撮影シーンを鮮やかシーンと判定する。その後、図９のフローチャートの処理を終了する。

一方、ステップＳ９０６でＮＯと判断された場合には、ステップＳ９０８に進む。
ステップＳ９０８に進むと、シーン判定部１１１は、被写体の撮影における撮影シーンを通常シーンと判定する。その後、図９のフローチャートの処理を終了する。

なお、図９に示すステップＳ９０２及びＳ９０３の処理では、判定対象枠の色評価値が所定の閾値Ｔｈ＿Ａよりも大きい場合に鮮やか枠として判定する形態を示しているが、本発明においてはこの形態に限定されるものではない。本実施形態の場合、判定対象枠の色評価値は、色差平均値に基づくものであるため、例えば図５（ｃ）に示すように、その値が或る下限未満の値となる場合においても彩度が高くなる。したがって、当該下限に係る所定の閾値Ｔｈ＿Ａ２（Ｔｈ＿Ａ２＜Ｔｈ＿Ａ）を設定し、判定対象枠の色評価値が所定の閾値Ｔｈ＿Ａ２未満となる場合にも鮮やか枠として判定する形態も本発明に含まれる。即ち、この場合、図９に示すステップＳ９０２では、判定対象枠の色評価値が、所定の閾値Ｔｈ＿Ａよりも大きい又は所定の閾値Ｔｈ＿Ａ２未満となるか否かを判断することになる。

また、図９のフローチャートの処理において、上述した各所定の閾値は、鮮やかなシーンと思われる被写体の評価結果から事前にシステム制御部１１４に登録されているものとする。

本実施形態によれば、各画像領域において当該画像領域の色情報から無彩色領域の色情報を除いた色評価値を算出するようにしたので、彩度が高い被写体と無彩色の背景等が混在した画像領域から、彩度が高い被写体の色情報を抽出することができる。これにより、例えば、画像領域内に彩度が高い被写体と無彩色の被写体がそれぞれ存在する場合に、無彩色領域の影響で彩度の色情報平均値が下がり、該当シーン枠と判定されないという現象の発生を抑えることができる。

以上により、本実施形態によれば、各画像領域において無彩色領域の影響を除去することができるため、彩度が高い被写体の撮影における撮影シーンの判定精度を向上させることができる。
なお、図２の比較例に係る撮像装置２００では、各画像領域の色情報から無彩色領域の色情報を除いた色評価値の算出は行っていないため、各画像領域において無彩色領域の影響を除去できず、その結果、彩度が高い被写体の撮影における撮影シーンの判定精度の向上が図れない。

（その他の実施形態）
なお、上述した実施形態では、第１の色情報値として各分割領域の色差平均値を取得し、また、第２の色情報値として各分割領域内の無彩色領域の色差平均値を取得した例について説明を行ったが、本発明はこれに限定されるものではない。
例えば、第１の色情報値として各分割領域の色相の平均値或いは彩度の平均値を取得し、また、第２の色情報値として各分割領域内の無彩色領域の色相の平均値或いは彩度の平均値を取得する形態も、本発明に含まれる。

さらに、第１の色情報値として各分割領域の各画素における色差、色相または彩度の合計値を取得し、また、第２の色情報値として各分割領域内の無彩色領域の各画素における色差、色相または彩度の合計値を取得する形態も、本発明に含まれる。この場合、色評価値算出部１１０は、（１）式において、第１の色情報値と第２の色情報値との差分値である第１の差分値を、各分割領域における画素数の値と無彩色領域における画素数の値との差分値である第２の差分値で除した値に基づいて色評価値を算出する。

また、上述した実施形態では、図９のフローチャートにおいて、該当領域である鮮やか枠の数に応じて撮影シーンを判定するものであったが、本発明はこれに限定されるものではない。
例えば、画像４００の全体における鮮やか枠（該当領域）の分布に応じて撮影シーンを判定する形態も、本発明に含まれる。例えば、鮮やか枠が画像４００の中央付近に集中している場合には鮮やかシーンと判定し、鮮やか枠が画像４００の端部付近に散らばっている場合には通常シーンと判定するようにしてもよい。この場合、例えば、シーン判定部１１１において、画像４００の中心位置を基準として鮮やか枠の分散値を算出し、当該分散値が、所定の閾値よりも小さい場合には鮮やかシーンと判定し、所定の閾値以上である場合には通常シーンと判定する形態を採り得る。

また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、例えば、被写体の撮影における撮影シーンを判定する技術に関して産業上の利用が可能なものである。

１００ 撮像装置、１０１ レンズ部、１０２ 絞り、１０３ イメージセンサ部、１０４ ＣＤＳ／ＡＧＣ部、１０５ ホワイトバランス制御部、１０６ 映像信号処理部、１０７ 第１の色情報取得部、１０８ 無彩色領域取得部、１０９ 第２の色情報取得部、１１０ 色評価値算出部、１１１ シーン判定部、１１２ 記録部、１１３ 表示部、１１４ システム制御部

Claims (9)

1. 被写体の撮影を行って画像を撮像する撮像装置であって、
   前記画像における第１の領域の色情報に係る値を第１の色情報値として取得する第１の色情報取得手段と、
   前記第１の領域内の領域のうち、彩度が所定の閾値以下で且つ所定の明度範囲である第２の領域を取得する領域取得手段と、
   前記第２の領域の色情報に係る値を第２の色情報値として取得する第２の色情報取得手段と、
   前記第１の色情報値と前記第２の色情報値とを用いて、前記第１の領域において当該第１の領域の色情報から前記第２の領域の色情報を除いた色評価値を算出する算出手段と、
   を有することを特徴とする撮像装置。
2. 前記第１の色情報値は、前記第１の領域の色差、色相または彩度の平均値であり、
   前記第２の色情報値は、前記第２の領域の色差、色相または彩度の平均値であり、
   前記算出手段は、前記第１の色情報値に前記第１の領域における画素数の値を乗じて得た第１の積算値と前記第２の色情報値に前記第２の領域における画素数の値を乗じて得た第２の積算値との差分値である第１の差分値を、前記第１の領域における画素数の値と前記第２の領域における画素数の値との差分値である第２の差分値で除した値に基づいて、前記色評価値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の色情報値は、前記第１の領域の各画素における色差、色相または彩度の合計値であり、
   前記第２の色情報値は、前記第２の領域の各画素における色差、色相または彩度の合計値であり、
   前記算出手段は、前記第１の色情報値と前記第２の色情報値との差分値である第１の差分値を、前記第１の領域における画素数の値と前記第２の領域における画素数の値との差分値である第２の差分値で除した値に基づいて、前記色評価値を算出することを特徴とする請求項１に記載の撮像装置。
4. 前記算出手段は、前記第２の領域における画素数の値が所定の閾値を超える場合には、前記第１の差分値を前記第２の差分値で除した値よりも小さい値を、前記色評価値として算出することを特徴とする請求項２または３に記載の撮像装置。
5. 前記色評価値に基づいて前記撮影における撮影シーンを判定するシーン判定手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の領域は、前記画像を複数の領域に分割した際の各分割領域であり、
   前記シーン判定手段は、前記第１の領域ごとに前記色評価値が所定の閾値を超える該当領域であるか否かを判定し、前記画像の全体における前記該当領域の分布に応じて前記撮影シーンを判定することを特徴とする請求項５に記載の撮像装置。
7. 前記第１の領域は、前記画像を複数の領域に分割した際の各分割領域であり、
   前記シーン判定手段は、前記第１の領域ごとに前記色評価値が所定の閾値を超える該当領域であるか否かを判定し、前記該当領域の数に応じて前記撮影シーンを判定することを特徴とする請求項５に記載の撮像装置。
8. 被写体の撮影を行って画像を撮像する撮像装置の制御方法であって、
   前記画像における第１の領域の色情報に係る値を第１の色情報値として取得する第１の色情報取得ステップと、
   前記第１の領域内の領域のうち、彩度が所定の閾値以下で且つ所定の明度範囲である第２の領域を取得する領域取得ステップと、
   前記第２の領域の色情報に係る値を第２の色情報値として取得する第２の色情報取得ステップと、
   前記第１の色情報値と前記第２の色情報値とを用いて、前記第１の領域において当該第１の領域の色情報から前記第２の領域の色情報を除いた色評価値を算出する算出ステップと、
   を有することを特徴とする撮像装置の制御方法。
9. 被写体の撮影を行って画像を撮像する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記画像における第１の領域の色情報に係る値を第１の色情報値として取得する第１の色情報取得ステップと、
   前記第１の領域内の領域のうち、彩度が所定の閾値以下で且つ所定の明度範囲である第２の領域を取得する領域取得ステップと、
   前記第２の領域の色情報に係る値を第２の色情報値として取得する第２の色情報取得ステップと、
   前記第１の色情報値と前記第２の色情報値とを用いて、前記第１の領域において当該第１の領域の色情報から前記第２の領域の色情報を除いた色評価値を算出する算出ステップと、
   をコンピュータに実行させるためのプログラム。

Images