JP6279825B2 - 画像処理装置、画像処理方法、プログラムおよび撮像装置 - Google Patents

Description

本技術は、画像処理装置、画像処理方法、プログラムおよび撮像装置に関する。特に、本技術は、入力画像信号に含まれる色領域の中から少なくとも１つの色領域を抽出して画像処理を行う画像処理装置等に関する。

従来、入力画像信号に対し、画像内の特定領域と、それ以外の領域とで、互いに異なった処理を施して、出力画像信号を得ることが知られている。例えば、ユーザが指定する色領域以外の領域を無彩色として、いわゆるパーシャルカラー（Partial Color）効果を実現することが知られている。また、例えば、特許文献１には、撮像画面内において、合焦状態にある主要被写体のみを２次元的に特定してカラー表示をさせることが記載されている。

特開平０６−０９８２３２号公報

従来、入力画像信号の色情報を用いて少なくとも１つの抽出色領域を自動的に決定して画像処理を行うことについては知られていない。

本技術の目的は、入力画像信号の色情報を用いて少なくとも１つの抽出色領域を自動的に決定して画像処理を行うことにある。

本技術の概念は、
入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、
上記入力画像信号の、上記抽出色領域決定部で決定された抽出色領域および／または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備える
画像処理装置にある。

本技術において、抽出色領域決定部により、入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理が行われる。例えば、抽出色領域決定部は、第１の画像領域において抽出色領域を決定できないとき、第１の画像領域より狭い第２の画像領域において抽出色領域を決定する処理を行う、ようにされてもよい。このように画像領域を狭めることで、抽出色領域を確実に決定することが可能となる。

この場合、例えば、抽出色領域決定部は、第１の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行った後に、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも１つの色領域を抽出色領域に決定し、頻度が閾値を超える領域がないとき、第１の画像領域より狭い第２の画像領域において抽出色領域を決定する処理を行う、ようにされる。

また、この場合、例えば、抽出色領域決定部では、第２の画像領域は、第１の画像領域が画面中心に向かって狭められた画像領域とされる。また、この場合、例えば、抽出色領域決定部では、第２の画像領域は、第１の画像領域が画面中の合焦位置に向かって狭められた画像領域とされる。このように合焦位置に向かって狭められていくことで、よりユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

また、例えば、抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出領域を決定する、ようにされてもよい。この場合、抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を抽出色領域に決定する、ようにされる。

また、この場合、抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、ユーザに対して抽出色領域の選択を促す、ようにしてもよい。そして、この場合、頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を候補色領域として表示部に表示させ、この表示部の表示に基づいて、ユーザに対して抽出色領域の選択を促すユーザ選択取得部をさらに備える、ようにされてもよい。この場合、ユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

なお、候補色領域を表示する表示部は、画像処理装置に存在する必要はなく、外部機器であってもよい。また、ユーザが抽出色領域を選択するためのユーザ操作部も、画像処理装置に存在する必要はなく、リモートコントローラやネットワーク経由など外部機器であってもよい。

画像処理部により、入力画像信号の、抽出色領域決定部で決定された抽出色領域および／またはこの抽出色領域を除く他の領域に対して、画像処理が施されて出力画像信号が得られる。例えば、入力画像信号の抽出色領域に対して彩度を強調する処理が行われる、また、例えば、入力画像信号の抽出色領域を除く他の領域に対して無彩色とする処理が行われる。

このように本技術においては、入力画像信号の色情報を用いて少なくとも１つの抽出色領域を自動的に決定して画像処理を行うことが可能となる。そのため、例えば、パーシャルカラー効果を確実に実現することが可能となる。

なお、本技術は、例えば、抽出色領域決定部は、入力画像信号の撮像条件が変化した場合、決定される抽出色領域を更新する、ようにされてもよい。これにより、不用意に抽出色領域が変化することを防ぐことが可能となる。

本技術によれば、入力画像信号の色情報を用いて少なくとも１つの抽出色領域を自動的に決定して画像処理を行うことが可能となる。

本技術の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。 画像処理装置を構成する画像解析部の処理手順を示すフローチャートである。 色情報解析領域の狭め方の一例（画面中心に向かって狭めていく例）を説明するための図である。 色情報解析領域の狭め方の他の例（画面中の合焦位置に向かって狭めていく例）を説明するための図である。 振り分け処理における色領域の分類例を示す図である。 振り分け処理結果例（色領域Ａ〜Ｇの頻度のいずれも閾値未満である例）を示す図である。 振り分け処理結果例（色領域Ａ〜Ｇの頻度のうち、色領域Ｅの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例）を示す図である。 振り分け処理結果例（色領域Ａ〜Ｇの頻度のうち、色領域Ｂ，Ｄ，Ｆの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例）を示す図である。 本技術の第２の実施の形態としてのデジタルスチルカメラ（撮像装置）の構成例を示すブロック図である。 デジタルスチルカメラを構成する画像解析部の処理手順を示すフローチャートである。 デジタルスチルカメラの表示部における候補色領域の表示例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本技術の第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、画像解析部１０１および画像処理部１０２を有している。画像解析部１０１は、抽出色領域決定部を構成している。

画像解析部１０１は、入力画像信号ＳＶinの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う。ここで、入力画像信号ＳＶinはカラー画像信号であり、例えば、輝度信号Ｙ、赤色差信号Ｃｒおよび青色差信号Ｃｂからなっている。この入力画像信号ＳＶinは、例えば、撮像部で得られた撮像画像信号、または撮像画像信号が一旦記録媒体に記録され、その後に当該記録媒体から再生されて得られた再生画像信号などである。

画像解析部１０１は、第１の画像領域において抽出色領域を決定できないとき、この第１の画像領域より狭い第２の画像領域において抽出色領域を決定する処理を行う。この場合、画像解析部１０１は、第１の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。その後、画像解析部１０１は、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも１つの色領域を抽出色領域に決定する。

一方、画像解析部１０１は、頻度が閾値を超える領域がないとき、第１の画像領域より狭い第２の画像領域において、抽出領域を決定する処理を行う。すなわち、画像解析部１０１は、この第２の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。その後、画像解析部１０１は、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも１つの色領域を抽出色領域に決定する。

以下、画像解析部１０１は、頻度が閾値を超える領域がないとき、第２の画像領域を第１の画像領域とし、この第１の画像領域より狭い第２の画像領域において抽出色領域を決定する処理を行うことを、繰り返す。

図２のフローチャートは、画像解析部１０１の処理手順を示している。画像解析部１０１は、１フレーム毎に、あるいは所定数のフレーム毎に、このフローチャートに沿った処理を行う。画像解析部１０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、画像解析部１０１は、色情報解析領域を設定する。

画像解析部１０１は、最初は、色情報解析領域として、画面全体を設定し、以下、このステップＳＴ２の処理に戻る毎に、その領域を狭めていく。この場合、変更前の色情報解析領域は第１の画像領域を構成し、変更後の色情報解析領域は第２の画像領域を構成する。図３は、色情報解析領域の狭め方の一例を示している。図３（ａ）は、画面全体を色情報解析領域として設定する最初の状態を示している。この例では、図３（ｂ）に示すように、画面中心に向かって狭めていく例である。

図４は、色情報解析領域の狭め方の他の例を示している。図４（ａ）は、画面全体を色情報解析領域として設定する最初の状態を示している。この例では、図４（ｂ）に示すように、画面中の合焦位置に向かって狭めていく例である。この場合、画像解析部１０１は、合焦位置の情報を、撮像部、または再生部から、入力画像信号ＳＶinと共に、取得する。デジタルスチルカメラ（撮像装置）における撮像部においては、詳細説明は省略するが、例えば位相差オートフォーカス方式などにより画面上の所定位置に存在する被写体に合焦させることが可能とされている。

なお、図示は省略するが、色情報解析領域の狭め方のさらに他の例として、顔などの特定オブジェクトの検出位置に向かって狭めて行くことも可能である。この場合、画像解析部１０１は、特定オブジェクトの検出位置の情報を、または再生部から、入力画像信号ＳＶinと共に、取得する。

図２に戻って、次に、画像解析部１０１は、ステップＳＴ３において、色頻度分布解析を行う。すなわち、画像解析部１０１は、画素毎、あるいは所定数の画素、例えば８×８の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。画像解析部１０１は、この振り分け処理を、画素毎あるいはブロック毎の色情報に基づいて行う。

この色情報としては、色相情報、彩度情報、色相および彩度の情報、さらには色相相当の情報等が考えられる。例えば、色相情報として、赤色差信号Ｃｒおよび青色差信号Ｃｂが用いられる。また、例えば、色相相当の情報として、Ｂ／Ｇ、Ｒ／Ｇが用いられる。ここで、Ｂは青色信号、Ｒは赤色信号、Ｇは緑色信号を示している。

例えば、上述の振り分け処理を、画素毎あるいはブロック毎の色相情報に基づいて行う場合についてさらに説明する。この場合、予め、色相が所定数の色領域に分類される。例えば、図５は、７種類の色領域、すなわち色領域Ａ〜Ｇに分類された分類例を示している。なお、この例は、色相環を色領域Ａで切断して展開したものである。

画像解析部１０１は、画素毎あるいはブロック毎に、赤色差信号Ｃｒおよび青色差信号Ｃｂを用いて、色領域Ａ〜Ｇのいずれの分類に属するかを判断して、振り分けを行う。なお、ブロックにおける赤色差信号Ｃｒ、青色差信号Ｃｂは、それぞれ、そのブロックに含まれる所定数の画素における赤色差信号Ｃｒ、青色差信号Ｃｂの平均値、あるいは中間値などとされる。

図６〜図８は、それぞれ、振り分け処理結果の例を示している。これらの例は、各色領域の頻度を、画面に占める割合として示している。ここで、「画面」とは、ステップＳＴ２で設定された「色情報解析領域」を意味している。図６の例は、色領域Ａ〜Ｇの頻度のいずれも閾値未満である例である。また、図７の例は、色領域Ａ〜Ｇの頻度のうち、色領域Ｅの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例である。さらに、図８の例は、色領域Ａ〜Ｇの頻度のうち、色領域Ｂ，Ｄ，Ｆの頻度は閾値を超え、その他の色領域の頻度は閾値未満である例である。なお、閾値は、例えば、３〜４割などに設定されるが、これに限定されない。

図２に戻って、次に、画像解析部１０１は、ステップＳＴ４において、頻度が閾値を超える色領域があるか否かを判別する。頻度が閾値を超える色領域がないと判別するとき（図６参照）、画像解析部１０１は、ステップＳＴ２に戻って、色情報解析領域を変更する。この場合、変更前の色情報解析領域（第１の画像領域）に対し、変更後の色情報解析領域（第２の画像領域）は狭められる（図３、図４参照）。

一方、頻度が閾値を超える色領域があると判別するとき（図７、図８参照）、画像解析部１０１は、ステップＳＴ５の処理に移る。このステップＳＴ５において、画像解析部１０１は、頻度が閾値を超える色領域のうち、少なくとも１つの色領域を抽出色領域に決定し、画面上における当該抽出色領域の情報を出力する。

この場合、画像解析部１０１は、頻度が閾値を超える色領域が１つだけであるときは（図７参照）、当該色領域を抽出色領域に決定する。また、この場合、画像解析部１０１は、頻度が閾値を超える色領域が複数あるときは（図８参照）、当該複数の色領域のうち、例えば、頻度が上位の１つまたは所定数の色領域を抽出色領域に決定する。

画像解析部１０１は、ステップＳＴ５の処理の後、ステップＳＴ６において、処理を終了する。

図１に戻って、画像処理部１０２は、画像解析部１０１で決定された抽出色領域に基づいて、入力画像信号ＳＶinに画像処理を施し、出力画像信号ＳＶoutを得る。この場合、画像処理部１０２は、入力画像信号ＳＶinの、抽出色領域および／またはこの抽出色領域を除く他の領域に対して、画像処理を施す。換言すると、画像処理部１０２は、入力画像信号ＳＶinの、抽出領域と抽出領域を除く他の領域の少なくとも一方の領域に対して、画像処理を施す。さらに双方の領域に画像処理を施す場合は、抽出領域と抽出領域を除く他の領域に対して異なる画像処理を施す。画像処理部１０２は、入力画像信号ＳＶinの抽出色領域に対して、例えば、彩度を強調する処理を行う。また、画像処理部１０２は、入力画像信号ＳＶinの抽出色領域を除くその他の領域に対して、例えば、無彩色にする、つまり彩度をゼロにする処理を行う。

図１に示す画像信号処理装置１００の動作を説明する。入力画像信号ＳＶin、例えば撮像画像信号あるいは再生画像信号は、画像解析部１０１および画像処理部１０２に供給される。画像解析部１０１では、入力画像信号ＳＶinの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域が決定され、その領域情報が画像処理部１０２に供給される。

そして、画像処理部１０２では、画像解析部１０１で決定された抽出色領域に基づいて、入力画像信号ＳＶinに画像処理が施され、出力画像信号ＳＶoutが得られる。この場合、画像処理部１０２では、入力画像信号ＳＶinの、抽出色領域および／またはこの抽出色領域を除く他の領域に対して、画像処理が施される。例えば、入力画像信号ＳＶinの抽出色領域を除く他の領域に対して無彩色とする処理が行われることが、いわゆるパーシャルカラーの効果が実現される。

上述したように、図１に示す画像処理装置１００において、画像解析部１０１は、入力画像信号ＳＶinの色情報を用いて少なくとも１つの抽出色領域を自動的に決定する。そのため、画像処理部１０２では、入力画像信号ＳＶinに対してその抽出色領域の情報に基づいた画像処理を確実に施すことができる。例えば、入力画像信号ＳＶinの抽出色領域を除く他の領域に対して無彩色とする処理が行われるようにすることで、いわゆるパーシャルカラーの効果を確実に実現できる。

また、図１に示す画像処理装置１００において、画像解析部１０１は、抽出色領域を決定できないとき、色情報解析領域を狭める方向に変更して、再度、抽出色領域を決定する処理を行う。そのため、少なくとも１つの抽出色領域を自動的に決定可能となる。

一般的なデジタルスチルカメラはオートフォーカスを実現するためのフォーカスポイントを持ったもの、ユーザによる自由なフォーカス位置設定が可能なものがある。一般的には、フォーカスを合わせたいものが主要被写体となるため、抽出したい色領域を多く含む可能性が高い。そのため、色情報解析領域を合焦位置（フォーカスポイント）に向かって狭めていくことで、よりユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

なお、図１に示す画像処理処置１００では、入力画像信号ＳＶinが輝度信号Ｙ、赤色差信号Ｃｒおよび青色差信号Ｃｂからなっているものを示したが、入力画像信号ＳＶinが３原色信号、つまり赤色信号Ｒ、緑色信号Ｇおよび青色信号Ｂからなっていてもよい。この場合、画像解析部１０１、画像処理部１０２では、赤色信号Ｒ，緑色信号Ｇおよび青色信号Ｂを用いて処理を行っても良いし、適宜、輝度信号Ｙ、赤色差信号Ｃｒおよび青色差信号Ｃｂに変換した上で処理しても良い。

＜２．第２の実施の形態＞
［デジタルスチルカメラの構成例］
図９は、本技術の第２の実施の形態としてのデジタルスチルカメラ（撮像装置）１００Ａの構成例を示している。この図９において、図１と対応する部分には同一符号、あるいは対応する符号を付し、適宜、その詳細説明は省略する。このデジタルスチルカメラ１００Ａは、カメラ本体部１１０と、ＣＰＵ１１１と、メモリ１１２と、ユーザ操作部１１３と、表示部１１４とを有しており、各部は内部バス１１５により互いに接続されている。

ＣＰＵ１１１は、デジタルスチルカメラ１００Ａの各部の動作を制御する。メモリ１１２は、図示は省略するが、フラッシュＲＯＭ、ＤＲＡＭなどからなっている。フラッシュＲＯＭは、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭは、ＣＰＵ１１１のワークエリアを構成する。ＣＰＵ１１１は、フラッシュＲＯＭから読み出したソフトウェアやデータをＤＲＡＭ上に展開してソフトウェアを起動させ、デジタルスチルカメラ１００Ａの各部を制御する。

ユーザ操作部１１３および表示部１１４は、ユーザインタフェースを構成している。ユーザ操作部１１３は、デジタルスチルカメラ１００Ａの図示しない筐体に配置されたキー、釦、ダイアル、あるいは表示部１１４の表示面に配置されたタッチパネル等で構成される。表示部１１４は、ＬＣＤ(Liquid Crystal Display)等の表示パネルで構成される。

カメラ本体部１１０は、撮像部１０３と、画像解析部１０１Ａと、画像処理部１０２と、出力部１０４とを有している。撮像部１０３は、被写体を撮像して撮像画像信号ＳＶａを得、この撮像画像信号ＳＶinを出力する。この撮像画像信号ＳＶａはカラー画像信号であり、例えば、輝度信号Ｙ、赤色差信号Ｃｒおよび青色差信号Ｃｂからなっている。

この撮像部１０３は、例えば位相差オートフォーカス方式などのオートフォーカス機能を備え、画面上の所定位置に存在する被写体に合焦させることが可能とされている。また、この撮像部１０３は、顔などの特定オブジェクトの検出機能を備えている。撮像部１０３は、上述の撮像画像信号ＳＶａを出力する他に、合焦位置の情報、特定オブジェクトの検出位置の情報などを含む付加情報Ｉaddを出力する。

画像解析部１０１Ａは、図１に示す画像処理装置１００における画像解析部１０１と同様に、撮像画像信号ＳＶａの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う。この画像解析部１０１Ａは、第１の画像領域において抽出色領域を決定できないとき、この第１の画像領域より狭い第２の画像領域において抽出色領域を決定する処理を行う。

この場合、画像解析部１０１Ａは、第１の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。その後、画像解析部１０１Ａは、頻度が閾値を超える色領域があるとき、この色領域のうち少なくとも１つの色領域を抽出色領域に決定する。一方、画像解析部１０１Ａは、頻度が閾値を超える領域がないとき、第１の画像領域より狭い第２の画像領域において、抽出領域を決定する処理を行う。

なお、画像解析部１０１Ａは、撮像状態に変更があるとき、決定される抽出色領域を更新する。ここで、撮像状態の変更とは、ユーザがユーザ操作部１１３から明示的に露出モード変更やズーム操作等を行った場合における撮像状態の変更を意味する。これにより、ユーザが意図しない微小な画角ずれや被写体の動作で抽出色領域が次々と変化することを避けることができる。

図１０のフローチャートは、画像解析部１０１Ａの処理手順を示している。画像解析部１０１Ａは、例えば、ユーザ操作部１１３からのユーザの開始操作に基づき、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、画像解析部１０１Ａは、図１の画像処理装置１００の画像解析部１０１が図２のステップＳＴ２で行う処理と同様に、色情報解析領域を設定する。

画像解析部１０１Ａは、最初は、色情報解析領域として、画面全体を設定し、以下、閾値が超える色領域がなく、このステップＳＴ１２の処理に戻る毎に、その領域を狭めていく。この場合、変更前の色情報解析領域は第１の画像領域を構成し、変更後の色情報解析領域は第２の画像領域を構成する。この場合、例えば、画面中心に向かって狭められていく（図３参照）。

また、この場合、例えば、撮像部１０３からの付加情報に含まれる合焦位置の情報に基づいて、画面中の合焦位置に向かって狭められていく（図４参照）。また、この場合、例えば、撮像部１０３からの付加情報に含まれる特定オブジェクトの検出位置の情報に基づいて、画面中の特定オブジェクトの検出位置に向かって狭められていく。

次に、画像解析部１０１Ａは、ステップＳＴ１３において、図１の画像処理装置１００の画像解析部１０１が図２のステップＳＴ３で行う処理と同様に、色頻度分布解析を行う。すなわち、画像解析部１０１Ａは、画素毎、あるいは所定数の画素、例えば８×８の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行う。画像解析部１０１Ａは、この振り分け処理を、画素毎あるいはブロック毎の色情報に基づいて行う。

次に、画像解析部１０１Ａは、ステップＳＴ１４において、頻度が閾値を超える色領域があるか否かを判別する。頻度が閾値を超える色領域がないと判別するとき（図６参照）、画像解析部１０１Ａは、ステップＳＴ１２に戻って、色情報解析領域を変更する。この場合、変更前の色情報解析領域（第１の画像領域）に対し、変更後の色情報解析領域（第２の画像領域）は狭められる（図３、図４参照）。

一方、頻度が閾値を超える色領域があると判別するとき（図７、図８参照）、画像解析部１０１Ａは、ステップＳＴ１５において、撮像状態に変更があるか否かを判別する。変更がないと判別するとき、画像解析部１０１Ａは、ステップＳＴ１２に戻って、色情報解析領域を最初の状態、つまり画面全体に設定し、以下、上述したと同様の処理を繰り返す。

撮像状態に変更があると判別するとき、画像解析部１０１Ａは、ステップＳＴ１６の処理に移る。なお、画像解析部１０１Ａは、ステップＳＴ１１で処理を開始した後の最初にあっては、ステップＳＴ１４で頻度が閾値を超える色領域があると判別するとき、直ちに、ステップＳＴ１６の処理に移る。

このステップＳＴ１６において、画像解析部１０１Ａは、頻度が閾値を超える色領域のうち、少なくとも１つの色領域を抽出色領域に決定し、画面上における当該抽出色領域の情報を出力する。この処理は、図１の画像処理装置１００の画像解析部１０１が図２のステップＳＴ５で行う処理と同様である。上述したように、画像解析部１０１Ａは、ステップＳＴ１１で処理を開始した後の最初以外は、撮像状態に変更があると判別するときのみ、ステップＳＴ１６の処理に移る。これにより、決定される抽出色領域は、撮像状態に変更があるとき、更新されていく。

画像解析部１０１Ａは、ステップＳＴ１６の処理の後、ステップＳＴ１２に戻って、色情報解析領域を最初の状態、つまり画面全体に設定し、以下、上述したと同様の処理を繰り返す。

図９に戻って、画像処理部１０２は、画像解析部１０１で決定された抽出色領域に基づいて、撮像画像信号ＳＶａに画像処理を施し、処理画像信号ＳＶｂを得る。この場合、画像処理部１０２は、撮像画像信号ＳＶａの、抽出色領域および／またはこの抽出色領域を除く他の領域に対して、画像処理を施す。画像処理部１０２は、撮像画像信号ＳＶａの抽出色領域に対して、例えば、彩度を強調する処理を行う。また、画像処理部１０２は、撮像画像信号ＳＶａの抽出色領域を除くその他の領域に対して、例えば、無彩色にする、つまり彩度をゼロにする処理を行う。

出力部１０４は、画像処理部１０２から出力される処理画像信号ＳＶｂを外部に出力する処理を行う。例えば、出力部１０４は、処理画像信号ＳＶｂを、ＪＰＥＧ画像ファイルとして、メモリカード等の記録媒体に記録する。

図９に示すデジタルスチルカメラ１００Ａの動作を説明する。撮像部１０３で被写体が撮像されて得られた撮像画像信号ＳＶａは、画像解析部１０１Ａおよび画像処理部１０２に供給される。また、撮像部１０３から出力される合焦位置の情報、特定オブジェクトの検出位置の情報などを含む付加情報Ｉaddは画像解析部１０１Ａに供給される。画像解析部１０１では、撮像画像信号ＳＶａの色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域が決定され、その領域情報が画像処理部１０２に供給される。

そして、画像処理部１０２では、画像解析部１０１Ａで決定された抽出色領域に基づいて、撮像画像信号ＳＶａに画像処理が施され、処理画像信号ＳＶｂが得られる。この場合、画像処理部１０２では、撮像画像信号ＳＶａの、抽出色領域および／またはこの抽出色領域を除く他の領域に対して、画像処理が施される。例えば、撮像画像信号ＳＶａの抽出色領域を除く他の領域に対して無彩色とする処理が行われることで、いわゆるパーシャルカラーの効果が実現される。

この画像処理部１０２で得られる処理画像信号ＳＶｂは、出力部１０４に供給される。この出力部１０４では、この処理画像信号ＳＶｂを外部に出力する処理が行われる。例えば、この出力部１０４では、処理画像信号ＳＶｂが、ＪＰＥＧ画像ファイルとして、メモリカード等の記録媒体に記録される。

上述したように、図９に示すデジタルスチルカメラ１００Ａにおいて、カメラ本体部１１０の画像解析部１０１Ａは、撮像画像信号ＳＶａの色情報を用いて少なくとも１つの抽出色領域を自動的に決定する。そのため、カメラ本体部１１０の画像処理部１０２では、撮像画像信号ＳＶａに対してその抽出色領域の情報に基づいた画像処理を確実に施すことができる。例えば、撮像画像信号ＳＶａの抽出色領域を除く他の領域に対して無彩色とする処理が行われるようにすることで、いわゆるパーシャルカラーの効果を確実に実現できる。

また、図９に示すデジタルスチルカメラ１００Ａにおいて、カメラ本体部１１０の画像解析部１０１Ａは、抽出色領域を決定できないとき、色情報解析領域を狭める方向に変更して、再度、抽出色領域を決定する処理を行う。そのため、少なくとも１つの抽出色領域を自動的に決定可能となる。なお、この際に、合焦位置（フォーカスポイント）に向かって狭めていく場合には、よりユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

また、図９に示すデジタルスチルカメラ１００Ａにおいて、カメラ本体部１１０の画像解析部１０１Ａは、撮像状態に変更があるとき、決定される抽出色領域を更新する。そのため、ユーザがユーザ操作部１１３から明示的に露出モード変更やズーム操作等を行った場合を除き、画像解析部１０１Ａで決定される抽出色領域は変化しない。したがって、ユーザが意図しない微小な画角ずれや被写体の動作で抽出色領域が次々と変化することを避けることができる。

なお、図１０に示すフローチャートでは、撮像状態に変更がない場合でも、ステップＳＴ１２〜ステップＳＴ１４の処理が繰り返し行われている。しかし、撮像状態に変更があるときのみ、これらステップＳＴ１２〜ステップＳＴ１４の処理を行って、抽出色領域を決定する処理手順であってもよい。

＜３．変形例＞
上述実施の形態において、画像解析部１０１，１０１Ａは、頻度が閾値を超える色領域が複数あるときは（図８参照）、当該複数の色領域のうち、例えば、頻度が上位の１つまたは所定数の色領域を抽出色領域に決定する、ように説明した。このように頻度が閾値を超える色領域が複数あるとき、抽出色領域に決定すべき色領域を、ユーザに選択させるように構成することも考えられる。その場合における画像解析部１０１Ａなどの動作例を説明する。

その場合における画像解析部１０１Ａなどの動作例を説明する。例えば、図１０のフローチャートにおいて、ステップＳＴ１５で撮像状態に変更があるとき、ＣＰＵ１１１は、ステップＳＴ１７において、頻度が閾値を超える色領域が２以上あるか否かを判別する。頻度が閾値を超える色領域が１つだけであるとき、画像解析部１０１Ａは、直ちに、ステップＳＴ１６の処理に移り、その色領域を抽出色領域に決定する。

一方、頻度が閾値を超える色領域が２以上あると判別するとき、ＣＰＵ１１１は、ステップＳＴ１８において、それらの色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を候補色領域として、表示部１１４に表示する。これにより、ユーザに対して抽出色領域の選択を促す。図１１は、デジタルスチルカメラ１００Ａの表示部１１４における候補色領域の表示例を示している。この例では、３つの候補色領域が、その色で塗りつぶされた矩形により表示されている。

次に、ステップＳＴ１９において、ユーザは、表示部１１４の表示に基づいて、ユーザ操作部１１３を操作して、抽出色領域に決定すべき色領域を選択する。図１１の例では、左側の１つの色領域が枠ＦＬで囲まれており、この色領域が選択された状態を示している。このステップＳＴ１９におけるユーザ選択の後に、画像解析部１０１Ａは、ステップＳＴ１６において、ユーザが選択した所定数の色領域を、抽出色領域に決定する。

このように頻度が閾値を超える色領域が複数あるとき、抽出色領域に決定すべき色領域を、ユーザに選択させることで、ユーザの好みにあった色領域を抽出色領域として決定することが可能となる。

なお、上述では候補色領域をデジタルスチルカメラ１００Ａの表示部１１４に表示し、また、ユーザはデジタルスチルカメラ１００Ａのユーザ操作部１１３を操作して抽出色領域に決定すべき色領域を選択するように説明した。しかし、候補色領域を表示する表示部は外部機器であってもよい。また、ユーザが選択操作する操作部も、リモートコントローラやネットワーク経由など外部機器であってもよい。

すなわち、画像処理装置であるデジタルスチルカメラ１００Ａは、少なくとも、頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を候補色領域として表示部に表示させ、この表示部の表示に基づいてユーザに対して抽出色領域の選択を促すユーザ選択取得部の機能を備えていればよい。

また、上述実施の形態においては、頻度が閾値を超える色領域がないとき、色領域解析領域を順に、画面中心や画面中の合焦位置等に向かって狭めることが行われる。しかし、この処理はあくまでもオプションであり、この処理自体をしなくても良い。その場合、例えば、閾値は使用されず、単に、頻度が上位の一つまたは所定数の色領域を抽出色領域に決定するようにされる。

また、上述実施の形態おいて、画像解析部１０１，１０１Ａおよび画像処理部１０２の処理は、ハードウェアで実行できる他、ソフトウェアでも実行可能である。ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また、本技術は、以下のような構成を取ることもできる。
（１）入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、
上記入力画像信号の、上記抽出色領域決定部で決定された抽出色領域および／または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備える
画像処理装置。
（２）上記抽出色領域決定部は、第１の画像領域において上記抽出色領域を決定できないとき、上記第１の画像領域より狭い第２の画像領域において上記抽出色領域を決定する処理を行う
前記（１）に記載の画像処理装置。
（３）上記抽出色領域決定部は、上記第１の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行った後に、頻度が閾値を超える色領域があるとき、該色領域のうち少なくとも１つの色領域を上記抽出色領域に決定し、頻度が閾値を超える領域がないとき、上記第１の画像領域より狭い第２の画像領域において上記抽出色領域を決定する処理を行う
前記（２）に記載の画像処理装置。
（４）上記抽出色領域決定部は、上記第２の画像領域を、上記第１の画像領域が画面中心に向かって狭められた画像領域とする
前記（２）または（３）に記載の画像処理装置。
（５）上記抽出色領域決定部は、上記第２の画像領域を、上記第１の画像領域が画面中の合焦位置に向かって狭められた画像領域とする
前記（２）または（３）に記載の画像処理装置。
（６）上記抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出領域を決定する
前記（１）または（２）に記載の画像処理装置。
（７）上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を上記抽出色領域に決定する
前記（６）に記載の画像処理装置。
（８）上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、ユーザに対して上記抽出色領域の選択を促す
前記（６）に記載の画像処理装置。
（９）上記頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を候補色領域として表示部に表示させ、
上記表示部の表示に基づいて、ユーザに対して上記抽出色領域の選択を促すユーザ選択取得部をさらに備える
前記（８）に記載の画像処理装置。
（１０）上記抽出色領域決定部は、上記入力画像信号の撮像条件が変化した場合、上記決定される抽出色領域を更新する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定ステップと、
上記入力画像信号の、上記抽出色領域決定ステップで決定された抽出色領域および／または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理ステップとを備える
画像処理方法。
（１２）コンピュータを、
入力画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定手段と、
上記入力画像信号の、上記抽出色領域決定手段で決定された抽出色領域および／または該抽出色領域を除く他の領域に対して、画像処理を施して出力画像信号を得る画像処理手段と
して機能させるプログラム。
（１３）撮像部と、
上記撮像部で得られる撮像画像信号の色情報を用いて、少なくとも画像内の一部領域を含む抽出色領域を決定する処理を行う抽出色領域決定部と、
上記撮像画像信号の、上記抽出色領域決定部で決定された抽出色領域および／または該抽出色領域を除く他の領域に対して、画像処理を施して処理画像信号を得る画像処理部と、
上記画像処理部で得られる処理画像信号を記録媒体に記録する記録部とを備える
撮像装置。

１００・・・画像処理装置
１００Ａ・・・デジタルスチルカメラ
１０１，１０１Ａ・・・画像解析部
１０２・・・画像処理部
１０３・・・撮像部
１０４・・・出力部
１１０・・・カメラ本体部
１１１・・・ＣＰＵ
１１２・・・メモリ
１１３・・・ユーザ操作部
１１４・・・表示部

Claims (20)

1. 入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として自動的に決定する処理を行う抽出色領域決定部と、
   上記入力画像信号の、上記抽出色領域決定部で決定された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備え、
   上記抽出色領域決定部は、第１の画像領域において上記抽出色領域を決定できないとき、上記第１の画像領域と異なる第２の画像領域において上記抽出色領域を決定する処理を行う
   画像処理装置。
2. 入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として自動的に決定する処理を行う抽出色領域決定部と、
   上記入力画像信号の、上記抽出色領域決定部で決定された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備え、
   上記抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出色領域を決定し、
   上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を上記抽出色領域に決定する
   画像処理装置。
3. 入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として自動的に決定する処理を行う抽出色領域決定部と、
   上記入力画像信号の、上記抽出色領域決定部で決定された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備え、
   上記抽出色領域決定部は、撮像パラメータが変化した場合、上記決定される抽出色領域を更新する
   画像処理装置。
4. 上記抽出色領域決定部は、第１の画像領域において上記抽出色領域を決定できないとき、上記第１の画像領域と異なる第２の画像領域において上記抽出色領域を決定する処理を行う
   請求項２または３に記載の画像処理装置。
5. 上記抽出色領域決定部は、上記抽出色領域を決定できるまで、上記抽出色領域を決定するための画像領域を、同じアルゴリズムで順次狭めていく
   請求項１または４に記載の画像処理装置。
6. 上記抽出色領域決定部は、上記第１の画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行った後に、頻度が閾値を超える色領域があるとき、該色領域のうち少なくとも１つの色領域を上記抽出色領域に決定し、頻度が閾値を超える色領域がないとき、上記第２の画像領域において上記抽出色領域を決定する処理を行う
   請求項１または４に記載の画像処理装置。
7. 上記第２の画像領域は、上記第１の画像領域が狭められた画像領域である
   請求項１または４に記載の画像処理装置。
8. 上記抽出色領域決定部は、上記第２の画像領域を、上記第１の画像領域が画面中心に向かって狭められた画像領域とする
   請求項７に記載の画像処理装置。
9. 上記抽出色領域決定部は、上記第２の画像領域を、上記第１の画像領域が画面中の合焦位置に向かって狭められた画像領域とする
   請求項７に記載の画像処理装置。
10. 上記抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出色領域を決定する
    請求項１または３に記載の画像処理装置。
11. 上記抽出色領域決定部は、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を上記抽出色領域に決定する
    請求項１０に記載の画像処理装置。
12. 上記抽出色領域決定部は、撮像パラメータが変化した場合、上記決定される抽出色領域を更新する
    請求項１または２に記載の画像処理装置。
13. 入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として自動的に決定する処理を行う抽出色領域決定ステップと、
    上記入力画像信号の、上記抽出色領域決定ステップで決定された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理ステップとを有し、
    上記抽出色領域決定ステップでは、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出色領域を決定し、
    上記抽出色領域決定ステップでは、頻度が閾値を超える色領域が複数存在する場合は、頻度の高い方から所定数の色領域を上記抽出色領域に決定する
    画像処理方法。
14. コンピュータを、
    入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として自動的に決定する処理を行う抽出色領域決定手段と、
    上記入力画像信号の、上記抽出色領域決定手段で決定された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理手段として機能させ、
    上記抽出色領域決定手段は、第１の画像領域において上記抽出色領域を決定できないとき、上記第１の画像領域と異なる第２の画像領域において上記抽出色領域を決定する処理を行う
    プログラム。
15. 撮像部と、
    上記撮像部で得られる撮像画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から１つの色領域を抽出色領域として自動的に決定する処理を行う抽出色領域決定部と、
    上記撮像画像信号の、上記抽出色領域決定部で決定された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して処理画像信号を得る画像処理部と、
    上記画像処理部で得られる処理画像信号を記録媒体に記録する記録部とを備え、
    上記抽出色領域決定部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記抽出色領域を決定し、
    上記抽出色領域決定部は、上記頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を上記抽出色領域として決定する
    撮像装置。
16. 入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から候補色領域を自動的に判別し、該判別された候補色領域の中から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として選択することをユーザに対して促す候補色領域判別部と、
    上記入力画像信号の、上記ユーザによって選択された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理部とを備え、
    上記候補色領域判別部は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記候補色領域を判別し、
    上記候補色領域判別部は、上記頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を上記候補色領域として判別する
    画像処理装置。
17. 上記候補色領域判別部は、上記候補色領域を表示部に表示させ、該表示部の表示に基づいてユーザに対して上記抽出色領域の選択を促す
    請求項１６に記載の画像処理装置。
18. 入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から候補色領域を自動的に判別し、該判別された候補色領域の中から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として選択することをユーザに対して促す候補色領域判別ステップと、
    上記入力画像信号の、上記ユーザによって選択された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理ステップとを有し、
    上記候補色領域判別ステップでは、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記候補色領域を判別し、
    上記候補色領域判別ステップでは、上記頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を上記候補色領域として判別する
    画像処理方法。
19. コンピュータを、
    入力画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から候補色領域を自動的に判別し、該判別された候補色領域の中から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として選択することをユーザに対して促す候補色領域判別手段と、
    上記入力画像信号の、上記ユーザによって選択された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して出力画像信号を得る画像処理手段として機能させ、
    上記候補色領域判別手段は、所定画像領域において、画素毎あるいは所定数の画素を含むブロック毎に複数の色領域のいずれかに振り分ける処理を行い、各色領域の頻度に基づいて上記候補色領域を判別し、
    上記候補色領域判別手段は、上記頻度が閾値を超える複数の色領域のうち頻度の高い上位Ｎ領域（Ｎは２以上の整数）を上記候補色領域として判別する
    プログラム。
20. 撮像部と、
    上記撮像部で得られる撮像画像信号の各画素または画素領域の色情報を解析することで、夫々異なる色を示す複数の色領域から候補色領域を自動的に判別し、該判別された候補色領域の中から１つの色領域を上記入力画像信号で示される画面全体に対する抽出色領域として選択することをユーザに対して促す候補色領域判別部と、
    上記撮像画像信号の、上記ユーザによって選択された抽出色領域に該当する画素または画素領域および／または該抽出色領域を除く他の色領域に該当する画素または画素領域に対して、画像処理を施して処理画像信号を得る画像処理部と、
    上記画像処理部で得られる処理画像信号を記録媒体に記録する記録部とを備え、
    上記候補色領域判別部は、撮像パラメータが変化した場合、上記判別される候補色領域を更新する
    撮像装置。