JP5509621B2 - 画像処理装置、カメラおよびプログラム - Google Patents

Description

本発明は、画像処理装置、カメラおよびプログラムに関する。

従来から、色情報に基づいて撮影画像から主要被写体を抽出する技術が知られている。一例として、特許文献１には、主要被写体が人物であることを前提として、色情報に基づいて撮影画像から肌の領域を抽出する技術が開示されている。

ところで、撮像装置による撮影ではあらゆる物体が被写体となりうる。しかし、従来の技術では、主要被写体の種類や色が予め特定されていない多様な撮影画像を対象として、色情報によって撮影画像から主要被写体の抽出を行うことは困難であった。

そこで、本発明は、主要被写体の種類や色が予め特定されていない多様な撮影画像を対象として、色情報により主要被写体の抽出を行うための手段を提供することを目的とする。

一の態様の画像処理装置は、注目領域設定部と、度数分布生成部と、色成分解析部と、領域分割部とを備える。注目領域設定部は、撮像装置で撮影された撮影画像と該撮影画像を撮影したときの焦点検出エリアの位置情報とを取得するとともに、焦点検出エリアの位置情報を用いて撮影画像の一部に、撮影画像のサイズよりも小さい注目領域を設定する。度数分布生成部は、注目領域での色成分の度数分布を求める。色成分解析部は、度数分布に基づいて、注目領域の主要色成分を少なくとも１以上設定する。領域分割部は、注目領域から色成分の度数分布を求めるときに用いた撮影画像を処理対象として、撮影画像の各位置の色成分が注目領域の主要色成分に属するか否かにより領域分割を行う。
一の態様のカメラは、上述した一の態様の画像処理装置を備える。
一の態様のプログラムは、注目領域設定処理と、度数分布生成処理と、色成分解析処理と、領域分割処理と、をコンピュータに実行させる。注目領域設定処理では、撮像装置で撮影された撮影画像と該撮影画像を撮影したときの焦点検出エリアの位置情報とを取得するとともに、焦点検出エリアの位置情報を用いて撮影画像の一部に、撮影画像のサイズよりも小さい注目領域を設定する。度数分布生成処理では、注目領域での色成分の度数分布を求める。色成分解析処理では、度数分布に基づいて、注目領域の主要色成分を少なくとも１以上設定する。領域分割処理では、注目領域から色成分の度数分布を求めるときに用いた撮影画像を処理対象として、撮影画像の各位置の色成分が注目領域の主要色成分に属するか否かにより領域分割を行う。

本発明では、注目領域の色成分の度数分布から主要色成分の範囲を設定し、この主要色成分の範囲に基づく領域分割によって、色情報を用いて撮影画像から主要被写体を抽出できる。

一の実施形態に係る画像処理装置の構成例を示すブロック図 一の実施形態における領域分割処理の動作例を説明する流れ図 撮影画像における注目領域の設定例を示す図 図３の撮影画像に対応する色相成分のヒストグラム 注目領域の主要色成分の範囲に基づいて、図３の撮影画像を領域分割した例を示す図 撮影画像全体の色相から決定した主要色成分の範囲によって、図３の撮影画像を領域分割した比較例を示す図 他の実施形態における電子カメラの構成例を示すブロック図 他の実施形態の電子カメラにおける撮影モードでの動作例を示す流れ図

＜一の実施形態の説明＞
図１は、一の実施形態に係る画像処理装置の構成例を示すブロック図である。一の実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。この画像処理装置を構成するコンピュータは、画像処理プログラムの実行によって、電子カメラなどの撮像装置で生成された画像ファイルを読み込むとともに、この画像ファイルの撮影画像に対して領域分割処理を施す。

ここで、一の実施形態で処理対象となる画像ファイルは、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａｓ）規格に準拠したファイル形式で生成される。そして、一の実施形態で処理対象となる画像ファイルには、撮像装置で撮影（撮像）されたカラーの撮影画像（本画像）と、この撮影画像に関する撮影情報（オートフォーカス（ＡＦ）による焦点検出エリアの位置情報など）とが対応付けされて記憶されている。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、上記の画像ファイルや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとが記録されている。なお、記憶装置１３には、データ読込部１２から読み込んだ画像ファイルを記憶しておくこともできる。

ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、注目領域設定部２１と、度数分布生成部２２と、色成分解析部２３と、領域分割部２４として機能する（なお、ＣＰＵ１４に含まれる各部の動作については後述する）。

メモリ１５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

次に、図２の流れ図を参照しつつ、一の実施形態における領域分割処理の動作例を説明する。なお、図２の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４が画像処理プログラムを実行することで開始される。

ステップＳ１０１：ＣＰＵ１４は、データ読込部１２を介して処理対象の画像ファイルを外部から取得する。Ｓ１０１で取得された画像ファイルは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、処理対象の画像ファイルが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４はＳ１０１の処理を省略してもよい。

ステップＳ１０２：ＣＰＵ１４は、処理対象の画像ファイルに含まれる撮影画像（本画像）の色空間をＨＳＶ色空間またはＨＬＳ色空間に変換する。一の実施形態でのＣＰＵ１４は、ＲＧＢ色空間（またはＹＵＶ色空間）のカラー撮影画像のデータを、ＨＳＶ色空間に対応した８ｂｉｔの画像のデータに変換するものとする。なお、撮影画像が予めＨＳＶ色空間に対応する形式である場合には、ＣＰＵ１４はＳ１０２の処理を省略してもよい。

ステップＳ１０３：注目領域設定部２１は、処理対象の画像ファイルから撮影情報を読み出して、撮影画像の撮像前に予め行われたＡＦによる焦点検出エリアの位置情報（画像内での焦点検出エリアのＸＹ位置とその大きさ）を取得する。

そして、注目領域設定部２１は、上記の焦点検出エリアの位置を基準として、撮影画像の一部に注目領域を設定する。一の実施形態での注目領域設定部２１は、焦点検出エリアを中心とする撮影画像内の矩形の部分領域を注目領域とする。このとき、注目領域設定部２１は、撮影画像において焦点検出エリアに対応する範囲をそのまま注目領域としてもよい。なお、図３は、撮影画像における注目領域の設定例を示している。図３では、焦点検出エリアの情報を矩形の枠で示しており、この焦点検出エリアがそのまま注目領域として設定されるものとする。なお、図３での注目領域は、撮影画像上の岩の部分と重なっている。

ステップＳ１０４：度数分布生成部２２は、撮影画像の注目領域に含まれる各画素の色相成分（Ｈ）に注目し、注目領域内での色相成分と画素数との対応関係を示す度数分布を求める。

ここで、図４は、図３の撮影画像に対応する色相成分のヒストグラムを示す。図４の横軸は、８ｂｉｔの色相値（０−２５５）を示し、図４の縦軸は各々の色相値に対応する画素数（頻度）を示している。この図４の例では、縦軸の画素数を８ｂｉｔ（０−２５５）の範囲に正規化した状態で示している。また、図４において、注目領域内での色相成分と画素数との対応関係を示すヒストグラムは実線で示している。なお、図４では、上記の比較例として、撮影画像全体での色相成分と画素数との対応関係を示すヒストグラムを破線で示している。

図３の撮影画像は、画像全体において木や芝生による緑色の部分の比率が高く、注目領域に対応する岩の部分は相対的に比率が小さい。そのため、図４の破線で示す画像全体のヒストグラムでは、緑の色相の範囲（色相値５０の周辺）における頻度が非常に高く、岩の色相の範囲（色相値１００−１８０の周辺）における頻度は相対的に低くなってしまう。

一方、図３の撮影画像の注目領域では、岩の部分の比率が非常に高く、緑色の部分はほとんど含まれていない。そのため、図４の実線で示す注目領域のヒストグラムでは、岩の色相の範囲における頻度が非常に高く、緑の色相の範囲における頻度はゼロに近くなる。よって、注目領域での色相成分の度数分布には、焦点検出エリアの位置にある被写体（岩）の色相の特徴がよく反映されていることが分かる。

ステップＳ１０５：ＣＰＵ１４は、注目領域での色相成分の度数分布（Ｓ１０４で求めたもの）につき、隣接する色相間で頻度の変化を平滑化する。具体的には、ＣＰＵ１４は、度数分布の各色相成分に対して、色相値が１ずつ異なる２つの色相成分との間で頻度の平滑化を行う平滑化フィルタ（１／４[１，２，１]の平滑化フィルタ）をそれぞれ適用する。このＳ１０５の処理は、図４に示す実線のヒストグラムの横軸方向に平滑化フィルタをかけて、ヒストグラムの曲線を滑らかにすることに相当する。なお、ＣＰＵ１４は、上記の処理において周期境界条件を適用し、色相値の上限（色相値２５５）および下限（色相値０）を連続するものとして扱う。これにより、色相値の上限および下限でも頻度の平滑化が可能となる。

また、Ｓ１０５の処理において、度数分布の頻度の平滑化をある程度まで行うと、後述の主要色成分の範囲を設定し易くなる。その一方で、度数分布の頻度の平滑化を過度に行うと、色相成分に基づいて領域分割を行う位置があいまいとなる傾向がある。よって、Ｓ１０５の処理で平滑化を行う回数は、上記の事情を考慮してＣＰＵ１４が適宜設定する。なお、一の実施形態の例では、ＣＰＵ１４が３回程度まで平滑化の処理を行うものとする。

ステップＳ１０６：色成分解析部２３は、注目領域での色相成分の度数分布（Ｓ１０５で平滑化されたもの）に基づいて、注目領域における主要色成分の範囲を少なくとも１以上設定する。一例として、色成分解析部２３は、以下の（イ）から（ハ）の処理により、主要色成分の範囲の設定を行う。

（イ）色成分解析部２３は、平滑化後の度数分布において色相値と頻度との対応関係を示す分布関数（図４の実線のヒストグラムを平滑化したものに相当する）を参照し、上記の分布関数で頻度がピークとなる位置（色相値）を主要色成分の候補とする。勿論、上記の主要色成分の候補は複数であってもよい。

具体的には、まず、色成分解析部２３は、上記の分布関数の横軸方向（色相値の変化する方向）において、頻度分布が極大値となる位置（あるいは分布関数の横軸方向で頻度の差分の符号が正から負へ変化する位置）を求める。そして、色成分解析部２３は、分布関数から求めた上記の位置（色相値）のうち、頻度の値が閾値未満となるものを除外して主要色成分の候補とする。なお、一の実施形態では、主要色成分の候補を絞り込む閾値を８ｂｉｔの階調（０−２５５）で７０に設定した。

（ロ）色成分解析部２３は、上記の主要色成分の候補のうちから、頻度の値の高さに注目して主要色成分の色相値を決定する。具体的には、色成分解析部２３は、上記の主要色成分の候補のうちから、頻度の値が高い順に主要色成分の色相値を所定数まで選択する。なお、一の実施形態での色成分解析部２３は、主要色成分の色相値を２つまで選択するものとする。

（ハ）色成分解析部２３は、上記の分布関数を参照し、注目する主要色成分の色相値に基づいて主要色成分の範囲を設定する。なお、色成分解析部２３は、上記（ロ）で選択された各々の主要色成分の色相値について、主要色成分の範囲をそれぞれ設定する。

具体的には、色成分解析部２３は、上記の分布関数の横軸方向において、注目する主要色成分の色相値の周囲に生じる谷の位置を探索する。このとき、色成分解析部２３は、頻度分布が極小値となる位置（あるいは分布関数の横軸方向で頻度の差分の符号が負から正に変化する位置）を求めればよい。また、色成分解析部２３は、上記の谷を探索するときも、頻度の値が閾値（例えば８ｂｉｔの階調で７０）以上となる位置を除外するものとする。そして、色成分解析部２３は、注目する各主要色成分の色相値を中心として、それぞれ左右に隣接する２つの谷までの色相値の範囲を各主要色成分の範囲とする。

なお、一の実施形態では、複数の主要色成分の範囲のうち、主要色成分での色相値の頻度が１番高くなったものを第１の主要色成分の範囲と称する。また、主要色成分での色相値の頻度が２番目高いものを第２の主要色成分の範囲と称する。

ステップＳ１０７：領域分割部２４は、撮影画像の各画素の色相値に基づいて、撮影画像の領域分割を行う。具体的には、領域分割部２４は、撮影画像の各画素の色相値がいずれの主要色成分の範囲（Ｓ１０６）に属するかによって分類する。次に、領域分割部２４は、上記の分類結果に基づいて、撮影画像で同一の主要色成分の範囲に属する画素をそれぞれグループ化して領域分割を行う。

また、Ｓ１０７での領域分割部２４は、以下のいずれかの方法（あるいはその組み合わせ）により、撮影画像から主要被写体の領域を抽出してもよい。

例えば、領域分割部２４は、撮影画像において、第１の主要色成分の範囲に属する領域を主要被写体の領域としてもよい。また、領域分割部２４は、主要色成分の範囲に属する領域のうち、注目領域と重なる度合いの高い領域（あるいは注目領域により近い領域）を主要被写体の領域としてもよい。さらに、領域分割部２４は、撮影情報に含まれる撮像装置のシーンモードの設定情報を考慮して、主要被写体の領域を決定してもよい。

一例として、シーンモードが「ポートレート撮影」である場合、領域分割部２４は、画像内でのまとまりが大きな領域を優先的に主要被写体の領域としてもよい。また、領域分割部２４は、シーンモードが「風景撮影」である場合、画像内に大きく広がっている領域を優先的に主要被写体の領域としてもよい。

なお、画像内での領域のまとまりや広がりを判断するときには、領域分割部２４は、各領域で画像の２次モーメントを求めればよい。このとき、重心周りのモーメントが小さければ領域が広がっている傾向にあると判断でき、重心周りのモーメントが大きければ領域がまとまっている傾向にあると判断できる。

ここで、図５は、注目領域の主要色成分の範囲に基づいて、図３の撮影画像を領域分割した例を示す図である。図５の赤色の箇所は、第１の主要色成分の範囲に対応する。また、図５の緑色の箇所は、第２の主要色成分の範囲に対応する。また、図５の黒色の箇所は、色相値がいずれの主要色成分の範囲にも属さない部分を示している。

一般的に、電子カメラなどの撮像装置で撮影画像を取得する場合、主要被写体にピントを合わせた状態で撮影が行なわれる。そのため、焦点検出エリアに対応する被写体は、主要被写体である可能性が非常に高い。図５の例によれば、第１の主要色成分の範囲（赤色）は、焦点検出エリアの位置にある被写体（岩）の部分によく一致し、岩の周囲にある芝生や木の部分は黒色となっている。そのため、一の実施形態による領域分割処理では、撮影画像から主要被写体を精度よく抽出できていることが分かる。

また、図５の比較例として、撮影画像全体の色相の度数分布情報から決定した主要色成分によって、図３の撮影画像を領域分割した例を図６に示す。この図６の例では、主要色成分の範囲を赤色で示し、主要色成分の範囲に属さない部分は黒色で示している。この図６の比較例では、焦点検出エリアの位置にある被写体が黒色で示されており、主要色成分によって主要被写体を抽出できていないことが分かる。

ステップＳ１０８：ＣＰＵ１４は、Ｓ１０７の処理による領域分割結果を出力する。一例として、ＣＰＵ１４は、領域分割した撮影画像（図５）をモニタ１９に表示させる。また、ＣＰＵ１４は、上記の領域分割結果を、処理対象の画像ファイルと対応付けて記憶装置１３などに記録してもよい。なお、ＣＰＵ１４は、領域分割の結果を用いて、画像ファイルに含まれる撮影画像に対して各種の画像処理（例えば、主要被写体を除いた背景領域に対するぼかし処理など）を施すこともできる。以上で、図２の流れ図の説明を終了する。

上記の一の実施形態の画像処理装置は、焦点検出エリアの位置に基づいて、撮影画像の一部に注目領域を設定し（Ｓ１０３）、この注目領域内での色相成分と画素数との対応関係を示す度数分布から主要色成分の範囲を設定する（Ｓ１０４、Ｓ１０６）。そして、画像処理装置は、各画素の色相値が主要色成分の範囲に属するかによって、撮影画像の領域分割を行う（Ｓ１０７）。これにより、一の実施形態では、主要被写体の種類や色が予め特定されていない撮影画像を対象として、色相の情報による領域分割で主要被写体の抽出を行うことができる。

＜他の実施形態の説明＞
図７は、他の実施形態における電子カメラの構成例を示すブロック図である。電子カメラ３１は、フォーカシングレンズ３２と、レンズ駆動部３３と、撮像素子３４と、制御部３５と、ＲＯＭ３６と、メインメモリ３７と、モニタ３８と、記録Ｉ／Ｆ３９と、レリーズ釦４０とを有している。ここで、レンズ駆動部３３、撮像素子３４、ＲＯＭ３６、メインメモリ３７、モニタ３８、記録Ｉ／Ｆ３９およびレリーズ釦４０は、それぞれ制御部３５に接続されている。

フォーカシングレンズ３２は、焦点調節を行うためのレンズである。このフォーカシングレンズ３２のレンズ位置は、レンズ駆動部３３によって光軸方向に調整される。

撮像素子３４は、フォーカシングレンズ３２を含む撮像光学系によって結像される被写体の像を撮像し、カラーの撮影画像の画像信号を生成する。なお、撮像素子３４から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部３５に入力される。

ここで、電子カメラ３１の撮影モードにおいて、撮像素子３４はレリーズ釦４０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子３４は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ３８での動画像表示や制御部３５による各種の演算処理に使用される。

制御部３５は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、制御部３５は、スルー画像のデータを用いて、それぞれ公知のオートフォーカス（ＡＦ）制御や自動露出（ＡＥ）演算を実行する。また、制御部３５は、ＲＯＭ３６に格納されたプログラムの実行により、画像処理部４１、注目領域設定部４２、度数分布生成部４３、色成分解析部４４、領域分割部４５として機能する。

画像処理部４１は、撮影画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。なお、注目領域設定部４２、度数分布生成部４３、色成分解析部４４、領域分割部４５の機能は、上記の一の実施形態とほぼ同様である。

ＲＯＭ３６には、制御部３５によって実行されるプログラムが記憶されている。なお、このプログラムによる撮影モードでの動作例については後述する。また、メインメモリ３７は、画像処理部４１による画像処理の前工程や後工程で画像のデータを一時的に記憶する。また、モニタ３８は、制御部３５の指示に応じて各種画像を表示する。

記録Ｉ／Ｆ３９は、不揮発性の記憶媒体３９ａを接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３９は、コネクタに接続された記憶媒体３９ａに対してデータの書き込み／読み込みを実行する。上記の記憶媒体３９ａは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図７では記憶媒体３９ａの一例としてメモリカードを図示する。

レリーズ釦４０は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。

次に、図８の流れ図を参照しつつ、他の実施形態の電子カメラ３１における撮影モードでの動作例を説明する。

この撮影モードでの電子カメラ３１は、注目領域から求めた主要色成分の範囲に基づいてスルー画像の領域分割を行うとともに、この領域分割の結果に基づいてＡＥのアルゴリズムを切り替える。なお、図８の流れ図の処理は、制御部３５の制御によって、ユーザの撮影モードの起動操作に応じて開始される。

ステップＳ２０１：制御部３５は、撮像素子３４を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。なお、撮像素子３４から出力されたスルー画像のデータは、制御部３５に入力される。

また、撮影モードでの制御部３５は、スルー画像から生成された表示用の画像（ビュー画像）をモニタ３８に動画表示させる。したがって、ユーザは、モニタ３８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。

ステップＳ２０２：制御部３５は、レリーズ釦４０の半押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３５はレリーズ釦４０の半押し操作を待機する。

ステップＳ２０３：制御部３５は、スルー画像を用いて、公知のコントラスト検出方式によるＡＦを行う。上記のＡＦにおいて、制御部３５は、至近優先や中央優先などのアルゴリズム（またはユーザのマニュアルでの指定）に基づいて撮影画面（スルー画像の撮影範囲）内に焦点検出エリアを設定し、この焦点検出エリアの被写体にピントが合うようにフォーカシングレンズ３２の位置を調整する。そして、制御部３５は、ＡＦ後に処理対象のスルー画像を取得するものとする。

ステップＳ２０４：画像処理部４１は、処理対象のスルー画像（Ｓ２０３）の色空間をＨＳＶ色空間（またはＨＬＳ色空間）に変換する。なお、Ｓ２０４の処理は、図２のＳ１０２の処理に対応するので重複説明を省略する。

ステップＳ２０５：注目領域設定部４２は、Ｓ２０３の焦点検出エリアの位置（撮影画面内での焦点検出エリアのＸＹ位置）を基準として、処理対象のスルー画像の一部に注目領域を設定する。Ｓ２０５での注目領域設定部４２は、撮影画面内で焦点検出エリアに対応する範囲をそのまま注目領域とする。

ステップＳ２０６：度数分布生成部４３は、処理対象のスルー画像の注目領域に含まれる各画素の色相成分（Ｈ）に注目し、注目領域内での色相成分と画素数との対応関係を示す度数分布を求める。なお、Ｓ２０６の処理は、図２のＳ１０４の処理に対応するので重複説明を省略する。

ステップＳ２０７：制御部３５は、注目領域での色相成分の度数分布（Ｓ２０６で求めたもの）につき、隣接する色相間で頻度の変化を平滑化する。なお、Ｓ２０７の処理は、図２のＳ１０５の処理に対応するので重複説明を省略する。

ステップＳ２０８：色成分解析部４４は、注目領域での色相成分の度数分布（Ｓ２０７で平滑化されたもの）に基づいて、注目領域における主要色成分の範囲を少なくとも１以上設定する。なお、Ｓ２０８の処理は、図２のＳ１０６の処理に対応するので重複説明を省略する。

ステップＳ２０９：領域分割部４５は、処理対象のスルー画像における各画素の色相値に基づいて、スルー画像の領域分割を行う。そして、領域分割部４５は、領域分割後のスルー画像から主要被写体の領域を抽出する。なお、Ｓ２０９の処理は、図２のＳ１０７の処理に対応するので重複説明を省略する。

ステップＳ２１０：制御部３５は、主要被写体の領域（Ｓ２０９で求めたもの）の情報を用いて撮影条件を調整する。

一例として、Ｓ２１０での制御部３５は、撮影画面に対する主要被写体の領域の広がり具合に応じてＡＥのアルゴリズムを変更する。具体的には、主要被写体の領域がまとまっている場合には、制御部３５はスポット測光でＡＥ演算を行う。一方、主要被写体の領域が広がっている場合には、制御部３５は分割測光でＡＥ演算を行う。

他の例として、Ｓ２１０での制御部３５は、主要被写体の領域の広がりと色相成分とに基づいて、シーンモードの設定を切り替えてもよい。具体的には、主要被写体の領域がまとまっており、かつ、主要被写体の領域の色相が肌色に近い場合には、制御部３５は、シーンモードを「ポートレート撮影」に設定する。また、主要被写体の領域が広がっており、かつ、主要被写体の領域の色相が緑色に近い場合には、制御部３５は、シーンモードを「風景撮影」に設定する。

ステップＳ２１１：制御部３５は、レリーズ釦４０の全押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２１２に処理が移行する。

ステップＳ２１２：制御部３５は、レリーズ釦４０の半押し操作が解除されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御部３５はＳ２０２に戻って上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３５はＳ２１１に戻ってレリーズ釦４０の全押し操作を待機する。

ステップＳ２１３：制御部３５は、レリーズ釦４０の全押しに応じて、撮像素子３４を駆動させて本画像の撮像処理を実行する。本画像のデータは、画像処理部４１で所定の処理が施された後に記録Ｉ／Ｆ３９を介して記憶媒体３９ａに記録される。以上で、図８の流れ図の説明を終了する。

他の実施形態の電子カメラ３１は、一の実施形態とほぼ同様のアルゴリズムによって、スルー画像の領域分割を行うとともに、主要被写体の領域を抽出する。そして、電子カメラ３１は、主要被写体の領域の情報を用いて、ＡＥ演算やシーンモードの設定などを行う。したがって、他の実施形態の電子カメラ３１は、スルー画像の情報から多様な主要被写体の抽出を精度よく行うことができ、かつ主要被写体に合わせた撮影条件で良好な撮影画像を取得できる。

＜実施形態の補足事項＞
（１）上記の各実施形態では、注目領域設定部、度数分布生成部、色成分解析部、領域分割部の機能をプログラムによってソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いて上記の各部をハードウエア的に実現しても勿論かまわない。

（２）上記の他の実施形態では、コンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが勿論可能である。なお、本発明を一眼レフレックス型の電子カメラに適用する場合には、本画像を撮像する撮像素子によってスルー画像を撮像してもよく、また、本画像を撮像する撮像素子とは別にスルー画像を撮像するための撮像素子を設けてもよい。

また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。

（３）上記の一の実施形態において、撮影情報から焦点検出エリアの位置を取得できない場合、注目領域設定部２１は、例えば撮影画像の中心位置で縦横がそれぞれ１／４のサイズの注目領域を設定してもよい。

（４）上記の一の実施形態において、画像処理装置は、画像ファイルの撮影画像よりも画像サイズが小さい縮小画像（例えば、撮影画像を間引いた画像など）を処理対象として、上記の領域分割処理を行ってもよい。

（５）上記の各実施形態では、処理対象の画像をＨＳＶ色空間またはＨＬＳ色空間に変換する例を説明したが、他の色空間に変換するものでもよい。一例として、Ｌ^＊ａ^＊ｂ^＊色空間の場合、度数分布生成部は注目領域の各画素をａ^＊ｂ^＊平面上にマッピングし、ａ^＊ｂ^＊平面の色座標（０，０）を中心とする回転方向での度数分布を求めればよい。

（６）上記の一の実施形態において、Ｓ１０６での色成分解析部２３は、分布関数上のピークおよび谷の位置を予め探索した後に、頻度の値の高さに応じて主要色成分の範囲を順次決定してもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…コンピュータ、１４…ＣＰＵ、２１，４２…注目領域設定部、２２，４３…度数分布生成部、２３，４４…色成分解析部、２４，４５…領域分割部、３１…電子カメラ、３５…制御部

特開２００１−１４４５７

Claims (5)

1. 撮像装置で撮影された撮影画像と該撮影画像を撮影したときの焦点検出エリアの位置情報とを取得するとともに、前記焦点検出エリアの位置情報を用いて前記撮影画像の一部に、前記撮影画像のサイズよりも小さい注目領域を設定する注目領域設定部と、
   前記注目領域での色成分の度数分布を求める度数分布生成部と、
   前記度数分布に基づいて、前記注目領域の主要色成分を少なくとも１以上設定する色成分解析部と、
   前記注目領域から色成分の度数分布を求めるときに用いた撮影画像を処理対象として、前記撮影画像の各位置の色成分が前記注目領域の主要色成分に属するか否かにより領域分割を行う領域分割部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記色成分として色相の情報を用いることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記領域分割部は、前記度数分布での色成分の頻度が最も高い値を示す前記主要色成分に基づいて、前記撮影画像から主要被写体の領域を抽出することを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置を備えることを特徴とするカメラ。
5. 撮像装置で撮影された撮影画像と該撮影画像を撮影したときの焦点検出エリアの位置情報とを取得するとともに、前記焦点検出エリアの位置情報を用いて前記撮影画像の一部に、前記撮影画像のサイズよりも小さい注目領域を設定する注目領域設定処理と、
   前記注目領域での色成分の度数分布を求める度数分布生成処理と、
   前記度数分布に基づいて、前記注目領域の主要色成分を少なくとも１以上設定する色成分解析処理と、
   前記注目領域から色成分の度数分布を求めるときに用いた撮影画像を処理対象として、前記撮影画像の各位置の色成分が前記注目領域の主要色成分に属するか否かにより領域分割を行う領域分割処理と、
   をコンピュータに実行させることを特徴とするプログラム。