JP6265640B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置および撮像装置に係る発明である。

従来の画像処理装置では、画像内の領域を検出する際、予め決められた色範囲に該当する領域を検出するものであった。

特許文献１は、色差信号から定まる色相と肌色の色相範囲の代表値とを比較し、また、色差信号から定まる飽和度と輝度信号とを比較して、それらの結果から肌色領域か否かを判別している。

また、特許文献２では、輝度信号と第一の色差成分Ｃｒとから第一の肌色度を算出し、輝度信号と第二の色差成分（Ｃｂ＋Ｃｒ）とから第二の肌色度を算出し、第一色差成分と第二色差成分とが所定の範囲に収まる領域を肌色領域としている。

特開平７−２３１４５４号公報 特開２００８−２５２４７５号公報

特許文献１，２の方法では、予め決められた肌色の色相範囲との比較で肌色領域を判定するため、人種や個人差による肌色の違いを精度よく判定できず、異なる色として判定される問題がある。また、これらの色の違いを包含するよう色範囲を広く設定した場合には、本来肌色ではない物まで肌色として誤って判定される問題がある。

本発明の目的は、類似色の領域を精度よく検出することである。

本発明の態様の１つである画像処理装置は、画像のうち所定領域を指定する領域指定部と、画像内の少なくとも一部の画素又は小領域の色相角を算出し、前記所定領域内の画素又は小領域の色相角から前記所定領域内の基準色相角を算出する色相角算出部と、画像内の少なくとも一部の画素又は小領域の色空間座標を算出し、前記所定領域内の画素又は小領域の色空間座標から前記所定領域内の基準色空間座標を算出する色空間座標算出部と、少なくとも前記基準色相角と前記色相角との差と、前記基準色空間座標と前記色空間座標との色差と、に基づいて、前記画像から類似色領域を抽出する領域抽出部と、を有し、前記領域抽出部は、前記基準色相角と前記色相角との差が第１の範囲内に収まる画素又は小領域で構成され、かつ、前記基準色空間座標と前記色空間座標との色差が第２の範囲内に収まる画素又は小領域で構成される前記類似色領域を前記画像から抽出することを特徴とする。なお、本発明のその他の態様については、以下で説明する実施の形態で明らかにする。

本発明の画像処理装置あるいは画像処理方法によって、類似色の領域を精度よく抽出することができる。

実施形態１に係る画像処理装置を含む撮像装置の一例を示す図 実施形態１に係る画像処理方法の一例を示すフローチャート 実施形態１の領域指定と類似色領域抽出を説明するための図 実施形態１に係るコンピュータの構成一例を示す図 実施形態２に係る画像処理装置を含む撮像装置の一例を示す図 実施形態２に係る画像処理方法の一例を示すフローチャート 実施形態２の領域指定と類似色領域抽出を説明するための図 実施形態３に係る画像処理装置を含む撮像装置の一例を示す図 実施形態３に係る画像処理方法の一例を示すフローチャート 実施形態３の立体色空間と類似色領域を説明するための図 実施形態４に係る画像処理方法の一例を示すフローチャート 実施形態４に係る画像処理方法の一例を示すフローチャート 実施形態５に係る画像処理装置を含む撮像装置の一例を示す図 実施形態５に係る画像処理方法の一例を示すフローチャート 実施形態５の立体色空間と類似色領域を説明するための図 実施形態６に係る画像処理方法の一例を示すフローチャート 実施形態６に係る画像処理方法の一例を示すフローチャート 実施形態７に係る画像処理装置を含む撮像装置の一例を示す図 実施形態７に係る画像処理方法の一例を示すフローチャート 実施形態８に係る画像処理方法の一例を示すフローチャート 実施形態８に係る画像処理方法の一例を示すフローチャート 実施形態８に係る画像処理方法の一例を示すフローチャート 実施形態９に係る画像処理装置を含む撮像装置の一例を示す図 実施形態９に係る画像処理方法の一例を示すフローチャート 実施形態９の領域指定と類似色領域抽出を説明するための図 実施形態１０に係る画像処理方法の一例を示すフローチャート 実施形態１０の領域指定と類似色領域抽出を説明するための図 実施形態１１に係る画像処理方法の第２フレーム以降のフローチャートの一例

本発明で用いる基準色とは、基準色相角、基準色空間座標、基準クロマティクネス指数のことである。この基準色の算出方法は後述する。

また、類似色領域とは、少なくとも以下の領域（１）を含む領域である。さらに、類似色領域は、以下の（２）乃至（６）のうち少なくとも一つをさらに含む領域である。つまり、類似色領域は、例えば、領域（１）と領域（２）とが重なる領域を指す場合もあるし、領域（１）、（２）、（６）のような３つ以上の領域が重なる領域を指す場合もある。
（１）基準色相角と色相角との差が所望の範囲（第１の範囲）内に収まる画素又は小領域で構成される色相角領域
（２）、基準色空間座標と色空間座標との差が所望の範囲（第２の範囲）内に収まる画素又は小領域で構成される色空間領域
（３）基準クロマティクネス指数とクロマティクネス指数との差が所望の範囲（第３の範囲）内に収まる画素又は小領域で構成されるクロマティクネス指数領域
（４）明度が所望の明度以下である画素又は小領域で構成される暗部領域以外の領域
（５）明度が所望の明度より大きい画素又は小領域で構成される明部領域
（６）マスク内の領域

また、小領域とは複数の画素が集合した領域のことであり、例えば、隣り合う５画素×５画素の領域や、市松模様の様な一画素置きの３画素×３画素の領域のことである。

以下、本発明について、実施形態、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を組み合わせた構成も本発明に含まれる。

（実施形態１）
本実施形態に係る撮像装置１について図１を用いて説明する。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

画像処理装置１３は、信号処理部１３０、メモリ１３１、領域指定部１３２、色相角算出部１３３、領域抽出部１３４などを有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、色空間変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能を有している。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、類似色領域の検出などに提供される。

領域指定部１３２は、類似色領域の抽出において基準色を算出するための所定領域を画像から指定する機能を有する。この領域指定は、ユーザによって画像から指定あるいは選択されてもよいし、画像処理装置１３が自動で指定してもよい。後述する本実施形態の画像処理方法では、ユーザが領域を指定する方法について述べる。

色相角算出部１３３は、画像内の各画素又は各小領域の色相角を算出する機能を有する。さらに、色相角算出部１３３は、領域指定部で指定された領域内の画素又は小領域における色相角から所定領域内の基準色相角を算出する機能も有する。小領域の色相角とは、小領域の重心位置にある画素の色相角あるいは、小領域に含まれる画素の色相角の平均値を指す。

領域抽出部１３４は、少なくとも基準色相角と画像内の各画素又は各小領域の色相角との差に基づいて、画像から類似色領域（上記領域（１））を抽出する機能を有する。より具体的には、領域抽出部１３４は、基準色相角と画像内の各画素又は各小領域の色相角との差が所望の範囲（第１の範囲）内に収まる画素又は小領域で構成される色相角領域を画像から抽出する第１の抽出部（不図示）を有する。これらにより、領域指定部１３２で指定された所定領域内の基準色相角と類似した色相角の画素を画像全体から類似色領域として抽出することができる。

本来同じ色を示す同類の物質であっても影になると色がくすんで異なる色に見えることがある。本発明では本来同類の物質である領域は同じ色の領域に含めるために、照明光が当たる領域（影にならない領域）と影の領域の両方を抽出する必要がある。そこで、本発明では色の判別に色相角を用いている。色相角は彩度（くすみ）が変化しても影響を受けにくく、同類の物質の領域を抽出しやすいため、本実施形態によって精度よく類似色領域を抽出することができる。類似色の判別には、色相角だけを用いてもよいし、後述する実施形態のように色相角と色空間座標や明度情報を組み合わせて用いてもよい。

また、本発明では、Ｓ２２で指定された所定領域４０内の各画素又は各小領域の色相角から基準色相角を算出することで、例えば人種が違う場合、あるいは個人による肌色の差がある場合でも、人それぞれの肌色の領域を類似色領域として抽出することができる。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像光学系１０としては可変焦点の光学系が用いられており、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

制御部１２は、撮像装置１を構成する各部を制御する機能である。制御部１２のその他の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御などがある。

記憶部１４は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリなどが好ましい。

入力部１５は、ユーザが操作し、基準色（基準色相角）を算出するための領域を指定するための入力やマスクを設定するための入力を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスを用いることができる。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示、基準色（基準色相角）算出の為の指示領域の表示、マスクの表示などに利用される。

次に、図２、３を用いて、本実施形態の画像処理装置１３の画像処理方法を説明する。図２は、本実施形態の画像処理方法を示すフローチャートである。図３（ａ）〜（ｃ）はそれぞれ、取得画像の模式図、領域指定を説明するための図、類似色領域を抽出した結果を示す図である。

ユーザが、入力部１５を操作して類似色領域の抽出の実行を指示すると、撮像素子１１から画像の取り込みが開始され、信号処理部１３０及びメモリ１３１を介して取り込まれた画像が表示部１６に順次表示される（Ｓ２０）。図３（ａ）は、表示部１６に表示された画像の一例を示している。画像には、人物３０、木３１、家３２が写っている。

次に、領域指定部１３２が、ユーザに対して基準色相角の算出の為の領域の指定を要求する（Ｓ２１）。例えば、表示部１６に「基準色となる点をタッチしてください」というガイドメッセージを、図３（ａ）の画像に重ねて表示する。ユーザが画像上の任意の点（図３（ｂ）の例では人物３０の顔３０１の中心点３０２）をタッチ（指定）すると、領域指定部１３２がその点３０２を中心に基準色相角を算出する為の所定領域４０を指定する（Ｓ２２）。

一方、色相角算出部１３３は、メモリ１３１に取り込まれた画像を読み出し、画像全体の各画素又は各小領域の色相角を算出する（Ｓ２３）。そして、色相角算出部１３３は、Ｓ２２で指定した所定領域４０内に含まれる画素又は小領域の色相角に基づいて、所定領域４０内の基準色相角を算出する（Ｓ２４）。

基準色相角の求め方としては、例えば、所定領域４０内から尤もらしい色相角の画素を集めて平均値を算出する方法がある。具体的には、最初に所定領域４０に含まれる全画素の色相角の平均値を求め、その色相角の平均値に近い値の色相角を持つ画素のみで再び色相角の平均値を算出して基準色相角とする。これにより、顔の肌色に対して色相角が大きく異なる眼３０３の黒色や口３０４の赤色などのノイズが除去され、被写体の顔の肌色における本来の色相角を精度よく算出することができる。

次に、領域抽出部１３４の第１の抽出部は、Ｓ２３で算出された各画素又は各小領域の色相角とＳ２４で算出された基準色相角との差分（色相角差）を算出する（Ｓ２５）。そして、第１の抽出部は、色相角差が第１の範囲内になる画素を集めて色相角領域として抽出する（Ｓ２６）。第１の範囲は、ＣＩＥ１９７６（Ｌ^＊ａ^＊ｂ^＊）表色系に換算して、色相角差の絶対値が３５（ｄｅｇ）以内となる範囲とする。

そして、抽出した色相角領域においてＳ２４で除外した眼や口などに生じた穴を埋めるなどの領域整形処理（Ｓ２７）を行う。

図３（ｃ）に色相角領域を類似色領域として抽出した結果を示す。被写体である人物３０の顔３０１、首３０５、胸元３０６、右手の拳３０７ａ、左手の拳３０７ｂなど人物の肌が露出した部分が類似色領域（黒塗り箇所）として抽出される。一方、頭３０８の髪や、体３０９の洋服などは類似色領域ではないため抽出されない。

このように、ユーザが指定した領域と同じ色（色相角）あるいは類似の色（色相角）の類似色領域を抽出することで、例えば人物の肌が露出した領域を一括して抽出することが可能となる。また、ユーザが物体の輪郭を見極める必要なく、自動で同一物体を画素単位で抽出できる。

なお、ここで得られた類似色領域は、例えば、同一物体の抽出処理、肌色領域の抽出処理、肌色領域に肌をきれいに見せる画像処理等に利用することができる。

本発明で用いる色相角は、ＣＩＥ Ｌａｂ表色系（Ｌ^＊ａ^＊ｂ^＊表色系）において数１で表されるＨ^＊（ｄｅｇ）を用いることができる。

また、本発明で用いる色相角としては、ＣＩＥ Ｌｕｖ表色系（Ｌ^＊ｕ^＊ｖ^＊表色系）において数２で表現される色相角Ｈ^＊（ｄｅｇ）であってもよい。

また、本発明で用いる色相角としては、ＹＵＶ表色系において数３で表現される色相角Ｈ（ｄｅｇ）であってもよい。

また、本発明で用いる色相角としては、ＹＣｂＣｒ表色系において数４で表現される色相角Ｈ（ｄｅｇ）であってもよい。

また、本発明で用いる色相角としては、ＹＰｂＰｒ表色系において数５で表現される色相角Ｈ（ｄｅｇ）であってもよい。

更に、本発明で用いる色相角としては、ＲＧＢ色空間において数６で表現される色相角Ｈ（ｄｅｇ）であってもよい。

なお、本実施形態の画像処理装置は、コンピュータに適用することも可能である。図４に本実施形態の画像処理装置１３を搭載したコンピュータ２の構成を模式的に示す。また、コンピュータ２には、画像処理装置１３の他に、上述した記憶部１４が含まれる。また、図４の入力部１５、表示部１６としては、上述した構成を用いることができる。また、コンピュータ２は、パーソナルコンピュータでもよいし、クラウド環境におけるサーバーであってもよい。

（実施形態２）
次に、本実施形態について説明する。本実施形態は、撮像装置が検出部から顔検出情報を受取り、顔検出結果から所定領域を指定する点が実施形態１と異なる。以下、実施形態１と異なる部分を中心に説明する。

図５は本実施形態に係る画像処理装置１３を含む撮像装置１の構成を模式的に示しており、撮像装置１は、実施形態１の撮像装置１の構成に対して検出部１７をさらに有している。本実施形態では検出部１７は、具体的には、顔検出を行う機能を有している。

顔検出処理は、画像中の眼、鼻、口など顔の部位の位置関係等から人間や動物の顔の位置や向き、大きさを検出する機能である。この顔検出処理では大凡の顔の位置を把握することができるが、画素単位で顔の輪郭を把握することは難しい。そこで、本実施形態では検出部１７を顔位置の自動入力手段として用い、顔検出結果を基にして基準色相角を算出する為の領域を指定する。

図６は実施形態２に係る画像処理方法を示すフローチャートである。図７（ａ）〜（ｃ）はそれぞれ、顔検出結果、領域指定の説明図、類似色領域（色相角領域）の抽出結果を示す。

図６に示したように、本実施形態ではユーザに領域指示を要求するのではなく、撮像装置１の検出部１７にて顔検出を行っている（Ｓ３１）。より具体的には、以下のとおりである。図７（ａ）に示すように、顔検出処理（Ｓ３１）が実行されると顔検出結果が顔検出枠１７１として表示部１６に表示される。顔検出結果としては、顔検出枠１７１の中心座標と四角形の顔検出枠１７１で表されるものであり、顔の輪郭を画素単位で表現したものではない。また、顔検出枠１７１は、画像中の顔３０１よりも少し大きめに設定される。

そして、その顔検出結果に基づき、領域指定部１３２が、所定領域４０を指定する（Ｓ２２）。図７（ｂ）に示すように、Ｓ２２では、顔検出枠１７１の幅よりも小さい枠と顔検出枠１７１の中心座標とを用いて、画像中の顔３０１内に収まる大きさの所定領域４０を指定する。なお、Ｓ２３〜Ｓ２７については、実施形態１と同様であるため、説明は省略する。

図７（ｃ）には、被写体である人物３０の顔３０１、首３０５、胸元３０６、右手の拳３０７ａ、左手の拳３０７ｂなど人物の肌が露出した部分が類似色領域（黒塗り箇所）として抽出される。一方、頭３０８の髪や、体３０９の洋服などは類似色領域ではないとして抽出されない。

本実施形態によれば、ユーザが物体の輪郭を見極める必要なく、自動で被写体の類似色領域を画素単位で抽出できる。また、色相角を用いて類似色領域（上記領域（１））を抽出しているので、影になって肌色がくすんでしまった場合においても同じ肌色の色相角であると識別することができる。

また、複数人が写った画像等、複数人分の顔検出結果が得られる画像においては、それぞれの顔検出結果を基にして各人の顔に所定領域を指定し、人それぞれの肌色における基準色相角を算出し、その人における類似色領域を抽出すればよい。これにより、人種や個人差、照明環境の相違による肌色の違いがあっても、各人の肌色を精度よく検出し、各人で類似色領域を抽出することが可能となる。

（実施形態３）
本実施形態は、色相角領域と色空間領域の２つの色情報を用いて領域を抽出した点が実施形態２と異なる。以下、実施形態２と異なる部分を中心に説明する。

図８（ａ）は、本実施形態に係る画像処理装置１３を含む撮像装置１の構成を模式的に示している。撮像装置１は、実施形態２の撮像装置１に対してさらに色空間座標算出部１３５を有する構成である。色空間座標算出部１３５は、画像内の各画素又は各小領域の色空間座標を算出し、算出された色空間座標から所定領域の基準色空間座標を算出する。また、領域抽出部１３４は、上述した色相角領域を抽出する第１の抽出部（不図示）の他に、基準色空間座標と色空間座標との色差が第２の範囲内に収まる画素又は小領域で構成される色空間領域を抽出する第２の抽出部（不図示）を有している。

図９は、本実施形態の画像処理方法を示すフローチャートである。本実施形態の画像処理方法では、Ｓ３１、Ｓ２２〜Ｓ２６までは実施形態２と同じであるため、説明は省略する。

色空間座標算出部１３５は、Ｓ２０で取り込んだ画像から各画素又は各小領域の色空間座標を算出する（Ｓ３３）。また、色空間座標算出部１３５は、Ｓ２２で指定された所定領域内に含まれる画素の色相角に基づいて、所定領域内の基準色空間座標を算出する（Ｓ３４）。

そして、領域抽出部１３４の第２の抽出部は、Ｓ３３で算出された各画素又は各小領域の色空間座標とＳ３４で算出された基準色空間座標とから色差を求める（Ｓ３５）。そして、第２の抽出部は、色差が所定の範囲（第２の範囲）内の画素の集合領域を色空間領域として抽出する（Ｓ３６）。

更に、領域抽出部１３４は、Ｓ２６で抽出された色相角領域と、Ｓ３６で抽出された色空間領域との両方を包含する領域を類似色領域として画像から抽出する領域統合処理を行う（Ｓ４０）。さらに、領域抽出部１３４は、穴埋め等の領域整形処理を行う（Ｓ２７）。

図１０を用いて、立体色空間と本実施形態の類似色領域の範囲についてより具体的に説明する。図１０（ａ）にＬ^＊ａ^＊ｂ^＊表色系における立体色空間の図を示す。図１０（ｂ）にＬ^＊ａ^＊ｂ^＊表色系のある明度指数Ｌ^＊におけるａ^＊ｂ^＊断面図を示す。

図１０（ａ）に示したように、Ｌ^＊ａ^＊ｂ^＊表色系における立体色空間は、明度指数Ｌ^＊、クロマティクネス指数ａ^＊，ｂ^＊を直交軸とした３次元色空間であり球体で表現される。また、色相角Ｈ^＊は、ａ^＊ｂ^＊断面図内における色座標（ａ^＊，ｂ^＊）と、軸ａ^＊と軸ｂ^＊との交点と、を結んだ線が、軸ａ^＊と成す角度である。彩度Ｃ^＊はａ^＊ｂ^＊断面図内における色座標（ａ^＊，ｂ^＊）と、軸ａ^＊と軸ｂ^＊との交点と、の間の距離である。また、色差とは、第１の色空間座標（Ｌ^＊ _１，ａ^＊ _１，ｂ^＊ _１）と第２の色空間座標（Ｌ^＊ _２，ａ^＊ _２，ｂ^＊ _２）との距離である。なお、本実施形態では、第１の色空間座標もしくは第２の色空間座標のうち一方が、各画素又は各小領域の色空間座標であり、もう一方が基準色空間座標に対応する。

基準色相角算出工程（Ｓ２４）では、領域指定工程（Ｓ２２）で指定された領域内の基準色相角を算出するが、その基準色相角が図１０（ｂ）中のＨ^＊ _ｏであり、立体色空間では、線１１０１を含み軸Ｌ^＊方向に延びた平面を意味する。

色相角領域抽出工程（Ｓ２６）では、基準色相角Ｈ^＊ _ｏに対して閾値以内の色相角を有する領域を抽出する。具体的には、閾値は±３５（ｄｅｇ）であり、第１の範囲は、色相角差の絶対値が３５（ｄｅｇ）以内となる範囲である。より具体的に表すと、第１の範囲は、色相角Ｈ^＊がＨ^＊ _ｏ−３５（ｄｅｇ）以上Ｈ^＊ _ｏ＋３５（ｄｅｇ）以下の範囲である。図１０（ｂ）中での色相角の範囲は、線１１０１を中心として＋３５（ｄｅｇ）の線１１０２から−３５（ｄｅｇ）の線１１０３の範囲にある色相角を類似色相角範囲１１０４としている。また、立体色空間では、扇形の類似色相角範囲１１０４が軸Ｌ^＊方向に延びた形状である。

一方、基準色空間座標算出工程（Ｓ３４）では、領域指定工程（Ｓ２２）で指定された所定領域内の基準色空間座標を算出するが、その基準色空間座標（Ｌ^＊ _ｏ，ａ^＊ _ｏ，ｂ^＊ _ｏ）は図１０（ｂ）中では点１１０５で表現される。色空間領域抽出工程（Ｓ３６）では、基準色空間座標（Ｌ^＊ _ｏ，ａ^＊ _ｏ，ｂ^＊ _ｏ）と各画素又は各小領域の色空間座標（Ｌ^＊ _ｉ，ａ^＊ _ｉ，ｂ^＊ _ｉ）との距離（色差）が第２の範囲内である画素を抽出する。具体的には、第２の範囲は、ＣＩＥ１９７６（Ｌ^＊ａ^＊ｂ^＊）表色系に換算して、基準色空間座標と色空間座標との色差ΔＥ^＊ａｂの絶対値が４５以下である。図１０（ｂ）では、第２の範囲に含まれる類似色空間範囲１１０６は円であり、実際には、その範囲は立体色空間中で球である。

そして、領域統合処理工程（Ｓ４０）により、類似色相角範囲１１０４内の色相角を有する画素の集合領域と、類似色空間範囲１１０６内の色空間座標を有する画素の集合領域との両方を包含する統合領域１１０７に該当する画素が抽出される。図１０（ｂ）では、統合領域１１０７は斜線でハッチングされたエリアであり、色空間では立体的な広がりを持つ。

このように、本実施形態では色相角と色差と性質の異なる２つの色情報を用いたので、類似色領域（上記領域（１）と上記領域（２）とが重なる領域）をより精度よく抽出できる。色相角で検出する場合は彩度方向を許容するので被写体の凹凸によって影になった部分の色がくすんで彩度が落ちても同じ色相角と認識する。色差は人間が知覚する色の違いを表すが、本実施形態では彩度や明度が基準色空間から極端に大きく変化しない範囲を抽出している。これにより、同一被写体内の類似色を識別する能力が高まり、類似色領域を精度よく抽出することができる。

本実施形態では、色差にＣＩＥ １９７６ のＬ^＊ａ^＊ｂ^＊、色差ΔＥ^＊ａｂを用いて説明したが、これに限ったものではなく、例えばＣＩＥ １９７６ のＬ^＊ｕ^＊ｖ^＊色差ΔＥ^＊ｕｖ や、ＣＩＥ ２０００色差ΔＥ００を用いてもよい。特にＣＩＥ ２０００色差ΔＥ００は色差の彩度依存性、色相依存性、明度依存性が考慮されているので、これを用いるとよい。

色差は彩度や明度が基準色空間から極端に大きく変化しない範囲を同時に抽出することができるが、色差の代わりに、彩度の識別工程と明度の識別工程を別々に設けても良い。

また、基準色空間算出工程（Ｓ３３）におい、ノイズを除去した所望の基準色空間を求めるとよい。

（実施形態４）
本実施形態では、実施形態３とは異なる態様の、基準色相角と色相角との差が所望の範囲内に収まり、且つ、基準色空間座標と色空間座標との差（色差）が所望の範囲内に収まる画素又は小領域で構成される類似色領域を抽出する方法について述べる。

一例として、図１１のような画像処理方法を用いてもよい。Ｓ２０，Ｓ３１，Ｓ２２〜Ｓ２６までは実施形態５と同じなので説明は省略する。

次に、色空間座標算出部１３５は、画像内の各画素又は各小領域の色空間座標ではなく、Ｓ２６で抽出された色相角領域の各画素又は各小領域の色空間座標を算出する（Ｓ６３）。また、色空間座標算出部１３５は、Ｓ６３で算出された色空間座標から色相角領域の基準色空間座標を算出する（Ｓ３４）。なお、この例では実施形態３とは異なり、色空間座標算出部１３５は、色相角領域内の各画素又は各小領域の色空間座標を算出し、算出された色空間座標から色相角領域の基準色空間座標を算出する機能を有している。

そして、領域抽出部１３４は、Ｓ６３で算出された各画素又は各小領域の色空間座標とＳ３４で算出された基準色空間座標とから色差を求める（Ｓ３５）。次に、領域抽出部１３４は、色相角領域から、色差が上述した第２の範囲に含まれる画素又は小領域で構成される領域を類似色領域として抽出する（Ｓ５６）。さらに、領域抽出部１３４は、穴埋め等の領域整形処理を行う（Ｓ２７）。

他の例として、図１２のような画像処理方法を用いてもよい。この方法は、色相角領域、色空間領域を抽出せずに、Ｓ２５で算出された基準色相角と色相角との差、及び、Ｓ３５で算出された基準色空間座標と色空間座標の色差に基づいて、類似色領域を抽出する（Ｓ５６）。より具体的には、領域抽出部１３４が、基準色相角と色相角との差が上述した第１の範囲内に収まる画素又は小領域で構成され、かつ、基準色空間座標と前記色空間座標との色差が第２の範囲内に収まる画素又は小領域で構成される類似色領域を画像から抽出する。

（実施形態５）
本実施形態は、色空間座標ではなくクロマティクネス指数を色相角とともに用いて、類似色領域を抽出した点が実施形態３と異なる。以下、実施形態３と異なる部分を中心に説明する。

図１３（ａ）は本実施形態に係る画像処理装置１３を含む撮像装置１の構成を模式的に示している。本実施形態の撮像装置１は、実施形態３の撮像装置１に対して、色空間座標算出部１３５の代わりにクロマティクネス指数算出部１３６を有している。クロマティクネス指数算出部１３６は、画像内の各画素又は各小領域のクロマティクネス指数を算出し、算出されたクロマティクネス指数から所定領域の基準クロマティクネス指数を算出する。また、第１の抽出部（不図示）の他に、基準クロマティクネス指数とクロマティクネス指数との差が第３の範囲内に収まる画素又は小領域で構成されるクロマティクネス指数領域を抽出する第３の抽出部を有している。

図１４のフローチャートを用いて、本実施形態の画像処理方法を説明する。本実施形態の画像処理方法では、Ｓ３１、Ｓ２２〜Ｓ２６までは実施形態２と同じであるため、説明は省略する。

クロマティクネス指数算出部１３６は、Ｓ２０で入力した画像から各画素又は各小領域のクロマティクネス指数ａ^＊又はｂ^＊を算出する（Ｓ４３）。以下では、クロマティクネス指数ａ^＊を用いて説明するが、クロマティクネス指数ｂ^＊を算出しても構わない。次に、クロマティクネス指数算出部１３６は、Ｓ２２で指定された所定領域の画素又は小領域の基準クロマティクネス指数ａ^＊を算出する（Ｓ４４）。

領域抽出部１３４の第３の抽出部は、基準クロマティクネス指数ａ^＊と各画素又は各小領域のクロマティクネス指数ａ^＊とからクロマティクネス指数ａ^＊差を求める（Ｓ４５）。そして、第３の抽出部は、クロマティクネス指数ａ^＊差が第３の範囲内の画素の集合領域をクロマティクネス指数領域として抽出する（Ｓ４６）。第３の範囲は、基準クロマティクネス指数とクロマティクネス指数との差の絶対値が２０以下となる範囲である。

領域抽出部１３４は、Ｓ２６で抽出された色相角領域と、Ｓ４６で抽出されたクロマティクネス指数領域との両方を包含する領域を類似色領域として抽出する領域統合処理を行う（Ｓ４０）。さらに、穴埋め等の領域整形処理を行う（Ｓ２７）。

図１５を用いて立体色空間と本実施形態の類似色領域の検出範囲について説明する。図１５にＬ^＊ａ^＊ｂ^＊表色系のある明度指数Ｌ^＊におけるａ^＊ｂ^＊断面図を示す。

本実施形態の基準色相角算出工程（Ｓ２４）では、領域指定工程（Ｓ２２）で指定された指定領域から基準色相角を算出するが、その基準色相角が図１５中のＨ^＊ _ｏであり、線１３０１を含み軸Ｌ^＊方向に延びた平面上の色空間を意味する。

さらに、色相角領域抽出工程（Ｓ２６）では、上述したように、基準色相角Ｈ^＊ _ｏに対して第１の範囲内の色相角を有する領域を抽出する。

一方、基準クロマティクネス指数ａ^＊算出工程（Ｓ４４）では、領域指定工程（Ｓ２２）で指定された指定領域から基準クロマティクネス指数ａ^＊を算出するが、その基準クロマティクネス指数ａ^＊は図１５中では線１３０６で表現される。類似クロマティクネス指数ａ^＊領域抽出工程（Ｓ４６）では、基準クロマティクネス指数ａ^＊ _ｏと各画素又は各小領域のクロマティクネス指数ａ^＊ _ｉとの差が第３の範囲内である画素を抽出する。具体的には、第３の範囲は、基準クロマティクネス指数とクロマティクネス指数との差の絶対値Δａ^＊が２０以下となる範囲である。この範囲を類似クロマティクネス指数領域としており、図１５中でのクロマティクネス指数の範囲は、線１３０６を中心としてａ^＊ _ｏ＋２０の線１３０７からａ^＊ _ｏ−２０の線１３０８までの範囲１３０９としている。

そして、Ｓ４０により、類似色相角の範囲１３０４内の色相角を有する画素の集合領域と、類似クロマティクネス指数の範囲１３０９内のクロマティクネス指数ａ^＊を有する画素の集合領域との両方を包含する統合領域１３０５の範囲に該当する画素を抽出する。図１５では統合領域１３０５は斜線でハッチングされたエリアであり、色空間では立体的な広がりを持つ。

このように、色相角と、赤系統色から緑系統色の変化を示すクロマティクネス指数を肌色の識別に用いたことにより、類似色領域（上記領域（１）と上記領域（３）とが重なる領域）、特に肌色領域を精度よく抽出できる。これは、肌色はオレンジに近い色なので、赤系統色から緑系統色の変化を示すクロマティクネス指数でその色の変化を敏感に捉えることができるためである。

本実施形態では、赤系統色から緑系統色の変化を示すクロマティクネス指数として、Ｌ^＊ａ^＊ｂ^＊表色系におけるａ^＊を用いて説明したが、これに限ったものではなく、例えばＬ^＊ｕ^＊ｖ^＊表色系におけるｕ^＊などを用いてもよい。

（実施形態６）
本実施形態では、基準色相角と色相角との差が所望の範囲内に収まり、且つ基準クロマティクネス指数とクロマティクネス指数との差が所望の範囲内に収まる画素又は小領域で構成される領域を抽出する、実施形態５とは異なる態様について述べる。

一例として、図１６のような画像処理方法を用いてもよい。Ｓ２０，Ｓ３１，Ｓ２２〜Ｓ２６までは実施形態５と同じなので説明は省略する。

次に、クロマティクネス指数算出部１３６は、画像内の各画素又は各小領域のクロマティクネス指数ではなく、Ｓ２６で抽出された色相角領域の各画素又は各小領域のクロマティクネス指数を算出する（Ｓ７３）。また、クロマティクネス指数算出部１３６は、Ｓ７３で算出されたクロマティクネス指数から色相角領域の基準クロマティクネス指数を算出する（Ｓ４４）。なお、この例では実施形態５とは異なり、クロマティクネス指数算出部１３６は、色相角領域内の各画素又は各小領域のクロマティクネス指数を算出し、算出されたクロマティクネス指数から色相角領域の基準クロマティクネス指数を算出する機能を有している。

そして、領域抽出部１３４は、Ｓ７３で算出された各画素又は各小領域のクロマティクネス指数とＳ４４で算出された基準クロマティクネス指数とからクロマティクネス指数差を求める（Ｓ４５）。次に、領域抽出部１３４は、色相角領域から、クロマティクネス指数差が上述した第３の範囲に含まれる画素又は小領域で構成される領域を類似色領域として抽出する（Ｓ５６）。さらに、領域抽出部１３４は、穴埋め等の領域整形処理を行う（Ｓ２７）。

他の例として、図１７のような画像処理方法を用いてもよい。この方法は、色相角領域、クロマティクネス指数領域を抽出せずに、基準色相角と色相角との差、及び、基準クロマティクネス指数とクロマティクネス指数の色差に基づいて、類似色領域を抽出する（Ｓ５６）。具体的には、領域抽出部１３４が、基準色相角と色相角との差が第１の範囲内に収まる画素又は小領域で構成され、かつ、基準クロマティクネス指数とクロマティクネス指数との差が第３の範囲内に収まる画素又は小領域で構成される類似色領域を画像から抽出する。

（実施形態７）
本実施形態は、抽出した色相角領域から暗部を除外して、所望の領域として抽出する点が実施形態２と異なる。以下、実施形態２と異なる部分を中心に説明する。

本実施形態に係る撮像装置１は、図１８（ａ）で示すように、実施形態２の撮像装置１に対してさらに明度算出部１３７を有している。また、領域抽出部１３４が第１の抽出部（不図示）の他に、画像内の画素又は小領域の明度が所望の明度以下となる暗部領域を抽出する第４の抽出部（不図示）を有している。

図１９は本実施形態の画像処理方法を示すフローチャートである。なお、本実施形態の画像処理方法では、Ｓ３１、Ｓ２２〜Ｓ２６までは実施形態２と同じであるので説明は省略する。

明度算出部１３７は、Ｓ２０で取り込んだ画像から各画素又は各小領域の明度を算出する（Ｓ２８）。そして、領域抽出部１３４内の第４の抽出部は、所定の明度以下である暗部との集合領域である暗部領域を画像から抽出する（Ｓ２９）。

ここで、所定の明度以下とは、例えばγ＝２．２が掛った状態での階調数２５６に対する階調値６０以下、すなわち、最大明度に対する比率が６０／２５６以下をいう。より好ましくは、階調数２５６に対する階調値８０以下、すなわち、最大明度に対する比率が８０／２５６以下である。一般的には、所定の明度は、最大明度に対して１／４の明度に設定すればよい。また、好ましくは、所定の明度は、最大明度に対して１／３の明度に設定すればよい。

そして、領域抽出部１３４は、Ｓ２６で抽出された色相角領域から、Ｓ２９で抽出された暗部領域を除外して類似色領域（上記領域（１）と上記領域（４）とが重なる領域）を抽出する（Ｓ３０）。そして、領域抽出部１３４は、穴埋め等の領域整形処理を行う（Ｓ２７）。

Ｌ^＊ａ^＊ｂ^＊表色系などの立体色空間上において明度の下端では彩度の幅が極端に小さくなり、色相角差で被写体の同一性を識別することが難しくなる。そこで、本実施形態では被写体の同一性を識別することが難しい明度の下端においては、例え色相角の差が類似している領域であっても、色相角領域から除外することにより、被写体の類似色領域を精度よく抽出することができる。

（実施形態８）
実施形態７では、色相角領域と明度が所定の明度以下である暗部領域とを抽出し、色相角領域のうち暗部領域を除外した。これに対して、本実施形態では、基準色相角と色相角との差が所望の範囲内に収まる画素又は小領域であって、且つ、明度が所定の明度より大きい画素又は小領域で構成される領域を抽出する形態について述べる。

一例としては、以下の構成が挙げられる。すなわち、実施形態７の画像処理装置１３とは異なり、領域抽出部１３４は、第１の抽出部（不図示）の他に、画像内の画素又は小領域の明度が所定の明度より大きい明部領域を抽出する第５の抽出部（不図示）を有している。そして、図２０のような画像処理方法を用いることができる。具体的には、実施形態７におけるＳ２９の代わりに、第５の抽出部は、Ｓ２８で算出した各画素又は各小領域の明度と所定の明度とを比較して、明部領域を抽出する（Ｓ３９）。そして、領域抽出部１３４は、Ｓ２６で抽出された色相角領域と、Ｓ３９で抽出された明部領域とが重なる領域を類似色領域（上記領域（１）と上記領域（５）とが重なる領域）として画像から抽出する領域統合処理を行う（Ｓ４０）。さらに、領域抽出部１３４は、穴埋め等の領域整形処理を行う（Ｓ２７）。なお、Ｓ２０，Ｓ３１，Ｓ２２〜Ｓ２６は実施形態７と同じため、説明は省略した。

また、他の例として、図２１のような画像処理方法を用いてもよい。Ｓ２０，Ｓ３１，Ｓ２２〜Ｓ２６までは実施形態７と同じなので説明は省略する。

次に、明度算出部１３７は、Ｓ２６で抽出された色相角領域の各画素又は各小領域の明度を算出する（Ｓ５８）。つまり、この例では実施形態７とは異なり、明度算出部１３７は、色相角領域内の各画素又は各小領域の明度を算出する機能を有している。

そして、領域抽出部１３４は、色相角領域から、画素又は小領域の明度が所定の明度より大きい領域を類似色領域として抽出する（Ｓ５６）。さらに、領域抽出部１３４は、穴埋め等の領域整形処理を行う（Ｓ２７）。

他の例として、図２２のような画像処理方法を用いてもよい。この方法は、色相角領域、明度領域を抽出せずに、基準色相角と色相角との差及び明度に基づいて、類似色領域を抽出する（Ｓ５６）。より具体的には、領域抽出部１３４が、基準色相角と色相角との差が上述した第１の範囲内に収まる画素又は小領域で構成され、かつ、明度が所定の明度より大きい画素又は小領域で構成される類似色領域を画像から抽出する。

（実施形態９）
本実施形態は、実施形態３の類似色領域の抽出結果と新たに設定した顔首マスクを用いて、顔首領域の抽出に応用したものである。

図２３は本実施形態に係る画像処理装置１３を含む撮像装置１の構成を模式的に示す。画像処理装置１３は、実施形態３の構成に加えてマスク設定部１３８をさらに有している。マスク設定部１３８は、検出部１７によって所定の部位あるいは物を検出した結果を基に、所定の部位あるいは物を包含するマスクを設定する機能を有する。所定の部位あるいは物とは、人間や顔、首、胸元、腕、体、頭、足、動物、植物などである。本実施形態における撮像装置１では、人間の顔、首、胸元の領域を包含する顔首マスクである。

実施形態３の画像処理方法では、例えば、画像から人間の顔や首を類似色領域として抽出したい場合、その画像に木の幹や枝が含まれていると、その木の幹や枝も肌色領域として抽出してしまう場合がある。これは、木の幹や枝の色が、色情報だけでは人間の顔や首と区別することが困難なためである。このため、本実施形態では、マスク設定部１３８を用いて、所定の部位あるいは物を包含するマスク（例えば顔首マスク）を設定して、所定の部位あるいは物以外を類似色領域として抽出しないようにしている。

図２４、２５を用いて、本実施形態の画像処理方法を説明する。図２４は、本実施形態の画像処理方法のフローチャートを示す。また、図２５（ａ）は、取得画像の顔検出結果を示しており、被写体として人物３０、木３１、家３２が写っている。図２５（ｂ）は顔首マスクの枠を示している。図２５（ｃ）は顔首マスクを示している。図２５（ｄ）は被写体の肌色領域を示している。図２５（ｅ）は顔首領域の抽出結果を示している。

Ｓ２０，Ｓ３１，Ｓ２２〜Ｓ２７，Ｓ３３〜Ｓ３６，Ｓ４０，Ｓ２７は実施形態３と同じであるため、説明は省略する。顔検出工程（Ｓ３１）により顔検出を行う。その結果、図２５（ａ）に示したように、顔３００１を包含するように顔検出枠１７１が表示部１６に表示される。

そして、マスク設定部１３８は、顔検出結果（顔の位置座標、大きさ、向き等）から、実際の顔、首、胸元よりも大きな領域をカバーする顔首マスクを設定する（Ｓ４１）。具体的には、図２５（ｂ）に示したように顔３００１、首３００５、胸元３００６、頭３００８を包含するように顔首マスク１７２が設定される。図２５（ｂ）には顔首マスク１７２の範囲を説明するために顔首マスク１７２の枠を表示している。実際の顔首マスク１７２は、図２５（ｃ）に黒塗りで示した範囲である。

一方、実施形態５と同様にＳ４０にて肌色領域を抽出すると、図２５（ｄ）のような結果になる場合がある。具体的には、図２５（ｄ）では、顔３００１、首３００５、胸元３００６、右拳３００７ａ、左拳３００７ｂ、右腕３０１０ａ、左腕３０１０ｂ、右足３０１１ａ、左足３０１１ｂの他に、木の幹３１１が類似色領域として抽出されている。つまり、木３１の幹３１１が肌色領域として抽出された状態を示している。

そこで、本実施形態では、領域指定部１３２で指定された所定領域と関連がある部位を示す、意味づけされたマスクを用いている。具体的には、図２５（ｄ）に示した肌色領域と、図２５（ｃ）に示した顔首マスク１７２との両方に含まれる領域を抽出する顔首領域の抽出工程（Ｓ４２）により、図２５（ｅ）に示した顔３００１・首３００５・胸元３００６の領域のみを抽出している。ここで得られた領域を顔首領域１７３（類似色領域）としている。ここで、領域指定部１３２で指定された所定領域が人物の顔である場合、関連がある部位とは人物の顔、首、胸元、体、頭、手、脚、指などのことである。なお、本実施形態における類似色領域は、上記領域（１）と上記領域（２）と上記領域（６）とが重なる領域である。

顔首領域１７３は、例えば、顔・首・胸元領域の抽出処理、顔首領域に肌をきれいに見せる画像処理、顔首領域における特徴を識別する顔認識処理、動画像の各フレーム間における顔首領域の追従処理などに使用できる。

なお、本実施形態において、類似色の判定に、色空間座標を用いず、色相角だけ用いてもよい。また、類似色の判定に、色空間座標の代わりにクロマティクネス指数を用いてもよいし、色空間座標とクロマティクネス指数の両方を用いてもよい。

本実施形態では、顔首マスクは顔・首・胸元の領域としたが、これに限ったものではなく、顔・首領域、もしくは顔領域のみとしてもよく使い方に応じて所望の領域を設定することができる。

（実施形態１０）
本実施形態は、実施形態９の応用例である。本実施形態の撮像装置１は実施形態９と同様であるが、マスク設定部１３８が体マスクを設定する点が異なる。

図２６、２７を用いて、本実施形態の画像処理方法を説明する。図２６に本実施形態の画像処理方法のフローチャートを示す。図２７（ａ）は取得画像を示し、取得画像には、人物３３、バスのおもちゃ３４、つみき３５ａ、３５ｂ、３５ｃが写っている。図２７（ｂ）は取得画像の顔検出結果ならびに体検出結果を示している。図２７（ｃ）は体マスクを示している。図２７（ｄ）は被写体の肌色領域を示している。図２７（ｅ）は体の肌色領域抽出結果を示している。

Ｓ２０，Ｓ３１，Ｓ２２〜Ｓ２７，Ｓ３３〜Ｓ３６，Ｓ４０，Ｓ２７は実施形態３と同じであるため、説明は省略する。

本実施形態では、図２６に示すように、顔検出工程（Ｓ３１）の他に、体検出工程（Ｓ５０）により、取得画像から被写体の体の位置座標、大きさ、向きなどを検出する体検出を行う。その結果、図２７（ｂ）に示したように顔３３１を包含するように顔検出枠１７１が、人物３３の全身を包含するように体検出枠１７４が表示部１６に表示される。体マスク設定工程（Ｓ５１）では体検出結果（体の位置座標、大きさ、向き等）から、体よりも大きな領域をカバーする体マスクを設定する。具体的には図２７（ｃ）に示したように人物３３の全身を包含するように体マスク１７５が設定される。

一方、実施形態５と同様にＳ４０にて肌色領域を抽出すると、図２７（ｄ）のような結果になる。具体的には、図２７（ｄ）では、人物３３の顔３３１、体３３２の他に、積み木３５ａ、３５ｂ、３５ｃが肌色領域として抽出される。木製の積み木３５ａ、３５ｂ、３５ｃは肌色に似た色であり、本来含めたくない領域であるが抽出されている。

そこで、本実施形態では、図２７（ｄ）に示した肌色領域と、図２７（ｃ）に示した体マスク１７５との両方に含まれる領域を抽出する体領域の抽出工程（Ｓ５２）により、人物３３の全身における肌が露出した領域を抽出している。具体的には、図２７（ｅ）に示したように、おむつ３３３を除く人物３３の顔３３１、体３３２の体領域（類似色領域）のみを抽出し、積み木３５ａ、３５ｂ、３５ｃは除外されている。これによって、人物３３の体領域のみを抽出することができる。なお、本実施形態における類似色領域は、上記領域（１）と上記領域（２）と上記領域（６）とが重なる領域である。

このように、被写体の色情報を基にして抽出した肌色領域と意味づけしたマスク（例えば、顔首マスク、体マスク）とを組み合わせることで、意味づけされた類似色領域を画素単位の精度で抽出することができる。

また、得られた体領域は、例えば、全身の肌が露出した領域の抽出処理、全身の肌をきれいに見せる画像処理、全身領域における特徴を識別する人体認識処理、動画像の各フレーム間における全身領域の追従処理などに使用できる。

本実施形態では、体マスクは人間の全身領域としたが、これに限ったものではなく、動物や植物としてもよく、使い方に応じて所望意味づけされた領域を設定することができる。

なお、本実施形態において、類似色の判定に、色空間座標を用いず、色相角だけ用いてもよい。また、類似色の判定に、色空間座標の代わりにクロマティクネス指数を用いてもよいし、色空間座標とクロマティクネス指数の両方を用いてもよい。

（実施形態１１）
本実施形態は、動画撮影など複数枚の画像を連続して撮影する撮像装置において、実施形態９における基準色相角や基準色空間座標の色情報を後続フレームに引き継ぐことにより、後続フレームにおいて高速かつ精度よく類似色領域を抽出するものである。

本実施形態における画像処理装置では、図２４に示した実施形態９におけるフローチャートに対して、第１の画像を形成する第１フレームではこのフローチャートの全工程を実施する。そして、第１の画像と異なる第２の画像を形成する次の第２のフレーム以降では、第１フレームで算出した基準色相角ならびに基準色空間座標を流用する。つまり、第２フレーム以降では、図２８のフローチャートを実施する。これにより、第２のフレーム以降では、領域指定工程（Ｓ２１）、基準色相角算出工程（Ｓ２４）、基準色空間座標算出工程（Ｓ３４）を省略することができ、高速に画像処理を行うことができる。

フレームレートが高速な動画像では、複数のフレーム間では照明条件はほぼ等しく、基準色相角や基準色空間座標は殆ど変化しない。ゆえに、以前のフレームにおいて計算された基準色相角や基準色空間座標を用いて類似色領域を算出しても、問題なく類似色領域を抽出できる。また、顔首マスクと併用することで高速で顔や首の輪郭を精度よく抽出することができる。

ここで得られた顔首領域は、例えば、動画のフレーム間において、顔首領域を追尾することにより、顔にフォーカスを合わせ続けることができる。特に、小領域や画素毎にピント状態を把握できる撮像素子を搭載した撮像装置の場合、背景を含めることなく顔領域のみでピント状態を最適化できるので、オートフォーカスの精度を向上させることができる。また、一連の顔領域抽出処理を高速に実行できるので、オートフォーカスに掛かる時間を短縮することができる。

本実施形態では、顔検出結果を用いて指定領域を設定したが、これに限ったものではなく、例えば、オートフォーカスでピントを合わせた領域から所定領域を指定してもよい。その場合、所定領域は顔に限定されず、任意の物体に対して類似色領域を抽出すればよい。そこで抽出された類似色領域をオートフォーカス領域に設定すれば、動画像においても、常に同じ物体にフォーカスを合わせ続けることができるようになり、オートフォーカスの追従が実現できる。

なお、本実施形態において、類似色の判定に、色空間座標を用いず、色相角だけ用いてもよい。また、類似色の判定に、色空間座標の代わりにクロマティクネス指数を用いてもよいし、色空間座標とクロマティクネス指数の両方を用いてもよい。

（実施形態１２）
本発明の目的は、以下の実施形態によって達成することもできる。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶ないし記録媒体を、画像処理装置に供給する。そして、その演算部のコンピュータ（またはＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の画像処理装置は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。演算部をマイクロ処理ユニットや中央演算装置（ＣＰＵ）等で構成する場合には、演算部は、コンピュータとして捉えることが可能である。本発明のプログラムは、所定の結像光学系と、所定の撮像部、コンピュータと、を備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとなすことができる。本発明のコンピュータは、記録媒体の他、インターネットを通じて頒布することも可能である。

１ 撮像装置
１３ 画像処理装置
１３２ 領域指定部
１３３ 色相角算出部
１３４ 領域抽出部

Claims (13)

1. 画像のうち所定領域を指定する領域指定部と、
   画像内の少なくとも一部の画素又は小領域の色相角を算出し、前記所定領域内の画素又は小領域の色相角から前記所定領域内の基準色相角を算出する色相角算出部と、
   画像内の少なくとも一部の画素又は小領域の色空間座標を算出し、前記所定領域内の画素又は小領域の色空間座標から前記所定領域内の基準色空間座標を算出する色空間座標算出部と、
   少なくとも前記基準色相角と前記色相角との差と、前記基準色空間座標と前記色空間座標との色差と、に基づいて、前記画像から類似色領域を抽出する領域抽出部と、を有し、
   前記領域抽出部は、前記基準色相角と前記色相角との差が第１の範囲内に収まる画素又は小領域で構成され、かつ、前記基準色空間座標と前記色空間座標との色差が第２の範囲内に収まる画素又は小領域で構成される前記類似色領域を前記画像から抽出することを特徴とする画像処理装置。
2. 前記第２の範囲が、ＣＩＥ１９７６（Ｌ^＊ａ^＊ｂ^＊）表色系に換算して、前記基準色空間座標と前記色空間座標との色差の絶対値が４５以下となる範囲であることを特徴とする請求項１に記載の画像処理装置。
3. 画像のうち所定領域を指定する領域指定部と、
   画像内の少なくとも一部の画素又は小領域の色相角を算出し、前記所定領域内の画素又は小領域の色相角から前記所定領域内の基準色相角を算出する色相角算出部と、
   前記画像内の少なくとも一部の画素又は小領域のクロマティクネス指数を算出し、前記所定領域内の画素又は小領域のクロマティクネス指数から前記所定領域の基準クロマティクネス指数を算出するクロマティクネス指数算出部と、
   少なくとも前記基準色相角と前記色相角との差と、前記基準クロマティクネス指数と前記クロマティクネス指数との色差と、に基づいて、前記画像から類似色領域を抽出する領域抽出部と、を有し、
   前記領域抽出部が、前記基準色相角と前記色相角との差が第１の範囲内に収まる画素又は小領域で構成され、かつ、前記基準クロマティクネス指数と前記クロマティクネス指数との差が第３の範囲内に収まる画素又は小領域で構成される領域を前記画像から抽出することを特徴とする画像処理装置。
4. 前記第３の範囲は、前記基準クロマティクネス指数と前記クロマティクネス指数との差の絶対値が２０以下となる範囲であることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の範囲は、ＣＩＥ１９７６（Ｌ^＊ａ^＊ｂ^＊）表色系に換算して、前記基準色相角と前記色相角との差の絶対値が３５（ｄｅｇ）以内となる範囲であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像内の前記画素又は前記小領域の明度を算出する明度算出部をさらに有し、
   前記領域抽出部が、さらに前記明度に基づいて、前記類似色領域を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記所定領域と関連のある部分と対応するマスクを設定するマスク設定部をさらに有し、
   前記領域抽出部が、さらに前記マスクに基づいて前記類似色領域を抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記領域指定部は、顔の領域の検出結果に基づき、前記所定領域を指定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記領域指定部は、ユーザの指定に基づき、前記所定領域を指定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 撮像素子と、請求項１乃至９のいずれか１項に記載の画像処理装置と、を有する撮像装置。
11. 顔の領域を検出する検出部をさらに有する請求項１０に記載の撮像装置。
12. 画像のうち所定領域を指定する領域指定工程と、
    画像内の少なくとも一部の画素又は小領域の色相角を算出し、前記所定領域内の画素又は小領域の色相角から前記所定領域内の基準色相角を算出する色相角算出工程と、
    画像内の少なくとも一部の画素又は小領域の色空間座標を算出し、前記所定領域内の画素又は小領域の色空間座標から前記所定領域内の基準色空間座標を算出する色空間座標算出工程と、
    少なくとも前記基準色相角と前記色相角との差と、前記基準色空間座標と前記色空間座標との色差と、に基づいて、前記画像から類似色領域を抽出する領域抽出工程と、
    を有し、
    前記領域抽出工程では、前記基準色相角と前記色相角との差が第１の範囲内に収まる画素又は小領域で構成され、かつ、前記基準色空間座標と前記色空間座標との色差が第２の範囲内に収まる画素又は小領域で構成される前記類似色領域を前記画像から抽出することを特徴とする画像処理方法。
13. 画像のうち所定領域を指定する領域指定工程と、
    画像内の少なくとも一部の画素又は小領域の色相角を算出し、前記所定領域内の画素又は小領域の色相角から前記所定領域内の基準色相角を算出する色相角算出工程と、
    前記画像内の少なくとも一部の画素又は小領域のクロマティクネス指数を算出し、前記所定領域内の画素又は小領域のクロマティクネス指数から前記所定領域の基準クロマティクネス指数を算出するクロマティクネス指数算出工程と、
    少なくとも前記基準色相角と前記色相角との差と、前記基準クロマティクネス指数と前記クロマティクネス指数との色差と、に基づいて、前記画像から類似色領域を抽出する領域抽出工程と、
    を有し、
    前記領域抽出工程では、前記基準色相角と前記色相角との差が第１の範囲内に収まる画素又は小領域で構成され、かつ、前記基準クロマティクネス指数と前記クロマティクネス指数との差が第３の範囲内に収まる画素又は小領域で構成される領域を前記画像から抽出することを特徴とする画像処理方法。