JP3624069B2

JP3624069B2 - 画像処理方法及び画像処理装置

Info

Publication number: JP3624069B2
Application number: JP03508697A
Authority: JP
Inventors: 仁大野田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-02-19
Filing date: 1997-02-19
Publication date: 2005-02-23
Anticipated expiration: 2017-02-19
Also published as: JPH10232930A

Description

【０００１】
【発明の属する技術分野】
本発明は、対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
近年、画像処理装置としてのデジタルカメラにより、被写体である人物を撮影することにより得られたデジタル画像信号や、銀塩カメラで撮影したフィルムをスキャナで読み込んだデジタル画像信号のうち、その人物の顔の領域に相当するデジタル画像信号に特定の処理を施す手法が提案されている。
【０００３】
これらの手法において提案されている画像処理技術の目的は、例えば、被写体である人物の識別や、その人物の顔画像の加工等が挙げられるが、係る顔画像を対象とした画像処理においては、人物の顔の特徴となる目や口、眉等の部位が画像信号中のどの領域に存在するかを検出することが共通した重要課題である。また、従来提案されている画像処理方法においては、顔の領域の画像信号に微分演算を行って得られる微分値の大きい部分、即ちエッジ部分を検出することにより、上記のような特徴的な部位を検出するのが一般的である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記微分演算を用いる従来例においては、ノイズに弱く、Ｓ／Ｎ比が低い画像に対して微分演算を行うと、検出すべきエッジ部に相当する信号がノイズの中に埋もれてしまい、結果として、特徴的な部位が含まれる領域を確実に検出することが困難であるという問題が有る。
【０００５】
また、画像信号の微分処理においては、１つの注目画素の微分値を算出するためにその注目画素周辺の複数の画素の画像信号との積和演算を行うことが必要であり、処理すべき画像信号全体の演算に要する時間が長いという問題が有る。
【０００６】
そこで、本発明は、対象とする画像から特徴的な部位に相当する画像領域を、高速、且つ高精度に検出する画像処理方法及び画像処理装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明の画像処理方法は以下の構成を特徴とする。
【０００８】
即ち、対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理方法であって、前記対象とする画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング工程と、前記第一のクラスタリング工程によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外工程と、前記第一の除外工程により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング工程と、前記第二のクラスタリング工程によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外工程と、前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とする。
【０００９】
または、対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理方法であって、前記対象とする画像の大きさに応じて解像度を設定し、その解像度に応じて前記対象とする画像を間引く間引き工程と、前記間引き工程により得られた画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング工程と、前記第一のクラスタリング工程によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外工程と、前記第一の除外工程により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング工程と、前記第二のクラスタリング工程によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外工程と、を備え、前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とする。
【００１０】
例えば、第一の大きさに関するしきい値を、対象とする画像の大きさに応じて算出するとよい。
【００１１】
例えば、前記第二の大きさに関するしきい値を、前記対象とする画像の大きさに応じて算出するとよい。
【００１２】
また、例えば、検出された特徴的な部位に相当する画像領域のうち、前記対象とする画像との境界に接する領域を、検出対象から除外する。
【００１３】
また、対象とする画像は顔画像であり、その顔画像の特徴的な部位は目や口、眉であることを特徴とする。
【００１４】
例えば、第一の色差に関するしきい値は、３〜１０とするとよい。
【００１５】
また、例えば、前記第二の色差に関するしきい値は、３０以上とするとよい。
【００２１】
尚、上記の画像処理が可能な画像処理装置によっても、同目的が達成できることは言うまでもない。
【００２２】
【発明の実施の形態】
以下、本発明に係る画像処理装置を図面を参照して詳細に説明する。
【００２３】
＜第１の実施形態＞
はじめに、本発明を適用する画像処理装置の構成を図１を参照して説明する。
図１は、本発明を適用する画像処理装置としてのパーソナルコンピュータのブロック構成図である。
【００２４】
図中、２１はＣＰＵ、２２はＣＲＴ等のディスプレイ、２３は入力手段であるキーボード、２４はブートプログラム等を記憶しているＲＯＭ、２５は各種処理結果を一時記憶するＲＡＭ、２６は本発明の特徴領域検出処理を行なうプログラム等を記憶するハードディスクドライブ（ＨＤＤ）等の記憶装置、２７は外部の装置と通信回線３１を介して通信するための通信インタフェースである。また、２８は、入力補助手段としてのマウス等のポインティング装置である。２９は、所謂ＣＣＤを含み、被写体を撮影してデジタル画像信号を生成する画像入力装置である。これらの各構成は、内部バス３０を介して接続されている。後述の特徴領域の検出処理の対象となるデジタル画像信号（自然画像）は、画像入力装置２９により得られた情報であっても、外部の画像処理装置（例えば、デジタルカメラ、スキャナ等）からの情報を通信インタフェース２７を介して入手したものでも良い。
【００２５】
次に、本実施形態における画像処理装置による画像信号からの特徴領域の検出処理を図２を参照して説明する。
【００２６】
図２は、本発明の第１の実施形態としての特徴領域の検出処理を示すフローチャートである。
【００２７】
図中、ステップＳ１０１では、自然画像中に含まれる顔画像の領域（閉領域）を設定する。本実施形態では、検出対象となる自然画像をディスプレイ２２に表示して、オペレータがポインティング装置２８で顔の輪郭をトレースすることにより設定する。
【００２８】
尚、この顔領域の設定処理について本願は限定しないが、本発明を適用する画像処理装置自体が所謂デジタルカメラであれば、公知のアルゴリズムを用いて顔領域を自動的に認識しても良い。
【００２９】
ステップＳ１０２では、ステップＳ１０１において設定された閉領域内の画素を対象として、隣接する画素との色の差が少ないもの同士でグループを構成する。これは一般的にクラスタリングとかグルーピング等と呼ばれる。このクラスタリング処理について図３を参照して説明する。
【００３０】
図３は、本発明の一実施形態としてのクラスタリングを説明する図である。
【００３１】
同図において、各格子は画像の１画素を表わしており、この画像は幅ｍ画素×高さｎ画素の矩形領域からなる。本実施形態においては、説明の便宜上左上の画素を座標（０，０）としている。１０１は、該矩形領域のうち、ステップＳ１０１において設定された顔画像の領域に外接する画素を示す。また、画素１０２は、注目画素である。
【００３２】
ここで、図３上部に示す矢印の如く、画像の左上から右下に注目画素１０２を移動しながら、各画素毎に以下に説明する処理を行う。
【００３３】
同図において注目画素１０２の座標を（ｘ，ｙ）とし、この注目画素の色は色空間Ｌ＊ａ＊ｂ＊において、（Ｌ０，ａ０，ｂ０）であるとする。ここで、この注目画素１０２に隣接する１つ上の画素（ｘ，ｙ−１）の色が、（Ｌ１，ａ１，ｂ１）であるとき、これら２つの画素の色差ｄは、
ｄ＝｛（Ｌ１−Ｌ０）↑２＋（ａ１−ａ０）↑２＋（ｂ１−ｂ０）↑２｝↑（１／２）
で表わされる（但し、Ｘ↑ＹはＸのＹ乗を表わすものとする。以下同様）。
【００３４】
これは、視覚的に感じる色の差に比例した値を表わすものとなっている。この色差ｄが、第１のしきい値Ｔｄ１（ここで、しきい値Ｔｄ１は、均等色空間における色差に関するしきい値である。）以下である場合は、２つの画素は同じクラスタを構成するものとする。また、色差ｄが、第１のしきい値Ｔｄ１より大きい場合は、２つの画素は別のクラスタを構成する可能性があると判断する。
【００３５】
更に、同様の判断処理を、注目画素１０２の左側の画素（ｘ−１，ｙ）に対しても行い、これら２つの画素が同じクラスタを構成するか、或は別のクラスタを構成する可能性が有るかどうかを判断する。
【００３６】
また、注目画素１０２が顔領域以外の領域である場合は、抽出対象外であるものとして無視する。また、注目画素１０２と比較される画素（以下、比較画素）が、顔領域以外の領域である場合や、比較画素の座標がｘ＜０またはｙ＜０等の場合には、色差の比較を行わずに別の領域として判断する。
【００３７】
上記のような判断を、矩形領域１０１の全画素について行い、クラスタ毎に番号を割り付けると、色が類似している領域毎に番号が振られることになる。従って、近似色で連続する領域毎に領域が分割され、領域分割が完了する。
【００３８】
上記の均等色空間における色差に関するしきい値Ｔｄ１は、比較的小さい値が好ましく、本願発明者らによる検討によると、しきい値Ｔｄ１は３〜１０程度（但し、この値はＬ＊ａ＊ｂ＊空間における値である。）に設定すると人間の肌の領域を１つの大きなクラスタとして領域分割することが可能であることが分かった。
【００３９】
次に、このしきい値Ｔｄ１によりクラスタリングを行った場合の効果を図４を用いて説明する。
【００４０】
図４は、本発明の第１の実施形態としてのクラスタリングによる結果を説明する図である。
【００４１】
図４（ａ）はサンプルの顔画像の例である。この画像に対して小さい値のしきい値Ｔｄ１でクラスタリングを行うと、領域分割の結果は図４（ｂ）のようになる。同図に示すように、人間の肌の部分は、ほくろ染み、微妙な陰影等の様々な要因で細かくクラスタリングされてしまう領域は幾つか存在するが、その大きさはかなり小さいことが多く、しきい値Ｔｄ１を比較的小さい値にしてクラスタリングを行っても、まとまった領域として分割される。これは、顔画像においては、隣接する画素間における色差の相関が高いためである。一方、顔画像の特徴領域である目や口、眉等は、隣接する画素間において色差の変動が大きい場合が多いため、細かな領域としてバラバラの領域にクラスタリングされることが判る。
【００４２】
次に、図２のステップＳ１０３を説明する。ここでは、クラスタリングにより生成された各領域についてその大きさを調べ、各領域の大きさと第１の所定値Ｔａ１との大小関係を調べ、領域の大きさがＴａ１より大きければ、その領域は顔の特徴的部位を含まない領域として抽出対象から除外する処理を行う。即ち、図４（ｂ）の如く分割された全ての領域の大きさを調べて、第１の所定値Ｔａ１より大きい領域は除外する。この除外処理により残った領域は、図４（ｃ）の明部の領域となり、肌の大部分は除外することが可能となる。但し、前述したように肌のほくろや染み等、細かな陰影等により一部領域が点々と残る。
【００４３】
ここで、ステップＳ１０２のクラスタリングにより生成された各領域の大きさの評価要素としては、各領域の画素数や、高さ、幅等が考えられる。このうちどれか１つを対象に所定値Ｔａ１を設定しても良いし、複数の要素に対してそれぞれ所定値Ｔａ１に相当する所定値を複数設定しても良いことは言うまでもない。
【００４４】
また、顔画像の撮影倍率が予め分かっている場合には、所定値Ｔａ１は、撮影倍率に応じた固定値で構わないが、顔画像の撮影倍率が予め分からない場合には、ステップＳ１０１において設定された顔領域の大きさから、適当な大きさの所定値Ｔａ１を設定することが好ましく、例えば、設定された顔領域の面積の１５％の面積をＴａ１に設定すると、撮影倍率によらず一定の結果を得ることが可能となる。
【００４５】
次に、図２のステップＳ１０４に移り、再びクラスタリング処理を実施する。クラスタリングの手順自体はステップＳ１０２で実施した内容と同様であるが、ステップＳ１０３において検出対象から除外した領域は無視することと、色差の大小を評価するしきい値が異なる。ここで用いる第２のしきい値Ｔｄ２は第１のしきい値Ｔｄ１より大きい値を用いる。このクラスタリングによる領域分割結果は図４（ｄ）のようになり、特徴的な部位はそれぞれ１つのクラスタとして形成される。
【００４６】
第２のしきい値Ｔｄ２は、比較的大きい値が好ましく本願発明者らによる検討によれば、しきい値Ｔｄ２は３０以上（但し、この値はＬ＊ａ＊ｂ＊空間における値である。）に設定すると人間の特徴的な部位（例えば、同図に示すように白目と黒目の部位）をそれぞれ１つのクラスタとして領域分割することが可能であることが分かった。
【００４７】
次に図２のステップＳ１０５に移る。ここでは、ステップＳ１０４のクラスタリングにより生成された各領域についてその大きさを調べ、これらの各領域の大きさと第２の所定値Ｔａ２との大小関係を調べ、領域の大きさがしきい値Ｔａ２より小さければ、その領域は顔の特徴的部位を含まない領域として検出対象から除外する処理を行う。即ち、図４（ｄ）のように分割された全ての領域の大きさを調べて、第２の所定値Ｔａ２より小さい領域は除外する。この除外処理により残った領域は、図４（ｅ）の明部の領域となり、図４（ｄ）において肌等に残っていた細かい領域を除外することができる。
【００４８】
ここで、ステップＳ１０４のクラスタリングにより生成された各領域大きさの評価要素としては、各領域の画素数や高さ、幅等が考えられる。このうちどれか１つを対象に所定値Ｔａ２を設定しても良いし、複数の要素に対してそれぞれ所定値Ｔａ２に相当する所定値を複数設定しても良いことは言うまでもない。
【００４９】
また、顔画像の撮影倍率が予め分かっている場合には、所定値Ｔａ２は撮影倍率に応じた固定値で構わないが、顔画像の撮影倍率が予め分からない場合には、ステップＳ１０１において設定された顔領域の大きさから、適切な所定値Ｔａ２を設定することが好ましく、例えばステップＳ１０１において設定された顔領域の面積の３％の面積をＴａ２に設定すると、撮像倍率によらず一定の結果を得ることが可能となる。
【００５０】
以上の処理により残った領域は、顔画像の中から目や口、眉等の特徴的部位を表わす領域となる。
【００５１】
尚、被写体である顔画像が、ステップＳ１０１で設定する矩形領域に対して真正面に位置する（正対する）ことが予め分かっている場合等には、次のような判断を加えることにより、特徴領域の検出確度を向上することができる。即ち、顔画像が真正面を向いている場合は、図４（ａ）の如く目や口、眉等の特徴的部位は顔画像の輪郭内に存在する。そこで、ステップＳ１０５の処理により残った領域のうち、顔画像の輪郭線（図３の顔領域と顔領域外の領域との境界）に接している領域は、更に除外するという判断を加えることで、特徴領域の検出確度を向上することができる。
【００５２】
図２のステップＳ１０６では、最終的に残った領域の情報の出力が行われる。この出力結果は、例えば、人物識別や赤目除去等の処理ルーチン等の後段の処理工程に渡すための処理である。従って、処理の内容は後段の処理工程に応じて異なるが、例えば、ｍ画素×ｎ画素分のメモリを確保して、最終的に候補として残った画素に対応するメモリアドレスは１に、候補外として判断された画素に対応するメモリアドレスは０に設定し、このメモリアドレスを別の処理ルーチンに渡す等の処理が行われる。
【００５３】
尚、本実施形態の他の応用例としては、例えば、空を飛ぶ鳥や飛行機等を、特徴的な画像領域として検出する場合等が挙げられる。つまり、上述した本実施形態の特徴は、図２のフローチャートに示したシーケンスにより、特徴的な画像領域を検出することであり、本実施形態で処理可能な画像は顔画像に限定されるものではない。そのような場合、検出すべき画像の種類としきい値とを対応付けて記憶した記憶媒体（フロッピディスク（ＦＤ）、光磁気ディスク（ＭＯ）等）を用意（個別に用意しても良い）すれば、様々な画像に対して本実施形態に示した処理を応用できることは明らかである。
【００５４】
＜第２の実施形態＞
次に、第２の実施形態における画像信号からの特徴領域の検出処理を図５を参照して説明する。
【００５５】
図５は、本発明の第２の実施形態としての特徴領域の検出処理を示すフローチャートである。
【００５６】
図中、ステップＳ２０１では、自然画像中の顔の領域（閉領域）を設定する。この設定は、第１の実施形態における図２のステップＳ１０１と同様に行う。
【００５７】
ステップＳ２０２では、ステップＳ２０１において設定された閉領域（即ち顔の領域）の大きさに応じて検出解像度を設定する。ここで、検出の解像度を設定するのは、処理の高速化のためである。顔領域の画素数は撮影倍率の２乗に比例して大きくなるので、高速化を実現するために、顔領域として設定された領域の大きさに応じて間引きを行う。ステップＳ２０２で行う検出解像度の設定は、画素の間引き間隔を設定することである。本実施形態において、間引き間隔は、
（間引き間隔）＝（設定された領域の幅）／３００
により算出する。尚、本実施形態では、設定された領域の幅方向に間引いたが、設定された領域の高さ方向に間引いても、幅方向及び高さ方向の両方向に間引いても良いことは言うまでもない。
【００５８】
以降の処理においては、顔領域の画像を算出した間引き間隔で間引いた状態のデータに対して処理を行う。但し、実際に間引いた画像を新たに生成する必要はなく、ステップＳ２０１で顔領域を設定するために画像データの画素にアクセスする際、間欠的にアクセスするようにすれば良い。
【００５９】
ステップＳ２０３では、ステップＳ２０１において設定された閉領域内の画素を対象として、隣接する画素の色の差が少ないもの同士でグループを構成する。
本実施形態におけるクラスタリングの方法について図３を用いて説明する。本実施形態においても、１０１は、図３のｍ画素×ｎ画素の矩形領域のうち、ステップＳ２０１において設定された顔画像の領域に外接する画素を示す。また、画素１０２は、注目画素である。但し、これはステップＳ２０２において間引きを行った後の顔領域に対応するものである。
【００６０】
ここで、図３上部に示す矢印の如く、画像の左上から右下に注目画素１０２を移動しながら、各画素毎に以下に説明する処理を行う。
【００６１】
同図において注目画素１０２の座標を（ｘ，ｙ）とし、この注目画素の色は色空間Ｌ＊ｕ＊ｖ＊において、（Ｌ０，ｕ０，ｖ０）であるとする。本実施形態において、この画素に隣接する１つ上の画素（ｘ，ｙ−１）の色が（Ｌ１，ｕ１，ｖ１）であるとき、これら２つの画素の色差ｄは、
ｄ＝｛（Ｌ１−Ｌ０）↑２＋（ｕ１−ｕ０）↑２＋（ｖ１−ｖ０）↑２｝↑（１／２）
で表わされる。これは、視覚的に感じる色の差に比例した値を表わすものとなっている。この色差ｄが、第１のしきい値Ｔｄ１以下である場合、２つの画素は同じクラスタを構成するものとし、また色差ｄが第１のしきい値Ｔｄ１より大きい場合、２つの画素は別のクラスタを構成する可能性があると判断する。
【００６２】
同様の判断を注目画素の左側の画素（ｘ−１，ｙ）に対しても行い、２つの画素が同じクラスタを構成するか、或は別のクラスタを構成する可能性が有るかどうかを判断する。
【００６３】
また、注目画素が顔領域以外の領域である場合は、検索対象外であるものとして無視する。また、比較画素が顔領域以外の領域である場合や、比較画素の座標がｘ＜０またはｙ＜０等の場合には、色差の比較を行わず別の領域として判断する。
【００６４】
上記のような判断を、矩形領域１０１の全画素について行い、クラスタ毎に番号を割り付けると、色が類似している領域毎に番号が振られることになる。従って、近似色で連続する領域毎に領域が分割され、領域分割が完了する。
【００６５】
本実施形態においても、均等色空間における色差に関するしきい値Ｔｄ１は、比較的小さい値が好ましく、しきい値Ｔｄ１は３〜１０程度に設定すると人間の肌の領域を１つの大きなクラスタとして領域分割することが可能である。このしきい値Ｔｄ１によりクラスタリングを行うことにより、第１の実施形態同様に図４（ａ）から領域分割された図４（ｂ）が得られる。
【００６６】
次に、図５のステップＳ２０４に移る。ここでは、図２のステップＳ１０３と同様に、クラスタリングにより生成された各領域の大きさが、第１の所定値Ｔａ１より大きければ、その領域は顔の特徴的部位を含まない領域として抽出対象から除外する処理を行う。これにより、図４（ｃ）の明部の領域を得る。
【００６７】
次に、図５のステップＳ２０５に移り、図２のステップＳ１０４と同様に、第１のしきい値Ｔｄ１より大きい第２のしきい値Ｔｄ２を用いて再びクラスタリングを実施する。これにより、図４（ｄ）の明部の領域を得る。
【００６８】
次に、図５のステップＳ２０６に移り、図２のステップＳ１０５と同様に、クラスタリングにより生成された各領域のうち、第２の所定値Ｔａ２より小さい領域は顔の特徴的部位を含まない領域として検出対象から除外する処理を行う。この除外処理により、図４（ｅ）の明部の領域を得る。
【００６９】
以上の処理により残った領域は顔画像の中から目や口、眉等の特徴的部位を表わす領域となる。
【００７０】
そして、図５のステップＳ２０７では、図２のステップＳ１０６と同様に、最終的に残った領域の情報の出力が行われる。
【００７１】
＜他の実施形態＞
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或は装置に供給し、そのシステム或は装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭ等を用いることができる。
【００７４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図６のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
【００７７】
即ち、少なくとも以下の各モジュールのプログラムコードを記憶媒体に格納すれば良い。
・「顔領域検出モジュール」：自然画像中に含まれる顔画像の領域（閉領域）を検出する。
・「解像度設定モジュール」：「顔領域検出モジュール」により設定された閉領域の大きさに応じて検出解像度を設定する。
・「クラスタリングモジュール」：第１のしきい値Ｔｄ１または第２のしきい値Ｔｄ２を用いて、顔画像の領域において隣接する画素との色の差が少ないもの同士をクラスタリングする。
・「領域除外モジュール」：クラスタリングにより生成された各領域の大きさを、第１の所定値Ｔａ１または第２の所定値Ｔａ２と比較して、顔の特徴部位を含まない領域を抽出対象から除外する。
・「制御モジュール」：「クラスタリングモジュール」、「領域除外モジュール」により得られる結果を順次用いて、これらの工程を少なくとも２回行うよう制御する。
【００７８】
尚、本発明を採用する画像処理装置は、上述した実施形態のパーソナルコンピュータだけでなく、デジタルカメラそのものであってもよいことは言うまでもない。
【００７９】
＜本実施形態の効果＞
第１の実施形態では、設定された顔領域に対して均等色空間で２段階のクラスタリングを行い大小判断を２段階に分けて実施した。これにより、顔の特徴的部位を微分処理等によりエッジ検出を行って検出する方法と比較して、対ノイズ性に優れ、高精度で処理することが可能となり、且つ積和演算等の回数が微分処理を用いる方法に比べて少ないため高速で処理を完了することが可能となる。
【００８０】
また、第２の実施形態では、２段階のクラスタリングに先立って、検出対象の領域を間引いて設定した。即ち、設定された顔領域の大きさに応じて検出の解像度を決定することにより、更に演算時間が短縮され、高速に処理することが可能となる。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、対象とする画像から特徴的な部位に相当する画像領域を、高速、且つ高精度に検出する画像処理方法及び画像処理装置の提供が実現する。
【００８２】
【図面の簡単な説明】
【図１】本発明の第１の実施形態としての画像処理装置のブロック構成図である。
【図２】本発明の第１の実施形態としての特徴領域の検出処理を示すフローチャートである。
【図３】本発明の一実施形態としてのクラスタリングを説明する図である。
【図４】本発明の第１の実施形態としてのクラスタリングによる結果を説明する図である。
【図５】本発明の第２の実施形態としての特徴領域の検出処理を示すフローチャートである。
【図６】本発明の他の実施形態としてのメモリマップの一例を示す図である。
【符号の説明】
２１ＣＰＵ
２２ディスプレイ
２３キーボード
２４ＲＯＭ
２５ＲＡＭ
２６記憶装置
２７通信インタフェース
２８ポインティング装置
２９画像入力装置
３０内部バス
３１通信回線
１０１矩形領域
１０２注目画素

Claims

対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理方法であって、
前記対象とする画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング工程と、
前記第一のクラスタリング工程によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外工程と、
前記第一の除外工程により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング工程と、
前記第二のクラスタリング工程によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外工程と、
前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とする画像処理方法。
対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理方法であって、
前記対象とする画像の大きさに応じて解像度を設定し、その解像度に応じて前記対象とする画像を間引く間引き工程と、
前記間引き工程により得られた画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング工程と、
前記第一のクラスタリング工程によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外工程と、
前記第一の除外工程により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング工程と、
前記第二のクラスタリング工程によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外工程と、を備え、
前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とする画像処理方法。
前記第一の大きさに関するしきい値を、前記対象とする画像の大きさに応じて算出することを特徴とする請求項１又は２に記載の画像処理方法。
前記第二の大きさに関するしきい値を、前記対象とする画像の大きさに応じて算出することを特徴とする請求項１又は２に記載の画像処理方法。
前記検出された特徴的な部位に相当する画像領域のうち、前記対象とする画像との境界に接する領域を、検出対象から除外することを特徴とする請求項１又は２に記載の画像処理方法。
前記対象とする画像は顔画像であり、その顔画像の特徴的な部位は目や口、眉であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
前記第一の色差に関するしきい値は、３〜１０とすることを特徴とする請求項１又は２に記載の画像処理方法。
前記第二の色差に関するしきい値は、３０以上とすることを特徴とする請求項１に記載の画像処理方法。
対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理装置であって、
前記対象とする画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング手段と、
前記第一のクラスタリング手段によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外手段と、
前記第一の除外手段により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング手段と、
前記第二のクラスタリング手段によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外手段と、を備え、
前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とする画像処理装置。
対象とする画像から特徴的な部位に相当する画像領域を検出する画像処理方法であって、
前記対象とする画像の大きさに応じて解像度を設定し、その解像度に応じて前記対象とする画像を間引く間引き手段と、
前記間引き手段により得られた画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング手段と、
前記第一のクラスタリング手段によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外手段と、
前記第一の除外手段により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング手段と、
前記第二のクラスタリング手段によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外手段と、を備え、
前記第二の除外手段により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とする画像処理装置。
前記第一の大きさに関するしきい値を、前記対象とする画像の大きさに応じて算出することを特徴とする請求項９又は１０に記載の画像処理装置。
前記第二の大きさに関するしきい値を、前記対象とする画像の大きさに応じて算出することを特徴とする請求項９又は１０に記載の画像処理装置。
前記検出された特徴的な部位に相当する画像領域のうち、前記対象とする画像との境界に接する領域を、検出対象から除外することを特徴とする請求項９又は１０に記載の画像処理装置。
前記対象とする画像は顔画像であり、その顔画像の特徴的な部位は目や口、眉であることを特徴とする請求項９乃至１３の何れか１項に記載の画像処理装置。
前記第一の色差に関するしきい値は、３〜１０とすることを特徴とする請求項９又は１０に記載の画像処理装置。
前記第二の色差に関するしきい値は、３０以上とすることを特徴とする請求項９に記載の画像処理装置。
画像処理のプログラムコードを納めたコンピュータ可読媒体であって、
対象とする画像から特徴的な部位に相当する画像領域を検出する検出工程を実行するためのコードと、
前記対象とする画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング工程を実行するためのコードと、
前記第一のクラスタリング工程によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外工程を実行するためのコードと、
前記第一の除外工程により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング工程を実行するためのコードと、
前記第二のクラスタリング工程によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外工程実行するためのコードと、を備え、
前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とするコンピュータ可読媒体。
画像処理のプログラムコードを納めたコンピュータ可読媒体であって、
対象とする画像から特徴的な部位に相当する画像領域を検出する検出工程を実行するためのコードと、
前記対象とする画像の大きさに応じて解像度を設定し、その解像度に応じて前記対象とする画像を間引く間引き工程を実行するためのコードと、
前記間引き工程により得られた画像に対して第一の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第一のクラスタリング工程を実行するためのコードと、
前記第一のクラスタリング工程によって生成された各領域の大きさと第一の大きさに関するしきい値とを比較し、前記第一の大きさに関するしきい値より大きな領域を前記対象とする画像から除外する第一の除外工程を実行するためのコードと、
前記第一の除外工程により除外されなかった領域に対して、前記第一の色差に関するしきい値よりも大きな第二の色差に関するしきい値に基づきクラスタリングを行い、領域を生成する第二のクラスタリング工程を実行するためのコードと、
前記第二のクラスタリング工程によって生成された各領域の大きさと第二の大きさに関するしきい値とを比較し、前記第二の大きさに関するしきい値より小さな領域を前記対象とする画像からさらに除外する第二の除外工程を実行するためのコードと、を備え、
前記第二の除外工程により除外されなかった画像領域を前記特徴的な部位に相当する画像領域として検出することを特徴とするコンピュータ可読媒体。
前記対象とする画像は顔画像であり、その顔画像の特徴的な部位は目や口、眉であることを特徴とする請求項１７又は１８に記載のコンピュータ可読媒体。