JP4338560B2 - 画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置 - Google Patents

Description

本発明は、処理対象画像中に顔などの特徴部分画像が存在するか否かを高速に抽出することができる画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置に関する。

例えばデジタルカメラには、下記特許文献１に記載されている様に、被写体の顔部分を画面内から抽出し、抽出した顔の目にデジタルカメラの焦点を自動的に合わせる自動焦点装置が搭載されているものがある。しかし、この特許文献１は、焦点合わせの技術について開示があるのみであり、被写体の顔部分をどの様にして抽出すれば高速に顔画像の抽出処理が可能かについての考察がない。

顔部分を画面内から抽出する場合、多くの場合、テンプレートマッチングが用いられる。これは、被写体画像からサーチウインドウで順次切り出した各切出画像と顔のテンプレートとの類似度を順次判定し、顔のテンプレートに対して閾値以上の類似度で一致するサーチウインドウ位置に被写体の顔が在ると判定するものである。

このテンプレートマッチング処理を行う場合、従来は、被写体の顔が画面内でどの程度の大きさに映っているか分からないため、顔のテンプレートとして小さなテンプレートから画面一杯の大きさのテンプレートまで、大きさの異なるテンプレートを多数用意しておき、全てのテンプレートを用いてテンプレートマッチング処理を行い、顔画像を抽出している。

特開２００１―２１５４０３公報

被写体の顔等の特徴部分を撮影前などに抽出できれば、被写体の顔に自動焦点合わせをするまでの時間を短縮できたり、また、顔の肌色に合うようにホワイトバランスをとった撮影ができるなど、利点が多い。しかし、従来の様に顔のテンプレートを小さなものから大きなものまで多数用意し、各テンプレートを用いたマッチング処理を行わなければならなかったので、顔の抽出処理に時間がかかってしまうという問題がある。また、多数のテンプレート画像をメモリに用意すると、メモリ容量が大きくなってカメラのコスト増を招くという問題もある。

上述した例は、カメラで人を撮影する場合であるが、例えば画像処理装置やプリンタにカメラから処理対象画像を読み込み、この処理対象画像中に人の顔があるか否かを検出し、肌色に合わせた画像補正や、例えばフラッシュ発光による赤目を修正する場合にも、高速に顔などの特徴部分画像が抽出できれば便利である。

本発明の目的は、処理対象画像中から顔等の特徴部分画像を高速かつ高精度に抽出することができる画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置を提供することにある。

本発明の画像の特徴部分抽出方法は、処理対象画像から所要の大きさの画像を順次切り出し、各切出画像と特徴部分画像の照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像の特徴部分抽出方法であって、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該処理対象画像が撮像されたときの撮像装置と被写体との間の距離情報に基づいて限定し、前記照合データと比較する前記切出画像の前記処理対象画像に対する大きさを前記限定した上限，下限の範囲に制限し、前記処理対象画像から順次切り出す前記切出画像の該処理対象画像に対する大きさを前記上限，下限の範囲内で変え、該範囲内で切り出された前記切出画像と、該切出画像と同一大きさの前記特徴部分画像の前記照合データとを比較し、前記範囲内で前記特徴部分画像が抽出できなかったとき前記処理対象画像中に該特徴部分画像が無いと判定するに際し、前記照合データを、前記特徴部分画像の特徴量を数値化したデータまたは前記特徴部分画像の特徴量を抽出するルールを記述したデータとすることを特徴とする。

この構成により、特徴部分画像の大きさに比べて大きすぎる部分画像や小さすぎる部分画像を処理対象画像から切り出して照合データと比較するという無駄な処理を省くことができ、処理時間の短縮を図ることが可能となる。また、使用する照合データや切出画像の大きさを距離情報に基づいて制限するため、見当違いの大きさのものでも特徴部分（例えば、顔）らしきものを特徴部分として誤検出してしまうことを防止できる。
数値化した照合データとは、例えば、特徴部分画像の画素位置毎の画素値（濃度値）を数値化したデータである。あるいは、実際の画像に対して、ニューラルネットや遺伝的アルゴリズム等の機械学習アルゴリズムを使用してコンピュータに顔画像を学習させて得られる照合データである。この場合、普通の人の顔の照合データの他に、眼鏡を掛けた人の照合データ、年寄りの顔の照合データ、乳児の顔の照合データ等、各種用意しておくのが好ましい。数値化したデータであるため、多種類用意してもメモリ容量は大きくならない。
特徴部分画像の特徴量を抽出するルールを記述したデータを照合データとしても、数値化データと同様であり、特徴部分画像の処理対象画像中における探索範囲が限定されるため、高速に特徴部分画像を抽出することができる。

本発明の特徴部分抽出方法の前記限定は、前記被写体までの距離情報の他に撮影レンズの焦点距離情報を用いて行うことを特徴とする。

この構成により、特徴部分（例えば、顔）の入る範囲を更に高精度に制限することが可能となる。

本発明の特徴部分抽出方法の前記比較は、前記処理対象画像をリサイズしたリサイズ画像を用いて行うことを特徴とする。

この構成により、例えば個々人によって異なる顔画像を個々人の違いに関わらずに抽出することが容易となる。

本発明の特徴部分抽出方法の前記比較は、決まった大きさの特徴部分画像に対応する前記照合データを用い、前記リサイズ画像の大きさを変化させて行い、あるいは、逆に、前記リサイズ画像の大きさを固定し前記特徴部分画像の大きさを変化させた前記照合データを用いて行うことを特徴とする。

この構成により、特徴部分画像の抽出を高速に行うことが可能となる。

本発明の特徴部分抽出プログラムは、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該処理対象画像が撮像されたときの撮像装置と被写体との間の距離情報に基づいて限定して前記照合データと比較する前記切出画像の前記処理対象画像に対する大きさを前記限定した上限，下限の範囲に制限する第１のステップと、前記処理対象画像から順次切り出す前記切出画像の該処理対象画像に対する大きさを前記上限，下限の範囲内で変え該範囲内で切り出された前記切出画像と該切出画像と同一大きさの前記特徴部分画像の前記照合データとを比較する第２のステップと、前記範囲内で前記特徴部分画像が抽出できなかったとき前記処理対象画像中に該特徴部分画像が無いと判定する第３のステップとを備え、前記照合データを、前記特徴部分画像の特徴量を数値化したデータまたは前記特徴部分画像の特徴量を抽出するルールを記述したデータとすることを特徴とする。

画像の特徴部分抽出方法をプログラム化しておくことで、コンピュータ搭載機器にこのプログラムを実行させることができ、様々な利用が可能となる。

本発明の画像処理装置は、上記の特徴部分抽出プログラムを搭載し、該特徴部分抽出プログラムが前記ステップを実行するときに使用する前記距離情報は、前記処理対象画像にタグ情報として付加されている距離情報であることを特徴とする。

この構成により、画像処理装置は、各種補正処理を行うことが可能となる。例えば、明るさ補正、色補正、輪郭補正、階調補正、欠陥補正等を行うことができる。これらの補正処理は、画像全体に適用するものとは限らず、画像内の局所的な領域に対する補正処理も含む。また、処理対象画像に距離情報がタグ情報として付加されていれば、画像処理装置は容易に処理対象画像中の特徴部分画像の大きさがどの程度であるかを算出することができ、これによって探索範囲を狭めることができる。

本発明の撮像装置は、上記の特徴部分抽出プログラムと、該特徴部分抽出プログラムの前記ステップの実行時に必要となる前記距離情報を求める手段とを備えることを特徴とする。

この構成により、撮像装置は、撮影時に特徴部分たとえば人の顔に合焦させたり、顔の肌色が奇麗になるように補正した画像データを出力することが可能となる。

本発明の撮像装置の前記手段は、測距センサ、撮影レンズを被写体に合焦させるときのモータ駆動パルス数の計数手段、撮影レンズの焦点距離情報を求める手段、人物撮影モード，風景撮影モード，マクロ撮影モード等の撮影モードから被写体までの距離を推定する手段、撮影レンズの焦点距離から被写体までの距離を推定する手段のいずれかを含むことを特徴とすることを特徴とする。

撮像装置に通常搭載されている測距センサや撮影レンズの合焦用モータ等を利用して距離情報を取得できるため、撮像装置のコストアップを低減できる。またこれらの測距センサやパルス計数手段が搭載されていない場合でも、撮影モードや撮影レンズの焦点距離情報から被写体までのおおよその距離を推定できるため、撮影画像中に含まれる特徴部分（例えば、顔）の大きさをある程度推定でき、これによって抽出する特徴部分の大きさの範囲を限定することができる。

本発明によれば、照合データとの比較処理で使用する切出画像の大きさを、特徴部分画像の大きさ範囲に制限するため、比較処理の回数が減り、処理の高速化と高精度化を図ることが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。尚、以下では撮像装置の一種であるデジタルカメラに搭載した特徴部分抽出プログラムが実行する画像の特徴部分抽出方法を例に説明するが、プリンタを含む画像処理装置や撮像装置一般にも同様の特徴部分抽出プログラムを搭載することで同様の効果を得ることができる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、ＣＣＤやＣＭＯＳ等の固体撮像素子１と、固体撮像素子１の前段に置かれたレンズ２及び絞り３と、固体撮像素子１から出力される画像信号に対し相関二重サンプリング処理等を施すアナログ信号処理部４と、アナログ信号処理された画像信号をデジタル信号に変換するＡ／Ｄ変換部５と、デジタル信号に変換された画像信号に対してガンマ補正，同時化処理など施すデジタル信号処理部６と、このデジタル信号処理部６によって処理された画像信号を格納する画像メモリ７と、ユーザがシャッタボタンを押下したときに画像メモリ７に格納された画像信号（撮影データ）を外部メモリ等に記録する記録部８と、カメラ背面等に設けられ画像メモリ７の格納内容をスルー表示する表示部９とを備える。

このデジタルスチルカメラは更に、ＣＰＵやＲＯＭ，ＲＡＭでなる制御回路１０と、ユーザからの指示入力を受け付けると共に上記表示部９に対してオンデマンド表示処理を行う操作部１１と、撮像素子１から出力されデジタル信号処理部６によって処理された画像信号を取り込み制御回路１０からの指示に基づいて詳細は後述するように被写体の特徴部分この例では顔部分を抽出する顔抽出処理部１２と、レンズ２の焦点合わせや倍率制御を制御回路１０からの指示信号に基づいて行うレンズ駆動部１３と、絞り３の絞り量を制御回路１０からの指示信号に基づいて制御する絞り駆動部１４と、固体撮像素子１を制御回路１０からの指示信号に基づいて駆動制御する撮像素子制御部１５と、制御回路１０からの指示信号に基づいて被写体までの距離を計測する測距センサ１６とを備える。

図２は、顔抽出処理部１２が顔抽出プログラムに従って行う顔抽出処理の処理手順を示すフローチャートである。顔抽出プログラムは、図１に示す制御回路１０のＲＯＭ内に格納されており、ＣＰＵが顔抽出プログラムをＲＡＭに読み出し実行することで、顔抽出処理部１２が機能する。

デジタルスチルカメラの撮像素子１は、ユーザがシャッタボタンを押下する前であっても常時所定周期で画像信号を出力しており、デジタル信号処理部６は各画像信号をデジタル信号処理している。顔抽出処理部１２は、この画像信号を逐次取り込み、各入力画像に対して以下の処理を行う。

先ず、入力画像（処理対象画像）のサイズを取得（ステップＳ１）する。ユーザが例えば６４０×４８０画素数で撮影しようとしているのか、１２８０×９６０画素数で撮影しようとしているのかによって顔抽出処理に用いる入力画像のサイズが異なるカメラの場合には、このサイズ情報を取得する。入力画像のサイズが固定の場合にはこのステップＳ１は不要である。次に、測距センサ１６によって計測した被写体までの距離情報を制御回路１０から取得する（ステップＳ２）。

測距センサ１６が搭載されていないカメラであっても、焦点レンズを前後にモータ駆動して被写体に合焦させる機構を持ったカメラであれば、そのモータ駆動のパルス数を計数し、この計数値から距離情報を求めることができる。この場合、パルス数計数値と距離との関係を関数で持っていても、あるいはテーブルデータとして持っていてもよい。

次のステップＳ３では、ズームレンズを使用しているのか否かを判定し、ズームレンズを使用している場合にはズーム位置情報を制御回路１０から取得し（ステップＳ４）、次にレンズの焦点距離情報を制御回路１０から取得する（ステップＳ５）。ステップＳ３でズームレンズを使用していないと判定した場合にはステップＳ４を飛び越してステップＳ５に進む。

以上の処理ステップによって取得した入力画像サイズ情報とレンズ焦点距離情報により、入力画像中における被写体である人の顔の大きさがどの程度の大きさになるかを決定できる。このため、次のステップＳ６では、顔の大きさに合わせたサーチウインドウの大きさの上限，下限の範囲を決定する。

サーチウインドウとは、図３に示す様に、テンプレートマッチング処理を行う処理画像２１に対する顔画像の大きさ、即ち図４に示すテンプレート２２の大きさと同一の大きさのウインドウ２３である。このサーチウインドウ２３によって切り出した画像とテンプレート２２との正規化相互相関係数等を以下の処理ステップで求め、マッチング度合いを計算し、マッチング度合い即ち類似度が閾値に達しない場合には、サーチウインドウ２３を処理画像２１上で一定画素分たとえば１画素分だけスキャニング方向２４にずらして次のマッチング処理用の画像を切り出す。

ここで、処理画像２１とは、入力画像をリサイズした画像である。例えば１２８０×９６０画素数の高精細な入力画像を処理画像としてマッチング処理を行うよりも、この入力画像を例えば２００×１５０画素数にリサイズした画像を処理画像とし、テンプレート（勿論、テンプレート側の顔画像も高精細な顔画像ではなく、画素数の少ない例えば２０×２０画素数の顔画像を用いる。）マッチングを行う方が、個々人の差違を無視した一般的な「顔」の検出が容易となる。

次のステップＳ７では、サーチウインドウのサイズが範囲内であるか否か、即ち、処理画像２１内における顔の大きさの上限，下限の範囲内であるか否かを判定する。次に、サーチウインドウ２３の大きさに一致する大きさのテンプレート２２が存在するか否かを判定する（ステップＳ８）。存在する場合には該当するテンプレートを選択し（ステップＳ９）、存在しない場合にはテンプレートをリサイズしてサーチウインドウ２３の大きさに合わせたテンプレートを生成し（ステップＳ１０）、次のステップ１１に進む。

ステップＳ１１では、スキャニング方向２４に沿ってサーチウインドウ２３をスキャニングさせながらテンプレートマッチング処理を行い、類似度が閾値α以上となった画像部分が存在するか否かを判定する。

類似度が閾値α以上となる画像部分が存在しない場合には、ステップＳ１２に進み、サーチウインドウ２３の大きさを図５に示す様に変化させ、次に、使用するサーチウインドウ２３の大きさを決定してからステップＳ７に進む。以下、ステップＳ７→ … →ステップＳ１１→ステップＳ１２→ステップＳ７を繰り返す。

このように、本実施形態では、図５に示す様にサーチウインドウ２３の大きさを上限値から下限値まで（あるいは下限値から上限値まで）変化させながら、図６に示す様にテンプレートの大きさも変化させ、テンプレートマッチング処理を繰り返す。

ステップＳ１１で、閾値α以上の類似度を示す画像部分が検出されたときは、ステップＳ１３の顔検出判定処理に進み、顔位置を特定し、その位置情報を制御回路１０に出力してこの顔検出処理を終了する。

ステップＳ７→ … →ステップＳ１１→ステップＳ１２→ステップＳ７と繰り返されることでサーチウインドウ２３の大きさが上限，下限の範囲外に外れた場合には、ステップＳ７における判定結果が否定（Ｎ）となる。この場合にはステップＳ１３の顔検出判定処理に進み、「顔なし」と判定される。

尚、この実施形態は、処理速度重視の処理系としているため、入力画像（処理対象画像）中に類似度がα以上となる部分がステップＳ１１で検出された場合には、即ち、１人の顔画像が抽出された場合には、直ちにステップＳ１３に進んで顔画像の探索処理を終了する構成となっている。

しかし、例えば、顔画像の検出精度重視の処理系にする場合には、全ての切出画像と全てのテンプレートとをマッチング処理して夫々の類似度を求め、最後に、最高の類似度を示す画像部分を顔画像として検出したり、あるいは、所定値以上の類似度の画像部分を全て顔画像として検出したりする。これは、この第１の実施形態に限らず、後で述べる第２，第３，第４，第５の実施形態でも同様である。

また、第１の実施形態では、図４に示す一種類のテンプレートを用いて顔画像の探索処理を行ったが、テンプレートの種類として複数種類用意し、各種類のテンプレートを用いて顔画像を検出する構成とするのが良い。例えば、普通の人の顔のテンプレートの他に、眼鏡を掛けた顔のテンプレート、年寄りの顔のテンプレート、乳児の顔のテンプレート等を用意しておくことで、精度の高い顔画像の抽出処理が可能となる。

この様に、本実施形態によれば、テンプレートマッチング処理で使用するテンプレートを複数種類用意し、各テンプレートを用いたマッチング処理を行うが、被写体までの距離情報に基づいて使用するテンプレートの上限，下限の大きさを限定するため、テンプレートマッチング処理回数を減らすことができ、顔の抽出処理を高精度，高速に行うことが可能となる。

（第２の実施形態）
図７は、本発明の第２の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。この顔抽出処理プログラムを搭載するデジタルスチルカメラの構成は図１と同じである。

上述した第１の実施形態では、サーチウインドウ及びテンプレートの大きさを変化させながらテンプレートマッチング処理を行ったが、本実施形態では、サーチウインドウ及びテンプレートの大きさは固定し、処理画像２１の大きさの方をリサイズしながらテンプレートマッチング処理を行う。

ステップＳ１からステップＳ５までは第１の実施形態と同じである。ステップＳ５の次に、本実施形態では、処理画像２１の大きさの上限，下限の範囲を決定する（ステップＳ１６）。そして、次のステップＳ１７では、処理画像２１の大きさが顔の大きさの上限，下限の大きさに見合った範囲内であるか否かを判定する。

ステップＳ１７の判定で、処理画像２１の大きさが上限，下限の範囲内であると判定された場合には、次にステップＳ１１に進み、テンプレートマッチング処理を行い、類似度が閾値α以上の画像部分が存在するか否かを判定する。類似度が閾値α以上の画像部分が検出できなかった場合はステップＳ１１からステップＳ１８に戻って処理画像２１のリサイズを行い、テンプレートマッチング処理を繰り返す。閾値α以上の画像部分が検出された場合には、ステップＳ１１からステップＳ１３の顔検出判定処理に進んで顔位置を特定し、その位置情報を制御回路１０に出力しこの顔検出処理を終了する。

処理画像２１のリサイズによって処理画像のサイズが上限値から下限値まで変化した後（あるいは下限値から上限値まで変化した後）は、ステップＳ１７の判定結果が否定（Ｎ）となる。この場合にはステップＳ１３に進み、「顔なし」と判定される。

この様に、本実施形態では、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度，高速に顔の抽出を行うことが可能となる。しかも、予め用意するテンプレートが１つで済むため、テンプレートの記憶容量を削減することもできる。

（第３の実施形態）
図８は、本発明の第３の実施形態に係るデジタルスチルカメラの説明図である。第１，第２の実施形態では、測距センサ１６によって被写体までの距離情報を取得したが、本実施形態では、測距センサを用いずに被写体までの距離情報を取得し、テンプレートマッチング処理により顔の抽出を行う。

例えば、スタジオ内に設置したデジタルスチルカメラによって被写体の記念撮影を行う場合や、監視カメラの様にカメラ設置位置とドア入口等の監視対象場所とが固定されている場合、被写体２５とデジタルスチルカメラ２６との間の距離は既知である。また、デジタルスチルカメラ２６の設置台２７がモータ及びレールなどの移動機構で移動する場合には、その移動量を移動機構のモータタイミングベルトやロータリーエンコーダ等から取得することで、図１の制御回路１０は被写体２５までの距離を知ることができる。

尚、本実施形態に係るデジタルスチルカメラは、図１の構成に対して測距センサが無い代わりに、移動機構から位置情報を取得する機構を備える。あるいは、ユーザが操作部１１から入力した位置情報を用いる。

図９は、本実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。本実施形態の顔抽出プログラムでは、先ず、図８に示す基準点（カメラのディフォルト設置位置と被写体位置）間距離情報を取得し（ステップＳ２０）、次に、第１実施形態のステップＳ１と同様に、入力画像のサイズを取得する。

次のステップＳ２１では、被写体２５に対して移動機構がどの程度移動したかの情報を制御回路１０から取得し、ステップＳ３に進む。以下のステップＳ４〜ステップＳ１３の処理は図２に示す第１の実施形態と同じであるため、その説明は省略する。

この様に、本実施形態でも、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度，高速に顔の抽出を行うことが可能となる。

（第４の実施形態）
図１０は、本発明の第４の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。本実施形態も、図８で説明した様に監視カメラ等に適用するプログラムであり、先ず、図８に示す基準点間距離情報を取得し（ステップＳ２０）、次に第２実施形態のステップＳ１と同様に、入力画像のサイズを取得する。

次のステップＳ２１では、被写体２５に対して移動機構がどの程度移動したかの情報を制御回路１０から取得し、ステップＳ３に進む。以下のステップＳ４〜ステップＳ１３の処理は図７に示す第２の実施形態と同じであるため、その説明は省略する。

この様に、本実施形態でも、入力画像に対する被写体の顔の大きさを被写体までの距離情報に基づいて限定するため、テンプレートマッチング処理回数を減らすことができ、高精度，高速に顔の抽出を行うことが可能となる。しかも、予め用意するテンプレートが１つで済むため、テンプレートの記憶容量を削減することもできる。

（第５の実施形態）
上述した実施形態では、特徴部分画像の照合データとして、テンプレートの画像データを用いたが、テンプレートの画像データを用いなくても、サーチウインドウによる切出画像と比較照合することができる。

例えば、図４のテンプレート画像の各画素の濃度値を各画素位置座標に対応付けて数値化した照合データを用意し、この照合データを用いて比較照合を行うことができる。あるいは、濃度の高い画素位置（図４の例では両目の位置）の相関関係を照合データとして抽出し、この照合データを用いて比較照合を行うことも可能である。

本実施形態では、撮像装置で撮像した実際の画像に対して、例えばニューラルネットワークや遺伝的アルゴリズム等の機械学習アルゴリズムを使用して、事前に特徴部分画像、例えば顔画像の特徴をコンピュータに学習させ、この学習させた結果を照合データとして撮像装置のメモリに記憶させておく。

図１１は、事前学習の結果得られた照合データの構成例を示す図である。サーチウインドウ内の画素位置毎に、画素値v_iとスコアp_iとが学習により決定されている。画素値とは、例えば画素濃度値等の数値データである。また、スコアとは、評価値である。

テンプレート画像を用いた場合の評価値は「類似度」であり、テンプレート画像全体と比較した結果の評価値であったが、本実施形態の照合データの場合には、そのサーチウインドウの大きさに対して１画素１画素毎に評価値が定められている。

例えば、ある画素位置の画素値が“４５”の場合にはスコアが“９”であり、顔らしさが高いと設定されており、別の画素位置の画素値が“１０”の場合にはスコアが“−４”であり、顔らしくないと設定されている。

そして、比較照合の結果として各画素毎の評価値の累積値を求め、この累積値により、顔画像であるか否かを判定することで、顔画像の検出ができる。この数値データを用いた照合データでは、サーチウインドウの大きさ毎に照合データを用意しておき、各照合データによって顔画像を検出するのが好ましい。

あるサーチウインドウが選択され、そのサーチウインドウの大きさに対する照合データが用意されていない場合には、テンプレートの場合における図２のステップＳ１０の処理に相当する処理を行って、そのサーチウインドウの大きさに対する照合データを作成することでもよい。例えば、そのサーチウインドウの大きさと前後する大きさの複数の照合データを用い、画素値を補間演算して決定する。

テンプレートは特徴部分画像から特徴量を画像として抽出したデータであり、数値化した照合データは、特徴部分画像から特徴量を数値データとして抽出したデータである。そこで、テンプレートや数値化データとして照合データを用意するのではなく、特徴部分画像から特徴量を抽出するルールを文言として記述した照合データを用意して、処理対象画像からサーチウインドウで切り出した画像との比較処理を行う構成とすることも可能である。この場合、制御回路の演算処理装置はルールを一々解釈しなければならないが、顔画像の大きさの範囲が距離情報によって制限されているため、高速な処理が可能である。

尚、上述した各実施形態では、デジタルスチルカメラを例に説明したが、携帯電話機等に搭載したデジタルカメラや動画撮影を行うデジタルビデオカメラ等の他のデジタルカメラにも本発明を適用可能である。また、被写体までの距離情報は、測距センサの計測値や既知の値を用いる場合に限られず、その距離情報取得方法は如何なる方法でもよく、更に、抽出対象は顔に限らず、他の特徴部分でも本発明を適用可能である。

また、上述した各実施形態の特徴抽出プログラムは、デジタルカメラに搭載する場合に限られず、例えば写真のプリンタや画像処理装置に搭載することで、被写体の特徴部分を高精度且つ高速に抽出することが可能となる。この場合、テンプレートの大きさ或いは処理画像の大きさを特徴部分画像の上限，下限の範囲に限定するために距離情報やズーム情報が必要となるが、これらの情報は、入力画像を撮影したカメラが撮像画像データにタグ情報として付加したものを用いる。

尚、上述した実施形態では、測距センサによって求めた被写体までの距離情報や、撮影レンズを被写体に合焦させるときのモータ駆動パルス数等から画像中に含まれる特徴部分の大きさの範囲を限定したが、精度良く特徴部分の大きさの範囲が分からない場合でも、おおよその範囲が限定できれば本発明を適用可能である。

例えば、撮影レンズの焦点距離から、被写体までの距離を大まかに限定でき、また、人物撮影モード，風景撮影モード，マクロ撮影モード等の撮影モードのいずれで撮影が行われたかが分かれば、被写体までの距離を推定することができ、特徴部分の大きさを大まかに限定して特徴部分抽出処理の高速化を図ることができる。

更にまた、これらの情報を組み合わせ、例えば、撮影モードと撮影レンズの焦点距離とから被写体までのおおよその距離を推定したり、撮影モードとモータ駆動パルス数とを組み合わせて判断することでもよい。

本発明は、顔などの特徴部分画像を入力画像中から高速に抽出できるため、例えば、明るさ補正、色補正、輪郭補正、階調補正、欠陥補正等を、画像全体の補正に限らず、画像内の局所的な領域に対する補正も高速に行うことができ、画像処理装置や撮像装置に搭載すると好適である。

本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。 図１に示すデジタルスチルカメラに搭載された顔抽出プログラムの処理手順を示すフローチャートである。 サーチウインドウによるスキャニングの説明図である。 顔のテンプレートの一例を示す図である。 サーチウインドウの大きさを変化させる例の説明図である。 テンプレートの大きさを変化させる例の説明図である。 本発明の第２の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 本発明の第３の実施形態に係るデジタルスチルカメラの設置例を示す図である。 本発明の第３の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 本発明の第４の実施形態に係る顔抽出プログラムの処理手順を示すフローチャートである。 本発明の第５の実施形態に係る照合データの説明図である。

符号の説明

１ 撮像素子
２ レンズ
３ 絞り
６ デジタル信号処理部
１０ 制御回路
１２ 顔抽出処理部
１６ 測距センサ
２１ 処理画像
２２ 顔のテンプレート
２３ サーチウインドウ
２４ スキャニング方向

Claims (9)

1. 処理対象画像から所要の大きさの画像を順次切り出し、各切出画像と特徴部分画像の照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像の特徴部分抽出方法であって、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該処理対象画像が撮像されたときの撮像装置と被写体との間の距離情報に基づいて限定し、前記照合データと比較する前記切出画像の前記処理対象画像に対する大きさを前記限定した上限，下限の範囲に制限し、前記処理対象画像から順次切り出す前記切出画像の該処理対象画像に対する大きさを前記上限，下限の範囲内で変え、該範囲内で切り出された前記切出画像と、該切出画像と同一大きさの前記特徴部分画像の前記照合データとを比較し、前記範囲内で前記特徴部分画像が抽出できなかったとき前記処理対象画像中に該特徴部分画像が無いと判定するに際し、前記照合データを、前記特徴部分画像の特徴量を数値化したデータまたは前記特徴部分画像の特徴量を抽出するルールを記述したデータとすることを特徴とする画像の特徴部分抽出方法。
2. 前記限定は、前記被写体までの距離情報の他に撮影レンズの焦点距離情報を用いて行うことを特徴とする請求項１に記載の画像の特徴部分抽出方法。
3. 前記比較は、前記処理対象画像をリサイズしたリサイズ画像を用いて行うことを特徴とする請求項１または請求項２に記載の画像の特徴部分抽出方法。
4. 前記比較は、決まった大きさの特徴部分画像に対応する前記照合データを用い、前記リサイズ画像の大きさを変化させて行うことを特徴とする請求項３に記載の画像の特徴部分抽出方法。
5. 前記比較は、前記リサイズ画像の大きさを固定し前記特徴部分画像の大きさを変化させた前記照合データを用いて行うことを特徴とする請求項３に記載の画像の特徴部分抽出方法。
6. 請求項１乃至請求項５のいずれかに記載の画像の特徴部分抽出方法を実行する特徴部分抽出プログラムであって、前記処理対象画像の大きさに対する前記特徴部分画像の大きさの上限，下限の範囲を該処理対象画像が撮像されたときの撮像装置と被写体との間の距離情報に基づいて限定して前記照合データと比較する前記切出画像の前記処理対象画像に対する大きさを前記限定した上限，下限の範囲に制限する第１のステップと、前記処理対象画像から順次切り出す前記切出画像の該処理対象画像に対する大きさを前記上限，下限の範囲内で変え該範囲内で切り出された前記切出画像と該切出画像と同一大きさの前記特徴部分画像の前記照合データとを比較する第２のステップと、前記範囲内で前記特徴部分画像が抽出できなかったとき前記処理対象画像中に該特徴部分画像が無いと判定する第３のステップとを備え、前記照合データを、前記特徴部分画像の特徴量を数値化したデータまたは前記特徴部分画像の特徴量を抽出するルールを記述したデータとすることを特徴とする特徴部分抽出プログラム。
7. 請求項６に記載の特徴部分抽出プログラムを搭載し、該特徴部分抽出プログラムが前記第１のステップを実行するときに使用する前記距離情報は、前記処理対象画像にタグ情報として付加されている距離情報を用いることを特徴とする画像処理装置。
8. 請求項６に記載の特徴部分抽出プログラムと、該特徴部分抽出プログラムの前記第１のステップの実行時に必要となる前記距離情報を求める手段とを備えることを特徴とする撮像装置。
9. 前記手段は、測距センサ、撮影レンズを被写体に合焦させるときのモータ駆動パルス数の計数手段、撮影レンズの焦点距離情報を求める手段、人物撮影モード，風景撮影モード，マクロ撮影モード等の撮影モードから被写体までの距離を推定する手段、撮影レンズの焦点距離から被写体までの距離を推定する手段のいずれかを含むことを特徴とする請求項８に記載の撮像装置。

Images