JP4401497B2 - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP4401497B2 JP4401497B2 JP29865599A JP29865599A JP4401497B2 JP 4401497 B2 JP4401497 B2 JP 4401497B2 JP 29865599 A JP29865599 A JP 29865599A JP 29865599 A JP29865599 A JP 29865599A JP 4401497 B2 JP4401497 B2 JP 4401497B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correlation value
- partial image
- value
- maximum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ装置に関するものである。
【０００２】
【従来の技術】
近年の民生用ビデオカメラは、様々なオート機能、付加機能を搭載している。例えば自動焦点調節（ＡＦ）、自動露光調節（ＡＥ）、自動ホワイトバランス調節（ＡＷＢ）機構や、電子ズーム機能等がその代表的なものである。従来ＡＦ、ＡＥ、ＡＷＢは、赤外線センサーや光量センサーなどの外部検出機構を用いずに撮像画像信号から制御用評価値を得る方式の場合、撮像画像の中央部の情報を重点的に利用し、それに付加して周辺の情報を合わせて各種評価値を生成していることが多い。また、電子ズームの場合、画面中央部を拡大することがほとんどである。これは、撮影したい被写体が、画面の中央に位置することが多いということを前提とするためである。
【０００３】
また、上記民生用ビデオカメラの技術とは別に、近年画像処理装置の分野において、画像内の特定の形状の対象物の位置を、特定の形状を代表するテンプレートデータとの相関マッチングにより推定するテンプレートマッチング法による画像認識技術が提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の技術においては、撮影したい被写体の位置が画面中央付近にあることを前提とするため、逆に上記各オート機能を効果的に動作させるためには撮影時の画面構成の自由度を犠牲にせざるを得ない。また、電子ズームにおいても撮影画像の中央部分しか拡大できないという問題がある。
【０００５】
また、テンプレートマッチング法による画像認識を自然画像に用いる場合においては、テンプレートデータと入力画像との相関が高くても、必ずしも所望の被写体が映っているとは限らないという問題がある。この問題に対して、例えば特開平０５−０２８２７３では、予め記憶されたテンプレート画像と入力画像との相関値の極大値、または前記テンプレート画像と入力画像の微分画像の相関値の極大値等、複数の種類の画像の相関値を求めることにより、所望の被写体の検出率の向上を図っている。しかしながらこれらは本質的にこの問題を解決するものではない。
【０００６】
さらに、テンプレートマッチング法では、テンプレートデータと入力画像との相関の計算量が非常に多く、ビデオフレームレートに近い速度での処理が難しいという問題がある。この問題に対しては、例えば特開平０７−２２００７６において、所定の探索幅で相関値を計算し、得られた相関値を大きい順にソートし、その相関値が得られた位置の周囲を前記所定の探索幅より小さい幅で再度探索することで計算量の削減を行なっている。しかしながら、これは画像情報を用いた検査を目的としており、民生用のビデオカメラのように自然画像中の特定被写体の位置を検出するには計算量の削減が不十分であった。
【０００７】
【課題を解決するための手段】
本発明は上記問題点を鑑みてなされたものであり、本発明における結像光学系を介して得られた光学像を光電変換素子で電気画像信号に変換し、記憶する撮像装置は、特定画像パターンを記憶する記憶手段と、前記電気画像信号の部分画像と、前記特定画像パターンとの相関値を算出する相関値算出手段と、前記算出された相関値に基づいて、前記部分画像の位置をシフトするシフト手段と、前記相関値算出手段により算出された相関値の極大値を検出する極大値検出手段と、前記極大値が検出された部分画像が人の顔の画像であるかどうかを判別する判別手段と、自動焦点制御、自動露出制御、自動ホワイトバランス、拡大処理、および縮小処理の少なくとも１つを含む制御を行う制御手段とを有し、前記シフト手段は、前記相関値算出手段により算出された相関値が予め設定された閾値以上になるまで、予め設定された方向に前記部分画像の位置を順次シフトし、前記閾値以上になると、前記部分画像のシフト前後の位置で得られる相関値から、相関値が高くなるシフト方向を推定し、前記極大値検出手段は、前記シフト手段が該推定したシフト方向に前記部分画像の位置をシフトする処理を繰り返すことで得られる相関値から、前記極大値を検出するものであって、前記判別手段が前記極大値として検出された部分画像が人の顔の画像であると判別すると、前記制御手段が前記部分画像に基づいて前記自動焦点制御、前記自動露出制御、前記自動ホワイトバランス、前記拡大処理、および前記縮小処理の少なくとも１つを含む制御を行い、前記判別手段が前記極大値として検出された部分画像が人の顔の画像でないと判別すると、前記シフト手段は再び前記相関値算出手段により算出された相関値が前記閾値以上になるまで、前記予め設定された方向に前記部分画像の位置を順次シフトする。
【０００８】
また、本発明における結像光学系を介して得られた光学像を光電変換素子で電気画像信号に変換し、記憶する撮像装置の制御方法は、前記電気画像信号の部分画像と、予め記憶された特定画像パターンとの相関値を算出する相関値算出工程と、前記相関値算出工程において算出された相関値の極大値を検出する極大値検出工程と、前記極大値が検出された部分画像が人の顔の画像であるかどうかを判別する判別工程と、自動焦点制御、自動露出制御、自動ホワイトバランス、拡大処理、および縮小処理の少なくとも１つを含む制御を行う制御工程とを有し、前記極大値検出工程では、前記相関値算出工程において算出された相関値が予め設定された閾値以上になるまで、予め設定された方向に前記部分画像の位置を順次シフトし、前記閾値以上になると、前記部分画像のシフト前後の位置で得られる相関値から、相関値が高くなるシフト方向を推定し、該推定したシフト方向に前記部分画像の位置をシフトする処理を繰り返すことで得られる相関値から、前記極大値を検出するものであって、前記判別工程で前記極大値として検出された部分画像が人の顔の画像であると判別すると、前記制御工程で前記部分画像に基づいて前記自動焦点制御、前記自動露出制御、前記自動ホワイトバランス、前記拡大処理、および前記縮小処理の少なくとも１つを含む制御を行い、前記判別工程で前記極大値として検出された部分画像が人の顔の画像でないと判別すると、前記極大値検出工程で再び前記相関値算出工程で算出された相関値が前記閾値以上になるまで、前記予め設定された方向に前記部分画像の位置を順次シフトする。
【００２１】
好ましくは、前記撮像装置はビデオカメラである。
【００２２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２３】
（第１の実施形態）
図１に本発明の第１の実施形態における撮像装置の構成を示す。図１において１０１は結像光学系、１０２はＣＣＤ等の撮像素子、１０３はＡ／Ｄコンバータ、１０４はカメラ信号処理部、１０５はビデオ信号出力端子、１０６はランダムアクセスメモリ （ＲＡＭ）、１０７はメモリインタフェース回路、１０８はテンプレート画像を記憶する読出し専用メモリ（ＲＯＭ）、１０９は相関値計算部、１１０は判別分析回路、１１１はデータ読出し制御部、１１２はＡＦ、ＡＥ、ＡＷＢ評価値検出回路、１１３はＡＦ、ＡＥ、ＡＷＢ制御回路、１１４はテンプレートサイズ制御回路である。
【００２４】
図２は図１に示すデータ読出し制御回路１１１の詳細構成を示すブロック図である。図２において、２０１は、テンプレートサイズ制御回路１１４からの信号を入力するテンプレートサイズ制御入力端子、２０２は水平方向探索幅データ保持部、２０３は垂直方向採索幅データ、２０４は第１のスイッチ、２０５は第２のスイッチ、２０６は第３のスイッチ、２０７は第４のスイッチ、２０８は第１の加算器、２０９は第２の加算器、２１０は水平カウンタレジスタ、２１１は垂直カウンタレジスタ、２１２はアドレスデータ発生回路、２１３は枠信号発生回路、２１４は枠信号出力端子、２１５は相関値入力端子、２１６は相関値閾値レジスタ、２１７はコンパレータ、２３４はＡＮＤ素子、２１８は相関値バッファ、２１９は減算器、２２０は係数発生回路、２２１は水平相関微分値バッファ、２２２は垂直相関微分値バッファ、２２３は勾配方向計算回路、２２４は余弦関数回路、２２５は正弦関数回路、２２６は第１の乗算器、２２７は第２の乗算器、２２８は水平方向カウンタインクリメント部、２２９は垂直方向カウンタインクリメント部、２３０は第５のスイッチ、２３１は第６のスイッチ、２３２は判別結果ステート入力端子、２３３はアドレスデータ出力端子である。
【００２５】
以下、本発明の第１の実施形態における撮像装置の動作を説明する。
【００２６】
図１の結像光学系１０１はフォーカス調節機構およびアイリス調節機構を含み、入射光を撮像素子１０２の受光面上に投射し、撮像素子１０２は入射光に応じた画像信号に変換する。撮像素子１０２はこの画像信号をＡ／Ｄコンバータ１０３に出力し、ディジタル画像信号に変換される。Ａ／Ｄコンバータ１０３から出力されたディジタル画像信号は、カメラ信号処理部１０４で所定の処理を受け、ビデオ信号出力端子１０５より出力される。なお、このカメラ信号処理部１０４にはホワイトバランス調節機構が含まれる。一方、カメラ信号処理部１０４は、入力した画像信号の輝度信号をＲＡＭ１０６に出力し、記憶させる。本第１の実施形態においては、このようにして記憶された画像信号の輝度信号を元にして、目的対象物（第１の実施形態においては、人の顔）の検出を行い、得られた結果に基づいてＡＦ，ＡＥ，ＡＷＢの制御値を算出する。
【００２７】
本発明の第１の実施形態における検出及び算出手順を、図３及び図４のフローチャートを参照して説明する。
【００２８】
ＲＯＭ１０８には、人の顔の多値テンプレート画像データなど、所望の対象物を示すテンプレート画像データが複数記憶されており、ステップＳ１０１では、テンプレートサイズ制御回路１１４により指定されたサイズのテンプレートデータが外部に読み出される。次にステップＳ１０２において、ＲＡＭ１０６に記憶された輝度画像データから、ＲＯＭ１０８から読み出されたテンプレートデータと同じサイズの部分画像がメモリインタフェース回路１０７により読み出される。なお、ここで読み出される部分画像はデータ読出し制御回路１１１が指定するＲＡＭ１０６のアドレス（ここでは、画像の座標（ｘ，ｙ）を基準として決定される）の部分画像である。
【００２９】
その後ステップＳ１０３では、相関値計算部１０９において、ステップＳ１０１で読み出されたテンプレートデータと、ステップＳ１０２で読み出された輝度画像データとの相関値が計算される。以降、データ読出し制御回路１１１は前記相関値に基づき、ＲＡＭ１０６からの読出しアドレスを更新しながら、相関値が極大値を示す部分画像を探索する（ステップＳ１０４〜Ｓ１０９）。この相関値の極大値を探索する手順については、後で詳細に説明する。
【００３０】
探索された極大値に対応する部分画像は判別分析回路１１０に入力され、ステップＳ１１０で探索された前記部分画像が人の顔画像であると判別された場合、判別信号をデータ読出し制御回路１１１に出力する。次のステップＳ１１１では、データ読出し制御回路１１１はこの判別信号を受けて、その内部で保持する極大値に対応する部分画像のアドレスと、テンプレートサイズ制御回路１１４で指定されたテンプレートサイズとに基づいて枠信号を発生し、ＡＦ，ＡＥ，ＡＷＢ評価値検出回路１１２に出力する。従ってステップＳ１１２では、ＡＦ，ＡＥ，ＡＷＢ評価値検出回路１１２では、枠信号によって規定される人の顔周辺を示す部分画像を基準として、フォーカス、絞り、ホワイトバランス制御のための評価値を検出する。ＡＦ，ＡＥ，ＡＷＢ制御回路１１３は前記評価値に基づいて、結像光学系１０１に含まれるフォーカス機構及びアイリス機構の制御、およびカメラ信号処理部１０４に含まれるホワイトバランス調節機構の制御を行なう。
【００３１】
次に図２及び図４を参照して、データ読出し制御回路１１１の動作及び相関値の極大値の探索手順を詳細に説明する。
【００３２】
まず、図３のステップＳ１０３において相関関数計算部１０９により計算された相関値は、相関値入力端子２１５からデータ読み出し制御回路１１１に入力され、ステップＳ１０４でコンパレータ２１７において相関値閾値レジスタ２１６に設定された閾値（ここでは、 実験的に求められた所定値０．２）との比較を行なう。
【００３３】
相関値が０．２より小さい場合（ステップＳ１０４でＮＯ）は、相関が低いことから顔画像の候補がまだ検出されない状態であると判断され、ステップＳ１０５へ進む。ステップＳ１０５では、コンパレータ２１７の出力により第３、第４のスイッチ２０６、２０７は０側に設定される。前記第３、第４のスイッチ２０６、２０７の０側の入力は、第１、第２のスイッチ２０４、２０５で選択された水平方向探索幅データ保持部２０２（探索幅Δｘ）と垂直方向探索幅データ保持部２０３（探索幅Δｙ）である。各探索幅データ２０２及び２０３は、テンプレートサイズ制御入力端子２０１から入力する、テンプレートサイズ制御回路１１４の指定に応じて選択され、想定する顔画像のサイズに応じた探索幅が選択される。こうして、探索幅Δｘ及びΔｙは前記第３、第４のスイッチ２０６、２０７を通じて、第１、第２の加算器２０８、２０９にて現在のカウンタ値（ｘ，ｙ）に加算され（ステップＳ１０６）、水平カウンタレジスタ２１０及び垂直カウンタレジスタ２１１にそれぞれ保持される。
【００３４】
従って、各カウンタレジスタ２１０、２１１は、相関値が０．２より小さい間は所定の探索幅で順次カウンタ値を変化させることとなる。各カウンタレジスタ２１０、２１１のカウンタ値は、アドレスデータ発生回路２１２に送られ、ステップＳ１０７において、前記カウンタ値で示されるアドレスを中心とし、テンプレートサイズ制御入力端子２０１から入力する指定により規定される範囲で前記ＲＡＭ１０６に送るアドレスデータを作成し、アドレスデータ出力端子２３３から前記メモリインタフェース回路１０７に出力する（ステップＳ１０７）。こうして出力されたアドレスデータによりＲＡＭ１０６から次の部分画像が読み出され、次の相関値が算出される。
【００３５】
一方、相関値が０．２以上の場合（ステップＳ１０４でＹＥＳ）は、相関が高いことから顔画像の候補が検出された状態であると判断され、ステップＳ１０８へ進む。ステップＳ１０８では、コンパレータ２１７の出力により前記第３、第４のスイッチ２０６，２０７が１側に設定される。この状態では前記ＲＡＭ１０６へのアドレスをパラメータとして相関値の極大値を求める極大値探索を行なう（ステップＳ１０９）。
【００３６】
一般に、あるパラメータをＸｉ（ｉ＝０，１，２，…，ｎ）、その評価値をＹとしたとき、評価値の極大値Ｙｐを求めるには、評価値ＹのＸｉに対する偏微分をみることにより求めることができる。この方法では、評価値Ｙを最も大きく変化させるパラメータＸｉの組み合わせ（方向）を求め、その方向に対して所定の幅だけパラメータＸｉを更新し、この動作を繰り返すことにより極大値Ｙｐを求める。例えば二次元の画像から人の顔の位置を検出する場合、パラメータは位置を表す水平、垂直の座標、評価値は前記相関値である。従って、この問題における極大値探索は以下のように定式化できる。
【００３７】
すなわち、評価値に対するパラメータの偏微分をｄｘ，ｄｙとすると、
ｄｘ＝γ（ｘ＋１，ｙ）−γ（ｘ，ｙ） （１）
ｄｙ＝γ（ｘ，ｙ＋１）−γ（ｘ，ｙ） （２）
【００３８】
ここで、γ（ｘ，ｙ）は、画素の座標（ｘ，ｙ）における相関値である。
【００３９】
また、評価値を最も大きく変化させる方向θは、
θ＝ａｒｃｔａｎ（ｄｙ／ｄｘ） （３）
【００４０】
で表すことができる。
さらに、パラメータの更新値ｘｎｅｗ及びｙｎｅｗは、
ｘｎｅｗ＝ｘ＋Ａ＊ｃｏｓθ （４）
ｙｎｅｗ＝ｙ＋Ａ＊ｓｉｎθ （５）
【００４１】
で表すことができる。なお、ｘｎｅｗ，ｙｎｅｗは更新される画素の座標であり、Ａは相関値が大きくなるほど小さくなる係数である。この係数Ａは係数発生回路２２０が計算するが、相関値が低い場合は極大値をとる位置に対するずれが大きいために座標の更新を大きな幅で行ない、相関値が高くなるほど極大値に近づくため座標の更新を細かく行なうようにするために、相関値に反比例するような関数の係数を生成している。
図２の構成においては、式（１）は以下のように計算される。まず、相関値バッファ２１８に現在の相関値（γ０（ｘ０，ｙ０））を保持する（図４のステップＳ２０１）。これは各カウンタレジスタ２１０、２１１に保持される現在の座標に対する相関値である。
【００４２】
次に、第５のスイッチ２３０が切り替わって、水平カウンタインクリメント部２２８から所定値（ここでは＋１）が第３のスイッチ２０６を通じて第１の加算器２０８に加えられ、水平カウンタレジスタ２１０の値は１つ増やされる。これにより現在の座標に対して水平方向に１ずれた位置での相関値が計算され（ステップＳ２０２）、相関値入力端子２１５から入力される。従って減算器２１９には式（１）のγ０（ｘ０＋１，ｙ０）とγ０（ｘ０，ｙ０）が入力されることとなり、式（１）のｄｘが計算され、水平相関微分値バッファ２２１に保持される（ステップＳ２０３）。
【００４３】
同様に、第６のスイッチ２３１が切り替わって、垂直カウンタインクリメント部２２９から所定値（ここでは＋１）が、第４のスイッチ２０７を通じて第２の加算器２０９に加えられ、垂直カウンタレジスタ２１１の値は１つ増やされる。これにより現在の座標に対して垂直方向に１ずれた位置での相関値が計算され（ステップＳ２０４）、相関値入力端子２１５から入力される。これにより、減算器２１９において式（２）のｄｙが計算され、垂直相関微分値バッファ２２２に保持される（ステップＳ２０５）。
【００４４】
こうして得られたｄｘ、ｄｙを用いて、式（３）の計算を勾配方向計算回路２２３で行なって方向θを求め（ステップＳ２０６）、続いて式（４）の計算を係数発生回路２２０、余弦関数回路２２４、第１の乗算器２２６及び第３の加算器２０８により行う。また、式（５）の計算を係数発生回路２２０、正弦関数回路２２５、第２の乗算器２２７、第４の加算器２０９により行なう（ステップＳ２０７）。
【００４５】
これにより、各カウンタレジスタ２１０、２１１は式（４）及び（５）のｘｎｅｗ、ｙｎｅｗを示すことになり、座標ｘｎｅｗ，ｙｎｅｗ（すなわち、更新後のｘ１、ｙ１）における相関値を計算する（ステップＳ２０８）。
【００４６】
ステップＳ２０９において、ステップＳ２０１で求めた相関値と、ステップＳ２０８で求めた相関値を比較し、更新後の位置における相関値γ０が更新前の位置における相関値γ１よりも低くなると、更新前の位置における最大相関値であると判断し、その位置を記憶する（ステップＳ２１０）。
【００４７】
このように、上記式（１）〜（５）の計算を繰り返し行なうことにより、相関値の極大値をとる位置が検出される。
【００４８】
なお、判別結果ステート入力端子２３２から入力される信号は、前記判別分析回路１１０における判別結果を表す信号であり、検出された極大値に対応する部分画像が人の顔の画像であると判断されると（図３のステップＳ１１０でＹＥＳ）、前記判別結果ステート信号と、前記テンプレートサイズ制御入力２０１と、各カウンタレジスタ２１０、２１１の値は枠信号発生回路２１３に送られ、ここで枠信号が生成されて出力される（ステップＳ１１２）。
【００４９】
（第２の実施形態）
次に、第２の実施形態について説明する。
【００５０】
図５（ａ）は本発明の第２の実施形態にかかる撮像装置の構成を示すブロック図である。図５（ａ）において３０１はＣＣＤ撮像素子、３０２はＡ／Ｄコンバータ、３０３はカメラ信号処理部、３０４はランダムアクセスメモリ（ＲＡＭ）、３０５はメモリインタフェース回路、３０６は電子ズーム処理部、３０７はビデオ出力処理部、３０８は読出し専用メモリ（ＲＯＭ）、３０９は相関値計算部、３１０は判別分析回路、３１１は読出しアドレス制御部、３１２はビデオ信号出力端子である。
【００５１】
また、図５（ｂ）は図５（ａ）に示す相関値計算部３０９の構成の一例を示す図である。図５（ｂ）において、３２０はローパスフィルタ（ＬＰＦ）、３２２は相関値計算回路、３２１はメモリインターフェース回路３０５を介して入力されるＲＡＭ３０４の画像データを、相関値計算回路３２２に直接入力するか、ＬＰＦ３２０を介して入力するかを切り替えるスイッチである。スイッチ３２１は図６を参照して後述するズーム倍率制御回路４１３からの出力に基づいて切り替えられる。この切り替えの動作については、後で説明する。
【００５２】
図６は図５（ａ）に示す読出しアドレス制御部３１１の詳細構成を示すブロック図である。図６において４０１はテンプレートサイズ制御部、４０２は水平方向探索幅データ保持部、４０３は垂直方向探索幅データ保持部、４０４は第１のスイッチ、４０５は第２のスイッチ、４０６は第３のスイッチ、４０７は第４のスイッチ、４０８は第１の加算器、４０９は第２の加算器、４１０は水平カウンタレジスタ、４１１は垂直カウンタレジスタ、４１２はアドレスデータ発生回路、４１３はズーム倍率制御回路、４１４はズーム制御信号出力端子、４１５は相関値入力端子、４１６は相関値閾値レジスタ、４１７はコンパレータ、４１８は相関値バッファ、４１９は減算器、４２０は係数発生回路、４２１は水平相関微分値バッファ、４２２は垂直相関微分値バッファ２２２、４２３は勾配方向計算回路、４２４は余弦関数回路、４２５は正弦関数回路、４２６は第１の乗算器、４２７は第２の乗算器、４２８は水平カウンタインクリメント値、４２９は垂直カウンタインクリメント値、４３０は第５のスイッチ、４３１は第６のスイッチ、４３２は判別結果ステート入力、４３３はアドレスデータ出力、４３４は第１のＡＮＤ素子、４３５は最大相関値検出回路、４３６は極大値判定回路、４３７は第２のＡＮＤ素子、４３８は第３のＡＮＤ素子である。
【００５３】
以下、本発明の第２の実施形態における撮像装置の動作を説明する。
【００５４】
ＣＣＤ撮像素子３０１により得られた画像信号は、Ａ／Ｄコンバータ３０２によりディジタル化され、カメラ信号処理部３０３で処理されてビデオ信号に変換され、メモリインタフェース回路３０５を通じてＲＡＭ３０４に一旦格納される。ＲＡＭ３０４は複数フレームの画像データを格納できる容量を持つものである。カメラ信号処理部３０３からの画像はあらかじめ固定された第１のアドレスに格納される。電子ズーム処理部３０６は、ＲＡＭ３０４の第１のアドレスに格納されたカメラ信号処理部の出力画像を読出し、画像の拡大または縮小を行なう。このときの読出しのアドレスと倍率は、初期値であり読出しアドレス制御部３１１により与えられる。拡大または縮小された画像データは、ＲＡＭ３０４のあらかじめ固定された第２のアドレスに格納される。ビデオ出力処理部３０７は、メモリインタフェース回路３０５を通じてＲＡＭ３０４に格納されている画像データを読出し、ビデオ信号フォーマットに合わせた形態で、ビデオ信号出力端子３１２からビデオ信号を出力する。このとき、ＲＡＭ３０４の第１のアドレスに合わせればカメラ信号処理部の出力画像がそのまま出力され、第２のアドレスに合わせれば電子ズーム処理された画像が出力される。
【００５５】
本第２の実施形態においては、上記のようにして記憶された拡大または縮小の電子ズーム処理された画像データを元にして、目的対象物（第２の実施形態においても人の顔）の検出を行い、得られた結果に基づいて拡大／縮小処理を行う。
【００５６】
本発明の第２の実施形態における検出及び処理手順を、図７のフローチャートを参照して説明する。
【００５７】
まずステップＳ３０１において、ＲＡＭ３０４の第２のアドレスに格納された電子ズーム処理された画像の一部分が読み出され、相関値計算部３０９に入力される。なお、ここで読み出される部分画像は、読出しアドレス制御部３１１により画像の座標（ｘ，ｙ）を基準として決定される。次のステップＳ３０２において、相関値計算部３０９はＲＯＭ３０８に予め記憶されている顔のテンプレート画像との相関値を計算する。以降、読出しアドレス制御部３１１は前記相関値に基づき、ＲＡＭ３０４の読出しアドレスを所定の手順で更新しながら前記電子ズーム処理された画像を読出し、相関値が極大値を示す部分画像を探索する（ステップＳ３０３〜Ｓ３１１）。
【００５８】
相関値の極大値が検出されたときの画像の一部分には、顔部分を表す画像である可能性が高くなっている。従って、電子ズーム処理された画像の内、相関値の極大値に対応する部分画像は判別分析回路３１０に送られて、ＲＯＭ３０８に記憶されたリファレンスデータに基づき顔であるか否かについての判別分析が行われる（ステップＳ３１２）。ここで顔であると判定された場合、読出しアドレス制御部３１１は読出しのアドレスを固定し、所定の倍率データを電子ズーム処理部３０６に送り、再度ＲＡＭ３０４の第１のアドレスに格納された前記カメラ信号処理部３０３の出力画像を電子ズーム処理する（ステップＳ３１３）。このときの電子ズーム処理画像は、検出された人の顔部分を中心とした電子ズーム処理された画像となる。
【００５９】
次に、図６に示す読出しアドレス制御部３１１の詳細な動作説明を行なう。
【００６０】
相関値閾値レジスタ４１６には閾値として０．２が設定されているものとし、ステップＳ３０３において、相関値入力端子４１５からの相関値が０．２より小さい場合は、相関が低いことから顔画像の候補がまだ検出されない状態であると判断され、コンパレータ４１７はＬｏｗを出力し、ＡＮＤ素子４３４の一方の入力端子に入力される。また、判別結果ステート入力４３２からは初期状態を表す信号０１Ｈが入力され、第１のＡＮＤ素子４３４のもう一方の入力端子には判別結果ステートの下位ビットが入力されており、第１のＡＮＤ素子４３４はＬｏｗを出力する。このＬｏｗ信号により、第３、第４のスイッチ４０６、４０７は０側に接続される（ステップＳ３０４）。前記第３、第４のスイッチ４０６、４０７の０側入力には、第１、第２のスイッチ４０４、４０５を通じて水平方向探索幅データ保持部４０２（探索幅Δｘ）、垂直方向探索幅データ保持部４０３（探索幅Δｙ）が入力され、第２、第３のＡＮＤ素子４３７、４３８を通じて、第１、第２の加算器４０８、４０９において水平カウンタレジスタ４１０の値および垂直カウンタレジスタ４１１の値にそれぞれ加算され、各カウンタレジスタ４１０、４１１に再びセットされるようになる（ステップＳ３０５）。
【００６１】
すなわち、相関値入力４１５値が０．２より小さい状態では、各カウンタレジスタ４１０、４１１の値は、各探索幅Δｘ、Δｙずつ増加することになる。なお、水平方向探索幅データ保持部４０２及び垂直方向探索幅データ保持部４０３が保持する各探索幅は各々４種類の値が予め設定されている。これは顔のテンプレートのサイズが縦、横それぞれ４種類ずつあることに相当し、テンプレートサイズ制御部４０１により指定されることによりそのいずれかのサイズに相当する探索幅が第１、第２のスイッチ４０４、４０５により選択される。
【００６２】
ステップＳ３０６においては、アドレスデータ発生回路４１２は、上記のようにして更新された各カウンタレジスタ４１０、４１１が保持する値で表される画像位置と、テンプレートサイズ制御部４０１のサイズ選択状態にて表される画像の範囲に応じて、ＲＡＭ３０４から読み出す電子ズーム処理された画像データの一部分を指定するアドレス信号を発生する。従って、ＲＡＭ３０４からは、各探索幅Δｘ、Δｙでアドレスを更新しながらテンプレートサイズ制御部４０１の指定のサイズの画像データが読み出され、順次テンプレートデータとの相関値が計算され、相関値入力端子４１５から入力される。
【００６３】
一方、相関値が０．２以上の場合（ステップＳ３０３でＹＥＳ）、相関が高いことから顔画像の候補が検出された状態であると判断され、コンパレータ４１７出力はＨｉｇｈレベルとなる。そのため、第１のＡＮＤ素子４３４出力もＨｉｇｈレベルとなり、第３、第４のスイッチ４０６、４０７は１側接続となる（ステップＳ３０８）。従ってこの時点で水平方向探索幅データ保持部４０２、垂直方向探索幅データ保持部４０３に保持された各探索幅Δｘ、Δｙずつシフトさせながら行う相関値の計算は停止され、次のステップＳ３０８において相関値の極大値探索の動作を開始する。極大値探索の動作は、図４を参照して上記第１の実施形態にて説明した式（１）乃至（５）を使用する方法であるので、ここではその詳しい説明は省略する。
【００６４】
各式（１）乃至（５）を、相関値バッファ４１８、減算器４１９、係数発生回路４２０、水平相関微分値バッファ４２１、垂直相関微分値バッファ４２２、勾配方向計算回路４２３、弦関数回路４２４、正弦関数回路４２５、第１の乗算器４２６、第２の乗算器４２７、水平カウンタインクリメント部４２８、垂直カウンタインクリメント部４２９、第５のスイッチ４３０、第６のスイッチ４３１を用いて実行し、計算していく。この時に得られる相関値と、水平相関微分値バッファ４２１及び垂直相関微分値バッファ４２２に保持された各相関値微分値は、極大値判定回路４３６に入力される。
【００６５】
相関値が極大値ではない場合には、極大値判定回路４３６の出力はＨｉｇｈ状態となるものとする。従って第２、第３のＡＮＤ素子出力４３７、４３８は第３、第４のスイッチ４０６、４０７の出力を通過させる。相関値が所定の値（例えば０．４以上）であって、各相関値の微分値が所定の値より小さい場合には極大値にあると判断できるので、極大値判定回路４３６はＬｏｗとする。これにより、第２、第３のＡＮＤ素子４３７、４３８は０を出力することになり、その結果、各カウンタレジスタ４１０、４１１の値は固定される。
【００６６】
また、極大値判定回路４３６が出力するＬｏｗ信号は、ズーム倍率制御回路４１３にも入力し、ズーム倍率制御回路４１３はズーム倍率微調整動作に移る（ステップＳ３０９）。これは、テンプレートデータと前記ＲＡＭ３０４から取り出された画像の顔の大きさが違っている場合が考えられるため、取り出した画像を少しずつ拡大、縮小してテンプレートのサイズと顔の画像の大きさを一致させるために行なうものである。なお、ズーム倍率が変更されない場合、図５（ｂ）に示す相関値計算部３０９のスイッチ３２１は１側に接続され、ＬＰＦ３２０によりぼかされた画像を用いて相関値の計算を行うが、ズーム倍率が変更された場合（すなわち１倍以外の倍率に設定された場合）、スイッチ３２１が０側に切り替えられ、ＬＰＦ３２０によりぼかされていない画像を用いて相関値の計算を行う。これは、探索速度及び制度を向上させるために行われる。
【００６７】
テンプレートのサイズと顔の画像の大きさが一致する方が相関値は高くなるため、ステップＳ３１０では最大相関値検出回路４３５は、相関値の最大値がどの倍率の場合かを検出し、その時の倍率を再びズーム倍率制御回路４１３にフィードバックする。このようにして得られた倍率で拡大または縮小した画像が再びＲＡＭ３０４に格納され（ステップＳ３１１）、ステップＳ３１２において再び判別分析回路３１０にて、検出された極大値に対応する部分画像が顔か否かの判別分析を行なう。テンプレートサイズと顔画像の大きさを正確に合わせるほど、判別分析の精度が向上するため、上記サイズの調整を行なっている。
【００６８】
判別分析の結果、顔であると判断された場合（ステップＳ３１２でＹＥＳ）、判別結果ステート入力４３２の値は１１Ｈとなる。従って、この時点では各カウンタレジスタ４１０、４１１の値は、相関値が極大値となった時のカウンタ値に固定されたままとなる。また、ズーム倍率制御回路４１３には判別結果ステート信号の上位ビットが入力され、ここで初めてＨｉｇｈが入力される。そこでズーム倍率制御回路４１３は本来の電子ズームの倍率データを出力し、顔部分を中心とした電子ズーム動作が行なえる状態となる（ステップＳ３１３）。一方、判別分析の結果、顔ではないと判断された場合（ステップＳ３１２でＮＯ）、判別結果ステート信号の値は００Ｈとなる。従って第１のＡＮＤ素子４３４への入力が０となり、第３、第４のスイッチ４０６、４０７は強制的に０側接続とされる（ステップＳ３０４）。この時点で水平方向探索幅データ保持部４０２及び垂直方向探索幅データ保持部４０３に保持された各探索幅Δｘ、Δｙが各カウンタレジスタ４１０、４１１の値にそれぞれ加算され、前記各探索幅での探索が再開される。
【００６９】
なお、上記第１及び第２の実施形態においては、機械的な構成により説明したが、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、装置に供給し、その装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３及び４または図７に示すフローチャートに対応するプログラムコードが格納されることになる。
【００７２】
【発明の効果】
以上説明したとおり、本発明によれば、撮影画像における、例えば人の顔というような目的対象物の特定画像パターンを、テンプレートマッチング法により検出し、検出した前記特定画像に対応する撮影画像の部分に基づいて、例えば、自動焦点制御、自動露出制御、自動ホワイトバランス制御、拡大処理制御、および縮小処理制御等の予め決められた制御を行なうことができるため、被写体が画面の中心に位置しなくても効果的に上記各制御を行なった撮影が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる撮像装置の構成を示すブロック図である。
【図２】図１に示すデータ読出し制御回路の詳細構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる撮像装置の動作を示すフローチャートである。
【図４】本発明の第１の実施形態にかかる極大値検出処理の手順を示すフローチャートである。
【図５】本発明の第２の実施形態にかかる撮像装置の構成を示すブロック図である。
【図６】図５に示す読出しアドレス制御部の詳細構成を示すブロック図である。
【図７】本発明の第２の実施形態にかかる撮像装置の動作を示すフローチャートである。
【符号の説明】
１０１ 結像光学系
１０２ ＣＣＤ撮像素子
１０３ Ａ／Ｄコンバータ
１０４ カメラ信号処理部
１０５ ビデオ信号出力端子
１０６ ランダムアクセスメモリ
１０７ メモリインタフェース回路
１０８ テンプレート画像を記憶する読出し専用メモリ
１０９ 相関値計算部
１１０ 判別分析回路
１１１ データ読出し制御手段
１１２ ＡＦ，ＡＥ，ＡＷＢ評価値検出回路
１１３ ＡＦ，ＡＥ，ＡＷＢ制御回路
１１４ テンプレートサイズ制御回路
３０１ ＣＣＤ撮像素子
３０２ Ａ／Ｄコンバータ
３０３ カメラ信号処理部
３０４ ランダムアクセスメモリ
３０５ メモリインタフェース回路
３０６ 電子ズーム処理部
３０７ ビデオ出力処理部
３０８ 読出し専用メモリ
３０９ 相関値計算部
３１０ 判別分析回路
３１１ 読出しアドレス制御部
３１２ ビデオ信号出力端子
【発明の属する技術分野】
本発明は、ビデオカメラ装置に関するものである。
【０００２】
【従来の技術】
近年の民生用ビデオカメラは、様々なオート機能、付加機能を搭載している。例えば自動焦点調節（ＡＦ）、自動露光調節（ＡＥ）、自動ホワイトバランス調節（ＡＷＢ）機構や、電子ズーム機能等がその代表的なものである。従来ＡＦ、ＡＥ、ＡＷＢは、赤外線センサーや光量センサーなどの外部検出機構を用いずに撮像画像信号から制御用評価値を得る方式の場合、撮像画像の中央部の情報を重点的に利用し、それに付加して周辺の情報を合わせて各種評価値を生成していることが多い。また、電子ズームの場合、画面中央部を拡大することがほとんどである。これは、撮影したい被写体が、画面の中央に位置することが多いということを前提とするためである。
【０００３】
また、上記民生用ビデオカメラの技術とは別に、近年画像処理装置の分野において、画像内の特定の形状の対象物の位置を、特定の形状を代表するテンプレートデータとの相関マッチングにより推定するテンプレートマッチング法による画像認識技術が提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の技術においては、撮影したい被写体の位置が画面中央付近にあることを前提とするため、逆に上記各オート機能を効果的に動作させるためには撮影時の画面構成の自由度を犠牲にせざるを得ない。また、電子ズームにおいても撮影画像の中央部分しか拡大できないという問題がある。
【０００５】
また、テンプレートマッチング法による画像認識を自然画像に用いる場合においては、テンプレートデータと入力画像との相関が高くても、必ずしも所望の被写体が映っているとは限らないという問題がある。この問題に対して、例えば特開平０５−０２８２７３では、予め記憶されたテンプレート画像と入力画像との相関値の極大値、または前記テンプレート画像と入力画像の微分画像の相関値の極大値等、複数の種類の画像の相関値を求めることにより、所望の被写体の検出率の向上を図っている。しかしながらこれらは本質的にこの問題を解決するものではない。
【０００６】
さらに、テンプレートマッチング法では、テンプレートデータと入力画像との相関の計算量が非常に多く、ビデオフレームレートに近い速度での処理が難しいという問題がある。この問題に対しては、例えば特開平０７−２２００７６において、所定の探索幅で相関値を計算し、得られた相関値を大きい順にソートし、その相関値が得られた位置の周囲を前記所定の探索幅より小さい幅で再度探索することで計算量の削減を行なっている。しかしながら、これは画像情報を用いた検査を目的としており、民生用のビデオカメラのように自然画像中の特定被写体の位置を検出するには計算量の削減が不十分であった。
【０００７】
【課題を解決するための手段】
本発明は上記問題点を鑑みてなされたものであり、本発明における結像光学系を介して得られた光学像を光電変換素子で電気画像信号に変換し、記憶する撮像装置は、特定画像パターンを記憶する記憶手段と、前記電気画像信号の部分画像と、前記特定画像パターンとの相関値を算出する相関値算出手段と、前記算出された相関値に基づいて、前記部分画像の位置をシフトするシフト手段と、前記相関値算出手段により算出された相関値の極大値を検出する極大値検出手段と、前記極大値が検出された部分画像が人の顔の画像であるかどうかを判別する判別手段と、自動焦点制御、自動露出制御、自動ホワイトバランス、拡大処理、および縮小処理の少なくとも１つを含む制御を行う制御手段とを有し、前記シフト手段は、前記相関値算出手段により算出された相関値が予め設定された閾値以上になるまで、予め設定された方向に前記部分画像の位置を順次シフトし、前記閾値以上になると、前記部分画像のシフト前後の位置で得られる相関値から、相関値が高くなるシフト方向を推定し、前記極大値検出手段は、前記シフト手段が該推定したシフト方向に前記部分画像の位置をシフトする処理を繰り返すことで得られる相関値から、前記極大値を検出するものであって、前記判別手段が前記極大値として検出された部分画像が人の顔の画像であると判別すると、前記制御手段が前記部分画像に基づいて前記自動焦点制御、前記自動露出制御、前記自動ホワイトバランス、前記拡大処理、および前記縮小処理の少なくとも１つを含む制御を行い、前記判別手段が前記極大値として検出された部分画像が人の顔の画像でないと判別すると、前記シフト手段は再び前記相関値算出手段により算出された相関値が前記閾値以上になるまで、前記予め設定された方向に前記部分画像の位置を順次シフトする。
【０００８】
また、本発明における結像光学系を介して得られた光学像を光電変換素子で電気画像信号に変換し、記憶する撮像装置の制御方法は、前記電気画像信号の部分画像と、予め記憶された特定画像パターンとの相関値を算出する相関値算出工程と、前記相関値算出工程において算出された相関値の極大値を検出する極大値検出工程と、前記極大値が検出された部分画像が人の顔の画像であるかどうかを判別する判別工程と、自動焦点制御、自動露出制御、自動ホワイトバランス、拡大処理、および縮小処理の少なくとも１つを含む制御を行う制御工程とを有し、前記極大値検出工程では、前記相関値算出工程において算出された相関値が予め設定された閾値以上になるまで、予め設定された方向に前記部分画像の位置を順次シフトし、前記閾値以上になると、前記部分画像のシフト前後の位置で得られる相関値から、相関値が高くなるシフト方向を推定し、該推定したシフト方向に前記部分画像の位置をシフトする処理を繰り返すことで得られる相関値から、前記極大値を検出するものであって、前記判別工程で前記極大値として検出された部分画像が人の顔の画像であると判別すると、前記制御工程で前記部分画像に基づいて前記自動焦点制御、前記自動露出制御、前記自動ホワイトバランス、前記拡大処理、および前記縮小処理の少なくとも１つを含む制御を行い、前記判別工程で前記極大値として検出された部分画像が人の顔の画像でないと判別すると、前記極大値検出工程で再び前記相関値算出工程で算出された相関値が前記閾値以上になるまで、前記予め設定された方向に前記部分画像の位置を順次シフトする。
【００２１】
好ましくは、前記撮像装置はビデオカメラである。
【００２２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２３】
（第１の実施形態）
図１に本発明の第１の実施形態における撮像装置の構成を示す。図１において１０１は結像光学系、１０２はＣＣＤ等の撮像素子、１０３はＡ／Ｄコンバータ、１０４はカメラ信号処理部、１０５はビデオ信号出力端子、１０６はランダムアクセスメモリ （ＲＡＭ）、１０７はメモリインタフェース回路、１０８はテンプレート画像を記憶する読出し専用メモリ（ＲＯＭ）、１０９は相関値計算部、１１０は判別分析回路、１１１はデータ読出し制御部、１１２はＡＦ、ＡＥ、ＡＷＢ評価値検出回路、１１３はＡＦ、ＡＥ、ＡＷＢ制御回路、１１４はテンプレートサイズ制御回路である。
【００２４】
図２は図１に示すデータ読出し制御回路１１１の詳細構成を示すブロック図である。図２において、２０１は、テンプレートサイズ制御回路１１４からの信号を入力するテンプレートサイズ制御入力端子、２０２は水平方向探索幅データ保持部、２０３は垂直方向採索幅データ、２０４は第１のスイッチ、２０５は第２のスイッチ、２０６は第３のスイッチ、２０７は第４のスイッチ、２０８は第１の加算器、２０９は第２の加算器、２１０は水平カウンタレジスタ、２１１は垂直カウンタレジスタ、２１２はアドレスデータ発生回路、２１３は枠信号発生回路、２１４は枠信号出力端子、２１５は相関値入力端子、２１６は相関値閾値レジスタ、２１７はコンパレータ、２３４はＡＮＤ素子、２１８は相関値バッファ、２１９は減算器、２２０は係数発生回路、２２１は水平相関微分値バッファ、２２２は垂直相関微分値バッファ、２２３は勾配方向計算回路、２２４は余弦関数回路、２２５は正弦関数回路、２２６は第１の乗算器、２２７は第２の乗算器、２２８は水平方向カウンタインクリメント部、２２９は垂直方向カウンタインクリメント部、２３０は第５のスイッチ、２３１は第６のスイッチ、２３２は判別結果ステート入力端子、２３３はアドレスデータ出力端子である。
【００２５】
以下、本発明の第１の実施形態における撮像装置の動作を説明する。
【００２６】
図１の結像光学系１０１はフォーカス調節機構およびアイリス調節機構を含み、入射光を撮像素子１０２の受光面上に投射し、撮像素子１０２は入射光に応じた画像信号に変換する。撮像素子１０２はこの画像信号をＡ／Ｄコンバータ１０３に出力し、ディジタル画像信号に変換される。Ａ／Ｄコンバータ１０３から出力されたディジタル画像信号は、カメラ信号処理部１０４で所定の処理を受け、ビデオ信号出力端子１０５より出力される。なお、このカメラ信号処理部１０４にはホワイトバランス調節機構が含まれる。一方、カメラ信号処理部１０４は、入力した画像信号の輝度信号をＲＡＭ１０６に出力し、記憶させる。本第１の実施形態においては、このようにして記憶された画像信号の輝度信号を元にして、目的対象物（第１の実施形態においては、人の顔）の検出を行い、得られた結果に基づいてＡＦ，ＡＥ，ＡＷＢの制御値を算出する。
【００２７】
本発明の第１の実施形態における検出及び算出手順を、図３及び図４のフローチャートを参照して説明する。
【００２８】
ＲＯＭ１０８には、人の顔の多値テンプレート画像データなど、所望の対象物を示すテンプレート画像データが複数記憶されており、ステップＳ１０１では、テンプレートサイズ制御回路１１４により指定されたサイズのテンプレートデータが外部に読み出される。次にステップＳ１０２において、ＲＡＭ１０６に記憶された輝度画像データから、ＲＯＭ１０８から読み出されたテンプレートデータと同じサイズの部分画像がメモリインタフェース回路１０７により読み出される。なお、ここで読み出される部分画像はデータ読出し制御回路１１１が指定するＲＡＭ１０６のアドレス（ここでは、画像の座標（ｘ，ｙ）を基準として決定される）の部分画像である。
【００２９】
その後ステップＳ１０３では、相関値計算部１０９において、ステップＳ１０１で読み出されたテンプレートデータと、ステップＳ１０２で読み出された輝度画像データとの相関値が計算される。以降、データ読出し制御回路１１１は前記相関値に基づき、ＲＡＭ１０６からの読出しアドレスを更新しながら、相関値が極大値を示す部分画像を探索する（ステップＳ１０４〜Ｓ１０９）。この相関値の極大値を探索する手順については、後で詳細に説明する。
【００３０】
探索された極大値に対応する部分画像は判別分析回路１１０に入力され、ステップＳ１１０で探索された前記部分画像が人の顔画像であると判別された場合、判別信号をデータ読出し制御回路１１１に出力する。次のステップＳ１１１では、データ読出し制御回路１１１はこの判別信号を受けて、その内部で保持する極大値に対応する部分画像のアドレスと、テンプレートサイズ制御回路１１４で指定されたテンプレートサイズとに基づいて枠信号を発生し、ＡＦ，ＡＥ，ＡＷＢ評価値検出回路１１２に出力する。従ってステップＳ１１２では、ＡＦ，ＡＥ，ＡＷＢ評価値検出回路１１２では、枠信号によって規定される人の顔周辺を示す部分画像を基準として、フォーカス、絞り、ホワイトバランス制御のための評価値を検出する。ＡＦ，ＡＥ，ＡＷＢ制御回路１１３は前記評価値に基づいて、結像光学系１０１に含まれるフォーカス機構及びアイリス機構の制御、およびカメラ信号処理部１０４に含まれるホワイトバランス調節機構の制御を行なう。
【００３１】
次に図２及び図４を参照して、データ読出し制御回路１１１の動作及び相関値の極大値の探索手順を詳細に説明する。
【００３２】
まず、図３のステップＳ１０３において相関関数計算部１０９により計算された相関値は、相関値入力端子２１５からデータ読み出し制御回路１１１に入力され、ステップＳ１０４でコンパレータ２１７において相関値閾値レジスタ２１６に設定された閾値（ここでは、 実験的に求められた所定値０．２）との比較を行なう。
【００３３】
相関値が０．２より小さい場合（ステップＳ１０４でＮＯ）は、相関が低いことから顔画像の候補がまだ検出されない状態であると判断され、ステップＳ１０５へ進む。ステップＳ１０５では、コンパレータ２１７の出力により第３、第４のスイッチ２０６、２０７は０側に設定される。前記第３、第４のスイッチ２０６、２０７の０側の入力は、第１、第２のスイッチ２０４、２０５で選択された水平方向探索幅データ保持部２０２（探索幅Δｘ）と垂直方向探索幅データ保持部２０３（探索幅Δｙ）である。各探索幅データ２０２及び２０３は、テンプレートサイズ制御入力端子２０１から入力する、テンプレートサイズ制御回路１１４の指定に応じて選択され、想定する顔画像のサイズに応じた探索幅が選択される。こうして、探索幅Δｘ及びΔｙは前記第３、第４のスイッチ２０６、２０７を通じて、第１、第２の加算器２０８、２０９にて現在のカウンタ値（ｘ，ｙ）に加算され（ステップＳ１０６）、水平カウンタレジスタ２１０及び垂直カウンタレジスタ２１１にそれぞれ保持される。
【００３４】
従って、各カウンタレジスタ２１０、２１１は、相関値が０．２より小さい間は所定の探索幅で順次カウンタ値を変化させることとなる。各カウンタレジスタ２１０、２１１のカウンタ値は、アドレスデータ発生回路２１２に送られ、ステップＳ１０７において、前記カウンタ値で示されるアドレスを中心とし、テンプレートサイズ制御入力端子２０１から入力する指定により規定される範囲で前記ＲＡＭ１０６に送るアドレスデータを作成し、アドレスデータ出力端子２３３から前記メモリインタフェース回路１０７に出力する（ステップＳ１０７）。こうして出力されたアドレスデータによりＲＡＭ１０６から次の部分画像が読み出され、次の相関値が算出される。
【００３５】
一方、相関値が０．２以上の場合（ステップＳ１０４でＹＥＳ）は、相関が高いことから顔画像の候補が検出された状態であると判断され、ステップＳ１０８へ進む。ステップＳ１０８では、コンパレータ２１７の出力により前記第３、第４のスイッチ２０６，２０７が１側に設定される。この状態では前記ＲＡＭ１０６へのアドレスをパラメータとして相関値の極大値を求める極大値探索を行なう（ステップＳ１０９）。
【００３６】
一般に、あるパラメータをＸｉ（ｉ＝０，１，２，…，ｎ）、その評価値をＹとしたとき、評価値の極大値Ｙｐを求めるには、評価値ＹのＸｉに対する偏微分をみることにより求めることができる。この方法では、評価値Ｙを最も大きく変化させるパラメータＸｉの組み合わせ（方向）を求め、その方向に対して所定の幅だけパラメータＸｉを更新し、この動作を繰り返すことにより極大値Ｙｐを求める。例えば二次元の画像から人の顔の位置を検出する場合、パラメータは位置を表す水平、垂直の座標、評価値は前記相関値である。従って、この問題における極大値探索は以下のように定式化できる。
【００３７】
すなわち、評価値に対するパラメータの偏微分をｄｘ，ｄｙとすると、
ｄｘ＝γ（ｘ＋１，ｙ）−γ（ｘ，ｙ） （１）
ｄｙ＝γ（ｘ，ｙ＋１）−γ（ｘ，ｙ） （２）
【００３８】
ここで、γ（ｘ，ｙ）は、画素の座標（ｘ，ｙ）における相関値である。
【００３９】
また、評価値を最も大きく変化させる方向θは、
θ＝ａｒｃｔａｎ（ｄｙ／ｄｘ） （３）
【００４０】
で表すことができる。
さらに、パラメータの更新値ｘｎｅｗ及びｙｎｅｗは、
ｘｎｅｗ＝ｘ＋Ａ＊ｃｏｓθ （４）
ｙｎｅｗ＝ｙ＋Ａ＊ｓｉｎθ （５）
【００４１】
で表すことができる。なお、ｘｎｅｗ，ｙｎｅｗは更新される画素の座標であり、Ａは相関値が大きくなるほど小さくなる係数である。この係数Ａは係数発生回路２２０が計算するが、相関値が低い場合は極大値をとる位置に対するずれが大きいために座標の更新を大きな幅で行ない、相関値が高くなるほど極大値に近づくため座標の更新を細かく行なうようにするために、相関値に反比例するような関数の係数を生成している。
図２の構成においては、式（１）は以下のように計算される。まず、相関値バッファ２１８に現在の相関値（γ０（ｘ０，ｙ０））を保持する（図４のステップＳ２０１）。これは各カウンタレジスタ２１０、２１１に保持される現在の座標に対する相関値である。
【００４２】
次に、第５のスイッチ２３０が切り替わって、水平カウンタインクリメント部２２８から所定値（ここでは＋１）が第３のスイッチ２０６を通じて第１の加算器２０８に加えられ、水平カウンタレジスタ２１０の値は１つ増やされる。これにより現在の座標に対して水平方向に１ずれた位置での相関値が計算され（ステップＳ２０２）、相関値入力端子２１５から入力される。従って減算器２１９には式（１）のγ０（ｘ０＋１，ｙ０）とγ０（ｘ０，ｙ０）が入力されることとなり、式（１）のｄｘが計算され、水平相関微分値バッファ２２１に保持される（ステップＳ２０３）。
【００４３】
同様に、第６のスイッチ２３１が切り替わって、垂直カウンタインクリメント部２２９から所定値（ここでは＋１）が、第４のスイッチ２０７を通じて第２の加算器２０９に加えられ、垂直カウンタレジスタ２１１の値は１つ増やされる。これにより現在の座標に対して垂直方向に１ずれた位置での相関値が計算され（ステップＳ２０４）、相関値入力端子２１５から入力される。これにより、減算器２１９において式（２）のｄｙが計算され、垂直相関微分値バッファ２２２に保持される（ステップＳ２０５）。
【００４４】
こうして得られたｄｘ、ｄｙを用いて、式（３）の計算を勾配方向計算回路２２３で行なって方向θを求め（ステップＳ２０６）、続いて式（４）の計算を係数発生回路２２０、余弦関数回路２２４、第１の乗算器２２６及び第３の加算器２０８により行う。また、式（５）の計算を係数発生回路２２０、正弦関数回路２２５、第２の乗算器２２７、第４の加算器２０９により行なう（ステップＳ２０７）。
【００４５】
これにより、各カウンタレジスタ２１０、２１１は式（４）及び（５）のｘｎｅｗ、ｙｎｅｗを示すことになり、座標ｘｎｅｗ，ｙｎｅｗ（すなわち、更新後のｘ１、ｙ１）における相関値を計算する（ステップＳ２０８）。
【００４６】
ステップＳ２０９において、ステップＳ２０１で求めた相関値と、ステップＳ２０８で求めた相関値を比較し、更新後の位置における相関値γ０が更新前の位置における相関値γ１よりも低くなると、更新前の位置における最大相関値であると判断し、その位置を記憶する（ステップＳ２１０）。
【００４７】
このように、上記式（１）〜（５）の計算を繰り返し行なうことにより、相関値の極大値をとる位置が検出される。
【００４８】
なお、判別結果ステート入力端子２３２から入力される信号は、前記判別分析回路１１０における判別結果を表す信号であり、検出された極大値に対応する部分画像が人の顔の画像であると判断されると（図３のステップＳ１１０でＹＥＳ）、前記判別結果ステート信号と、前記テンプレートサイズ制御入力２０１と、各カウンタレジスタ２１０、２１１の値は枠信号発生回路２１３に送られ、ここで枠信号が生成されて出力される（ステップＳ１１２）。
【００４９】
（第２の実施形態）
次に、第２の実施形態について説明する。
【００５０】
図５（ａ）は本発明の第２の実施形態にかかる撮像装置の構成を示すブロック図である。図５（ａ）において３０１はＣＣＤ撮像素子、３０２はＡ／Ｄコンバータ、３０３はカメラ信号処理部、３０４はランダムアクセスメモリ（ＲＡＭ）、３０５はメモリインタフェース回路、３０６は電子ズーム処理部、３０７はビデオ出力処理部、３０８は読出し専用メモリ（ＲＯＭ）、３０９は相関値計算部、３１０は判別分析回路、３１１は読出しアドレス制御部、３１２はビデオ信号出力端子である。
【００５１】
また、図５（ｂ）は図５（ａ）に示す相関値計算部３０９の構成の一例を示す図である。図５（ｂ）において、３２０はローパスフィルタ（ＬＰＦ）、３２２は相関値計算回路、３２１はメモリインターフェース回路３０５を介して入力されるＲＡＭ３０４の画像データを、相関値計算回路３２２に直接入力するか、ＬＰＦ３２０を介して入力するかを切り替えるスイッチである。スイッチ３２１は図６を参照して後述するズーム倍率制御回路４１３からの出力に基づいて切り替えられる。この切り替えの動作については、後で説明する。
【００５２】
図６は図５（ａ）に示す読出しアドレス制御部３１１の詳細構成を示すブロック図である。図６において４０１はテンプレートサイズ制御部、４０２は水平方向探索幅データ保持部、４０３は垂直方向探索幅データ保持部、４０４は第１のスイッチ、４０５は第２のスイッチ、４０６は第３のスイッチ、４０７は第４のスイッチ、４０８は第１の加算器、４０９は第２の加算器、４１０は水平カウンタレジスタ、４１１は垂直カウンタレジスタ、４１２はアドレスデータ発生回路、４１３はズーム倍率制御回路、４１４はズーム制御信号出力端子、４１５は相関値入力端子、４１６は相関値閾値レジスタ、４１７はコンパレータ、４１８は相関値バッファ、４１９は減算器、４２０は係数発生回路、４２１は水平相関微分値バッファ、４２２は垂直相関微分値バッファ２２２、４２３は勾配方向計算回路、４２４は余弦関数回路、４２５は正弦関数回路、４２６は第１の乗算器、４２７は第２の乗算器、４２８は水平カウンタインクリメント値、４２９は垂直カウンタインクリメント値、４３０は第５のスイッチ、４３１は第６のスイッチ、４３２は判別結果ステート入力、４３３はアドレスデータ出力、４３４は第１のＡＮＤ素子、４３５は最大相関値検出回路、４３６は極大値判定回路、４３７は第２のＡＮＤ素子、４３８は第３のＡＮＤ素子である。
【００５３】
以下、本発明の第２の実施形態における撮像装置の動作を説明する。
【００５４】
ＣＣＤ撮像素子３０１により得られた画像信号は、Ａ／Ｄコンバータ３０２によりディジタル化され、カメラ信号処理部３０３で処理されてビデオ信号に変換され、メモリインタフェース回路３０５を通じてＲＡＭ３０４に一旦格納される。ＲＡＭ３０４は複数フレームの画像データを格納できる容量を持つものである。カメラ信号処理部３０３からの画像はあらかじめ固定された第１のアドレスに格納される。電子ズーム処理部３０６は、ＲＡＭ３０４の第１のアドレスに格納されたカメラ信号処理部の出力画像を読出し、画像の拡大または縮小を行なう。このときの読出しのアドレスと倍率は、初期値であり読出しアドレス制御部３１１により与えられる。拡大または縮小された画像データは、ＲＡＭ３０４のあらかじめ固定された第２のアドレスに格納される。ビデオ出力処理部３０７は、メモリインタフェース回路３０５を通じてＲＡＭ３０４に格納されている画像データを読出し、ビデオ信号フォーマットに合わせた形態で、ビデオ信号出力端子３１２からビデオ信号を出力する。このとき、ＲＡＭ３０４の第１のアドレスに合わせればカメラ信号処理部の出力画像がそのまま出力され、第２のアドレスに合わせれば電子ズーム処理された画像が出力される。
【００５５】
本第２の実施形態においては、上記のようにして記憶された拡大または縮小の電子ズーム処理された画像データを元にして、目的対象物（第２の実施形態においても人の顔）の検出を行い、得られた結果に基づいて拡大／縮小処理を行う。
【００５６】
本発明の第２の実施形態における検出及び処理手順を、図７のフローチャートを参照して説明する。
【００５７】
まずステップＳ３０１において、ＲＡＭ３０４の第２のアドレスに格納された電子ズーム処理された画像の一部分が読み出され、相関値計算部３０９に入力される。なお、ここで読み出される部分画像は、読出しアドレス制御部３１１により画像の座標（ｘ，ｙ）を基準として決定される。次のステップＳ３０２において、相関値計算部３０９はＲＯＭ３０８に予め記憶されている顔のテンプレート画像との相関値を計算する。以降、読出しアドレス制御部３１１は前記相関値に基づき、ＲＡＭ３０４の読出しアドレスを所定の手順で更新しながら前記電子ズーム処理された画像を読出し、相関値が極大値を示す部分画像を探索する（ステップＳ３０３〜Ｓ３１１）。
【００５８】
相関値の極大値が検出されたときの画像の一部分には、顔部分を表す画像である可能性が高くなっている。従って、電子ズーム処理された画像の内、相関値の極大値に対応する部分画像は判別分析回路３１０に送られて、ＲＯＭ３０８に記憶されたリファレンスデータに基づき顔であるか否かについての判別分析が行われる（ステップＳ３１２）。ここで顔であると判定された場合、読出しアドレス制御部３１１は読出しのアドレスを固定し、所定の倍率データを電子ズーム処理部３０６に送り、再度ＲＡＭ３０４の第１のアドレスに格納された前記カメラ信号処理部３０３の出力画像を電子ズーム処理する（ステップＳ３１３）。このときの電子ズーム処理画像は、検出された人の顔部分を中心とした電子ズーム処理された画像となる。
【００５９】
次に、図６に示す読出しアドレス制御部３１１の詳細な動作説明を行なう。
【００６０】
相関値閾値レジスタ４１６には閾値として０．２が設定されているものとし、ステップＳ３０３において、相関値入力端子４１５からの相関値が０．２より小さい場合は、相関が低いことから顔画像の候補がまだ検出されない状態であると判断され、コンパレータ４１７はＬｏｗを出力し、ＡＮＤ素子４３４の一方の入力端子に入力される。また、判別結果ステート入力４３２からは初期状態を表す信号０１Ｈが入力され、第１のＡＮＤ素子４３４のもう一方の入力端子には判別結果ステートの下位ビットが入力されており、第１のＡＮＤ素子４３４はＬｏｗを出力する。このＬｏｗ信号により、第３、第４のスイッチ４０６、４０７は０側に接続される（ステップＳ３０４）。前記第３、第４のスイッチ４０６、４０７の０側入力には、第１、第２のスイッチ４０４、４０５を通じて水平方向探索幅データ保持部４０２（探索幅Δｘ）、垂直方向探索幅データ保持部４０３（探索幅Δｙ）が入力され、第２、第３のＡＮＤ素子４３７、４３８を通じて、第１、第２の加算器４０８、４０９において水平カウンタレジスタ４１０の値および垂直カウンタレジスタ４１１の値にそれぞれ加算され、各カウンタレジスタ４１０、４１１に再びセットされるようになる（ステップＳ３０５）。
【００６１】
すなわち、相関値入力４１５値が０．２より小さい状態では、各カウンタレジスタ４１０、４１１の値は、各探索幅Δｘ、Δｙずつ増加することになる。なお、水平方向探索幅データ保持部４０２及び垂直方向探索幅データ保持部４０３が保持する各探索幅は各々４種類の値が予め設定されている。これは顔のテンプレートのサイズが縦、横それぞれ４種類ずつあることに相当し、テンプレートサイズ制御部４０１により指定されることによりそのいずれかのサイズに相当する探索幅が第１、第２のスイッチ４０４、４０５により選択される。
【００６２】
ステップＳ３０６においては、アドレスデータ発生回路４１２は、上記のようにして更新された各カウンタレジスタ４１０、４１１が保持する値で表される画像位置と、テンプレートサイズ制御部４０１のサイズ選択状態にて表される画像の範囲に応じて、ＲＡＭ３０４から読み出す電子ズーム処理された画像データの一部分を指定するアドレス信号を発生する。従って、ＲＡＭ３０４からは、各探索幅Δｘ、Δｙでアドレスを更新しながらテンプレートサイズ制御部４０１の指定のサイズの画像データが読み出され、順次テンプレートデータとの相関値が計算され、相関値入力端子４１５から入力される。
【００６３】
一方、相関値が０．２以上の場合（ステップＳ３０３でＹＥＳ）、相関が高いことから顔画像の候補が検出された状態であると判断され、コンパレータ４１７出力はＨｉｇｈレベルとなる。そのため、第１のＡＮＤ素子４３４出力もＨｉｇｈレベルとなり、第３、第４のスイッチ４０６、４０７は１側接続となる（ステップＳ３０８）。従ってこの時点で水平方向探索幅データ保持部４０２、垂直方向探索幅データ保持部４０３に保持された各探索幅Δｘ、Δｙずつシフトさせながら行う相関値の計算は停止され、次のステップＳ３０８において相関値の極大値探索の動作を開始する。極大値探索の動作は、図４を参照して上記第１の実施形態にて説明した式（１）乃至（５）を使用する方法であるので、ここではその詳しい説明は省略する。
【００６４】
各式（１）乃至（５）を、相関値バッファ４１８、減算器４１９、係数発生回路４２０、水平相関微分値バッファ４２１、垂直相関微分値バッファ４２２、勾配方向計算回路４２３、弦関数回路４２４、正弦関数回路４２５、第１の乗算器４２６、第２の乗算器４２７、水平カウンタインクリメント部４２８、垂直カウンタインクリメント部４２９、第５のスイッチ４３０、第６のスイッチ４３１を用いて実行し、計算していく。この時に得られる相関値と、水平相関微分値バッファ４２１及び垂直相関微分値バッファ４２２に保持された各相関値微分値は、極大値判定回路４３６に入力される。
【００６５】
相関値が極大値ではない場合には、極大値判定回路４３６の出力はＨｉｇｈ状態となるものとする。従って第２、第３のＡＮＤ素子出力４３７、４３８は第３、第４のスイッチ４０６、４０７の出力を通過させる。相関値が所定の値（例えば０．４以上）であって、各相関値の微分値が所定の値より小さい場合には極大値にあると判断できるので、極大値判定回路４３６はＬｏｗとする。これにより、第２、第３のＡＮＤ素子４３７、４３８は０を出力することになり、その結果、各カウンタレジスタ４１０、４１１の値は固定される。
【００６６】
また、極大値判定回路４３６が出力するＬｏｗ信号は、ズーム倍率制御回路４１３にも入力し、ズーム倍率制御回路４１３はズーム倍率微調整動作に移る（ステップＳ３０９）。これは、テンプレートデータと前記ＲＡＭ３０４から取り出された画像の顔の大きさが違っている場合が考えられるため、取り出した画像を少しずつ拡大、縮小してテンプレートのサイズと顔の画像の大きさを一致させるために行なうものである。なお、ズーム倍率が変更されない場合、図５（ｂ）に示す相関値計算部３０９のスイッチ３２１は１側に接続され、ＬＰＦ３２０によりぼかされた画像を用いて相関値の計算を行うが、ズーム倍率が変更された場合（すなわち１倍以外の倍率に設定された場合）、スイッチ３２１が０側に切り替えられ、ＬＰＦ３２０によりぼかされていない画像を用いて相関値の計算を行う。これは、探索速度及び制度を向上させるために行われる。
【００６７】
テンプレートのサイズと顔の画像の大きさが一致する方が相関値は高くなるため、ステップＳ３１０では最大相関値検出回路４３５は、相関値の最大値がどの倍率の場合かを検出し、その時の倍率を再びズーム倍率制御回路４１３にフィードバックする。このようにして得られた倍率で拡大または縮小した画像が再びＲＡＭ３０４に格納され（ステップＳ３１１）、ステップＳ３１２において再び判別分析回路３１０にて、検出された極大値に対応する部分画像が顔か否かの判別分析を行なう。テンプレートサイズと顔画像の大きさを正確に合わせるほど、判別分析の精度が向上するため、上記サイズの調整を行なっている。
【００６８】
判別分析の結果、顔であると判断された場合（ステップＳ３１２でＹＥＳ）、判別結果ステート入力４３２の値は１１Ｈとなる。従って、この時点では各カウンタレジスタ４１０、４１１の値は、相関値が極大値となった時のカウンタ値に固定されたままとなる。また、ズーム倍率制御回路４１３には判別結果ステート信号の上位ビットが入力され、ここで初めてＨｉｇｈが入力される。そこでズーム倍率制御回路４１３は本来の電子ズームの倍率データを出力し、顔部分を中心とした電子ズーム動作が行なえる状態となる（ステップＳ３１３）。一方、判別分析の結果、顔ではないと判断された場合（ステップＳ３１２でＮＯ）、判別結果ステート信号の値は００Ｈとなる。従って第１のＡＮＤ素子４３４への入力が０となり、第３、第４のスイッチ４０６、４０７は強制的に０側接続とされる（ステップＳ３０４）。この時点で水平方向探索幅データ保持部４０２及び垂直方向探索幅データ保持部４０３に保持された各探索幅Δｘ、Δｙが各カウンタレジスタ４１０、４１１の値にそれぞれ加算され、前記各探索幅での探索が再開される。
【００６９】
なお、上記第１及び第２の実施形態においては、機械的な構成により説明したが、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、装置に供給し、その装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３及び４または図７に示すフローチャートに対応するプログラムコードが格納されることになる。
【００７２】
【発明の効果】
以上説明したとおり、本発明によれば、撮影画像における、例えば人の顔というような目的対象物の特定画像パターンを、テンプレートマッチング法により検出し、検出した前記特定画像に対応する撮影画像の部分に基づいて、例えば、自動焦点制御、自動露出制御、自動ホワイトバランス制御、拡大処理制御、および縮小処理制御等の予め決められた制御を行なうことができるため、被写体が画面の中心に位置しなくても効果的に上記各制御を行なった撮影が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる撮像装置の構成を示すブロック図である。
【図２】図１に示すデータ読出し制御回路の詳細構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる撮像装置の動作を示すフローチャートである。
【図４】本発明の第１の実施形態にかかる極大値検出処理の手順を示すフローチャートである。
【図５】本発明の第２の実施形態にかかる撮像装置の構成を示すブロック図である。
【図６】図５に示す読出しアドレス制御部の詳細構成を示すブロック図である。
【図７】本発明の第２の実施形態にかかる撮像装置の動作を示すフローチャートである。
【符号の説明】
１０１ 結像光学系
１０２ ＣＣＤ撮像素子
１０３ Ａ／Ｄコンバータ
１０４ カメラ信号処理部
１０５ ビデオ信号出力端子
１０６ ランダムアクセスメモリ
１０７ メモリインタフェース回路
１０８ テンプレート画像を記憶する読出し専用メモリ
１０９ 相関値計算部
１１０ 判別分析回路
１１１ データ読出し制御手段
１１２ ＡＦ，ＡＥ，ＡＷＢ評価値検出回路
１１３ ＡＦ，ＡＥ，ＡＷＢ制御回路
１１４ テンプレートサイズ制御回路
３０１ ＣＣＤ撮像素子
３０２ Ａ／Ｄコンバータ
３０３ カメラ信号処理部
３０４ ランダムアクセスメモリ
３０５ メモリインタフェース回路
３０６ 電子ズーム処理部
３０７ ビデオ出力処理部
３０８ 読出し専用メモリ
３０９ 相関値計算部
３１０ 判別分析回路
３１１ 読出しアドレス制御部
３１２ ビデオ信号出力端子
Claims (8)
- 結像光学系を介して得られた光学像を光電変換素子で電気画像信号に変換し、記憶する撮像装置であって、
特定画像パターンを記憶する記憶手段と、
前記電気画像信号の部分画像と、前記特定画像パターンとの相関値を算出する相関値算出手段と、
前記算出された相関値に基づいて、前記部分画像の位置をシフトするシフト手段と、
前記相関値算出手段により算出された相関値の極大値を検出する極大値検出手段と、
前記極大値が検出された部分画像が人の顔の画像であるかどうかを判別する判別手段と、
自動焦点制御、自動露出制御、自動ホワイトバランス、拡大処理、および縮小処理の少なくとも１つを含む制御を行う制御手段とを有し、
前記シフト手段は、前記相関値算出手段により算出された相関値が予め設定された閾値以上になるまで、予め設定された方向に前記部分画像の位置を順次シフトし、前記閾値以上になると、前記部分画像のシフト前後の位置で得られる相関値から、相関値が高くなるシフト方向を推定し、前記極大値検出手段は、前記シフト手段が該推定したシフト方向に前記部分画像の位置をシフトする処理を繰り返すことで得られる相関値から、前記極大値を検出するものであって、
前記判別手段が前記極大値として検出された部分画像が人の顔の画像であると判別すると、前記制御手段が前記部分画像に基づいて前記自動焦点制御、前記自動露出制御、前記自動ホワイトバランス、前記拡大処理、および前記縮小処理の少なくとも１つを含む制御を行い、
前記判別手段が前記極大値として検出された部分画像が人の顔の画像でないと判別すると、前記シフト手段は再び前記相関値算出手段により算出された相関値が前記閾値以上になるまで、前記予め設定された方向に前記部分画像の位置を順次シフトすることを特徴とする撮像装置。 - 前記極大値検出手段により相関値の極大値が検出された場合に、該極大値に対応する部分画像と前記特定画像パターンとの相関値が最大になるように、前記部分画像の拡大倍率または縮小倍率を設定する手段を更に有することを特徴とする請求項１に記載の撮像装置。
- 前記シフト手段は、前記相関値が大きいほど、前記部分画像の位置をシフトするシフト量を小さくすることを特徴とする請求項１に記載の撮像装置。
- 前記記憶手段は、前記特定画像パターンとして大きさの異なる複数の相似の画像パターンを記憶し、前記記憶手段に記憶された複数の画像パターンの１つを選択する選択手段を更に有し、
前記相関値算出手段は、前記選択手段により選択された画像パターンと、前記電気画像信号の部分画像との相関値を算出することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。 - 前記判別手段は、前記部分画像に拡大処理または縮小処理が行われていないならば、ローパスフィルタを通過させた部分画像を用いて判別を行い、
前記判別手段は、前記部分画像に拡大処理または縮小処理が行われているならば、前記ローパスフィルタを通過させない部分画像を用いて判別を行うことを特徴とする請求項２に記載の撮像装置。 - 前記撮像装置はビデオカメラであることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
- 結像光学系を介して得られた光学像を光電変換素子で電気画像信号に変換し、記憶する撮像装置の制御方法であって、
前記電気画像信号の部分画像と、予め記憶された特定画像パターンとの相関値を算出する相関値算出工程と、
前記相関値算出工程において算出された相関値の極大値を検出する極大値検出工程と、
前記極大値が検出された部分画像が人の顔の画像であるかどうかを判別する判別工程と、
自動焦点制御、自動露出制御、自動ホワイトバランス、拡大処理、および縮小処理の少なくとも１つを含む制御を行う制御工程とを有し、
前記極大値検出工程では、前記相関値算出工程において算出された相関値が予め設定された閾値以上になるまで、予め設定された方向に前記部分画像の位置を順次シフトし、前記閾値以上になると、前記部分画像のシフト前後の位置で得られる相関値から、相関値が高くなるシフト方向を推定し、該推定したシフト方向に前記部分画像の位置をシフトする処理を繰り返すことで得られる相関値から、前記極大値を検出するものであって、
前記判別工程で前記極大値として検出された部分画像が人の顔の画像であると判別すると、前記制御工程で前記部分画像に基づいて前記自動焦点制御、前記自動露出制御、前記自動ホワイトバランス、前記拡大処理、および前記縮小処理の少なくとも１つを含む制御を行い、
前記判別工程で前記極大値として検出された部分画像が人の顔の画像でないと判別すると、前記極大値検出工程で再び前記相関値算出工程で算出された相関値が前記閾値以上になるまで、前記予め設定された方向に前記部分画像の位置を順次シフトすることを特徴とする撮像装置の制御方法。 - コンピュータに、請求項７に記載の撮像装置の制御方法の各工程を実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29865599A JP4401497B2 (ja) | 1999-10-20 | 1999-10-20 | 撮像装置及びその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29865599A JP4401497B2 (ja) | 1999-10-20 | 1999-10-20 | 撮像装置及びその制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001119622A JP2001119622A (ja) | 2001-04-27 |
| JP2001119622A5 JP2001119622A5 (ja) | 2006-12-07 |
| JP4401497B2 true JP4401497B2 (ja) | 2010-01-20 |
Family
ID=17862554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29865599A Expired - Fee Related JP4401497B2 (ja) | 1999-10-20 | 1999-10-20 | 撮像装置及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4401497B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4154400B2 (ja) * | 2004-04-01 | 2008-09-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP4006415B2 (ja) * | 2004-06-03 | 2007-11-14 | キヤノン株式会社 | 撮影装置及びその制御方法並びに制御用プログラム |
| JP2006229663A (ja) * | 2005-02-18 | 2006-08-31 | Casio Hitachi Mobile Communications Co Ltd | 撮像装置、撮像データ表示方法および撮像データ表示プログラム |
| JP2006258944A (ja) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | オートフォーカスシステム |
| JP4789526B2 (ja) * | 2005-07-13 | 2011-10-12 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP4730044B2 (ja) * | 2005-10-04 | 2011-07-20 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
| JP2007251532A (ja) | 2006-03-15 | 2007-09-27 | Fujifilm Corp | 撮像装置及び顔領域抽出方法 |
| JP5250855B2 (ja) * | 2012-02-16 | 2013-07-31 | コニカミノルタ株式会社 | 撮像装置および撮像方法 |
-
1999
- 1999-10-20 JP JP29865599A patent/JP4401497B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001119622A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
| JP4735742B2 (ja) | 撮像装置、ストロボ画像生成方法、および、プログラム | |
| EP1984892B1 (en) | Foreground/background segmentation in digital images | |
| JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| US7725019B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
| JP4413235B2 (ja) | 電子カメラ | |
| US7614559B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
| JP2007067559A (ja) | 画像処理方法、画像処理装置、及び撮像装置の制御方法 | |
| JP2009111716A (ja) | 撮像装置、プログラムおよびテンプレート生成方法 | |
| JP4401497B2 (ja) | 撮像装置及びその制御方法 | |
| US8334919B2 (en) | Apparatus and method for digital photographing to correct subject area distortion caused by a lens | |
| JP5247338B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
| JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
| US8340431B2 (en) | Automatic photographing method with face recognition | |
| JP2008211506A (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| JP5463688B2 (ja) | 合焦評価装置、カメラおよびプログラム | |
| US7924322B2 (en) | White balance processing for image pickup corresponding to zooming | |
| KR100261563B1 (ko) | 씨씨디카메라의움직임검출방법 | |
| JP5631181B2 (ja) | 画像処理装置及びその制御方法、及びプログラム | |
| JP2010028370A (ja) | 撮像装置 | |
| JP4315025B2 (ja) | 撮影装置、画像取得方法及びプログラム | |
| JP2009130840A (ja) | 撮像装置及びその制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061019 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061019 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080805 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091016 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091028 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |