JP4429241B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関し、特に、デジタルカメラ等の画像入力装置から入力される画像から所定の認識対象（被写体）を検出する画像処理装置及び方法に関する。

従来、デジタルカメラやデジタルビデオにおいて、入力画像中の人物や顔といった特定の被写体を検出し、検出された被写体に適した処理を行うものが提案されている。

特許文献１には、被写体が人物であることを判断する人物判断手段と被写体までの距離を検出する距離検出手段を備えるカメラが提案されている。このカメラでは、検出した被写体までの距離に基づいて焦点距離と焦点位置と絞りを調節し、人物の顔面全体が被写界深度内にほぼ入るように制御する手段を具備する。

特許文献２には、画像の質を改善するために、画像に含まれる１つ以上の人間の顔を検出するカメラが提案されている。

特許文献３には、画像データの中から人物の顔を検出するための顔検出手段を有し、検出結果に基づいて露出を制御する撮像装置が提案されている。この撮像装置は、顔検出手段により検出された人物の顔を測光エリアとして測光する測光手段と、人物の顔の測光結果に基づいて露光量を算出し、算出した露光量に基づき露出制御を行う露出制御手段とを具備する。

画像中の顔を検出する顔検出処理手法としては、様々な手法が提案されている。

例えば、非特許文献１では高速な顔検出方式が提案されている。また、特許文献２及び３には、顔検出を行う神経回路網が提案されている。

デジタルカメラで画像を撮影する場合には、画像中のどこに、どの大きさで、いくつ顔が存在するかは、撮影状況によって大きく変わる。そのため、デジタルカメラに搭載される顔検出処理方法は、画像における顔の位置やサイズ、数に依存しないことが要求されている。

顔等の特定のパターン（以降、「検出パターン」と呼ぶ。）を画像中から検出する際の基本的な考え方は、以下の通りである。まず、画像から特定のサイズの領域を切り出し、その領域の特徴と検出パターンの特徴とを比較して調査し、類似していれば、切り出された領域は、検出パターンであるとし、その領域に顔等の特定のパターンが存在するとする。

そのため、図１４に示すように、画像１４０１から特定の大きさの領域を順次切り出し、それらの切り出し領域をそれぞれ調査することにより、入力画像中の顔の位置、数に依存しない検出を行うことができる。また、顔のサイズに依存しない検出を行うためには、図１５に示すように、ピラミッド画像と呼ばれる、入力画像を離散的に解像度変換した画像を複数用意し、各解像度の画像から領域を切り出して調査する。

また、画像に対する解像度変換を行わずに、特定の異なるサイズの検出パターンを複数種類用意して検出することも可能である。

特許第３１６４６９２号公報 特開２００１−３０９２２５号公報 特開２００３−１０７５５５号公報 "Rapid object Detection using a Boosted Cascade of Simple Features", P.Viola, M.Jones, Proc. of IEEE Conf. CVPR,1,pp.511-518,2001 "Convolutional Spiking Neural Network Model for Robust Face Detection", M.Matsugu,K.Mori,et.al, 2002,Internatinal Conference On Neural Information Processing (ICONIP02) "Neural Network-Based Face Detection", H.A.Rowley, S.Baluja, T.Kanade, 1996, Computer Vision and Pattern Recognition (CVPR ’96)

上記示した、切り出し位置、解像度変換における、各変位つまり位置間隔や、解像度の間隔は、各検出手法の位置ロバスト性とサイズロバスト性に依存する。例えば、切り出された１つの領域に対してパターン検出を行う際に、検出パターンがその領域の中心に無いと検出できない場合は、切り出し位置を１画素毎に移動させる必要がある。ここで、±２画素の位置ロバスト性を持つ場合は、切り出し位置を５画素毎に移動させることができる。つまり、演算量を削減させることができる。サイズに関しても同様で、一つの領域に対して、２倍のサイズロバスト性がある検出手法であれば、１／１倍と１／２倍の２つの解像度の画像を用意すれば、４倍のサイズ変動を許容できる。これに対し、１．４倍程度のサイズロバスト性がある検出手法では、１／１倍、１／√２倍、１／２倍、１／（２√２）倍の４つの解像度の画像を用意する必要があり、演算量は多くなる。

しかし、一般的に、ロバスト性を高くすると、検出精度は低下する傾向がある。つまり、画像中に顔等の検出パターンが存在するのに検出ができなかったり、また背景等のまったく異なったパターンを顔等の検出パターンとして誤って検出することが生じる。このような誤検出が生じると、特許文献３で提案されているように画像中の顔に露出を合わせる際に、誤検出された顔以外の領域、例えば背景等に露出が合うことになってしまう。

逆にロバスト性を低くすると、切り出し位置間隔、解像度の間隔を密にする必要があり、その場合には演算量が増加する。演算量が増加すると、画像に対する検出処理に時間がかかることになる。

本発明は上記問題点を鑑みてなされたものであり、画像中の特定パターンの検出において、ユーザにとって必要十分な検出性能で検出を行う為の設定を、ユーザが容易に設定できるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像を入力するための画像入力手段と、認識対象を示し、使用する検出手法における限界サイズを有する検出パターンを、前記画像入力手段から入力された入力画像から生成された検出画像から検出することにより、前記認識対象の検出処理を行う検出手段と、前記検出パターンのサイズを設定するサイズ設定手段と、前記入力画像と、該入力画像における前記サイズ設定手段により設定された前記検出パターンのサイズとを表示する表示手段と、前記サイズ設定手段により設定されたサイズの前記検出パターンを、前記限界サイズに解像度変換するサイズ変更手段と、前記サイズ変更手段における前記解像度変換に用いられた変換率で、前記入力画像を第１の解像度に解像度変換すると共に、解像度変換後の入力画像のサイズが前記限界サイズを下回らない範囲で前記第１の解像度よりも低い複数の解像度に前記入力画像を変換することで、複数の前記検出画像を生成する変換手段と、前記サイズ設定手段により設定された前記サイズに応じて、前記検出手段で前記認識対象の検出処理に要すると予測される予測処理時間を計算する計算手段とを有し、前記検出手段は、前記解像度変換手段で生成された前記複数の検出画像のそれぞれから、前記認識対象の検出処理を行って、得られた複数の検出結果を統合し、前記表示手段は、更に、前記予測処理時間を表示する。

また、本発明の画像処理方法は、画像を入力する画像入力ステップと、認識対象を示し、使用する検出手法における限界サイズを有する検出パターンを、前記画像入力ステップで入力された入力画像から生成された検出画像から検出することにより、前記認識対象の検出処理を行う検出ステップと、前記検出パターンのサイズを設定するサイズ設定ステップと、前記入力画像と、該入力画像における前記サイズ設定ステップで設定された前記検出パターンのサイズとを表示する表示ステップと、前記サイズ設定ステップで設定されたサイズの前記検出パターンを、前記限界サイズに解像度変換するサイズ変更ステップと、前記サイズ変更ステップにおける前記解像度変換に用いられた変換率で、前記入力画像を第１の解像度に解像度変換すると共に、解像度変換後の入力画像のサイズが前記限界サイズを下回らない範囲で前記第１の解像度よりも低い複数の解像度に前記入力画像を変換することで、複数の前記検出画像を生成する解像度変換ステップと、前記サイズ設定ステップにて設定された前記サイズに応じて、前記検出ステップで前記認識対象の検出処理に要すると予測される予測処理時間を計算する計算ステップとを有し、前記検出ステップでは、前記解像度変換ステップで生成された前記複数の検出画像のそれぞれから、前記認識対象の検出処理を行って、得られた複数の検出結果を統合し、前記表示ステップでは、更に、前記予測処理時間を表示する。

本実施例で説明した発明によれば、画像中の特定パターンの検出において、ユーザにとって必要十分な検出性能で検出を行う為の設定を、ユーザが容易に設定することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
図１は本第１の実施形態における撮像装置の構成を示す図である。図１において、１０１は制御部、１０２は撮像部、１０３は被写体検出部、１０４は被写体検出メモリ、１０５は画像変換部、１０６は検出サイズ操作部、１０７は検出サイズ保持部、１０８は処理時間計算部、１０９は設定確認スイッチである。また、１１０はシャッタスイッチ、１１１はメモリ、１１２は表示回路、１１３は表示部である。

制御部１０１は、撮像装置全体の制御を行う手段である。制御部１０１には、撮像部１０２、被写体検出部１０３、被写体検出メモリ１０４、画像変換部１０５、検出サイズ操作部１０６、検出サイズ保持部１０７、処理時間計算部１０８、設定確認スイッチ１０９が接続されている。更に、シャッタスイッチ１１０、メモリ１１１、表示回路１１２も接続されている。そして、制御部１０１は、各部が適切なタイミングで動作するように制御する。

撮像部１０２は、撮像レンズ１２０と、撮像レンズ１２０を通過した被写体光学像をアナログの電気信号に変換する撮像センサ１２１と、変換されたアナログの電気信号をデジタル信号に変換するＡ／Ｄ変換器１２２と、撮像回路１２３とから構成されている。撮像回路１２３は、Ａ／Ｄ変換器１２２によりＡ／Ｄ変換されたデジタル信号に対してホワイトバランス補正やガンマ変換等所定の処理を行うことで、適切な映像信号を作成する。なお、撮像部１０２は、制御部１０１からの制御信号に基づいて撮像処理を行う。

メモリ１１１は、制御部１０１のためのプログラムや制御に使用されるデータ等を保持する。また、撮像部１０２で撮像した画像も保持する。

検出サイズ操作部１０６は、被写体検出部１０３による検出処理において、入力画像の解像度に対する、検出対象である特定パターン（被写体）の解像度（以下、「検出サイズ」と呼ぶ。）を設定する。検出サイズ保持部１０７は、この検出サイズを保持する。

画像変換部１０５は、撮像部１０２で撮像された画像の解像度を、後述するように検出サイズ保持部１０７に保持されている検出サイズの被写体を検出可能な解像度となるように変換する。画像変換部１０５により解像度変換された画像は、被写体検出メモリ１０４に保持される。被写体検出部１０３は、被写体検出メモリ１０４に保持されている解像度変換された画像に対して、被写体を検出する検出処理を行う。

処理時間計算部１０８は、被写体検出部１０３で行われる検出処理に係る概算処理時間を、検出サイズ操作部１０６で設定された検出サイズに基づいて計算する。

設定確認スイッチ１０９は、検出サイズ保持部１０７に保持されている検出サイズを、わかりやすく表示する切り替えを行うスイッチで、Ｏｎであればそのサイズの枠やＣＧの被写体を表示し、Ｏｆｆであれば表示しない。

表示回路１１２は、所望の画面の表示を行うように表示部１１３を制御する。表示部１１３には、撮像部１０２で撮像した画像、メモリ１１１に保持されている画像、被写体検出部１０３で検出した被写体、検出サイズ保持部１０７に保持されている検出サイズ等、撮像に有用な情報を表示する。

図３に、本第１の実施形態における撮像装置の背面の一例を示す。図３において、１３１は検出サイズ表示バー、１３２は処理時間表示バーを示し、表示部１１３内に表示される。

検出サイズ表示バー１３１は、検出サイズ保持部１０７に保持されている検出サイズを表示する。また、処理時間表示バー１３２は、処理時間計算部１０８において検出サイズ保持部１０７に保持されている検出サイズに基づいて求められた概算処理時間を表示する。この計算手法については後述する。

続いて、図２のフローチャートを参照して、本第１の実施形態の撮像装置における被写体検出動作について説明する。図２に示す処理は、基本的に制御部１０１によって制御される。

まず、ステップＳ１１でユーザにより撮影モードがセットされると、ステップＳ１２において電子ビューファインダ（Electrical View Finder: EVF）の機能を開始する。ＥＶＦ機能は、所定時間毎に定期的に撮像部１０２で画像を撮像し、表示回路１１２を介して、表示部１１３に画像を表示することで実現される。

ステップＳ１３では、シャッタスイッチ１１０の例えば半押し動作により撮影準備が指示された状態である、ＳＷ１がＯｎの状態か否かを判定する。ＳＷ１がＯｎの場合はステップＳ１４に進み、ＳＷ１がＯｆｆの場合はステップＳ２０に進む。

ステップＳ１４では、ＳＷ１がＯｎとなった時、またはその直後に撮像部１０２により撮影された画像をメモリ１１１に保持すると共に、画像変換部１０５において、検出サイズ保持部１０７に保持されている検出サイズに基づいて入力画像の解像度を変換する。解像度変換された画像は、被写体検出メモリ１０４に保持される。

ここで、ステップＳ１４において画像変換部１０５で行われる解像度変換処理について説明する。

なお、この解像度変換処理においては、特に断りがない限り「解像度を１／２にする」というのは、水平方向、垂直方向のそれぞれに関して１／２にすることとする。例えば、図４（Ａ）に示すような解像度640×480画素の画像の解像度を１／２にすると、図４（Ｂ）に示すような解像度320×240画素の画像になる。

背景技術で説明したように、画像中の被写体を検出する検出処理手法には多くの方法が存在する。しかし、どの手法にも、検出可能な対象の解像度には限界が存在する。この限界解像度は、各処理手法に依存するが、例えば、非特許文献３の方法では、検出可能な顔の最小サイズ（解像度）は20×20画素となっている。

また、検出処理時間は、検出対象画像の解像度に依存する。検出画像の解像度が高ければ、切り出す領域の数が増加するため処理時間は増大する。

そこで、ステップＳ１４では、検出サイズ保持部１０７に保持されている検出サイズが、使用する検出手法の限界解像度になるように、入力画像の解像度を変換する。

ここで検出手法の限界解像度をＱ、解像度変換率をＲ、検出サイズ保持部１０７に保持されている検出サイズをＳとすると、解像度変換率Ｒは
R ＝ Q/S …（１）

で求められる。
そして、解像度変換後の画像の解像度は、変換後の解像度をＡ、変換前の解像度をＢとすると、
A ＝ B × R …（２）

で求められる。
つまり、入力画像の解像度が640×480画素で、検出サイズが60×60画素、限界解像度が20×20画素の場合は、
R ＝ 20 ／ 60 ＝ 1／3 …（３）
A ＝ 640 × （1／3） ≒ 214（画素）（水平方向） …（４）
A ＝ 480 × （1／3） ＝ 160（画素）（垂直方向） …（５）

となる。つまりこの場合は、解像度640×480画素の入力画像を214×160画素に解像度変換する。解像度変換の手法としては、線形補間やバイキュービックを使用する一般的な手法を使用することができる。画質と処理時間を考えて、通常は線形補間が使用される。
さらに続けて、この変換された画像を用いて、図１５を参照して背景技術で示したようにピラミッド画像（複数の異なる解像度の画像）を作成する。例えば、サイズロバスト性が２倍の検出手法を使用する場合は、上記に示した214×160画素に変換した画像を、107×80画素に解像度変換する。そしてさらに、54×40画素、27×20画素まで解像度変換を行う。解像度変換したこれら全ての画像に対して、ステップＳ１５で検出処理を行うことにより、検出される被写体のサイズは、解像度640×480画素の入力画像に換算して、60×60画素〜480×480画素に対応することになる。

なお、解像度変換において、被写体を検出可能な限界解像度に変換すると、検出率が低下する場合があるので、最初に行う解像度変換の解像度変換率をＲを
R ＝ Q/S ＋ α …（６）

としてもよい。αは適当な正の数でよいが、例えば、上記の例では、αを１／１５として、Ｒ＝１／３ではなく、Ｒ＝１／２．５にすると、640×480画素の入力画像の解像度変換後の解像度は、256×192画素になる。
上述したステップＳ１４の処理が終了するとステップＳ１５に進む。ステップＳ１５では、被写体検出メモリ１０４に保持されているピラミッド画像の内の１つを選択する。検出処理を行っていない画像の中で、解像度が最も高い画像または解像度が最も低い画像を選択する。

ステップＳ１６では、ステップＳ１５で選択された画像に対して検出処理を行う。背景技術で紹介したように、検出処理の手法は多く提案されており、どの手法を適用しても良い。検出処理が終了すると、画像中の被写体の個数、各被写体の画像中の位置と大きさが検出結果として得られる。なお、検出された位置は、その解像度の画像で得られた検出座標値に対して解像度変換処理に伴う補正を行い、入力画像（上記の例では、640×480画素の画像）における被写体位置として求める。また被写体の大きさも同様に解像度変換処理に伴う補正を行い、入力画像の中に占める被写体の大きさとして求める。

ステップＳ１７では、被写体検出メモリ１０４に保持されている全ての解像度の画像に対して検出処理が終了したかを判定する。終了していなければ、ステップＳ１５に戻って上記処理を繰り返し、次の解像度の画像を選択し、検出処理を行う。全ての解像度の画像に対して検出処理が終了していれば、ステップＳ１８に進む。

ステップＳ１８では、被写体検出メモリ１０４に保持されている全ての解像度の画像に対して得られた検出結果を統合する。統合は、入力画像における位置と大きさに基づいて行われる。つまり、近傍位置に複数の検出結果があり、かつそれらの検出結果の大きさが同程度のものは、同一の被写体として統合する。統合された被写体の位置と大きさは、複数の検出結果の平均位置、平均の大きさを使用する。ただし、位置が近いが大きさが異なる複数の検出結果が得られている場合は、検出サイズ保持部１０７に保持されている検出サイズを優先し、そのサイズに近い方を選択するようにする。

ステップＳ１９では、メモリ１１１に保持されている画像を、表示回路１１２を介して表示部１１３に表示する。またそれと共に、ステップＳ１８で統合された被写体検出結果に基づいて、表示部１１３に表示された画像中の各被写体の位置にその大きさの検出枠を表示する。

ＳＷ１がＯｎの状態が続く限り、上述したステップＳ１４〜Ｓ１９の処理が繰り返される。つまり、ＳＷ１がＯｎの状態である間は、被写体検出処理の処理時間がＥＶＦの表示レートを決定することになる。このように、被写体検出において、できるだけ処理時間を短縮することにより、ユーザの使いやすさが向上する。

ＳＷ１がＯｎの状態で被写体検出がされている場合に、表示部１１３に表示される画像の模式図を図５に示す。図５において、１４１、１４２が被写体を、１４３、１４４が検出された被写体の検出枠を示す。

一方、ステップＳ１３で、ＳＷ１がＯｎではない場合はステップＳ２０に進む。

ステップＳ２０では、設定確認スイッチ１０９がＯｎかＯｆｆかを判定する。Ｏｎの場合はステップＳ２１に進む。ステップＳ２１では、検出サイズ保持部１０７に保持されている検出サイズを取得し、図６に示すように、検出サイズ表示バー１３１と処理時間表示バー１３２と共に、取得した検出サイズに相当する検出サイズ確認枠１６１を表示部１１３に表示する。なお、この確認枠１６１は、検出する被写体のサイズをユーザが把握し易くするために表示するもので、例えば被写体が顔であれば、確認枠１６１の代わりに顔のＣＧ等を表示するようにして良い。

ステップＳ２２では、検出サイズ操作部１０６のユーザによる操作により、検出サイズの変更が指示されているかを判定する。指示されていなければステップＳ１３に戻って上記処理を繰り返す。また、指示されていればステップＳ２３に進む。

ステップＳ２３では、検出サイズ保持部１０７に保持されている検出サイズを取得する。そして、検出サイズ操作部１０６がサイズを拡大するように操作されていれば、検出サイズに所定値を加算し、サイズを縮小するように操作されていれば、検出サイズから所定値を減算する。このとき、検出処理手法の検出性能で規定される所定範囲内に入るようにする。つまり、前述した通り、使用する検出処理手法の限界以下の解像度（上述した例では20×20画素未満）や、入力画像の解像度を超えるような解像度（上述した例では480×480画素を超える）の検出サイズによる検出は不可能である。そのため、検出可能サイズの所定範囲内に入るように限定する。具体的には、設定されている検出サイズが20×20画素である時にサイズの縮小が指示された場合、及び、設定されている検出サイズが480×480画素である時にサイズの拡大が指示された場合には、指示を実行しないようにする。

ステップＳ２４では、変更された検出サイズを検出サイズ保持部１０７に保持する。

続いてステップＳ２５では、検出サイズ保持部１０７に新しく保持された検出サイズに基づいて、検出サイズ表示バー１３１の表示を更新する。更に、その検出サイズにおける概算処理時間を処理時間計算部１０８で計算して、処理時間表示バー１３２の表示を更新する。つまり、検出サイズを変更すると、検出サイズ表示バー１３１が変更され、それに連動して、処理時間表示バー１３２の表示も変更される。そのため、ユーザは、所望の検出サイズをセットしてそのときの処理時間の目安を理解することができる。従って、所望の処理時間に設定するために、検出サイズを変更することもできる。なお、設定確認スイッチがＯｎである場合には、ステップＳ２５では、変更後の検出サイズに応じて検出サイズ確認枠１６１の大きさを更新して表示する。

次に、概算処理時間の計算手法について説明する。

背景技術で説明したように、一般に検出処理は、画像から特定の大きさの領域を切り出し、その領域のパターンの特徴と対象パターンの特徴とを比較して調査することで行われる。切り出された１領域あたりの検出処理時間が一定であれば、全体の検出処理時間は切り出された領域の数に比例する。つまり、ステップＳ１４で変換された画像の解像度に比例する。ただし検出処理手法の中には、最初に切り出された領域の周波数を見て全体が低周波であれば所望の被写体ではないと判断する手法や、また同様の手法として弱判別器をカスケード接続し、所望の被写体に似ているとより処理時間がかかる処理手法等が存在する。そのため、全ての切り出された領域において、１領域あたりの検出処理時間が一定であるとは言えない。しかしながら、何万枚という大量の画像を用いて、１領域あたりの処理時間の平均値を求めると、その値は、それらの画像中の低周波や被写体に似ている領域の存在分布までを考慮した値となる。このように大量のデータベースを使用して求めた値から予測した処理時間は、処理時間の目安としては十分使用可能な精度を示す。このように、大量のデータベースから求めた１箇所あたりの処理時間の平均値と変換された画像から切り出し可能な領域の数から、おおよその処理時間を予測することが可能である。

また、背景技術に示したように、使用する検出手法の位置ロバスト性に依存して、切り出す位置の移動量が変化する。

以上のことから、使用する検出手法の限界解像度をＱ、解像度変換後の画像の解像度をＢｓ、１領域あたりの処理時間の平均値をＣ、切り出す位置の移動量をＤ、解像度変換後の1枚の画像に対するおおよその処理時間をＴｓとすると、
Tｓ ＝ C × （Bｓ／D‐Q＋１） …（７）

となる。例えば、限界解像度Ｑ＝20×20画素、変換後画像の解像度Ｂｓ＝256×192画素、１領域あたりの処理時間の平均値Ｃ＝１μsec、移動量Ｄを２とすると、おおよその処理時間Ｔｓは、
Tｓ ＝ 1μsec ×｛（２５６／２−２０＋１）×（１９２／２−２０＋１）｝
≒ 84msec …（８）
となる。
上記示したおおよその処理時間Ｔｓは、異なる複数の解像度の画像中、１つの解像度の画像に対する処理時間であるので、各解像度の画像における処理時間を加算することで、全ての解像度の画像に対するおおよその処理時間を得ることができる。つまり、複数の解像度の画像すべてに対する検出処理にかかるおおよその処理時間Ｔは、次式（９）で求められる。
Ｔ ＝ ΣTs …（９）

なお、検出手法の限界解像度Ｑ、１領域あたりの処理時間の平均値Ｃ、切り出す位置の移動量Ｄは、検出手法に依存するもので既知である。従って、解像度変換後の画像の解像度Bｓを求めるための、検出サイズと入力画像、及びピラミッド画像を作成する際の解像度の変換率を入力値とし、検出処理時間を出力するテーブルとして予め用意しておき、このテーブルから検索するようにすることもできる。このようにすることで、処理時間計算部１０８は、上記の計算式を毎回計算しなくてもよくなる。

図７に、検出サイズ操作部１０６による操作を行った時の表示部１１３の表示の変化を示す。なお、図７（Ａ）では、設定確認スイッチ１０９がＯｎに設定され、現在設定されている検出サイズが確認枠１６１として表示されている。図７（Ｂ）は図７（Ａ）に対して、検出サイズを小さくするように検出サイズ操作部１０６を操作した結果を示す。図７（Ｂ）では、検出サイズ表示バー１３１の現在の検出サイズを示すつまみマークが小さい値（Small）の方に移動し、また処理時間表示バー１３２の現在の処理時間を示すつまみマークが処理時間増大（Slow）に移動している。図７（Ｂ）ではさらに、確認枠１６１のサイズが小さくなったことを示している。このように、検出サイズ表示バー１３１と処理時間表示バー１３２を連動させることで、検出サイズを変化させると、処理時間も変化することが容易に把握できる。

上記説明したように本第１の実施形態では、ユーザが検出サイズ操作部１０６を操作して検出サイズを指定することにより、設定された検出すべきサイズの被写体を検出しつつ、処理時間の短縮を実現することができる。また、検出サイズを２次元的に表示することで、ユーザは容易に検出サイズを把握することができるため、所望のサイズに検出サイズを設定することができる。更に、被写体を検出可能な範囲内に検出サイズを設定することができる。また、検出サイズと処理時間が連動して変更されるため、検出サイズと処理時間の関係を容易に把握することができる。

なお、図２のステップＳ１４における解像度変換処理において、ピラミッド画像を作成するものとして説明したが、複数の異なる解像度の画像ではなく、１種類の解像度だけに変換するようにしてもよい。つまり検出サイズ保持部１０７に保持されている検出サイズに基づいて変換し、その後異なる解像度の画像を作成しないようにしても良い。

上記のように、１種類の解像度の画像だけを使用して検出処理を行うと、検出サイズ保持部１０７に保持されている検出サイズより、使用する検出処理手法のサイズロバスト性以上異なったサイズの被写体は検出できない。しかしながら、検出処理時間が短縮するとともに、誤検出も削減することが可能である。

また、図２のステップＳ２３においては、検出可能な所定範囲内に収まるように検出サイズを限定するようにしているが、この限定を行わないようにしても良い。その場合、変更後の検出サイズが所定範囲外になると、被写体検出処理を行わないようにし、その旨を表示するようにしてもよい。この時の表示例を図８に示す。図８（Ａ）は、検出サイズ表示バー１３１に表示される検出サイズを示すつまみマークが最小の位置にある時を示す。そして、さらに検出サイズを小さくするように検出サイズ設定部１０６が所定時間以上操作された場合は、被写体検出処理を行わない被写体検出非実行モードに移行する。被写体検出非実行モードの時は、表示部１１３には、図８（Ｂ）に示すように、検出サイズ表示バー１３１と処理時間表示バー１３２を表示せずに、被写体検出非実行モードを示す表示１８１を行う。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態では、第１の実施形態の画像変換部１０５で行われる解像度変換を、固定解像度で行うようにしたものである。つまり、主に、図２に示すフローチャートのステップＳ１４の処理が、本第２の実施形態と第１の実施形態では異なる。これ以外の処理及び撮像装置の構成は第１の実施形態で説明したものと同様であるので、ここでは説明を省略する。

以下、ステップＳ１４で行われる本第２の実施形態における解像度変換処理を、図９に示すフローチャートに従って説明する。

本第２の実施形態では、ステップＳ１４において、ピラミッド画像作成、必要検出解像度算出、画像選択保持の３つの処理を行う。

最初にステップＳ３１において、使用する検出手法のサイズロバスト性に基づいて解像度変換率を設定し、その変換率で入力画像の解像度を順次変換し、ピラミッド画像を作成する。

ここで解像度変換率をRｆ、変換後の解像度をＡ、変換前の解像度をＢとすると、
A ＝ B ＊ Rｆ …（１０）

で求められ、この解像度変換を、検出手法の限界解像度まで繰り返して、ピラミッド画像を作成する。
例えば、入力画像の解像度が640×480画素で、検出手法のサイズロバスト性が２倍、限界解像度が20×20画素の場合は、
Rｆ ＝ 1／2 …（１１）
A ＝ 640 × （1／2） ＝ 320（画素）（水平方向） …（１２）
A ＝ 480 × （1／2） ＝ 240（画素）（垂直方向） …（１３）

となる。そして順に、160×120画素、80×60画素、40×30画素の画像を作成する。
次にステップＳ３２において、検出サイズ保持部１０７に保持されている検出サイズの被写体を検出するために必要な解像度、検出必要解像度を求める。この計算は、第１の実施形態で示した方法と同じ方法を使用する。

例えば、解像度変換率をＲ、検出必要解像度をＡｎとし、入力画像の解像度が640×480画素で、検出サイズが60×60画素、限界解像度が20×20画素の場合は、
R ＝ 20 ／ 60 ＝ 1／3 …（１４）
Aｎ ＝ 640 × （1／3） ≒ 214（画素）（水平方向） …（１５）
Aｎ ＝ 480 × （1／3） ＝ 160（画素）（垂直方向） …（１６）

となる。つまりこの場合は、214×160画素が検出必要解像度になる。
そして次にステップＳ３３において、検出に使用するための画像を選択し、被写体検出メモリ１０４に保持する。ここでは、ステップＳ３１において作成されたピラミッド画像の内、ステップＳ３２で求めた検出必要解像度よりも高解像度の画像の中で、最も低解像度の画像を選択する。例えば、上記の例では、320×240画素が選択される。

そして、選択された画像より低解像度の画像を全て、被写体検出メモリ１０４に保持する。例えば上記の例では、320×240画素、160×120画素、80×60画素、40×30画素の画像が保持される。

図１０に本第２の実施形態における撮像装置の背面を示す。本第２の実施形態では、検出サイズを変更すると、検出に使用する画像の解像度は離散的に変化する。そのため、処理時間も離散的に変化する。従って、図１０に示すように、表示部１１３に表示される処理時間表示バー２３２は、第１の実施形態とは異なり、離散的な表示を行う。

上記の通り本第２の実施形態によれば、固定変換率で解像度変換処理を行うことで、回路で変換画像を作成する場合等は、設計が容易になるという効果がある。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

第３の実施形態は、ズーム制御を行った場合に、検出サイズをそのズーム量に比例して自動的に変更するようにしたものである。

図１１は、本第３の実施形態における撮像装置の構成を示すブロック図である。図１１において、図１と同様の構成には同じ参照番号を付し、説明を省略する。図１に示す構成と比較して、ズーム操作部３１４が追加されている。このズーム操作部３１４を操作すると、撮像部１０２中の撮像レンズ１２０が制御され、ズーム倍率が変更される。

次に、図１２のフローチャートを参照して、このズーム操作部３１４の操作を含む被写体検出動作について説明する。図１２に示す処理は、基本的に制御部３０１によって制御される。なお、図１２に示す処理の内、図２を参照して説明した処理と同様の処理には同じ参照番号を付し、説明を省略する。

ステップＳ４１において、ユーザがズーム操作部３１４を操作しているかどうかを判定する。操作していないと判定されるとステップＳ２３に進み、以降、図２で説明した処理を行う。一方、操作していると判定されるとステップＳ４２へ進み、連動ズーム制御を行う。

図１３は、ステップＳ４２で行われる連動ズーム制御処理を示すフローチャートである。

ステップＳ５１では、ユーザによるズーム操作部３１４の操作に合わせてズーム量を設定し、撮像部１０２の撮像レンズ１２０の内のズームレンズを制御する。

次に、ステップＳ５２では、連動ズームモードが設定されているか否かを判定する。ここで、連動ズームモードとは、ズーム制御と検出サイズを連動させるモードのことを言い、ここでは、不図示のセットボタンにより設定されるか、または直前に被写体検出がされていると、設定される。「直前に被写体検出がされている」状態とは、ズーム操作部３１４が操作される前の所定時間以内に、ＳＷ１がＯｎされ、ステップＳ１４〜Ｓ１９の処理により被写体が検出されている状態を指す。被写体が検出された直後にユーザがズーム制御を行うということは、その被写体の画像中の大きさを変更したいという意志だと考えられる。そのため、本第３の実施形態では、「直前に被写体検出がされている」場合には連動ズームモードが設定される。

連動ズームモードが設定されていなければ、ズームレンズを制御する以上の処理を行う必要がないので、図１２のフローチャートに戻る。

一方、連動ズームモードが設定されている場合は、ステップＳ５３に進む。ステップＳ５３では、検出サイズ保持部１０７に保持されている検出サイズと、ズーム変化量とから、新たな検出サイズを求める。ズーム制御前に検出サイズ保持部１０７に保持されている検出サイズをＳｏ、ズーム変化量をＺｖ、新たな検出サイズをSｎとすると、次式（１７）に従って、新たな検出サイズを求めることができる。
Sn ＝ So × Zv …（１７）

となる。例えば、検出サイズ保持部１０７に保持されていた検出サイズが48×48画素で、ズーム変化率が2.0倍の時は、新たな検出サイズは、96×96画素となる。そして、ステップＳ５４で変更した検出サイズを再び検出サイズ保持部１０７に保持する。
ステップＳ５５では、第１の実施形態と同様に、検出サイズ保持部１０７に保持されている検出サイズに従って、検出サイズ表示バー１３１の表示を変更する。また、その検出サイズにおける処理時間を計算またはテーブルにより予測し、処理時間表示バー１３２の表示を変更する。

このように、本第３の実施形態では、ユーザが指定した場合またはズーム制御の直前に検出がされていた場合など、連動ズームモードが設定されている場合には、ズーム制御量に比例して検出サイズを自動的に変更する。この制御により、ズーム制御終了後に、検出サイズを変更する必要がなくなるという効果がある。

なお、上記例では、ズームが光学ズームである場合について説明したが、電子ズームの場合、及び、光学ズームと電子ズームが併用されている場合にも、本発明を適用可能であることは明らかである。

また、上記第１〜第３の実施形態では、本発明を撮像装置に適用した場合について説明したが、外部から画像を入力し、入力した画像中の被写体を検出する装置に本発明を適用することも可能である。

＜他の実施形態＞
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１の実施形態における撮像装置の概略機能構成を示すブロック図である。 本発明の第１の実施形態における被写体検出動作を示すフローチャートである。 本発明の第１の実施形態における撮像装置の背面図である。 解像度変換を説明するための図である。 本発明の第１の実施形態における被写体検出結果の表示例を示す図である。 本発明の第１の実施形態における設定確認表示を示す図である。 検出サイズ操作部の操作に伴う設定確認表示の変化を示す図である。 被写体検出非実行モード時の表示を示す図である。 本発明の第２の実施形態における解像度変換処理を説明するためのフローチャートである。 本発明の第２の実施形態における撮像装置の背面図である。 本発明の第３の実施形態における撮像装置の概略機能構成を示すブロック図である。 本発明の第３の実施形態における被写体検出動作を示すフローチャートである。 本発明の第３の実施形態における連動ズーム制御処理を説明するためのフローチャートである。 従来の切り出し領域を説明する図である。 従来のピラミッド画像を説明する図である。

符号の説明

１０１、３０１ 制御部
１０２ 撮像部
１０３ 被写体検出部
１０４ 被写体検出メモリ
１０５ 画像変換部
１０６ 検出サイズ操作部
１０７ 検出サイズ保持部
１０８ 処理時間計算部
１０９ 設定確認スイッチ
１１０ シャッタスイッチ
１１１ メモリ
１１２ 表示回路
１１３ 表示部
１２０ 撮像レンズ
１２１ 撮像センサ
１２２ Ａ／Ｄ変換器
１２３ 撮像回路
１３１ 検出サイズ表示バー
１３２ 処理時間表示バー
１４１、１４２ 被写体
１４３、１４４ 検出枠
１６１ 設定確認枠
３１４ ズーム操作部

Claims (4)

1. 画像を入力するための画像入力手段と、
   認識対象を示し、使用する検出手法における限界サイズを有する検出パターンを、前記画像入力手段から入力された入力画像から生成された検出画像から検出することにより、前記認識対象の検出処理を行う検出手段と、
   前記検出パターンのサイズを設定するサイズ設定手段と、
   前記入力画像と、該入力画像における前記サイズ設定手段により設定された前記検出パターンのサイズとを表示する表示手段と、
   前記サイズ設定手段により設定されたサイズの前記検出パターンを、前記限界サイズに解像度変換するサイズ変更手段と、
   前記サイズ変更手段における前記解像度変換に用いられた変換率で、前記入力画像を第１の解像度に解像度変換すると共に、解像度変換後の入力画像のサイズが前記限界サイズを下回らない範囲で前記第１の解像度よりも低い複数の解像度に前記入力画像を変換することで、複数の前記検出画像を生成する変換手段と、
   前記サイズ設定手段により設定された前記サイズに応じて、前記検出手段で前記認識対象の検出処理に要すると予測される予測処理時間を計算する計算手段とを有し、
   前記検出手段は、前記解像度変換手段で生成された前記複数の検出画像のそれぞれから、前記認識対象の検出処理を行って、得られた複数の検出結果を統合し、
   前記表示手段は、更に、前記予測処理時間を表示することを特徴とする画像処理装置。
2. 前記計算手段は、前記サイズ設定手段により前記検出パターンのサイズが設定し直される度に、前記予測処理時間を再計算し、前記表示手段は前記再計算された予測処理時間に更新して表示することを特徴とする請求項１に記載の画像処理装置。
3. ズーム量を変更するズーム操作手段を更に有し、
   前記サイズ設定手段は、前記ズーム量が変更された場合に、前記ズーム量に比例して、前記検出パターンのサイズを変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 画像を入力する画像入力ステップと、
   認識対象を示し、使用する検出手法における限界サイズを有する検出パターンを、前記画像入力ステップで入力された入力画像から生成された検出画像から検出することにより、前記認識対象の検出処理を行う検出ステップと、
   前記検出パターンのサイズを設定するサイズ設定ステップと、
   前記入力画像と、該入力画像における前記サイズ設定ステップで設定された前記検出パターンのサイズとを表示する表示ステップと、
   前記サイズ設定ステップで設定されたサイズの前記検出パターンを、前記限界サイズに解像度変換するサイズ変更ステップと、
   前記サイズ変更ステップにおける前記解像度変換に用いられた変換率で、前記入力画像を第１の解像度に解像度変換すると共に、解像度変換後の入力画像のサイズが前記限界サイズを下回らない範囲で前記第１の解像度よりも低い複数の解像度に前記入力画像を変換することで、複数の前記検出画像を生成する解像度変換ステップと、
   前記サイズ設定ステップにて設定された前記サイズに応じて、前記検出ステップで前記認識対象の検出処理に要すると予測される予測処理時間を計算する計算ステップとを有し、
   前記検出ステップでは、前記解像度変換ステップで生成された前記複数の検出画像のそれぞれから、前記認識対象の検出処理を行って、得られた複数の検出結果を統合し、
   前記表示ステップでは、更に、前記予測処理時間を表示することを特徴とする画像処理方法。

Images