JP5538865B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特には被写体の検出結果に基づいてズームレンズの画角を自動調整可能な撮像装置及びその制御方法に関する。

従来、撮像画像から被写体の画像を検出し、その面積が所定の範囲になるようにズームレンズの画角を自動的に制御するビデオカメラが提案されている（特許文献１参照）。このような自動ズーム制御機能を有するビデオカメラでは、ユーザがズームレンズの画角を手動で調整しなくても撮像画像における被写体の大きさをほぼ一定に維持することができるという利点がある。

特開平９−６５１９７号公報

しかしながら、特許文献１記載のビデオカメラは、被写体として一人の顔を想定している。そのため、複数の被写体を撮像したい場合の自動ズーム制御については何ら開示も示唆もされていない。

本発明はことのような従来技術の課題を解決することを目的としたものであり、複数の被写体に対する自動ズーム制御が可能な撮像装置及びその制御方法を提供する。

上述の目的は、撮像画角の変更が可能な撮像装置であって、撮像された画像から、予め定められた被写体を検出する検出手段と、検出された被写体のうち、ユーザによって選択された複数の被写体を含んだ画像の領域を自動ズーム枠として設定する設定手段と、自動ズーム枠の領域の全体が撮像されるように撮像画角を変更する制御手段とを有し、被写体の検出、自動ズーム枠の設定、並びに撮像画角の変更を、連続して撮像される画像に対して継続して実行することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、複数の被写体に対する自動ズーム制御が可能な撮像装置及びその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の機能構成例を示すブロック図。 第１の実施形態における自動ズーム制御を模式的に示す図。 第１の実施形態における自動ズーム制御動作を説明するためのフローチャート。 第２の実施形態における自動ズーム制御を模式的に示す図。 第２の実施形態における自動ズーム制御動作を説明するためのフローチャート。

＜第１の実施形態＞
以下、添付図面を参照して本発明の例示的な実施形態について説明する。
図１は本発明の実施形態に係る撮像装置の機能構成例を示すブロック図である。なお、本発明は、被写体の検出及び撮像画角の変更制御が可能な任意の撮像装置（およびそのような撮像装置を備える装置）に適用可能である。具体的には、デジタルビデオカメラ、デジタルスチルカメラ、およびカメラ機能を備えた携帯電話、携帯情報端末、メディアプレーヤ、パーソナルコンピュータ等に本発明を適用できるが、これらに限定されない。

また、以下では、光学的に画角を変更可能なズームレンズ（光学ズーム）を備える撮像装置に本発明を適用した例を説明するが、画像処理によって画角変更（所謂デジタルズーム）可能な撮像装置に対しても本発明を適用可能である。

撮像装置１００は、固定レンズ１０１ａ、画角調整レンズ１０１ｂと、絞り１０３を含んだズームレンズ１０２を有する。固定レンズ１０１ａから入射した光線は画角調整レンズ１０１ｂ、絞り１０３を通して撮像素子１０５に結像される。ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の光電変換素子である撮像素子１０５に結像した被写体の光学像は、画素単位のアナログ画像信号に変換される。アナログ画像信号はＡ/Ｄコンバータ（ＡＤＣ）１０６でデジタル画像信号に変換され、カメラ信号処理部１０７に入力される。カメラ信号処理部１０７はデジタル画像信号に色信号処理、ゲイン制御処理、ホワイトバランス処理等の信号処理を適用し、映像信号を出力する。なお、映像信号を符号化して記録する場合、符号化処理もカメラ信号処理部１０７で行う。記録部１０８はカメラ信号処理部１０７から出力される映像信号を、所定の記録フォーマットで記録媒体１０９に記録する。記録媒体１０９は半導体メモリ、磁気記録媒体、光学記録媒体などであってよく、撮像装置１００に内蔵されていても、撮像装置１００に対して着脱可能であっても、両者の組み合わせであってもよい。

被写体検出部１１０は、カメラ信号処理部１０７が出力する映像信号から、予め定められた被写体（例えば人物の顔）を検出し、被写体の位置や大きさを検出結果として出力する。被写体検出部１１０における被写体検出は、公知技術に基づいて実施可能であるためその詳細についての説明を省略する。自動ズーム演算部１１１は、被写体検出部１１０の検出結果に基づいて、ズームレンズ１０２の画角（撮像画角）を演算する。そして、自動ズーム演算部１１１は、演算結果に基づいてズームモータ１０４を制御し、ズームレンズ１０２の画角を、演算により得られた画角に調整する。被写体選択部１１２は、自動ズーム制御の対象とする被写体をユーザが複数選択するための操作部である。被写体選択部１１２は例えば、タッチパネル、方向キー、決定キーなど、表示部１１４に表示される撮像画像中の領域をユーザが選択することを可能にする任意のキー、スイッチ等であってよい。表示部１１４は、例えばＬＣＤを備え、カメラ信号処理部１０７からの撮像画像を表示するとともに、被写体検出部１１０の検出結果に基づいて、検出された被写体を示すマーク（枠など）を撮像画像に重畳表示する。

なお、被写体優先順位指定部１１３は、後述する第２の実施形態で使用し、本実施形態では使用しない。従って、本実施形態の撮像装置１００においては必須でない。しかしながら、被写体優先順位指定部１１３は、被写体選択部１１２と同様、表示部１１４に表示されている画像からユーザが所望の被写体を指定するためのものであり、実体的には被写体選択部１１２が被写体優先順位指定部１１３を兼ねてもよい。

次に、図２と図３とを参照して、本実施形態の撮像装置における自動ズーム制御動作について説明する。なお、自動ズーム制御動作は、撮像装置の撮像スタンバイ時や、動画像の撮像中に、他の処理（自動焦点検出処理、自動露出制御処理、記録処理など）と並行して実行することが可能である。以下の説明においては、これら他の処理についての説明は省略する。

本実施形態の撮像装置１００においては、撮像スタンバイ時や動画像の撮像中に、表示部１１４を電子ビューファインダとして機能させているものとする。具体的には、撮像素子１０５が連続して撮像を行い、カメラ信号処理部１０７から所定のフレームレート（例えば３０フレーム／秒）でファインダ表示用の画像信号を出力する。そして、この撮像画像信号を表示部１１４が有するＬＣＤに表示することで、表示部１１４が電子ビューファインダとして機能する。ファインダ表示用の画像信号は、表示部１１４の表示解像度に合わせた解像度を有し、一般的には記録用の画像信号よりも画素数が少ない。

そして、被写体検出部１１０は、カメラ信号処理部１０７が出力するファインダ表示用の画像信号から被写体を検出する。ここで、被写体が人物の顔であるとすると、被写体検出部１１０は人物の顔と思われる領域（顔領域）の大きさと位置を示す検出結果を、検出された被写体毎に出力する。なお、動画像の記録中に自動ズーム制御を行う場合、被写体検出部１１０は記録用画像から被写体を検出してもよい。また、被写体検出は必ずしも各フレームに対して行う必要はなく、数フレーム毎に行うようにしてもよい。被写体検出の頻度（すなわち自動ズーム制御の追従性）は、被写体検出処理部の処理能力や、必要とされる自動ズーム制御の追従性などに応じて適宜決定することができる。

表示部１１４は、被写体検出部１１０の検出結果から、撮像画像中で被写体として検出された領域を示すマーク（本実施形態では顔枠）を撮像画像に重畳表示する。なお、顔検出機能や顔枠の表示機能を有する撮像装置は公知であるため、これ以上の詳細については説明を省略する。

図２（ａ）は、２人の人物が被写体２０４，２０５として検出されている状態の表示部１１４の表示状態の例を示す。人物２０４，２０５の顔には、検出されている被写体であることを示す顔枠２０２，２０３が重畳表示されている（Ｓ１００）。なお、図２（ａ）の下段には、ズームレンズ１０２の現在の画角を、ズームレンズ１０２の画角の調整可能範囲とともに示している。Ｗは広角端（最大画角）、Ｔは望遠端（最小画角）を、２０６は現在の画角をそれぞれ模式的に示している。

ユーザは例えば、被写体選択部１１２に含まれる被写体選択開始指示を与えるためのキー又はボタン等を操作することにより、被写体選択を行うことができる。例えば被写体選択部１１２が、表示部１１４の画面上の任意の座標を指定可能なタッチパネルを有するものとすると、ユーザは自動ズーム制御の対象としたい被写体に対応する顔枠内の位置を、タッチパネルで指定することにより、被写体選択を行うことができる。あるいは、被写体選択部１１２の方向キーを操作して、所望の被写体に対応する顔枠を選択状態として決定キーを押下する等の操作によっても被写体選択を行うことができる。表示画像から被写体を選択する方法自体は本発明の本質ではなく、公知の任意の手法を用いることが可能である。

ここで、ユーザが被写体２０４と２０５の顔枠２０２，２０３を順次指定したとすると、指定結果の情報（例えば画像上の座標又は指定された顔枠の情報）が被写体選択部１１２から自動ズーム演算部１１１へ与えられる。自動ズーム演算部１１１は、指定結果の情報と被写体検出部１１０の検出結果とから、被写体２０４の顔検出枠２０２と被写体２０５の顔検出枠２０３を内包する長方形枠を自動ズーム枠２０１として設定する（Ｓ１０２）。なお、自動ズーム枠２０１は、複数の顔検出枠に外接する最小の長方形として設定することもできるが、顔領域の検出誤差を考慮し、左右に若干の余裕を持たせている。これにより、自動ズーム制御中に、選択された被写体の顔の一部が画面に収まりきらなくなることを防止できる。また、撮像画像の見た目の点からも、被写体が画面の端ぎりぎりまで存在するより、周囲に空間が存在する方が望ましいであろう。同様の理由により、上方にも若干の余裕を持たせて自動ズーム枠２０１を設定することもできる。

自動ズーム演算部１１１は、設定した自動ズーム枠２０１の全体が画面内に含まれるような画角（ズーム位置）を計算する（Ｓ１０３）。この計算は、ズーム位置（画角）の変化量と、画像の拡大／縮小率との関係から逐次行ってもよいし、これらの関係を予め記憶したテーブルを参照することにより行ってもよい。また、撮像画角は、自動ズーム枠２０１の全体が、かつ適切な大きさで（例えばできるだけ大きく）撮像されるように計算してもよい。自動ズーム枠２０１の適切な大きさは、例えばズーム枠２０１の長辺の大きさが、対応する画面の大きさ（縦又は横の大きさ）に占める割合（例えば８０％以上等）として予め定めておくことができる。
そして、自動ズーム演算部１１１は、計算によって得られたズーム位置（撮像画角）となるように、ズームモータ１０４を駆動する（Ｓ１０４）。自動ズーム演算部１１１は変更後の画角が変更可能な最大値に達しているかどうか判別する（Ｓ１０５）。ここで、変更後の画角が変更可能な最大値に達していない場合には、次に撮像された画像に対する被写体検出（Ｓ１０９）の結果に基づいて、Ｓ１０２からの処理が継続して実行される。上述の通り、自動ズーム制御は、連続して撮像される画像の各フレームに対して継続して実行されなくてもよい。数フレーム毎に自動ズーム制御を行う場合、次に処理すべき画像が撮像されるまで、被写体検出処理の開始を待機する。

以上のズーム制御を繰り返し実行することにより、例えば図２（ａ）の状態において、被写体２０４が移動せず、被写体２０５が被写体２０４から右方向へ離れていくと、自動ズーム演算部１１１が設定する自動ズーム枠２０１の横方向の長さが増加する。そのため、ズームレンズ１０２の画角を大きく（広角側へ移動）する制御を行う（図２（ｂ））。また、被写体２０５と２０４の距離が短くなれば、自動ズーム枠２０１の横方向の長さが減少するため、自動ズーム演算部１１１は、ズームレンズ１０２の画角を小さく（望遠側へ移動）する制御を行う。図２（ｂ）の状態から被写体２０５が更に右方向に離れていくと、ズームレンズ１０２の画角が最大となる（Ｓ１０５，Ｙｅｓ）。そして、被写体２０５が引き続き画像の中心から右方向に離れた場合、被写体２０５が撮像範囲外に移動して被写体検出部１１０で検出されなくなり、被写体２０５を含んだ自動ズーム枠２０１を画面内に設定することができなくなる（Ｓ１０６，Ｙｅｓ）。

自動ズーム演算部１１１は、ズームレンズ１０２の画角が最大の状態で自動ズーム枠２０１に含めるべき被写体のいずれかが被写体検出部１１０で検出できなくなると、経過時間のカウントを開始する（Ｓ１０７）。そして、予め設定された時間継続して検出できない被写体については、自動ズーム枠２０１に含めるべき選択被写体から削除する（Ｓ１０８）。自動ズーム演算部１１１は、図２（ｃ）に示すように、次に撮像された画像に対する被写体検出（Ｓ１１０）の結果に基づいて、Ｓ１０８で削除された被写体以外の選択被写体の顔枠を包含する新たな自動ズーム枠２０１を設定する（Ｓ１０２）。これにより、新たな自動ズーム枠２０１に基づく自動ズーム制御が継続される（図２（ｄ））。

以上説明したように、本実施形態によれば、複数の被写体領域を含んだ自動ズーム枠を設定し、自動ズーム枠が画面に対して予め定めた大きさになるように自動的に画角を調整することにより、複数の被写体に対して適切な自動ズーム制御を行うことが可能となる。また、自動ズーム枠に含めるべき複数の被写体領域のいずれかが予め定めた時間継続して検出されなかった場合には、その被写体領域以外の被写体領域に対して自動ズーム枠を新たに設定して自動ズーム制御を継続する。そのため、再度ユーザが被写体を選択し直すことなく、実際に撮像されている被写体に対して適切な自動ズーム制御を行うことが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る撮像装置は、図１に示した構成において、被写体選択部１１２の代わりに被写体優先順位指定部１１３が用いられる点で第１の実施形態と異なる。

従って、本実施形態の撮像装置１００において被写体選択部１１２は必須でない。しかしながら、上述の通り、被写体優先順位指定部１１３と被写体選択部１１２とは表示部１１４に表示されている画像からユーザが所望の被写体を指定するための構成であるから、実体的には被写体優先順位指定部１１３が被写体選択部１１２を兼ねてもよい。

上述の第１の実施形態では、選択された複数の被写体を同列に取り扱っていた。そのため、例えばユーザが優先的に撮像したい主被写体が被写体２０４であり、被写体２０５は優先度の低い付随被写体であった場合、付随被写体の動きによって主被写体がユーザの望まない大きさになる可能性がある。具体的には、図２（ｂ）のように、付随被写体２０５が主被写体２０４から離れていくことにより、自動ズーム枠２０１の長辺の大きさが拡大すると、それに従って画角が大きくなるように自動調整されるため、主被写体２０４の画面における大きさが小さくなる。第１の実施形態による自動ズーム制御では、主被写体２０４の大きさの低下を考慮していないので、主被写体２０４がユーザの望まない大きさで（小さく）撮像される可能性がある。

これに対し、本実施形態では、被写体優先順位指定部１１３により、ユーザが自動ズーム制御の対象とする被写体を選択する際に、個々の被写体の優先順位の指定を可能とする。そして、自動ズーム演算部１１１は、主被写体が予め定めた大きさを維持して撮像されるように自動ズーム制御を実行する。

次に、図４と図５とを参照して、本実施形態の撮像装置における自動ズーム制御動作について説明する。なお、図４及び図５において、第１の実施形態と同様の構成及び処理ステップに対しては図２及び図３と同一の参照数字を付して重複する説明を省略する。

図４（ａ）は、図２（ａ）と同様、２人の人物２０４，２０５が被写体として検出されている状態の表示部１１４の表示状態の例を示す（Ｓ１００）。
ここで、ユーザは例えば、被写体優先順位指定部１１３に含まれる被写体選択開始指示を与えるためのキー又はボタン等を操作することにより、被写体選択と被写体の優先順位指定を行うことができる。例えば被写体優先順位指定部１１３が、表示部１１４の画面上の任意の座標を指定可能なタッチパネルを有するものとする。この場合、ユーザは自動ズーム制御の対象としたい被写体に対応する顔枠内の位置を、優先順位の高い順にタッチパネルで指定することにより、被写体選択と優先順位の指定を行うことができる。あるいは、被写体優先順位指定部１１３の方向キーを操作して、所望の被写体に対応する顔枠を選択状態として決定キーを押下する等の操作を、優先順位の高い被写体から順に行うことによっても被写体選択を行うことができる。

なお、ここでは、被写体の選択と優先順位の指定とを同時に行う操作方法の例を説明したが、被写体の選択と優先順位の指定とを独立して行うことが可能であってもよい。また、被写体の優先順位はかならずしも選択した被写体の各々で異なる必要はなく、選択された複数の被写体の中で最も優先度の高い被写体（主被写体）のみを指定し、それ以外の被写体の優先順位は同列として取り扱ってもよい。この場合、自動ズーム制御の対象とする被写体の選択が終了したら、選択した被写体の中からユーザに主被写体を指定させればよい。また、選択された被写体のうち、画像の中心に最も近い被写体を自動的に主被写体とし、他の被写体を付随被写体として取り扱ってもよい。この場合、ユーザが被写体の優先順位を指定する必要がない。なお、被写体の選択と優先順位の指定とはいずれも被写体を指定する操作であり、その操作方法自体は本発明の本質ではなく、公知の任意の手法を用いることが可能である。

ここでは、被写体２０４と被写体２０５が自動ズーム制御の対象となる被写体として選択され、被写体２０４の優先順位が１位（主被写体）、被写体２０５の優先順位が２位（付随被写体）と指定されたものとする（Ｓ２０１）。指定結果の情報（例えば画像上の座標又は指定された顔枠の情報）と、優先順位の情報とが、被写体優先順位指定部１１３から自動ズーム演算部１１１へ与えられる。自動ズーム演算部１１１は、指定結果の情報と被写体検出部１１０の検出結果とから、被写体２０４の顔検出枠２０２と被写体２０５の顔検出枠２０３を内包する長方形枠を自動ズーム枠２０１として設定する（Ｓ１０２）。

Ｓ２０３で自動ズーム演算部１１１は、前回の処理時点からの主被写体２０４と付随被写体２０５の画像の中心からの移動量を検出する。自動ズーム演算部１１１は、例えば直近の主被写体２０４と付随被写体２０５の顔枠の位置を記憶しておき、被写体検出部１１０から得られる現在の顔枠の位置との差を求めることによって被写体の移動量を検出可能である。

主被写体２０４の移動量が付随被写体２０５の移動量以上であれば（Ｓ２０３，Ｎｏ）、自動ズーム演算部１１１は第１の実施形態と同様にＳ１０３でズーム位置を計算し、Ｓ１０４でズームモータ１０４を駆動してズーム位置（画角）を自動制御する。この制御を図４（ｃ）及び図４（ｄ）に模式的に示す。

一方、付随被写体２０５の移動量の方が大きい場合（Ｓ２０３，Ｙｅｓ）、自動ズーム演算部１１１は、自動ズーム制御を行った場合の主被写体の顔枠サイズを計算し、閾値より大きいか判定する（Ｓ２０６）。ここで閾値より大きい場合、自動ズーム演算部１１１はＳ１０２で設定した最新の自動ズーム枠を用いて自動ズームを実施する（Ｓ１０３，Ｓ１０４）。しかし、自動ズーム制御を行った場合に主被写体２０４の顔枠の大きさが閾値以下となる場合、自動ズーム演算部１１１は（広角側への）自動ズーム制御を停止し、現在の画角を維持する。例えば、図４（ａ）に示す状態から、付随被写体２０５が右に移動し、図４（ｂ）の状態でさらに右に移動した場合、主被写体の顔枠サイズが閾値以下となると判定されれば、図４（ｂ）の状態から広角側への自動ズーム制御を中止し、画角を維持する（変更しない）。仮に付随被写体２０５がさらに移動した場合、付随被写体２０５の少なくとも一部が撮像されない状態となる可能性があるが、主被写体２０４の大きさを優先する。

以上説明したように、本実施形態によっても複数の被写体に対する自動ズーム制御が可能である。特に本実施形態では、自動ズーム制御を行う複数の被写体に対して優先順位を付与し、優先順位の高い被写体についてはその大きさが閾値以下とならない範囲で自動ズーム制御を行う。そのため、優先順位の低い被写体が移動することによって優先順位の高い被写体の大きさが小さくなりすぎることを防止できる。

（他の実施形態）
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部又は全部を適宜組み合わせてもよい。具体的には、第２の実施形態においても、第１の実施形態と同様、撮像範囲外に移動した付随被写体を自動ズームの対象から外すようにしてもよい。例えば、Ｓ２０７で広角側への自動ズーム制御を停止した状態で付随被写体２０５が画面外に移動した場合、この付随被写体２０５を除いて自動ズーム枠を設定し直すことができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 撮像画角の変更が可能な撮像装置であって、
   撮像された画像から、予め定められた被写体を検出する検出手段と、
   前記検出された被写体のうち、ユーザによって選択された複数の被写体を含んだ前記画像の領域を自動ズーム枠として設定する設定手段と、
   前記自動ズーム枠の領域が撮像されるように前記撮像画角を変更するよう制御する制御手段であって、前記複数の被写体のうち、指定された被写体の前記画像における大きさが予め定められた閾値以下となったら前記撮像画角の広角側への変更を制限するように制御する制御手段とを有することを特徴とする撮像装置。
2. 前記設定手段は、前記複数の被写体の少なくとも１つが、前記撮像画角を最大とした際の撮像範囲外に移動した場合、前記複数の被写体のうち、当該移動した被写体を除く被写体に対して前記自動ズーム枠を設定することを特徴とする請求項１記載の撮像装置。
3. 前記複数の被写体のうち、前記撮像された画像の中心に最も近い被写体を前記指定された被写体として指定する指定手段をさらに有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数の被写体のうち、前記指定された被写体と他の被写体について前記画像の中心からの移動量を検出する移動量検出手段をさらに有し、
   前記制御手段は、前記指定された被写体についての前記移動量が前記他の被写体についての前記移動量より大きくない場合には、前記指定された被写体の前記画像における大きさにかかわらず前記自動ズーム枠の領域が撮像されるように前記撮像画角を変更するよう制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の被写体のうち、前記指定された被写体と他の被写体について前記画像の中心からの移動量を検出する移動量検出手段をさらに有し、
   前記制御手段は、前記指定された被写体についての前記移動量が前記他の被写体についての前記移動量より大きい場合に、前記指定された被写体の前記画像における大きさが予め定められた閾値以下となったら前記撮像画角の広角側への変更を制限するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 撮像画角の変更が可能な撮像装置の制御方法であって、
   検出手段が、撮像された画像から、予め定められた被写体を検出する検出工程と、
   設定手段が、前記検出工程で検出された被写体のうち、ユーザによって選択された複数の被写体を含んだ前記画像の領域を自動ズーム枠として設定する設定工程と、
   制御手段が、前記自動ズーム枠の領域が撮像されるように前記撮像画角を変更するよう制御する制御工程であって、前記複数の被写体のうち、指定された被写体の前記画像における大きさが予め定められた閾値以下となったら前記撮像画角の広角側への変更を制限するように制御する制御工程とを有することを特徴とする撮像装置の制御方法。

Images